CN112927280A - 深度图像的获取方法及装置、单目散斑结构光系统 - Google Patents

Abstract

本申请提供一种深度图像的获取方法及装置、单目散斑结构光系统。深度图像的获取方法，应用于单目散斑结构光系统中的图像处理设备，所述单目散斑结构光系统中还包括散斑投射器和相机，所述散斑投射器用于在被拍摄物体上投射散斑，所述相机用于采集所述被拍摄物体的散斑图像；所述获取方法包括：获取所述相机当前采集的场景散斑图像；基于预先存储的参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差；所述变形函数用于描述场景散斑图像相较于所述参考散斑图像的变形；基于所述场景散斑图像的各个像素点的视差确定所述场景散斑图像对应的深度图像。该方法用以实现深度图像的有效且准确的获取。

Description

深度图像的获取方法及装置、单目散斑结构光系统

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种深度图像的获取方法及装置、单目散斑结构光系统。

背景技术

在单目散斑结构光系统中，先预存一张已知位置的散斑图像作为参考图像，在实际应用时，任意场景的散斑图像与该参考图像进行同名点的匹配，从而获得视差，基于视差可以获取对应的深度图像。

但是，针对被拍摄面形状较为复杂的结构光，如果深度方向具有较大落差时，或被拍摄面的法线方向与光轴方向接近时，不能准确地确定视差，或者不能确定视差，进而无法实现深度图像的有效和准确的获取。

发明内容

本申请实施例的目的在于提供一种深度图像的获取方法及装置、单目散斑结构光系统，用以实现深度图像的有效且准确的获取。

第一方面，本申请实施例提供一种深度图像的获取方法，应用于单目散斑结构光系统中的图像处理设备，所述单目散斑结构光系统中还包括散斑投射器和相机，所述散斑投射器用于在被拍摄物体上投射散斑，所述相机用于采集所述被拍摄物体的散斑图像；所述获取方法包括：获取所述相机当前采集的场景散斑图像；基于预先存储的参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差；所述变形函数用于描述场景散斑图像相较于所述参考散斑图像的变形；基于所述场景散斑图像的各个像素点的视差确定所述场景散斑图像对应的深度图像。

在本申请实施例中，对现有技术无法有效且准确地获取深度图像的原因进行分析：被拍摄曲面较复杂时，场景图像相较于参考图像具有较大的变形，导致获取的视差不准确，或者无法获取视差，进而无法实现深度图像的有效且准确的获取。基于该分析，通过预设的用于描述场景散斑图像相较于参考散斑图像的变形的变形函数对场景散斑图像的各个像素点的视差进行获取，在加入变形函数之后，避免由于图像的变形所导致的视差无法获取或者无法准确获取，实现准确且有效地确定视差，进而能够准确且有效地获取深度图像。

作为一种可能的实现方式，所述基于所述参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差，包括：基于所述变形函数选取待获取值的变形参数；针对所述场景散斑图像的指定像素点，通过所述参考散斑图像的所述指定像素点对应的像素点的坐标和所述变形参数确定所述指定像素点的坐标；基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口获取所述变形参数的值；根据所述变形参数的值确定所述指定像素点的视差。

在本申请实施例中，在确定各个像素点的视差时，首先可以根据变形函数选取待获取值的变形参数；然后通过参考散斑图像和场景散斑图像在匹配时的相关信息(包括相应的像素点坐标、相应的邻域窗口、预设的匹配函数)，实现变形参数的值的有效且准确的获取；在变形参数的值获取之后，指定像素点的视差也可以对应确定，进而实现有效且准确地确定像素点视差。

作为一种可能的实现方式，所述基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口获取所述变形参数的值，包括：基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口和预设的非线性迭代算法获取所述变形参数的值。

在本申请实施例中，在基于匹配函数获取变形参数的值时，可以通过预设的非线性迭代算法实现有效且准确的获取。

作为一种可能的实现方式，所述变形参数的迭代关系为：

所述非线性迭代算法的收敛条件为：|p^k+1-p^k|<ε，所述非线性迭代算法的迭代初值为粗配准的整像素位置；其中，p^k为所述变形参数第k次的迭代初值，p^k+1为所述变形参数第k次迭代后的逼近值，ε为预设的迭代收敛值，

为所述匹配函数针对所述变形参数的一阶偏导，

为所述匹配函数针对所述变形参数的二阶偏导。

在本申请实施例中，通过上述迭代关系和收敛条件，能够实现变形参数的有效且准确的获取。

作为一种可能的实现方式，所述变形函数为一阶变形函数，所述变形参数为：

所述根据所述变形参数的值确定所述指定像素点的视差，包括：将u或v的值确定为所述指定像素点的视差。

在本申请实施例中，基于变形参数的值，可以将u或v的值确定为指定像素点的视差，实现视差的有效且准确的确定。

作为一种可能的实现方式，所述匹配函数为：

g(x',y')＝f(x,y；p)；其中，f(x,y)代表所述指定像素点对应的像素点的坐标，g(x',y')代表所述指定像素点的坐标，p为所述变形参数，M代表所述指定像素点的邻域窗口的一半窗口范围中的像素点，从-M到M代表对所述指定像素点的邻域窗口内的所有像素点遍历累加。

在本申请实施例中，采用基于SSD(Sum of square differences，差值平方和)的匹配准则，可以实现变形参数的有效且准确的获取。

第二方面，本申请实施例提供一种深度图像的获取装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的深度图像的获取方法的各个功能模块。

第三方面，本申请实施例提供一种单目散斑结构光系统，包括：散斑投射器、相机、与所述散斑投射器和所述相机通信连接的图像处理设备；所述散斑投射器用于在被拍摄物体上投射散斑；所述相机用于采集所述被拍摄物体的散斑图像；所述图像处理设备用于实现如第一方面以及第一方面的任意一种可能的实现方式中所述的深度图像的获取方法。

第四方面，本申请实施例提供一种图像处理设备，包括：处理器；以及，与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行第一方面以及第一方面的任意一种可能的实现方式中所述的深度图像的获取方法。

第五方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的深度图像的获取方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的单目散斑结构光系统的结构示意图；

图2为本申请实施例提供的复杂形状的正弦曲面示意图；

图3为采用现有技术所获得的正弦曲面对应的深度图像的示意图；

图4为本申请实施例提供的深度图像的获取方法的流程图；

图5为本申请实施例提供的参考散斑图像的示意图；

图6为本申请实施例提供的场景散斑图像的示意图；

图7为本申请实施例提供的邻域窗口的变形对比示意图；

图8为采用本申请实施例提供的技术方案所获得的正弦曲面对应的深度图像的示意图；

图9为本申请实施例提供的深度图像的获取装置的结构框图。

图标：100-单目散斑结构光系统；110-散斑投射器；120-相机；130-图像处理设备；900-深度图像的获取装置；910-获取模块；920-处理模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参照图1，为本申请实施例提供的单目散斑结构光系统100的结构示意图，单目散斑结构光系统100包括散斑投射器110、相机120和图像处理设备130。其中，图像处理设备130与相机120和散斑投射器110分别通信连接。散斑投射器110用于在被拍摄物体上投射散斑，相机120用于采集投射有散斑的被拍摄物体的图像，即散斑图像。散斑投射器110，可以基于图像处理设备130的控制指令在被拍摄物体上投射散斑。相机120，可以基于图像处理设备130的控制指令采集散斑图像，相机120在采集到散斑图像之后，将散斑图像传输给图像处理设备130，由图像处理设备130对图像进行相应的处理。

单目散斑结构光系统100可以应用于物体的3D形貌测量和运动跟踪等场景中。

在单目散斑结构光系统100中，可以预存一张已知的位置的散斑平面图像，作为参考散斑图像，已知的位置可以是特定的已知的位置，该特定的已知的位置可以根据系统的位置进行选取，也可以根据其他可行的规则进行选取。任意场景的散斑图像，都将与该参考散斑图像进行同名点的匹配，以获取场景散斑图像的像素点的视差；基于获取的场景散斑图像的像素点的视差，可以确定散斑图像的像素点的深度信息；基于像素点深度信息和系统参数，可以实现深度图像的获取。

基于获取的深度图像，可以实现单目散斑结构光系统100的各种应用，比如：基于深度图像构建对应的三维图像，实现三维重建。

但是，当被拍摄面形状较为复杂时，比如深度方向具有较大落差时，或被拍摄面的法线方向与光轴方向接近时，不能准确且有效地确定视差，导致深度图像不能有效且准确地获取。

作为举例，图2为本申请实施例提供的正弦曲面的3D形状(可以理解为一种较为复杂的被拍摄面形状)示意图，利用单目散斑结构光系统100对图2所示的3D图像进行场景散斑图像的采集，并按照现有技术的深度图像获取方法所获得的深度图像可以如图3所示，从图3可以看出，按照现有技术的方法所获取的深度图像，圆柱交界面处的空洞较大，并不能实现深度图像的有效且准确的获取。

基于此，采用本申请实施例提供的深度图像的获取方法，可以实现单目散斑结构光系统100中深度图像的有效且准确的获取。

基于上述应用场景的介绍，接下来请参照图4，为本申请实施例提供的深度图像的获取方法的流程图，该获取方法可以应用于图像处理设备130，该获取方法包括：

步骤410：获取相机120当前采集的场景散斑图像。

步骤420：基于预先存储的参考散斑图像和预设的变形函数确定场景散斑图像的各个像素点的视差。其中，变形函数用于描述场景散斑图像相较于参考散斑图像的变形。

步骤430：基于场景散斑图像的各个像素点的视差确定场景散斑图像对应的深度图像。

在本申请实施例中，通过预设的用于描述场景散斑图像相较于参考散斑图像的变形的变形函数对场景散斑图像的各个像素点的视差进行获取，在加入变形函数之后，避免由于图像的变形所导致的视差无法获取或者无法准确获取，实现准确且有效地确定视差，进而能够准确且有效地获取深度图像。

接下来对步骤410-步骤430的详细实施方式进行介绍。

在步骤410中，当前采集的场景散斑图像由相机120实时传输给图像处理设备130。结合前述应用场景的介绍可知，当散斑投射器110在待拍摄物体上投射散斑之后，相机120便可以对被拍摄物体进行拍摄，获得散斑图像。

对于相机120来说，在采集场景散斑图像之前，还可以进行系统标定。系统标定包括两个步骤：一是使用张正友标定法以及迭代方法确定相机120内参二是参考散斑图像的采集。其中，相机120内参的确定属于本领域成熟的技术，在本申请实施例中不作详细介绍。

在采集参考散斑图像时，先选取一个参考位置，然后在该参考位置处投射散斑，对投射有散斑的参考位置进行拍摄，所获得的散斑图像即为参考散斑图像。在完成系统标定之后，参考散斑图像也对应确定，此时可将参考散斑图像进行存储，以便于步骤420中基于参考散斑图像确定视差。

在本申请实施例中，步骤410中所采集的场景散斑图像既可以是复杂形状(比如图2所示的正弦曲面的形状)的被拍摄面对应的散斑图像，也可以是常规形状的被拍摄面对应的散斑图像。如果是复杂形状的被拍摄面对应的散斑图像，所实现的效果更显著。

在步骤410中获取到场景散斑图像之后，在步骤420中，基于预先存储的参考散斑图像和预设的变形函数确定场景散斑图像的各个像素点的视差。其中，变形函数用于描述场景散斑图像相较于参考散斑图像的变形。

作为一种可选的实施方式，步骤420包括：基于变形函数选取待获取值的变形参数；针对场景散斑图像的指定像素点，通过参考散斑图像的指定像素点对应的像素点坐标和变形参数确定指定像素点的坐标；基于预设的匹配函数、指定像素点的坐标、指定像素点对应的像素点的坐标、指定像素点的邻域窗口、指定像素点对应的像素点的邻域窗口获取变形参数的值；根据变形参数的值确定指定像素点的视差。

为了便于理解，请参照图5和图6，图5为参考散斑图像的示意图，图6为场景散斑图像的示意图。在图5中，以其中的一个像素点为例，该像素点的邻域窗口如图中所示。在图6中，以与图5中的像素点对应的像素点(进行匹配的同名点)为例，在考虑变形的基础上，该像素点的邻域窗口通过实线表示，如果没有考虑变形，该像素点的邻域窗口通过虚线表示(即现有技术的方案)。从实线和虚线所表示的窗口区域可以看出，在现有技术中，并未考虑到场景散斑图像中的同名点邻域窗口的变形，而本申请实施例考虑到场景散斑图像中的同名点邻域窗口的变形。

在本申请实施例中，可以根据实际的应用场景预设变形函数，比如：根据当前的被拍摄曲面的复杂程度进行预设，如果被拍摄曲面的形状复杂程度越高，则变形的程度可能相应的较大一些，此时可预设对应变形程度较大的变形函数。如果被拍摄曲面的形状复杂程度一般，则变形的程度可能相应的一般，此时可以预设对应变形程度一般的变形函数。在本申请实施例中仅作示例性的举例，在实际应用中，可以结合实际的应用场景进行合理地设置。

在本申请实施例中，变形函数可以是：一阶变形函数、二阶变形函数或者更高阶的变形函数等。

在变形函数的基础上，可以确定变形参数的形式，也即选取待获取值的变形参数。需要注意的是，变形参数是一个统称，基于不同的变形函数，变形参数中可能包括多个参数。

作为举例，请参照图7，假设场景散斑图像中的某个像素点的坐标为：Q(x,y)，其在参考散斑图像中的对应点的坐标为：Q'(x',y')，则Q'(x',y')的坐标可以表示为Q'(x',y')＝Q(x,y；p)，其中，p为变形参数。针对场景散斑图像中的每个像素点的坐标，都可以通过与其对应的像素点的坐标和变形参数表示。

作为举例，假设变形函数为一阶变形函数：

则变形参数表示为：

此时的变形参数的值是未知的，需要在后续过程中进行获取。

针对指定像素点，可以基于预设的匹配函数，进行指定像素点的邻域窗口和参考散斑图像中指定像素点对应的像素点的邻域窗口的匹配，以实现变形参数的值的获取。为了便于介绍，在本申请实施例中仅对指定像素点的视差的确定过程进行介绍，对于场景散斑图像中其他各个像素点的视差的确定过程，与该指定像素点的确定过程相同。

对于匹配函数，由匹配代价决定。匹配代价可以衡量像素点之间的相似度，当匹配函数对应的匹配代价越大，相应的像素点越不相似，匹配代价在不同的匹配准则中，不相同。

在预设匹配函数时，可以结合实际的应用场景进行预设。比如：根据当前的被拍摄曲面的复杂程度进行预设，如果被拍摄曲面的形状复杂程度越高，则变形的程度可能相应的较大一些，此时可预设精度更高的匹配准则对应的匹配函数。如果被拍摄曲面的形状复杂程度一般，则变形的程度可能相应的一般，此时可以预设精度一般的匹配准则对应的匹配函数。在本申请实施例中仅作示例性的举例，在实际应用中，可以结合实际的应用场景进行合理地设置。

在本申请实施例中，匹配函数可以采用的相似度匹配准则包括但不限于：SSD、NCC(Normalized cross correlation，归一化互相关)、ZNCC(Zero normalized crosscorrelation，零均值归一化)、SAD(Sum of Absolute Differences，绝对差和)等。

作为举例，当采用SSD相似度匹配准则时，匹配函数可以表示为：

其中，f(x,y)为前述实施例中的Q(x,y)，即参考散斑图像中的指定像素点的坐标；g(x',y')为前述实施例中的Q'(x',y')，即场景散斑图像中与指定像素点对应的像素点的坐标，因而，g(x',y')＝f(x,y；p)，p为前述实施例中的变形参数，M代表指定像素点的邻域窗口的一半窗口范围中的像素点，从-M到M代表对指定像素点的邻域窗口内的所有像素点遍历累加。

当采用其他匹配准则时，匹配函数按照对应的匹配准则表示即可，在本申请实施例中不进行一一的举例。

进一步地，变形参数的值为使得匹配函数取值最小时的变形参数的值。对于匹配函数来说，通常都是非线性的。基于此，在获取变形参数的值时，可以基于非线性迭代算法进行获取。

为了实现使匹配函数取值最小的变形参数的值的获取，利用非线性迭代算法和匹配函数进行不断地迭代，在迭代算法中，预设有收敛条件(迭代结束条件)，在该收敛条件的限制下，可以获得最终的变形参数。

在本申请实施例中，可采用的非线性迭代算法包括但不限于：Newton-Raphson(牛顿-迭代)、LM(Levenberg-Marquardt，列文伯格-马夸尔特)、最速下降法等迭代法。

以其中的牛顿迭代法为例，变形参数的迭代关系为：

其中，p^k为变形参数第k次的迭代初值，p^k+1为变形参数第k次迭代后的逼近值。

为匹配函数针对变形参数的一阶偏导，

为匹配函数针对变形参数的二阶偏导。

其中，该迭代法的迭代初值可以采用粗配准的整像素位置，以前述实施例的一阶变形参数为例：

粗配准的整像素位置的确定属于本领域所常用的技术，因此，在本申请实施例中不进行详细介绍。

对应的，其收敛条件可以表示为：|p^k+1-p^k|<ε，ε为预设的迭代收敛值。该迭代收敛值，可以根据实际的情况进行灵活设置。

除了预设收敛条件，也可以预设迭代次数，当达到最大迭代次数时，停止迭代，该迭代次数可以预先通过收敛条件进行确定。

结合前述实施例中所介绍的一阶变形参数和基于SSD匹配准则的目标函数，以及牛顿迭代法，接下来对变形参数的值的确定过程进行进一步地介绍。

假设，

g(x',y')＝f(x,y；p)，

则：

其中，p_i代表变形参数的第i个变形参数，比如当i＝1时，代表对变形参数中的第1个变形参数的值进行确定。

进一步地，

为指定像素点的邻域窗口在x和y方向的灰度梯度，该邻域窗口中的各个像素点的梯度可由梯度算子进行求取，比如：sobel算子等。

匹配函数的二阶偏导表示为：

由于预设的变形函数为一阶变形函数，因此，

则，匹配函数的二阶偏导最终表示为：

将上述匹配函数的推导结果代入到变形参数的迭代关系中，进行迭代计算，即可确定变形参数p的值。

基于确定的变形参数p的值，可以确定指定像素点的视差，作为一种可选的实施方式，假设变形参数为

则，可以将u或v的值确定为指定像素点的视差。

其中，指定像素点的视差取u或v的值取决于相机120坐标系及世界坐标系的方向。如果相机120的基线方向与图像X方向一致，视差值为u，相机120的基线方向与图像Y方向一致时，取v。

在按照上述实施方式确定场景散斑图像的各个像素点的视差之后，在步骤430中，基于场景散斑图像的各个像素点的视差确定场景散斑图像对应的深度图像。

作为一种可选的实施方式，步骤430包括：基于场景散斑图像的各个像素点的视差确定各个像素点的深度；基于各个像素点的深度确定场景散斑图像对应的深度图像。

具体地，继续以指定像素点为例，深度的计算公式可以为：

其中，e为步骤420中获得的视差，T_x为相机120基线，F为相机120焦距，d₀为参考散斑图像的拍摄位置与相机120的距离，d₁为指定像素点距离相机120的垂直距离，即像素点的深度。

针对场景散斑图像中的各个像素点都获取对应的深度信息，基于各个像素点的深度信息便可以完成深度图像的确定。

作为举例，请参照图8，为基于单目散光结构光系统100对图2所示的形状进行拍摄获得场景散斑图像之后，再采用本申请实施例的深度图像获取方法所获得的深度图像，将图3(现有技术获得的深度图像)与图8进行对比可以看出，采用本申请实施例的深度图像的获取方法所获得的深度图像中的圆柱交界处的空洞相较于现有技术获得的深度图像大大减少，实现了深度图像的有效且准确的获取。

在实际应用中，基于获得的深度图像，在加上X方向和Y方向上的信息之后，可以实现三维图像的重建。基于深度图像进行三维图像的重建属于本领域成熟的技术，在本申请实施例中不对该应用作具体的介绍。

基于同一发明构思，请参照图9，本申请实施例中还提供一种深度图像的获取装置900，包括：获取模块910和处理模块920。

获取模块910用于获取相机120当前采集的场景散斑图像。处理模块920用于基于预先存储的参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差；所述变形函数用于描述场景散斑图像相较于所述参考散斑图像的变形；基于所述场景散斑图像的各个像素点的视差确定所述场景散斑图像对应的深度图像。

在本申请实施例中，处理模块920具体用于：基于所述变形函数选取待获取值的变形参数；针对所述场景散斑图像的指定像素点，通过所述参考散斑图像的所述指定像素点对应的像素点的坐标和所述变形参数确定所述指定像素点的坐标；基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口获取所述变形参数的值；根据所述变形参数的值确定所述指定像素点的视差。

在本申请实施例中，处理模块920具体还用于：基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口和预设的非线性迭代算法获取所述变形参数的值。

在本申请实施例中，处理模块920采用的变形参数的迭代关系为：

所述非线性迭代算法的收敛条件为：|p^k+1-p^k|<ε，所述非线性迭代算法的迭代初值为粗配准的整像素位置；其中，p^k为所述变形参数第k次的迭代初值，p^k+1为所述变形参数第k次迭代后的逼近值，ε为预设的迭代收敛值，

为所述匹配函数针对所述变形参数的一阶偏导，

为所述匹配函数针对所述变形参数的二阶偏导。

在本申请实施例中，处理模块920所采用的匹配函数为：

g(x',y')＝f(x,y；p)；其中，f(x,y)代表所述指定像素点对应的像素点的坐标，g(x',y')代表所述指定像素点的坐标，p为所述变形参数，M代表所述指定像素点的邻域窗口的一半窗口范围中的像素点，从-M到M代表对所述指定像素点的邻域窗口内的所有像素点遍历累加。

前述实施例中的深度图像的获取方法中的各实施方式和具体实例同样适用于图9的装置，通过前述对深度图像的获取方法的详细描述，本领域技术人员可以清楚的知道图9中的深度图像的获取装置的实施方法，所以为了说明书的简洁，在此不再详述。

在本申请实施例中，图像处理设备130可以包括：处理器和存储器。

存储器和处理器直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。深度图像的获取方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器中的软件功能模块，例如深度图像的获取装置900包括的软件功能模块或计算机程序。

处理器可以是一种集成电路芯片，具有信号处理能力。处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以存储各种软件程序以及模块，如本申请实施例提供的深度图像的获取方法及装置对应的程序指令/模块。处理器通过运行存储在存储器中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的方法。

存储器可以包括但不限于ROM(Random Access Memory，RAM)，只读存储器(ReadOnly Memory，随机存取存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，EPROM(Erasable Programmable Read-Only Memory，可擦除只读存储器)，EEPROM(Electric Erasable Programmable Read-Only Memory，电可擦除只读存储器)等。

可以理解，图像处理设备130还可包括更多或者更少的组件，或者具有其他不同的配置。

基于同一发明构思，本申请实施例还提供一种可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行上述任一实施方式的深度图像的获取方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种深度图像的获取方法，应用于单目散斑结构光系统中的图像处理设备，所述单目散斑结构光系统中还包括散斑投射器和相机，所述散斑投射器用于在被拍摄物体上投射散斑，所述相机用于采集所述被拍摄物体的散斑图像；其特征在于，所述获取方法包括：

获取所述相机当前采集的场景散斑图像；

基于预先存储的参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差；所述变形函数用于描述场景散斑图像相较于所述参考散斑图像的变形；

基于所述场景散斑图像的各个像素点的视差确定所述场景散斑图像对应的深度图像。

2.根据权利要求1所述的获取方法，其特征在于，所述基于所述参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差，包括：

基于所述变形函数选取待获取值的变形参数；

针对所述场景散斑图像的指定像素点，通过所述参考散斑图像的所述指定像素点对应的像素点坐标和所述变形参数确定所述指定像素点的坐标；

基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口获取所述变形参数的值；

根据所述变形参数的值确定所述指定像素点的视差。

3.根据权利要求2所述的获取方法，其特征在于，所述基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口获取所述变形参数的值，包括：

基于预设的匹配函数、所述指定像素点的坐标、所述指定像素点对应的像素点的坐标、所述指定像素点的邻域窗口、所述指定像素点对应的像素点的邻域窗口和预设的非线性迭代算法获取所述变形参数的值。

4.根据权利要求3所述的获取方法，其特征在于，所述变形参数的迭代关系为：

所述非线性迭代算法的收敛条件为：|p^k+1-p^k|<ε，所述非线性迭代算法的迭代初值为粗配准的整像素位置；

其中，p^k为所述变形参数第k次的迭代初值，p^k+1为所述变形参数第k次迭代后的逼近值，ε为预设的迭代收敛值，

为所述匹配函数针对所述变形参数的一阶偏导，

为所述匹配函数针对所述变形参数的二阶偏导。

5.根据权利要求3或4所述的获取方法，其特征在于，所述变形函数为一阶变形函数，所述变形参数为：

所述根据所述变形参数的值确定所述指定像素点的视差，包括：

将所述u或v的值确定为所述指定像素点的视差。

6.根据权利要求3或4所述的获取方法，其特征在于，

所述匹配函数为：

g(x',y')＝f(x,y；p)；

其中，f(x,y)代表所述指定像素点对应的像素点的坐标，g(x',y')代表所述指定像素点的坐标，p为所述变形参数，M代表所述指定像素点的邻域窗口的一半窗口范围中的像素点，从-M到M代表对所述指定像素点的邻域窗口内的所有像素点遍历累加。

7.一种深度图像的获取装置，应用于单目散斑结构光系统中的图像处理设备，所述单目散斑结构光系统中还包括散斑投射器和相机，所述散斑投射器用于在被拍摄物体上投射散斑，所述相机用于采集所述被拍摄物体的散斑图像；其特征在于，所述获取装置包括：

获取模块，用于获取所述相机当前采集的场景散斑图像；

处理模块，用于：基于预先存储的参考散斑图像和预设的变形函数确定所述场景散斑图像的各个像素点的视差；所述变形函数用于描述场景散斑图像相较于所述参考散斑图像的变形；基于所述场景散斑图像的各个像素点的视差确定所述场景散斑图像对应的深度图像。

8.一种单目散斑结构光系统，其特征在于，包括：

散斑投射器、相机、与所述散斑投射器和所述相机通信连接的图像处理设备；

所述散斑投射器用于在被拍摄物体上投射散斑；

所述相机用于采集所述被拍摄物体的散斑图像；

所述图像处理设备用于实现如权利要求1-6任一项所述的深度图像的获取方法。

9.一种图像处理设备，其特征在于，包括：

存储器和所述存储器通信连接的处理器；

所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如权利要求1-6中任一项所述的深度图像的获取方法。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-6任一项所述的深度图像的获取方法。

Images