CN103424083B - 物体深度的检测方法、装置和系统 - Google Patents

Abstract

本发明公开了一种物体深度的检测方法、装置和系统。该检测方法包括：图像发射装置向被测物体发射预设光学图像；摄像装置采集经被测物体调制后的光学图像，得到目标图像；计算目标图像相对参考图像的视差值；以及根据视差值计算被测物体的深度值。通过本发明，利用单个摄像装置便可完成物体深度的检测，不但降低了检测成本，而且在计算物体的深度值时，处理的数据少，使得物体深度的检测效率提高。

Description

物体深度的检测方法、装置和系统

技术领域

本发明涉及检测领域，具体而言，涉及一种物体深度的检测方法、装置和系统。

背景技术

目前，对于物体深度信息的获取主要包括以下的步骤：通过两个处于不同角度的摄像头拍摄物体来计算物体的视差值，同时通过视差值来获取物体深度信息。该运算主要对色彩图像进行不同视差的运算，运算量大并且成本较高，导致物体深度检测效率低，而且在拍摄过程中容易受到光照的影响，在比较暗的环境中很难获取到物体的深度信息。

针对相关技术物体深度检测效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种物体深度的检测方法、装置和系统，以解决物体深度检测效率低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种物体深度的检测方法。

根据本发明的物体深度的检测方法包括：图像发射装置向被测物体发射预设光学图像；摄像装置采集经被测物体调制后的光学图像，得到目标图像，其中，图像发射装置与摄像装置间隔预设距离；计算目标图像相对参考图像的视差值，其中，参考图像为摄像装置采集图像发射装置发射至平面的预设光学图像得到的图像；以及根据视差值计算被测物体的深度值。

进一步地，图像发射装置为红外激光发射器，摄像装置包括滤波器，其中，滤波器用于滤除外部环境中除红外激光之外的其他波长的光线。

进一步地，计算目标图像相对参考图像的视差值包括：计算目标图像的像素点与参考图像中视差移动范围内各个像素点的相关值，得到多个相关值；确定最大相关值点，其中，最大相关值点为是视差移动范围内各个像素点中，与最大的相关值对应的像素点；以及确定目标图像的像素点相对最大相关值点的视差值。

进一步地，计算目标图像相对参考图像的视差值包括：将目标图像进行区域分割，得到多个预设大小的区域窗口图像；在每个区域窗口图像中选择任意一个像素点，计算被选像素点相对参考图像的视差值；以及以被选像素点为种子点，通过区域生长算法分别计算各个区域窗口图像中像素点相对参考图像的视差值。

进一步地，多个区域窗口包括第一区域窗口和第二区域窗口，通过区域生长算法计算第一区域窗口图像中像素点相对参考图像的视差值包括：计算第一像素点相对参考图像的视差值，其中，第一像素点为第一区域窗口图像中的像素点；计算第二像素点与参考图像中对应像素点的相关值，其中，第二像素点与第一像素点相邻；在相关值大于或等于第一预设阈值时，确定第二像素点相对参考图像的视差值等于第一像素点相对参考图像的视差值；在相关值小于或等于第二预设阈值时，确定第二像素点为阴影点，其中，第二预设可信阈值小于第一可信阈值；以及在相关值小于第一预设阈值且大于第二预设阈值时，根据第二区域窗口图像中像素点相对参考图像的视差值计算第二像素点相对参考图像的视差值。

进一步地，采用以下方法计算目标图像中像素点与参考图像中像素点的相关值：在目标图像中获取子图像，得到第一子图像，其中，第一子图像为在目标图像中，以目标图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；在参考图像中获取子图像，得到第二子图像，其中，第二子图像为在参考图像中，以参考图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；以及采用以下公式计算第一子图像与第二子图像的相关值：

$w(x,y)\⊗f(x,y)=\underset{s=-a}{\overset{a}{\mathrm{\Σ}}}\underset{t=-b}{\overset{b}{\mathrm{\Σ}}}w(s,t)f(x+s,y+t)$

其中，m=2a+1，n=2b+1，w(x,y)为第一子图像的像素点矩阵，f(x,y)为第二子图像的像素点矩阵。

进一步地，被选像素点为区域窗口图像上非边缘地区的像素点。

进一步地，采用以下公式计算被测物体的深度值：

$Z=\frac{F}{d+d_{\mathrm{ref}}}$

其中，Z为深度值，d为目标图像的相对参考图像的视差值，d_ref为常数，由平面相对摄像装置的深度决定，F为常数，由摄像装置的光学透镜属性以及图像发射装置与摄像装置的距离决定。

为了实现上述目的，根据本发明的另一方面，提供了一种物体深度的检测装置。

根据本发明的物体深度的检测装置包括：获取模块，用于通过摄像装置获取目标图像，其中，图像发射装置向被测物体发射预设光学图像，摄像装置采集经被测物体调制后的光学图像，得到目标图像，图像发射装置与摄像装置间隔预设距离；第一计算模块，用于计算目标图像相对参考图像的视差值，其中，参考图像为摄像装置采集图像发射装置发射至平面的预设光学图像得到的图像；以及第二计算模块，用于根据视差值计算被测物体的深度值。

进一步地，第一计算模块包括：第一计算子模块，用于计算目标图像的像素点与参考图像中视差移动范围内各个像素点的相关值，得到多个相关值；第一确定子模块，用于确定最大相关值点，其中，最大相关值点为是视差移动范围内各个像素点中，与最大的相关值对应的像素点；以及第二确定子模块，用于确定目标图像的像素点相对最大相关值点的视差值。

进一步地，第一计算模块包括：分割子模块，用于将目标图像进行区域分割，得到多个预设大小的区域窗口图像；第二计算子模块，用于在每个区域窗口图像中选择任意一个像素点，计算被选像素点相对参考图像的视差值；以及第三计算子模块，用于以被选像素点为种子点，通过区域生长算法分别计算各个区域窗口图像中像素点相对参考图像的视差值。

进一步地，各个区域窗口包括第一区域窗口和第二区域窗口，第三计算子模块包括：第一计算单元，用于计算第一像素点相对参考图像的视差值，其中，第一像素点为第一区域窗口图像中的像素点；第二计算单元，用于计算第二像素点与参考图像中对应像素点的相关值，其中，第二像素点与第一像素点相邻；第一确定单元，用于在相关值大于或等于第一预设阈值时，确定第二像素点相对参考图像的视差值等于第一像素点相对参考图像的视差值；第二确定单元，用于在相关值小于或等于第二预设阈值时，确定第二像素点为阴影点，其中，第二预设可信阈值小于第一可信阈值；以及第三计算单元，用于在相关值小于第一预设阈值且大于第二预设阈值时，根据第二区域窗口图像中像素点相对参考图像的视差值计算第二像素点相对参考图像的视差值。

进一步地，该装置还包括相关值计算模块，用于计算目标图像中像素点与参考图像中像素点的相关值，其中，相关值计算模块包括：第一获取子模块，用于在目标图像中获取子图像，得到第一子图像，其中，第一子图像为在目标图像中，以目标图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；第二获取子模块，用于在参考图像中获取子图像，得到第二子图像，其中，第二子图像为在参考图像中，以参考图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；以及第四计算子模块，用于采用以下公式计算第一子图像与第二子图像的相关值：

$w(x,y)\⊗f(x,y)=\underset{s=-a}{\overset{a}{\mathrm{\Σ}}}\underset{t=-b}{\overset{b}{\mathrm{\Σ}}}w(s,t)f(x+s,y+t)$

其中，m=2a+1，n=2b+1，w(x,y)为第一子图像的像素点矩阵，f(x,y)为第二子图像的像素点矩阵。

进一步地，第二计算模块采用以下公式计算被测物体的深度值：

$Z=\frac{F}{d+d_{\mathrm{ref}}}$

其中，Z为深度值，d为目标图像的相对参考图像的视差值，d_ref为常数，由平面相对摄像装置的深度决定，F为常数，由摄像装置的光学透镜属性以及图像发射装置与摄像装置的距离决定。

为了实现上述目的，根据本发明的再一方面，提供了一种物体深度的检测系统。

根据本发明的物体深度的检测系统包括：图像发射装置，用于将预设光学图像发射至被测物体；摄像装置，与图像发射装置间隔预设距离，用于采集经被测物体调制后的光学图像，得到目标图像；以及处理装置，用于计算目标图像相对参考图像的视差值，并根据视差值计算被测物体的深度值，其中，参考图像为摄像装置采集图像发射装置发射至平面的预设光学图像得到的图像。

进一步地，图像发射装置为红外激光发射器；以及摄像装置包括滤波器，其中，滤波器用于滤除外部环境中除红外激光之外的其他波长的光线。

通过本发明，采用包括以下步骤的物体深度的检测方法：图像发射装置向被测物体发射预设光学图像；摄像装置采集经被测物体调制后的光学图像，得到目标图像；计算目标图像相对参考图像的视差值；以及根据视差值计算被测物体的深度值，解决了物体深度检测效率低的问题，进而达到了提高物体深度检测效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的物体深度检测系统的示意图；

图2是根据本发明第一实施例的物体深度检测装置的框图；

图3是根据本发明第二实施例的物体深度检测装置的框图；

图4是根据本发明第三实施例的物体深度检测装置的框图；

图5是根据本发明第一实施例的物体深度检测方法的流程图；以及

图6是根据本发明第二实施例的物体深度检测方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

首先，介绍本具体实施方式提供的物体深度的检测系统。

图1是根据本发明实施例的物体深度检测系统的示意图，如图1所示，该系统包括：图像发射装置10，摄像装置30以及处理装置50。

图像发射装置10将预设光学图像发射至被测物体，该处的预设光学图像优选为：具有满足正态分布的完全随机的光斑组成，并且在计算相关值时，相邻窗口内的光斑分布不具有相关性。光斑的大小优选为2~4个摄像头的像素大小。

同时，使用一个特定位置的摄像装置30进行拍摄，摄像装置30与图像发射装置10间隔预设距离，也即相距预设的视差距离，具体地，对摄像装置30的位置要求如下：摄像装置必须保证光心位置与发射装置的中心位置保持在同一条水平线上，该预设的视差距离需要保证拍摄的时候摄像头可以拍摄到发射装置所发射的特定图像。预设的视差距离同时要保证在Z方向上深度差变化的最小精度值可以引起在X方向上光斑的一个像素的移动。

摄像装置30采集经被测物体调制后的光学图像，得到目标图像，并有一副已知的参考图像，该参考图像可以是通过该摄像装置30在校正过程中采集的图像，也即图像发射装置10将上述的预设光学图像发射至校正平面，摄像装置30采集该平面上的光学图像得到参考图像，其中，该平面与摄像装置30之间的距离是已知的，该平面垂直于水平面。在得到目标图像和参考图像后，处理装置50计算目标图像相对参考图像的视差值，并根据视差值计算被测物体的深度值。其中，参考图像可以为预存的图像，也可以为采检测过程中拍摄得到的图像。

在摄像装置进行拍摄时，由于视差的不同，距离摄像装置不同远近平面上的图像将发生位置偏移，在该实施例中，通过单个摄像装置拍摄经被测物体调制后的图像，将获取到与参考图像不同的含有图案位置偏移的目标图像，经与参考图像进行比较，即可计算出目标图像相对参考图像的视差值，进而获得被测物体的深度。

采用该实施例提供的物体深度的检测系统，仅需设置单个摄像装置便可完成物体深度的检测，与现有基于双目摄像头的检测系统相比，不但降低了检测成本，而且在计算物体的深度值时，处理的数据少，使得物体深度的检测效率提高。

优选地，图像发射装置10为红外激光发射器，包括透镜和特定的光栅，该处特定的光栅理解为特定的衍射光学器件，包括能产生随机散斑的光学元件以及将随机散斑进行复制的光栅，相应地，摄像装置30包括滤波器，其中，滤波器用于滤除外部环境中除红外激光之外的其他波长的光线。

采用该优选的实施方式，使用红外激光作为投射的主动光，使得物体深度的检测系统不受环境光线影响，即使在比较暗的环境中仍然能够获取到物体的深度信息。

需要说明的是，在本具体实施方式中，物体深度检测系统的处理装置可以包括下文描述的任意一种物体深度的检测装置。

其次，介绍本具体实施方式提供的物体深度的检测装置。

图2是根据本发明第一实施例的物体深度的检测装置的框图，如图2所示，该检测装置包括：获取模块51、第一计算模块53和第二计算模块55。

获取模块51设置于处理装置50中，通过摄像装置30获取目标图像，其中，图像发射装置10向被测物体发射预设光学图像后，摄像装置30采集经被测物体调制后的光学图像得到目标图像，处理装置50中设置有第一存储器，用于存储目标图像，获取模块51可以从第一存储器中获取目标图像。

同时，处理装置50中还可设置第二存储器，用于存储参考图像，该处的参考图像是指摄像装置30采集图像发射装置10发射至平面的预设光学图像得到的图像。获取模块51还用于从第二存储器中获取参考图像。

在获取到目标图像和参考图像后，设置于处理装置50中的第一计算模块53用于计算目标图像相对参考图像的视差值，设置于处理装置50中的第二计算模块55用于根据视差值计算被测物体的深度值。

采用该实施例的物体深度检测装置，能够根据单个摄像装置获取到的目标图像和参考图像便得到物体深度值，处理的数据少，使得物体深度的检测效率提高。

优选地，第二计算模块55采用以下公式计算被测物体的深度值：

$Z=\frac{F}{d+d_{\mathrm{ref}}}$

其中，Z为要计算的深度值，d为目标图像的相对参考图像的视差值，由第一计算模块计算得到，d_ref为常数，由参考图获取的校正平面相对摄像装置的深度决定，F为常数，由摄像装置的光学透镜属性以及图像发射装置与摄像装置的距离决定。

其中，d_ref常数的确定方法如下，确定该常数的方法需要满足三个条件。第一个条件：摄像头对一个光滑平整的平面进行深度校正；第二个条件：摄像头与激光发射器的发射接收平面与校正平面保证平行；第三个条件：保证计算深度值时所对应的参考图唯一。测量校正平面与摄像头的直线距离即为深度值，之后改变该直线距离即改变深度值，再次测量该深度值，同时保存两次目标图像同一像素点的视差值，由于参考图唯一，故d_ref为常数，对计算获得的视差值代入公式进行计算通过求解方程获得常数d_ref的数值，同样的方法可以求得常数F。

其中，常数F的确定方法如下：确定该常数的方法需要满足三个条件。第一个条件：摄像头对一个光滑平整的平面进行深度校正；第二个条件：摄像头与激光发射器的发射接收平面与校正平面保证平行；第三个条件：保证计算深度值时所对应的参考图唯一。测量校正平面与摄像头的直线距离即为深度值，之后改变该直线距离即改变深度值，再次测量该深度值，同时保存两次目标图像同一像素点的视差值，由于参考图唯一故d_ref为常数对计算获得的视差值代入公式进行计算通过求解方程获得常数F的数值，同样的方法可以求得常数d_ref。

图3是根据本发明第二实施例的物体深度的检测装置的框图，如图3所示，该检测装置包括：获取模块51、第一计算模块53和第二计算模块55，其中，第一计算模块53包括：第一计算子模块531、第一确定子模块533以及第二确定子模块535。

其中，该实施例中的获取模块51和第二计算模块55分别与图2所示实施例中的获取模块和第二计算模块相同，此处不再赘述。

在第一计算模块53中，第一计算子模块531用于计算目标图像的像素点与参考图像中视差移动范围内各个像素点的相关值，得到多个相关值。

优选地，检测装置包括相关值计算模块，该相关值计算模块用于计算两个图像中对应像素点的相关值。第一计算子模块531在计算时，首先确定需要计算的两个相关像素点，然后调用相关值计算模块，便可实现相关值的计算。

以任一目标图像的像素点A为例，具体地，第一计算子模块531需要计算目标图像的像素点A分别与参考图像的像素点A′、A₁′、A₂′…Aa′的相关值，其中，像素点A′、A₁′、A₂′…Aa′是在视差移动范围内的像素点，设像素点A与像素点A′是完全对应的像素点，也即二者的坐标相同，像素点A₁′、A₂′…Aa′与像素点A′在Y方向上的坐标相同，X方向上间隔一个或多个像素点。在确定需要计算的相关点后，通过相关值计算模块分别计算各个相关值。

以像素点A与像素点A₁′的相关值计算为例，首先，第一获取子模块在目标图像中获取子图像，得到第一子图像，其中，第一子图像为在目标图像中，以像素点A为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像。其次，第二获取子模块用于在参考图像中获取子图像，得到第二子图像，其中，第二子图像为在参考图像中，以像素点A₁′为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像，第一子图像与第二子图像的大小相等。最后，第四计算子模块用于采用以下公式计算第一子图像与第二子图像的相关值：

$w(x,y)\⊗f(x,y)=\underset{s=-a}{\overset{a}{\mathrm{\Σ}}}\underset{t=-b}{\overset{b}{\mathrm{\Σ}}}w(s,t)f(x+s,y+t)$

其中，m=2a+1，n=2b+1，w(x,y)为第一子图像的像素点矩阵，f(x,y)为第二子图像的像素点矩阵。

像素点A与其他像素点的相关值计算同样通过相关值计算模块计算得到，此处不再赘述。至此，第一计算子模块531计算得到多个相关值。

在第一计算模块53中，第一确定子模块533用于确定最大相关值点，也即在多个相关值中确定最大值，该最大相关值对应的像素点即为最大相关值点。

在第一计算模块53中，第二确定子模块535用于确定像素点A相对最大相关值点的视差值，也即确定目标图像的像素点A相对参考图像的视差值，其中，最大相关值点与像素点A′在X方向上间隔的像素点个数为视差值的绝对值，当最大相关值点在像素点A′的左侧时，视差值为负，反之，视差值为正。

目标图像上的其他像素点相对参考图像的视差值可采用上述计算过程得到，从而能够得到目标图像上的每个像素点相对参考图像的视差值，进而得到目标图像上的每个像素点的深度值，由于已经求得了目标图像中每个像素点的深度，即视场中物体相对于摄像头的深度.，所以得到物体的每一个像素在最终显示的深度值。

图4是根据本发明第三实施例的物体深度的检测装置的框图，如图4所示，该检测装置包括：获取模块51、第一计算模块53和第二计算模块55，其中，第一计算模块53包括：分割子模块532、第二计算子模块534、以及第三计算子模块536。

其中，该实施例中的获取模块51和第二计算模块55分别与图2或图3所示实施例中的获取模块和第二计算模块相同，此处不再赘述。

在第一计算模块53中，分割子模块532将目标图像进行区域分割，得到多个大小为Grid_X*Grid_Y区域窗口图像，各窗口不重叠且没有间隙，Grid_X为区域窗口在X方向的像素点数，Grid_Y为区域窗口在Y方向的像素点数。

在第一计算模块53中，第二计算子模块534在每个区域窗口图像中选择任意一个像素点，计算被选像素点相对参考图像的视差值，其中，第二计算子模块534在计算被选像素点相对参考图像的视差值时，可采用与图3所示实施例中计算像素点A相对参考图像的视差值时同样的方法，也即：通过第一计算子模块531计算被选像素点与参考图像中视差移动范围内各个像素点的相关值，得到多个相关值；第一确定子模块533确定最大相关值点；第二确定子模块535确定被选像素点相对最大相关值点的视差值，也即确定被选像素点相对参考图像的视差值。

在第一计算模块53中，第三计算子模块536用于以被选像素点为种子点，通过区域生长算法分别计算各个区域窗口图像中像素点相对参考图像的视差值，最终获得目标图像所有像素点相对参考图像的视差值，进而得到目标图像上的每个像素点的深度值，以得到物体的深度值。

其中，优选地，采用图3所示实施例的方法计算被选像素点的视差值时，被选像素点，也即种子点在区域的非边缘地区，从而能够进行全视差范围的匹配运算，而选择边缘地区时，不能完成全深度的视差匹配。

采用该实施例提供的物体深度的检测装置，对目标图像进行区域划分，对于每个区域窗口图像的所有像素点来讲，可将其中的一个像素点作为种子点，其他像素点作为生长点，在计算得到一个种子点对应的视差值后，可通过区域生长算法获得其他生长点的视差值，减少了视差搜索的计算冗余。

优选地，以任意两个区域窗口即第一区域窗口和第二区域窗口为例，假设第一像素点与第二像素点为第一区域窗口图像中的两个相邻像素点，第三计算子模块536包括：第一计算单元、第二计算单元、第三计算单元、确定单元以及第四计算单元。

其中，第一计算单元用于计算第一像素点相对参考图像的视差值d，该第一像素点可以为中心点，也可以为生长点。

第二计算单元用于计算第二像素点与参考图像中对应像素点的相关值，其中，若第三像素点是在参考图像上且与第二像素点坐标相同的像素点，则参考图像中对应像素点是与第三像素点在Y方向上的坐标相同，X方向上间隔像素点个数等于|d|的像素点。第二计算单元在计算第二像素点与参考图像中对应像素点的相关值时，可通过图3所示实施例中的相关值计算模块计算二者的相关值，该处不再赘述。

第一确定单元用于在相关值大于或等于第一预设阈值时，确定第二像素点为“活动点”，停止生长过程，第二像素点相对参考图像的视差值等于d，其中，第一预设阈值为区域可信度高阈值，由激光散斑的随机分布特性通过概率分布计算得到，优选地，第一预设阈值为0.75。

第二确定单元用于在相关值小于或等于第二预设阈值时，确定第二像素点为“阴影点”，也即作为目标区域内物体的影子的点，该点可以在深度数据中设定为深度最大值，以表示为物体的影子点。其中，第二预设可信阈值小于第一可信阈值，为区域可信度低阈值，通过前期的光学实验对光斑图像中影子部分的光斑数量进行统计来确定第二预设可信阈值，优选地，第二预设阈值为0.25。

第三计算单元，用于在相关值小于第一预设阈值且大于第二预设阈值时，确定第二像素点为“未知点”，其视差值未知，通过第二区域的生长的邻居点进行更新，也即根据第二区域窗口图像中像素点相对参考图像的视差值计算第二像素点相对参考图像的视差值。

最后，介绍本具体实施方式提供的物体深度的检测方法。

图5是根据本发明第一实施例的物体深度的检测方法的流程图，如图5所示，该方法包括步骤S102至步骤S108：

步骤S102：图像发射装置向被测物体发射预设光学图像。

步骤S104：摄像装置采集经被测物体调制后的光学图像，得到目标图像，其中，图像发射装置与摄像装置间隔预设距离。

优选地，图像发射装置为红外激光发射器，摄像装置包括滤波器，其中，滤波器用于滤除外部环境中除红外激光之外的其他波长的光线，采用红外激光发射器以及相应的摄像装置，使得物体深度的检测系统不受环境光线影响，即使在比较暗的环境中仍然能够获取到物体的深度信息。

步骤S106：计算目标图像相对参考图像的视差值，其中，参考图像为摄像装置采集图像发射装置发射至平面的预设光学图像得到的图像。

该参考图像可以是通过该摄像装置在校正过程中采集的图像，也即图像发射装置将上述的预设光学图像发射至校正平面，摄像装置采集该平面上的光学图像得到参考图像，其中，该平面垂直于水平面，参考图像可以为预存的图像，也可以为采检测过程中拍摄得到的图像。

步骤S108：根据视差值计算被测物体的深度值。

在摄像装置进行拍摄时，由于视差的不同，距离摄像装置不同远近平面上的图像将发生位置偏移，在该实施例中，通过单个摄像装置拍摄经被测物体调制后的图像，将获取到与参考图像不同的含有图案位置偏移的目标图像，经与参考图像进行比较，即可计算出目标图像相对参考图像的视差值，进而获得被测物体的深度。

采用该实施例提供的物体深度的检测方法，仅需设置单个摄像装置便可完成物体深度的检测，与现有基于双目摄像头的检测方法相比，不但降低了检测成本，而且在计算物体的深度值时，处理的数据少，使得物体深度的检测效率提高。

图6是根据本发明第二实施例的物体深度的检测方法的流程图，如图6所示，该方法包括步骤S202至步骤S208：

步骤S202：获取目标图像和参考图像。

使用红外激光发射器打出一幅特定图案的光学图像，同时使用一个在特定位置的摄像头进行拍摄，该摄像头与红外激光发射器件相距固定的视差距离并含有滤波器件，可以滤除外部环境中的除红外激光外的其他波长的光线。红外激光发射器与摄像头拍摄同时进行，此时摄像头拍摄的图像为目标图像，并有一幅已知的参考图像。参考图像是同样通过该摄像头在校正过程中采集的目标图像，该参考图像采集的标准为垂直于水平面的校正平面进行拍摄，并已知该平面相对于摄像头在Z方向上的距离。

步骤S204：对目标图像进行区域分割。

每个区域网格的窗口大小预先定义，划分的区域网格时，每个区域窗口不能发生重叠和间隙，窗口大小为Grid_X*Grid_Y，Grid_X为区域窗口X方向的像素点数，Grid_Y为区域窗口Y方向的像素点数。

步骤S206：在每个区域窗口中选择一个像素点作为种子点。

每个区域窗口有相应的种子点，种子点位置随机，优选为非边缘地区，种子点的选取需要选择非边缘地区的原因是种子点要进行全视差范围匹配运算，边缘处不能完成全深度的视差匹配。

步骤S208：对种子点进行全视差范围的匹配，计算种子点的视差值。

首先计算种子点与参考图像中视差移动范围内各个像素点的相关值，得到多个相关值，然后确定最大相关值点，其中，最大相关值点为是视差移动范围内各个像素点中，与最大的相关值对应的像素点，最后确定种子点相对最大相关值点的视差值。

其中，采用以下方法计算种子点与参考图像中像素点的相关值：在参考图像中，与种子点A完全对应，也即坐标与种子点坐标相同的像素点为A′，在目标图像中取以种子点坐标为坐标原点的一个m*n的窗口图像，作为滤波器单元，在参考图像中取以A′坐标为坐标原点的一个m*n的窗口图像，采用以下公式计算A与A′的相关值：

$w(x,y)\⊗f(x,y)=\underset{s=-a}{\overset{a}{\mathrm{\Σ}}}\underset{t=-b}{\overset{b}{\mathrm{\Σ}}}w(s,t)f(x+s,y+t)$

其中，m=2a+1，n=2b+1，w(x,y)为目标图像的窗口图像像素点矩阵，f(x,y)为参考图像的窗口图像像素点矩阵。

之后继续以w(x,y)作为滤波器单元以参考图像的x轴方向，在视差移动范围内计算种子点与各个像素点的相关值，便可得到多个相关值。

在确定最大相关值点后，种子点相对最大相关值点的视差值的绝对值等于种子点相对参考图像中最大相关值点的视差偏移，具体地，该视差偏移为最大相关值点与像素点A′在X轴方向上间隔的像素点个数，最大相关值点在像素点A′左侧时，视差值为负，反之为正。

步骤S210：将种子点的坐标与视差值存储在生长队列，以每个区域图像中的种子点为中心点，通过区域生长算法获取目标图像的每个像素点的视差值。

种子点为生长的中心点，种子点的生长分别以一个像素点为单位，生长方向为四个方向生长，分别为种子点的上下左右四个方向，以种子点的视差值为基准进行视差的搜索，搜索范围为种子点的视差值d，d-1和d+1。

其中，当种子点的视差值为视差上限d_max时，搜索范围为d_max-1和d_max；当种子点的视差值为视差下限d_min时，搜索范围为d_min+1和d_min，视差值的上下限是由参考图像的拍摄平面在光场中的位置所决定，若拍摄平面离摄像头距离近，则搜索范围主要为右移，若拍摄平面距离摄像头远，则搜索范围主要为左移，搜索范围不能超过整个光场的表示范围。

通过对区域的划分，减少视差值搜索的计算冗余，在未达到区域相关的可信阈值情况下，使用其他区域生长视差值来取代本区域的视差搜索值，以获得全局的最优解。可信阈值是由激光散斑的随机分布特性通过概率分布计算推导得来。对于每个目标图像像素点的坐标与通过区域生长方式所获得的视差值对应放入队列。通过区域生长获得的目标图像的视差值，利用插值和深度换算，可以获取目标图像的每个点的视差值。

具体地，计算邻居点B与参考图像中对应像素点的相关值，采用步骤S210中相同的相关值计算方法，其中，若像素点B′是在参考图像上且与邻居点B坐标相同的像素点，则参考图像中对应像素点是与像素点B′在Y方向上的坐标相同，X方向上间隔像素点个数等于生长点视差值的像素点。

如果邻居点的最大相关值大于0.75则为大于可信度高阈值，标记为“活动点”；如果邻居点的相关值小于0.25则为小于可信度低阈值，标记为“阴影点”；如果邻居点的相关值大于0.25小于0.75为未知点，标记为“未知点”，对于“未知点”，视差值未知，通过其他区域的生长的邻居点进行更新，具体的更新步骤为：当区域M中出现未能获得视差值的未知点（x，y），则通过邻近的区域的“活动点”进行生长。在生长的过程中，优先选取X轴方向，即行向的邻近区域进行生长。选取邻近区域最靠近该未知点的活动点作为种子点，进行生长的搜索，最终获取当前未知点的最大相关值，若相关值仍然处于未知点的相关值大小，则选取Y轴方向的区域进行。相关值大于0.75时则停止生长过程作为当前点的最优视差值。

步骤S212：计算被测物体的视差值。

采用以下公式计算被测物体的深度值：

$Z=\frac{F}{d+d_{\mathrm{ref}}}$

其中，Z为为目标图像中像素点的深度值，d为该像素点相对参考图像的视差值，d_ref为常数，由平面相对摄像装置的深度决定，F为常数，由摄像装置的光学透镜属性以及图像发射装置与摄像装置的距离决定。

在该实施例中，首先使用红外激光作为光源通过特定的光学器件打出一幅特定并稳定的图案，光学器件部分包括透镜和特定的光栅。并同时使用单目摄像头进行拍摄，由于视差的不同，距离摄像头不同远近平面上图案将发生位置的偏移。采集经过外界物体调制后的图像，将获取到与参考图像不同的含有图案位置偏移的目标图像，之后通过与参考图像进行比较，即可以计算出相关的视差值。视差计算过程将通过对目标图像进行区域划分来进行生长，对每个区域计算该区域的种子点，并以种子点为中心进行生长，可以大幅度减少视差搜索的计算冗余性。最终结果可以获得目标区域每个像素点13位精度的深度值。其中，通过对区域的划分，减少视差搜索的计算冗余，在未达到区域相关的可信阈值情况下，使用其他区域生长视差值来取代本区域的视差搜索值，以获得全局的最优解。

采用该实施例提供的物体深度的检测方法，只需要使用单目摄像头，并且采用主动式获取到物体的深度信息；不受环境光的影响，使用红外激光作为投射的主动光；处理的数据少，对于视差计算进行了优化，大幅度减少了计算被测物体深度的运算量。

从以上的描述中，可以看出，本发明实现了如下技术效果：在检测物体深度时，仅需设置单个摄像装置拍摄物体，不但降低了检测成本，而且在计算物体的深度值时，处理的数据少，使得物体深度的检测效率提高。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种物体深度的检测方法，其特征在于，包括：

图像发射装置向被测物体发射预设光学图像；

摄像装置采集经所述被测物体调制后的光学图像，得到目标图像，其中，所述图像发射装置与所述摄像装置间隔预设距离；

计算所述目标图像相对参考图像的视差值，其中，所述参考图像为所述摄像装置采集所述图像发射装置发射至平面的所述预设光学图像得到的图像；以及

根据所述视差值计算所述被测物体的深度值；

其中，计算所述目标图像相对参考图像的视差值包括：将所述目标图像进行区域分割，得到多个预设大小的区域窗口图像；在每个区域窗口图像中选择任意一个像素点，计算被选像素点相对参考图像的视差值；以及以所述被选像素点为种子点，通过区域生长算法分别计算各个区域窗口图像中像素点相对参考图像的视差值。

2.根据权利要求1所述的物体深度的检测方法，其特征在于，

所述图像发射装置为红外激光发射器，所述摄像装置包括滤波器，其中，所述滤波器用于滤除外部环境中除红外激光之外的其他波长的光线。

3.根据权利要求1所述的物体深度的检测方法，其特征在于，计算所述目标图像相对参考图像的视差值包括：

计算所述目标图像的像素点与所述参考图像中视差移动范围内各个像素点的相关值，得到多个相关值；

确定最大相关值点，其中，所述最大相关值点为是所述视差移动范围内各个像素点中，与最大的相关值对应的像素点；以及

确定所述目标图像的像素点相对所述最大相关值点的视差值。

4.根据权利要求1所述的物体深度的检测方法，其特征在于，所述各个区域窗口包括第一区域窗口和第二区域窗口，通过区域生长算法计算所述第一区域窗口图像中像素点相对参考图像的视差值包括：

计算第一像素点相对参考图像的视差值，其中，所述第一像素点为所述第一区域窗口图像中的像素点；

计算第二像素点与所述参考图像中对应像素点的相关值，其中，所述第二像素点与所述第一像素点相邻；

在所述相关值大于或等于第一预设阈值时，确定所述第二像素点相对所述参考图像的视差值等于所述第一像素点相对所述参考图像的视差值；

在所述相关值小于或等于第二预设阈值时，确定所述第二像素点为阴影点，其中，所述第二预设阈值小于所述第一预设阈值；以及

在所述相关值小于所述第一预设阈值且大于所述第二预设阈值时，根据所述第二区域窗口图像中像素点相对所述参考图像的视差值计算所述第二像素点相对所述参考图像的视差值。

5.根据权利要求3或4所述的物体深度的检测方法，其特征在于，采用以下方法计算所述目标图像中像素点与所述参考图像中像素点的相关值：

在所述目标图像中获取子图像，得到第一子图像，其中，所述第一子图像为在所述目标图像中，以所述目标图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；

在所述参考图像中获取子图像，得到第二子图像，其中，所述第二子图像为在所述参考图像中，以所述参考图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；以及

采用以下公式计算所述第一子图像与所述第二子图像的相关值：

$w(x,y)\⊗f(x,y)=\underset{s=-a}{\overset{a}{\Σ}}\underset{t=-b}{\overset{b}{\Σ}}w(s,t)f(x+s,y+t)$

其中，m＝2a+1，n＝2b+1，w(x,y)为所述第一子图像的像素点矩阵，f(x,y)为所述第二子图像的像素点矩阵。

6.根据权利要求1所述的物体深度的检测方法，其特征在于，所述被选像素点为区域窗口图像上非边缘地区的像素点。

7.根据权利要求1所述的物体深度的检测方法，其特征在于，采用以下公式计算所述被测物体的深度值：

$Z=\frac{F}{d+d_{ref}}$

其中，Z为所述深度值，d为所述目标图像的相对所述参考图像的视差值，d_ref为常数，由所述平面相对所述摄像装置的深度决定，F为常数，由所述摄像装置的光学透镜属性以及所述图像发射装置与所述摄像装置的距离决定。

8.一种物体深度的检测装置，其特征在于，包括：

获取模块，用于通过摄像装置获取目标图像，其中，图像发射装置向被测物体发射预设光学图像，所述摄像装置采集经所述被测物体调制后的光学图像，得到所述目标图像，所述图像发射装置与所述摄像装置间隔预设距离；

第一计算模块，用于计算所述目标图像相对参考图像的视差值，其中，所述参考图像为所述摄像装置采集所述图像发射装置发射至平面的所述预设光学图像得到的图像；以及

第二计算模块，用于根据所述视差值计算所述被测物体的深度值；

其中，所述第一计算模块包括：分割子模块，用于将所述目标图像进行区域分割，得到多个预设大小的区域窗口图像；第二计算子模块，用于在每个区域窗口图像中选择任意一个像素点，计算被选像素点相对参考图像的视差值；以及第三计算子模块，用于以所述被选像素点为种子点，通过区域生长算法分别计算各个区域窗口图像中像素点相对参考图像的视差值。

9.根据权利要求8述的物体深度的检测装置，其特征在于，所述第一计算模块包括：

第一计算子模块，用于计算所述目标图像的像素点与所述参考图像中视差移动范围内各个像素点的相关值，得到多个相关值；

第一确定子模块，用于确定最大相关值点，其中，所述最大相关值点为是所述视差移动范围内各个像素点中，与最大的相关值对应的像素点；以及

第二确定子模块，用于确定所述目标图像的像素点相对所述最大相关值点的视差值。

10.根据权利要求8所述的物体深度的检测装置，其特征在于，所述各个区域窗口包括第一区域窗口和第二区域窗口，所述第三计算子模块包括：

第一计算单元，用于计算第一像素点相对参考图像的视差值，其中，所述第一像素点为所述第一区域窗口图像中的像素点；

第二计算单元，用于计算第二像素点与所述参考图像中对应像素点的相关值，其中，所述第二像素点与所述第一像素点相邻；

第一确定单元，用于在所述相关值大于或等于第一预设阈值时，确定所述第二像素点相对所述参考图像的视差值等于所述第一像素点相对所述参考图像的视差值；

第二确定单元，用于在所述相关值小于或等于第二预设阈值时，确定所述第二像素点为阴影点，其中，所述第二预设阈值小于所述第一预设阈值；以及

第三计算单元，用于在所述相关值小于所述第一预设阈值且大于所述第二预设阈值时，根据所述第二区域窗口图像中像素点相对所述参考图像的视差值计算所述第二像素点相对所述参考图像的视差值。

11.根据权利要求9或10所述的物体深度的检测装置，其特征在于，还包括相关值计算模块，用于计算所述目标图像中像素点与所述参考图像中像素点的相关值，其中，所述相关值计算模块包括：

第一获取子模块，用于在所述目标图像中获取子图像，得到第一子图像，其中，所述第一子图像为在所述目标图像中，以所述目标图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；

第二获取子模块，用于在所述参考图像中获取子图像，得到第二子图像，其中，所述第二子图像为在所述参考图像中，以所述参考图像中像素点为坐标原点、X方向上的像素点数为m且Y方向上的像素点数为n的区域的图像；以及

第四计算子模块，用于采用以下公式计算所述第一子图像与所述第二子图像的相关值：

$w(x,y)\⊗f(x,y)=\underset{s=-a}{\overset{a}{\Σ}}\underset{t=-b}{\overset{b}{\Σ}}w(s,t)f(x+s,y+t)$

其中，m＝2a+1，n＝2b+1，w(x,y)为所述第一子图像的像素点矩阵，f(x,y)为所述第二子图像的像素点矩阵。

12.根据权利要求8所述的物体深度的检测装置，其特征在于，所述第二计算模块采用以下公式计算所述被测物体的深度值：

$Z=\frac{F}{d+d_{ref}}$

其中，Z为所述深度值，d为所述目标图像的相对所述参考图像的视差值，d_ref为常数，由所述平面相对所述摄像装置的深度决定，F为常数，由所述摄像装置的光学透镜属性以及所述图像发射装置与所述摄像装置的距离决定。

13.一种物体深度的检测系统，其特征在于，包括：

图像发射装置，用于将预设光学图像发射至被测物体；

摄像装置，与所述图像发射装置间隔预设距离，用于采集经所述被测物体调制后的光学图像，得到目标图像；以及

处理装置，用于计算所述目标图像相对参考图像的视差值，并根据所述视差值计算所述被测物体的深度值，其中，所述参考图像为所述摄像装置采集所述图像发射装置发射至平面的所述预设光学图像得到的图像；

其中，所述处理模块通过以下步骤计算所述目标图像相对参考图像的视差值：将所述目标图像进行区域分割，得到多个预设大小的区域窗口图像；在每个区域窗口图像中选择任意一个像素点，计算被选像素点相对参考图像的视差值；以及以所述被选像素点为种子点，通过区域生长算法分别计算各个区域窗口图像中像素点相对参考图像的视差值。

14.根据权利要求13所述的物体深度的检测系统，其特征在于，

所述图像发射装置为红外激光发射器；以及

所述摄像装置包括滤波器，其中，所述滤波器用于滤除外部环境中除红外激光之外的其他波长的光线。