CN106875443A - 基于灰度约束的三维数字散斑的整像素搜索方法及装置 - Google Patents

Abstract

本发明公开了一种基于灰度约束的三维数字散斑的整像素搜索方法及装置，该方法包括：按照待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围，选取投影校正后的该左散斑图像的该散斑区域中像素点作为待测像素点，并在投影校正后的该右散斑图像上选取与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点，使得依据该匹配点与该待测像素点进行相关函数运算，得到整像素对应点，这样可以在极大程度上减少相关函数运算的运算次数，从而缩短运算时长，可以快速的搜索到整像素对应点，提高搜索对应点的效率。

Description

基于灰度约束的三维数字散斑的整像素搜索方法及装置

技术领域

本发明属于图像处理领域，尤其涉及一种基于灰度约束的三维数字散斑的整像素搜索方法及装置。

背景技术

数字散斑相关方法(DSCM，Digital Speckle Correlation Method)是日本的Yamaguchi和美国的Peters等人分别独立提出的，其基本原理是利用区域灰度相似性搜索对应点，从而实现物体位移和变形的测量。经典的数字散斑相关搜索方法有双参数法、粗细搜索法、十字搜索法等。传统的数字散斑相关方法只能测量面内位移，所以其只适用于二维变形场的测量。随着立体视觉技术的发展，将其与数字散斑相关方法相结合，可用于三维物体的轮廓测量和变形测量，称为三维数字散斑相关方法。该三维数字散斑相关方法的基本过程是首先使用数字散斑相关方法搜索到整像素级的对应点，然后使用亚像素优化方法得到更精确的亚像素对应点位置，再使用双目立体视觉重建得到三维物体的三维坐标。因此搜索整像素级的对应点的过程是直接影响后续重建三维物体的三维坐标，搜索整像素级的对应点的过程显得尤为重要。

现有的整像素对应点的搜索方法，通常利用双目立体视觉的极线约束，将相关搜索从二维约束到一维，即将对应点的搜索限制在极线上，而非整个图像上，从而可以适当的提高搜索效率。由于原始极线是倾斜的，相关搜索不方便，而且虽然增加了搜索限制，但是依然需要对搜索限制内的待匹配点进行相关函数运算，该搜索的计算量依然很庞大，耗费了大量的时间，搜索效率依然不高，进而影响建立三维物体的三维坐标的效率。

发明内容

本发明提供一种基于灰度约束的三维数字散斑的整像素搜索方法及装置，旨在解决由于现有的整像素对应点的搜索方法依然需要通过大量的计算搜索对应点，进而导致耗时长，搜索效率低的问题。

本发明提供的一种基于灰度约束的三维数字散斑的整像素搜索方法，包括：

通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于所述投影装置两侧的成像装置分别采集带有所述待测物体的左、右散斑图像；

通过为所述左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将所述平均差值大于预置数值的像素点所形成的区域作为散斑区域，将所述散斑区域即为物体区域，分别在所述左、右散斑图像中划分出所述物体区域和背景区域；

分别提取划分后的所述左、右散斑图像中的第一极线和第二极线，校正所述第一极线平行于划分后的所述左散斑图像所在坐标系的横轴，以及校正所述第二极线平行于划分后的所述右散斑图像所在坐标系的横轴，并校正所述第一极线和所述第二极线为位于同一水平线的直线，得到投影校正后的所述左散斑图像和投影校正后的所述右散斑图像；

按照所述待测物体的预置深度范围，计算投影校正后的所述右散斑图像的视差约束范围；

选取投影校正后的所述左散斑图像的所述散斑区域中像素点作为待测像素点，并在投影校正后的所述右散斑图像上选取与所述待测像素点位于相同行数且位于所述视差约束范围内的待匹配像素点，通过对所述待测像素点的灰度值和所述待匹配像素点的灰度值进行灰度约束运算，从所述待匹配像素点中选出匹配点，使得依据所述匹配点与所述待测像素点进行相关函数运算，得到整像素对应点。

本发明提供的一种基于灰度约束的三维数字散斑的整像素搜索装置，包括：

采集模块，用于通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于所述投影装置两侧的成像装置分别采集带有所述待测物体的左、右散斑图像；

图像处理模块，用于执行以下步骤：

通过为所述左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将所述平均差值大于预置数值的像素点所形成的区域作为散斑区域，将所述散斑区域即为物体区域，分别在所述左、右散斑图像中划分出所述物体区域和背景区域；

分别提取划分后的所述左、右散斑图像中的第一极线和第二极线，校正所述第一极线平行于划分后的所述左散斑图像所在坐标系的横轴，以及校正所述第二极线平行于划分后的所述右散斑图像所在坐标系的横轴，并校正所述第一极线和所述第二极线为位于同一水平线的直线，得到投影校正后的所述左散斑图像和投影校正后的所述右散斑图像；

按照所述待测物体的预置深度范围，计算投影校正后的所述右散斑图像的视差约束范围；

选取投影校正后的所述左散斑图像的所述散斑区域中像素点作为待测像素点，并在投影校正后的所述右散斑图像上选取与所述待测像素点位于相同行数且位于所述视差约束范围内的待匹配像素点，通过对所述待测像素点的灰度值和所述待匹配像素点的灰度值进行灰度约束运算，从所述待匹配像素点中选出匹配点，使得依据所述匹配点与所述待测像素点进行相关函数运算，得到整像素对应点。

本发明提供的基于灰度约束的三维数字散斑的整像素搜索方法及装置，通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于该投影装置两侧的成像装置分别采集带有该待测物体的左、右散斑图像，通过为该左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将该平均差值大于预置数值的像素点所形成的区域作为散斑区域，将该散斑区域即为物体区域，分别在该左、右散斑图像中划分出该物体区域和背景区域，分别提取划分后的该左、右散斑图像中的第一极线和第二极线，校正该第一极线平行于划分后的该左散斑图像所在坐标系的横轴，以及校正该第二极线平行于划分后的该右散斑图像所在坐标系的横轴，并校正该第一极线和该第二极线为位于同一水平线的直线，得到投影校正后的该左散斑图像和投影校正后的该右散斑图像，其中该第一极线和该第二极线为共轭极线，按照该待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围，选取投影校正后的该左散斑图像的该散斑区域中像素点作为待测像素点，并在投影校正后的该右散斑图像上选取与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点，使得依据该匹配点与该待测像素点进行相关函数运算，得到整像素对应点，这样通过算出的视差约束范围可以减少部分的计算量，再通过灰度约束运算进一步排除视差约束范围内不需要进行相关函数运算的待匹配点，相较于现有技术可以在极大程度上减少相关函数运算的运算次数，从而缩短相关函数运算的时长，可以快速的搜索到整像素的对应点，提高了搜索该对应点的效率，从而可以提高建立三维物体的三维坐标的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明第一实施例提供的基于灰度约束的三维数字散斑的整像素搜索方法的实现流程示意图；

图2是本发明实施例提供的投影装置和成像装置的位置示意图；

图3是本发明实施例提供的左散斑图像的示意图；

图4是本发明实施例提供的投影校正前的左散斑图像和右散斑图像的示意图；

图5是本发明实施例提供的投影校正后的左散斑图像和右散斑图像的示意图；

图6是本发明实施例提供的投影校正后右散斑图像中沿着水平极线(第二极线)搜索整像素对应点的示意图；

图7是本发明实施例提供的投影校正后的右散斑图像中沿着该视差约束范围内的水平极线(第二极线)搜索整像素对应点的示意图；

图8是本发明第二实施例提供的基于灰度约束的三维数字散斑的整像素搜索装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明第一实施例提供基于灰度约束的三维数字散斑的整像素搜索方法的实现流程示意图，可应用于具有图像处理功能的电子设备中，如计算机，图1所示的基于灰度约束的三维数字散斑的整像素搜索方法，主要包括以下步骤：

S101、通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于该投影装置两侧的成像装置分别采集带有该待测物体的左、右散斑图像。

如图2所示，图2为投影装置和成像装置的位置示意图。从图2中可以看出，两个成像装置，如相机等位于投影装置的两侧。需要说明的是，为了便于说明，在本发明的所有实施例中将位于该投影装置的左侧的成像装置称为左成像装置；位于该投影装置右侧的称为右成像装置，设从该左成像装置采集到的图像为左散斑图像，从该右成像装置采集到的图像为右散斑图像。其中该投影装置和两个成像装置组成了传统的双目立体视觉装置。图3为左散斑图像。如图3所示，具有散斑图案的区域为该待测物体。

S102、通过为该左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将该平均差值大于预置数值的像素点所形成的区域作为散斑区域，将该散斑区域即为物体区域，分别在该左、右散斑图像中划分出该物体区域和背景区域。

进一步地，通过为该左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值具体为：

分别在该左散斑图像和该右散斑图像中选取目标像素点，并以该目标像素点为中心点设置邻域子窗口，并计算该邻域子窗口内所有像素点的灰度值的平均差值；

计算平均差值的公式为：其中g(x,y)为该邻域子窗口内所有像素点的灰度值，AD为该平均差值。

需要说明的是，在左散斑图像中，每个像素点均要作为目标像素点对应的算出平均差值，这样每个像素点对应一个AD值；同理右散斑图像中，每个像素点均要作为目标像素点对应的算出平均差值，这样每个像素点对应一个AD值。

优选地，该预置数值为3。在该左散斑图像中，首先对每个像素点均对应算出一个平均差值，然后选取平均差值大于3的像素点所形成的区域为散斑区域，该散斑区域为该左散斑图像中该待测物品的区域；同样地，在该右散斑图像中，首先对每个像素点均对应算出一个平均差值，然后选取平均差值大于3的像素点所形成的区域为散斑区域，该散斑区域为该右散斑图像中该待测物品的区域。

S103、分别提取划分后的该左、右散斑图像中的第一极线和第二极线，校正该第一极线平行于划分后的该左散斑图像所在坐标系的横轴，以及校正该第二极线平行于划分后的该右散斑图像所在坐标系的横轴，并校正该第一极线和该第二极线为位于同一水平线的直线，得到投影校正后的该左散斑图像和投影校正后的该右散斑图像。

该第一极线和该第二极线为共轭极线。需要说明的是，本发明实施例中坐标系均为像素级坐标系，在图像处理领域中，像素级坐标系以u表示横轴，v表示纵轴，原点为位于图像中左上角的像素点，即图像的第一个像素点。

一开始提取到的第一极线和第二极线是倾斜的极线，所以通过校正极线的方式对图像进行校正，具体校正的方式如下：

首先通过矩阵变换分别将左散斑图像和右散斑图像的极点变换至u轴方向的无穷处，使得第一极线和第二极线由倾斜的极线转换为与像素级坐标系横轴(u轴)平行的极线。然后计算极线垂直位置的调整系数，计算该调整系数的线性方程组为：

其中，(v_l1,v_l2,…,v_ln)为第一极线与左散斑图像的坐标系中v轴的交点的集合，(v_r1,v_r2,…,v_rn)为该第二极线与右散斑图像的坐标系中v坐标轴的交点的集合，k和b为调整系数。

对于左、右散斑图像的投影校正，该左散斑图像的投影校正表达式为：

其中，(u′_l,v′_l)为投影校正后的左散斑图像中各像素点的坐标，(u_l,v_l)为左散斑图像中各像素点的坐标，(u_l0,v_l0)为左散斑图像中极点坐标。

该右散斑图像的投影校正表达式为：

其中，(u′_r,v′_r)为投影校正后的右散斑图像中各像素点的坐标，(u_r,v_r)为右散斑图像中各像素点的坐标，(u_r0,v_r0)为右散斑图像中极点坐标，k、b为极线垂直方向调整系数。如图4和图5所示，图4为投影校正前的左散斑图像和右散斑图像，图5为投影校正后的左散斑图像和右散斑图像。

S104、按照该待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围。

进一步地，按照该待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围具体为：

按照该待测物体的预置深度范围，选取距离投影校正后的该左散斑图像中各像素点对应的最近点和最远点，并将该最近点和该最远点投影到投影校正后的该右散斑图像的该第二极线上，并将在该第二极线上的投影点之间的范围作为该视差约束范围。

如图6和图7所示，图6为投影校正后右散斑图像中沿着水平极线(第二极线)搜索整像素对应点的示意图，图7为投影校正后的右散斑图像中沿着该视差约束范围内的该水平极线(第二极线)搜索整像素对应点的示意图。从图6和图7中明显可以看出，图7中视差约束范围内的该水平极线短于图6中的，进而该视差约束范围可以缩短搜索整像素对应点的范围。

S105、选取投影校正后的该左散斑图像的该散斑区域中像素点作为待测像素点，并在投影校正后的该右散斑图像上选取与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点，使得依据该匹配点与该待测像素点进行相关函数运算，得到整像素对应点。

进一步地，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点具体为：

计算该待测像素点的灰度值和该待匹配像素点的灰度值之间的差值的绝对值，将该绝对值与灰度约束阈值进行比较；

若该绝对值小于该灰度约束阈值，则选取该绝对值对应的待匹配像素点作为匹配点；

其中该灰度约束运算的公式为：|g(x′,y′)-f(x,y)|＜threshold，f(x,y)为该待测像素点的灰度值，g(x′,y′)为与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点的灰度值，threshold为灰度约束阈值。

该灰度约束阈值取值为：若非电信号同步采集获取的散斑图像，则灰度约束阈值为20，若电信号同步采集获取的散斑图像，该灰度约束阈值为12。

在现有技术中，由于在下一步相关函数运算过程中需要遍历整个右散斑图像的像素点，通过视差约束范围可以减少在右散斑图像中遍历像素点的个数，即只需遍历视差约束范围内的像素点即可，进一步地，相较于视差约束范围通过灰度约束运算可以进一步地缩小遍历的范围。也就是说，经过灰度约束运算的遍历范围是比图7中视差约束范围内的该水平极线长度更短的水平极线。故，相较于现有技术和视差约束范围，在右散斑图像中通过灰度约束运算进一步地减少待相关函数运算的像素点，从而减少相关函数的运算次数，达到提高整像素对应点的搜索效率。

进一步地，步骤S105之后，该方法还包括：

提取投影校正后的该左散斑图像中该待测像素点，并对提取的该待测像素点和灰度约束运算后选出的该匹配点进行相关函数运算，算出相关系数；

选取该相关系数最大值对应的该待测像素点作为该整像素对应点，其中该相关函数运算公式为：

其中C为该相关系数，m为预置子窗口的边长，f(x_i,y_j)为在投影校正后的该左散斑图像中以该待测像素点为中心点的该预置子窗口内的像素点的灰度值，g(x′_i,y′_j)为在投影校正后的该右散斑图像中以该匹配点为中心点的该预置子窗口内的像素点的灰度值，和分别是投影校正后的该左散斑图像和投影校正后的该右散斑图像的该预置子窗口内所有像素点的平均灰度值。

需要说明的是，在投影校正后的该左散斑图像中，散斑区域内的像素点均要作为该待测像素点，换言之，通过散斑区域内的每个像素点均算出对应的整像素对应点，那么每提取一个待测像素点，就需要与灰度约束运算后选出的该匹配点进行相关函数运算，其中该灰度约束运算后选出的该匹配点为从视差约束范围内该待匹配像素点中选出的满足灰度约束运算公式的多个像素点。

下面以实际仿真为例对本发明实施例所描述的方法的效果进行说明，具体说明如下：

相关函数运算中的该预置子窗口为9×9时，只使用视差约束的方法的搜索时间为7.24s，而设灰度约束阈值为20，使用灰度约束后的搜索时间为2.15s，缩短了5.09s，约提高了2倍的效率。并且随着该预置子窗口的加大，缩短的时间更为明显，同时二者最终三维重建结果是相同的。

进一步地，如果灰度约束阈值取值为12时，相较于只使用视差约束，效率可以提高4倍。

本发明实施例中，通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于该投影装置两侧的成像装置分别采集带有该待测物体的左、右散斑图像，通过为该左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将该平均差值大于预置数值的像素点所形成的区域作为散斑区域，将该散斑区域即为物体区域，分别在该左、右散斑图像中划分出该物体区域和背景区域，分别提取划分后的该左、右散斑图像中的第一极线和第二极线，校正该第一极线平行于划分后的该左散斑图像所在坐标系的横轴，以及校正该第二极线平行于划分后的该右散斑图像所在坐标系的横轴，并校正该第一极线和该第二极线为位于同一水平线的直线，得到投影校正后的该左散斑图像和投影校正后的该右散斑图像，按照该待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围，选取投影校正后的该左散斑图像的该散斑区域中像素点作为待测像素点，并在投影校正后的该右散斑图像上选取与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点，使得依据该匹配点与该待测像素点进行相关函数运算，得到整像素对应点，这样通过算出的视差约束范围可以减少部分的计算量，再通过灰度约束运算进一步排除视差约束范围内不需要进行相关函数运算的待匹配点，相较于现有技术可以在极大程度上减少相关函数运算的运算次数，从而缩短相关函数运算的时长，可以快速的搜索到整像素的对应点，提高了搜索该对应点的效率，从而可以提高建立三维物体的三维坐标的效率。

请参阅图8，图8是本发明第二实施例提供的基于灰度约束的三维数字散斑的整像素搜索装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图8示例的基于灰度约束的三维数字散斑的整像素搜索装置可以是前述图1所示实施例提供的基于灰度约束的三维数字散斑的整像素搜索方法的执行主体。图8示例的基于灰度约束的三维数字散斑的整像素搜索装置，主要包括：采集模块801、图像处理模块802和计算模块803。以上各功能模块详细说明如下：

采集模块801，用于通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于该投影装置两侧的成像装置分别采集带有该待测物体的左、右散斑图像。

图像处理模块802，用于通过为该左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将该平均差值大于预置数值的像素点所形成的区域作为散斑区域，将该散斑区域即为物体区域，分别在该左、右散斑图像中划分出该物体区域和背景区域。

进一步地，图像处理模块802，还用于分别在该左散斑图像和该右散斑图像中选取目标像素点，并以该目标像素点为中心点设置邻域子窗口，并计算该邻域子窗口内所有像素点的灰度值的平均差值；

计算平均差值的公式为：其中g(x,y)为该邻域子窗口内所有像素点的灰度值，AD为该平均差值。

需要说明的是，在左散斑图像中，每个像素点均要作为目标像素点对应的算出平均差值，这样每个像素点对应一个AD值；同理右散斑图像中，每个像素点均要作为目标像素点对应的算出平均差值，这样每个像素点对应一个AD值。

优选地，该预置数值为3。在该左散斑图像中，首先对每个像素点均对应算出一个平均差值，然后选取平均差值大于3的像素点所形成的区域为散斑区域，该散斑区域为该左散斑图像中该待测物品的区域；同样地，在该右散斑图像中，首先对每个像素点均对应算出一个平均差值，然后选取平均差值大于3的像素点所形成的区域为散斑区域，该散斑区域为该右散斑图像中该待测物品的区域。

图像处理模块802，还用于分别提取划分后的该左、右散斑图像中的第一极线和第二极线，校正该第一极线平行于划分后的该左散斑图像所在坐标系的横轴，以及校正该第二极线平行于划分后的该右散斑图像所在坐标系的横轴，并校正该第一极线和该第二极线为位于同一水平线的直线，得到投影校正后的该左散斑图像和投影校正后的该右散斑图像。

该第一极线和该第二极线为共轭极线。需要说明的是，本发明实施例中坐标系均为像素级坐标系，在图像处理领域中，像素级坐标系以u表示横轴，v表示纵轴，原点为位于图像中左上角的像素点，即图像的第一个像素点。

一开始提取到的第一极线和第二极线是倾斜的极线，所以通过校正极线的方式对图像进行校正，具体校正的方式如下：

首先通过矩阵变换分别将左散斑图像和右散斑图像的极点变换至u轴方向的无穷处，使得第一极线和第二极线由倾斜的极线转换为与像素级坐标系横轴(u轴)平行的极线。然后计算极线垂直位置的调整系数，计算该调整系数的线性方程组为：

其中，(v_l1,v_l2,…,v_ln)为第一极线与左散斑图像的坐标系中v轴的交点的集合，(v_r1,v_r2,…,v_rn)为该第二极线与右散斑图像的坐标系中v坐标轴的交点的集合，k和b为调整系数。

对于左、右散斑图像的投影校正，该左散斑图像的投影校正表达式为：

其中，(u′_l,v′_l)为投影校正后的左散斑图像中各像素点的坐标，(u_l,v_l)为左散斑图像中各像素点的坐标，(u_l0,v_l0)为左散斑图像中极点坐标。

该右散斑图像的投影校正表达式为：

其中，(u′_r,v′_r)为投影校正后的右散斑图像中各像素点的坐标，(u_r,v_r)为右散斑图像中各像素点的坐标，(u_r0,v_r0)为右散斑图像中极点坐标，k、b为极线垂直方向调整系数。

图像处理模块802，还用于按照该待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围。

进一步地，图像处理模块802，还用于按照该待测物体的预置深度范围，选取距离投影校正后的该左散斑图像中各像素点对应的最近点和最远点，并将该最近点和该最远点投影到投影校正后的该右散斑图像的该第二极线上，并将在该第二极线上的投影点之间的范围作为该视差约束范围。

图像处理模块802，还用于选取投影校正后的该左散斑图像的该散斑区域中像素点作为待测像素点，并在投影校正后的该右散斑图像上选取与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点，使得依据该匹配点与该待测像素点进行相关函数运算，得到整像素对应点。

进一步地，图像处理模块802，还用于执行以下步骤：

计算该待测像素点的灰度值和该待匹配像素点的灰度值之间的差值的绝对值，将该绝对值与灰度约束阈值进行比较；

若该绝对值小于该灰度约束阈值，则选取该绝对值对应的待匹配像素点作为匹配点；

其中该灰度约束运算的公式为：|g(x′,y′)-f(x,y)|＜threshold，f(x,y)为该待测像素点的灰度值，g(x′,y′)为与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点的灰度值，threshold为灰度约束阈值。

该灰度约束阈值取值为：若非电信号同步采集获取的散斑图像，则灰度约束阈值为20，若电信号同步采集获取的散斑图像，该灰度约束阈值为12。

进一步地，该装置还包括：计算模块803；

计算模块803，用于提取投影校正后的该左散斑图像中该待测像素点，并对提取的该待测像素点和灰度约束运算后选出的该匹配点进行相关函数运算，算出相关系数；

计算模块803，还用于选取该相关系数最大值对应的该待测像素点作为该整像素对应点；

其中该相关函数运算公式为：

其中C为该相关系数，m为预置子窗口的边长，f(x_i,y_j)为在投影校正后的该左散斑图像中以该待测像素点为中心点的该预置子窗口内的像素点的灰度值，g(x′_i,y′_j)为在投影校正后的该右散斑图像中以该匹配点为中心点的该预置子窗口内的像素点的灰度值，和分别是投影校正后的该左散斑图像和投影校正后的该右散斑图像的该预置子窗口内所有像素点的平均灰度值。

需要说明的是，在投影校正后的该左散斑图像中，散斑区域内的像素点均要作为该待测像素点，换言之，通过散斑区域内的每个像素点均算出对应的整像素对应点，那么每提取一个待测像素点，就需要与灰度约束运算后选出的该匹配点进行相关函数运算，其中该灰度约束运算后选出的该匹配点为从视差约束范围内该待匹配像素点中选出的满足灰度约束运算公式的多个像素点。

本实施例未尽之细节，请参阅前述图1所示实施例的描述，此处不再赘述。

本发明实施例中，采集模块801通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于该投影装置两侧的成像装置分别采集带有该待测物体的左、右散斑图像，图像处理模块802通过为该左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将该平均差值大于预置数值的像素点所形成的区域作为散斑区域，将该散斑区域即为物体区域，分别在该左、右散斑图像中划分出该物体区域和背景区域，分别提取划分后的该左、右散斑图像中的第一极线和第二极线，校正该第一极线平行于划分后的该左散斑图像所在坐标系的横轴，以及校正该第二极线平行于划分后的该右散斑图像所在坐标系的横轴，并校正该第一极线和该第二极线为位于同一水平线的直线，得到投影校正后的该左散斑图像和投影校正后的该右散斑图像，按照该待测物体的预置深度范围，计算投影校正后的该右散斑图像的视差约束范围，选取投影校正后的该左散斑图像的该散斑区域中像素点作为待测像素点，并在投影校正后的该右散斑图像上选取与该待测像素点位于相同行数且位于该视差约束范围内的待匹配像素点，通过对该待测像素点的灰度值和该待匹配像素点的灰度值进行灰度约束运算，从该待匹配像素点中选出匹配点，使得依据该匹配点与该待测像素点进行相关函数运算，得到整像素对应点，这样通过算出的视差约束范围可以减少部分的计算量，再通过灰度约束运算进一步排除视差约束范围内不需要进行相关函数运算的待匹配点，相较于现有技术可以在极大程度上减少相关函数运算的运算次数，从而缩短相关函数运算的时长，可以快速的搜索到整像素的对应点，提高了搜索该对应点的效率，从而可以提高建立三维物体的三维坐标的效率。

在本申请所提供的多个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，装置或模块的间接耦合或通信链接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的基于灰度约束的三维数字散斑的整像素搜索方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于灰度约束的三维数字散斑的整像素搜索方法，其特征在于，包括：

通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于所述投影装置两侧的成像装置分别采集带有所述待测物体的左、右散斑图像；

通过为所述左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将所述平均差值大于预置数值的像素点所形成的区域作为散斑区域，将所述散斑区域即为物体区域，分别在所述左、右散斑图像中划分出所述物体区域和背景区域；

分别提取划分后的所述左、右散斑图像中的第一极线和第二极线，校正所述第一极线平行于划分后的所述左散斑图像所在坐标系的横轴，以及校正所述第二极线平行于划分后的所述右散斑图像所在坐标系的横轴，并校正所述第一极线和所述第二极线为位于同一水平线的直线，得到投影校正后的所述左散斑图像和投影校正后的所述右散斑图像；

按照所述待测物体的预置深度范围，计算投影校正后的所述右散斑图像的视差约束范围；

选取投影校正后的所述左散斑图像的所述散斑区域中像素点作为待测像素点，并在投影校正后的所述右散斑图像上选取与所述待测像素点位于相同行数且位于所述视差约束范围内的待匹配像素点，通过对所述待测像素点的灰度值和所述待匹配像素点的灰度值进行灰度约束运算，从所述待匹配像素点中选出匹配点，使得依据所述匹配点与所述待测像素点进行相关函数运算，得到整像素对应点。

2.根据权利要求1所述的方法，其特征在于，所述通过对所述待测像素点的灰度值和所述待匹配像素点的灰度值进行灰度约束运算，从所述待匹配像素点中选出匹配点包括：

计算所述待测像素点的灰度值和所述待匹配像素点的灰度值之间的差值的绝对值，将所述绝对值与灰度约束阈值进行比较；

若所述绝对值小于所述灰度约束阈值，则选取所述绝对值对应的待匹配像素点作为匹配点；

其中所述灰度约束运算的公式为：|g(x′,y′)-f(x,y)|＜threshold，f(x,y)为所述待测像素点的灰度值，g(x′,y′)为与所述待测像素点位于相同行数且位于所述视差约束范围内的待匹配像素点的灰度值，threshold为灰度约束阈值。

3.根据权利要求2所述的方法，其特征在于，所述通过为所述左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值包括：

分别在所述左散斑图像和所述右散斑图像中选取目标像素点，并以所述目标像素点为中心点设置邻域子窗口，并计算所述邻域子窗口内所有像素点的灰度值的平均差值；

计算平均差值的公式为：其中g(x,y)为所述邻域子窗口内所有像素点的灰度值，AD为所述平均差值。

4.根据权利要求2所述的方法，其特征在于，所述通过对所述待测像素点的灰度值和所述待匹配像素点的灰度值进行灰度约束运算，从所述待匹配像素点中选出匹配点，使得依据所述匹配点与所述待测像素点进行相关函数运算，得到整像素对应点之后还包括：

提取投影校正后的所述左散斑图像中所述待测像素点，并对提取的所述待测像素点和灰度约束运算后选出的所述匹配点进行相关函数运算，算出相关系数；

选取所述相关系数最大值对应的所述待测像素点作为所述整像素对应点；

其中所述相关函数运算公式为：

$C=\frac{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m\[f(x_i,y_j)-\stackrel{\‾}{f}\]\[g(x_i^{\′},y_j^{\′})-\stackrel{\‾}{g}\]}{\sqrt{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m{\[f(x_i,y_j)-\stackrel{\‾}{f}\]}^2}\sqrt{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m{\[g(x_i^{\′},y_j^{\′})-\stackrel{\‾}{g}\]}^2}}$

其中C为所述相关系数，m为预置子窗口的边长，f(x_i,y_j)为在投影校正后的所述左散斑图像中以所述待测像素点为中心点的所述预置子窗口内的像素点的灰度值，g(x_i′,y′_j)为在投影校正后的所述右散斑图像中以所述匹配点为中心点的所述预置子窗口内的像素点的灰度值，和分别是投影校正后的所述左散斑图像和投影校正后的所述右散斑图像的所述预置子窗口内所有像素点的平均灰度值。

5.根据权利要求4所述的方法，其特征在于，所述按照所述待测物体的预置深度范围，计算投影校正后的所述右散斑图像的视差约束范围包括：

按照所述待测物体的预置深度范围，选取距离投影校正后的所述左散斑图像中各像素点对应的最近点和最远点，并将所述最近点和所述最远点投影到投影校正后的所述右散斑图像的所述第二极线上，并将在所述第二极线上的投影点之间的范围作为所述视差约束范围。

6.一种基于灰度约束的三维数字散斑的整像素搜索装置，其特征在于，所述装置包括：

采集模块，用于通过投影装置向待测物体表面投影随机数字散斑图案，通过放置于所述投影装置两侧的成像装置分别采集带有所述待测物体的左、右散斑图像；

图像处理模块，用于执行以下步骤：

通过为所述左、右散斑图像中每个像素点设置的邻域子窗口计算每个像素点对应的平均差值，并将所述平均差值大于预置数值的像素点所形成的区域作为散斑区域，将所述散斑区域即为物体区域，分别在所述左、右散斑图像中划分出所述物体区域和背景区域；

分别提取划分后的所述左、右散斑图像中的第一极线和第二极线，校正所述第一极线平行于划分后的所述左散斑图像所在坐标系的横轴，以及校正所述第二极线平行于划分后的所述右散斑图像所在坐标系的横轴，并校正所述第一极线和所述第二极线为位于同一水平线的直线，得到投影校正后的所述左散斑图像和投影校正后的所述右散斑图像；

按照所述待测物体的预置深度范围，计算投影校正后的所述右散斑图像的视差约束范围；

选取投影校正后的所述左散斑图像的所述散斑区域中像素点作为待测像素点，并在投影校正后的所述右散斑图像上选取与所述待测像素点位于相同行数且位于所述视差约束范围内的待匹配像素点，通过对所述待测像素点的灰度值和所述待匹配像素点的灰度值进行灰度约束运算，从所述待匹配像素点中选出匹配点，使得依据所述匹配点与所述待测像素点进行相关函数运算，得到整像素对应点。

7.根据权利要求6所述的装置，其特征在于，所述图像处理模块还用于执行以下步骤：

计算所述待测像素点的灰度值和所述待匹配像素点的灰度值之间的差值的绝对值，将所述绝对值与灰度约束阈值进行比较；

若所述绝对值小于所述灰度约束阈值，则选取所述绝对值对应的待匹配像素点作为匹配点；

其中所述灰度约束运算的公式为：|g(x′,y′)-f(x,y)|＜threshold，f(x,y)为所述待测像素点的灰度值，g(x′,y′)为与所述待测像素点位于相同行数且位于所述视差约束范围内的待匹配像素点的灰度值，threshold为灰度约束阈值。

8.根据权利要求7所述的装置，其特征在于，

所述图像处理模块，还用于分别在所述左散斑图像和所述右散斑图像中选取目标像素点，并以所述目标像素点为中心点设置邻域子窗口，并计算所述邻域子窗口内所有像素点的灰度值的平均差值；

计算平均差值的公式为：其中g(x,y)为所述邻域子窗口内所有像素点的灰度值，AD为所述平均差值。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

计算模块，用于提取投影校正后的所述左散斑图像中所述待测像素点，并对提取的所述待测像素点和灰度约束运算后选出的所述匹配点进行相关函数运算，算出相关系数；

所述计算模块，还用于选取所述相关系数最大值对应的所述待测像素点作为所述整像素对应点；

其中所述相关函数运算公式为：

$C=\frac{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m\[f(x_i,y_j)-\stackrel{\‾}{f}\]\[g(x_i^{\′},y_j^{\′})-\stackrel{\‾}{g}\]}{\sqrt{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m{\[f(x_i,y_j)-\stackrel{\‾}{f}\]}^2}\sqrt{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m{\[g(x_i^{\′},y_j^{\′})-\stackrel{\‾}{g}\]}^2}}$

其中C为所述相关系数，m为预置子窗口的边长，f(x_i,y_j)为在投影校正后的所述左散斑图像中以所述待测像素点为中心点的所述预置子窗口内的像素点的灰度值，g(x′_i,y′_j)为在投影校正后的所述右散斑图像中以所述匹配点为中心点的所述预置子窗口内的像素点的灰度值，和分别是投影校正后的所述左散斑图像和投影校正后的所述右散斑图像的所述预置子窗口内所有像素点的平均灰度值。

10.根据权利要求9所述的装置，其特征在于，

所述图像处理模块，还用于按照所述待测物体的预置深度范围，选取距离投影校正后的所述左散斑图像中各像素点对应的最近点和最远点，并将所述最近点和所述最远点投影到投影校正后的所述右散斑图像的所述第二极线上，并将在所述第二极线上的投影点之间的范围作为所述视差约束范围。