CN112200852B - 一种时空混合调制的立体匹配方法及系统 - Google Patents

Abstract

本发明公开了一种时空混合调制的立体匹配方法及系统，生成预设的随时间变换的三帧彩色网格图，投影至待测物体表面；第一相机采集图像作为目标图像，第二相机采集图像作为参考图像；选定空间约束下的匹配代价函数；计算目标图像和参考图像在时间、空间窗口共同约束下的匹配代价，遍历整个投影区域得到候选点的匹配代价矩阵；得到第一相机和第二相机采集的两幅图像的视差图；分别计算第一相机采集图像的视差图和第二相机采集图像的视差图；对视差图进行细化处理，得到最终的视差图，完成时空混合调制的立体匹配，本发明在提高立体匹配在弱纹理区域匹配精度的同时，增加了空间窗口选择的灵活性。

Description

一种时空混合调制的立体匹配方法及系统

技术领域

本发明属于立体视觉测量技术领域，具体涉及一种时空混合调制的立体匹配方法及系统。

背景技术

立体匹配是立体视觉测量中最重要的环节之一。其根本是从对同一物体在不同位置拍摄的两幅图像(立体图像对)中寻找三维物体在二维图像中的对应的投影点，并由此生成视差图。得到的视差图再通过三维重构技术可最终得到物体的三维信息。目前，立体视觉测量被广泛地应用在三维测量、场景重建、机器人导航、人机交互等领域。

按照优化理论不同，立体匹配可分为全局匹配算法和局部匹配算法，其中局部匹配算法计算复杂度低，可实现实时匹配。进一步，从匹配基元来看，局部匹配算法可分为区域匹配算法、特征匹配算法和相位匹配算法。其中区域算法可以直接得到稠密视差图，且效率高，但其针对弱纹理的区域、深度不连续区域匹配精度低，计算中支持窗口的大小很难选择；特征匹配法鲁棒性好，且对于深度不连续区域和弱纹理区域匹配效果有所提升，但是其只能得到稀疏视差图，且匹配结果严重依赖特征提取精度；相位匹配算法因其涉及复杂的相位求取过程，复杂度大大增加。

区域匹配算法的缺陷中，存在弱纹理区域匹配精度低主要原因是左右图像差别细微，提供信息较少。存在计算中窗口大小很难选择的问题，这主要是因为存在以下矛盾：当窗口尺寸越小，图像强纹理区域的立体匹配精度越高，但是由于缺少足够的信息，会导致在纹理单一区域内的视差值误差增加；反之，当窗口尺寸越大，能够越有效的消除图像噪声的干扰，但是由于包含的信息较多，会导致视差不连续区域处的边界模糊，而且算法的计算量较大。

目前立体匹配技术针对测量物体的弱纹理区域的匹配准确度较低且计算中支持窗口大小选取困难，技术上缺少一种针对弱纹理区域的高效、精准的匹配方法。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种时空混合调制的立体匹配方法及系统，通过向物体增加多帧彩色编码的特征，在空间窗口约束的基础上再引入时间窗口的约束，提高在弱纹理区域的匹配精度，减小了匹配过程中的不确定性，同时有效地解决代价计算中空间窗口选择困难的问题。

本发明采用以下技术方案：

一种时空混合调制的立体匹配方法，包括以下步骤：

S1、计算机生成预设的随时间变换的三帧彩色网格图，投影至待测物体表面；

S2、通过第一相机和第二相机同步采集步骤S1投影至待测物体表面相应的三帧图像，第一相机采集的图像I_l(t₁)、I_l(t₂)、I_l(t₃)作为目标图像，第二相机采集的图像I_r(t₁)、I_r(t₂)、I_r(t₃)作为参考图像；

S3、采用自适应支持权重算法，得到目标图像和参考图像在空间窗口约束下的匹配代价函数；

S4、计算时间、空间窗口共同约束下的匹配代价函数，遍历整个投影区域得到候选点的匹配代价矩阵，得到目标图像和参考图像的匹配代价；

S5、由步骤S4得到的匹配代价计算目标图像和参考图像的视差图；

S6、对步骤S5得到的视差图进行细化处理，完成时空混合调制的立体匹配，最终得到物体的三维信息。

具体的，步骤S1中，三帧彩色网格图包括：

二级子网格大小为m×n，作为投影网格图的基本单元；二级子网格内同一时刻颜色一致，不同时刻的颜色变换包括红、绿、蓝三种颜色，时间变换为三帧；

一级子网格大小为5m×5n，由5×5的二级子网格组成，作为投影网格图的完整单元；同一一级子网格下的二级子网格的颜色变换在时间内互异，不同一级子网格之间相互独立；

总网格即三帧彩色网格图总体，由一级子网格组成，其大小为5k·m×5k·n，k为整数，作为扩展单元。

进一步的，二级子网格表示为：

其中，

表示从红、绿、蓝三种颜色中随机抽选三次颜色的排列组合；

一级子网格由二级子网格作为元素组成的集合表示为：

具体的，步骤S3中，在只有空间窗口约束下的匹配代价函数如下：

其中，p和p_d分别表示目标图像和参考图像的一对像差为d的像素点，N_p和

分别代表以p和p_d为中心的邻域内的目标窗口和参考窗口，I_p和

分别代表点p和p_d的强度值，

表示像素点p和像素点p_d的匹配代价。

具体的，步骤S4具体为：

S401、计算匹配点在时间、空间窗口内的权重矩阵w(p(t),q(t))；

S402、计算目标窗口和参考窗口内所有像素点的强度差值e(q(t),q_d(t))；

S403、计算匹配点在时间、空间窗口下的匹配代价E(p,p_d)；

S404重复步骤S401～S403，从左到右，从上到下依次计算整个投影区域内所有像素点匹配代价，最终得到候选点的匹配代价矩阵E(p,p_d)。

进一步的，步骤S403中，时间、空间窗口下的匹配代价E(p,p_d)为：

其中，N_p和

分别代表以点p和p_d为中心的邻域内的目标窗口和参考窗口，q是目标窗口的非中心像素，是参考窗口的非中心像素，T为时间域，T＝t₁,t₂,t₃。

具体的，步骤S5中，采用赢家通吃的原则分别计算目标图像和参考图像的视差图，具体如下：

其中，d_p为p点的视差值，S_d＝{d_min,...,d_max}，E(p,p_d)为候选点的匹配代价矩阵。

具体的，步骤S6中，细化处理包括左右一致性检查，具体为：

S601、对于目标图像视差图d_l和参考图像视差图d_r，目标图像中p点，视差值为d_l(p)；

S602、对应参考图像中p-d_l(p)对应匹配点记为p_d，在d_r中寻找对应点视差值为d_r(p_d)；

S603、若|d_l(p)-d_r(p_d)|＞threshold，threshold为人为设定阈值，则标记p点为遮挡点，予以剔除，并选取该点的相邻点的视差值作为对应点的视差值。

本发明的另一个技术方案是，一种时空混合调制的立体匹配系统，包括：

投影模块，由计算机控制，通过投影仪向待测物体施加主动特征；

图像采集模块，由计算机控制通过第一相机和第二相机采集多视角图像；

系统同步模块，由计算机控制，用于成像与投影系统的动态同步；

立体匹配模块，由计算机完成，计算第一相机和第二相机采集多视角图像在基于时、空窗口共同约束下的匹配代价函数，并最终得到视差图。

具体的，立体匹配模块包括：

匹配代价计算子模块，用于计算时、空窗口共同约束下目标图像的代价函数；

视差计算子模块，用于通过目标图像的代价函数计算得到相应的视差图；

视差细化子模块，通过细化处理得到目标图像最终的视差图。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种时空混合调制的立体匹配方法，向待测物体施加时、空调制的主动特征，极大地提高了匹配算法在弱纹理区域的精度，降低了传统方法在弱纹理区域的误匹配几率；相较于传统的局部立体匹配方法，对匹配代价函数同时引入时间和空间窗口的约束，增加了匹配代价函数的控制参数，提高了空间窗口选择的灵活性，解决了空间窗口大小选择困难的问题，主要是在代价计算中，通过增加时间窗口，使空间窗口不必选取过大，避免了代价计算中匹配窗口选取过大导致的在视差不连续区域出现的模糊问题。

进一步的，步骤S1中三帧彩色网格图设置目的在于对待测物施加时间和空间共同调制下的主动特征，在增加弱纹理区域特征的同时引入时间上的约束，降低了传统方法在弱纹理区域的误匹配率且提高了空间窗口的选择灵活性。

进一步的，步骤S1中二级子网格作为上述投影网格中的基本单元，设置目的在于形成所述时空调制中的时间上的变换；更多的，由互异的多个二级子网格组成的一级子网格作为上述投影网格中的完整单元，设置目的在于完整地形成了时空调制中的时间和空间轴上的变换。这样逐级设置的网格，分工明确又相互关联，共同形成了三帧彩色网格图的时空调制特性。

进一步的，步骤S4中细分为小步骤的设置更加清晰地描述了本发明的关键时空调制在计算匹配代价中的逻辑。

进一步的，步骤S403完整、清晰地展示了本发明的时空混合调制的立体匹配方法中的匹配代价的计算公式。

进一步的，对步骤S5中的视差图存在的不准确点、噪声点、误匹配点等问题进行修正，并提高匹配精度。

综上所述，本发明在提高立体匹配在弱纹理区域匹配精度的同时，增加了空间窗口选择的灵活性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明方法的流程图；

图2为投影三帧彩色网格的示意图；

图3为匹配代价计算中像素点有关时间、空间位置的示意图，其中，(a)为空间窗口下像素点位置示意图；(b)为时间、空间下的立体窗口内像素点位置示意图；

图4为本发明系统的实验测试示意图；

图5为本发明系统的示意图。

其中：1.计算机；2.第一相机；3.投影仪；4.第二相机；5.待测物体；6.投影模块；7.图像采集模块；8.系统同步模块；9.立体匹配模块；10.匹配代价计算子模块；11.视差计算子模块；12.视差细化子模块。

具体实施方式

本发明提供了一种时空混合调制的立体匹配方法及系统，包括向待测物体投影多帧彩色网格图，采集相应的左右视角图像，选定匹配代价函数并计算目标图像在时间、空间窗口共同约束下的匹配代价，计算得到视差图，视差细化处理。目的在于通过投影多帧彩色编码图，对待测物体增加了主动特征，解决了传统立体匹配算法在弱纹理区域匹配精度低的问题。此外，通过对匹配代价函数同时引入时间和空间窗口的约束，提高了空间窗口选择的灵活性，解决了空间窗口选择困难的问题。

请参阅图4和图5，本发明一种时空混合调制的立体匹配系统，包括：

投影模块6，由计算机1控制，通过投影仪3向待测物体5施加主动特征。

图像采集模块7，由计算机1控制通过第一相机2和第二相机4采集多视角图像。

系统同步模块8，由计算机1控制，用于成像与投影系统的动态同步，最大限度去除环境变换的干扰。

立体匹配模块9，由计算机1完成，计算左右图像在基于时、空窗口共同约束下的匹配代价函数，并最终得到视差图。

立体匹配模块9包括如下子模块，

匹配代价计算子模块10，用于计算在时、空窗口共同约束下目标图像的代价函数。

视差计算子模块11，用于通过上述目标图像的代价函数计算得到相应的视差图。

视差细化子模块12，通过所述细化处理得到目标图像最终的视差图。

请参阅图1，本发明一种时空混合调制的立体匹配方法，通过向待测物体加以主动特征(投影随时间变化的彩色网格)，并通过第一、第二相机同步采集相应的多帧图像，在匹配代价计算过程中对匹配代价函数同时引入时间、空间窗口内的约束，最终计算并细化处理得到视差图，具体步骤如下：

S1、由计算机生成预设的随时间变换的多帧彩色网格图，并加载到投影仪，投影至待测物体表面；

请参阅图2，三帧彩色网格图由三幅随时间变化的彩色网格图组成，其内部的每一个区块在一定区域内随时间呈现不同的颜色变换，这种变换就是时空调制的含义所在。三帧彩色网格图的构成，从小到大，分为二级子网格(即前句中的每一个区块)、一级子网格(即前句中的一定区域)和总网格(即前句中的三帧彩色网格图)。

最小的网格：

二级子网格，大小为m×n(m、n为像元个数，由人为设定，此处以m＝n＝5为例)。其作为本发明投影网格图的基本单元，体现了时空调制中时间的变换，即二级子网格内所有像素点颜色保持一致(空间内一致)，并随时间而统一变换(时间内变换)，可以描述为：

其中，W₂代表二级子网格，

代表二级子网格的区域，p(x,y)代表子网格内任意一点，t代表时间(本发明设定为三帧，即t＝t₁,t₂,t₃，以0s，0.05s，0.1s为例)，f(p(x,y),t)代表p(x,y)在t时刻的颜色。

用r、g、b分别表示预设的标准红、绿、蓝三种颜色，则p(x,y)在t时刻的颜色为：

其中，

表示从红、绿、蓝三种随机选一种，可以看到，二级子网格内所有像素点在同一时刻颜色相同。

最终，二级子网格表示为：

其中，

表示从红、绿、蓝三种颜色中随机抽选三次颜色的排列组合。可以得知，三个时刻内，二级子网格27种变换。因此，时间轴上，二级子网格包含了27种不同的变换。

二级子网格作为基本单元，形成了颜色在时间轴上的变换。更多的，二级子网格之间的关系将在下文一级子网格介绍内阐述。

由二级子网格组成的一级子网格，大小为5m×5n，即5×5(此处，设置一级子网格由5×5的二级子网格组成是由于网格变换为三帧)的二级子网格组成一个一级子网格。其作为本发明投影网格图的完整单元，完全地展示了网格在时间和空间内的变换，即一级子网格内所有二级子网格的颜色随时间而变换(时间内变换)，且二级子网格在同一时刻的颜色是互不相关的(空间内变换)，总的来说，在时间、空间两个维度下，同一一级子网格内的所有二级子网格是互异的(存在25种不同的变换)。由上述可知，一级子网格和二级子网格并不可简单的描述为函数关系，为了更简单、清楚地展示，下面先以矩阵形式描述：

其中，t＝t₁,t₂,t₃。

将步骤S1中二级子网格表达式代入，可得：

这里，二级子网格在时间和空间上的变换由排列组合的形式给出。需要注意的，矩阵中，

之间是互异的(即排列组合方式不同)，这便是时间、空间维度下，同一一级子网格内所有二级子网格互异性的根源。

上述矩阵清楚的展示了一、二级子网格之间的关系。需要指出，这里矩阵描述只是某一个一级子网格在特定的一种情况下的孤立描述，不具有普遍性，下面将以集合形式对其关系给出更加普遍、准确、精简的描述。

一级子网格可以用由二级子网格作为元素组成的带序的集合表示：

其中，<代表集合的序按上文中矩阵形式排列。

进一步，将这种描述扩展到一般形式，

这里，集合的形式约束了

之间是互异的。需要注意的是，最终一级子网格W₁(t)的表示的集合是无序的，这不同于上面矩阵的描述，这表示不同的一级子网格之间是相互独立的，不是重复的。上式即为一级子网格的一般形式。

可以看出，一级子网格作为完整单元，之间具有相互独立性，通过内部二级子网格在时间、空间维度下的变换，完整地展示了时空调制的特性。

由一级子网格构成的总网格，总网格的大小为5k·m×5k·n，k为整数，以k＝5为例。其作为本发明投影网格图的扩展单元，目的在于根据实际待测物体及环境状况灵活调整投影网格大小。

S2、通过第一相机和第二相机同步采集相应的多帧图像；

三帧图像具体为：

第一相机三帧图像：I_l(t₁)、I_l(t₂)、I_l(t₃)，第二相机三帧图像：I_r(t₁)、I_r(t₂)、I_r(t₃)。

S3、选定匹配代价函数；

一般的，匹配代价函数在只有空间窗口约束下的可写作：

其中，p和p_d分别表示目标图像和参考图像的一对像差为d的像素点，N_p和

分别代表以p和p_d为中心的邻域内的目标窗口和参考窗口，I_p和

分别代表点p和p_d的强度值，

表示像素点p和像素点p_d的匹配代价。

可以看到，该匹配代价函数通过对目标图像和参考图像加以空间窗口上的约束得到。

以局部立体匹配方法中的经典方法——自适应支持权重算法(Adaptive supportweight,ASW)为例进行介绍。该算法不拘泥于考虑窗口的形状和大小，而是根据窗口内非中心像素与中心像素之间的相关程度作为支持权值来代入代价计算。因此，ASW算法在提升了匹配效果(特别是在图像的轮廓、边缘区域)的同时，匹配效率也得到了足够的保证。

请参阅图3，以5×5的窗口为例，中心像素的支持权重计算公式为：

其中，p代表中心目标像素点，q代表窗口内非中心像素点。γ_c是颜色差异部分的系数(一般为经验值)，γ_p是空间距离部分的系数(典型值为7)；Δc_pq是p点和q点之间在CIELab颜色空间内的欧式距离，具体的，p点和q点在CIELab颜色空间内的颜色强度值表示为c_p＝[L_p,a_p,b_p]和c_q＝[L_q,a_q,b_q]，其中，L代表亮度，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量，则p点和q点的颜色差异表示如下：

Δg_pq是p点和q点之间的欧氏距离，p点和q点在二维空间内的坐标可以表示为g_p＝(x_p,y_p)和g_q＝(x_q,y_q)，则p点和q点的空间距离差异可以表示为下式：

由上述中心像素的支持权重公式分别计算参考窗口和目标窗口的权重矩阵。

代价函数中，最终支持权重采用的是参考窗口的权重矩阵和目标窗口权重矩阵的乘积得到的矩阵。基于此，最终ASW算法的代价函数表示为：

其中，E(p,p_d)为像素点p的匹配代价，p和q分别是目标窗口的中心像素和非中心像素，p_d和q_d分别是参考窗口的中心像素和非中心像素，N_p和

分别代表以点p和p_d为中心的邻域内的目标窗口和参考窗口，e(q,q_d)为目标窗口和参考窗口中心像素的强度值(RGB颜色空间下)之差如下：

其中，I_c(q)和I_c(q_d)分别表示q和q_d点的强度值(RGB颜色空间下)。

S4、计算时间、空间窗口共同约束下的匹配代价；

时间、空间窗口共同约束下的匹配代价一般形式为：

其中，I_p(t)和

代表t时刻p和p_d的强度值，T代表时间域。

可以看到，不同于步骤S3，时、空窗口共同约束下的匹配代价函数同时受限于时间和空间上图像的变化，计算中约束更多，且支持窗口选择更加灵活。

同样的，ASW算法搜索范围限定为空间窗口内，在加入时间窗口约束后，匹配代价计算中搜索范围扩大到时间、空间下的立体窗口内。以目标图像为第一相机采集图像，参考图像为第二相机采集图像为例。

请参阅图3(b)，具体步骤如下：

S401、计算匹配点在时间、空间窗口内的权重矩阵

以匹配点为中心像素的邻域内各个点的支持权重为：

其中，t＝t₁,t₂,t₃，p(t)代表t时刻的中心目标像素点，q(t)代表t时刻的代表窗口内非中心像素点Δc_p(t)q(t)是p(t)点和q(t)点之间在CIELab颜色空间内的欧式距离，Δg_p(t)q(t)是p(t)点和q(t)点之间的欧氏距离，具体计算公式和其余参数见步骤S3，此处不再赘述。

S402、计算目标窗口和参考窗口内所有像素点的强度差值

计算公式为：

其中，

代表t时刻目标图像中q点的强度值(RGB颜色空间下)，

代表t时刻目标图像中q_d点的强度值(RGB颜色空间下)。

S403、计算匹配点在时间、空间窗口下的匹配代价

时间、空间窗口共同约束下的局部匹配代价函数写作：

其中，T为时间域，T＝t₁,t₂,t₃。

S404重复步骤S401～S403，直至遍历整个投影区域

从左到右，从上到下依次计算整个投影区域内所有像素点匹配代价，最终得到候选点的匹配代价矩阵。

S5、计算得出视差图；

采用赢家通吃的原则分别计算目标图像和参考图像的视差图，具体如下：

其中，S_d＝{d_min,...,d_max}，即为点p的支持窗口内所有候选点的视差的集合；目标像素点p的视差为邻域内计算匹配代价最小的一点。

S6、通过细化处理得到最终的视差图。

细化处理包括左右一致性检查、亚像素增强等。目的在于对视差图中存在的不准确、噪声点、误匹配点等问题进行修正，并提高匹配精度。

左右一致性检查主要为了剔除算法中因为遮挡和噪声而导致的误匹配点。

遵循两幅视差图中对应匹配点的视差值应当是相同的原则，具体步骤为：

S601、对于目标图像视差图d_l和参考图像视差图d_r，目标图像中p点，视差值为d_l(p)；

S602、对应参考图像中p-d_l(p)对应匹配点记为p_d，在d_r中寻找对应点视差值为d_r(p_d)；

S603、若|d_l(p)-d_r(p_d)|＞threshold(threshold为人为设定阈值)，则标记p点为遮挡点，予以剔除，并选取该点的相邻点(若被判定为非遮挡点)的视差值作为该点视差值。

亚像素增强算法主要为将步骤S5中像素级的视差图提高到亚像素级。这里采用二次曲线拟合法，对于p点的最优视差下的匹配代价值E_op(p,p_d)，和其左右相邻的两个视差下的代价值E_op(p,p_d)和E_op(p,p_d)进行二次曲线拟合，最后选取二次曲线的最小值点的视差值作为p点的视差值。

通过本发明提出的时空混合调制的立体匹配方法是立体视觉测量中最重要的一个环节，将得到的视差图再通过三维重构技术可最终得到物体的三维信息。目前，立体视觉测量被广泛地应用在三维测量、场景重建、机器人导航、人机交互等领域。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对本发明的方法以上述实施例为模板做如下扩展：

(1)随着投影仪和工业相机的技术进步，所投影和采集的彩色网格的分辨率将会进一步提高，这样，二级子网格可以进一步精确直到大小为一个像素，以此减小匹配中的不确定性，提高匹配精度。

(2)随着工业相机同步采集和高速采集技术的进步，可实现相机同步地采集极短时间内的多帧图像，这样，采集过程中环境的变化对于本发明的影响进一步减小直至忽略不计，且同时提高了匹配的精度。

综上所述，本发明一种时空混合调制的立体匹配方法及系统，本发明通过向待测物体投影多帧彩色网格图，对待测物体增加了主动特征，解决了传统立体匹配算法在弱纹理区域匹配精度低的问题。此外，通过对匹配代价函数同时引入时间和空间窗口的约束，增加了空间窗口选择的灵活性，解决了立体匹配中空间窗口选择困难的问题。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种时空混合调制的立体匹配方法，其特征在于，包括以下步骤：

S1、计算机生成预设的随时间变换的三帧彩色网格图，投影至待测物体表面，三帧彩色网格图包括：

二级子网格大小为m×n，作为投影网格图的基本单元；二级子网格内同一时刻颜色一致，不同时刻的颜色变换包括红、绿、蓝三种颜色，时间变换为三帧；

一级子网格大小为5m×5n，由5×5的二级子网格组成，作为投影网格图的完整单元；同一一级子网格下的二级子网格的颜色变换在时间内互异，不同一级子网格之间相互独立；

总网格即三帧彩色网格图总体，由一级子网格组成，其大小为5K·m×5K·n，K为整数，作为扩展单元；

S2、通过第一相机和第二相机同步采集步骤S1投影至待测物体表面相应的三帧图像，第一相机采集的图像I_l(t₁)、I_l(t₂)、I_l(t₃)作为目标图像，第二相机采集的图像I_r(t₁)、I_r(t₂)、I_r(t₃)作为参考图像；

S3、根据ASW算法选定匹配代价函数；

S4、计算时间、空间窗口共同约束下的匹配代价函数，遍历整个投影区域得到候选点的匹配代价矩阵，得到目标图像和参考图像的匹配代价，具体为：

S401、计算匹配点在时间、空间窗口内的权重矩阵w(p(t),q(t))；

S402、计算目标窗口和参考窗口内所有像素点的强度差值e(q(t),q_d(t))；

S403、计算匹配点在时间、空间窗口下的匹配代价E(p,p_d)，具体如下：

其中，w(p_d(t),q_d(t))为以匹配点为中心像素的邻域内各个点的支持权重，N_p和N_pd分别代表以点p和p_d为中心的邻域内的目标窗口和参考窗口，q是目标窗口的非中心像素，q_d是参考窗口的非中心像素，T为时间域，T＝t₁,t₂,t₃；

S404重复步骤S401～S403，从左到右，从上到下依次计算整个投影区域内所有像素点匹配代价，最终得到候选点的匹配代价矩阵E(p,p_d)；

S5、由步骤S4得到的匹配代价计算目标图像和参考图像的视差图；

S6、对步骤S5得到的视差图进行细化处理，完成时空混合调制的立体匹配，最终得到物体的三维信息。

2.根据权利要求1所述的时空混合调制的立体匹配方法，其特征在于，步骤S1中，二级子网格表示为：

其中，

表示从红、绿、蓝三种颜色中随机抽选三次颜色的排列组合；

一级子网格由二级子网格作为元素组成的集合表示为：

其中，k为二级子网格数量。

3.根据权利要求1所述的时空混合调制的立体匹配方法，其特征在于，步骤S3中，在只有空间窗口约束下的匹配代价函数如下：

其中，p和p_d分别表示目标图像和参考图像的一对像差为d的像素点，N_p和N_pd分别代表以p和p_d为中心的邻域内的目标窗口和参考窗口，I_p和I_pd分别代表点p和p_d的强度值，e(I_p,I_pd)表示像素点p和像素点p_d的匹配代价。

4.根据权利要求1所述的时空混合调制的立体匹配方法，其特征在于，步骤S5中，采用赢家通吃的原则分别计算目标图像和参考图像的视差图，具体如下：

其中，d_p为p点的视差值，S_d＝{d_min,...,d_max}，E(p,p_d)为候选点的匹配代价矩阵。

5.根据权利要求1所述的时空混合调制的立体匹配方法，其特征在于，步骤S6中，细化处理包括左右一致性检查，具体为：

S601、对于目标图像视差图d_l和参考图像视差图d_r，目标图像中p点，视差值为d_l(p)；

S602、对应参考图像中p-d_l(p)对应匹配点记为p_d，在d_r中寻找对应点视差值为d_r(p_d)；

S603、若|d_l(p)-d_r(p_d)|＞threshold，threshold为人为设定阈值，则标记p点为遮挡点，予以剔除，并选取该点的相邻点的视差值作为对应点的视差值。

6.一种时空混合调制的立体匹配系统，其特征在于，利用权利要求1所述的方法，包括：

投影模块，由计算机控制，通过投影仪向待测物体施加主动特征；

图像采集模块，由计算机控制通过第一相机和第二相机采集多视角图像；

系统同步模块，由计算机控制，用于成像与投影系统的动态同步；

立体匹配模块，由计算机完成，计算第一相机和第二相机采集多视角图像在基于时、空窗口共同约束下的匹配代价函数，并最终得到视差图。

7.根据权利要求6所述的时空混合调制的立体匹配系统，其特征在于，立体匹配模块包括：

匹配代价计算子模块，用于计算时、空窗口共同约束下目标图像的代价函数；

视差计算子模块，用于通过目标图像的代价函数计算得到相应的视差图；

视差细化子模块，通过细化处理得到目标图像最终的视差图。

Images