CN117557628A - 一种结构光快速深度重建方法、系统、设备及介质 - Google Patents

Abstract

一种结构光快速深度重建方法、系统、设备及介质。一种结构光快速深度重建方法，包括：步骤S1:获得相对应的TOF深度数据和结构光图像数据；步骤S2：获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值；步骤S3：根据拍摄参数，计算所述初始深度测量值对应的视差；步骤S4：在所述结构光图像上，以所述视差为中心，设置窗口进行匹配；步骤S5：在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果；步骤S6：遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。本发明利用TOF深度数据对应的结构光深度数据进行限定，大大减小了结构光数据的计算量，可以更快地获得结构光深度数据，在保证数据精度的同时，提高了响应速度。

Description

一种结构光快速深度重建方法、系统、设备及介质

技术领域

本发明涉及深度测量技术领域，具体地，涉及一种结构光快速深度重建方法、系统、设备及介质。

背景技术

深度测量技术可以获得目标对象的深度数据，从而可以获得RGBD等带有深度信息的3D图像。相比于2D图像，3D图像包含更多的数据，可以实现对目标的更好识别，并且由于技术的发展，目前已经在人脸识别、3D建模、VR等领域获得应用。深度测量技术以TOF技术和结构光技术为最主要的技术，能够适应不同的应用场景，而结构光技术又因此精度高的特点广泛应用于商业应用中，是一种普及程度最好的技术方案。

结构光通常将带有特殊纹理形状分布结构化光源向外投射，再利用不同距离下这些纹理或形状的变化来计算物体的深度，是3D测量领域常用的一项技术。

根据接收器的不同，结构光一般分为双目结构光(有两个相机对结构光成像)和单目结构光(只有一个相机对结构光成像)。两者都是基于视差来进行深度测量，原理上相似。具体地，双目结构光在两个相机所拍摄的结构光图像之间寻找相对应的匹配点，根据匹配点在对极线方向的偏移量计算深度，而单目结构光在相机实时拍摄的目标图像和事先拍摄的参考图像之间寻找相对应的匹配点，根据匹配点在对极线方向的偏移量计算深度。

无论双目结构光还是单目结构光，都需要设置一定大小的搜索区间来寻找上述的对应匹配点。例如一种广泛使用的被称为Block Matching的方法，即通过遍历搜索区间的方法来寻找匹配得分最高的点作为匹配点。一方面，该方法由于需要遍历搜索空间，时间消耗会随着搜索空间增大而显著增大。另一方面，为了保证深度相机的测量范围以及准确性，人们通常不能够对搜索空间进行过多假设，例如，假设较小的搜索空间，虽然能获得更快的计算速度，但是也会降低深度相机的量程，或者影响深度相机的准度。

现有技术中将TOF数据与结构光数据结合的方案，均采用TOF数据与结构光数据对比，再将两者替换的方案。在两者的数据处理上没有得到有效的提升。

发明内容

为此，本发明利用TOF深度数据计算量小，可以快速获取的特点，对TOF深度数据进行判断，从而对与TOF深度数据对应的结构光深度数据进行限定，可以提供初始深度值，大大减小了结构光数据的计算量，可以更快地获得结构光深度数据，在保证数据精度的同时，提高了响应速度。

第一方面，本发明提供一种结构光快速深度重建方法，其特征在于，包括如下步骤：

步骤S1:获得相对应的TOF深度数据和结构光图像数据；

步骤S2：获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值；

步骤S3：根据拍摄参数，计算所述初始深度测量值对应的视差；

步骤S4：在所述结构光图像上，以所述视差为中心，设置窗口进行匹配；

步骤S5：在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果；

步骤S6：遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。

可选地，所述的一种结构光快速深度重建方法，其特征在于，所述步骤S4包括：

步骤S41：在所述结构光图像上，将所述视差设置为中心；

步骤S42：围绕所述中心设置固定大小的窗口；

步骤S43：对所述窗口内的所有位置进行匹配。

可选地，所述的一种结构光快速深度重建方法，其特征在于，所述步骤S4包括：

步骤S41：在所述结构光图像上，将所述视差设置为中心；

步骤S44：围绕所述中心设置固定大小的第一窗口；

步骤S45：对窗口内的像素点的TOF深度数据进行判断，并将与所述中心对应的TOF深度数据在第一阈值内的像素点作为集合，形成第二窗口；

步骤S46：对所述第二窗口内的所有位置进行匹配。

可选地，所述的一种结构光快速深度重建方法，其特征在于，所述步骤S4包括：

步骤S41：在所述结构光图像上，将所述视差设置为中心；

步骤S47：围绕所述中心设置窗口；所述窗口的大小与所述TOF深度数据的误差成正比；

步骤S48：对所述窗口内的所有位置进行匹配。

可选地，所述的一种结构光快速深度重建方法，其特征在于，在所述步骤S6中，按照所述TOF深度数据将所述结构光图像分为若干个区域，并按区域对所述结构光图像的像素点进行匹配。

可选地，所述的一种结构光快速深度重建方法，其特征在于，所述若干个区域之间有重叠。

可选地，所述的一种结构光快速深度重建方法，其特征在于，将匹配完成的像素点从所述区域内剔除，不再参与后续的区域过程。

第二方面，本发明提供一种结构光快速深度重建系统，用于实现前述任一项所述的结构光快速深度重建方法，其特征在于，包括：

获取模块，用于获得相对应的TOF深度数据和结构光图像数据；

初始模块，用于获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值；

视差模块，用于根据拍摄参数，计算所述初始深度测量值对应的视差；

中心模块，用于在所述结构光图像上，以所述视差为中心，设置窗口进行匹配；

匹配模块，用于在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果；

遍历模块，用于遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。

第三方面，本发明提供一种结构光快速深度重建设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述任意一项所述结构光快速深度重建方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现前述任意一项所述结构光快速深度重建方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明利用TOF深度数据获得快，无需复杂计算的特点，通过对TOF深度数据的处理，降低结构光深度数据处理的量，从而节约了时间，提高了出图速度，降低了响应时间。

本发明对TOF深度数据作为结构光深度数据的初始值，可以大大缩小匹配的范围，充分利用算力，快速得到最终匹配结果，可以更好地应用于各种需要结构光的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种结构光快速深度重建方法的步骤流程图；

图2为本发明实施例中一种时间消耗示意图；

图3为本发明实施例中一种结构光示意图；

图4为本发明实施例中一种窗口匹配的步骤流程图；

图5为本发明实施例中另一种窗口匹配的步骤流程图；

图6为本发明实施例中再一种窗口匹配的步骤流程图；

图7为本发明实施例中一种区域划分示意图；

图8为本发明实施例中一种结构光快速深度重建系统的模块示意图；

图9为本发明实施例中一种结构光快速深度重建设备的结构示意图；以及

图10为本发明实施例中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例提供的一种结构光快速深度重建方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明实施例提供的结构光快速深度重建方法，能够适用于结构光的所有应用场景，通过同步获取TOF深度数据和结构光图像数据，在不占用结构光算力的情况下，利用TOF深度数据为结构光重建提供初始深度测量值，从而使得结构光匹配的区域大幅度减少，降低了计算量，减少了需要匹配的时间，从而可以更快速地获得最终匹配结果，提升了效率。

图1为本发明实施例中一种结构光快速深度重建方法的步骤流程图。如图1所示，本发明实施例中一种结构光快速深度重建方法包括如下步骤。

步骤S1:获得相对应的TOF深度数据和结构光图像数据。

在本步骤中，TOF深度数据和结构光图像数据是同步获取的。TOF深度数据和结构光图像数据既可以是相同时间获取，又可以是同一激光光束反射后由不同接收器在不同的时间获取的。TOF深度数据和结构光图像数据是同一目标对象的反射数据，具有一一对应的特征。本实施例对于TOF深度数据和结构光图像数据的获取设备不做限制。本实施例中的TOF深度数据为i-TOF深度数据，即根据相位差获得的深度数据。由于TOF深度数据根据相位差经过线性计算就可以得到深度数据，计算过程简单，数据获取非常快，并且与结构光计算互不干扰。结构光图像数据需要计算光斑的形变才可以获得深度数据，计算量大，往往耗时较长，对算力消耗较大。

步骤S2：获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值。

在本步骤中，由于同一位置处的深度值只有一个，并且TOF深度数据获得非常迅速，可以将TOF深度数据用于结构光深度数据的计算。在现有技术中，结构光没有初始深度测量值，因此往往需要对所有深度值的参数进行匹配，得到最终的匹配结果，耗时较长。本步骤提供了具有一定误差的初始深度测量值，可以给予较准确的定位。

步骤S3：根据拍摄参数，计算所述初始深度测量值对应的视差。

在本步骤中，拍摄参数是与数据计算有关的参数。比如，采用深度相机实施本发明时，已知参数指相机的内参和外参。通过拍摄参数，可以计算得到当前位置处的视差，即结构光初始深度值对应的视差。视差与初始深度测量值呈一一对应关系。视差是初始测试测量值在结构光图像上的表现。

步骤S4：在所述结构光图像上，以所述视差为中心，设置窗口进行匹配。

在本步骤中，考虑到TOF深度数据具有一定的误差，即视差的位置并不是最佳匹配位置，因此需要在其附近进行匹配计算，以得到最佳的匹配位置。本步骤通过设置窗口，对于匹配的范围进行限制，从而可以减小匹配的计算量。由于TOF深度数据的误差通常在一定范围内，因此本实施例中的窗口小于现有技术中窗口的大小，因此具有更小的计算量，更快的匹配速度。

步骤S5：在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果。

在本步骤中，对窗口内的像素点进行遍历匹配，计算每个像素点的匹配得分，并在遍历结束后，根据匹配得分，得到最佳匹配位置，即最终匹配结果。在进行匹配时，可以按行进行匹配，也可以按列进行匹配，还可以是按其他规则进行匹配。优选地，按行进行匹配。

步骤S6：遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。

在本步骤中，对结构光图像上所有像素点进行计算，得到所有像素的最佳匹配结果，从而可以得到最终的结构光深度图像，进而进行三维重建。可以快速进行目标对象识别，如人脸识别等。

图2为本发明实施例中一种时间消耗示意图。如图2所示，在t 1时间段时，TOF和结构光均采集信号。在t2时间段内，TOF完成深度数据的获取与判断。与此同时，结构光在t3时间段内完成结构光深度数据的计算。由于结构光深度数据的计算复杂，消耗时间与资源较多，t3远大于t2。而利用本实施例的方案，结构光计算所需要的时间以t4时间段表示。从图中明显看出，t4小于t3，即本实施例获得深度融合深度图的时间远小于现有技术。需要说明的是，本实施例缩短的时间并不是固定不变的，而是随着目标对象的变化而变化的。一般来说，在TOF测量范围内的数据越多，本实施例节约的时间越多。

图3为本发明实施例中一种结构光示意图。从图3中可以看出，图中的地面、脸盆、椅子均具有不同的深度值，并且深度跨度较大。当利用本发明实施例进行计算时，对于地面、椅子、脸盆等深度变化较大的物体均具有明显的效果，而对于远处的墙壁由于距离较远，对于速度的提升不如前述物品明显。由此可知，本发明尤其适用于深度变化较多的场景，对于深度变化明显的物品占据图像较大比例时的效果尤其明显。比如，对于人脸识别等应用场景，由于人脸的深度值具有明显变化，因此本发明应用时对于速度的提升效果明显，可以大大加速人脸识别等应用时的速度，提升用户体验。

图4为本发明实施例中一种窗口匹配的步骤流程图。如图4所示，本发明实施例中一种窗口匹配的方法包括如下步骤。

步骤S41：在所述结构光图像上，将所述视差设置为中心。

在本步骤中，对于单目结构光，视差的计算采用与初始图像进行比较计算的方法获得。对于双目结构光，视差的计算采用两幅图像进行比较计算的方法获得。对于双目结构光，两幅结构光图像上分别设置中心。

步骤S42：围绕所述中心设置固定大小的窗口。

在本步骤中，将窗口设置为固定大小，对于测量目标较为固定时，具有最快的响应速度。把窗口设置成固定大小，可以减小对于窗口设置的计算，简化计算过程。本实施例中的窗口依然是小于现在技术中的窗口大小，通常可以为现有技术中窗口大小的3/4。

步骤S43：对所述窗口内的所有位置进行匹配。

在本步骤中，对窗口内的所有位置进行匹配，计算每个位置，即像素点的数据，根据匹配值，得到最佳匹配结果。

本实施例采用固定大小的窗口，尤其适用于目标对象较固定的场所，比如测量固定部件，检验产品表面等，相比于其他窗口形式，本实施例具有最快的速度。

图5为本发明实施例中另一种窗口匹配的步骤流程图。如图5所示，本发明实施例中另一种窗口匹配方法包括如下步骤。

步骤S41：在所述结构光图像上，将所述视差设置为中心。

步骤S44：围绕所述中心设置固定大小的第一窗口。

在本步骤中，第一窗口为固定大小，与现有技术中的大小相同。第一窗口为连贯的矩形区域。

步骤S45：对窗口内的像素点的TOF深度数据进行判断，并将与所述中心对应的TOF深度数据在第一阈值内的像素点作为集合，形成第二窗口。

在本步骤中，对步骤S44中的第一窗口进行缩限，形成第二窗口。第二窗口小于第一窗口。根据当前像素点的TOF深度值，对第一窗口内的像素进行筛选，去掉与当前像素点的TOF深度值相差过大的点。在本步骤中，设置阈值F，将与当前像素点的TOF深度值的差值的绝对值超过阈值F的像素点去除，得到第二窗口。第二窗口的形状为不规则形状，且内部可以是不连续的。

步骤S46：对所述第二窗口内的所有位置进行匹配。

在本步骤中，对第二窗口内的所有位置进行匹配，即所有像素点进行计算匹配。由于第二窗口的面积小于第一窗口，因此本步骤中进行计算匹配的像素点小于现有技术中的计算量，从而可以更快地获得结果，并且计算量较小。

本实施例通过TOF深度数据对窗口进行进一步地缩限，使其计算量进一步减少，从而更快地获得计算结果，尤其适用于场景中深度变化较多的应用，可以大大减少需要计算的像素数量，从而快速获得匹配结果。

图6为本发明实施例中再一种窗口匹配的步骤流程图。如图6所示，本发明实施例中再一种窗口匹配方法包括如下步骤。

步骤S41：在所述结构光图像上，将所述视差设置为中心。

步骤S47：围绕所述中心设置窗口。

在本步骤中，所述窗口的大小与所述TOF深度数据的误差成正比。TOF深度数据在不同距离的误差是不同的，并且是已知的，因此可以根据TOF深度数据的误差相应地设置窗口的大小。比如TOF深度数据在1m处的误差为0.1m，TOF深度数据在0.5m处的误差为0.05m，则TOF深度数据在1m处的窗口大于TOF深度数据在0.5m处的窗口。由于实际中，数据的误差通常是一个范围，比如0.01m-0.5m，本实施例应用中需要对TOF深度数据的误差做出更加细致的测量与评估，得到每个细分范围内的误差值或误差范围。优选地，TOF深度数据的评价标准为0.1m，即每0.1m提供一个误差范围，并将该误差范围的最大值作为该范围的误差值，用于对窗口的大小进行设置。

步骤S48：对所述窗口内的所有位置进行匹配。

本实施例根据TOF深度数据的误差进行对窗口的大小进行动态调整，从而使得窗口可以快速调整，所需计算量小，并且又具有一定的针对性，可以在快速获得匹配结果的同时，计算量也维持在较低的水平。

图7为本发明实施例中一种区域划分示意图。如图7所示，在结构光图像上，按照TOF深度数据将所述结构光图像分为若干个区域。相邻的区域互有重叠，并且结构光图像上任一像素点被至少一个区域覆盖。对整个结构光图像进行匹配时，按区域对所述结构光图像的像素点进行匹配。当前区域匹配完成后，对当前区域的相邻区域进行匹配。如果当前区域有多个相邻区域，则对与当前区域重叠面积最大的区域进行区域。比如第一区域匹配完成后，对第二区域进行匹配，而不是第五区域进行匹配。将匹配完成的像素点从所述区域内剔除，不再参与后续的区域过程。因此按相邻区域进行匹配的过程，会使得相邻区域变小，匹配时无效数据减少，匹配效率更高。

图8为本发明实施例中一种结构光快速深度重建系统的模块示意图。如图8所示，本发明实施例中一种结构光快速深度重建系统包括如下模块。

获取模块，用于获得相对应的TOF深度数据和结构光图像数据；

初始模块，用于获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值；

视差模块，用于根据拍摄参数，计算所述初始深度测量值对应的视差；

中心模块，用于在所述结构光图像上，以所述视差为中心，设置窗口进行匹配；

匹配模块，用于在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果；

遍历模块，用于遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。

本发明实施例中还提供一种结构光快速深度重建设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的一种结构光快速深度重建方法的步骤。

如上，本实施例中能够通过TOF深度数据，为结构光图像提供初始深度值，从而大大缩限了匹配时需要计算的像素数，减少了计算量，提高了效率。本实施例充分利用了TOF数据获取简单快速的优势，在不占用结构光算力的前提下，使得结构光计算效率更高，可以更快进行重建。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图9是本发明实施例中的一种结构光快速深度重建设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述一种结构光快速深度重建方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的一种结构光快速深度重建方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述一种结构光快速深度重建方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，本实施例中能够通过TOF深度数据，为结构光图像提供初始深度值，从而大大缩限了匹配时需要计算的像素数，减少了计算量，提高了效率。本实施例充分利用了TOF数据获取简单快速的优势，在不占用结构光算力的前提下，使得结构光计算效率更高，可以更快进行重建。

图10是本发明实施例中的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本实施例中能够通过TOF深度数据，为结构光图像提供初始深度值，从而大大缩限了匹配时需要计算的像素数，减少了计算量，提高了效率。本实施例充分利用了TOF数据获取简单快速的优势，在不占用结构光算力的前提下，使得结构光计算效率更高，可以更快进行重建。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种结构光快速深度重建方法，其特征在于，包括如下步骤：

步骤S1:获得相对应的TOF深度数据和结构光图像数据；

步骤S2：获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值；

步骤S3：根据拍摄参数，计算所述初始深度测量值对应的视差；

步骤S4：在所述结构光图像上，以所述视差为中心，设置窗口进行匹配；

步骤S5：在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果；

步骤S6：遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。

2.根据权利要求1所述的一种结构光快速深度重建方法，其特征在于，所述步骤S4包括：

步骤S41：在所述结构光图像上，将所述视差设置为中心；

步骤S42：围绕所述中心设置固定大小的窗口；

步骤S43：对所述窗口内的所有位置进行匹配。

3.根据权利要求1所述的一种结构光快速深度重建方法，其特征在于，所述步骤S4包括：

步骤S41：在所述结构光图像上，将所述视差设置为中心；

步骤S44：围绕所述中心设置固定大小的第一窗口；

步骤S45：对窗口内的像素点的TOF深度数据进行判断，并将与所述中心对应的TOF深度数据在第一阈值内的像素点作为集合，形成第二窗口；

步骤S46：对所述第二窗口内的所有位置进行匹配。

4.根据权利要求1所述的一种结构光快速深度重建方法，其特征在于，所述步骤S4包括：

步骤S41：在所述结构光图像上，将所述视差设置为中心；

步骤S47：围绕所述中心设置窗口；所述窗口的大小与所述TOF深度数据的误差成正比；

步骤S48：对所述窗口内的所有位置进行匹配。

5.根据权利要求1所述的一种结构光快速深度重建方法，其特征在于，在所述步骤S6中，按照所述TOF深度数据将所述结构光图像分为若干个区域，并按区域对所述结构光图像的像素点进行匹配。

6.根据权利要求5所述的一种结构光快速深度重建方法，其特征在于，所述若干个区域之间有重叠。

7.根据权利要求5所述的一种结构光快速深度重建方法，其特征在于，将匹配完成的像素点从所述区域内剔除，不再参与后续的区域过程。

8.一种结构光快速深度重建系统，用于实现权利要求1至7中任一项所述的结构光快速深度重建方法，其特征在于，包括：

获取模块，用于获得相对应的TOF深度数据和结构光图像数据；

初始模块，用于获取所述结构光图像上每一像素所对应的所述TOF深度数据，并将所述TOF深度数据作为该像素的结构光初始深度测量值；

视差模块，用于根据拍摄参数，计算所述初始深度测量值对应的视差；

中心模块，用于在所述结构光图像上，以所述视差为中心，设置窗口进行匹配；

匹配模块，用于在所述窗口内计算得到最佳匹配得分位置，作为最终匹配结果；

遍历模块，用于遍历结构光图像上所有像素点，得到所有图像像素的匹配结果。

9.一种结构光快速深度重建设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述结构光快速深度重建方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述结构光快速深度重建方法的步骤。