CN114332349B - 一种双目结构光边缘重建方法、系统及存储介质 - Google Patents
一种双目结构光边缘重建方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114332349B CN114332349B CN202111364847.4A CN202111364847A CN114332349B CN 114332349 B CN114332349 B CN 114332349B CN 202111364847 A CN202111364847 A CN 202111364847A CN 114332349 B CN114332349 B CN 114332349B
- Authority
- CN
- China
- Prior art keywords
- straight line
- edge
- line set
- line segments
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000010587 phase diagram Methods 0.000 claims abstract description 30
- 238000005286 illumination Methods 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种双目结构光边缘重建方法、系统及存储介质。所述方法包括：利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；同步采集待测物体的图像并得到左图像集和右图像集；得到左绝对相位图和右绝对相位图及全局像素匹配对集；分别对左图像集和右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；分别提取高动态范围左灰度图像和高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并得到边缘像素匹配对并将其加入到全局像素匹配对集中，最后进行三维重建。本申请充分利用边缘的重建起到边缘点增强的技术效果，进而提升了三维重建的精度。
Description
技术领域
本申请涉及计算机视觉技术领域，更为具体来说，本申请涉及一种双目结构光边缘重建方法、系统及存储介质。
背景技术
随着各种光学传感器飞速发展，三维扫描测量已经正式进入了各行各业，无论模型加工、工业检测、机器人引导、数控加工、文物保护及建筑施工与安装，到处可见三维扫描测量的身影。双目结构光测量是三维测量系统中的杰出代表。双目结构光测量采用了两个工业可见光相机+投影仪的结构，两个相机分别放置在投影仪的两侧，其中两个相机之间的基线距离决定了测量的范围。该系统测量原理是先采用投影仪投射已设计的光栅编码图案到测量对象表面，然后被双目相机同步采集及后续处理。
然而边缘作为重要的基础特征，不仅可作为图像分割的重要依据及基本特征，也可用于点云的分割、数据压缩，空间建模等工作中，但对边缘进行重建的方法并不多见或为数不多的边缘重建方法效果较差。
发明内容
基于上述技术问题，本发明旨在发明一种双目结构光边缘重建方法，充分利用边缘的重建起到边缘点增强的技术效果，进而改善边缘重建的精度。
本发明第一方面提供了一种双目结构光边缘重建方法，包括：
利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集；
分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；
将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
具体地，所述基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对，包括：
遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段；
用遍历所述第一左直线集合的方法反向遍历第一右直线集合中的所有边缘直线段；
提取遍历和反向遍历都匹配的边缘直线段得到第二左直线集合和第二右直线集合；
对所述第二左直线集合中的所有边缘直线段进行亚像素采样得到M个边缘点，计算所述M个边缘点在右侧对应的M条极线，其中M为自然数；
计算第二右直线集合中所有直线段与所述M条极线相交的M个交点，将所述M个边缘点和所述M个交点作为边缘像素匹配对。
进一步地，所述遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段，包括：
S31、分别在所述第一左直线集合和第一右直线集合中剔除斜率小于30度或大于150度的直线段，得到第三左直线集合和第三右直线集合；
S32、在所述第三左直线集合中获取任一直线段作为待匹配直线段，在所述待匹配直线段中采样N个边缘点，计算所述N个边缘点在右侧对应的N条极线，其中N为自然数；
S33、计算第三右直线集合中所有直线段与所述N条极线相交的N个交点；
S34、基于S32和S33中的方法遍历所述第三左直线集合中除所述待匹配直线段外的其他直线段，在所述第三右直线集合中找到所有与第三左直线集合中直线段匹配的直线段。
优选地，所述提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段采用LSD直线检测算法。
进一步优选地，所述利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上之前还包括：将左相机与右相机进行标定操作，以使左相机与右相机所拍摄的相片极线平行。
本发明第二方面提供了一种双目结构光边缘重建系统，所述系统包括：
光栅投影装置，用于利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
左相机与右相机，用于同步采集所述待测物体的图像得到左图像集和右图像集；
全局像素模块，用于分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
灰度获得模块；用于分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
边缘匹配模块，用于分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于所述第一左直线集合和第一右直线集合的匹配，得到边缘像素匹配对；
三维重建模块，用于将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
进一步地，所述左相机和所述右相机分别置于所述光栅投影装置的两侧，所述光栅投影装置投射结构光，所述左相机和所述右相机在拍摄前进行标定操作，以使左相机与右相机所拍摄的相片极线平行。
进一步优选地，所述三维重建模块按照三角测量原理对所述待测物体进行三维重建。
本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：
利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集；
分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；
将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
本发明第四方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现实现如下步骤：
利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集；
分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；
将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
本申请的有益效果为：本申请所述方法通过结构光相机拍摄得到左图像集和右图像集，分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像，分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对。进而完成边缘特征重建，丰富了场景的重建结构。本申请充分利用边缘的重建起到边缘点增强的技术效果，进而改善了边缘重建的精度，能更清晰地识别待测物体。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1示出了本申请一示例性实施例的方法步骤示意图；
图2示出了本申请一示例性实施例的左右图像示意图；
图3示出了本申请一示例性实施例中采用条纹图案示意图；
图4示出了本申请一示例性实施例中剔除斜率小于30度或大于150度的直线段过程示意图；
图5示出了本申请一示例性实施例中计算第三右直线集合中所有直线段与所述N条极线相交的N个交点过程示意图；
图6示出了本申请一示例性实施例的三维重建结构示意图；
图7示出了本申请一示例性实施例的系统结构示意图；
图8示出了本申请一示例性实施例所提供的一种电子设备的结构示意图；
图9示出了本申请一示例性实施例所提供的一种存储介质的示意图。
具体实施方式
以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
下面结合说明书附图1-9给出几个实施例来描述根据本申请的示例性实施方式。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
实施例1：
本实施例实施了一种双目结构光边缘重建方法，如图1所示，包括：
S1、利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
S2、利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集；
S3、分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
S4、分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
S5、分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；
S6、将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
这里，HDR成像技术为高动态范围成像技术，HDR照片是使用多张不同曝光的图片，然后再用软件将其叠加合成一张图片。HDR照片的优势是最终可以得到一张无论在阴影部分还是高光部分都有细节的图片。
优选地，所述条纹图案可以选用提前设计好的多张不同类型的条纹图，而不同强度光照包括低光照、中等光照以及高光照，即可投射三种全白光到待测物体上。
具体地，所述基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对，包括：
遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段；
用遍历所述第一左直线集合的方法反向遍历第一右直线集合中的所有边缘直线段；
提取遍历和反向遍历都匹配的边缘直线段得到第二左直线集合和第二右直线集合；
对所述第二左直线集合中的所有边缘直线段进行亚像素采样得到M个边缘点，计算所述M个边缘点在右侧对应的M条极线，其中M为自然数；
计算第二右直线集合中所有直线段与所述M条极线相交的M个交点，将所述M个边缘点和所述M个交点作为边缘像素匹配对。
进一步地，所述遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段，包括：
S31、分别在所述第一左直线集合和第一右直线集合中剔除斜率小于30度或大于150度的直线段，得到第三左直线集合和第三右直线集合；
S32、在所述第三左直线集合中获取任一直线段作为待匹配直线段，在所述待匹配直线段中采样N个边缘点，计算所述N个边缘点在右侧对应的N条极线，其中N为自然数，N可以是10甚至更多；
S33、计算第三右直线集合中所有直线段与所述N条极线相交的N个交点；
S34、基于S32和S33中的方法遍历所述第三左直线集合中除所述待匹配直线段外的其他直线段，在所述第三右直线集合中找到所有与第三左直线集合中直线段匹配的直线段。
优选地，所述提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段采用LSD直线检测算法。
进一步优选地，所述利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上之前还包括：将左相机和右相机进行标定操作，以使左相机和右相机所拍摄的相片极线平行。
本申请所述方法通过结构光相机拍摄得到左图像集和右图像集，分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像，分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对。进而完成边缘特征重建，丰富了场景的重建结构。本申请充分利用边缘的重建起到边缘点增强的技术效果，进而改善了边缘重建的精度，能更清晰地识别待测物体。
实施例2：
本实施例提供了一种双目结构光边缘重建方法，步骤详细说明如下。
第一步，将左相机和右相机进行标定操作，以使左相机和右相机所拍摄的相片极线平行。
具体地，左右相机可称为双目结构光相机，对其进行内标定以及外标定操作，并将标定信息输入，使得左右相机拍摄的“影像对”(一对影像)为极线影像对，也就是使左右相机拍出的两个相片极线平行。
第二步，利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上。
优选地，所述条纹图案可以选用提前设计好的多张条纹图，不同强度光照包括低光照、中等光照以及高光照，即可投射三种全白光到待测物体上。
第三步，利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集。
具体地，可参考图2，计算机视觉利用双目相机完成场景的三维重建，如图2所示，两个矩形分别表示左图像和右图像。后续操作需要找到左右图像的匹配点集x1和x2，再通过三角测量方法得到该像素点的三维坐标。匹配点集越多，场景重建得越稠密。决定重建的效果主要取决于同名点的匹配效率及数量，双目结构光相机通过投影编码后的结构光可以帮助提高匹配点集的效率和数量。
在一种可能的具体实施方式中，用所述光栅投影装置将条纹图案投影到目标场景中。所述左相机和所述右相机分别置于所述光栅投影装置的两侧，所述光栅投影装置投射结构光，所述左相机和所述右相机在拍摄前进行标定操作，以使左相机与右相机所拍摄的相片极线平行。如图3所示，将条纹图案投影到目标场景中，给所述光栅投影装置输入相应图案，就可以得到条纹图。当然在具体实施时，采用所述条纹图案优选为提前设计好的多张条纹图，条纹可以是各种样式的。
第四步，分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集。
第五步，分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像。
第六步，分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对。
优选地，所述提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段采用LSD直线检测算法。
所述基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对，包括：遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段；用遍历所述第一左直线集合的方法反向遍历第一右直线集合中的所有边缘直线段；提取遍历和反向遍历都匹配的边缘直线段得到第二左直线集合和第二右直线集合；对所述第二左直线集合中的所有边缘直线段进行亚像素采样得到M个边缘点，计算所述M个边缘点在右侧对应的M条极线，其中M为自然数；计算第二右直线集合中所有直线段与所述M条极线相交的M个交点，将所述M个边缘点和所述M个交点作为边缘像素匹配对。
进一步地，所述遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段，包括：
S31、如图4所示，分别在所述第一左直线集合和第一右直线集合中剔除斜率小于30度或大于150度的直线段，得到第三左直线集合和第三右直线集合；
S32、在所述第三左直线集合中获取任一直线段作为待匹配直线段，在所述待匹配直线段中采样N个边缘点，计算所述N个边缘点在右侧对应的N条极线，其中N为自然数，N可以是10甚至更多；
S33、如图5所示，计算第三右直线集合中所有直线段与所述N条极线相交的N个交点；
S34、基于S32和S33中的方法遍历所述第三左直线集合中除所述待匹配直线段外的其他直线段，即再找一条直线段作为当前待匹配直线段，在该当前待匹配直线段中采样N个边缘点，计算所述N个边缘点在右侧对应的N条极线，其中N为自然数，N可以是10甚至更多，再计算第三右直线集合中所有直线段与所述N条极线相交的N个交点，依此方法重复执行，在所述第三右直线集合中找到所有与第三左直线集合中直线段匹配的直线段。
在一种可能的具体实施方式中，还可以找出同名直线段。如果所述第三左直线集合中存在同名直线段，例如查找该待匹配直线段的同名直线，那么采样的N个边缘点与对应交点的相位值一致性应该远大于其他直线段。通过N个边缘点和交点的相位值来判断所述第三左直线集合中最可能的同名直线。决定重建的效果主要取决于同名点的匹配效率及数量，双目结构光相机通过投影编码后的结构光可以帮助提高匹配点集的效率和数量。
第七步，将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
具体地，解算出两个相机公共视区内像素点的三维坐标，如图6所示，按照三角测量原理得到待测场景的三维结构。
实施例3：
本实施例提供了一种双目结构光边缘重建系统，如图7所示，所述系统包括：
光栅投影装置701，用于利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
左相机与右相机702，用于同步采集所述待测物体的图像得到左图像集和右图像集；
全局像素模块703，用于分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
灰度获得模块704；用于分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
边缘匹配模块705，用于分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于所述第一左直线集合和第一右直线集合的匹配，得到边缘像素匹配对；
三维重建模块706，用于将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
进一步地，所述左相机和所述右相机分别置于所述光栅投影装置的两侧，所述光栅投影装置投射结构光，所述左相机和所述右相机在拍摄前进行标定操作，以使左相机与右相机所拍摄的相片极线平行。
进一步优选地，所述三维重建模块按照三角测量原理对所述待测物体进行三维重建。
下面请参考图8，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图8所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的双目结构光边缘重建方法，所述电子设备可以是具有触敏显示器的电子设备。
其中，存储器201可能包含高速随机存取存储器(RAM：RandomAccess Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述双目结构光边缘重建方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的双目结构光边缘重建方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的双目结构光边缘重建方法对应的计算机可读存储介质，请参考图9，图9示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的双目结构光边缘重建方法。
另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任意实施方式所提供的双目结构光边缘重建方法的步骤，所述方法的步骤包括：利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集；分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建。
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种双目结构光边缘重建方法，其特征在于，包括：
利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上；
利用左相机与右相机同步采集所述待测物体的图像得到左图像集和右图像集；
分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；
将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建；
所述基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对，包括：
遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段；
用遍历所述第一左直线集合的方法反向遍历第一右直线集合中的所有边缘直线段；
提取遍历和反向遍历都匹配的边缘直线段得到第二左直线集合和第二右直线集合；
对所述第二左直线集合中的所有边缘直线段进行亚像素采样得到M个边缘点，计算所述M个边缘点在右侧对应的M条极线，其中M为自然数；
计算第二右直线集合中所有直线段与所述M条极线相交的M个交点，将所述M个边缘点和所述M个交点作为边缘像素匹配对；
其中，所述遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段，包括：
S31、分别在所述第一左直线集合和第一右直线集合中剔除斜率小于30度或大于150度的直线段，得到第三左直线集合和第三右直线集合；
S32、在所述第三左直线集合中获取任一直线段作为待匹配直线段，在所述待匹配直线段中采样N个边缘点，计算所述N个边缘点在右侧对应的N条极线，其中N为自然数；
S33、计算第三右直线集合中所有直线段与所述N条极线相交的N个交点；
S34、基于S32和S33中的方法遍历所述第三左直线集合中除所述待匹配直线段外的其他直线段，在所述第三右直线集合中找到所有与第三左直线集合中直线段匹配的直线段。
2.根据权利要求1所述的双目结构光边缘重建方法，其特征在于，所述提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段采用LSD直线检测算法。
3.根据权利要求1所述的双目结构光边缘重建方法，其特征在于，所述利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上之前还包括：将左相机与右相机进行标定操作，以使左相机与右相机所拍摄的相片极线平行。
4.一种双目结构光边缘重建系统，其特征在于，所述系统包括：
光栅投影装置，用于利用光栅投影装置投影不同强度光照的多种全白光及条纹图案到待测物体上投影低光照、中等光照和高光照三种全白光到待测物体上；
左相机与右相机，用于同步采集所述待测物体的图像得到左图像集和右图像集；
全局像素模块，用于分别对所述左图像集和所述右图像集采用相位解码算法得到左绝对相位图和右绝对相位图，并完成所述左绝对相位图和所述右绝对相位图之间的像素匹配得到全局像素匹配对集；
灰度获得模块；用于分别对所述左图像集和所述右图像集利用HDR成像技术得到高动态范围左灰度图像和高动态范围右灰度图像；
边缘匹配模块，用于分别提取所述高动态范围左灰度图像和所述高动态范围右灰度图像中的边缘直线段得到第一左直线集合和第一右直线集合，并基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对；
三维重建模块，用于将所述边缘匹配像素对加入到全局像素匹配对集内，并根据所述全局像素匹配对集对所述待测物体进行三维重建；
所述基于极线约束对所述第一左直线集合和第一右直线集合进行匹配，得到边缘像素匹配对，包括：
遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段；
用遍历所述第一左直线集合的方法反向遍历第一右直线集合中的所有边缘直线段；
提取遍历和反向遍历都匹配的边缘直线段得到第二左直线集合和第二右直线集合；
对所述第二左直线集合中的所有边缘直线段进行亚像素采样得到M个边缘点，计算所述M个边缘点在右侧对应的M条极线，其中M为自然数；
计算第二右直线集合中所有直线段与所述M条极线相交的M个交点，将所述M个边缘点和所述M个交点作为边缘像素匹配对；
其中，所述遍历所述第一左直线集合中的所有边缘直线段，并在所述第一右直线集合中找到所有与其匹配的边缘直线段，包括：
S31、分别在所述第一左直线集合和第一右直线集合中剔除斜率小于30度或大于150度的直线段，得到第三左直线集合和第三右直线集合；
S32、在所述第三左直线集合中获取任一直线段作为待匹配直线段，在所述待匹配直线段中采样N个边缘点，计算所述N个边缘点在右侧对应的N条极线，其中N为自然数；
S33、计算第三右直线集合中所有直线段与所述N条极线相交的N个交点；
S34、基于S32和S33中的方法遍历所述第三左直线集合中除所述待匹配直线段外的其他直线段，在所述第三右直线集合中找到所有与第三左直线集合中直线段匹配的直线段。
5.根据权利要求4所述的双目结构光边缘重建系统，其特征在于，所述左相机和所述右相机分别置于所述光栅投影装置的两侧，所述光栅投影装置投射结构光，所述左相机和所述右相机在拍摄前进行标定操作，以使左相机与右相机所拍摄的相片极线平行。
6.根据权利要求5所述的双目结构光边缘重建系统，其特征在于，所述三维重建模块按照三角测量原理对所述待测物体进行三维重建。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-3任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364847.4A CN114332349B (zh) | 2021-11-17 | 2021-11-17 | 一种双目结构光边缘重建方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364847.4A CN114332349B (zh) | 2021-11-17 | 2021-11-17 | 一种双目结构光边缘重建方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332349A CN114332349A (zh) | 2022-04-12 |
| CN114332349B true CN114332349B (zh) | 2023-11-03 |
Family
ID=81045840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111364847.4A Active CN114332349B (zh) | 2021-11-17 | 2021-11-17 | 一种双目结构光边缘重建方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332349B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114877826B (zh) * | 2022-07-11 | 2022-10-14 | 南京信息工程大学 | 一种双目立体匹配三维测量方法、系统及存储介质 |
| CN114943755B (zh) * | 2022-07-25 | 2022-10-04 | 四川省产品质量监督检验检测院 | 一种基于双目结构光三维重建相位图像的处理方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014044126A1 (zh) * | 2012-09-21 | 2014-03-27 | Wei Yiqun | 坐标获取装置、实时三维重建系统和方法、立体交互设备 |
| CN107742300A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| WO2018103152A1 (zh) * | 2016-12-05 | 2018-06-14 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描系统及其扫描方法 |
| WO2019127049A1 (zh) * | 2017-12-26 | 2019-07-04 | 深圳配天智能技术研究院有限公司 | 一种图像匹配方法、装置及存储介质 |
| CN111145342A (zh) * | 2019-12-27 | 2020-05-12 | 山东中科先进技术研究院有限公司 | 一种双目散斑结构光三维重建方法及系统 |
| CN111750805A (zh) * | 2020-07-06 | 2020-10-09 | 山东大学 | 一种基于双目相机成像和结构光技术的三维测量装置及测量方法 |
| WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN112489193A (zh) * | 2020-11-24 | 2021-03-12 | 江苏科技大学 | 一种基于结构光的三维重建方法 |
| CN113074634A (zh) * | 2021-03-25 | 2021-07-06 | 苏州天准科技股份有限公司 | 一种快速相位匹配方法、存储介质和三维测量系统 |
| CN113505626A (zh) * | 2021-03-15 | 2021-10-15 | 南京理工大学 | 一种快速三维指纹采集方法与系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140078264A1 (en) * | 2013-12-06 | 2014-03-20 | Iowa State University Research Foundation, Inc. | Absolute three-dimensional shape measurement using coded fringe patterns without phase unwrapping or projector calibration |
| CN106931910B (zh) * | 2017-03-24 | 2019-03-05 | 南京理工大学 | 一种基于多模态复合编码和极线约束的高效三维图像获取方法 |
| CN109919876B (zh) * | 2019-03-11 | 2020-09-01 | 四川川大智胜软件股份有限公司 | 一种三维真脸建模方法及三维真脸照相系统 |
-
2021
- 2021-11-17 CN CN202111364847.4A patent/CN114332349B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014044126A1 (zh) * | 2012-09-21 | 2014-03-27 | Wei Yiqun | 坐标获取装置、实时三维重建系统和方法、立体交互设备 |
| WO2018103152A1 (zh) * | 2016-12-05 | 2018-06-14 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描系统及其扫描方法 |
| CN107742300A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| WO2019127049A1 (zh) * | 2017-12-26 | 2019-07-04 | 深圳配天智能技术研究院有限公司 | 一种图像匹配方法、装置及存储介质 |
| WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN111145342A (zh) * | 2019-12-27 | 2020-05-12 | 山东中科先进技术研究院有限公司 | 一种双目散斑结构光三维重建方法及系统 |
| CN111750805A (zh) * | 2020-07-06 | 2020-10-09 | 山东大学 | 一种基于双目相机成像和结构光技术的三维测量装置及测量方法 |
| CN112489193A (zh) * | 2020-11-24 | 2021-03-12 | 江苏科技大学 | 一种基于结构光的三维重建方法 |
| CN113505626A (zh) * | 2021-03-15 | 2021-10-15 | 南京理工大学 | 一种快速三维指纹采集方法与系统 |
| CN113074634A (zh) * | 2021-03-25 | 2021-07-06 | 苏州天准科技股份有限公司 | 一种快速相位匹配方法、存储介质和三维测量系统 |
Non-Patent Citations (2)
| Title |
|---|
| 低对比度图像高精度轮廓三维重建算法研究;杨武飞;蒋建军;陈雪梅;李中伟;周钢;;软件导刊(06);全文 * |
| 基于双重配准的机器人双目视觉三维拼接方法研究;艾青林;刘赛;沈智慧;;机电工程(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332349A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| US11615552B2 (en) | Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium | |
| Ahmadabadian et al. | A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs | |
| CN109751973B (zh) | 三维测量装置、三维测量方法以及存储介质 | |
| CN114332349B (zh) | 一种双目结构光边缘重建方法、系统及存储介质 | |
| US20220028043A1 (en) | Multispectral camera dynamic stereo calibration algorithm based on saliency features | |
| CN111080805A (zh) | 标注对象立体框图生成方法、装置、电子设备及存储介质 | |
| CN110825079A (zh) | 一种地图构建方法及装置 | |
| CN111882657B (zh) | 三维重建的尺度恢复方法、装置、系统和计算机设备 | |
| CN114119992A (zh) | 基于图像与点云融合的多模态三维目标检测方法及装置 | |
| CN113513981A (zh) | 基于双目立体视觉的多目标并行测量方法、系统、设备及存储介质 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN113781661B (zh) | 面向沉浸式场景的多投影空间布局评估方法和系统 | |
| CN113822883B (zh) | 一种基于寻找晶圆直边的晶圆对位方法和系统 | |
| JP2018088228A (ja) | 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体 | |
| CN110148086B (zh) | 稀疏深度图的深度补齐方法、装置及三维重建方法、装置 | |
| Gan et al. | Multi-view photometric stereo using surface deformation | |
| CN113450415A (zh) | 一种成像设备标定方法以及装置 | |
| Adil et al. | Investigation of stereo camera calibration based on Python | |
| Nakano | Minimal Solutions to Uncalibrated Two-view Geometry with Known Epipoles | |
| JP7493793B2 (ja) | 画像標定方法、画像標定装置、画像標定システム及び画像標定プログラム | |
| CN116958104A (zh) | 物料表面图像处理方法、装置及存储介质 | |
| CN116630238A (zh) | 双目立体匹配方法、装置、电子设备及存储介质 | |
| CN116977305A (zh) | 一种物料表面图像处理方法、装置及存储介质 | |
| CN114663351A (zh) | 一种满斗率探测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Address before: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant before: Zhejiang smart video security Innovation Center Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220412 Assignee: Institute of Information Technology, Zhejiang Peking University Assignor: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Contract record no.: X2024330000024 Denomination of invention: A binocular structured light edge reconstruction method, system, and storage medium Granted publication date: 20231103 License type: Common License Record date: 20240401 |