CN109191562B - 基于彩色伪随机编码结构光的三维重建方法 - Google Patents
基于彩色伪随机编码结构光的三维重建方法 Download PDFInfo
- Publication number
- CN109191562B CN109191562B CN201810774133.2A CN201810774133A CN109191562B CN 109191562 B CN109191562 B CN 109191562B CN 201810774133 A CN201810774133 A CN 201810774133A CN 109191562 B CN109191562 B CN 109191562B
- Authority
- CN
- China
- Prior art keywords
- gradient operator
- operator template
- structured light
- dimensional reconstruction
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Abstract
本发明公开了一种基于彩色伪随机编码结构光的三维重建方法,包括以下步骤:在目标物体上投影预设定彩色结构光图案;该彩色结构光图案包括多个方格,任相邻两方格的颜色不同;在满足双目视觉极线约束的前提下,彩色结构光图案的奇数行颜色相同,偶数行颜色相同;利用相机采集上述步骤中的目标图像;对目标图像进行角点提取;对所提角点进行特征描述和匹配,利用三角测量法,完成三维重建。本发明增强了三维场景中物体的表面信息,实验表明,在只投影一幅彩色结构光图案的前提下,对平面物体进行三维重建的均方根误差为0.36 mm,可见,本发明的三维重建方法,具有较高精度、准确性和有效性优点,可应用于对非彩色物体的三维重建。
Description
技术领域
本发明涉及三维重建技术领域,尤其涉及一种基于彩色伪随机编码结构光的三维重建方法。
背景技术
传统双目立体视觉是由左右两个相机获取有视差的图像,利用三角测量原理计算获得物体的三维信息。这种方法在目标物体纹理不够丰富或者含有较多重复纹理信息的情况下,测量结果精度较低。而利用投射编码结构光的主动式三维测量方法是一种有效和可靠的三维重建方法,近年得到诸多学者的关注。其中,针对特征点的识别和匹配问题,利用红绿蓝黑白五种颜色设计了一种彩色菱形投影图案,将菱形间交点作为特征点进行提取,特征点周围区域色度差较大,从而提高了特征点的可识别度。提出的编码结构光投影图案由八种颜色方格组成,将六种彩色方格分成一组作为边界,由黑白两种颜色方格构成中心3*3区域,在解码过程中利用聚类分析对颜色进行分类,完成特征点匹配。通过引入优化准则改进了基于经典De Bruijn序列的编码方法,提出了一种基于彩色条纹的混合编码方式,对分辨率、测量精度、条纹颜色数量等特性进行了平衡。提出一种改进的De Bruijn序列空间二值编码方法。
改进后的编码特征点中心区域所占比重有所提高,这使得特征点的定位更加准确,解码方法更简单。目前,三维重建在匹配精度和效率方面仍存在很大不足,因此,提出了编码结构光由内部嵌入八种几何图形的菱形图案组成,将相邻的菱形间交点作为特征点,通过深度神经网络对八种图形进行模式分类,最终实现较高精度的三维重建。提出一种结合正弦条纹和伪随机散斑投影的相位辅助三维成像技术。该方法采集四幅等步相移图像和单幅伪随机结构光图像,借助伪随机图像确定左右相机获取折叠相位相互之间的对应关系,故不需要对折叠相位进行展开便可实现三维重建。
发明内容
针对上述不足,本发明的目的是提供一种基于彩色伪随机编码结构光的三维重建方法,该方法具有较高精度,可应用于对非彩色物体的三维重建。
为实现上述目的,本发明的技术方案是:
一种基于彩色伪随机编码结构光的三维重建方法,包括以下步骤:
S1、在目标物体上投影预设定彩色结构光图案;所述彩色结构光图案包括多个方格,任相邻两所述方格的颜色不同;在满足双目视觉极线约束的前提下,所述彩色结构光图案的奇数行颜色相同,偶数行颜色相同;
S2、利用相机采集上述步骤中的目标图像;
S3、对目标图像进行角点提取;
S4、对所提角点进行特征描述和匹配,利用三角测量法,完成三维重建。
优选方式为,所述角点提取中先预建六个梯度算子模板,各所述梯度算子模板对应一表格,
第一梯度算子模板为:
1 | 0 | 0 |
0 | 0 | 0 |
0 | 0 | -1 |
;
第二梯度算子模板为:
0 | 0 | 1 |
0 | 0 | 0 |
-1 | 0 | 0 |
;
第三梯度算子模板为:
0 | 0 | 1 |
0 | 0 | 0 |
0 | 0 | -1 |
;
第四梯度算子模板为:
1 | 0 | -1 |
0 | 0 | 0 |
0 | 0 | 0 |
;
第五梯度算子模板为:
-1 | 0 | 0 |
0 | 0 | 0 |
1 | 0 | 0 |
;
第六梯度算子模板为:
0 | 0 | 0 |
0 | 0 | 0 |
-1 | 0 | 1 |
;
则,所述角点提取具体包括以下步骤:
S31、提取所述目标图像中红、绿、蓝三个分量图像,从左上角选取第一个3x3区域;
S32、先用所述第一梯度算子模板,分别对每个分量图像3x3区域进行卷积运算,依次得到CR、CG、CB,其中绝对值的最大值用Ca表示;再用所述第二梯度算子模板对每个分量图像3x3区域进行做卷积运算后,得到绝对值的最大值Cb;
判断最大值Ca和Cb是否均大于预设定阈值T;
如果大于则进入步骤S33,否则将所述第二梯度算子模板在图像中移动一个所述方格后继续卷积运算;
S33、利用所述第三梯度算子模板、所述第四梯度算子模板、所述第五梯度算子模板和所述第六梯度算子模板,分别对每个分量图像3X3区域进行卷积运算,分别取得绝对值的最大值Cc、Cd、Ce和Cf;
再判断绝对值的最大值Cc、Cd、Ce和Cf是否均大于所设阈值T;
如果大于则定义为预选角点,否则进行步骤S34;
S34、在图像中移动一个像素选择下一个3X3区域,重复以上步骤S31和S32,直至遍历整个速搜所述目标图像结束;
S35、对上述步骤中初步选出的预选角点,进行局部非极大值抑制,最终完成角点定位。
优选方式为,在进行所述提取角点步骤之前,对所述目标图像进行3X3区域降采样,取每个3X3区域RGB分量的中值作为降采样后元素的各颜色分量。
优选方式为,所述步骤S4中,特征描述和匹配采用FREAK 特征描述算法,所述FREAK 特征描述算法通过对比感知域的方式生成一个二进制的特征向量,利用以下公式求得:
优选方式为,所述FREAK 特征描述算法通过极线校正。
优选方式为,所述FREAK特征描述算法中,FREAK描述符生成的是二进制的特征向量;在判断特征距离时,通过异或运算计算向量间的汉明距离,在同一行中汉明距离最小且小于所设阈值的点对,为匹配点。
优选方式为,在所述步骤S4中,以不同的角度重复所述三角测量法十次,得到均方根误差的平均值为0.36mm。
采用上述技术方案后,本发明的有益效果是:
由于本发明的基于彩色伪随机编码结构光的三维重建方法,包括以下步骤:在目标物体上投影预设定彩色结构光图案;该彩色结构光图案包括多个方格,任相邻两所述方格的颜色不同;在满足双目视觉极线约束的前提下,彩色结构光图案的奇数行颜色相同,偶数行颜色相同;利用相机采集上述步骤中的目标图像;对目标图像进行角点提取;对所提角点进行特征描述和匹配,利用三角测量法,完成三维重建。本发明增强了三维场景中物体的表面信息,通过实验表明,在只投影一幅彩色结构光图案的前提下,对平面物体进行三维重建的均方根误差为0.36 mm。可见,本发明的三维重建方法,具有较高精度、准确性和有效性优点,可应用于对非彩色物体的三维重建。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一种基于彩色伪随机编码结构光的三维重建方法,包括以下步骤:
步骤S1、在目标物体1上投影预设定彩色结构光图案;彩色结构光图案包括多个方格,任相邻两方格的颜色不同;在满足双目视觉极线约束的前提下,彩色结构光图案的奇数行颜色相同,偶数行颜色相同。本实施例中,预设定的彩色结构光图案通过投影仪4投影到目标物体1上,该投影仪4与上位机5连接,上位机5内预设彩色结构光图案。
步骤S2、利用相机采集上述步骤中的目标图像;由左相机2和右相机3获取目标图像,主要利用双目系统进行标定。
步骤S3、对目标图像进行角点提取;
步骤S4、对所提角点进行特征描述和匹配,利用三角测量法,完成三维重建。
本发明的基于彩色伪随机编码结构光的三维重建方法,在图像匹配过程中可以加入外极线约束条件,因此伪随机码只需要在外极线所在的一定宽度的条带中具有窗口唯一性。在传统的伪随机编码方法基础上,采用的彩色结构光图案后,增加了角点的数量。同时;在保持颜色数量不变的基础上,进一步增大了编码阵列的行数。本实施例中,选定红色、蓝色、绿色、黑色、白色五种颜色构成的彩色方格图案,该彩色方格图案的窗口大小是50X50,任意相邻的两行中2X2的小窗口都具有窗口唯一性。这样,在只投影一幅彩色结构光图案的前提下,对平面物体进行三维重建的均方根误差为0.36 mm,因此,本发明的三维重建方法,具有较高精度、准确性和有效性优点,可应用于对非彩色物体的三维重建。
B | G | R | H | R | H | R | H | R | H |
R | H | B | G | B | W | G | B | G | W |
B | G | R | H | R | H | R | H | R | H |
R | H | B | G | B | W | G | B | G | W |
B | G | R | H | R | H | R | H | R | H |
R | H | B | G | B | W | G | B | G | W |
B | G | R | H | R | H | R | H | R | H |
R | H | B | G | B | W | G | B | G | W |
B | G | R | H | R | H | R | H | R | H |
R | H | B | G | B | W | G | B | G | W |
上表为彩色结构光图案,其中B表示蓝色,R表示红色,G表示绿色,H表示黑色,W表示白色。
本实施例中,为了使目标图像位于边缘的方格显示比较清晰,先对目标图像进行3X3区域降采样,取每个3X3区域RGB分量的中值作为降采样后元素的各颜色分量。然后建立六个梯度算子模板,而梯度算子为图像灰度值差;各梯度算子模板对应一表格如下所示:
第一梯度算子模板 第二梯度算子模板 第三梯度算子模板
第四梯度算子模板 第五梯度算子模板 第六梯度算子模板
对应的本实施例中,角点提取具体包括以下步骤:
步骤S31、提取经过降采样的目标图像中红、绿、蓝三个分量图像,从左上角选取第一个3x3区域。
步骤S32、先用第一梯度算子模板,分别对每个分量图像3x3区域进行卷积运算,此处,卷积运算是分析数学中一种运算;卷积运算后依次得到CR、CG、CB,其中绝对值的最大值用Ca表示;再用第二梯度算子模板对每个分量图像3x3区域进行做卷积运算后,得到绝对值的最大值Cb;
判断最大值Ca和Cb是否均大于预设定阈值T;
如果大于则进入步骤S33,否则将第二梯度算子模板在图像中移动一个方格后继续做卷积运算;
步骤S33、利用第三梯度算子模板、第四梯度算子模板、第五梯度算子模板和第六梯度算子模板,分别对每个分量图像3X3区域进行卷积运算,分别取得绝对值的最大值Cc、Cd、Ce和Cf;
再判断绝对值的最大值Cc、Cd、Ce和Cf是否均大于所设阈值T;
如果大于则定义为预选角点,否则进行步骤S34;
步骤S34、在图像中移动一个像素选择下一个3X3区域,重复以上步骤S31和S32,直至遍历整个速搜目标图像结束;
步骤S35、对上述步骤中初步选出的角点,进行局部非极大值抑制,最终完成角点定位。
通过上述提取角点方法,使初步提取角点图像的角点区域颜色对比度显著增强,角点定位效果较好,且具有一定的抗噪声性能。将角点还原到原图像中,则确定了每个角点对应的3*3区域。
本实施例中,特征描述和匹配采用FREAK 特征描述算法,FREAK(是英文Fastretina keypoint的缩写)特征描述算法,是一种模拟人类视网膜成像原理的特征描述符。FREAK 特征描述算法模仿中央视觉细胞与周缘视觉细胞的关系,离中心特征点越远,采样点的分布就越稀疏,用于提取更多的轮廓特征,离中心特征点越近,采样点的分布就越密集,这样可以提取更多的细节特征,另外相邻的感知域有所重叠,目的是为了增强特征描述符的分辨力。
FREAK 特征描述算法通过对比感知域的方式生成一个二进制的特征向量,由以下公式求得:
FREAK特征描述算法采样区域在以特征点为中心的七层同心圆环上,每层圆环均有六个采样点,这43个感知域构成了近一千个特征采样点对。为了精简计算,利用方差对这些特征点对进行筛选,保留独特性较好的512个点对,将其分成四组,这四组描述符采样点对由外围依次向特征点中心靠拢,最终完成由粗到细的特征描述。
本实施例中,通过极线校正,使左相机2获取的左图像和右相机3获取的右图像的特征点都对应在同一行上,有效的减少了搜索空间,提高了匹配速度。由于FREAK描述符生成的是二进制的特征向量,所以在判断特征距离时,可以通过异或运算计算向量间的汉明距离,在同一行中汉明距离最小且小于所设阈值的点对即为匹配点。
本实施例在步骤S4中,以不同的角度重复三角测量法十次,得到均方根误差的平均值为0.36mm。在仅投影一副编码结构光图案的前提下,所提方法也获得了较好的结果,证明了文中方法的有效性和准确性。
综上所述,本发明提出一种基于伪随机编码结构光实现对物体三维测量的方法,彩色结构光图案在同一行中具有2×2窗口唯一性,较小的唯一性窗口有利于特征点的精确匹配。通过角点提取可确定特征点所在位置,而FREAK特征描述算法生成的是由0和1组成的二进制描述符,计算特征向量之间的汉明距离可得到匹配点对,利用三角测量原理即可完成三维重建,通过实验证明了所提方法的有效性。
以上所述本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同一种基于彩色伪随机编码结构光的三维重建方法结构的改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.基于彩色伪随机编码结构光的三维重建方法,其特征在于,包括以下步骤:
S1、在目标物体上投影预设定彩色结构光图案;所述彩色结构光图案包括多个方格,任相邻两所述方格的颜色不同;
在满足双目视觉极线约束的前提下,所述彩色结构光图案的奇数行颜色相同,偶数行颜色相同;
S2、利用相机采集上述步骤中的目标图像;
S3、对目标图像进行角点提取;
S4、对所提角点进行特征描述和匹配,利用三角测量法,完成三维重建;
所述角点提取中预建六个梯度算子模板,各所述梯度算子模板对应一表格,
第一梯度算子模板为:
第二梯度算子模板为:
第三梯度算子模板为:
第四梯度算子模板为:
第五梯度算子模板为:
第六梯度算子模板为:
则,所述角点提取具体包括以下步骤:
S31、提取所述目标图像中红、绿、蓝三个分量图像,从左上角选取第一个3x3区域;
S32、先用所述第一梯度算子模板,分别对每个分量图像3x3区域进行卷积运算,依次得到CR、CG、CB,其中绝对值的最大值用Ca表示;再用所述第二梯度算子模板对每个分量图像3x3区域进行做卷积运算后,得到绝对值的最大值Cb;
判断最大值Ca和Cb是否均大于预设定阈值T;
如果大于则进入步骤S33,否则将所述第二梯度算子模板在图像中移动一个所述方格后继续卷积运算;
S33、利用所述第三梯度算子模板、所述第四梯度算子模板、所述第五梯度算子模板和所述第六梯度算子模板,分别对每个分量图像3X3区域进行卷积运算,分别取得绝对值的最大值Cc、Cd、Ce和Cf;
再判断绝对值的最大值Cc、Cd、Ce和Cf是否均大于所设阈值T;
如果大于则定义为预选角点,否则进行步骤S34;
S34、在图像中移动一个像素选择下一个3X3区域,重复以上步骤S31和S32,直至遍历整个速搜所述目标图像结束;
S35、对上述步骤中初步选出的预选角点,进行局部非极大值抑制,最终完成角点定位。
2.根据权利要求1所述的基于彩色伪随机编码结构光的三维重建方法,其特征在于,在进行所述提取角点步骤之前,对所述目标图像进行3X3区域降采样,取每个3X3区域RGB分量的中值作为降采样后元素的各颜色分量。
4.根据权利要求3所述的基于彩色伪随机编码结构光的三维重建方法,其特征在于,所述FREAK特征描述算法通过极线校正。
5.根据权利要求3所述的基于彩色伪随机编码结构光的三维重建方法,其特征在于,所述FREAK特征描述算法中,FREAK描述符生成的是二进制的特征向量;在判断特征距离时,通过异或运算计算向量间的汉明距离,在同一行中汉明距离最小且小于所设阈值的点对,为匹配点。
6.根据权利要求1所述的基于彩色伪随机编码结构光的三维重建方法,其特征在于,在所述步骤S4中,以不同的角度重复所述三角测量法十次,得到均方根误差的平均值为0.36mm。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810774133.2A CN109191562B (zh) | 2018-07-15 | 2018-07-15 | 基于彩色伪随机编码结构光的三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810774133.2A CN109191562B (zh) | 2018-07-15 | 2018-07-15 | 基于彩色伪随机编码结构光的三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109191562A CN109191562A (zh) | 2019-01-11 |
CN109191562B true CN109191562B (zh) | 2022-10-25 |
Family
ID=64936545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810774133.2A Active CN109191562B (zh) | 2018-07-15 | 2018-07-15 | 基于彩色伪随机编码结构光的三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109191562B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110120096A (zh) * | 2019-05-14 | 2019-08-13 | 东北大学秦皇岛分校 | 一种基于显微单目视觉的单细胞三维重建方法 |
CN110264573B (zh) * | 2019-05-31 | 2022-02-18 | 中国科学院深圳先进技术研究院 | 基于结构光的三维重建方法、装置、终端设备及存储介质 |
CN111383234B (zh) * | 2020-03-04 | 2022-05-17 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于机器学习的结构光在线密集三维重建方法 |
CN111947601B (zh) * | 2020-08-12 | 2021-11-12 | 上海科技大学 | 一种灰度伪随机编码结构光条纹的投影解算方法 |
CN113188450B (zh) * | 2021-04-23 | 2023-03-14 | 封泽希 | 基于结构光的场景深度检测方法及系统 |
CN115983308B (zh) * | 2023-03-20 | 2023-06-16 | 湖南半岛医疗科技有限公司 | 一种用于智慧医疗的信息码生成方法及读取方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763654A (zh) * | 2010-01-19 | 2010-06-30 | 江苏大学 | 一种基于彩色伪随机编码投影的特征点匹配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103796004B (zh) * | 2014-02-13 | 2015-09-30 | 西安交通大学 | 一种主动结构光的双目深度感知方法 |
-
2018
- 2018-07-15 CN CN201810774133.2A patent/CN109191562B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763654A (zh) * | 2010-01-19 | 2010-06-30 | 江苏大学 | 一种基于彩色伪随机编码投影的特征点匹配方法 |
Non-Patent Citations (1)
Title |
---|
视觉测量中基于彩色伪随机编码照明模板的设计;廖素引等;《安徽大学学报(自然科学版)》;20110115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109191562A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191562B (zh) | 基于彩色伪随机编码结构光的三维重建方法 | |
CN106355570B (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
WO2022052313A1 (zh) | 3d结构光系统的标定方法、电子设备及存储介质 | |
CN109859226B (zh) | 一种图形分割的棋盘格角点亚像素的检测方法 | |
TWI729995B (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
US8218858B2 (en) | Enhanced object reconstruction | |
CN104318548B (zh) | 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法 | |
CN110686599A (zh) | 基于彩色格雷码结构光的三维测量方法、系统、装置 | |
CN107346041B (zh) | 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备 | |
CN104537625A (zh) | 一种基于方向标志位的Bayer彩色图像插值方法 | |
Kazantsev et al. | Robust pseudo-random coded colored structured light technique for 3D object model recovery | |
CN108592822A (zh) | 一种基于双目相机及结构光编解码的测量系统及方法 | |
CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
US6505148B1 (en) | Method for combining the computer models of two surfaces in 3-D space | |
CN113129397B (zh) | 一种基于图形几何关系的平行四边形编码标志的解码方法 | |
Douadi et al. | Pair-wise registration of 3D/color data sets with ICP | |
CN115239801A (zh) | 一种对象定位方法及装置 | |
TWI595446B (zh) | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 | |
CN113137939B (zh) | 基于二值特征模式匹配的解包裹方法 | |
Adán et al. | Disordered patterns projection for 3D motion recovering | |
MacDonald et al. | Accuracy of 3D reconstruction in an illumination dome | |
CN108038898B (zh) | 一种单帧二值结构光编解码方法 | |
Mkhitaryan et al. | RGB-D sensor data correction and enhancement by introduction of an additional RGB view | |
Healey et al. | Three-dimensional surface segmentation using multicolored illumination | |
Rajurkar | Canonical Applications of Stereo Vision and Depth Sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |