CN116295114A - 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 - Google Patents
一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 Download PDFInfo
- Publication number
- CN116295114A CN116295114A CN202310195331.4A CN202310195331A CN116295114A CN 116295114 A CN116295114 A CN 116295114A CN 202310195331 A CN202310195331 A CN 202310195331A CN 116295114 A CN116295114 A CN 116295114A
- Authority
- CN
- China
- Prior art keywords
- auxiliary
- main
- camera
- view angle
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法。基于高反射表面反光特性，建立一个主辅双视角结构光三维重建系统。通过额外引入一个辅助重建视角，使得单次投影重建过程中可避开由于镜面反射造成的图像过曝，在主重建视角下图像过曝的区域，采用辅助视角下的图像重建进行补偿，实现在单次视角下重建更多的点，提升测量速度及效率，同时采用共用同一投影仪的方式也很好的节约了硬件成本，结合多灰度级投影方法，通过逐级降低投影强度，对在主辅双视角下均过曝的点进行重建，进而重建出完整的高反射表面，同时提出了一种双视角下过曝点判别方法，以此判别该点是否在主辅视角下均过曝。
Description
技术领域
本发明涉及光学测量领域，具体地说，是一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法。
背景技术
现实世界中，人类所感知到的物体都是三维的。在过去的几十年里，随着科技的快速发展，三维形貌测量技术在工业制造、生物医疗、国防安全、动画制作、虚拟现实、三维打印等领域有了越来越多的应用。由于结构光技术具有全场扫描、高分辨率和高精度的优点，同时得益于DLP(Digital Light Processing)技术的快速发展，使得所投射的结构光图案可以通过计算机编程灵活地进行选择，最大限度地提高测量精度和测量速度，这些优势使其成为目前工程应用中最有发展前途的三维数据获取方法。
但是，结构光三维测量技术在应用中仍然存在一些问题，比如要求测量时环境光照限制在一定范围内，被测物体必须是漫反射表面，且表面反射率变化范围不大。当输入的强度超过相机传感器的感光范围时，图像中会产过曝光，而当降低投影强度时则会产生欠曝光。这两种情况都会导致提取的相位图出现明显的误差，从而导致三维形状的测量。
目前高反射表面结构光三维测量方案主要有两种：一是通过设计复杂光学系统，如通过使用多角度投影、多角度拍摄、多光谱等光学方法消除过曝；二是采用高动态图像技术(High dynamic range imaging，HDRI)，调整相机曝光或者投影强度，采集多帧图像融合为HDR图像消除过曝现象。这两种方法均能够能对过曝区域进行补偿，一定程度上解决过曝问题，但是各自存在一定的缺陷。其中，复杂光学系统方法想达到理想效果需要对系统进行精密设计，结构相对复杂，同时系统成本高；而HDRI技术投影序列长，导致测量时间过长，测量效率低；此外，以上方法对于靠近镜面反射角附近的像素点存在无法完全重建的问题，点云重建完整度有待提高。
本发明内容
为解决现有技术的不足，本发明的目的在于提供一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法：
1)基于高反射表面反光特性，建立一个主辅双视角结构光三维重建系统。相比传统双目结构光系统，该系统为共用一个投影仪的两组单目重建系统组合而成。通过额外引入一个辅助重建视角，使得单次投影重建过程中可避开由于镜面反射造成的图像过曝，在主重建视角下图像过曝的区域，采用辅助视角下的图像重建进行补偿，实现在单次视角下重建更多的点，提升测量速度及效率，同时采用共用同一投影仪的方式也很好的节约了硬件成本。
2)考虑到测量物体表面形状的复杂性，仅依靠两个重建视角无法使得表面上全部的过曝点均能够被互补重建，而增加额外的重建视角会增加硬件成本，因此本方法在该系统基础上结合多灰度级投影方法，通过逐级降低投影强度，对在主辅双视角下均过曝的点进行重建，进而重建出完整的高反射表面。同时提出了一种双视角下过曝点判别方法，以此判别该点是否在主辅视角下均过曝，并在重建过程中，对主辅双视角下重复重建的点进行删除。
本发明通过结合上述两种方法的优势，实现高反射表面高效、高精度三维测量。与传统单视角方法相比，所提出的方法可以在每个投影强度下重建更多的点，特别是对于位于镜面反射角周围的像素，使得所需的投影强度数量减少，以节省时间消耗。首先，搭建了一个由两个相机共用同一投影仪组成的主辅双视角结构光系统。然后，提出了一种双视角饱和像素判断方法，使两个视角下的重建结果进行融合，并且去除二者的重复点。之后采用多强度投影法，逐步降低输入的投影强度，对镜面反射角周围的剩余像素进行重建。最后，通过拼接每个投影强度的点云，可以得到重建的结果。本发明所提出的方法可以提高重建的点云的完整性和测量效率。
为了实现上述目标，本发明采用的技术方法具体如下：
本发明公开了一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法，包括：
搭建主辅双视角结构光重建系统；
对结构光重建系统进行标定，获取主视角相机、辅助视角相机及投影仪内外参数矩阵；
投影一张均匀灰度图像至待测物体表面，主视角相机和辅助视角相机同时采集一张图像，对图像进行二值化后得到主视角相机和辅助视角相机的过曝掩膜；
投影结构光正弦相移条纹至待测物体表面，利用相移法解相位获取主视角相机和辅助视角相机视角下对应物体表面的绝对相位，通过获取的主视角相机、辅助视角相机内参矩阵、投影仪内参矩阵和主视角相机、辅助视角相机、投影机的外参矩阵计算为辅助视角相机的过曝掩膜中过曝区域像素点的空间三维坐标，利用主视角相机内外参矩阵将辅相机未过曝区域中的像素点对应的三维空间点重投影至主视角相机图像过曝掩膜中，获得总体过曝判断掩膜；
对总体过曝判断掩膜进行去重复处理，得到余下点对应的三维重建点云；
判断余下点对应的三维重建点是否还存在过曝点未处理，若存在则降低投影强度并重复上述投影采集流程并计算对应强度下的各过曝掩膜，对未过曝点进行重建并存储结果，若不存在则说明全部过曝点均已完成重建；
将存储的各投影强度下三维重建点云合并，输出最终重建结果。
作为进一步地改进，本发明所述的主辅双视角结构光重建系统，包括一个主视角相机、一个辅助视角相机及一个投影仪，待测物体置于投影仪镜头的下方保持静止，所述的主视角相机、辅助视角相机置于投影仪两侧，主视角相机和辅助视角相机分别与投影仪距离范围100mm至150mm，且分别与投影仪成一定夹角范围10°至30°；
作为进一步地改进，本发明所述的利用主视角相机内外参矩阵将辅助视角相机未过曝区域中的像素点对应的三维空间点重投影至主视角相机图像过曝掩膜中，获得总体过曝判断掩膜，具体为：
利用主视角相机内外参矩阵Km和Tm将辅助视角相机未过曝区域中的一点Pauxiliary(ua，va)对应的三维空间点Pobject(x，y，z)重投影至主视角相机图像过曝掩膜中：
sc[u′a，v′a，1]T＝KmTm[x，y，z，1]T
其中(u′a，v′a)为重投影计算到的像素坐标，sc是尺度缩放因子，考虑到计算出的坐标值包含小数部分，采用四舍五入的方法将坐标化为整数：
[u″a,v″a]T＝Round([u′a,v″a]T)
其中(u″a,v″a)即为获得的映射点坐标，通过对所有辅助视角相机中未过曝像素进行上述重投影操作即可获得总体的过曝判断掩膜M′k，可表示为：
作为进一步地改进，本发明所述的在得到总过曝掩膜的基础上进一步对掩膜进行去重复处理，具体为：
将第k-1次投影过程中已经未过曝的像素点在第k次获得的过曝掩膜中去除：
其中M′k-1、M′k分别为第k-1和第k次投影过程中获得的总过曝掩膜，
为第k次投影过程中的去重后的总过曝掩膜，所述的掩膜中值为255的点即为第k次投影过程中可被重建的点。
与现有技术相比，本发明所达到的有益效果：
1.设置简单，成本低：本发明所提主辅双视角结构光重建系统通过双相机共用同一投影仪的方式实现对待测物体进行双角度互补重建，避免采用更多复杂系统设计，结构更加简洁且设备成本低。
2.重建效率高：传统的多灰度级投影重建方法在处理靠近镜面反射角附近的像素点时，需要多次降低强度投影，耗费大量时间，所提方法通过结合双视角重建的优势，对靠近镜面反射角附近的像素点采用辅助视角互补重建的方式，快速弥补大量过曝像素提升单次重建过程的重建效率。同时，该方法可减少所使用的投影次数，从而提升整体重建测量的速度。
3.重建完整度高：面对部分强反射表面时，靠近反射角附近的像素点无论如何调节投影强度，也会产生过曝现象，因而导致重建点云产生孔洞，影响测量精度，本发明所以方法通过双角度互补重建及多灰度级投影方法相结合的方法能很好的解决该问题，通过双角度避开镜面反射强光，并在此基础上逐级降低投影强度互补重建，从而提升整体高反射表面三维重建完整性，进而提升测量精度。
附图说明
图1是本发明主辅双视角结构光三维测量系统装置结构示意图。
图中，1是主视角单目结构光系统；2是辅助视角单目结构光系统；3是投影仪；4是主视角相机；5是辅助视角相机；6是待测物体；
图2是本发明方法的数据流程图；
图3是辅助视角相机像素重投影示意图。
具体实施方式
下面结合说明书附图，通过具体实施例对本发明的技术方案作进一步地说明：
本发明的目的是针对现有的高反射表面结构光三维测量方法在镜面反射角附近重建效率及重建质量较差的情况，提出了一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法。
图1示意性地展示了所建立的主辅双视角结构光三维测量系统配置，该系统由两组共用同一投影仪3的单目结构光重建系统组成，包括一个主视角相机4、一个辅助视角相机5及一个投影仪3。主视角相机4和投影仪3构成主视角单目结构光系统1，辅助视角相机5和投影仪3构成辅助视角单目结构光系统2，待测物体6置于投影仪3下方保持静止，主视角相机4及辅助视角相机5置于投影仪3两侧，相机与投影仪3距离范围，相机与投影仪3距离范围100mm至150mm，相机与投影仪3成一定夹角范围10°至30°；100mm至150mm，相机与投影仪3成一定夹角范围10°至30°，这种配置可使得待测物体6处于主辅助视角相机5共同视场范围内，同时可使得在主视角相机4中处于镜面反射角附近的过曝点在辅助视角相机5采集过程中避开镜面反射角不产生过曝，从而实现互补重建，以解决主视角相机4图像过曝问题。
图2为本发明的数据流程图。
本发明的具体实施方法如下：
步骤一、在进行测量之前，对结构光系统进行标定，采集棋盘格图像标定相机，通过投影仪3投影横纵相移条纹相机采集相移图像并解相位获取绝对相位，标定投影仪3，获取主辅助视角相机5及投影仪3内外参数矩阵；
步骤二、首先投影一张均匀灰度图像至待测物体6表面(首次投影时，该图像灰度为最大强度值255)，主辅助视角相机5同时采集一张图像，对图像进行二值化后得到过曝掩膜Mmain和Mauxiliary，过曝掩膜可表示为：
其中，Mk为第k次投影得到的过曝掩膜，
为相机采集图像中像素(uc，vc)处的强度，Ithreshold为过曝判断阈值(通常设置为略低于255的一个值，以减少噪声影响)，过曝掩膜中值为255的像素点为未过曝像素点，可在当前强度通过结构光相移法进行三维重建，值为0的像素点为过曝像素点，因相位信息缺失而无法重建；
步骤三、如图3所示，投影仪3投影结构光正弦相移条纹至待测物体6上，利用相移法解相位获取主辅视角下对应物体表面的绝对相位
通过步骤一中获取的相机内参矩阵、投影仪3内参矩阵和二者外参矩阵计算辅助视角下相机过曝掩膜中未过曝区域像素点(即Mk中值为255的点)的空间三维坐标。利用主视角相机4内外参矩阵Km和Tm将辅助视角相机5未过曝区域中的一点Pauxiliary(ua，va)对应的三维空间点Pobject(x，y，z)重投影至主视角相机4图像过曝掩膜中：
sc[u′a，v′a，1]T＝KmTm[x，y，z，1]T
其中(u′a，v′a)为重投影计算到的像素坐标，sc是尺度缩放因子。考虑到计算出的坐标值包含小数部分，因此采用四舍五入的方法将坐标化为整数：
[u″a，v″a]T＝Round([u′a，v′a]T)
其中(u″a，v″a)即为获得的映射点坐标。通过对所有辅助视角相机5中未过曝像素进行上述重投影操作即可获得总体的过曝判断掩膜M′k，可表示为：
此时获取的总体过曝掩膜中包含了在该投影强度下主辅视角所有能重建的像素点(值为255)；
步骤四、在得到总过曝掩膜的基础上进一步对掩膜进行去重复处理，考虑到在降低强度重复进行掩膜计算时，有大量点被重复统计计算，从而降低计算效率，因此采取将第k-1次投影过程中已经未过曝的像素点在第k次获得的过曝掩膜中去除：
其中M′k-1、M′k分别为第k-1和第k次投影过程中获得的总过曝掩膜，
为第k次投影过程中的去重后的总过曝掩膜。该掩膜中值为255的点即为第k次投影过程中可被重建的点，将这些点的在步骤二中计算的对应三维重建点传输至工控机中；
步骤五、判断是否还存在过曝点未处理，即检索M′k中是否还有值为0的像素点，若存在则降低投影强度并重复步骤二至步骤四，若不存在则说明全部过曝点均已完成重建，进入下一步骤；
步骤六、将步骤四中存储的各投影强度下三维重建结果合并，输出最终重建结果。
最后，还需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (4)
1.一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法，其特征在于，包括：
搭建主辅双视角结构光重建系统；
对结构光重建系统进行标定，获取主视角相机(4)、辅助视角相机(5)及投影仪(3)内外参数矩阵；
投影一张均匀灰度图像至待测物体(6)表面，主视角相机(4)和辅助视角相机(5)同时采集一张图像，对图像进行二值化后得到主视角相机(4)和辅助视角相机(5)的过曝掩膜；
投影结构光正弦相移条纹至待测物体(6)表面，利用相移法解相位获取主视角相机(4)和辅助视角相机(5)视角下对应物体表面的绝对相位，通过获取的主视角相机(4)、辅助视角相机(5)内参矩阵、投影仪(3)内参矩阵和主视角相机(4)、辅助视角相机(5)、投影机的外参矩阵计算为辅助视角相机(5)的过曝掩膜中过曝区域像素点的空间三维坐标，利用主视角相机(4)内外参矩阵将辅相机未过曝区域中的像素点对应的三维空间点重投影至主视角相机(4)图像过曝掩膜中，获得总体过曝判断掩膜；
对总体过曝判断掩膜进行去重复处理，得到余下点对应的三维重建点云；
判断余下点对应的三维重建点是否还存在过曝点未处理，若存在则降低投影强度并重复上述投影采集流程并计算对应强度下的各过曝掩膜，对未过曝点进行重建并存储结果，若不存在则说明全部过曝点均已完成重建；
将存储的各投影强度下三维重建点云合并，输出最终重建结果。
2.根据权利要求1所述的基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法，其特征在于，所述的主辅双视角结构光重建系统，包括一个主视角相机(4)、一个辅助视角相机(5)及一个投影仪(3)，待测物体(6)置于投影仪(3)镜头的下方保持静止，所述的主视角相机(4)、辅助视角相机(5)置于投影仪(3)两侧，主视角相机(4)和辅助视角相机(5)分别与投影仪(3)距离范围100mm至150mm，且分别与投影仪(3)成一定夹角范围10°至30°。
3.根据权利要求1或2所述的基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法，其特征在于，所述的利用主视角相机(4)内外参矩阵将辅助视角相机(5)未过曝区域中的像素点对应的三维空间点重投影至主视角相机(4)图像过曝掩膜中，获得总体过曝判断掩膜，具体为：
利用主视角相机(4)内外参矩阵Km和Tm将辅助视角相机(5)未过曝区域中的一点Pauxiliary(ua,va)对应的三维空间点Pobject(x,y,z)重投影至主视角相机(4)图像过曝掩膜中：
sc[u′a,v′a,1]T＝KmTm[x,y,z,1]T
其中(u′a,v′a)为重投影计算到的像素坐标，sc是尺度缩放因子，考虑到计算出的坐标值包含小数部分，采用四舍五入的方法将坐标化为整数：
[u″a,v″a]T＝Round([u′a,v′a]T)
其中(u″a,v″a)即为获得的映射点坐标，通过对所有辅助视角相机(5)中未过曝像素进行上述重投影操作即可获得总体的过曝判断掩膜M′k，可表示为：
4.根据权利要求3所述的基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法，其特征在于，所述的在得到总过曝掩膜的基础上进一步对掩膜进行去重复处理，具体为：
将第k-1次投影过程中已经未过曝的像素点在第k次获得的过曝掩膜中去除：
其中M′k-1、M′k分别为第k-1和第k次投影过程中获得的总过曝掩膜，
为第k次投影过程中的去重后的总过曝掩膜，所述的掩膜中值为255的点即为第k次投影过程中可被重建的点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310195331.4A CN116295114A (zh) | 2023-03-03 | 2023-03-03 | 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310195331.4A CN116295114A (zh) | 2023-03-03 | 2023-03-03 | 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116295114A true CN116295114A (zh) | 2023-06-23 |
Family
ID=86782813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310195331.4A Pending CN116295114A (zh) | 2023-03-03 | 2023-03-03 | 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116295114A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117346694A (zh) * | 2023-12-04 | 2024-01-05 | 常州微亿智造科技有限公司 | 复合面型样品的检测方法、检测系统 |
-
2023
- 2023-03-03 CN CN202310195331.4A patent/CN116295114A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117346694A (zh) * | 2023-12-04 | 2024-01-05 | 常州微亿智造科技有限公司 | 复合面型样品的检测方法、检测系统 |
| CN117346694B (zh) * | 2023-12-04 | 2024-02-23 | 常州微亿智造科技有限公司 | 复合面型样品的检测方法、检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | A high dynamic range structured light means for the 3D measurement of specular surface | |
| CN112053432B (zh) | 一种基于结构光与偏振的双目视觉三维重建方法 | |
| CN110146036B (zh) | 一种基于光栅投影和双目偏振相机的三维测量方法与系统 | |
| KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
| CN113358063B (zh) | 一种基于相位加权融合的面结构光三维测量方法及系统 | |
| CN112525107B (zh) | 一种基于事件相机的结构光三维测量方法 | |
| CN110599578A (zh) | 一种真实感三维彩色纹理重建方法 | |
| CN110738608B (zh) | 一种平面图像校正方法及系统 | |
| CN113506348B (zh) | 一种基于格雷码辅助的三维坐标计算方法 | |
| CN110033509B (zh) | 一种基于漫反射梯度偏振光构建三维人脸法线的方法 | |
| CN113108721B (zh) | 基于多光束自适应互补匹配的高反光物体三维测量方法 | |
| CN116295114A (zh) | 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 | |
| CN112734824A (zh) | 一种基于广义光度立体模型的三维重建方法 | |
| CN116295113A (zh) | 一种融合条纹投影的偏振三维成像方法 | |
| CN102269575A (zh) | 一种视觉测量中基于映射的相位匹配方法 | |
| Zhou et al. | A 3D shape measurement method for high-reflective surface based on dual-view multi-intensity projection | |
| CN112648935A (zh) | 一种图像处理方法、装置和三维扫描系统 | |
| CN112070709A (zh) | 三维点云信息的采集方法、装置及电子设备 | |
| CN116824047A (zh) | 一种基于条纹图像增强的结构光三维重建方法 | |
| CN116608794A (zh) | 一种抗纹理3d结构光成像方法、系统、装置及存储介质 | |
| CN109446945A (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
| CN115272080A (zh) | 基于图像拼接的全局变形测量方法和系统 | |
| Huang et al. | Defocusing rectified multi-frequency patterns for high-precision 3D measurement | |
| CN111462199B (zh) | 基于gpu的快速散斑图像匹配方法 | |
| CN114119995B (zh) | 一种基于物方面元的空地影像匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |