CN109242895B - 一种基于多相机系统实时三维测量的自适应深度约束方法 - Google Patents

一种基于多相机系统实时三维测量的自适应深度约束方法 Download PDF

Info

Publication number
CN109242895B
CN109242895B CN201810802707.2A CN201810802707A CN109242895B CN 109242895 B CN109242895 B CN 109242895B CN 201810802707 A CN201810802707 A CN 201810802707A CN 109242895 B CN109242895 B CN 109242895B
Authority
CN
China
Prior art keywords
depth
dimensional
camera
pixel
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810802707.2A
Other languages
English (en)
Other versions
CN109242895A (zh
Inventor
陈钱
陶天阳
左超
冯世杰
钱佳铭
胡岩
张良
尹维
顾国华
张玉珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810802707.2A priority Critical patent/CN109242895B/zh
Publication of CN109242895A publication Critical patent/CN109242895A/zh
Application granted granted Critical
Publication of CN109242895B publication Critical patent/CN109242895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多相机系统实时三维测量的自适应深度约束方法，通过对当前三维重构的深度图进行全局与逐像素邻域的分析，分别获取了自适应全局深度范围与逐像素深度范围图，并将得到的逐像素深度范围图用于下一次三维重构。本发明充分利用了实时三维测量的时空连续性，分析了当前重构深度图的特性用于增强了多视角实时三维测量系统中立体相位展开的稳定性，相比传统立体相位展开，本发明算法更为简洁，操作难度更低。

Description

一种基于多相机系统实时三维测量的自适应深度约束方法
技术领域
本发明属于三维成像技术领域，特别是一种基于多相机系统实时三维测量的自适应深度约束方法。
背景技术
在三维成像领域，快速获取目标物体的高精度三维数据一直以来都是一个重要的技术难点。早期人们通过机械的三坐标测量机来对目标物体逐点探测以获取三维图像，但是这种逐点接触式的图像获取技术一方面效率极其低下，另一方面对被测物体有所损坏，这些缺点使得该技术在诸如人体检测、文物保护等领域难以得到应用。相比于传统的机械三维图像获取技术，光学三维图像获取技术由于其非接触，高效率的优点在科学研究、工业检测等领域得到了广泛应用。近些年来由于数字投影设备的发展，光学三维成像方法中能够实现全场成像的条纹投影技术更是成为了研究热点(S.S.Gorthi and P.Rastogi,“Fringe projection techniques: whither we are？”Optics&Lasers in Engineering,48,133–140(2010).)。目前条纹投影领域中主流的两种技术分别是傅里叶轮廓术(M.Takeda and K.Mutoh,“Fourier transform profilometry for the automaticmeasurement of 3-d object shapes,”Applied optics 22,3977-3982(1983).)与相移轮廓术(V.Srinivasan,H.-C.Liu,and M. Halioua,“Automated phase-measuringprofilometry of 3-d diffuse objects,”Applied optics 23,3105-3108(1984).)。
目前两种方法都有应用于实时测量的报告，无论对于何种方法而言，都可以通过以下两个途径提升其测量动态场景能力：一是提升图像投影与采集速度；二是提升单次三维重构效率。其中第二个途径主要是针对目前主流的时域相位展开中过多的光栅条纹会极大的影响相位获取的效率从而影响三维图像获取的速度 (效率)的问题(基于双频三灰阶正弦光栅条纹投影的时间相位去包裹方法: ZL201410027275.4)，这会降低实时的测量效率从而降低其测量运动物体的能力。
为了能保证高效率的相位展开(或对应点匹配)并且不损失条纹对比度，基于多相机系统的极线约束被引入了到了相位展开中，从而实现了最高效率(仅利用三幅相移图像)的相移轮廓术，该方法被称之为立体相位展开(匹配)。相比于传统相位展开算法，立体相位展开在保证最高测量效率的同时能展开被复杂型面调制的包裹相位。但是单纯地使用立体相位展开，其稳定性难以得到保证，因此其需要辅助的算法增强其稳定性。然而目前已有的一些辅助算法较为复杂或者限制条件较多，难以用于实时测量。
发明内容
本发明的目的在于提供一种基于多相机系统实时三维测量的自适应深度约束方法，增强了多视角实时三维测量系统中立体相位展开的稳定性，实现过程更为简洁并能够实时三维测量。
实现本发明目的的技术解决方案为：一种基于多相机系统实时三维测量的自适应深度约束方法，首先通过多相机系统中的投影仪循环投影三幅条纹图像到被测物体上，经过被测物体调制后的条纹图像被多相机系统中的每一个相机同步拍摄获取并传输到计算机中，计算机对每一个相机获取的三幅条纹图利用相移法进行包裹相位提取，得到了各个相机对应的包裹相位图；其中，多相机系统包含n 个相机，n≥2；
利用相机1与投影仪之间的标定参数计算相机1上的所有点的三维候选点，并利用传统深度约束技术去除部分三维候选点，然后将剩余的三维候选点投影到相机2上得到对应的二维候选点，利用之前得到的包裹相位图通过相位一致性检验去除部分二维候选点以及对应的三维候选点，并得到第一幅有效区域图；
如果是第一轮三维重构，则通过简化一致检验确定最终的匹配点，并根据匹配点进行三维重构，输出深度图，通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围；
如果不是第一轮三维重构，则通过自适应逐像素深度约束技术再次去除部分三维候选点及对应的二维候选点，得到第二幅有效区域图；根据第一幅有效区域图与第二幅有效区域图作差后的结果与设定阈值比较确定剩余的候选点集合，然后通过简化一致检验确定最终的匹配点，并根据匹配点进行三维重构，输出深度图，并通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围；
对自适应全局深度范围用全局深度范围将离群点设置为无效点得到更加精炼的深度图，在精炼的深度图基础上，逐像素分析像素邻域深度特性，得到了自适应逐像素深度范围图。
本发明与现有技术相比，其显著优点为：(1)充分利用了实时三维测量的时空连续性，分析了当前重构深度图的特性用于增强了多视角实时三维测量系统中立体相位展开的稳定性。相比传统立体相位展开，本发明算法更为简洁，操作难度更低。(2)简化的左右一致检验通过简单的映射关系检验了不同视角之间的匹配点一致性，立体相位展开的稳定性更高，减少了三维重构的错误率。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的流程示意图。
图2是多种方法测量同一场景的对比结果图：图2中的(a)-(d)分别为时域多频相位展开法，基于传统深度约束法的立体相位展开法，基于自适应全局深度约束的立体相位展开法，基于自适应逐像素深度约束的立体相位展开法所计算得到的绝对相位图；图2中的(e)-(h)为分别对应于图2中的(a)-(d) 的三维重构图；图2中的(j)-(l)分别为传统深度约束，自适应全局深度约束，自适应逐像素深度约束提供的深度范围，图2中的(i)为被测物体。
图3是本发明用于不同多相机系统实时测量结果图：图3 中的(a)为 四相机系统实时测量结果，图3 中的(b )为 双相机系统实时测量结果。
具体实施方式
本发明通过对当前三维重构的深度图进行全局与逐像素邻域的分析，分别获取了自适应全局深度范围与逐像素深度范围图，并将得到的逐像素深度范围图用于下一次三维重构。主要通过多相机系统中的投影仪循环投影三幅条纹图像到被测物体上，然后经过被测物体调制后的条纹图像被多相机系统中的每一个相机同步拍摄获取并传输到计算机中。计算机对每一个相机获取的三幅条纹图利用相移法进行包裹相位提取，得到了各个相机对应的包裹相位图。n个相机组多相机系统，n≥2，利用相机1(任意指定的一个相机)与投影仪之间的标定参数计算相机1上的所有点的三维候选点，并利用传统深度约束技术去除部分三维候选点，然后将剩余的三维候选点投影到相机2(除已指定的相机1外剩余的相机)上得到对应的二维候选点，利用之前得到的包裹相位图通过相位一致性检验去除部分二维候选点以及对应的三维候选点，并得到第一幅有效区域图。若此时已非第一轮三维重构，则通过自适应逐像素深度约束技术再次去除部分三维候选点及对应的二维候选点，得到第二幅有效区域图。根据第一幅与第二幅有效区域图作差后的结果与设定阈值比较确定剩余的候选点集合。之后通过简化一致检验确定最终的匹配点，并根据匹配点进行三维重构，输出深度图。之后通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围。用全局深度范围将离群点设置为无效点得到更加精炼的深度图，在精炼的深度图基础上，逐像素分析了像素邻域深度特性，得到了自适应逐像素深度范围图。在下一次的三维重构中，自适应逐像素深度范围将有效地去除三维候选点，从而使得多相机系统能更稳定地确定正确的匹配点。如果是第一轮三维重构，则通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围，此时跳过“则通过自适应逐像素深度约束技术再次去除部分三维候选点及对应的二维候选点，得到第二幅有效区域图。根据第一幅与第二幅有效区域图作差后的结果与设定阈值比较确定剩余的候选点集合”这些步骤。
结合图1，本发明基于多相机系统实时三维测量的自适应深度约束方法的具有过程可以通过下述步骤来实现。
步骤一，多相机系统投影并采集条纹图像。多相机系统中投影仪投影条纹，相机采集图片。多相机系统由n(n≥2)个相机、一个投影仪、一台计算机构成，其中投影仪投影循环投影三幅标准相移条纹图像并在每一幅图像投影的同时发送触发信号，触发信号通过触发线发送给各个相机，相机在得到触发信号后进行图像采集，并将采集到的图像传送给计算机。
步骤二，提取n个相机拍摄的条纹图像的包裹相位。计算机利用三步相移法对步骤一中n个相机获取的三步相移条纹图像进行包裹相位提取，获得n幅包裹相位图。
步骤三，计算目标点三维以及二维候选点。利用步骤二中得到的相机1的包裹相位图结合系统的标定参数获取相位图中每一个目标点的三维点候选点以及在相机2上的二维候选点。相机1可以为多个相机中任意选定的一个相机，相机 2为剩余相机中任意选定的一个相机，相机3...相机n依次类推，除相机1与相机2外，其余相机均只用于相位一致检验，相机2除了用于相位一致检验外还用于三维重构，相机1设定为目标相机，提供待重构的目标点，因此整个多相机三维重构过程可以简化为双相机(相机1与相机2)的三维重构过程，后文也以双相机系统代替多相机系统用以简化说明。标定参数则是通过通用的条纹投影标定技术(S.Zhang and P.S.Huang,“Novel method for structured light systemcalibration”Optical Engineering,45(8),083601(2006).)获取，目标点为相机1成像面上的任意一个像素，三维候选点与二维候选点之间存在一一对应的关系。
步骤四，去除部分三维以及二维候选点，并获取第一幅有效区域图。利用传统深度约束技术(Z.Li,K.Zhong,Y.Li,et al.“Multiview phase shifting:a full-resolutionand high-speed 3D measurement framework for arbitrary shape dynamic objects.”Optics letters,38(9):1389-1391(2013).)去除预设深度(预设深度凭经验设定，若投影仪以及相机景深较大则可设置较大的边界，如 [-300mm,300mm]，若投影仪以及相机景深较小则可设置较小的边界，如 [-100mm,100mm]，本方法中设置为[-200mm,200mm])之外的三维候选点，并利用相位一致检验技术去除与目标点相位差异超过某个阈值(比如0.8πrad)的二维候选点(详见于T.Tao,Q.Chen,S.Feng,et al.,“High-precision real-time 3Dshape measurement based on a quad-camera system.”Journal of Optics,20(1):014009 (2017).)，若目标点的剩余三维候选点(或二维候选点)的数量大于或者等于1，那么该目标点记为有效点，若目标点的剩余三维候选点(或二维候选点)的数量等于0，那么该目标点记为无效点。对相机1成像面上的所有像素点进行步骤四所述操作得到第一幅有效区域图(标记了相机1成像面上各个像素点是有效还是无效的图像)，区域中有效点的数量记为S1。
步骤五，如果是第一轮三维重构，则通过简化一致检验确定最终的匹配点，并根据匹配点进行三维重构，输出深度图，通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围，即直接跳过步骤五、六进入到步骤七。
如果不是第一轮三维重构，利用步骤十中得到的自适应逐像素深度约束再次去除部分三维以及二维候选点，并得到第二幅有效区域图，即依次进入步骤五、步骤六、步骤七处理，利用自适应逐像素深度范围获取技术得到的自适应逐像素深度图进一步去除预设深度之外的三维候选点，并得到第二幅有效区域图，具体过程为：
对于相机1(将相机1用c1表示)上的任意一目标点
Figure GDA0003357799510000051
假设
Figure GDA0003357799510000052
在步骤四后剩余的三维候选点对应的周期级次的集合为
Figure GDA0003357799510000053
去除该集合中不满足下式的元素
Figure GDA0003357799510000054
(
Figure GDA0003357799510000055
表示
Figure GDA0003357799510000056
中的第n个元素)，集合中的元素即为周期级次：
Figure GDA0003357799510000061
其中
Figure GDA0003357799510000062
Figure GDA0003357799510000063
分别对应目标点
Figure GDA0003357799510000064
的自适应逐像素深度范围的最小与最大边界，这两个边界由上一轮三维测量过程中的步骤十获取。
Figure GDA0003357799510000065
为目标点
Figure GDA0003357799510000066
的周期级次为
Figure GDA0003357799510000067
时对应的三维候选点。经过上述操作后剩余的三维候选点对应的周期级次的集合为
Figure GDA0003357799510000068
若
Figure GDA0003357799510000069
中的元素(集合中的元素指周期级次)数量大于等于1，则目标点
Figure GDA00033577995100000610
为有效点，并计入有效区域中，否则
Figure GDA00033577995100000611
被标记为无效点，且不计入有效区域。对相机1成像面上每一个像素点都进行步骤五上述操作得到相机1对应的第二幅有效区域图，区域中有效点数量记为S2。
步骤六，根据第一幅有效区域图与第二幅有效区域图作差后的结果与设定阈值比较确定剩余的候选点(或者候选级次)集合。对第一幅有效区域图与第二幅有效区域图作差，若两者之差有效面积大于阈值，则采用步骤四的剩余三维以及二维候选点进行步骤七的操作，若两者之差有效面积小于阈值则采用步骤五的剩余三维以及二维候选点进行步骤七的操作：
S1-S2＞Smin
其中S1为第一幅有效区域图的有效点数量，Smin为有效点数量阈值，同样凭经验设置，本方法中设置为Smin＝500。若上述不等式得到满足，则用传统深度约束技术得到的剩余的候选点(或者说候选级次
Figure GDA00033577995100000612
)作为后续步骤的输入，否则用自适应逐像素深度范围获取技术得到剩余的候选点(或者说候选级次
Figure GDA00033577995100000613
) 作为后续步骤的输入。
步骤七，利用简化的左右一致检验对步骤六的结果进行精炼，确定目标点的匹配点，具体过程为：
①对于相机1上任意的目标点
Figure GDA00033577995100000614
若其候选级次
Figure GDA00033577995100000615
(或
Figure GDA00033577995100000616
)中有且仅有一个元素，记为k，那么k将作为
Figure GDA00033577995100000617
对应的周期级次，同时
Figure GDA00033577995100000618
标记为可靠目标点，
Figure GDA00033577995100000619
在相机2上有且仅有一个二维候选点
Figure GDA00033577995100000620
这唯一的二维候选点即为
Figure GDA0003357799510000071
的匹配点。相机1上所有的可靠目标点在相机2上对应的匹配点组成匹配点区域。
②若
Figure GDA0003357799510000072
候选级次
Figure GDA0003357799510000073
(或
Figure GDA0003357799510000074
)中元素数量大于1，那么
Figure GDA0003357799510000075
将被标记为不可靠目标点，与可靠目标点有所区别的是此时的
Figure GDA0003357799510000076
对应多个二维(或者三维) 候选点。对于这些二维候选点，以是否落在上述①中匹配点区域加以区分，若落在匹配点区域内，则认为该二维候选点无效并标记为0，否则认为有效并标记为 1。如下式所示当且仅当
Figure GDA0003357799510000077
只有一个有效候选点时，认为
Figure GDA0003357799510000078
存在可靠的匹配点，并认为这唯一存在的有效候选点为
Figure GDA0003357799510000079
的匹配点。
Figure GDA00033577995100000710
步骤八，根据目标点的匹配点进行三维重构，输出三维测量所需要的深度图，如果实时测量任务完成则结束所有过程，否则继续进入步骤九。
步骤九，根据步骤八中的深度图基础上得到自适应全局深度范围。根据步骤八中的深度图进行全局深度分布分析，得到自适应全局深度范围，具体过程为：
将多相机系统初始测量范围[Zmin,Zmax](此处初始范围设置为 [-200mm,200mm])平均分为Q个区间，其中第q个区间为 [Zmin+qΔZ,Zmin+(q+1)ΔZ]，q∈[0,Q-1]中的整数，
Figure GDA00033577995100000711
假设当前计算得到的被测物体的深度图为Zw，并假设位于第q个区间 [Zmin+qΔZ,Zmin+(q+1)ΔZ]内的点的数量为H(q)，那么遍历相机1上每一个目标点
Figure GDA00033577995100000712
所对应的深度
Figure GDA00033577995100000713
并通过下式
Figure GDA00033577995100000714
统计出Zw在各个深度区间的分布直方图，其中floor()表示向下取整，并且有
Figure GDA00033577995100000715
为了避免一些离群点对后续步骤的影响，通过一个深度区间数量阈值Hmin(Hmin根据根据相机分辨率决定，以640×480的相机分辨率为例，Hmin＝500)将所有不满足H(q)＞Hmin的深度区间设置为无效区间；
基于以上深度分布分析，将初始全局深度范围[Zmin,Zmax]将更新为
Figure GDA00033577995100000812
(
Figure GDA0003357799510000081
分别表示新的全局深度范围的最小与最大深度边界)。假设最大的有效深度区间的上边界为Zmin+q1ΔZ，q1表示有效深度区间为第q1个，最小的有效深度区间的下边界为Zmin+q2ΔZ，q2表示有效深度区间为第q2个，并考虑到实时测量中两次测量过程中物体深度偏移的影响上限ΔZm可知
Figure GDA0003357799510000082
Figure GDA0003357799510000083
步骤九称为自适应全局深度约束范围获取技术。
步骤十，在自适应的全局深度范围以及精炼的深度图基础上得到自适应的逐像素深度范围图。在自适应的全局深度范围基础上进行逐像素深度分布分析，得到自适应的逐像素深度范围图，并返回步骤一进行下一轮三维测量与重构，具体过程为：
假设相机1上的任意一目标点
Figure GDA0003357799510000084
在自适应全局深度范围基础上，通过下式
Figure GDA0003357799510000085
其中nan表示无效值，将初始深度图Zw中的离群点设置为无效点得到了精炼后的深度图
Figure GDA0003357799510000086
假设
Figure GDA0003357799510000087
坐标为
Figure GDA0003357799510000088
通过下式
Figure GDA0003357799510000089
可以确定
Figure GDA00033577995100000810
的深度范围
Figure GDA00033577995100000811
其中r为邻域尺寸，运动物体越快， r也要较大的值，一般情况实时测量系统中r＝5是比较好的选择，min()，max() 分别为获取最小，最大值的函数。其中i，j是公式中的中间变量，其变化范围已经体现在公式中。不同于步骤九中的全局深度范围
Figure GDA0003357799510000091
只与像素
Figure GDA0003357799510000092
邻域内的深度分布有关，对所有的目标点都进行上述操作，则可以得到最终的自适应逐像素深度范围图，并返回步骤一进行下一轮三维测量与重构。步骤十也为自适应逐像素深度范围获取技术。
通过上述步骤可以看出，本发明采用了简化的左右一致检验以较为简单的方法保证了初始深度图的正确性。在此初始深度图的基础上，分析了深度图的全局与局部深度分布特性并更新自适应的深度范围，此范围可以为下一次的三维重构提供一个紧凑的深度约束范围，从而保证了立体相位展开的稳定性。本发明采用的算法能极大地提升立体相位展开的稳定性，并且简单高效适用于GPU并行处理，可以实现实时三维测量。为了测试本发明基于多相机系统实时三维测量的自适应深度约束方法的稳定性，用控制变量的方法对相同的物体进行了测量，并定量的分析了测量稳定性，测量结果如图2所示。图2(i)为被测物体：一个几何石膏模型加一个白球，图2(a)-2(d)分别为时域多频相位展开法，基于传统深度约束法的立体相位展开法，基于自适应全局深度约束的立体相位展开法，基于自适应逐像素深度约束的立体相位展开法所计算得到的绝对相位图(等同于匹配点图)，图2(e)-2(h)为分别对应于2(a)-2(d)的三维重构图，图2(j) -2(l)分别为传统深度约束，自适应全局深度约束，自适应逐像素深度约束提供的深度范围。从图(j)-(l)可以看出从统深度约束到自适应逐像素深度约束，其深度范围越来越紧凑，这也预示着立体相位展开的稳定性越来越高。以图2(a) 中的结果作为标准值，得到了图2(b)-2(d)中定量的误差统计情况，各自的错误率依次为：5.485％，2.602％，0.005％，这进一步证实了自适应深度约束相比于传统深度约束在立体相位展开稳定性上的极大提升。为了验证测量本方法实时测量能力，测量了旋转的显微镜外壳，测量结果如图3所示，其中图3(a)，图3(b)为旋转的显微镜外壳在四相机以及双相机系统下的实时测量结果。这验证了本发明对实时测量的适用性。

Claims (8)

1.一种基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：首先通过多相机系统中的投影仪循环投影三幅条纹图像到被测物体上，经过被测物体调制后的条纹图像被多相机系统中的每一个相机同步拍摄获取并传输到计算机中，计算机对每一个相机获取的三幅条纹图利用相移法进行包裹相位提取，得到了各个相机对应的包裹相位图；其中，多相机系统包含n个相机，n≥2；
利用相机1与投影仪之间的标定参数计算相机1上的所有点的三维候选点，并利用传统深度约束技术去除部分三维候选点，然后将剩余的三维候选点投影到相机2上得到对应的二维候选点，利用之前得到的包裹相位图通过相位一致性检验去除部分二维候选点以及对应的三维候选点，并得到第一幅有效区域图；
如果是第一轮三维重构，则通过简化一致检验确定最终的匹配点，并根据匹配点进行三维重构，输出深度图，通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围；
如果不是第一轮三维重构，则通过自适应逐像素深度约束技术再次去除部分三维候选点及对应的二维候选点，得到第二幅有效区域图；根据第一幅有效区域图与第二幅有效区域图作差后的结果与设定阈值比较确定剩余的候选点集合，然后通过简化一致检验确定最终的匹配点，并根据匹配点进行三维重构，输出深度图，并通过对相机1的当前深度图进行全局分析，得到了自适应全局深度范围；
对自适应全局深度范围用全局深度范围将离群点设置为无效点得到更加精炼的深度图，在精炼的深度图基础上，逐像素分析像素邻域深度特性，得到了自适应逐像素深度范围图。
2.根据权利要求1所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：利用相机1的包裹相位图结合系统的标定参数获取相位图中每一个目标点的三维点候选点以及在相机2上的二维候选点，相机1为多个相机中任意选定的一个相机，相机2为剩余相机中任意选定的一个相机，相机3...相机n依次类推，除相机1与相机2外，其余相机只用于相位一致检验，相机2除了用于相位一致检验外还用于三维重构，相机1设定为目标相机，提供待重构的目标点。
3.根据权利要求1所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：利用深度约束技术去除预设深度之外的三维候选点，并利用相位一致检验技术去除与目标点相位差异超过某个阈值的二维候选点，若目标点的剩余三维候选点或二维候选点的数量大于或者等于1，那么该目标点记为有效点，若目标点的剩余三维候选点或二维候选点的数量等于0，那么该目标点记为无效点；对相机1成像面上的所有像素点进行上述操作得到第一幅有效区域图，区域中有效点的数量记为S1。
4.根据权利要求1所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：如果不是第一轮三维重构，则利用自适应逐像素深度范围获取技术得到的自适应逐像素深度图进一步去除预设深度之外的三维候选点，并得到第二幅有效区域图，具体过程为：
对于相机1上的任意一目标点
Figure FDA0003357799500000021
假设
Figure FDA0003357799500000022
在深度约束技术去除后剩余的三维候选点对应的周期级次的集合为
Figure FDA0003357799500000023
去除该集合中不满足下式的元素
Figure FDA0003357799500000024
Figure FDA0003357799500000025
表示
Figure FDA0003357799500000026
中的第n个元素，集合中的元素即为周期级次：
Figure FDA0003357799500000027
其中
Figure FDA0003357799500000028
分别对应目标点
Figure FDA0003357799500000029
的自适应逐像素深度范围的最小与最大边界；
Figure FDA00033577995000000210
为目标点
Figure FDA00033577995000000211
的周期级次为
Figure FDA00033577995000000212
时对应的三维候选点，经过上述去除操作后剩余的三维候选点对应的周期级次的集合为
Figure FDA00033577995000000213
若
Figure FDA00033577995000000214
中的元素数量大于等于1，则目标点
Figure FDA00033577995000000215
为有效点，并计入有效区域中，否则
Figure FDA00033577995000000216
被标记为无效点，且不计入有效区域；对相机1成像面上每一个像素点都进行上述操作得到相机1对应的第二幅有效区域图，区域中有效点数量记为S2。
5.根据权利要求4所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：对第一幅有效区域图与第二幅有效区域图作差，若两者之差有效面积大于阈值，则将深度约束技术去除后的剩余三维以及二维候选点通过左右一致检验对其精炼，若两者之差有效面积小于阈值则采用自适应逐像素深度范围获取技术后剩余的三维以及二维候选点通过左右一致检验对其精炼：
S1-S2＞Smin
其中S1为第一幅有效区域图的有效点数量，Smin为有效点数量阈值；若上述不等式得到满足，则用传统深度约束技术得到的剩余的候选点或者候选级次
Figure FDA0003357799500000031
作为后续步骤的输入，否则用自适应逐像素深度范围获取技术得到剩余的候选点或者候选级次
Figure FDA0003357799500000032
作为后续步骤的输入。
6.根据权利要求4所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：利用简化的左右一致检验对确定剩余的候选点集合进行精炼，确定目标点的匹配点，具体过程为：
①对于相机1上任意的目标点
Figure FDA0003357799500000033
若其候选级次
Figure FDA0003357799500000034
或
Figure FDA0003357799500000035
中有且仅有一个元素，记为k，那么k将作为
Figure FDA0003357799500000036
对应的周期级次，同时
Figure FDA0003357799500000037
标记为可靠目标点，
Figure FDA0003357799500000038
在相机2上有且仅有一个二维候选点
Figure FDA0003357799500000039
这唯一的二维候选点即为
Figure FDA00033577995000000310
的匹配点，相机1上所有的可靠目标点在相机2上对应的匹配点组成匹配点区域；
②若
Figure FDA00033577995000000311
候选级次
Figure FDA00033577995000000312
或
Figure FDA00033577995000000313
中元素数量大于1，那么
Figure FDA00033577995000000314
将被标记为不可靠目标点，与可靠目标点有所区别的是此时的
Figure FDA00033577995000000315
对应多个二维或者三维候选点；对于这些二维候选点，以是否落在上述①中匹配点区域加以区分，若落在匹配点区域内，则认为该二维候选点无效并标记为0，否则认为有效并标记为1；如下式所示当且仅当
Figure FDA00033577995000000316
只有一个有效候选点时，认为
Figure FDA00033577995000000317
存在可靠的匹配点，并认为这唯一存在的有效候选点为
Figure FDA00033577995000000318
的匹配点：
Figure FDA00033577995000000319
7.根据权利要求4所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：对深度图进行全局深度分布分析，得到自适应全局深度范围，具体过程为：
将多相机系统初始测量范围[Zmin,Zmax]平均分为Q个区间，其中第q个区间为[Zmin+qΔZ,Zmin+(q+1)ΔZ]，q∈[0,Q-1]中的整数，
Figure FDA00033577995000000320
假设当前计算得到的被测物体的深度图为Zw，并假设位于第q个区间[Zmin+qΔZ,Zmin+(q+1)ΔZ]内的点的数量为H(q)，那么遍历相机1上每一个目标点
Figure FDA0003357799500000041
所对应的深度
Figure FDA0003357799500000042
并通过下式
Figure FDA0003357799500000043
统计出Zw在各个深度区间的分布直方图，其中floor()表示向下取整，并且有
Figure FDA0003357799500000044
为了避免一些离群点对后续步骤的影响，通过一个深度区间数量阈值Hmin将所有不满足H(q)＞Hmin的深度区间设置为无效区间；
基于以上深度分布分析，将初始全局深度范围[Zmin,Zmax]将更新为
Figure FDA0003357799500000045
Figure FDA0003357799500000046
分别表示新的全局深度范围的最小与最大深度边界，假设最大的有效深度区间的上边界为Zmin+q1ΔZ，q1表示有效深度区间的个数，最小的有效深度区间的下边界为Zmin+q2ΔZ，q2表示有效深度区间的个数，并考虑到实时测量中两次测量过程中物体深度偏移的影响上限ΔZm，可知
Figure FDA0003357799500000047
8.根据权利要求7所述的基于多相机系统实时三维测量的自适应深度约束方法，其特征在于：在自适应的全局深度范围基础上进行逐像素深度分布分析，得到自适应的逐像素深度范围图，具体过程为：
假设相机1上的任意一目标点
Figure FDA0003357799500000048
在自适应全局深度范围基础上，通过下式
Figure FDA0003357799500000049
其中nan表示无效值，将初始深度图Zw中的离群点设置为无效点得到了精炼后的深度图
Figure FDA00033577995000000410
假设
Figure FDA00033577995000000411
坐标为
Figure FDA00033577995000000412
通过下式
Figure FDA0003357799500000051
确定
Figure FDA0003357799500000052
的深度范围
Figure FDA0003357799500000053
其中r为邻域尺寸，min()、max()分别为获取最小、最大值的函数；其中i，j是公式中的中间变量，其变化范围已经体现在公式中，对所有的目标点都进行上述操作，则得到最终的自适应逐像素深度范围图。
CN201810802707.2A 2018-07-20 2018-07-20 一种基于多相机系统实时三维测量的自适应深度约束方法 Active CN109242895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810802707.2A CN109242895B (zh) 2018-07-20 2018-07-20 一种基于多相机系统实时三维测量的自适应深度约束方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810802707.2A CN109242895B (zh) 2018-07-20 2018-07-20 一种基于多相机系统实时三维测量的自适应深度约束方法

Publications (2)

Publication Number Publication Date
CN109242895A CN109242895A (zh) 2019-01-18
CN109242895B true CN109242895B (zh) 2022-03-25

Family

ID=65072321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810802707.2A Active CN109242895B (zh) 2018-07-20 2018-07-20 一种基于多相机系统实时三维测量的自适应深度约束方法

Country Status (1)

Country Link
CN (1) CN109242895B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562007B (zh) * 2020-11-24 2023-01-24 北京航空航天大学 一种基于三目约束的包裹相位非展开快速立体匹配方法
CN113551617B (zh) * 2021-06-30 2023-03-31 南京理工大学 基于条纹投影的双目双频互补三维面型测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721376A (zh) * 2012-06-20 2012-10-10 北京航空航天大学 一种大视场三维视觉传感器的标定方法
CN108036740A (zh) * 2017-12-05 2018-05-15 南京理工大学 一种基于多视角的高精度实时三维彩色测量系统及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078264A1 (en) * 2013-12-06 2014-03-20 Iowa State University Research Foundation, Inc. Absolute three-dimensional shape measurement using coded fringe patterns without phase unwrapping or projector calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721376A (zh) * 2012-06-20 2012-10-10 北京航空航天大学 一种大视场三维视觉传感器的标定方法
CN108036740A (zh) * 2017-12-05 2018-05-15 南京理工大学 一种基于多视角的高精度实时三维彩色测量系统及其方法

Also Published As

Publication number Publication date
CN109242895A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
US8908958B2 (en) Devices and methods of generating three dimensional (3D) colored models
CN101813461B (zh) 基于复合彩色条纹投影的绝对相位测量方法
RU2668404C2 (ru) Устройство для записи изображения в трехмерном масштабе, способ создания 3D-изображения и способ формирования устройства для записи изображения в трехмерном масштабе
WO2009150799A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20170251197A1 (en) Optical 3-d sensor for fast and dense shape capture
US20120176478A1 (en) Forming range maps using periodic illumination patterns
CN102445165B (zh) 基于单幅彩色编码光栅的立体视觉测量方法
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN104596439A (zh) 一种基于相位信息辅助的散斑匹配三维测量方法
JP6170281B2 (ja) 三次元計測装置、三次元計測装置の制御方法、およびプログラム
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
TWI489101B (zh) 結合三維及二維形貌之量測方法及裝置
CN110692084B (zh) 用于导出场景的拓扑信息的装置和机器可读存储介质
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN109307483A (zh) 一种基于结构光系统几何约束的相位展开方法
CN109242895B (zh) 一种基于多相机系统实时三维测量的自适应深度约束方法
JP5761750B2 (ja) 画像処理方法および装置
Zhang Digital multiple wavelength phase shifting algorithm
JP3629532B2 (ja) 連続移動物体のリアルタイム形状計測方法及びシステム
CN110375675B (zh) 基于空间相位展开的双目光栅投影测量方法
GB2569609A (en) Method and device for digital 3D reconstruction
Berssenbrügge et al. Characterization of the 3D resolution of topometric sensors based on fringe and speckle pattern projection by a 3D transfer function
Arold et al. Hand-guided 3D surface acquisition by combining simple light sectioning with real-time algorithms
d'Angelo et al. Image-based 3D surface reconstruction by combination of photometric, geometric, and real-aperture methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qian Jiaming

Inventor after: Zhang Yuzhen

Inventor after: Chen Qian

Inventor after: Tao Tianyang

Inventor after: Zuo Chao

Inventor after: Feng Shijie

Inventor after: Hu Yan

Inventor after: Zhang Liang

Inventor after: Yin Wei

Inventor after: Gu Guohua

Inventor before: Chen Qian

Inventor before: Zhang Yuzhen

Inventor before: Tao Tianyang

Inventor before: Zuo Chao

Inventor before: Feng Shijie

Inventor before: Qian Jiaming

Inventor before: Hu Yan

Inventor before: Zhang Liang

Inventor before: Yin Wei

Inventor before: Gu Guohua

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Qian

Inventor after: Zhang Yuzhen

Inventor after: Tao Tianyang

Inventor after: Zuo Chao

Inventor after: Feng Shijie

Inventor after: Qian Jiaming

Inventor after: Hu Yan

Inventor after: Zhang Liang

Inventor after: Yin Wei

Inventor after: Gu Guohua

Inventor before: Qian Jiaming

Inventor before: Zhang Yuzhen

Inventor before: Chen Qian

Inventor before: Tao Tianyang

Inventor before: Zuo Chao

Inventor before: Feng Shijie

Inventor before: Hu Yan

Inventor before: Zhang Liang

Inventor before: Yin Wei

Inventor before: Gu Guohua

GR01 Patent grant
GR01 Patent grant