CN118089593B - 一种基于多重曝光算法的自适应三维测量方法及系统 - Google Patents
一种基于多重曝光算法的自适应三维测量方法及系统 Download PDFInfo
- Publication number
- CN118089593B CN118089593B CN202410483891.4A CN202410483891A CN118089593B CN 118089593 B CN118089593 B CN 118089593B CN 202410483891 A CN202410483891 A CN 202410483891A CN 118089593 B CN118089593 B CN 118089593B
- Authority
- CN
- China
- Prior art keywords
- exposure time
- pixels
- image
- gray values
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 36
- 238000000691 measurement method Methods 0.000 title claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 98
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 36
- 230000010363 phase shift Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000002310 reflectometry Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000010935 stainless steel Substances 0.000 description 4
- 229910001220 stainless steel Inorganic materials 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001314 profilometry Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及机器视觉与光学测量技术领域，尤其是指一种基于多重曝光算法的自适应三维测量方法及系统，包括：利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，获得测量对象ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，从而获得一系列最佳曝光时间；按照最佳曝光时间对测量对象分别进行曝光，获得在不同的最佳曝光时间下的测量对象的条纹图像，使用多重曝光融合算法对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，求解全局相位，恢复测量对象的三维形貌。本发明解决了现有三维测量技术难以兼顾测量精度与效率的问题。
Description
技术领域
本发明涉及机器视觉与光学测量技术领域，尤其是指一种基于多重曝光算法的自适应三维测量方法及系统。
背景技术
随着制造业的快速发展，人们对机械零部件的测量以及检测要求也越来越严格，二维数据由于缺少深度信息，只能记录物体表面轮廓信息，很难准确记录物体的尺寸信息以及姿态特征。为了更好的对零部件进行测量检测，三维测量技术应运而生。三维测量技术中常用的为条纹投影轮廓术。条纹投影轮廓术由于其精度高，设备简单，运算快等优点，广泛用于工业，文化遗产，医学等诸多领域。
但在工业中，测量物体通常通过车削、铣削加工处理而成，表面光亮。利用结构光测量时，结构光在测量物体表面经过镜面反射，导致相机的图像传感器饱和，采集的测量物体的图像会缺失部分位置细节，进而导致三维数据缺失，测量的尺寸错误。同理，相机采集图像时，测量物体表面反射率较低的部分条纹模糊，同样会导致数据丢失。由于测量物体表面不同部分的反射率不同，现有技术为保证三维测量的精度，需要采集十分庞大的数据，导致重建测量物体的三维形貌的效率降低。
不同反射率的测量物体将导致测量精度降低，且现有技术为保证测量精度，采集的数据量过于庞大，因此，基于光学测量的技术难以完成高质量、高效率的三维形貌重建和测量。
发明内容
为此，本发明所要解决的技术问题在于克服现有三维测量技术难以兼顾测量精度与效率的问题。
为解决上述技术问题，本发明提供了一种基于多重曝光算法的自适应三维测量方法，包括：
利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，在最小曝光时间和最大曝光时间中，依据过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系获取一系列最佳曝光时间；
采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像；依据融合图像恢复测量对象的三维形貌。
优选地，所述利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，包括：
投影仪向测量对象投射纯白图像，设置相机的初始曝光时间为0ms，令曝光时间逐次增加固定增量，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，直至测量对象的ROI区域内所有像素的灰度值都大于预设阈值H，相机停止采集；
统计所采集的每张测量对象的纯白图像的ROI区域中过曝光像素的数量，得到过曝光像素数量与曝光时间的关系；统计所采集的每张测量对象的纯白图像的ROI区域中灰度值在H~254之间的像素的数量，得到灰度值在预设范围H~254内的像素数量与曝光时间的关系，公式为：
；
其中，为曝光时间，为纯白图像的ROI区域中过曝光像素的数量，为过曝光像素数量与曝光时间的关系；为纯白图像的ROI区域中灰度值在H~254之间的像素的数量，为灰度值在预设范围内的像素数量与曝光时间的关系。
优选地，所述最小曝光时间的定义为测量对象的ROI区域内出现临界过曝光像素的曝光时间；所述最大曝光时间定义为测量对象的ROI区域内所有像素的灰度值都大于预设阈值的曝光时间。
优选地，所述在最小曝光时间和最大曝光时间中，依据过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系获取一系列最佳曝光时间，包括：
从最小曝光时间开始，将最小曝光时间作为第一最佳曝光时间；
若当前最佳曝光时间小于最大曝光时间，则计算当前最佳曝光时间中过曝光像素数量以及灰度值在预设范围内的像素数量之和，并将过曝光像素数量以及灰度值在预设范围内的像素数量之和作为下一最佳曝光时间中过曝光像素数量，依据灰度值在预设范围内的像素数量与曝光时间的关系获取下一最佳曝光时间，公式为：
；
若下一最佳曝光时间大于等于最大曝光时间，则将最大曝光时间作为最后一次最佳曝光时间，停止计算。
优选地，所述采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像，包括：
投影仪生成M幅相移光栅图像，依次投射至测量对象；相机在n个不同的最佳曝光时间对测量对象共采集M*n幅测量对象的条纹图像，存储在条纹图序列中；
将在n个不同的最佳曝光时间下采集的测量对象的纯白图像存储在纯白图像序列中；
依据序列获取融合图像所需的掩膜图像序列；依据掩膜图像序列得到融合图像。
优选地，所述M幅相移光栅图像的光强分布公式为：
；
其中，M为相移总次数，m为相移索引值，有m=1,2,…M；为第m幅相移光栅图像的光强分布，为相位值，为平均光强，为相位调制度。
优选地，所述依据序列获取融合图像所需的掩膜图像序列，公式为：
；
其中，为掩膜图像序列中第p幅图像在坐标处的像素灰度值，和分别为纯白图像序列中第p幅和第q幅图像在坐标处的像素灰度值，有q=1,2,…,p,…,n，n为最佳曝光时间的总个数。
优选地，所述依据掩膜图像序列得到融合图像，公式为：
；
其中，为融合图像，为掩膜图像序列中第p幅图像在坐标处的像素灰度值，为条纹图序列中第p幅图像在坐标处的像素灰度值。
优选地，所述依据融合图像恢复测量对象的三维形貌包括：通过多步位移算法求解融合图像的曝光相位，通过多频外差算法求解融合图像的全局相位，通过相位匹配算法恢复测量对象的三维形貌。
本发明还提供了一种基于多重曝光算法的自适应三维测量系统，包括：
最佳曝光时间获取模块，用于利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，在最小曝光时间和最大曝光时间中，依据过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系获取一系列最佳曝光时间；
图像融合模块，用于采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像；依据融合图像恢复测量对象的三维形貌。
本发明的上述技术方案相比现有技术具有以下有益效果：
本发明所述的一种基于多重曝光算法的自适应三维测量方法，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，获得测量对象ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，进而获得一系列最佳曝光时间；按照所述最佳曝光时间对测量对象分别进行曝光，获得在不同的最佳曝光时间下测量对象的条纹图像，再使用多重曝光融合算法对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，求解全局相位，从而恢复测量对象的三维形貌。与现有技术中利用灰度值获取最佳曝光时间的方法相比，本发明所采集的数据量较少，计算简便，提高了恢复测量对象的三维形貌的效率，且通过实验数据证明，本发明仍能保持较高的精度，解决了现有三维测量技术难以兼顾测量精度与效率的问题。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是本发明一种基于多重曝光算法的自适应三维测量方法的流程图；
图2是过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系图，其中图2中的（a）为过曝光像素数量与曝光时间的关系图，图2中的（b）为灰度值在预设范围内的像素数量与曝光时间的关系图；
图3是本发明计算最佳曝光时间的示意图；
图4是本发明实施二中左相机在最佳曝光时间下采集的测量对象的条纹图像，其中图4中的（a）是曝光时间为9000μs采集的测量对象的条纹图像，图4中的（b）是曝光时间为16000μs采集的测量对象的条纹图像，图4中的（c）是曝光时间为26000μs采集的测量对象的条纹图像，图4中的（d）是曝光时间为45000μs采集的测量对象的条纹图像，图4中的（e）是曝光时间为77000μs采集的测量对象的条纹图像，图4中的（f）是曝光时间为131000μs采集的测量对象的条纹图像, 图4中的（g）是曝光时间为220000μs采集的测量对象的条纹图像，图4中的（h）是曝光时间为296000μs 采集的测量对象的条纹图像；
图5是本发明实施二中通过多重曝光算法得到的左相机的融合图像；
图6是本发明实施二中通过相位匹配算法恢复的左相机的三维模型图；
图7是本发明实施二中三维显示效果对比图，其中图7中的（a）是Feng的方法得到的三维显示效果图，图7中的（b）是Zhang的方法得到的三维显示效果图，图7中的（c）是本发明方法得到的三维显示效果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图1所示，本发明提供了一种基于多重曝光算法的自适应三维测量方法，通过相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，从而获取一系列最佳曝光时间和最佳曝光次数；再使用多重曝光融合算法对不同的最佳曝光时间下的测量对象的条纹图像进行融合，得到融合图像，从而恢复测量对象的三维形貌。具体步骤包括：
S1、投影仪向测量对象投射纯白图像，设置相机的初始曝光时间为0ms，令曝光时间逐次增加固定增量，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，直至测量对象的ROI区域内所有像素的灰度值都大于预设阈值H，相机停止采集。
为避免过曝光，本实施例中投影仪投射的纯白图像的灰度值需与下文中投影仪生成的相移光栅图像的最大灰度值保持一致。
S2、统计所采集的每张测量对象的纯白图像的ROI区域中过曝光像素的数量，得到过曝光像素数量与曝光时间的关系，统计所采集的每张测量对象的纯白图像的ROI区域中灰度值在H~254之间的像素的数量，得到灰度值在预设范围H~254内的像素数量与曝光时间的关系，公式为：
；
其中，为曝光时间，为纯白图像的ROI区域中过曝光像素的数量，为过曝光像素数量与曝光时间的关系；为纯白图像的ROI区域中灰度值在H~254之间的像素的数量，为灰度值在预设范围内的像素数量与曝光时间的关系。
依据过曝光像素数量与曝光时间的关系和灰度值在预设范围内的像素数量与曝光时间的关系分别构建关系表和关系图。图2是过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系图，其中图2中的（a）为过曝光像素数量与曝光时间的关系图，图2中的（b）为灰度值在预设范围内的像素数量与曝光时间的关系图。
S3、选择测量对象的ROI区域内出现临界过曝光像素的曝光时间为最小曝光时间，即最小曝光时间测量对象的ROI区域内未出现过曝光像素，最小曝光时间增加固定增量后，测量对象的ROI区域内恰好出现过曝光像素；选择测量对象的ROI区域内所有像素的灰度值都大于预设阈值的曝光时间为最大曝光时间。
从最小曝光时间开始，将最小曝光时间作为第一最佳曝光时间；若当前最佳曝光时间小于最大曝光时间，则计算当前最佳曝光时间中过曝光像素数量以及灰度值在预设范围内的像素数量之和，并将过曝光像素数量以及灰度值在预设范围内的像素数量之和作为下一最佳曝光时间中过曝光像素数量，依据过曝光像素数量与曝光时间的关系获取下一最佳曝光时间，公式为：
；
若下一最佳曝光时间大于等于最大曝光时间，则将最大曝光时间作为最后一个最佳曝光时间，停止计算。
参照图3所示，将最小曝光时间作为第一最佳曝光时间，计算第一最佳曝光时间中过曝光像素数量以及灰度值在预设范围内的像素数量之和，并将过曝光像素数量以及灰度值在预设范围内的像素数量之和作为第二最佳曝光时间中的过曝光像素数量，依据过曝光像素数量与曝光时间的关系获取第二最佳曝光时间。再次计算第二最佳曝光时间中过曝光像素数量以及灰度值在预设范围内的像素数量之和，并将过曝光像素数量以及灰度值在预设范围内的像素数量之和作为第三最佳曝光时间中的过曝光像素数量，依据过曝光像素数量与曝光时间的关系获取第二最佳曝光时间。以此类推，计算小于最大曝光时间的所有最佳曝光时间，并将最大曝光时间作为最后一个最佳曝光时间。
S4、采用多重曝光融合技术，对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像，具体步骤包括：
投影仪生成M幅相移光栅图像，依次投射至测量对象。所述M幅相移光栅图像的光强分布公式为：
；
其中，M为相移总次数，m为相移索引值，有m=1,2,…M；为第m幅相移光栅图像的光强分布，为相位值，为平均光强，为相位调制度。
相机在n个不同的最佳曝光时间对测量对象共采集M*n幅测量对象的条纹图像，存储在条纹图序列中。
将在n个不同的最佳曝光时间下采集的测量对象的纯白图像存储在纯白图像序列中。
依据序列获取融合图像所需的掩膜图像序列，公式为：
；
其中，为掩膜图像序列中第p幅图像在坐标处的像素灰度值，和分别为纯白图像序列中第p幅和第q幅图像在坐标处的像素灰度值，有q=1,2,…,p,…,n，n为最佳曝光时间的总个数。
依据掩膜图像序列得到融合图像，公式为：
；
其中，为融合图像，为掩膜图像序列中第p幅图像在坐标处的像素灰度值，为条纹图序列中第p幅图像在坐标处的像素灰度值。
S5、通过多步位移算法求解融合图像的曝光相位，通过多频外差算法求解融合图像的全局相位，通过相位匹配算法恢复测量对象的三维形貌。
实施例二
在本实施例中，实验设备为由两台分辨率为2448pixel×2048pixel的DahengMono相机、一台分辨率为1140pixel×912pixel的TI PRO4500 DLP投影仪以及一台控制投影和采集解算的计算机组成的双目测量系。选择表面处理方式不同的两个CNC车削铝合金工件组成高动态范围场景，将相机帧率设置为30 frame/s，曝光范围设置在1000μs~300000μs，曝光时间增量设为1000μs，预设阈值H为150。
两台相机分别左右对测量对象采集一组曝光时间逐步递增的纯白图像，并获得测量对象的ROI区域内过曝光像素数量G与曝光时间T的关系以及灰度值在预设范围内的像素数量E与曝光时间T的关系。
左右两台相机分别在曝光时间9000μs和10000μs时测量对象的ROI区域内出现临界过曝光像素，分别在296000μs和280000μs 时测量对象的ROI区域内的灰度值都大于预设阈值150。
计算左相机的最佳曝光时间，将最小曝光时间9000μs作为第一最佳曝光时间，此时并获得测量对象的ROI区域内过曝光像素数量以及灰度值在预设范围内的像素数量之和为7332。依据测量对象的ROI区域内过曝光像素数量G与曝光时间T的关系进行查找。曝光时间为16000μs时，E为6593；曝光时间为17000μs时，E为11385。因此将16000μs作为第二最佳曝光时间。依次类推，得到左相机的最佳曝光时间分别为9000μs，16000μs，26000μs，45000μs，77000μs，131000μs，220000μs，296000μs,最佳曝光次数为8次。同理可得右相机最佳曝光时间分别为10000μs，17000μs，29000μs，500000μs，86000μs，147000μs，252000μs，280000μs，最佳曝光次数为8次。
图4为左相机在6次最佳曝光时间下采集的测量对象的条纹图像，其中图4中的（a）是曝光时间为9000μs采集的测量对象的条纹图像，图4中的（b）是曝光时间为16000μs采集的测量对象的条纹图像，图4中的（c）是曝光时间为26000μs采集的测量对象的条纹图像，图4中的（d）是曝光时间为45000μs采集的测量对象的条纹图像，图4中的（e）是曝光时间为77000μs采集的测量对象的条纹图像，图4中的（f）是曝光时间为131000μs 采集的测量对象的条纹图像, 图4中的（g）是曝光时间为220000μs采集的测量对象的条纹图像，图4中的（h）是曝光时间为296000μs 采集的测量对象的条纹图像。图5为通过多重曝光算法得到的左相机的融合图像，图6为通过相位匹配算法恢复的左相机的三维模型图。可以看出，本发明方法可以精准求解测量对象的相位信息，从而精确恢复测量对象的三维信息。
为进一步验证该方法对高动态范围以及高反射率表面测量对象的有效性，本实施例分别将本发明方法与文献“Zhang, Song, and Shing-Tung Yau. "High dynamic rangescanning technique." Optical Engineering 48.3 (2009): 033604-033604.”和文献“Feng, Shijie, et al. "General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique." Opticsand Lasers in Engineering 59 (2014): 56-71.”中的方法进行对比实验，对不锈钢工件进行三维重构，通过Geomagic Wrap软件进行100%采样并进行封装，得到的三维显示效果图参照图7所示，其中图7中的（a）是Feng的方法得到的三维显示效果图，图7中的（b）是Zhang的方法得到的三维显示效果图，图7中的（c）是本发明方法得到的三维显示效果图。
从图7可以看出，Feng的方法不适合运用在反射率相差过大的场景，会导致低反射率的物体无法较好被还原。本发明方法和Zhang方法还原效果最佳，但Zhang方法所需采集庞大数据。
为了证明本发明方法不仅提升了三维显示效果，也提升了测量精度，本实施例对上述不锈钢工件中间空洞以及工件平面度进行测量。使用不同方法测量不锈钢工件直径差的误差比较结果如表1所示。
表1、不同方法测量不锈钢工件直径差的误差比较
| 方法 | 直径差/mm | 差值/mm | RMS/mm | 所需采集数据数量 |
| 低曝光 | NONE | NONE | 0.210 | 36 |
| 高曝光 | 17.372 | 0.372 | 0.127 | 36 |
| Feng | 17.368 | 0.368 | 0.128 | 108+1 |
| Zhang | 17.190 | 0.190 | 0.095 | 36*n |
| 本发明 | 17.191 | 0.191 | 0.097 | 300+288+1 |
从表1可以看出，单次曝光以及Feng的方法并不能准确还原测量对象三维信息，Zhang的方法在三维测量精度上与本发明方法近似，但是本发明方法所需数据采集量更少。
综上所述，与现有技术中利用灰度值获取最佳曝光时间的方法相比，本发明所采集的数据量较少，计算简便，提高了恢复测量对象的三维形貌的效率，且通过实验数据证明，本发明仍能保持较高的精度，解决了现有三维测量技术难以兼顾测量精度与效率的问题。
基于上述一种基于多重曝光算法的自适应三维测量方法，本实施例还提供了一种基于多重曝光算法的自适应三维测量系统，包括：
最佳曝光时间获取模块，用于利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，在最小曝光时间和最大曝光时间中，依据过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系获取一系列最佳曝光时间和最佳曝光次数；
图像融合模块，用于采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像；依据融合图像恢复测量对象的三维形貌。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (7)
1.一种基于多重曝光算法的自适应三维测量方法，其特征在于，包括：利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系；
定义最小曝光时间为测量对象的ROI区域内出现临界过曝光像素的曝光时间；定义最大曝光时间为测量对象的ROI区域内所有像素的灰度值都大于预设阈值的曝光时间；在最小曝光时间和最大曝光时间中，依据过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系获取一系列最佳曝光时间，包括：
从最小曝光时间开始，将最小曝光时间作为第一最佳曝光时间；
若当前最佳曝光时间Tj小于最大曝光时间，则计算当前最佳曝光时间Tj中过曝光像素数量Gj以及灰度值在预设范围内的像素数量Ej之和，并将过曝光像素数量以及灰度值在预设范围内的像素数量之和作为下一最佳曝光时间Tj+1中过曝光像素数量Gj+1，依据灰度值在预设范围内的像素数量与曝光时间的关系获取下一最佳曝光时间Tj+1，公式为：
Tj+1＝i(Gj+Ej)
若下一最佳曝光时间Tj+1大于等于最大曝光时间，则将最大曝光时间作为最后一次最佳曝光时间，停止计算；
采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像；
依据融合图像恢复测量对象的三维形貌，包括：
通过多步位移算法求解融合图像的曝光相位，通过多频外差算法求解融合图像的全局相位，通过相位匹配算法恢复测量对象的三维形貌。
2.根据权利要求1所述的一种基于多重曝光算法的自适应三维测量方法，其特征在于，所述利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系，包括：
投影仪向测量对象投射纯白图像，设置相机的初始曝光时间为0ms，令曝光时间逐次增加固定增量ΔT，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，直至测量对象的ROI区域内所有像素的灰度值都大于预设阈值H，相机停止采集；
统计所采集的每张测量对象的纯白图像的ROI区域中过曝光像素的数量，得到过曝光像素数量与曝光时间的关系；统计所采集的每张测量对象的纯白图像的ROI区域中灰度值在H～255之间的像素的数量，得到灰度值在预设范围H～255内的像素数量与曝光时间的关系，公式为：
其中，T为曝光时间，G为纯白图像的ROI区域中过曝光像素的数量，i[*]为过曝光像素数量与曝光时间的关系；E为纯白图像的ROI区域中灰度值在H～255之间的像素的数量，k[*]为灰度值在预设范围内的像素数量与曝光时间的关系。
3.根据权利要求1所述的一种基于多重曝光算法的自适应三维测量方法，其特征在于，所述采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像，包括：
投影仪生成M幅相移光栅图像，依次投射至测量对象；相机在n个不同的最佳曝光时间对测量对象共采集M*n幅测量对象的条纹图像，存储在条纹图序列JS中；
将在n个不同的最佳曝光时间下采集的测量对象的纯白图像存储在纯白图像序列IS中；
依据序列IS获取融合图像所需的掩膜图像序列；依据掩膜图像序列得到融合图像。
4.根据权利要求3所述的一种基于多重曝光算法的自适应三维测量方法，其特征在于，所述M幅相移光栅图像的光强分布公式为：
其中，M为相移总次数，m为相移索引值，有m＝1,2,…M；为第m幅相移光栅图像的光强分布，φ(x,y)为相位值，AC(x,y)为平均光强，BC(x,y)为相位调制度。
5.根据权利要求3所述的一种基于多重曝光算法的自适应三维测量方法，其特征在于，所述依据序列IS获取融合图像所需的掩膜图像序列，公式为：
其中，为掩膜图像序列MS中第p幅图像在坐标(x,y)处的像素灰度值，和分别为纯白图像序列IS中第p幅和第q幅图像在坐标(x,y)处的像素灰度值，有q＝1,2,…,p,…,n，n为最佳曝光时间的总个数。
6.根据权利要求3所述的一种基于多重曝光算法的自适应三维测量方法，其特征在于，所述依据掩膜图像序列得到融合图像，公式为：
其中，C为融合图像，为掩膜图像序列MS中第p幅图像在坐标(x,y)
处的像素灰度值，为条纹图序列JS中第p幅图像在坐标(x,y)处的像素灰度值。
7.一种基于多重曝光算法的自适应三维测量系统，其特征在于，包括：
最佳曝光时间获取模块，用于利用投影仪向测量对象投射纯白图像，利用相机采集一组曝光时间逐步递增的测量对象的纯白图像，分别获得测量对象的ROI区域内过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系；
定义最小曝光时间为测量对象的ROI区域内出现临界过曝光像素的曝光时间；定义最大曝光时间为测量对象的ROI区域内所有像素的灰度值都大于预设阈值的曝光时间；在最小曝光时间和最大曝光时间中，依据过曝光像素数量与曝光时间的关系以及灰度值在预设范围内的像素数量与曝光时间的关系获取一系列最佳曝光时间，包括：
从最小曝光时间开始，将最小曝光时间作为第一最佳曝光时间；
若当前最佳曝光时间Tj小于最大曝光时间，则计算当前最佳曝光时间Tj中过曝光像素数量Gj以及灰度值在预设范围内的像素数量Ej之和，并将过曝光像素数量以及灰度值在预设范围内的像素数量之和作为下一最佳曝光时间Tj+1中过曝光像素数量Gj+1，依据灰度值在预设范围内的像素数量与曝光时间的关系获取下一最佳曝光时间Tj+1，公式为：
Tj+1＝i(Gj+Ej)
若下一最佳曝光时间Tj+1大于等于最大曝光时间，则将最大曝光时间作为最后一次最佳曝光时间，停止计算；
图像融合模块，用于采用多重曝光融合技术，投影仪向测量对象投射相移光栅图像，相机按照获得的最佳曝光时间对测量对象分别进行曝光，获得在不同最佳曝光时间下拍摄的测量对象的条纹图像；对不同的最佳曝光时间下拍摄的测量对象的条纹图像进行融合，得到融合图像；依据融合图像恢复测量对象的三维形貌，包括：
通过多步位移算法求解融合图像的曝光相位，通过多频外差算法求解融合图像的全局相位，通过相位匹配算法恢复测量对象的三维形貌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410483891.4A CN118089593B (zh) | 2024-04-22 | 2024-04-22 | 一种基于多重曝光算法的自适应三维测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410483891.4A CN118089593B (zh) | 2024-04-22 | 2024-04-22 | 一种基于多重曝光算法的自适应三维测量方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118089593A CN118089593A (zh) | 2024-05-28 |
| CN118089593B true CN118089593B (zh) | 2024-07-09 |
Family
ID=91161919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410483891.4A Active CN118089593B (zh) | 2024-04-22 | 2024-04-22 | 一种基于多重曝光算法的自适应三维测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118089593B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104019767A (zh) * | 2014-05-29 | 2014-09-03 | 南京理工大学 | 一种基于灰度直方图的自适应高动态范围三维测量方法 |
| CN108827184A (zh) * | 2018-04-28 | 2018-11-16 | 南京航空航天大学 | 一种基于相机响应曲线的结构光自适应三维测量方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110702034A (zh) * | 2019-10-25 | 2020-01-17 | 湖北工业大学 | 高反光表面三维面形测量方法、服务器及系统 |
| CN113358063B (zh) * | 2021-06-04 | 2022-03-18 | 华中科技大学 | 一种基于相位加权融合的面结构光三维测量方法及系统 |
| CN114302067A (zh) * | 2021-12-30 | 2022-04-08 | 无锡图创智能科技有限公司 | 不同反射率表面三维结构光测量的曝光值选择方法 |
| CN114440794B (zh) * | 2022-03-11 | 2022-10-28 | 西安交通大学 | 一种高动态表面的高精度三维测量方法 |
| CN114820812A (zh) * | 2022-04-18 | 2022-07-29 | 南京航空航天大学 | 一种基于结构光的高反光表面三维重建算法 |
| CN115950377A (zh) * | 2022-10-25 | 2023-04-11 | 华中科技大学 | 一种基于辐照度融合的自动化多反射表面三维测量方法 |
| CN116310101A (zh) * | 2022-12-12 | 2023-06-23 | 南京理工大学 | 基于过曝光连通域强度自适应分布的高动态三维测量方法 |
| CN116614713B (zh) * | 2023-07-14 | 2023-10-27 | 江南大学 | 一种用于三维形貌测量的自适应多重曝光方法 |
| CN117252793A (zh) * | 2023-09-21 | 2023-12-19 | 东北大学 | 结合多曝光融合的叶片反光编码图像条纹修复系统及方法 |
-
2024
- 2024-04-22 CN CN202410483891.4A patent/CN118089593B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104019767A (zh) * | 2014-05-29 | 2014-09-03 | 南京理工大学 | 一种基于灰度直方图的自适应高动态范围三维测量方法 |
| CN108827184A (zh) * | 2018-04-28 | 2018-11-16 | 南京航空航天大学 | 一种基于相机响应曲线的结构光自适应三维测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118089593A (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bradley et al. | High resolution passive facial performance capture | |
| CN110702034A (zh) | 高反光表面三维面形测量方法、服务器及系统 | |
| CN108827184B (zh) | 一种基于相机响应曲线的结构光自适应三维测量方法 | |
| EP0631250A2 (en) | Method and apparatus for reconstructing three-dimensional objects | |
| US20190137266A1 (en) | Three-dimensional scanning device using structured light | |
| US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
| US20130127998A1 (en) | Measurement apparatus, information processing apparatus, information processing method, and storage medium | |
| CN113237435A (zh) | 一种高反光表面三维视觉测量系统及方法 | |
| CN111563952B (zh) | 基于相位信息与空间纹理特征实现立体匹配方法及系统 | |
| Yu et al. | High-speed phase-shifting 3D profilometry on human face assisted by statistical model | |
| CN112802084B (zh) | 基于深度学习的三维形貌测量方法、系统和存储介质 | |
| CN118089593B (zh) | 一种基于多重曝光算法的自适应三维测量方法及系统 | |
| CN116614713B (zh) | 一种用于三维形貌测量的自适应多重曝光方法 | |
| CN110926369B (zh) | 一种高精度结构光三维测量系统及方法 | |
| CN116310101A (zh) | 基于过曝光连通域强度自适应分布的高动态三维测量方法 | |
| Arold et al. | Hand-guided 3D surface acquisition by combining simple light sectioning with real-time algorithms | |
| EP3582183A1 (en) | Deflectometric techniques | |
| CN116205843A (zh) | 一种基于自适应条纹迭代的高反航发叶片三维点云获取方法 | |
| JPH07260451A (ja) | ３次元形状測定システム | |
| KR20190103833A (ko) | 실시간 3차원 데이터 측정 방법 | |
| CN111023999B (zh) | 一种基于空间编码结构光的稠密点云生成方法 | |
| CN114387387A (zh) | 高反射率表面彩色三维重建方法、系统、终端及介质 | |
| CN114485480B (zh) | 一种线共焦三维轮廓测量方法、系统、装置及介质 | |
| CN112444212B (zh) | 一种由色差引起的结构光三维测量误差的补偿方法 | |
| Wong | Development of a calibration pipeline for a monocular-view structured illumination 3D sensor utilizing an array projector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |