CN113902791A - 一种基于液态镜头深度聚焦的三维重建方法及装置 - Google Patents

Abstract

本发明公开了一种基于液态镜头深度聚焦的三维重建方法，包括以下步骤：对相机采集到的图像序列进行预处理；将图像序列排序，阈值设定；连接阈值区域当中最大组件数的部分，将连接部分的区域形状与被测物体形状进行比较；确定阈值连接最大部分的最小周长，创建出一个与坐标轴平行的矩形，求出两个矩形的交集；根据参数转换方法设置输入区域的形状；将采集到的单通道图像融合为多通道图像，并依次访问多通道图像中的每个通道；获取聚焦最清晰地方的深度图，对其进行均值滤波，并选择不同通道图像的灰度值；将全聚焦图像与均值滤波后的图像转化二通道图像，生成的二通道图像即为三维重建图。本方法操作更为简单便捷，具有较好的鲁棒性和准确性。

Description

一种基于液态镜头深度聚焦的三维重建方法及装置

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于液态镜头深度聚焦的三维重建方法及装置。

背景技术

随着机器视觉技术的不断发展，三维重建技术取得了巨大进步。传统的三维重建装置所用图像采集装置主要是深度相机。目前的深度相机根据其工作原理可以分为三种：TOF、结构光和RGB双目视觉。前两者视觉方式为主动式，后者为被动式。TOF相机的工作原理是根据光的飞行时间直接测量，可以测量较远距离，一般在100米以内，不容易受外界环境光照变化和被测物体纹理的影响；结构光相机的工作原理是通过投影仪向待检元件表面投射合成编码的光栅条纹，这类具有特定结构的光由于被摄体的深度区域不同而采集不同图像的相位信息，使用计算单元将这种结构变化转化为深度信息，提升特征匹配效果；RGB双目视觉相机的工作原理是RGB图像的特征点匹配，再用三角测量间接计算，根据相机的基线距离、焦距、图的几何关系和坐标系的变换，可以获得目标的三维信息。

目前，TOF相机深度图分辨率很难提高，会受多重反射的影响，而且由于需要全面照射，所以功耗也很高；结构光相机虽然准直性要求和成本低，但是易受外界环境光照强度的影响；RGB双目视觉相机受光照变化和被测物体纹理影响很大，导致夜晚无法使用，由于基线限制，一般只能测量较近的距离，距离越远越不准确。现急需一种可以快速、精确地改变物体的工作距离从而得到被测物体的图像序列进行重建的三维重建装置。

发明内容

为了解决现有技术的不足，本发明旨在提供一种基于液态镜头深度聚焦的三维重建方法，该方法操作更为简单便捷，具有较好的鲁棒性和准确性。

为了实现上述目的，本发明采用的技术方案为：

一种基于液态镜头深度聚焦的三维重建方法，其特征在于：包括以下步骤：

1)利用三维重建装置进行图像采集，对相机采集到的图像序列进行预处理；

2)将图像序列按采集聚焦程度由模糊到清晰再到模糊进行排序，对其进行阈值设定，并根据被测物体的灰度值选取具体区域；

3)连接阈值区域当中最大组件数的部分，将连接部分的区域形状与被测物体形状进行比较；如果连接部分具有类似的形状，则将其纳入输出；

4)确定阈值连接最大部分的最小周长，创建出一个与坐标轴平行的矩形，生成一个平行于左上角和右下角所描述的坐标轴的矩形，把两个区域合并成一个区域，求出两个矩形的交集；

5)根据参数转换方法，将算子shape_trans的参数类型设为outer_circle，设置输入区域的形状，将其定义域缩减为被测物体的区域，然后将采集到的单通道图像融合为多通道图像，并依次访问多通道图像中每个单通道灰度图；

6)使用多个焦点级别提取深度信息，通过高通滤波和焦距级别的方法获取聚焦最清晰地方的深度图，对其进行均值滤波，并选择不同通道图像的灰度值；

7)将深度图使用scale_image_max算子计算出最小值和最大值，并将图像缩放到字节图像的最大值范围，再进行均值滤波，滤波后使用compose2算子将全聚焦图像与均值滤波后的图像转化二通道图像，生成的二通道图像即为三维重建图。

其中，步骤1)中图像序列的预处理具体包括：1-1)图像去噪和平滑，使用均值滤波，消除图像尖锐的噪声；1-2)将图像序列按采集聚焦程度由模糊到清晰再到模糊进行排序。

步骤1)中采集的图像序列大于10张。

步骤2)中图像序列阈值设定时，采集区域在0—255区域之间。

步骤6)中提取的深度信息为每个深度估计返回一个置信值，其中这个值越大，深度估计的置信值就越高。

其中，上述三维重建方法是基于以下三维重建装置实现的,此装置包括支撑固定平台、液态镜头、相机、电子驱动器和环形光源；与被测物体相对的相机安装在支撑固定平台上，液态镜头安装在相机头部，自带有控制操作软件电子驱动器连接相机和液态镜头。

优选地，所述三维重建装置采集图像步骤包括：1-1)初始化电子驱动器的工作参数和设置最大限制电流；1-2)相机标定，得出相机的内参和外参；1-3)控制单元通过逐渐增加电子驱动器输入电流或者屈光度的大小，减小液态镜头工作距离，同时触发相机进行拍照并保存；1-4)采集图像传输至计算机，上位机软件接收采集的原始图像进行三维重建。

其中，所述电子驱动器的输入电流y与液态镜头的工作距离x的关系为：

y＝-329.9ln(x)+1625.8 R²＝0.9999；

其中，R²是趋势线拟合程度的指标，它的数值大小反映趋势线的估计值与对应的实际数据之间的拟合程度，拟合程度越高，趋势线的可靠性就越高。

本发明具有的有益效果为：

1.本发明提出的三维重建装置采用液态镜头进行重建，液态镜头是基于液态填充式的镜头，使用机械装置对腔内液体施加压力，再分配体腔内液体使曲率半径发生变化，通过填充和吸出液体来改变表面曲率而变焦的镜头。与现有技术相比，本发明不需要机械控制镜头与被测物体的距离实现变焦的效果，拥有便捷、快速和准确的特点。

2.本方法在图像序列中，根据特定的融合规则，每个像素都有对应的明确的焦点位置，通过多个焦点级别提取深度信息，对深度信息进行插值拟合，恢复更准确的对象深度信息，进行三维重建。深度聚焦法具有应用灵活、精度高和性能稳定的特点。

附图说明

图1为本发明的三维重建装置结构示意图；

图2为本发明电子驱动器的输入电流与液态镜头的工作距离的关系曲线图；

图3为本发明三维重建方法的流程图。

具体实施方式

如图1-3所示，本发明提出了一种基于液态镜头3深度聚焦的三维重建装置，包括支撑固定平台6、液态镜头3、相机2、电子驱动器1和环形光源4；与被测物体5相对的相机2安装在支撑固定平台6上，液态镜头3与被测物体5间的距离约为120mm，以确保被测物体5能在液态镜头3的工作范围之内清晰成像。

液态镜头3安装在相机2头部，自带有控制操作软件电子驱动器1连接相机2和液态镜头3。相机2采用面阵相机2，适用于拍摄连续的、面状扫描光线的图像，从而获取二维图像信息。环形光源4照射的光线分布均匀、光照强度可灵活控制。液态镜头3是基于液态填充式的镜头，使用机械装置对腔内液体施加压力，再分配体腔内液体使曲率半径发生变化，通过填充和吸出液体来改变表面曲率而变焦的镜头。电子驱动器1自带有控制操作软件，通过电子驱动选择功能运行模式，当控制电流的大小来改变工作距离的模式时，液态镜头3焦距发生改变，相机2拍摄被测物体5的不同聚焦点处的图片；当控制focuspower的屈光度来改变工作距离时，液态镜头3腔内的液体重新分配使曲率半径发生改变，相机2拍摄被测物体5的在不同焦点处最清晰的图片，调用图像处理单元构建被测物体5的三维空间结构。

利用液态镜头3驱动功耗小、变焦范围大、光圈大小灵活的特点，能够准确地拍摄在焦点不同处最清晰的图像，电子驱动器1灵活控制镜头与被测物体5的工作距离，同时确保图像采集模块和照明模块的相对位置固定，从而快速采集到高质量清晰的图像进行三维重建。

采用本三维重建装置进行三维重建，具体包括下列步骤：

1.在实现三维重建的过程中，首先需要连接液态镜头3和电子驱动器1，通过初始化电子驱动器1的工作参数和设置最大限制电流，确保液态镜头3正常工作。

2.相机2标定，得出相机2的内参和外参。

3.控制单元通过逐渐增加电子驱动器1输入电流或者屈光度的大小，减小液态镜头3工作距离，同时触发相机2进行拍照并保存。其中，驱动器1的输入电流y与液态镜头3的工作距离x的关系驱动器1液态镜头3接近：

y＝-329.9ln(x)+1625.8 R²＝0.9999。

R²是趋势线拟合程度的指标，它的数值大小可以反映趋势线的估计值与对应的实际数据之间的拟合程度，拟合程度越高，趋势线的可靠性就越高

4.采集图像通过千兆网线传输至计算机，上位机软件接收采集的原始图像。

5.调用深度聚焦算法模块，对预处理之后的图像进行三维重建。

6.对三维重建结果图像进行上位机可视化显示。

本发明提出的三维重建装置采用液态镜头进行重建，液态镜头3采用液态填充式的镜头，使用机械装置对腔内液体施加压力，再分配体腔内液体使曲率半径发生变化，通过填充和吸出液体来改变表面曲率而变焦的镜头。与现有技术相比，本发明不需要机械控制镜头与被测物体5的距离实现变焦的效果，拥有便捷、快速和准确的特点。

相应的，基于上述三维重建装置，本发明还提出了一种基于液态镜头深度聚焦的三维重建方法，包括以下步骤：

1)、利用三维重建装置进行图像采集，对相机采集到的图像序列进行预处理。采集的图像序列大于10张。

图像序列的预处理具体包括：1-1)图像去噪和平滑，使用均值滤波，消除图像尖锐的噪声；1-2)将图像序列按采集聚焦程度由模糊到清晰再到模糊进行排序。

2)将图像序列按采集聚焦程度由模糊到清晰再到模糊进行排序，对其进行阈值设定，并根据被测物体的灰度值选取具体区域。

其中图像序列阈值设定时，采集区域在0—255区域之间。

3)连接阈值区域当中最大组件数的部分，将连接部分的区域形状与被测物体形状进行比较；如果连接部分具有类似的形状，则将其纳入输出。

4)确定阈值连接最大部分的最小周长，创建出一个与坐标轴平行的矩形，生成一个平行于左上角和右下角所描述的坐标轴的矩形，把两个区域合并成一个区域，求出两个矩形的交集。

5)根据参数转换方法，将算子shape_trans的参数类型设为outer_circle，设置输入区域的形状，将其定义域缩减为指定的区域。新定义域计算为原定义域与区域的交点。然后将采集到的单通道图像融合为多通道图像，并依次访问多通道图像中每个单通道灰度图。

6)使用多个焦点级别提取深度信息，通过高通滤波和焦距级别的方法获取聚焦最清晰地方的深度图，对其进行均值滤波，并选择不同通道图像的灰度值。其中，提取的深度信息为每个深度估计返回一个置信值，这个值越大，深度估计的置信值就越高。

7)将深度图使用scale_image_max算子计算出最小值和最大值，并将图像缩放到字节图像的最大值范围，再进行均值滤波，滤波后使用compose2算子将全聚焦图像与均值滤波后的图像转化二通道图像，生成的二通道图像即为三维重建图。

本方法在图像序列中，根据特定的融合规则，每个像素都有对应的明确的焦点位置，通过多个焦点级别提取深度信息，对深度信息进行插值拟合，恢复更准确的对象深度信息，进行三维重建。深度聚焦法具有应用灵活、精度高和性能稳定的特点。

Claims (8)

1.一种基于液态镜头深度聚焦的三维重建方法，其特征在于：包括以下步骤：

1)利用三维重建装置进行图像采集，对相机采集到的图像序列进行预处理；

2)将图像序列按采集聚焦程度由模糊到清晰再到模糊进行排序，对其进行阈值设定，并根据被测物体的灰度值选取具体区域；

3)连接阈值区域当中最大组件数的部分，将连接部分的区域形状与被测物体形状进行比较；如果连接部分具有类似的形状，则将其纳入输出；

4)确定阈值连接最大部分的最小周长，创建出一个与坐标轴平行的矩形，生成一个平行于左上角和右下角所描述的坐标轴的矩形，把两个区域合并成一个区域，求出两个矩形的交集；

5)根据参数转换方法，将算子shape_trans的参数类型设为outer_circle，设置输入区域的形状，将其定义域缩减为被测物体的区域，然后将采集到的单通道图像融合为多通道图像，并依次访问多通道图像中每个单通道灰度图；

6)使用多个焦点级别提取深度信息，通过高通滤波和焦距级别的方法获取聚焦最清晰地方的深度图，对其进行均值滤波，并选择不同通道图像的灰度值；

7)将深度图使用scale_image_max算子计算出最小值和最大值，并将图像缩放到字节图像的最大值范围，再进行均值滤波，滤波后使用compose2算子将全聚焦图像与均值滤波后的图像转化二通道图像，生成的二通道图像即为三维重建图。

2.根据权利要求1所述的三维重建方法，其特征在于：步骤1)中图像序列的预处理具体包括：1-1)图像去噪和平滑，使用均值滤波，消除图像尖锐的噪声；1-2)将图像序列按采集聚焦程度由模糊到清晰再到模糊进行排序。

3.根据权利要求1所述的三维重建方法，其特征在于：步骤2)中图像序列阈值设定时，采集区域在0—255区域之间。

4.根据权利要求1所述的三维重建方法，其特征在于：步骤1)中采集的图像序列大于10张。

5.根据权利要求1所述的三维重建方法，其特征在于：步骤6)中提取的深度信息为每个深度估计返回一个置信值，其中这个值越大，深度估计的置信值就越高。

6.权利要求1所述的三维重建方法是基于以下三维重建装置实现的,其特征在于：包括支撑固定平台、液态镜头、相机、电子驱动器和环形光源；与被测物体相对的相机安装在支撑固定平台上，液态镜头安装在相机头部，自带有控制操作软件电子驱动器连接相机和液态镜头。

7.根据权利要求6所述的三维重建装置，其特征在于：所述三维重建装置采集图像步骤包括：1-1)初始化电子驱动器的工作参数和设置最大限制电流；1-2)相机标定，得出相机的内参和外参；1-3)控制单元通过逐渐增加电子驱动器输入电流或者屈光度的大小，减小液态镜头工作距离，同时触发相机进行拍照并保存；1-4)采集图像传输至计算机，上位机软件接收采集的原始图像进行三维重建。

8.根据权利要求6所述的三维重建装置，其特征在于：所述电子驱动器的输入电流y与液态镜头的工作距离x的关系为：

y＝-329.9ln(x)+1625.8 R²＝0.9999；

其中，R²是趋势线拟合程度的指标，它的数值大小反映趋势线的估计值与对应的实际数据之间的拟合程度，拟合程度越高，趋势线的可靠性就越高。

Images