CN117173072A - 一种基于深度学习的弱激光图像增强方法及装置 - Google Patents

Abstract

本发明提供一种基于深度学习的弱激光图像增强方法及装置，包括获取第一激光下的第一图像，以及第二激光下的第二图像；对所述第一图像进行标注处理作为数据标签，并输入至预先构建好的深度网络进行训练，得到优化后的弱激光图像增强模型；将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像。本发明通过将所用的DCNN网络进行改进，在每个特征层加入残差模块，得到改进的DCNN网络；形成测量用的弱激光图像增强模型，进行轻量化处理；将待测物体的弱激光图像进行数据预处理后，输入所得弱激光图像增强模型，输出增强后的激光图像；对输出结果进行分析处理，可获得所测物体的三维点云。

Description

一种基于深度学习的弱激光图像增强方法及装置

技术领域

本发明涉及机器视觉三维测量计算技术领域，特别涉及一种基于深度学习的弱激光图像增强方法及装置。

背景技术

近年来，光学三维表面测量已广泛应用于在线检测、人机交互和视觉引导自动化等众多领域。在不断涌现的众多光学三维表面形状测量技术中，激光三维扫描技术以其无接触、高精度、易实现等突出优势，显示出了优异的测量能力。在用于3D表面几何形状测量的激光扫描中，激光源将激光线投影到目标物体上，从而在被测物体的表面上产生激光条纹。通过机械扫描设备获得一系列携带物体高度信息的激光条纹图像，这些图像由激光扫描系统中的相机拍摄获得。最终，可以通过三角测量从捕获的条纹图像中获得物体的三维面形。

然而，测量具有不同光学特性的复杂表面仍然是一项具有挑战性的任务。例如，具有高反射率的金属表面可能会产生激光束的镜面反射和激光条纹图像的饱和，从而导致重建物体表面细节丢失。具有吸光能力的黑色工业零件需要合适的照明条件，否则无法从捕获的激光条纹图像中获得有效的深度信息。对于测量具有高动态范围（HDR）反射率的表面的方法主要分为传统方法和基于深度学习的方法。

（1）传统的HDR测量方法主要是通过增加额外的设备和设计相应的算法来处理这个问题。例如，通过手动调整实验系统的照明条件，捕获不同曝光时间曝下高动态范围反射率表面的一系列图像，然后通过精心设计的算法进行融合，以生成更好的逐像素结果。由于这种方法过于耗时，因此有学者提出了一种自动曝光选择策略来评估捕获的图像质量。此外，可以通过偏振分析、基于LCOS的亮度自适应成像和多光谱调制获得最佳条纹图像。然而，这种方法存在效率低下、系统组成和算法复杂等缺点。有学者通过精心设计的图像处理算法、激光条纹中心检测算法和中心线提取算法来测量HDR表面，这些方法能够直接从原始条纹图像中提取深层信息。

（2）基于深度学习的光学测量方法发展迅速，可被视为高反射表面3D测量的激光条纹图像增强的替代解决方案。以往基于深度学习的三维测量工作大多关注激光条纹图像的去噪。例如，为了提高结构光测距系统或激光条纹提取的准确性，有学者引入或提出了一些卷积网络来实现激光图像去噪图像。针对金属物体存在较大区域出现过曝影响激光线提取的问题，有学者使用Faster R-CNN网络检测激光条纹区域，并通过U-Net网络从检测到的激光条纹区域中分割激光条纹，从分割的激光条纹图像中准确提取中心像素坐标。这些方法需要收集正常光照下的激光图像样本，这些样本需要更高的激光功率，对于不同测量对象，激光功率也需要作出相应调整。长时间的使用不仅会对激光器造成不可逆的损害，还会危及人眼。针对以上缺点，需要选择合适的测量方法，节省测量成本，并实现低功耗和眼睛安全的3D形状测量。

对于传统的激光3D测量方法，HDR解决方案通常设计复杂的ROI提取和激光线提取算法，或者通过添加额外的设备来扩大测量系统的动态范围。对于基于深度学习的激光3D测量方法，从卷积神经网络中分割出二进制激光条纹图像。传统和现有的基于深度学习的激光扫描HDR解决方案的共同缺点总结如下：

1.测量成本高；在测量过程中，不仅需要更高的激光强度和更长的曝光时间，而且还需要调整不同物体的激光功率。手动采集数据的方式进一步增加了系统的测量成本。一方面，长时间的使用可能会对激光器造成不可逆转的损害，另一方面，相对于短时间的强光照，长时间的弱光照对人眼更安全。

2.缺乏稳健性；改进算法或添加额外设备的方法会导致性能不稳定。测量具有不同光学特性的表面，如具有高反射率的金属零件和具有吸光能力的黑色零件，可能难以保持稳定的测量性能和精度。

因此，亟需一种低功耗、高鲁棒性、对人眼无损的弱激光图像增强方法。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种通过将所用的深度卷积网络与损失函数进行改进后，加入残差模块用于端到端的弱激光图像增强方法及装置。

为了实现上述发明目的，本发明提供了以下技术方案：

第一方面，提供了一种基于深度学习的弱激光图像增强方法，所述增强方法包括：

获取第一激光下的第一图像，以及第二激光下的第二图像；

对所述第一图像进行标注处理作为数据标签，并输入至预先构建好的深度网络进行训练，得到优化后的弱激光图像增强模型；

将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像；

其中，所述深度网络采用包括多尺度特征融合层的深度卷积网络，所述多尺度特征融合层还包括残差模块。

根据一种具体的实施方式，上述增强方法中，所述标注处理具体包括：

根据所述第一图像获取激光条纹图像；

对所述激光条纹图像进行图像分割和峰值搜索，标注出ROI区域；

扩充标注后的激光条纹图像。

根据一种具体的实施方式，上述增强方法中，所述根据所述第一图像获取激光条纹图像包括：将第一图像中含有激光条纹的图像与不含激光条纹信息的背景图像相减，计算如下：

，

其中，表示原始激光图像的强度分布，/>是没有激光条纹的背景图像，/>表示来自差分法的激光条纹图像。

根据一种具体的实施方式，上述增强方法中，所述图像分割和峰值搜索包括：

用阈值分割获得ROI粗定位掩模；

在ROI粗定位掩模中利用最大值搜索逐行检测激光条纹坐标，得到像素级的激光线位置；

基于所述激光线位置及其邻域生成ROI区域。

根据一种具体的实施方式，上述增强方法中，所述深度网络的残差模块表达式为：

，

其中为卷积和最大池操作，/>为卷积操作。

根据一种具体的实施方式，上述增强方法中，所述第一图像和第二图像包含相机参数，所述相机参数，所述相机参数包括相机内参、相机外参和失真参数。

根据一种具体的实施方式，上述增强方法中，所述第一激光的功率大于所述第二激光的功率。

根据一种具体的实施方式，上述增强方法中，所述增强方法还包括，重建所述增强后的弱激光图像，获取待测物体的三维点云数据。

根据一种具体的实施方式，上述增强方法中，所述重建所述增强后的弱激光图像具体包括：

利用激光中心线提取算法获取所述增强后的弱激光图像的中心线亚像素坐标；

利用所述相机参数将所述中心线亚像素坐标转换为相机坐标系下的中心像素坐标；

基于所述中心像素坐标进行多帧拼接所述增强后的弱激光图像。

第二方面，提供了一种基于深度学习的弱激光图像增强装置，所述增强装置包括：

激光发射模块，用于控制所述激光器向待测物体投射不同强度的激光；

图像获取模块，用于控制所述相机获取高功率激光强度下的第一图像，以及低功率激光强度下的第二图像；

预处理模块，用于对所述第一图像进行标注处理作为数据标签，并输入至预先构建好的深度网络；

训练模块，用于训练所述深度网络，得到优化后的弱激光图像增强模型；

增强模块，用于将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像；

重建模块，用于重建所述增强后的弱激光图像，获取待测物体的三维点云数据。

与现有技术相比，本发明的有益效果是：

通过向待测物体投射不同功率的激光，并分别获取高功率激光强度下的图像和低功率激光强度下的图像，再利用高功率激光强度下的图像进行训练进而获取优化的弱激光图像增强模型，然后利用弱激光图像增强模型进行图像增强，实现了从图像预处理到弱激光图像增强的端到端处理，可以推广至不同光学特性的HDR物体、激光功率、相机曝光时间、摄像头角度、硬件设备条件下的弱激光图像增强场景，经过微调处理后可以快速适应不同场景。同时，通过向深度学习网络中加入残差模块进行改进，极大地提高了鲁棒性，使增强模型能够获得较好的性能，对不同物体的激光线提取的准确性更高。

附图说明

图1为本发明实施例所涉及的应用环境的结构示意图；

图2为本发明一个实施例提供的增强方法的方法流程图；

图3为本发明一个实施例提供的一种基于深度学习的弱激光图像增强方法的方法流程图；

图4为本发明一个实施例所涉及的一种具体应用的场景图；

图5为本发明一个实施例所提供的三维点云重建结果。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

请参考图1，其示出了本发明实施例所涉及的应用环境的结构示意图，该应用环境包括：待测物体和增强系统，该增强系统包括拍摄设备和激光器。如图1所示，由激光器投射的多束平行光到达空间中的待测物体上，反射回来的回返激光能够被所述拍摄设备所捕获。

优选地，本发明实施例采用的激光器为线激光器。

所述拍摄设备用于拍摄包含相机参数的图像，相机参数包括相机内参、相机外参和失真参数。

可理解的，相机外参为相机相对于世界坐标系下其他参照物的位姿信息。世界坐标系是指根据被拍摄场地建立的空间坐标系，世界坐标系的原点位于场地的某一点。位姿包括位置和朝向。相机外参包括旋转矩阵和平移矩阵。旋转矩阵和平移矩阵共同描述了点在世界坐标系与相机坐标系间的转换关系。旋转矩阵描述了世界坐标系的坐标轴相对于相机坐标系的坐标轴的方向。平移矩阵描述了在相机坐标系下空间原点的位置。

相机内参是与相机自身特性相关的参数，比如相机的焦距和像素大小等。相机内参表示将物体在相机坐标系下的三维坐标和所拍摄的图像上的图像坐标系下的二维坐标的转换关系。

拍摄设备可以是一个集成化模组。拍摄设备包括相机、惯性测量组件(InertialMeasurement Unit，IMU)、通信模块和处理器。例如，拍摄设备可以是终端，如手机终端，平板电脑，笔记本电脑，虚拟现实(virtual reality，VR)设备、增强现实(augmentedreality，AR)设备、混合现实(Mixed Reality，MR)设备、扩展现实(ExtendedReality，ER)设备和摄像头等。

下面，通过几个具体的实施例对本发明实施例提供的弱激光图像增强方法进行详细介绍和说明。

实施例1

请参考图2，其示出了本发明一个实施例提供的增强方法的方法流程图，该增强方法包括以下步骤：

步骤1：获取第一激光下的第一图像，以及第二激光下的第二图像；

步骤2：对所述第一图像进行标注处理作为数据标签，并输入至预先构建好的深度网络进行训练，得到优化后的弱激光图像增强模型；

步骤3：将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像；

其中，所述深度网络采用包括多尺度特征融合层的深度卷积网络，所述多尺度特征融合层还包括残差模块。

本实施例提供了一种新的基于深度学习的弱激光图像增强方法，将所用的深度卷积网络（DCNN网络）与损失函数进行改进后，加入残差模块用于端到端的弱激光图像增强，专门用于解决当前存在的问题。

实施例2

请参考图3，其示出了本发明一个实施例提供的一种基于深度学习的弱激光图像增强方法的方法流程图，本实施例以该增强方法应用于图1所示应用环境中来举例说明。具体包括以下步骤：

如上述步骤1所述，获取第一激光下的第一图像，以及第二激光下的第二图像。将激光投射于物体表面，增加待测物体的纹理特征。通过在第一激光的照射下，获取第一图像，以及第二激光的照射下，获取第二图像。具体地，第一激光的功率大于第二激光的功率。优选地，具体实施时使用的第一激光功率在0.25mw以上，第二激光的功率在0.01-0.25mw。在一种具体的实施方式，还可以通过摄像装置在低曝光情况下，提高曝光时长采集第一图像（强激光线图像），以及第二图像（弱激光线图像）。利用此种方式，能降低激光器功率实现三维测量，达到人眼安全、以及设备良好运行的功能。优选地，图像尺寸为2048×2448。

如上述步骤2所述，首先，为减小环境光和背景对图像质量的影响，对采集的原始激光图像进行标注处理。其中，为了能够减小背景噪声的影响，先通过将含有激光条纹的图像与不含激光条纹信息的背景图像相减获取激光条纹图像，具体计算公式为:

，

其中，表示原始激光图像的强度分布，/>是没有激光条纹的背景图像，/>表示激光条纹图像。

其次，将使用高功率激光采集到的强激光线图像进行图像分割和峰值搜索以提取其ROI作为数据标签。具体地，先用阈值分割获得ROI粗定位掩模；再在粗定位掩模中利用最大值搜索逐行检测激光条纹坐标，得到像素级的激光线位置；最后利用这些像素位置及其邻域生成激光线精细掩模。

由于采集到的图像存在数据分布不均衡、不同激光条纹形态的图像数量比例失衡的问题，将经过差分处理后的图像数据进行预处理操作，通过裁剪、旋转等操作扩充数据集，提升深度学习的效果，增强方法的鲁棒性，预处理后的图像尺寸为256×256；

将采用的具有多尺度特征融合层的深度卷积网络进行改进，除输出特征层外，在每个特征层加入残差模块，得到改进的DCNN网络。该残差模块表达式为：

，

其中为卷积和最大池操作，/>为核大小为3、步长为2的卷积操作。残差块的输出特征图尺寸大小减半，同时保持输出的特征图维度与其输入一致。

进一步地，为实现有监督学习，将预处理后的数据，使用均匀随机抽样的方式，按8：2的比例将其划分为训练集、验证集，并保持其同分布。对改进的DCNN网络进行训练，得到网络权重，形成测量用的弱激光图像增强模型。

如上述步骤3所述，将待测物体的第二图像样本，输入所得弱激光图像增强模型，输出增强后的弱激光图像。

进一步地，将输出结果为256×256大小的图像拼接为原激光图像2048×2448大小；使用激光中心线提取算法对增强后的激光图像提取中心线亚像素坐标。根据一种具体的实施方式，本实施例以Steger算法为例，具体的计算过程如下：

对于激光条纹上的每个像素（x，y），Hessian矩阵表示为：

，

其中，/>，/>表示图像的二阶偏导数。与由/>计算的最大特征值相对应的特征向量表示光带的法线方向，其可以由（/>）表示。以（/>）为参考点，中心线的亚像素坐标描述如下：

，

，

，

然后利用系统标定方法（1）相机的内部、外部和失真参数，可以将中心像素坐标（u，v）转换为相机坐标系（xc，yc，zc）；（2）激光平面在相机坐标系中的平面方程，其方程表示为：

，

最后，通过多帧拼接将所有相机坐标系的激光条纹的中心像素坐标映射为3D世界点（x，y，z）。

综上所述，本实施例提供的一种基于深度学习的弱激光图像增强方法适用面广，新设计的基于深度学习的弱激光图像增强方法实现了从图像预处理到弱激光图像增强的端到端处理，可以推广至不同光学特性的HDR物体、激光功率、相机曝光时间、摄像头角度、硬件设备条件下的弱激光图像增强场景，经过微调处理后可以快速适应不同场景。同时，该弱激光图像增强方法使用的弱激光图像数据在极低的激光功率和低曝光条件下采集得到，极大地降低了系统功耗。以及用眼安全。相对于短时间的强光照，长时间的弱光照对人眼更加安全。还有鲁棒性强。传统方法在有限情况下会起很好的作用，但该弱激光图像方法的鲁棒性更强，通过训练不同场景下的弱激光图像，改进的DCNN网络能获得较好的性能，对不同物体的激光线提取的准确性更高。以及采用一种或者多种激光强度的投射与采集，经过图像增强后进行融合，能够达到HDR测量的功能。

实施例3

请参考图4，其示出了本发明一个实施例所涉及的一种具体应用的场景图。本实施展示了对具有漫反射、暗色和高反射率表面的不同场景的测量。测量场景如图4，分别为漫反射物体和金属物体的测量场景图，图右上角为增强后的场景图，两种视图的三维点云重建结果如图5所示。

实施例4

在一种具体的实施方式中，本实施例还提供了一种基于深度学习的弱激光图像增强装置，应用于增强系统，所述增强系统包括相机和激光器，所述增强装置包括：

激光发射模块，用于控制所述激光器向待测物体投射不同强度的激光；

图像获取模块，用于控制所述相机获取高功率激光强度下的第一图像，以及低功率激光强度下的第二图像；

预处理模块，用于对所述第一图像进行差分标注处理，并输入至预先构建好的深度网络；

训练模块，用于训练所述深度网络，得到优化后的弱激光图像增强模型；

增强模块，用于将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像；

重建模块，用于重建所述增强后的弱激光图像，获取待测物体的三维点云数据。

实施例5

在一种具体的实施方式中，本实施例还提供了一种增强系统。所述增强系统可以是图1所示应用场景中的增强系统，所述增强系统包括：激光器，拍摄设备。

所述增强系统还包括：至少一个处理器，其分别与所述激光器、拍摄连接；以及，与所述至少一个处理器通信连接的存储器。所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的增强方法。所述处理器和所述存储器可以通过总线或者其他方式连接。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的增强方法对应的程序指令/模块，例如，实施例4中的各个模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例增强方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据增强装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至增强装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的增强方法，例如，执行以上实施例1-2中的方法步骤，实现实施例4中的各模块的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上实施例1-3的方法步骤，实现实施例5中的各模块的功能。

本申请实施例还提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的增强方法，例如，执行以上实施例1-2的方法步骤，实现实施例4中的各模块的功能。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的弱激光图像增强方法，其特征在于，所述增强方法包括：

获取第一激光下的第一图像，以及第二激光下的第二图像；

对所述第一图像进行标注处理作为数据标签，并输入至预先构建好的深度网络进行训练，得到优化后的弱激光图像增强模型；

将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像；

其中，所述深度网络采用包括多尺度特征融合层的深度卷积网络，所述多尺度特征融合层还包括残差模块。

2.根据权利要求1所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述标注处理具体包括：

根据所述第一图像获取激光条纹图像；

对所述激光条纹图像进行图像分割和峰值搜索，标注出ROI区域；

扩充标注后的激光条纹图像。

3.根据权利要求2所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述根据所述第一图像获取激光条纹图像包括：将第一图像中含有激光条纹的图像与不含激光条纹信息的背景图像相减，计算如下：

，

其中，表示原始激光图像的强度分布，/>是没有激光条纹的背景图像，/>表示来自差分法的激光条纹图像。

4.根据权利要求2所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述图像分割和峰值搜索包括：

用阈值分割获得ROI粗定位掩模；

在ROI粗定位掩模中利用最大值搜索逐行检测激光条纹坐标，得到像素级的激光线位置；

基于所述激光线位置及其邻域生成ROI区域。

5.根据权利要求1所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述深度网络的残差模块表达式为：

，

其中为卷积和最大池操作，/>为卷积操作。

6.根据权利要求1所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述第一图像和第二图像包含相机参数，所述相机参数包括相机内参、相机外参和失真参数。

7.根据权利要求1所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述第一激光的功率大于所述第二激光的功率。

8.根据权利要求1-7任一项所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述增强方法还包括，重建所述增强后的弱激光图像，获取待测物体的三维点云数据。

9.根据权利要求8所述的一种基于深度学习的弱激光图像增强方法，其特征在于，所述重建所述增强后的弱激光图像具体包括：

利用激光中心线提取算法获取所述增强后的弱激光图像的中心线亚像素坐标；

利用所述相机参数将所述中心线亚像素坐标转换为相机坐标系下的中心像素坐标；

基于所述中心像素坐标进行多帧拼接所述增强后的弱激光图像。

10.一种基于深度学习的弱激光图像增强装置，其特征在于，所述增强装置包括：

图像获取模块，用于获取第一激光下的第一图像，以及第二激光下的第二图像；

预处理模块，用于对所述第一图像进行标注处理作为数据标签，并输入至预先构建好的深度网络；

训练模块，用于训练所述深度网络，得到优化后的弱激光图像增强模型；

增强模块，用于将所述第二图像输入至优化后的弱激光图像增强模型，获取增强后的弱激光图像；

重建模块，用于重建所述增强后的弱激光图像，获取待测物体的三维点云数据。