CN113628170B - 一种基于深度学习的激光线提取方法及系统 - Google Patents

一种基于深度学习的激光线提取方法及系统 Download PDF

Info

Publication number
CN113628170B
CN113628170B CN202110804080.6A CN202110804080A CN113628170B CN 113628170 B CN113628170 B CN 113628170B CN 202110804080 A CN202110804080 A CN 202110804080A CN 113628170 B CN113628170 B CN 113628170B
Authority
CN
China
Prior art keywords
light
laser line
model
light stripe
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110804080.6A
Other languages
English (en)
Other versions
CN113628170A (zh
Inventor
涂志刚
费可欣
汤佳欣
谢兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110804080.6A priority Critical patent/CN113628170B/zh
Publication of CN113628170A publication Critical patent/CN113628170A/zh
Application granted granted Critical
Publication of CN113628170B publication Critical patent/CN113628170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种基于深度学习的激光线提取方法及系统，包括采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；对图像数据进行预处理，同时增添具有噪声的光条图像；对光条提取光条纹中心点，进行校验作为数据标签；将EfficientNet网络的全连接层输出改进，并加入non‑local模块，得到改进的EffecientNet模型；将全连接层输出的光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果；对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型，进行轻量化处理；将新的激光线图像测试样本输入所得激光线提取模型，输出图像中激光线的光条纹中心线；对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。

Description

一种基于深度学习的激光线提取方法及系统
技术领域
本发明涉及激光线智能化提取技术领域，特别是涉及处理实时性不高、光条中心提取不准确、抗噪声能力差三大难点问题的新型激光线提取方法及系统。
背景技术
激光线扫描技术是一种非接触式测量技术，其主动增加了图像的纹理特征，是立体视觉测量中的关键技术，被广泛应用于皮带检测、三维图像重构、质量检测等领域。该技术将线激光器发射的条形激光束投射到被测物体表面进行扫描，再用相机拍摄物体表面的激光条纹图像，通过图像处理技术计算激光线的三维坐标。由于线状光束有一定的像素宽度，该技术还需要准确提取激光线的光条中心。因此，开发高精度的、可实时检测、抗噪能力强的激光线检测与光条中心提取方法是激光线扫描技术在工业应用中的一个重要突破点。当前，光条纹中心提取方法主要可以分为传统光条纹中心提取方法、基于传统的光条纹中心提取改进方法和基于神经网络光条纹中心提取方法三种类型。
(1)传统光条纹中心提取方法。根据不同方法的理论基础与特点，可以将传统的光条纹中心提取方法分为四大类，即基于光条纹灰度分布特点提取方法、光条纹几何中心提取方法、基于形态学条纹中心提取方法、光条纹亚像素中心提取方法。第一类方法的典型方法有灰度重心法，先求出条纹横截面光强分布曲线的高斯中心，再对光条纹逐行提取高斯中心，将中心点拟合形成光条纹中心线。另还有极值法、曲线拟合法、方向模板法、脊线跟踪法等常见的利用灰度分布特点的提取方法；边缘法、中心法和阈值法是利用光条几何中心的典型提取方法；细化法对光条纹反复进行形态学处理，剥离条纹边界；Steger方法利用Hessian矩阵对图像求二阶方向导数，二阶方向导数绝对值最大的方向就是光条纹的法线方向，在法线方向上对光条纹灰度分布函数进行二阶泰勒展开，得到的一阶零点即为光条纹中心点，该方法运算量过大，无法达到实时效果。
(2)基于传统的光条纹中心提取改进方法。针对高空间相干性带来的斑点或颗粒状图案噪声干扰，有学者提出一种自适应二值化处理的方法，即先确定位光条纹各行截面边界，根据不同的条纹边界宽度利用灰度重心法提取光条纹中心点，解决光条宽度不一致的问题，提高了中心线提取准确性；针对高光强背景干扰，有学者提出引入高斯分布互相关系数，自适应地调节互相关模板大小，结合互相关方法与曲线拟合方法精确定位条纹中心点；针对外部噪声干扰，有学者利用形态学方法设定连通域面积阈值，去除噪声并输出具有有效光条信息的二值化模板图像，利用模板与原图像相乘获得无噪声的光条图像；针对物体表面复杂形态带来的断线问题，有学者提出一种基于遗传方法的光条纹中心提取方法；针对Steger方法运算量大的问题，有学者利用PCA方法对图像梯度向量的协方差矩阵进行特征分解，代替Hessian矩阵计算光条纹的法线方向，提高了方法运算效率。
(3)基于BP神经网络的光条纹中心提取方法。该方法先设定光条截面中心点的灰度阈值为IT＝50，选取图像中每列像素的有效光条截面区域，搭建为三层神经网络。通过Steger方法对一系列弧形、随机、间断、齿形光条提取光条纹中心点并利用最小二乘法拟合获取光条纹中心线，将以上四种条纹中心线图像作为模型训练样本，训练BP神经网络。训练后的网络模型对各种复杂光条纹中心提取误差均值较小，方法平均用时仅为传统方法的0.27％，克服了传统方法的固有缺点。有学者提出了一种基于分区域多模板匹配的光条纹中心提取方法。先对图像提取结构光条纹ROI，提高光条纹在图像中的比重，再以初始中心点为基点，利用灰度重心法沿着该点所在的子区域法线方向提取光条亚像素中心点。
随着线结构光扫描技术逐渐成熟，光条纹中心提取技术正不断发展精进，但现有的几类方法仍存在着不少缺陷：(1)传统光条纹中心提取方法的前提是光条纹像素值呈现高斯分布，因此普遍对物体表面形态要求较高，若出现形变，中心提取会出现误差。虽然多数方法可以做到实时，但易受噪声点、传感器、光照等干扰，物体表面的粗糙度也会影响光条纹中心的提取，且精度不高；(2)针对传统方法进行改进后的光条纹提取方法大多在计算精度上进行了改进，与此同时计算复杂度提升，无法满足工业上对实时性的要求。由于各类方法的改进具有较强的应用场景针对性，方法的鲁棒性、可推广性较差；(3)相比于传统方法，基于BP神经网络的光条纹中心提取方法计算时间有所缩短，但网络深度不够，在计算精度与速度上还有较大的提升空间。
发明内容
针对现有激光线检测与光条纹中心提取方法所存在的缺点，本发明提供了一种新的基于深度学习的激光线提取方法，将SOTA的语义分割网络EfficientNet与损失函数进行改进后，加入non-local模块用于端到端的激光线像素群分割与光条纹中心提取，专门用于解决当前存在的问题。针对传统方法检测精度低、易受噪声干扰等固有缺陷，本发明采用的深度学习方法通过扩充现有数据集并添加具有一定噪声的随机光条图像增强网络的鲁棒性，实现对精度和速度的同时提升。针对改进后的传统方法难以推广的问题，本发明采用的端到端的深度学习网络同时实现了图像预处理、光条纹中心提取功能，适用于多种噪声干扰场景，且更加容易调试与改进。与BP神经网络方法相比，本发明采用的EfficientNet网络通过增加网络复杂度解决了浅层方法存在的分割与提取的结果精度不高的问题。该方法能有效的处理现存激光线提取方法实时性不高、光条中心提取不准确、抗噪声能力差的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的激光线提取方法，包括以下步骤：
步骤1，采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；
步骤2，对图像数据进行预处理，扩充数据集，增强鲁棒性，同时增添具有噪声的光条图像；
步骤3，；通过Steger算法对光条提取n个光条纹中心点，进行校验后，作为数据标签，同时按预设比例将处理好的数据集进行划分，从中得到训练集；其中，n为预设数值；
步骤4，将EfficientNet网络的全连接层输出由语义分割变为2×n的n个光条纹中心点坐标，并加入non-local模块，得到改进的EffecientNet模型；
步骤5，将全连接层输出的n个光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果；
步骤6，将训练集样本作为输入对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型；
步骤7，对步骤6所得激光线提取模型进行轻量化处理；
步骤8，将新的激光线图像测试样本输入步骤7所得激光线提取模型，输出图像中激光线的光条纹中心线；
步骤9，对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。
而且，所述步骤2的预处理实现如下，
1)进行均衡数据分布的操作，包括复制不同条纹形态的激光线图像；
2)进行数据增广操作，包括裁剪、镜像翻转，调整色彩对比度、光照明暗度与图像角度；
3)增强鲁棒性的操作，包括随机添加光亮条纹噪声点。
而且，所述步骤3包括如下处理，
统一数据集图像的格式后，通过Steger算法对不同形态的光条提取光条纹中心点，并将得到的n个中心点进行校验后作为数据标签，用于训练改进后的EfficientNet网络；
为实现有监督学习，将数据集进行扩充后，使用均匀随机抽样的方式，按8:1:1的比例将其划分为训练集、验证集与测试集，并保持其同分布。
而且，面对不同应用场景，包装特定的数据集，加载训练完成的网络权重，用特定场景的数据集对网络进行训练，调整网络权重参数与超参数。
而且，将non-local模块插入到EfficientNet网络的最后三层高阶语义层中。
另一方面，本发明提供一种基于深度学习的激光线提取系统，用于实现如上任一项所述的一种基于深度学习的激光线提取方法。
而且，包括以下模块，
第一模块，用于采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；
第二模块，用于对图像数据进行预处理，扩充数据集，增强鲁棒性，同时增添具有噪声的光条图像；
第三模块，用于通过Steger算法对光条提取n个光条纹中心点，进行校验后，作为数据标签，同时按预设比例将处理好的数据集进行划分，从中得到训练集；其中，n为预设数值；
第四模块，用于将EfficientNet网络的全连接层输出由语义分割变为2×n的n个光条纹中心点坐标，并加入non-local模块，得到改进的EffecientNet模型；
第五模块，用于将全连接层输出的n个光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果；
第六模块，用于将训练集样本作为输入对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型；
第七模块，用于对第六模块所得激光线提取模型进行轻量化处理；
第八模块，用于将新的激光线图像测试样本输入第七模块所得激光线提取模型，输出图像中激光线的光条纹中心线；
第九模块，用于对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于深度学习的激光线提取方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于深度学习的激光线提取方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)适用面广。新设计的基于深度学习的激光线提取方法实现了从图像预处理到激光线提取的端到端处理，可以推广至不同物体纹理、光照强度、摄像头角度、硬件设备条件下的激光线提取场景，经过微调处理后可以快速适应不同场景，达到高精度，不需要根据实际情况重新进行方法选择与调试。
(2)精度高、速度快。该激光线提取方法采用的EfficientNet网络与传统的方法相比，挖掘了图像数据的潜在特征，场景语义线索更加丰富，方法的精度更高。深度学习方法的训练与调试只需利用GPU，测试过程能耗低，且用于训练的图像比较容易获取，计算成本较低，速度更快。
(3)鲁棒性强。传统方法在有限情况下会起很好的作用，但该激光线提取方法的鲁棒性更强，通过引入噪声图像，利用场景语义信息，在受到不同噪声干扰时，EfficinetNet网络均能获得较好的性能，对激光线提取的准确性更高。
由此，本发明提供了一种基于深度学习的新的激光线提取方法，由该方法中改进的EfficientNet网络应用得到的激光线提取方法模型，训练速度快，收敛快，模型检测精度和速度高，适用面光、鲁棒性强。可有效处理激光线提取中的实时性不高、光条中心提取不准确、抗噪声能力差三大难点问题。
附图说明
图1是本发明实施例的整体流程图；
图2是本发明实施例数据集的标注与划分流程图；
图3是本发明实施例的轻量化操作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
激光线扫描技术是立体视觉测量中的关键技术，准确提取激光线条纹中心对皮带检测等工业应用至关重要。目前对光条纹中心的提取已经有了大量的研究，运用深度学习智能、准确、高效地提取光条纹中心仍面临着诸多挑战。由此，本发明基于深度学习网络提供了一种新的激光线条纹中心提取算法，专门用于解决当前存在的问题，最终得到提取精度高、可实时监测、抗噪能力强的激光线检测与光条纹中心提取方法。
参见图1，本发明实施例提供一种基于深度学习的激光线提取新方法，包括以下步骤：
(1)采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；具体实施时优选采用亚微米级的线激光器。
(2)对图像数据进行预处理，通过裁剪、旋转等操作扩充数据集，增强方法的鲁棒性，同时添具有一定噪声的光条图像，使方法适用于各种应用场景；
所述步骤(2)基本理论支持是：
训练集的优劣在深度学习中起着不可忽视的作用，工业应用中，数据分布不均衡、图像中存在噪声点是常有的情况。通常情况下，从监控视频中截取的激光线图像场景单一，但激光线形态比较多变，含不同形态激光线的图像数量比例失衡时，网络会侧重于学习某一分布的特征，影响最终性能。此外，环境中的光照变化也会对图像的质量产生影响，输送带形态、边缘，输送带周围的线状栏杆等都可能成为图像的噪声点。数据的预处理操作可以在一定程度上解决上述问题，提升深度学习的效果。
因此，本发明提出优选建议进行以下预处理操作：
1)复制不同条纹形态的激光线图像等均衡数据分布的操作；
2)裁剪、镜像翻转，调整色彩对比度、光照明暗度与图像角度等数据增广操作；
3)随机添加光亮条纹噪声点的增强鲁棒性的操作。
实施例做出如下处理步骤：
a.激光线条纹可能有弧形、随机、间断、齿形光条等形态，通过复制等操作针对不同条纹形态的图像进行比例调整，使得条纹形态的分布均衡，避免深度学习对某一特征的不充分学习；
b.在原始截取的图像上进行裁剪、镜像翻转，调整色彩对比度、光照明暗度与图像角度等数据增广操作，模拟不同场景下的激光线图像；
c.随机在1％的图像中加入噪声点，使深度网络学习更具鲁棒性。
综上所述，原始图像数据经过数据均衡分布、数据增广、添加图像噪声点等预处理，可以提升深度学习网络的分割效果，使方法适用于不同的应用场景。
(3)通过Steger方法对光条提取n个光条纹中心点，校验后作为数据标签，同时按合理的预设比例将处理好的数据集进行划分；实施例中n的取值、预设比例可以根据情况预先设定，优选地，可以根据不同场景的微调训练集做消融实验(ablation study)，从中获取最佳值n。
步骤(3)包括如下子步骤：
(3-1)统一数据集图像的格式后，通过对不同形态的，如弧形、随机、间断、齿形光条提取光条纹中心点，并将得到的n个中心点进行校验后作为数据标签，用于训练改进后的EfficientNet网络。Steger算法是一种光条中心亚像素定位方法。其首先通过Hessian矩阵得到光条的法线方向，再在法线方向利用泰勒展开得到亚像素位置。
(3-2)为实现有监督学习，将数据集进行扩充后，使用均匀随机抽样的方式，按8∶1∶1的比例将其划分为训练集、验证集与测试集，并保持其同分布。
面对不同应用场景，可以选择包装特定的微调数据集，加载训练完成的网络权重，用特定场景的数据集对网络进行训练，调整网络权重等参数与超参数。
标注的方法充分考虑了光条形态的多样性，节省了人力成本。数据集的划分使用了通用标准，训练数据集的封装与微调数据集的封装形式相同，当面对多变的场景时，依然能够表现出一定的卓越性。
实施例中图2为数据集的标注与划分流程图，具体步骤详解如下：
1)获取输送带激光线的监控视频后，采用均匀采样的方法对视频进行帧采样，作为训练集的原始图像；
2)对采集得到的图像进行均衡数据分布、数据增广与添加噪声点等操作；
3)神经网络的输入要求是统一的数据格式，预处理完成后，将数据进行归一化并裁剪得到固定的像素比224*224；
4)用Steger方法对含不同形态的激光条纹图像数据进行标注，具体的算法流程如下列公式所述，记经过高斯滤波后的激光条纹图像在(x，y)处的像素值为r(x，y)，H(x，y)是图像中任一点(x，y)像素值的Hessian矩阵，该矩阵最大特征值对应的特征向量对应于光条的法线方向记为(nx，ny)，则以点(x0，y0)为基准点，光条中心的亚像素坐标为(px，py)：
(px，py)＝(x0+tnx，y0+tny)
其中，rxx是r(x，y)关于x的二阶偏导数，ryy是r(x，y)关于y的二阶偏导数，rxy是r(x，y)先关于x求偏导，再关于y求偏导得到的二阶偏导数，ryx是r(x，y)先关于y求偏导，再关于x求偏导得到的二阶偏导数。中间参数t的表达式中，rx是r(x，y)关于x的一阶偏导数，ry是r(x，y)关于y的一阶偏导数。
5)对上述条纹中心点进行校验标注后，作为最终的数据标签对数据集进行封装，将所得数据按照8∶1∶1的比例划分为训练集、验证集与测试集。对于特定场景的数据，可以基于已经执行过本发明流程后训练完成的激光线提取模型进行调整，从1)起做同样的处理作为模型的微调数据集。即对新数据集执行1)到5)划分为训练集、验证集与测试集，相当于在原来的模型权重上换个数据集重新训练一遍，获得更适合新场景的权重。具体实施时，在某个特定场景A，比如俯视视角，采集到的数据作为训练集，得到的模型权重只能用于检测俯视视角的输入，微调数据集可以是平视视角场景B采集得到的数据，用B的数据在A训练好的模型上进行微调，就可以使模型也适用于B场景。用于训练A的就是训练数据集，B就是微调数据集。
(4)将EfficientNet网络进行改进，即将EfficientNet的全连接层输出由语义分割变为2*n的n个光条纹中心点坐标，并加入non-local模块；
步骤(4)改进后的EfficientNet网络搭建说明如下：
(4-1)EfficientNet提出了一种新的模型缩放方法，其使用复合系数从模型的深度、宽度与分辨率三个维度调整网络，并用基于神经结构搜索技术获得一组最优的参数，在速度与精度上相比于其它网络都有明显的提升，其网络框架为现有技术，本发明不予赘述；
(4-2)EfficientNet原网络被用于图像的语义分割，为使其具备光条纹中心提取的功能，本发明对网络的输出进行改进，使输出节点的数量与光条纹中心坐标相匹配；
(4-3)在(4-2)改进后的EfficientNet网络中加入non-local模块(非局部模块)，其通过计算任意两个未知之间的交互直接捕捉远程依赖，而不用局限于相邻点，通过特征值加权操作维持更多信息，插入non-local模块对图像分类、目标检测、目标分割等视觉任务的效果均有不同程度的提升，non-local模块具体算法流程如下列公式所述：
其中，yi表示经过non-local处理后深度学习网络某一特征图第j个空间位置的特征向量，xi与xj表示对应的原特征图上第i个与第j个空间位置的特征向量，其中i，j∈(1，HW)。f()是一个计算任意两点相似关系的函数，其中θ( )和都是卷积操作，C(x)表示归一化因子，e是数学常数。/>是一个映射函数，将一个点映射成一个向量，可以看成是计算一个点的特征，最终得到的特征yi通道数即为Cg。
采用性能优良的深度学习网络EfficientNet作为基础，改进后的网络经过微调后能很好地满足不同场景的应用需求。
实施例中核心网络EfficientNet-B0配合激光线提取场景改进网络输出后的网络结构图如下表所示，其中每一层(即Layers)的输出都作为后一层的输入：
表格中各参数的释义如下：
1)Operator中的Conv3x3指的是卷积核大小为3x3的卷积层，Pooling指的是池化层，FC指的是全连接层。Resolution指的是图像的分辨率，即像素值的大小。Channels指的是特征图的通道数。Layers指的是基线网络的卷积层。Stage指的是不同阶段的卷积层模块，每一个Stage中的模块采用相同的卷积参数；
2)MBConv指的是移动翻转瓶颈卷积模块，由深度可分离卷积DepthwiseConvolution与压缩与激发网络(Squeeze-and-Excitation Network，SENet)构成，是EfficientNet的核心构成部分；
3)本发明将EfficientNet最后的全连接层输出由1280转为2*n，作为输入的激光线条纹的n个中心条纹中心点坐标预测结果；
4)在实际操作中，本发明实施例将non-local模块插入到最后三层高阶语义层中，即将三个non-local模块分别直接放到第6、7、8层卷积层后，并将(4-3)中f()的计算化为矩阵乘法运算与卷积运算。Non-local模块是对特征层进行操作的，可以很方便地插入任意一个网络，实施例优选插入高阶语义层是为了减少计算量。
(5)将全连接层输出的n个光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果。
(6)将训练样本作为输入对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型；本步骤利用验证集衡量模型精度等指标。
(7)用TensorRT对模型进行轻量化处理。
参见图3，本发明实施例轻量化的操作流程如下：
1)模型轻量化在算法层、框架层与硬件层三方面实现，本发明在算法层与框架层对模型进行改进，压缩模型尺寸，降低计算复杂度，实现激光线提取算法工业化；
2)在算法轻量化层面，采用结构优化(如矩阵分解、分组卷积、小卷积核等)、模型剪枝与模型蒸馏等技巧压缩模型尺寸；
3)在框架轻量化层面上，利用TensorRT实现模型代码的编译优化、缓存优化、稀疏储存和计算，加快模型的运算速度。TensorRT是NVIDIA研发的模型加速工具，在CPU或者GPU模式下可将模型的推理过程加速10倍至100倍。
(8)将新的激光线图像测试样本(或者预先划分的测试集)输入上述训练好的激光线提取模型，输出图像中激光线的光条纹中心线。
(9)对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。
具体实施时，还可以选取合适的训练集对上述模型进行微调，以适用于不同场景。详情请见步骤(3)的说明。
针对激光线提取实时性不高的问题，本发明对模型进行了轻量化处理，在算法层和结构层上进行优化，与传统的方法相比在提升精度的同时，降低了模型的复杂度。针对光条中心提取不准确与抗噪声能力差的问题，本发明采用的端到端的深度学习网络同时实现了图像预处理、光条纹中心提取功能，并通过扩充现有数据集、添加具有一定噪声的随机光条增强网络的鲁棒性，实现对精度和速度的同时提升。本发明适用于多种噪声干扰场景，且更加容易调试与改进。通过采用微调等技术手段，本发明所公开的方法能适用于各类场景下的激光线条纹中心提取，对工业应用中提取的精度和速度都有一定程度的提高。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于深度学习的激光线提取系统，包括以下模块，
第一模块，用于采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；
第二模块，用于对图像数据进行预处理，扩充数据集，增强鲁棒性，同时增添具有噪声的光条图像
第三模块，用于通过Steger算法对光条提取n个光条纹中心点，进行校验后，作为数据标签，同时按预设比例将处理好的数据集进行划分，从中得到训练集；其中，n为预设数值；
第四模块，用于将EfficientNet网络的全连接层输出由语义分割变为2×n的n个光条纹中心点坐标，并加入non-local模块，得到改进的EffecientNet模型；
第五模块，用于将全连接层输出的n个光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果；
第六模块，用于将训练集样本作为输入对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型；
第七模块，用于对第六模块所得激光线提取模型进行轻量化处理；
第八模块，用于将新的激光线图像测试样本输入第七模块所得激光线提取模型，输出图像中激光线的光条纹中心线；
第九模块，用于对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。
在一些可能的实施例中，提供一种基于深度学习的激光线提取系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于深度学习的激光线提取方法。
在一些可能的实施例中，提供一种基于深度学习的激光线提取系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于深度学习的激光线提取方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于深度学习的激光线提取方法，其特征在于，包括以下步骤：
步骤1，采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；
步骤2，对图像数据进行预处理，扩充数据集，增强鲁棒性，同时增添具有噪声的光条图像；
步骤3，通过Steger算法对光条提取n个光条纹中心点，进行校验后，作为数据标签，同时按预设比例将处理好的数据集进行划分，从中得到训练集；其中，n为预设数值；
步骤4，将EfficientNet网络的全连接层输出由语义分割变为2×n的n个光条纹中心点坐标，并加入non-local模块，得到改进的EffecientNet模型；所述加入non-local模块的实现方式为，将non-local模块插入到EfficientNet网络的最后三层高阶语义层中；
步骤5，将全连接层输出的n个光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果；
步骤6，将训练集样本作为输入对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型；
步骤7，对步骤6所得激光线提取模型进行轻量化处理，包括在算法轻量化层面，采用结构优化、模型剪枝与模型蒸馏压缩模型尺寸，在框架轻量化层面上，利用TensorRT实现模型代码的编译优化、缓存优化、稀疏储存和计算，加快模型的运算速度；
步骤8，将新的激光线图像测试样本输入步骤7所得激光线提取模型，输出图像中激光线的光条纹中心线；
步骤9，对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。
2.根据权利要求1所述的基于深度学习的激光线提取方法，其特征在于：所述步骤2的预处理实现如下，
1)进行均衡数据分布的操作，包括复制不同条纹形态的激光线图像；
2)进行数据增广操作，包括裁剪、镜像翻转，调整色彩对比度、光照明暗度与图像角度；
3)增强鲁棒性的操作，包括随机添加光亮条纹噪声点。
3.根据权利要求1所述的基于深度学习的激光线提取方法，其特征在于：所述步骤3包括如下处理，
统一数据集图像的格式后，通过Steger算法对不同形态的光条提取光条纹中心点，并将得到的n个中心点进行校验后作为数据标签，用于训练改进后的EfficientNet网络；
为实现有监督学习，将数据集进行扩充后，使用均匀随机抽样的方式，按8:1:1的比例将其划分为训练集、验证集与测试集，并保持其同分布。
4.根据权利要求3所述的基于深度学习的激光线提取方法，其特征在于：面对不同应用场景，包装特定的数据集，加载训练完成的网络权重，用特定场景的数据集对网络进行训练，调整网络权重参数与超参数。
5.一种基于深度学习的激光线提取系统，其特征在于：用于实现如权利要求1-4任一项所述的一种基于深度学习的激光线提取方法。
6.根据权利要求5所述基于深度学习的激光线提取系统，其特征在于：包括以下模块，
第一模块，用于采用线激光器将激光投射于物体表面，增加纹理特征，再利用双目相机采集线结构光条纹图像；
第二模块，用于对图像数据进行预处理，扩充数据集，增强鲁棒性，同时增添具有噪声的光条图像；
第三模块，用于通过Steger算法对光条提取n个光条纹中心点，进行校验后，作为数据标签，同时按预设比例将处理好的数据集进行划分，从中得到训练集；其中，n为预设数值；
第四模块，用于将EfficientNet网络的全连接层输出由语义分割变为2×n的n个光条纹中心点坐标，并加入non-local模块，得到改进的EffecientNet模型；所述加入non-local模块的实现方式为，将non-local模块插入到EfficientNet网络的最后三层高阶语义层中；
第五模块，用于将全连接层输出的n个光条纹中心点用最小二乘法拟合获取光条纹中心线，作为最终输出结果；
第六模块，用于将训练集样本作为输入对改进的EffecientNet模型进行训练，得到网络权重，形成检测用的激光线提取模型；
第七模块，用于对第六模块所得激光线提取模型进行轻量化处理，包括在算法轻量化层面，采用结构优化、模型剪枝与模型蒸馏压缩模型尺寸，在框架轻量化层面上，利用TensorRT实现模型代码的编译优化、缓存优化、稀疏储存和计算，加快模型的运算速度；
第八模块，用于将新的激光线图像测试样本输入第七模块所得激光线提取模型，输出图像中激光线的光条纹中心线；
第九模块，用于对输出结果进行分析，将光条纹中心线的形态作为可用的表面纹理特征。
7.根据权利要求5所述基于深度学习的激光线提取系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-4任一项所述的一种基于深度学习的激光线提取方法。
8.根据权利要求5所述基于深度学习的激光线提取系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-4任一项所述的一种基于深度学习的激光线提取方法。
CN202110804080.6A 2021-07-16 2021-07-16 一种基于深度学习的激光线提取方法及系统 Active CN113628170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110804080.6A CN113628170B (zh) 2021-07-16 2021-07-16 一种基于深度学习的激光线提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110804080.6A CN113628170B (zh) 2021-07-16 2021-07-16 一种基于深度学习的激光线提取方法及系统

Publications (2)

Publication Number Publication Date
CN113628170A CN113628170A (zh) 2021-11-09
CN113628170B true CN113628170B (zh) 2023-08-25

Family

ID=78379866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110804080.6A Active CN113628170B (zh) 2021-07-16 2021-07-16 一种基于深度学习的激光线提取方法及系统

Country Status (1)

Country Link
CN (1) CN113628170B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114778560B (zh) 2022-06-20 2022-09-27 国网江苏省电力有限公司常州供电分公司 基于线缆巡检机器人的架空线检测方法和系统
CN115471966A (zh) * 2022-08-02 2022-12-13 上海微波技术研究所（中国电子科技集团公司第五十研究所） 基于振动光纤探测的自学习入侵报警方法、系统、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389639A (zh) * 2018-07-16 2019-02-26 中国铁道科学研究院集团有限公司基础设施检测研究所 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置
CN111413691A (zh) * 2020-03-10 2020-07-14 杭州电子科技大学 一种采用分布式结构的语义定位和建图的方法
CN112926382A (zh) * 2021-01-08 2021-06-08 浙江大学 一种改善目标聚类特性的深度学习激光水下目标识别仪

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
US11875479B2 (en) * 2020-01-02 2024-01-16 Nabin K Mishra Fusion of deep learning and handcrafted techniques in dermoscopy image analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389639A (zh) * 2018-07-16 2019-02-26 中国铁道科学研究院集团有限公司基础设施检测研究所 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置
CN111413691A (zh) * 2020-03-10 2020-07-14 杭州电子科技大学 一种采用分布式结构的语义定位和建图的方法
CN112926382A (zh) * 2021-01-08 2021-06-08 浙江大学 一种改善目标聚类特性的深度学习激光水下目标识别仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CNN的点云图像融合目标检测;张介嵩 等;《光电工程》;第48卷(第5期);第1-11页 *

Also Published As

Publication number Publication date
CN113628170A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US10706622B2 (en) Point cloud meshing method, apparatus, device and computer storage media
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN105205453B (zh) 基于深度自编码器的人眼检测和定位方法
CN113628170B (zh) 一种基于深度学习的激光线提取方法及系统
CN104573731A (zh) 基于卷积神经网络的快速目标检测方法
CN106062824B (zh) 边缘检测装置和边缘检测方法
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN101639947A (zh) 基于图像的植物三维形态测量与重建方法及系统
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN108765476A (zh) 一种偏振图像配准方法
JP2021168143A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN111043988B (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN116309757A (zh) 基于机器视觉的双目立体匹配方法
CN115984662B (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
Yin et al. Virtual reconstruction method of regional 3D image based on visual transmission effect
Li et al. GPU-based parallel optimization for real-time scale-invariant feature transform in binocular visual registration
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
CN114943761A (zh) 一种fpga中线结构光条纹中心提取方法及装置
Ma et al. Solder joints detection method based on surface recovery
CN117496499B (zh) 3d结构光成像中虚假深度边缘的识别和补偿方法、系统
CN117197215B (zh) 基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法
CN117333476A (zh) 一种基于微服务的硅钢片视觉质量检测方法及实验系统
Trinder et al. Edge detection with subpixel accuracy for a flexible manufacturing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant