CN116524209A - 一种线结构光线条提取方法、装置、存储介质及电子设备 - Google Patents

一种线结构光线条提取方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116524209A
CN116524209A CN202310325084.5A CN202310325084A CN116524209A CN 116524209 A CN116524209 A CN 116524209A CN 202310325084 A CN202310325084 A CN 202310325084A CN 116524209 A CN116524209 A CN 116524209A
Authority
CN
China
Prior art keywords
line
determining
preset
extraction
structure light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310325084.5A
Other languages
English (en)
Inventor
赵楠
高平
马瑞峰
刘泽
李鸿喜
崔涛
徐海波
汲生鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHN Energy Railway Equipment Co Ltd
Original Assignee
CHN Energy Railway Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHN Energy Railway Equipment Co Ltd filed Critical CHN Energy Railway Equipment Co Ltd
Priority to CN202310325084.5A priority Critical patent/CN116524209A/zh
Publication of CN116524209A publication Critical patent/CN116524209A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种线结构光线条提取方法、装置、存储介质及电子设备。所述方法包括：通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定图片中线结构光线条的起始点和终止点；根据起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从提取区域中提取线条片段，确定线条片段的中点并将中点作为新的起始点，重复该步骤直至线条片段满足预设路径规划算法的终止条件以得到多个线条片段；根据多个线条片段生成线结构光线条。可解决线结构光线条图片中出现的镜面反射、漫反射及线结构光线条曲线过弱的问题且能有效从中提取线结构光线条曲线，并具有效率高、鲁棒性强以及适用范围广的优势。

Description

一种线结构光线条提取方法、装置、存储介质及电子设备
技术领域
本申请涉及线结构光提取技术领域，特别地涉及一种线结构光线条提取方法、线结构光线条提取装置、存储介质、计算机程序产品以及电子设备。
背景技术
此处提供的背景技术描述的目的是总体地给出本申请的背景，本部分的陈述仅仅是提供了与本申请相关的背景，并不必然构成现有技术。
随着国内外贸易流通的不断增大，铁路设备作为中国制造业运输的重要力量，其稳定性与安全性一直是决定市场竞争的关键因素。现阶段由于列车运行的速度越来越快，同时车轮型面长时间与轨面接触，当火车运行一定里程后有可能会导致轮对表面会出现擦伤、磨耗、剥离等隐患。
现阶段，国家规定在列车运行一定时间后需要进行全面的检修，目前的检修手段主要是依赖于人工复核，并对于有问题的车轮进行镟轮，复核的过程中很大程度依赖于复核人员的既有经验，复核数据测量误差较大，且对于有质量问题的轮对很难追溯。
而基于线结构光的三维重建方法是解决上述问题的最有效方法之一。然而，由于铁路线路环境过于复杂，导致结构光线条会出现局部过弱的问题，同时轮对型面过于光亮，线结构光照射过程中会出现散射和镜面反射等问题，造成轮对曲线很难提取；而现有的经典提线算法(比如：灰度重心法、模板匹配算法、Steger算法)都很难对于上述复杂的线结构光线条进行有效提取。
因此，亟需一种新的提线方法以能够对复杂高炫光条件下的线结构光线条进行有效提取。
发明内容
针对上述问题，本申请提出一种线结构光线条提取方法、线结构光线条提取装置、存储介质、计算机程序产品以及电子设备。能够针对复杂高炫光条件下的线结构光线条进行有效提取，并基于深度学习与路径规划的抗干扰提线算法来实现车轮轮对的精准测量。
本申请的第一个方面，提供了一种线结构光线条提取方法，所述方法包括：
通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；
根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；
根据所述多个线条片段生成线结构光线条。
进一步的，在所述图片中包含有存在缺陷的线结构光线条，其中所述缺陷包括以下内容中的一项或多项：
所述线结构光线条受到高炫光影响，在所述线结构光线条上存在光斑噪声，所述线结构光线条受到其它线条的干扰以及所述线结构光线条的光线弱。
进一步的，将所述起始点作为所述预设路径规划算法的初始参数；
将所述终止点作为所述预设路径规划算法的终止条件。
进一步的，所述通过预设路径规划算法从所述提取区域中提取线条片段，包括：
分别通过预设能量表达式从所述提取区域的每一行中确定像素强度最大值；
分别根据所述像素强度最大值确定每一行中与所述像素强度最大值对应的目标像素点；
根据所有的目标像素点生成所述线条片段。
进一步的，所述确定所述线条片段的中点，包括：
确定所述线条片段的所有像素点和像素点个数；
确定所述像素点个数的中值并将所述中值对应的像素点作为所述中点。
进一步的，所述根据所述起始点和预设矩形参数值确定提取区域，包括：
根据前次线条片段的所有像素点确定拟合参数；
根据所述拟合参数和所述新的起始点以及所述预设矩形参数值重新确定所述提取区域。
进一步的，所述预设路径规划算法的终止条件，包括：
确定所述线条片段的最后一个像素点；
所述最后一个像素点的横坐标与所述终止点的横坐标之差小于预设阈值。
本申请的第二个方面，提供了一种线结构光线条提取装置，所述线结构光线条提取装置包括：
确定模块，用于通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；
片段提取模块，用于根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；
线条生成模块，用于根据所述多个线条片段生成线结构光线条。
本申请的第三个方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，可被一个或多个处理器执行，用以实现如上所述方法的步骤。
本申请的第四个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述方法的步骤。
本申请的第五个方面，提供了一种电子设备，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，该计算机程序被所述一个或多个处理器执行时，实现如上所述方法的步骤。
与现有技术相比，本申请的技术方案具有以下优点或有益效果：
本申请所公开的方法通过Yolov4模型获得起始点，并根据起始点构造提取区域；然后在提取区域内通过能量函数进行提取中线，提取结果的中心作为下次的起始点，提取结果拟合的方向为提取区域移动的方向，此过程不断迭代，直至满足终止条件。可有效的提取到线结构光曲线(目标曲线)，且可解决现场出现镜面反射、漫反射以及目标曲线过弱的问题，本方法可以很好的应用到基于单线结构光提取的项目中，并具有效率高、鲁棒性强以及适用范围广的优势。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于所属领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关本公开相关的部分。构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请中的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定，在附图中：
图1为本申请实施例提供的一种线结构光线条提取方法的流程图；
图2为本申请实施例提供的一种针对轮对的线结构光线条图片的示意图；
图3为本申请实施例提供的一种Yolov4模型检测结果的示意图；
图4为本申请实施例提供的一种路径规划算法重新确定提取区域的示意图；
图5为本申请实施例提供的一种路径规划算法迭代过程的示意图；
图6为本申请实施例提供的一种提线最终结果的示意图；
图7为本申请实施例提供的另一种线结构光线条提取方法的流程图；
图8为本申请实施例提供的一种线结构光线条提取装置的结构示意图；
图9为本申请实施例提供的一种电子设备的连接框图。
具体实施方式
以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突的前提下可以相互结合，所形成的技术方案均在本申请的保护范围之内。
实施例一
本实施例提供一种线结构光线条提取方法，可以应用于/应用在基于单线结构光提取的项目中。作为一个示例，在本实施例中以通过从列车轮对的现场真实图片中提取线结构光线条为例。
图1为本申请实施例提供的一种线结构光线条提取方法的流程图，如图1所示，本实施例所公开的线结构光线条提取方法包括以下步骤：
步骤110、通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点。
在一些实施例中，在所述图片中包含有存在缺陷的线结构光线条，其中所述缺陷包括以下内容中的一项或多项：
所述线结构光线条受到高炫光影响，在所述线结构光线条上存在光斑噪声，所述线结构光线条受到其它线条的干扰以及所述线结构光线条的光线弱。
本实施例所公开的方法所处理的数据可为轮对现场真实的图片，在图片中包含有受到现场一些复杂光照条件影响的线结构光线条。作为一个示例，现场图片可参考图2，图2为本申请实施例提供的一种针对轮对的线结构光线条图片的示意图。从图2中可知，在复杂的现场环境下主要包括以下这几部分问题：目标曲线(图2中中间的线条为轮对的线结构光的曲线)会出现局部过弱的问题，光斑噪声随机，另一条线条的干扰，光斑噪声有可能会打到特征曲线上。
在一些实施例中，所述预设目标检测模型包括Yolov4模型(或称之为Yolov4目标检测模型)，在所述通过预设目标检测模型对图片中的感兴趣区域进行检测之前，还包括：
通过预设数量的图片对所述预设目标检测模型进行训练得到训练好的预设目标检测模型，以通过所述训练好的预设目标检测模型对图片中的感兴趣区域进行检测。
其中，预设数量可根据实际需求进行选择。
作为一个示例，通过Yolov4目标检测模型对感兴趣区域进行检测。
Yolo系列的目标检测模型凭借容易训练，检测精度高等优势逐渐获得学术界以及工业界的广泛关注，考虑到现场程序稳定性，服务器的配置等诸多原因，最终尝试在VisualStudio VS2015上实现Yolov4目标检测模型。
Yolov4目标检测模型主要包括这几个部分：输入端，Backbone层，Neck层和Head输出端。具体的：
输入端：主要为输入的待目标检测的特征图像；
Backbone层：Yolov4模型主要采用CSPDarknet53作为主干网络用于特征提取，CSPDarknet53层主要包括CBM和CBL两个基本单元，CBM结构为卷积，BN层和Mish激活函数，CBL结构为卷积，BN层和Leaky Relu激活函数，其中，Mish激活函数可用下式表示为：
Mish＝x*tanh(ln(1+ex)) (1)
Leaky Relu激活函数可用下式表示：
其中，CSP主要是CBM和CBL以及残差块ResNet构成的复合结构，CSPDarknet53主要由CBM和CSP构成；
Neck层：主要包括SPPNet空间金字塔池化结构和PANet路径聚合网络，其中，SPPNet主要作为整个网络的池化层，通过四种不同的卷积核尺寸进行池化，极大的增加了感受野，PANet主要用来进行特征拟合，使来自不同层的网络之间的特征进行充分融合；
Head输出端：主要为目标检测的输出结果。
在本步骤中主要通过Yolov4模型对现场大量的图片进行训练，目的是检测出目标曲线的起始点和终止点，起始点作为下一阶段路径规划算法的初始参数，终止点为下一阶段路径规划算法的终止条件。具体的检测结果如图3所示，图3为本申请实施例提供的一种Yolov4模型检测结果的示意图。
步骤120、根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段。
可选的，预设路径规划算法可包括以下4个模块：构造提取区域模块，基于能量函数的中线提取算法模块，线性拟合模块和重新计算起始点模块。
在一些实施例中，将所述起始点作为所述预设路径规划算法的初始参数；
将所述终止点作为所述预设路径规划算法的终止条件。
可选的，预设矩形参数值包括矩形的预设长度值和预设宽度值。
作为一个示例，在构造提取区域时根据Yolov4模型获得的起始点和预设矩形参数值构造提取区域，主要目的是根据提取区域把目标曲线分割为若干个提取单元分别进行提取，这样不仅在一定程度上可以规避噪声还可以加快该方法的提线速度。
在一些实施例中，所述通过预设路径规划算法从所述提取区域中提取线条片段，包括：
分别通过预设能量表达式从所述提取区域的每一行中确定像素强度最大值；
分别根据所述像素强度最大值确定每一行中与所述像素强度最大值对应的目标像素点；
根据所有的目标像素点生成所述线条片段。
作为一个示例，可基于能量函数的中线提取算法来提取线条片段，具体的：为运算方便，构造的提取区域为矩形，假设矩形的左上角坐标为(x1,y1)，矩形的右上角坐标为(x2,y2)，矩形的左下角坐标为(x3,y3)，矩形的右下角坐标为(x4,y4)，E(i,j)为像素强度，其中x1≤i≤x3，y1≤j≤y3，result为提取结果，其中一种可选的预设能量表达式可表示为：
作为一个示例，在进行中线提取时，选取的是每一行中像素强度最大值对应的点，同时把所有行的点进行汇总生成线条片段。
在一些实施例中，所述根据所述起始点和预设矩形参数值确定提取区域，包括：
根据前次线条片段的所有像素点确定拟合参数；
根据所述拟合参数和所述新的起始点以及所述预设矩形参数值重新确定所述提取区域。
可选的，拟合参数包括拟合斜率和截距。
需要说明的是，前次线条片段可为上一次提取到的线条片段，如果不存在前次线条片段或者是第一次提取线条片段，则可跳过确定拟合参数步骤。
可选的，线性拟合的主要作用是为下一次的提取区域提供移动方向，假设在上一次提取线条片段时共提取到m个像素点，则可通过以下表达式来确定拟合参数：
其中，xsum为所有点的横坐标的加和；
其中，ysum为所有点的纵坐标的加和；
其中，xxsum为所有点横坐标的乘积的加和；
其中，xysum为所有点的纵坐标的乘积的加和；
k＝(xysum-nxy)/(xxsum-nx2) (12)
其中，k为拟合的斜率，b为截距。
在一些实施例中，所述确定所述线条片段的中点，包括：
确定所述线条片段的所有像素点和像素点个数；
确定所述像素点个数的中值并将所述中值对应的像素点作为所述中点。
举例说明，在矩形的提取区域内可以获得一系列像素点，假如在该提取区域内提取到11个点，则第6个点为新的起始点；如果在该提取区域内提取到10个点，则第5个点为新的起始点。可以理解的是，起始点的选定也可根据实际情况来确定。
在一些实施例中，所述预设路径规划算法的终止条件，包括：
确定所述线条片段的最后一个像素点；
所述最后一个像素点的横坐标与所述终止点的横坐标之差小于预设阈值。
所属领域技术人员可以理解的是，预设阈值可根据实际情况进行设定，具体此处不做特殊限定。
可选的，再重新计算起始点时，根据在区域内提的点的中点作为新的起始点，作用是根据新的起始点重新构造提线区域。如果最后一次矩形区域内提的最后一个点与Yolov4模型提供的终止点之间的距离小于预设阈值则结束迭代，否则继续计算。
可选的，重新确定提取区域的过程可参考图4，图4为本申请实施例提供的一种路径规划算法重新确定提取区域的示意图。
进一步的参考图4，在图4中：P1为Yolov4模型计算的起始点，其次通过P1构造提取区域R1，然后在R1内通过能量函数进行提取中线，提取的结果为在R1内的红色曲线部分，提取结果的中心作为下次的起始点即为P2，提取结果拟合的方向为提取区域移动的方向即为R2。此过程不断迭代直至满足终止条件，迭代过程可参考图5，图5为本申请实施例提供的一种路径规划算法迭代过程的示意图。
步骤130、根据所述多个线条片段生成线结构光线条。
可选的，将生成的多个线条片段依次进行汇总或连线，进而生成最终的线结构光线条。
进一步的参考图6，图6为本申请实施例提供的一种提线最终结果的示意图。从图6可以发现，本方法可以有效的提取到目标曲线，且可以解决现场出现镜面反射，漫反射以及目标曲线过弱的问题。通过大量的实验结果证明，该算法具有高效性以及鲁棒性，可以很好的应用到基于单线结构光提取的项目中。
为了便于理解本实施例所公开的方法还可参考图7，图7为本申请实施例提供的另一种线结构光线条提取方法的流程图。
本实施例提供的方法可以有效的提取到目标曲线，且可以解决现场出现镜面反射，漫反射以及目标曲线过弱的问题，通过大量的实验结果证明，该算法具有高效性以及鲁棒性，可以很好的应用到基于单线结构光提取的项目中去。具体的：通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；根据所述多个线条片段生成线结构光线条。可有效的提取到线结构光曲线(目标曲线)，且解决图片中出现的镜面反射、漫反射以及目标曲线过弱的问题，本方法可以很好的应用到基于单线结构光提取的项目中，并具有效率高、鲁棒性强以及适用范围广的优势。
实施例二
在前述实施例的基础上，本实施例提供一种线结构光线条提取装置。本装置实施例可以用于执行本申请方法实施例，对于本装置实施例中未披露的细节，请参照本申请方法实施例。图8为本申请实施例提供的一种装置的结构示意图，如图8所示，本实施例所公开的装置800包括：
确定模块801，用于通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；
片段提取模块802，用于根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；
线条生成模块803，用于根据所述多个线条片段生成线结构光线条。
在一些实施例中，在所述图片中包含有存在缺陷的线结构光线条，其中所述缺陷包括以下内容中的一项或多项：
所述线结构光线条受到高炫光影响，在所述线结构光线条上存在光斑噪声，所述线结构光线条受到其它线条的干扰以及所述线结构光线条的光线弱。
在一些实施例中，所述预设目标检测模型包括Yolov4模型，装置800还包括训练模块，用于在所述通过预设目标检测模型对图片中的感兴趣区域进行检测之前，通过预设数量的图片对所述预设目标检测模型进行训练得到训练好的预设目标检测模型，以通过所述训练好的预设目标检测模型对图片中的感兴趣区域进行检测。
在一些实施例中，将所述起始点作为所述预设路径规划算法的初始参数；
将所述终止点作为所述预设路径规划算法的终止条件。
在一些实施例中，所述片段提取模块802包括：第一确定单元，第二确定单元，生成单元；其中，
第一确定单元，用于分别通过预设能量表达式从所述提取区域的每一行中确定像素强度最大值；
第二确定单元，用于分别根据所述像素强度最大值确定每一行中与所述像素强度最大值对应的目标像素点；
生成单元，用于根据所有的目标像素点生成所述线条片段。
在一些实施例中，所述片段提取模块802还包括：第三确定单元，第四确定单元；其中，
第三确定单元，用于确定所述线条片段的所有像素点和像素点个数；
第四确定单元，用于确定所述像素点个数的中值并将所述中值对应的像素点作为所述中点。
在一些实施例中，所述片段提取模块802还包括：第五确定单元，第六确定单元；其中，
第五确定单元，用于根据前次线条片段的所有像素点确定拟合参数；
第六确定单元，用于根据所述拟合参数和所述新的起始点以及所述预设矩形参数值重新确定所述提取区域。
在一些实施例中，所述预设路径规划算法的终止条件，包括：
确定所述线条片段的最后一个像素点；
所述最后一个像素点的横坐标与所述终止点的横坐标之差小于预设阈值。
所属领域技术人员可以理解的是，图8中示出的结构并不构成对本申请实施例装置的限定，可以包括比图示更多或更少的模块/单元，或者组合某些模块/单元，或者不同的模块/单元布置。
所属领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。
本实施例提供的装置包括：确定模块801，用于通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；片段提取模块802，用于根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；线条生成模块803，用于根据所述多个线条片段生成线结构光线条。可有效的提取到线结构光曲线(目标曲线)，且可解决现场出现镜面反射、漫反射以及目标曲线过弱的问题，本方法可以很好的应用到基于单线结构光提取的项目中，并具有效率高、鲁棒性强以及适用范围广的优势。
实施例三
在前述实施例的基础上，本实施例提供一种计算机可读存储介质。该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时可以实现如前述方法实施例中的方法步骤，本实施例在此不再重复赘述。
其中，计算机可读存储介质还可单独包括计算机程序、数据文件、数据结构等，或者包括其组合。计算机可读存储介质或计算机程序可被计算机软件领域的技术人员具体设计和理解，或计算机可读存储介质对计算机软件领域的技术人员而言可以是公知和可用的。计算机可读存储介质的示例包括：磁性介质，例如硬盘、软盘和磁带；光学介质，例如，CDROM盘和DVD；磁光介质，例如，光盘；和硬件装置，具体被配置以存储和执行计算机程序，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存；或服务器、app应用商城等。计算机程序的示例包括机器代码(例如，由编译器产生的代码)和包含高级代码的文件，可由计算机通过使用解释器来执行高级代码。所描述的硬件装置可被配置为用作一个或多个软件模块，以执行以上描述的操作和方法，反之亦然。另外，计算机可读存储介质可分布在联网的计算机系统中，可以分散的方式存储和执行程序代码或计算机程序。
实施例四
在前述实施例的基础上，本实施例提供一种计算机程序产品。该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如前述方法实施例中的方法步骤，本实施例在此不再重复赘述。
实施例五
在前述实施例的基础上，本实施例提供一种电子设备。图9为本申请实施例提供的一种电子设备的连接框图，如图9所示，该电子设备900可以包括：一个或多个处理器901，存储器902，多媒体组件903，输入/输出(I/O)接口904，以及通信组件905。
其中，一个或多个处理器901用于执行如前述方法实施例中的全部或部分步骤。存储器902用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
一个或多个处理器901可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如前述方法实施例中的方法。
存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
多媒体组件903可以包括屏幕和音频组件，该屏幕可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。
I/O接口904为一个或多个处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘、鼠标、按钮等。这些按钮可以是虚拟按钮或者实体按钮。
通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。有线通信包括通过网口、串口等进行通信；无线通信包括：Wi-Fi、蓝牙、近场通信(Near FieldCommunication，简称NFC)、2G、3G、4G、5G，或它们中的一种或几种的组合。因此相应的该通信组件905可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
综上，本申请提供了一种线结构光线条提取方法、线结构光线条提取装置、存储介质、计算机程序产品以及电子设备。本申请所公开的方法可以有效的提取到目标曲线，且可以解决现场出现镜面反射，漫反射以及目标曲线过弱的问题，通过大量的实验结果证明，该算法具有高效性以及鲁棒性，可以很好的应用到基于单线结构光提取的项目中去。具体的：通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；根据所述多个线条片段生成线结构光线条。可有效的提取到线结构光曲线(目标曲线)，且可解决图片中出现的镜面反射、漫反射以及目标曲线过弱的问题，本方法可以很好的应用到基于单线结构光提取的项目中，并具有效率高、鲁棒性强以及适用范围广的优势。
另外应该理解到，在本申请所提供的实施例中所揭露的方法或系统，也可以通过其它的方式实现。以上所描述的方法或系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法和装置的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、计算机程序段或计算机程序的一部分，模块、计算机程序段或计算机程序的一部分包含一个或多个用于实现规定的逻辑功能的计算机程序。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，实际上也可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序的组合来实现。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、装置或者设备中还存在另外的相同要素；如果有描述到“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系；在本申请的描述中，除非另有说明，术语“多个”、“多”的含义是指至少两个；如果有描述到服务器，需要说明的是，服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是能够提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器；在本申请中如果有描述到智能终端或移动设备，需要说明的是，智能终端或移动设备可以是手机、平板电脑、智能手表、上网本、可穿戴电子设备、个人数字助理(Personal Digital Assistant，简称PDA)、增强现实技术设备(Augmented Reality，简称AR)、虚拟现实设备(Virtual Reality，简称VR)、智能电视、智能音响、个人计算机(Personal Computer，简称PC)等，但并不局限于此，本申请对智能终端或移动设备的具体形式不做特殊限定。
最后需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“一个示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式进行结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例都是示例性的，所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种线结构光线条提取方法，其特征在于，所述方法包括：
通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；
根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；
根据所述多个线条片段生成线结构光线条。
2.根据权利要求1所述的线结构光线条提取方法，其特征在于，在所述图片中包含有存在缺陷的线结构光线条，其中所述缺陷包括以下内容中的一项或多项：
所述线结构光线条受到高炫光影响，在所述线结构光线条上存在光斑噪声，所述线结构光线条受到其它线条的干扰以及所述线结构光线条的光线弱。
3.根据权利要求1所述的线结构光线条提取方法，其特征在于，
将所述起始点作为所述预设路径规划算法的初始参数；
将所述终止点作为所述预设路径规划算法的终止条件。
4.根据权利要求1所述的线结构光线条提取方法，其特征在于，所述通过预设路径规划算法从所述提取区域中提取线条片段，包括：
分别通过预设能量表达式从所述提取区域的每一行中确定像素强度最大值；
分别根据所述像素强度最大值确定每一行中与所述像素强度最大值对应的目标像素点；
根据所有的目标像素点生成所述线条片段。
5.根据权利要求1所述的线结构光线条提取方法，其特征在于，所述确定所述线条片段的中点，包括：
确定所述线条片段的所有像素点和像素点个数；
确定所述像素点个数的中值并将所述中值对应的像素点作为所述中点。
6.根据权利要求1所述的线结构光线条提取方法，其特征在于，所述根据所述起始点和预设矩形参数值确定提取区域，包括：
根据前次线条片段的所有像素点确定拟合参数；
根据所述拟合参数和所述新的起始点以及所述预设矩形参数值重新确定所述提取区域。
7.根据权利要求1所述的线结构光线条提取方法，其特征在于，所述预设路径规划算法的终止条件，包括：
确定所述线条片段的最后一个像素点；
所述最后一个像素点的横坐标与所述终止点的横坐标之差小于预设阈值。
8.一种线结构光线条提取装置，其特征在于，包括：
确定模块，用于通过预设目标检测模型对图片中的感兴趣区域进行检测，以确定所述图片中线结构光线条的起始点和终止点；
片段提取模块，用于根据所述起始点和预设矩形参数值确定提取区域，通过预设路径规划算法从所述提取区域中提取线条片段，确定所述线条片段的中点并将所述中点作为新的起始点，重复该步骤直至所述线条片段满足所述预设路径规划算法的终止条件以得到多个线条片段；
线条生成模块，用于根据所述多个线条片段生成线结构光线条。
9.一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储的计算机程序，当被一个或多个处理器执行时，实现如权利要求1至7中任一项所述方法的步骤。
11.一种电子设备，其特征在于，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，当所述计算机程序被所述一个或多个处理器执行时，执行如权利要求1至7中任一项所述方法的步骤。
CN202310325084.5A 2023-03-29 2023-03-29 一种线结构光线条提取方法、装置、存储介质及电子设备 Pending CN116524209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310325084.5A CN116524209A (zh) 2023-03-29 2023-03-29 一种线结构光线条提取方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310325084.5A CN116524209A (zh) 2023-03-29 2023-03-29 一种线结构光线条提取方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN116524209A true CN116524209A (zh) 2023-08-01

Family

ID=87389417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310325084.5A Pending CN116524209A (zh) 2023-03-29 2023-03-29 一种线结构光线条提取方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN116524209A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036441A (zh) * 2023-10-10 2023-11-10 天津哈威克科技有限公司 一种基于结构光的货车轮对三维重建系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036441A (zh) * 2023-10-10 2023-11-10 天津哈威克科技有限公司 一种基于结构光的货车轮对三维重建系统及方法

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
JP7138753B2 (ja) 画像欠陥検出方法、装置、電子機器、記憶媒体および製品
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN113408141B (zh) 一种自动驾驶测试方法、装置及电子设备
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
CN110120041A (zh) 路面裂缝图像检测方法
CN116524209A (zh) 一种线结构光线条提取方法、装置、存储介质及电子设备
CN113658200B (zh) 基于自适应特征融合的边缘感知图像语义分割方法
CN113255690B (zh) 一种基于轻量级卷积神经网络的复合绝缘子憎水性检测方法
CN114492831A (zh) 联邦学习模型的生成方法及其装置
CN106779054A (zh) 一种基于雾天图像的pm2.5估计方法
CN115830010B (zh) 输电导线交叉跨越距离检测方法、装置和计算机设备
CN115019510A (zh) 一种基于动态自适应生成对抗网络的交通数据修复方法
CN111813877B (zh) 一种航迹提取方法及装置
CN109389553A (zh) 基于t样条的气象传真图等值线插值方法
CN107688431B (zh) 基于雷达定位的人机交互方法
CN107464272A (zh) 基于关键点的中心扩散式气象传真图等值线的插值方法
CN112102382A (zh) 一种基于多尺度变换与ADCensus-JWGF的机电设备视觉信息立体匹配算法
CN116630989A (zh) 智能电表可视故障检测方法、系统、电子设备及存储介质
CN113836617B (zh) 基于时间序列模型的掘进面前方裂隙类比预测方法及系统
CN114359510A (zh) 一种基于锚点检测的点云补全方法
CN115184998A (zh) 一种基于改进U-net神经网络的瑞利波频散曲线自动提取方法
CN117011692A (zh) 一种道路识别的方法以及相关装置
CN108875163B (zh) 一种评价三维裂缝网络连通性的方法和系统
CN102800112B (zh) 一种基于概率密度估计的随机摆动区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination