CN117036441A - 一种基于结构光的货车轮对三维重建系统及方法 - Google Patents

一种基于结构光的货车轮对三维重建系统及方法 Download PDF

Info

Publication number
CN117036441A
CN117036441A CN202311301971.5A CN202311301971A CN117036441A CN 117036441 A CN117036441 A CN 117036441A CN 202311301971 A CN202311301971 A CN 202311301971A CN 117036441 A CN117036441 A CN 117036441A
Authority
CN
China
Prior art keywords
formula
camera
application
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311301971.5A
Other languages
English (en)
Inventor
马宏伟
崔涛
殷鸿鑫
苏玉东
李鸿喜
刘泽
汪旭冉
徐海波
赵斌
李金宝
于江
尚明智
汲生鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Harwick Technology Co ltd
Original Assignee
Tianjin Harwick Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Harwick Technology Co ltd filed Critical Tianjin Harwick Technology Co ltd
Priority to CN202311301971.5A priority Critical patent/CN117036441A/zh
Publication of CN117036441A publication Critical patent/CN117036441A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于计算机视觉识别技术领域，公开了一种基于结构光的货车轮对三维重建系统及方法。该方法对现场轮输入图片感兴趣的区域进行检测，并且计算出轮缘中特征曲线的初始点和终止点；基于获取的特征曲线的初始点和终止点，进行构造提取区域，构造能量函数的中线提取，线性拟合和重新计算初始点；采用多项式拟合算法将特征曲线离散的不连续的点进行平滑处理；利用ICP算法计算相机旋转和平移到新的位置的旋转矩阵和平移矩阵，并求解，基于求解后的旋转矩阵和平移矩阵对平滑处理后的特征曲线进行拼接，形成完整的轮缘曲线。本发明解决了货车轮对在复杂环境下如何借助结构光三维重建技术计算出真实的物理尺寸的问题。

Description

一种基于结构光的货车轮对三维重建系统及方法
技术领域
本发明属于计算机视觉识别技术领域，尤其涉及一种基于结构光的货车轮对三维重建系统及方法。
背景技术
随着计算机视觉技术的理论基础不断完善，计算机硬件的算力不断提升，许多基于计算机视觉技术的自动化设备在各个行业中得到广泛使用，传统的运行结构得到优化和改善。现如今，由于货车长时间高速在铁轨上运行，导致货车轮对会出现剥离、擦伤和磨耗等问题，所以货车运行一段时间需要进行列检，对于出现问题的货车车轮进行及时更换，然而针对上述问题，目前仅仅通过车轮检查器进行物理测量，测量结果很大程度上依赖测量人本身的经验，测量结果很难保存和追溯，所以针对上述困难，应用智能的在线检测设备实时的对货车轮对进行测量是未来的重要发展方向和研究热点。
通过上述分析，现有技术存在的问题及缺陷为：针对货车轮对长时间在铁轨上高速运行产生剥离、擦伤和磨耗等问题，现有技术提供的车轮检测设备，不能有效准确的实时检测货车状态。
发明内容
为克服相关技术中存在的问题，本发明提供了一种基于结构光的货车轮对三维重建系统及方法。
所述技术方案如下：基于结构光的货车轮对三维重建方法，包括以下步骤：
S1，对现场轮输入图片感兴趣的区域进行检测，计算出轮缘中特征曲线的初始点和终止点；基于获取的特征曲线的初始点和终止点，进行构造提取区域，构造能量函数的中线提取，线性拟合和重新计算初始点；
S2，对获取的重新计算初始点的特征曲线，采用多项式拟合算法将特征曲线离散的不连续的点进行平滑处理；
S3，利用ICP算法计算相机旋转，平移到新的位置的旋转矩阵R和平移矩阵T，并求解，基于求解后的旋转矩阵R和平移矩阵T对平滑处理后的特征曲线进行拼接，形成完整的轮缘曲线。
在步骤S1中，对现场轮输入图片感兴趣的区域进行检测，包括：输入图片、CSPDarknet53、SPP空间金字塔、PANet路径聚合网络和YOLOHead输出的目标检测结果；
CSPDarknet53用于特征提取，包含CBM模块和CSP模块；其中，CBM模块由卷积层cov，BN层和Mish激活函数构成；
Mish激活函数表示为：
公式（1）
式中，为输入参数，/>为以e为底的指数函数，/>为常数，e=2.71828；
CSP模块由CBM模块、CBL模块和残差块ResNet复合而成，CBL模块由卷积层cov，BN层和LeakyRelu激活函数构成；
LeakyRelu激活函数的表达式为：
公式（2）
式中，为校正系数，/>为输入参数；
PANet路径聚合网络用于进行特征拟合，使来自不同层之间的特征进行融合。
在步骤S1中，计算出轮缘中特征曲线的初始点和终止点，包括：获得两个矩形四个点的像素坐标，在class1矩形区域内，从上向下按行遍历，如果像素值大于阈值则记录为终点，在class2矩形区域内，从下向上按行遍历，如果像素值大于阈值/>则记录为起点。
在步骤S1中，构造提取区域，包括：根据初始点和终止点作为初始条件，通过矩形不断分割，构造矩形的提取区域；
构造能量函数的中线提取包括：根据矩形的提取区域，矩形的左上角坐标为，矩形的右上角坐标为/>，矩形的左下角坐标为/>，矩形的右下角坐标为/>，能量函数表示为：
公式（3）
式中，为提取结果，/>为像素强度，/>，/>；
线性回归包括：提取区域提取的有效点的个数为个，则进行如下计算：
公式（4）
式中，为提取的点所有横坐标的加和，/>为所有横坐标通过提取得到的像素坐标点；
公式（5）
式中，为提取的点所有纵坐标的加和，/>为所有纵坐标通过提取得到的像素坐标点；
公式（6）
式中，为所有的点加和后的乘积；
公式（7）
式中，为所有提取的点横坐标加和与所有提取的纵坐标的加和的乘积；
公式（8）
式中，为/>的均值；
公式（9）
式中，为/>的均值；
公式（10）
公式（11）
公式（12）
公式（13）
式中，为提取区域内提取的有效点的个数，/>为拟合的斜率，/>为截距，/>为提取点的坐标，/>为提取区域内所有提取点的加和，/>为/>的均值。
进一步，线性回归后进行重新计算初始点，根据提取的中点作为新的初始点，进入迭代过程，重新计算提取区域，直到最后一次提取的点与计算的终点的距离小于阈值时停止迭代，在算法仿真中，阈值/>取0.5。
在步骤S2中，多项式拟合算法为基于幂函数逼近任何函数的基本原理，幂函数的表达形式为：
公式（14）
式中，为幂函数，/>为多项式的阶数，采用的阶数/>为5，/>为拟合的比例系数，/>为提取点的多阶导数，/>为阶数；
通过幂函数展开得到如下公式：
公式（15）
式中，均为拟合的比例系数。
在步骤S2中，进行平滑处理中，矩阵形式为：
公式（19）
对公式（19）进行简化为：
则：
式中，为定义结果的数值，/>为矩阵转置，/>为横坐标所有提取的点集合，/>为纵坐标所有提取的点集合，/>均为拟合的比例系数，/>为提取区域内提取的有效点的个数，/>为方程的个数。
在步骤S3中，利用ICP算法计算相机旋转，平移到新的位置的旋转矩阵R和平移矩阵T，包括：
第一相机拍摄得到的像素点为，第一相机通过旋转和平移到新的位置，新的位置下的相机称为第二相机，第二相机拍摄得到的像素点为/>，/>为各相机拍摄得到的像素点的个数，旋转矩阵R和平移矩阵T的求解方法如下：
从第一相机拍摄得到的像素点P到第二相机下的特征点Q表示为：
公式（20）
式中，为第二相机拍摄得到的像素点，/>为旋转矩阵，/>为第一相机拍摄得到的像素点，/>为平移矩阵；
最小化目标函数：
公式（21）
像素点P和特征点Q的质心表位为：
公式（22）
公式（23）
式中，为第一相机拍摄得到的所有像素点的均值，/>为第二相机拍摄得到的所有像素点的均值；s/>，代表从第一个相机拍摄得到的所有像素点的个数；
把公式（22）和公式（23）带入公式（21）得到如下公式（24）：
公式（24）
最优的解为：
公式（25）
式中，为最优的旋转矩阵，/>为优化算法得到的平移矩阵。
本发明的另一目的在于提供一种基于结构光的货车轮对三维重建系统，实施权所述基于结构光的货车轮对三维重建方法，该系统包含多个激光器，多个相机以及一个无源磁钢；
无源磁钢放置在激光器与相机中间，当有货车经过时产生触发信号，控制相机与激光器同时工作，激光器发射激光，照射在轮对表面上，相机采集图片。
进一步，多个激光器与多个相机均采用夹轨式的方式进行安装。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明解决了货车轮对在复杂环境下如何借助结构光三维重建技术计算出真实的物理尺寸的问题。并建立了一套基于结构光的货车轮对三维重建系统，通过相机和激光器的组合，以夹轨式的放置方式对货车车轮的表面进行测量。通过基于深度学习与路径规划的抗干扰提线算法对特征曲线进行中线提取，通过基于多项式曲线拟合算法对上述特征曲线进行曲线拟合，通过ICP(Iterative Closest Point)算法，实现在不同相机视角下的曲线拼接。本发明在线路投入使用，测量精度达到0.3mm，很大程度上解决了人工测量的工作量大和依赖测量人的主观经验等问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理；
图1是本发明实施例提供的基于结构光的货车轮对三维重建系统示意图；
图2是本发明实施例提供的激光器与相机照射轮对示意图；
图3是本发明实施例提供的采集的第一现场原图；
图4是本发明实施例提供的采集的第二现场原图；
图5是本发明实施例提供的基于深度学习与路径规划的抗干扰提线方法原理图；
图6是本发明实施例提供的YOLOV4对于现场图片的检测结果图；
图7是本发明实施例提供的对图3检测的起点终点图；
图8是本发明实施例提供的对图4检测的起点终点图；
图9是本发明实施例提供的路径规划算法示例原理图；
图10是本发明实施例提供的路径规划算法对图3效果图；
图11是本发明实施例提供的路径规划算法对图4效果图；
图12是本发明实施例提供的路径规划算法对图3最终提线结果图；
图13是本发明实施例提供的路径规划算法对图4最终提线结果图；
图14是本发明实施例提供的利用ICP算法最终的图3与图4的拼接结果图；
图中：101、激光器；201、相机；301、无源磁钢；401、轮对。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面发明的具体实施的限制。
本发明实施例提供一种基于结构光的货车轮对三维重建方法，包括以下步骤：
S1，对现场轮输入图片感兴趣的区域进行检测，并且计算出轮缘中特征曲线的初始点和终止点；基于获取的特征曲线的初始点和终止点，进行构造提取区域，构造能量函数的中线提取，线性拟合和重新计算初始点；
S2，对获取的重新计算初始点的特征曲线，采用多项式拟合算法将特征曲线离散的不连续的点进行平滑处理；
S3，利用ICP算法计算相机旋转和平移到新的位置的旋转矩阵R和平移矩阵T，并求解，基于求解后的旋转矩阵R和平移矩阵T对平滑处理后的特征曲线进行拼接，形成完整的轮缘曲线。
实施例1，如图1所示，本发明实施例提供的基于结构光的货车轮对三维重建系统包含：八个激光器101，八个相机201以及一个无源磁钢301，无源磁钢301放置在激光器1与相机201中间，当有货车经过时产生触发信号，控制相机201与激光器101同时工作，激光器011发射激光，照射在轮对401表面上，相机采集图片，图1中轮对401的车轮的位置即为无源磁钢301的放置位置。
如图2所示，激光器101与相机201采用夹轨式的方式进行安装，该方式一方面可以满足相机的工作距离，可以达到清晰拍图的目的。另一方面针对铁轨线路这个特殊的安装环境，如果在轨两侧安装会产生很大的安全隐患。
如图2所示，当货车轮对401经过无源磁钢301时，左路相机201和激光器101与右路相机201和激光器101同时工作，激光线打在轮对401表面，形成一条特征曲线，该特征曲线可以还原轮对401表面的特征。然而，在现场中安装设备时可以很容易发现，使左右激光器101同时打在轮对表面，形成完整的一条特征曲线是很难实现的，因为手动的安装激光器101很难让其发射的线条在一条线上并且永久保持不变，对于安装设备有极大的难度，所以需要通过算法进行完善与计算。
实施例2，本发明实施例提供的基于结构光的货车轮对三维重建系统的三维重建方法，包括基于深度学习与路径规划的抗干扰提线方法，如图3采集的第一现场原图，如图4采集的第二现场原图；
图3是本发明实施例提供的采集的第一现场原图,图4是本发明实施例提供的采集的第二现场原图；图3中左侧的线条为待提取的曲线，图4中最右侧的线条为待提取的曲线，上述待提取的曲线分别称为图3的特征曲线和图4的特征曲线。从图3和图4中可以看出，特征曲线周围会存在光斑噪声，特征曲线局部过弱以及另一条曲线的干扰等问题。
特征曲线的提取是基于结构光的货车轮对三维重建系统的核心，针对上述问题本系统提出基于深度学习与路径规划的抗干扰提线方法，原理如图5所示。
从图5中可以看出，基于深度学习与路径规划的抗干扰提线方法主要包含两个部分，分别为YOLOV4目标检测算法和路径规划算法。YOLOV4目标检测算法的主要作用是对现场的输入图片感兴趣的区域进行检测，并且计算出特征曲线的初始点和终止点，为路径规划算法提供初始状态。路径规划算法主要包括构造提取区域，构造能量函数的中线提取算法，线性拟合和重新计算初始点。
示例性的，基于深度学习与路径规划的抗干扰提线方法包括以下步骤：
对现场的输入图片感兴趣的区域进行检测，并且计算出特征曲线的初始点和终止点；
基于获取的特征曲线的初始点和终止点，进行构造提取区域，构造能量函数的中线提取，线性拟合和重新计算初始点。
在本发明实施例中，YOLOV4算法包括四个部分，即输入图片，CSPDarknet53(Cross-stage partial connections-Darknet53)，SPP(Spatial Pyramid Pooling)空间金字塔和PANet(Path Aggregation Network)路径聚合网络、YOLOHead四个部分。CSPDarknet53的主要作用是特征提取，包含CBM模块和CSP模块。其中，CBM模块由卷积层cov，BN层和Mish激活函数构成。Mish激活函数可以表示为，为输入参数：
公式（1）
式中，为输入参数，/>为以/>为底的指数函数，/>为常数，e=2.71828；
CSP模块由CBM模块，CBL模块和残差块ResNet复合而成，CBL主要包括卷积层cov，BN层和LeakyRelu激活函数构成，LeakyRelu的表达式为：
公式（2）
式中，为校正系数；
SPP、PANet分别为空间金字塔结构和路径聚合结构，SPP主要作为池化层，达到增加感受野的目的，PANet主要用来进行特征拟合，使来自不同的层之间的特征进行充分融合。YOLOHead主要为输出的目标检测结果。YOLOV4对于现场图片的检测结果如图6所示。
根据YOLOV4算法可以框选出感兴趣区域，同时可以获得两个矩形四个点的像素坐标，在class1矩形区域内，从上向下按行遍历，如果像素值大于阈值则记录为终点，在class2矩形区域内，从下向上按行遍历，如果像素值大于阈值/>则记录为起点。两张现场图片的最终检测结果为圆点，如图7为对图3检测的起点终点图，图8为对图4检测的起点终点图。
在本发明实施例中，路径规划算法为迭代算法，该算法主要包括四个步骤，即：构造提取区域，基于能量函数的中线提取，线性回归和重新计算初始点。具体包括：
步骤一，构造提取区域：该部分主要根据YOLOV4目标检测算法提供的初始点和终止点作为初始条件，把图3和图4的特征曲线通过矩形不断分割开，这样不但可以规避噪声而且可以加快提取速度。常规的算法只能解决单一的固定的问题，本发明的算法是针对特定真实的实际问题提出的解决方案，同时一列车通过的过程中会有大量的图片产生，所以，提线效率也是重要的，不能全图遍历，矩形算法可以很好的减少遍历范围，提高计算效率。
步骤二，基于能量函数的中线提取：现阶段已经有了矩形的提取区域，假设矩形的左上角坐标为，矩形的右上角坐标为/>，矩形的左下角坐标为/>，矩形的右下角坐标为/>，能量函数表示为：
公式（3）
式中，为提取结果，/>为像素强度，/>，/>；
步骤三，线性回归：上述步骤一至步骤二已经完成第一次迭代，同时需要为下一次迭代提供移动方向，假设步骤二提取的有效点的个数为m个，则可进行如下计算：
公式（4）
式中，为提取的点所有横坐标的加和，/>为所有横坐标通过提取得到的像素坐标点；
公式（5）
式中，为提取的点所有纵坐标的加和，/>为所有纵坐标通过提取得到的像素坐标点；
公式（6）
式中，为所有的点加和后的乘积；
公式（7）
式中，为所有提取的点横坐标加和与所有提取的纵坐标的加和的乘积；
公式（8）
式中，为/>的均值；
公式（9）
式中，为/>的均值；
公式（10）
公式（11）
公式（12）
公式（13）
式中，为提取区域内提取的有效点的个数，/>为拟合的斜率，/>为截距，/>为提取点的坐标，/>为提取区域内所有提取点的加和，/>为/>的均值。
步骤四，重新计算初始点：根据上述提取的中点作为新的初始点，之后进入迭代过程，重新计算提取区域，直到最后一次提取的点与YOLOV4计算的终点的距离小于阈值时停止迭代。
示例性的，为了使上述路径规划算法过程更加清晰，结合图9路径规划算法原理图进一步说明。
如图9所示，假设P1为YOLOV4算法计算的初始点，构造矩形区域的长和宽是已知的。R1内弧线的线条为基于能量函数提取的结果，提取结果的中点为P2，根据P2构造提取区域R2，上述过程不断迭代，直到最后一个提取区域提取的最后一个点与终点的距离小于阈值，算法迭代结束。上述算法在图3和图4的效果分别如图10路径规划算法效果图和图11路径规划算法效果图所示。
上述算法在图3和图4的最终提线结果如图12和图13所示。
在本发明实施例中，从图12和图13中可以发现基于深度学习与路径规划算法可以在复杂的噪声问题下对不同视角下的图片进行特征曲线的提取，在提线效率和鲁棒性上都有很大的优势。然而，从提线结果不难看出，提线的点会出现不连续的情况，即提线结果不平滑。针对上述问题，本发明采用多项式拟合算法把上述离散的不连续的点进行平滑处理。
多项式曲线拟合算法是基于幂函数可以逼近任何函数的基本原理，幂函数的通用表达形式为：
公式（14）
式中，为幂函数，/>为多项式的阶数，采用的阶数/>为5，/>为拟合的比例系数，/>为提取点的多阶导数，/>为阶数；
转换为如下公式：
公式（15）
式中，均为拟合的比例系数。
曲线拟合的过程可以理解为拟合的曲线不断近似真实曲线的过程，这个近似的过程用方差来进行检验，用数学的方式可以阐述为假设有一些离散点为，其中，，/>为离散点的个数。假设满足这些离散点的真实曲线公式为/>，近似曲线为/>，则上述问题可以转化优化问题：
公式（16）
式中，为最小代价函数；
把公式（14）带入到公式（16）中，可以获得如下公式：
公式（17）
对公式（17）进行求导，可以获得：
公式（18）
最终写成矩阵形式为：
公式（19）
对公式（19）进行简化为：
则：
式中，为定义结果的数值，/>为矩阵转置，/>均为拟合的比例系数，为提取区域内提取的有效点的个数，/>为方程的个数。
在本发明实施例中，假设第一相机拍摄得到的像素点为，第一相机通过旋转和平移到新的位置，新的位置下的相机称为第二相机，第二相机拍摄得到的像素点为/>，/>为各相机拍摄得到的像素点的个数，ICP算法主要解决的是计算第一相机到第二相机的旋转矩阵R和平移矩阵T，在本发明中，图3是本发明实施例提供的采集的第一现场原图，图4是本发明实施例提供的采集的第二现场原图，通过ICP算法求解旋转矩阵R和平移矩阵T，即可完成图3和图4的拼接，形成完整的轮缘曲线。旋转矩阵R和平移矩阵T的求解方法如下：
首先，从第一相机拍摄得到的像素点P到第二相机下的特征点Q表示为：
公式（20）
式中，为第二相机拍摄得到的像素点，/>为旋转矩阵，/>为第一相机拍摄得到的像素点，/>为平移矩阵；
最小化目标函数：
公式（21）
像素点P和特征点Q的质心表位为：
公式（22）
公式（23）
式中，为第一相机拍摄得到的所有像素点的均值，/>为第二相机拍摄得到的所有像素点的均值；s/>，代表从第一个相机拍摄得到的所有像素点的个数；
把公式（22）和公式（23）带入公式（21）得到如下公式（24）：
公式（24）
最优的解为：
公式（25）
式中，为最优的旋转矩阵，/>为优化算法得到的平移矩阵。
利用ICP算法最终的图3与图4的拼接结果如图14所示。
本发明实施例提供的基于结构光的货车轮对三维重建系统在复杂的运行环境下仍然可以取得较高的精度，同时具有很强的鲁棒性。
实施例3，该套系统已经在多铁路线完成安装，并且通过现场设备测量数据与真实数据进行对比，测量精度与设备稳定性皆达到预期期望。
基于结构光的货车轮对三维重建系统也可以应用到高铁与机车的三维测量上。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
基于上述本发明实施例记载的技术方案，进一步的可提出以下应用例。
根据本发明的实施例，本发明还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
本发明实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（RandomAccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于结构光的货车轮对三维重建方法，其特征在于，该方法包括以下步骤：
S1，对现场轮输入图片感兴趣的区域进行检测，计算出轮缘中特征曲线的初始点和终止点；基于获取的特征曲线的初始点和终止点，进行构造提取区域，构造能量函数的中线提取，线性拟合和重新计算初始点；
S2，对获取的重新计算初始点的特征曲线，采用多项式拟合算法将特征曲线离散的不连续的点进行平滑处理；
S3，利用ICP算法计算相机旋转，平移到新的位置的旋转矩阵R和平移矩阵T，并求解，基于求解后的旋转矩阵R和平移矩阵T对平滑处理后的特征曲线进行拼接，形成完整的轮缘曲线。
2.根据权利要求1所述的基于结构光的货车轮对三维重建方法，其特征在于，在步骤S1中，对现场轮输入图片感兴趣的区域进行检测，包括：输入图片、CSPDarknet53、SPP空间金字塔、PANet路径聚合网络和YOLOHead输出的目标检测结果；
CSPDarknet53用于特征提取，包含CBM模块和CSP模块；其中，CBM模块由卷积层cov，BN层和Mish激活函数构成；
Mish激活函数表示为：
公式（1）
式中，为输入参数，/>为以e为底的指数函数，/>为常数，e=2.71828；
CSP模块由CBM模块、CBL模块和残差块ResNet复合而成，CBL模块由卷积层cov，BN层和LeakyRelu激活函数构成；
LeakyRelu激活函数的表达式为：
公式（2）
式中，为校正系数，/>为输入参数；
PANet路径聚合网络用于进行特征拟合，使来自不同层之间的特征进行融合。
3.根据权利要求2所述的基于结构光的货车轮对三维重建方法，其特征在于，在步骤S1中，计算出轮缘中特征曲线的初始点和终止点，包括：获得两个矩形四个点的像素坐标，在class1矩形区域内，从上向下按行遍历，如果像素值大于阈值则记录为终点，在class2矩形区域内，从下向上按行遍历，如果像素值大于阈值/>则记录为起点。
4.根据权利要求1所述的基于结构光的货车轮对三维重建方法，其特征在于，在步骤S1中，构造提取区域，包括：根据初始点和终止点作为初始条件，通过矩形不断分割，构造矩形的提取区域；
构造能量函数的中线提取包括：根据矩形的提取区域，矩形的左上角坐标为，矩形的右上角坐标为/>，矩形的左下角坐标为/>，矩形的右下角坐标为，能量函数表示为：
公式（3）
式中，为提取结果，/>为像素强度，/>，/>；
线性回归包括：提取区域提取的有效点的个数为个，则进行如下计算：
公式（4）
式中，为提取的点所有横坐标的加和，/>为所有横坐标通过提取得到的像素坐标点；
公式（5）
式中，为提取的点所有纵坐标的加和，/>为所有纵坐标通过提取得到的像素坐标点；
公式（6）
式中，为所有的点加和后的乘积；
公式（7）
式中，为所有提取的点横坐标加和与所有提取的纵坐标的加和的乘积；
公式（8）
式中，为/>的均值；
公式（9）
式中，为/>的均值；
公式（10）
公式（11）
公式（12）
公式（13）
式中，为提取区域内提取的有效点的个数，/>为拟合的斜率，/>为截距，/>为提取点的坐标，/>为提取区域内所有提取点的加和，/>为/>的均值。
5.根据权利要求4所述的基于结构光的货车轮对三维重建方法，其特征在于，线性回归后进行重新计算初始点，根据提取的中点作为新的初始点，进入迭代过程，重新计算提取区域，直到最后一次提取的点与计算的终点的距离小于阈值时停止迭代，在算法仿真中，阈值/>取0.5。
6. 根据权利要求1所述的基于结构光的货车轮对三维重建方法，其特征在于，在步骤S2中，多项式拟合算法为基于幂函数逼近任何函数的基本原理，幂函数的表达形式为：
公式（14）
式中，为幂函数，/>为多项式的阶数，采用的阶数/>为5，/>为拟合的比例系数，/>为提取点的多阶导数，/>为阶数；
通过幂函数展开得到如下公式：
公式（15）
式中，均为拟合的比例系数。
7. 根据权利要求1所述的基于结构光的货车轮对三维重建方法，其特征在于，在步骤S2中，进行平滑处理中，矩阵形式为：
公式（19）
对公式（19）进行简化为：
则：
式中，为定义结果的数值，/>为矩阵转置，/>为横坐标所有提取的点集合，/>为纵坐标所有提取的点集合，/>均为拟合的比例系数，/>为提取区域内提取的有效点的个数，/>为方程的个数。
8.根据权利要求1所述的基于结构光的货车轮对三维重建方法，其特征在于，在步骤S3中，利用ICP算法计算相机旋转，平移到新的位置的旋转矩阵R和平移矩阵T，包括：
第一相机拍摄得到的像素点为，第一相机通过旋转和平移到新的位置，新的位置下的相机称为第二相机，第二相机拍摄得到的像素点为/>，/>为各相机拍摄得到的像素点的个数，旋转矩阵R和平移矩阵T的求解方法如下：
从第一相机拍摄得到的像素点P到第二相机下的特征点Q表示为：
公式（20）
式中，为第二相机拍摄得到的像素点，/>为旋转矩阵，/>为第一相机拍摄得到的像素点，/>为平移矩阵；
最小化目标函数：
公式（21）
像素点P和特征点Q的质心表位为：
公式（22）
公式（23）
式中，为第一相机拍摄得到的所有像素点的均值，/>为第二相机拍摄得到的所有像素点的均值；s/>，代表从第一个相机拍摄得到的所有像素点的个数；
把公式（22）和公式（23）带入公式（21）得到如下公式（24）：
公式（24）
最优的解为：
公式（25）
式中，为最优的旋转矩阵，/>为优化算法得到的平移矩阵。
9.一种基于结构光的货车轮对三维重建系统，其特征在于，实施权利要求1-8任意一项所述基于结构光的货车轮对三维重建方法，该系统包含多个激光器（101），多个相机（201）以及一个无源磁钢（301）；
无源磁钢（301）放置在激光器（101）与相机（201）中间，当有货车经过时产生触发信号，控制相机（201）与激光器（101）同时工作，激光器（101）发射激光，照射在轮对（401）表面上，相机（201）采集图片。
10.根据权利要求9所述的基于结构光的货车轮对三维重建系统，其特征在于，多个激光器（101）与多个相机（201）均采用夹轨式的方式进行安装。
CN202311301971.5A 2023-10-10 2023-10-10 一种基于结构光的货车轮对三维重建系统及方法 Pending CN117036441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311301971.5A CN117036441A (zh) 2023-10-10 2023-10-10 一种基于结构光的货车轮对三维重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311301971.5A CN117036441A (zh) 2023-10-10 2023-10-10 一种基于结构光的货车轮对三维重建系统及方法

Publications (1)

Publication Number Publication Date
CN117036441A true CN117036441A (zh) 2023-11-10

Family

ID=88632307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311301971.5A Pending CN117036441A (zh) 2023-10-10 2023-10-10 一种基于结构光的货车轮对三维重建系统及方法

Country Status (1)

Country Link
CN (1) CN117036441A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024147A1 (zh) * 2017-08-03 2019-02-07 东莞市诺丽电子科技有限公司 基于结构光的车轮多参数在线测量系统及其测量方法
CN114264491A (zh) * 2021-12-27 2022-04-01 中车青岛四方车辆研究所有限公司 轨道车辆轮对参数检测系统
CN116524209A (zh) * 2023-03-29 2023-08-01 国能铁路装备有限责任公司 一种线结构光线条提取方法、装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024147A1 (zh) * 2017-08-03 2019-02-07 东莞市诺丽电子科技有限公司 基于结构光的车轮多参数在线测量系统及其测量方法
US20200149879A1 (en) * 2017-08-03 2020-05-14 Dongguan Nannar Electronics Technology Co., Ltd. Structured light based wheel multiple parameter online measurement system and measurement method thereof
CN114264491A (zh) * 2021-12-27 2022-04-01 中车青岛四方车辆研究所有限公司 轨道车辆轮对参数检测系统
CN116524209A (zh) * 2023-03-29 2023-08-01 国能铁路装备有限责任公司 一种线结构光线条提取方法、装置、存储介质及电子设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
丛明;高军伟;张震;张彬;: "基于机器视觉的矿车踏面磨耗检测设计", 测控技术, no. 08 *
于奕峰，袁中凯，尤小祥: "泛在机器人技术与实践", pages: 301 - 303 *
李海玉;程晓卿;苏钊颐;邢宗义;王晓浩;王贵;: "基于激光位移传感器的城市轨道交通车辆轮对尺寸在线检测系统", 城市轨道交通研究, no. 09 *
王露 等: "基于自动提取分段点的车轮外形轮廓拟合方法", 广西大学学报( 自然科学版), vol. 42, no. 2, pages 1 *
胡成放 等: "基于双目视觉的列车轮对表面缺陷及 型面参数检测方法", 《中国测试》网络首发论文, pages 1 *
高向东;谢子方;赵传敏;杨雪荣;: "基于结构光视觉传感的轮对踏面擦伤快速检测", 铁道学报, no. 02 *

Similar Documents

Publication Publication Date Title
CN110286387B (zh) 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
Luo et al. A simple calibration procedure for structured light system
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
Zou et al. Research on a real-time pose estimation method for a seam tracking system
CN115187676A (zh) 一种高精度线激光三维重建标定方法
CN112288802A (zh) 一种起重机轨道激光测量光斑中心定位方法
Zhang et al. Online weld pool contour extraction and seam width prediction based on mixing spectral vision
CN112819894A (zh) 一种集卡引导定位系统及方法、计算机存储介质、龙门吊
Han et al. SSGD: A smartphone screen glass dataset for defect detection
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN109115127B (zh) 一种基于贝塞尔曲线的亚像素峰值点提取算法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN104878679A (zh) 一种车载车辙实时检测系统及检测方法
CN117036441A (zh) 一种基于结构光的货车轮对三维重建系统及方法
CN118212117A (zh) 一种红外热力信息映射三维点云的方法及其系统
CN115343315B (zh) 一种基于机器视觉的双凸透镜缺陷检测方法
Jia et al. Depth perception based on monochromatic shape encode-decode structured light method
CN116955900A (zh) 一种相位解包裹方法
CN114932292B (zh) 一种窄间隙被动视觉焊缝跟踪方法及系统
CN116452826A (zh) 基于机器视觉的遮挡情况下煤矸石轮廓估计方法
CN114419317A (zh) 一种用于复杂环境线结构光的光条中心提取方法
Liu et al. Multi-line structured light binocular vision stereo matching method via coarse-to-fine spatial geometric constraints
CN111383260B (zh) 应用于可见光模态的自适应激光信息高速检测处理方法
CN112580517A (zh) 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊
Wang et al. Computer vision methods for automating high temperature steel section sizing in thermal images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20231110