CN116433840A - 无砟轨道板扣件的特异性伤损图像合成方法及检测方法 - Google Patents

无砟轨道板扣件的特异性伤损图像合成方法及检测方法 Download PDF

Info

Publication number
CN116433840A
CN116433840A CN202310372533.1A CN202310372533A CN116433840A CN 116433840 A CN116433840 A CN 116433840A CN 202310372533 A CN202310372533 A CN 202310372533A CN 116433840 A CN116433840 A CN 116433840A
Authority
CN
China
Prior art keywords
fastener
track plate
ballastless track
virtual
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310372533.1A
Other languages
English (en)
Inventor
邱实
陈斌
王劲
胡文博
王卫东
王李昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310372533.1A priority Critical patent/CN116433840A/zh
Publication of CN116433840A publication Critical patent/CN116433840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无砟轨道板扣件的特异性伤损图像合成方法，包括获取真实无砟轨道板扣件图像数据；构建无砟轨道板三维BIM模型；针对模型进行仿真渲染处理，构建铁路场景的虚拟空间；通过虚拟空间，采集、输出虚拟扣件伤损图像数据；构建循环对抗生成网络，针对真实图像数据和虚拟伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。本发明还公开了包括所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法。本发明针对无砟轨道板扣件的异常状态完成检测处理；本发明方法解决了高质量扣件正负样本不均导致的深度学习方案检测精度低等问题；且图像样本多样性提升、图像正负样本比例合适。

Description

无砟轨道板扣件的特异性伤损图像合成方法及检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种无砟轨道板扣件的特异性伤损图像合成方法及检测方法。
背景技术
21世纪以来，铁路建设运营里程以指数形式不断增长，行业领域的重点也从建设运营慢慢转向养护维修，扣件作为铁路轨道的关键基础部件，如果长期处于异常状态将会导致轨道整体结构失效，严重影响高速铁路列车运行的安全，针对扣件的异常状态及时、快速和精准检测，是目前亟需解决的问题，也是养护维修的重要决策依据。高速铁路无砟轨道板扣件存在数量庞大、种类繁多、服役环境复杂等问题，使得在天窗时间段进行的人工巡道难以高效、准确地识别出处于异常状态的扣件，同时漏检、错检的情况也难以避免。
随着信息时代的到来，计算机数字技术也已经开始大范围应用于铁路领域的自动化养护运维，基于计算机视觉的扣件异常状态检测已逐渐代替人工目视，成为轨道巡检的主流选择。现有的基于计算机视觉的扣件异常状态检测方法主要包括传统的图像处理技术、机器学习技术和最新的深度学习技术。
图像处理技术方法基于铁路部件之间几何信息进行扣件定位，利用启发式规则来抓取扣件的图像特征，最后通过简单的分类算法对扣件状态进行识别，基于图像处理技术的方法过分依赖人工设计、仅能处理浅层的、低水平的图像特征，并对不同形式巡检数据的复杂图像适应性差；
机器学习技术方法通过学习有限的、可感知的特征来训练向量机、朴素贝叶斯、人工神经网络等分类器来识别出不同类型的异常轨道扣件，基于机器学习技术的方法同样依赖先验知识和工程经验，不可避免的继承了图像处理技术方法的主观性和不确定性；
基于计算机视觉进行扣件异常状态的检测，除了依赖计算机技术外，对于扣件状态图像集也有一定的要求。其可靠性和适应性高度依赖大规模的高质量图像集的充分训练，这加重了数据的采集成本，尤其对于本研究领域，其特异性负样本相对稀缺，与获取到的非负样本对比集成，得到的是极度不均的数据集，这严重阻碍了计算机视觉技术方案在本领域的应用；
综上所述，当前针对无砟轨道板扣件的图像数据涵盖信息不够充分，数据缺少多样性。同时现有的检测技术方案检测精度较低，消耗大量的人工、时间等。
发明内容
本发明的目的之一在于提供一种图像样本多样性提升、图像正负样本比例合适的无砟轨道板扣件的特异性伤损图像合成方法。
本发明的目的之二在于提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法。
本发明提供的这种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：
S1.获取真实无砟轨道板扣件图像数据；
S2.构建无砟轨道板三维BIM模型；
S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间；
S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据；
S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。
步骤S1所述的获取真实无砟轨道板扣件图像数据，具体包括：
进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据。
步骤S2所述的构建无砟轨道板三维BIM模型，具体包括：
根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：
(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸；所述部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块；根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类构件以共享单元的形式参与构建形成铁路场景共享单元库；
(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；
(3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景特征。
步骤S3所述的针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：
将步骤S2构建的无砟轨道板3D模型导入到轻量化物理引擎中进行虚拟模拟：
1)将构建的铁路虚拟模型进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；
2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；
3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；
4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；
5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射，使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；
6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；
上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。
步骤S4所述的通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：
基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像。
步骤S5所述的构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集，具体包括：
采用基于循环生成对抗网络的合成数据集生成方式，对真实采集的巡检图像进行筛选，获取真实风格的正常图像；将轻量化物理引擎输出的虚拟图像和挑选出的风格图像输入到对抗网络中，生成无砟轨道板扣件的特异性伤损图像合成数据集；
循环对抗生成网络Cycle GAN由两个生成器和两个鉴别器组成，生成器负责图像风格间的转换，鉴别器负责对转换后的图像质量进行评价；
在基于虚拟巡检得到的无砟轨道板扣件的特异性伤损图像合成数据集中，采用了物理引擎对轮轨作用进行模拟，随机生成不同的扣件异常状态，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；使用上述方法生成的无砟轨道板扣件的特异性伤损图像合成数据集，能够满足模型训练时对于平衡正负样本比例的需求。
本发明还提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，包括如下步骤：
A1.采用所述的无砟轨道板扣件的特异性伤损图像合成方法，合成扣件伤损图像，并构建合成数据集；
A2.构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络；
A3.采用步骤A2获取的训练后的目标检测网络，针对实际获取的无砟轨道板扣件图像进行异常状态检测处理，完成轨道板扣件的异常状态检测。
步骤A2所述的构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：
目标检测网络采用Faster R-CNN模型；Faster R-CNN的损失函数包括RPN损失和Fast-RCNN损失两部分，每部分由分类损失和回归损失累加而成，其中，分类损失用于区分背景和目标的交叉熵损失，回归损失用于计算边界框回归的平滑L1损失，采用下述公式进行描述：
Figure BDA0004169112970000061
其中，L({pi},{ti})为Faster R-CNN的总损失，
Figure BDA0004169112970000062
为分类损失，/>
Figure BDA0004169112970000071
为回归损失，pi为预测框中包含目标的概率，/>
Figure BDA0004169112970000072
为标注框，如果锚点是正值，/>
Figure BDA0004169112970000073
为1，如果锚点是负值，/>
Figure BDA0004169112970000074
为0，ti为预测框的四个参数化坐标；/>
Figure BDA0004169112970000075
为标注框四个参数化坐标。
步骤A2所述的构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：
目标检测网络采用YOLOv3网络；YOLOv3的损失函数的计算过程采用下述公式描述：
Figure BDA0004169112970000076
其中，loss为YOLOv3的总损失，(xi,yi)和
Figure BDA0004169112970000077
分别为标注框和预测框的中心坐标值；(wi,hi)和/>
Figure BDA0004169112970000078
分别为标注框和预测框的宽度高度值；(ci,pi)和/>
Figure BDA0004169112970000079
分别为标注框和预测框的置信度和所属类别；λcoord为坐标因子；λnoobj为目标表征因子；λclass为类别因子；/>
Figure BDA00041691129700000710
和/>
Figure BDA00041691129700000711
表示是否存在目标对象，若预测框中存在目标，则输出为1，不存在则输出为0；S为预测框个数；B为标注框个数。
本发明提供的这种基于无砟轨道板扣件的特异性伤损图像数据合成方法，基于实际场景的轨道结构正向建模、基于轻量化物理引擎的异常扣件渲染部署，获取具有多样化状态特征的虚拟扣件负样本，对输出的虚拟巡检数据以不同扣件状态类型进行集成并基于真实巡检图像进行风格迁移，得到无砟轨道板扣件的特异性伤损图像合成数据集；同时本发明提供的一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，依托合成方法获得合成数据集，针对深度目标检测网络进行训练，有效解决了高质量扣件正负样本不均导致的深度学习方案检测精度低等问题；而且在本发明方法合成的图像数据集中，样本的多样性提升、正负样本的均衡性提高。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法提供的图像数据合成流程操作图。
图3为本发明方法提供的无砟轨道板虚拟模型效果图。
图4为本发明方法提供的轨道场景虚拟巡检图像。
图5为本发明方法提供的循环对抗生成网络的结构图。
图6为本发明方法提供的三种无砟轨道板扣件图像数据对比图。
图7为包括本发明方法的检测方法流程示意图。
图8为本发明方法提供的深度目标检测网络的合成图像训练效果。
图9为本发明方法提供的不同轨道板扣件图像数据集训练的Faster R-CNN训练结构示意图。
图10为本发明方法提供的不同图像训练数据的PR曲线结果示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图，图2为对应的流程操作图：本发明提供的这种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：
S1.获取真实无砟轨道板扣件图像数据，具体包括：
进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据；
S2.构建无砟轨道板三维BIM模型，具体包括：
根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：
(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸，部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块，根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类细小构件以共享单元的形式参与构建形成铁路场景共享单元库；
(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同细小部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；
(3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景的细部特征；
S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：
将步骤S2构建的无砟轨道板3D模型通过内置接口导入到轻量化物理引擎中进行虚拟模拟：
1)将构建的铁路虚拟模型通过自研轻量化接口进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；
2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；
3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；
4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；
5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；
6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；
上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。
S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：
基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像，如图3、图4所示；
S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集，具体包括：
循环对抗生成网络Cycle GAN是关于学习源与目标域之间一对一映射函数的网络，如图5所示，主要由两个生成器和两个判别器组成，生成器负责图像风格间的转换，鉴别器负责对转换后的图像质量进行评价，假设存在A、B两种风格，要将A风格转换为B风格，则A为学习源，B为目标域；
将真实巡检图像进行统一处理转换为JPEG格式并储存与一个名为“real B”的文件夹中，将虚拟巡检图像作相同处理后储存与“real A”文件夹中，最后将“real A”和“realB”文件夹共同放在一个新建的文件夹“dataset”同一目录下；以新建文件夹“dataset”为输入，进行循环对抗网络的生成，并以输出的Kindle值判断目前风格迁移的效果，当数值越大表示风格迁移效果越差，反之越好；在网络对抗过程中，生成器1将real A转换为以B为风格的fake B，通过计算对抗性损失控制迁移精度，为了检验迁移效果是否达到要求，生成器2将fake B重新生成了rec A，通过判别器1来鉴别real A和rec A的真假，形成一个循环，同时应用循环一致性损失来检验生成效果，从而使训练效果达到更佳；结束循环对抗生成网络的训练后得到虚拟生成的风格迁移后的无砟轨道板扣件特异性伤损图像数据；
循环一致性损失是Cycle GAN的典型独特设计，通过将fake B进行还原，可以检验生成的假风格是否保留了原来风格的特有内容信息，能够更好的促进两种风格的对抗与融合，另一方面，通过鉴别器2计算生成的fake B与real B的损失进行输出，控制风格迁移的精度；
采用了基于循环生成对抗网络的合成数据集生成方式，对真实采集的巡检图像进行筛选，获取真实风格的正常图像，将轻量化物理引擎输出的虚拟图像和挑选出的风格图像输入到对抗网络中，生成无砟轨道板扣件的特异性伤损图像合成数据集，如图6所示；
在基于虚拟巡检得到的无砟轨道板扣件的特异性伤损图像合成数据集中，采用了物理引擎对轮轨作用进行模拟，随机生成不同的扣件异常状态，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；使用上述方法生成的无砟轨道板扣件的特异性伤损图像合成数据集，能够满足模型训练时对于平衡正负样本比例的需求。
如图7所示为包括本发明方法的检测方法流程示意图，本发明还提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，包括如下步骤：
A1.采用所述的无砟轨道板扣件的特异性伤损图像合成方法，合成扣件伤损图像，并构建合成数据集；
A2.构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络；
具体实施时，目标检测网络采用Faster R-CNN模型；Faster R-CNN的损失函数包括RPN损失和Fast-RCNN损失两部分，每部分由分类损失和回归损失累加而成，其中，分类损失用于区分背景和目标的交叉熵损失，回归损失用于计算边界框回归的平滑L1损失，采用下述公式进行描述：
Figure BDA0004169112970000131
其中，L({pi},{ti})为Faster R-CNN的总损失，
Figure BDA0004169112970000132
为分类损失，
Figure BDA0004169112970000133
为回归损失，pi为预测框中包含目标的概率，/>
Figure BDA0004169112970000134
为标注框，如果锚点是正值，/>
Figure BDA0004169112970000135
为1，如果锚点是负值，/>
Figure BDA0004169112970000136
为0，ti为预测框的四个参数化坐标；/>
Figure BDA0004169112970000137
为标注框四个参数化坐标。
又或者：
目标检测网络采用YOLOv3网络；YOLOv3的损失函数的计算过程采用下述公式描述：
Figure BDA0004169112970000138
其中，loss为YOLOv3的总损失，(xi,yi)和
Figure BDA0004169112970000139
分别为标注框和预测框的中心坐标值；(wi,hi)和/>
Figure BDA00041691129700001310
分别为标注框和预测框的宽度高度值；(ci,pi)和/>
Figure BDA00041691129700001311
分别为标注框和预测框的置信度和所属类别；λcoord为坐标因子；λnoobj为目标表征因子；λclass为类别因子；/>
Figure BDA00041691129700001312
和/>
Figure BDA00041691129700001313
表示是否存在目标对象，若预测框中存在目标，则输出为1，不存在则输出为0；S为预测框个数；B为标注框个数；
A3.采用步骤A2获取的训练后的目标检测网络，针对实际获取的无砟轨道板扣件图像进行异常状态检测处理，完成轨道板扣件的异常状态检测；具体包括：
依托Facebook开源的深度学习框架Pytorch1.2.0，针对目标检测网络Faster R-CNN和YOLO v3网络分别进行训练，在不同指标下进行结果分析对比，选择最具有辨识能力的目标检测网络，对无砟轨道板扣件的异常状态完成检测识别处理；同时根据两种网络对三种不同数据集之间的训练数据，来证明本发明中的风格迁移合成的扣件特异性伤损图像数据的作用；
采用目标检测网络对应的损失函数和所有类别检测对象的平均精度averageprecision AP的平均值mean average precision MAP，来衡量深度目标检测网络对不同数据集的检测性能；
目标检测网络评价指标MAP计算关键在于IoU，Intersection over Union，定义IoU为预测框和标注框之间的交并比，表示两者之间的重叠程度，当IoU大于阈值时被网络判定为阳性样本，否则为阴性样本，通常选择将阈值大小设置为0.5；
采用预测边界框的置信度阈值区分真预测和假预测，预测和实际一致为真，否则为假：当预测结果为真时，判定阳性样本为真阳性TP，判定阴性样本为真阴性TN；当预测结果为假时，判定阳性样本为假阳性FP，判定阴性样本为假阴性FN；
基于上述指标确定精准率Precision和召回率Recall，定义精准率为正确检测的目标占检测总数的比例，定义召回率为正确检测的目标占实际目标总数的比例；通过计算不同的置信度阈值下深度目标检测网络在测试集上的精准率和召回率，得到P-R曲线，通过对P-R曲线进行积分得到AP的值，针对P-R曲线与坐标轴围成的面积进行积分；通过统计各个类别检测对象的AP的平均值得到MAP，完成对目标检测网络的检测精度的计算；
如图8所示，本发明试验训练了两种网络，分别为采用一阶段的深度目标检测网络YOLOv3和两阶段的目标检测网络Faster R-CNN，经过预训练，将,模型参数设置为学习率为0.001，迭代轮次为1000轮；
经过1000个轮次的充分训练，YOLOv3网络和Faster R-CNN网络的总损失均达到最低且收敛，表明两个网络的训练状况均处于良好的拟合状态，此时对各类扣件异常状态识别的平均精度峰值分别达到91.64％和94.91％；尽管YOLOv3网络处理单张图片花费时间为0.13s，速度是Faster R-CNN的三倍，但是对各类检测精度的平均值MAP低于Faster R-CNN，符合目标检测算法中一阶段网络对于两阶段网络的性能重速度轻精度的特性；
如图9所示，在每个训练轮次的对比中，Faster R-CNN网络的MAP值均优于YOLOv3网络，且在100轮次到600轮次之间，Faster R-CNN网络对于合成数据集中的异常扣件特征学习效果良好，在400轮次左右达到峰值并保持稳定。此外，Faster R-CNN网络对于缺失状态的异常扣件识别精度达到100％，效果最好；对于位移状态的异常扣件识别精度则为90.33％，效果较差；而YOLOv3网络对于断裂状态的异常扣件识别精度低至86.92％，与Faster R-CNN网络相差8.24％，综上所述，Faster R-CNN网络更能够学习合成数据集中的异常扣件有效特征并进行精确化检测；
如图10所示，给出三种数据集训练的Faster R-CNN网络对处于正常、断裂、缺失和位移状态的无砟轨道板扣件检测P-R曲线和对应的AP值，从图中可以看到各类状态下的BIM模型合成数据集P-R曲线基本都在其他数据集之上，其中对于缺失类的扣件状态AP值达到最大为100％；与采用真实巡检图像进行充分训练的网络相比，合成数据集训练的网络对各类扣件识别AP值分别高出1.52％、6.5％、10.13％和3.41％，表明其对不同状态类型的扣件合成效果均有较大提升；此外，采用了虚拟数据集训练的网络检测性能好于真实情况，表明真实数据集正负样本不均导致的检测精度下降的问题确实存在。

Claims (9)

1.一种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：
S1.获取真实无砟轨道板扣件图像数据；
S2.构建无砟轨道板三维BIM模型；
S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间；
S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据；
S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。
2.根据权利要求1所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S1所述的获取真实无砟轨道板扣件图像数据，具体包括：
进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据。
3.根据权利要求2所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S2所述的构建无砟轨道板三维BIM模型，具体包括：
根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：
(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸；所述部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块；根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类构件以共享单元的形式参与构建形成铁路场景共享单元库；
(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；
(3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景特征。
4.根据权利要求3所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S3所述的针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：
将步骤S2构建的无砟轨道板3D模型导入到轻量化物理引擎中进行虚拟模拟：
1)将构建的铁路虚拟模型进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；
2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；
3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；
4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；
5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射，使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；
6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；
上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。
5.根据权利要求4所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S4所述的通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：
基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像。
6.根据权利要求5所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S5所述的构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集，具体包括：
采用基于循环生成对抗网络的合成数据集生成方式，对真实采集的巡检图像进行筛选，获取真实风格的正常图像；将轻量化物理引擎输出的虚拟图像和挑选出的风格图像输入到对抗网络中，生成无砟轨道板扣件的特异性伤损图像合成数据集；
循环对抗生成网络Cycle GAN由两个生成器和两个鉴别器组成，生成器负责图像风格间的转换，鉴别器负责对转换后的图像质量进行评价；
在基于虚拟巡检得到的无砟轨道板扣件的特异性伤损图像合成数据集中，采用了物理引擎对轮轨作用进行模拟，随机生成不同的扣件异常状态，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；使用上述方法生成的无砟轨道板扣件的特异性伤损图像合成数据集，能够满足模型训练时对于平衡正负样本比例的需求。
7.一种包括了权利要求1～6之一所述的无砟轨道板扣件的特异性伤损图像合成方法的检测方法，包括如下步骤：
A1.采用权利要求1～6之一所述的无砟轨道板扣件的特异性伤损图像合成方法，合成扣件伤损图像，并构建合成数据集；
A2.构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络；
A3.采用步骤A2获取的训练后的目标检测网络，针对实际获取的无砟轨道板扣件图像进行异常状态检测处理，完成轨道板扣件的异常状态检测。
8.根据权利要求7所述的检测方法，其特征在于步骤A2所述的构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：
目标检测网络采用Faster R-CNN模型；Faster R-CNN的损失函数包括RPN损失和Fast-RCNN损失两部分，每部分由分类损失和回归损失累加而成，其中，分类损失用于区分背景和目标的交叉熵损失，回归损失用于计算边界框回归的平滑L1损失，采用下述公式进行描述：
Figure FDA0004169112960000051
其中，L({pi},{ti})为Faster R-CNN的总损失，
Figure FDA0004169112960000052
为分类损失，
Figure FDA0004169112960000053
为回归损失，pi为预测框中包含目标的概率，/>
Figure FDA0004169112960000054
为标注框，如果锚点是正值，/>
Figure FDA0004169112960000055
为1，如果锚点是负值，/>
Figure FDA0004169112960000056
为0，ti为预测框的四个参数化坐标；/>
Figure FDA0004169112960000057
为标注框四个参数化坐标。
9.根据权利要求7所述的检测方法，其特征在于步骤A2所述的构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：
目标检测网络采用YOLOv3网络；YOLOv3的损失函数的计算过程采用下述公式描述：
Figure FDA0004169112960000061
其中，loss为YOLOv3的总损失，(xi,yi)和
Figure FDA0004169112960000062
分别为标注框和预测框的中心坐标值；(wi,hi)和/>
Figure FDA0004169112960000063
分别为标注框和预测框的宽度高度值；(ci,pi)和/>
Figure FDA0004169112960000064
分别为标注框和预测框的置信度和所属类别；λcoord为坐标因子；λnoobj为目标表征因子；λclass为类别因子；/>
Figure FDA0004169112960000065
和/>
Figure FDA0004169112960000066
表示是否存在目标对象，若预测框中存在目标，则输出为1，不存在则输出为0；S为预测框个数；B为标注框个数。
CN202310372533.1A 2023-04-10 2023-04-10 无砟轨道板扣件的特异性伤损图像合成方法及检测方法 Pending CN116433840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310372533.1A CN116433840A (zh) 2023-04-10 2023-04-10 无砟轨道板扣件的特异性伤损图像合成方法及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310372533.1A CN116433840A (zh) 2023-04-10 2023-04-10 无砟轨道板扣件的特异性伤损图像合成方法及检测方法

Publications (1)

Publication Number Publication Date
CN116433840A true CN116433840A (zh) 2023-07-14

Family

ID=87093864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310372533.1A Pending CN116433840A (zh) 2023-04-10 2023-04-10 无砟轨道板扣件的特异性伤损图像合成方法及检测方法

Country Status (1)

Country Link
CN (1) CN116433840A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977607A (zh) * 2023-07-21 2023-10-31 武汉熠腾科技有限公司 基于像素流的文物模型展示方法及系统
CN117893837A (zh) * 2024-03-14 2024-04-16 中南大学 一种铁路基础设施点云识别方法、装置、终端设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977607A (zh) * 2023-07-21 2023-10-31 武汉熠腾科技有限公司 基于像素流的文物模型展示方法及系统
CN116977607B (zh) * 2023-07-21 2024-05-07 武汉熠腾科技有限公司 基于像素流的文物模型展示方法及系统
CN117893837A (zh) * 2024-03-14 2024-04-16 中南大学 一种铁路基础设施点云识别方法、装置、终端设备及介质

Similar Documents

Publication Publication Date Title
CN116433840A (zh) 无砟轨道板扣件的特异性伤损图像合成方法及检测方法
CN112949413B (zh) 基于街景图片的城市景观要素分类及地方性度量方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN108491776A (zh) 基于像素分类的装配体零件识别方法、装置及监测系统
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN114638784A (zh) 一种基于fe-yolo的铜管表面缺陷检测方法及装置
Brekke et al. Multimodal 3d object detection from simulated pretraining
CN110532946A (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN113822247A (zh) 基于航拍影像的违章建筑识别方法及系统
CN111797188B (zh) 一种基于开源地理空间矢量数据的城市功能区定量识别方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN112465057A (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN109684910A (zh) 一种网络检测输电线路地表环境变化的方法及系统
CN117274774A (zh) 一种基于YOLOv7的X射线安检图像危险品检测算法
Lin et al. Integrated circuit board object detection and image augmentation fusion model based on YOLO
CN117078670A (zh) 一种云相框的生产控制系统
CN117036733A (zh) 一种城市道路场景特征线提取的方法
CN110555384A (zh) 基于图像数据的牛肉大理石纹自动分级系统及方法
CN116721410A (zh) 一种航空发动机密集零部件三维实例分割方法和系统
CN112861682B (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置
CN116381650A (zh) 一种激光雷达点云位置和强度仿真模拟及测试方法
CN114283280A (zh) 一种基于改进卷积神经网络的水面漂浮垃圾识别方法
CN113920087A (zh) 基于深度学习的微小元器件缺陷检测系统及方法
CN115761267B (zh) 一种解决室外低频图像采集异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination