CN114119539A - 一种基于关键点检测的弓网运行状况在线检测方法 - Google Patents

一种基于关键点检测的弓网运行状况在线检测方法 Download PDF

Info

Publication number
CN114119539A
CN114119539A CN202111407103.6A CN202111407103A CN114119539A CN 114119539 A CN114119539 A CN 114119539A CN 202111407103 A CN202111407103 A CN 202111407103A CN 114119539 A CN114119539 A CN 114119539A
Authority
CN
China
Prior art keywords
key point
image
pantograph
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111407103.6A
Other languages
English (en)
Inventor
常洛南
黄磊
李苏祺
陆晓隽
王满意
沈国峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Original Assignee
Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd filed Critical Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Priority to CN202111407103.6A priority Critical patent/CN114119539A/zh
Publication of CN114119539A publication Critical patent/CN114119539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：将双目相机安装于列车受电弓网的左、右两侧，将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x2d,y2d,z2d)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x3d,y3d,z3d)，z3d记为动态导高，三维接触点的x3d与受电弓中心点重建后的差记为动态拉出值。本发明的基于关键点检测的弓网运行状况在线检测方法，能实现各种复杂换线模式下的高精度弓网接触角点定位，能实现双支线等模式下导高、拉出值的测量以及异常接触报警。

Description

一种基于关键点检测的弓网运行状况在线检测方法
技术领域
本发明属于铁路列车智能运维弓网运行状况在线检测技术领域，具体涉及一种基于关键点检测的弓网运行状况在线检测方法。
背景技术
受电弓和接触网是电气化铁路供电的主要设备。目前，铁路列车的高速化和重载化给供电系统提出了更严格的要求。确保弓网系统有平稳良好的接触状态是维持良好的弓网关系动态特性并保障不间断供电和高速列车安全稳定运行的重要前提。在铁路日常运营维护中，常用的弓网运行状况检测是通过对一些主要的接触网静态参数进行测量，包括接触线高度、拉出值、定位管坡度、支柱位置等。其中，导高和拉出值是评价弓网系统中最重要的评估指标。导高是接触线距离铁轨平面的垂直高度，若接触导线高度过高则会使受电弓频繁离线产生电弧烧损接触线和受电弓，若过低会危及人员和超限货物的安全。拉出值是接触线相对于铁轨中心向外拉出的距离，其设计是为了使电力机车在运行时使受电弓与接触导线在一定范围内均匀摩擦，使受电弓滑板磨耗均匀，延长使用寿命，若拉出值过小会加大受电弓滑板的局部磨耗，过大会导致刮弓、断线等事故。因此，不仅在日常停车运维中需要检测这些静态参数，在运行过程中在线测量动态导高和拉出值更能确保电气化区段接触网安全、高质量的运行。因此，列车弓网运行状况的实时在线检测具有十分重要的意义。
导高和拉出值的测量都是在准确定位接触点的前提下实现的。目前非接触式的检测方式是通过安装在车顶的单目相机实现在线弓网运行状况的监控和记录功能，不能满足智能运维的要求。而且上述方法对于弓网接触点的检测停留在单线模式上，但实际的运行会涉及频繁的换线、双支线接触等现场复杂情况，给弓网运行状况在线检测提出了新的挑战。从三维重建精度的角度看，目前没有相关对弓网接触点重建精度评估的方法，从而无法判断导高或拉出值等参数的精度。因此，高精度的参数测量也是本发明研究的重点。
基于边缘检测的图像处理方法提取接触线和受电弓的边缘，其边缘直线的交点定义为弓网接触点。大量的背景边缘杂线干扰使这种基于边缘检测的定位方式在复杂背景下并不鲁棒。
基于先跟踪再定位的模式实现自动化的弓网接触点定位。这种模式首先采用模板匹配提取受电弓和接触线的边缘，其交点区域即为跟踪的初始区域，再通过KCF跟踪持续定位每一帧的接触区域，最后通过角点检测实现接触点的定位。该方法的亮点在于速度快(大于200FPS)，但模板匹配涉及的参数调整多，难以满足全天候长时接触点的定位要求。
发明内容
为解决现有技术中存在的技术问题，本发明的目的在于提供一种基于关键点检测的弓网运行状况在线检测方法，用于解决铁路正线上的高速导高和拉出值测量。
为实现上述目的，达到上述技术效果，本发明采用的技术方案为：
一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：
将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x2d,y2d,z2d)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x3d,y3d,z3d)，其中，z3d记为动态导高，三维接触点的x3d与受电弓中心点重建后的差记为动态拉出值。
进一步的，分别在左、右图像中得到二维左右角点具体包括：
1)将列车同一时刻的左、右图像输入至训练好的高精度的2D关键点定位网络；
所述2D关键点定位网络包括骨干网络resnet18、三个反卷积层deconv1、deconv2、deconv3以及未经过预训练的若干个辅助特征增强模块，辅助特征增强模块位于骨干网络resnet18的layer1之后；
2)通过2D关键点定位网络分别对左、右图像进行特征提取，通过辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
进一步的，所述辅助特征增强模块共有三个，分别为ANlayer1、ANlayer2、ANlayer3，ANlayer1的输入为layer1的输出，Anlayer2和layer3的输入均为从0开始的ANlayer1的特征和预训练的layer2的特征的拼接，同时具备中级和高级特征，Anlayer3和layer4的输入均为Anlayer2的特征和预训练的layer3的特征的相加，layer4的输出为反卷积层deconv1、deconv2、deconv3。
进一步的，步骤2)，所述包围框的参数包括：目标热图、宽高、框中心的偏移量；所述关键点的参数包括：关键点热图、关键点连接热图、关键点偏移量。
进一步的，采用wingloss分别对包围框的框中心的偏移量和关键点偏移量进行回归，wingloss的公式为：
Figure BDA0003372674890000031
其中，ω＝2，ε＝2。
进一步的，采用改进的lbbox函数对包围框的宽高进行回归，公式如下：
Figure BDA0003372674890000032
其中Ap，Agt分别为预测框与真值框的面积；预测框与真值框的最小凸集为
Figure BDA0003372674890000033
面积为Ac；Cw，Ch分别为最小凸集的包围框的宽、高，
Figure BDA0003372674890000034
ρ代表两个值的欧氏距离，ρ2(w，wgt)代表当前回归得到的宽度与真值宽度欧氏距离的平方，ρ2(h，hgt)代表当前回归得到的高度与真值高度欧氏距离的平方。
进一步的，所述包围框的loss函数包括：高精度的包围框回归和高精度的关键点回归，总体损失函数为：
loss＝(lhm+lbbox+loffset)+(lhm-hp+lhp+lhp-offset)
其中，lbbox为包围框的宽高的回归损失函数，loffset为包围框的框中心的偏移量的回归损失函数；lhm-hp+lhp+lhp-offset分别表示关键点热图、像素级关键点、关键点偏移量的回归。
本发明公开了一种基于关键点检测的弓网运行状况在线检测系统，包括：
双目相机，所述双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像；
关键点检测模块，被配置为利用2D关键点定位网络提取双目相机采集得到的图像中的二维左右角点；
所述2D关键点定位网络，用于提取高铁列车受电弓与接触线相交的接触角点，包括骨干网络resnet18、deconv1、deconv2、deconv3三个反卷积层以及未经过预训练的三个辅助特征增强模块ANlayer1、ANlayer2、ANlayer3，通过ANlayer1、ANlayer2、ANlayer3提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
本发明还公开了一种电子设备，包括：
处理器；
存储器，所述存储器用来存储处理器可执行的指令；
所述处理器被配置为执行所述指令以实现如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
本发明还公开了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
与现有技术相比，本发明的有益效果为：
本发明公开了一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x2d,y2d,z2d)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x3d,y3d,z3d)，其中，z3d记为动态导高，三维接触点的x3d与受电弓中心点重建后的差记为动态拉出值。本发明提供的一种基于关键点检测的弓网运行状况在线检测方法，用于解决铁路正线上的高速导高拉出值测量，能实现各种复杂换线模式下的高精度弓网接触角点定位，能实现双支线等模式下导高、拉出值的测量以及异常接触报警。
附图说明
图1为本发明的关键点定位网络框架图；
图2为本发明的三维重建方法的双目立体视觉示意图。
具体实施方式
下面结合对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
实施例1
如图1-2所示，一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：
先将双目相机安装于列车顶部，双目相机朝向受电弓网的监测区域，双目相机分为左相机和右相机且两者间距尽量大，但公共视场必须包含完整的受电弓与接触区域；
随后，将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像，随后分别在左、右图像中得到二维左右角点，分别求出左图像和右图像中各自对应的左右角点的中点，坐标记为(x2d,y2d,z2d)；将左右角点的中点记为接触点在图像上的投影点，从而将左、右图像中的接触点投影点采用三维重建方法(首先利用张正友标定方法对双目相机标定得到双目相机的内参以及右相机相对于左相机的旋转矩阵R和平移矩阵T)进行三维重建得到三维接触点，坐标记为(x3d,y3d,z3d)，其中，z3d记为动态导高，三维接触点的x3d与受电弓中心点重建后的差记为动态拉出值。
三维重建方法，包括以下步骤：在得到左右相机拍摄的图像中二维角点坐标后，利用双目立体视觉原理重建三维点在世界坐标系中的坐标，如图2所示；
设左相机O-xyz位于世界坐标系原点且无旋转，图像坐标系为Ol-XlYl，有效焦距为fl；右相机坐标系为or-xryrzr，图像坐标系为Or-XrYr，相机透视变换模型为：
Figure BDA0003372674890000051
Figure BDA0003372674890000052
左相机坐标系和右相机坐标系的关系由旋转矩阵R和平移向量T表示为：
Figure BDA0003372674890000061
三维点坐标计算如下：
Figure BDA0003372674890000062
三维重建方法采用现有技术即可。
左右图像中的二维左右角点采用以下步骤得到：
设计一个高精度的2D关键点定位网络即AN-CenterNet亚像素关键点检测模型，用于提取高铁列车受电弓与接触线相交的接触角点：
AN-CenterNet亚像素关键点检测模型包括骨干网络resnet18、三个反卷积层(deconv1、deconv2、deconv3)以及未经过预训练的三个辅助特征增强模块(ANlayer1、ANlayer2、ANlayer3)，而上述的每一个结构都是由若干卷积层、反卷积层组成；
目前先进的增强特征的方式多采用多分支空洞卷积搭配瓶颈设计来扩大特征层的感受野并降低新加入模块的参数量，或者利用通道注意力和空间注意力来模拟人类视觉对目标的聚焦，但诸如此类的模块改进给内存运算增加了很大的负担，因为其加入了大量的像素级操作和不同的分支再整合连接的操作，进而降低了网络的推理速度，即使这些网络都拥有非常低的参数量。我们知道，cudnn加速运算对3*3的卷积处理速度非常快，因此为了不引入多余复杂瓶颈分支和注意力机制等操作，本发明由三个极简的conv3*3卷积特征抽取模块来提取骨干网络resnet18中的特征，这些特征将分别与原有resnet中layer2、layer3和layer4层的特征进行简单的相加，这种特征的叠加方式可以融合预训练的特征和从0开始训练的特征的优点。
ANlayer1的输入为layer1的输出，Anlayer2接收的输入为从0开始训练的Anlayer1的特征和预训练的layer2的特征的拼接，不仅Anlayer2的输入将两者有效的融合，layer3输入也由单一的前向传递layer2特征变为了预训练的layer2特征与从0开始训练的ANlayer1的叠加，layer4的输出为反卷积deconv1、deconv2、deconv3。这种极简的辅助网络的设计主要是弥补resnet中残差模块对于低级、中级、高级语义信息的理解能力。我们认为，高级特征的高效表达来源于多级特征的融合。例如layer2包含了两个残差模块，其输出的特征可以理解为较强程度的中级特征。ANlayer1用3*3的卷积对低层语义信息进行程度稍弱的提取，从而使得layer3和ANlayer2的输入同时具备了中级特征和低级特征，进而提高了特征的表达能力；
通过2D关键点定位网络输出反卷积deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
卷积(convolution)层：卷积神经网络中用于提取特征的层，用于对高维数据进行低维特征提取，分为卷积操作、激活(activation)操作、池化(pooling)操作三部分。其中，进行卷积操作时，使用预先经过训练学习得到的卷积核进行特征提取，进行激活操作时，使用激活函数(activation function)对卷积得到的特征图进行激活处理，常用的激活函数包括线性整流(Rectified Linear Unit，ReLU)函数、S型(Sigmoid)函数和双曲正切(Tanh)函数。经过卷积激活层之后，通过池化操作降低卷积激活输出的特征向量(即缩小特征图的尺寸)，同时改善过拟合问题。常用的池化方式包括平均池化(mean-pooling)、最大池化(max-pooling)和随机池化(stochastic-pooling)；
反卷积(deconvolution)层：与卷积层的作用相反，反卷积层用于将低维特征映射成高维输出。本发明中，反卷积层是用于对特征向量进行上采样的层，即用于增大特征图的尺寸；
拼接：指将两张同尺寸的多通道特征图进行融合过程，其中，拼接后特征图的通道数等于拼接两张特征图的通道数之和；
残差层：一种通过残差网络(Residual Network，ResNet)结构进行特征提取的层结构，本发明中，我们选用resnet18进行骨干网络特征提取，用于对受电弓图像进行特征提取，确定弓网接触区域的关键点。
本发明为提高亚像素级关键点定位精度，改进了关键点回归的损失函数，具体包括：
本步骤的任务主要包括两个部分：包围框相关参数的回归、关键点相关参数的回归。其中，包围框的参数是anchor-free方法的3个部分：目标热图、宽高、框中心的偏移量；关键点则需要更精细的回归，包括：关键点热图、关键点连接热图、关键点偏移量。以下分两步介绍loss的改进策略：
包围框(接触区域)的loss：
目标热图仍沿用centernet中原始的focal loss，因其在一定程度上解决了正负样本不均衡的问题。对于包围框的中心关键点检测，需要更精细的回归，因为后续接触关键点的偏移量回归是在该中心点的基础上计算的。在人脸关键点回归任务中，每个关键点的回归难度不一样，在训练初期，所有的点误差都很大，训练到中后期时，大部分点都已经基本准确，但是还不够准，误差较小。为回归得更准，就必须放大它的损失。L1 Loss对于较大误差比较敏感，但是对较小误差则比较不敏感，而导致关键点无法得到精细结果，因此考虑加重对中小误差的关注，故本发明采用wingloss回归包围框框中心的偏移量代替L1 Loss。具体公式如下：
Figure BDA0003372674890000081
其中，ω＝2，ε＝2。
对于包围框的宽高，原始的centernet采用L1 Loss对其数值进行回归，不仅缺少位置信息，还极大的引入了人工标注的误差。本发明采用改进的lbbox对包围框位置进行回归。在网络输出的宽高w，h的基础上，结合输出的热图和偏移量，初步解码出预测框
Figure BDA0003372674890000082
的信息，再通过计算其与真值框
Figure BDA0003372674890000083
的损失函数，可以达到更精确的回归包围框的目的。我们不仅用GIoU来得到两个框之间的位置信息，也同样加入了对预测框宽高的aspect loss Lw&h。
完整的
Figure BDA0003372674890000084
函数公式如下：
Figure BDA0003372674890000085
其中，Ap、Agt分别为预测框与真值框的面积；预测框与真值框的最小凸集为
Figure BDA0003372674890000086
面积为Ac；Cw，Ch为最小凸集的包围框宽高，即
Figure BDA0003372674890000087
ρ代表两个值的欧氏距离；ρ2(w，wgt)代表当前回归得到的宽度与真值宽度欧氏距离的平方，ρ2(h，hgt)代表当前回归得到的高度与真值高度欧氏距离的平方；通过增加对宽高的loss函数lw&h最小化了目标框和锚框的宽度和高度之间的差异，从而导致更快的收敛速度和更好的定位结果。我们设计的Lbbox不仅发挥了iouloss在位置回归上的优势，还没有丢弃w&h的数值信息。
包围框的loss函数主要包括两个部分：高精度的包围框回归和高精度的关键点回归。准确的包围框回归能给所求关键点回归提供良好的包围框中心点坐标，在关键点回归的过程中，其偏移量是该点距离包围框中心的偏移。总体损失函数为：
loss＝(lhm+lbbox+loffset)+(lhm-hp+lhp+lhp-offset)
其中，lbbox为包围框的宽高的回归损失函数，loffset为包围框的框中心的偏移量的回归损失函数；lhm-hp+lhp+lhp-affset分别表示关键点热图、像素级关键点、关键点偏移量的回归。其中，lhm-hp和lhp都是沿用Focal loss，lhp-offset沿用wingloss。
本发明还公开了一种基于关键点检测的弓网运行状况在线检测系统，包括：
双目相机，双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，双目相机分为左相机和右相机且两者间距尽量大，但公共视场必须包含完整的受电弓与接触区域，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像；
关键点检测模块，被配置为利用2D关键点定位网络提取双目相机采集得到的图像中的二维左右角点；
2D关键点定位网络即AN-CenterNet亚像素关键点检测模型，用于提取高铁列车受电弓与接触线相交的接触角点：AN-CenterNet亚像素关键点检测模型包括骨干网络resnet18、三个反卷积层(deconv1、deconv2、deconv3)以及未经过预训练的三个辅助特征增强模块(ANlayer1、ANlayer2、ANlayer3)，而上述的每一个结构都是由若干卷积层、反卷积层组成，通过三个辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
本发明还公开了一种电子设备，包括：
处理器；
存储器，存储器用来存储处理器可执行的指令；
处理器被配置为执行所述指令以实现如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
本发明还公开了一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
本发明未具体描述的部分或结构采用现有技术或现有产品即可，在此不做赘述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，包括以下步骤：
将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x2d,y2d,z2d)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x3d,y3d,z3d)，其中，z3d记为动态导高，三维接触点的x3d与受电弓中心点重建后的差记为动态拉出值。
2.根据权利要求1所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，分别在左、右图像中得到二维左右角点具体包括：
1)将列车同一时刻的左、右图像输入至训练好的高精度的2D关键点定位网络；
所述2D关键点定位网络包括骨干网络resnet18、三个反卷积层deconv1、deconv2、deconv3以及未经过预训练的若干个辅助特征增强模块，辅助特征增强模块位于骨干网络resnet18的layer1之后；
2)通过2D关键点定位网络分别对左、右图像进行特征提取，通过辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
3.根据权利要求2所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，所述辅助特征增强模块共有三个，分别为ANlayer1、ANlayer2、ANlayer3，ANlayer1的输入为layer1的输出，Anlayer2和layer3的输入均为从0开始的ANlayer1的特征和预训练的layer2的特征的拼接，同时具备中级和高级特征，Anlayer3和layer4的输入均为Anlayer2的特征和预训练的layer3的特征的相加，layer4的输出为反卷积层deconv1、deconv2、deconv3。
4.根据权利要求2所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，步骤2)，所述包围框的参数包括：目标热图、宽高、框中心的偏移量；所述关键点的参数包括：关键点热图、关键点连接热图、关键点偏移量。
5.根据权利要求4所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，采用wingloss分别对包围框的框中心的偏移量和关键点偏移量进行回归，wingloss的公式为：
Figure FDA0003372674880000021
其中，ω＝2，ε＝2。
6.根据权利要求4所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，采用改进的lbbox函数对包围框的宽高进行回归，公式如下：
Figure FDA0003372674880000022
其中Ap，Agt分别为预测框与真值框的面积；预测框与真值框的最小凸集为
Figure FDA0003372674880000023
面积为Ac；Cw，Ch分别为最小凸集的包围框的宽、高，
Figure FDA0003372674880000024
ρ代表两个值的欧氏距离，ρ2(w：wgt)代表当前回归得到的宽度与真值宽度欧氏距离的平方，ρ2(h，hgt)代表当前回归得到的高度与真值高度欧氏距离的平方。
7.根据权利要求4所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，所述包围框的loss函数包括：高精度的包围框回归和高精度的关键点回归，总体损失函数为：
loss＝(Lhm+lbbox+loffset)+(lhm-hp+lhp+lhp-offset)
其中，lbbox为包围框的宽高的回归损失函数，loffset为包围框的框中心的偏移量的回归损失函数；lhm-hp+lhp+lhp-offset分别表示关键点热图、像素级关键点、关键点偏移量的回归。
8.一种基于关键点检测的弓网运行状况在线检测系统，其特征在于，包括：
双目相机，所述双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像；
关键点检测模块，被配置为利用2D关键点定位网络提取双目相机采集得到的图像中的二维左右角点；
所述2D关键点定位网络，用于提取高铁列车受电弓与接触线相交的接触角点，包括骨干网络resnet18、deconv1、deconv2、deconv3三个反卷积层以及未经过预训练的三个辅助特征增强模块ANlayer1、ANlayer2、ANlayer3，通过ANlayer1、ANlayer2、ANlayer3提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
9.一种电子设备，其特征在于，包括：
处理器；
存储器，所述存储器用来存储处理器可执行的指令；
所述处理器被配置为执行所述指令以实现权利要求1-7任一所述的一种基于关键点检测的弓网运行状况在线检测方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-7任一所述的一种基于关键点检测的弓网运行状况在线检测方法。
CN202111407103.6A 2021-11-24 2021-11-24 一种基于关键点检测的弓网运行状况在线检测方法 Pending CN114119539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111407103.6A CN114119539A (zh) 2021-11-24 2021-11-24 一种基于关键点检测的弓网运行状况在线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111407103.6A CN114119539A (zh) 2021-11-24 2021-11-24 一种基于关键点检测的弓网运行状况在线检测方法

Publications (1)

Publication Number Publication Date
CN114119539A true CN114119539A (zh) 2022-03-01

Family

ID=80372621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111407103.6A Pending CN114119539A (zh) 2021-11-24 2021-11-24 一种基于关键点检测的弓网运行状况在线检测方法

Country Status (1)

Country Link
CN (1) CN114119539A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187603A (zh) * 2022-09-13 2022-10-14 国网浙江省电力有限公司 一种基于深度神经网络的电力设备检测方法及装置
CN115620321A (zh) * 2022-10-20 2023-01-17 北京百度网讯科技有限公司 表格识别方法及装置、电子设备和存储介质
CN116309591A (zh) * 2023-05-19 2023-06-23 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187603A (zh) * 2022-09-13 2022-10-14 国网浙江省电力有限公司 一种基于深度神经网络的电力设备检测方法及装置
CN115620321A (zh) * 2022-10-20 2023-01-17 北京百度网讯科技有限公司 表格识别方法及装置、电子设备和存储介质
CN116309591A (zh) * 2023-05-19 2023-06-23 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置
CN116309591B (zh) * 2023-05-19 2023-08-25 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN114119539A (zh) 一种基于关键点检测的弓网运行状况在线检测方法
Shi et al. Part-aˆ 2 net: 3d part-aware and aggregation neural network for object detection from point cloud
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN107392964A (zh) 基于室内特征点和结构线结合的室内slam方法
CN111402414B (zh) 一种点云地图构建方法、装置、设备和存储介质
CN105517677A (zh) 深度图/视差图的后处理方法和装置
CN112418084B (zh) 一种基于点云时序信息融合的三维目标检测方法
CN105522971B (zh) 车辆外部图像输出控制装置及方法
CN106485207A (zh) 一种基于双目视觉图像的指尖检测方法及系统
Famouri et al. A novel motion plane-based approach to vehicle speed estimation
Gao et al. ESGN: Efficient stereo geometry network for fast 3D object detection
CN105913013A (zh) 双目视觉人脸识别算法
CN107830869A (zh) 用于车辆的信息输出方法和装置
Cao et al. Joint 3D reconstruction and object tracking for traffic video analysis under IoV environment
CN107703513A (zh) 一种基于图像处理的新型非接触式接触网相对位置检测方法
CN109740609A (zh) 一种轨距检测方法及装置
Hao et al. Towards the steel plate defect detection: Multidimensional feature information extraction and fusion
CN108460348B (zh) 基于三维模型的道路目标检测方法
CN114723884A (zh) 三维人脸重建方法、装置、计算机设备及存储介质
Zimmer et al. Tumtraf v2x cooperative perception dataset
Chang et al. Robust online dynamic detection method for PAC operational status of high-speed trains based on key point positioning
CN109558765A (zh) 汽车及车道线的检测方法、装置
Du et al. Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks
Xu et al. Hybrid attention-aware transformer network collaborative multiscale feature alignment for building change detection
Jin et al. Dynamic visual simultaneous localization and mapping based on semantic segmentation module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination