CN112801110A - 轨道列车线阵相机图像畸变校正的目标检测方法及装置 - Google Patents

轨道列车线阵相机图像畸变校正的目标检测方法及装置 Download PDF

Info

Publication number
CN112801110A
CN112801110A CN202110137419.1A CN202110137419A CN112801110A CN 112801110 A CN112801110 A CN 112801110A CN 202110137419 A CN202110137419 A CN 202110137419A CN 112801110 A CN112801110 A CN 112801110A
Authority
CN
China
Prior art keywords
training
network model
data set
image
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110137419.1A
Other languages
English (en)
Other versions
CN112801110B (zh
Inventor
姜仕军
钱永军
侯旭晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Original Assignee
CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd filed Critical CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Priority to CN202110137419.1A priority Critical patent/CN112801110B/zh
Publication of CN112801110A publication Critical patent/CN112801110A/zh
Application granted granted Critical
Publication of CN112801110B publication Critical patent/CN112801110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种轨道列车线阵相机图像畸变校正的目标检测方法及装置，所述方法的步骤为：构建训练数据集；基于Retinanet网络构建训练网络模型，并构造损失函数；以训练数据集为输入对训练网络模型进行训练；构建在线待测试数据集；将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置框的高度值hk；将第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。本发明能够减少零部件的误检率，提高检出率，提高畸变率的计算精度，提升后续畸变校正的性能，提高轨道列车故障检测的性能。

Description

轨道列车线阵相机图像畸变校正的目标检测方法及装置
技术领域
本发明属于轨道交通技术领域，涉及轨道列车图像处理技术，具体地说，涉及一种轨道列车线阵相机图像畸变校正的目标检测方法及装置。
背景技术
随着地铁等轨道交通的不断发展，地铁车辆数量越来越多，在列车高速运行状态下，任何细小的故障都有可能导致重大事故，因此提高轨道列车运行中的故障检测和异常预警至关重要。
目前基于线阵相机的轨道列车状态监测已经在轨道交通故障检修方面得到广泛应用。其通过在轨旁安装相机对过往车辆进行图像数据采集，过车图像参见图1，然后基于图像算法对图像数据进行分析，判断列车是否存在安全隐患或安全故障。然而由于列车运行速度时刻变化，使得采集图像时，线阵相机的采集频率无法一直与列车车速保持匹配，因此导致线阵相机采集到的图像存在畸变问题，畸变给后续的故障检测带来了极大的困难。
路绳方、刘震提出了动车组运行故障动态图像比对分析方法(激光与光电子学进展,2017(09):301-307.)，通过在轨边安装布置高速线阵采集相机获取图像，通过机器学习和模式识别，实现列车故障的自动诊断和检测。为了减小列车速度对成像变形的影响，该方法需要一组历史图像作为基准图像，对其他时间段所获得的目标图像分别按照对应的基准图像进行配准和重分割，并结合TEDS，利用多分辨率下的图像快速配准方法实现目标图像的快速分割与对齐。该方法条件较多，且受亮度、形变和相似物体影响较大，当亮度变化或形变变化剧烈时，会导致特征点匹配较少，对齐性能差；当有相似物体时，容易出现特征点的误匹配，实现错误对齐。此外，还存在数据量和计算量大的问题。
公开号为CN104318568A的中国专利申请公开了一种图像配准的方法和系统，所述方法包括：获取待配准图像和参考图像；对所述待配准图像和参考图像进行形态学处理，将所述待配准图像分为多个大小相同的待配准子图像，将所述参考图像分为多个大小相同的参考子图像；从所述参考子图像中确定起始参考子图像，根据所述起始参考子图像设定参考模板，将所述参考模板与所述待配准子图像进行配准，根据所述配准的结果获取起始偏移量；根据所述起始偏移量配准所述起始待配准子图像，并通过二分法确定经过所述配准的起始待配准子图像是否包含局部偏移量；根据所述起始偏移量和/或局部偏移量配准所述待配准图像。该方法流程较复杂，受亮度、形变和相似物体影响较大。当亮度变化较大、形变剧烈和存在相似物体时，容易导致误配准或配准不到，算法配准的性能差。
授权公告号为CN110415192B的中国专利公开的一种轨道列车线阵相机图像畸变校正方法，方法包括以一张同车型无畸变的列车线阵相机图像为标准模板，对列车每个单节车厢或者单节车厢的一段，分别进行图像校正；在进行图像畸变校正之前先对图像进行超采样处理，可以避免下一步提取图像轮廓时可能会造成的图像信息丢失；在建立最小范数优化问题之前先提取图像轮廓，可以有效地解决标准模板图像与畸变图像之间可能存在的光照差异、灰尘、水渍、污渍以及随机噪声干扰等影响，使得校正更加精确、可靠性更高；将线性方程问题转化为最小范数的约束问题，并通过优化方法进行求解，可以得到更加稳定可靠的还原矩阵，进而使得校正后的结果更加稳定可靠。该方法需要针对每个图像进行轮廓提取和最小范数优化，其计算量大，数据量大，且受形变和相似物体影响较大，畸变校正性能较差。
公开号为CN111354026A的中国专利申请公开了一种基于SURF特征的改进列车图像精确配准方法，包括以下步骤：通过直方图，对参考图像和待配准图像，进行均衡化预处理；对预处理后的参考图像进行特征检测，提取出参考图像的特征点，对预处理后的待配准图像进行特征检测，提取出待配准图像的特征点；将参考图像的全部特征点和待配准图像的全部特征点进行一一匹配，形成多个特征点对；对特征点对进行筛选，删除匹配错误的特征点对；将筛选后的特征点对进行分段配准。该专利申请在现有技术基础上增加改进了特征筛选、分段线性化、插值配准等多个环节，虽然提高了配准精度，但仍存在畸变校正性能差的问题。该方法需要一组历史图像作为基准模板图像，其方法条件较多，且受亮度、形变和相似物体影响较大，当亮度变化或形变变化剧烈时，会导致特征点匹配较少，对齐性能差；当有相似物体时，容易出现特征点的误匹配，实现错误对齐。此外，还存在数据量和计算量大的问题。
发明内容
本发明针对现有线阵相机图像畸变的校正方法存在的畸变校正性能差等上述问题，提供了一种轨道列车线阵相机图像畸变校正的目标检测方法及装置，能够减少零部件的误检率，提高检出率，使待检测零部件与目标检测位置框紧密贴合，提高畸变率的计算精度，提升后续畸变校正的性能，提高轨道列车故障检测的性能。
为了达到上述目的，本发明提供了一种轨道列车线阵相机图像畸变校正的目标检测方法，其具体步骤为：
选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集；
基于Retinanet网络构建训练网络模型；
以训练数据集为输入对训练网络模型进行训练；
将实时过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建在线待测试数据集；
将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置框的高度值hk；
将第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。
进一步的，还包括以下步骤：对构建的训练数据集数据进行镜像、随机加噪声处理。
进一步的，还包括以下步骤：选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建测试数据集，将测试数据集输入至训练后的训练网络模型中检验训练后的训练网络模型的性能。
进一步的，还包括以下步骤：对预测正确的位置框进行畸变率计算，其具体步骤为：定义训练网络模型预测的位置框的左上角位置为(x1,y1)、右下角位置为(x2,y2)，则预测零部件长度值为w＝x2-x1，高度值h＝y2-y1，结合先验已知第k类零部件的长度值Wk、高度值Hk，则畸变率为(h*Wk)/(w*Hk)。
优选的，所述损失函数表示为：
Loss＝LRetinanet+L (1)
式中，Loss表示训练网络模型的损失函数，LRetinanet表示RetinaNet网络中使用的损失函数，L＝-α(1-pk)γ×(log(pk))表示损失函数Loss的优化部分，α和γ表示常数，
Figure BDA0002927525170000051
表示训练网络模型预测框与零部件真实位置框高度上的吻合程度，hk表示训练网络模型训练时预测出的第k类零部件位置框的高度，Hk表示先验已知第k类零部件位置框在训练网络模型预测时的目标高度。
优选的，以训练数据集为输入对训练网络模型进行训练的具体步骤为：
从训练数据中均匀抽出小批量样本mini-batch按照批次顺序送入Retinanet网络中，然后基于训练网络模型的损失函数计算损失函数值；
通过反向传播进行迭代完成梯度计算，采用动量+梯度下降法更新训练网络模型参数，使损失函数值最小；
循环训练所有批次，将所有数据迭代一遍成为一个epoch，若epoch未达到设定值则返回步骤1，继续进行训练，若epoch达到设定值，则完成训练。
为了达到上述目的，本发明还提供了一种适用于轨道列车线阵相机图像畸变校正的目标检测装置，包括：
数据采集模块，与线阵相机连接，用于采集过车图像；
数据集生成模块，用于选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集、测试数据集及在线待测试数据集；
模型生成及训练模块，用于基于Retinanet网络构建训练网络模型，并根据训练数据集对训练网络模型进行训练；
模型性能评估模块，用于根据测试数据集检验训练后的训练网络模型的性能；
判断模块，用于将根据训练后的训练网络模型对在线待测试数据集进行预测得到的第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，确定预测得到的第k类零部件位置框是否为误检。
进一步的，还包括畸变率计算模块，用于根据预测得到的第k类零部件位置框的左上角位置及右下角位置，结合先验已知第k类零部件的长度值Wk、高度值Hk计算畸变率。
与现有技术相比，本发明的优点和积极效果在于：
本发明通过构建合理的训练数据集，基于Retinanet网络构建合理的训练网络模型，结合线阵相机采集到轨道过车图像中零部件高度值近似不变的特性构造训练网络模型的损失函数，通过训练数据集对训练网络模型进行训练，通过训练后的训练网络模型进行前向预测，结合线阵相机采集到图像中零部件高度值近似不变的特性进行误检框过滤，降低误检率，提高物体的检出率，鲁棒性更好，计算速度更快，计算数据量更少，能够针对不同亮度变化、形变变化以及相似物体的基础上实现图像畸变率更准确的计算，为后续图像畸变校正提供准确的畸变数值，有效解决轨道列车线阵相机图畸变的校正性能，提高列车运行的安全性。
附图说明
图1为采集的过车图像示意图；
图2为本发明实施例所述轨道列车线阵相机图像畸变校正的目标检测方法的目标检测结果示意图；
图3为本发明实施例所述轨道列车线阵相机图像畸变校正的目标检测方法的流程图；
图4为本发明实施例所述轨道列车线阵相机图像畸变校正的目标检测装置的结构框图。
图中，1、数据采集模块，2、数据集生成模块，3、模型生成及训练模块，4、模型性能评估模块，5、判断模块，6、畸变率计算模块，7、线阵相机。
具体实施方式
下面，通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益地结合到其他实施方式中。
在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
实施例1：参见图3，本实施例提供了一种轨道列车线阵相机图像畸变校正的目标检测方法，其具体步骤为：
S1、选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集。本实施例采用了轨道列车线阵相机采集到图像中零部件高度值近似不变的特性，选择列车零部件高度比值一致或者高度比值相差很大的列车零部件作为训练数据集的标注物体，避免了高度差值不大的列车零部件对损失函数及误检剔除带来的困难。
S2、基于Retinanet网络构建训练网络模型，并构造损失函数，所述损失函数表示为：
Loss＝LRetinanet+L (1)
式中，Loss表示训练网络模型的损失函数，LRetinanet表示RetinaNet网络中使用的损失函数，L＝-α(1-pk)γ×(log(pk))表示损失函数Loss的优化部分，α和γ表示常数，
Figure BDA0002927525170000081
表示训练网络模型预测框与零部件真实位置框高度上的吻合程度，hk表示训练网络模型训练时预测出的第k类零部件位置框的高度，Hk表示先验已知第k类零部件位置框在训练网络模型预测时的目标高度。
本实施例采用Retinanet网络构建训练网络模型，相比于其他深度学习网络，Retinanet网络通过在不同尺度的特征层建立金字塔，用于获取丰富且多尺度的特征金字塔，提出了focal loss，能够解决样本类别不均衡问题，使其在同等模型的前向计算时间下具有更好的检测性能。训练网络模型的损失函数采用基于RetineNet网络优化后的损失函数，能够降低背景类等位置回归的损失，防止负样本过多造成的loss太大，提升零部件位置框的定位精确度，加速深度神经网络收敛的速度，有助于深度神经网络模型性能的提升，本实施例中，α为0.1，γ为2。
S3、以训练数据集为输入对训练网络模型进行训练；其具体步骤为：
S31、从训练数据中均匀抽出小批量样本mini-batch按照批次顺序送入Retinanet网络中，然后基于训练网络模型的损失函数计算损失函数值；
S32、通过反向传播进行迭代完成梯度计算，采用动量+梯度下降法更新训练网络模型参数，使损失函数值最小；
S33、循环训练所有批次，将所有数据迭代一遍成为一个epoch，若epoch未达到设定值则返回步骤S31，继续进行训练，若epoch达到设定值，则完成训练。
S4、将实时过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建在线待测试数据集。
S5、将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置框的高度值hk。
S6、将第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果，预测结果参见图2。
上述方法中，在步骤S1中，还包括以下步骤：对构建的训练数据集数据进行镜像、随机加噪声处理，实现数据增强。
上述方法中，在步骤S3中，还包括以下步骤：选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建测试数据集，将测试数据集输入至训练后的训练网络模型中检验训练后的训练网络模型的性能。需要说明的是，待测试数据集与所述训练数据集和所述测试数据集无重复数据。
上述方法中，在步骤S6之后，还包括以下步骤：对预测正确的位置框进行畸变率计算，其具体步骤为：定义训练网络模型预测的位置框的左上角位置为(x1,y1)、右下角位置为(x2,y2)，则预测零部件长度值为w＝x2-x1，高度值h＝y2-y1，结合先验已知第k类零部件的长度值Wk、高度值Hk，则畸变率为(h*Wk)/(w*Hk)。通过过滤误检框后的位置框进行畸变率计算，提高了畸变率计算的精确性。
本实施例上述方法，通过构建合理的训练数据集，基于Retinanet网络构建合理的训练网络模型，结合线阵相机采集到轨道过车图像中零部件高度值近似不变的特性构造训练网络模型的损失函数，通过训练数据集对训练网络模型进行训练，通过训练后的训练网络模型进行前向预测，结合线阵相机采集到图像中零部件的高度值近似不变的特性进行误检框过滤，降低误检率，提高物体的检出率，且计算速度快。
实施例2：参见图4，本实施例提供了一种适用于轨道列车线阵相机图像畸变校正的目标检测装置，包括：
数据采集模块1，与线阵相机7连接，用于采集过车图像；
数据集生成模块2，用于选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集、测试数据集及在线待测试数据集；
模型生成及训练模块3，用于基于Retinanet网络构建训练网络模型，并根据训练数据集对训练网络模型进行训练；
模型性能评估模块4，用于根据测试数据集检验训练后的训练网络模型的性能；
判断模块5，用于将根据训练后的训练网络模型对在线待测试数据集进行预测得到的第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，确定预测得到的第k类零部件位置框是否为误检。
具体地，判断模块将第k类零部件位置框的高度值hk与过车图像中第k类零部件的高度值Hk进行比较时，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。
具体地，模型生成及训练模块结合线阵相机采集到轨道过车图像的特性构造训练网络模型的损失函数，所述损失函数与实施例中所述的损失函数相同，此处不再赘述。
上述目标检测装置还包括畸变率计算模块6，用于根据预测得到的第k类零部件位置框的左上角位置及右下角位置，结合先验已知第k类零部件的长度值Wk、高度值Hk计算畸变率。通过过滤误检框后的位置框进行畸变率计算，提高了畸变率计算的精确性。
本实施例上述装置，通过数据集生成模块构建训练数据集，模型生成及训练模块基于Retinanet网络构建的训练网络模型，通过训练数据集对训练网络模型进行训练，通过训练后的训练网络模型进行前向预测，判断模块结合线阵相机采集到图像中零部件高度值近似不变的特性进行误检框过滤，降低误检率，提高物体的检出率，且计算速度快。
上述实施例用来解释本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，其具体步骤为：
选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集；
基于Retinanet网络构建训练网络模型，并构造损失函数；
以训练数据集为输入对训练网络模型进行训练；
将实时过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建在线待测试数据集；
将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置框的高度值hk；
将第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。
2.如权利要求1所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，还包括以下步骤：对构建的训练数据集数据进行镜像、随机加噪声处理。
3.如权利要求2所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，还包括以下步骤：选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建测试数据集，将测试数据集输入至训练后的训练网络模型中检验训练后的训练网络模型的性能。
4.如权利要求1所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，还包括以下步骤：对预测正确的位置框进行畸变率计算，其具体步骤为：定义训练网络模型预测的位置框的左上角位置为(x1,y1)、右下角位置为(x2,y2)，则预测零部件长度值为w＝x2-x1，高度值h＝y2-y1，结合先验已知第k类零部件的长度值Wk、高度值Hk，则畸变率为(h*Wk)/(w*Hk)。
5.如权利要求1至4任意一项所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，所述损失函数表示为：
Loss＝LRetinanet+L (1)
式中，Loss表示训练网络模型的损失函数，LRetinanet表示RetinaNet网络中使用的损失函数，L＝-α(1-pk)γ×(log(pk))表示损失函数Loss的优化部分，α和γ表示常数，
Figure FDA0002927525160000021
表示训练网络模型预测框与零部件真实位置框高度上的吻合程度，hk表示训练网络模型训练时预测出的第k类零部件位置框的高度，Hk表示先验已知第k类零部件位置框在训练网络模型预测时的目标高度。
6.如权利要求4所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，以训练数据集为输入对训练网络模型进行训练的具体步骤为：
从训练数据中均匀抽出小批量样本mini-batch按照批次顺序送入Retinanet网络中，然后基于训练网络模型的损失函数计算损失函数值；
通过反向传播进行迭代完成梯度计算，采用动量+梯度下降法更新训练网络模型参数，使损失函数值最小；
循环训练所有批次，将所有数据迭代一遍成为一个epoch，若epoch未达到设定值则返回步骤1，继续进行训练，若epoch达到设定值，则完成训练。
7.一种轨道列车线阵相机图像畸变校正的目标检测装置，其特征在于，包括：
数据采集模块，与线阵相机连接，用于采集过车图像；
数据集生成模块，用于选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集、测试数据集及在线待测试数据集；
模型生成及训练模块，用于基于Retinanet网络构建训练网络模型，并根据训练数据集对训练网络模型进行训练；
模型性能评估模块，用于根据测试数据集检验训练后的训练网络模型的性能；
判断模块，用于将根据训练后的训练网络模型对在线待测试数据集进行预测得到的第k类零部件位置框的高度值hk与过车图像中第k类零部件的已知高度值Hk进行比较，确定预测得到的第k类零部件位置框是否为误检。
8.如权利要求7所述轨道列车线阵相机图像畸变校正的目标检测装置，其特征在于，还包括畸变率计算模块，用于根据预测得到的第k类零部件位置框的左上角位置及右下角位置，结合先验已知第k类零部件的长度值Wk、高度值Hk计算畸变率。
CN202110137419.1A 2021-02-01 2021-02-01 轨道列车线阵相机图像畸变校正的目标检测方法及装置 Active CN112801110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110137419.1A CN112801110B (zh) 2021-02-01 2021-02-01 轨道列车线阵相机图像畸变校正的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110137419.1A CN112801110B (zh) 2021-02-01 2021-02-01 轨道列车线阵相机图像畸变校正的目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN112801110A true CN112801110A (zh) 2021-05-14
CN112801110B CN112801110B (zh) 2022-11-01

Family

ID=75813429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110137419.1A Active CN112801110B (zh) 2021-02-01 2021-02-01 轨道列车线阵相机图像畸变校正的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112801110B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808049A (zh) * 2021-09-23 2021-12-17 成都货安计量技术中心有限公司 一种列车线阵图像畸变校正方法及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441411A (zh) * 2016-08-31 2017-02-22 成都铁安科技有限责任公司 一种轨道机车及车辆走行部检测方法及检测系统
CN107180416A (zh) * 2017-05-17 2017-09-19 石家庄铁道大学 火车车轮踏面图像畸形校正方法及系统
CN108230330A (zh) * 2018-01-30 2018-06-29 北京同方软件股份有限公司 一种快速的高速公路路面分割和摄像机定位的方法
CN108376244A (zh) * 2018-02-02 2018-08-07 北京大学 一种自然场景图片中的文本字体的识别方法
CN108491786A (zh) * 2018-03-20 2018-09-04 南京邮电大学 一种基于分级网络和聚类合并的人脸检测方法
CN110415192A (zh) * 2019-07-31 2019-11-05 广州运达智能科技有限公司 一种轨道列车线阵相机图像畸变校正方法
CN110728706A (zh) * 2019-09-30 2020-01-24 西安电子科技大学 基于深度学习的sar图像精细配准方法
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN111127409A (zh) * 2019-12-13 2020-05-08 西南交通大学 基于sift图像配准与余弦相似度的列车部件检测方法
CN111145596A (zh) * 2019-12-05 2020-05-12 阿里巴巴集团控股有限公司 一种延误时长的预测方法及装置
CN111489339A (zh) * 2020-04-08 2020-08-04 北京交通大学 高速铁路定位器螺栓备母缺陷的检测方法
US20200356812A1 (en) * 2019-05-10 2020-11-12 Moley Services Uk Limited Systems and methods for automated training of deep-learning-based object detection
CN112163602A (zh) * 2020-09-14 2021-01-01 湖北工业大学 一种基于深度神经网络的目标检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441411A (zh) * 2016-08-31 2017-02-22 成都铁安科技有限责任公司 一种轨道机车及车辆走行部检测方法及检测系统
CN107180416A (zh) * 2017-05-17 2017-09-19 石家庄铁道大学 火车车轮踏面图像畸形校正方法及系统
CN108230330A (zh) * 2018-01-30 2018-06-29 北京同方软件股份有限公司 一种快速的高速公路路面分割和摄像机定位的方法
CN108376244A (zh) * 2018-02-02 2018-08-07 北京大学 一种自然场景图片中的文本字体的识别方法
CN108491786A (zh) * 2018-03-20 2018-09-04 南京邮电大学 一种基于分级网络和聚类合并的人脸检测方法
US20200356812A1 (en) * 2019-05-10 2020-11-12 Moley Services Uk Limited Systems and methods for automated training of deep-learning-based object detection
CN110415192A (zh) * 2019-07-31 2019-11-05 广州运达智能科技有限公司 一种轨道列车线阵相机图像畸变校正方法
CN110728706A (zh) * 2019-09-30 2020-01-24 西安电子科技大学 基于深度学习的sar图像精细配准方法
CN111145596A (zh) * 2019-12-05 2020-05-12 阿里巴巴集团控股有限公司 一种延误时长的预测方法及装置
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN111127409A (zh) * 2019-12-13 2020-05-08 西南交通大学 基于sift图像配准与余弦相似度的列车部件检测方法
CN111489339A (zh) * 2020-04-08 2020-08-04 北京交通大学 高速铁路定位器螺栓备母缺陷的检测方法
CN112163602A (zh) * 2020-09-14 2021-01-01 湖北工业大学 一种基于深度神经网络的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
国家食品药品监督管理局人事司等: "《医学成像设备 医疗器械部分》", 31 October 2010, 北京：中国医药科技出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808049A (zh) * 2021-09-23 2021-12-17 成都货安计量技术中心有限公司 一种列车线阵图像畸变校正方法及电子设备
CN113808049B (zh) * 2021-09-23 2023-06-02 成都货安计量技术中心有限公司 一种列车线阵图像畸变校正方法及电子设备

Also Published As

Publication number Publication date
CN112801110B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN102854191B (zh) 高速铁轨表面缺陷的实时视觉检测与识别方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN111322985B (zh) 基于激光点云的隧道限界分析方法、装置和系统
CN105844621A (zh) 一种印刷品质量检测方法
CN111754463B (zh) 一种基于卷积神经网络的无砟轨道ca砂浆层缺陷检测方法
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN111862029A (zh) 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN111784633A (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN115482195A (zh) 一种基于三维点云的列车部件变形检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN112801110B (zh) 轨道列车线阵相机图像畸变校正的目标检测方法及装置
CN111783616B (zh) 一种基于数据驱动自学习的无损检测方法
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN114544920A (zh) 盖梁施工用的振捣检测装置及方法
CN112102280B (zh) 铁路货车小部件承挡键螺母松动和丢失故障检测方法
CN112950493B (zh) 轨道列车线阵相机图像畸变校正方法及装置
Li et al. Detection of small size defects in belt layer of radial tire based on improved faster r-cnn
CN112070913B (zh) 基于物联网技术的检票处理方法
CN114494240A (zh) 基于多尺度协作深度学习的无砟轨道板裂缝测量方法
CN112508946A (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN110070520B (zh) 基于深度神经网络的路面裂缝检测模型构建及检测方法
Sun et al. Research on Both the Classification and Quality Control Methods of the Car Seat Backrest Based on Machine Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant