CN113808049B - 一种列车线阵图像畸变校正方法及电子设备 - Google Patents

一种列车线阵图像畸变校正方法及电子设备 Download PDF

Info

Publication number
CN113808049B
CN113808049B CN202111115996.7A CN202111115996A CN113808049B CN 113808049 B CN113808049 B CN 113808049B CN 202111115996 A CN202111115996 A CN 202111115996A CN 113808049 B CN113808049 B CN 113808049B
Authority
CN
China
Prior art keywords
image
corrected
template
train line
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111115996.7A
Other languages
English (en)
Other versions
CN113808049A (zh
Inventor
王炜
马保成
王坤
滕昭军
范俩彬
杨雷
王燕兵
李晖
邓雪
郭海涛
王筱野
彭恢全
赵旺
刘向东
吴梦迪
邓佳林
陈威
聂东林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huoan Metrology Technical Center Co ltd
Original Assignee
Chengdu Huoan Metrology Technical Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Huoan Metrology Technical Center Co ltd filed Critical Chengdu Huoan Metrology Technical Center Co ltd
Priority to CN202111115996.7A priority Critical patent/CN113808049B/zh
Publication of CN113808049A publication Critical patent/CN113808049A/zh
Application granted granted Critical
Publication of CN113808049B publication Critical patent/CN113808049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及轨道列车图像技术领域，特别是一种列车线阵图像畸变校正方法及电子设备。本发明通过对采集的列车线阵图像进行检测，利用检测结果将列车切分为多个图像区域；再筛选确定出模板图像，针对出现明显畸变的待校正图像和模板图像同时利用模型进行切分；对于每个切分的待校正图像将其按设定的步长截断和变化，再计算各变化后的图像与模板图像相同截断区域的相似度，相似度最大的变换区域即为相应截断区域的校正图像，经图块拼接后最终可实现线阵图像的畸变校正。避免了在进行畸变校正过程中特征点的提取，降低环境变化对图像质量的影响，并根据相似度指标自适应地实现图像的畸变校正，提升了图像校正的稳定性。

Description

一种列车线阵图像畸变校正方法及电子设备
技术领域
本发明涉及轨道列车图像技术领域，特别是一种列车线阵图像畸变校正方法及电子设备。
背景技术
近年来，随着我国轨道交通行业的快速发展，列车的运行安全愈发受到重视，而其中关注的主要重点是对车辆外观和走行部件进行状态监测。由于货运列车车身长度远大于其高度，为了实现外观精细成像，当前常用的方式是在轨旁装配线阵相机采集列车运行过程中的图像和视频，再安排专业的人员通过目检的方式一一排查车辆是否发生异常，该方法效率低，人力成本高，且容易发生漏检而造成列车运行风险。为了降低该类风险，进而通过计算机视觉的方法对各检测项点进行在线识别，该方法能够提高检测的效率和精度，但依赖于高分辨率和清晰完整的图像大数据。在实际的图像采集中，由于线阵相机安装在轨旁的台架上且以固定频率拍摄，而列车过车中会难以避免地引起台架小幅震动，同时由于车辆是变速行进，从而会使得采集后的图像产生不同程度的畸变，影响后续的图像定位和识别。
目前在轨道交通领域针对线阵图像畸变的问题，最常考虑的解决方案是通过安装磁钢或雷达达到实时测速的目的，进而调整线阵相机的拍摄频率。但线阵相机的采样频率较高，磁钢和雷达的测速频率很难与相机匹配，采集到的图像仍然存在畸变误差。申请号为CN201910701436.6的专利公开了一种轨道列车线阵相机图像畸变校正方法，但该方法主要针对车底结构，不能很好适应对车厢图像的校正，所以如今还需要一种列车线阵图像畸变校正方法及电子设备。
发明内容
本发明的目的在于克服现有技术中所存在的采集的列车线阵图像存在畸变的问题，提供一种列车线阵图像畸变校正方法及电子设备。
为了实现上述发明目的，本发明提供了以下技术方案：
一种列车线阵图像畸变校正方法，包括以下步骤：
S1：采集列车线阵图像，并进行预处理；所述预处理包括标注、数据增强以及多尺度变换；
S2：在预处理后的所述列车线阵图像中选出相同车型的模板图像和畸变的待校正图像；其中，所述模板图像为清晰完整，没有畸变的图像；
S3：通过车体检测模型和柱体检测模型分别检测所述模板图像和所述待校正图像的车体和车身柱体，并根据所述车身柱体的分布将所述模板图像和所述待校正图像中的车体切分成多个模板图块和多个待校正图块；其中，所述切分条件为：在检测的车体范围内，相邻柱体之间、两侧柱体与车侧之间，分别切分为一个区域(对车体进行预分割，以降低校正的累积误差，提高校正精度)；
S4：选择一个模板图块以及对应的待校正图块，以截断步长从图像第一列像素点开始，分别按列截取所述待校正图块和所述模板图块，对所述待校正图块的截取图像在水平方向乘以预设的变化系数做尺寸变化处理，得到模板截取图像以及待校正变化图像；其中，初始截断步长为预设值；所述变化系数为预设区间内以一定步长截取的各数值；
S5：分别计算不同变化系数下的所述待校正变化图像与所述模板截取图像之间的感知哈希值，并根据所述感知哈希值计算所述待校正变化图像与所述模板截取图像之间的汉明距离；
S6：将所述待校正图块的截断步长更新为：初始截断步长*变化系数；所述模板图块的截断步长保持为：初始截断步长；并分别按照所述待校正图块以及所述模板图块的截断步长滑动截断窗口；
S7：进入步骤S4直至所述待校正图像完整处理，将所述待校正图像的每个截取图像中汉明距离最小的待校正变化图像按顺序拼接，输出校正后的列车线阵图像。本发明通过车体检测模型和柱体检测模型对采集的列车线阵图像进行检测，利用检测结果将列车切分为多个图像区域；再筛选确定一批清晰完整、覆盖不同车型的模板图像，针对出现明显畸变的图像和模板图像同时利用模型进行切分；对于每个切分的待校正图像将其按设定的步长截断，并在一定的范围内对截断区域做压缩和拉伸，再计算各压缩或拉伸后的图像与模板图像相同截断区域的相似度，相似度最大的变换区域即为相应截断区域的校正图像。通过循环对待校正图像全图各截断区域做上述处理，经图块拼接后最终可实现线阵图像的畸变校正。避免了在进行畸变校正过程中特征点的提取，降低环境变化对图像质量的影响，并根据相似度指标自适应地实现图像的畸变校正，提升了图像校正的稳定性。
作为本发明的优选方案，所述步骤S3中所述车体检测模型和所述柱体检测模型是通过RetinaNet网络进行模型训练；
所述RetinaNet网络包括一个主干网络和两个子网络，所述主干网络用于通过卷积操作得到整张输入图像的特征图；两个所述子网络基于所述特征图分别用于进行目标分类和位置回归。本发明通过RetinaNet网络，能针对正负样本不均衡的情况更好地进行网络学习，提高了检测精度。
作为本发明的优选方案，所述步骤S3中所述车体检测模型和所述柱体检测模型为多尺度特征金字塔网络，采用ResNet-101+FPN作为主干网络，损失函数为Focal Loss。
作为本发明的优选方案，所述损失函数的表达式为：
FL(pt)＝-at(1-pt)γlog(pt)，
其中，pt是不同类别的分类概率，γ为大于0的预设值，at为[0，1]间的预设值。
作为本发明的优选方案，所述步骤S4中所述尺寸变化操作采用4×4像素邻域的双三次插值。
作为本发明的优选方案，所述双三次插值包括以下步骤：
对待插值的像素点(x,y)，取其附近的4×4邻域点(xi,yj),i,j＝0,1,2,3，按下式进行插值计算：
Figure BDA0003275315720000041
其中，W(x)为插值基函数，f(x,y)为插值后的坐标。
作为本发明的优选方案，所述插值基函数W(x)的表达式为：
Figure BDA0003275315720000042
作为本发明的优选方案，所述感知哈希值的计算式为：
Figure BDA0003275315720000043
其中，H(i,j)为像素点(i,j)的哈希值，n×n为缩小后的图像尺寸，g(i,j)为像素点(i,j)的灰度值。
作为本发明的优选方案，所述汉明距离的计算式为：
Figure BDA0003275315720000051
其中，d(x,y)为x,y之间的汉明距离，i,j＝0,1,…,n-1，Hx(i,j),Hy(i,j)分别是x,y中像素点(i,j)的哈希编码，
Figure BDA0003275315720000052
表示异或计算。
一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
与现有技术相比，本发明的有益效果：
1.本发明通过车体检测模型和柱体检测模型对采集的列车线阵图像进行检测，利用检测结果将列车切分为多个图像区域；再筛选确定一批清晰完整、覆盖不同车型的模板图像，针对出现明显畸变的图像和模板图像同时利用模型进行切分；对于每个切分的待校正图像将其按设定的步长截断，并在一定的范围内对截断区域做压缩和拉伸，再计算各压缩或拉伸后的图像与模板图像相同截断区域的相似度，相似度最大的变换区域即为相应截断区域的校正图像。通过循环对待校正图像全图各截断区域做上述处理，经图块拼接后最终可实现线阵图像的畸变校正。避免了在进行畸变校正过程中特征点的提取，降低环境变化对图像质量的影响，并根据相似度指标自适应地实现图像的畸变校正，提升了图像校正的稳定性。
2.本发明通过RetinaNet网络，能针对正负样本不均衡的情况更好地进行网络学习，提高了检测精度。
附图说明
图1为本发明实施例1所述的一种列车线阵图像畸变校正方法的流程示意图；
图2为本发明实施例1所述的一种列车线阵图像畸变校正方法的流程示意图；
图3为本发明实施例2所述的一种列车线阵图像畸变校正方法中模板图像和待校正图像的示意图；
图4为本发明实施例2所述的一种列车线阵图像畸变校正方法中待校正图像的切分示意图；
图5为本发明实施例2所述的一种列车线阵图像畸变校正方法中校正后的列车线阵图像；
图6为本发明实施例2所述的一种列车线阵图像畸变校正方法中模板图像的车窗标定图；
图7为本发明实施例2所述的一种列车线阵图像畸变校正方法中待校正图像的车窗标定图；
图8为本发明实施例2所述的一种列车线阵图像畸变校正方法中车窗标定校正后的列车线阵图像；
图9为本发明实施例3所述的一种利用了实施例1所述的一种列车线阵图像畸变校正方法的一种电子设备。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1所示，一种列车线阵图像畸变校正方法，包括以下步骤：
S1：采集列车线阵图像，并进行预处理；所述预处理包括标注、数据增强以及多尺度变换；并通过RetinaNet网络完成车体检测模型和柱体检测模型的训练。
其中，RetinaNet是由一个主干网络和两个子网络组成的统一目标检测网络。主干网络的主要作用是通过一系列卷积操作得到整张输入图像的特征图。两个子网分别基于输出的特征图进行目标分类和位置回归。
所述车体检测模型和柱体检测模型使用ResNet-101+FPN作为主干网络，为产生多尺度的特征金字塔。采用Focal Loss作为损失函数，其表达式为：
FL(pt)＝-at(1-pt)γlog(pt)，
其中，pt是不同类别的分类概率，γ是个大于0的值，at是个[0，1]间的小数，at和γ都是固定值，不参与训练。
S2：在预处理后的所述列车线阵图像中选出相同车型的模板图像和畸变的待校正图像；其中，所述模板图像为清晰完整，没有畸变的图像。
S3：通过车体检测模型和柱体检测模型分别检测所述模板图像和所述待校正图像的车体和车身柱体，并根据所述车身柱体的分布将所述模板图像和所述待校正图像中的车体切分成多个模板图块和多个待校正图块；其中，所述切分条件为：在检测的车体范围内，相邻柱体之间，以及两侧柱体与车侧之间，分别切分为一个区域；最终每张图像被切分为7张图块。
S4：选择一个模板图块以及对应的待校正图块，以截断步长从图像第一列像素点开始，分别按列截取所述待校正图块和所述模板图块，对所述待校正图块的截取图像在水平方向乘以预设的变化系数c做resize(尺寸变化)处理，得到模板截取图像以及待校正变化图像；其中，初始截断步长为预设值；其中，所述变化系数c取值为预先设定的[a,b],(0＜a＜1,b＞1)区间内以一定步长截取的各数值，resize采用4×4像素邻域的双三次插值，对待插值的像素点(x,y)，取其附近的4×4邻域点(xi,yj),i,j＝0,1,2,3，按如下公式进行插值计算：
Figure BDA0003275315720000081
其中W(x)为插值基函数，表达式为：
Figure BDA0003275315720000082
其中，a＝-0.5。
S5：计算不同系数下的变化图像分别与截取的模板图像的感知哈希值，公式如下：
Figure BDA0003275315720000083
其中，H(i,j)为像素点(i,j)的哈希值，n×n为缩小后的图像尺寸，g(i,j)为像素点(i,j)的灰度值。即将所有图像缩小至n×n的固定尺寸后，再转换为灰度图像计算平均灰度值，将每个像素的灰度值与平均值进行比较，大于或等于平均值的记为1，小于平均值的记为0，形成每张图像的指纹信息。
据此计算相应的汉明距离：
Figure BDA0003275315720000091
其中，d(x,y)为x,y之间的汉明距离，Hx(i,j),Hy(i,j)都是n×n位的哈希编码，分别是x,y中像素点(i,j)的哈希编码，
Figure BDA0003275315720000092
表示异或。即计算图像之间哈希编码中不相同的数据位数量，距离越小表明该尺度下的变化图像与截取的模板图像相似度越大，保留变化后的图像和对应的系数值。
S6：将所述待校正图块的截断步长更新为：初始截断步长*变化系数，所述模板图块的截断步长保持为：初始截断步长；并分别按照所述待校正图块以及所述模板图块的截断步长滑动截断窗口(如图2所示，灰色实线为初始截断位置，灰色虚线为乘变化系数后的位置，黑色实线为相似度最佳区域，白色实线为下一步截断区域)；
S7：进入步骤S4直至所述待校正图像完整处理，将所述待校正图像的每个截取图像中汉明距离最小的待校正变化图像按顺序拼接，输出校正后的列车线阵图像。
实施例2
本实施例为实施例1所述方法的具体应用例，具体包括以下步骤：
1.利用采集的列车图像数据，经标注车体和柱体并进行数据增强和多尺度变换后，通过RetinaNet网络分别训练检测车体和柱体的模型；
2.在采集的图像中筛选出不同车型的模板图像和待校正的待校正图像，分别见图3上和下；
3.通过训练的模型对正常和待校正图像进行车体和柱体检测，在检测的车体范围内，相邻柱体以及两侧柱体与车侧之间切分为一个区域，最终每张图像被切分为7张图块，切分方式见图4；
4.选定初始截断步长为10，从图像像素点第一列开始分别按列截取待校正图块和模板图块，将切分后的待校正图块的长和宽分别乘以一组系数后resize，系数范围和步长分别为[0.5，2.0]、0.05；
5.计算每张resize后的图像与对应的切分图像的感知哈希值并计算两者的汉明距离，保留距离最小的变化图像和对应的系数；
6.将待校正图块的截断位置更新为：初始截断步长*变化系数，模板图块的截断位置保持为：初始截断步长，并同时按照截断步长滑动窗口；
7.按上述操作遍历处理完整张待校正图像，将保留的所有的相似度最大的截断图像按顺序拼接，最终得到校正后的列车线阵图像，见图5。
在待校正图像通过本发明中的方法处理后，最终的校正效果对比见图3和图5，可以看出图1中车体左部明显压缩和右部明显拉伸的部分得到了有效的修正和还原。最终在利用模板图像进行标定的过程中，以定位车身第一和第四个车窗为例，在模板图像(图6)上手动标定好车窗位置，利用相同的坐标分别在校正前后图像上定位车窗，结果如图7和图8所示。可以看出提出的方法有效地解决了对货运列车的线阵图像畸变的问题，从而提高了图像定位精度，有助于进一步更准确地实现图像识别。
实施例3
如图9所示，一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种列车线阵图像畸变校正方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源用于为电子设备提供电能。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种列车线阵图像畸变校正方法，其特征在于，包括以下步骤：
S1：采集列车线阵图像，并进行预处理；所述预处理包括标注、数据增强以及多尺度变换；
S2：在预处理后的所述列车线阵图像中选出相同车型的模板图像和畸变的待校正图像；其中，所述模板图像为清晰完整，没有畸变的图像；
S3：通过车体检测模型和柱体检测模型分别检测所述模板图像和所述待校正图像的车体和车身柱体，并根据所述车身柱体的分布将所述模板图像和所述待校正图像中的车体切分成多个模板图块和多个待校正图块；其中，所述切分条件为：在检测的车体范围内，相邻柱体之间、两侧柱体与车侧之间，分别切分为一个区域；
S4：选择一个模板图块以及对应的待校正图块，以截断步长从图像第一列像素点开始，分别按列截取所述待校正图块和所述模板图块，对所述待校正图块的截取图像在水平方向乘以预设的变化系数做尺寸变化处理，得到模板截取图像以及待校正变化图像；其中，初始截断步长为预设值；所述变化系数为预设区间内以一定步长截取的各数值；
S5：分别计算不同变化系数下的所述待校正变化图像与所述模板截取图像之间的感知哈希值，并根据所述感知哈希值计算所述待校正变化图像与所述模板截取图像之间的汉明距离；
S6：将所述待校正图块的截断步长更新为：初始截断步长*变化系数，所述模板图块的截断步长保持为：初始截断步长；并分别按照所述待校正图块以及所述模板图块的截断步长滑动截断窗口；
S7：进入步骤S4直至所述待校正图像完整处理，将所述待校正图像的每个截取图像中汉明距离最小的待校正变化图像按顺序拼接，输出校正后的列车线阵图像。
2.根据权利要求1所述的一种列车线阵图像畸变校正方法，其特征在于，所述步骤S3中所述车体检测模型和所述柱体检测模型是通过RetinaNet网络进行模型训练；
所述RetinaNet网络包括一个主干网络和两个子网络，所述主干网络用于通过卷积操作得到整张输入图像的特征图；两个所述子网络基于所述特征图分别用于进行目标分类和位置回归。
3.根据权利要求1所述的一种列车线阵图像畸变校正方法，其特征在于，所述步骤S3中所述车体检测模型和所述柱体检测模型为多尺度特征金字塔网络，采用ResNet-101+FPN作为主干网络，损失函数为Focal Loss。
4.根据权利要求3所述的一种列车线阵图像畸变校正方法，其特征在于，所述损失函数的表达式为：
FL(pt)＝-at(1-pt)γlog(pt)，
其中，pt是不同类别的分类概率，γ为大于0的预设值，at为[0，1]间的预设值。
5.根据权利要求1所述的一种列车线阵图像畸变校正方法，其特征在于，所述步骤S4中所述尺寸变化操作采用4×4像素邻域的双三次插值。
6.根据权利要求5所述的一种列车线阵图像畸变校正方法，其特征在于，所述双三次插值包括以下步骤：
对待插值的像素点(x,y)，取其附近的4×4邻域点(xi,yj),i,j＝0,1,2,3，按下式进行插值计算：
Figure FDA0003275315710000021
其中，W(x)为插值基函数，f(x,y)为插值后的坐标。
7.根据权利要求6所述的一种列车线阵图像畸变校正方法，其特征在于，所述插值基函数W(x)的表达式为：
Figure FDA0003275315710000031
a为预设值。
8.根据权利要求1所述的一种列车线阵图像畸变校正方法，其特征在于，所述感知哈希值的计算式为：
Figure FDA0003275315710000032
其中，H(i,j)为像素点(i,j)的哈希值，n×n为缩小后的图像尺寸，g(i,j)为像素点(i,j)的灰度值。
9.根据权利要求8所述的一种列车线阵图像畸变校正方法，其特征在于，所述汉明距离的计算式为：
Figure FDA0003275315710000033
其中，d(x,y)为x,y之间的汉明距离，i,j＝0,1,…,n-1，Hx(i,j),Hy(i,j)分别是x,y中像素点(i,j)的哈希编码，
Figure FDA0003275315710000034
表示异或计算。
10.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
CN202111115996.7A 2021-09-23 2021-09-23 一种列车线阵图像畸变校正方法及电子设备 Active CN113808049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111115996.7A CN113808049B (zh) 2021-09-23 2021-09-23 一种列车线阵图像畸变校正方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115996.7A CN113808049B (zh) 2021-09-23 2021-09-23 一种列车线阵图像畸变校正方法及电子设备

Publications (2)

Publication Number Publication Date
CN113808049A CN113808049A (zh) 2021-12-17
CN113808049B true CN113808049B (zh) 2023-06-02

Family

ID=78896413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115996.7A Active CN113808049B (zh) 2021-09-23 2021-09-23 一种列车线阵图像畸变校正方法及电子设备

Country Status (1)

Country Link
CN (1) CN113808049B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827003A1 (en) * 2006-02-22 2007-08-29 Océ-Technologies B.V. Method for correction of a trapezoidal distortion of images
CN106780388A (zh) * 2016-12-22 2017-05-31 哈尔滨工业大学 一种线阵相机光学畸变矫正方法
CN108805935A (zh) * 2018-05-02 2018-11-13 南京大学 一种基于正交像素当量比的线阵相机畸变校正方法
CN110415192A (zh) * 2019-07-31 2019-11-05 广州运达智能科技有限公司 一种轨道列车线阵相机图像畸变校正方法
CN111354026A (zh) * 2020-02-27 2020-06-30 广州运达智能科技有限公司 一种基于surf特征的改进列车图像精确配准方法和系统
CN112801110A (zh) * 2021-02-01 2021-05-14 中车青岛四方车辆研究所有限公司 轨道列车线阵相机图像畸变校正的目标检测方法及装置
CN112950493A (zh) * 2021-02-01 2021-06-11 中车青岛四方车辆研究所有限公司 轨道列车线阵相机图像畸变校正方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827003A1 (en) * 2006-02-22 2007-08-29 Océ-Technologies B.V. Method for correction of a trapezoidal distortion of images
CN106780388A (zh) * 2016-12-22 2017-05-31 哈尔滨工业大学 一种线阵相机光学畸变矫正方法
CN108805935A (zh) * 2018-05-02 2018-11-13 南京大学 一种基于正交像素当量比的线阵相机畸变校正方法
CN110415192A (zh) * 2019-07-31 2019-11-05 广州运达智能科技有限公司 一种轨道列车线阵相机图像畸变校正方法
CN111354026A (zh) * 2020-02-27 2020-06-30 广州运达智能科技有限公司 一种基于surf特征的改进列车图像精确配准方法和系统
CN112801110A (zh) * 2021-02-01 2021-05-14 中车青岛四方车辆研究所有限公司 轨道列车线阵相机图像畸变校正的目标检测方法及装置
CN112950493A (zh) * 2021-02-01 2021-06-11 中车青岛四方车辆研究所有限公司 轨道列车线阵相机图像畸变校正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
线阵相机图像自适应畸变校正方法及在列车成像上的应用;李兆新;吕劲松;胡远江;刘正一;邹梦;;电子测量技术(第15期);全文 *

Also Published As

Publication number Publication date
CN113808049A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
US20200364849A1 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN111814867A (zh) 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN116682112B (zh) 一种多糖测试数据存储及数字化方法
CN111652117B (zh) 一种对多文档图像分割的方法及介质
CN111753794A (zh) 水果品质分类方法、装置、电子设备及可读存储介质
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN117011222A (zh) 一种电缆缓冲层缺陷检测方法、装置、存储介质和设备
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116338392A (zh) 一种玻璃绝缘子雷击放电缺陷识别方法、装置及设备
CN113111850B (zh) 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN113808049B (zh) 一种列车线阵图像畸变校正方法及电子设备
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116229419B (zh) 一种行人检测方法及装置
CN110298347B (zh) 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法
CN116883987A (zh) 一种用于变电站无人巡检的指针仪表读数识别方法
CN116403085A (zh) 一种基于多任务的变电站多指针仪表识别方法及装置
CN105389775A (zh) 融合图像灰度特征与结构化表示的图像群组配准方法
CN114821165A (zh) 一种轨道检测图像采集分析方法
CN116844058B (zh) 一种指针式仪表示数的识别方法、装置、设备及存储介质
CN118037610B (zh) 一种针对复杂环境的水尺图像畸变校正方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant