CN116503619A - 铁路货车的装载检测方法、装置、电子设备及存储介质 - Google Patents

铁路货车的装载检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116503619A
CN116503619A CN202310507116.3A CN202310507116A CN116503619A CN 116503619 A CN116503619 A CN 116503619A CN 202310507116 A CN202310507116 A CN 202310507116A CN 116503619 A CN116503619 A CN 116503619A
Authority
CN
China
Prior art keywords
loading
image
contour
decomposition scale
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310507116.3A
Other languages
English (en)
Inventor
崔耸
林章发
聂望雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pingao Supply Chain Management Co ltd
Original Assignee
Shanghai Pingao Supply Chain Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pingao Supply Chain Management Co ltd filed Critical Shanghai Pingao Supply Chain Management Co ltd
Priority to CN202310507116.3A priority Critical patent/CN116503619A/zh
Publication of CN116503619A publication Critical patent/CN116503619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明公开了一种铁路货车的装载检测方法、装置、电子设备及存储介质，本发明通过采集铁路货车的装载图像，并结合机器视觉以及多重图像处理技术，来对装载图像中的铁路货车进行图像识别以及轮廓识别，并以此来得到铁路货车的装载轮廓图像，如此，根据装载轮廓图像，则可确定出铁路货车的装载界限数据；最后，将装载界限数据与标准界限数据进行对比，即可得出铁路货车的装载检测结果；由此，本发明采用机器识别及多重图像处理的技术，来自动的识别出铁路货车的装载状态，相比于人工检查，不仅工作效率高、强度低，且检测实时性以及准确性得到了大幅提升，能够最大限度的降低因货物超限而导致的安全事故。

Description

铁路货车的装载检测方法、装置、电子设备及存储介质
技术领域
本发明属于铁路货车数字化监测技术领域，具体涉及一种铁路货车的装载检测方法、装置、电子设备及存储介质。
背景技术
铁路是我国国民经济的大动脉，列车运行安全不仅关系到铁路运输企业的直接经济效益和间接经济效益，同时还会对社会生产和社会生活秩序产生重大影响；在我国铁路客货共线运输的现状下，货运列车的运行安全在铁路列车运行安全中占重要的地位，因此，保证货运列车安全快速的正点运行，及时完成货运任务，不仅有利于提高铁路运输行业的竞争优势，还对促进社会的安定和生产具有十分重要的作用。
在铁路货物运输过程中，货物的装载状态是直接影响货物列车安全运行的重要因素之一，而货物装载状态中的装载超限，则是在列车运行过程中必须要严格关注的内容，铁路货车的装载超限，可能会引起各种各样的事故，如顶部超限会损坏铁路沿线基础设施，在电气化区段可能会与接触网接触而引起火灾事故，宽度超限会使货物伸出车外，从而在运行过程中造成行车安全隐患，更有甚者，若货物为散件物品(如煤炭)，其在装载超限后，还可能会掉落在铁轨沿线，给后续列车运行造成严重的安全隐患。
目前，对铁路货车的装载超限检测，大多都是靠目视和简单的人工拉尺进行检查，工作质量的高低取决于作业人员的工作经验、能力、责任心和状态等不确定的因素，因此，现有的检测方法存在以下不足：工作效率低、劳动强度大，检测质量不高，不能准确且及时的检测出货物装载状态，已不能满足现有运输条件下对货物运输安全管理的要求；基于此，如何提供一种不依赖于人工，且工作效率高、检测及时以及准确的铁路货车装载状态的检测方法，已成为一个亟待解决的问题。
发明内容
本发明的目的是提供一种铁路货车的装载检测方法、装置、电子设备及存储介质，用以解决现有技术采用人工检查所存在的工作效率低、劳动强度大，检测质量不高，不能准确且及时的检测出货物装载状态的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种铁路货车的装载检测方法，包括：
获取目标铁路货车的装载图像，其中，所述装载图像包括所述目标铁路货车装载货物后的俯视图像，以及所述目标铁路货车装载货物后的两侧的侧视图像；
对所述装载图像进行图像识别处理，得到所述目标铁路货车的装载检测图像，其中，所述装载检测图像中仅含有所述目标铁路货车；
对所述装载检测图像进行多分解尺度的小波变换处理，以在小波变换处理后，得到所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数；
基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到所述装载检测图像在各个分解尺度下所对应的轮廓点，以利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像；
根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，并基于所述货物装载界限数据，得出所述目标铁路货车的装载检测结果，其中，所述装载检测结果包括货物装载超限或货物装载符合装载标准。
基于上述公开的内容，本发明先采集目标铁路货车的装载图像(该装载图像包括有目标铁路货车装载货物后的俯视图像以及两侧的侧视图像)，来作为装载检测的数据基础；而后，通过对前述俯视图像和侧视图像进行图像识别，来完成目标铁路货车所在图像区域的自动分割，从而得到目标铁路货车的装载检测图像，如此，该步骤相当于分割出了仅含有目标铁路货车的区域，从而减少了图像中其他物体对货物装载检测的干扰；接着，本发明对装载检测图像进行小波变换处理，来得到装载检测图像中各个像素点在不同分解尺度下的小波变换系数；由此，即可利用各个像素点在不同分解尺度下的小波变换系数，来确定出不同分解尺度下的各个像素点是否为边界点，从而得到装载检测图像在不同分解尺度下的轮廓点，然后，将不同分解尺度下的轮廓点进行融合处理，即可得到目标铁路货车的装载轮廓图像(该装载轮廓图像则包括俯视轮廓图像以及两侧的侧视轮廓图像)；最后，根据装载轮廓图像，即可得到目标铁路货车的货物装载界限数据(如货物高度以及货物宽度)，而将货物装载界限数据与标准界限数据进行对比，则可得到目标铁路货车的装载检测结果。
通过上述设计，本发明通过采集铁路货车的装载图像，并结合机器视觉以及多重图像处理技术，来对装载图像中的铁路货车进行图像识别以及轮廓识别，并以此来得到铁路货车的装载轮廓图像，如此，根据装载轮廓图像，则可确定出铁路货车的装载界限数据；最后，将装载界限数据与标准界限数据进行对比，即可得出铁路货车的装载检测结果；由此，本发明采用机器识别及多重图像处理的技术，来自动的识别出铁路货车的装载状态，相比于人工检查，不仅工作效率高、强度低，且检测实时性以及准确性得到了大幅提升，能够最大限度的降低因货物超限而导致的安全事故，适用于在铁路货车运行安全检测领域的大规模应用与推广。
在一个可能的设计中，所述装载检测图像包括：所述目标铁路货车的俯视装载检测图像以及两侧的侧视装载检测图像；
其中，基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到装载检测图像在各个分解尺度下所对应的轮廓点，包括：
对于所述装载检测图像中的俯视装载检测图像内的任一像素点，基于所述任一像素点在任一分解尺度下的小波变换系数，计算出所述任一像素点在该任一分解尺度下的梯度矢量值，以及所述任一像素点在该任一分解尺度下的方向角；
根据所述任一像素点在所述任一分解尺度下的方向角，判断所述任一像素点在所述任一分解尺度下是否为局部极大值点；
若是，则获取所述俯视装载检测图像在所述任一分解尺度下的边界阈值；
判断所述任一像素点在所述任一分解尺度下的梯度矢量值，是否大于或等于边界阈值；
若是，则将所述任一像素点，作为所述装载检测图像在所述任一分解尺度下对应的轮廓点。
在一个可能的设计中，根据所述任一像素点在所述任一分解尺度下的方向角，判断所述任一像素点在所述任一分解尺度下是否为局部极大值点，包括：
以所述任一像素点为中心，获取所述任一像素点在第一目标图像中的八个邻接点，以利用八个邻接点得到所述任一像素点的八邻域区域，其中，所述第一目标图像为所述俯视装载检测图像在所述任一分解尺度下的小波变换图像，且每个邻接点到所述任一像素点的距离相等；
以所述任一像素点为起点，连接各个邻接点，得到八个连接线，并利用八个连接线将所述八邻域区域划分为八个梯度区域；
获取每个梯度区域在所述八邻域区域内的角度范围，并基于每个梯度区域的角度范围，确定出每个梯度区域的局部极大值范围区间；
计算所述任一像素点在所述任一分解尺度下的方向角的正切值，并从八个梯度区域的局部极大值范围区间中，确定出所述正切值所属的局部极大值范围区间，以将所述正切值所属的局部极大值范围区间对应的梯度区域，作为局部极大值散落区域；
基于所述局部极大值散落区域的角度中线，确定出所述局部极大值散落区域的梯度方向；
获取所述八邻域区域在所述梯度方向上任意相邻的两像素点，并计算出该任意相邻的两像素点的梯度矢量值；
判断所述任一像素点在所述任一分解尺度下的梯度矢量值，是否大于所述任意相邻的两像素点的梯度矢量值；
若是，则判定所述任一像素点在所述任一分解尺度下为局部极大值点。
在一个可能的设计中，获取所述俯视装载检测图像在所述任一分解尺度下的边界阈值，包括：
基于所述俯视装载检测图像中各个像素点在目标分解尺度下的小波变换系数，计算出所述俯视装载检测图像中各个像素点在目标分解尺度下的梯度矢量值，并从所述目标分解尺度下的各个梯度矢量值中，选取出最大的梯度矢量值，其中，所述目标分解尺度为所述任一分解尺度的上一分解尺度；
基于所述最大的梯度矢量值和所述任一分解尺度，并按照如下公式(1)，计算出所述俯视装载检测图像在所述任一分解尺度下的边界阈值；
上述公式(1)中，D表示所述俯视装载检测图像在所述任一分解尺度下的边界阈值，Wmax表示所述最大的梯度矢量值，λ表示边界阈值计算系数，其中，j表示所述任一分解尺度对应的尺度系数，任一分解尺度的取值为2j，j的取值区间为且N表示所述俯视装载检测图像中像素点的行数或列数，且j为整数。
在一个可能的设计中，所述装载轮廓图像包括所述目标铁路货车的俯视轮廓图像，其中，利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像，包括：
基于所述俯视装载检测图像在第d个分解尺度下所对应的轮廓点，生成所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像；
对于所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中的第i个轮廓点，获取所述第i个轮廓点在第二目标图像中的边缘匹配区域，其中，所述第二目标图像为所述俯视装载检测图像在第d-1个分解尺度下的俯视轮廓图像，且所述边缘匹配区域为所述第二目标图像中的所述第i个轮廓点的邻域区域；
基于第i个轮廓点的梯度矢量值和方向角，从所述边缘匹配区域中确定出候选轮廓点；
将i自加1，并重新获取所述第i个轮廓点在第二目标图像中的边缘匹配区域，直至i等于z时，得到所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中每个轮廓点的候选轮廓点，以利用每个轮廓点的候选轮廓点组成候选轮廓点集，其中，i的初始值为1，且z为俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中的轮廓点总数；
基于所述候选轮廓点集中各个候选轮廓点的梯度矢量值，对各个候选轮廓点进行分类，并将同一类的候选轮廓点进行连接，得到多个候选轮廓链；
从多个候选轮廓链中，删除链长小于链长阈值的候选轮廓链，得到俯视装载检测图像基于第d个分解尺度下和第d-1个分解尺度下的俯视轮廓图像进行图像融合后的融合轮廓图像；
将d自减1，并判断d是否大于1；
若是，则重新基于所述俯视装载检测图像在第d个分解尺度下所对应的轮廓点，生成所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像，直至d等于1时，得到所述目标铁路货车的俯视轮廓图像，其中，d的初始值为L，且L为所述俯视装载检测图像进行小波变换处理时的最大分解尺度。
在一个可能的设计中，基于所述第i个轮廓点的梯度矢量值和方向角，从所述边缘匹配区域中确定出候选轮廓点，包括：
对于所述边缘匹配区域中的任一点，获取所述任一点的梯度矢量值和方向角；
判断所述任一点的方向角与所述第i个轮廓点的方向角是否相同，以及判断所述任一点的梯度矢量值是否大于或等于所述第i个轮廓点的梯度矢量值；
若是，则将所述任一点作为候选轮廓点。
在一个可能的设计中，所述装载轮廓图像包括：所述目标铁路货车的俯视轮廓图像和两侧的侧视轮廓图像；
其中，根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，包括：
基于所述俯视轮廓图像，得出所述目标铁路货车的装载宽度，以及基于两侧的侧视轮廓图像，得出所述目标铁路货车的装载高度；
利用所述装载宽度和装载高度，组成所述货物装载界限数据。
第二方面，提供了一种铁路货车的装载检测装置，包括：
图像获取单元，用于获取目标铁路货车的装载图像，其中，所述装载图像包括所述目标铁路货车装载货物后的俯视图像，以及所述目标铁路货车装载货物后的两侧的侧视图像；
图像识别单元，用于对所述装载图像进行图像识别处理，得到所述目标铁路货车的装载检测图像，其中，所述装载检测图像中仅含有所述目标铁路货车；
轮廓提取单元，用于对所述装载检测图像进行多分解尺度的小波变换处理，以在小波变换处理后，得到所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数；
轮廓提取单元，还用于基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到所述装载检测图像在各个分解尺度下所对应的轮廓点，以利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像；
装载检测单元，用于根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，并基于所述货物装载界限数据，得出所述目标铁路货车的装载检测结果，其中，所述装载检测结果包括货物装载超限或货物装载符合装载标准。
第三方面，提供了另一种铁路货车的装载检测装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述铁路货车的装载检测方法。
第四方面，提供了一种存储介质，存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述铁路货车的装载检测方法。
第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述铁路货车的装载检测方法。
有益效果：
(1)本发明通过采集铁路货车的装载图像，并结合机器视觉以及多重图像处理技术，来对装载图像中的铁路货车进行图像识别以及轮廓识别，并以此来得到铁路货车的装载轮廓图像，如此，根据装载轮廓图像，则可确定出铁路货车的装载界限数据；最后，将装载界限数据与标准界限数据进行对比，即可得出铁路货车的装载检测结果；由此，本发明采用机器识别及多重图像处理的技术，来自动的识别出铁路货车的装载状态，相比于人工检查，不仅工作效率高、强度低，且检测实时性以及准确性得到了大幅提升，能够最大限度的降低因货物超限而导致的安全事故，适用于在铁路货车运行安全检测领域的大规模应用与推广。
附图说明
图1为本发明实施例提供的铁路货车的装载检测方法的步骤流程示意图；
图2为本发明实施例提供的铁路货车的装载检测装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1所示，本实施例所提供的铁路货车的装载检测方法，通过采集铁路货车的装载图像，并利用机器识别及图像处理的技术，来自动生成铁路货车的装载轮廓图像，而后，根据装载轮廓图像，则可得到铁路货车的货物装载界限数据，最后，将货物装载界限数据与标准界限数据进行对比，即可得到铁路货车的装载检测结果；如此，本发明相比于人工检查，不仅工作效率高、强度低，且检测实时性以及准确性得到了大幅提升，能够最大限度的降低因货物超限而导致的安全事故，适用于在铁路货车运行安全检测领域的大规模应用与推广；在本实施例中，举例该方法可以但不限于在货物装载检测端侧运行，其中，举例所述货物装载检测端可以但不限于为个人电脑(personal computer，PC)、平板电脑或智能手机，可以理解的是，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S5所示。
S1.获取目标铁路货车的装载图像，其中，所述装载图像包括所述目标铁路货车装载货物后的俯视图像，以及所述目标铁路货车装载货物后的两侧的侧视图像；在本实施例中，举例可以但不限于采用图像采集终端(如摄像头、激光扫描仪)来进行装载图像的采集，同时，在具体应用时，可在铁路货车站点的轨道旁安装一固定栏，固定栏的顶部以及两侧设置有前述图像采集终端，以在列车通过该固定栏时，拍摄每节车厢的俯视图像以及两侧的侧视图像；当然，本实施例前述的装载图像是指每节车厢的装载图像。
在得到目标铁路货车的装载图像后，可先进行图像识别，以识别出装载图像中的目标铁路货车，从而对识别出的目标进行图像分割，得到仅含有目标的图像区域；其中，图像识别过程可以但不限于如下述步骤S2所示。
S2.对所述装载图像进行图像识别处理，得到所述目标铁路货车的装载检测图像，其中，所述装载检测图像中仅含有所述目标铁路货车；在具体应用时，可以但不限于使用训练后的yolov4模型(YOLO模型是由Joseph Redmon等人于2015年提出的神经网络模型结构，yolov4则是第4版本)来进行图像识别(即目标检测)，从而识别出装载图像中的目标铁路货车；当然，是对装载检测图像中的俯视图像和两侧视图像分别进行图像识别，从而得到俯视图像对应的俯视装载检测图像，以及两侧视图像对应的侧视装载检测图像。
更进一步的，前述yolov4模型的训练过程可以为：(1)获取训练数据集，其中，训练数据集中包括海量样本铁路货车装载货物后的样本俯视图像，以及两侧的样本侧视图像；(2)以训练数据集中每张样本图像为输入，每张样本图像中样本铁路货车的图像区域为输出，训练yolov4模型，以在训练完成后，得到训练后的yolov4模型；当然，本实施例还可使用其余神经网络模型，在此不限定于此；另外，在进行图像识别前，还可先对装载检测图像进行图像预处理，如进行图像增强和图像去噪等等，以减少图像中的噪声对目标检测的干扰。
在得到前述装载图像中仅含有目标铁路货车的图像区域后，即可基于前述分离出的图像，来进行轮廓识别，以基于轮廓识别结果，来得出目标铁路货车的装载检测结果；其中，轮廓识别过程可以但不限于如下述步骤S3和步骤S4所示。
S3.对所述装载检测图像进行多分解尺度的小波变换处理，以在小波变换处理后，得到所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数；在具体应用时，相当于是对俯视图像对应的俯视装载检测图像，以及两侧视图像对应的侧视装载检测图像分别进行多分解尺度的小波变换处理，得到俯视装载检测图像在不同分解尺度下的小波变换图像，以及两侧视装载检测图像在不同分解尺度下的小波变换图像；更进一步的，俯视装载检测图像在不同分解尺度下的小波变换图像所包含的像素点相同，仅仅是像素点的小波变换系数不同，且任一分解尺度下的小波变换图像中的任一像素点对应有第一小波变换系数和第二小波变换系数。
在本实施例中，可以但不限于采用B样条小波基底来作为小波母函数，并根据俯视装载检测图像的尺寸，来确定出分解尺度d的取值，其中，d＝2j，且j为整数，其取值区间为N表示所述俯视装载检测图像中像素点的行数或列数；可选的，小波变换处理为图像处理中的常用技术手段，其变换过程不再赘述。
在得到装载检测图像中每个像素点在各个分解尺度下的小波变换系数后，则可根据小波变换系数，来进行多尺度下的边界点的识别，以便利用多尺度下的边界点，来生成目标铁路货车的装载轮廓图像，其中，边界点的识别过程可以但不限于如下述步骤S4所示。
S4.基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到所述装载检测图像在各个分解尺度下所对应的轮廓点，以利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像；在本实施例中，由于俯视装载检测图像以及两侧视装载检测图像中轮廓点的识别过程相同，下述以俯视装载检测图像为例，来进行轮廓点识别的具体阐述。
在具体应用时，对于所述装载检测图像中的俯视装载检测图像内的任一像素点，该任一像素点在任一分解尺度下的轮廓点的识别过程可以但不限于如下述步骤S41～S45所示。
S41.对于所述装载检测图像中的俯视装载检测图像内的任一像素点，基于所述任一像素点在任一分解尺度下的小波变换系数，计算出所述任一像素点在该任一分解尺度下的梯度矢量值，以及所述任一像素点在该任一分解尺度下的方向角；在具体应用时，可以但不限于采用如下公式(2)计算出前述梯度矢量值，以及采用如下公式(3)，计算出前述方向角。
上述公式(2)中，Sx(d,u,v)表示俯视装载检测图像中的像素点(u，v)在分解尺度d下的梯度矢量值，w1x(d,u,v)表示俯视装载检测图像中的像素点(u，v)在分解尺度d下的第一小波变换系数，w2x(d,u,v)表示俯视装载检测图像中的像素点(u，v)在分解尺度d下的第二小波变换系数，x(d,u,v)表示俯视装载检测图像在分解尺度d下的小波变换图像，其中，u,v＝1,2,...,N，且d＝2j；如此，当j为1时，d代表分解尺度一(取值为2)，j为2时，d代表分解尺度二(取值为4)，以此类推，后续的分解尺度则不再赘述。
上述公式(3)中，θx(d,u,v)表示俯视装载检测图像中的像素点(u，v)在分解尺度d下的方向角；更进一步的，该方向角为：目标连线与x轴之间的夹角，目标连线为该像素点(u，v)，与在分解尺度d下的小波变换图像中的最左下角的像素点之间的连线，x轴则为该分解尺度d下的小波变换图像的长度方向。
在得到前述俯视装载检测图像内的任一像素点，在所述任一分解尺度下的梯度矢量值和方向角后，则可基于前述两参数，来判断出该任一像素点，是否为俯视装载检测图像在该任一分解尺度下的轮廓点，其中，判断过程如下述步骤S42～S45所示。
S42.根据所述任一像素点在所述任一分解尺度下的方向角，判断所述任一像素点在所述任一分解尺度下是否为局部极大值点；在具体应用时，任一像素点是否为局部极大值点，可以但不限于根据与其相邻的八个邻接点来确定，其确定过程可以但不限于如下述步骤S42a～S42h所示。
S42a.以所述任一像素点为中心，获取所述任一像素点在第一目标图像中的八个邻接点，以利用八个邻接点得到所述任一像素点的八邻域区域，其中，所述第一目标图像为所述俯视装载检测图像在所述任一分解尺度下的小波变换图像，且每个邻接点到所述任一像素点的距离相等；在具体实施时，相当于是从所述俯视装载检测图像在该任一分解尺度下的小波变换图像中，确定出与前述任一像素点距离相同的八个邻接点，从而以该任一像素点为中心，八个邻接点为边界，构建出八邻域区域，当然，该八邻域区域则为圆形区域。
在得到前述任一像素点的八邻域区域后，则可进行梯度区域的划分，以确定出每个梯度区域的局部极大值范围区间，其中，梯度区域及其对应局部极大值范围区间的确定过程可以但不限于如下述步骤S42b和步骤S42c所示。
S42b.以所述任一像素点为起点，连接各个邻接点，得到八个连接线，并利用八个连接线将所述八邻域区域划分为八个梯度区域；由此，相当于就是将八邻域区域均分为八个扇形区域，而该八个扇形区域则为梯度区域，在本实施例中，举例八个梯度区域的角度范围可以但不限于由-22.5°、22.5°、67.5°、112.5°、157.5°、-157.5°、-112.5°、-67.5°和-22.5组成，当然，只要八个梯度区域的总角度和为360度，且每个梯度区域的夹角是相同的即可；而在得到八个梯度区域后，则可进行局部极大值范围区间的计算，如下述步骤S42c所示。
S42c.获取每个梯度区域在所述八邻域区域内的角度范围，并基于每个梯度区域的角度范围，确定出每个梯度区域的局部极大值范围区间；在实施例中，对于任一梯度区域，计算该任一梯度区域的角度范围中两边界角度的正切值，即可得到局部极大值范围区间；如假设八个梯度区域的起点为0，转半圈为180度(即八邻接区域分为两部分，上半圆为0-180°，下半圆为-180°-0)，因此，前4个梯度的角度范围分别为-22.5°～22.5°(即以起点为0，上半圆取22.5度，下半圆取22,5度，称为梯度区域0)，22.5°～67.5(称为梯度区域1)，67.5°～112.5(称为梯度区域2)，112.5°～157.5(称为梯度区域3)；同时，由于8个梯度区域具有对称性，后续4个区域对称选取即可，于此不再一一罗列；而后，取各个角度范围的边界角度的正切值，则可得到每个梯度区域的局部极大值范围区间。
在得到各个梯度区域的局部极大值范围区间后，即可计算该任一像素点在所述任一分解角度下的方向角的正切值，然后，判断该方向角的正切值所属的区间，即可确定出该任一像素点的局部极大值散落区域；其中，确定过程可以但不限于如下述步骤S42d所示。
S42d.计算所述任一像素点在所述任一分解尺度下的方向角的正切值，并从八个梯度区域的局部极大值范围区间中，确定出所述正切值所属的局部极大值范围区间，以将所述正切值所属的局部极大值范围区间对应的梯度区域，作为局部极大值散落区域；在具体应用时，假设所述任一像素点在所述任一分解尺度下的方向角的正切值，处于前述梯度区域2对应的局部极大值范围区间内，那么，则将梯度区域2作为局部极大值散落区域；当然，当其落入其余局部极大值范围区间时，其确定原理与前述举例一致，于此不再赘述。
在得到前述任一像素点的局部极大值散落区域，即可确定出该局部极大值散落区域的梯度方向，以便基于梯度方向，来判断出该任一像素点是否为局部极大值点，其中，利用梯度方向来进行局部极大值点的判断过程，可以但不限于如下述步骤S42e～S42h所示。
S42e.基于所述局部极大值散落区域的角度中线，确定出所述局部极大值散落区域的梯度方向；在本实施例中，可以但不限于将前述角度中线所指示的方向，作为梯度方向，还是以梯度区域2作为局部极大值散落区域为例，其角度中线则是67.5°-112.5°之间的角度中线，也就是将90度的方向，作为梯度方向；当然，当局部极大值散落区域为其余梯度区域时，其梯度方向的确定过程与前述举例相同，于此不再赘述。
在得到梯度方向后，则可取八邻域区域中处于该梯度方向上的任意相邻两像素点，然后通过比较该任一像素点，与前述选取的相邻两像素点之间的梯度矢量的值，即可确定出该任一像素点是否为该任一分解尺度下的局部极大值点，其中，比较过程如下述步骤S42f～S42h所示。
S42f.获取所述八邻域区域在所述梯度方向上任意相邻的两像素点，并计算出该任意相邻的两像素点的梯度矢量值；在本实施例中，该任意相邻的两像素点的梯度矢量值的计算过程，与前述任一像素点的梯度矢量值的计算过程相同，于此不再赘述。
在得到该任意相邻的两像素点的梯度矢量值后，即可进行梯度矢量值的对比，如下述步骤S42g和步骤S42h所示。
S42g.判断所述任一像素点在所述任一分解尺度下的梯度矢量值，是否大于所述任意相邻的两像素点的梯度矢量值；在本实施例中，若该任一像素点在所述任一分解尺度下的梯度矢量值，大于该任意相邻的两像素点的梯度矢量值，则认定其为局部极大值点，反之，则不是；如下述步骤S42h所示。
S42h.若是，则判定所述任一像素点在所述任一分解尺度下为局部极大值点。
由此通过前述步骤S42a～S42h，即可基于该任一像素点在所述任一分解尺度下的方向角，来判断处该任一像素点是否为所述任一分解尺度下为局部极大值点；而确定出其为局部极大值点后，即可获取该任一分解尺度下的边界阈值，然后将该任一像素点的梯度矢量值，与边界阈值进行对比，即可判断出该任一像素点是否为边界点，其中，边界阈值的获取过程，可以但不限于如下述步骤S43所示。
S43.若是，则获取所述俯视装载检测图像在所述任一分解尺度下的边界阈值；在具体实施时，可以但不限于根据俯视装载检测图像在该任一像素点所在分解尺度的上一分解尺度下，各个像素点的梯度矢量值，以及该任一像素点所对应的分解尺度，来计算出边界阈值，其中，前述计算过程可以但不限于如下述步骤S43a和步骤S43b所示。
S43a.基于所述俯视装载检测图像中各个像素点在目标分解尺度下的小波变换系数，计算出所述俯视装载检测图像中各个像素点在目标分解尺度下的梯度矢量值，并从所述目标分解尺度下的各个梯度矢量值中，选取出最大的梯度矢量值，其中，所述目标分解尺度为所述任一分解尺度的上一分解尺度；在本实施例中，假设所述任一分解尺度为分解尺度2，那么目标分解尺度则为1，也就是计算出所述俯视装载检测图像中各个像素点在分解尺度一下的梯度矢量值，然后选取最大的梯度矢量值，来进行边界阈值的计算；更进一步的，若所述任一分解尺度为分解尺度一，那么最大的梯度矢量值则为初始值，可预设。
在得到俯视装载检测图像在所述任一分解尺度的上一分解尺度所对应的最大梯度矢量值后，即可结合所述任一分解尺度，来进行该任一分解尺度下的边界阈值的计算，如下述步骤S43b所示。
S43b.基于所述最大的梯度矢量值和所述任一分解尺度，并按照如下公式(1)，计算出所述俯视装载检测图像在所述任一分解尺度下的边界阈值。
上述公式(1)中，D表示所述俯视装载检测图像在所述任一分解尺度下的边界阈值，Wmax表示所述最大的梯度矢量值，λ表示边界阈值计算系数，其中，j表示所述任一分解尺度对应的尺度系数，任一分解尺度的取值为2j，j的取值区间为且N表示所述俯视装载检测图像中像素点的行数或列数，且j为整数。
在本实施例中，以一个实例来阐述前述公式(1)，假设前述任一分解尺度为分解尺度2，且前述就已说明，分解尺度2的取值为4，那么j为2，如此，即可将j代入前述公式(1)，计算出分解尺度2所对应的边界阈值；另外，举例λ为整数。
在得到俯视装载检测图像在所述任一分解尺度下的边界阈值后，将所述任一像素点在所述任一分解尺度下的梯度矢量值，与该边界阈值进行对比，即可确定出所述任一像素点是否为所述装载检测图像在所述任一分解尺度下对应的轮廓点；其中，前述对比过程如下述步骤S44和步骤S45所示。
S44.判断任一像素点在所述任一分解尺度下的梯度矢量值，是否大于或等于边界阈值。
S45.若是，则将所述任一像素点，作为所述装载检测图像在所述任一分解尺度下对应的轮廓点；在本实施例中，若前述任一像素点在所述任一分解尺度下的梯度矢量值，小于边界阈值，则判定其非轮廓点。
由此通过前述步骤S41～S45所详细描述的轮廓点的判定过程，本实施例即可根据俯视装载检测图像内的任一像素点，在该任一分解尺度下的梯度矢量值和方向角，来确定出该任一像素点是否为俯视装载检测图像在该任一分解尺度下的轮廓点；而后，以相同方法，判断其余像素点，即可得到俯视装载检测图像在该任一分解尺度下所有的轮廓点；当然，其余分解尺度下轮廓点的判定过程，以及两侧视装载检测图像中各个分解尺度下的轮廓点的判定过程，也可参见前述步骤S41～S45，于此不再赘述。
而在得到俯视装载检测图像在各个分解尺度下所有的轮廓点，以及两侧视装载检测图像中各个分解尺度下的轮廓点后，即可进行不同分解尺度下的轮廓图像的融合，从而得到目标铁路货车的俯视轮廓图像，以及两侧视轮廓图像。
在本实施例中，还是以俯视装载检测图像为例，来具体阐述不同分解尺度下的轮廓图的融合过程，可以但不限于如下述第一步至第八步所示。
第一步：基于所述俯视装载检测图像在第d个分解尺度下所对应的轮廓点，生成所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像；在本实施例中，将所述俯视装载检测图像在第d个分解尺度下对应的小波变换图像中的各个轮廓点进行连接，即可得到第d个分解尺度下的俯视轮廓图像；在本实施例中，d的初始值为L，也就是从最大分解尺度开始，依次与前一分解尺度进行图像融合，其中，融合过程如下述第二步至第八步所示。
第二步：对于所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中的第i个轮廓点，获取所述第i个轮廓点在第二目标图像中的边缘匹配区域，其中，所述第二目标图像为所述俯视装载检测图像在第d-1个分解尺度下的俯视轮廓图像，且所述边缘匹配区域为所述第二目标图像中的所述第i个轮廓点的邻域区域；在本实施例中，由于前述就已说明，每个小波变换图像中各个像素点都是相同的，仅是小波变换系数不同，如此，该步骤相当于是在第d-1个分解尺度下的俯视轮廓图像中，找到第i个轮廓点，然后取其三邻域区域，作为边缘匹配区域，如，假设第i个轮廓点的坐标为(2,3)，那么，则是在第d-1个分解尺度下的俯视轮廓图像中，找到像素坐标为(2,3)的点，以作为第d-1个分解尺度下的俯视轮廓图像中的第i个轮廓点，然后，取像素坐标为(2,3)的点的三邻域区域，作为边缘匹配区域。
在得到所述第i个轮廓点在第二目标图像中的边缘匹配区域后，即可进行候选轮廓点的判断，如下述第三步所示。
第三步：基于第i个轮廓点的梯度矢量值和方向角，从所述边缘匹配区域中确定出候选轮廓点；在具体应用时，对于所述边缘匹配区域中的任一点，先获取所述任一点的梯度矢量值和方向角，其中，任一点的梯度矢量值与方向角的计算公式可参见前述公式(2)和(3)，于此不再赘述；然后，判断所述任一点的方向角与所述第i个轮廓点的方向角是否相同，以及判断所述任一点的梯度矢量值是否大于或等于所述第i个轮廓点的梯度矢量值；在本实施例中，若满足前述判断条件，则将所述任一点作为候选轮廓点，反之，则判定该任一点为非候选轮廓点；由此通过前述设计，即可以前述相同方法，从边缘匹配区域中确定出第d个分解尺度下的俯视轮廓图像中的第i个轮廓点，所对应的候选轮廓点。
在得到第d个分解尺度下的俯视轮廓图像中的第i个轮廓点的候选轮廓点后，即可以前述方法，来进行下一轮廓点对应的候选轮廓点的选取，直至得到第d个分解尺度下的俯视轮廓图像中所有轮廓点的候选轮廓点均确定完毕时为止，其中，循环过程如下述第四步所示。
第四步：将i自加1，并重新获取所述第i个轮廓点在第二目标图像中的边缘匹配区域，直至i等于z时，得到所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中每个轮廓点的候选轮廓点，以利用每个轮廓点的候选轮廓点组成候选轮廓点集，其中，i的初始值为1，且z为俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中的轮廓点总数。
在得到第d个分解尺度下的俯视轮廓图像中每个轮廓点的候选轮廓点后，即可进行候选轮廓点的链化处理，以便在链化处理后，得到第d个分解尺度下和第d-1个分解尺度下的俯视轮廓图像进行融合后的融合轮廓图像，其中，链化过程如下述第五步和第六步所示。
第五步：基于所述候选轮廓点集中各个候选轮廓点的梯度矢量值，对各个候选轮廓点进行分类，并将同一类的候选轮廓点进行连接，得到多个候选轮廓链；在本实施例中，将梯度矢量值差值小于预设阈值的候选轮廓点(该预设阈值可预设)，分为同一类；而后，将同一类的候选轮廓点进行连接，即可得到多个候选轮廓链；最后，将链长小于链长阈值的候选轮廓链进行删除，即可得到融合轮廓图像，如下述第六步所示。
第六步：从多个候选轮廓链中，删除链长小于链长阈值的候选轮廓链，得到俯视装载检测图像基于第d个分解尺度下和第d-1个分解尺度下的俯视轮廓图像进行图像融合后的融合轮廓图像；在具体应用时，多个候选轮廓链则相当于是轮廓线，如此，相当于是将在第d-1分解尺度下的俯视轮廓图像中进行候选轮廓点的连线，然后将该图像中非候选轮廓点的像素点置0(可以但不限于为将非候选轮廓点的小波变换系数置0)，从而得到融合轮廓图像。
在完成第d个分解尺度下和第d-1个分解尺度下的俯视轮廓图像的图像融合后，即可将d自减1，然后重复前述步骤，直至d的值为1时为止，其中，循环过程如下述第七步和第八步所示。
第七步：将d自减1，并判断d是否大于1。
第八步：若是，则重新基于所述俯视装载检测图像在第d个分解尺度下所对应的轮廓点，生成所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像，直至d等于1时，得到所述目标铁路货车的俯视轮廓图像，其中，d的初始值为L，且L为所述俯视装载检测图像进行小波变换处理时的最大分解尺度。
在本实施例中，以一个实例来阐述前述不同分解尺度下轮廓图像的融合过程，假设L＝3，也就是从第三分解尺度开始，确定出第三个分解尺度下的俯视轮廓图像中的各个轮廓点的候选轮廓点，由于候选轮廓点属于第二分解尺度下的俯视轮廓图像；如此，相当于在第二分解尺度下的俯视轮廓图像中，对候选轮廓点进行链化处理，也就是分类，然后将同一类的候选轮廓点进行连接，并去除链长小于链长阈值的候选轮廓链；此时，则完成了一次融合处理，得到了第三分解尺度和第二分解尺度下的俯视轮廓图像进行融合后的图像(记为融合轮廓图像1)。
接着，将d自减1(3-1＝2)，此时，则确定出第二个分解尺度下的俯视轮廓图像中的各个轮廓点的候选轮廓点，由于候选轮廓点属于第一分解尺度下的俯视轮廓图像，因此，以相同原理，在第二分解尺度下的俯视轮廓图像中，对候选轮廓点进行链化处理，得到第二分解尺度和第一分解尺度下的俯视轮廓图像进行融合后的图像(记为融合轮廓图像2)，此时，完成两次融合处理。
将d自减1(2-1＝1)，其不大于1，此时，结束循环，如此，即可将融合轮廓图像2，作为目标铁路货车的俯视轮廓图像。
当然，在本实施例中，基于侧视装载检测图像在不同分解尺度下的轮廓点，进行不同分解尺度下轮廓图像的融合过程，与前述俯视装载检测图像的融合过程相同，于此不再赘述。
由此通过前述设计，即可基于俯视装载检测图像在各个分解尺度下所有的轮廓点，以及两侧视装载检测图像中各个分解尺度下的轮廓点后，生成得到目标铁路货车的俯视轮廓图像，以及左右两侧的侧视轮廓图像，即前述装载轮廓图像包括俯视轮廓图像和两侧的侧视轮廓图像。
在得到前述俯视轮廓图像和两侧视轮廓图像后，即可确定出目标铁路货车的货物装载界限数据，而后，将货物装载界限数据与标准界限数据进行对比，即可得出目标铁路货车的装载检测结果，其中，检测过程如下述步骤S5所示。
S5.根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，并基于所述货物装载界限数据，得出所述目标铁路货车的装载检测结果，其中，所述装载检测结果包括货物装载超限或货物装载符合装载标准；在具体应用时，可以但不限于基于所述俯视轮廓图像，得出所述目标铁路货车的装载宽度，以及基于两侧的侧视轮廓图像，得出所述目标铁路货车的装载高度；然后利用所述装载宽度和装载高度，组成所述货物装载界限数据；最后，将货物装载界限数据与标准界限数据进行对比，即可确定出目标铁路货车是否超限；更进一步的，若装载宽度大于标准装载宽度和/或装载高度大于标准装载高度，则可判定目标铁路货车为货物装载超限，而若装载宽度小于等于标准装载宽度，且装载高度小于等于标准装载高度，则判定目标铁路货车的货物装载符合装载标准。
由此通过前述步骤S1～S5所详细描述的铁路货车的装载检测方法，本发明通过采集铁路货车的装载图像，并利用机器识别及图像处理的技术，来自动生成铁路货车的装载轮廓图像，而后，根据装载轮廓图像，则可得到铁路货车的货物装载界限数据，最后，将货物装载界限数据与标准界限数据进行对比，即可得到铁路货车的装载检测结果；如此，本发明相比于人工检查，不仅工作效率高、强度低，且检测实时性以及准确性得到了大幅提升，能够最大限度的降低因货物超限而导致的安全事故，适用于在铁路货车运行安全检测领域的大规模应用与推广。
如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的铁路货车的装载检测方法的硬件装置，包括：
图像获取单元，用于获取目标铁路货车的装载图像，其中，所述装载图像包括所述目标铁路货车装载货物后的俯视图像，以及所述目标铁路货车装载货物后的两侧的侧视图像。
图像识别单元，用于对所述装载图像进行图像识别处理，得到所述目标铁路货车的装载检测图像，其中，所述装载检测图像中仅含有所述目标铁路货车。
轮廓提取单元，用于对所述装载检测图像进行多分解尺度的小波变换处理，以在小波变换处理后，得到所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数。
轮廓提取单元，还用于基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到所述装载检测图像在各个分解尺度下所对应的轮廓点，以利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像。
装载检测单元，用于根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，并基于所述货物装载界限数据，得出所述目标铁路货车的装载检测结果，其中，所述装载检测结果包括货物装载超限或货物装载符合装载标准。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图3所示，本实施例第三方面提供了另一种铁路货车的装载检测装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的铁路货车的装载检测方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的铁路货车的装载检测方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的铁路货车的装载检测方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的铁路货车的装载检测方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种铁路货车的装载检测方法，其特征在于，包括：
获取目标铁路货车的装载图像，其中，所述装载图像包括所述目标铁路货车装载货物后的俯视图像，以及所述目标铁路货车装载货物后的两侧的侧视图像；
对所述装载图像进行图像识别处理，得到所述目标铁路货车的装载检测图像，其中，所述装载检测图像中仅含有所述目标铁路货车；
对所述装载检测图像进行多分解尺度的小波变换处理，以在小波变换处理后，得到所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数；
基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到所述装载检测图像在各个分解尺度下所对应的轮廓点，以利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像；
根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，并基于所述货物装载界限数据，得出所述目标铁路货车的装载检测结果，其中，所述装载检测结果包括货物装载超限或货物装载符合装载标准。
2.根据权利要求1所述的方法，其特征在于，所述装载检测图像包括：所述目标铁路货车的俯视装载检测图像以及两侧的侧视装载检测图像；
其中，基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到装载检测图像在各个分解尺度下所对应的轮廓点，包括：
对于所述装载检测图像中的俯视装载检测图像内的任一像素点，基于所述任一像素点在任一分解尺度下的小波变换系数，计算出所述任一像素点在该任一分解尺度下的梯度矢量值，以及所述任一像素点在该任一分解尺度下的方向角；
根据所述任一像素点在所述任一分解尺度下的方向角，判断所述任一像素点在所述任一分解尺度下是否为局部极大值点；
若是，则获取所述俯视装载检测图像在所述任一分解尺度下的边界阈值；
判断所述任一像素点在所述任一分解尺度下的梯度矢量值，是否大于或等于边界阈值；
若是，则将所述任一像素点，作为所述装载检测图像在所述任一分解尺度下对应的轮廓点。
3.根据权利要求2所述的方法，其特征在于，根据所述任一像素点在所述任一分解尺度下的方向角，判断所述任一像素点在所述任一分解尺度下是否为局部极大值点，包括：
以所述任一像素点为中心，获取所述任一像素点在第一目标图像中的八个邻接点，以利用八个邻接点得到所述任一像素点的八邻域区域，其中，所述第一目标图像为所述俯视装载检测图像在所述任一分解尺度下的小波变换图像，且每个邻接点到所述任一像素点的距离相等；
以所述任一像素点为起点，连接各个邻接点，得到八个连接线，并利用八个连接线将所述八邻域区域划分为八个梯度区域；
获取每个梯度区域在所述八邻域区域内的角度范围，并基于每个梯度区域的角度范围，确定出每个梯度区域的局部极大值范围区间；
计算所述任一像素点在所述任一分解尺度下的方向角的正切值，并从八个梯度区域的局部极大值范围区间中，确定出所述正切值所属的局部极大值范围区间，以将所述正切值所属的局部极大值范围区间对应的梯度区域，作为局部极大值散落区域；
基于所述局部极大值散落区域的角度中线，确定出所述局部极大值散落区域的梯度方向；
获取所述八邻域区域在所述梯度方向上任意相邻的两像素点，并计算出该任意相邻的两像素点的梯度矢量值；
判断所述任一像素点在所述任一分解尺度下的梯度矢量值，是否大于所述任意相邻的两像素点的梯度矢量值；
若是，则判定所述任一像素点在所述任一分解尺度下为局部极大值点。
4.根据权利要求2所述的方法，其特征在于，获取所述俯视装载检测图像在所述任一分解尺度下的边界阈值，包括：
基于所述俯视装载检测图像中各个像素点在目标分解尺度下的小波变换系数，计算出所述俯视装载检测图像中各个像素点在目标分解尺度下的梯度矢量值，并从所述目标分解尺度下的各个梯度矢量值中，选取出最大的梯度矢量值，其中，所述目标分解尺度为所述任一分解尺度的上一分解尺度；
基于所述最大的梯度矢量值和所述任一分解尺度，并按照如下公式(1)，计算出所述俯视装载检测图像在所述任一分解尺度下的边界阈值；
上述公式(1)中，D表示所述俯视装载检测图像在所述任一分解尺度下的边界阈值，Wmax表示所述最大的梯度矢量值，λ表示边界阈值计算系数，其中，j表示所述任一分解尺度对应的尺度系数，任一分解尺度的取值为2j，j的取值区间为且N表示所述俯视装载检测图像中像素点的行数或列数，且j为整数。
5.根据权利要求2所述的方法，其特征在于，所述装载轮廓图像包括所述目标铁路货车的俯视轮廓图像，其中，利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像，包括：
基于所述俯视装载检测图像在第d个分解尺度下所对应的轮廓点，生成所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像；
对于所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中的第i个轮廓点，获取所述第i个轮廓点在第二目标图像中的边缘匹配区域，其中，所述第二目标图像为所述俯视装载检测图像在第d-1个分解尺度下的俯视轮廓图像，且所述边缘匹配区域为所述第二目标图像中的所述第i个轮廓点的邻域区域；
基于第i个轮廓点的梯度矢量值和方向角，从所述边缘匹配区域中确定出候选轮廓点；
将i自加1，并重新获取所述第i个轮廓点在第二目标图像中的边缘匹配区域，直至i等于z时，得到所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中每个轮廓点的候选轮廓点，以利用每个轮廓点的候选轮廓点组成候选轮廓点集，其中，i的初始值为1，且z为俯视装载检测图像在第d个分解尺度下的俯视轮廓图像中的轮廓点总数；
基于所述候选轮廓点集中各个候选轮廓点的梯度矢量值，对各个候选轮廓点进行分类，并将同一类的候选轮廓点进行连接，得到多个候选轮廓链；
从多个候选轮廓链中，删除链长小于链长阈值的候选轮廓链，得到俯视装载检测图像基于第d个分解尺度下和第d-1个分解尺度下的俯视轮廓图像进行图像融合后的融合轮廓图像；
将d自减1，并判断d是否大于1；
若是，则重新基于所述俯视装载检测图像在第d个分解尺度下所对应的轮廓点，生成所述俯视装载检测图像在第d个分解尺度下的俯视轮廓图像，直至d等于1时，得到所述目标铁路货车的俯视轮廓图像，其中，d的初始值为L，且L为所述俯视装载检测图像进行小波变换处理时的最大分解尺度。
6.根据权利要求5所述的方法，其特征在于，基于所述第i个轮廓点的梯度矢量值和方向角，从所述边缘匹配区域中确定出候选轮廓点，包括：
对于所述边缘匹配区域中的任一点，获取所述任一点的梯度矢量值和方向角；
判断所述任一点的方向角与所述第i个轮廓点的方向角是否相同，以及判断所述任一点的梯度矢量值是否大于或等于所述第i个轮廓点的梯度矢量值；
若是，则将所述任一点作为候选轮廓点。
7.根据权利要求1所述的方法，其特征在于，所述装载轮廓图像包括：所述目标铁路货车的俯视轮廓图像和两侧的侧视轮廓图像；
其中，根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，包括：
基于所述俯视轮廓图像，得出所述目标铁路货车的装载宽度，以及基于两侧的侧视轮廓图像，得出所述目标铁路货车的装载高度；
利用所述装载宽度和装载高度，组成所述货物装载界限数据。
8.一种铁路货车的装载检测装置，其特征在于，包括：
图像获取单元，用于获取目标铁路货车的装载图像，其中，所述装载图像包括所述目标铁路货车装载货物后的俯视图像，以及所述目标铁路货车装载货物后的两侧的侧视图像；
图像识别单元，用于对所述装载图像进行图像识别处理，得到所述目标铁路货车的装载检测图像，其中，所述装载检测图像中仅含有所述目标铁路货车；
轮廓提取单元，用于对所述装载检测图像进行多分解尺度的小波变换处理，以在小波变换处理后，得到所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数；
轮廓提取单元，还用于基于所述装载检测图像中每个像素点在各个分解尺度下的小波变换系数，对所述装载检测图像进行轮廓识别处理，得到所述装载检测图像在各个分解尺度下所对应的轮廓点，以利用所述装载检测图像在各个分解尺度下所对应的轮廓点，生成所述目标铁路货车的装载轮廓图像；
装载检测单元，用于根据所述装载轮廓图像，得出所述目标铁路货车的货物装载界限数据，并基于所述货物装载界限数据，得出所述目标铁路货车的装载检测结果，其中，所述装载检测结果包括货物装载超限或货物装载符合装载标准。
9.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的铁路货车的装载检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的铁路货车的装载检测方法。
CN202310507116.3A 2023-05-06 2023-05-06 铁路货车的装载检测方法、装置、电子设备及存储介质 Pending CN116503619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310507116.3A CN116503619A (zh) 2023-05-06 2023-05-06 铁路货车的装载检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310507116.3A CN116503619A (zh) 2023-05-06 2023-05-06 铁路货车的装载检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116503619A true CN116503619A (zh) 2023-07-28

Family

ID=87326333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310507116.3A Pending CN116503619A (zh) 2023-05-06 2023-05-06 铁路货车的装载检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116503619A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784166A (zh) * 2024-01-05 2024-03-29 湖北润铁轨道装备有限公司 一种基于多模态数据的铁路货运敞车折叠式活动顶盖开闭结果检测方法与系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784166A (zh) * 2024-01-05 2024-03-29 湖北润铁轨道装备有限公司 一种基于多模态数据的铁路货运敞车折叠式活动顶盖开闭结果检测方法与系统

Similar Documents

Publication Publication Date Title
Hou et al. Inspection of surface defects on stay cables using a robot and transfer learning
WO2022036919A1 (zh) 缺陷检测方法、装置、电子设备及计算机存储介质
CN111460927B (zh) 对房产证图像进行结构化信息提取的方法
CN110991447B (zh) 基于深度学习的列车车号精确定位与识别方法
Azad et al. A novel and robust method for automatic license plate recognition system based on pattern recognition
CN114723709A (zh) 隧道病害检测方法、装置和电子设备
CN110673038B (zh) 一种电池检测方法、装置及系统
CN114022537A (zh) 一种用于动态称重区域车辆装载率和偏载率分析方法
CN115345821A (zh) 基于主动视觉成像的钢卷捆带松动异常检测及量化方法
CN117132990A (zh) 铁路车厢信息的识别方法、装置、电子设备及存储介质
CN112785548B (zh) 一种基于车载激光点云的路面裂缝检测方法
CN111723793B (zh) 一种实时刚性接触网定位点识别方法
Yuan et al. Automated pixel-level crack detection and quantification using deep convolutional neural networks for structural condition assessment
CN116503619A (zh) 铁路货车的装载检测方法、装置、电子设备及存储介质
CN112017065A (zh) 车辆定损理赔方法、装置及计算机可读存储介质
CN112183554A (zh) 一种自动化道路边界轮廓提取方法
CN115984219A (zh) 产品表面缺陷检测方法、装置、电子设备及存储介质
Molefe et al. Classification of thermite welding defects using local binary patterns and k nearest neighbors
CN111723792B (zh) 适用于刚柔接触网的实时定位点识别方法
CN112818987B (zh) 一种公交电子站牌屏显内容识别纠正方法及系统
CN114399671A (zh) 目标识别方法及装置
CN115526837A (zh) 一种异常行车检测方法、装置、电子设备以及介质
CN114120109A (zh) 基于神经网络的皮带纵撕检测方法
CN115713758B (zh) 一种车厢识别方法、系统、装置及存储介质
Min et al. Rail Surface Defect Detection Based on Improved UPerNet and Connected Component Analysis.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination