CN115439804A - 一种用于高铁检修的监测方法以及装置 - Google Patents

一种用于高铁检修的监测方法以及装置 Download PDF

Info

Publication number
CN115439804A
CN115439804A CN202211038266.6A CN202211038266A CN115439804A CN 115439804 A CN115439804 A CN 115439804A CN 202211038266 A CN202211038266 A CN 202211038266A CN 115439804 A CN115439804 A CN 115439804A
Authority
CN
China
Prior art keywords
image
model
target
abnormal
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211038266.6A
Other languages
English (en)
Inventor
周星宇
林昌伟
刘泽农
冯子勇
周瑞
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gelingshentong Information Technology Co ltd
Original Assignee
Beijing Gelingshentong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gelingshentong Information Technology Co ltd filed Critical Beijing Gelingshentong Information Technology Co ltd
Priority to CN202211038266.6A priority Critical patent/CN115439804A/zh
Publication of CN115439804A publication Critical patent/CN115439804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nonlinear Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种用于高铁检修的监测方法以及装置，该方法包括：获取采集高铁目标位置的目标图像；基于目标图像利用深度卷积神经网络从样本图像中提取特征图；将特征图输入到目标检测模型中，确定目标图像是否存在异常，其中，目标检测模型是基于未出现异常的样本图像进行训练，直至样本图像的分布拟合到标准正态分布当中，结束检测模型训练，得到目标检测模型，基于深度学习的无监督异常检测的方法，只需要提供正常的数据进行训练，利用训练好的无监督学习的归一化流异常检测模型，即可得到异常物体在高铁检修图像上的位置，以解决传统的高铁检修中由于异常数据获取困难，导致训练的高铁检修模型识别异常准确性较低的技术问题。

Description

一种用于高铁检修的监测方法以及装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种用于高铁检修的监测方法以及装置。
背景技术
近年来，人工智能在全球范围内迅速落地应用，广泛地应用到了我们生活的方方面面。深度学习的异常检测技术：主要用于检测异常物体在2D图片上的位置，深度学习无监督学习方法如PatchCore，PaDiM，DifferNet等。深度学习监督学习目标检测方法如FasterR-CNN，Yolo v5，DETR等。
现有的高铁检修大部分依赖于人工对高铁是否存在异常的物体进行异常检测；一些基于深度学习的监督学习的检测方法依赖实际场景人工模拟异常，并且需要对采集的异常数据进行人工标注，然后使用监督学习的目标检测方法进行异常检测。
因此，传统的采用现有技术中的人工检修方式，通过人工在高铁下方进行作业，存在如下缺陷：1.环境恶劣，长时间检修工作对检修人员可能造成一定伤害；2.目前大部分检修仍完全依靠人工检查，成本高，效率低；3.人工检修速度慢，人力资源有限，可能出现误检漏检情况，造成重大的事故和经济损失。
采用基于深度学习的监督学习的检修方式，存在如下缺陷：1.需要人工模拟异常制作数据集，且需要人工对采集数据进行标注，标注人员需要一定的检修知识，人力资源有限，无法制作很多的数据供模型进行监督学习，而少量数据集极容易造成模型的过拟合；2.无法模拟出全部的异常物体类型，监督学习下的深度学习模型对于训练集内不存在的物体类别通常不会有很好的泛化能力，可能存在实际出现，但是由于原数据集中不存在该类异常物体，从而导致无法成功检测的情况，可能因此造成高铁运行的重大事故，是本领域技术人员急需要解决的技术问题。
在背景技术中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
发明内容
本申请实施例提供了一种用于高铁检修的监测方法以及装置，以解决传统的高铁检修中由于异常数据获取困难，导致训练的高铁检修模型识别异常准确性较低的技术问题。
根据本申请实施例的第一个方面，提供了一种用于高铁检修的监测方法，包括：获取采集高铁目标位置的目标图像；基于所述目标图像利用深度卷积神经网络从所述样本图像中提取特征图；将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，其中，所述目标检测模型是基于未出现异常的样本图像进行训练，直至所述样本图像的分布拟合到标准正态分布当中，结束所述检测模型训练，得到所述目标检测模型。
根据本申请实施例的第二个方面，提供了一种用于高铁检修的监测装置，包括：获取单元，用于获取采集高铁目标位置的目标图像；提取单元，用于基于所述目标图像利用深度卷积神经网络从所述样本图像中提取特征图；第一确定单元，用于将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，其中，所述目标检测模型是基于未出现异常的样本图像进行训练，直至所述样本图像的分布拟合到标准正态分布当中，结束所述检测模型训练，得到所述目标检测模型。
本申请实施例由于采用以上技术方案，具有以下技术效果：基于深度学习的无监督异常检测的方法，只需要提供正常的数据进行训练，利用训练好的无监督学习的归一化流异常检测模型，即可得到异常物体在高铁检修图像上的位置。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本发明实施例的一种可选的用于高铁检修的监测方法的流程图；
图2是根据本发明实施例的一种可选的基于流模型的高铁检修无监督异常检测方法的结构框图；
图3是根据本发明实施例的一种特征提取模块结构示意图；
图4是根据本发明实施例的一种可选的归一化流模型示意图；
图5是根据本发明实施例的一种可选的归一化流模型的结构图；
图6是根据本发明实施例的一种可选的点集合示意图；
图7是根据本发明实施例的一种可选的用于高铁检修的监测装置图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中还提供了一种用于高铁检修的监测方法，图1是根据本发明实施例的用于高铁检修的监测方法的流程图，如图1所示，该用于高铁检修的监测方法流程包括如下步骤：
步骤S102，获取采集高铁目标位置的目标图像。
步骤S104，基于所述目标图像利用深度卷积神经网络从所述样本图像中提取特征图。
步骤S106，将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，其中，所述目标检测模型是基于未出现异常的样本图像进行训练，直至所述样本图像的分布拟合到标准正态分布当中，结束所述检测模型训练，得到所述目标检测模型。
在本实施例中，上述目标位置是监测该位置是否包括异常物体的位置，可以包括但不限于高铁车底的位置。
其中，上述目标检测模型可以包括但不限于无监督学习异常检测流模型。该模型使用一维归一化流模型进行异常检测。归一化流模型的作用机制为只对正常数据进行训练，可以将正常图像的分布拟合到标准正态分布当中；测试时，对于图像中异常的区域，则会被模型拟合到另一个分布，然后需要设置一个经验阈值，可以将正常与异常区域分开。
对于流模型，我们假设输入的特征图为z，设z服从标准正态分布z～Pz(z)，Pz(z)～N(0，I)，经过如下图所示的流模型之后，可以得到与输入特征图大小相同的x，x服从x～Px(x)分布，
Figure BDA0003819456180000041
设x＝f(z)，z＝f-1(z)，f(x)＝zi(zi-1)在流模型中必须为连续且可逆的函数变换，那么对于x和z的分布Pz(z)和Px(x)，则有如下的关系：
Figure BDA0003819456180000042
Figure BDA0003819456180000043
其中，det()为求高纬雅克比矩阵的行列式。分布Pz(z)和Px(x)之间为线性映射。
无监督学习异常检测流模型模块中，3个不同大小的特征图对应不同的流模型。
通过本申请提供的实施例，获取采集高铁目标位置的目标图像；基于目标图像利用深度卷积神经网络从样本图像中提取特征图；将特征图输入到目标检测模型中，确定目标图像是否存在异常，其中，目标检测模型是基于未出现异常的样本图像进行训练，直至样本图像的分布拟合到标准正态分布当中，结束检测模型训练，得到目标检测模型，基于深度学习的无监督异常检测的方法，只需要提供正常的数据进行训练，利用训练好的无监督学习的归一化流异常检测模型，即可得到异常物体在高铁检修图像上的位置，以解决传统的高铁检修中由于异常数据获取困难，导致训练的高铁检修模型识别异常准确性较低的技术问题。
可选的，将特征图输入到目标检测模型中，确定目标图像是否存在异常，可以包括：将特征图进行扁平化处理，得到特征图的块集合，其中，块集合中的每个块对应特征图的一块区域；通过第一位置编码模型对块集合中的每块进行编码；将编码后的每个块输入一维归一化流模型中进行概率密度分布估计，其中，分布估计包括第一部分被映射到标准正态分布中，第二部分会被映射到非标准正态分布；在分布估计仅包括第一部分的情况下，目标图像中未出现异常。
可选的，将特征图输入到目标检测模型中，确定目标图像是否存在异常，可以包括：在分布估计包括第二部分的情况下，目标图像中出现异常。
可选的，将编码后的每个块输入一维流模型中进行概率密度分布估计之后，上述方法还可以包括：根据第二位置编码模型解码块集合；线性插值到特征提取之前的样本图像的大小；在目标图像中存在异常区域的情况下，异常区域对应样本图像的区域会与标准正态分布不同。
可选的，将编码后的每个块输入一维流模型中进行概率密度分布估计之后，上述方法还可以包括：在样本图像中出现异常的情况下，将编码后的每个块输入一维归一化流模型中，得到多个不同尺寸下的异常检测得分图，其中，得分图与样本图像大小一致，对应图像每一个像素位置；根据预设阈值确定异常区域的像素点集合。
可选的，根据预设阈值得到异常区域的像素点的集合之后，上述方法还可以包括：将像素点集合中异常点根据相邻连接关系分为不同大小的点集；在去除少量离群点集之后，根据剩余的点集确定异常区域。
作为一种可选的实施例，本申请还提供了一种基于流模型的高铁检修无监督异常检测方法。主要包括图像采集模块、特征提取模块、无监督学习异常检测归一化流模型模块、多尺度聚合模块和后处理模块，如图2所示，基于流模型的高铁检修无监督异常检测方法的结构框图。详细内容说明如下。
1、图像采集模块
机器人调整摄像头和光源，采集目标设备的清晰图像数据。但高铁车底环境比较恶劣，存在曝光较差的情况，不利于直接进行算法处理，需要进行图像增强处理。现有的图像增强技术，直方图均衡化等，易产生不切实际的伪图像，或者使图像模糊，一些区域调整后变得更暗或者更亮，会丢失细节信息，给异常检测带来不便。
其中，本图像采集模块进行的数据增强手段包括如下内容：
1)首先将图像转化为灰度图，使用如下公式：
Gray1(i，j)＝R(i，j)
Gray2(i，j)＝G(i，j)
Gray3(i，j)＝B(i，j)
将彩色图像中的三分量亮度的最大值作为灰度图的灰度值，使用如下公式：
Gray(i，j)＝max{R(i，j)，G(i，j)，B(i，j)}
2)进行图像模糊增强处理，应用改进的直方图均衡来增强图像的对比度，该图像采集模块不是应用对整个图像起作用的直方图均衡化，而是使用Contrast LimitedAdaptive Histogram Equalization(CLAHE)来增强图像小块的对比度。CLAHE通过限制局部直方图的高度来限制局部对比度的增强幅度，避免图像过饱和，特别是在特定图像块的直方图中显示高峰值的均匀区域中，可以很好地限制噪声的放大和局部对比度的过增强。同时使用双线性插值组合相邻的块，这些操作可以消除人为引起的边界。此外，直方图在整个强度上的扩展增加了对比度，均衡图像直方图中的平均强度水平高于(更亮)原始图像，对于高铁检修图像来说，增强之后的图像可以明显比处理前亮。对于一些参数设置如下所示：(1)块大小为128X128；(2)移动块中使用的步长设置设置为16；(3)Gamma校正因子λ设置为0.4。这些参数是通过进行大量高铁底部图像进行可视化实验得到的。
3)应用最小-最大增强策略。增强是基于像素的最小值和最大值。其中，像素的零值被最小值替换，最高的像素值不变，通过增加强度范围使图像更清晰。
4)使用维纳滤波算法。维纳滤波器是一种自适应的滤波器，首先估计图像中每个像素的局部均值和局部方差，如下公式：
Figure BDA0003819456180000071
Figure BDA0003819456180000072
其中，η是图像A中每个像素的NXM邻域。维纳滤波器的去噪原理如下：
Figure BDA0003819456180000073
其中，v2是噪声的方差，如果没有给出来，那么会根据图像的局部方差进行估计。
5)对维纳滤波器结果进行二值化处理。
6)最后细化二值化处理的结果得到最终的增强图像
2、特征提取模块，利用深度卷积神经网络Wide-Resnet50来进行图像特征提取。Wide-Resnet50作为一个特征提取网络，相比于传统的ResNet网络，该网络使用一种较浅的，并在每个单层上更宽的(维度)模型来提升模型性能。不过，在增大网络宽度的同时，卷积层的过拟合风险也就更大，所以Wide-Resnet50通过Dropout进行正则化。对于该网络的权重，使用在大型数据集ImageNet上该网络的预训练模型权重进行特征提取，训练时不参与反向传播来优化内部参数。通常上一模块采集和后处理之后的图像仍然较大。
在此阶段，如图3所示，特征提取模块结构示意图，如图3所示，特征提取模块-wide-Resenet50-图像金字塔，每一层的数据将输入至归一化流模型。
将亮度增强后的图像线性下采样到长宽相同的(1024，1024)的尺寸，然后经过Wide-Resnet50进行特征提取，使用图像金字塔的方式，取通过卷积神经网络下采样得到8倍、16倍、32倍的特征图，分别输入到无监督学习异常检测流模型模块中进行训练和测试。
3、无监督学习异常检测流模型模块
本实施例中，使用一维归一化流模型进行异常检测。归一化流模型的作用机制为只对正常数据进行训练，可以将正常图像的分布拟合到标准正态分布当中；测试时，对于图像中异常的区域，则会被模型拟合到另一个分布，然后需要设置一个经验阈值，可以将正常与异常区域分开。
如图4所示，归一化流模型示意图。对于流模型，假设输入的特征图为z，设z服从标准正态分布z～Pz(z)，Pz(z)～N(0，I)，经过如下图所示的流模型之后，可以得到与输入特征图大小相同的x，x服从x～Px(x)分布，
Figure BDA0003819456180000081
设x＝f(z)，z＝f-1(z)，f(x)＝zi(zi-1)在流模型中必须为连续且可逆的函数变换，那么对于x和z的分布Pz(z)和Px(x)，则有如下的关系：
Figure BDA0003819456180000082
Figure BDA0003819456180000083
其中，det()为求高纬雅克比矩阵的行列式。分布Pz(z)和Px(x)之间为线性映射。
无监督学习异常检测流模型模块中，3个不同大小的特征图对应不同的流模型，如图5所示，归一化流模型的结构图。
对于无监督学习异常检测流模型。主要处理步骤：1)将上一个模块的特征提取之后的特征图作为流模型的输入，将特征图进行扁平化处理；2)使用一个位置编码模型Positional Encoder(图5的PE模型)，主要作用是得到扁平化之后的每一块的位置的独特正余弦编码，主要用于后续从扁平化结果恢复原本结构；3)扁平化之后的特征，将对于每一个块(A、B等)放入一维流模型中进行概率密度分布估计，一维流模型由全连接层的流模型堆叠而成，得到的输出与输入一维流模型的大小一致；4)对于分布估计之后的结果，如果是正常部分(如图5正常部分，则会被映射到标准正态分布中，如果是异常部分(如图5的异常部分)，则会被映射到其它的分布；5)最终根据位置编码模型Positional Encoder(PE)恢复位置，并线性插值到特征提取模块之前的输入图像的大小，异常区域对应原图的区域会表现出与标准正态分布所不同的其他分布(如图5原测试图的异常区域)。
4、多尺度聚合模块，输入该模块的是经过归一化流模型得到的三个不同尺度下的异常检测得分图，与原输入图片大小一致，对应图片每一个像素位置，为经过归一化流模型的异常检测的得分。在此模块，需要将得分在每一个尺度下的异常检测结果再次归一化到[0，1]之间，对其进行加和，此时得到的新的异常检测得分图每个位置异常检测结果为[0，3]之间的得分，然后取最大值，并减去每一个位置的异常得分，得到不同测试图像的相对异常检测得分作为最终的异常检测结果，然后这里需要取一个经验阈值，通过大量的在不同点位的高铁异常检测的阈值变化的实验发现，阈值变化通常在[1.5，2.2]之间，为了保证模型尽可能少漏检，设置一个相对较低的阈值1.60，对于大于阈值的区域，认为是异常区域，小于阈值的区域则认为是正常区域，最终根据阈值划分得到异常区域的像素点的集合。
5、后处理模块。对于经过多尺度聚合得到的所有异常点的集合M，进行的后处理为：1)将异常点根据相邻连接关系分为不同大小的点集，如图6所示，点集合示意图，此时点集为qi∈M，qi中点的个数小于1000的去除，如图6的q1所示。
2)在去除少量离群点集之后，在原图上表现为一个个相对较大的不规则区域。对于这些不规则区域，存在属于同一异常部分，但是中间有断开部分的情况，此时使用一种机器学习无监督聚类方法Density-Based Spatial Clusteringof Applications withNoise(DBSCAN)将异常点集进行聚类，区别于对像素点进行聚类，此处的聚类是对点集进行聚类。在这里需要设置两个参数，分别是在同一邻域中考虑的两个数据点之间的最大距离，也就是相邻两个异常点集之间的最大距离，根据经验设置为300个像素，即当两个点集的最靠近的两个点的距离小于300个像素时，则认为是一簇点，如图6中的q2、q3；另一个参数是被认为是聚类的邻域中的数据点的最小量，即最小能聚类成一簇的点集内的个数，这里设置为2000，即只要存在单个点集qi的点的个数大于2000，或者两个及两个以上点集在满足第一个参数的情况下，这些点集中点的数量之和大于2000即可被聚类成一簇。
3)对于聚类之后得到的每一簇点集N，通过如下公式获得异常检测结果的坐标框[xmin，ymin，xmax，ymax]，其中xmin，ymin为异常检测结果检测框的左上角坐标，xmax，ymax为异常检测结果的右下角检测框的坐标。
xmin＝min(xi)
xmax＝max(xi)
ymin＝min(yi)
ymax＝max(yi)
其中，pi为聚类之后的点集N的点，pi∈N，xi、yi为点pi的坐标，pi＝(xi，yi)。
在本实施例中，基于无监督学习的高铁检修的异常检测算法，基于一维归一化流模型的高铁检修的异常检测算法，基于图像金字塔的高铁检修的异常检测方法，基于异常检测的无监督聚类的后处理方法。
在本实施例中，与人工检测方案相比，在检测速度上有明显提高。采用机械臂加装摄像头采集的方法采集高铁检修图像，并将采集到的图像发送到服务器进行测试，可以高效快速得到异常检测结果；在特征提取模块使用图像金字塔的方法，对大小不同尺度的图像进行处理，可以得到异常的局部和全局信息，增强异常检测能力；无监督学习的异常检测用在高铁检修场景下，可以无需模拟真实的异常情况，避免人工标注制作数据集，节省大量人力资源；可以将检测结果通过DBSCAN方法将不连续的区域进行聚类，并最终转化为图像检测框的形式。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种用于高铁检修的监测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的用于高铁检修的监测装置的结构框图，如图7所示，该用于高铁检修的监测装置包括：
获取单元71，用于获取采集高铁目标位置的目标图像。
提取单元73，用于基于目标图像利用深度卷积神经网络从样本图像中提取特征图。
第一确定单元75，用于将特征图输入到目标检测模型中，确定目标图像是否存在异常，其中，目标检测模型是基于未出现异常的样本图像进行训练，直至样本图像的分布拟合到标准正态分布当中，结束检测模型训练，得到目标检测模型。
通过本申请提供的实施例，获取单元71获取采集高铁目标位置的目标图像；提取单元73基于目标图像利用深度卷积神经网络从样本图像中提取特征图；第一确定单元75将特征图输入到目标检测模型中，确定目标图像是否存在异常，其中，目标检测模型是基于未出现异常的样本图像进行训练，直至样本图像的分布拟合到标准正态分布当中，结束检测模型训练，得到目标检测模型。基于深度学习的无监督异常检测的方法，只需要提供正常的数据进行训练，利用训练好的无监督学习的归一化流异常检测模型，即可得到异常物体在高铁检修图像上的位置，以解决传统的高铁检修中由于异常数据获取困难，导致训练的高铁检修模型识别异常准确性较低的技术问题
可选的，第一确定单元75，可以包括：处理模块，用于将特征图进行扁平化处理，得到特征图的块集合，其中，块集合中的每个块对应特征图的一块区域；编码模块，用于通过第一位置编码模型对块集合中的每块进行编码；估计模块，用于将编码后的每个块输入一维归一化流模型中进行概率密度分布估计，其中，分布估计包括第一部分被映射到标准正态分布中，第二部分会被映射到非标准正态分布；第一确定模块，用于在分布估计仅包括第一部分的情况下，确定目标图像中未出现异常。
可选的，上述装置还可以包括：第二确定模块，用于在分布估计包括第二部分的情况下，确定目标图像中出现异常。
可选的，上述装置还可以包括：解码模块，用于将编码后的每个块输入一维流模型中进行概率密度分布估计之后，根据第二位置编码模型解码块集合；差值模块，用于线性插值到特征提取之前的目标图像的大小；第三确定模块，用于在目标图像中存在异常区域的情况下，确定异常区域对应样本图像的区域会与标准正态分布不同。
可选的，上述装置还可以包括：第一得到单元，用于将编码后的每个块输入一维流模型中进行概率密度分布估计之后，在样本图像中出现异常的情况下，将编码后的每个块输入一维归一化流模型中，得到多个不同尺寸下的异常检测得分图，其中，得分图与样本图像大小一致，对应图像每一个像素位置；第二确定单元，用于根据预设阈值确定异常区域的像素点集合。
可选的，上述装置还可以包括：划分单元，用于根据预设阈值得到异常区域的像素点的集合之后，将像素点集合中异常点根据相邻连接关系分为不同大小的点集；第三确定单元，用于在去除少量离群点集之后，根据剩余的点集确定异常区域。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取采集高铁目标位置的目标图像；
S2，基于目标图像利用深度卷积神经网络从样本图像中提取特征图；
S3，将特征图输入到目标检测模型中，确定目标图像是否存在异常，其中，目标检测模型是基于未出现异常的样本图像进行训练，直至样本图像的分布拟合到标准正态分布当中，结束检测模型训练，得到目标检测模型。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取采集高铁目标位置的目标图像；
S2，基于目标图像利用深度卷积神经网络从样本图像中提取特征图；
S3，将特征图输入到目标检测模型中，确定目标图像是否存在异常，其中，目标检测模型是基于未出现异常的样本图像进行训练，直至样本图像的分布拟合到标准正态分布当中，结束检测模型训练，得到目标检测模型。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种用于高铁检修的监测方法，其特征在于，包括：
获取采集高铁目标位置的目标图像；
基于所述目标图像利用深度卷积神经网络从所述样本图像中提取特征图；
将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，其中，所述目标检测模型是基于未出现异常的样本图像进行训练，直至所述样本图像的分布拟合到标准正态分布当中，结束所述检测模型训练，得到所述目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，包括：
将所述特征图进行扁平化处理，得到所述特征图的块集合，其中，所述块集合中的每个块对应所述特征图的一块区域；
通过第一位置编码模型对所述块集合中的每块进行编码；
将编码后的每个块输入一维归一化流模型中进行概率密度分布估计，其中，所述分布估计包括第一部分被映射到标准正态分布中，第二部分会被映射到非标准正态分布；
在所述分布估计仅包括所述第一部分的情况下，所述目标图像中未出现异常。
3.根据权利要求2所述的方法，其特征在于，所述将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，包括：
在所述分布估计包括所述第二部分的情况下，所述目标图像中出现异常。
4.根据权利要求2所述的方法，其特征在于，所述将编码后的每个块输入一维流模型中进行概率密度分布估计之后，所述方法还包括：
根据第二位置编码模型解码所述块集合；
线性插值到特征提取之前的所述样本图像的大小；
在所述目标图像中存在异常区域的情况下，所述异常区域对应样本图像的区域会与所述标准正态分布不同。
5.根据权利要求2所述的方法，其特征在于，所述将编码后的每个块输入一维流模型中进行概率密度分布估计之后，所述方法还包括：
在所述样本图像中出现异常的情况下，将编码后的每个块输入所述一维归一化流模型中，得到多个不同尺寸下的异常检测得分图，其中，所述得分图与所述样本图像大小一致，对应图像每一个像素位置；
根据预设阈值确定异常区域的像素点集合。
6.根据权利要求5所述的方法，其特征在于，所述根据预设阈值得到异常区域的像素点的集合之后，所述方法还包括：
将所述像素点集合中异常点根据相邻连接关系分为不同大小的点集；
在去除少量离群点集之后，根据剩余的点集确定所述异常区域。
7.一种用于高铁检修的监测装置，其特征在于，包括：
获取单元，用于获取采集高铁目标位置的目标图像；
提取单元，用于基于所述目标图像利用深度卷积神经网络从所述样本图像中提取特征图；
第一确定单元，用于将所述特征图输入到目标检测模型中，确定所述目标图像是否存在异常，其中，所述目标检测模型是基于未出现异常的样本图像进行训练，直至所述样本图像的分布拟合到标准正态分布当中，结束所述检测模型训练，得到所述目标检测模型。
8.根据权利要求7所述的装置，其特征在于，所述第一确定单元包括：
处理模块，用于将所述特征图进行扁平化处理，得到所述特征图的块集合，其中，所述块集合中的每个块对应所述特征图的一块区域；
编码模块，用于通过第一位置编码模型对所述块集合中的每块进行编码；
估计模块，用于将编码后的每个块输入一维归一化流模型中进行概率密度分布估计，其中，所述分布估计包括第一部分被映射到标准正态分布中，第二部分会被映射到非标准正态分布；
第一确定模块，用于在所述分布估计仅包括所述第一部分的情况下，确定所述目标图像中未出现异常。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于在所述分布估计包括所述第二部分的情况下，确定所述目标图像中出现异常。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
解码模块，用于所述将编码后的每个块输入一维流模型中进行概率密度分布估计之后，根据第二位置编码模型解码所述块集合；
差值模块，用于线性插值到特征提取之前的所述目标图像的大小；
第三确定模块，用于在所述目标图像中存在异常区域的情况下，确定所述异常区域对应样本图像的区域会与所述标准正态分布不同。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第一得到单元，用于所述将编码后的每个块输入一维流模型中进行概率密度分布估计之后，在所述样本图像中出现异常的情况下，将编码后的每个块输入所述一维归一化流模型中，得到多个不同尺寸下的异常检测得分图，其中，所述得分图与所述样本图像大小一致，对应图像每一个像素位置；
第二确定单元，用于根据预设阈值确定异常区域的像素点集合。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
划分单元，用于所述根据预设阈值得到异常区域的像素点的集合之后，将所述像素点集合中异常点根据相邻连接关系分为不同大小的点集；
第三确定单元，用于在去除少量离群点集之后，根据剩余的点集确定所述异常区域。
13.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN202211038266.6A 2022-08-29 2022-08-29 一种用于高铁检修的监测方法以及装置 Pending CN115439804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211038266.6A CN115439804A (zh) 2022-08-29 2022-08-29 一种用于高铁检修的监测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211038266.6A CN115439804A (zh) 2022-08-29 2022-08-29 一种用于高铁检修的监测方法以及装置

Publications (1)

Publication Number Publication Date
CN115439804A true CN115439804A (zh) 2022-12-06

Family

ID=84243880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211038266.6A Pending CN115439804A (zh) 2022-08-29 2022-08-29 一种用于高铁检修的监测方法以及装置

Country Status (1)

Country Link
CN (1) CN115439804A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797349A (zh) * 2023-02-07 2023-03-14 广东奥普特科技股份有限公司 一种缺陷检测方法、装置和设备
CN115810011A (zh) * 2023-02-07 2023-03-17 广东奥普特科技股份有限公司 异常检测网络的训练及异常检测方法、装置和设备
CN117218457A (zh) * 2023-11-07 2023-12-12 成都理工大学 一种基于双层二维归一化流的自监督工业异常检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797349A (zh) * 2023-02-07 2023-03-14 广东奥普特科技股份有限公司 一种缺陷检测方法、装置和设备
CN115810011A (zh) * 2023-02-07 2023-03-17 广东奥普特科技股份有限公司 异常检测网络的训练及异常检测方法、装置和设备
CN117218457A (zh) * 2023-11-07 2023-12-12 成都理工大学 一种基于双层二维归一化流的自监督工业异常检测方法
CN117218457B (zh) * 2023-11-07 2024-01-26 成都理工大学 一种基于双层二维归一化流的自监督工业异常检测方法

Similar Documents

Publication Publication Date Title
KR102113911B1 (ko) 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
CN115439804A (zh) 一种用于高铁检修的监测方法以及装置
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN114092386A (zh) 缺陷检测方法和设备
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN112614136B (zh) 一种红外小目标实时实例分割方法及装置
CN111680690B (zh) 一种文字识别方法及装置
CN109886159B (zh) 一种非限定条件下的人脸检测方法
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN111833369A (zh) 一种矾花图像处理方法、系统、介质及电子设备
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
CN109522768A (zh) Qr码的识别方法及装置
CN114862829A (zh) 一种钢筋绑扎点定位方法、装置、设备及存储介质
CN113436162A (zh) 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN115587966A (zh) 一种在光照不均匀条件下零件有无缺漏的检测方法及系统
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN111027637A (zh) 一种文字检测方法及计算机可读存储介质
CN116843581B (zh) 一种多场景图的图像增强方法、系统、设备和存储介质
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN112749713A (zh) 一种基于人工智能的大数据图像识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination