CN115690561B - 一种路面异常监测方法 - Google Patents

一种路面异常监测方法 Download PDF

Info

Publication number
CN115690561B
CN115690561B CN202211389955.1A CN202211389955A CN115690561B CN 115690561 B CN115690561 B CN 115690561B CN 202211389955 A CN202211389955 A CN 202211389955A CN 115690561 B CN115690561 B CN 115690561B
Authority
CN
China
Prior art keywords
detection
pavement
image
road surface
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211389955.1A
Other languages
English (en)
Other versions
CN115690561A (zh
Inventor
李继凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Uwonders Technology Co ltd
Original Assignee
Beijing Uwonders Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Uwonders Technology Co ltd filed Critical Beijing Uwonders Technology Co ltd
Priority to CN202211389955.1A priority Critical patent/CN115690561B/zh
Publication of CN115690561A publication Critical patent/CN115690561A/zh
Application granted granted Critical
Publication of CN115690561B publication Critical patent/CN115690561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种路面异常监测方法，该方法包括以下步骤：构建特征提取模型、构建路面正常训练样本集、构建路面异常检测模型集、获取路面检测样本集，通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；通过每一张图像的检测距离与异常阈值之间的关系，得到路面的异常检测结果。本发明采用基于无监督学习的路面异常检测方法及系统，图像样本是随机选取的，整个道路检测的过程减少了人工标注的过程，检测效率更高；利用卷积神经网络模型的多层中间特征分别构建路面异常检测模型，采用多个模型多次判断，提高路面异常判断精度，在异常种类多、异常样本稀少的情形下，依然能够保证轨道路面异常检测系统的鲁棒性。

Description

一种路面异常监测方法
技术领域
本发明申请为申请日2022年04月01日，申请号为：202210336906.5，名称为“一种基于无监督学习的路面异常检测方法及系统”的发明专利申请的分案申请。
本发明涉轨道、路面异常检测领域，特别涉及一种基于无监督学习的路面异常检测方法及系统。
背景技术
对于路面的异常涉及很多方面，如行人、障碍物、地面凹陷、轨道偏移、地面裂缝等，路面异常除了多样并且不断变化，针对路面异常检测还面临以下问题：
1)由于大部分情况数据是没有标签的，各种成熟的监督学习是没有办法应用；
2)当多种不同的异常情况结合在一起时，区分异常类型比较难；
3)即使有路面异常数据，即在有标签的情况下用监督学习，也存在很大的不确定性。用这种历史数据学出的模型只能检测当时存在以及比较相似的路面异常情况，而对于不同的异常和从未见过的异常情况，模型预测效果一般比较差。
因此，针对复杂的路面异常情况不能至少单独依靠一个监督学习模型来检测到所有的异常情况。没有历史标签和对异常情况的分析解，无法做出对路面异常情况细分的模型。
为了能够减少对数据及其标注的依赖，同时充分利用各类路面正常环境图像容易获取的特点，本发明提出了一种基于无监督学习的路面异常检测方法及系统，用于分析异常类型多、异常类型样本少的条件下的路面异常情况。
发明内容
本发明的目的在于提供一种基于无监督学习的路面异常检测方法及系统，用于分析异常类型多、异常类型样本少的条件下的路面异常情况。
第一方面，本发明提供了一种基于无监督学习的路面异常检测方法，包括：
S1：构建特征提取模型，所述特征提取模型用于提取图像的特征，设置所述特征提取模型用于提取图像特征的中间层；
S2：构建路面正常训练样本集，将路面正常图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面正常训练样本集；
S3：构建路面异常检测模型集、获得异常阈值，通过对所述路面正常训练样本集的无监督学习获得路面异常检测模型集，通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值；
S4：获取路面检测样本集，将检测图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面检测样本集；
S5：通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；
S6：路面异常检测结果判断，通过所述检测图像集中每一张图像的检测距离与异常阈值之间的关系，得到每一张检测图像的检测结果：
所述检测距离小于等于异常阈值，输出路面正常；
所述检测距离大于异常阈值，输出路面异常。
进一步地，所述用于提取图像特征的中间层至少为两层。
进一步地，所述构建特征提取模型的数据集是指非路面场景的数据集，包括ImageNet数据集或coco数据集，所述非路面场景为没有待检测路面出现的场景。
进一步地，所述特征提取模型包括卷积神经网络模型或者递归神经网络模型。
进一步地，所述构建特征提取模型的步骤为：
S101：构建一个神经网络结构；
S102：选择ImageNet数据集；
S103：设定特征提取模型学习的类型为分类任务，并且设定损失函数为交叉熵；
S104：在所述ImageNet数据集上采用反向传播的方法训练所述的特征模型，得到所述特征提取模型。
进一步地，所述构建路面正常训练样本集的步骤为：
S201：将路面正常图像集输入所述特征提取模型中，提取所述中间层的输出特征，得到路面正常特征矩阵集，所述路面正常特征矩阵集中特征矩阵的个数为所述中间层的个数乘以路面正常图像集中图像的数量，所述路面正常特征矩阵为路面正常图像的一个中间层输出的特征；
S202：将所述路面正常特征矩阵集中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
S203：将所述一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面正常训练样本集。
进一步地，分别对所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本进行无监督学习获得路面异常检测模型集。
进一步地，所述的路面异常检测模型为马氏距离模型。
进一步地，所述异常阈值的计算步骤为：
步骤1：计算所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本与对应的路面异常检测模型的马氏距离集；
步骤2：在所述马氏距离集中提取每一张路面正常图像在每一个中间层对应的马氏距离，获得每一张路面正常图像的马氏距离集；
步骤3：将所述每一张路面正常图像的马氏距离集中所有距离加权求和得到每一张路面正常图像的马氏距离；
步骤4：根据所述每一张路面正常图像的马氏距离，取马氏距离最大值作为所述异常阈值。
进一步地，构建路面检测样本集的步骤为：
S401：将检测图像集输入所述特征提取模型中，提取所述中间层的输出特征，得到路面检测特征矩阵集，所述路面检测特征矩阵集中特征矩阵的个数为所述中间层的个数乘以检测图像集中图像的数量，所述路面检测特征矩阵为检测图像的一个中间层输出的特征；
S402：将所述路面检测特征矩阵集中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
S403将所述一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面检测样本集。
进一步地，所述每一张检测图像的检测距离的计算步骤为：
S501：计算所述路面检测样本集中每一个中间层对应的所有路面检测样本与对应的路面异常检测模型的距离集；
S502：在所述距离集中提取每一张检测图像在每一个中间层对应的距离，获得每一张检测图像的距离集；
S503：将所述每一张检测图像的距离集中所有距离加权求和得到每一张图像的检测距离。
第二方面，本发明提供一种基于无监督学习的路面异常检测系统，包括：
特征提取模型构建模块：用于获得所述特征提取模型，设置所述特征提取模型用于提取图像特征的中间层；
特征提取模块：用于正常图像集及检测图像集的特征提取，分别获得路面正常训练样本集及路面检测样本集；
获取路面正常训练样本集，将路面正常图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面正常训练样本集；
获取路面检测样本集，将检测图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面检测样本集；
路面异常检测模型集构建模块：用于构建路面异常检测模型集、获得异常阈值，通过对所述路面正常训练样本集的无监督学习获得路面异常检测模型集，通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值；
检测图像集中每一张图像的检测距离计算模块：通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；
路面异常判断模块：通过对图像集中每一张图像的检测距离与异常阈值之间的关系，得到每一张图像的检测结果：
所述检测距离小于等于异常阈值，输出路面正常；
所述检测距离大于异常阈值，输出路面异常。
本发明的有益效果在于：
1)采用无监督学习正常的轨道及路面样本，对比待检测图像跟正常样本的相似度距离，对异常进行判断，基于无监督学习的路面异常检测方法及系统，图像样本是随机选取的，整个道路检测的过程减少了人工标注的过程，因此相比现有技术，不仅减少了人工参与带来的检测误差，同时还节省了人力消耗，检测效率更高。
2)利用卷积神经网络模型的多层中间特征，针对每一个中间层的输出特征分别构建路面异常检测模型，多个中间层对应多个路面异常检测模型，采用多个模型多次判断，提高路面异常判断精度，在异常种类多、异常样本稀少的情形下，依然能够保证轨道路面异常检测系统的鲁棒性，通过只学习路面正常情况下的路面特征，采集路面待检测图像，采用多个异常检测模型对比分析路面待检测图像与路面正常图像的差异性，对路面是否存在异常进行判断。
附图说明
图1为本发明提供的一种基于无监督学习的路面异常检测方法的流程示意图；
图2为本发明提供的一种基于无监督学习的路面异常检测方法的步骤S1；
图3为本发明提供的一种基于无监督学习的路面异常检测方法的步骤S2；
图4为本发明提供的一种基于无监督学习的路面异常检测方法的步骤S4；
图5为本发明提供的一种基于无监督学习的路面异常检测方法的步骤S5；
图6本发明提供的一种基于无监督学习的路面异常检测系统组成框图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了能够减少对数据及其标注的依赖，同时充分利用各类路面正常环境图像容易获取的特点，本发明提出了一种基于无监督学习的路面异常检测方法及系统，用于分析异常类型多、异常类型样本少的条件下的路面异常情况。
下面结合附图对本发明方法进行进一步详细说明；
如图1所示一种基于无监督学习的路面异常检测方法，具体包括以下步骤：
S1：构建特征提取模型，所述特征提取模型用于提取图像的特征，设置所述特征提取模型用于提取图像特征的中间层；
S2：构建路面正常训练样本集，将路面正常图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面正常训练样本集；
S3：构建路面异常检测模型集、获得异常阈值，通过对所述路面正常训练样本集的无监督学习获得路面异常检测模型集，通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值；
S4：获取路面检测样本集，将检测图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面检测样本集；
S5：通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；
S6：路面异常检测结果判断，通过所述检测图像集中每一张图像的检测距离与异常阈值之间的关系，得到每一张检测图像的检测结果。
本实施例步骤S1用于构建特征模型，该模型与路面具体的应用场景是无关的，主要用于图像特征的提取，特征提取模型的的具体构建步骤如图2所示。
S101：构建一个神经网络结构；
S102：选择ImageNet数据集；
S103：设定特征提取模型学习的类型为分类任务，并且设定损失函数为交叉熵；
S104：在所述ImageNet数据集上采用反向传播的方法训练所述的特征模型，得到所述特征提取模型。
为了实现图像特征的提取，特征提取模型包括但不限于卷积神经网络模型或者递归神经网络模型。本实施例采用卷积神经网络模型实现图像特征提取，卷积神经网络结构中的中间层的数量和位置都是可以进行设置，本实施例中该卷积神经网络设置5个中间层，设置用于图像特征提取的中间层为：第一层、第三层。
在卷积神经网络模型训练数据集的选择时，构建特征提取模型的数据集是指非路面场景的数据集，包括ImageNet数据集或coco数据集，非路面场景为没有待检测路面出现的场景。
本实施例中具体的选择ImageNet数据集，ImageNet拥有用于分类、定位和检测任务评估的数据。
与分类数据类似，定位任务有1000个类别。准确率是根据最高五项检测结果计算出来的。所有图像中至少有一个边框。对200个目标的检测问题有470000个图像，平均每个图像有1.1个目标。
步骤S2采用S1获得的特征提取模型构建路面正常训练样本集，如图1实线箭头所示流程及图3所示，步骤S2的具体实现流程为：
S201：将路面正常图像集输入所述特征提取模型中，提取所述中间层的输出特征，得到路面正常特征矩阵集，所述路面正常特征矩阵集中特征矩阵的个数为所述中间层的个数乘以路面正常图像集中图像的数量，所述路面正常特征矩阵为路面正常图像的一个中间层输出的特征；
路面正常图像集为待检测路面正常情况下的图像集，通过安装到路面或者装在路边的专用桩上面的摄像头获取，同时也可以通过安装在行驶的列车上的摄像装置获取，路面正常图像集的图像数量可根据实际情况自行设置，本实施例获取M张路面正常图像。
M张将待检测路面的路面正常图像集输入特征提取模型中，该特征提取模型包含5个中间层，提取第一层及第三层2个中间层的输出特征，得到第一个中间层(第一层)输出的路面正常特征矩阵集L1＝(j1，j2，j3，…jm)，第二个中间层(第三层)输出的路面正常特征矩阵集L2＝(k1，k2，k3，…km)，其中ji为从第一个中间层提取的第i张正常路面图像的特征矩阵，ki为从第二个层中间层提取的第i张正常路面图像的特征矩阵，i＝1，2，3，…m。从特征提取模型中获得的路面正常特征矩阵集中特征矩阵的个数为2m，路面正常特征矩阵集可表示为T1＝{L1，L2}，此时的ji和ki都是一个三维矩阵。
S202：将所述路面正常特征矩阵集中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
将T1中的所有矩阵做最大池化操作，得到每一个三维矩阵的一维特征向量集；
S203：将所述一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面正常训练样本集。
上一步获得的一维特征向量集中的每个一维特征向量做二范数归一化处理，得到路面正常训练样本集T1’，T1’＝{L1’，L2’}，L1’＝(j1’，j2’，j3’，…jm’)，L2’＝(k1’，k2’，k3’，…km’)其中L1’和L2’分别包含有M个训练数样本。
步骤S3：构建路面异常检测模型集、获得异常阈值，通过对所述路面正常训练样本集的无监督学习获得路面异常检测模型集，通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值。
分别对所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本进行无监督学习获得路面异常检测模型集。
对路面正常训练样本集T1’中第一个中间层对应的L1’和第二个中间层对应的L2’分别进行无监督学习，得到两个路面异常检测模型。
路面异常检测模型为马氏距离模型，得到两个路面异常检测模型为2个马氏距离模型M1、M2；
计算异常阈值，根据路面正常状态下的路面正常训练样本集与路面异常检测模型集的马氏距离，选取异常阈值：
步骤1：计算所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本与对应的路面异常检测模型的马氏距离集；
根据第一个中间层(第一层)对应的所有路面正常训练样本L1’，计算L1’与马氏距离模型M1的马氏距离，得到L1’的距离集D1，即得到每张路面正常图像的第一个中间层输出特征与马氏距离模型M1的距离集。
根据第二个中间层(第三层)对应的所有路面正常训练样本L2’，计算L2’与马氏距离模型M2的马氏距离，得到L2’的距离集D2，即得到每张路面正常图像的第二个中间层输出特征与马氏距离模型M2的距离集。
步骤2：在所述马氏距离集中提取每一张路面正常图像在每一个中间层对应的马氏距离，获得每一张路面正常图像的马氏距离集；
对路面正常图像集中的每一张图像，从D1中提取第一个中间层对应的马氏距离；从D2中提取第二个中间层对应的马氏距离，得到每张路面正常图像的马氏距离集。
步骤3：将所述每一张路面正常图像的马氏距离集中所有距离加权求和得到每一张路面正常图像的马氏距离。
步骤4：根据每一张路面正常图像的马氏距离，取马氏距离最大值D1作为所述异常阈值。
构建完待检测路面的路面异常检测模型集及相应的路面异常阈值，可进行路面异常情况的检测，路面异常检测步骤如下：
首先通过步骤S4获得路面检测样本集，如图1虚线箭头所示流程及图4所示：
路面检测样本集为待检测路面需要进行检测或测试的时间段的图像集，通过安装到路面或者装在路边的专用桩上面的摄像头采集检测图像，检测图像集的图像数量可根据实际情况自行设置，本实施例获取10张待检测图像。
S401：将检测图像集输入所述特征提取模型中，提取所述中间层的输出特征，得到路面检测特征矩阵集，所述路面检测特征矩阵集中特征矩阵的个数为所述中间层的个数乘以检测图像集中图像的数量，所述路面检测特征矩阵为检测图像的一个中间层输出的特征；
将采集到的检测图像集输入特征提取模型，提取检测图像集的中间层的数量和位置与提取正常图像集的特征提取模型的相同，即提取第一层及第三层2个中间层的输出特征，得到第一个中间层(第一层)输出的路面检测特征矩阵集CL1＝(g1，g2，g3，…g10)，第二个中间层(第三层)输出的路面检测特征矩阵集CL2＝(h1，h2，h3，…h10)，其中hi为从第一个层中间层提取的第i张待检测图像的特征矩阵，gi为从第二个中间层提取的第i张待检测图像的特征矩阵，i＝1，2，3，…10，得到路面正常特征矩阵集中特征矩阵的个数为20，路面检测征矩阵集C1＝{CL1，CL2}。
S402：将所述路面检测特征矩阵集中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
将C1中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
S403：将所述一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面检测样本集。
将一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面检测样本集C1’＝{CL1’，CL2’}，其中：CL1’＝(g1’，g2’，g3’，…g10’)，CL2’＝(h1’，h2’，h3’，…h10’)。
获得检测样本集后，通过步骤S5，采用路面异常检测模型集计算路面检测样本集中每一张检测图像检测距离，具体步骤参见图5；
S501：计算所述路面检测样本集中每一个中间层对应的路面检测样本与对应的路面异常检测模型的距离集；
根据第一个中间层(第一层)对应的所有路面检测样本CL1’，计算CL1’与马氏距离模型M1的马氏距离，得到CL1’的距离集
Figure BDA0003931601130000091
即得到每张检测图像的第一个中间层输出特征与马氏距离模型M1的距离。
根据第二个中间层(第三层)对应的所有路面检测样本CL2’，计算CL2’与马氏距离模型M2的马氏距离，得到CL2’的距离集
Figure BDA0003931601130000092
即得到每张检测图像的第二个中间层输出特征与马氏距离模型M2的距离。
S502：在所述距离集中提取每一张检测图像在每一个中间层对应的距离，获得每一张检测图像的距离集；
检测图像的距离集表示表示为：
Figure BDA0003931601130000093
其中，i为第i张图片，
Figure BDA0003931601130000094
为第i张图像的第n个中间层的输出特征与马氏距离模型Mn的距离。
本实施例i＝10，n＝2，第i张图像的距离集为
Figure BDA0003931601130000095
S503：将所述每一张检测图像的距离集中所有距离加权求和得到每一张图像的检测距离。
根据每一张检测图像的距离集计算每一张检测图像的检测距离，具体为将每一张图像通过路面异常检测模型集获得的距离集进行加权求和，得到每一张检测图像的检测距离，公式如下：
Figure BDA0003931601130000101
其中，i为第i张图片，
Figure BDA0003931601130000102
为第i张图像的第n个中间层的输出特征与马氏距离模型Mn的距离，an为第n个中间层的输出特征与马氏距离模型Mn的距离的权重。
i＝1，第一张图像的检测距离
Figure BDA0003931601130000103
i＝2，第二张图像的检测距离
Figure BDA0003931601130000104
再依次计算第3张到第10张检测图像的检测距离，dist3，dist4，dist5…dist10。
判断每一张检测图像的检测距离和距离阈值之间的大小关系，对路面异常的判断，参见图1：
S6：路面异常检测结果判断，通过检测距离与异常阈值之间的关系，得到路面的异常检测结果：
所述检测距离小于等于异常阈值，输出路面正常；
当dist(i)≤D1，输出路面正常；
所述检测距离大于异常阈值，输出路面异常；
当dist(i)＞D1，输出路面异常，i＝1，2，3，…10。
本实施例采用无监督学习正常的轨道及路面样本，对比待检测图像跟正常样本的相似度距离，对异常进行判断，基于无监督学习的路面异常检测方法及系统，图像样本是随机选取的，整个道路检测的过程减少了人工标注的过程，检测效率更高。利用卷积神经网络模型的2层中间特征分别构建路面异常检测模型，采用多个模型多次判断，提高路面异常判断精度，在异常种类多、异常样本的情形下，依然能够保证轨道路面异常检测系统的鲁棒性。
在本发明的另一个实施例中卷积神经网络设置7个中间层，设置用于图像特征提取的中间层为：第一层及第三层、第五层、第六层。
S201：M张将待检测路面的路面正常图像集输入特征提取模型中，该特征提取模型包含7个中间层，提取第一层及第三层、第五层、第六层四个中间层的输出特征，分别得到第一个中间层(第一层)输出的路面正常特征矩阵集L1＝(j1，j2，j3，…jM)，第二个中间层(第三层)输出的路面正常特征矩阵集L2＝(k1，k2，k3，…kM)，第三个中间层(第五层)输出的路面正常特征矩阵集L3＝(p1，p2，p3，…pM)，第四个中间层(第六层)输出的路面正常特征矩阵集L4＝(q1，q2，q3，…qM)，其中ji为从第一个中间层提取的第i张正常路面图像的特征矩阵，ki为从第二个中间层提取的第i张正常路面图像的特征矩阵，pi为从第三个中间层提取的第i张正常路面图像的特征矩阵，qi为第四个中间层提取的第i张正常路面图像的特征矩阵，i＝1，2，3，…M，得到路面正常特征矩阵集T2＝{L1，L2，L3，L4}。
S202：将T2中的每一个特征矩阵分别做做最大池化操作，得到一维特征向量集；
S203：上一步获得的一维特征向量集中的每个一维特征向量做二范数归一化处理，得到路面正常训练样本集T2’＝{L1’，L2’，L3’，L4’}。
路面异常检测模为马氏距离模型，具体步骤如下：
第一步：分别对路面正常训练样本集T2’中四个中间层对应的所有样本进行无监督学习，得到4个马氏距离模型M1、M2、M3、M4；
第二步：计算所有样本与对应的M1、M2、M3、M4之间马氏距离，则取马氏距离的最大值D2作为异常阈值。
构建完待检测路面的路面异常检测模型集及相应的路面异常阈值，可进行路面异常情况的检测，路面异常检测步骤如下：
首先通过步骤S4获得路面检测样本集，具体步骤如图1虚线箭头所示流程及图4所示：
S401：采集检测图像集30张图像，将采集到的检测图像集输入特征提取模型，提取检测图像集的中间层的数量和位置与提取正常图像集的特征提取模型的相同，即提取第一层、第三层、第五层、第六层4个中间层的输出特征，分别得到第一个中间层(第一层)输出的路面检测特征矩阵集CL1＝(g1，g2，g3，…g30)，第二个中间层(第三层)输出的路面检测特征矩阵集CL2＝(h1，h2，h3，…h30)，第三个中间层(第五层)输出的路面检测特征矩阵集CL3＝(r1，r2，r3，…r30)，第四个中间层(第六层)输出的路面检测特征矩阵集CL4＝(s1，s2，s3，…s30)，其中gi为从第一个中间层提取的第i张待检测图像的特征矩阵，hi为从第二个中间层提取的第i张待检测图像的特征矩阵，ri为从第三个中间层提取的第i张待检测图像的特征矩阵，si为从第四个中间层提取的第i张待检测图像的特征矩阵，i＝1，2，3，…30，路面检测征矩阵集C2＝{CL1，CL2，CL3，CL4}。
S402：将C2中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
S403：将一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面检测样本集C2’＝{CL1’，CL2’，CL3’，CL4’}，其中CL1’，CL2’，CL3’，CL4’为归一化处理后的30张待检测图像每一个特征输出层的特征集。
获得检测样本集后，通过步骤S5，采用路面异常检测模型集计算路面检测样本集中每一张检测图像距离集，具体步骤参见图5；
S501：计算所述路面检测样本集中每一个中间层对应的所有检测样本与对应的路面异常检测模型的距离集；
根据第一个中间层(第一层)对应的所有检测样本CL1’，计算CL1’与马氏距离模型M1的马氏距离，得到CL1’的距离集
Figure BDA0003931601130000121
即得到每张检测图像的第一个输出特征与马氏距离模型M1的距离；
根据第二个中间层(第三层)对应的所有检测样本CL2’，计算CL2’与马氏距离模型M2的马氏距离，得到CL2’的距离集
Figure BDA0003931601130000122
即得到每张检测图像的第二个输出特征与马氏距离模型M2的距离；
根据第三个中间层(第五层)对应的所有检测样本CL3’，计算CL3’与马氏距离模型M3的马氏距离，得到CL3’的距离集
Figure BDA0003931601130000123
即得到每张检测图像的第三个输出特征与马氏距离模型M3的距离；
根据第四个中间层(第六层)对应的所有检测样本CL4’，计算CL4’与马氏距离模型M4的马氏距离，得到CL4’的距离集
Figure BDA0003931601130000124
即得到每张检测图像的第三个输出特征与马氏距离模型M4的距离；
S502：在所述距离集中提取每一张检测图像在每一个中间层对应的距离，获得每一张检测图像的距离集；
本实施例i＝30，n＝4，第i张图像的距离集为
Figure BDA0003931601130000125
S503：将所述每一张检测图像的距离集中所有距离加权求和得到每一张图像的检测距离。
根据每一张检测图像的距离集计算每一张检测图像的检测距离，具体为将每一张图像通过路面异常检测模型集获得的距离集进行加权求和，得到每一张检测图像的检测距离，公式如下：
Figure BDA0003931601130000131
其中，i为第i张图片，
Figure BDA0003931601130000132
为第i张图像的第n个中间层的输出特征与马氏距离模型Mn的距离，an为第n个中间层的输出特征与马氏距离模型Mn的距离的权重。
依次计算第1张到第30张检测图像的检测距离，dist3，dist4，dist5…dist30。
获得检测距离和距离阈值，根据两者之间的关系，进行路面异常的判断，参见图1：
S6：路面异常检测结果判断，通过检测距离与异常阈值之间的关系，得到路面的异常检测结果：
异常阈值为D2，当dist(i)≤D2，输出i以及路面正常；当dist(i)＞D2，输出i以及路面异常，i＝1，2，3，…30。
本实施例采用无监督学习正常的轨道及路面样本，对比待检测图像跟正常样本的相似度距离，对异常进行判断，基于无监督学习的路面异常检测方法及系统，图像样本是随机选取的，整个道路检测的过程减少了人工标注的过程，检测效率更高。利用卷积神经网络模型的4层中间特征分别构建路面异常检测模型，采用多个模型多次判断，提高路面异常判断精度，在异常种类多、异常样本的情形下，依然能够保证轨道路面异常检测系统的鲁棒性。
为了有效提高路面异常的识别过程的准确性及可靠性，且能够有效提高在路面异常识别过程的自动化程度及效率，本申请提供一种基于无监督学习的路面异常检测方法中全部或部分内容的一种基于无监督学习的路面异常检测系统的实施例，参见图5，所述系统包含有如下内容，
特征提取模型构建模块：用于获得所述特征提取模型，设置所述特征提取模型用于提取图像特征的中间层；
特征提取模块：用于正常图像集及检测图像集的特征提取，分别获得路面正常训练样本集及路面检测样本集；
获取路面正常训练样本集，将路面正常图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面正常训练样本集；
获取路面检测样本集，将检测图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面检测样本集；
路面异常检测模型集构建模块：用于构建路面异常检测模型集、获得异常阈值，通过对所述路面正常训练样本集的无监督学习获得路面异常检测模型集，通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值；
检测图像集中每一张图像的检测距离计算模块：通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；
路面异常判断模块：通过对图像集中每一张图像的检测距离与异常阈值之间的关系，得到每一张图像的检测结果。
每一张图像的检测结果的判断步骤为：
所述检测距离小于等于异常阈值，输出路面正常；
所述检测距离大于异常阈值，输出路面异常。
本实施中的一种基于无监督学习的路面异常检测系统实现了自动化识别且成本低廉、简单便捷、效果明显，其应用解决了路面异常类型复杂、异常样本少的问题，可高效率、自动化地实现路面异常的快速识别，具有降低工作人员工作量，且提高工作效率。以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种路面异常监测方法，其特征在于，所述方法包括以下步骤：
S1：构建特征提取模型，所述特征提取模型用于提取图像的特征，设置所述特征提取模型用于提取图像特征的中间层；
所述用于提取图像的特征的中间层至少为两层；
所述构建特征提取模型是指非路面场景的数据集，包括ImageNet数据集或coco数据集，所述非路面场景为没有待检测路面出现的场景；
所述特征提取模型包括卷积神经网络模型或者递归神经网络模型；
所述构建特征提取模型的步骤为：
S101：构建一个神经网络结构；
S102：选择ImageNet数据集；
S103：设定特征提取模型学习的类型为分类任务，并且设定损失函数为交叉熵；
S104：在所述ImageNet数据集上采用反向传播的方法训练所述的特征提取模型，得到所述特征提取模型；
S2：构建路面正常训练样本集，将路面正常图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面正常训练样本集；
所述构建路面正常训练样本集的步骤为：
S201：将所述路面正常图像集输入所述特征提取模型中，提取所述中间层的输出特征，得到路面正常特征矩阵集；
S202：将所述路面正常特征矩阵集中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
S203：将所述一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面正常训练样本集；
S3：构建路面异常检测模型集、获得异常阈值；
通过对所述路面正常训练样本集的无监督学习获得所述路面异常检测模型集，获得所述路面异常检测模型集的具体步骤为：分别对所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本进行无监督学习，获得所述路面异常检测模型集，所述路面异常检测模型为马氏距离模型；
通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值，所述异常阈值的计算步骤为：
步骤1：计算所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本与对应的路面异常检测模型的马氏距离集；
步骤2：在所述马氏距离集中提取每一张路面正常图像在每一个中间层对应的马氏距离，获得每一张路面正常图像的马氏距离集；
步骤3：将所述每一张路面正常图像的马氏距离集中所有距离加权求和得到每一张路面正常图像的马氏距离；
步骤4：根据所述每一张路面正常图像的马氏距离，取马氏距离最大值作为所述异常阈值；
S4：获取路面检测样本集，将检测图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面检测样本集；
S5：获取检测距离，通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；
S6：路面异常检测结果判断，通过所述检测图像集中每一张图像的检测距离与所述异常阈值之间的关系，得到所述检测图像集中每一张图像的检测结果。
2.根据权利要求1所述的一种路面异常监测方法，其特征在于，所述获取路面检测样本集的步骤为：
S401：将所述检测图像集输入所述特征提取模型中，提取所述中间层的输出特征，得到路面检测特征矩阵集；
S402：将所述路面检测特征矩阵集中的每一个特征矩阵做最大池化操作，得到一维特征向量集；
S403将所述一维特征向量集中的每个一维特征向量做二范数归一化处理，得到所述路面检测样本集。
3.根据权利要求2所述的一种路面异常监测方法，其特征在于，所述每一张图像的检测距离的计算步骤为：
S501：计算所述路面检测样本集中每一个中间层对应的所有路面检测样本与对应的路面异常检测模型的距离集；
S502：在所述距离集中提取每一张检测图像在每一个中间层对应的距离，获得每一张检测图像的距离集；
S503：将所述每一张检测图像的距离集中所有距离加权求和得到所述每一张图像的检测距离。
4.根据权利要求1所述的一种路面异常监测方法，其特征在于，所述每一张图像的检测结果的判断步骤为：
所述检测距离小于等于所述异常阈值，输出路面正常；
所述检测距离大于所述异常阈值，输出路面异常。
5.一种路面异常监测系统，用于实现如权利要求1所述的一种路面异常检测方法，其特征在于，由以下模块组成，
特征提取模型构建模块：用于获得所述特征提取模型，设置所述特征提取模型用于提取图像特征的中间层；
特征提取模块：用于正常图像集及检测图像集的特征提取，分别获得路面正常训练样本集及路面检测样本集；
获得所述路面正常训练样本集，将所述正常图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面正常训练样本集；
获得所述路面检测样本集，将所述检测图像集输入所述特征提取模型，提取所述中间层的输出特征，构建所述路面检测样本集；
利用卷积神经网络模型的多层中间特征，针对每一个中间层的输出特征分别构建路面异常检测模型，多个中间层对应多个路面异常检测模型，采用多个模型多次判断，提高路面异常判断精度，在异常种类多、异常样本稀少的情形下，依然能够保证轨道路面异常检测系统的鲁棒性；
路面异常检测模型集构建模块：用于构建路面异常检测模型集、获得异常阈值；
通过对所述路面正常训练样本集的无监督学习获得所述路面异常检测模型集，获得所述路面异常检测模型集的具体步骤为：分别对所述路面正常训练样本集中每一个中间层对应的所有路面正常训练样本进行无监督学习，获得所述路面异常检测模型集，所述路面异常检测模型为马氏距离模型；
通过所述路面正常训练样本集与所述路面异常检测模型集之间的距离，获取所述异常阈值；
检测图像集中每一张图像的检测距离计算模块：通过所述路面检测样本集与所述路面异常检测模型集之间的距离，获取检测图像集中每一张图像的检测距离；
路面异常判断模块：通过所述检测图像集中每一张图像的检测距离与所述异常阈值之间的关系，得到所述检测图像集中每一张图像的检测结果；
所述每一张图像的检测结果的判断步骤为：
所述检测距离小于等于异常阈值，输出路面正常；
所述检测距离大于异常阈值，输出路面异常。
CN202211389955.1A 2022-04-01 2022-04-01 一种路面异常监测方法 Active CN115690561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211389955.1A CN115690561B (zh) 2022-04-01 2022-04-01 一种路面异常监测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210336906.5A CN114663742B (zh) 2022-04-01 2022-04-01 一种基于无监督学习的路面异常检测方法及系统
CN202211389955.1A CN115690561B (zh) 2022-04-01 2022-04-01 一种路面异常监测方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202210336906.5A Division CN114663742B (zh) 2022-04-01 2022-04-01 一种基于无监督学习的路面异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN115690561A CN115690561A (zh) 2023-02-03
CN115690561B true CN115690561B (zh) 2023-06-20

Family

ID=82032821

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211389955.1A Active CN115690561B (zh) 2022-04-01 2022-04-01 一种路面异常监测方法
CN202210336906.5A Active CN114663742B (zh) 2022-04-01 2022-04-01 一种基于无监督学习的路面异常检测方法及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210336906.5A Active CN114663742B (zh) 2022-04-01 2022-04-01 一种基于无监督学习的路面异常检测方法及系统

Country Status (1)

Country Link
CN (2) CN115690561B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965858A (zh) * 2022-12-27 2023-04-14 贵州烟叶复烤有限责任公司 一种识别传送带上货物堆积的方法及装置
CN115937601B (zh) * 2022-12-27 2023-08-08 四川数聚智造科技有限公司 一种基于正常样本建模的变电站异常检测方法
CN115797349B (zh) * 2023-02-07 2023-07-07 广东奥普特科技股份有限公司 一种缺陷检测方法、装置和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221B (zh) * 2018-11-16 2020-07-28 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
US11663061B2 (en) * 2019-01-31 2023-05-30 H2O.Ai Inc. Anomalous behavior detection
JP7247790B2 (ja) * 2019-07-02 2023-03-29 株式会社デンソー 走行環境監視装置、走行環境監視システム、及び走行環境監視プログラム
CN112488221B (zh) * 2020-12-07 2022-06-14 电子科技大学 一种基于动态刷新正样本图像库的道路路面异常检测方法
CN112287910B (zh) * 2020-12-25 2021-10-08 智道网联科技(北京)有限公司 道路异常区域检测方法、装置、电子设备及存储介质
CN113221759A (zh) * 2021-05-17 2021-08-06 北京文安智能技术股份有限公司 基于异常检测模型的道路遗撒识别方法以及装置
CN113362313B (zh) * 2021-06-18 2024-03-15 四川启睿克科技有限公司 一种基于自监督学习的缺陷检测方法及系统
CN114170184A (zh) * 2021-12-08 2022-03-11 四川启睿克科技有限公司 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN114170569A (zh) * 2021-12-10 2022-03-11 山东大学 一种路面异常情况监测方法、系统、存储介质及设备

Also Published As

Publication number Publication date
CN114663742B (zh) 2022-11-22
CN114663742A (zh) 2022-06-24
CN115690561A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN115690561B (zh) 一种路面异常监测方法
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN112800913B (zh) 一种基于多源特征融合的路面损伤数据时空分析方法
CN110826514A (zh) 一种基于深度学习的施工现场违章智能识别方法
CN110610165A (zh) 一种基于yolo模型的船舶行为分析方法
CN115984263A (zh) 基于改进型孪生神经网络的螺栓松动检测算法及检测系统
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN117171533B (zh) 一种地理测绘作业数据实时采集处理方法及系统
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
CN116895036A (zh) 一种基于深度学习的耕地保护预警方法及装置
CN110738167A (zh) 一种基于多域空间属性关联分析的行人辨识方法
CN115830322A (zh) 一种基于弱监督网络的建筑物语义分割标签扩充方法
CN115187886A (zh) 一种车辆违规行为检测方法、装置及电子设备
Yamaguchi et al. Road crack detection interpreting background images by convolutional neural networks and a self‐organizing map
CN110084190B (zh) 一种基于ann的剧烈光照环境下实时非结构化道路检测方法
CN112183453B (zh) 基于深度学习的注水口盖板未锁闭到位故障检测方法及系统
CN118012977B (zh) 一种基于ai与gis融合的二三维多模态数据处理方法
CN116522261B (zh) 一种基于大数据的风险信息监控方法及系统
CN116665016B (zh) 一种基于改进YOLOv5的单帧红外弱小目标检测方法
CN114882376B (zh) 基于最优锚点尺度的卷积神经网络遥感影像目标检测方法
CN115496931B (zh) 一种工业机器人健康监测方法及系统
CN117372715A (zh) 一种基于视觉特征的尾气黑度检测方法
CN116229409A (zh) 一种引入全局特征和多尺度特征的人行横道线检测方法
CN118012977A (zh) 一种基于ai与gis融合的二三维多模态数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant