CN112580509B - 逻辑推理式道面检测方法及系统 - Google Patents

逻辑推理式道面检测方法及系统 Download PDF

Info

Publication number
CN112580509B
CN112580509B CN202011511252.2A CN202011511252A CN112580509B CN 112580509 B CN112580509 B CN 112580509B CN 202011511252 A CN202011511252 A CN 202011511252A CN 112580509 B CN112580509 B CN 112580509B
Authority
CN
China
Prior art keywords
road surface
similarity
calculation module
knowledge base
convolution calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011511252.2A
Other languages
English (en)
Other versions
CN112580509A (zh
Inventor
隋运峰
赵士瑄
邓凌竹
刘为谦
黄忠涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN202011511252.2A priority Critical patent/CN112580509B/zh
Publication of CN112580509A publication Critical patent/CN112580509A/zh
Application granted granted Critical
Publication of CN112580509B publication Critical patent/CN112580509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了逻辑推理式道面检测方法及系统，方法包括接收输入图像，对所述输入图像进行预处理，以获得多个特征图；分别将所述特征图与预设的知识库进行对比，得到多个相似度图；所述知识库用于学习多个道面固有结构子类和多个道面污染子类；将输入图像对应的所有相似度图进行合并，得到合并相似度图；根据预设的逻辑对合并相似度图进行分析，以获得检测图像；其中检测图像包含输入图像中每个网格坐标的类型；所述类型包括道面固有结构、道面污染或道面异物；所述逻辑包括当网格坐标的类型不属于道面固有结构和道面污染时，定义该网格坐标的类型为道面异物。该方法能够使用少量监督标注，智能分析并识别多种道面固有结构、道面污染和道面异物。

Description

逻辑推理式道面检测方法及系统
技术领域
本发明属于机场道面异物检测技术领域，具体涉及逻辑推理式道面检测方法及系统。
背景技术
机场道面的异物可能以扎破轮胎、吸入发动机等形式损坏航空器，影响机场运行安全。因此在机场道面维护工作中，需要对道面的异物进行及时检测和清理。另外道面冰雪、积水、橡胶等污染也会改变道面摩擦系数，需要及时检测和处理。使用智能化检测技术提高道面异物检测效率，是必然发展趋势。在智能化检测手段中，主流方法是通过可见光/红外光电设备、毫米波雷达、激光雷达等传感器生成检测图像，再通过深度学习方法处理检测图像得到检测目标。
但是上述方法在信号处理中主要面临两方面的困难。首先，道面异物可能是任何物体，缺乏共性、难以穷举，通过有限样本训练的深度学习模型难以对训练样本不包含的道面异物进行准确检测。其次，多数深度学习方法需要对大量样本进行标注，深度学习模型训练工作量大、效率低，且识别准确度严重受标注准确度限制。
发明内容
针对现有技术中的缺陷，本发明提供一种逻辑推理式道面检测方法及系统，能够使用少量监督标注，智能分析并识别多种道面固有结构、道面污染和道面异物。
第一方面，一种逻辑推理式道面检测方法，包括以下步骤：
接收输入图像，对所述输入图像进行预处理，以获得多个特征图；
分别将所述特征图与预设的知识库进行对比，得到多个相似度图；所述知识库用于学习多个道面固有结构子类和多个道面污染子类；
将输入图像对应的所有相似度图进行合并，得到合并相似度图；
根据预设的逻辑对合并相似度图进行分析，以获得检测图像；
其中检测图像包含输入图像中每个网格坐标的类型；所述类型包括道面固有结构、道面污染或道面异物；
所述逻辑包括当网格坐标的类型不属于道面固有结构和道面污染时，定义该网格坐标的类型为道面异物。
优选地，所述接收输入图像，对所述输入图像进行预处理，以获得多个特征图具体包括：
接收输入图像；所述输入图像为传感器信号网格化生成；
将输入图像按照等比例逐步进行缩小，以获得多个缩小尺度对应的预处理图像，将所有预处理图像传输给预设的卷积计算模块；
获取卷积计算模块输出的每个预处理图像对应的所述特征图。
优选地，所述分别将所述特征图与预设的知识库进行对比，得到多个相似度图具体包括：
按照下式计算特征图中每个网格坐标的向量与预设的知识库中子类的典型特征的相似度vi，得到由相似度vi构成的相似度向量V；
Figure BDA0002846472510000021
其中，F(x,y)为特征图中网格坐标(x,y)的向量；Ei为知识库中子类的典型特征；
由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S。
优选地，所述将输入图像对应的所有相似度图进行合并，得到合并相似度图具体包括：
将相似度图放大至与所述输入图像尺寸一致，并按照最近邻域法则进行插值，以获得放大相似度图；
将输入图像对应的所有放大相似度图进行合并，在每个网格坐标下，对相同子类的典型特征的相似度vi取最大值，得到放大相似度图每个网格坐标的相似度
Figure BDA0002846472510000031
由相似度
Figure BDA0002846472510000032
构成相似度向量V/；
由所有网格坐标对应的相似度向量V/构成所述合并相似度图S/。
优选地，知识库和卷积计算模块的弱监督学习方法包括：
将仅包含道面固有结构的图像输入参数初始化卷积计算模块中的卷积神经网络和参数；
进行知识库和卷积计算模块的交替学习，修改卷积计算模块的参数和知识库的参数。
优选地，所述将仅包含道面固有结构的图像输入参数初始化卷积计算模块中的卷积神经网络和参数具体包括：
将所述包含道面固有结构的图像依次通过卷积计算模块和反卷积计算模块初始化卷积神经网络；
其中初始化的过程包括：
重建损失函数训练输出图像与输入图像的差；
使用无监督方法初始化卷积计算模块参数，以最小化重建损失函数为目标，学习得到卷积计算模块的初始化参数。
优选地，所述知识库的子类包括多个道面固有结构子类和多个道面污染子类，其弱监督学习方法包括以下步骤：
将多个只有道面固有结构的图像输入卷积计算模块；
获取卷积计算模块输出的所有特征图；
对特征图中所有网格坐标的向量进行k个聚类的聚类分析，k为道面固有结构的子类数量；
设置每个聚类的中心值为知识库中道面固有结构子类的典型特征；
设置每个聚类的分布范围为知识库中道面固有结构子类的分布范围；
将多个只有道面污染的图像输入卷积计算模块；
获取卷积计算模块输出的所有特征图；
对特征图中所有网格坐标的向量进行k+1个聚类的聚类分析；
设置每个聚类的中心值为知识库中道面污染子类的典型特征；
设置每个聚类的分布范围为知识库中道面污染子类的分布范围。
优选地，所述卷积计算模块的弱监督学习方法包括：
依次将多个包含道面固有结构或道面污染的图像输入至卷积计算模块；
获取卷积计算模块输出的特征图；
计算特征图中每个网格坐标的向量与预设的知识库中子类的典型特征的相似度vi，得到由相似度vi构成的相似度向量V；
由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S；
从相似度图S计算道面固有结构子类和道面污染子类的分类得分
Figure BDA0002846472510000041
即在每个相似度维度上计算所有像素的最大值
Figure BDA0002846472510000042
其中C由ci组成，S由si组成；
计算分类损失函数
Figure BDA0002846472510000043
将C中最大值置为1，其他值置为0，得到C/；
当完成所有图像的学习后，得到所述卷积计算模块的参数；
输入多个包含道面异物的道面图像，统计分析合并相似度图S/的分布范围，并相应调整所述判断阈值。
第二方面，一种逻辑推理式道面检测系统，包括：
输入单元：用于接收输入图像；
信号处理单元：用于执行第一方面所述的逻辑推理式道面检测方法；
输出单元：用于输出检测图像；
卷积计算模块：搭建卷积神经网络，用于根据输入的图像输出特征图；
知识库：构建道面固有结构子类的典型特征及分布范围，道面污染子类的典型特征及分布范围；
反卷积计算模块：用于将卷积计算模块输出的特征图进行反卷积，得到图像。
由上述技术方案可知，本发明提供的该逻辑推理式道面检测方法及系统，获取到输入图像后，对输入图像进行特征图计算、知识库对比、检测结果生成等步骤，得到检测图像，提出了一种具备逻辑推理能力的深度学习方法，能够使用少量监督标注，智能分析并识别多种道面固有结构以及道面污染，并按照逻辑推理检测是否有道面异物。因此能用少量标注训练出较好性能的模型。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的逻辑推理式道面检测方法的流程图。
图2为本发明实施例三提供的逻辑推理式道面检测系统的模块框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例一：
一种逻辑推理式道面检测方法，参见图1，包括以下步骤：
S1：接收输入图像Iin；对所述输入图像进行预处理，以获得多个特征图，具体包括：
接收输入图像；所述输入图像为传感器信号网格化生成；
将输入图像按照等比例逐步进行缩小，以获得多个缩小尺度对应的预处理图像，将所有预处理图像传输给预设的卷积计算模块；
获取卷积计算模块输出的每个预处理图像对应的所述特征图。
具体地，传感器信号经过网格化处理后，得到输入图像Iin。其中输入图像Iin的网格坐标为(x,y)，每个网格坐标的值Iin(x,y)为传感器信号经过网格化处理后得到的值。传感器包括但不限于可见光/红外光电设备、毫米波雷达、激光雷达等具有成像能力的传感器。
将预处理图像输入至卷积计算模块后，可以在每个缩小尺度上得到一个特征图F。其中预处理图像和特征图F的空间维度保持不变，特征维度变为N1维，N1的取值在8-1024之间。
S2：分别将所述特征图与预设的知识库进行对比，得到多个相似度图；所述知识库用于学习多个道面固有结构子类和多个道面污染子类；具体包括：
按照下式计算特征图中每个网格坐标的向量与预设的知识库中子类的典型特征的相似度vi，得到由相似度vi构成的相似度向量V；
Figure BDA0002846472510000071
其中，F(x,y)为特征图中网格坐标(x,y)的向量；Ei为知识库中子类的典型特征；
由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S，其中S(x,y)＝V。
具体地，步骤S2计算特征图每个网格坐标的向量F(x,y)与知识库中所有子类的典型特征Ei的相似度vi，并由相似度vi组成相似度向量V，由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S，即相似度图S在每个网格坐标(x,y)上的值为相似度向量V。
S3：将输入图像对应的所有相似度图进行合并，得到合并相似度图；具体包括：
将相似度图放大至与所述输入图像尺寸一致，并按照最近邻域法则进行插值，以获得放大相似度图；
将输入图像对应的所有放大相似度图进行合并，在每个网格坐标下，对相同子类的典型特征的相似度vi取最大值，得到放大相似度图每个网格坐标的相似度
Figure BDA0002846472510000072
由相似度
Figure BDA0002846472510000073
构成相似度向量V/；
由所有网格坐标对应的相似度向量V/构成所述合并相似度图S/，其中S/(x,y)＝V/。
具体地，步骤S3将相似度图放大后进行插值，得到放大相似度图，然后对所有的放大相似度图进行合并，合并过程包括在每个网格坐标下，定义合并后的相似度
Figure BDA0002846472510000074
等于所有放大相似度图在该网格坐标上相似度vi的最大值，并由相似度vi组成相似度向量V/，由所有网格坐标对应的相似度向量V/构成相似度图S/。
S4：根据预设的逻辑对合并相似度图进行分析，以获得检测图像；
其中检测图像包含输入图像中每个网格坐标的类型；所述类型包括道面固有结构、道面污染或道面异物；所述逻辑包括当网格坐标的类型不属于道面固有结构和道面污染时，定义该网格坐标的类型为道面异物。
具体地，步骤S4分析时，如果所有相似度都低于判断阈值，则判定为道面异物，否则判定为最大相似度
Figure BDA0002846472510000081
对应的子类。
道面固有结构子类包括道面、标识线、板块间隙等，道面污染子类包括橡胶污染、积水、冰雪等。
该逻辑推理式道面检测方法获取到输入图像后，对输入图像进行特征图计算、知识库对比、检测结果生成等步骤，得到检测图像，提出了一种具备逻辑推理能力的深度学习方法，能够使用少量监督标注，智能分析并识别多种道面固有结构以及道面污染，并按照逻辑推理检测是否有道面异物。因此能用少量标注训练出较好性能的模型。
实施例二：
实施例二在实施例一的基础上，限定了知识库和卷积计算模块的多监督学习方法，具体包括：
将仅包含道面固有结构的图像输入参数初始化卷积计算模块中的卷积神经网络和参数；
进行知识库和卷积计算模块的交替学习，修改卷积计算模块的参数和知识库的参数。
优选地，所述将仅包含道面固有结构的图像输入参数初始化卷积计算模块中的卷积神经网络和参数具体包括：
将所述包含道面固有结构的图像依次通过卷积计算模块和反卷积计算模块初始化卷积神经网络；
具体地，卷积计算模块输入为图像，输出为特征图。卷积计算模块使用卷积神经网络框架。在此基础上进行了不降分辨率的处理方式，输入图像和输出特征图的空间分辨率一致。反卷积计算模块输入为特征图，输出为图像。反卷积计算模块可搭建常规的反卷积神经网络框架。
其中初始化的过程包括：
重建损失函数训练输出图像Oout与输入图像Oin的差
Figure BDA0002846472510000091
使用无监督方法初始化卷积计算模块参数，以最小化重建损失函数为目标，学习得到卷积计算模块的初始化参数。
具体地，该方法先初始化网络，再进行知识库和卷积计算模块的交替学习，修改卷积计算模块的参数和知识库的参数，直到知识库和卷积计算模块能得到较好的检测效果。
1、知识库的弱监督学习。
所述知识库的子类包括道面固有结构子类和道面污染子类，其弱监督学习方法包括以下步骤：
将多个只有道面固有结构的大量图像输入卷积计算模块；
获取卷积计算模块输出的所有特征图；
对特征图中所有网格坐标的向量进行k个聚类的聚类分析，k为道面固有结构的子类数量；
设置每个聚类的中心值为知识库中道面固有结构子类的典型特征Ei；
设置每个聚类的分布范围为知识库中道面固有结构子类的分布范围；
将多个只有道面污染的大量图像输入卷积计算模块；
获取卷积计算模块输出的所有特征图；
对特征图中所有网格坐标的向量进行k+1个聚类的聚类分析；
设置每个聚类的中心值为知识库中道面污染子类的典型特征；
设置每个聚类的分布范围为知识库中道面污染子类的分布范围。
具体地，该知识库的学习方法能够为逻辑推理提供知识基础，同时通过修改知识库参数，可以实现不同场景的迁移学习。
卷积计算模块的弱监督学习。
卷积计算模块的弱监督学习步骤包括：
将所述包含道面固有结构的图像输入至卷积计算模块；
以最小化损失函数为目标、且使用无监督方法对卷积计算模块进行学习，得到卷积计算模块的参数；具体包括：
依次将多个包含道面固有结构或道面污染的图像输入至卷积计算模块；
获取卷积计算模块输出的特征图；
按照
Figure BDA0002846472510000101
计算特征图中每个网格坐标的向量F(x,y)与预设的知识库中子类的典型特征的相似度vi，得到由相似度vi构成的相似度向量V；
由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S；
从相似度图S计算道面固有结构子类和道面污染子类的分类得分
Figure BDA0002846472510000102
即在每个相似度维度上计算所有像素的最大值
Figure BDA0002846472510000103
其中C由ci组成，S由si组成；
计算分类损失函数
Figure BDA0002846472510000104
将C中最大值置为1，其他值置为0，得到C/；
当完成所有图像的学习后，得到所述卷积计算模块的参数；
输入多个包含道面异物的道面图像，统计分析合并相似度图S/的分布范围，并相应调整所述判断阈值。
具体地，卷积计算模块通过以上方法对大量图像进行弱监督学习。以最小化损失函数为目标进行学习，得到卷积计算模块的参数。
本发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例三：
一种逻辑推理式道面检测系统，参见图2，包括：
输入单元：用于接收输入图像；
信号处理单元：用于执行上述的逻辑推理式道面检测方法；
输出单元：用于输出检测图像；
卷积计算模块：搭建卷积神经网络，用于根据输入的图像输出特征图；
知识库：构建道面固有结构子类的典型特征及分布范围，道面污染子类的典型特征及分布范围；
反卷积计算模块：用于将卷积计算模块输出的特征图进行反卷积，得到图像。
本发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种逻辑推理式道面检测方法，其特征在于，包括以下步骤：
接收输入图像，对所述输入图像进行预处理，以获得多个特征图；
分别将所述特征图与预设的知识库进行对比，得到多个相似度图；所述知识库用于学习多个道面固有结构子类和多个道面污染子类；
将输入图像对应的所有相似度图进行合并，得到合并相似度图；
根据预设的逻辑对合并相似度图进行分析，以获得检测图像；
其中检测图像包含输入图像中每个网格坐标的类型；所述类型包括道面固有结构、道面污染或道面异物；
所述逻辑包括当网格坐标的类型不属于道面固有结构和道面污染时，定义该网格坐标的类型为道面异物；
所述将输入图像对应的所有相似度图进行合并，得到合并相似度图具体包括：
将相似度图放大至与所述输入图像尺寸一致，并按照最近邻域法则进行插值，以获得放大相似度图；
将输入图像对应的所有放大相似度图进行合并，在每个网格坐标下，对相同子类的典型特征的相似度vi取最大值，得到放大相似度图每个网格坐标的相似度
Figure FDA0003534967700000011
由相似度
Figure FDA0003534967700000012
构成相似度向量V/；
由所有网格坐标对应的相似度向量V/构成所述合并相似度图S/；
所述根据预设的逻辑对合并相似度图进行分析，以获得检测图像具体包括：
当合并相似度图中所有相似度都低于判断阈值时，定义该网格坐标的类型为道面异物，否则定义该网格坐标的类型为最大相似度
Figure FDA0003534967700000013
对应的子类。
2.根据权利要求1所述逻辑推理式道面检测方法，其特征在于，所述接收输入图像，对所述输入图像进行预处理，以获得多个特征图具体包括：
接收输入图像；所述输入图像为传感器信号网格化生成；
将输入图像按照等比例逐步进行缩小，以获得多个缩小尺度对应的预处理图像，将所有预处理图像传输给预设的卷积计算模块；
获取卷积计算模块输出的每个预处理图像对应的所述特征图。
3.根据权利要求2所述逻辑推理式道面检测方法，其特征在于，所述分别将所述特征图与预设的知识库进行对比，得到多个相似度图具体包括：
按照下式计算特征图中每个网格坐标的向量与预设的知识库中子类的典型特征的相似度vi，得到由相似度vi构成的相似度向量V；
Figure FDA0003534967700000021
其中，F(x,y)为特征图中网格坐标(x,y)的向量；Ei为知识库中子类的典型特征；
由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S。
4.根据权利要求2～3中任一权利要求所述逻辑推理式道面检测方法，其特征在于，知识库和卷积计算模块的弱监督学习方法包括：
将仅包含道面固有结构的图像输入参数初始化卷积计算模块中的卷积神经网络和参数；
进行知识库和卷积计算模块的交替学习，修改卷积计算模块的参数和知识库的参数。
5.根据权利要求4所述逻辑推理式道面检测方法，其特征在于，所述将仅包含道面固有结构的图像输入参数初始化卷积计算模块中的卷积神经网络和参数具体包括：
将所述包含道面固有结构的图像依次通过卷积计算模块和反卷积计算模块初始化卷积神经网络；
其中初始化的过程包括：
重建损失函数训练输出图像与输入图像的差；
使用无监督方法初始化卷积计算模块参数，以最小化重建损失函数为目标，学习得到卷积计算模块的初始化参数。
6.根据权利要求4所述逻辑推理式道面检测方法，其特征在于，
所述知识库的子类包括多个道面固有结构子类和多个道面污染子类，其弱监督学习方法包括以下步骤：
将多个只有道面固有结构的图像输入卷积计算模块；
获取卷积计算模块输出的所有特征图；
对特征图中所有网格坐标的向量进行k个聚类的聚类分析，k为道面固有结构的子类数量；
设置每个聚类的中心值为知识库中道面固有结构子类的典型特征；
设置每个聚类的分布范围为知识库中道面固有结构子类的分布范围；
将多个只有道面污染的图像输入卷积计算模块；
获取卷积计算模块输出的所有特征图；
对特征图中所有网格坐标的向量进行k+1个聚类的聚类分析；
设置每个聚类的中心值为知识库中道面污染子类的典型特征；
设置每个聚类的分布范围为知识库中道面污染子类的分布范围。
7.根据权利要求4所述逻辑推理式道面检测方法，其特征在于，所述卷积计算模块的弱监督学习方法包括：
依次将多个包含道面固有结构或道面污染的图像输入至卷积计算模块；
获取卷积计算模块输出的特征图；
计算特征图中每个网格坐标的向量与预设的知识库中子类的典型特征的相似度vi，得到由相似度vi构成的相似度向量V；
由特征图中所有网格坐标对应的相似度向量构成该特征图对应的相似度图S；
从相似度图S计算道面固有结构子类和道面污染子类的分类得分
Figure FDA0003534967700000041
即在每个相似度维度上计算所有像素的最大值
Figure FDA0003534967700000042
其中C由ci组成，S由si组成；
计算分类损失函数
Figure FDA0003534967700000043
将C中最大值置为1，其他值置为0，得到C/；
当完成所有图像的学习后，得到所述卷积计算模块的参数；
输入多个包含道面异物的道面图像，统计分析合并相似度图S/的分布范围，并相应调整判断阈值。
8.一种逻辑推理式道面检测系统，其特征在于，包括：
输入单元：用于接收输入图像；
信号处理单元：用于执行权利要求1～3中任一权利要求所述的逻辑推理式道面检测方法；
输出单元：用于输出检测图像；
卷积计算模块：搭建卷积神经网络，用于根据输入的图像输出特征图；
知识库：构建道面固有结构子类的典型特征及分布范围，道面污染子类的典型特征及分布范围；
反卷积计算模块：用于将卷积计算模块输出的特征图进行反卷积，得到图像。
CN202011511252.2A 2020-12-18 2020-12-18 逻辑推理式道面检测方法及系统 Active CN112580509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011511252.2A CN112580509B (zh) 2020-12-18 2020-12-18 逻辑推理式道面检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011511252.2A CN112580509B (zh) 2020-12-18 2020-12-18 逻辑推理式道面检测方法及系统

Publications (2)

Publication Number Publication Date
CN112580509A CN112580509A (zh) 2021-03-30
CN112580509B true CN112580509B (zh) 2022-04-15

Family

ID=75136241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011511252.2A Active CN112580509B (zh) 2020-12-18 2020-12-18 逻辑推理式道面检测方法及系统

Country Status (1)

Country Link
CN (1) CN112580509B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691918B (zh) * 2022-04-01 2023-06-02 北京百度网讯科技有限公司 基于人工智能的雷达图像检索方法、装置以及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663394A (zh) * 2012-03-02 2012-09-12 北京航空航天大学 基于多源遥感图像融合的大中型目标识别方法
CN108764202A (zh) * 2018-06-06 2018-11-06 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109766904A (zh) * 2015-07-27 2019-05-17 蚌埠医学院 医学领域图像语义相似度矩阵的改进算法
CN111126399A (zh) * 2019-12-28 2020-05-08 苏州科达科技股份有限公司 一种图像检测方法、装置、设备及可读存储介质
CN111898444A (zh) * 2020-06-30 2020-11-06 安徽水天信息科技有限公司 一种基于图像识别的飞机起落架状态判定方法
CN111985304A (zh) * 2020-07-03 2020-11-24 深圳英飞拓智能技术有限公司 巡防告警方法、系统、终端设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10403003B2 (en) * 2017-04-24 2019-09-03 Intel Corporation Compression mechanism

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663394A (zh) * 2012-03-02 2012-09-12 北京航空航天大学 基于多源遥感图像融合的大中型目标识别方法
CN109766904A (zh) * 2015-07-27 2019-05-17 蚌埠医学院 医学领域图像语义相似度矩阵的改进算法
CN108764202A (zh) * 2018-06-06 2018-11-06 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN111126399A (zh) * 2019-12-28 2020-05-08 苏州科达科技股份有限公司 一种图像检测方法、装置、设备及可读存储介质
CN111898444A (zh) * 2020-06-30 2020-11-06 安徽水天信息科技有限公司 一种基于图像识别的飞机起落架状态判定方法
CN111985304A (zh) * 2020-07-03 2020-11-24 深圳英飞拓智能技术有限公司 巡防告警方法、系统、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Variable-coordinate forward modeling of irregular surface based on dual-variable grid";Jianping Huang;《Applied Geophysics》;20150416;第12卷;第101-110页 *
"基于舌像的移动医疗诊断平台的设计与实现";宋坤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第02期);第I138-2854页 *

Also Published As

Publication number Publication date
CN112580509A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN108830188B (zh) 基于深度学习的车辆检测方法
Chen et al. An approach to boundary detection for 3D point clouds based on DBSCAN clustering
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
Zakeri et al. Image based techniques for crack detection, classification and quantification in asphalt pavement: a review
Jahedsaravani et al. An image segmentation algorithm for measurement of flotation froth bubble size distributions
Bai et al. An optimized railway fastener detection method based on modified Faster R-CNN
Duan et al. Detection and segmentation of iron ore green pellets in images using lightweight U-net deep learning network
CN112215819B (zh) 基于深度特征融合的机场道面裂缝检测方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN107491734B (zh) 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN104182985A (zh) 遥感图像变化检测方法
CN111950488B (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
Yang et al. Concrete crack segmentation based on UAV-enabled edge computing
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN112580509B (zh) 逻辑推理式道面检测方法及系统
Drouyer An'All Terrain'Crack Detector Obtained by Deep Learning on Available Databases
CN107341455A (zh) 一种对夜间机场跑道路面上外来物的区域多特征的检测方法及检测装置
CN114170487A (zh) 一种基于视觉的水面油污检测方法
Bagwari et al. A comprehensive review on segmentation techniques for satellite images
Feng et al. SCL-GCN: Stratified Contrastive Learning Graph Convolution Network for pavement crack detection from mobile LiDAR point clouds
CN112614121A (zh) 一种多尺度小目标设备缺陷识别监测方法
Patil et al. Road segmentation in high-resolution images using deep residual networks
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
Mouzinho et al. Hierarchical semantic segmentation based approach for road surface damages and markings detection on paved road

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant