CN114240901A - 一种机场道面异常状态实时检测方法和系统 - Google Patents

一种机场道面异常状态实时检测方法和系统 Download PDF

Info

Publication number
CN114240901A
CN114240901A CN202111564694.8A CN202111564694A CN114240901A CN 114240901 A CN114240901 A CN 114240901A CN 202111564694 A CN202111564694 A CN 202111564694A CN 114240901 A CN114240901 A CN 114240901A
Authority
CN
China
Prior art keywords
image
road surface
ddrnet
apparent
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111564694.8A
Other languages
English (en)
Inventor
曹铁
张力波
张平
涂欢
周科杰
涂昊
邵黎明
向召利
严正罡
张轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Electronic Technology Co ltd
Second Research Institute of CAAC
Original Assignee
Civil Aviation Electronic Technology Co ltd
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Electronic Technology Co ltd, Second Research Institute of CAAC filed Critical Civil Aviation Electronic Technology Co ltd
Priority to CN202111564694.8A priority Critical patent/CN114240901A/zh
Publication of CN114240901A publication Critical patent/CN114240901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种机场道面异常状态实时检测方法，包括：基于预设的推理优化器对训练好的YOLOv5目标检测模型和DDRNet语义分割模型进行优化；将优化后的YOLOv5和DDRNet、经典图像处理算法和图像加速解码器部署在可移动本体的图像检测装置上；控制可移动巡检本体按照预设行驶路径行驶，并控制图像采集装置采集机场道面图像；图像加速解码器实时获取采集的机场道面图像并进行解码；利用YOLOv5、DDRNet和经典图像处理算法对解码后的图像中异常状态进行检测，异常状态包括道面表观病害、道面异物和道面标志线异常磨损。本发明还提供了一种机场道面异常状态实时检测系统。本发明能够实时发现机场道面异常状态。

Description

一种机场道面异常状态实时检测方法和系统
技术领域
本发明涉及机场道面检测技术领域，具体涉及一种机场道面异常状态实时检测方法和系统。
背景技术
机场道面是机场的重要设施，在人为因素、飞机起降以及各种气候环境的影响下，机场道面出现标志线残缺、病害以及异物等会影响机场的安全运行。
目前机场主要采用人工目视巡查的方式巡检机场道面，其巡检过程为一名巡检员开车，另一名工作人员观察道面表观状况，但是这种传统的人工巡查方式存在工作量大、效率低、精度差、易漏检、主观性强等缺点。
随着航空交通量的快速增长，使用自动化巡检系统代替人工巡检，其中，雷达探测技术和图像处理技术是当前主流的自动检测技术，但是激光雷达的价格比较昂贵，且对机场道面标志线的探测效果较差，探测精度难以达到小尺寸裂缝的探测要求；在图像处理方面，目标检测算法和语义分割算法在精度上不断提高，但是目标检测算法不能提取裂缝的轮廓信息，故不能判断裂缝的严重程度；语义分割算法可以提取裂缝的轮廓信息，但是检测实时性差，在经典图像处理方面，通过人为涉及图像处理过程，但是这种处理方式存在环境适应性差、不能直接实现机场道面的异常状态检测。
发明内容
针对上述技术问题，本发明采用的技术方案为：
本发明实施例提供的一种机场道面异常状态实时检测方法，包括以下步骤：
S100，分别优化和搭建YOLOv5卷积神经网络模型和DDRNet卷积神经网络模型并训练，得到训练好的YOLOv5目标检测模型和DDRNet语义分割模型；
S200，基于预设的推理优化器对训练好的YOLOv5目标检测模型和DDRNet语义分割模型进行优化以提高模型的推理速度；
S300，将优化后的YOLOv5目标检测模型和DDRNet语义分割模型、经典图像处理算法和图像加速解码器部署在可移动本体的图像检测装置上；所述可移动巡检本体上还设置有图像采集装置；
S400，控制可移动巡检本体按照预设行驶路径行驶，并控制图像采集装置采集机场道面图像；
S500，图像加速解码器实时获取采集的机场道面图像并进行解码；
S600，利用优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测，并生成对应的检测结果，所述异常状态包括道面表观病害、道面异物和道面标志线异常磨损。
本发明另一实施例提供一种机场道面异常状态实时检测系统，包括通信连接的可移动本体和控制终端，所述可移动本体上设置有图像采集装置和图像检测装置；
其中，所述图像检测装置包括图像加速解码器、经典图像处理算法、通过预设的推理优化器优化后的YOLOv5目标检测模型和DDRNet语义分割模型；
所述可移动巡检本体用于基于控制终端发送的控制指令按照预设的行驶路径进行巡检；
所述图像采集装置用于在可移动巡检本体的巡检过程中采集机场道面图像，并发送给所述图像检测装置；
所述图像检测装置用于：
通过图像加速解码器实时获取采集的机场道面图像并进行解码；以及
通过优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测，并生成对应的检测结果并发送给所述控制终端，所述异常状态包括道面表观病害、道面异物和道面标志线异常磨损。
本发明实施例提供的机场道面异常状态实时检测方法和系统，由于采用了推力优化器对YOLOv5目标检测模型和DDRNet语义分割模型进行了优化，并且采用了图像加速解码器对采集的机场道面图像进行了快速解码以及搭载了经典图像处理算法，因此，能够在巡检过程中实时得到包括道面表观病害、道面异物和道面标志线异常磨损的检测结果，能够及时发现机场道面的异常状态，进而保障机场的安全智能运营。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的机场道面异常状态实时检测方法的流程示意图；
图2为本发明实施例提供的机场道面异常状态实时检测系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的机场道面异常状态实时检测方法的流程示意图。如图1所示，本发明实施例提供的机场道面异常状态实时检测方法包括以下步骤：
S100，分别优化和搭建YOLOv5卷积神经网络模型和DDRNet卷积神经网络模型并训练，得到训练好的YOLOv5目标检测模型和DDRNet语义分割模型。
在本发明实施例中，训练样本集可通过如下方式获取：从多个机场以及第三方机构获得4万张机场道面存在人(例如机场员工)、车辆以及飞机等正常目标的图像以及1万张机场道面存在裂缝、接缝破碎、板角剥落、补丁、坑洞等道面表观病害以及标志线磨损等道面异常状态的图像，并对获得的图像进行标注和采用Mosaic和MixUp数据增强技术对数据作图像增强，得到共50万张图像。将其中的40万张图像作为训练集，20万张图像作为测试集，放在配置4条NVIDIA Tesla V100(32GB显存)的训练服务器上进行训练和精度测试，进而，得到训练好的YOLOv5目标检测模型和DDRNet语义分割模型，其中，YOLOv5负责检测员工、车辆以及飞机等正常目标，标志线以及接缝破碎、板角剥落、补丁、坑洞等道面表观病害；DDRNet负责检测道面区域、道面裂缝以及标志线。
在本发明实施例中，选用tensorflow2.5作为深度学习框架，构建YOLOv5目标检测模型和DDRNet语义分割模型。
在本发明实施例中，YOLOv5目标检测模型采用k-means聚类算法对于病害数据集图片中的目标检测框进行聚类分析，得到新的适用于机场道面病害检测的Anchor数量与尺寸，依据k-means聚类算法得到的参数修改YOLOv5网络配置文件中Anchor数量与尺寸；为了提高模型对裂纹、坑洞等小尺寸病害的检测能力，DDRNet语义分割模型采用OhemCELoss损失函数进行训练。YOLOv5和DDRNet卷积神经网络的构建、训练以及测试均在配置4条NVIDIATesla V100(32GB显存)的训练服务器上进行。
S200，基于模型推理优化器TensorRT优化训练好的YOLOv5目标检测模型和DDRNet语义分割模型进行优化以提高模型的推理速度。
在本发明实施例中，所述模型推理优化器可采用Nvidia公司推出的TensorRT，TensorRT对卷积神经网络模型的优化主要包括减少模型推理计算量和对模型进行重构，具体包括：
将卷积神经网络模型中数据类型为FP32的参数通过映射操作降为FP16或INT8的数据类型，以减少模型推理计算量；以及通过层间融合和张量融合对卷积神经网络模型中的网络层进行简化，以简化模型结构。具体地，可通过层间融合将卷积神经网络模型中的常见块结构合并成一个网络层，通过张量融合将多个结构相同的网络层合并成一个网络层，以及自动删除连接层等模型简化方法，简化模型结构。
通过对模型重构减少模型对GPU的CUDA核心占用量以及调用频率，使得整个模型结构会更小，更快，更高效。
S300，将优化后的YOLOv5目标检测模型和DDRNet语义分割模型、经典图像处理算法和图像加速解码器部署在可移动本体的图像检测装置上；所述可移动巡检本体上还设置有图像采集装置。
在本发明一示意性实施例中，所述图像加速解码器可为DeepStream。DeepStream是Nvidia公司推出的旨加速流视频分析的SDK，通过该SDK可实现在GPU上快速完成从视频流捕获到输出深度学习算法识别结果。通过DeepStream搭建流处理管道，摄像机视频流输入该管道；快速解码模块通过GPU对视频流进行快速解码并获取序列帧图片；图像预处理模块通过GPU对图片进行颜色通道转换、尺寸缩放以及归一化处理，使得图片满足YOLOv5算法的输入要求。
在本发明实施例中，可移动巡检本体可为能够自动移动的巡检车辆。图像采集装置可由3个工业摄像头组成，其中，一个摄像头观测巡检车辆的前下方，另外两个摄像头观测巡检车辆的侧下方。
在本发明一具体实施例中，所述图像检测装置可包括AI边缘运算平台，可采用Jetson AGX Xavier开发套件作为本发明实施例的AI边缘运算平台。可将优化后的YOLOv5目标检测模型和DDRNet语义分割模型、经典图像处理算法和图像加速解码器部署在AI边缘运算平台上。具体地，在AI边缘运算平台上安装模型推理优化器TensorRT和图像加速解码器DeepStream，利用TensorRT对训练好的YOLOv5目标检测模型和DDRNet模型文件(.PB)进行优化，生成.engine文件，通过图像加速解码器DeepStream加载优化好的YOLOv5目标检测模型和DDRNet模型，完成对模型的部署。
S400，控制可移动巡检本体按照预设行驶路径行驶，并控制图像采集装置采集机场道面图像。
预设行驶路径可基于巡检任务确定，可由控制终端生成。
S500，图像加速解码器实时获取采集的机场道面图像并进行解码。
S600，利用优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测，并生成对应的检测结果，所述异常状态包括道面表观病害、道面异物和道面标志线异常磨损。
在本发明实施例中，所述道面表观病害包括第一表观病害和第二表观病害，其中，所述第一表观病害包括接缝破碎、板角剥落、补丁、坑洞，所述第二表观病害包括裂缝。
进一步地，S600进一步包括：
S610，利用优化后的YOLOv5目标检测模型对解码后的图像中的第一表观病害、标志线和正常目标进行检测，并对检测到的第一表观病害、标志线和正常目标进行标识。
在本发明实施例中，正常目标可包括人、飞机、车辆等。利用优化后的YOLOv5目标检测模型对解码后的图像中的第一表观病害、标志线和正常目标进行检测，并对检测到的第一表观病害、标志线和正常目标进行标识可为现有技术。在一个示意性实施例中，可采用外接矩形框对检测到的第一表观病害、标志线和正常目标进行标识。此外，优化后的YOLOv5目标检测模型还会得到检测到的病害的类型和位置等。
S620，利用优化后的DDRNet语义分割模型执行如此操作：
S6210，分别对检测到的第一表观病害和标志线的轮廓进行提取，得到第一表观病害和标志线的轮廓信息。
S6220，对解码后的图像中的第二表观病害进行检测，并在检测到第二表观病害时，提取第二表观病害的轮廓信息。
S6230，基于标志线的标识和标志线的轮廓信息确定标志线是否存在异常磨损。
具体地，如果提取的标志线的轮廓的面积AR与外接矩形框的面积AC满足AR/AC＜a，则确定所述标志线存在异常磨损，a为设定阈值，可为经验值，例如，可为0.3。
S6240，对解码后的图像中的道面区域的轮廓进行提取，得到第一道面轮廓信息。
在该步骤中，可首先提取图像中的道面ROI，然后通过DDRNet语义分割模型检测并提取出道面区域的轮廓。
S6250，在第一道面轮廓信息中去除检测到的第一表观病害、第二表观病害、标志线和正常目标，得到第二道面轮廓信息。
在本发明实施例中，DDRNet语义分割模型检测病害和提取轮廓的方法可为现有技术。
S630，利用经典图像处理算法对第二道面轮廓信息中的异物进行检测，并在检测到异物时进行标识。
该步骤具体可包括：
S6310，利用经典图像处理算法从第二轮廓信息中提取待识别对象的边缘轮廓，并计算待识别对象的边缘轮廓包围的面积。
待识别对象为在第二轮廓信息中检测到的需要进一步确定是否为异物的对象。
S6320，如果计算的面积超过预设值，则确定待识别对象为异物，并使用外接矩形框对确定的异物进行标识。预设值可为经验值，例如，可为70像素*70像素。
在本发明实施例中，经典图像处理算法可包括空间域滤波、图像边缘检测、腐蚀膨胀等算法。
图2为本发明实施例提供的一种机场道面异常状态实时检测系统的结构框图。如图2所示，本发明实施例提供的机场道面病害实时检测系统，包括：可移动本体1、控制终端2和显示终端8，所述可移动本体包括图像采集装置3、图像检测装置4、定位装置5、车载控制装置6和通信装置7，所述可移动本体1和显示终端8分别与所述控制终端2通信连接。
在本发明实施例中，所述可移动本体1用于基于所述控制终端2发送的运动控制指令按照预设的巡检路径行驶，所述可移动本体1为能够自动移动的巡检车辆。
定位装置5可由北斗天线和惯导装置组成，用于对巡检车辆进行定位，并将定位信息发送给远程控制端1。车载控制装置6用于执行控制终端2对巡检车辆的巡检控制指令，控制巡检本体按照设定的行驶路径进行行驶。通信装置7用于巡检车辆与控制终端2的实时通信，例如可采用5G进行实时通信。
控制终端2上部署有巡检本体控制系统，包括车辆路径规划模块和遥控模块，用于向车载控制装置6下发巡检控制指令，以自动控制或远程临时控制巡检车辆的运动路线即行驶路径。在具体实施时，控制终端2搭建有机场道面智能巡检系统网页端程序，主要有两个功能，其一是用于接收和保存道面巡检图像以及道面异常状态检测结果，将道面巡检图像以及道面异常状态信息传输给显示终端8，其二是将车辆控制系统的指令通过5G网络发送给巡检车辆上的车载控制模块，控制巡检车辆的运动。
在本发明实施例中，所述图像采集装置3由三个工业摄像头组成，其中一个工业摄像头用于采集所述可移动本体1的前下方图像，另外两个工业摄像头用于采集所述可移动本体1的测下方图像。用于采集机场道面的图像并通过5G网络发送给所述控制终端2，同时通过数据线将图像传输给所述图像检测装置4。
进一步地，在本发明实施例中，所述图像检测装置4包括AI边缘运算平台以及部署在AI边缘运算平台上的通过预设的推理优化器优化后的YOLOv5目标检测模型和DDRNet语义分割模型、图像加速解码器和经典图像处理算法。
具体地，推理优化器可为TensorRT，图像加速解码器可为DeepStream。YOLOv5目标检测模型和DDRNet语义分割模型的具体优化过程以及优化后的YOLOv5目标检测模型和DDRNet语义分割模型、图像加速解码器和经典图像处理算法的具体部署可参见前述实施例。
所述图像检测装置4用于基于接收的所述图像采集装置3采集的机场道面图像执行如下操作：
通过图像加速解码器实时获取采集的机场道面图像并进行解码；以及
通过优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测，并生成对应的检测结果并发送给所述控制终端2，所述异常状态包括道面表观病害、道面异物和道面标志线异常磨损。
其中，通过优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测可具体参见前述实施例中的S600。
在本发明实施例中，显示终端8用于显示检测结果。在具体实施时，显示终端8用于展示在控制终端2上搭建的机场道面智能巡检系统网页端程序，其主页面内容为道面实时画面、右侧病害记录栏以及下方的车辆控制模块栏。
在具体应用时，使用本发明实施例提供的机场道面异常状态实时检测系统对机场道面进行巡检时，可包括以下步骤：
步骤一：在机场道面智能巡检系统网页端车辆控制模块栏，选择一种巡检任务，确定巡检车辆的巡检路径。巡检车辆上的导航装置将定位信息通过5G网络发送给控制终端，控制终端根据巡检车辆位置信息和规划的巡检路径得出相应的运动控制指令，并将运动控制指令通过5G网络发送给巡检车辆上的车载控制装置，车载控制装置控制巡检车辆运动从而进行自动巡检。
步骤二：车辆巡检过程中，图像采集装置采集道面图像，将图像通过5G网络传送至控制终端，同时通过数据线将图像传送至图像检测装置。图像检测装置对道面图像进行异常状态检测，并将检测得到的表观病害、标志线异常磨损以及异物等道面异常状态及其位置信息通过5G网络发送至控制终端。
步骤三：控制终端接收并存储道面图像和异常状态信息，道面巡检图像存储为视频，道面异常状态以及巡检车辆的位置信息通过存储器保存；同时，控制终端将道面巡检图像实时在机场道面智能巡检系统网页端程序上显示，并通过方框和标签的形式实时标出检测到的异常状态的类型和位置，在病害记录栏内，及时展示带轮廓标记的病害图片。
步骤四：当作业人员在显示器发现系统检测到道面异常状态时，可在机场道面智能巡检系统网页端的车辆控制模块栏，通过遥控模块上的控制按钮人工遥控巡检车辆的运动，实现对道面异常状态的进一步确认。
步骤五：异常状态确认完成后，作业人员在机场道面智能巡检系统网页端车辆控制模块栏，选择按巡检路径继续巡检。当巡检车辆到达巡检路径终点时整个道面巡检作业完成。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种机场道面异常状态实时检测方法，其特征在于，包括以下步骤：
S100，分别优化和搭建YOLOv5卷积神经网络模型和DDRNet卷积神经网络模型并训练，得到训练好的YOLOv5目标检测模型和DDRNet语义分割模型；
S200，基于预设的推理优化器对训练好的YOLOv5目标检测模型和DDRNet语义分割模型进行优化以提高模型的推理速度；
S300，将优化后的YOLOv5目标检测模型和DDRNet语义分割模型、经典图像处理算法和图像加速解码器部署在可移动本体的图像检测装置上；所述可移动巡检本体上还设置有图像采集装置；
S400，控制可移动巡检本体按照预设行驶路径行驶，并控制图像采集装置采集机场道面图像；
S500，图像加速解码器实时获取采集的机场道面图像并进行解码；
S600，利用优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测，并生成对应的检测结果，所述异常状态包括道面表观病害、道面异物和道面标志线异常磨损。
2.根据权利要求1所述的方法，其特征在于，所述道面表观病害包括第一表观病害和第二表观病害；
S600进一步包括：
S610，利用优化后的YOLOv5目标检测模型对解码后的图像中的第一表观病害、标志线和正常目标进行检测，并对检测到的第一表观病害、标志线和正常目标进行标识；
S620，利用优化后的DDRNet语义分割模型执行如此操作：
S6210，分别对检测到的第一表观病害和标志线的轮廓进行提取，得到第一表观病害和标志线的轮廓信息；
S6220，对解码后的图像中的第二表观病害进行检测，并在检测到第二表观病害时，提取第二表观病害的轮廓信息；
S6230，基于标志线的标识和标志线的轮廓信息确定标志线是否存在异常磨损；
S6240，对解码后的图像中的道面区域的轮廓进行提取，得到第一道面轮廓信息；
S6250，在第一道面轮廓信息中去除检测到的第一表观病害、第二表观病害、标志线和正常目标，得到第二道面轮廓信息；
S630，利用经典图像处理算法对第二道面轮廓信息中的异物进行检测，并在检测到异物时进行标识。
3.根据权利要求2所述的方法，其特征在于，利用外接矩形框对检测到的标志线进行标识；S30进一步包括：
如果提取的标志线的轮廓的面积AR与外接矩形框的面积AC满足AR/AC＜a，则确定所述标志线存在异常磨损，a为设定阈值。
4.根据权利要求2所述的方法，其特征在于，S630进一步包括：
S6310，利用经典图像处理算法从第二轮廓信息中提取待识别对象的边缘轮廓，并计算待识别对象的边缘轮廓包围的面积；
S6320，如果计算的面积超过预设值，则确定待识别对象为异物，并使用外接矩形框对确定的异物进行标识。
5.根据权利要求1所述的方法，所述推理优化器为TensorRT。
6.根据权利要求1所述的方法，所述图像加速解码器为DeepStream。
7.根据权利要求1所述的方法，所述第一表观病害包括接缝破碎、板角剥落、补丁、坑洞，所述第二表观病害包括裂缝。
8.根据权利要求2所述的方法，所述正常目标包括人、车辆和飞机。
9.一种机场道面异常状态实时检测系统，其特征在于，包括通信连接的可移动本体和控制终端，所述可移动本体上设置有图像采集装置和图像检测装置；
其中，所述图像检测装置包括图像加速解码器、经典图像处理算法、通过预设的推理优化器优化后的YOLOv5目标检测模型和DDRNet语义分割模型；
所述可移动巡检本体用于基于控制终端发送的控制指令按照预设的行驶路径进行巡检；
所述图像采集装置用于在可移动巡检本体的巡检过程中采集机场道面图像，并发送给所述图像检测装置；
所述图像检测装置用于：
通过图像加速解码器实时获取采集的机场道面图像并进行解码；以及
通过优化后的YOLOv5目标检测模型、DDRNet语义分割模型和经典图像处理算法对解码后的图像中异常状态进行检测，并生成对应的检测结果并发送给所述控制终端，所述异常状态包括道面表观病害、道面异物和道面标志线异常磨损。
10.根据权利要求8所述的系统，其特征在于，还包括显示终端，用于对所述检测结果进行可视化呈现。
CN202111564694.8A 2021-12-20 2021-12-20 一种机场道面异常状态实时检测方法和系统 Pending CN114240901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111564694.8A CN114240901A (zh) 2021-12-20 2021-12-20 一种机场道面异常状态实时检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111564694.8A CN114240901A (zh) 2021-12-20 2021-12-20 一种机场道面异常状态实时检测方法和系统

Publications (1)

Publication Number Publication Date
CN114240901A true CN114240901A (zh) 2022-03-25

Family

ID=80759543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111564694.8A Pending CN114240901A (zh) 2021-12-20 2021-12-20 一种机场道面异常状态实时检测方法和系统

Country Status (1)

Country Link
CN (1) CN114240901A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274564A (zh) * 2023-11-20 2023-12-22 民航成都电子技术有限责任公司 基于图文语义差异的机场跑道异物检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274564A (zh) * 2023-11-20 2023-12-22 民航成都电子技术有限责任公司 基于图文语义差异的机场跑道异物检测方法及系统
CN117274564B (zh) * 2023-11-20 2024-03-15 民航成都电子技术有限责任公司 基于图文语义差异的机场跑道异物检测方法及系统

Similar Documents

Publication Publication Date Title
CN106203265B (zh) 一种施工扬尘污染源自动监测及影响范围预测系统及方法
Wu et al. Coupling deep learning and UAV for infrastructure condition assessment automation
CN112633535A (zh) 一种基于无人机图像的光伏电站智能巡检方法及系统
CN110598637B (zh) 一种基于视觉及深度学习的无人驾驶系统及方法
KR20200013148A (ko) 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
JP7153820B2 (ja) 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置
US20200357191A1 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN114240901A (zh) 一种机场道面异常状态实时检测方法和系统
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN114841923A (zh) 一种基于无人机的高精度实时裂缝检测方法
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及系统、设备
CN113343933A (zh) 一种基于视频目标识别定位的机场场面监视方法
CN115965926B (zh) 一种车载式道路标志标线巡检系统
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
CN110963036A (zh) 一种基于无人机进行建筑检测修复的装置及方法
Yongli et al. Analysis of Remote Tower System
CN114240903A (zh) 一种机场道面病害检测方法和系统
CN113657261A (zh) 基于机场远程塔台全景视频的实时目标检测方法及装置
CN112634610A (zh) 自然驾驶数据采集方法、装置、电子设备以及存储介质
CN111862012A (zh) 基于深度卷积神经网络的机场滑行道的缺陷检测方法
Petkova Deploying drones for autonomous detection of pavement distress
Mao et al. Automated damage assessment of critical infrastructure using online mapping technique with small unmanned aircraft systems
del Rey Castillo et al. Rapid, automated, post-earthquake building assessment using a swarm of drones and machine learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination