CN111145239A - 一种基于深度学习的飞机油箱多余物自动检测方法 - Google Patents

一种基于深度学习的飞机油箱多余物自动检测方法 Download PDF

Info

Publication number
CN111145239A
CN111145239A CN201911394207.0A CN201911394207A CN111145239A CN 111145239 A CN111145239 A CN 111145239A CN 201911394207 A CN201911394207 A CN 201911394207A CN 111145239 A CN111145239 A CN 111145239A
Authority
CN
China
Prior art keywords
layer
convolution
image
characteristic
full connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911394207.0A
Other languages
English (en)
Other versions
CN111145239B (zh
Inventor
汪俊
杨建平
龚小溪
李艺达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuntong Technology Co ltd
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911394207.0A priority Critical patent/CN111145239B/zh
Publication of CN111145239A publication Critical patent/CN111145239A/zh
Application granted granted Critical
Publication of CN111145239B publication Critical patent/CN111145239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的飞机油箱多余物自动检测方法，包括：从探测机械臂末端挂载的深度相机中获取彩色图像和深度图像，形成油箱图像集和图像标签集；将油箱多余物可划分为金属碎屑、密封胶、螺帽和施工工具四类情况；将彩色图像和深度图像配对建立训练数据集，并将图像划分为训练集、验证集和测试集，以及相应的标签集；使用卷积神经网络构建前端特征提取器，分别对训练集中的彩色图像和深度图像提取特征并进行特征融合；使用区域候选网络构建后端目标检测器，之后进行卷积神经网络和区域候选网络的训练，最终利用训练后的模型输检测飞机油箱图像中多余物的位置以及对应4个多余物类型的概率，具有检测效率高，检测精度高的优点。

Description

一种基于深度学习的飞机油箱多余物自动检测方法
技术领域
本发明涉及密闭空间无损检测技术、计算机视觉和深度学习等领域，具体为一种基于深度学习的飞机油箱多余物自动检测方法。
背景技术
飞机油箱多余物，是指飞机装配出厂、检修和维修时因为施工人员赶工期、疏忽大意或者检查困难等主客观因素导致机身内部没有被打扫干净，残留有大量威胁飞行安全的“异物碎片”。这些“异物碎片”除了金属碎屑和施工工具，还包括密封胶、螺帽等装配配件。这些多余物很有可能会在飞行中因振动磨损铆钉的密封涂胶导致油箱面临漏油的风险，破坏油箱中的控制电路或者阻塞油箱油管，进而导致飞机失控。由于飞机内部可移动的“异物碎片”造成飞机延迟交付和运行事故已多次发生，造成了无法估量的损失。
目前国内外飞机油箱的多余物无损检测技术主要有以下几种技术X射线检验法、内窥镜探测法和超声波检验法等。其中，现今使用最普遍的检测方法是使用X射线检验法(参见：孙德江.运七飞机整体油箱多余物的无损检测[J].无损检测,1994(6):17.)，它是一种利用X射线探测技术，将射线源架在整体油箱上方进行俯拍，将胶片紧贴底部背面成像的装置。受射线源视角约束，此装置需要操作人员多次手动移动射线源和底部胶片的位置，操作非常繁琐。此外，胶片曝光形成底片的过程中需要多道操作工序，底片上有时出现亮斑、亮线等影像，此时需要评片人员具备完备的专业知识和判读经验，才能较精确地检测出多余物。并且此装置操作较为繁琐，对专业技能要求较高，多余物的检测精度严重依赖于底片的成像质量以及评片人员的判断经验，检测效率较低，检测成本较高，无法大规模投入生产。
目前，针对现有技术中如何从飞机油箱图像数据中高效准确地检多余物问题，尚未提出有效的解决方案。因此，迫切需要一种高效准确地进行飞机油箱多余物检测方法。
发明内容
本发明的目的是针对上述问题，提供一种基于深度学习的飞机油箱多余物自动检测方法，利用大量已有标注的飞机油箱图像数据进行训练，能够快速准确地检出油箱中的多余物类型。
本发明提供的技术方案为：
一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，包括：
步骤1.通过探测机械臂末端挂载的深度相机，在飞机油箱中进行定点拍照，构建油箱图像集S和图像标签集γ；
其中，所述油箱图像集S由多个图像对构成，设任一图像对为χ(n)，χ(n)＝(I(n)，D(n))，由一对彩色图像I(n)以及对应的深度图像D(n)构成，n为图像对在集合中的序列号；
对于每个图像对χ(n)，均有与之对应的图像标签γ(n)，所述图像标签集γ为所有γ(n)的集合；设γ(n)＝(ο(n,1)，ο(n,2)，...ο(n,N))，其中，N为第n个图像对中多余物的总数，ο(n,i)＝(x,y,w,h,l)，表示第n个图像对中第i个多余物在图像中的位置(x,y,w,h)以及所属多余物类型l，所述(x,y,w,h)分别为多余物中心点的横坐标值、纵坐标值、宽度值和高度值，多余物的类型包括金属碎屑、密封胶、螺帽和施工工具4类，对应不同的l值；
步骤2.建立训练数据集；
将油箱图像集S中的图像对划分为训练集T、验证集V和测试集ε，对应的标签集分别为γT、γV、γε；
步骤3.建立网络模型；
所述网络模型由特征提取器和目标检测器构成，使用卷积神经网络构建前端特征提取器，使用区域候选网络构建后端目标检测器；
步骤4.训练网络模型；
训练所述卷积神经网络和区域候选网络，将T和γT的训练数据送入卷积神经网络进行训练；
步骤5：利用训练完成的深度网络模型，针对实践中采集的飞机油箱图像进行多余物检测。
在上述方案的基础上，进一步改进或优选的方案还包括：
进一步的，在网络模型的训练过程中，将T和γT训练数据划分批次bacth，送入卷积神经网络中进行提取特征，通过随机水平翻转、随机裁剪或加入噪声的方式增强训练数据，以提高目标检测模型的鲁棒性。
送入卷积神经网络之前，对彩色图像和深度图像进行归一化处理：将彩色图像矩阵每个元素都除以255，使其每个像素值都在0～1之间；将单通道的深度图像拷贝扩充为3通道的深度图像；将深度图像矩阵每个元素都除以1.5，使其每个像素值都在0～1之间。
进一步的，所述卷积神经网络包括卷积模块和融合模块；
所述卷积模块包括：
第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动2个像素，共计32个特征图像；
第二卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计64个特征图像；
第一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用的卷积核个数分别为[128,128,128]，第三层卷积核滑动时每次移动2个像素，共计128个特征图像；
第二卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[256,256,256]，第三层卷积核滑动时每次移动2个像素，共计256个特征图像；
第三卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动2个像素，共计728个特征图像；
第四至第十九卷积块层，均采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动1个像素，共计728个特征图像；
第二十卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数为[728,1024,1024]，第三层卷积核滑动时每次移动2个像素，共计1024个特征图像；
第二十一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[1536,1536,2048]，第三层卷积核滑动时每次移动1个像素，共计2048个特征图像；
上述卷积模块的结构中，各层依次连接，向所述卷积模块分别输入彩色图像和深度图像，卷积模块输出彩色图像特征图和深度图像特征图；
所述融合模块包括：第一特征融合层，针对从不同通道输入的上述两个特征图，进行通道叠加处理；第二特征融合层，卷积核大小为1*1，卷积核滑动时每次移动一个像素，共计2048个特征图像；
所述第一特征融合层的输入端与所述第二十一卷积块层的输出端连接，第二特征融合层的输入端与第一特征融合层的输出端连接；
所述融合模块对输入彩色图像特征图和深度图像特征图进行处理，输出融合特征图。
所述区域候选网络采用anchor机制用于多余物的初步定位，提供3类面积大小和3类长宽比共计9种anchor；
所述区域候选网络的结构包括：
第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计2048个特征图像；
第一RPN分支第一卷积层，其中尺度卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种anchor对应的中心的偏移量和尺寸大小，输出36个预测图像；
第二RPN分支第一卷积层，卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种尺度anchor下属于前景目标、背景目标的概率，共计18个概率图像；
第二RPN分支Softmax层，用于归一化处理所述概率图像，预测出目标候选在9种尺度anchor下对应前景和背景类别的概率；
ROI池化层，对融合特征图中前景目标区域对应的图像特征进行池化操作，作，cell大小为7*7；
第一全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；
第二全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；
第三全连接层FC，全连接层的节点个数为4，输出目标在图像中的4个坐标值；
第四全连接层FC，全连接层的节点个数为4；
Softmax层，最终输出目标对应4种多余物类型的概率；
上述结构中：
所述第一卷积层和ROI池化层分别与卷积神经网络的输出层连接，第一卷基层的输出端又分别与第一RPN分支第一卷积层、第二RPN分支第一卷积层的输入端连接，所述第二RPN分支第一卷积层的输出端与第二RPN分支Softmax层的输入端连接，所述第一RPN分支第一卷积层和第二RPN分支Softmax层的输出端与所述ROI池化层连接；
所述ROI池化层的输出端与第一全连接层FC的输入端连接，第一全连接层FC的输出端与第二全连接层FC的输入端连接，第二全连接层FC的输出端分别与第三全连接层FC和第四全连接层FC连接，通过第三全连接层FC输出多余物的位置信息，所述第四全连接层FC的输出端再与所述Softmax层连接，通过Softmax层输出多余物的类型信息。
进一步的，所述区域候选网络的结构还包括：
非极大抑制层，根据目标候选预测位置的重叠率和前景、背景类别的预测概率，设置阈值，过滤重复预测和低置信度预测结果；
所述第一RPN分支第一卷积层、第二RPN分支Softmax层的输出端均与所述非极大抑制层的输入端连接，所述非极大抑制层的输出端与所述ROI池化层连接。
所述区域候选网络以TensorFlow为开发框架，采用tensorflow.contrib.slim方法构建卷积层、ROIPooling层、Sofmax层。
有益效果：
本发明飞机油箱多余物自动检测方法，在检测过程采用有监督学习的目标跟踪方法，通过准确标注飞机油箱图像中的多余物目标，训练卷积神经网络和区域候选网络，所得模型可以准确、高效的检测出油箱中多余物的位置和类型，解决了目前需要人工评片效率低、成本高的问题。
附图说明
图1是本发明流程图；
图2是本发明具体实施例中卷积块网络结构示意图；
图3是本发明的卷积神经网络结构示意图；
图4是本发明的区域候选网络结构示意图。
具体实施方式
为了进一步阐明本发明的工作原理和工作过程，下面结合附图与具体实施例对本发明方法做具体的介绍。文中的“*”号也可用“×”号代替。
通过深度学习技术，尤其是近年来在计算机视觉领域中大放异彩的卷积神经网络(Convolutional Neural Network，CNN)和区域候选网络(Region Proposal Network，RPN)，使得计算机在图像目标检测任务中取得了相当可观的准确率。因此本实施例通过使用已有的，经人工标注好的飞机油箱多余物图像训练CNN和RPN网络，提取多余物的特征并检测和识别出多余物，训练出的模型具有泛化能力强，检测效率高，检出精度高，可直接在探测机械臂上部署等优势。
如图1所示的一种基于深度学习的飞机油箱多余物自动检测方法，包括以下五个步骤。
步骤1.通过探测机械臂末端挂载的深度相机，在飞机油箱中进行定点拍照，构建油箱图像集S和图像标签集γ。
其中，所述油箱图像集S由多个图像对构成，设任一图像对为χ(n)，χ(n)＝(I(n)，D(n))，由一对彩色图像I(n)以及对应的深度图像D(n)构成，n为图像对在集合中的序列号。
对于每个图像对χ(n)，均有与之对应的图像标签γ(n)，所述图像标签集γ为所有γ(n)的集合。
设γ(n)＝(ο(n,1)，ο(n,2)，...ο(n,N))，其中，ο(n,i)＝(x,y,w,h,l)，表示第n个图像对中第i个多余物在图像中的位置(x,y,w,h)以及所属多余物类型l，N为对应图像中多余物的总数，所述(x,y,w,h)分别为多余物中心点的横坐标值、纵坐标值、宽度值和高度值；所述多余物的类型包括金属碎屑、密封胶、螺帽和施工工具(扳手、螺丝刀等)4类，依次对应l值1,2,3,4。
步骤2，建立训练数据集。
将油箱图像集S中的图像对划分为训练集T、验证集V和测试集ε，并将图像标签集γ对应的划分为标签集γT、γV和γε，其中，S＝T∪V∪ε，
Figure BDA0002345846880000081
步骤3.建立网络模型:
所述网络模型由特征提取器和目标检测器构成，使用卷积神经网络构建前端特征提取器，使用区域候选网络构建后端目标检测器；
步骤4.训练网络模型:
训练所述卷积神经网络和区域候选网络。
在训练网络模型时，将T和γT中的图像和标签分批次，送入卷积神经网络进行训练。为了提高模型的鲁棒性，需要进行数据增强，其方法包括随机水平翻转、随机裁剪、加入噪声等。最后在送入卷积神经网络之前对图像进行归一化处理：将彩色图像矩阵每个元素都除以255，使得每个像素值都在0～1之间；将单通道的深度图像拷贝扩充为3通道的深度图像；将深度图像矩阵每个元素都除以1.5(深度相机有效深度距离为1.5米)，使得每个像素值都在0～1之间。
使用通过卷积神经网络获得融合特征集，通过误差反向传播BP算法进行区域候选网络的训练和卷积神经网络的微调。通过误差方向传播BP算法进行卷积神经网络和区域候选网络的训练时，训练在Nvida Tesla40 GPU进行。
步骤5：利用训练完成的深度网络模型，针对实践中采集的飞机油箱图像进行多余物检测。通过OpenCV获取深度相机中的视频流，当探测机械臂末端到达固定位置时，截取视频当前帧进行一次检查，将彩色图像和深度图像依次经过卷积神经网络和区域候选网络后得到多余物的坐标和多余物类型概率，从而检出多余物。并通过OpenCV在视频图像中加入标注信息，提示用户检测多余物位置和类型。
作为优选，所述卷积神经网络以TensorFlow为开发框架，并结合OpenCV和Numpy库搭建。在本实施例中，采用xception.xception_module方法构建卷积块，采用tensorflow.contrib.slim方法构建卷积层、ReLu层，采用tensorflow.concat方法构建特征融合层。
本实施例中，所述区域候选网络采用anchor机制用于多余物的初步定位，anchor面积大小设置为64*64、128*128、256*256等3类，长宽比设置为1：1、1:2和2:1等3类，共计9种尺度anchor。
所述卷积神经网络包括卷积模块和融合模块。
所述卷积模块包括：
第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动2个像素，共计32个特征图像；
第二卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计64个特征图像；
第一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用的卷积核个数分别为[128,128,128]，第三层卷积核滑动时每次移动2个像素，共计128个特征图像；
第二卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[256,256,256]，第三层卷积核滑动时每次移动2个像素，共计256个特征图像；
第三卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动2个像素，共计728个特征图像；
第四至第十九卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动1个像素，共计728个特征图像；
第二十卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数为[728,1024,1024]，第三层卷积核滑动时每次移动2个像素，共计1024个特征图像；
第二十一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[1536,1536,2048]，第三层卷积核滑动时每次移动1个像素，共计2048个特征图像。
上述卷积模块的结构中，各层依次连接，向卷积模块分别输入彩色图像和深度图像，卷积模块输出彩色图像的特征图像和深度图像的特征图像。
所述特征融合模块包括：
第一特征融合层，针对从不同通道输入的上述两个特征图像，进行通道叠加处理；
第二特征融合层，卷积核大小为1*1，卷积核滑动时每次移动一个像素，共计2048个特征图像。
所述第一特征融合层的输入端与所述第二十一卷积块层的输出端连接，第二特征融合层的输入端与第一特征融合层的输出端连接；
所述特征融合模块对输入的彩色图像特征图像和深度图像特征图像进行处理，输出融合特征图像。
所述区域候选网络的结构为：
第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计2048个特征图像；
第一RPN分支第一卷积层，其中尺度卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种anchor对应的中心坐标(x，y)的偏移量和尺寸大小，输出36个预测图像；
第二RPN分支第一卷积层，卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种尺度anchor下属于前景目标、背景目标的概率，共计18个概率图像；
第二RPN分支Softmax层，用于归一化处理所述概率图像，预测出目标候选在9种尺度anchor下对应前景和背景类别的概率；
非极大抑制层，根据目标候选预测位置的重叠率和前景、背景类别的预测概率，设置阈值，过滤重复预测和低置信度预测结果；
ROI池化层，对融合特征图中前景目标区域对应的图像特征进行池化操作，作，cell大小为7*7；
第一全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；
第二全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；
第三全连接层FC，全连接层的节点个数为4，输出目标在图像中的4个坐标值；
第四全连接层FC，全连接层的节点个数为4；
Softmax层，最终输出目标对应4种多余物类型的概率。
区域候选网络的上述结构中：
第一卷积层和ROI池化层分别与卷积神经网络的输出端连接，第一卷基层的输出端又分别与第一RPN分支第一卷积层、第二RPN分支第一卷积层的输入端连接，所述第二RPN分支第一卷积层的输出端与第二RPN分支Softmax层的输入端连接，所述第一RPN分支第一卷积层、第二RPN分支Softmax层的输出端均与所述非极大抑制层的输入端连接，通过非极大抑制层与所述ROI池化层的连接；
所述ROI池化层的输出端与第一全连接层FC的输入端连接，第一全连接层FC的输出端与第二全连接层FC的输入端连接，第二全连接层FC的输出端分别与第三全连接层FC和第四全连接层FC连接，通过第三全连接层FC输出多余物的位置信息，所述第四全连接层FC的输出端再与所述Softmax层连接，通过Softmax层输出多余物的类型信息。
所述第三全连接层的4个输出节点分别为所述飞机油箱图像中多余物中心点的横坐标值和纵坐标值、多余物的宽度值和高度值。所述第四全连接层的输出节点为所述飞机油箱多余物的类型概率，即每个输出节点上输出的是该检出目标属于某种多余物的概率，例如第一个输出节点为该检出目标属于金属碎屑的概率、第二个输出节点为该检出目标属于密封胶的概率，最终根据概率大小确定该检出目标具体属于哪种多余物类型。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims (7)

1.一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，包括：
步骤1.通过探测机械臂末端挂载的深度相机，在飞机油箱中进行定点拍照，构建油箱图像集S和图像标签集γ；
其中，所述油箱图像集S由多个图像对构成，设任一图像对为χ(n)，χ(n)＝(I(n)，D(n))，由一彩色图像I(n)以及对应的深度图像D(n)构成，n为图像对在集合中的序列号；
对于每个图像对χ(n)，均有与之对应的图像标签γ(n)，所述图像标签集γ为所有γ(n)的集合；设γ(n)＝(ο(n,1)，ο(n,2)，...ο(n,N))，其中ο(n,i)＝(x,y,w,h,l)，表示第n个图像对中第i个多余物在图像中的位置(x,y,w,h)以及所属多余物类型l，所述(x,y,w,h)分别为多余物中心点的横坐标值、纵坐标值、宽度值和高度值，多余物的类型包括金属碎屑、密封胶、螺帽和施工工具4类，对应不同的l值；
步骤2.建立训练数据集；
将油箱图像集S中的图像对划分为训练集T、验证集V和测试集ε，对应的标签集分别为γT、γV、γε；
步骤3.建立网络模型；
所述网络模型由特征提取器和目标检测器构成，使用卷积神经网络构建前端特征提取器，使用区域候选网络构建后端目标检测器；
步骤4.训练网络模型；
训练所述卷积神经网络和区域候选网络，将T和γT的训练数据送入卷积神经网络进行训练；
步骤5：利用训练完成的深度网络模型，针对实践中采集的飞机油箱图像进行多余物检测。
2.根据权利要求1所述的一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，将T和γT训练数据划分批次bacth，送入卷积神经网络中进行提取特征，通过随机水平翻转、随机裁剪或加入噪声的方式增强训练数据，以提高目标检测模型的鲁棒性。
3.根据权利要求1所述的一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，送入卷积神经网络之前，对彩色图像和深度图像进行归一化处理：将彩色图像矩阵每个元素都除以255，使其每个像素值都在0～1之间；将单通道的深度图像拷贝扩充为3通道的深度图像；将深度图像矩阵每个元素都除以1.5，使其每个像素值都在0～1之间。
4.根据权利要求1所述的一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，所述卷积神经网络包括卷积模块和融合模块；
所述卷积模块包括：
第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动2个像素，共计32个特征图像；
第二卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计64个特征图像；
第一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用的卷积核个数分别为[128,128,128]，第三层卷积核滑动时每次移动2个像素，共计128个特征图像；
第二卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[256,256,256]，第三层卷积核滑动时每次移动2个像素，共计256个特征图像；
第三卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动2个像素，共计728个特征图像；
第四至第十九卷积块层，均采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动1个像素，共计728个特征图像；
第二十卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数为[728,1024,1024]，第三层卷积核滑动时每次移动2个像素，共计1024个特征图像；
第二十一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[1536,1536,2048]，第三层卷积核滑动时每次移动1个像素，共计2048个特征图像；
上述卷积模块的结构中，各层依次连接，向卷积模块分别输入彩色图像和深度图像，卷积模块输出彩色图像的特征图像和深度图像的特征图像；
所述融合模块包括：第一特征融合层，针对从不同通道输入的上述两个特征图像，进行通道叠加处理；
第二特征融合层，卷积核大小为1*1，卷积核滑动时每次移动一个像素，共计2048个特征图像；
所述第一特征融合层的输入端与所述第二十一卷积块层的输出端连接，第二特征融合层的输入端与第一特征融合层的输出端连接；
所述融合模块对输入的彩色图像特征图像和深度图像特征图像进行处理，输出融合特征图像。
5.根据权利要求1所述的一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，所述区域候选网络采用anchor机制用于多余物的初步定位，提供3类面积大小和3类长宽比共计9种anchor，其网络结构包括：
第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计2048个特征图像；
第一RPN分支第一卷积层，其中尺度卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种anchor对应的中心坐标(x，y)的偏移量和尺寸大小，输出36个预测图像；
第二RPN分支第一卷积层，卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种尺度anchor下属于前景目标、背景目标的概率，共计18个概率图像；
第二RPN分支Softmax层，用于归一化处理所述概率图像，预测出目标候选在9种尺度anchor下属于前景和背景类别的概率；
ROI池化层，对融合特征图中前景目标区域对应的图像特征进行池化操作，作，cell大小为7*7；
第一全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；
第二全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；
第三全连接层FC，全连接层的节点个数为4，输出目标在图像中的4个坐标值；
第四全连接层FC，全连接层的节点个数为4；
Softmax层，最终输出目标对应4种多余物类型的概率；
上述结构中：
所述第一卷积层和ROI池化层分别与卷积神经网络的输出层连接，第一卷基层的输出端又分别与第一RPN分支第一卷积层、第二RPN分支第一卷积层的输入端连接，所述第二RPN分支第一卷积层的输出端与第二RPN分支Softmax层的输入端连接，所述第一RPN分支第一卷积层和第二RPN分支Softmax层的输出端与所述ROI池化层连接；
所述ROI池化层的输出端与第一全连接层FC的输入端连接，第一全连接层FC的输出端与第二全连接层FC的输入端连接，第二全连接层FC的输出端分别与第三全连接层FC和第四全连接层FC连接，通过第三全连接层FC输出多余物的位置信息，所述第四全连接层FC的输出端再与所述Softmax层连接，通过Softmax层输出多余物的类型信息。
6.根据权利要求5所述的一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，所述区域候选网络的结构包括：
非极大抑制层，根据目标候选预测位置的重叠率和前景、背景类别的预测概率，设置阈值，过滤重复预测和低置信度预测结果；
所述第一RPN分支第一卷积层、第二RPN分支Softmax层的输出端均与所述非极大抑制层的输入端连接，经过非极大抑制层与所述ROI池化层连接。
7.根据权利要求5或6所述的一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，所述区域候选网络以TensorFlow为开发框架，采用tensorflow.contrib.slim方法构建卷积层、ROIPooling层、Sofmax层。
CN201911394207.0A 2019-12-30 2019-12-30 一种基于深度学习的飞机油箱多余物自动检测方法 Active CN111145239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394207.0A CN111145239B (zh) 2019-12-30 2019-12-30 一种基于深度学习的飞机油箱多余物自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394207.0A CN111145239B (zh) 2019-12-30 2019-12-30 一种基于深度学习的飞机油箱多余物自动检测方法

Publications (2)

Publication Number Publication Date
CN111145239A true CN111145239A (zh) 2020-05-12
CN111145239B CN111145239B (zh) 2022-02-11

Family

ID=70521766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394207.0A Active CN111145239B (zh) 2019-12-30 2019-12-30 一种基于深度学习的飞机油箱多余物自动检测方法

Country Status (1)

Country Link
CN (1) CN111145239B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738995A (zh) * 2020-06-10 2020-10-02 苏宁云计算有限公司 一种基于rgbd图像的目标检测方法、装置及计算机设备
CN112287833A (zh) * 2020-10-29 2021-01-29 上海高仙自动化科技发展有限公司 机器人的巡检清洁方法、装置、机器人和存储介质
CN112614097A (zh) * 2020-12-16 2021-04-06 哈尔滨市科佳通用机电股份有限公司 铁路火车轴箱转臂异物检测方法
CN112634302A (zh) * 2020-12-28 2021-04-09 航天科技控股集团股份有限公司 基于深度学习的移动端类矩形物体边缘检测方法
CN113670524A (zh) * 2021-07-13 2021-11-19 江铃汽车股份有限公司 用于汽车碰撞燃油泄漏的检测方法及检测系统
CN113781412A (zh) * 2021-08-25 2021-12-10 南京航空航天大学 一种基于深度学习的x光高分辨率扫描图像下芯片多余物检测系统及方法
CN115345071A (zh) * 2022-08-11 2022-11-15 黑龙江大学 基于实例迁移的航天设备内部多余物定位方法及设备
CN117809138A (zh) * 2024-02-23 2024-04-02 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038850A (zh) * 2017-12-08 2018-05-15 天津大学 一种基于深度学习的排水管道异常类型自动检测方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109544533A (zh) * 2018-11-23 2019-03-29 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110385282A (zh) * 2019-07-10 2019-10-29 浙江大学 机械装配中基于深度学习的多余物视觉检测系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038850A (zh) * 2017-12-08 2018-05-15 天津大学 一种基于深度学习的排水管道异常类型自动检测方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109544533A (zh) * 2018-11-23 2019-03-29 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110385282A (zh) * 2019-07-10 2019-10-29 浙江大学 机械装配中基于深度学习的多余物视觉检测系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUELEI XU 等: "End-to-End Airport Detection in Remote Sensing Images Combining Cascade Region Proposal Networks and Multi-Threshold Detection Networks", 《REMOTE SENSING》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738995A (zh) * 2020-06-10 2020-10-02 苏宁云计算有限公司 一种基于rgbd图像的目标检测方法、装置及计算机设备
WO2021249351A1 (zh) * 2020-06-10 2021-12-16 苏宁易购集团股份有限公司 一种基于rgbd图像的目标检测方法、装置及计算机设备
CN112287833A (zh) * 2020-10-29 2021-01-29 上海高仙自动化科技发展有限公司 机器人的巡检清洁方法、装置、机器人和存储介质
CN112614097A (zh) * 2020-12-16 2021-04-06 哈尔滨市科佳通用机电股份有限公司 铁路火车轴箱转臂异物检测方法
CN112634302A (zh) * 2020-12-28 2021-04-09 航天科技控股集团股份有限公司 基于深度学习的移动端类矩形物体边缘检测方法
CN112634302B (zh) * 2020-12-28 2023-11-28 航天科技控股集团股份有限公司 基于深度学习的移动端类矩形物体边缘检测方法
CN113670524A (zh) * 2021-07-13 2021-11-19 江铃汽车股份有限公司 用于汽车碰撞燃油泄漏的检测方法及检测系统
CN113670524B (zh) * 2021-07-13 2023-12-19 江铃汽车股份有限公司 用于汽车碰撞燃油泄漏的检测方法及检测系统
CN113781412A (zh) * 2021-08-25 2021-12-10 南京航空航天大学 一种基于深度学习的x光高分辨率扫描图像下芯片多余物检测系统及方法
CN115345071A (zh) * 2022-08-11 2022-11-15 黑龙江大学 基于实例迁移的航天设备内部多余物定位方法及设备
CN117809138A (zh) * 2024-02-23 2024-04-02 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统
CN117809138B (zh) * 2024-02-23 2024-05-14 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统

Also Published As

Publication number Publication date
CN111145239B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN111145239B (zh) 一种基于深度学习的飞机油箱多余物自动检测方法
CN113674247B (zh) 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN110070536B (zh) 一种基于深度学习的pcb板元器件检测方法
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
US8131107B2 (en) Method and system for identifying defects in NDT image data
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN111415329A (zh) 一种基于深度学习的工件表面缺陷检测方法
CN110363770B (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN112686833A (zh) 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN110738644A (zh) 一种基于深度学习的汽车涂装表面缺陷检测方法及系统
CN110334775B (zh) 一种基于宽度学习的无人机线路故障识别方法和装置
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113553762A (zh) 基于焊接曲线进行焊点分析的神经网络及建立方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
House et al. Using deep learning to identify potential roof spaces for solar panels
Wang et al. Insulator defect detection based on improved YOLOv5 algorithm
CN116071437A (zh) 水工隧洞表观缺陷空间标定方法
CN113763261B (zh) 一种海雾气象条件下的远小目标实时检测方法
Chen et al. Real-time instance segmentation of metal screw defects based on deep learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220429

Address after: 211106 room 1003-1005, No. 1698, Shuanglong Avenue, Jiangning District, Nanjing, Jiangsu Province (Jiangning Development Zone)

Patentee after: Nanjing Yuntong Technology Co.,Ltd.

Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu

Patentee before: Nanjing University of Aeronautics and Astronautics

TR01 Transfer of patent right