CN113469286A - 一种基于区域卷积神经网络的航天器多局部构件检测方法 - Google Patents

一种基于区域卷积神经网络的航天器多局部构件检测方法 Download PDF

Info

Publication number
CN113469286A
CN113469286A CN202110850336.7A CN202110850336A CN113469286A CN 113469286 A CN113469286 A CN 113469286A CN 202110850336 A CN202110850336 A CN 202110850336A CN 113469286 A CN113469286 A CN 113469286A
Authority
CN
China
Prior art keywords
spacecraft
feature map
neural network
features
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110850336.7A
Other languages
English (en)
Inventor
陈榆琅
张洋
高晶敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202110850336.7A priority Critical patent/CN113469286A/zh
Publication of CN113469286A publication Critical patent/CN113469286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于区域卷积神经网络航天器多局部构件检测方法，包括如下步骤：输入待检测航天器原始图像；对原始图像进行航天器初始特征提取，获得多尺度及语义信息的特征图；将所述特征图进一步提取特征并融合；将所述提取融合后的特征图生成精准的ROI；对所述ROI进行处理，以获取尺寸修正后的特征图；对所述修正后的特征图进行区域卷积神经网络处理，获取航天器目标构件的参数信息。本发明在航天器图像特征提取阶段采用了结合残差连接结构及特征金字塔结构进行初步的多尺度特征提取，然后再通过密集连接模块进行更深层的特征提取及融合，提高了不同各卷积层之间的特征传输并减缓由上采样及多尺度特征直接融合导致的语义模糊的问题。

Description

一种基于区域卷积神经网络的航天器多局部构件检测方法
技术领域
本发明属于计算机视觉领域，特别涉及一种基于区域卷积网络的航天器多局部构件检测方法。
背景技术
获得航天器间的相对位置及相对姿态(以下简称，相对位姿)是保证航天器指向跟踪等空间交互任务顺利进行的重要前提，而航天器局部构件(太阳翼、天线等)的检测与识别技术是其中的关键。精确识别出目标构件的类别，并有效检测出航天器局部构件的边缘轮廓、角点、尺寸等局部构件的高级特征信息，可为航天器间相对位姿精确估计提供有力的数据支持。
在空间中对航天器进行目标检测任务时，存在两个主要的特点及难点：1.在轨航天器处于实时、高速运动状态，其姿态不断变化，往往会存在航天器整体/构件轮廓形状和尺寸变化大以及构件被部分遮挡等问题。2.空间光照条件的不断变化、成像载荷的抖动、成像系统像质退化等影响，会导致空间图像成像图像存在严重噪声污染、对比度低、平均亮度低等问题。以上问题均会很大程度地限制航天器局部构件的检测精度。
2018年，何凯明等人提出了MaskR-CNN实例分割模型，将目标检测及实例分割任务集成到单一框架中，将实例分割任务引入了新的发展方向，其整体结构如图1所示，该模型主要由骨干网络、RPN(Region Proposal Networks)以及多任务分支组成。骨干网络由ResNet50/101及FPN组成，ResNet中引入了捷径连接，减缓因网络层数过大引起的优化困难问题，FPN通过自顶向下的方式将不同尺度的特征图横向连接整合，提高模型对尺度变化的泛化能力；RPN用于生成感兴趣区域(以下简称为ROI)，在ROI匹阶段中，Mask R-CNN利用双线性插值方法克服了ROI池化在匹配过程中引起的大量误差，使得输出特征图中的像素坐标映射到原始输入图像中的坐标更精准；在多任务分支中，通过直接引入掩码生成分支实现掩码的生成。然而，MaskR-CNN模型中，特征图通过FPN结构后，会得到多尺度下的特征图，会产生多尺度特征直接融合导致的语义模糊的问题，进而影响部件检测的精准度和航空器的召回率。
发明内容
本发明的目的是提供一种基于区域卷积神经网络的航天器多局部构件检测方法，可更精准地获得目标构件的类别信息，边界框信息以及轮廓信息，进而提高部件检测的精准度和航空器的召回率。
为实现上述目的，本发明提供一种基于区域卷积神经网络航天器多局部构件检测方法，包括如下步骤：步骤一：输入待检测航天器原始图像；步骤二：对原始图像进行航天器初始特征提取，获得多尺度及语义信息的特征图；步骤三：将所述特征图进一步提取特征并融合；步骤四：将所述提取融合后的特征图生成精准的感兴趣区域；步骤五：对所述感兴趣区域进行处理，以获取尺寸修正后的特征图；步骤六：对所述修正后的特征图进行区域卷积神经网络处理，获取航天器目标构件的参数信息。
其中，步骤二具体包括：通过ResNet-FPN结构对图像进行初始航天器特征提取，对不同尺度的特征图进行上采样并进行逐像素相加，获得多尺度及语义信息的特征图。
其中，步骤三具体包括：将所述特征图输入到密集连接模块中进一步提取特征并融合。
其中，步骤四具体包括：将所述提取融合后的特征图输入到RPN网络中，通过区域建议层生成精准的感兴趣区域。
其中，步骤五具体包括：通过感兴趣区域校正模块对所述感兴趣区域进行处理，将所述特征图与原始图像中的像素进行匹配，然后在共享的特征图中提取对应的目标特征，以获取尺寸修正后的特征图。
其中，步骤六具体包括：将所述修正后的特征图输入到全连接层以及全卷积网络中，分别进行目标分类、边界框预测及实例分割，最后得到目标构件的类别、边界框及掩码信息。
本发明具有如下有益效果：本发明在Mask R-CNN的基础上进行改进，得到航天器多局部构件检测模型，通过该检测模型可获得目标构件的类别信息、边界框信息及掩码信息。本发明以ResNet作为航天器特征提取器的主干网络；输出的特征图输入到4层的FPN结构中，在航天器图像特征提取阶段采用了结合残差连接结构及特征金字塔结构进行初步的多尺度特征提取，然后再通过密集连接模块(Dense block)进行更深层的特征提取及融合，提高了不同各卷积层之间的特征传输并减缓由上采样及多尺度特征直接融合导致的语义模糊的问题。实验结果表明，所提出的局部构件检测模型提高了对构件检测的精准率和召回率。
附图说明
为了更清楚地说明本发明实施例或技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为现有技术Mask R-CNN检测模型网络结构。
图2为本发明基于区域卷积神经网络的航天器多局部构件检测模型网络结构。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明提供一种基于区域卷积神经网络航天器多局部构件检测方法，包括如下步骤：步骤一：输入待检测航天器原始图像；步骤二：对原始图像进行航天器初始特征提取，获得多尺度及语义信息的特征图；步骤三：将所述特征图进一步提取特征并融合；步骤四：将所述提取融合后的特征图生成精准的感兴趣区域；步骤五：对所述感兴趣区域进行处理，以获取尺寸修正后的特征图；步骤六：对所述修正后的特征图进行区域卷积神经网络处理，获取航天器目标构件的参数信息。
参加图2，图2为本发明基于区域卷积神经网络的航天器多局部构件检测模型网络结构，该网络结构用以实现上述检测方法。具体来说，首先通过ResNet-FPN结构对待检测图像进行初始特征提取，对不同尺度的特征图进行上采样并进行逐像素相加，将这些特征图输入到Dense Block中进一步提取特征。输入提取的特征图到RPN网络中，通过区域建议层生成精准的ROI。通过ROI Align对这些ROI进行处理，将特征图与原始图像中的像素进行匹配，然后在共享的特征图中提取对应的目标特征。将这些ROI输入到全连接层(FullyConnected Layers，FC)以及全卷积网络(Fully Convolutional Network，FCN)中，分别进行目标分类、边界框预测及实例分割。
本发明中，航天器特征提取结构主要由两部分组成，分别是ResNet-FPN以及密集连接卷积模块(Dense Block,DB)。
(1)ResNet-FPN
ResNet-FPN由三部分组成，分别是自底向上连接、自顶向下连接以及横向连接。自底向上连接中，利用ResNet进行特征提取；自顶向下连接中，对顶层的特征图逐层上采样；横向连接中，将上采样的特征图与生成自自底向上过程中同尺寸的特征图进行融合。假设待检测图像尺寸为512×512，通道数为64，经过ResNet-FPN的特征提取后，输出5个尺度特征图M2～M6，尺寸分别为64×64,32×32,16×16,8×8,4×4,通道数均为256。然后将M2～M6输入到后续的密集连接卷积模块进一步提取特征。
(2)密集连接卷积模块(Dense block)
Dense block其主要有5层组成，第一层仅包括卷积层，其他层均包含批量归一化层(BatchNormalization,BN)、线性整流激活函数(Rectified Linear Unit,ReLU)以及卷积层(Convolutional Layers,CONV)。
在密集连接模块中，每层的输入不仅与前一层的输出有关，还与之前所有层的输出有关。该结构可以充分利用之前所有层的特征信息，极大地减少浅层与深层之间的连接距离，有效地解决因网络深度加深引起的梯度消失的问题。第i层输出的特征图计算如下式：
Xi＝Hi([X0,X1,X2,...,Xi-1]) (3.1)
其中，[X0,X1,X2,...,Xi-1]表示生成自第0,1,...,i-1层的特征图在通道维度上拼接。Hi是BN、ReLU以及CONV组成的复合函数。假设每个非线性转换H输出的特征图的通道数为K，第0层输出的特征图的通道数则为K0，第i层输出特征图的通道数为K0+(i-1)×K。
在一个具体的实施方式中，以ResNet作为骨干网络，可有效解决由网络层数加深引起的梯度爆、梯度消失等问题。采用FPN结构以及ResNet-50作为骨干网络，融合所有尺度的特征，其不仅具有强语义信息，还具有强空间信息，进一步提高小目标物体在多尺度下的检测精准率及召回率。融入了密集连接的思想，设计了密集连接卷积模块，提高了不同各卷积层之间的特征传输并减缓由上采样及多尺度特征直接融合导致的语义模糊的问题。
在一个具体的实施方式中，密集连接模块结构，其主要有5层组成，第一层仅包括卷积层，其他层均包含批量归一化层(Batch Normalization,BN)、线性整流激活函数(Rectified Linear Unit,ReLU)以及卷积层(Convolutional Layers,CONV)。
参见表1，表1为密集连接模块结构各层信息，卷积层DB_Conv1不包含BN及ReLU层，本文设置此层来减少输入特征图的通道数，不仅可以提高后续特征提取的计算效率，还能减少模型参数量。假设输入特征图M的尺寸是128×128，通道数为256，经过第一层卷积运算后，通道数减少为128，然后将输出的特征图输入到后续的四层特征提取层中。最后，输出的特征图P的通道数为256，然后将该特征图输入到后续的RPN以及预测头部中实现目标检测。
Figure BDA0003182215000000051
Figure BDA0003182215000000061
表1
参见表2，表2为模型的性能评价结果，本发明的局部构件检测模型在精准率及召回率上均高于Mask R-CNN。整体精准率、召回率及F1均为0.93.与Mask R-CNN相比，所提出的模型RSD在P及F1分数上分别提高了3％及4％。
Figure BDA0003182215000000062
表2
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于区域卷积神经网络航天器多局部构件检测方法，其特征在于，包括如下步骤：
步骤一：输入待检测航天器原始图像；
步骤二：对原始图像进行航天器初始特征提取，获得多尺度及语义信息的特征图；
步骤三：将所述特征图进一步提取特征并融合；
步骤四：将所述提取融合后的特征图生成精准的感兴趣区域；
步骤五：对所述感兴趣区域进行处理，以获取尺寸修正后的特征图；
步骤六：对所述修正后的特征图进行区域卷积神经网络处理，获取航天器目标构件的参数信息。
2.根据权利要求1所述的基于区域卷积神经网络航天器多局部构件检测方法，其特征在于，步骤二具体包括：通过ResNet-FPN结构对图像进行初始航天器特征提取，对不同尺度的特征图进行上采样并进行逐像素相加，获得多尺度及语义信息的特征图。
3.根据权利要求1所述的基于区域卷积神经网络航天器多局部构件检测方法，其特征在于，步骤三具体包括：将所述特征图输入到密集连接模块中进一步提取特征并融合。
4.根据权利要求1所述的基于区域卷积神经网络航天器多局部构件检测方法，其特征在于，步骤四具体包括：将所述提取融合后的特征图输入到RPN网络中，通过区域建议层生成精准的感兴趣区域。
5.根据权利要求1所述的基于区域卷积神经网络航天器多局部构件检测方法，其特征在于，步骤五具体包括：通过感兴趣区域校正模块对所述感兴趣区域进行处理，将所述特征图与原始图像中的像素进行匹配，然后在共享的特征图中提取对应的目标特征，以获取尺寸修正后的特征图。
6.根据权利要求1所述的基于区域卷积神经网络航天器多局部构件检测方法，其特征在于，步骤六具体包括：将所述修正后的特征图输入到全连接层以及全卷积网络中，分别进行目标分类、边界框预测及实例分割，最后得到目标构件的类别、边界框及掩码信息。
CN202110850336.7A 2021-07-27 2021-07-27 一种基于区域卷积神经网络的航天器多局部构件检测方法 Pending CN113469286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110850336.7A CN113469286A (zh) 2021-07-27 2021-07-27 一种基于区域卷积神经网络的航天器多局部构件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110850336.7A CN113469286A (zh) 2021-07-27 2021-07-27 一种基于区域卷积神经网络的航天器多局部构件检测方法

Publications (1)

Publication Number Publication Date
CN113469286A true CN113469286A (zh) 2021-10-01

Family

ID=77882739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850336.7A Pending CN113469286A (zh) 2021-07-27 2021-07-27 一种基于区域卷积神经网络的航天器多局部构件检测方法

Country Status (1)

Country Link
CN (1) CN113469286A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627143A (zh) * 2021-10-12 2022-06-14 深圳宏芯宇电子股份有限公司 一种图像处理方法、装置、终端设备和可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491854A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于sf-rcnn的光学遥感图像目标检测方法
WO2020000431A1 (en) * 2018-06-29 2020-01-02 Nokia Technologies Oy Method, apparatus and computer readable media for image processing
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111414932A (zh) * 2020-01-07 2020-07-14 北京航空航天大学 一种飞行器多尺度信号的分类识别与故障检测方法
US20210056351A1 (en) * 2018-06-04 2021-02-25 Jiangnan University Multi-scale aware pedestrian detection method based on improved full convolutional network
CN112580407A (zh) * 2019-09-30 2021-03-30 南京理工大学 一种基于轻量化神经网络模型的空间目标部件识别方法
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491854A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于sf-rcnn的光学遥感图像目标检测方法
US20210056351A1 (en) * 2018-06-04 2021-02-25 Jiangnan University Multi-scale aware pedestrian detection method based on improved full convolutional network
WO2020000431A1 (en) * 2018-06-29 2020-01-02 Nokia Technologies Oy Method, apparatus and computer readable media for image processing
CN112580407A (zh) * 2019-09-30 2021-03-30 南京理工大学 一种基于轻量化神经网络模型的空间目标部件识别方法
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111414932A (zh) * 2020-01-07 2020-07-14 北京航空航天大学 一种飞行器多尺度信号的分类识别与故障检测方法
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NIE XUAN 等: "Attention Mask R-CNN for Ship Detection and Segmentation From Remote Sensing Images", 《IEEE ACCESS》, vol. 08, pages 9325 - 9334 *
YULANG CHEN 等: "R-CNN-based satellite components detection in optical images", 《INTERNATIONAL JOURNAL OF AEROSPACE ENGINEERING》, vol. 2020, pages 1 - 10 *
YULANG CHEN 等: "Satellite components detection from optical images based on instance segmentation networks", 《JOURNAL OF AEROSPACE INFORMATION SYSTEMS》, vol. 18, no. 06, pages 355 - 365 *
李大军 等: "基于Mask-RCNN的建筑物目标检测算法", 《测绘科学》, vol. 44, no. 10, pages 172 - 180 *
陈榆琅 等: "基于生成对抗网络的空间卫星低照度图像增强", 《中国空间科学技术》, vol. 41, no. 03, pages 16 - 23 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627143A (zh) * 2021-10-12 2022-06-14 深圳宏芯宇电子股份有限公司 一种图像处理方法、装置、终端设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN111210443B (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN112347861B (zh) 一种基于运动特征约束的人体姿态估计方法
CN111914698B (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112950477A (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN111680739A (zh) 一种目标检测和语义分割的多任务并行方法及系统
KR101921071B1 (ko) 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치
CN112396655A (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN113469286A (zh) 一种基于区域卷积神经网络的航天器多局部构件检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN110580462B (zh) 一种基于非局部网络的自然场景文本检测方法和系统
CN111160372A (zh) 一种基于高速卷积神经网络的大目标识别方法
CN113469287A (zh) 一种基于实例分割网络的航天器多局部构件检测方法
CN114913345A (zh) 基于fpga的sift算法的简化图像特征提取方法
CN114693951A (zh) 一种基于全局上下文信息探索的rgb-d显著性目标检测方法
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
CN114494827A (zh) 一种用于检测航拍图片的小目标检测方法
Liangjun et al. MSFA-YOLO: A Multi-Scale SAR Ship Detection Algorithm Based on Fused Attention
CN111178158A (zh) 一种骑车人检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination