CN115511853A - 基于方向可变特征的遥感船舶检测与识别方法 - Google Patents

基于方向可变特征的遥感船舶检测与识别方法 Download PDF

Info

Publication number
CN115511853A
CN115511853A CN202211220843.3A CN202211220843A CN115511853A CN 115511853 A CN115511853 A CN 115511853A CN 202211220843 A CN202211220843 A CN 202211220843A CN 115511853 A CN115511853 A CN 115511853A
Authority
CN
China
Prior art keywords
ship
candidate
feature
rotating
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211220843.3A
Other languages
English (en)
Inventor
黄骁
龚俊斌
陶浩
罗威
张科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Ship Development and Design Centre
Original Assignee
China Ship Development and Design Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Ship Development and Design Centre filed Critical China Ship Development and Design Centre
Priority to CN202211220843.3A priority Critical patent/CN115511853A/zh
Publication of CN115511853A publication Critical patent/CN115511853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于方向可变特征的遥感船舶检测与识别方法，属于图像处理及模式识别领域，包括：获取待识别目标遥感船舶图像，以旋转边界框方式标注船舶，目标遥感船舶图像与标注信息组成输入图像；得到输入图像特征图，通过候选区域生成网络获得以水平边界框表征的候选船舶区域；通过感兴趣区域变换网络计算出角度值，形成以旋转边界框表征的候选区域；将候选区域与特征图对齐，获取候选区域的方向增强特征或者方向归一化特征，以确定候选区域所属类别和所处图像位置，生成检测结果；采用非极大抑制过滤掉置信度小的候选区域。通过利用船舶的旋转边界框表征方式，提取和合理利用船舶方向信息，实现对船舶的自动、准确检测和识别。

Description

基于方向可变特征的遥感船舶检测与识别方法
技术领域
本发明属于图像处理及模式识别技术领域，更具体地，涉及一种可见光遥感图像中船舶目标自动检测识别方法。
背景技术
可见光卫星遥感图像中船舶检测技术属于目标检测领域，广泛应用于军事和民用领域，例如渔业管理、走私监控、军事目标侦察、武器自动制导、战场态势评估等。为实现对遥感船舶目标的精确定位和识别，以输出可靠的目标类型、位置、方向等信息，目标检测技术需要突破不同种类目标相似度高、地物背景复杂、目标排布密集像素点少、方向识别困难等难点问题。
国内外遥感船舶目标检测技术主要分为传统计算机视觉方法和深度学习方法两大类。传统方法利用霍夫变换、特征提取、二值化等算法，基于图像特征和特征描述子，结合支持向量机(Support Vector Machine，SVM)、K最近邻(k-Nearest Neighbor，KNN)等机器学习分类算法，得出船舶位置与类别。传统方法思路简单，只利用颜色阈值或者像素处理技术，具有较大通用性，即针对不同种类图像检测性能基本相同，但检测精度较低而且依赖于经验参数。相比而言，深度学习方法具有更高检测精度、更少的专家分析和调参，但通用性不足，即针对与训练数据差异小的图像类别检测性能较好，反之检测性能较差。目前深度学习方法发展迅速，这得益于训练数据的增多和计算能力的提升。
目标检测技术通常采用水平边界框定位和表征目标，这适合于前视图像中水平或垂直方向目标。但在遥感图像中，船舶是以鸟瞰方式拍摄，呈现出的方向是任意的。此时，用水平边界框表征船舶存在两个方面的问题。一是船舶和水平边界框之间往往形成对不齐现象以及引入大面积背景，导致水平边界框无法精确描述船舶；二是用来降低检测虚警率的非极大抑制策略在处理水平边界框表征的多个近距离旋转(非水平)方向船舶时，往往误剔除置信度稍低的船舶，造成漏检。
发明内容
针对利用水平边界框表征遥感图像中船舶目标存在的问题，提出一种基于方向可变特征的遥感船舶检测与识别方法，通过利用船舶的旋转边界框表征方式，提取和合理利用船舶方向信息，实现对船舶的自动、准确检测和识别。
为实现上述目的，本发明提供了一种基于方向可变特征的遥感船舶检测与识别方法，包括：
S1：获取待检测识别的目标遥感船舶图像，从目标遥感船舶图像中划分出船舶目标区域，以旋转边界框方式标注船舶，获得船舶的位置与类别信息，目标遥感船舶图像与标注信息共同组成输入图像；
S2：利用残差卷积神经网络和特征金字塔对输入图像进行处理，形成特征图，将特征图输入到候选区域生成网络，获得以水平边界框表征的候选船舶区域；
S3：利用感兴趣区域变换网络对水平边界框候选船舶区域进行处理，计算出水平边界框候选船舶区域的角度值，形成以旋转边界框表征的候选区域；
S4：将旋转边界框候选区域与特征图对齐，获取旋转边界框候选区域的方向增强特征或者方向归一化特征，以确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位置，生成检测结果；
S5：针对检测结果，采用非极大抑制过滤掉置信度小于预设置信度阈值的旋转边界框候选区域。
在一些可选的实施方案中，步骤S4包括：
将旋转边界框候选区域与特征图对齐，获取旋转边界框候选区域的方向增强特征或者方向归一化特征，其中，旋转边界框候选区域与特征图的对齐方式分为三种，第一种是不区分船舶方向，将船舶方向定义为从船头到船尾或者从船尾到船头，直接从左往右进行对齐，采样形成旋转边界框候选区域的原始特征，第二种是区分船舶方向，同时从两个方向进行对齐，即等效于从左往右和从右往左进行对齐，使用方向可变特征提取模块采样形成旋转边界框候选区域的方向增强特征，第三种是区分船舶方向，统一按照从船头到船尾的方向进行对齐，使用方向可变特征提取模块采样形成候选区域的方向归一化特征，其中，方向可变特征是指由于对齐方向变化而形成的对旋转边界框候选区域的不同特征描述；
利用旋转边界框候选区域的方向增强特征或者方向归一化特征，基于方向增强特征的检测识别网络和基于方向归一化特征的检测识别网络，以确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位置，生成检测结果。
在一些可选的实施方案中，利用方向可变特征提取模块实现从左往右或者从右往左的对齐，包括：由
Figure BDA0003877255930000031
Figure BDA0003877255930000032
进行变换，其中，旋转边界框候选区域用五元组(xc，yc，w，h，θ)表示，(xc，yc)为旋转边界框的中心点坐标，w为旋转边界框的宽度，h为旋转边界框的高度，θ为旋转边界框的角度值，(x，y)为在旋转坐标系下，旋转边界框中的点的坐标，(x′，y′)为在垂直坐标系下，特征图中的点的坐标，τ∈{0，1}控制对齐方向，τ＝0代表从左往右对齐，而τ＝1代表从右往左对齐。
在一些可选的实施方案中，步骤S5包括：
将所有检测出的旋转边界框候选区域按照置信度从高到低进行排序；
针对每个排在前面的高置信度候选区域，计算其与排在后面的低置信度候选区域的交并比；
剔除交并比大于设定的阈值的低置信度候选区域。
在一些可选的实施方案中，所述方法还包括网络模型的训练阶段，所述训练阶段包括：
收集可见光卫星遥感图像，从图像中划分出船舶目标区域，以旋转边界框方式标注船舶，获得船舶的位置与类别信息并保存，图像本身与标注信息共同组成训练图像；
利用残差卷积神经网络和特征金字塔对输入的训练图像进行处理，形成特征图，将特征图输入到候选区域生成网络，获得以水平边界框表征的候选船舶区域；
利用感兴趣区域变换网络对水平边界框候选船舶区域进行处理，计算出水平边界框候选船舶区域的角度值，形成以旋转边界框表征的候选区域；
将旋转边界框候选区域与特征图对齐，获取候选区域的方向增强特征或者方向归一化特征，其中，旋转边界框候选区域与特征图的对齐方式分为三种，第一种是不区分船舶方向，将船舶方向定义为从船头到船尾或者从船尾到船头，直接从左往右进行对齐，采样形成旋转边界框候选区域的原始特征，第二种是区分船舶方向，同时从两个方向进行对齐，即等效于从左往右和从右往左进行对齐，使用方向可变特征提取模块采样形成候选区域的方向增强特征，第三种是区分船舶方向，统一按照从船头到船尾的方向进行对齐，使用方向可变特征提取模块采样形成候选区域的方向归一化特征，利用旋转边界框候选区域的方向增强特征或者方向归一化特征，由基于方向增强特征的检测识别网络和基于方向归一化特征的检测识别网络确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位置，生成检测结果；
针对检测结果，采用非极大抑制策略过滤掉置信度小于预设置信度阈值的旋转边界框候选区域；
针对候选区域生成网络、感兴趣区域变换网络、基于方向增强特征的检测识别网络和基于方向归一化特征的检测识别网络，设计相对应的损失函数；
计算各损失函数关于网络权重参数的梯度，使用梯度下降法沿着负梯度方向更新权重参数，使得损失函数逐渐减小；
计算损失函数值和检测性能评价指标，若损失收敛且评价指标达到局部极大值，则权重参数的循环更新过程终止，完成权重参数的学习，否则针对新输入的训练图像，循环更新权重参数。
在一些可选的实施方案中，候选区域生成网络的损失函数由分类误差和回归误差组成。
在一些可选的实施方案中，感兴趣区域变换网络的损失函数由分类误差和回归误差组成。
在一些可选的实施方案中，基于方向增强特征的检测识别网络的损失函数由分类误差和回归误差组成，其中，分类误差项包含候选区域生成网络损失函数的分类误差和感兴趣区域变换网络损失函数的分类误差，回归误差项包含候选区域生成网络损失函数的回归误差和感兴趣区域变换网络损失函数的回归误差。
在一些可选的实施方案中，基于方向归一化特征的检测识别网络由分类误差、回归误差和方向误差组成，其中，分类误差项包含候选区域生成网络损失函数的分类误差和感兴趣区域变换网络损失函数的分类误差，回归误差项包含候选区域生成网络损失函数的回归误差和感兴趣区域变换网络损失函数的回归误差，方向误差项度量候选区域从船头到船尾的方向的预测值与真值之间的差异。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明通过利用方向可变特征提取模块构建候选区域的方向增强特征或者方向归一化特征，将方向信息作为附加特征，输入到卷积神经网络检测模型，能够提升检测模型对目标的辨识力，从而降低检测虚警率和提高检测准确度。具体来说，通过利用方向可变特征提取模块构建候选区域的方向增强特征，能够增广船舶目标特征以提高数据多样性，利于减小检测模型过拟合的可能性，从而提升检测识别效果；而通过利用方向可变特征提取模块构建候选区域的方向归一化特征，能够降低检测模型的拟合复杂度，利于增强检测模型的辨识力，从而提升检测识别效果。
附图说明
图1是本发明实施例提供的一种训练阶段工作流程图；
图2是本发明实施例提供的一种预测阶段工作流程图；
图3是本发明实施例提供的一种利用方向增强特征进行检测识别的一个实施例；
图4是本发明实施例提供的一种利用方向归一化特征进行检测识别的一个实施例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明方法分为训练和预测两个阶段。训练阶段如图1所示，包括10个步骤，依次是生成训练图像数据、输入图像、提取特征图和候选船舶区域、计算候选区域角度、利用方向增强特征或者方向归一化特征进行检测识别、输出检测结果、计算损失函数、根据梯度更新权重参数、判断循环终止条件、输出检测模型。预测阶段如图2所示，包括5个步骤，依次是输入图像、提取特征图和候选船舶区域、计算候选区域角度、利用方向增强特征或者方向归一化特征进行检测识别、输出检测结果。
如图1所示，训练阶段涵盖了预测阶段的工作步骤，包含以下技术要点：
(1)生成训练图像数据
收集海洋港口场景的可见光卫星遥感图像，人工挑选出含有船舶目标的图像，使用labelme等标注工具，以旋转边界框方式标注船舶，获得船舶的位置与类别信息，以.xml格式文件保存标注信息，图像本身与标注信息共同组成训练图像数据。
其中，标注出的感兴趣船舶类别分为六种：航母、两栖攻击舰、驱逐舰、潜艇、补给舰和其他船舶。标注过程中，使用画图工具对标注结果进行可视化，以防错标、漏标现象。
(2)提取特征图和候选船舶区域
如图3所示，针对输入图像，利用残差卷积神经网络按照下采样方式提取多层特征图，下采样是使用池化操作(Pooling)来实现，具体来说是使用Max池化，即从目标图像区域中取出最大值，同时选取的池化窗口大小为2×2，这意味着，相邻两层特征图之间下采样因子为0.5。
针对多层特征图，按照上采样方式构建特征金字塔，上采样因子设定为2，针对特征金字塔中各层特征图，利用3×3大小的滤波器进行卷积操作，以融合更大范围的特征。
将卷积后的特征图输入到候选区域生成网络，获得以水平边界框表征的候选船舶区域，用四元组(xc，yc，w，h)表示，其中，(xc，yc)为候选船舶区域的中心点坐标，w、h分别为候选船舶区域的宽度和高度。
(3)计算候选区域角度
如图3所示，针对候选区域生成网络提取出的水平边界框候选区域，利用感兴趣区域变换网络(ROI Transformer)进行处理，计算出水平边界框候选区域的角度值θ∈[0，π]，形成以旋转边界框表征的候选区域，用五元组(xc，yc，w，h，θ)表示。
(4)利用方向增强特征或者方向归一化特征进行检测识别
针对旋转边界框候选区域，将其与特征图对齐，构建旋转边界框候选区域的特征描述向量，即方向增强特征或者方向归一化特征。利用旋转边界框候选区域的方向增强特征或者方向归一化特征，进行分类(判断候选区域所属类别)和回归(确定候选区域所处图像位置)，生成检测结果。
如图3所示，构建方向增强特征时，将旋转边界框候选区域与特征图从左往右以及从右往左进行对齐，这等效于同时从两个船舶方向(从船头到船尾和从船尾到船头)进行对齐。为此，利用传统对齐方法实现从左往右的对齐，而利用方向可变特征提取模块实现从右往左的对齐。
如图4所示，构建方向归一化特征时，将旋转边界框候选区域与特征图统一按照从船头到船尾的方向进行对齐。为此，利用方向预测网络判断旋转边界框候选区域的从船头到船尾的方向是从左往右还是从右往左，并利用方向可变特征提取模块实现相应方向的对齐。
具体而言，利用方向可变特征提取模块实现特定方向(从左往右或者从右往左)的对齐，本质上是进行以下变换：
Figure BDA0003877255930000081
其中，旋转边界框候选区域用五元组(xc，yc，w，h，θ)表示，(xc，yc)、w、h、θ分别为旋转边界框的中心点坐标、宽度、高度和角度值；(x，y)为旋转框中的点的坐标(在旋转坐标系下)，(x′，y′)为特征图中的点的坐标(在垂直坐标系下)；τ∈{0，1}控制对齐方向，τ＝0代表从左往右对齐，而τ＝1代表从右往左对齐。同时，为了提高对齐操作的计算效率，将旋转边界框划分成3×3个子区域，在每个子区域中采样两个点，对每个采样点采用公式(1)进行变换，并采用双线性插值法计算出变换后点的坐标对应的特征值。
(5)输出检测结果
针对检测结果，采用非极大抑制策略过滤掉置信度较低的旋转边界框候选区域，以降低检测虚警率。非极大抑制策略的具体操作过程如下：
1)将所有检测出的旋转边界框候选区域按照置信度从高到低进行排序；
2)针对每个排在前面的高置信度候选区域，计算其与排在后面的低置信度候选区域的交并比
Figure BDA0003877255930000091
其中，A、B为候选区域，∩、∪表示两个区域的交集、并集运算；
3)剔除交并比大于设定的阈值(通常取0.1)的低置信度候选区域。
(6)计算损失函数
针对各类深度神经网络(包括候选区域生成网络、感兴趣区域变换网络、基于方向增强特征的检测识别网络、基于方向归一化特征的检测识别网络、方向预测网络)，设计相对应的损失函数(包含分类误差、回归误差和方向误差)，作为网络性能的度量指标，用于寻找最优网络权重参数。神经网络的学习以最小化损失函数为目标，通常采用误差反向传播法计算损失函数关于权重参数的梯度，并利用梯度下降法来更新权重参数，以使损失函数的值逐渐减小。
候选区域生成网络(Region Proposal Network，RPN)的损失函数由分类误差和回归误差组成。给定水平边界框候选区域(xh，yh，wh，hh)、水平边界框真值区域
Figure BDA0003877255930000092
和水平边界框参考区域(xa，ya，wa，ha)，损失函数的计算方式如下所示：
LRPN＝L分类+L回归 (2)
Figure BDA0003877255930000101
Figure BDA0003877255930000102
Figure BDA0003877255930000103
其中，L表示损失函数；CrossEntropy、SmoothL1分别表示交叉熵误差和平滑L1范数误差；p＝(p1,…,pk,…,pN)表示水平边界框被判定为各个类别的概率向量，N为分类类别总数，向量p中数值具有以下特性：
Figure BDA0003877255930000104
Figure BDA0003877255930000105
表示真值边界框的类别标注向量，N含义同前，向量p*中有一个数值为1(该值索引位置对应于真值边界框的标注类别)，而其他数值均为0，称为one-hot表示：
Figure BDA0003877255930000106
运算符log表示自然对数；(x,y)、w、h分别代表对应边界框的中心点坐标、宽度和高度。值得注意，上面给定的候选区域是神经网络的检测识别结果；真值区域是标注出的监督数据；参考区域是神经网络进行检测识别时的附带结果，常用的基于神经网络的目标检测算法为了降低预测难度和提高计算效率，往往事先在特征图上以滑动窗方式(SlidingWindow)在不同位置生成不同尺度的参考框，然后预测出目标框相对于参考框的中心点偏移和长宽比变化。
感兴趣区域变换网络(Region of Interest，ROI)的损失函数由分类误差和回归误差组成。给定旋转边界框候选区域(xr，yr，wr，hr，θr)、旋转边界框真值区域
Figure BDA0003877255930000111
和旋转边界框参考区域
Figure BDA0003877255930000112
损失函数的计算方式如下所示：
LROI＝L分类+L回归 (8)
Figure BDA0003877255930000113
Figure BDA0003877255930000114
Figure BDA0003877255930000115
其中，标识θ代表边界框的角度值，而其他标识的含义与候选区域生成网络损失函数中相同。注意到，感兴趣区域变换网络是将水平框候选区域转化为旋转框候选区域，因此可以将原始的水平框(xh，yh，wh，hh)增加一个角度值维度θh，以作为参考区域，即(xh，yh，wh，hh，θh)，这里
Figure BDA0003877255930000116
基于方向增强特征的检测识别网络(DAF)的损失函数由分类误差和回归误差组成。其中，分类误差项包含候选区域生成网络损失函数的分类误差和感兴趣区域变换网络损失函数的分类误差，回归误差项包含候选区域生成网络损失函数的回归误差和感兴趣区域变换网络损失函数的回归误差。故损失函数的计算方式如下所示：
LDAF＝LRPN+LROI (12)
基于方向归一化特征的检测识别网络(DNF)的损失函数由分类误差、回归误差和方向误差组成。其中，分类误差项包含候选区域生成网络损失函数的分类误差和感兴趣区域变换网络损失函数的分类误差，回归误差项包含候选区域生成网络损失函数的回归误差和感兴趣区域变换网络损失函数的回归误差，方向误差项度量候选区域从船头到船尾的方向的预测值与真值之间的差异。因此损失函数的计算方式如下所示：
LDNF＝LRPN+LROI+γ*L方向 (13)
L方向＝L1(β,β*)＝|β-β*| (14)
其中，β和β*分别表示从船头到船尾的方向的预测值和真值，预测值是神经网络输出结果，真值通常是人工标注结果；从船头到船尾的方向只有两种可能取值，即0和1，0代表从左往右，而1代表从右往左；标识L1代表L1范数误差；γ表示控制方向误差项权重的超参数，这里取值为1。
方向预测网络(DPN)的损失函数由方向误差组成。方向误差项度量候选区域从船头到船尾的方向的预测值与真值之间的差异。因此损失函数的计算方式如下所示：
LDPN＝L方向＝L1(β,β*)＝|β-β*| (15)
其中，β、β*和标识L1的含义与公式(14)中保持一致。
(7)根据梯度更新权重参数
计算损失函数L关于网络权重参数W的梯度，记作
Figure BDA0003877255930000121
使用梯度下降法沿着负梯度方向更新权重参数，使得损失函数逐渐减小，如下所示：
Figure BDA0003877255930000122
其中，η表示学习率，是控制梯度下降快慢的超参数，这里取值为0.01。如果学习率过小，会导致学习花费过多时间；反之，则会导致学习发散而不能正确进行。这里采用的梯度下降类算法具体为随机梯度下降法(Stochastic Gradient Descent，SGD)，即对随机选择的训练数据进行的梯度下降法。
(8)判断循环终止条件
计算损失函数值和检测性能评价指标，若损失收敛且评价指标达到局部极大值，则权重参数的循环更新过程终止，即完成权重参数的学习；否则针对新输入的训练图像，循环更新权重参数。
这里采用平均准确率(mAP)作为检测性能评价指标，其被广泛用于目标检测器的质量评价，其计算方式采用PASCAL-VOC2007度量。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于方向可变特征的遥感船舶检测与识别方法，其特征在于，包括：
S1：获取待检测识别的目标遥感船舶图像，从目标遥感船舶图像中划分出船舶目标区域，以旋转边界框方式标注船舶，获得船舶的位置与类别信息，目标遥感船舶图像与标注信息共同组成输入图像；
S2：利用残差卷积神经网络和特征金字塔对输入图像进行处理，形成特征图，将特征图输入到候选区域生成网络，获得以水平边界框表征的候选船舶区域；
S3：利用感兴趣区域变换网络对水平边界框候选船舶区域进行处理，计算出水平边界框候选船舶区域的角度值，形成以旋转边界框表征的候选区域；
S4：将旋转边界框候选区域与特征图对齐，获取旋转边界框候选区域的方向增强特征或者方向归一化特征，以确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位置，生成检测结果；
S5：针对检测结果，采用非极大抑制过滤掉置信度小于预设置信度阈值的旋转边界框候选区域。
2.根据权利要求1所述的方法，其特征在于，步骤S4包括：
将旋转边界框候选区域与特征图对齐，获取旋转边界框候选区域的方向增强特征或者方向归一化特征，其中，旋转边界框候选区域与特征图的对齐方式分为三种，第一种是不区分船舶方向，将船舶方向定义为从船头到船尾或者从船尾到船头，直接从左往右进行对齐，采样形成旋转边界框候选区域的原始特征，第二种是区分船舶方向，同时从两个方向进行对齐，即等效于从左往右和从右往左进行对齐，使用方向可变特征提取模块采样形成旋转边界框候选区域的方向增强特征，第三种是区分船舶方向，统一按照从船头到船尾的方向进行对齐，使用方向可变特征提取模块采样形成候选区域的方向归一化特征，其中，方向可变特征是指由于对齐方向变化而形成的对旋转边界框候选区域的不同特征描述；
利用旋转边界框候选区域的方向增强特征或者方向归一化特征，基于方向增强特征的检测识别网络和基于方向归一化特征的检测识别网络，以确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位置，生成检测结果。
3.根据权利要求2所述的方法，其特征在于，利用方向可变特征提取模块实现从左往右或者从右往左的对齐，包括：由
Figure FDA0003877255920000021
进行变换，其中，旋转边界框候选区域用五元组(xc，yc，w，h，θ)表示，(xc，yc)为旋转边界框的中心点坐标，w为旋转边界框的宽度，h为旋转边界框的高度，θ为旋转边界框的角度值，(x，y)为在旋转坐标系下，旋转边界框中的点的坐标，(x′，y′)为在垂直坐标系下，特征图中的点的坐标，τ∈{0，1}控制对齐方向，τ＝0代表从左往右对齐，而τ＝1代表从右往左对齐。
4.根据权利要求2或3所述的方法，其特征在于，步骤S5包括：
将所有检测出的旋转边界框候选区域按照置信度从高到低进行排序；
针对每个排在前面的高置信度候选区域，计算其与排在后面的低置信度候选区域的交并比；
剔除交并比大于设定的阈值的低置信度候选区域。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括网络模型的训练阶段，所述训练阶段包括：
收集可见光卫星遥感图像，从图像中划分出船舶目标区域，以旋转边界框方式标注船舶，获得船舶的位置与类别信息并保存，图像本身与标注信息共同组成训练图像；
利用残差卷积神经网络和特征金字塔对输入的训练图像进行处理，形成特征图，将特征图输入到候选区域生成网络，获得以水平边界框表征的候选船舶区域；
利用感兴趣区域变换网络对水平边界框候选船舶区域进行处理，计算出水平边界框候选船舶区域的角度值，形成以旋转边界框表征的候选区域；
将旋转边界框候选区域与特征图对齐，获取候选区域的方向增强特征或者方向归一化特征，其中，旋转边界框候选区域与特征图的对齐方式分为三种，第一种是不区分船舶方向，将船舶方向定义为从船头到船尾或者从船尾到船头，直接从左往右进行对齐，采样形成旋转边界框候选区域的原始特征，第二种是区分船舶方向，同时从两个方向进行对齐，即等效于从左往右和从右往左进行对齐，使用方向可变特征提取模块采样形成候选区域的方向增强特征，第三种是区分船舶方向，统一按照从船头到船尾的方向进行对齐，使用方向可变特征提取模块采样形成候选区域的方向归一化特征，利用旋转边界框候选区域的方向增强特征或者方向归一化特征，由基于方向增强特征的检测识别网络和基于方向归一化特征的检测识别网络确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位置，生成检测结果；
针对检测结果，采用非极大抑制策略过滤掉置信度小于预设置信度阈值的旋转边界框候选区域；
针对候选区域生成网络、感兴趣区域变换网络、基于方向增强特征的检测识别网络和基于方向归一化特征的检测识别网络，设计相对应的损失函数；
计算各损失函数关于网络权重参数的梯度，使用梯度下降法沿着负梯度方向更新权重参数，使得损失函数逐渐减小；
计算损失函数值和检测性能评价指标，若损失收敛且评价指标达到局部极大值，则权重参数的循环更新过程终止，完成权重参数的学习，否则针对新输入的训练图像，循环更新权重参数。
6.根据权利要求5所述的方法，其特征在于，候选区域生成网络的损失函数由分类误差和回归误差组成。
7.根据权利要求6所述的方法，其特征在于，感兴趣区域变换网络的损失函数由分类误差和回归误差组成。
8.根据权利要求7所述的方法，其特征在于，基于方向增强特征的检测识别网络的损失函数由分类误差和回归误差组成，其中，分类误差项包含候选区域生成网络损失函数的分类误差和感兴趣区域变换网络损失函数的分类误差，回归误差项包含候选区域生成网络损失函数的回归误差和感兴趣区域变换网络损失函数的回归误差。
9.根据权利要求8所述的方法，其特征在于，基于方向归一化特征的检测识别网络由分类误差、回归误差和方向误差组成，其中，分类误差项包含候选区域生成网络损失函数的分类误差和感兴趣区域变换网络损失函数的分类误差，回归误差项包含候选区域生成网络损失函数的回归误差和感兴趣区域变换网络损失函数的回归误差，方向误差项度量候选区域从船头到船尾的方向的预测值与真值之间的差异。
CN202211220843.3A 2022-10-08 2022-10-08 基于方向可变特征的遥感船舶检测与识别方法 Pending CN115511853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220843.3A CN115511853A (zh) 2022-10-08 2022-10-08 基于方向可变特征的遥感船舶检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220843.3A CN115511853A (zh) 2022-10-08 2022-10-08 基于方向可变特征的遥感船舶检测与识别方法

Publications (1)

Publication Number Publication Date
CN115511853A true CN115511853A (zh) 2022-12-23

Family

ID=84508610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220843.3A Pending CN115511853A (zh) 2022-10-08 2022-10-08 基于方向可变特征的遥感船舶检测与识别方法

Country Status (1)

Country Link
CN (1) CN115511853A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109907A (zh) * 2023-04-17 2023-05-12 深圳须弥云图空间科技有限公司 目标检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109907A (zh) * 2023-04-17 2023-05-12 深圳须弥云图空间科技有限公司 目标检测方法、装置、电子设备及存储介质
CN116109907B (zh) * 2023-04-17 2023-08-18 成都须弥云图建筑设计有限公司 目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US8994723B2 (en) Recognition and pose determination of 3D objects in multimodal scenes
CN107067415B (zh) 一种基于图像匹配的目标定位方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN110533069B (zh) 一种基于支持向量机算法的二维箔条分布特性识别方法
CN108428220A (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN111967337A (zh) 一种基于深度学习和无人机影像的管道线变化检测方法
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN112907520A (zh) 基于端到端深度学习方法的单株树冠检测方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN110427030B (zh) 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN115511853A (zh) 基于方向可变特征的遥感船舶检测与识别方法
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN109558803B (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
CN114627424A (zh) 一种基于视角转化的步态识别方法和系统
Li et al. Vision-based target detection and positioning approach for underwater robots
Wang et al. SCFNet: Semantic condition constraint guided feature aware network for aircraft detection in SAR Images
CN117115436A (zh) 舰船姿态检测方法、装置、电子设备及存储介质
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
Ganbold et al. Coarse-to-fine evolutionary method for fast horizon detection in maritime images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination