CN111222474B - 一种任意尺度的高分辨率图像小目标检测方法 - Google Patents

一种任意尺度的高分辨率图像小目标检测方法 Download PDF

Info

Publication number
CN111222474B
CN111222474B CN202010023020.6A CN202010023020A CN111222474B CN 111222474 B CN111222474 B CN 111222474B CN 202010023020 A CN202010023020 A CN 202010023020A CN 111222474 B CN111222474 B CN 111222474B
Authority
CN
China
Prior art keywords
target
feature
network
data set
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010023020.6A
Other languages
English (en)
Other versions
CN111222474A (zh
Inventor
李建清
吴锦涛
王宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010023020.6A priority Critical patent/CN111222474B/zh
Publication of CN111222474A publication Critical patent/CN111222474A/zh
Application granted granted Critical
Publication of CN111222474B publication Critical patent/CN111222474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种任意尺度的高分辨率图像小目标检测方法，包括以下步骤：获取标注清洗的目标数据集，划分训练集和测试集；对数据集通过优化聚类算法计算预设锚框；设计卷积神经网络，通过特征提取得到特征图，在预测网络上添加补丁使上采样得到的特征图和特征提取层对应特征图维度保持一致，在不同尺度特征图上做多尺度检测；利用卷积神经网络对数据集进行训练，待性能评价指标收敛后得到具有小目标检测能力的神经网络模型；对测试数据集进行检测，得到目标类别和位置坐标。本发明适用任意尺寸的图像输入网络，避免缩小到固定尺寸输入网络后特征图上小目标特征的丢失，或裁剪图像导致边缘目标上下文信息丢失，有助于高分辨率图像小目标的检测，适用性广。

Description

一种任意尺度的高分辨率图像小目标检测方法
技术领域
本发明属于深度学习图像处理和遥感高分辨率图像小目标检测技术领域，特别涉及到一种任意尺度的高分辨率图像小目标检测方法。
背景技术
随着卫星遥感技术及计算机视觉技术的发展和应用，光学遥感图像中的目标检测在民用和军事方面有着重要意义。在民用上，高精度目标检测有助于辅助交通管理和规划；在军事上，高精度的目标检测有助于准确的情报侦察，精确锁定敌对目标入侵和危害，维护国家安全。而分辨率高、目标小是遥感图像目标检测的难点和最突出的问题之一。
传统的遥感图像目标检测基于图像处理，即先进行纹理分割、纹理特征提取，然后使用模板匹配等方法对目标进行判断，不仅对特征的抽象和泛化能力弱，而且工程复杂度高。深度卷积神经网络的应用大大提高了目标检测精度，但是无论是以YOLO为代表的one-stage检测算法，还是以R-CNN为代表的two-stage检测算法，都需要对高分辨率的遥感图像进行裁剪或者进行插值计算放缩到较小的图像尺寸，裁剪导致特征提取后裁剪块边缘目标上下文信息丢失，而对图像进行插值计算放缩到较小的固定尺寸，原始图像中小目标尺寸更小，通过深层的特征提取网络所得到的特征图，小目标特征丢失，会造成小目标的漏检。以YOLO为例，如果输入图像原始大小为1355×1526，图像中小目标尺寸为32×32，输入网络需要对图片进行插值缩小到416×416的固定大小，小目标尺寸缩小到10～16之间，小目标通过特征提取网络在特征图上目标特征消失，最终造成小目标的漏检。
发明内容
本发明要解决的技术问题在于提供一种任意尺度的高分辨率图像小目标检测方法，该检测方法克服了现有深度学习网络固定输入图像尺寸，大尺寸图像需要缩放到固定尺寸输入网络，造成小目标漏检的不足，提高了大尺寸图像情况下小目标识别的准确性。
为了解决上述技术问题，本发明通过以下方式来实现：
一种任意尺度的高分辨率图像小目标检测方法，具体包括以下步骤：
S1、获取目标数据集，对目标数据集进行标注清洗，并划分训练集和测试集；
S2、对步骤S1中的目标数据集通过优化的kmeans聚类算法计算预设锚框Anchors；
S3、设计卷积神经网络，通过特征提取网络得到特征图，并在预测网络上通过添加补丁的方式使上采样得到的特征图和特征提取层所对应特征图维度保持一致，进行特征融合，在原图的
Figure BDA0002361471880000021
和
Figure BDA0002361471880000022
大小的特征图上做多尺度检测；
S4、将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，待性能评价指标达到收敛后得到具有小目标检测能力的神经网络模型；
S5、根据步骤S4得到的神经网络模型，对测试数据集进行检测，得到检测结果。
进一步地，所述步骤S1具体包含以下子步骤：
S11、选取数据集中包含汽车的图片作为目标数据集，对目标数据集进行标注清洗，构成实验中所用的数据集和样本标签；
S12、对步骤S11中得到的数据集和样本标签进行旋转、翻转、加噪声等操作，实现数据扩展和数据增强，不对图片进行尺寸变换；
S13、对步骤S12中得到的数据集和对应样本标签随机打乱后，任取80％～90％作为训练集，剩下的作为测试集。
进一步地，所述步骤S2中具体包含以下子步骤：
S21、对样本中目标数据进行如下公式的去归一化处理，
Figure BDA0002361471880000023
其中，Txmin和Tymin分别表示去归一化后目标框左上角横、纵坐标，Tw和Th分别表示去归一化后目标框的宽、高，Gw和Gh分别表示图片的宽、高，center_x和center_y分别表示归一化目标中心坐标，tw和th分别表示归一化的宽、高。
S22、将步骤S21去归一化处理后的样本标签数据进行随机打乱，并记录在列表集合中，从中随机选取一个索引，该索引在列表中代表目标框的宽、高作为初始聚类中心，计算列表中每一个索引代表的目标框和最近的聚类中心的交并比，最后得到预设的K个聚类中心，通过kmeans算法得到K个预设的锚框Anchor值，其中公式如下：
Figure BDA0002361471880000024
其中，d(box，centroid)表示聚类的距离度量，选取新聚类中心点时，d(box，centroid)越大，被选取的概率就越大，IOU(box，centroid)表示交并比，Sbox代表目标框的面积，Scentroid代表聚类中心框的面积。
S23、针对步骤S21得到的去归一化后的样本标签，使用步骤S22中kmeans算法得到本发明实施数据集的12对预设锚框Anchor值。
进一步地，所述步骤S3中具体包含以下步骤：
S31、以YOLOv3骨干网络Darknet-53为基础构建特征提取网络，包含53个卷积层和23个shortcut层，形成类残差网络结构，每个卷积层后都会有一个Batch Normalization层和LeakyReLU激活层，Batch Normalization层用于在每个Batch上将其按一层的激活值重新规范化，LeakyReLU激活层对上层的输出增加非线性，整个特征提取网络有5次下采样，其中下采样操作通过卷积层增加卷积步长完成；
S32、通过步骤S31特征提取网络，得到原图
Figure BDA0002361471880000031
大小的特征图，并在该尺度特征图上进行目标分类和位置预测；
S33、将步骤S32累加得到的特征图，通过添加补丁的方式进行上采样依次放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后依次进行累加得到原图
Figure BDA0002361471880000032
大小的特征图，并在相应尺度特征图上进行目标分类和位置预测；
S34、将步骤S32和S33中各个尺度上目标分类和位置预测坐标映射到原图上，通过非极大值抑制输出精确的小目标检测结果。
进一步地，所述步骤S4具体实现方法为：将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，修改网络配置文件，增加在原图
Figure BDA0002361471880000033
大小特征图上的预测层的网络参数，并把步骤S2中所得的12组Anchor作为预设Anchors替换原始配置文件中预测网络中YOLO层的Anchors，不固定输入网络尺寸，读取每个Batch的图片中最大尺寸为该Batch的输入尺寸，小于最大尺寸的图片通过添加补丁的方式进行扩充，训练过程中待性能评价指标达到收敛终止训练，得到小目标检测模型。
进一步地，所述步骤S5具体实现方法为：利用所述步骤S4得到的神经网络模型对测试集进行特征提取，通过在原图
Figure BDA0002361471880000034
和
Figure BDA0002361471880000035
的特征图上进行多尺度预测，最终通过非极大值抑制得到精确的目标类别和位置坐标。
与现有技术相比，本发明具有的有益效果：
本发明提出一种端到端的任意尺度深度学习目标检测网络，通过缩减预处理和后处理过程，任意尺寸的图像直接输入网络，不要求输入图像缩放到固定尺寸，利用图像在预测层上采样过程中通过对特征图添加补丁，使得上采样得到的特征图和特征提取层对应尺寸的特征图维度保持一致，进行特征融合，使网络在原始图像
Figure BDA0002361471880000041
和
Figure BDA0002361471880000042
的特征图上进行多尺度预测，提高大尺寸图像情况下小目标识别的准确性，更有助于高分辨率图像中小目标的检测，适用性广。
附图说明
图1为本发明一种任意尺度的高分辨率图像小目标检测流程图；
图2为本发明实施例中的原始图像；
图3为原始YOLOv3网络经过第一个卷积层后的特征图可视化；
图4为原始YOLOv3网络得到的原始图像的
Figure BDA0002361471880000043
特征图可视化；
图5为原始YOLOv3网络对高分辨率图像小目标检测结果；
图6为本发明实施例经过第一个卷积层后的特征图可视化；
图7为本发明实施例得到的原始图像的
Figure BDA0002361471880000044
特征图可视化；
图8为本发明实施例一种任意尺度的高分辨率图像小目标检测结果。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。
如图1所示，一种任意尺度的高分辨率图像小目标检测方法包括以下步骤：
S1、获取目标数据集，对数据集进行标注清洗，并划分训练集和测试集；具体包括以下子步骤：
S11、所采用的数据集来自UCAS_AOD、TGRS-HRRSD等公开数据集以及无人机采集标注，选取以上数据集中包含汽车的图片作为目标数据集，对目标数据集进行标注清洗，构成本发明实验中所用的数据集和样本标签；
S12、对步骤S11中得到的数据集和样本标签进行旋转、翻转、加噪声等操作，实现数据扩展和数据增强，不对图片进行尺寸变换；
S13、对步骤S12中得到的数据集和对应样本标签随机打乱后，任取80％～90％作为训练集，剩下的作为测试集。
S2、对步骤S1中的目标数据集通过优化的kmeans聚类算法计算预设锚框Anchors；具体包含以下子步骤：
S21、对样本中目标数据进行如下公式的去归一化处理，
Figure BDA0002361471880000051
其中，Txmin和Tymin分别表示去归一化后目标框左上角横、纵坐标，Tw和Th分别表示去归一化后目标框的宽、高，Gw和Gh分别表示图片的宽、高，center_x和center_y分别表示归一化目标中心坐标，tw和th分别表示归一化的宽、高。
S22、将步骤S21去归一化处理后的样本标签数据进行随机打乱，并记录在列表集合中，从中随机选取一个索引，该索引在列表中代表目标框的宽、高作为初始聚类中心，计算列表中每一个索引代表的目标框和最近的聚类中心的交并比，最后得到预设的K个聚类中心，通过kmeans算法得到K个预设的锚框Anchor值，其中公式如下：
Figure BDA0002361471880000052
其中，d(box，centroid)表示聚类的距离度量，选取新聚类中心点时，d(box，centroid)越大，被选取的概率就越大，IOU(box，centroid)表示交并比，Sbox代表目标框的面积，Scentroid代表聚类中心框的面积。
S23、针对步骤S21得到的去归一化后的样本标签，使用步骤S22中kmeans算法得到本发明实施数据集的12对预设Anchor值为(22，19)，(22，38)，(33，54)，(38，33)，(39，21)，(39，70)，(50，86)，(52，55)，(60，40)，(62，32)，(78，41)，(100，55)。
S3、设计卷积神经网络；具体包含以下子步骤：
S31、以YOLOv3骨干网络Darknet-53为基础构建特征提取网络，包含53个卷积层和23个shortcut层，形成类残差网络结构，每个卷积层后都会有一个Batch Normalization层和LeakyReLU激活层，Batch Normalization层用于在每个Batch上将其按一层的激活值重新规范化，LeakyReLU激活层对上层的输出增加非线性，整个特征提取网络有5次下采样，其中下采样操作通过卷积层增加卷积步长完成；
S32、通过步骤S31特征提取网络，得到原图
Figure BDA0002361471880000061
大小的特征图，并在该尺度特征图上进行目标分类和位置预测；
S33、将步骤S32累加得到的特征图，通过添加补丁的方式进行上采样放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后进行累加得到原图
Figure BDA0002361471880000062
大小的特征图，并在该尺度特征图上进行目标分类和位置预测；
将步骤S33累加得到的特征图，通过添加补丁的方式进行上采样放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后进行累加得到原图
Figure BDA0002361471880000063
大小的特征图，并在该尺度特征图进行目标分类和位置预测；
将步骤S34累加得到的特征图，通过添加补丁的方式进行上采样放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后进行累加得到原图
Figure BDA0002361471880000064
大小的特征图，并在该尺度特征图进行目标分类和位置预测；
S34、将步骤S32和S33中各个尺度上目标分类和位置预测坐标映射到原图上，通过非极大值抑制输出精确的小目标检测结果。
S4、将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，修改网络配置文件，增加在原图
Figure BDA0002361471880000065
大小特征图上的预测层的网络参数，并把步骤S2中所得的12组Anchor作为预设Anchors替换原始配置文件中预测网络中YOLO层的Anchors，不固定输入网络尺寸，读取每个Batch的图片中最大尺寸为该Batch的输入尺寸，小于最大尺寸的图片通过添加补丁的方式进行扩充，训练过程中待性能评价指标达到收敛终止训练，得到小目标检测模型。
S5、利用所述步骤S4得到的神经网络模型对测试集进行特征提取，通过在原图的
Figure BDA0002361471880000066
Figure BDA0002361471880000067
和
Figure BDA0002361471880000068
的特征图上进行多尺度预测，最终在原图上通过非极大值抑制得到精确的目标类别和位置坐标。
下面通过具体实施例进一步说明本发明的技术方案。
本实施例数据集来自UCAS_AOD、TGRS-HRRSD等公开数据集以及无人机采集标注，挑选得到航拍汽车数据集共计5000张，图片尺寸468～2048不等，从中随机选取90％作为训练集，剩下的作为测试集，以YOLOv3骨干网络为基础设计适应任意尺度的目标检测网络。
训练阶段：
1)使用原始YOLOv3网络对所选训练集进行训练，输入网络图片大小固定到416×416，待评价指标收敛后得到YOLOv3目标检测网络模型；
2)本实施例用所选训练集进行训练，选取每个Batch中最大尺寸为该Batch输入网络的尺寸，小于该尺寸的图片通过添加补丁方式进行扩充，使每个Batch保持一致，待评价指标收敛后得到适用于本实施例中小目标检测的神经网络模型。
测试阶段：
1)使用得到的原始YOLOv3网络模型进行检测，得到不同层特征图和检测结果。如图2为原始测试图像，将原始图片放缩到416×416，图3和图4分别为通过原始YOLOv3网络第0层(第一个卷积层)和第97层(第二次上采样)得到的特征图可视化，图4尺寸为52×52，小目标特征丢失，图5为原始YOLOv3网络得到的检测结果，小目标严重漏检。
2)本发明实施例，通过添加补丁的方式使得图片宽高一致。直接输入小目标检测模型，得到不同网络层的特征图和检测结果。如图2所示原始图片尺寸为1355×1526，通过添加补丁的方式得到尺寸1526×1526，输入网络，图6和图7分别为本发明实施例中通过网络第0层(第一个卷积层)和第97层(第二次上采样)得到的特征图可视化，图6尺寸1526×1526，图7尺寸191×191，为原图的
Figure BDA0002361471880000071
小目标特征依旧清晰，图8为本实施例检测结果，可以看到，小目标基本都可以检测出来，具有很好的检测效果。
本发明缩减预处理和后处理过程，任意尺寸的图像直接输入网络，克服了现有网络固定输入尺寸大小的不足，图像在预测层上采样过程中通过对特征图添加补丁，使得上采样得到的特征图和特征提取层对应尺寸的特征图维度保持一致，然后进行特征融合，使网络在原始图像
Figure BDA0002361471880000072
和
Figure BDA0002361471880000073
的特征图上进行多尺度预测，更有助于高分辨率图像中小目标的检测，适用性广。
本发明实施例中，尺寸为1355×1526的图像通过添加补丁使得图像宽高保持一致，直接输入网络，通过特征提取层，得到不同尺寸的特征图，763×763，382×382，191×191，96*96，48×48，分别为原图上的
Figure BDA0002361471880000074
和
Figure BDA0002361471880000075
小目标在原图
Figure BDA0002361471880000076
和
Figure BDA0002361471880000077
大小的特征图上特征明显。所以在原始图像
Figure BDA0002361471880000078
大小的特征图上进行预测，更有助于小目标和特小目标的检测。
以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。

Claims (4)

1.一种任意尺度的高分辨率图像小目标检测方法，其特征在于：具体包括以下步骤：
S1、获取目标数据集，对目标数据集进行标注清洗，并划分训练集和测试集；
S2、对步骤S1中的目标数据集通过优化的kmeans聚类算法计算预设锚框Anchors；
S3、设计卷积神经网络，具体包含以下子步骤：
S31、以YOLOv3骨干网络Darknet-53为基础构建特征提取网络，包含53个卷积层和23个shortcut层，形成类残差网络结构，每个卷积层后都会有一个Batch Normalization层和LeakyReLU激活层，Batch Normalization层用于在每个Batch上将其按一层的激活值重新规范化，LeakyReLU激活层对上层的输出增加非线性，整个特征提取网络有5次下采样，其中下采样操作通过卷积层增加卷积步长完成；
S32、通过步骤S31特征提取网络，得到原图
Figure FDA0003798177770000011
大小的特征图，并在该尺度特征图上进行目标分类和位置预测；
S33、将步骤S32累加得到的特征图，通过添加补丁的方式进行上采样放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后进行累加得到原图
Figure FDA0003798177770000012
大小的特征图，并在该尺度特征图上进行目标分类和位置预测；
将步骤S33累加得到的特征图，通过添加补丁的方式进行上采样放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后进行累加得到原图
Figure FDA0003798177770000013
大小的特征图，并在该尺度特征图进行目标分类和位置预测；
将步骤S34累加得到的特征图，通过添加补丁的方式进行上采样放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后进行累加得到原图
Figure FDA0003798177770000014
大小的特征图，并在该尺度特征图进行目标分类和位置预测；
S34、将步骤S32和S33中各个尺度上目标分类和位置预测坐标映射到原图上，通过非极大值抑制输出精确的小目标检测结果；
S4、将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，修改网络配置文件，增加在原图
Figure FDA0003798177770000015
大小特征图上的预测层的网络参数，并把步骤S2中所得的12组Anchor作为预设Anchors替换原始配置文件中预测网络中YOLO层的Anchors，不固定输入网络尺寸，读取每个Batch的图片中最大尺寸为该Batch的输入尺寸，小于最大尺寸的图片通过添加补丁的方式进行扩充，训练过程中待性能评价指标达到收敛终止训练，得到小目标检测模型；
S5、根据步骤S4得到的神经网络模型，对测试数据集进行检测，得到检测结果。
2.根据权利要求1所述的一种任意尺度的高分辨率图像小目标检测方法，其特征在于：所述步骤S1具体包括以下子步骤：
S11、选取数据集中包含汽车的图片作为目标数据集，对目标数据集进行标注清洗，构成实验中所用的数据集和样本标签；
S12、对步骤S11中得到的数据集和样本标签进行旋转、翻转、加噪声操作，实现数据扩展和数据增强，不对图片进行尺寸变换；
S13、对步骤S12中得到的数据集和对应样本标签随机打乱后，任取80％～90％作为训练集，剩下的作为测试集。
3.根据权利要求1所述的一种任意尺度的高分辨率图像小目标检测方法，其特征在于：所述步骤S2中具体包含以下子步骤：
S21、对样本中目标数据进行如下公式的去归一化处理，
Figure FDA0003798177770000021
其中，Txmin和Tymin分别表示去归一化后目标框左上角横、纵坐标，Tw和Th分别表示去归一化后目标框的宽、高，Gw和Gh分别表示图片的宽、高，center_x和center_y分别表示归一化目标中心坐标，tw和th分别表示归一化的宽、高；
S22、将步骤S21去归一化处理后的样本标签数据进行随机打乱，并记录在列表集合中，从中随机选取一个索引，该索引在列表中代表目标框的宽、高作为初始聚类中心，计算列表中每一个索引代表的目标框和最近的聚类中心的交并比，最后得到预设的K个聚类中心，通过kmeans算法得到K个预设的锚框Anchor值，其中公式如下：
Figure FDA0003798177770000022
其中，d(box，centroid)表示聚类的距离度量，选取新聚类中心点时，d(box，centroid)越大，被选取的概率就越大，IOU)box，centroid)表示交并比，Sbox代表目标框的面积，Scentroid代表聚类中心框的面积；
S23、针对步骤S21得到的去归一化后的样本标签，使用步骤S22中kmeans算法得到实施数据集的12对预设锚框Anchor值。
4.根据权利要求1所述的一种任意尺度的高分辨率图像小目标检测方法，其特征在于：所述步骤S5中具体方法为：利用所述步骤S4得到的神经网络模型对测试集进行特征提取，通过在原图
Figure FDA0003798177770000031
和
Figure FDA0003798177770000032
的特征图上进行多尺度预测，最终通过非极大值抑制得到精确的目标类别和位置坐标。
CN202010023020.6A 2020-01-09 2020-01-09 一种任意尺度的高分辨率图像小目标检测方法 Active CN111222474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010023020.6A CN111222474B (zh) 2020-01-09 2020-01-09 一种任意尺度的高分辨率图像小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010023020.6A CN111222474B (zh) 2020-01-09 2020-01-09 一种任意尺度的高分辨率图像小目标检测方法

Publications (2)

Publication Number Publication Date
CN111222474A CN111222474A (zh) 2020-06-02
CN111222474B true CN111222474B (zh) 2022-11-04

Family

ID=70829367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023020.6A Active CN111222474B (zh) 2020-01-09 2020-01-09 一种任意尺度的高分辨率图像小目标检测方法

Country Status (1)

Country Link
CN (1) CN111222474B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666909A (zh) * 2020-06-11 2020-09-15 中科山水(北京)科技信息有限公司 基于面向对象和深度学习的疑似污染场地空间识别方法
CN111860160B (zh) * 2020-06-16 2023-12-12 国能信控互联技术有限公司 一种室内检测口罩佩戴的方法
CN111881730A (zh) * 2020-06-16 2020-11-03 北京华电天仁电力控制技术有限公司 一种火电厂现场安全帽佩戴检测方法
CN111862408B (zh) * 2020-06-16 2022-07-05 国能信控互联技术有限公司 一种智能门禁控制方法
CN111967305B (zh) * 2020-07-01 2022-03-18 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN111898659A (zh) * 2020-07-16 2020-11-06 北京灵汐科技有限公司 一种目标检测方法及系统
CN112084901B (zh) * 2020-08-26 2024-03-01 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN112184641A (zh) * 2020-09-15 2021-01-05 佛山中纺联检验技术服务有限公司 一种小目标物体检测方法
CN112132034B (zh) * 2020-09-23 2024-04-16 平安国际智慧城市科技股份有限公司 行人图像检测方法、装置、计算机设备及存储介质
CN112215188A (zh) * 2020-10-21 2021-01-12 平安国际智慧城市科技股份有限公司 交警姿态识别方法、装置、设备及存储介质
CN112668628A (zh) * 2020-12-24 2021-04-16 山东大学 一种空调外机质量检测与可视化方法
CN112990263B (zh) * 2021-02-08 2022-12-06 武汉工程大学 一种用于密集小目标的高分辨率图像的数据增强方法
CN113095131B (zh) * 2021-03-03 2022-06-21 电子科技大学 一种光强数据自动采集标注装置及方法
CN113421222B (zh) * 2021-05-21 2023-06-23 西安科技大学 一种轻量化煤矸目标检测方法
CN113344948A (zh) * 2021-07-06 2021-09-03 湖南博远翔电子科技有限公司 一种高分辨率图片识别小目标的方法
CN113569968B (zh) * 2021-07-30 2024-05-17 清华大学苏州汽车研究院（吴江） 模型训练方法、目标检测方法、装置、设备及存储介质
CN113822148B (zh) * 2021-08-05 2024-04-12 同济大学 一种基于卷积神经网络的轨道微小遗留物智能辨识方法
CN113808143B (zh) * 2021-09-06 2024-05-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN113792660B (zh) * 2021-09-15 2024-03-01 江苏科技大学 基于改进YOLOv3网络的行人检测方法、系统、介质、设备
CN113902044B (zh) * 2021-12-09 2022-03-01 江苏游隼微电子有限公司 一种基于轻量级yolov3的图像目标提取方法
CN114708513B (zh) * 2022-03-04 2023-12-01 深圳市规划和自然资源数据管理中心 一种顾及角点特征的边缘建筑物提取方法及系统
CN116071556B (zh) * 2023-03-28 2023-07-07 之江实验室 一种基于目标框的大尺寸图像自适应裁剪方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
CN109063594A (zh) * 2018-07-13 2018-12-21 吉林大学 基于YOLOv2的遥感图像快速目标检测方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法
CN110310259A (zh) * 2019-06-19 2019-10-08 江南大学 一种基于改进YOLOv3算法的木结瑕疵检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
CN109063594A (zh) * 2018-07-13 2018-12-21 吉林大学 基于YOLOv2的遥感图像快速目标检测方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110310259A (zh) * 2019-06-19 2019-10-08 江南大学 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Peng Du ; Xiujie Qu ; Tianbo Wei ; et.al..Research on Small Size Object Detection in Complex Background.《 2018 Chinese Automation Congress (CAC)》.2019,4216-4220. *
基于深度学习的鸡蛋外观缺陷检测算法;宋超;《中国优秀硕士学位论文全文数据库（电子期刊）》;20180315;B024-271 *

Also Published As

Publication number Publication date
CN111222474A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111222474B (zh) 一种任意尺度的高分辨率图像小目标检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
Zheng et al. Unsupervised change detection by cross-resolution difference learning
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN115019201B (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN114280626A (zh) 一种基于局部结构信息扩展的激光雷达slam方法及系统
Yamazaki et al. Vehicle extraction and speed detection from digital aerial images
CN116168246A (zh) 一种用于铁路工程的弃渣场识别方法、装置、设备及介质
CN111898693A (zh) 能见度分类模型的训练方法、能见度估计方法、装置
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN114581886A (zh) 结合语义分割和频域分析的能见度判别方法、装置及介质
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN114140700A (zh) 基于级联网络的分步异源图像模板匹配方法
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及系统
CN113255555A (zh) 中国交通标志牌识别方法、系统、处理设备及存储介质
CN113780096B (zh) 基于半监督深度学习的植被类地物提取方法
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统
CN112734745B (zh) 一种融合gis数据的无人机热红外影像供暖管道泄漏探测方法
Jin et al. Towards an automatic system for road lane marking extraction in large-scale aerial images acquired over rural areas by hierarchical image analysis and Gabor filter
Mahphood et al. Virtual first and last pulse method for building detection from dense LiDAR point clouds
CN113486728A (zh) 基于特征融合的地表三维变化检测方法和装置
CN116843892B (zh) Aoi场景轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant