CN112381062A - 一种基于卷积神经网络的目标检测方法及装置 - Google Patents

一种基于卷积神经网络的目标检测方法及装置 Download PDF

Info

Publication number
CN112381062A
CN112381062A CN202011412977.6A CN202011412977A CN112381062A CN 112381062 A CN112381062 A CN 112381062A CN 202011412977 A CN202011412977 A CN 202011412977A CN 112381062 A CN112381062 A CN 112381062A
Authority
CN
China
Prior art keywords
target
image
detected
prediction
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011412977.6A
Other languages
English (en)
Inventor
屈桢深
赵鹏博
关秋雨
于淼
颜世佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202011412977.6A priority Critical patent/CN112381062A/zh
Publication of CN112381062A publication Critical patent/CN112381062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的目标检测方法及装置，所述方法包括：获取待检测图像；将所述待检测图像进行预处理，获得目标图像；将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测；基于所述预测结果获得待检测目标在所述目标图像中的位置；根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果。本发明适用于各种不同分辨率的图像，增强对超高分辨率图像的多类别目标检测能力，具有较高的鲁棒性。

Description

一种基于卷积神经网络的目标检测方法及装置
技术领域
本发明涉及遥感通信技术领域，具体而言，涉及一种基于卷积神经网络的目标检测方法及装置。
背景技术
随着时代的发展，城市监控、无人机、遥感卫星逐步在民用等领域取得了越来越多的作用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，由于城市监控、无人机、遥感卫星等设备大多是以俯视角度对图片进行拍摄，照片上的待检测目标都表现为倾斜目标。一般的目标检测方法存在密集、遮挡、背景复杂等问题，而倾斜拍摄的图像中的目标还存在目标尺寸变化大、长宽比较大、倾角变化较大等诸多不利于检测的客观情况。
现有的基于深度学习的目标检测方法中，存在无法精确表述目标尺寸及倾角和对密集目标处理能力下降的问题。
发明内容
本发明解决的问题是如何获得准确度较高的目标检测结果。
为解决上述问题，本发明提供一种基于卷积神经网络的目标检测方法，包括：
获取待检测图像；将所述待检测图像进行预处理，获得目标图像；将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测；基于所述预测结果获得所述目标图像中的目标位置；根据所述目标图像中的目标位置得到所述待检测图像中的目标检测结果。
相对于现有技术，本发明的目标检测方法对待检测图像进行预处理，适用于各种不同分辨率的图像，增强对超高分辨率图像的多类别目标检测能力。使用基于卷积神经网络的目标检测模型对倾斜目标进行识别，保证高效并准确地提取目标的特征，满足多类别遥感目标检测的同时增强鲁棒性；通过中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测，获得待检测目标并得到待检测目标在目标图像中的位置，根据目标图像中的目标位置得出待检测目标在待检测图像中的具体位置，保证选择出符合条件的倾斜目标作为最后的输出结果，通过预测结果得出待检测目标的位置，保证获得最精确的最终检测结果。
可选地，所述基于所述预测结果获得待检测目标在所述目标图像中的位置包括：
基于所述预测结果，结合预设公式确定所述待检测目标的四个角点坐标；
基于所述四个角点坐标，确定所述待检测目标在所述目标图像中的位置，所述预设公式为：
Figure BDA0002818826570000021
Figure BDA0002818826570000022
Figure BDA0002818826570000023
Figure BDA0002818826570000024
其中，所述待检测目标的四个角点分别为A(A_x,A_y)、B(B_x,B_y)、C(C_x,C_y)、D(D_x,D_y)，中心点为O(O_x,O_y)，中心点亚像素偏置(Δx,Δy)，四极角角度分别为θ1，θ2，θ3，θ4，待检测目标最小外接矩形短边为l，待检测目标最小外接矩形短边与极径长度比例为k1，k2，k3，k4。
由此，通过四个角点坐标得出待检测目标的轮廓，从而框选出待检测目标的检测框作为检测出的目标轮廓，倾斜角度的待检测目标的框选轮廓一般为非平行四边形，此步骤可以保证目标检测算法可以准确框选出要检测的目标。
可选地，所述目标检测模型包括：特征提取网络、特征还原网络及输出网络；所述特征提取网络包括多个降采样层，所述特征还原网络包括多个升采样层和设置于所述升采样层之后的至少一个信息预测层，所述特征提取网络的输出为所述特征还原网络的输入，所述特征还原网络的输出为所述输出网络的输入。
由此，特征还原网络和特征提取网络的结构可以保证高效地提取待检测目标的特征，并在特征还原网络部分过滤掉对检测有害的环境干扰等信息，使特征更为明显，可以满足多类别的目标检测，并增加鲁棒性。
可选地，基于所述信息预测层输出的特征图构建第一图像坐标系；所述将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果包括：对所述信息预测层输出的特征图分别使用5份n*n卷积核进行卷积操作，分别得到所述中心点预测、所述中心点亚像素偏置预测、所述四极角角度预测、所述待检测目标最小外接矩形短边预测、所述待检测目标最小外接矩形短边与极径长度比例预测；其中，所述中心点预测表示为所述目标图像中所述待检测目标最小外接矩形几何中心的概率图；所述中心点亚像素偏置预测表示为误差图，所述误差图表示所述特征图与所述待检测图像中待检测目标几何中心的位置误差图；所述四极角角度预测表示为四极角角度图，表示极径和所述第一图像坐标系y轴正方向所形成的夹角，所述极径为所述待检测目标几何中心和所述待检测目标四个角点之间的连线；所述待检测目标最小外接矩形短边预测表示为所述待检测目标最小外接矩形短边长度的图像；所述待检测目标最小外接矩形短边与极径长度比例预测表示为所述待检测目标最小外接矩形短边和所述极径长度之间的比例图；其中，n为大于或等于1的整数。
由此，基于卷积神经网络的目标检测模型获得预测结果，使用n*n卷积，可以保证预测不同大小的目标位置的准确性；获得四重极角角度可以保证更准确地表示待检测目标的倾角；获得矩形短边的长度图像可以保证提高描述遥感目标尺寸的能力，通过卷积获得预测结果，可以使算法拥有较高的检测精度的同时具有较快的检测速度。
可选地，所述概率图的容积参数为1*H*W；所述位置误差图的容积参数为2*H*W，其中深度的第一层为所述待检测目标的中心在高度方向上的偏移，深度的第二层为所述待检测目标的中心在宽度方向上的偏移；所述四极角角度图的容积参数为4*H*W，其中深度的四层分别代表按照四个极角的预测值；所述待检测目标最小外接矩形短边长度的图像的容积参数为1*H*W；所述比例图的容积参数为1*H*W；其中，H表示图像高度、W表示图像宽度。
由此，获取待检测目标的最小外接矩形的几何中心可以保证精准地预测出在倾斜角度下目标的几何中心位置；在倾斜角度下，即使小角度的预测偏差也会造成较大的检测偏差，获取四极角角度图可以有效解决复杂宽高比下检测角度偏差大的问题；获取长度图可以避免由于遥感目标尺寸变化过大引起的收敛性能下降现象，保证大幅度提升描述复杂场景下的遥感目标尺寸的能力；获取几何中心位置误差特征可以保证减小倾斜角度对待检测目标的检测误差影响；获取待检测目标的多种位置特征保证在倾斜角度下检测的目标的轮廓信息和位置信息的准确性。
可选地，所述根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果包括：基于所述待检测目标在所述目标图像中的位置，确定所述待检测目标在所述待检测图像中的位置；基于待检测目标在所述待检测图像中的位置，使用倾斜目标非极大值抑制方法筛选获得所述待检测图像中的目标检测结果。
由此，以倾斜目标非极大值抑制筛选，可以减小倾斜遥感图像带来的检测误差，保证获得最精确的检测结果。
可选地，所述获取待检测图像之前还包括：获取训练图像集；将所述训练图像集中的训练图像分割成预设大小的图像子块；判断所述图像子块中的边界目标是否满足预设的特征一致性条件，其中，所述特征一致性条件包括：边界目标最小外接矩形几何中心在图像子块内部、边界目标在图像子块内部的面积占比大于或等于预设值；为所述图像子块中满足预设的特征一致性条件的边界目标和所有非边界目标添加标签，将所述图像子块及其标签作为训练数据对预设的基准模型进行训练，将训练好的模型作为所述目标检测模型。
由此，切割后的图像子块会使待检测目标在不同的目标子块出现不规则的边界，有较大的可能分割待检测目标，使待检测目标特征信息不完全，对大于预设比例的待检测目标进行边界判定，保证算法训练时目标的准确，增加目标检测算法的准确性和鲁棒性；标签保证提高算法训练效率。
可选地，基于所述待检测图像建立第二图像坐标系；将所述待检测图像进行分割，获得至少一个预设大小的图像子块，所述预设大小的图像子块为所述目标图像，其中，所述目标图像的名称包含所述待检测图像名称、所述目标图像的中心点在所述第二图像坐标系中的x轴坐标及所述目标图像的中心点在所述第二图像坐标系中的y轴坐标。
由此，相同分辨率可以保证对图像检测的准确度，减少图像放缩造成的特征偏移现象；对图像的命名保证图像融合时恢复目标图像在待检测图像中的位置。
本发明还提出一种基于卷积神经网络的目标检测装置，包括：获取模块，其用于获取待检测图像；预处理模块，其用于将所述待检测图像进行预处理，获得目标图像；预测模块，其用于将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测；定位模块，其用于基于所述预测结果获得待检测目标在所述目标图像中的位置；输出模块，其用于根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果。
所述基于卷积神经网络的目标检测装置相对于现有技术与所述基于卷积神经网络的目标检测方法所具有的优势相同，在此不再赘述。
本发明还提出一种计算机设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的基于卷积神经网络的目标检测方法。
所述计算机设备相对于现有技术与所述基于卷积神经网络的目标检测方法所具有的优势相同，在此不再赘述。
附图说明
图1为本发明基于卷积神经网络的目标检测方法一实施例的流程图；
图2为本发明基于卷积神经网络的目标检测方法步骤S100之前步骤的一实施例示意图；
图3为本发明基于卷积神经网络的目标检测方法一实施例的示意图；
图4为本发明基于卷积神经网络的目标检测方法步骤S400的一实施例流程图；
图5为本发明基于卷积神经网络的目标检测装置一实施例示意图；
图6为本发明计算机设备一实施例示意图；
图7为本发明基于卷积神经网络的目标检测方法的一实施例示意图；
图8为本发明基于卷积神经网络的目标检测方法的另一实施例示意图；
图9为本发明基于卷积神经网络的目标检测方法的又一实施例示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明提出一种基于卷积神经网络的目标检测方法。
图1为本发明基于卷积神经网络的目标检测方法一实施例的流程示意图。参照图1，所述目标检测方法包括：
步骤S100，获取待检测图像。
待检测图像可为遥感卫星采集的图像，也可为普通光学相机采集的图像。
步骤S200，将所述待检测图像进行预处理，获得目标图像。
对待检测图像进行预处理，如去噪处理，以增强后续特征提取的准确性。
预处理可包含格式处理操作，如分割操作，以使获得的目标图像符合后文中目标检测模型的输入要求，保证目标检测模型输出的预测结果的准确性，进而保证目标检测的准确性。
一实施方式中，步骤S200包括：
步骤S210，基于所述待检测图像建立第二图像坐标系。
步骤S211，将所述待检测图像进行分割，获得至少一个预设大小的图像子块，所述预设大小的图像子块为所述目标图像，其中，所述目标图像的名称包含所述待检测图像名称、所述目标图像的中心点在所述第二图像坐标系中的x轴坐标及所述目标图像的中心点在所述第二图像坐标系中的y轴坐标。
可以以待检测图像上的某一个点为原点建立第二图像坐标系，如图3所示，以待检测图像(图中的原图)的左上角点为原点建立的坐标系，基于待检测图像建立第二图像坐标系，以便于表示图像子块与待检测图像的相对位置关系，进而在确定待检测目标在图像子块中的位置后，换算成待检测目标在待检测图像中的位置。
在将待检测图像进行分割得到图像子块后，对图像子块进行名称，将其所属的待检测图像名称、其中心点在第二图像坐标系中的x轴坐标及y轴坐标整合进图像子块的名称中，后期在确定待检测目标在图像子块上的位置后，解析该图像子块的名称，即可该图像子块所属的待检测图像，并确定待检测目标在待检测图像上的位置。
当待检测图像为遥感图像时，其光学照片分辨率变化极大，可以从1000*1000到30000*30000，而普通光学相机拍摄的照片分辨率较为固定。为保证输入分辨率的统一，减少图像缩放造成的特征偏移现象，本发明采用对待检测图像分割的方法，把待检测图像分割为多个图像子块，保证对大分辨率图像中目标的识别，提升对不同分辨率图像的适配性，增强对超高分辨率图像的多类别目标检测能力。同时，将图像分割，利于分次识别，减小计算负荷，增加识别的准确性。
进一步地，在分割待检测图像的同时，将待检测图像的标签也进行分割，转换到分割后的图像子块上。
优选地，预设大小的图像子块指1024*1024分辨率的的图像。
步骤S300，将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测。
中心点，指目标图像中待检测目标最小外接矩形几何中心，所得的中心点预测表示为目标图像中待检测目标最小外接矩形几何中心的概率图，即概率图中每个点表示该点为待检测目标最小外接矩形几何中心的概率，其容积参数为1*H*W。
中心点亚像素偏置，指由于中心点预测无法预测亚像素而导致待检测目标中心所在位置发生偏移的情况，所以使用中心点亚像素偏置对中心点预测中预测的中心坐标进行补偿，其容积参数为2*H*W，其中深度的第一层为目标中心在高度方向上的偏移，深度的第二层为目标中心在宽度方向上的偏移。
四极角角度，指预测极径和图像坐标系下y轴正方向之间夹角的角度，极径为所述待检测目标几何中心和所述待检测目标四个角点之间的连线，容积参数为4*H*W，其中深度的四层分别代表按照四个极角的预测值。
待检测目标最小外接矩形短边，即待检测目标最小外接矩形短边长度，其容积参数为1*H*W。
待检测目标最小外接矩形短边与极径长度比例，即极径长度和短边长度之间的比值，其容积参数为1*H*W。
目标检测模型为预先训练好的卷积神经网络模型，其可选包括：特征提取网络、特征还原网络及输出网络；所述特征提取网络包括多个降采样层，所述特征还原网络包括多个升采样层和设置于所述升采样层之后的至少一个信息预测层，所述特征提取网络的输出为所述特征还原网络的输入，所述特征还原网络的输出为所述输出网络的输入。
其中，目标图像输入到目标检测模型中，首先输入到特征提取网络中进行特征提取，再由特征提取网络将提取到的特征图输入到特征还原网络，最后由信息预测层输出还原的特征图至输出网络，由输出网络基于还原的特征输出最终的预测结果。
一实施方式中，如图4，特征提取网络包含四个降采样多重卷积层，特征还原网络包含三个升采样卷积层和一个信息预测层，此处的信息预测层为鲁棒性功能层，这种网络结构的设置可过滤掉对检测有害的环境干扰等信息，满足多类别遥感目标检测的同时，增强机器学习算法的鲁棒性。
可选地，基于所述信息预测层输出的特征图构建第一图像坐标系；步骤S300包括：
对所述信息预测层输出的特征图分别使用5份n*n卷积核进行卷积操作，分别得到所述中心点预测、所述中心点亚像素偏置预测、所述四极角角度预测、所述待检测目标最小外接矩形短边预测、所述待检测目标最小外接矩形短边与极径长度比例预测，其中，中心点预测、待检测目标最小外接矩形短边与极径长度比例预测部分所使用的激活函数为Sigmoid激活函数，中心点亚像素偏置预测、四极角角度预测、所述待检测目标最小外接矩形短边预测部分所使用的激活函数为Relu激活函数，Sigmoid激活函数与Relu激活函数均为常用的激活函数，因而此处不赘述。
其中，所述中心点预测表示为所述目标图像中所述待检测目标最小外接矩形几何中心的概率图；可以保证精准地预测出在倾斜角度下目标的几何中心位置。所述中心点亚像素偏置预测表示为误差图，所述误差图表示所述特征图与所述待检测图像中待检测目标几何中心的位置误差图，可表征由于特征图与待检测图像分辨率不统一造成的中心点位置精度损失。
所述四极角角度预测表示为四极角角度图，表示极径和所述第一图像坐标系y轴正方向所形成的夹角，所述极径为所述待检测目标几何中心和所述待检测目标四个角点之间的连线；在倾斜角度下，即使小角度的预测偏差也会造成较大的检测偏差，获取四极角角度特征可以有效解决复杂宽高比下检测角度偏差大的问题。
所述待检测目标最小外接矩形短边预测表示为所述待检测目标最小外接矩形短边长度的图像；获取待检测目标的最小外接矩形的短边特征可以避免由于遥感目标尺寸变化过大引起的收敛性能下降现象，保证大幅度提升描述复杂场景下的遥感目标尺寸的能力；获取几何中心位置误差特征可以保证减小倾斜角度对待检测目标的检测误差影响；所述待检测目标最小外接矩形短边与极径长度比例预测表示为所述待检测目标最小外接矩形短边和所述极径长度之间的比例图；
其中，n为大于或等于1的整数。优选地，n＝3。
n的取值对预测结果有一定影响，决定了网络预测时的感受野，n越大，越有利于对大型目标的预测，而对小型目标的预测不利；n越小，对小型目标预测有利，对大型目标的预测不利，当n＝3时，本发明的目标检测模型取得了最佳效果。
为便于说明本发明的优越性，参照图7，图7整体表示当较为准确预测待检测目标位置和尺寸后，预测角度偏差对整体预测效果的影响。图7中S(1)表示当待检测目标宽高比较小时由于角度偏差产生的预测偏差；图7中S(2)表示当待检测目标宽高比较大时由于角度偏差产生的预测偏差。可以看到随着宽高比的增大，即使较小的角度预测偏差也会造成较大的角度预测偏差。如图7中S(3)所示，本发明所提出的方法可以使用多角度回归来精确表示待检测目标的倾角，可以有效解决复杂宽高比下遥感图像检测角度偏差大的问题，并效提升待检测目标角度预测的准确性。由于遥感目标存在尺寸变化剧烈的复杂情况，直接使用宽高对遥感目标进行尺寸描述将会大大降低网络训练时的收敛性能，降低回归准确性。本发明上述提出的基于PolarRatio相对比例+Shorter短边的待检测遥感目标尺寸表示方法避免了由于遥感目标尺寸变化过大引起的收敛性能下降现象，从而大幅度提升在描述复杂场景下遥感目标尺寸的能力。
步骤S400，基于所述预测结果获得待检测目标在所述目标图像中的位置。
基于预测结果，可以获得所述目标图像中待检测目标的位置特征，根据待检测目标最小外接矩形中心概率预测待检测目标几何中心的位置概率图，矩形短边的特征用于减小倾斜角度对待检测目标的检测误差；通过误差图减少由于分辨率不统一造成的精度缺失；四重极角角度图预测待检测目标的倾角。通过以上几种预测结果，可以较为准确地预测待检测目标在目标图像中的位置。
可选地，步骤S400包括：
步骤S410，基于所述预测结果，结合预设公式确定所述待检测目标的四个角点坐标。
所述预设公式为：
Figure BDA0002818826570000111
Figure BDA0002818826570000112
Figure BDA0002818826570000113
Figure BDA0002818826570000114
其中，所述待检测目标的四个角点分别为A(A_x,A_y)、B(B_x,B_y)、C(C_x,C_y)、D(D_x,D_y)，所述中心点为O(O_x,O_y)、所述中心点亚像素偏置(Δx,Δy)、所述四极角角度分别为θ1，θ2，θ3，θ4、所述待检测目标最小外接矩形短边为l、所述待检测目标最小外接矩形和极径长度之间的比值k1，k2，k3，k4。
目标检测领域常采用外接矩形框的形式标定目标位置，如图8所示，外侧的粗黑虚线条围成的外接矩形框，这种表示方式会将目标外侧的非目标区域也纳入到目标中，会导致较低的标定精度。而本发明采用四点标定方式确定位置，即如图8中内侧的灰色点线图围成的四边形，通过确定四个角点坐标，将四个角点连线即可得到四边形，用于标定待检测目标位置，可更加精确地预测(尤其是倾斜待检测图像中)待检测目标的检测框。
步骤S411，基于所述四个角点坐标，确定所述待检测目标在所述目标图像中的位置。
基于上述预测结果及预设公式，得到的四个角点坐标为待检测目标在信息预测层上的位置坐标，基于信息预测层输出的特征图与目标图像的相对大小关系，可将上述四个角点坐标换算至目标图像上。举例言之，输入到目标检测模型的目标图像分辨率为1024*1024，信息预测层输出的特征图分辨率为256*256，即信息预测层输出的特征图是目标图像的四分之一，将四个角点坐标乘4即可得到倾斜目标在目标图像上的四个角点坐标，可将四个角点连接得到待检测目标在目标图像上的检测框，用以表示待检测目标在目标图像上所处的位置。
步骤S500，根据所述目标图像中的目标位置得到所述待检测图像中的目标检测结果。
基于预测的目标位置获得待检测目标在目标图像中的位置信息，由于目标图像由待检测图像分割而成，因此，基于待检测目标在目标图像上的位置信息，结合目标图像与待检测图像之间的位置关系，可以得到目标位置在待检测图像上的位置关系。
可选地，目标图像以“待检测图像命名+目标图像中心点在待检测图像的x轴坐标+目标图像中心点在待检测图像的y轴坐标”的命名方式进行命名。在合成时，使用这种命名方式的目标图像可以直接定位到待检测图像中的相应位置，即对在目标图像中检测出的待检测目标x轴坐标与目标图像中心点在待检测图像的x轴坐标融合，待检测目标y轴坐标与目标图像中心点在待检测图像的y轴坐标融合。
举例而言，O(0,0)为待检测图像的左上点，认为是相对的原点，A(xa，ya)是目标图像的中心点，其在待检测图像上的坐标为(xa，ya)，C(xc，yc)是在目标图像中预测出的待检测目标中心点坐标，相对目标图像的坐标为(xc，yc)，即可得到预测出的倾斜目标在待检测图像上的坐标为：
T(xt,yt)＝(xa,ya)+(xc,yc)。
可选地，所述步骤S500包括：
步骤S510，基于所述待检测目标在所述目标图像中的位置，确定所述待检测目标在所述待检测图像中的位置。
以图像融合的形式，将所述目标图像按照未分割之前的排列进行拼接，并将目标图像包含的四个角点坐标一同映射到所述待检测图像上，获得融合图像，此时，融合图像包含所有已检测出的待检测目标的位置信息。
步骤S520，基于待检测目标在所述待检测图像中的位置，使用倾斜目标非极大值抑制方法筛选获得所述待检测图像中的目标检测结果。
为了找到最符合要求、检测效果最好的目标检测结果，在经过合成得到一张带有所有检测结果的待检测图像后，对所有检测框进行筛选。在这一步中，本发明使用倾斜检测非极大值抑制作为分析筛选方法。
倾斜检测非极大值抑制的计算方式为：
Figure BDA0002818826570000131
其中，S1与S2分别为两个检测框，ST为检测框在S1与S2面积的交集，S1+S2指两个检测框的并集。
在筛选过程中，对于RIoU值大于0.5的两个检测框，取其中检测概率较大的一个而舍去另一个，此处的检测概率指上文中的中心点预测。
传统的非极大值抑制，因现有的目标检测框均为外接矩形框，且框边缘与图像平行，其包含了许多背景噪音，受背景影响较大。而本发明中，以四角点标定待检测目标，以四角点连线形成的四边形检测框表示待检测目标区域，在此基础上使用的倾斜目标非极大值抑制可以更精准地筛选经过网络预测得到的遥感目标检测结果，可以避免传统抑制方法在处理倾斜目标筛选时受背景影响较大的问题。
可选地，如图2所示，步骤S100之前还包括：
步骤S600，获取训练图像集；
可使用遥感卫星采集的遥感图像和/或普通光学相机采集的图像组成训练图像集，其中，遥感卫星以俯视视角采集遥感图像，普通光学相机采集的图像多为城市监控相机以倾斜的角度拍摄，二者采集的图像均包含大量倾斜目标，使用这两种图像有利于训练出能准确检测倾斜目标的目标检测模型。
步骤S601，将所述训练图像集中的训练图像分割成预设大小的图像子块；
遥感图像数据集光学照片分辨率变化极大，分辨率可以从1000*1000变化到30000*30000，而城市监控相机拍摄的照片分辨率固定，单与遥感图像分辨率也有较大差别。为了保证输入分辨率的统一，增强网络对多分辨率图像的检测能力，及网络对超高分辨率图像的多类别目标检测能力，同时减少图像放缩所造成的特征偏移现象，本发明采用对训练图像集中的训练图像先进行分割后进行检测的办法，在分割图像的同时，对待检测目标标签进行操作以得到对应的图像子块标签。其中，所得到的图像子块分辨率可为1024*1024。
步骤S602，判断所述图像子块中的边界目标是否满足预设的特征一致性条件，其中，所述特征一致性条件包括：所述边界目标最小外接矩形几何中心在所述图像子块内部、所述边界目标在图像子块内部的面积占比大于或等于预设值；
由于待检测图像都为分辨率较高的图像，在检测前需要进行图像分割处理，所形成的图像子块会造成不规律的子块边界，有较大可能分割待检测目标，使待检测目标在图像内部留存部分较少，造成待检测目标特征信息不完全的现象，如图9，较大的待检测图像被切割为多个图像子块，存在切割边界将待检测目标分割的情况，具体有如下几种情况：
(a)待检测目标中心点在图像子块外部，待检测目标在图像子块内部的部分面积占比小于待检测目标面积的预设数值；
(b)待检测目标中心点在图像子块内部，待检测目标在图像子块内部的部分面积占比小于待检测目标面积的预设数值；
(c)待检测目标中心点在图像子块内部，待检测目标在图像子块内部的部分面积占比大于待检测目标面积的预设数值。
其中，所述待检测目标中心点为待检测目标的最小外接矩形框的几何中心点。
在这种情况下，为了保证目标检测模型训练的稳定性，对分割后处在图像边界的目标进行是否参与训练的判定，以保证相同类别目标的特征不变性，进而保证目标检测模型在大网络复杂度下的训练稳定性。具体而言，对最小外接矩形几何中心在图像子块内部，且在图像子块内部的面积占比大于或等于预设阈值的边界目标，判定其满足预设的特征一致性条件，可参与目标检测模型训练，进而增加对目标检测模型的准确性，提升检测准确度。
步骤S603，为所述图像子块中满足预设的特征一致性条件的所述边界目标和所有非边界目标添加标签，将所述图像子块及其标签作为训练数据对预设的基准模型进行训练，将训练好的模型作为所述目标检测模型。
添加标签，指人工记录目标在图像上的坐标。在图像上人为的标注所感兴趣的目标，将目标的坐标标注到图像上，增加训练的效率和准确度。感兴趣的目标，即待检测目标，指所要检测的在待检测图像中的人、车或建筑物等目标。
在训练步骤中，使用常用的端对端训练方法对卷积神经网络进行训练，即同时对全部卷积神经网络进行训练而不是分开进行训练；在学习率方面，使用学习率大小随训练进行逐渐下降的策略；在损失函数方面使用混合损失函数，即对中心点预测和中心点亚像素偏置预测使用关键点交叉熵损失函数；对极角角度预测和检测框短边与极径长度比例预测使用L1损失函数；对待检测目标最小外接矩形短边预测使用L2损失函数。同时，使用开始训练后不停止变化参数直到达到一定范围内的最优结果的训练方法得到目标检测模型。
其中，在一实施例中，损失函数具体为：
针对预测的五种量数量级不同的现象，本发明提出同时使用三种混合损失函数进行优化的策略，具体如下：
预测的检测框中心点为概率值，其取值范围在0-1之间；预测的检测框中心点亚像素偏置为亚像素级别，其取值范围也在0-1之间；预测的检测框四极角角度为弧度制，其取值范围在0-2π之间；预测的检测框待检测目标最小外接矩形短边为像素级别，取值范围为1-70像素；预测的检测框短边与对角线长度比例无单位，是取值范围在0-1.414之间。
依照上述预测项取值范围，本发明对检测框中心点预测和检测框中心点亚像素偏置预测使用关键点交叉熵损失函数；对极角角度预测和检测框短边与极径长度比例预测使用L1损失函数；对待检测目标最小外接矩形短边预测使用L2损失函数，三种损失函数形式如下所示：
关键点交叉熵损失函数：
Figure BDA0002818826570000151
Figure BDA0002818826570000161
L1损失函数：
Figure BDA0002818826570000162
L2损失函数：
Figure BDA0002818826570000163
其中关键点交叉熵损失函数中，x和y分别代表关键点特征图上的概率数值；L1损失函数和L2损失函数中y和
Figure BDA0002818826570000164
分别为标签和网络预测值。
对于检测框中心点，标签为一张概率图，概率图中对应待检测目标的中心点坐标部分概率为1，沿中心点向外以一定半径R做高斯圆域，其内数值符合高斯衰减，其他部分为0。
对于检测框中心点亚像素偏置，标签为图像子块中待检测目标实际的中心点坐标和信息预测层输出的特征图映射到图像子块后待检测目标中心点坐标之间的差值。具体而言，由于像素不存在小数的情况，一个在图像子块中中心点坐标为C(xc,yc)的待检测目标，在卷积层中的坐标为
Figure BDA0002818826570000165
当xc与yc的坐标数值不是4的倍数时，对应在卷积层中的坐标就变为
Figure BDA0002818826570000166
这种情况下，会出现大小为
Figure BDA0002818826570000167
的x轴坐标损失和y轴坐标损失，即小数部分的精度被损失，而损失的部分即为检测框中心点亚像素偏置的标签。
对于检测框四极角角度，标签为训练集中待检测目标中心点和待检测目标标定四角点连线和图像y轴正方向所成的夹角θ1，θ2，θ3，θ4。
对于最小外接矩形短边与极径长度比例，标签为训练集中待检测目标坐标所构成最小外接矩形的短边长度和极径长度的比例。
对于短边长度，标签为训练集中待检测目标坐标所构成最小外接矩形的短边长度。
相比其他方法，本发明采用混合损失函数的方法对网络进行优化，针对不同的预测分量使用不同的损失函数进行优化，可以更精准地预测复杂场景下遥感目标的位置、尺寸、角度信息。
在一实施例中，训练实施过程具体为：
首先将分割好的图像子块输入到预设的基准卷积神经网络模型中，在训练的初始采用均值分布对基准卷积神经网络模型的参数进行初始化。
在训练时，使用1.25×10-4的学习率、并在每次训练时同时输入预设数量图像子块同时进行训练；损失函数方面，采用上述提到的混合损失函数融合后作为评价标准，即将关键点交叉熵损失、L1损失、L2损失相加后得到的损失值作为优化的程度和标准；优化方法方面，先期采用Adam优化方法，后期采用SGD优化方法。
按照上述的方法，训练迭代预设数量个大循环，其中，一个大循环的含义为将训练集中所有的图像都遍历训练一次。可选地，预设数量个大循环为400。在第200个大循环时将学习率降低到1.25×10-5，在第300个大循环时将学习率降低到1.25×10-6，在第360个大循环时将学习率降低到1.25×10-7。
在一实施例中，在大循环达到120之后，每训练完成20个大循环将保存生成的网络模型；在大循环在120-240之间时，每训练完成十个大循环将保存生成的网络模型；在大循环在240之后时，每训练完成5个大循环将保存生成的网络模型；最后将选择对测试集中表现效果最好的模型作为最终的模型。
在一实施例中，如图4所示，待检测图像首先对待检测图像进行分割，将分割产生的图像子块逐个输入到预设的基准卷积神经网络模型中，此卷积神经网络模型中，层IN、Layer11、Layer12、Layer13、Layer21、Layer22、Layer23、Layer31、Layer32、Layer33、Layer41、Layer42、Layer43为特征提取层部分；层Layer51、Layer52、Layer53、Layer6为特征还原层部分，其中特征提取网络输出的结果作为特征还原网络的输入，对特征提取网络的输出结果进行特征再还原并消除干扰。
如图4所示，所有的特征提取和特征还原操作都使用卷积核操作完成，卷积核内部的内容为参数，参数通过神经网络自动的反向传播所更新和确定，因此卷积核之间不同位置的参数值和不同卷积核之间的参数数值完全没有关联。在本实施例下述的内容中，所有卷积核的描述都采用C*H*W的形式，卷积核的数量与对应操作部分的卷积层和特征图的通道数相同。
第一层IN为输入的目标图像，输入图像的大小为3*1024*1024。其中3为图像的通道数量，第一个1024为图像的高度，第二个1024为图像的宽度。
第二层Layer1为对输入的目标图像经过降采样操作后得到的特征图，其包含Layer11、Layer12与Layer13，用来将目标图像的高宽下降两倍并提升目标图像的通道数，并使用“by-pass旁路”方法混合特征。本发明通过对IN使用5*5卷积核，设定步长为2得到Layer11；通过对Layer11使用3*3卷积核，设定步长为1得到Layer12；通过对IN使用5*5卷积核，设定步长为2得到Layer13。其中卷积层Layer11容积参数为64*256*256；卷积层Layer12容积参数为64*256*256；卷积层Layer13容积参数为64*256*256。
第三层Layer2为经过降采样得到的特征图，其包含Layer21、Layer22与Layer23，用来将目标图像的高宽下降一倍并提升目标图像的通道数并使用“by-pass旁路”方法混合特征。本发明通过对第二层中的Layer12和Layer13相加得到卷积层Layer21；通过对输入特征层Layer21使用3*3卷积核，设定步长为2得到Layer22；通过对Layer21使用3*3卷积核，设定步长为2得到Layer23。其中卷积层Layer21容积参数为64*256*256；卷积层Layer22容积参数为128*128*128；卷积层Layer23容积参数为128*128*128。
第四层Layer3为经过降采样得到的特征图，其包含Layer31、Layer32与Layer33，用来将目标图像的高宽下降一倍并提升图像的通道数并使用“by-pass旁路”方法混合特征。本发明通过对第三层中的Layer22和Layer23相加得到卷积层Layer31；通过对输入特征层Layer31使用3*3卷积核，设定步长为2得到Layer32；通过对Layer31使用3*3卷积核，设定步长为2得到Layer33。其中卷积层Layer31容积参数为128*128*128；卷积层Layer32容积参数为256*64*64；卷积层Layer33容积参数为256*64*64。
第五层Layer4为经过降采样得到的特征图，其包含Layer41、Layer42与Layer43，用来将目标图像的高宽下降一倍并提升图像的通道数并使用“by-pass旁路”方法混合特征。本发明通过对第三层中的Layer32和Layer33相加得到卷积层Layer41；通过对输入特征层Layer41使用3*3卷积核，设定步长为2得到Layer42；通过对Layer41使用3*3卷积核，设定步长为2得到Layer43。其中卷积层Layer41容积参数为256*64*64；卷积层Layer42容积参数为256*32*32；卷积层Layer43容积参数为256*32*32。
第六层Layer5为经过升采样操作得到的一系列特征图，其包含Layer51、Layer52与Layer53，用来使目标图像深度降低并提升分辨率。本发明通过对第五层中Layer42和Layer43相加后再使用3*3卷积核，设定卷积核步长为1，通过反卷积的操作方法，得到升采样特征图Layer51；对特征图Layer51使用3*3卷积核，设定卷积核步长为1，通过反卷积的操作方法得到特征图Layer52；对特征图Layer52使用3*3卷积核，设定卷积核步长为1，通过反卷积的操作方法得到特征图Layer53。其中卷积层Layer51容积参数为256*64*64；卷积层Layer52容积参数为128*128*128；Layer53容积参数为64*256*256。
第七层Layer6为对第六层中Layer53进行普通采样得到的特征图，用来进一步提取存在特征还原网络中的目标位置、尺寸、角度信息。本发明通过用3*3卷积核，设定卷积核步长为1，最终得到大小为64*256*256的信息预测卷积层Layer6。
第七层Layer6之后是输出网络，本实施例中，对Layer6卷积层使用五份3*3卷积核并对不同的部分使用不同的激活函数得到五部分输出，该五部分输出分别是中心点预测(Heatmap)、中心点亚像素偏置预测(Offset)、四极角角度预测(PolarAngle)、待检测目标最小外接矩形短边预测(PolarRatio)、待检测目标最小外接矩形短边与极径长度比例预测(Shorter)。其中，Heatmap具体容积参数为1*256*256，Offset具体容积参数为2*256*256，PolarAngle具体容积参数为4*256*256。PolarRatio具体容积参数为1*256*256，Shorter具体容积参数为1*256*256。
在得到这些量后，计算出检测框在目标子块上所处的位置并进一步得到检测框在卫星拍摄图像或城市监控图像上所处的位置，使用目标子块融合待检测目标非极大值抑制的方法对目标子块进行筛选并得到最后的检测结果。
需说明的是，本发明中使用的目标检测模型的网络结构仅为一种实施方式，可根据实际的检测精度或检测速度需要更改网络结构。
本发明还提出一种基于卷积神经网络的目标检测装置，如图5，包括：获取模块，其用于获取待检测图像；预处理模块，其用于将所述待检测图像进行预处理，获得目标图像；预测模块，其用于将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测；定位模块，其用于基于所述预测结果获得待检测目标在所述目标图像中的位置；输出模块，其用于根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果。
所述基于卷积神经网络的目标检测装置相对于现有技术与所述基于卷积神经网络的目标检测方法所具有的优势相同，在此不再赘述。
本发明还提出一种计算机设备，如图6，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的基于卷积神经网络的目标检测方法。
所述计算机设备相对于现有技术与所述基于卷积神经网络的目标检测方法所具有的优势相同，在此不再赘述。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于卷积神经网络的目标检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像进行预处理，获得目标图像；
将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测；
基于所述预测结果获得待检测目标在所述目标图像中的位置；
根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果。
2.根据权利要求1所述的基于卷积神经网络的目标检测方法，其特征在于，所述基于所述预测结果获得待检测目标在所述目标图像中的位置包括：
基于所述预测结果，结合预设公式确定所述待检测目标的四个角点坐标；
基于所述四个角点坐标，确定所述待检测目标在所述目标图像中的位置，所述预设公式为：
Figure FDA0002818826560000011
Figure FDA0002818826560000012
Figure FDA0002818826560000013
Figure FDA0002818826560000014
其中，所述待检测目标的四个角点分别为A(A_x,A_y)、B(B_x,B_y)、C(C_x,C_y)、D(D_x,D_y)，中心点为O(O_x,O_y)，中心点亚像素偏置(Δx,Δy)，四极角角度分别为θ1，θ2，θ3，θ4，待检测目标最小外接矩形短边为l，待检测目标最小外接矩形短边与极径长度比例为k1，k2，k3，k4。
3.根据权利要求1或2所述的基于卷积神经网络的目标检测方法，其特征在于，所述目标检测模型包括：
特征提取网络、特征还原网络及输出网络；
所述特征提取网络包括多个降采样层，所述特征还原网络包括多个升采样层和设置于所述升采样层之后的至少一个信息预测层，所述特征提取网络的输出为所述特征还原网络的输入，所述特征还原网络的输出为所述输出网络的输入。
4.根据权利要求3所述的基于卷积神经网络的目标检测方法，其特征在于，基于所述信息预测层输出的特征图构建第一图像坐标系；所述将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果包括：
对所述信息预测层输出的特征图分别使用5份n*n卷积核进行卷积操作，分别得到所述中心点预测、所述中心点亚像素偏置预测、所述四极角角度预测、所述待检测目标最小外接矩形短边预测、所述待检测目标最小外接矩形短边与极径长度比例预测；
其中，所述中心点预测表示为所述目标图像中所述待检测目标最小外接矩形几何中心的概率图；
所述中心点亚像素偏置预测表示为误差图，所述误差图表示所述特征图与所述待检测图像中待检测目标几何中心的位置误差图；
所述四极角角度预测表示为四极角角度图，表示极径和所述第一图像坐标系y轴正方向所形成的夹角，所述极径为所述待检测目标几何中心和所述待检测目标四个角点之间的连线；
所述待检测目标最小外接矩形短边预测表示为所述待检测目标最小外接矩形短边长度的图像；
所述待检测目标最小外接矩形短边与极径长度比例预测表示为所述待检测目标最小外接矩形短边和所述极径长度之间的比例图；
其中，n为大于或等于1的整数。
5.根据权利要求4所述的基于卷积神经网络的目标检测方法，其特征在于，所述概率图的容积参数为1*H*W；所述位置误差图的容积参数为2*H*W，其中深度的第一层为所述待检测目标的中心在高度方向上的偏移，深度的第二层为所述待检测目标的中心在宽度方向上的偏移；所述四极角角度图的容积参数为4*H*W，其中深度的四层分别代表按照四个极角的预测值；所述待检测目标最小外接矩形短边长度的图像的容积参数为1*H*W；所述比例图的容积参数为1*H*W；其中，H表示图像高度、W表示图像宽度。
6.根据权利要求1、2、4、5中任一项所述的基于卷积神经网络的目标检测方法，其特征在于，所述根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果包括：
基于所述待检测目标在所述目标图像中的位置，确定所述待检测目标在所述待检测图像中的位置；
基于待检测目标在所述待检测图像中的位置，使用倾斜目标非极大值抑制方法筛选获得所述待检测图像中的目标检测结果。
7.根据权利要求1、2、4、5中任一项所述的基于卷积神经网络的目标检测方法，其特征在于，所述获取待检测图像之前还包括：
获取训练图像集；
将所述训练图像集中的训练图像分割成预设大小的图像子块；
判断所述图像子块中的边界目标是否满足预设的特征一致性条件，其中，所述特征一致性条件包括：所述边界目标最小外接矩形几何中心在所述图像子块内部、所述边界目标在图像子块内部的面积占比大于或等于预设值；
为所述图像子块中满足预设的特征一致性条件的所述边界目标和所有非边界目标添加标签，将所述图像子块及其标签作为训练数据对预设的基准模型进行训练，将训练好的模型作为所述目标检测模型。
8.根据权利要求1、2、4、5中任一项所述的基于卷积神经网络的目标检测方法，其特征在于，所述将所述待检测图像进行预处理，获得目标图像包括：
基于所述待检测图像建立第二图像坐标系；
将所述待检测图像进行分割，获得至少一个预设大小的图像子块，所述预设大小的图像子块为所述目标图像，其中，所述目标图像的名称包含所述待检测图像名称、所述目标图像的中心点在所述第二图像坐标系中的x轴坐标及所述目标图像的中心点在所述第二图像坐标系中的y轴坐标。
9.一种基于卷积神经网络的目标检测装置，其特征在于，包括：
获取模块，其用于获取待检测图像；
预处理模块，其用于将所述待检测图像进行预处理，获得目标图像；
预测模块，其用于将所述目标图像输入基于卷积神经网络的目标检测模型，获得所述目标检测模型输出的预测结果，其中，所述预测结果包括：中心点预测、中心点亚像素偏置预测、四极角角度预测、待检测目标最小外接矩形短边预测、待检测目标最小外接矩形短边与极径长度比例预测；
定位模块，其用于基于所述预测结果获得待检测目标在所述目标图像中的位置；
输出模块，其用于根据所述待检测目标在所述目标图像中的位置得到所述待检测图像中的目标检测结果。
10.一种计算机设备，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-8任一项所述的基于卷积神经网络的目标检测方法。
CN202011412977.6A 2020-12-04 2020-12-04 一种基于卷积神经网络的目标检测方法及装置 Pending CN112381062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011412977.6A CN112381062A (zh) 2020-12-04 2020-12-04 一种基于卷积神经网络的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011412977.6A CN112381062A (zh) 2020-12-04 2020-12-04 一种基于卷积神经网络的目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN112381062A true CN112381062A (zh) 2021-02-19

Family

ID=74591066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011412977.6A Pending CN112381062A (zh) 2020-12-04 2020-12-04 一种基于卷积神经网络的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112381062A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205008A (zh) * 2021-04-16 2021-08-03 深圳供电局有限公司 一种动态告警窗的告警控制方法
CN113688706A (zh) * 2021-08-16 2021-11-23 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质
CN114972710A (zh) * 2022-07-27 2022-08-30 深圳爱莫科技有限公司 一种在图像中实现多形状目标检测的方法及系统
WO2022257254A1 (zh) * 2021-06-10 2022-12-15 腾讯云计算（北京）有限责任公司 图像数据处理方法、装置、设备以及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210389A (zh) * 2019-05-31 2019-09-06 东南大学 一种面向道路交通场景的多目标识别跟踪方法
CN111242122A (zh) * 2020-01-07 2020-06-05 浙江大学 一种轻量级深度神经网络旋转目标检测方法和系统
CN111476159A (zh) * 2020-04-07 2020-07-31 哈尔滨工业大学 一种基于双角回归的检测模型训练、检测方法及装置
CN111898534A (zh) * 2020-07-30 2020-11-06 上海交通大学 一种基于旋转区域卷积神经网络的星载目标融合检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210389A (zh) * 2019-05-31 2019-09-06 东南大学 一种面向道路交通场景的多目标识别跟踪方法
CN111242122A (zh) * 2020-01-07 2020-06-05 浙江大学 一种轻量级深度神经网络旋转目标检测方法和系统
CN111476159A (zh) * 2020-04-07 2020-07-31 哈尔滨工业大学 一种基于双角回归的检测模型训练、检测方法及装置
CN111898534A (zh) * 2020-07-30 2020-11-06 上海交通大学 一种基于旋转区域卷积神经网络的星载目标融合检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIAOJIAJIA-2020: ""论文阅读——PolarDet: A Fast, More Precise Detector for Rotated Target in Aerial Images"", 《HTTPS://BLOG.CSDN.NET/MARY_0830/ARTICLE/DETAILS/109238313》 *
LIAOJIAJIA-2020: ""论文阅读——PolarDet: A Fast, More Precise Detector for Rotated Target in Aerial Images"", 《HTTPS://BLOG.CSDN.NET/MARY_0830/ARTICLE/DETAILS/109238313》, 27 October 2020 (2020-10-27), pages 1 - 11 *
PENGBO ZHAO等: ""PolarDet: A Fast, More Precise Detector for Rotated Target in Aerial Images"", 《HTTPS://ARXIV.ORG/ABS/2010.08720V1》 *
PENGBO ZHAO等: ""PolarDet: A Fast, More Precise Detector for Rotated Target in Aerial Images"", 《HTTPS://ARXIV.ORG/ABS/2010.08720V1》, 17 October 2020 (2020-10-17), pages 1 - 11 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205008A (zh) * 2021-04-16 2021-08-03 深圳供电局有限公司 一种动态告警窗的告警控制方法
CN113205008B (zh) * 2021-04-16 2023-11-17 深圳供电局有限公司 一种动态告警窗的告警控制方法
WO2022257254A1 (zh) * 2021-06-10 2022-12-15 腾讯云计算（北京）有限责任公司 图像数据处理方法、装置、设备以及介质
CN113688706A (zh) * 2021-08-16 2021-11-23 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质
CN113688706B (zh) * 2021-08-16 2023-12-05 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质
CN114972710A (zh) * 2022-07-27 2022-08-30 深圳爱莫科技有限公司 一种在图像中实现多形状目标检测的方法及系统

Similar Documents

Publication Publication Date Title
CN110298298B (zh) 目标检测及目标检测网络的训练方法、装置及设备
CN112381062A (zh) 一种基于卷积神经网络的目标检测方法及装置
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
US20180075319A1 (en) 3d building extraction apparatus, method and system
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN110163207B (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN114419467A (zh) 旋转船只目标检测模型的训练方法、训练装置和存储介质
CN111415300A (zh) 一种用于全景图像的拼接方法和系统
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN110889399A (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN109658366A (zh) 基于改进ransac和动态融合的实时视频拼接方法
CN116486288A (zh) 基于轻量级密度估计网络的航拍目标计数与检测方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
CN111259710A (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210219

RJ01 Rejection of invention patent application after publication