CN113095316B - 基于多级融合和角点偏移的图像旋转目标检测方法 - Google Patents

基于多级融合和角点偏移的图像旋转目标检测方法 Download PDF

Info

Publication number
CN113095316B
CN113095316B CN202110403036.4A CN202110403036A CN113095316B CN 113095316 B CN113095316 B CN 113095316B CN 202110403036 A CN202110403036 A CN 202110403036A CN 113095316 B CN113095316 B CN 113095316B
Authority
CN
China
Prior art keywords
convolution
layer
convolution layer
minimum
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110403036.4A
Other languages
English (en)
Other versions
CN113095316A (zh
Inventor
李珺
侯彪
焦李成
王爽
任博
任仲乐
马晶晶
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110403036.4A priority Critical patent/CN113095316B/zh
Publication of CN113095316A publication Critical patent/CN113095316A/zh
Application granted granted Critical
Publication of CN113095316B publication Critical patent/CN113095316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于多级融合和角点偏移的遥感图像旋转目标检测方法，用于解决现有技术中存在的不同尺度目标的检测准确度低和检测过程运行速度慢的技术问题。本发明的实现步骤为：1、获取每个目标的旋转标注框的最小外接矩形；2、生成训练集；3、构建深度全卷积神经网络；4、训练深度全卷积神经网络；5、对图像中的旋转目标进行检测；6、对旋转目标的边框进行后处理；7、将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。本发明能够更好地区分图像中不同尺度目标，减少误检，提高了图像目标检测后目标框的精度。

Description

基于多级融合和角点偏移的图像旋转目标检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及遥感图像和自然图像目标检测中的一种多级融合和角点偏移的图像旋转目标检测方法。本发明可用于对遥感图像和自然图像中的旋转目标进行检测。
背景技术
遥感图像与自然图像相比较，遥感图像中目标的尺度变化范围较大。在不同的分辨率下，同一个目标的尺寸变化较大，在相同分辨率下，不同目标的尺寸差异也较大。为了能够更准确的区分不同尺度的目标的特征，将不同层级的特征进行合理的融合可以使每个层级在保留当前层级目标特征的基础上兼顾其他层级的目标特征，从而更有效的区分不同尺度的目标。在自然图像中，由于拍摄的设备往往是相机、监控等由手持或者相对固定的设备，拍摄到的物体也往往都是垂直于地面，从而在图像中处于一种基本水平和垂直的位置。因此，在自然图像中，往往通过不同尺寸的水平矩形来定位目标。然而，在遥感图像中，由于遥感图像的拍摄方式与自然图像有很大不同，其俯视角度的拍摄使得很多需要检测的目标朝向各异，因此在遥感图像的目标检测当中，采用旋转矩形框一方面可以确定出目标的朝向，另一方面更贴合目标物体的边框也能使对物体尺寸的计算更准确。
湖南大学在其申请的专利文献“一种图像语义特征约束的遥感目标检测方法”(专利申请号：202011018965.5，申请公布号：CN112101277A)中提出了一种遥感图像旋转目标检测方法。该方法采用了特征金字塔网络，通过双线性插值将高层级特征进行二倍上采样后与前一层级特征相加进行融合。通过在水平框参数的基础上加入角度参数来回归旋转框，并预设大量的旋转锚点。该方法存在两点不足之处是，其一，在对多层级特征进行融合的过程当中，只将高层级特征合并到低层级特征进行了单向融合，低层级特征没有合并到高层级特征中，从而使得低层级特征在高层级特征中的区分度不够，容易出现误检。其二，相比较于水平框目标检测任务中预设水平框锚点的方法，预设的旋转锚点的数量和计算量都增加了数倍，导致了算法需要消耗的硬件资源大。
Yongchao Xu等人在其发表的论文“Gliding vertex on the horizontalbounding box for multi-oriented object detection”(IEEE模式分析与机器智能汇刊TPAMI IEEE Transactions on Pattern Analysis and Machine Intelligence 2019年)中提出了一种基于水平包围盒滑动顶点的遥感图像旋转目标检测方法。该方法在不引入角度参数、只设置水平框锚点的情况下，实现了更高效的旋转目标检测。该方法通过在传统的水平框回归的基础上，预测旋转框四个顶点相对于目标外接水平框的四个顶点的偏移量。该方法在通过特征网络提取的特征图上应用区域建议网络生成候选旋转框，区域建议网络输出候选旋转框的中心坐标偏移量、外接水平矩形长、宽相对比例和四个顶点的偏移量等参数，然后根据区域建议网络生成的旋转矩形区域，在特征图上提取对应图像特征应用分类网络进行分类。这种方法只需要与自然图像中水平目标检测的预设锚点相同数量的锚点，而不需要像用角度参数描述旋转框一样设置更多的锚点。因此，该方法相对于角度回归方法具有更快的速度。但是，该方法仍然存在两点不足之处是，其一，在实际场景下，预测旋转框四个顶点的偏移量往往导致得到的旋转框不是严格意义的矩形，从而在与实际标注计算精度时会带来一定误差，导致精度低。在获取目标尺寸和朝向等下游任务上，同样导致了不准确。其二，由于两阶段目标检测网络架构的速度相对于单阶段检测网络较慢，运行效率低。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于多级融合和角点偏移的图像旋转目标检测方法，用于解决现有技术中存在的检测精度低和检测过程运行效率低、硬件资源大的问题。
实现本发明目的的思路是，确定每个目标的旋转标注框的最小外接矩形及其上顶点和左顶点，据此根据最小外接矩形及其上顶点和左顶点计算得到的每张图像的标签集中的元素准确，用所有图像和图像对应的标签集组成的训练集。搭建一个卷积核总数少的深度全卷积神经网络，由于卷积核总数少带来设置的参数少，从而减少了网络中各层之间的计算量，使得检测过程运行效率高、硬件资源消耗少。多级融合网络对主干网络提取的特征进行双向融合，充分利用不同等级的特征信息，提高低层级特征在高层级特征中的区分度，能够更好地区分图像中不同尺度目标，减少误检。对于得到的旋转检测框不规则、精度计算存在误差的问题，对目标的旋转检测框进行校正，使检测框的形状规则，提升检测框的精度。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取每个目标的最小外接矩形：
(1a)至少选取2000张含有目标的图像，每张图像中至少含有一个带有旋转标注框的目标，且每个目标至少有一个类别；
(1b)利用多边形最小外接矩形算法，得到每个目标的旋转标注框的最小外接矩形；
(2)生成训练集：
(2a)确定最小外接矩形的上顶点和左顶点；
(2b)利用角点偏移公式，计算最小外接矩形上顶点横坐标值相对所有顶点最小横坐标值的横偏移量和最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量；
(2c)将每个目标的最小外接矩形所有顶点横坐标的平均值和纵坐标的平均值作为该目标的中心坐标值，将最小外接矩形所有顶点横坐标中的最大值与横坐标最小值的差作为该目标的宽，将最小外接矩形所有顶点纵坐标中的最大值与纵坐标最小值的差作为该目标的高；
(2d)将每张图像中所有目标的类别、横偏移量、纵偏移量、中心坐标值、宽和高组成该图像的标签集；
(2e)将选取的所有图像和图像对应的标签集组成训练集；
(3)构建深度全卷积神经网络：
(3a)搭建一个主干网络以提取图像的特征，其结构依次为：输入层，卷积层，池化层，第一瓶颈组，第二瓶颈组，第三瓶颈组，第四瓶颈组；将卷积层的卷积核尺度设置为3*3，卷积核个数设置为64；池化层的池化核尺度设置为3*3；
所述第一瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为64；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为256；
第二瓶颈组由第一到第十二共十二个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为128；将第二、第五、第八、第十一卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为512；
第三瓶颈组由第一到第十八共十八个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接，第十三卷积层还与第十五卷积层连接，第十六卷积层还与第十八卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二、第十三、第十五、第十六、第十八卷积层卷积核的尺度均设置为1*1，卷积核个数均设置为256；将第二、第五、第八、第十一、第十四、第十七卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为1024；
第四瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为512；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为2048；
(3b)搭建一个由四个结构相同的融合模块串联组成的多级融合网络，实现对主干网络提取的特征进行双向融合；每个融合模块结构为：第一输入层分别与第一卷积层和第二卷积层连接，第二输入层分别与第二卷积层和第三卷积层连接，第三输入层分别与第四卷积层和第五卷积层连接，第四输入层分别与第六卷积层和第七卷积层连接，第五输入层与第八卷积层连接，第二卷积层分别与第三卷积层和第四卷积层连接，第三卷积层与第一卷积层连接，第四卷积层分别与第五卷积层和第六卷积层连接，第五卷积层与第三卷积层连接，第六卷积层分别与第七卷积层和第八卷积层连接，第七卷积层与第五卷积层连接；将所有卷积层的卷积核尺度均设置为3*3个节点，卷积核个数均设置为256；
(3c)将主干网络与多级融合网络连接后再分别与分类子网络和回归子网络连接，得到深度全卷积神经网络；
(4)训练深度全卷积神经网络：
将训练集输入到深度全卷积神经网络中进行迭代训练，直至网络的损失函数收敛为止，得到训练好的深度全卷积神经网络；
(5)对图像中的旋转目标进行检测：
用切割间隔为512、大小为1024×1024的矩阵窗口，对待检测图像进行切块处理，将切块处理后的图像块依次输入到训练好的深度全卷积神经网络中，依次输出每个图像块中每个目标旋转检测框和类别；
(6)对旋转目标的边框进行后处理：
(6a)利用与步骤(1b)相同算法，将得到的每个目标旋转检测框的最小外接矩形作为该目标校正后的旋转检测框；
(6b)利用非极大值抑制算法，对每个目标校正后的旋转检测框进行去重处理，得到该目标最终旋转检测框；
(7)将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。
本发明与现有的技术相比具有以下优点：
第一，由于本发明在生成训练集时，需要确定每个目标的旋转标注框的最小外接矩形及其上顶点和左顶点，据此根据最小外接矩形及其上顶点和左顶点计算得到的每张图像的标签集中的元素准确，克服了现有技术中无法修正每张图像的标签集中不准确的元素的问题，使得本发明能够修正每张图像的标签集中不准确的元素使其准确，从而使得经该训练集训练好的网络检测的目标框位置更准确。
第二，由于本发明构建的深度全卷积神经网络的卷积核总数少，由此带来设置的参数少，从而减少了网络中各层之间的计算量，克服了现有技术中对图像中的目标进行检测的方法执行效率低、硬件资源消耗大的问题，使本发明中对图像中的目标进行检测的执行效率高、硬件资源消耗小。
第三，由于本发明构建的深度全卷积神经网络中使用多级融合网络对主干网络提取的特征进行双向融合，能够充分利用不同等级的特征信息，提高低层级特征在高层级特征中的区分度，克服了现有技术中对图像中的目标进行检测容易出现误检的问题，使得本发明能够更好地区分图像中不同尺度目标，减少误检。
第四，由于本发明对检测得到的旋转目标的边框再次进行后处理，使旋转目标的边框规则，克服了现有技术中由于检测得到的旋转框不是严格意义的矩形，在与实际标注计算精度时会带来误差，导致精度低的问题，使得本发明提高了图像目标检测后目标框的精度。
附图说明
图1是本发明的流程图；
图2是本发明仿真图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1，对本发明的步骤做进一步的详细描述。
步骤1.获取每个目标的旋转标注框的最小外接矩形。
至少选取2000张含有目标的图像，每张图像中至少含有一个带有旋转标注框的目标，且每个目标至少有一个类别。
利用下述的多边形最小外接矩形算法，得到每个目标的旋转标注框的最小外接矩形。
第1步，以图像的左上角顶点作为原点建立一个平面直角坐标系。
第2步，平移旋转标注框直到四个顶点中任意一个顶点与坐标系原点重合，平移后的旋转标注框四个顶点坐标值如下。
x′i＝xi-x0，y′i＝yi-y0
其中，x′i表示旋转标注框的第i个顶点平移后的横坐标值，xi表示旋转标注框的第i个顶点平移前的横坐标值，x0表示与原点重合的顶点平移前的横坐标值，y′i表示旋转标注框的第i个顶点平移后的纵坐标值，yi表示旋转标注框的第i个顶点平移前的纵坐标值，y0表示与原点重合的顶点平移前的纵坐标值。
第3步，按照下式，分别以四个不同的角度将平移后的旋转标注框绕原点逆时针旋转，每次旋转后标注框的顶点坐标值如下：
rxi，j＝x′icosθj-y′isinθj，ryi，j＝x′isinθj+y′icosθj
其中，rxi，j表示旋转标注框以第j个角度θj旋转后第i个顶点的横坐标值，θj表示第j个旋转的角度，j＝1，2，3，4，每个旋转角度值为旋转前的标注框的第m条边与平面直角坐标系横轴的夹角大小，m的取值与j的取值对应相等，x′i表示旋转标注框以第j个角度θj旋转前的第i个顶点的横坐标值，cos表示求余弦操作，y′i表示旋转标注框以第j个角度θj旋转前的第i个顶点的纵坐标值，sin表示求正弦操作，ryi，j表示旋转标注框以第j个角度θj旋转后的第i个顶点的纵坐标值。
第4步，分别将旋转后的旋转标注框顶点的横、纵坐标的最小值和最大值作为水平外接矩形顶点的横、纵坐标值。
第5步，采用与本步骤第3步相同的方法，以水平外接矩形对应的旋转后的旋转标注框的旋转角度取值相反的角度值，逆时针旋转水平外接矩形。
第6步，采用第2步相同的方法，以与本步骤第2步中的平移相同的平移量、相反的方向平移面积最小的旋转后的水平外接矩形，平移后的水平外接矩形作为多边形最小外接矩形。
步骤2.生成训练集。
按照下述的步骤确定最小外接矩形的上顶点和左顶点。
第1步，当最小外接矩形四个顶点的横坐标值或纵坐标值相等的顶点个数大于2时，执行本步骤第2步，否则执行本步骤第3步。
第2步，选取最小外接矩形中横、纵坐标值均最小的顶点作为最小外接矩形的上顶点，纵坐标值最小且未被选取的顶点为最小外接矩形的左顶点。
第3步，选取最小外接矩形中横坐标值最小的顶点作为最小外接矩形的上顶点；选取最小外接矩形中纵坐标值最小的顶点作为最小外接矩形的左顶点。
利用下述的角点偏移公式，计算最小外接矩形上顶点横坐标值相对所有顶点最小横坐标值的横偏移量和最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量。
Ox＝xt-xtl，Oy＝ybl-yl
其中，Ox表示最小外接矩形的上顶点横坐标值相对所有顶点最小横坐标值的横偏移量，xt表示最小外接矩形上顶点的横坐标值，xtl表示最小外接矩形所有顶点中横坐标的最小值，Oy表示最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量，ybl表示最小外接矩形所有顶点中纵坐标的最小值，yl表示最小外接矩形的左顶点纵坐标值。
将每个目标的最小外接矩形所有顶点横坐标的平均值和纵坐标的平均值作为该目标的中心坐标值，将最小外接矩形所有顶点横坐标中的最大值与横坐标最小值的差作为该目标的宽，将最小外接矩形所有顶点纵坐标中的最大值与纵坐标最小值的差作为该目标的高。
将每张图像中所有目标的类别、横偏移量、纵偏移量、中心坐标值、宽和高组成该图像的标签集。
将选取的所有图像和图像对应的标签集组成训练集。
步骤3.构建深度全卷积神经网络。
搭建一个主干网络以提取图像的特征，其结构依次为：输入层，卷积层，池化层，第一瓶颈组，第二瓶颈组，第三瓶颈组，第四瓶颈组；将卷积层的卷积核尺度设置为3*3，卷积核个数设置为64；池化层的池化核尺度设置为3*3。
第一瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为64；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为256。
第二瓶颈组由第一到第十二共十二个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为128；将第二、第五、第八、第十一卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为512。
第三瓶颈组由第一到第十八共十八个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接，第十三卷积层还与第十五卷积层连接，第十六卷积层还与第十八卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二、第十三、第十五、第十六、第十八卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为256；将第二、第五、第八、第十一、第十四、第十七卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为1024。
第四瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为512；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为2048。
搭建一个由四个结构相同的融合模块串联组成的多级融合网络，实现对主干网络提取的特征进行双向融合；每个融合模块结构为：第一输入层分别与第一卷积层和第二卷积层连接，第二输入层分别与第二卷积层和第三卷积层连接，第三输入层分别与第四卷积层和第五卷积层连接，第四输入层分别与第六卷积层和第七卷积层连接，第五输入层与第八卷积层连接，第二卷积层分别与第三卷积层和第四卷积层连接，第三卷积层与第一卷积层连接，第四卷积层分别与第五卷积层和第六卷积层连接，第五卷积层与第三卷积层连接，第六卷积层分别与第七卷积层和第八卷积层连接，第七卷积层与第五卷积层连接；将所有卷积层的卷积核尺度均设置为3*3个节点，卷积核个数均设置为256。
分类子网络的结构依次为：输入层，第一卷积层，第二卷积层，第三卷积层，第四卷积层；将第一至第三卷积层的卷积核个数均设置为256，第四卷积层的卷积核数设置为M，M的取值与待分类的类别个数相等；将第一至第四卷积层卷积核尺度均设置为3*3。
回归子网络的结构依次为：输入层，第一卷积层，第二卷积层，第三卷积层，第四卷积层；将第一至第三积层的卷积核个数均设置为256，第四卷积层的卷积核个数设置为6；将第一至第四卷积层卷积核的尺度均设置为3*3。
将主干网络与多级融合网络连接后再分别与分类子网络和回归子网络连接，得到深度全卷积神经网络。
步骤4.训练深度全卷积神经网络。
将训练集输入到深度全卷积神经网络中进行迭代训练，直至网络的损失函数收敛为止，得到训练好的深度全卷积神经网络。
步骤5.对图像中的旋转目标进行检测。
用切割间隔为512、大小为1024×1024的矩阵窗口，对待检测图像进行切块处理，将切块处理后的图像块依次输入到训练好的深度全卷积神经网络中，依次输出每个图像块中每个目标旋转检测框和类别。
步骤6.对旋转目标的边框进行后处理。
利用与步骤1中相同的多边形最小外接矩形算法，将得到的每个目标旋转检测框的最小外接矩形作为该目标校正后的旋转检测框。
利用非极大值抑制算法，对每个目标校正后的旋转检测框进行去重处理，得到该目标最终旋转检测框。
步骤7.将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)Gold 5118CPU，主频为2.30GHz，内存125GB。
本发明的仿真实验的软件平台为：18.04.1-Ubuntu操作系统、Python-3.7.9和PyTorch-1.6.0。
本发明仿真实验所使用的图像为公开数据集“关于航空影像中物体检测的大型数据集(DOTA)”中2806张遥感图像，每张图像大小为4000×4000×3个像素，图像格式为png。选取其中图像名称为2020344和2923948的两张图像对数据集中的图像进行展示(图2(a)对应名称为2020344的图像，图2(b)对应名称为2923948的图像)。
2.仿真内容及其结果分析：
本发明的仿真实验有两个，即采用本发明和现有技术(基于水平包围盒滑动顶点的遥感图像旋转目标检测方法)分别对输入的遥感图像进行检测。
在仿真实验中，采用的现有技术(基于水平包围盒滑动顶点的遥感图像旋转目标检测方法，)是指：Yongchao Xu等人在“Gliding vertex on the horizontal boundingbox for multi-oriented object detection”中提出的方法，简称基于水平包围盒滑动顶点的遥感图像旋转目标检测方法。
本发明的两个仿真实验采用相同的训练集和测试集。从“关于航空影像中物体检测的大型数据集(DOTA)”中随机选取2000张的图像，将选取的2000张图像均经过本发明中的步骤1和步骤2处理后组成训练集。再将“关于航空影像中物体检测的大型数据集(DOTA)”中剩余的806张图像组成测试集。
仿真实验1，将本发明仿真实验的训练集输入到深度全卷积神经网络中进行迭代训练，直至网络的损失函数收敛为止，得到训练好的深度全卷积神经网络。将测试集所有图像输入到本发明仿真实验训练好的深度全卷积神经网络中，输出所有目标的旋转检测框。再对每个目标的旋转检测框进行后处理得到每个目标的最终旋转检测框。再将每个目标的最终旋转检测框绘制到图像中对应的位置，得到每张图像的检测结果图。
图2(c)和2(d)分别为图2(a)和2(b)利用本发明方法得到的对应检测结果图，其中，每个白色方框为目标的检测框，表示目标的位置和大小，方框的边应尽可能与目标的朝向平行，从而能够使用方框的朝向表示目标的朝向。
计算由本发明得到的所有目标的最终旋转检测框的精确率，以对检测结果进行评估，统计本发明在每秒内处理的图像数，以对方法的执行效率进行评估。
仿真实验2，将本发明仿真实验的训练集输入到现有技术的基于水平包围盒滑动顶点的遥感图像旋转目标检测方法中的网络进行迭代训练。再将测试集所有图像输入到本发明仿真实验训练好的现有技术的基于水平包围盒滑动顶点的遥感图像旋转目标检测方法的网络中，输出所有目标的旋转检测框。再将所有目标的最终旋转检测框绘制到图像中对应的位置，得到每张图像的检测结果图。
图2(e)和2(f)分别为图2(a)和2(b)利用现有技术的基于水平包围盒滑动顶点的遥感图像旋转目标检测方法得到的对应检测结果图，其中，每个白色方框为目标的检测框，表示目标的位置和大小，方框的边应尽可能与目标的朝向平行，从而能够使用方框的朝向表示目标的朝向。
计算由现有技术的基于水平包围盒滑动顶点的遥感图像旋转目标检测方法得到的所有目标的最终旋转检测框的精确率，以对检测结果进行评估，统计该方法在每秒内处理的图像数，以对方法的执行效率进行评估。
下面结合图2的仿真图对本发明的效果做进一步的描述。
由图2(c)和图2(e)可以看出，本发明的检测结果与现有技术的基于水平包围盒滑动顶点的遥感图像旋转目标检测方法检测结果相比，旋转检测框的朝向更贴近目标的真实朝向，检测框精度更高。由图2(d)和图2(f)可以看出，本发明的检测结果与现有技术的基于水平包围盒滑动顶点的遥感图像旋转目标检测方法检测结果相比，其漏检较少。根据以上两点，证明本发明的检测效果优于现有技术基于水平包围盒滑动顶点的遥感图像旋转目标检测方法，检测效果较理想。
利用三个评价指标(精确率(Precision)、输入图像尺寸、每秒处理帧数(FPS))分别对三种方法的检测结果进行评估。利用下面公式，计算精确率(Precision)，每秒处理帧数(FPS)，将所有计算结果绘制成表1：
Figure GDA0004057682740000121
表1.仿真实验中本发明和现有技术检测结果的定量分析表
Figure GDA0004057682740000122
结合表1可以看出，本发明的精确率为80.63％，高于现有技术方法，证明本发明可以得到更高的检测精度。本发明的输入图像尺寸为1024*1024，每秒处理帧数为18，这两个指标均高于现有技术方法，证明本发明可以在更大的输入图像尺寸下达到更高的运行效率。
以上仿真实验表明：本发明方法在生成训练集时，需要确定每个目标的旋转标注框的最小外接矩形及其上顶点和左顶点，据此根据最小外接矩形及其上顶点和左顶点计算得到的每张图像的标签集中的元素准确，能够使本发明具有修正每张图像的标签集中不准确的元素使其准确，从而使以该训练集训练的网络的检测结果准确，构建的深度全卷积神经网络的卷积核总数少，卷积核总数少带来设置的参数少，从而减少了网络中各层之间的计算量，能够使整体参数量和计算量少，运行效率高、硬件资源消耗小，利用深度全卷积神经网络中使用多级融合网络对主干网络提取的特征进行双向融合，能够充分利用不同等级的特征信息，提高低层级特征在高层级特征中的区分度，利用对检测得到的旋转目标的边框进行后处理，能够使旋转目标的边框规则，解决了现有技术方法中无法修正每张图像的标签集中不准确的元素、运行效率低、硬件资源大、容易出现误检、检测精度低的问题，是一种非常实用的图像旋转目标检测方法。

Claims (5)

1.一种基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，该方法是用生成的训练集对搭建的深度全卷积神经网络进行训练，使用多级融合网络对主干网络提取的特征进行双向融合，使用深度全卷积神经网络的回归子网络和分类子网络分别获取目标的旋转检测框和类别，对目标的旋转检测框进行校正，该方法的具体步骤包括如下：
(1)获取每个目标的旋转标注框的最小外接矩形：
(1a)至少选取2000张含有目标的图像，每张图像中至少含有一个带有旋转标注框的目标，且每个目标至少有一个类别；
(1b)利用多边形最小外接矩形算法，得到每个目标的旋转标注框的最小外接矩形；
(2)生成训练集：
(2a)确定最小外接矩形的上顶点和左顶点：
第一步，当最小外接矩形四个顶点的横坐标值或纵坐标值相等的顶点个数大于2时，执行第二步，否则，执行第三步；
第二步，选取最小外接矩形中横、纵坐标值均最小的顶点作为最小外接矩形的上顶点，纵坐标值最小且未被选取的顶点为最小外接矩形的左顶点；
第三步，选取最小外接矩形中横坐标值最小的顶点作为最小外接矩形的上顶点；选取最小外接矩形中纵坐标值最小的顶点作为最小外接矩形的左顶点；
(2b)利用角点偏移公式，计算最小外接矩形上顶点横坐标值相对所有顶点最小横坐标值的横偏移量和最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量；
(2c)将每个目标的最小外接矩形所有顶点横坐标的平均值和纵坐标的平均值作为该目标的中心坐标值，将最小外接矩形所有顶点横坐标中的最大值与横坐标最小值的差作为该目标的宽，将最小外接矩形所有顶点纵坐标中的最大值与纵坐标最小值的差作为该目标的高；
(2d)将每张图像中所有目标的类别、横偏移量、纵偏移量、中心坐标值、宽和高组成该图像的标签集；
(2e)将选取的所有图像和图像对应的标签集组成训练集；
(3)构建深度全卷积神经网络：
(3a)搭建一个主干网络以提取图像的特征，其结构依次为：输入层，卷积层，池化层，第一瓶颈组，第二瓶颈组，第三瓶颈组，第四瓶颈组；将卷积层的卷积核尺度设置为3*3，卷积核个数设置为64；池化层的池化核尺度设置为3*3；
所述第一瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为64；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为256；
第二瓶颈组由第一到第十二共十二个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为128；将第二、第五、第八、第十一卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为512；
第三瓶颈组由第一到第十八共十八个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接，第十三卷积层还与第十五卷积层连接，第十六卷积层还与第十八卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二、第十三、第十五、第十六、第十八卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为256；将第二、第五、第八、第十一、第十四、第十七卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为1024；
第四瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为512；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为2048；
(3b)搭建一个由四个结构相同的融合模块串联组成的多级融合网络，实现对主干网络提取的特征进行双向融合；每个融合模块结构为：第一输入层分别与第一卷积层和第二卷积层连接，第二输入层分别与第二卷积层和第三卷积层连接，第三输入层分别与第四卷积层和第五卷积层连接，第四输入层分别与第六卷积层和第七卷积层连接，第五输入层与第八卷积层连接，第二卷积层分别与第三卷积层和第四卷积层连接，第三卷积层与第一卷积层连接，第四卷积层分别与第五卷积层和第六卷积层连接，第五卷积层与第三卷积层连接，第六卷积层分别与第七卷积层和第八卷积层连接，第七卷积层与第五卷积层连接；将所有卷积层的卷积核尺度均设置为3*3个节点，卷积核个数均设置为256；
(3c)将主干网络与多级融合网络连接后再分别与分类子网络和回归子网络连接，得到深度全卷积神经网络；
(4)训练深度全卷积神经网络：
将训练集输入到深度全卷积神经网络中进行迭代训练，直至网络的损失函数收敛为止，得到训练好的深度全卷积神经网络；
(5)对图像中的旋转目标进行检测：
用切割间隔为512、大小为1024×1024的矩阵窗口，对待检测图像进行切块处理，将切块处理后的图像块依次输入到训练好的深度全卷积神经网络中，依次输出每个图像块中每个目标旋转检测框和类别；
(6)对旋转目标的边框进行后处理：
(6a)利用与步骤(1b)相同算法，将得到的每个目标旋转检测框的最小外接矩形作为该目标校正后的旋转检测框；
(6b)利用非极大值抑制算法，对每个目标校正后的旋转检测框进行去重处理，得到该目标最终旋转检测框；
(7)将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。
2.根据权利要求1所述的基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，步骤(1b)中所述多边形最小外接矩形算法的步骤如下：
第一步，以图像的左上角顶点作为原点建立一个平面直角坐标系；
第二步，平移旋转标注框直到四个顶点中任意一个顶点与坐标系原点重合，平移后的旋转标注框四个顶点坐标值如下：
x′i＝xi-x0，y′i＝yi-y0
其中，x′i表示旋转标注框的第i个顶点平移后的横坐标值，xi表示旋转标注框的第i个顶点平移前的横坐标值，x0表示与原点重合的顶点平移前的横坐标值，y′i表示旋转标注框的第i个顶点平移后的纵坐标值，yi表示旋转标注框的第i个顶点平移前的纵坐标值，y0表示与原点重合的顶点平移前的纵坐标值；
第三步，按照下式，分别以四个不同的角度将平移后的旋转标注框绕原点逆时针旋转，每次旋转后标注框的顶点坐标值如下：
rxi,j＝x′icosθj-y′isinθj，ryi,j＝x′isinθj+y′icosθj
其中，rxi,j表示旋转标注框以第j个角度θj旋转后第i个顶点的横坐标值，θj表示第j个旋转的角度，j＝1,2,3,4，每个旋转角度值为旋转前的标注框的第m条边与平面直角坐标系横轴的夹角大小，m的取值与j的取值对应相等，x′i表示旋转标注框以第j个角度θj旋转前的第i个顶点的横坐标值，cos表示求余弦操作，y′i表示旋转标注框以第j个角度θj旋转前的第i个顶点的纵坐标值，sin表示求正弦操作，ryi,j表示旋转标注框以第j个角度θj旋转后的第i个顶点的纵坐标值；
第四步，分别将旋转后的旋转标注框顶点的横、纵坐标的最小值和最大值作为水平外接矩形顶点的横、纵坐标值；
第五步，采用与第三步相同的方法，以水平外接矩形对应的旋转后的旋转标注框的旋转角度取值相反的角度值，逆时针旋转水平外接矩形；
第六步，采用与第二步相同的方法，以与第二步中的平移相同的平移量、相反的方向平移面积最小的旋转后的水平外接矩形，平移后的水平外接矩形作为多边形最小外接矩形。
3.根据权利要求1所述的基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，步骤(2b)中所述角点偏移公式如下：
Ox＝xt-xtl，Oy＝ybl-yl
其中，Ox表示最小外接矩形的上顶点横坐标值相对所有顶点最小横坐标值的横偏移量，xt表示最小外接矩形上顶点的横坐标值，xtl表示最小外接矩形所有顶点中横坐标的最小值，Oy表示最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量，ybl表示最小外接矩形所有顶点中纵坐标的最小值，yl表示最小外接矩形的左顶点纵坐标值。
4.根据权利要求1所述的基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，步骤(3c)中所述分类子网络的结构依次为：输入层，第一卷积层，第二卷积层，第三卷积层，第四卷积层；将第一至第三卷积层的卷积核个数均设置为256，第四卷积层的卷积核数设置为M，M的取值与待分类的类别个数相等；将第一至第四卷积层卷积核尺度均设置为3*3。
5.根据权利要求1所述的基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，步骤(3c)中所述回归子网络的结构依次为：输入层，第一卷积层，第二卷积层，第三卷积层，第四卷积层；将第一至第三积层的卷积核个数均设置为256，第四卷积层的卷积核个数设置为6；将第一至第四卷积层卷积核的尺度均设置为3*3。
CN202110403036.4A 2021-04-15 2021-04-15 基于多级融合和角点偏移的图像旋转目标检测方法 Active CN113095316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403036.4A CN113095316B (zh) 2021-04-15 2021-04-15 基于多级融合和角点偏移的图像旋转目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403036.4A CN113095316B (zh) 2021-04-15 2021-04-15 基于多级融合和角点偏移的图像旋转目标检测方法

Publications (2)

Publication Number Publication Date
CN113095316A CN113095316A (zh) 2021-07-09
CN113095316B true CN113095316B (zh) 2023-04-07

Family

ID=76677788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403036.4A Active CN113095316B (zh) 2021-04-15 2021-04-15 基于多级融合和角点偏移的图像旋转目标检测方法

Country Status (1)

Country Link
CN (1) CN113095316B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918267B (zh) * 2021-12-15 2022-04-12 腾讯科技（深圳）有限公司 地图交互方法、装置、电子设备及存储介质
CN116071220B (zh) * 2023-03-06 2023-06-20 浙江华感科技有限公司 一种图像窗口数据处理方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN108460341A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108520197A (zh) * 2018-02-28 2018-09-11 中国航空工业集团公司洛阳电光设备研究所 一种遥感图像目标检测方法及装置
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109543501A (zh) * 2017-09-21 2019-03-29 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN110874593A (zh) * 2019-11-06 2020-03-10 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
WO2020173036A1 (zh) * 2019-02-26 2020-09-03 博众精工科技股份有限公司 基于深度学习的定位方法和系统
CN112464704A (zh) * 2020-10-12 2021-03-09 浙江理工大学 一种基于特征融合与旋转目标检测器的遥感图像识别方法
CN112560671A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010045271A1 (en) * 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
US10954090B2 (en) * 2018-04-20 2021-03-23 Crane Payment Innovations, Inc. Active steering system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN109543501A (zh) * 2017-09-21 2019-03-29 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN108460341A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108520197A (zh) * 2018-02-28 2018-09-11 中国航空工业集团公司洛阳电光设备研究所 一种遥感图像目标检测方法及装置
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
WO2020173036A1 (zh) * 2019-02-26 2020-09-03 博众精工科技股份有限公司 基于深度学习的定位方法和系统
CN110874593A (zh) * 2019-11-06 2020-03-10 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
CN112464704A (zh) * 2020-10-12 2021-03-09 浙江理工大学 一种基于特征融合与旋转目标检测器的遥感图像识别方法
CN112560671A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Object Detection in Terrestrial Laser Scanning Point Clouds Based on Hough Forest;Hanyun Wang 等;《IEEE Geoscience and Remote Sensing Letters》;20141031;第11卷(第10期);1807-1811 *
Single Shot Anchor Refinement Network for Oriented Object Detection in Optical Remote Sensing Imagery;Songze Bao 等;《IEEE Access》;20190624;第7卷;87150-87161 *
基于深度学习的遥感影像去雾与舰船目标检测;侯伟宁;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200215;第2020年卷(第2期);C028-143 *
基于稀疏表示和流形学习的SAR图像分类算法研究;任博;《中国博士学位论文全文数据库 信息科技辑》;20190115;第2019年卷(第1期);I136-292 *

Also Published As

Publication number Publication date
CN113095316A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN108427924B (zh) 一种基于旋转敏感特征的文本回归检测方法
CN111476827B (zh) 目标跟踪方法、系统、电子装置及存储介质
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN103617625B (zh) 一种图像匹配方法及图像匹配装置
CN111780764A (zh) 一种基于视觉地图的视觉定位方法、装置
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
CN113591795B (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
CN110766002B (zh) 一种基于深度学习的船名字符区域检测方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN103353941B (zh) 基于视角分类的自然标志物注册方法
CN112396640A (zh) 图像配准方法、装置、电子设备及存储介质
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN106530345A (zh) 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN107133647A (zh) 一种快速手写体识别方法
CN110633640A (zh) 优化PointNet对于复杂场景的识别方法
CN114399677A (zh) 一种基于文本区域读取的指针仪表识别方法
CN114387346A (zh) 一种图像识别、预测模型处理方法、三维建模方法和装置
Hong et al. A high-precision recognition method of circular marks based on CMNet within complex scenes
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
Dong et al. An Intelligent Detection Method for Optical Remote Sensing Images Based on Improved YOLOv7.
CN114187613A (zh) 基于多分支深度神经网络及混合密度图的人群计数方法
Xie et al. Lightweight and anchor-free frame detection strategy based on improved CenterNet for multiscale ships in SAR images
CN113902035A (zh) 一种全方向、任意位数字的水表读数检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant