CN113610087A - 一种基于先验超分辨率的图像小目标检测方法及存储介质 - Google Patents

一种基于先验超分辨率的图像小目标检测方法及存储介质 Download PDF

Info

Publication number
CN113610087A
CN113610087A CN202110733573.5A CN202110733573A CN113610087A CN 113610087 A CN113610087 A CN 113610087A CN 202110733573 A CN202110733573 A CN 202110733573A CN 113610087 A CN113610087 A CN 113610087A
Authority
CN
China
Prior art keywords
target
resolution
image
super
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110733573.5A
Other languages
English (en)
Other versions
CN113610087B (zh
Inventor
蔡宇翔
叶勇
梁懿
罗富财
吴茜
郭蔡炜
蒋鑫
王栋
郑蔚涛
张江龙
叶庚
潘丹
庄莉
于元隆
蒋伟杰
徐杰
潘进土
黄道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Fuzhou University
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Fujian Yirong Information Technology Co Ltd
Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Corp of China SGCC
Fuzhou University
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Fujian Yirong Information Technology Co Ltd
Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Fuzhou University, State Grid Information and Telecommunication Co Ltd, State Grid Fujian Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd, Fujian Yirong Information Technology Co Ltd, Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110733573.5A priority Critical patent/CN113610087B/zh
Publication of CN113610087A publication Critical patent/CN113610087A/zh
Application granted granted Critical
Publication of CN113610087B publication Critical patent/CN113610087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于先验超分辨率的图像小目标检测方法及存储介质，包括以下步骤：对目标物体进行采样获得高分辨率状态下的目标训练样本及全景训练样本；使用目标训练样本及全景训练样本训练超分辨率生成器；对目标物体全景图像裁剪获得低分辨率状态的目标图像，并通过超分辨率生成器生成高分辨状态的目标图像；对高分辨状态的目标图像裁剪成若干个预设大小的图片；然后输入目标检测网络中，得到最终的小目标检测结果。将低分辨率的图片超分辨率处理后生成高分辨的图像以增强小样本目标在样本表达中的信息，以得到更高的检测精度。在生成超分辨率的图像过程中使用生成目标高分辨先验进行监督式的模型训练，以此更好的生成超分辨率样本。

Description

一种基于先验超分辨率的图像小目标检测方法及存储介质
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于先验超分辨率的图像小目标检测方法及存储介质。
背景技术
从机房内机柜的采样图像上检测和识别机柜内含有的服务器设备商标。采样图为机柜的全景图，检测目标在采样图像上含有多个不同类型的对象，每个对象在图像上的像素占比不足0.1％，为典型的小目标检测场景，涉及图像超分辨率和图像小目标检测。
传统的目标检测方法一般分为三个阶段：首先在给定的图像上选择一些候选区域，然后对这些区域提取特征，最后使用分类器进行分类。比较有代表性的算法有R-CNN和YOLO系列。其中R-CNN系列分为两个步骤完成，首先筛选和判断候选框，再针对候选框的内容进行分类，YOLO系列将以上两个步骤合并为一个步骤，直接在输出层回归物体目标框的位置和所属类别，从而实现端到端的一步到位。通过这种方式，YOLO可实现完全能满足实时性要求(达到24帧每秒，人眼就认为是连续的)。在深度学习中小目标的检测由于分辨率低，图片模糊，信息少，所以一直是一个实际且常见的困难问题。现有的方法一般通过以下手段来增强样本中的目标信息：1)通过在样本中增加小目标样本个数；2)通过网络中不同层次的特征融合，增强小样本的信息表达；3)使用生成器对小目标生成一个和大目标很相似的特征，然后把这个特征叠加在原来的小目标的特征图上，以此增强对小目标特征表达来提升小目标的检测性能。
还存在着以下的难点：小目标在全景样本中的像素占比过小，直接使用目标检测算法无法检测，现有的小目标样本增强算法在样本数量有限的情况下难以有限的增强小样本的目标信息。
发明内容
为此，需要提供一种基于先验超分辨率的图像小目标检测方法及存储介质，解决现有的小目标检测在全景样本中的像素占比过小，无法检测，及难以有限地增强小样本的目标信息，
为实现上述目的，发明人提供了一种基于先验超分辨率的图像小目标检测方法，包括以下步骤：
对目标物体进行局部采样获得高分辨率状态下的目标训练样本及全景采样获得全景训练样本；
使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet；
对目标物体全景图像裁剪获得低分辨率状态的目标图像，并通过使用训练好的超分辨率生成器SRNet生成高分辨状态的目标图像；
使用采样获得的目标训练样本及全景训练样本训练目标检测网络CenterNet；
对高分辨状态的目标图像按照预设条件进行裁剪成若干个预设大小的图片，并存储裁剪后的每个图片的在原图中的坐标点位置；
将裁剪后的图片输入目标检测网络CenterNet中，得到最终的小目标检测结果。
进一步优化，所述步骤“对目标物体进行局部采样获得高分辨率状态下的目标训练样本及全景采样获得全景训练样本”之后还包括步骤：
并对获得的目标训练样本及全景训练样本进行边框及类别标注。
进一步优化，所述步骤“使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet”具体包括以下步骤：
对输入的低分辨图像I1做双三次插值获得更大尺寸图像I2；
通过卷积和激活操作调整图像I2的像素点获得图像I3；
计算图像I3与真值之间的L2损失；
反向传播损失更新超分辨率生成器SRNet的参数。
进一步优化，所述步骤“对目标物体全景图像裁剪获得低分辨率状态的目标图像”具体包括以下步骤：
通过以高分辨率图像的目标框的中心点作为基准点，在改点的预设范围内，随机获得裁剪图片的中心，根据获得裁剪图片的中心点对目标物体全景图进行随机裁剪成多张低分辨率状态目标图像。
进一步优化，所述步骤“使用采样获得的目标训练样本及全景训练样本训练目标检测网络CenterNet”具体包括以下步骤：
对输入图像I使用特征提取网络获得图像I的特征；
使用上采样操作下获得高分辨率状态下的特征图；
输出表示物体中心概览的关键点热图、物体尺寸及下采样取整带来的中心点偏移；
对关键点热图执行最大池化获得局部峰值点，通过中心点偏移补偿目标中心后，结合物体尺寸获得检测框；
基于锚框的目标检测器使用标签的方式在训练过程将真值框与大量的锚框进行交并比计算，大于预设阈值的则认为锚框内存在目标。
进一步优化，所述步骤“基于锚框的目标检测器使用标签的方式在训练过程将真值框与大量的锚框进行交并比计算，大于预设阈值的则认为锚框内存在目标”之前还包括以下步骤：
将真值框编码为目标中心坐标和目标尺寸；
通过高斯散射核将下采样后的目标中心投射到关键点热图。
进一步优化，所述目标检测网络CenterNet的损失函数为中心点损失函数、中心点偏移损失函数及物体尺寸损失函数组成；
所述中心点损失函数为
Figure BDA0003140629820000031
用于将所有的正样本损失标准化为1,N是图像I的关键点数量，
Figure BDA0003140629820000041
为预测值，；
所述物体尺寸损失函数为
Figure BDA0003140629820000042
Figure BDA0003140629820000043
为预测的物体尺寸，Sk为标签真实尺寸；
所述中心点偏移损失函数为
Figure BDA0003140629820000044
进一步优化，所述目标检测网络CenterNet的损失函数Ldst＝Lk+AsizeLsize+λoffLoff。
进一步优化，所述步骤“将裁剪后的图片输入目标检测网络CenterNet中，得到最终的小目标检测结果”具体包括以下步骤：
将每张裁剪后的图片预测的预测框做坐标变换，映射到高分辨率的全景图像中；
对全景图像中所有的预测框做非极大值抑制NMS；
得到最终的小目标检测结果。
还提供了另一个技术方案：一种存储介质，所述存储介质包括计算机程序，所述计算机程序被处理器运行时执行上述所述基于先验超分辨率的图像小目标检测方法的步骤。
区别于现有技术，上述技术方案通过将低分辨率的图片超分辨率处理后生成高分辨的图像以增强小样本目标在样本表达中的信息，然后使用目标检测算法进行小目标检测，以得到更高的检测精度。在生成超分辨率的图像过程中使用生成目标高分辨先验进行监督式的模型训练，以此更好的生成超分辨率样本。
附图说明
图1为具体实施方式所述基于先验超分辨率的图像小目标检测方法的一种流程示意图；
图2为具体实施方式所述超分辨率生成器SRNet的训练过程的示意图；
图3为具体实施方式所述目标检测网络CenterNet的训练过程的示意图；
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，本实施例提供一种基于先验超分辨率的图像小目标检测方法，包括以下步骤：
步骤S110：对目标物体进行局部采样获得高分辨率状态下的目标训练样本及全景采样获得全景训练样本；在本实施例中，目标物体为机柜，目标训练样本为机柜上的商标训练样本；所述步骤S110之后还包括步骤：并对获得的目标训练样本及全景训练样本进行边框及类别标注。通过对机柜进行局部采样获得高分辨率状态下的商标训练样本，对其进行边框和类别标注；然后对机柜进行全景采样获得全景训练样本，同样对其进行边框及标注。
步骤S120：使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet；使用这些标注好的商标训练样本及全景采样样本进行训练超分辨率生成器SRNet，其中，超分辨率生成器SRNet的训练过程如图2所示，所述步骤“使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet”具体包括以下步骤：
对输入的低分辨图像I1做双三次插值获得更大尺寸图像I2；
通过卷积和激活操作调整图像I2的像素点获得图像I3；
计算图像I3与真值之间的L2损失；
反向传播损失更新超分辨率生成器SRNet的参数。
首先对输入的低分辨率图像I1作双三次插值获得更大尺寸的图像I2，其后是由卷积和激活操作调整I2上的像素点值获得I3，最后计算I3和真值O之间的L2损失。反向传播损失跟新模型SRNet的参数。
步骤S130：对目标物体全景图像裁剪获得低分辨率状态的目标图像，并通过使用训练好的超分辨率生成器SRNet生成高分辨状态的目标图像；所述步骤S130具体包括以下步骤：
通过以高分辨率图像的目标框的中心点作为基准点，在改点的预设范围内，随机获得裁剪图片的中心，根据获得裁剪图片的中心点对目标物体全景图进行随机裁剪成多张低分辨率状态(512*512)目标图像。
步骤S140：使用采样获得的目标训练样本及全景训练样本训练目标检测网络CenterNet；同样需用标注好的目标训练样本及全景训练样本进行训练目标检测网络CenterNet；目标检测网络CenterNet的训练过程如图3所示，具体包括以下步骤：
对输入图像I使用特征提取网络获得图像I的特征；
使用上采样操作下获得高分辨率状态下的特征图；
输出表示物体中心概览的关键点热图、物体尺寸及下采样取整带来的中心点偏移；
对关键点热图执行最大池化获得局部峰值点，通过中心点偏移补偿目标中心后，结合物体尺寸获得检测框；
基于锚框的目标检测器使用标签的方式在训练过程将真值框与大量的锚框进行交并比计算，大于预设阈值的则认为锚框内存在目标。
首先对输入图像I使用特征提取网络获得图像I的特征，本实施例中使用Resnet50作为特征提取网络；其次使用上采样操作获得高分辨率状态下的特征图；最后输出到三个分支，分别为表示物体中心概率的关键点热图、物体尺寸、下采样取整带来的中心点偏移。在中心点与分类分支，对关键点热图执行简单的3*3最大池化获得局部峰值点，取代NMS后处理。用中心点偏移补偿目标中心后，结合物体尺寸即可获得检测框。基于锚框的目标检测器使用标签的方式为在训练过程中将真值框(Ground Truth Box，GT)与大量的锚框进行交并比计算，大于某一阈值则认为锚框内存在目标，这一方法包含大量冗余计算，减慢了算法运行速度。因此，我们将真值框编码为目标中心坐标和目标尺寸，并用高斯散射核将下采样后的目标中心投射到关键点热图上，高斯散射核函数公式如下：
Figure BDA0003140629820000071
其中式中：
Figure BDA0003140629820000072
为尺寸自适应标准差，与目标面积大小相关；Yxyc为热图标签；x，y为中心真值，px，py为预测值。
步骤S150：对高分辨状态的目标图像按照预设条件进行裁剪成若干个预设大小的图片，并存储裁剪后的每个图片的在原图中的坐标点位置；其中，将高分辨率状态的目标图像进行有规律的裁剪，裁剪成24张有重叠的512*512大小的图片，并存储每张图片在原图中的坐标点位置，并将这些图片送入目标检测网络CenterNet中。
步骤S160：将裁剪后的图片输入目标检测网络CenterNet中，得到最终的小目标检测结果；当这些裁剪后的图片输入到目标检测网络CenterNet中，然后将每张裁剪后的图片预测的预测框做坐标变换，映射到高分辨率的全景图像中；对全景图像中所有的预测框做非极大值抑制NMS；得到最终的小目标检测结果。
本发明提出对原有图像剪切后再进行目标检测能够增加检测对象在图像中的像素占比，提高模型目标检测的性能；避免检测目标仅占据图像极小比例的像素下进行目标检测，模型会忽略占比极小的小目标，导致模型失效。先对总体样本局部采样高分辨率的小目标对象，以高分辨率的小目标样本训练从超分辨率生成器。然后使用超分辨率生成器替代传统的视觉插值方法对低分辨率剪切样本进行超分辨率转换，能够得到更有效的高分样本，从而提高模型检测小目标的性能。
其中，所述目标检测网络CenterNet的损失函数为中心点损失函数、中心点偏移损失函数及物体尺寸损失函数组成；
所述中心点损失函数为
Figure BDA0003140629820000073
用于将所有的正样本损失标准化为1,N是图像I的关键点数量，
Figure BDA0003140629820000074
为预测值，；
所述物体尺寸损失函数为
Figure BDA0003140629820000075
Figure BDA0003140629820000076
为预测的物体尺寸，Sk为标签真实尺寸；
所述中心点偏移损失函数为
Figure BDA0003140629820000081
CenterNet的损失函数主要由三部分组成：中心点损失函数、中心点偏移损失函数、物体尺寸损失函数。中心点损失如公式：
Figure BDA0003140629820000082
式中：N是图像I的关键点数量，用于将所有的正样本损失标准化为1,
Figure BDA0003140629820000083
为预测值。物体尺寸损失函数如下：
Figure BDA0003140629820000084
其中，
Figure BDA0003140629820000085
为预测的物体尺寸，而S为标签真实尺寸。
对于偏置损失函数，训练过程中，对图像进行了下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用了一个局部偏移量去补偿它。所有类c的中心点共享同一个偏移量，使用L1损失来训练，得到偏置损伤函数的公式为：
Figure BDA0003140629820000086
其中，目标检测网络CenterNet的整体损失函数为中心点损失函数、中心点偏移损失函数及物体尺寸损失函数的和，每个损失函数都有相应的权重，所述目标检测网络CenterNet的损失函数Ldet＝Lk+λsizeLsize+λoffLoff。λsize为物体尺寸损失函数Lsize的权重，λoff为偏置损失函数Loff的权重。
另一实施例中：一种存储介质，所述存储介质包括计算机程序，所述计算机程序被处理器运行时执行上述所述基于先验超分辨率的图像小目标检测方法的步骤，具体包括以下步骤：
步骤S110：对目标物体进行局部采样获得高分辨率状态下的目标训练样本及全景采样获得全景训练样本；在本实施例中，目标物体为机柜，目标训练样本为机柜上的商标训练样本；所述步骤S110之后还包括步骤：并对获得的目标训练样本及全景训练样本进行边框及类别标注。通过对机柜进行局部采样获得高分辨率状态下的商标训练样本，对其进行边框和类别标注；然后对机柜进行全景采样获得全景训练样本，同样对其进行边框及标注。
步骤S120：使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet；使用这些标注好的商标训练样本及全景采样样本进行训练超分辨率生成器SRNet，其中，超分辨率生成器SRNet的训练过程如图2所示，所述步骤“使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet”具体包括以下步骤：
对输入的低分辨图像I1做双三次插值获得更大尺寸图像I2；
通过卷积和激活操作调整图像I2的像素点获得图像I3；
计算图像I3余真值0之间的L2损失；
反向传播损失更新超分辨率生成器SRNet的参数。
首先对输入的低分辨率图像I1作双三次插值获得更大尺寸的图像I2，其后是由卷积和激活操作调整I2上的像素点值获得I3，最后计算I3和真值O之间的L2损失。反向传播损失跟新模型SRNet的参数。
步骤S130：对目标物体全景图像裁剪获得低分辨率状态的目标图像，并通过使用训练好的超分辨率生成器SRNet生成高分辨状态的目标图像；所述步骤S130具体包括以下步骤：
通过以高分辨率图像的目标框的中心点作为基准点，在改点的预设范围内，随机获得裁剪图片的中心，根据获得裁剪图片的中心点对目标物体全景图进行随机裁剪成多张低分辨率状态(512*512)目标图像。
步骤S140：使用采样获得的目标训练样本及全景训练样本训练目标检测网络CenterNet；同样需用标注好的目标训练样本及全景训练样本进行训练目标检测网络CenterNet；目标检测网络CenterNet的训练过程如图3所示，具体包括以下步骤：
对输入图像I使用特征提取网络获得图像I的特征；
使用上采样操作下获得高分辨率状态下的特征图；
输出表示物体中心概览的关键点热图、物体尺寸及下采样取整带来的中心点偏移；
对关键点热图执行最大池化获得局部峰值点，通过中心点偏移补偿目标中心后，结合物体尺寸获得检测框；
基于锚框的目标检测器使用标签的方式在训练过程将真值框与大量的锚框进行交并比计算，大于预设阈值的则认为锚框内存在目标。
首先对输入图像I使用特征提取网络获得图像I的特征，本实施例中使用Resnet50作为特征提取网络；其次使用上采样操作获得高分辨率状态下的特征图；最后输出到三个分支，分别为表示物体中心概率的关键点热图、物体尺寸、下采样取整带来的中心点偏移。在中心点与分类分支，对关键点热图执行简单的3*3最大池化获得局部峰值点，取代NMS后处理。用中心点偏移补偿目标中心后，结合物体尺寸即可获得检测框。基于锚框的目标检测器使用标签的方式为在训练过程中将真值框(Ground Truth Box，GT)与大量的锚框进行交并比计算，大于某一阈值则认为锚框内存在目标，这一方法包含大量冗余计算，减慢了算法运行速度。因此，我们将真值框编码为目标中心坐标和目标尺寸，并用高斯散射核将下采样后的目标中心投射到关键点热图上，高斯散射核函数公式如下：
Figure BDA0003140629820000101
其中式中：
Figure BDA0003140629820000102
为尺寸自适应标准差，与目标面积大小相关；Yxyc为热图标签；x，y为中心真值，px，py为预测值。
步骤S150：对高分辨状态的目标图像按照预设条件进行裁剪成若干个预设大小的图片，并存储裁剪后的每个图片的在原图中的坐标点位置；其中，将高分辨率状态的目标图像进行有规律的裁剪，裁剪成24张有重叠的512*512大小的图片，并存储每张图片在原图中的坐标点位置，并将这些图片送入目标检测网络CenterNet中。
步骤S160：将裁剪后的图片输入目标检测网络CenterNet中，得到最终的小目标检测结果；当这些裁剪后的图片输入到目标检测网络CenterNet中，然后将每张裁剪后的图片预测的预测框做坐标变换，映射到高分辨率的全景图像中；对全景图像中所有的预测框做非极大值抑制NMS；得到最终的小目标检测结果。
本发明提出对原有图像剪切后再进行目标检测能够增加检测对象在图像中的像素占比，提高模型目标检测的性能；避免检测目标仅占据图像极小比例的像素下进行目标检测，模型会忽略占比极小的小目标，导致模型失效。先对总体样本局部采样高分辨率的小目标对象，以高分辨率的小目标样本训练从超分辨率生成器。然后使用超分辨率生成器替代传统的视觉插值方法对低分辨率剪切样本进行超分辨率转换，能够得到更有效的高分样本，从而提高模型检测小目标的性能。
其中，所述目标检测网络CenterNet的损失函数为中心点损失函数、中心点偏移损失函数及物体尺寸损失函数组成；
所述中心点损失函数为
Figure BDA0003140629820000111
用于将所有的正样本损失标准化为1,N是图像I的关键点数量，
Figure BDA0003140629820000112
为预测值，；
所述物体尺寸损失函数为
Figure BDA0003140629820000113
Figure BDA0003140629820000114
为预测的物体尺寸，Sk为标签真实尺寸；
所述中心点偏移损失函数为
Figure BDA0003140629820000115
CenterNet的损失函数主要由三部分组成：中心点损失函数、中心点偏移损失函数、物体尺寸损失函数。中心点损失如公式：
Figure BDA0003140629820000116
式中：N是图像I的关键点数量，用于将所有的正样本损失标准化为1,
Figure BDA0003140629820000117
为预测值。物体尺寸损失函数如下：
Figure BDA0003140629820000121
其中，
Figure BDA0003140629820000122
为预测的物体尺寸，而S为标签真实尺寸。
对于偏置损失函数，训练过程中，对图像进行了下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用了一个局部偏移量去补偿它。所有类c的中心点共享同一个偏移量，使用L1损失来训练，得到偏置损伤函数的公式为：
Figure BDA0003140629820000123
其中，目标检测网络CenterNet的整体损失函数为中心点损失函数、中心点偏移损失函数及物体尺寸损失函数的和，每个损失函数都有相应的权重，所述目标检测网络CenterNet的损失函数Ldet＝Lk+λsizeLsize+λoffLoff。λsize为物体尺寸损失函数Lsize的权重，λoff为偏置损失函数Loff的权重。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于先验超分辨率的图像小目标检测方法，其特征在于，包括以下步骤：
对目标物体进行局部采样获得高分辨率状态下的目标训练样本及全景采样获得全景训练样本；
使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet；
对目标物体全景图像裁剪获得低分辨率状态的目标图像，并通过使用训练好的超分辨率生成器SRNet生成高分辨状态的目标图像；
使用采样获得的目标训练样本及全景训练样本训练目标检测网络CenterNet；
对高分辨状态的目标图像按照预设条件进行裁剪成若干个预设大小的图片，并存储裁剪后的每个图片的在原图中的坐标点位置；
将裁剪后的图片输入目标检测网络CenterNet中，得到最终的小目标检测结果。
2.根据权利要求1所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述步骤“对目标物体进行局部采样获得高分辨率状态下的目标训练样本及全景采样获得全景训练样本”之后还包括步骤：
并对获得的目标训练样本及全景训练样本进行边框及类别标注。
3.根据权利要求1所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述步骤“使用采样获得的目标训练样本及全景训练样本训练超分辨率生成器SRNet”具体包括以下步骤：
对输入的低分辨图像I1做双三次插值获得更大尺寸图像I2；
通过卷积和激活操作调整图像I2的像素点获得图像I3；
计算图像I3与真值之间的L2损失；
反向传播损失更新超分辨率生成器SRNet的参数。
4.根据权利要求1所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述步骤“对目标物体全景图像裁剪获得低分辨率状态的目标图像”具体包括以下步骤：
通过以高分辨率图像的目标框的中心点作为基准点，在改点的预设范围内，随机获得裁剪图片的中心，根据获得裁剪图片的中心点对目标物体全景图进行随机裁剪成多张低分辨率状态目标图像。
5.根据权利要求1所述基于先验超分辨率的图像小目标检测方法，所述步骤“使用采样获得的目标训练样本及全景训练样本训练目标检测网络CenterNet”具体包括以下步骤：
对输入图像I使用特征提取网络获得图像I的特征；
使用上采样操作下获得高分辨率状态下的特征图；
输出表示物体中心概览的关键点热图、物体尺寸及下采样取整带来的中心点偏移；
对关键点热图执行最大池化获得局部峰值点，通过中心点偏移补偿目标中心后，结合物体尺寸获得检测框；
基于锚框的目标检测器使用标签的方式在训练过程将真值框与大量的锚框进行交并比计算，大于预设阈值的则认为锚框内存在目标。
6.根据权利要求5所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述步骤“基于锚框的目标检测器使用标签的方式在训练过程将真值框与大量的锚框进行交并比计算，大于预设阈值的则认为锚框内存在目标”之前还包括以下步骤：
将真值框编码为目标中心坐标和目标尺寸；
通过高斯散射核将下采样后的目标中心投射到关键点热图。
7.根据权利要求5所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述目标检测网络CenterNet的损失函数为中心点损失函数、中心点偏移损失函数及物体尺寸损失函数组成；
所述中心点损失函数为
Figure FDA0003140629810000021
用于将所有的正样本损失标准化为1,N是图像I的关键点数量，
Figure FDA0003140629810000031
为预测值，；
所述物体尺寸损失函数为
Figure FDA0003140629810000032
Figure FDA0003140629810000033
为预测的物体尺寸，Sk为标签真实尺寸；
所述中心点偏移损失函数为
Figure FDA0003140629810000034
8.根据权利要求7所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述目标检测网络CenterNet的损失函数Ldet＝Lk+λsizeLsize+λoffLoff。
9.根据权利要求1所述基于先验超分辨率的图像小目标检测方法，其特征在于，所述步骤“将裁剪后的图片输入目标检测网络CenterNet中，得到最终的小目标检测结果”具体包括以下步骤：
将每张裁剪后的图片预测的预测框做坐标变换，映射到高分辨率的全景图像中；
对全景图像中所有的预测框做非极大值抑制NMS；
得到最终的小目标检测结果。
10.一种存储介质，所述存储介质包括计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-9任一项所述基于先验超分辨率的图像小目标检测方法的步骤。
CN202110733573.5A 2021-06-30 2021-06-30 一种基于先验超分辨率的图像小目标检测方法及存储介质 Active CN113610087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110733573.5A CN113610087B (zh) 2021-06-30 2021-06-30 一种基于先验超分辨率的图像小目标检测方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110733573.5A CN113610087B (zh) 2021-06-30 2021-06-30 一种基于先验超分辨率的图像小目标检测方法及存储介质

Publications (2)

Publication Number Publication Date
CN113610087A true CN113610087A (zh) 2021-11-05
CN113610087B CN113610087B (zh) 2023-06-09

Family

ID=78336940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110733573.5A Active CN113610087B (zh) 2021-06-30 2021-06-30 一种基于先验超分辨率的图像小目标检测方法及存储介质

Country Status (1)

Country Link
CN (1) CN113610087B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119594A (zh) * 2021-12-06 2022-03-01 华能东莞燃机热电有限责任公司 一种基于深度学习的油液渗漏检测方法和检测装置
CN114140427A (zh) * 2021-11-30 2022-03-04 深圳集智数字科技有限公司 一种物体检测方法及装置
CN115082775A (zh) * 2022-07-27 2022-09-20 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法
CN115376022A (zh) * 2022-06-30 2022-11-22 广东工业大学 基于神经网络的小目标检测算法在无人机航拍中的应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
CN111461213A (zh) * 2020-03-31 2020-07-28 华中科技大学 一种目标检测模型的训练方法、目标快速检测方法
CN111899172A (zh) * 2020-07-16 2020-11-06 武汉大学 一种面向遥感应用场景的车辆目标检测方法
CN111914935A (zh) * 2020-08-03 2020-11-10 哈尔滨工程大学 一种基于深度学习的船舶图像目标检测方法
CN112215119A (zh) * 2020-10-08 2021-01-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法
CN112784788A (zh) * 2021-01-29 2021-05-11 国网江苏省电力有限公司电力科学研究院 一种低分辨率目标检测方法
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111461213A (zh) * 2020-03-31 2020-07-28 华中科技大学 一种目标检测模型的训练方法、目标快速检测方法
CN111899172A (zh) * 2020-07-16 2020-11-06 武汉大学 一种面向遥感应用场景的车辆目标检测方法
CN111914935A (zh) * 2020-08-03 2020-11-10 哈尔滨工程大学 一种基于深度学习的船舶图像目标检测方法
CN112215119A (zh) * 2020-10-08 2021-01-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法
CN112784788A (zh) * 2021-01-29 2021-05-11 国网江苏省电力有限公司电力科学研究院 一种低分辨率目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁永春;田立勤;陈楠;朱洪根;: "基于航拍图像的人员实时搜寻机制与分析", 华北科技学院学报, no. 02 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140427A (zh) * 2021-11-30 2022-03-04 深圳集智数字科技有限公司 一种物体检测方法及装置
CN114119594A (zh) * 2021-12-06 2022-03-01 华能东莞燃机热电有限责任公司 一种基于深度学习的油液渗漏检测方法和检测装置
CN115376022A (zh) * 2022-06-30 2022-11-22 广东工业大学 基于神经网络的小目标检测算法在无人机航拍中的应用
CN115376022B (zh) * 2022-06-30 2024-04-05 广东工业大学 基于神经网络的小目标检测算法在无人机航拍中的应用
CN115082775A (zh) * 2022-07-27 2022-09-20 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法
CN115082775B (zh) * 2022-07-27 2022-12-02 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法

Also Published As

Publication number Publication date
CN113610087B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110335290B (zh) 基于注意力机制的孪生候选区域生成网络目标跟踪方法
Jiang et al. Edge-enhanced GAN for remote sensing image superresolution
CN107341517B (zh) 基于深度学习层级间特征融合的多尺度小物体检测方法
CN113610087B (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
Yin et al. FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution
CN110276354B (zh) 一种高分辨率街景图片语义分割训练与实时分割方法
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
CN111523553A (zh) 一种基于相似度矩阵的中心点网络多目标检测方法
WO2023030182A1 (zh) 图像生成方法及装置
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
CN114220126A (zh) 一种目标检测系统及获取方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN115937089A (zh) 一种基于改进yolov5病灶检测模型的训练检测方法
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN113657225A (zh) 一种目标检测方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant