CN112508787A - 一种基于图像超分辨的目标检测方法 - Google Patents

一种基于图像超分辨的目标检测方法 Download PDF

Info

Publication number
CN112508787A
CN112508787A CN202011470434.XA CN202011470434A CN112508787A CN 112508787 A CN112508787 A CN 112508787A CN 202011470434 A CN202011470434 A CN 202011470434A CN 112508787 A CN112508787 A CN 112508787A
Authority
CN
China
Prior art keywords
resolution
target detection
super
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011470434.XA
Other languages
English (en)
Inventor
华尧
梁涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panji Technology Co ltd
Original Assignee
Panji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panji Technology Co ltd filed Critical Panji Technology Co ltd
Priority to CN202011470434.XA priority Critical patent/CN112508787A/zh
Publication of CN112508787A publication Critical patent/CN112508787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

一种基于图像超分辨的目标检测方法，包括以下步骤：步骤1，将原始图像送入目标检测网络，得到需要进行超分辨率的图像；步骤2，使用超分辨网络，将输出的特征图进行超分辨率，得到一个尺寸更大的特征图；步骤3，将步骤2的特征图重新裁剪成若干个小区域，然后在每个小区域上进行目标框的搜索；步骤4，将该特征图与步骤3得到的特征图作对比得到整个网络的损失函数。本发明通过对特征图，或者是对部分原始图使用超分辨率网络提高分辨率，进而提升整个网络的目标检测效率，这样降低了超分辨率的复杂度以及处理超分辨原始图的计算复杂度，提升了整个基于超分辨率的目标检测任务的实时性。

Description

一种基于图像超分辨的目标检测方法
技术领域
本发明属于图像目标检测技术领域，特别涉及一种基于图像超分辨的目标检测方法。
背景技术
图像超分辨率(Super Resolution,SR)就是将低分辨率(Low Resolution,LR)的图像通过一定的算法转提升到高分辨率(High Resolution,HR)。高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质。要获得高分辨率图像，最直接的办法是采用高分辨率的相机，然而，在实际应用过程中，由于制作工艺和工程成本的考虑，很多场合都不会采用高分辨率、超分辨率的相机来进行图像信号的采集。因此，通过超分辨率技术来获取HR具有一定的应用需求。
从该技术的定义可以看出，超分辨率技术的主要作用就是恢复图像中的缺失的信息，构成解析力更高的图像，通常上用于照片修复，胶片修复，传输图像压缩等领域。
超分辨率技术可以传统的差值等方法实现，也可以通过深度神经网络(DNN)计算实现。
在图像处理领域，有另外一个重要的应用领域，就是目标检测，目标检测任务的目的是在一个跟定的图片中识别某一个物体的类别，并且标注该物体所在的区域。目前应用非常广泛的目标检测技术是基于深度神经网络(DNN)的算法，通过将输入图像经过一个DNN网络的处理后，生成很多特征图，在特征图中通过画框搜索的方法，最终寻找到要检测的目标。需要注意的是，一般特征图的尺寸会远小于原始图像的尺寸，以YOLOV3为例，输入图像的尺寸为416*416像素，特征图的尺寸仅为52*52,26*26,13*13像素。
在目标检测任务中，一个比较难的问题就是：小型目标因为他的特征比较难于用DNN网络提取，基于DNN的目标检测算法通常对小目标的检测成功率较低。因此一个非常直观的想法就是：将原始图片使用图像超分辨技术放大以后，使用放大的图片进行目标检测，小目标的尺寸因为得到放大，识别的概率可以进行提升。
已有最优的基于超分辨率的目标检测算法TDSR算法，即以目标检测驱动的超分辨率算法。在该算法中，使用了首先一个超分辨率网络，对需要进行检测的原始图像进行超分辨率处理，得到一个放大的图像。然后在该放大的图像下使用目标检测的DNN网络进行检测，最终可以检测到原图上较小的目标。
在神经网络系统中，有一个重要概念是神经网络训练，训练就是指使用损失函数工具来计算神经网络中的参数值。损失函数是衡量神经网络中的各个参数对神经网络输出结果的贡献。首先使用损失函数计算使用当前神经网络参数的输出结果的损失，然后根据损失值对神经网络参数进行一次增量的调整，并再次计算输出结果。以上操作循环多次进行，最终网络参数收敛到一个稳定的数值。以上过程称为训练。
TDSR网络的训练过程中，由于引入了超分辨率网络，需要修改基于目标检测结果的损失函数，来修订超分辨率网络的参数，也就是说，超分辨率的任务是为目标检测的正确率而设计的。
现有技术的缺点有两个。
一个是：对于目标检测网络而言，网络的计算速度是与输入图像的尺寸相关的，如果输入图像的边长增加1倍，则整个后面的目标检测DNN网络的计算量要增大可能更多倍。而且超分辨率本身的计算量也是非常大的。以YOLOV3为例，输入图像从320*320增大到608*608，图像尺寸增加了1倍不到，但是DNN网络计算量增加了接近4倍(38.97vs140.69TFLOPS)，因此提升原始图像的分辨率，付出的计算量代价非常大，对系统的实时性造成很大的影响。
该技术的第二个缺点是：由于DNN网络是使用经过运算处理后的特征图进行目标识别的，原图和特征图有一定的差距，因此提高原图的分辨率并不能显著提升系统识别物体的特征。因此，对原图进行超分辨率操作，对于提升DNN网络提取目标特征，检测目标的能力提升是有限的。
发明内容
本发明的目的在于提供一种基于图像超分辨的目标检测方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于图像超分辨的目标检测方法，包括以下步骤：
步骤1，将低分辨率原始图像送入目标检测网络，得到需要进行超分辨率的特征图；
步骤2，使用超分辨网络，将输出的特征图进行超分辨率，得到一个尺寸更大的特征图；
步骤3，将步骤2的特征图重新裁剪成若干个小区域，保证每个小区域与原来网络的目标框提取网络的尺寸一致，然后在每个小区域上进行目标框的搜索；
步骤4，将原有低分辨率图像对应的高分辨率原始图像送入到当前网络中，使用原有的去掉超分辨率工作的目标检测网络，得到一个通过步骤1-3后相同尺寸的特征图；然后将该特征图与步骤3得到的特征图作对比得到整个网络的损失函数。
进一步的，步骤1中，包括情况1：将高清晰的原图图像通过下采样得到原始图尺寸，送入目标检测网络，通过目标检测网络，得到特征图。
进一步的，使用梯度图或者使用残差网络的方式得到超分辨的特征图。
进一步的，步骤1中，包括情况2：将原始图像送入到两阶段目标检测网络中，通过第一阶段网络后得到该图的候选框区域；根据获得的候选框，计算该候选框区域在将原图中对应的图像区域，作为需要进行超分辨率的图像。
进一步的，如果找到多个候选框，分别提取多个候选框对应的图像区域，取并集的部分；可以使用一定的阈值条件进行筛选有效的候选框，如候选框大小，位置，候选框之间的重叠部分等。
进一步的，步骤4中，将该特征图与步骤3得到的特征图的一阶或者二阶损失作为超分辨率损失，将目标检测后的损失和该超分辨率损失联合作为整个网络的损失函数。
进一步的，步骤4中，低分辨率图像与高分辨率原始图像的分辨率倍数与步骤2的超分辨率网络放大倍数一致。
与现有技术相比，本发明有以下技术效果：
本发明通过对特征图，或者是对部分原始图使用超分辨率网络提高分辨率，进而提升整个网络的目标检测效率，这样降低了超分辨率的复杂度以及处理超分辨原始图的计算复杂度，提升了整个基于超分辨率的目标检测任务的实时性。
本发明针对特征图进行超分辨率，使得分辨率提升的特征更为接近目标检测的特征，能够提升目标检测的能力，而不是单纯的提升图像的分辨率。
附图说明
图1为现有目标检测网络示意图；
图2为改进的目标检测网络中超分辨率部分原图。
具体实施方式
以下结合附图对本发明进一步说明：
请参阅图1和图2，该方案使用超分辨率网络提升特征图的分辨率，而不是使用原始特征图的分辨率，将提升分辨率的特征图送给后面的目标框提取算法进行提取。因为使用了在特征图上进行超分辨率处理。需要对目标检测网络进行相应的处理，以使得其能够响应超分辨率后的更大的特征图上的目标框提取。
步骤1：将高清晰的原图(HR)图像通过下采样得到原始图尺寸，送入目标检测网络，通过目标检测网络，得到特征图。
以YOLOV3网络为例，将比如将1684*1684分辨率的图像下采样4倍，得到原始的416*416的图像，送入目标检测网络，网络输出的特征图的尺寸为13*13.
步骤2：使用超分辨网络，将输出的特征图进行超分辨率，得到一个尺寸更大的特征图。需要使用梯度图等方式得到超分辨的特征图。
步骤2a：可选的，步骤2可以使用残差网络的方式得到超分辨的特征图
以以YOLOV3网络为例，最后输出的特征图的尺寸为13*13，如果经过4倍超分辨率后，则得到52*52的特征图。
步骤3：将特征图重新裁剪成若干个小区域，保证每个小区域与原来网络的目标框提取网络的尺寸一致，然后在每个小区域上进行目标框的搜索，这样就保证了后续的目标检测网络不需要进行修改。
以YOLOV3网络为例，超分辨率得到了52*52的特征图后，将他裁剪成16块13*13的区域，然后将每个区域送入到原有的13*13目标框提取网络进行识别。
类比如果直接在原图进行超分辨率，则整个目标检测网络需要在1684*1684的图片上进行目标检测，计算量要远远大于当前的在52*52特征图上检测的难度。
步骤4：将高清的原图(HR)图像送入到当前网络中，使用相同的网络得到一个通过步骤1-3后相同尺寸的特征图。然后将该特征图与步骤3得到的特征图的差值作为超分辨率损失，将目标检测后的损失(如常见的分类损失和bbox损失)和该超分辨率损失一起进行处理(如加权平均等)作为整个网络的损失函数。
在双阶段目标检测网络(典型的Faster RCNN网络)中，由于使用两阶段特征提取的方式，在第一阶段提取可能存在目标的候选框，在第二阶段只对候选框区域进行目标检测，因此可以使用超分辨率网络对候选框区域进行超分辨率，这样不用对完整的特征图进行超分辨率，整体网络的速度会更快。
步骤1:将原始图像送入到两阶段目标检测网络中。通过第一阶段网络后得到该图的候选框区域。
以Fasterrcnn网络为例，原始图像经过骨干网络与RPN网络后，会输出若干个候选框区域。
步骤2：根据获得的候选框框，计算该候选框在将原图中对应位置的图像裁剪下来，作为需要进行超分辨率的图像。
步骤2a；如果找到多个候选框，则提取多个候选框取并集的部分。
步骤2b：可以使用一定的阈值条件进行筛选有效的候选框，如候选框大小，位置，候选框之间的重叠部分等。
步骤3-5：同方案1的步骤2-4，使用步骤2得到的裁剪后的原图作为后续输入的特征图。其中使用的目标检测DNN网络可以是步骤1中使用的双阶段目标检测网络，也可以是任何一个其他的目标检测网络。
在大部分情况下，步骤2不会发现候选框，这时整个超分辨网络也不会执行，不会对整个系统造成过多的负担。

Claims (8)

1.一种基于图像超分辨的目标检测方法，其特征在于，包括以下步骤：
步骤1，将低分辨率图像送入目标检测网络处理，得到第一特征图；
步骤2，使用超分辨网络，将所述第一特征图进行超分辨率，得到一个尺寸更大的第二特征图；
步骤3，将步骤2所述第二特征图重新裁剪成两个以上的小区域，保证每个所述小区域与所述目标检测网络的目标框提取网络的输出特征图的尺寸一致，然后在每个小区域上进行后续的目标处理；
步骤4，将高清图像送入到步骤1的目标检测网络中，得到一个所述第二特征图相同尺寸的第三特征图；然后将所述第三特征图与所述第二特征图进行比较作为所述目标检测网络的损失函数，并使用该损失函数用于所述目标检测网络的训练。
2.根据权利要求1所述的一种基于图像超分辨的目标检测方法，其特征在于，步骤1中，包括情况1：将高清晰的原图图像通过下采样缩小到将原始图尺寸，送入目标检测网络，通过目标检测网络，得到所述第一特征图。
3.根据权利要求1所述的一种基于图像超分辨的目标检测方法，其特征在于，使用梯度图或者使用残差网络的方式得到超分辨的特征图。
4.根据权利要求1所述的一种基于图像超分辨的目标检测方法，其特征在于，步骤4中，将该特征图与步骤3得到的特征图的差值作为超分辨率损失，将目标检测后的目标检测损失和该超分辨率损失进行组合，作为整个网络的损失函数。
5.根据权利要求1所述的一种基于图像超分辨的目标检测方法，其特征在于，步骤1中，所述目标检测网络为两阶段目标检测网络，所述目标检测网络通过第一阶段网络后得到一个或者多个候选框区域；根据所述候选框域计算出原图中对应图像区域，将所述图像区域作为步骤2中需要进行超分辨率的特征图。
6.根据权利要求5所述的一种基于图像超分辨的目标检测方法，其特征在于，如果找到多于一个候选框区域，则将多个候选框分别计算得到的图像区域的并集作为特征图。
7.根据权利要求5所述的一种基于图像超分辨的目标检测方法，其特征在于，使用一定的阈值条件进行筛选有效的候选框，如候选框大小，位置，候选框之间的重叠部分。
8.根据权利要求5所述的一种基于图像超分辨的目标检测方法，其特征在于，得到的裁剪后的候选框对应的图像区域后，使用原有的目标检测网络，或使用任何一个其他目标检测网络进行后续的目标检测。
CN202011470434.XA 2020-12-14 2020-12-14 一种基于图像超分辨的目标检测方法 Pending CN112508787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011470434.XA CN112508787A (zh) 2020-12-14 2020-12-14 一种基于图像超分辨的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011470434.XA CN112508787A (zh) 2020-12-14 2020-12-14 一种基于图像超分辨的目标检测方法

Publications (1)

Publication Number Publication Date
CN112508787A true CN112508787A (zh) 2021-03-16

Family

ID=74973172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011470434.XA Pending CN112508787A (zh) 2020-12-14 2020-12-14 一种基于图像超分辨的目标检测方法

Country Status (1)

Country Link
CN (1) CN112508787A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866692A (zh) * 2022-04-19 2022-08-05 合肥富煌君达高科信息技术有限公司 一种大分辨率监控相机的图像输出方法及系统
CN115376022A (zh) * 2022-06-30 2022-11-22 广东工业大学 基于神经网络的小目标检测算法在无人机航拍中的应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866692A (zh) * 2022-04-19 2022-08-05 合肥富煌君达高科信息技术有限公司 一种大分辨率监控相机的图像输出方法及系统
CN115376022A (zh) * 2022-06-30 2022-11-22 广东工业大学 基于神经网络的小目标检测算法在无人机航拍中的应用
CN115376022B (zh) * 2022-06-30 2024-04-05 广东工业大学 基于神经网络的小目标检测算法在无人机航拍中的应用

Similar Documents

Publication Publication Date Title
CN108304808B (zh) 一种基于时空信息与深度网络的监控视频对象检测方法
TWI223212B (en) Generalized text localization in images
US6473522B1 (en) Estimating text color and segmentation of images
US20180232857A1 (en) Method and device for super-resolution image reconstruction based on dictionary matching
CN105590319A (zh) 一种深度学习的图像显著性区域检测方法
CN112508787A (zh) 一种基于图像超分辨的目标检测方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN112819837B (zh) 一种基于多源异构遥感影像的语义分割方法
US20230127009A1 (en) Joint objects image signal processing in temporal domain
CN113610087B (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
Babbar et al. A new approach for vehicle number plate detection
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN113591831A (zh) 一种基于深度学习的字体识别方法、系统及存储介质
WO2008066217A1 (en) Face recognition method by image enhancement
CN111401368A (zh) 一种基于深度学习的新闻视频标题提取方法
CN111079516B (zh) 基于深度神经网络的行人步态分割方法
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
US6983071B2 (en) Character segmentation device, character segmentation method used thereby, and program therefor
CN112418123B (zh) 一种基于Hough变换的工程图图线及线型识别的方法
CN113657225B (zh) 一种目标检测方法
CN110705568B (zh) 一种图像特征点提取的优化方法
CN107609595B (zh) 一种线裁剪图像检测方法
CN112364835A (zh) 视频信息取帧方法、装置、设备及存储介质
CN111931689B (zh) 一种在线提取视频卫星数据鉴别特征的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination