CN113901928A - 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 - Google Patents

一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 Download PDF

Info

Publication number
CN113901928A
CN113901928A CN202111190329.5A CN202111190329A CN113901928A CN 113901928 A CN113901928 A CN 113901928A CN 202111190329 A CN202111190329 A CN 202111190329A CN 113901928 A CN113901928 A CN 113901928A
Authority
CN
China
Prior art keywords
image
network
hyper
target detection
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111190329.5A
Other languages
English (en)
Inventor
胡建文
陈怀
樊绍胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202111190329.5A priority Critical patent/CN113901928A/zh
Publication of CN113901928A publication Critical patent/CN113901928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统，该方法将输入的待检测图像送至动态超分模块；动态超分模块由动态路径选择网络以及两个不同类型的超分网络组成，动态路径选择网络根据输入图像的特征自适应地选择超分网络；超分网络对输入图像进行图像超分处理后送至目标检测模块得到目标检测结果，本发明所述方法使用动态超分辨率方法提高了低分辨率输入图像及小目标的检测性能，且检测速度快，能够达到实时检测的要求，尤其是将其应用于无人机输电线路巡检过程中，可以促进无人机巡检代替人工巡检输电线路，实用价值较高。

Description

一种基于动态超分辨率的目标检测方法、输电线路部件检测 方法及系统
技术领域
本发明属于图像目标检测领域，具体涉及一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统。
背景技术
输电线路是电力系统必不可少的一部分，在我国有大量的输电线路都是架设在荒山野岭等条件恶劣的地方，容易受到各种外界条件影响，而输电线路部件一旦因外界影响而损坏，势必造成大面积用户停电，给人民生活和工业生产带来极大的影响。因此，输电线路部件的日常巡检对于整个电网的稳定运行至关重要。传统人工巡检会耗费大量的人力、物力、财力，且准确率容易因工作人员经验以及能力差异存在着误差。随着电网的迅速发展，人工巡检的工作量将越来越大，然而在一些极端恶劣的条件下，人工巡检不仅不能保证工作及时性，而且还存在很大的安全风险。自动的输电线路部件检测，不仅可以节省大量的人力资源，还可以大幅提升巡检的速度与准确率。因此，具有自动检测识别能力机器人巡检和无人机巡检代替传统人工巡检势在必行，探索合适的输电线路部件自动检测算法对保障整个电网的平稳运行具有重要意义。
随着深度学习和机器视觉技术的日益发展，越来越多的学者将基于图像处理的目标检测技术应用到输电线路巡检过程中，大多数方法在高分辨率输入图像上能够获得较好的性能，然而在机器人巡检和无人机巡检过程中，由于设备与输电线路必须保持一定安全距离，且部分输电线路部件本身较小，所以拍摄的图像分辨率较低、目标较小，难以检测。图像超分辨率网络(超分网络)是将低分辨率图像重建生成相应的高分辨率图像，但是每幅图像的特征不同，而对于不同特征的图像，采用相同的超分网络达不到很好的检测效果。
同理，针对其他应用领域，低分辨率图像或小目标图像的目标检测同样面临上述问题，因此，本发明提出一种基于动态超分辨率的目标检测方法予以克服。
发明内容
本发明的目的是针对图像分辨率过低、检测目标过小而导致目标检测效果不佳的问题，如输电线路部件检测应用场景下，无人机输电线路巡检过程中拍摄图像中目标较小，目标分辨率较低，难以准确完成部件检测的问题，提供一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统。所述方法将图像超分辨率引入模型中，并使用动态超分辨方法自适应选择合适的超分网络，提升输入图像的质量，提高了低分辨率输入图像及小目标的检测性能。
一方面，本发明提供的一种基于动态超分辨率的目标检测方法，包括以下步骤：
步骤1：将待检测图像输送至动态超分模块自适应选择超分网络并进行图像超分处理；
其中，所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络；
步骤2：将超分网络输出的图像输入训练好的目标检测模块得到目标检测结果；
所述目标检测模块的输入数据为图像，输出数据为图像上的目标检测结果。
本发明所述目标检测方法既在低分辨率图像的目标检测精度上表现突出，也在图像中小目标检测上表现突出，因此，本发明所述方法既可以适用于低分辨率图像，也可以应用于高分辨率的小目标图像，或者因图像分辨率低、目标过小导致目标检测精度不高的任意图像的目标检测上。其中，低分辨率以及小目标的划分标准是以本领域的行业标准、试验效果来确定的，本发明对此不进行具体的限定。只要是用于解决因图像分辨率低、目标过小导致目标检测精度不高的问题，并未脱离本发明构思的技术方案均属于本发明的保护范围。
第二方面，本发明提供一种基于动态超分辨率的输电线路部件检测方法，包括以下步骤：
步骤1：将输电线路图像输送至动态超分模块自适应选择超分网络并进行图像超分处理；
其中，所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络；
步骤2：将超分网络输出的图像输入训练好的目标检测模块得到所述输电线路图像上的部件检测结果；
所述目标检测模块的输入数据为图像，输出数据为图像上的目标检测结果。
可选地，所述动态超分模块中设有两个超分网络，一个超分网络为RFDN网络(Residual Feature Distillation Network for Lightweight Image Super-Resolution)，另一个超分网络为SRCNN网络(Super-Resolution Convolutional NeuralNetwork)。
其中，RFDN网络使用浅层残差块，通过多个特征蒸馏连接来学习更具有代表性的特征，能够同时兼顾上下文信息，而浅层残差块的使用，不会引入额外参数量，因此，网络在足够轻量化的同时，依然能够得非常好的超分效果。
SRCNN网络是深度学习图像超分辨率开山之作，虽然SRCNN结构简单，仅仅使用了三个卷积层，但是其效果好于传统图像超分辨率方法。SRCNN首先使用双三次插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。SRCNN在特征提取、非线性映射和图像重建阶段使用9×9、1×1、5×5的卷积核，两种较大卷积核能够获得较大的感受野。尽管SRCNN结构非常简单，仅仅使用了三层卷积层，但其超分辨率效果较传统方法仍然有较大提升。
可选地，所述动态超分模块和所述目标检测模块构成了目标检测网络，所述目标检测网络的训练过程分为预训练以及精调；
所述预训练过程为：
(1)收集原始图像以及对所述原始图像上的检测目标进行标注，进而构建出目标检测数据集，再利用所述目标检测数据集预训练目标检测模块的网络；
其中，将所述目标检测数据集的原始图像进行下采样得到下采样的图像；
(2)将步骤(1)中下采样后的图像输入预训练后的目标检测模块进行检测，其中，依据检测结果的置信度对所述图像进行分类；
(3)使用步骤(2)中分类图像预训练所述动态超分模块中的动态路径选择网络；
其中，设定分类图像的类别与超分网络类别的对应关系，所述动态路径选择网络的输入数据为图像，输出数据是每个超分网络的选择概率或选择结果；
(4)使用超分数据集预训练所述动态超分模块中的每个超分网络，其中，基于预设的超分倍数，所述超分网络采用超分数据集进行预训练得到超分网络的超分权重；
精调过程为：
基于训练后的目标检测模块和动态超分模块，并利用步骤(1)中下采样后的图像数据集或与所述待检测图像为同一类别的训练图像数据集、损失函数对所述目标检测网络进行精调得到基于动态超分辨率的目标检测模型。
在一些应用场景中，针对当前应用对象，获取高分辨率的原始图像，并先进行预训练再利用原始图像下采样后的图像进行精调，其中，原始图像下采样后，分辨率降低得到低分辨率图像或者是分辨率降低后的小目标图像。
在一些应用场景中，针对当前应用对象，直接利用其他应用对象的目标检测模型进行精调，得到适用于当前应用对象的目标检测模型；精调过程是以当前应用对象的训练图像数据集进行的。
可选地，精调过程采用复合损失函数进行训练，所述复合损失函数如下所示：
Figure BDA0003300838750000031
式中，Loss表示复合损失值，LossSR代表动态超分模块损失，LossDet代表目标检测模块损失，α和β均为权重系数；
其中，所述动态超分模块损失采用MSE(Mean Square Error，均方误差)损失函数，所述目标检测模块损失由锚框回归损失、分类损失以及置信度损失构成。
MSE损失计算公式如下所示，X(i,j,m)，Y(i,j,m)分别表示参考图像和网络输出图像，其中(i,j)(i＝1,2,...,H；j＝1,2,...,W)表示像素点坐标，W为图的宽度，H为图的高度，m(m＝1,2,...,B)表示当前通道，B为通道数量；
Figure BDA0003300838750000041
所述目标检测模块损失如下：
LossDet＝Lossbox+Losscl+Losscf
式中，Lossbox为锚框回归损失GIoU。锚框回归损失GIoU不仅考虑了预测框和真实框的重合度，还考虑两者之间的距离，在训练过程中能够使预测框越来越接近真实框，所以在YOLOv5中，使用了GIoU损失函数优化锚框回归过程，其定义如下所示，
Figure BDA0003300838750000042
其中，Ac是包含真实框和预测框的最小的矩形区域，U是真实框与预测框的并集；IoU为真实框和预测框的交并比，其定义如下所示：
Figure BDA0003300838750000043
其中，A、B分别表示真实框和预测框。
其中，Losscl和Losscf分别代表目标分类损失与置信度损失，这两个损失均使用逻辑交叉熵损失函数，逻辑交叉熵损失函数是将Sigmoid函数与交叉熵损失函数相结合，将两步合成一步。
可选地，所述动态路径选择网络由卷积层、平均池化层、全连接层以及Softmax层组成，所述动态路径选择网络输出每个超分网络的选择概率。
如动态路径选择网络由五个负责提取特征的卷积层，一个平均池化层，一个全连接层以及一个负责输出预测概率的Softmax层组成。第一个卷积层卷积核为4×4，步长为4，后面四个是1×1的卷积核，步长为1。动态路径选择网络根据输入图像的特征判断其在两个超分网络后能够得到最好检测效果的概率p1和p2，若p1大于p2，则将该图像输送至超分网络1，反之则将输入图像输送至超分网络2。动态路径选择网络能够根据输入图像的特征自适应的选择更合适的超分辨率网络。
可选地，所述目标检测模块是基于YOLOv5构建的目标检测模型，所述YOLOv5至少包括主干网络、颈部网络以及预测网络。
如在输入端使用Mosaic数据增强方式对输入图像进行了随机旋转、随机平移、随机排布等操作，将4张图拼接成1张图。同时，使用了自适应锚框运算，能够自动计算最合适的锚框大小。图像完成预处理操作后，会输送至主干网络中进行特征提取。
主干网络主要包括Focus切片操作、CBL模块、CSP模块以及SPP模块组合而成。Focus操作先将输入图像切分为4个相同大小的特征层，然后将这四个特征层拼接后再经过一个CBL模块，输出尺寸为原输入图像的一半。CBL为卷积、批量归一化以及Leaky Relu组成的模块。CSP结构共有两种，两种CSP结构相似，第二种只是将第一种当中的残差模块替换成了CBL模块。经过主干特征网络提取的特征，会被送入颈部网络中，颈部网络借鉴了FPN和PANet结构，加强了信息传播，能够保留更多有用的空间信息。预测阶段，将颈部网络输出的三个不同大小的特征层经过1×1的卷积，输出三个分别为检测网络输入图像下采样8倍、16倍和32倍的特征图，这三个不同大小的特征图分别负责预测小、中、大目标。
第三方面，本发明提供一种基于上述目标检测方法的系统，其至少包括：图像获取模块、动态超分模块以及目标检测模块；
其中，所述图像获取模块用于获取待检测图像；
所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络进行图像超分处理；
所述目标检测模块用于对超分网络输出的图像进行检测得到目标检测结果。
第四方面，本发明提供一种终端，其包括：一个或多个处理器，以及存储了一个或多个计算机程序的存储器；
其中，所述处理器调用所述计算机程序以执行：
一种基于动态超分辨率的目标检测方法的步骤或者一种基于动态超分辨率的输电线路部件检测方法的步骤。
第五方面，本发明提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以执行：
一种基于动态超分辨率的目标检测方法的步骤或者一种基于动态超分辨率的输电线路部件检测方法的步骤。
有益效果
1.本发明提供的一种基于动态超分辨率的目标检测方法、输电线路部件检测方法，其引入了超分网络，并利用动态路径选择网络自适应选择更为合适的超分网络，提高了低分辨率输入图像及小目标的检测性能，且检测速度快，能够达到实时检测的要求，有效解决了因图像分辨率过低、检测目标过小而导致目标检测效果不佳的问题。尤其是将其应用于输电线路部件检测，适用于无人机输电线路巡检过程拍摄的图像，促使无人机巡检代替人工巡检输电线路，实用价值较高。
2.本发明提供的基于动态超分辨率的目标检测算法，其设置了两个或两个以上的超分网络。如本发明优选方案中设置了RFDN和SRCNN两个超分网络，其中，SRCNN虽然结构简单，但SRCNN使用了较大的卷积核，感受野更大，可以获得较好的边缘特征。RFDN采用特征蒸馏链接和浅层残差块，能够同时兼顾上下文信息，且相较于SRCNN所使用的预上采样模式，RFDN使用的后上采样模式能够大幅减少网络计算量。为了结合两个超分网络的优点，本发明提出动态路径选择网络，通过动态路径选择网络学习输入图像的特征，能够自适应地选择最合适的超分网络，从而达到最佳的超分效果，提升后续检测模块的性能。
附图说明
图1为本发明中目标检测网络的训练流程示意图；
图2为本发明实例所述方法网络结构图；
图3为本发明实例所述方法中目标检测模块结构图。
具体实施方式
本发明提供的一种基于动态超分辨率的目标检测方法，除输电线路部件检测应用领域，还适用于解决其他领域因图像分辨率过低、检测目标过小而导致目标检测效果不佳的问题。本发明提供的一种基于动态超分辨率的输电线路部件检测方法，是针对输电线路应用领域，尤其适用于无人机巡检过程拍摄的图像。本发明所指代低分辨率的图像、小目标是依据行业标准进行划分、试验效果来确定的，本发明对并不进行具体的限定。本发明的核心思想是针对图像分辨率问题、目标过小导致目标检测精度不高的问题，通过动态超分辨方法自适应选择合适的超分网络，提升图像质量，提高检测精度，因此，在不脱离本发明构思基础上，用于解决因图像分辨率过低、检测目标过小而导致目标检测效果不佳的问题的任意分辨率图像的目标检测技术、任意尺寸目标的目标检测技术均落入本发明的保护范围。下面将结合附图和实施例对本发明做进一步的说明。
实施例1：
本实施例提供一种基于动态超分辨率的输电线路部件检测方法，其应用于输电线路部件检测。在实际应用过程，其包括如下步骤：
步骤1：将输电线路图像输送至动态超分模块自适应选择超分网络并进行图像超分处理；
步骤2：将超分网络输出的图像输入训练好的目标检测模块得到所述输电线路图像上的部件检测结果。
其中，本发明目标检测网络由动态超分模块和目标检测模块两部分构成，动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络。本实施例中设置两个超分网络。
本实施例中的动态路径选择网络由五个负责提取特征的卷积层，一个平均池化层，一个全连接层以及一个负责输出预测概率的Softmax层组成。第一个卷积层卷积核为4×4，步长为4，后面四个是1×1的卷积核，步长为1。动态路径选择网络根据输入图像的特征判断其在两个超分网络后能够得到最好检测效果的概率p1和p2，若p1大于p2，则将该图像输送至超分网络1，反之则将输入图像输送至超分网络2。动态路径选择网络能够根据输入图像的特征自适应的选择更合适的超分辨率网络。
应当理解，其他可行的实施例中，若超分网络的数量超过2个，则对应概率与超分网络的划分标准进行调整，以训练阶段设置的训练规则为准。此外，动态路径选择网络中卷积层的数量、尺寸、大小均可以根据实际应用环境以及效果进行设置，并不局限于上述实例。
超分网络的目的在于：将输入图像的尺寸乘以超分倍数得到高分辨率图像结果，再输送至目标检测模块。
目标检测模块的目的在于：从输入图像中得到目标检测结果。本实施例中选择YOLOv5算法，YOLOv5网络结构如图3所述。在输入端使用Mosaic数据增强方式对输入图像进行了随机旋转、随机平移、随机排布等操作，将4张图拼接成1张图。同时，使用了自适应锚框运算，能够自动计算最合适的锚框大小。图像完成预处理操作后，会输送至主干网络中进行特征提取。
主干网络主要包括Focus切片操作、CBL模块、CSP模块以及SPP模块组合而成。Focus操作先将输入图像切分为4个相同大小的特征层，然后将这四个特征层拼接后再经过一个CBL模块，输出尺寸为原输入图像的一半。CBL为卷积、批量归一化以及Leaky Relu组成的模块。CSP结构共有两种，两种CSP结构相似，第二种只是将第一种当中的残差模块替换成了CBL模块。经过主干特征网络提取的特征，会被送入颈部网络中，颈部网络借鉴了FPN和PANet结构，加强了信息传播，能够保留更多有用的空间信息。预测阶段，将颈部网络输出的三个不同大小的特征层经过1×1的卷积，输出三个分别为检测网络输入图像下采样8倍、16倍和32倍的特征图，这三个不同大小的特征图分别负责预测小、中、大目标。
应当理解，在其他可行的实施例中，对网络结构进行适应性调整也是属于本发明的保护范围，且本发明也不局限于YOLOv5网络结构来实现目标检测。
基于上述逻辑，在实际应用中时，需要先训练好动态超分模块和目标检测模块，即训练目标检测网络得到基于动态超分辨率的目标检测模型，训练过程如下：
(1.0)制作输电线路部件检测数据集。
收集输电线路巡检图像以及对输电线路巡检图像上的检测目标进行标注，进而构建出目标检测数据集，本实施例中，将目标检测数据集划分为训练集和测试集。
其中，收集无人机采集的输电线路巡检图像或者其他方式获取的输电线路巡检图像，收集的巡检图像的分辨率高于本领域常规所述的低分辨率巡检图像。再对采集的图像进行筛选，丢弃不包含输电线路部件的图像。若所采集到的数据较少，可采用对图像旋转、平移、水平翻转等数据增广方式拓展数据集数量。对包含输电线路部件的图像使用Labelme软件对输电线路部件标注。标注完成后分配训练集和测试集，完成输电线路部件检测数据集制作。
(2.0)利用所述数据集预训练目标检测模块(YOLOv5)的网络。
本实施例使用步骤(1.0)制作的数据集训练YOLOv5。训练过程的输入数据是输电线路部件检测数据集，输电线路部件检测数据集包括图像及其检测目标的标注信息，训练后的目标检测模块(YOLOv5)的输入数据是输电线路巡检图像，输出结果是图像中目标检测结果。
(3.0)制作训练动态路径选择网络的数据集。
利用预训练的所述目标检测模块对低分辨率图像进行检测，基于置信度将低分辨率图像进行分类；
低分辨率图像是通过对步骤(1)的输电线路巡检图像进行下采样得到。本实施例中针对两个超分网络，将检测结果中置信度低于0.75的图像分为一类A，其余图像分为另一类B。
(4.0)使用步骤(3.0)的数据集预训练所述动态超分模块中的动态路径选择网络，得到预训练权重。
训练过程中，将置信度预测分数低于0.75的一类图像A，设为RFDN处理；将置信度预测分数大于或等于0.75的一类图像B，设为SRCNN处理，即使用这两类数据构成的数据集预训练动态路径选择网络。
(5.0)使用DIV-2K数据集预训练每个超分网络。
其中，基于预设的超分倍数，所述超分网络采用DIV-2K数据集进行预训练得到超分网络的超分权重。DIV-2K数据集为本领域超分常用的数据集，故对其不进行具体的说明。
至此，动态超分模块中的动态路径选择网络和超分网络的预训练、以及目标检测模块的预训练得以完成，得到预训练的目标检测网络。
(6.0)精调整体网络模型。
基于预训练的目标检测网络，并利用低分辨率图像及检测目标的标注信息以及复合损失函数对所述目标检测网络进行精调得到基于动态超分辨率的目标检测模型。其他可行的实施例中，可以对损失函数进行调整。
(7.0)利用测试集测试步骤(6.0)中基于动态超分辨率的目标检测模型。
应当理解，针对不同应用对象，可以按照上述方式进行预训练以及精调；也可以选择引入其他应用对象已训练的目标检测模型进行精调，得到适用于当前应用对象的目标检测模型，本发明对此不进行具体的限定。
实施例2：
与实施例1类似，本实施例的差别在于：并不局限于输电线路应用，面临相同问题的目标检测应用领域也适用于下述方法，即针对其他领域因图像分辨率过低、检测目标过小而导致目标检测效果不佳的问题，本实施例提供的一种基于动态超分辨率的目标检测方法，包括以下步骤：
步骤1：将待检测图像输送至动态超分模块自适应选择超分网络并进行图像超分处理；
其中，所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络；
步骤2：将超分网络输出的图像输入训练好的目标检测模块得到目标检测结果；
所述目标检测模块的输入数据为图像，输出数据为图像上的目标检测结果。
其中，目标检测网络的训练过程可以参照前述实施例1的陈述，两者是相同的。
实施例3：
本实施例提供一种基于上述目标检测方法的系统，其至少包括：图像获取模块、动态超分模块以及目标检测模块。
其中，所述图像获取模块用于获取低分辨率图像。在硬件实现上，图像获取模块可以视为相机、摄像头等设备。
所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络进行图像处理；
所述目标检测模块用于对超分网络输出的图像进行检测得到目标检测结果。
在一些可行的方式中，导入系统的动态超分模块以及目标检测模块是已经训练好的，在另一些可行的方式中，动态超分模块以及目标检测模块是在系统中进行训练的，从而该系统还包括：训练模块，其中，所述训练模块用于训练目标检测网络得到基于动态超分辨率的目标检测模型。
其中，训练模块包括：数据集获取单元、目标检测模块的预训练单元、动态路径选择网络的预训练单元、超分网络的预训练单元和精调单元；或者训练模块包括：数据集及目标检测模型获取单元和精调单元。
一种可行的方式中，数据集获取单元用于构建数据集，所述数据集由图像以及对所述图像上检测目标的标注信息构成。目标检测模块的预训练单元利用所述数据集预训练目标检测模块的网络。其中，预训练后的所述目标检测模块对低分辨率图像进行检测得到检测结果，低分辨率图像是通过对数据集中图像进行下采样得到的。动态路径选择网络的预训练单元，用于根据检测结果中的置信度将低分辨率图像进行分类；并利用分类后的数据训练所述动态超分模块中的动态路径选择网络。超分网络的预训练单元，用于使用超分数据集预训练每个超分网络，如使用DIV-2K数据集。精调单元用于基于预训练的目标检测模块和动态超分模块，利用下采样后的图像并采用损失函数训练所述目标检测网络得到基于动态超分辨率的目标检测模型。
另一种可行的方式中，数据集获取单元用于构建数据集，所述数据集由图像以及对所述图像上检测目标的标注信息构成；还用于获取已训练的目标检测模型；精调单元用于基于已训练的目标检测模型，利用数据集数据并采用损失函数训练所述目标检测网络得到基于动态超分辨率的目标检测模型。
应当理解，上述单元模块的具体实现过程参照方法内容，本发明在此不进行具体的赘述，且上述功能模块单元的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例4：
本实施例提供一种终端，其包括：一个或多个处理器，以及存储了一个或多个计算机程序的存储器；
其中，所述处理器调用所述计算机程序以执行：
一种基于动态超分辨率的目标检测方法的步骤或者一种基于动态超分辨率的输电线路部件检测方法的步骤。具体实现过程可以参照实施例1和实施例2。
还应当说明的是，目标检测网络的训练过程可以是在所述终端实现，也可以是将已经训练好的目标检测网络导入所述终端。
该终端还包括：通信接口，用于与外界设备进行通信，进行数据交互传输。
其中，存储器可能包含高速RAM存储器，也可能还包括非易失性除颤器，例如至少一个磁盘存储器。
如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构总线，外部设备互联总线或扩展工业标准体系结构总线等。所述总线可以分为地址总线、数据总线、控制总线等。
可选的，在具体实现上，如果存储器、处理器和通信接口集成在一块芯片上，则存储器、处理器即通信接口可以通过内部接口完成相互之间的通信。
各个步骤的具体实现过程请参照前述方法的阐述。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、图形处理器(Graphics Processing Unit,GPU)等。通用处理器可以是微处理器，也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例5：
本实施例提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以执行：
一种基于动态超分辨率的目标检测方法的步骤或者一种基于动态超分辨率的输电线路部件检测方法的步骤。具体实现过程可以参照实施例1和实施例2。
还应当说明的是，目标检测网络的训练过程的计算机程序，可以载入所述可读存储介质中，也可以是将已经训练好的目标检测网络导入所述可读存储介质。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (10)

1.一种基于动态超分辨率的目标检测方法，其特征在于：包括以下步骤：
步骤1：将待检测图像输送至动态超分模块自适应选择超分网络并进行图像超分处理；
其中，所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络；
步骤2：将超分网络输出的图像输入训练好的目标检测模块得到目标检测结果；
所述目标检测模块的输入数据为图像，输出数据为图像上的目标检测结果。
2.一种基于动态超分辨率的输电线路部件检测方法，其特征在于：包括以下步骤：
步骤1：将输电线路图像输送至动态超分模块自适应选择超分网络并进行图像超分处理；
其中，所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络；
步骤2：将超分网络输出的图像输入训练好的目标检测模块得到所述输电线路图像上的部件检测结果；
所述目标检测模块的输入数据为图像，输出数据为图像上的目标检测结果。
3.根据权利要求1或2所述的方法，其特征在于：所述动态超分模块中设有两个超分网络，一个超分网络为RFDN网络，另一个超分网络为SRCNN网络。
4.根据权利要求1或2所述的方法，其特征在于：所述动态超分模块和所述目标检测模块构成了目标检测网络，所述目标检测网络的训练过程分为预训练以及精调；
所述预训练过程为：
(1)收集原始图像以及对所述原始图像上的检测目标进行标注，进而构建出目标检测数据集，再利用所述目标检测数据集预训练目标检测模块的网络；
其中，将所述目标检测数据集的原始图像进行下采样得到下采样的图像；
(2)将步骤(1)中下采样后的图像输入预训练后的目标检测模块进行检测，其中，依据检测结果的置信度对所述图像进行分类；
(3)使用步骤(2)中分类图像预训练所述动态超分模块中的动态路径选择网络；
其中，设定分类图像的类别与超分网络类别的对应关系，所述动态路径选择网络的输入数据为图像，输出数据是每个超分网络的选择概率或选择结果；
(4)使用超分数据集预训练所述动态超分模块中的每个超分网络，其中，基于预设的超分倍数，所述超分网络采用超分数据集进行预训练得到超分网络的超分权重；
精调过程为：
基于训练后的目标检测模块和动态超分模块，并利用步骤(1)中下采样后的图像数据集或与所述待检测图像为同一类别的训练图像数据集、损失函数对所述目标检测网络进行精调得到基于动态超分辨率的目标检测模型。
5.根据权利要求4所述的方法，其特征在于：精调过程采用复合损失函数进行训练，所述复合损失函数如下所示：
Figure FDA0003300838740000021
式中，Loss表示复合损失值，LossSR代表动态超分模块损失，LossDet代表目标检测模块损失，α和β均为权重系数；
其中，所述动态超分模块损失采用均方误差损失函数，所述目标检测模块损失由锚框回归损失、分类损失以及置信度损失构成。
6.根据权利要求1或2所述的方法，其特征在于：所述动态路径选择网络由卷积层、平均池化层、全连接层以及Softmax层组成，所述动态路径选择网络输出每个超分网络的选择概率。
7.根据权利要求1或2所述的方法，其特征在于：所述目标检测模块是基于YOLOv5构建的目标检测模型，所述YOLOv5至少包括主干网络、颈部网络以及预测网络。
8.一种基于权利要求1或2所述目标检测方法的系统，其特征在于：至少包括：图像获取模块、动态超分模块以及目标检测模块；
其中，所述图像获取模块用于获取待检测图像；
所述动态超分模块包括动态路径选择网络以及至少两个不同类型的超分网络，所述动态路径选择网络根据输入图像的特征自适应选择超分网络进行图像超分处理；
所述目标检测模块用于对超分网络输出的图像进行检测得到目标检测结果。
9.一种终端，其特征在于：包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用所述计算机程序以执行：
权利要求1所述的目标检测方法的步骤或者权利要求2所述的输电线路部件检测方法的步骤。
10.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以执行：
权利要求1所述的目标检测方法的步骤或者权利要求2所述的输电线路部件检测方法的步骤。
CN202111190329.5A 2021-10-13 2021-10-13 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 Pending CN113901928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111190329.5A CN113901928A (zh) 2021-10-13 2021-10-13 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111190329.5A CN113901928A (zh) 2021-10-13 2021-10-13 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统

Publications (1)

Publication Number Publication Date
CN113901928A true CN113901928A (zh) 2022-01-07

Family

ID=79191649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111190329.5A Pending CN113901928A (zh) 2021-10-13 2021-10-13 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统

Country Status (1)

Country Link
CN (1) CN113901928A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071238A (zh) * 2023-03-06 2023-05-05 武汉人工智能研究院 图像超分处理方法、装置、电子设备及存储介质
CN117197756A (zh) * 2023-11-03 2023-12-08 深圳金三立视频科技股份有限公司 隐患区域入侵检测方法、装置、设备和存储介质
WO2024109902A1 (zh) * 2022-11-25 2024-05-30 中国科学院深圳先进技术研究院 一种基于视频超分辨率的多目标识别方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024109902A1 (zh) * 2022-11-25 2024-05-30 中国科学院深圳先进技术研究院 一种基于视频超分辨率的多目标识别方法和装置
CN116071238A (zh) * 2023-03-06 2023-05-05 武汉人工智能研究院 图像超分处理方法、装置、电子设备及存储介质
CN117197756A (zh) * 2023-11-03 2023-12-08 深圳金三立视频科技股份有限公司 隐患区域入侵检测方法、装置、设备和存储介质
CN117197756B (zh) * 2023-11-03 2024-02-27 深圳金三立视频科技股份有限公司 隐患区域入侵检测方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN113591795B (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
Ke et al. Mdanet: Multi-modal deep aggregation network for depth completion
CN114677357A (zh) 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN114373110A (zh) 对输入图像进行目标检测的检测方法、设备及其相关产品
CN111832508A (zh) 基于die_ga的低照度目标检测方法
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
Li et al. An improved method for underwater image super-resolution and enhancement
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN115439738A (zh) 一种基于自监督协同重构的水下目标检测方法
CN111950586B (zh) 一种引入双向注意力的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination