CN112633340A - 目标检测模型训练、检测方法、设备及存储介质 - Google Patents

目标检测模型训练、检测方法、设备及存储介质 Download PDF

Info

Publication number
CN112633340A
CN112633340A CN202011475085.0A CN202011475085A CN112633340A CN 112633340 A CN112633340 A CN 112633340A CN 202011475085 A CN202011475085 A CN 202011475085A CN 112633340 A CN112633340 A CN 112633340A
Authority
CN
China
Prior art keywords
target
detection model
filter
filters
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011475085.0A
Other languages
English (en)
Other versions
CN112633340B (zh
Inventor
王翔宇
潘武
张小锋
黄鹏
林封笑
胡彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011475085.0A priority Critical patent/CN112633340B/zh
Publication of CN112633340A publication Critical patent/CN112633340A/zh
Application granted granted Critical
Publication of CN112633340B publication Critical patent/CN112633340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请目标检测模型训练、检测方法、设备及存储介质，其中，目标检测模型训练方法包括：获取训练图像，对其中的样本目标进行标注；将训练图像输入目标检测模型，以获取训练图像的预测目标；其中，目标检测模型包括主干网络，主干网络包括若干个卷积层，每个卷积层包括若干个滤波器组，每各滤波器组包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，同个滤波器组的滤波器间共享权值；以预测目标与样本目标差异最小化为目标，及每个滤波器组的滤波器间的余弦相似性最小化为目标，训练目标检测模型。从而同组滤波器共享相同参数，减少不相关的滤波器的数量，有效减少目标检测模型的参数数量，同时保证特征提取的有效性和目标检测的精确性。

Description

目标检测模型训练、检测方法、设备及存储介质
技术领域
本申请属于目标检测技术领域，具体涉及目标检测模型训练、检测方法、设备及存储介质。
背景技术
图像的目标检测是计算机视觉经典四个任务中的一个，与目标识别不同，其需要检测出同一图片中存在的多个目标。由于该类算法的复杂性，需要神经网络模型包含大量可训练参数，才能达到较好的检测效果，因此神经网络模型效率低；而现有减少参数数量的方法会导致神经网络模型的检测精度降低。
因此，如何减少神经网络模型的参数数量及模型体积，同时保证神经网络的检测精确度是亟待解决的问题。
发明内容
本申请提供目标检测模型训练、检测方法、设备及存储介质，以解决神经网络模型参数数量大的技术问题。
为解决上述技术问题，本申请采用的一个技术方案是：一种目标检测模型训练方法，所述方法包括：获取训练图像，并处理所述训练图像，以对所述训练图像中的样本目标进行标注；将所述训练图像输入所述目标检测模型，以获取所述训练图像的预测目标；其中，所述目标检测模型包括主干网络，所述主干网络包括若干个卷积层，每个所述卷积层包括若干个滤波器组，每个所述滤波器组包括由一个所述滤波器旋转和/或翻转获得的预定数量个滤波器，同个所述滤波器组的所述滤波器间共享权值；以所述预测目标与所述样本目标差异最小化为目标，以及每个所述滤波器组的所述滤波器间的余弦相似性最小化为目标，训练所述目标检测模型。
根据本申请一实施方式，所述以所述预测目标与所述样本目标差异为目标，且每个所述滤波器组的所述滤波器间的余弦相似性最小化为目标，训练所述目标检测模型包括：利用反向传播梯度算法对所述目标检测模型进行训练，使得预设损失函数最小化；所述预设损失函数包括目标框损失函数、分类损失函数、置信度损失函数和滤波器组损失函数之和，所述滤波器组损失函数包括：
Figure BDA0002834959760000021
其中，α′是常数，ki为所述滤波器组中第i个滤波器，kj为所述滤波器组中第j个滤波器，n为所述预定数量，K是滤波器组矩阵，tr(KKT)为K乘以K的转置的迹。
根据本申请一实施方式，所述同组所述滤波器组的所述滤波器间共享权值包括：在反向传播梯度算法中，同组所述滤波器组的所述滤波器间共享权重和权值修正量。
根据本申请一实施方式，所述目标检测模型还包括与所述主干网络依次连接的特征增强网络和检测头模块。
根据本申请一实施方式，每组所述滤波器组包括由一个所述滤波器不旋转、旋转90°、180°、270°，以及对称变换获得的八个滤波器。
为解决上述技术问题，本申请采用的又一个技术方案是：一种基于目标检测模型的检测方法，所述方法包括：获取目标图像；将所述目标图像输入所述目标检测模型，以获取所述目标图像的检测结果；其中，所述目标检测模型包括主干网络，所述主干网络包括若干个卷积层，每个所述卷积层包括若干个滤波器组，每个所述滤波器组包括由一个所述滤波器旋转和/或翻转获得的预定数量个滤波器，同个所述滤波器组的所述滤波器间共享权值。
根据本申请一实施方式，所述检测结果包括初始目标的目标框值、所述初始目标的初始分类结果和所述初始目标的初始置信度，所述方法包括：获得所述初始分类结果中的最大概率的分类索引，并对照索引表获得最终分类结果；获取所述初始目标的所述目标框值，利用目标框转换方法获得初始目标框；对所述初始目标框的初始置信度进行重新评分，以筛选出最终目标检测结果。
根据本申请一实施方式，所述目标检测模型由上述任一训练方法训练得到。
为解决上述技术问题，本申请采用的又一个技术方案是：一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述任一方法。
为解决上述技术问题，本申请采用的又一个技术方案是：一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一方法。
本申请的有益效果是：区别于现有技术，本申请的目标检测模型的主干网络的每组滤波器组，包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，转换后的同组滤波器共享相同参数，这样处理可以通过旋转和对称变换权重来从多个角度提取相似特征，减少不相关的滤波器的数量，有效减少目标检测模型的参数数量，同时保证特征提取的有效性和目标检测的精确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本申请的目标检测模型训练一实施例的流程示意图；
图2是本申请的目标检测模型训练一实施例的四阶二面体群的示意图；
图3是本申请的基于目标检测模型的检测方法一实施例的流程示意图；
图4是本申请的目标检测模型训练装置一实施例的框架示意图；
图5是本申请的基于目标检测模型的检测装置一实施例的框架示意图；
图6是本申请的电子设备一实施例的框架示意图；
图7是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1和图2，图1是本申请的目标检测模型训练方法一实施例的流程示意图；图2是本申请的目标检测模型训练一实施例的四阶二面体群的示意图。
本申请一实施例提供了一种目标检测模型训练方法，包括如下步骤：
S101：获取训练图像，并处理训练图像，以对训练图像中的样本目标进行标注。
获取训练图像，并对训练图像中的样本目标进行标注，获得数据集。具体地，可以通过现有的目标检测模型对训练图像进行检测标注，例如标准YOLOv4目标检测模型，获得训练图像的数据集。在使用训练图像对本申请的目标检测模型进行训练时，根据交叉验证方法对数据集进行划分，以在有限的数据中获取尽可能多的有效信息，以获得更稳定的目标检测模型。需要说明的是，训练图像为一组图像序列，包含一定数量的图像，可对目标检测模型起到有效训练效果。
S102：将训练图像输入目标检测模型，以获取训练图像的预测目标。
构建一个初始目标检测模型，目标检测模型包括主干网络，主干网络包括若干个卷积层，每个卷积层包括若干个滤波器组。不同于常规卷积神经网络模型，本申请中构建的目标检测模型的主干网络的每个滤波器组包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，同个滤波器组的滤波器间共享权值。共享的权值包括权重修正值。
本申请发明人经过统计，发现在卷积神经网络反向传播训练过程，同一卷积层中的滤波器具有相似的权重。其权重的特征在于不同滤波器间权重彼此对称或可以通过旋转或者对称变换获得。
对于上述彼此独立并且在训练后趋于对称相似的滤波器，本方法构建的主干网络的每组滤波器组，包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，转换后的同组滤波器共享相同参数，这样处理可以通过旋转和对称变换权重来从多个角度提取相似特征，减少不相关的滤波器的数量，有效减少目标检测模型的参数数量，同时保证特征提取的有效性和目标检测的精确性。
其中，在构建主干网络的卷积层时，每组滤波器中随机生成的第一个滤波器为单位元滤波器，每组滤波器中通过旋转和/或翻转变化获得的其他滤波器为生成元滤波器，每组滤波器中滤波器的预定数量至少为两个。例如，如图2所示，根据四阶二面体群性质，每组滤波器组包括由一个滤波器不旋转、旋转90°、180°、270°，以及对称变换获得的八个滤波器。通过变换，滤波器可以在8个不同方向上获得类似的特征。转换后的八个对称卷积滤波器共享相同的参数。在反向传播训练中，将由每组八个卷积滤波器获得的权重修正值进行叠加，并共同对基本参数进行校正。
在一具体实施方式中，可以根据标准YOLOv4目标检测网络的结构，构造和初始化本申请中的目标检测模型，包括依次连接的主干网络，特征增强网络和检测头模块。其中，主干网络使用修改的CSPDarknet53网络，在修改的CSPDarknet53网络中，使用本申请的方法构建卷积层。在原CSPDarknet53网络的主干网络中，包含5种卷积模块，共52层卷积层，其中每个卷积模块分别包含2个卷积层，其卷积层滤波器的数量为32、64、64、128、128、256、256、512、512、1024，卷积模块间连接，包含32、64、128、256、512、1024个卷积滤波器。在本申请的卷积层中，初始化每个卷积层的滤波器数量变为原有的1/8，同时，将这些滤波器根据四阶二面体群生成元，构建每组8个滤波器，构建后，滤波器总数量和原CSPDarknet53网络的主干网络一样，但是其中每组滤波器组间的滤波器共享权值，反向传播时共享权值修正量，分别提取每组中单位元滤波器在不同的生成元滤波器变换下不同方向上的特征。(补充说明：标准的CSPDarknet53是在Yolov3主干网络Darknet53的基础上，借鉴2019年CSPNet的经验，产生的Backbone结构，其中包含了5个CSP模块(跨级局部连接模块)；标准的YOLOv4网络相对于YOLOv3在准确率上提升了近10个点，然而速度几乎没有下降，YOLOv4是一种速度更快、精度更好的检测模型，仅需要单张1080Ti或2080Ti即可完成训练。)
在特征检测主干网络后，使用标准的特征增强网络。(标准的特征增强结构基于特征金字塔框架，增强了特征在层与层之间的交流传播，其添加了自底向上的增强路径，从而增强了低维特征在检测和高维特征提取任务中的体现。使用横向连接将各个卷积层提取的特征输出添加到自顶向下路径的相同阶段特征图中，然后把这些特征图送到下一阶段。)
在特征增强网络后，通过卷积连接依次接入标准的YOLOv3检测头。(YOLOv3网络由特征提取网络Darknet53和YOLOv3检测头组成，YOLOv3检测头通过3个不同尺度的特征图来检测目标的置信度、类别和位置，能够检测到更加细粒度的特征，有利于小目标的检测)。
使用Leaky ReLU作为目标检测模型的激活函数。
将训练图像输入目标检测模型，可获取训练图像的预测目标。
S103：以预测目标与样本目标差异最小化为目标，且每个滤波器组的滤波器间的余弦相似性最小化为目标，训练目标检测模型。
现有模式中的损失函数包括目标框损失函数、分类损失函数、置信度损失函数之和，本申请在预设损失函数中，额外增加抗对称性约束，约束项定义为滤波器组损失函数。
预设损失函数包括目标框损失函数、分类损失函数、置信度损失函数和滤波器组损失函数之和。预设损失函数为Loss＝Losscls+Lossconf+Lossbox+λr，其中Losscls为分类损失函数，Lossconf为置信度损失函数，Lossbox为目标框损失函数，r为滤波器组损失函数，λ为系数。通过最小化预设损失函数Loss对目标检测模型进行优化训练。
本申请根据计算每个滤波器组的滤波器间的余弦相似性，最小化滤波器间的余弦相似性，抑制经过旋转或对称变换后相似的滤波器的生成。对于一组滤波器组矩阵K，计算约束项r，如下式所示：
Figure BDA0002834959760000071
其中a是常数，ki为滤波器组中第i个滤波器，kj为滤波器组中第j个滤波器，由于滤波器组矩阵K中的所有滤波器都是由同一滤波器旋转或翻转得到，因此它们具有相等的Frobenius范数。因此，假设滤波器组包含预定数量n个滤波器，除则上式可以转换为:
Figure BDA0002834959760000072
其中，α′是常数，ki为滤波器组中第i个滤波器，kj为滤波器组中第j个滤波器，n为预定数量，K是滤波器组矩阵，tr(KKT)为K乘以K的转置的迹。
由于一些滤波器具有旋转不变性，即某些经过旋转和对称变换后产生的一系列滤波器，对于输入具有相似的特征提取结果，这样增加了计算复杂性，降低了网络效率。本方法中加入抗对称性约束构建预设损失函数。通过最小化每组滤波器组的滤波器间的余弦相似性，有效抑制旋转不变滤波器出现，进而抑制冗余参数的出现，增加算法特征提取效率。
进一步地，利用反向传播梯度算法对目标检测模型进行训练，使得预设损失函数最小化。训练图像处理批量大小batchsize，初始化学习率learnrate，初始化训练周期epoch，使用梯度下降训练方法对目标检测模型进行训练。
由步骤S102可知，在构造本申请的主干网络的卷积层时获得滤波器组的过程，可表示为:
ksi＝ki,Kdi＝F(ki)|i＝1,2,...N
其中ki是每组滤波器中随机生成的第一个滤波器，即单位元滤波器，同ksi；F(x)是文本中的旋转和对称变换；Kdi是对ki使用生成元滤波器进行转换后获得的滤波器矩阵，kdi是Kdi中除了单位元滤波器的其他元素。对于每个滤波器ki，kdi和ksi为具有共享权重和修正量的的滤波器组，这些滤波器将同时在同一层卷积层上使用。
由于权重复用，反向传播梯度计算中的总梯度可以通过两部分之和得到：
Figure BDA0002834959760000081
反复迭代更新目标检测模型的参数，直至训练周期数达epoch后停止训练。
在反向传播梯度计算训练中，将由每组预定数量个滤波器获得的权重修正值进行叠加，并共同对目标检测模型基本参数进行校正。可有效降低模型训练的过拟合现象的发生，加速模型参数的训练。可以减少不同方向特征分布不均匀以及训练集和测试集之间的特征分布不匹配对检测结果的影响。
本方法的目标检测模型的主干网络的每组滤波器组，包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，转换后的同组滤波器共享相同参数，这样处理可以通过旋转和对称变换权重来从多个角度提取相似特征，减少了不相关的滤波器的数量，有效减少了目标检测模型的参数数量，同时保证了特征提取的有效性和目标检测的精确性。
请参阅图3，图3是本申请的基于目标检测模型的检测方法一实施例的流程示意图。
本申请又一实施例提供了一种基于目标检测模型的检测方法，包括如下步骤：
S201：获取目标图像。
获取目标图像，目标图像可以为数字图像，也可以通过视频图像预处理后获得，将模拟或数字视频流转化为数字图像，并将标准RGB图像归一化，使像素值归一化至[-1,1]之间，并将处理后的视频图像帧送入目标检测模型。
S202：将目标图像输入目标检测模型，以获取目标图像的检测结果。
将目标图像输入目标检测模型，以获取目标图像的检测结果。其中，目标检测模型包括主干网络，主干网络包括若干个卷积层，每个卷积层包括若干个滤波器组，每个滤波器组包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，同个滤波器组的滤波器间共享权值。共享的权值包括权重修正值。
对于上述彼此独立并且在训练后趋于对称相似的滤波器，本方法构建的主干网络的每个滤波器组，包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，转换后的同组滤波器共享相同参数，这样处理可以通过旋转和对称变换权重来从多个角度提取相似特征，减少了不相关的滤波器的数量，有效减少了目标检测模型的参数数量，同时保证了特征提取的有效性和目标检测的精确性。
其中，在构建主干网络的卷积层时，每组滤波器中随机生成的第一个滤波器为单位元滤波器，每组滤波器中通过旋转和/或对称变化获得的其他滤波器为生成元滤波器，每组滤波器中滤波器的预定数量至少为两个。例如，根据四阶二面体群性质，每个滤波器组包括由一个滤波器不旋转、旋转90°、180°、270°，以及对称变换获得的八个滤波器。通过变换，滤波器可以在8个不同方向上获得类似的特征。转换后的八个对称卷积滤波器共享相同的参数。在反向传播训练中，将由每组八个卷积滤波器获得的权重修正值进行叠加，并共同对基本参数进行校正。
本申请的目标检测模型可通过上述任一实施例中的目标检测模型训练方法训练获得。
S203：筛选检测结果，获得最终目标检测结果。
检测结果包括初始目标的目标框、初始目标的初始分类结果和初始目标的初始置信度。
筛选检测结果，获得最终目标检测结果包括：
获得初始分类结果中的最大概率的分类索引，并对照索引表获得初始目标的最终分类结果。
获取初始目标的目标框值，利用目标框转换方法获得初始目标框。具体地，取初始目标的回归值，使用标准YOLOv4目标框转换对结果进行转换输出初始目标框。
对初始目标框的初始置信度进行重新评分，使用标准Matrix NMS筛选结果，以筛选出置信度高的初始目标框作为最终目标的目标框，并显示最终目标检测结果，最终目标检测结果包括最终目标的目标框、最终分类结果和置信度。(Matrix NMS通过计算每个框与其他所有目标框中的最大IoU和类别相同且置信度比自己高的IoU，对目标框的置信度进行重新评分以筛选目标框。)
通过本方法可以将摄像头实时采集的视频初始化为视频图像流，将视频图像帧送到目标检测模型中，获取精确的目标检测结果。本申请的目标检测模型的参数数量少，同时有效保证特征提取的有效性和目标检测结果的精确性。
请参阅图4，图4是本申请的目标检测模型训练装置一实施例的框架示意图。
本申请又一实施例提供了一种目标检测模型训练装置30，包括获取模块31、网络模块32和处理模块33，以实现上述对应实施例的目标检测模型训练方法。具体地，获取模块31获取训练图像，处理模块33处理训练图像，以对训练图像中的样本目标进行标注；处理模块33将训练图像输入网络模块32，以获取训练图像的预测目标；其中，网络模块32包括目标检测模型，目标检测模型包括主干网络，主干网络包括第若干个卷积层，每个卷积层包括若干个滤波器组，每个滤波器组包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，同组滤波器组的滤波器间共享权值；处理模块33以预测目标与样本目标差异最小化为目标，以及每个滤波器组的滤波器间的余弦相似性最小化为目标，训练目标检测模型。
本训练装置30的目标检测模型的主干网络的每组滤波器组，包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，转换后的同组滤波器共享相同参数，这样处理可以通过旋转和对称变换权重来从多个角度提取相似特征，减少不相关的滤波器的数量，有效减少目标检测模型的参数数量，同时保证特征提取的有效性和目标检测的精确性。
请参阅图5，图5是本申请的基于目标检测模型的检测装置一实施例的框架示意图。
本申请又一实施例提供了一种基于目标检测模型的检测装置40，包括获取模块41、网络模块42和处理模块43，以实现上述对应实施例的基于目标检测模型的检测方法。具体地，获取模块41获取目标图像；获取模块41将目标图像输入网络模块42，以获取目标图像的检测结果，网络模块42包括目标检测模型；其中，目标检测模型包括主干网络，主干网络包括若干个卷积层，每个卷积层包括若干个滤波器组，每个滤波器组包括由一个滤波器旋转和/或翻转获得的预定数量个滤波器，同个滤波器组的滤波器间共享权值。
本检测装置40可以通过将摄像头实时采集的视频初始化为视频图像流，将视频图像帧送到目标检测模型中，获取精确的目标检测结果。本申请的目标检测模型的参数数量少，同时有效保证特征提取的有效性和目标检测结果的精确性。
请参阅图6，图6是本申请的电子设备一实施例的框架示意图。
本申请又一实施例提供了一种电子设备50，包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一实施例的目标检测模型训练方法和上述任一实施例的基于目标检测模型的检测方法。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一实施例的目标检测模型训练方法和上述任一实施例的基于目标检测模型的检测方法中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
请参阅图7，图7是本申请计算机可读存储介质一实施例的框架示意图。
本申请又一实施例提供了一种计算机可读存储介质60，其上存储有程序数据61，程序数据61被处理器执行时实现上述任一实施例的目标检测模型训练方法和上述任一实施例的基于目标检测模型的检测方法中。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质60中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质60中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的可读存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种目标检测模型训练方法，其特征在于，所述方法包括：
获取训练图像，并处理所述训练图像，以对所述训练图像中的样本目标进行标注；
将所述训练图像输入所述目标检测模型，以获取所述训练图像的预测目标；其中，所述目标检测模型包括主干网络，所述主干网络包括若干个卷积层，每个所述卷积层包括若干个滤波器组，每个所述滤波器组包括由一个所述滤波器旋转和/或翻转获得的预定数量个滤波器，同个所述滤波器组的所述滤波器间共享权值；
以所述预测目标与所述样本目标差异最小化为目标，以及每个所述滤波器组的所述滤波器间的余弦相似性最小化为目标，训练所述目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述以所述预测目标与所述样本目标差异为目标，且每个所述滤波器组的所述滤波器间的余弦相似性最小化为目标，训练所述目标检测模型包括：
利用反向传播梯度算法对所述目标检测模型进行训练，使得预设损失函数最小化；所述预设损失函数包括目标框损失函数、分类损失函数、置信度损失函数和滤波器组损失函数之和，所述滤波器组损失函数包括：
Figure FDA0002834959750000011
其中，α′是常数，ki为所述滤波器组中第i个滤波器，kj为所述滤波器组中第j个滤波器，n为所述预定数量，K是滤波器组矩阵，tr(KKT)为K乘以K的转置的迹。
3.根据权利要求1所述的方法，其特征在于，所述同个所述滤波器组的所述滤波器间共享权值包括：
在反向传播梯度算法中，同个所述滤波器组的所述滤波器间共享权重和权值修正量。
4.根据权利要求1所述的方法，其特征在于，所述目标检测模型还包括与所述主干网络依次连接的特征增强网络和检测头模块。
5.根据权利要求1所述的方法，其特征在于，每个所述滤波器组包括由一个所述滤波器不旋转、旋转90°、180°、270°，以及对称变换获得的八个滤波器。
6.一种基于目标检测模型的检测方法，其特征在于，所述方法包括：
获取目标图像；
将所述目标图像输入所述目标检测模型，以获取所述目标图像的检测结果；其中，所述目标检测模型包括主干网络，所述主干网络包括若干个卷积层，每个所述卷积层包括若干个滤波器组，每个所述滤波器组包括由一个所述滤波器旋转和/或翻转获得的预定数量个滤波器，同个所述滤波器组的所述滤波器间共享权值。
7.根据权利要求6所述的方法，其特征在于，所述检测结果包括初始目标的目标框值、所述初始目标的初始分类结果和所述初始目标的初始置信度，所述方法包括：
获得所述初始分类结果中的最大概率的分类索引，并对照索引表获得最终分类结果；
获取所述初始目标的所述目标框值，利用目标框转换方法获得初始目标框；
对所述初始目标框的初始置信度进行重新评分，以筛选出最终目标检测结果。
8.根据权利要求6所述的方法，其特征在于，所述目标检测模型由权利要求1-5中任一项所述的训练方法训练得到。
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现权利要求1至8中任一项所述的方法。
CN202011475085.0A 2020-12-14 2020-12-14 目标检测模型训练、检测方法、设备及存储介质 Active CN112633340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011475085.0A CN112633340B (zh) 2020-12-14 2020-12-14 目标检测模型训练、检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011475085.0A CN112633340B (zh) 2020-12-14 2020-12-14 目标检测模型训练、检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112633340A true CN112633340A (zh) 2021-04-09
CN112633340B CN112633340B (zh) 2024-04-02

Family

ID=75312807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011475085.0A Active CN112633340B (zh) 2020-12-14 2020-12-14 目标检测模型训练、检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112633340B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781634A (zh) * 2021-04-12 2021-05-11 南京信息工程大学 一种基于YOLOv4卷积神经网络的BOTDR分布式光纤传感系统
CN113378635A (zh) * 2021-05-08 2021-09-10 北京迈格威科技有限公司 目标检测模型的目标属性边界条件搜索方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811276A (zh) * 2015-05-04 2015-07-29 东南大学 一种超奈奎斯特速率通信的dl-cnn解调器
US20170344879A1 (en) * 2016-05-31 2017-11-30 Linkedln Corporation Training a neural network using another neural network
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
KR102037484B1 (ko) * 2019-03-20 2019-10-28 주식회사 루닛 멀티태스크 학습 방법 및 그 장치
CN111325169A (zh) * 2020-02-26 2020-06-23 河南理工大学 基于胶囊网络的深度视频指纹算法
CN111695522A (zh) * 2020-06-15 2020-09-22 重庆邮电大学 一种平面内的旋转不变人脸检测方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811276A (zh) * 2015-05-04 2015-07-29 东南大学 一种超奈奎斯特速率通信的dl-cnn解调器
US20170344879A1 (en) * 2016-05-31 2017-11-30 Linkedln Corporation Training a neural network using another neural network
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
KR102037484B1 (ko) * 2019-03-20 2019-10-28 주식회사 루닛 멀티태스크 학습 방법 및 그 장치
CN111325169A (zh) * 2020-02-26 2020-06-23 河南理工大学 基于胶囊网络的深度视频指纹算法
CN111695522A (zh) * 2020-06-15 2020-09-22 重庆邮电大学 一种平面内的旋转不变人脸检测方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781634A (zh) * 2021-04-12 2021-05-11 南京信息工程大学 一种基于YOLOv4卷积神经网络的BOTDR分布式光纤传感系统
CN113378635A (zh) * 2021-05-08 2021-09-10 北京迈格威科技有限公司 目标检测模型的目标属性边界条件搜索方法及装置

Also Published As

Publication number Publication date
CN112633340B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN109584337B (zh) 一种基于条件胶囊生成对抗网络的图像生成方法
KR102545128B1 (ko) 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
US20200302265A1 (en) Convolutional Neural Network-Based Image Processing Method And Image Processing Apparatus
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN109086653B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN110070030A (zh) 图像识别与神经网络模型的训练方法、装置和系统
CN111046900A (zh) 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN110009097B (zh) 胶囊残差神经网络、胶囊残差神经网络的图像分类方法
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
CN112633340A (zh) 目标检测模型训练、检测方法、设备及存储介质
CN112801104B (zh) 基于语义分割的图像像素级伪标签确定方法及系统
CN111898703A (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN115222946A (zh) 一种单阶段实例图像分割方法、装置以及计算机设备
CN113869282A (zh) 人脸识别方法、超分模型训练方法及相关设备
CN111178196B (zh) 一种细胞分类的方法、装置及设备
CN112329808A (zh) 一种Deeplab语义分割算法的优化方法及系统
CN111694954A (zh) 图像分类方法、装置和电子设备
CN114861842A (zh) 少样本目标检测方法、装置和电子设备
CN113920382A (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
Sun et al. Randomized nonlinear two-dimensional principal component analysis network for object recognition
CN114842478A (zh) 文本区域的识别方法、装置、设备及存储介质
CN113920511A (zh) 车牌识别方法、模型训练方法、电子设备及可读存储介质
CN114387489A (zh) 电力设备识别方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant