CN114219936A - 目标检测方法、电子设备、存储介质和计算机程序产品 - Google Patents

目标检测方法、电子设备、存储介质和计算机程序产品 Download PDF

Info

Publication number
CN114219936A
CN114219936A CN202111266514.8A CN202111266514A CN114219936A CN 114219936 A CN114219936 A CN 114219936A CN 202111266514 A CN202111266514 A CN 202111266514A CN 114219936 A CN114219936 A CN 114219936A
Authority
CN
China
Prior art keywords
candidate
positive
candidate frame
frame
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111266514.8A
Other languages
English (en)
Inventor
李兵
胡鑫亮
李文娟
王隽
胡卫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin Zhongke Jinan Intelligent Technology Co ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Renmin Zhongke Jinan Intelligent Technology Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin Zhongke Jinan Intelligent Technology Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Renmin Zhongke Jinan Intelligent Technology Co ltd
Priority to CN202111266514.8A priority Critical patent/CN114219936A/zh
Publication of CN114219936A publication Critical patent/CN114219936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标检测方法、电子设备、存储介质和计算机程序产品，方法包括获取包含待检测目标的待检测图像；将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。本发明通过动态变化的交并比阈值，动态变化候选框的正负标签，以使最后分配给候选框的正负标签为准确标签，从而提高候选框的标签分配准确度，进而提高目标检测模型的召回率，最终实现高性能的目标检测。

Description

目标检测方法、电子设备、存储介质和计算机程序产品
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种目标检测方法、电子设备、存储介质和计算机程序产品。
背景技术
目标检测是计算机视觉领域中的一大任务，其可以识别一张图像中的多个物体，并可以定位出不同物体的边界框。该目标检测技术广泛应用于各种领域，例如，汽车无人驾驶领域、无人机识别领域、安防监控领域和医疗诊断领域等。
目前，目标检测是通过深度学习对真实物体框进行学习，从而构建目标检测模型进行目标检测，进而得到候选框的分类和回归结果。其中，目标检测模型的训练策略固定，而多数算法对不同大小物体的学习能力不同，尤其对于小目标物体的学习，因此，目前采用固定训练策略进行模型训练，将会导致候选框的标签分配准确度降低，进而导致目标检测模型的召回率降低。
发明内容
本发明提供一种目标检测方法、电子设备、存储介质和计算机程序产品，用以解决现有技术中候选框的标签分配准确度低和目标检测模型的召回率低的缺陷，实现高性能的目标检测。
本发明提供一种目标检测方法，包括：
获取包含待检测目标的待检测图像；
将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
根据本发明提供的一种目标检测方法，还包括所述目标检测模型的训练方法：
获取训练样本图像，将所述训练样本图像输入至待训练模型，进行特征提取，获得所述训练样本图像对应的特征图；
基于所述特征图，构建不同尺度大小和不同长宽比的候选框；
基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值，确定所述候选框的正负标签；
基于所述候选框及所述正负标签，对所述待训练模型进行训练，得到目标检测模型。
根据本发明提供的一种目标检测方法，所述基于所述特征图，构建不同尺度大小和不同长宽比的候选框，包括：
基于所述特征图和预设尺寸类别，构建不同尺度大小和不同长宽比的候选框，所述预设尺寸类别是基于通用目标数据集中各目标尺寸进行统计分析得到的，所述通用目标数据集包括多种尺寸的目标。
根据本发明提供的一种目标检测方法，所述基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值，确定所述候选框的正负标签，包括：
基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签；
统计所述候选框对应尺寸的正例候选框数量；
基于所述正例候选框数量，调整所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例候选框数量满足要求。
根据本发明提供的一种目标检测方法，所述基于所述正例候选框数量，调整所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例候选框数量满足要求，包括：
统计所述候选框对应尺寸的总候选框数量，并计算所述正例候选框数量和所述总候选框数量的正例占比；
若所述正例占比大于所述候选框对应尺寸的候选超参数，则提高所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例占比小于或等于所述候选框对应尺寸的候选超参数。
根据本发明提供的一种目标检测方法，所述基于所述候选框及所述正负标签，对所述待训练模型进行训练，得到目标检测模型，包括：
采用所述候选框、所述正负标签和预设损失函数，对所述待训练模型进行训练，得到目标检测模型，所述预设损失函数的梯度值是基于训练时长或训练次数动态调整的。
根据本发明提供的一种目标检测方法，还包括所述预设损失函数的梯度值的调整方法：
计算所述候选框中正例候选框和所述正例候选框对应的目标真实框的相对归一化回归损失；
若所述相对归一化回归损失小于回归阈值，则降低所述预设损失函数的梯度值，所述回归阈值是基于训练时长或训练次数动态调整的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
本发明提供的目标检测方法、电子设备、存储介质和计算机程序产品，通过获取包含待检测目标的待检测图像，然后，将待检测图像输入至目标检测模型，进行目标检测，获得目标检测模型输出的目标检测结果，从而实现对待检测图像中的待检测目标进行检测。而目标检测模型是基于候选框及其对应的正负标签训练得到的，该正负标签是基于候选框与候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的，基于此，本发明通过动态变化的交并比阈值，动态变化候选框的正负标签，以使最后分配给候选框的正负标签为准确标签，从而提高候选框的标签分配准确度，进而提高目标检测模型的召回率，最终实现高性能的目标检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的目标检测方法的流程图之一；
图2为本发明提供的目标检测方法的流程图之二；
图3为本发明提供的目标检测方法的流程图之三；
图4示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的目标检测方法的流程图之一，如图1所示，本发明提供的目标检测方法，包括：
步骤110，获取包含待检测目标的待检测图像；
在本实施例中，目标检测方法可以应用于各种领域，例如，汽车无人驾驶领域、无人机识别领域、安防监控领域和医疗诊断领域等，相应的，待检测图像可以为汽车周围图像、无人机拍摄图像、监控图像、彩超图像和CT图像等。
其中，待检测图像中可以包含一个或多个待检测目标。例如，在汽车无人驾驶领域，待检测目标可以是人、车辆和障碍物等；在安防监控领域，待检测目标可以是人、动物和物体等；在医疗诊断领域，待检测目标可以是病变区域、关节区域、细胞区域和器官区域等。
步骤120，将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
在本实施例中，目标检测结果包括待检测目标的分类结果和回归结果。该分类结果为对候选框(建议框、检测框或预测框)进行分类得到的分类结果，即候选框的目标类别。该回归结果为对候选框进行边框回归得到的结果，即将候选框尽可能变换成该候选框对应的真实框所处的位置，该变换可以包括上下平移、左右平移和缩放。
其中，目标检测模型为机器学习模型，具体地，目标检测模型是基于目标检测算法构建的深度学习网络模型。该目标检测算法可以包括Faster R–CNN、Fast R–CNN、R–CNN、R-FCN及SSD等。在本实施例及以下实施例中，以基于Faster R–CNN算法构建的目标检测模型为例进行说明。
其中，候选框为待检测目标对应的建议区域。一个待检测目标对应多个候选框，一个待检测图像可以包括多个待检测目标，因此，一个待检测图像对应多个候选框。而一个待检测图像中的多个待检测目标可以为不同尺寸的目标，基于此，不同尺寸的待检测目标对应不同尺寸的候选框，即不同尺度大小和不同长宽比的候选框。
其中，候选框对应的正负标签包括正例候选框(正样本)和负例候选框(负样本)。而对于每一个候选框的正负标签是动态变化的，也就是说，对候选框进行标签分配后，还可以根据训练过程动态进行标签的再分配。该正负标签具体的动态变化过程可以参考下述第二实施例，此处不再一一赘述。
其中，交并比阈值的初始值为预先设定值，该预先设定值可以根据实际需要进行设定，例如，0.4,、0.6、0.7。该交并比阈值用于判别候选框是否为正例候选框，即判别是否为正样本，以实现对候选框的标签分配或标签标注。
在具体实施例中，所述目标检测模型包括回归检测子模型和分类子模型。具体地，基于训练后的目标检测模型中的特征提取器，提取待检测图像的特征图；在特征图内生成正例候选框；基于所述回归检测子模型对正例候选框进行边框回归处理；基于所述分类子模型对正例候选框进行分类处理。
在一实施例中，所述特征提取器包括卷积网络层，所述卷积网络层包括卷积层、池化层和激活函数，所述基于训练后的目标检测模型中的特征提取器，提取待检测图像的特征图的步骤包括：
基于所述目标检测模型中卷积网络层的卷积层，对所述待检测图像进行卷积操作，获得卷积结果；基于所述目标检测模型中卷积网络层的池化层，对所述卷积结果进行池化操作，获得池化结果；采用所述激活函数，对所述池化结果进行非线性处理，获得所述待检测图像的特征图。其中，激活函数可以实际需要进行设定，例如RELU激活函数。
根据本发明实施例的目标检测方法，通过获取包含待检测目标的待检测图像，然后，将待检测图像输入至目标检测模型，进行目标检测，获得目标检测模型输出的目标检测结果，从而实现对待检测图像中的待检测目标进行检测。而目标检测模型是基于候选框及其对应的正负标签训练得到的，该正负标签是基于候选框与候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的，基于此，本发明实施例通过动态变化的交并比阈值，动态变化候选框的正负标签，以使最后分配给候选框的正负标签为准确标签，从而提高候选框的标签分配准确度，进而提高目标检测模型的召回率，最终实现高性能的目标检测。
进一步地，基于上述第一实施例，提出本发明目标检测方法的第二实施例。图2为本发明提供的目标检测方法的流程图之二，如图2所示，在本实施例中，还包括所述目标检测模型的训练方法：
步骤210，获取训练样本图像，将所述训练样本图像输入至待训练模型，进行特征提取，获得所述训练样本图像对应的特征图；
在本实施例中，训练样本图像是通过摄像机拍摄得到的物体图像。即训练样本图像是通过拍摄真实目标物体得到的图像。
其中，对待训练模型进行训练的训练样本图像可以包括多个。该训练样本图像可以包括一种或多种待检测目标。该待检测目标可以为各种物体，例如，对待训练模型进行训练得到的目标检测模型应用于汽车无人驾驶领域，待检测目标可以是人、车辆和障碍物等；对待训练模型进行训练得到的目标检测模型应用于安防监控领域，待检测目标可以是人、动物和物体等；对待训练模型进行训练得到的目标检测模型应用于医疗诊断领域，待检测目标可以是病变区域、关节区域、细胞区域和器官区域等。
需要说明的是，为提高对不同尺寸待检测目标的学习能力，训练样本图像中包括各通用目标，即包括不同尺寸的待检测目标。具体地，可以将不同尺寸的待检测目标划分为N类尺寸，N可以根据实际需要进行设定，例如3，即待检测目标可以划分为3类尺寸。例如，将待检测目标划分为大中小三类尺寸，以供后续可设置对应的三类候选框尺寸。
在具体实施例中，所述将所述训练样本图像输入至待训练模型，进行特征提取，获得所述训练样本图像对应的特征图的步骤包括：基于待训练模型的特征提取器，提取所述训练样本图像的特征图。
在一实施例中，所述特征提取器包括卷积网络层，所述卷积网络层包括卷积层、池化层和激活函数，所述基于待训练模型的特征提取器，提取所述训练样本图像的特征图的步骤包括：
基于待训练模型中卷积网络层的卷积层，对所述训练样本图像进行卷积操作，获得卷积结果；基于所述待训练模型中卷积网络层的池化层，对所述卷积结果进行池化操作，获得池化结果；采用所述激活函数，对所述池化结果进行非线性处理，获得所述训练样本图像的特征图。其中，激活函数可以实际需要进行设定，例如RELU激活函数。
步骤220，基于所述特征图，构建不同尺度大小和不同长宽比的候选框；
具体地，在特征图上划分得到不同尺度大小和不同长宽比的候选框。其中，可以通过汇总统计分析通用目标数据库中的目标尺寸，从而将待检测目标进行尺寸划分，并设置对应的候选框尺寸，以供基于该候选框尺寸确定该候选框的尺度大小。
其中，不同长宽比可以为1:1,1:2,1:3。
在具体实施例中，所述待训练模型包括RPN(Region Proposal Networks，建议区域网络)层，上述步骤220包括：
基于所述待训练模型的RPN层，在所述特征图上构建不同尺度大小和不同长宽比的候选框。具体地，所述RPN层，采用一个滑动窗口，去遍历整个特征图，在遍历过程中每个窗口中心按对应尺度大小和对应长宽比生成候选框。其中，滑动窗口的大小可以为3x3。
进一步地，上述步骤220包括：
步骤221，基于所述特征图和预设尺寸类别，构建不同尺度大小和不同长宽比的候选框，所述预设尺寸类别是基于通用目标数据集中各目标尺寸进行统计分析得到的，所述通用目标数据集包括多种尺寸的目标。
在本实施例中，通用目标数据集包括各通用目标，而各通用目标可以为多种尺寸的目标，即通用目标数据集包括多种尺寸的目标，从而可基于通用目标数据集中各目标尺寸进行统计分析得到预设尺寸类别。
其中，预设尺寸类别可以包括N类尺寸类别，N可以根据实际需求进行设定，例如N为3，则预设尺寸类别可以包括大中小(L、M、S)三类尺寸，从而可设置三类尺寸的候选框。
在具体实施例中，所述基于所述特征图和预设尺寸类别，构建不同尺度大小和不同长宽比的候选框的步骤包括:
基于预设尺寸类别，确定尺度大小集；基于所述特征图和所述尺度大小集，构建不同尺度大小和不同长宽比的候选框。其中，尺度大小集包括多种尺度大小，即预设尺寸类别用于确定候选框的尺度大小。
在本实施例中，通过分析通用目标的尺寸，在特征图上构建得到不同尺度大小和不同长宽比的候选框，从而使模型可以对不同尺寸大小的目标进行学习，尤其可提高对小目标的学习能力，进而提高目标检测模型的检测准确度，最终进一步提高目标检测模型的检测效果。
步骤230，基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值，确定所述候选框的正负标签；
在本实施例中，在生成候选框之后，可以通过待训练模型中的全连接层对候选框进行二分类，即判定候选框是正例候选框(正样本)还是负例候选框(负样本)，也就是说判定候选框是前景还是背景。其中，正负标签包括正例候选框(正样本)和负例候选框(负样本)。
具体地，若交并比大于或等于交并比阈值，则确定候选框为正例候选框；若交并比小于交并比阈值，则确定候选框为负例候选框。
其中，候选框的交并比是用于衡量候选框与对应真实框之间的重合度。即计算候选框和真实框的交集与候选框和真实框的并集的比值。交集为候选框和真实框的重合面积，并集为候选框和真实框的相并面积。
具体地，计算交并比的计算公式为：
Figure BDA0003327143470000101
其中，C表示候选框，G表示真实框，area()为对应框的面积，IoU为交并比。
其中，所述动态变化的交并比阈值是基于当前候选框中正例候选框的数量进行调整的。需要说明，基于当前候选框中正例候选框的数量调整交并比阈值，以得到准确的交并比阈值，而该交并比阈值用于判别候选框是否为正例候选框，进而可选择合适数量的正例候选框。
进一步地，上述步骤230包括：
步骤231，基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签；
其中，交并比阈值的初始值为预先设定值，该预先设定值可以根据实际需要进行设定，例如，0.4,、0.6、0.7。该交并比阈值用于判别候选框是否为正例候选框，即判别是否为正样本，以实现对候选框的标签分配或标签标注。
具体地，若候选框与候选框对应的真实框的交并比，大于或等于交并比阈值，则确定候选框为正例候选框，以基于正例候选框对应的正标签对该候选框进行标签标注；若候选框与候选框对应的真实框的交并比，小于交并比阈值，则确定候选框为负例候选框，以基于负例候选框对应负标签对该候选框进行标签标注。
在一些实施例中，包括多种尺寸大小的候选框，每种尺寸大小的候选框都有其对应的交并比阈值，因此，交并比阈值是基于候选框对应尺寸进行确定的。例如，包括三类尺寸大小的候选框，则对应的交并比阈值也为三种阈值。
具体地，上述步骤231包括：基于所述候选框与所述候选框对应的真实框的交并比，和所述候选框对应的交并比阈值的大小关系，确定所述候选框的正负标签。
步骤232，统计所述候选框对应尺寸的正例候选框数量；
具体地，统计所述特征图中所有候选框中当前候选框对应尺寸的正例候选框的数量。
其中，特征图包括多种尺寸大小的候选框，可分别统计各尺寸对应的正例候选框数量。
步骤233，基于所述正例候选框数量，调整所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例候选框数量满足要求。
在本实施例中，基于正例候选框数量，判断当前正例候选框的数量是否合适。也就是说，若正例候选框数量过多，则提高交并比阈值，以降低正例候选框数量；若正例候选框数量过少，则降低交并比阈值，以提高正例候选框数量。
需要说明的是，返回步骤231，并重新执行步骤231、步骤232、步骤233，可重新确定候选框的正负标签，直至正例候选框数量满足要求。也就是说，候选框的正负标签是动态变化的，且根据训练过程动态对候选框进行标签再分配。
在一实施例中，正例候选框数量是否满足要求，可以根据正例候选框数量与所有候选框数量的比值进行确定，若比值大于预设阈值，则正例候选框数量过多，不符合要求；若比值小于或等于预设阈值，则正例候选框数量符合要求。其中，预设阈值可以根据实际需要进行设定，此处不作限定。
在另一实施例中，特征图包括多种尺寸大小的候选框，可分别统计各尺寸对应的正例候选框数量，进而根据正例候选框数量与所述候选框对应尺寸的所有候选框数量的比值进行确定，若比值大于预设阈值，则正例候选框数量过多，不符合要求；若比值小于或等于预设阈值，则正例候选框数量符合要求。
具体地，上述步骤233包括：
步骤2331，统计所述候选框对应尺寸的总候选框数量，并计算所述正例候选框数量和所述总候选框数量的正例占比；
具体地，统计所述特征图中所有候选框中当前候选框对应尺寸的候选框的总数量。
其中，特征图包括多种尺寸大小的候选框，可分别统计各尺寸候选框对应的总候选框数量。
其中，正例占比是基于正例候选框数量和总候选框数量相除得到的。
步骤2332，若所述正例占比大于所述候选框对应尺寸的候选超参数，则提高所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例占比小于或等于所述候选框对应尺寸的候选超参数。
其中，候选超参数是用于选择合适数量的正例候选框。该候选超参数可以根据实际需要进行设定，此处不作限定。
此外，特征图包括多种尺寸大小的候选框，基于此，不同尺寸候选框对应的候选超参数不一样。例如，划分为大中小(L、M、S)三类尺寸的候选框，则候选超参数划分为大候选超参数CL、中候选超参数CM和小候选超参数CS。
需要说明的是，交并比阈值每次提高的值可以根据实际需求进行设定，此处不作限定。
可以理解，在正例候选框数量与对应尺寸的总候选框数量的正例占比，大于对应尺寸的候选超参数时，提高交并比阈值，从而再次分配候选框的正负标签，即基于动态变化的正负标签，以使最后分配给候选框的正负标签为准确标签，从而提高候选框的标签分配准确度，进而提高目标检测模型的召回率，最终实现高性能的目标检测。
在另一实施例中，在上述步骤2331之后，所述目标检测方法还包括：
若所述正例占比小于或等于所述候选框对应尺寸的候选超参数，则基于所述正负标签对所述候选框进行标签标注。具体地，若所述正例占比小于或等于所述候选框对应尺寸的候选超参数，则无需调整交并比阈值，即之前确定的正负标签已符合要求，无需再重新分配候选框的标签。
本实施例中，基于正例候选框数量，调整交并比阈值，从而再次分配候选框的正负标签，即基于动态变化的正负标签，以使最后分配给候选框的正负标签为准确标签，从而提高候选框的标签分配准确度，进而提高目标检测模型的召回率，最终实现高性能的目标检测。
步骤240，基于所述候选框及所述正负标签，对所述待训练模型进行训练，得到目标检测模型。
具体地，基于所述候选框及所述正负标签，确定正例候选框；基于所述正例候选框，对所述待训练模型进行训练，得到目标检测模型。
需要说明的是，将正例候选框输入待训练模型，执行模型预测，获得模型输出标签，进而基于预设损失函数，计算模型损失，进而基于模型损失，更新待训练模型，即更新待训练模型中的模型参数，直至待训练模型的迭代次数达到预设迭代次数或对应的预设损失函数(目标函数)达到预设值。其中，预设迭代次数和预设值可以根据实际需要进行设定。
在具体实施例中，所述待训练模型包括待训练的回归检测子模型和待训练的分类子模型。本实施例可以对回归检测子模型和分类子模型进行联合训练。
本实施例中，目标检测模型是基于候选框及其对应的正负标签训练得到的，该正负标签是基于候选框与候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的，基于此，本发明实施例通过动态变化的交并比阈值，动态变化候选框的正负标签，以使最后分配给候选框的正负标签为准确标签，从而提高候选框的标签分配准确度，进而提高目标检测模型的召回率，最终实现高性能的目标检测。
进一步地，基于上述第二实施例，提出本发明目标检测方法的第三实施例。图3为本发明提供的目标检测方法的流程图之三，如图3所示，在本实施例中，上述步骤240包括：
步骤241，采用所述候选框、所述正负标签和预设损失函数，对所述待训练模型进行训练，得到目标检测模型，所述预设损失函数的梯度值是基于训练时长或训练次数动态调整的。
在本实施例中，预设损失函数为待训练模型的损失函数(目标函数)，其用于利用梯度下降，对待训练模型中的模型参数进行优化训练。
具体地，基于所述候选框及所述正负标签，确定正例候选框；将所述正例候选框输入待训练模型，执行模型预测，获得模型输出标签，进而基于预设损失函数，计算模型损失，进而基于模型损失，更新待训练模型，即更新待训练模型中的模型参数，直至待训练模型的迭代次数达到预设迭代次数或对应的预设损失函数(目标函数)达到预设值。其中，预设迭代次数和预设值可以根据实际需要进行设定。
其中，预设损失函数的梯度值是基于训练时长或训练次数动态调整的。也就是说，根据回归情况，动态调整预设损失函数的梯度。
具体地，预设损失函数的梯度值是基于训练时长或训练次数逐渐降低的，从而在训练初期时，较大的梯度值可以快速接近局部最优点，在训练后期时，适当降低梯度值，以便更好接近局部最优点。
其中，预设损失函数包括分类损失函数和边框回归损失函数。分类损失函数为待训练模型中分类子模型的损失函数，边框回归损失函数为待训练模型中边框回归子模型的损失函数。
其中，边框回归损失函数可以为SmoothL1损失函数，该SmoothL1损失函数可以为：
Figure BDA0003327143470000151
其中，x为预测框与真实框之间的距离，β(time)初始值为1。
进一步地，还包括所述预设损失函数的梯度值的调整方法：
步骤300，计算所述候选框中正例候选框和所述正例候选框对应的目标真实框的相对归一化回归损失；
其中，相对归一化回归损失为正例候选框和对应的目标真实框的距离。该相对归一化回归损失的计算公式为：
Figure BDA0003327143470000152
其中，正例候选框预测值为ti，真实框值为
Figure BDA0003327143470000153
Figure BDA0003327143470000154
Figure BDA0003327143470000155
Figure BDA0003327143470000161
xa、ya、wa、ha表示Anchor(锚)的中心坐标、宽、高；x、y、w、h表示预测框的中心坐标、宽、高；x*、y*、w*、h*表示目标真实框的中心坐标、宽、高。
步骤400，若所述相对归一化回归损失小于回归阈值，则降低所述预设损失函数的梯度值，所述回归阈值是基于训练时长或训练次数动态调整的。
其中，回归阈值是基于训练时长或训练次数动态调整的。也就是说，根据回归情况，动态调整预设损失函数的梯度。
回归阈值的初始值是提前设定的，且随训练时长或训练次数改变的，其用于判断损失函数是否已接近局部最优点。
其中，预设损失函数包括分类损失函数和回归损失函数。分类损失函数为待训练模型中分类子模型的损失函数，边框回归损失函数为待训练模型中边框回归子模型的损失函数。
其中，边框回归损失函数可以为SmoothL1损失函数，该SmoothL1损失函数可以为：
Figure BDA0003327143470000162
其中，x为预测框与真实框之间的距离，β(time)初始值为1。
需要说明的是，随着训练的进行，损失函数的梯度逐渐降低，即逐渐提高β(time)，从而使回归损失函数的梯度逐渐降低，使损失函数可以跨过局部最优鞍部，更好拟合。
可以理解，当相对归一化回归损失小于回归阈值时，降低回归损失函数的梯度值，使回归损失函数可以跨过局部最优鞍部，进而提高回归效果。
在另一实施例中，在上述步骤300之后，所述目标检测方法还包括：
若所述相对归一化回归损失大于或等于回归阈值，则不改变所述预设损失函数的梯度值，所述回归阈值是基于训练时长或训练次数动态调整的。
本实施例中，待训练模型的损失函数的梯度值是基于训练时长或训练次数动态变化的，以使损失函数在训练初期快速接近局部最优点，在训练后期更好地接近局部最优点，从而提高候选框的回归拟合效果，进而提高目标检测模型的检测精度，最终进一步实现高性能的目标检测。
下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
本发明提供的目标检测装置，包括：
获取模块，用于获取包含待检测目标的待检测图像；
检测模块，用于将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
所述目标检测装置还包括训练模块，所述训练模块用于获取训练样本图像，将所述训练样本图像输入至待训练模型，进行特征提取，获得所述训练样本图像对应的特征图；基于所述特征图，构建不同尺度大小和不同长宽比的候选框；基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值，确定所述候选框的正负标签；基于所述候选框及所述正负标签，对所述待训练模型进行训练，得到目标检测模型。
所述训练模块还用于基于所述特征图和预设尺寸类别，构建不同尺度大小和不同长宽比的候选框，所述预设尺寸类别是基于通用目标数据集中各目标尺寸进行统计分析得到的，所述通用目标数据集包括多种尺寸的目标。
所述训练模块还用于基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签；统计所述候选框对应尺寸的正例候选框数量；基于所述正例候选框数量，调整所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例候选框数量满足要求。
所述训练模块还用于统计所述候选框对应尺寸的总候选框数量，并计算所述正例候选框数量和所述总候选框数量的正例占比；若所述正例占比大于所述候选框对应尺寸的候选超参数，则提高所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例占比小于或等于所述候选框对应尺寸的候选超参数。
所述训练模块还用于采用所述候选框、所述正负标签和预设损失函数，对所述待训练模型进行训练，得到目标检测模型，所述预设损失函数的梯度值是基于训练时长或训练次数动态调整的。
所述训练模块还用于计算所述候选框中正例候选框和所述正例候选框对应的目标真实框的相对归一化回归损失；
若所述相对归一化回归损失小于回归阈值，则降低所述预设损失函数的梯度值，所述回归阈值是基于训练时长或训练次数动态调整的。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行目标检测方法，该方法包括：获取包含待检测目标的待检测图像；将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：获取包含待检测目标的待检测图像；将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标检测方法，该方法包括：获取包含待检测目标的待检测图像；将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取包含待检测目标的待检测图像；
将所述待检测图像输入至目标检测模型，进行目标检测，获得所述目标检测模型输出的目标检测结果，所述目标检测模型是基于候选框及其对应的正负标签训练得到的，所述正负标签是基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值确定得到的。
2.根据权利要求1所述的目标检测方法，其特征在于，还包括所述目标检测模型的训练方法：
获取训练样本图像，将所述训练样本图像输入至待训练模型，进行特征提取，获得所述训练样本图像对应的特征图；
基于所述特征图，构建不同尺度大小和不同长宽比的候选框；
基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值，确定所述候选框的正负标签；
基于所述候选框及所述正负标签，对所述待训练模型进行训练，得到目标检测模型。
3.根据权利要求2所述的目标检测方法，其特征在于，所述基于所述特征图，构建不同尺度大小和不同长宽比的候选框，包括：
基于所述特征图和预设尺寸类别，构建不同尺度大小和不同长宽比的候选框，所述预设尺寸类别是基于通用目标数据集中各目标尺寸进行统计分析得到的，所述通用目标数据集包括多种尺寸的目标。
4.根据权利要求2所述的目标检测方法，其特征在于，所述基于所述候选框与所述候选框对应的真实框的交并比，以及动态变化的交并比阈值，确定所述候选框的正负标签，包括：
基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签；
统计所述候选框对应尺寸的正例候选框数量；
基于所述正例候选框数量，调整所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例候选框数量满足要求。
5.根据权利要求4所述的目标检测方法，其特征在于，所述基于所述正例候选框数量，调整所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例候选框数量满足要求，包括：
统计所述候选框对应尺寸的总候选框数量，并计算所述正例候选框数量和所述总候选框数量的正例占比；
若所述正例占比大于所述候选框对应尺寸的候选超参数，则提高所述交并比阈值，并返回基于所述候选框与所述候选框对应的真实框的交并比，和交并比阈值的大小关系，确定所述候选框的正负标签的步骤，直至所述正例占比小于或等于所述候选框对应尺寸的候选超参数。
6.根据权利要求2至5任一项所述的目标检测方法，其特征在于，所述基于所述候选框及所述正负标签，对所述待训练模型进行训练，得到目标检测模型，包括：
采用所述候选框、所述正负标签和预设损失函数，对所述待训练模型进行训练，得到目标检测模型，所述预设损失函数的梯度值是基于训练时长或训练次数动态调整的。
7.根据权利要求6所述的目标检测方法，其特征在于，还包括所述预设损失函数的梯度值的调整方法：
计算所述候选框中正例候选框和所述正例候选框对应的目标真实框的相对归一化回归损失；
若所述相对归一化回归损失小于回归阈值，则降低所述预设损失函数的梯度值，所述回归阈值是基于训练时长或训练次数动态调整的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述目标检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述目标检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述目标检测方法的步骤。
CN202111266514.8A 2021-10-28 2021-10-28 目标检测方法、电子设备、存储介质和计算机程序产品 Pending CN114219936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111266514.8A CN114219936A (zh) 2021-10-28 2021-10-28 目标检测方法、电子设备、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111266514.8A CN114219936A (zh) 2021-10-28 2021-10-28 目标检测方法、电子设备、存储介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114219936A true CN114219936A (zh) 2022-03-22

Family

ID=80696212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111266514.8A Pending CN114219936A (zh) 2021-10-28 2021-10-28 目标检测方法、电子设备、存储介质和计算机程序产品

Country Status (1)

Country Link
CN (1) CN114219936A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723939A (zh) * 2022-04-12 2022-07-08 国网四川省电力公司营销服务中心 基于注意力机制的非极大值抑制方法、系统、设备和介质
CN116563278A (zh) * 2023-07-06 2023-08-08 宁德时代新能源科技股份有限公司 检测结果显示方法、装置、计算机设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723939A (zh) * 2022-04-12 2022-07-08 国网四川省电力公司营销服务中心 基于注意力机制的非极大值抑制方法、系统、设备和介质
CN114723939B (zh) * 2022-04-12 2023-10-31 国网四川省电力公司营销服务中心 基于注意力机制的非极大值抑制方法、系统、设备和介质
CN116563278A (zh) * 2023-07-06 2023-08-08 宁德时代新能源科技股份有限公司 检测结果显示方法、装置、计算机设备和存储介质
CN116563278B (zh) * 2023-07-06 2023-11-17 宁德时代新能源科技股份有限公司 检测结果显示方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN108280477B (zh) 用于聚类图像的方法和装置
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN107545263B (zh) 一种物体检测方法及装置
CN111950488B (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
CN108805016B (zh) 一种头肩区域检测方法及装置
CN109871829B (zh) 一种基于深度学习的检测模型训练方法和装置
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN105809672A (zh) 一种基于超像素和结构化约束的图像多目标协同分割方法
US20160171341A1 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
CN109934077B (zh) 一种图像识别方法和电子设备
CN113705655B (zh) 三维点云全自动分类方法及深度神经网络模型
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN104915642A (zh) 前方车辆测距方法及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
CN115019133A (zh) 基于自训练和标签抗噪的图像中弱目标的检测方法及系统
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN113963008A (zh) 一种高分辨率图像的小目标语义分割方法及系统
CN113888496A (zh) 基于深度卷积神经网络的精子形态识别方法及存储介质
CN113223037A (zh) 一种面向大规模数据的无监督语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination