CN115797731A - 目标检测模型训练方法、检测方法、终端设备及存储介质 - Google Patents

目标检测模型训练方法、检测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN115797731A
CN115797731A CN202310050912.9A CN202310050912A CN115797731A CN 115797731 A CN115797731 A CN 115797731A CN 202310050912 A CN202310050912 A CN 202310050912A CN 115797731 A CN115797731 A CN 115797731A
Authority
CN
China
Prior art keywords
training
module
detection model
image
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310050912.9A
Other languages
English (en)
Inventor
贺玉彬
宋廖超
刘金全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Daduhe Big Data Service Co ltd
Original Assignee
Guoneng Daduhe Big Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Daduhe Big Data Service Co ltd filed Critical Guoneng Daduhe Big Data Service Co ltd
Priority to CN202310050912.9A priority Critical patent/CN115797731A/zh
Publication of CN115797731A publication Critical patent/CN115797731A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测模型训练方法、检测方法、终端设备及存储介质。其中,目标检测模型训练方法包括:对训练图集中的至少部分训练样本图添加对应扰动,得到对抗样本图;再采用添加有对抗样本图的训练图集对人工神经网络识别模型进行训练,得到目标检测模型。训练的过程中对抗样本图会改变模型的决策边界,使得模型能够正确区分这些对抗样本图,当邻域中的所有点都不会越过决策边界的时候,训练出来的目标检测模型就对这一邻域范围内的数据具有对抗稳健性。因此,在人工神经网络识别模型的基础上使用虚拟对抗训练的技术对结果进行数据增强,使得正确结果相邻区域的点都能被正确预测并归类,提高了目标检测模型的鲁棒性。

Description

目标检测模型训练方法、检测方法、终端设备及存储介质
技术领域
本发明涉及图像算法领域,特别涉及一种目标检测模型训练方法、检测方法、终端设备及存储介质。
背景技术
随着网络的普及和娱乐方式的多元化,人们从各类视频中获取的信息占到了相当大的一个比重。有时我们希望能够获得视频中的某些特定目标,例如,在视频中快速找目标对象。如果这些目标识别任务全部使用人工播放检测的方式进行会有人力成本高,时间消耗大的缺陷。因此,我们尝试应用计算机视觉领域的机器学习方法归档处理数据,最终实现机器自动检测目标并分类。
随着科技不断进步,人们对人工神经网络识别模型的鲁棒性提出了更高的要求,如何满足更高鲁棒性的要求是一个值得研究的问题。
发明内容
本发明的目的在于提供一种目标检测模型训练方法、检测方法、终端设备及存储介质,其能够改善上述问题。
本申请的实施例是这样实现的:
第一方面,本申请提供一种目标检测模型训练方法,其包括:
S1、获取训练样本图,生成训练图集;
S2、对所述训练图集中的至少部分所述训练样本图添加对应扰动,得到对抗样本图;
S3、将所述对抗样本图加入所述训练图集,得到更新后的所述训练图集;
S4、采用更新后的所述训练图集对人工神经网络识别模型进行训练,得到目标检测模型。
在本申请实施例中,步骤S1至S4为默认顺序,但是步骤S1至S4中的任意步骤顺序可以根据实际情况调换。
可以理解,本申请公开了一种目标检测模型训练方法,对训练图集中的至少部分训练样本图添加对应扰动,得到对抗样本图;再采用添加有对抗样本图的训练图集对人工神经网络识别模型进行训练,得到目标检测模型。训练的过程中对抗样本图会改变模型的决策边界,使得模型能够正确区分这些对抗样本图,当邻域中的所有点都不会越过决策边界的时候,训练出来的模型就对这一邻域范围内的数据具有对抗稳健性。因此,在人工神经网络识别模型的基础上使用虚拟对抗训练的技术对结果进行数据增强,使得正确结果相邻区域的点都能被正确预测并归类,提高了目标识别模型的鲁棒性。
在本申请可选的实施例中,步骤S2包括:
S21、提取所述训练图集中的至少部分所述训练样本图作为待处理样本图;
S22、通过下式快速计算出每张所述待处理样本图对应的待添加的扰动
Figure SMS_1
Figure SMS_2
其中,
Figure SMS_5
为在所述训练样本图中每个点的周围范围,
Figure SMS_10
是度量
Figure SMS_12
Figure SMS_6
之间距离 的函数,
Figure SMS_9
是距离函数对于r所计算的梯度,
Figure SMS_13
代表所述训练样本图,
Figure SMS_15
代表识别结果,
Figure SMS_3
表示所述训练样本图
Figure SMS_8
的预测分布,
Figure SMS_11
代表模型参数,
Figure SMS_14
是规范化后的梯度值,
Figure SMS_4
是 梯度值,
Figure SMS_7
是最大特征值对应的特征向量;
S23、将所述扰动
Figure SMS_16
添加到对应的所述训练样本图中,得到对抗样本图。
可以理解,有时图片数据会受到外界噪声,抑或特定方向的数据攻击,在人眼不可分辨的维度上做出的改变可以让深度学习网络在判断时产生较大的误差。本申请将生成的对抗样本加入到训练集中进行数据增强,训练的过程中对抗样本会改变模型的决策边界,使得模型能够正确区分这些对抗样本,当邻域中的所有点都不会越过决策边界的时候,训练出来的模型就对这一邻域范围内的数据具有对抗稳健性。本申请采用虚拟对抗训练(Visual adversarial training,VAT)技术计算扰动
Figure SMS_17
,虚拟对抗训练是一种应用于深度学习的半监督正则化方法,对于数据中一部分带有标签,另一部分数据不带有标签的情况更为适用。
在本申请可选的实施例中,所述人工神经网络识别模型,包括输入端、主干网络、特征融合网络和预测端。
在本申请可选的实施例中,所述输入端用于对输入图像进行Mosaic数据增强处理、自适应锚框计算处理和自适应灰度填充处理中的至少一项。
在本申请可选的实施例中,所述主干网络用于对经所述输入端处理后的图像进行特征提取处理,依次包括Focus模块、多个CBL-CSP1_X模块和SPP模块;所述Focus模块将输入图像等间距采样成四个子图;所述CBL-CSP1_X模块依次包括CBL模块和CSP1模块,其中,所述CBL模块用于通过卷积操作对输入图像进行降采样,依次包括卷积层、归一化层和激活函数,所述CSP1_X模块用于通过卷积操作对输入图像进行特征提取,所述CSP1_X模块对输入图像进行所述CBL模块、多个残差堆叠模块和卷积层处理后再与卷积后的所述CSP1_X模块的输入图像进行拼接;所述SPP模块用于使用多种最大池化将不同尺寸的空间特征信息进行拼接,得到第一目标特征图。
在本申请可选的实施例中,所述特征融合网络用于对输入的第一目标特征图进行叠加操作和拼接操作,包括FPN模块、PAN模块和CSP2_X-CBL模块;所述FPN模块自顶向下进行上采样,所述PAN模块自底向上进行下采样;所述CSP2_X-CBL模块包括依次包括CSP2_X模块和CBL模块,其中,所述CSP2_X模块对输入图像进行多个所述CBL模块和卷积层处理后再与卷积后的所述CSP2_X模块的输入图像进行拼接。
在本申请可选的实施例中,所述预测端用于根据所述特征融合网络输出的第二目标特征图做出预测;所述预测端采用下式计算预测框的损失函数:
Figure SMS_18
其中,
Figure SMS_19
代表所述预测框的损失函数,即衡量所述预测框与真实框重合程度的指标,
Figure SMS_20
代表预测框和真实框的交并比,
Figure SMS_21
Figure SMS_22
分别表示预测框和真实框中心点的欧氏距离和最小外接矩形的对角线长度;
其中,
Figure SMS_23
代表衡量所述预测框长宽比一致性的参数:
Figure SMS_24
Figure SMS_25
是真实框的宽,
Figure SMS_26
是真实框的高,
Figure SMS_27
是预测框的宽,
Figure SMS_28
是预测框的高,
Figure SMS_29
代表所 述真实框的宽高比,
Figure SMS_30
代表所述预测框的宽高比。
第二方面,本申请提供一种目标检测模型检测方法,包括:
获取待检测图像;
将所述待检测图像输入所述目标检测模型,得到所述待检测图像中的所有图像元素识别结果。
可以理解,本申请公开了一种目标检测模型检测方法,采用第一方面公开的目标检测模型进行图像识别,由于其具有较好的鲁棒性,对于识别结果更加精准。
第三方面,本申请公开了一种终端设备,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如第一方面和第二方面任一项所述的方法。
第四方面,本申请公开了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如第一方面和第二方面任一项所述的方法。
有益效果:
本申请公开了一种目标检测模型训练方法,对训练图集中的至少部分训练样本图添加对应扰动,得到对抗样本图;再采用添加有对抗样本图的训练图集对人工神经网络识别模型进行训练,得到目标检测模型。训练的过程中对抗样本图会改变模型的决策边界,使得模型能够正确区分这些对抗样本图,当邻域中的所有点都不会越过决策边界的时候,训练出来的目标检测模型就对这一邻域范围内的数据具有对抗稳健性。因此,在人工神经网络识别模型的基础上使用虚拟对抗训练的技术对结果进行数据增强,使得正确结果相邻区域的点都能被正确预测并归类,提高了目标检测模型的鲁棒性。
本申请公开了一种目标检测模型检测方法,采用上述目标检测模型进行图像识别,由于其具有较好的鲁棒性,对于识别结果更加精准。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举可选实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请提供的一种人工神经网络识别模型示意图;
图2是图1中主干网络和特征融合网络的组合示意图;
图3是图1中主干网络的示意图;
图4是图1中特征融合网络的示意图;
图5是本申请提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
第一方面,本申请提供一种目标检测模型训练方法,其包括:
S1、获取训练样本图,生成训练图集。
S2、对训练图集中的至少部分训练样本图添加对应扰动,得到对抗样本图。
对于一个连续函数,输入样本的微小变化反映在输出端的预测输出不会引起大的改变。但在深度学习的网络结构中,数据在每一层之间的传递依赖于各层的激活函数。从整体来看数据传递在不连续的函数上。因此,输入端微小的改变可能会对后面的输出产生较大的改变。
有时图片数据会受到外界噪声,抑或特定方向的数据攻击,在人眼不可分辨的维度上做出的改变可以让深度学习网络在判断时产生较大的误差。本申请将生成的对抗样本加入到训练集中进行数据增强,训练的过程中对抗样本会改变模型的决策边界,使得模型能够正确区分这些对抗样本,当邻域中的所有点都不会越过决策边界的时候,训练出来的模型就对这一邻域范围内的数据具有对抗稳健性。
S3、将对抗样本图加入训练图集,得到更新后的训练图集。
S4、采用更新后的训练图集对人工神经网络识别模型进行训练,得到目标检测模型。
在本申请实施例中,步骤S1至S4为默认顺序,但是步骤S1至S4中的任意步骤顺序可以根据实际情况调换。
可以理解,本申请公开了一种目标检测模型训练方法,对训练图集中的至少部分训练样本图添加对应扰动,得到对抗样本图;再采用添加有对抗样本图的训练图集对人工神经网络识别模型进行训练,得到目标检测模型。训练的过程中对抗样本图会改变模型的决策边界,使得模型能够正确区分这些对抗样本图,当邻域中的所有点都不会越过决策边界的时候,训练出来的模型就对这一邻域范围内的数据具有对抗稳健性。因此,在人工神经网络识别模型的基础上使用虚拟对抗训练的技术对结果进行数据增强,使得正确结果相邻区域的点都能被正确预测并归类,提高了目标识别模型的鲁棒性。
在本申请可选的实施例中,步骤S2包括:
S21、提取训练图集中的至少部分训练样本图作为待处理样本图。
S22、通过下式快速计算出每张待处理样本图对应的待添加的扰动
Figure SMS_31
Figure SMS_32
其中,
Figure SMS_35
为在所述训练样本图中每个点的周围范围,
Figure SMS_38
是度量
Figure SMS_41
Figure SMS_36
之间距离的 函数,
Figure SMS_40
是距离函数对于r所计算的梯度,
Figure SMS_43
代表所述训练样本图,
Figure SMS_45
代表识别结果,
Figure SMS_33
表示所述训练样本图
Figure SMS_39
的预测分布,
Figure SMS_42
代表模型参数,
Figure SMS_44
是规范化后的梯度值,
Figure SMS_34
是梯度值,
Figure SMS_37
是最大特征值对应的特征向量。
S23、将扰动
Figure SMS_46
添加到对应的训练样本图中,得到对抗样本图。
对抗训练的损失函数为:
Figure SMS_47
其中,
Figure SMS_48
表示训练样本图
Figure SMS_49
的预测分布,
Figure SMS_50
表示训练样本图
Figure SMS_51
的真实分布,
Figure SMS_52
是对
Figure SMS_53
预测偏差最大时的扰动,也叫做对抗方向。
正则项的定义是在每一个训练样本点的周围(固定范围
Figure SMS_54
)找一个预测分布和这个样本点标签的真实分布相差最大的点
Figure SMS_55
,然后优化模型参数
Figure SMS_56
来减小这个偏差。在每一次迭代优化
Figure SMS_57
减小损失函数
Figure SMS_58
之前,都要先计算一次
Figure SMS_59
,即获取当前扰动的最大偏差量作为正则项。这种优化方式就好像是在“对抗”损失函数的减小,因此得名对抗训练。
本申请采用虚拟对抗训练(Visual adversarial training,VAT)技术计算扰动
Figure SMS_60
,虚拟对抗训练是一种应用于深度学习的半监督正则化方法,对于数据中一部分带有标签,另一部分数据不带有标签的情况更为适用。
虚拟对抗训练中,真实分布
Figure SMS_61
被替换成了当前迭代的预测分布
Figure SMS_62
,如 果有标签的样本比较多,那么,预测分布
Figure SMS_63
是离真实分布
Figure SMS_64
比较近的,这也是虚拟对抗训练得名的原因。此时的损失函数由之前的
Figure SMS_65
换成了局部分布平滑度
Figure SMS_66
Figure SMS_67
Figure SMS_68
的好处在于,它不需要标签真实分布,同样也可以加入训练来完善深度学习网络。
在本申请可选的实施例中,如图1所示,人工神经网络识别模型,包括输入端(Input)、主干网络(Backbone)、特征融合网络(Neck)和预测端(Prediction)。
在本申请可选的实施例中,输入端用于对输入图像进行Mosaic数据增强处理、自适应锚框计算处理和自适应灰度填充处理中的至少一项。
其中,Mosaic数据增强处理包括以下步骤:
S01,通过各级卷积操作提取原始训练图集中各个原始训练图像中的图像特征,得到原始训练图像特征图。
S02,利用候选区域生成网络RPN技术在原始训练图像特征图上生成至少一个目标识别区域。
在本申请实施例中,获得原始训练图像后,可利用卷积神经网络CNN技术提取该原始训练图像的图像特征,得到该原始训练图像特征图Feature Map,再利用候选区域生成网络(Region Proposal Network,RPN)技术在上述原始训练图像特征图上生成至少一个目标识别区域。
S03,将目标识别区域从对应的原始训练图像中分隔出来,形成处理图像。
S04,选取四张处理图像粘贴于固定尺寸的掩膜版上,形成待训练图像。
S05,通过待训练图像对人工神经网络模型进行训练。
其中,步骤S01至S05为默认顺序,但是步骤S01至S05中的任意步骤顺序可以根据实际情况调换。
可以理解,选取四张分别含有目标识别区域的处理图像进行拼接形成待训练图像,将待训练图像输入人工神经网络模型,相当于一下子对四张原始训练图像进行了训练。
在本申请可选的实施例中,如图2和图3所示,主干网络(Backbone)用于对经输入端处理后的图像进行特征提取处理,依次包括Focus模块、多个CBL-CSP1_X模块和SPP模块;
Focus模块将输入图像等间距采样成四个子图,将图片的尺寸降为原来的一半,而通道数变为原来的4倍;
CBL-CSP1_X模块依次包括CBL模块和CSP1_X模块,X为正整数,其中,CBL模块用于通过卷积操作对输入图像进行降采样,依次包括卷积层、归一化层和激活函数,降采样模块通过卷积操作对特征图进行降采样,减小特征图尺寸,同时改变特征图的通道数;
CSP1_X模块用于通过卷积操作对输入图像进行特征提取,CSP1_X模块对输入图像进行CBL模块、多个残差堆叠模块和卷积层处理后再与卷积后的CSP1_X模块的输入图像进行拼接;CSP1_X模块主要是通过卷积操作对特征图进行特征提取,从低阶的特征图中提取出包含更多语义信息的高阶特征。通过主干网络,将一个输入的RGB三通道图片转化为包含诸多语义信息表示的特征图,送入到特征融合网络中。
SPP模块用于使用多种最大池化将不同尺寸的空间特征信息进行拼接,得到第一目标特征图。
在本申请可选的实施例中,如图2和图4所示,特征融合网络(Neck)用于对输入的第一目标特征图进行叠加操作和拼接操作,包括FPN模块、PAN模块和CSP2_X-CBL模块。
FPN模块自顶向下进行上采样,PAN模块自底向上进行下采样。在FPN和PAN结构中,不同尺度的特征图的特征融合需要以下步骤:将特征图上采样或降采样至同一尺寸;通过卷积操作将特征图通道数转化为相同数量;将两组尺寸、通道数都相同的特征图直接叠加以进行融合,或是将两组特征图按通道维度拼接,然后经过一组卷积操作进行融合。
CSP2_X-CBL模块包括依次包括CSP2_X模块和CBL模块,X为正整数,其中,CSP2_X模块对输入图像进行多个CBL模块和卷积层处理后再与卷积后的CSP2_X模块的输入图像进行拼接。
在本申请可选的实施例中,预测端用于根据特征融合网络输出的第二目标特征图做出预测;预测端采用下式计算预测框的损失函数:
Figure SMS_69
其中,
Figure SMS_70
代表所述预测框的损失函数,即衡量所述预测框与真实框重合程度的指标,
Figure SMS_71
代表预测框和真实框的交并比,
Figure SMS_72
Figure SMS_73
分别表示预测框和真实框中心点的欧氏距离和最小外接矩形的对角线长度;
其中,
Figure SMS_74
代表衡量所述预测框长宽比一致性的参数:
Figure SMS_75
Figure SMS_76
是真实框的宽,
Figure SMS_77
是真实框的高,
Figure SMS_78
是预测框的宽,
Figure SMS_79
是预测框的高,
Figure SMS_80
代表所 述真实框的宽高比,
Figure SMS_81
代表所述预测框的宽高比。
第二方面,本申请提供一种目标检测模型检测方法,包括:
获取待检测图像;
将待检测图像输入目标检测模型,得到待检测图像中的所有图像元素识别结果。
可以理解,本申请公开了一种目标检测模型检测方法,采用第一方面公开的目标检测模型进行图像识别,由于其具有较好的鲁棒性,对于识别结果更加精准。
第三方面,本申请提供一种终端设备。如图5所示,终端设备包括一个或多个处理器501;一个或多个输入设备502,一个或多个输出设备503和存储器504。上述处理器501、输入设备502、输出设备503和存储器504通过总线505连接。存储器504用于存储计算机程序,该计算机程序包括程序指令,处理器501用于执行存储器504存储的程序指令。其中,处理器501被配置用于调用该程序指令执行第一方面和第二方面任一方法的操作:
应当理解,在本发明实施例中,所称处理器501可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备502可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备503可以包括显示器(LCD等)、扬声器等。
该存储器504可以包括只读存储器和随机存取存储器,并向处理器501提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器。例如,存储器504还可以存储设备类型的信息。
具体实现中,本发明实施例中所描述的处理器501、输入设备502、输出设备503可执行第一方面和第二方面任一方法所描述的实现方式,也可执行本发明实施例所描述的终端设备的实现方式,在此不再赘述。
第四方面,本发明供一种存储介质,该存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现第一方面和第二方面任一方法的步骤。
上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元,例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备,例如上述终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关,但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如,第一用户设备和第二用户设备表示不同的用户设备,虽然两者均是用户设备。例如,在不背离本公开的范围的前提下,第一元件可称作第二元件,类似地,第二元件可称作第一元件。
当一个元件(例如,第一元件)称为与另一元件(例如,第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如,第二元件)或“连接至”另一元件(例如,第二元件)时,应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如,第三元件)间接连接至该另一个元件。相反,可理解,当元件(例如,第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时,则没有元件(例如,第三元件)插入在这两者之间。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
以上所述仅为本申请的可选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.目标检测模型训练方法,其特征在于,包括:
获取训练样本图,生成训练图集;
对所述训练图集中的至少部分所述训练样本图添加对应扰动,得到对抗样本图;
将所述对抗样本图加入所述训练图集,得到更新后的所述训练图集;
采用更新后的所述训练图集对人工神经网络识别模型进行训练,得到目标检测模型。
2.根据权利要求1所述的目标检测模型训练方法,其特征在于,
所述对所述训练图集中的至少部分所述训练样本图添加对应扰动,得到对抗样本图,包括:
提取所述训练图集中的至少部分所述训练样本图作为待处理样本图;
通过下式快速计算出每张所述待处理样本图对应的待添加的扰动
Figure QLYQS_1
Figure QLYQS_2
其中,
Figure QLYQS_4
为在所述训练样本图中每个点的周围范围,
Figure QLYQS_10
是度量
Figure QLYQS_13
Figure QLYQS_6
之间距离的函数,
Figure QLYQS_9
是距离函数对于r所计算的梯度,
Figure QLYQS_12
代表所述训练样本图,
Figure QLYQS_15
代表识别结果,
Figure QLYQS_3
表示所述训练样本图
Figure QLYQS_8
的预测分布,
Figure QLYQS_11
代表模型参数,
Figure QLYQS_14
是规范化后的梯度值,
Figure QLYQS_5
是梯度值,
Figure QLYQS_7
是最大特征值对应的特征向量;
将所述扰动
Figure QLYQS_16
添加到对应的所述训练样本图中,得到对抗样本图。
3.根据权利要求2所述的目标检测模型训练方法,其特征在于,
所述人工神经网络识别模型包括输入端、主干网络、特征融合网络和预测端。
4.根据权利要求3所述的目标检测模型训练方法,其特征在于,
所述输入端用于对输入图像进行Mosaic数据增强处理、自适应锚框计算处理和自适应灰度填充处理中的至少一项。
5.根据权利要求4所述的目标检测模型训练方法,其特征在于,
所述主干网络用于对经所述输入端处理后的图像进行特征提取处理,依次包括Focus模块、多个CBL-CSP1_X模块和SPP模块;
所述Focus模块将输入图像等间距采样成四个子图;
所述CBL-CSP1_X模块依次包括CBL模块和CSP1模块,其中,所述CBL模块用于通过卷积操作对输入图像进行降采样,依次包括卷积层、归一化层和激活函数,所述CSP1_X模块用于通过卷积操作对输入图像进行特征提取,所述CSP1_X模块对输入图像进行所述CBL模块、多个残差堆叠模块和卷积层处理后再与卷积后的所述CSP1_X模块的输入图像进行拼接;
所述SPP模块用于使用多种最大池化将不同尺寸的空间特征信息进行拼接,得到第一目标特征图。
6.根据权利要求5所述的目标检测模型训练方法,其特征在于,
所述特征融合网络用于对输入的第一目标特征图进行叠加操作和拼接操作,包括FPN模块、PAN模块和CSP2_X-CBL模块;
所述FPN模块自顶向下进行上采样,所述PAN模块自底向上进行下采样;
所述CSP2_X-CBL模块包括依次包括CSP2_X模块和CBL模块,其中,所述CSP2_X模块对输入图像进行多个所述CBL模块和卷积层处理后再与卷积后的所述CSP2_X模块的输入图像进行拼接。
7.根据权利要求6所述的目标检测模型训练方法,其特征在于,
所述预测端用于根据所述特征融合网络输出的第二目标特征图做出预测;所述预测端采用下式计算预测框的损失函数:
Figure QLYQS_17
其中,
Figure QLYQS_18
代表所述预测框的损失函数,即衡量所述预测框与真实框重合程度的指标,
Figure QLYQS_19
代表预测框和真实框的交并比,
Figure QLYQS_20
Figure QLYQS_21
分别表示预测框和真实框中心点的欧氏距离和最小外接矩形的对角线长度;
其中,
Figure QLYQS_22
代表衡量所述预测框长宽比一致性的参数:
Figure QLYQS_23
Figure QLYQS_24
是真实框的宽,
Figure QLYQS_25
是真实框的高,
Figure QLYQS_26
是预测框的宽,
Figure QLYQS_27
是预测框的高,
Figure QLYQS_28
代表所述真实框的宽高比,
Figure QLYQS_29
代表所述预测框的宽高比。
8.一种目标检测模型检测方法,其特征在于,
获取待检测图像;
将所述待检测图像输入所述目标检测模型,得到所述待检测图像中的所有图像元素识别结果。
9.目标检测模型终端设备,其特征在于,
包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1至8任一项所述的方法。
10.目标检测模型存储介质,其特征在于,
所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至8任一项所述的方法。
CN202310050912.9A 2023-02-02 2023-02-02 目标检测模型训练方法、检测方法、终端设备及存储介质 Pending CN115797731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310050912.9A CN115797731A (zh) 2023-02-02 2023-02-02 目标检测模型训练方法、检测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310050912.9A CN115797731A (zh) 2023-02-02 2023-02-02 目标检测模型训练方法、检测方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115797731A true CN115797731A (zh) 2023-03-14

Family

ID=85429437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310050912.9A Pending CN115797731A (zh) 2023-02-02 2023-02-02 目标检测模型训练方法、检测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115797731A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070695A (zh) * 2023-04-03 2023-05-05 中国科学技术大学 图像检测模型的训练方法、图像检测方法及电子设备
CN117113137A (zh) * 2023-08-07 2023-11-24 国网冀北电力有限公司信息通信分公司 电力模型匹配方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532377A (zh) * 2019-05-13 2019-12-03 南京大学 一种基于对抗训练和对抗学习网络的半监督文本分类方法
CN113988312A (zh) * 2021-11-02 2022-01-28 贵州大学 一种面向机器学习模型的成员推理隐私攻击方法及系统
CN114140651A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部病灶识别模型训练方法、胃部病灶识别方法
CN114359851A (zh) * 2021-12-02 2022-04-15 广州杰赛科技股份有限公司 无人驾驶目标检测方法、装置、设备及介质
CN114648675A (zh) * 2022-03-16 2022-06-21 中国工商银行股份有限公司 对抗训练方法、图像处理方法、装置、设备和介质
US20220414531A1 (en) * 2021-06-25 2022-12-29 International Business Machines Corporation Mitigating adversarial attacks for simultaneous prediction and optimization of models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532377A (zh) * 2019-05-13 2019-12-03 南京大学 一种基于对抗训练和对抗学习网络的半监督文本分类方法
US20220414531A1 (en) * 2021-06-25 2022-12-29 International Business Machines Corporation Mitigating adversarial attacks for simultaneous prediction and optimization of models
CN113988312A (zh) * 2021-11-02 2022-01-28 贵州大学 一种面向机器学习模型的成员推理隐私攻击方法及系统
CN114359851A (zh) * 2021-12-02 2022-04-15 广州杰赛科技股份有限公司 无人驾驶目标检测方法、装置、设备及介质
CN114140651A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部病灶识别模型训练方法、胃部病灶识别方法
CN114648675A (zh) * 2022-03-16 2022-06-21 中国工商银行股份有限公司 对抗训练方法、图像处理方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADVERSARIAL TRAINING: "VAT(虚拟对抗训练)论文解读" *
TAKERU MIYATO等: "ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070695A (zh) * 2023-04-03 2023-05-05 中国科学技术大学 图像检测模型的训练方法、图像检测方法及电子设备
CN116070695B (zh) * 2023-04-03 2023-07-18 中国科学技术大学 图像检测模型的训练方法、图像检测方法及电子设备
CN117113137A (zh) * 2023-08-07 2023-11-24 国网冀北电力有限公司信息通信分公司 电力模型匹配方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
WO2020221013A1 (zh) 一种图像处理方法、装置、电子设备以及存储介质
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
EP3757905A1 (en) Deep neural network training method and apparatus
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN110647829A (zh) 一种票据的文本识别方法及系统
CN110414344B (zh) 一种基于视频的人物分类方法、智能终端及存储介质
CN111709409A (zh) 人脸活体检测方法、装置、设备及介质
CN115797731A (zh) 目标检测模型训练方法、检测方法、终端设备及存储介质
CN111126258A (zh) 图像识别方法及相关装置
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN113591872A (zh) 一种数据处理系统、物体检测方法及其装置
WO2022152104A1 (zh) 动作识别模型的训练方法及装置、动作识别方法及装置
CN116229056A (zh) 基于双分支特征融合的语义分割方法、装置、设备
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN112070040A (zh) 一种用于视频字幕的文本行检测方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113343981A (zh) 一种视觉特征增强的字符识别方法、装置和设备
CN114332484A (zh) 关键点检测方法、装置、计算机设备和存储介质
CN111476144B (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN116883841A (zh) 一种基于多任务优化的萱草叶片病害检测方法及系统
CN116206227A (zh) 5g富媒体信息的图片审查系统、方法、电子设备及介质
WO2020224244A1 (zh) 一种景深图获取方法及装置
CN113516148A (zh) 基于人工智能的图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230314

RJ01 Rejection of invention patent application after publication