CN111739016A - 目标检测模型训练方法、装置、电子设备及存储介质 - Google Patents
目标检测模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111739016A CN111739016A CN202010696409.7A CN202010696409A CN111739016A CN 111739016 A CN111739016 A CN 111739016A CN 202010696409 A CN202010696409 A CN 202010696409A CN 111739016 A CN111739016 A CN 111739016A
- Authority
- CN
- China
- Prior art keywords
- detection model
- training
- target
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明涉及人工智能技术领域,可应用于智慧社区场景中,从而推动智慧城市的建设。一种目标检测模型训练方法,包括:获取预设的训练集,其中,训练集的每幅训练图像携带有用于标记对象的检测框;根据预设坐标增量以及预设比例,在每个检测框中生成多个候选框;确定每个候选框的梯度和;根据梯度和,从每个检测框中的多个候选框中确定目标候选框;通过对目标候选框的图像像素进行范数扰动,获得对抗补丁图像;使用对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。本发明还提供一种目标检测模型训练装置、电子设备及存储介质。本发明能提高目标检测模型的识别准确率。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种目标检测模型训练方法、装置、电子设备及存储介质。
背景技术
目前,随着人工智能技术的发展,可以通过机器学习、神经网络训练等方式获得的目标检测模型来对图像中的不同对象进行检测,但在实践中发现,目标检测模型容易受到对抗性攻击,比如检测对象戴口罩、带眼镜或被其他物品遮挡住检测对象的一部分等,这时,目标检测模型容易出错,识别准确率不高。
因此,如何提高目标检测模型的识别准确率是一个亟需解决的技术问题。
发明内容
鉴于以上内容,有必要提供一种目标检测模型训练方法、装置、电子设备及存储介质,能够提高目标检测模型的识别准确率。
本发明的第一方面提供一种目标检测模型训练方法,所述目标检测模型训练方法包括:
获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框;
根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框;
确定每个所述候选框的梯度和;
根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和;
通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像;
使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
本发明的第二方面提供一种目标检测模型训练装置,所述目标检测模型训练装置包括:
获取模块,用于获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框;
生成模块,用于根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框;
确定模块,用于确定每个所述候选框的梯度和;
所述确定模块,还用于根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和;
扰动模块,用于通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像;
优化模块,用于使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
本发明的第三方面提供一种电子设备,所述电子设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现所述的目标检测模型训练方法。
本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的目标检测模型训练方法。
由以上技术方案,本发明中,可以在训练图像的检测框中生成梯度和最大的目标候选框,即目标候选框的区域对模型分类检测的影响最大,是最容易检测出错的区域,然后对目标候选框中的图像像素进行范数扰动,改变了目标候选框中的图像像素,以模拟现实中检测对象部分区域被遮挡的情况,而且,经过范数扰动,可以获取到对检测干扰最大的对抗补丁图像,然后通过训练图像以及补丁图像对目标检测模型进行训练,可以提高目标检测模型的识别准确率,提高了目标检测模型的鲁棒性。
附图说明
图1是本发明公开的一种目标检测模型训练方法的较佳实施例的流程图。
图2是本发明公开的一种目标检测模型训练装置的较佳实施例的功能模块图。
图3是本发明实现目标检测模型训练方法的较佳实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明实施例的目标检测模型训练方法应用在电子设备中,也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中,由服务器和电子设备共同执行。网络包括但不限于:广域网、城域网或局域网。
其中,服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol,简称FTP)服务,也可以叫服务器。从狭义范围上讲,服务器专指某些高性能计算机,能通过网络,对外提供服务,其相对于普通的个人电脑来说,稳定性、安全性、性能等方面都要求更高,因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中,所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1,图1是本发明公开的一种目标检测模型训练方法的较佳实施例的流程图。其中,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。其中,所述目标检测模型训练方法的执行主体可以是电子设备。
S11、获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框。
其中,所述检测框可以是一个矩形框。
其中,所述训练集中的每幅训练图像中可能有一个或者多个需要检测的对象,对每个对象使用所述检测框进行标记,即每个对象都被一个矩形框框住,每个所述检测框对应有分类标签。
其中,所述对象可以是行人,动物或者特定物品。
S12、根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框。
具体的,所述预设坐标增量包括预设纵坐标增量以及预设横坐标增量,所述根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框包括:
获取所述检测框的起始位置的纵坐标以及横坐标;
将所述起始位置的纵坐标不断与所述预设纵坐标增量相加,获得多个新增纵坐标,以及将所述起始位置的横坐标不断与所述预设横坐标增量相加,获得多个新增横坐标,其中,所述多个新增纵坐标在所述检测框的纵坐标范围内,所述多个新增横坐标在所述检测框的横坐标范围内;
将所述多个新增纵坐标以及所述多个新增横坐标进行组合,获得多个新增位置;
在每个所述新增位置生成大小与所述检测框的大小成所述预设比例的候选框,其中,所述候选框在所述检测框内。
其中,所述多个新增横坐标以及所述多个新增纵坐标在所述检测框的范围内。
在该可选的实施方式中,所述预设坐标增量包括预设纵坐标增量以及预设横坐标增量,可以预先设置一个纵坐标增量以及横坐标增量,比如纵坐标增量为1,横坐标增量也为1,起始位置的坐标为(0,0),则可以获得多个新增位置的坐标为(1,1)、(1,2)、(2,1)、(2,2)、(2,3)等。所述多个新增纵坐标在所述检测框的纵坐标范围内,所述多个新增横坐标在所述检测框的横坐标范围内。可以预先设置一个比例,比如1/5,那么生成的候选框的大小为所述检测框的大小的1/5。可以将所述预设坐标增量设置大些,需要计算的新增位置以及候选框的数据变少,以减少计算量。所述候选框在所述检测框内。
S13、确定每个所述候选框的梯度和。
其中,所述梯度和为候选框中所有图像像素与当前损失函数的梯度的和。
其中,所述当前损失函数为训练中的目标检测模型的当前参数对应的损失函数。
其中,梯度可以是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大。
其中,所述梯度和越大,表示所述候选框与所述损失函数对应的损失值越大。
S14、根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和。
S15、通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像。
其中,所述范数扰动的过程是迭代的过程。
其中,所述迭代可以是指对过程的重复,每一次迭代的结果会作为下一次迭代的初始值。
具体的,所述范数扰动的过程是迭代的过程,所述通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像包括:
在所述范数扰动的迭代的过程中,针对每幅携带有所述目标候选框的训练图像,根据多个预设扰动值,生成多幅迭代图像;
确定每幅所述迭代图像与损失函数的迭代梯度;
从所有所述迭代图像中,将所述迭代梯度最大的迭代图像确定为目标图像;
将最后一次迭代获得的目标图像确定为所述对抗补丁图像。
在该可选的实施方式中,可以对整幅图像中的目标候选框区域内的像素进行扰动,可以进行基于范数扰动的对抗攻击,如多次迭代的基于无限范数的PGD(ProjectGradient Descent,项目梯度下降)攻击。每次迭代过程中,计算损失函数相对于图像x的梯度,sign函数在所述目标候选框内是,在所述目标候选框外是零,为预先设定的迭代学习率,更新图像x(即获得所述迭代图像)的公式如下:
S16、使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
具体的,所述使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型包括:
每次使用所述训练集的一幅训练图像进行训练,获得所述训练中的目标检测模型的最新参数时,获取与所述训练图像对应的对抗补丁图像;
使用所述对抗补丁图像进行训练,以优化所述目标检测模型的参数;
当所述目标检测模型的损失函数收敛时,确定获得所述训练好的目标检测模型。
在该可选的实施方式中,对目标检测模型的训练是一个交叉的训练过程,在使用一幅训练图像对目标检测模型进行训练后,基于目标检测模型当前的最新参数以及这一幅训练图像,生成对抗补丁图像,接着用对抗补丁图像进行训练优化目标检测模型的参数,然后再处理下一幅训练图像。
其中,可以通过梯度下降法,对目标检测模型的参数进行优化更新,所述梯度下降法可以是一种寻找目标函数最小化的方法,通过梯度下降法,可以优化模型的损失函数,使得模型的损失函数的损失值最小,这时反馈获得的模型参数为最优参数。
作为一种可选的实施方式,所述当所述目标检测模型的损失函数收敛时,确定获得所述训练好的目标检测模型之后,所述方法还包括:
获取预设的测试集;
使用所述测试集的图片,对所述训练好的目标检测模型进行测试,获得所述训练好的目标检测模型的准确率;
若所述准确率小于预设准确率阈值,生成告警信息;
将所述告警信息发送至预设终端。
本发明实施例中,可以对所述训练好的目标检测模型进行测试,以确定所述训练好的目标检测模型的准确率,若所述准确率大于或等于预设准确率阈值,确定所述训练好的目标检测模型可以正常使用;若所述准确率小于预设准确率阈值,可以生成告警信息,并将所述告警信息发送至预设终端,以提示相关人员进行错误排查或对模型进行重新训练等操作。
作为一种可选的实施方式,所述使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型之后,所述方法还包括:
获取待检测图片;
将所述待检测图片输入至所述训练好的目标检测模型中,获得检测结果;
输出所述检测结果并将所述检测结果上传至区块链中。
在该可选的实施方式中,可以将待检测的图片输入至所述训练好的目标检测模型中,获得识别准确率较高的检测结果,提高了人工智能进行目标检测的效果。
基于检测结果得到对应的摘要信息,具体来说,摘要信息由检测结果进行散列处理得到,比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息,以便查证格式数据是否被篡改。
本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在图1所描述的方法流程中,可以在训练图像的检测框中生成梯度和最大的目标候选框,即目标候选框的区域对模型分类检测的影响最大,是最容易检测出错的区域,然后对目标候选框中的图像像素进行范数扰动,改变了目标候选框中的图像像素,以模拟现实中检测对象部分区域被遮挡的情况,而且,经过范数扰动,可以获取到对检测干扰最大的对抗补丁图像,然后通过训练图像以及补丁图像对目标检测模型进行训练,可以提高目标检测模型的识别准确率,提高了目标检测模型的鲁棒性。
图2是本发明公开的一种目标检测模型训练装置的较佳实施例的功能模块图。
请参见图2,所述目标检测模型训练装置20可运行于电子设备中。所述目标检测模型训练装置20可以包括多个由程序代码段所组成的功能模块。所述目标检测模型训练装置20中的各个程序段的程序代码可以存储于存储器中,并由至少一个处理器所执行,以执行图1所描述的目标检测模型训练方法中的部分或全部步骤。
本实施例中,所述目标检测模型训练装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:获取模块201、生成模块202、确定模块203、扰动模块204及优化模块205。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。
获取模块201,用于获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框。
其中,所述检测框可以是一个矩形框。
其中,所述训练集中的每幅训练图像中可能有一个或者多个需要检测的对象,对每个对象使用所述检测框进行标记,即每个对象都被一个矩形框框住,每个所述检测框对应有分类标签。
其中,所述对象可以是行人,动物或者特定物品。
生成模块202,用于根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框。
确定模块203,用于确定每个所述候选框的梯度和。
其中,所述梯度和为候选框中所有图像像素与当前损失函数的梯度的和。
其中,所述当前损失函数为训练中的目标检测模型的当前参数对应的损失函数。
其中,梯度可以是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大。
其中,所述梯度和越大,表示所述候选框与所述损失函数对应的损失值越大。
所述确定模块203,还用于根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和。
扰动模块204,用于通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像。
其中,所述范数扰动的过程是迭代的过程。
其中,所述迭代可以是指对过程的重复,每一次迭代的结果会作为下一次迭代的初始值。
优化模块205,用于使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
作为一种可选的实施方式,所述预设坐标增量包括预设纵坐标增量以及预设横坐标增量,所述生成模块202根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框的方式具体为:
获取所述检测框的起始位置的纵坐标以及横坐标;
将所述起始位置的纵坐标不断与所述预设纵坐标增量相加,获得多个新增纵坐标,以及将所述起始位置的横坐标不断与所述预设横坐标增量相加,获得多个新增横坐标,其中,所述多个新增纵坐标在所述检测框的纵坐标范围内,所述多个新增横坐标在所述检测框的横坐标范围内;
将所述多个新增纵坐标以及所述多个新增横坐标进行组合,获得多个新增位置;
在每个所述新增位置生成大小与所述检测框的大小成所述预设比例的候选框,其中,所述候选框在所述检测框内。
在该可选的实施方式中,所述预设坐标增量包括预设纵坐标增量以及预设横坐标增量,可以预先设置一个纵坐标增量以及横坐标增量,比如纵坐标增量为1,横坐标增量也为1,起始位置的坐标为(0,0),则可以获得多个新增位置的坐标为(1,1)、(1,2)、(2,1)、(2,2)、(2,3)等。所述多个新增纵坐标在所述检测框的纵坐标范围内,所述多个新增横坐标在所述检测框的横坐标范围内。可以预先设置一个比例,比如1/5,那么生成的候选框的大小为所述检测框的大小的1/5。可以将所述预设坐标增量设置大些,需要计算的新增位置以及候选框的数据变少,以减少计算量。所述候选框在所述检测框内。
作为一种可选的实施方式,所述范数扰动的过程是迭代的过程,所述扰动模块204通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像的方式具体为:
在所述范数扰动的迭代的过程中,针对每幅携带有所述目标候选框的训练图像,根据多个预设扰动值,生成多幅迭代图像;
确定每幅所述迭代图像与损失函数的迭代梯度;
从所有所述迭代图像中,将所述迭代梯度最大的迭代图像确定为目标图像;
将最后一次迭代获得的目标图像确定为所述对抗补丁图像。
在该可选的实施方式中,可以对整幅图像中的目标候选框区域内的像素进行扰动,可以进行基于范数扰动的对抗攻击,如多次迭代的基于无限范数的PGD(ProjectGradient Descent,项目梯度下降)攻击。每次迭代过程中,计算损失函数相对于图像x的梯度,sign函数在所述目标候选框内是,在所述目标候选框外是零,为预先设定的迭代学习率,更新图像x(即获得所述迭代图像)的公式如下:
作为一种可选的实施方式,所述优化模块205使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型的方式具体为:
每次使用所述训练集的一幅训练图像进行训练,获得所述训练中的目标检测模型的最新参数时,获取与所述训练图像对应的对抗补丁图像;
使用所述对抗补丁图像进行训练,以优化所述目标检测模型的参数;
当所述目标检测模型的损失函数收敛时,确定获得所述训练好的目标检测模型。
在该可选的实施方式中,对目标检测模型的训练是一个交叉的训练过程,在使用一幅训练图像对目标检测模型进行训练后,基于目标检测模型当前的最新参数以及这一幅训练图像,生成对抗补丁图像,接着用对抗补丁图像进行训练优化目标检测模型的参数,然后再处理下一幅训练图像。
其中,可以通过梯度下降法,对目标检测模型的参数进行优化更新,所述梯度下降法可以是一种寻找目标函数最小化的方法,通过梯度下降法,可以优化模型的损失函数,使得模型的损失函数的损失值最小,这时反馈获得的模型参数为最优参数。
作为一种可选的实施方式,所述获取模块201,还用于所述优化模块205使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型之后,获取预设的测试集;
所述目标检测模型训练装置20还可以包括:
测试模块,用于使用所述测试集的测试图片,对所述训练好的目标检测模型进行测试,获得所述训练好的目标检测模型的准确率;
所述生成模块202,还用于若所述准确率小于预设准确率阈值,生成告警信息;
发送模块,用于将所述告警信息发送至预设终端。
作为一种可选的实施方式,所述获取模块201,还用于所述优化模块205使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型之后,获取待检测图片;
所述目标检测模型训练装置20还可以包括:
输入模块,用于将所述待检测图片输入至所述训练好的目标检测模型中,获得检测结果;
输出模块,用于输出所述检测结果并将所述检测结果上传至区块链中。
在该可选的实施方式中,可以将待检测的图片输入至所述训练好的目标检测模型中,获得识别准确率较高的检测结果,提高了人工智能进行目标检测的效果。
基于检测结果得到对应的摘要信息,具体来说,摘要信息由检测结果进行散列处理得到,比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息,以便查证格式数据是否被篡改。
本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在图2所描述的目标检测模型训练装置20中,可以在训练图像的检测框中生成梯度和最大的目标候选框,即目标候选框的区域对模型分类检测的影响最大,是最容易检测出错的区域,然后对目标候选框中的图像像素进行范数扰动,改变了目标候选框中的图像像素,以模拟现实中检测对象部分区域被遮挡的情况,而且,经过范数扰动,可以获取到对检测干扰最大的对抗补丁图像,然后通过训练图像以及补丁图像对目标检测模型进行训练,可以提高目标检测模型的识别准确率,提高了目标检测模型的鲁棒性。
如图3所示,图3是本发明实现目标检测模型训练方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解,图3所示的示意图仅仅是所述电子设备3的示例,并不构成对所述电子设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(InternetProtocol Television,IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等,所述处理器32是所述电子设备3的控制中心,利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元,所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元,以及调用存储在存储器31内的数据,实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备3的使用所创建的数据等。此外,存储器31可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1,所述电子设备3中的所述存储器31存储多个指令以实现一种目标检测模型训练方法,所述处理器32可执行所述多个指令从而实现:
获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框;
根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框;
确定每个所述候选框的梯度和;
根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和;
通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像;
使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
具体地,所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在图3所描述的电子设备3中,可以在训练图像的检测框中生成梯度和最大的目标候选框,即目标候选框的区域对模型分类检测的影响最大,是最容易检测出错的区域,然后对目标候选框中的图像像素进行范数扰动,改变了目标候选框中的图像像素,以模拟现实中检测对象部分区域被遮挡的情况,而且,经过范数扰动,可以获取到对检测干扰最大的对抗补丁图像,然后通过训练图像以及补丁图像对目标检测模型进行训练,可以提高目标检测模型的识别准确率,提高了目标检测模型的鲁棒性。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种目标检测模型训练方法,其特征在于,所述目标检测模型训练方法包括:
获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框;
根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框;
确定每个所述候选框的梯度和;
根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和;
通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像;
使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
2.根据权利要求1所述的目标检测模型训练方法,其特征在于,所述预设坐标增量包括预设纵坐标增量以及预设横坐标增量,所述根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框包括:
获取所述检测框的起始位置的纵坐标以及横坐标;
将所述起始位置的纵坐标不断与所述预设纵坐标增量相加,获得多个新增纵坐标,以及将所述起始位置的横坐标不断与所述预设横坐标增量相加,获得多个新增横坐标,其中,所述多个新增纵坐标在所述检测框的纵坐标范围内,所述多个新增横坐标在所述检测框的横坐标范围内;
将所述多个新增纵坐标以及所述多个新增横坐标进行组合,获得多个新增位置;
在每个所述新增位置生成大小与所述检测框的大小成所述预设比例的候选框,其中,所述候选框在所述检测框内。
3.根据权利要求1所述的目标检测模型训练方法,其特征在于,所述范数扰动的过程是迭代的过程,所述通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像包括:
在所述范数扰动的迭代的过程中,针对每幅携带有所述目标候选框的训练图像,根据多个预设扰动值,生成多幅迭代图像;
确定每幅所述迭代图像与损失函数的迭代梯度;
从所有所述迭代图像中,将所述迭代梯度最大的迭代图像确定为目标图像;
将最后一次迭代获得的目标图像确定为所述对抗补丁图像。
4.根据权利要求1所述的目标检测模型训练方法,其特征在于,所述使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型包括:
每次使用所述训练集的一幅训练图像进行训练,获得所述训练中的目标检测模型的最新参数时,获取与所述训练图像对应的对抗补丁图像;
使用所述对抗补丁图像进行训练,以优化所述目标检测模型的参数;
当所述目标检测模型的损失函数收敛时,确定获得所述训练好的目标检测模型。
5.根据权利要求1至4中任一项所述的目标检测模型训练方法,其特征在于,所述使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型之后,所述目标检测模型训练方法还包括:
获取预设的测试集;
使用所述测试集的测试图片,对所述训练好的目标检测模型进行测试,获得所述训练好的目标检测模型的准确率;
若所述准确率小于预设准确率阈值,生成告警信息;
将所述告警信息发送至预设终端。
6.根据权利要求1至4中任一项所述的目标检测模型训练方法,其特征在于,所述使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型之后,所述目标检测模型训练方法还包括:
获取待检测图片;
将所述待检测图片输入至所述训练好的目标检测模型中,获得检测结果;
输出所述检测结果并将所述检测结果上传至区块链中。
7.根据权利要求1至4中任一项所述的目标检测模型训练方法,其特征在于,所述梯度和为候选框中所有图像像素与当前损失函数的梯度的和。
8.一种目标检测模型训练装置,其特征在于,所述目标检测模型训练装置包括:
获取模块,用于获取预设的训练集,其中,所述训练集的每幅训练图像携带有用于标记对象的检测框;
生成模块,用于根据预设坐标增量以及预设比例,在每个所述检测框中生成多个候选框;
确定模块,用于确定每个所述候选框的梯度和;
所述确定模块,还用于根据所述梯度和,从每个所述检测框中的多个候选框中确定目标候选框,其中,所述目标候选框的梯度和大于所述目标候选框所属的检测框中多个候选框中除了所述目标候选框的剩余的候选框的梯度和;
扰动模块,用于通过对所述目标候选框的图像像素进行范数扰动,获得对抗补丁图像;
优化模块,用于使用所述对抗补丁图像对训练中的目标检测模型进行优化,获得训练好的目标检测模型。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的目标检测模型训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的目标检测模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010696409.7A CN111739016B (zh) | 2020-07-20 | 2020-07-20 | 目标检测模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010696409.7A CN111739016B (zh) | 2020-07-20 | 2020-07-20 | 目标检测模型训练方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111739016A true CN111739016A (zh) | 2020-10-02 |
CN111739016B CN111739016B (zh) | 2020-12-08 |
Family
ID=72655066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010696409.7A Active CN111739016B (zh) | 2020-07-20 | 2020-07-20 | 目标检测模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111739016B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232426A (zh) * | 2020-10-21 | 2021-01-15 | 平安国际智慧城市科技股份有限公司 | 目标检测模型的训练方法、装置、设备及可读存储介质 |
CN112612714A (zh) * | 2020-12-30 | 2021-04-06 | 清华大学 | 红外目标检测器的安全性测试方法和装置 |
CN112613570A (zh) * | 2020-12-29 | 2021-04-06 | 深圳云天励飞技术股份有限公司 | 一种图像检测方法、图像检测装置、设备及存储介质 |
CN112836768A (zh) * | 2021-03-08 | 2021-05-25 | 北京电子工程总体研究所 | 一种数据平衡方法和系统、计算机设备和介质 |
CN113743231A (zh) * | 2021-08-09 | 2021-12-03 | 武汉大学 | 一种视频目标检测规避系统及方法 |
CN113762397A (zh) * | 2021-09-10 | 2021-12-07 | 北京百度网讯科技有限公司 | 检测模型训练、高精度地图更新方法、设备、介质及产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160275339A1 (en) * | 2014-01-13 | 2016-09-22 | Carnegie Mellon University | System and Method for Detecting and Tracking Facial Features In Images |
CN106575363A (zh) * | 2014-07-24 | 2017-04-19 | 苏黎世大学 | 用于追踪场景中的关键点的方法 |
CN106971159A (zh) * | 2017-03-23 | 2017-07-21 | 中国联合网络通信集团有限公司 | 一种图像清晰度识别方法、身份认证方法及装置 |
CN110245598A (zh) * | 2019-06-06 | 2019-09-17 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、装置、介质和计算设备 |
CN110287787A (zh) * | 2019-05-21 | 2019-09-27 | 平安国际智慧城市科技股份有限公司 | 图像识别方法、装置及计算机可读存储介质 |
CN110473196A (zh) * | 2019-08-14 | 2019-11-19 | 中南大学 | 一种基于深度学习的腹部ct图像目标器官配准方法 |
CN110827216A (zh) * | 2019-10-23 | 2020-02-21 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
CN111340008A (zh) * | 2020-05-15 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统 |
-
2020
- 2020-07-20 CN CN202010696409.7A patent/CN111739016B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160275339A1 (en) * | 2014-01-13 | 2016-09-22 | Carnegie Mellon University | System and Method for Detecting and Tracking Facial Features In Images |
CN106575363A (zh) * | 2014-07-24 | 2017-04-19 | 苏黎世大学 | 用于追踪场景中的关键点的方法 |
CN106971159A (zh) * | 2017-03-23 | 2017-07-21 | 中国联合网络通信集团有限公司 | 一种图像清晰度识别方法、身份认证方法及装置 |
CN110287787A (zh) * | 2019-05-21 | 2019-09-27 | 平安国际智慧城市科技股份有限公司 | 图像识别方法、装置及计算机可读存储介质 |
CN110245598A (zh) * | 2019-06-06 | 2019-09-17 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、装置、介质和计算设备 |
CN110473196A (zh) * | 2019-08-14 | 2019-11-19 | 中南大学 | 一种基于深度学习的腹部ct图像目标器官配准方法 |
CN110827216A (zh) * | 2019-10-23 | 2020-02-21 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
CN111340008A (zh) * | 2020-05-15 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统 |
Non-Patent Citations (1)
Title |
---|
时磊: "基于深度学习的医学图像标注模型构建研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232426A (zh) * | 2020-10-21 | 2021-01-15 | 平安国际智慧城市科技股份有限公司 | 目标检测模型的训练方法、装置、设备及可读存储介质 |
CN112232426B (zh) * | 2020-10-21 | 2024-04-02 | 深圳赛安特技术服务有限公司 | 目标检测模型的训练方法、装置、设备及可读存储介质 |
CN112613570A (zh) * | 2020-12-29 | 2021-04-06 | 深圳云天励飞技术股份有限公司 | 一种图像检测方法、图像检测装置、设备及存储介质 |
CN112612714A (zh) * | 2020-12-30 | 2021-04-06 | 清华大学 | 红外目标检测器的安全性测试方法和装置 |
CN112836768A (zh) * | 2021-03-08 | 2021-05-25 | 北京电子工程总体研究所 | 一种数据平衡方法和系统、计算机设备和介质 |
CN113743231A (zh) * | 2021-08-09 | 2021-12-03 | 武汉大学 | 一种视频目标检测规避系统及方法 |
CN113743231B (zh) * | 2021-08-09 | 2024-02-20 | 武汉大学 | 一种视频目标检测规避系统及方法 |
CN113762397A (zh) * | 2021-09-10 | 2021-12-07 | 北京百度网讯科技有限公司 | 检测模型训练、高精度地图更新方法、设备、介质及产品 |
CN113762397B (zh) * | 2021-09-10 | 2024-04-05 | 北京百度网讯科技有限公司 | 检测模型训练、高精度地图更新方法、设备、介质及产品 |
Also Published As
Publication number | Publication date |
---|---|
CN111739016B (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111739016B (zh) | 目标检测模型训练方法、装置、电子设备及存储介质 | |
WO2020207190A1 (zh) | 一种三维信息确定方法、三维信息确定装置及终端设备 | |
CN111798360B (zh) | 一种水印检测方法、装置、电子设备及存储介质 | |
CN111679949A (zh) | 基于设备指标数据的异常检测方法及相关设备 | |
CN110096929A (zh) | 基于神经网络的目标检测 | |
CN111461168A (zh) | 训练样本扩充方法、装置、电子设备及存储介质 | |
WO2019146057A1 (ja) | 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム | |
CN109766925A (zh) | 特征融合方法、装置、电子设备及存储介质 | |
CN114677565A (zh) | 特征提取网络的训练方法和图像处理方法、装置 | |
CN115049878A (zh) | 基于人工智能的目标检测优化方法、装置、设备及介质 | |
CN111353325A (zh) | 关键点检测模型训练方法及装置 | |
CN112184059A (zh) | 评分分析方法、装置、电子设备及存储介质 | |
CN116543460A (zh) | 基于人工智能的时空动作识别方法及相关设备 | |
CN114710325B (zh) | 网络入侵检测模型的构建方法、装置、设备及存储介质 | |
CN116363365A (zh) | 基于半监督学习的图像分割方法及相关设备 | |
CN113435502B (zh) | 站点流量确定方法、装置、设备及存储介质 | |
CN111368860A (zh) | 重定位方法及终端设备 | |
CN111882415A (zh) | 一种质量检测模型的训练方法和相关装置 | |
WO2022126917A1 (zh) | 基于深度学习的人脸图像评估方法、装置、设备及介质 | |
CN115147660A (zh) | 基于增量学习的图像分类方法、装置、设备及存储介质 | |
CN111857883B (zh) | 页面数据校验方法、装置、电子设备及存储介质 | |
CN113177543A (zh) | 证件识别方法、装置、设备及存储介质 | |
CN112016889A (zh) | 流程构建方法、装置、电子设备及存储介质 | |
CN113343951A (zh) | 人脸识别对抗样本生成方法及相关设备 | |
CN111723247A (zh) | 基于图的假设计算 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |