CN114332556A - 训练样本筛选方法、装置、计算机设备和存储介质 - Google Patents

训练样本筛选方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114332556A
CN114332556A CN202111398654.0A CN202111398654A CN114332556A CN 114332556 A CN114332556 A CN 114332556A CN 202111398654 A CN202111398654 A CN 202111398654A CN 114332556 A CN114332556 A CN 114332556A
Authority
CN
China
Prior art keywords
training sample
result
model
difference
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111398654.0A
Other languages
English (en)
Inventor
徐列
孙冲
康洋
付灿苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111398654.0A priority Critical patent/CN114332556A/zh
Publication of CN114332556A publication Critical patent/CN114332556A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种训练样本筛选方法、装置、计算机设备和存储介质。所述方法包括:随机阻断图像处理模型中的神经元得到阻断模型,并通过阻断模型对当前训练样本进行图像处理,得到第一处理结果;对于当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量;获取通过对当前训练样本进行图像变换得到的变换样本,通过图像处理模型对变换样本进行图像处理,得到第二处理结果;基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量;综合模型度量表征向量和图像度量表征向量得到综合度量结果,根据训练样本集中每个训练样本的综合度量结果筛选出目标训练样本。采用本方法能够提升模型的训练效果。

Description

训练样本筛选方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种训练样本筛选方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的发展,图像处理模型的应用也越来越广泛,例如,可通过图像处理模型进行人脸的识别、热力图关键点识别或者车牌识别等。
在通过图像处理模型对图像进行处理之前,需要对图像处理模型进行训练。目前,主要是随机挑选出训练样本,并对随机挑选的训练样本进行标签标注处理,再通过添加有标签的训练样本对图像处理模型进行训练。
然而,当训练样本库中存在很多相似、冗余的训练样本时,随机挑选训练样本的方法容易挑选到很多无价值的训练样本,从而导致基于无价值的训练样本降低图像处理模型的训练效果。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升图像识别模型的训练效果的训练样本筛选方法、装置、计算机设备和存储介质。
一种训练样本筛选方法,所述方法包括:
随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;
对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;
获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;
对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;
综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
在一个实施例中,所述通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果,包括:
通过所述图像处理模型对与当前训练样本相对应的每个变换样本分别进行图像处理,得到与所述当前训练样本相对应的多个第二处理结果。
一种训练样本筛选装置,所述装置包括:
模型不确定性获取模块,用于随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;
图像不确定性获取模块,用于获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;
筛选模块,用于综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
在一个实施例中,所述模型不确定性获取模块还包括第一处理结果获取模块,用于对于训练样本集中的当前训练样本,随机阻断所述图像识别模型中的第一预设数量的神经元,得到阻断模型,并通过所述阻断模型对所述当前训练样本进行图像识别,得到第一处理结果;进入下一轮的图像识别,返回随机阻断所述图像识别模型中的第一预设数量的神经元的步骤继续执行,直至满足第一预设停止条件时停止,得到所述当前训练样本所对应的多个第一处理结果。
在一个实施例中,所述模型不确定性获取模块还用于对于所述当前训练样本,对与多次随机阻断对应的多个第一处理结果进行求均值运算,得到与所述当前训练样本对应的第一均值结果;确定与所述当前训练样本对应的每个第一处理结果与所述第一均值结果之间的差异,得到每个所述第一处理结果各自对应的第一差异结果;综合多个所述第一差异结果,得到所述当前训练样本的模型度量表征向量。
在一个实施例中,所述模型不确定性获取模块还用于对多个所述第一差异结果进行求均值运算,得到第一均值差异;对多个所述第一差异结果进行求方差运算,得到第一方差差异;确定多个所述第一差异结果中的最大值,得到第一最大差异;综合所述第一均值差异、所述第一方差差异和所述第一最大差异,得到所述当前训练样本的模型度量表征向量。
在一个实施例中,所述图像不确定性获取模块还包括图像变换模块,用于调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种,得到与所述当前训练样本对应的颜色扰动样本;对所述颜色扰动样本中的像素点进行像素位移,得到与所述当前训练样本对应的变换样本;进入下一轮的图像变换,返回调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种的步骤继续执行,直至满足第二预设停止条件时停止,得到与所述当前训练样本对应的多个变换样本。
在一个实施例中,所述图像不确定性获取模块还用于对于所述当前训练样本,对与所述当前训练样本对应的多个第二处理结果进行求均值运算,得到与当前训练样本对应的第二均值结果;确定与所述当前训练样本对应的每个第二处理结果与所述第二均值结果之间的差异,得到每个所述第二处理结果各自对应的第二差异结果;综合多个所述第二差异结果,得到与所述当前训练样本相对应的图像度量表征向量。
在一个实施例中,所述图像不确定性获取模块还用于对多个所述第二差异结果进行求均值运算,得到第二均值差异;对多个所述第二差异结果进行求方差运算,得到第二方差差异;确定多个所述第二差异结果中的最大值,得到第二最大差异;综合所述第二均值差异、所述第二方差差异和所述第二最大差异,得到所述当前训练样本的图像度量表征向量。
在一个实施例中,所述训练样本集包括第一训练样本集和第二训练样本集,所述第一训练样本集包括具有标签的第一训练样本;所述第二训练样本集中包括不具有标签的第二训练样本;所述筛选模块还用于分别对每个所述第一训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个所述第一训练样本各自对应的第一综合度量结果;分别对每个所述第二训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个所述第二训练样本各自对应的第二综合度量结果。
在一个实施例中,所述筛选模块806还用于
对于当次筛选所对应的第一训练样本集和第二训练样本集,分别确定所述第一训练样本集中每个第一训练样本的第一综合度量结果,与所述第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所述第二综合度量结果各自对应的多个度量结果差异;根据每个所述第二综合度量结果各自对应的多个度量结果差异,从所述第二训练样本集中筛选出当次的目标训练样本;对所述当次的目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至所述第一训练样本集,得到更新后的第一训练样本集,并删除所述第二训练样本集中的目标训练样本,得到更新后的第二训练样本集;将更新后的第一训练样本集作为下次筛选所对应的第一训练样本集,将更新后的第二训练样本集作为下次筛选所对应的第二训练样本集,进入下次筛选并返回所述分别确定所述第一训练样本集中每个第一训练样本的第一综合度量结果,与所述第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所第二综合度量结果各自对应的多个度量结果差异的步骤继续执行,直至达到第三停止条件时停止,得到第二预设数量的目标训练样本。
在一个实施例中,所述筛选模块还包括映射模块,用于对所述第一综合度量结果进行归一化处理,得到第一归一化结果,并通过映射函数对所述第一归一化结果进行映射处理,得到第一映射结果;对所述第二综合度量结果进行归一化处理,得到第二归一化结果,并通过映射函数对所述第二归一化结果进行映射处理,得到第二映射结果;分别确定所述第一训练样本集中每个第一训练样本所对应的第一映射结果,与所述第二训练样本集中每个第二训练样本所对应的第二映射结果之间的差异,得到每个所述第二综合度量结果各自对应的多个度量结果差异。
在一个实施例中,所述筛选模块还包括目标确定模块,用于将各所述第二综合度量结果各自对应的多个度量结果差异中的最小度量结果差异,作为相应第二综合度量结果的目标度量结果差异;从多个目标度量结果差异中筛选出最大目标度量结果差异,并将具有最大目标度量结果差异的第二综合度量结果作为目标第二综合度量结果;将具有目标第二综合度量结果的第二训练样本作为目标训练样本。
在一个实施例中,所述训练样本集包括第一训练样本集,所述第一训练样本集中包括有具有标注标签的第一训练样本,所述训练样本筛选装置还用于对所述目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至所述第一训练样本集,得到更新后的第一训练样本集;通过更新后的第一训练样本集对所述图像处理模型进行训练,直至达到第四预设停止条件时停止,得到训练好的图像处理模型;所述训练好的图像处理模型用于对待识别图像进行识别。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;
对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;
获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;
对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;
综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;
对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;
获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;
对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;
综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上以下步骤:随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
上述训练样本筛选方法、装置、计算机设备、存储介质和计算机程序,通过随机阻断图像处理模型中的神经元,可得到阻断模型,从而通过阻断模型对样本训练集中的当前训练样本进行图像处理,得到第一处理结果,并基于第一处理结果得到与当前训练样本相对应的用于表征模型不确定性的模型度量表征向量。通过对样本训练集中的当前训练样本进行图像变换,可得到变换样本,从而通过图像处理模型对变换样本进行图像处理,得到第二处理结果,并基于第二处理结果得到与当前训练样本相对应的用于表征图像不确定性的图像度量表征向量。通过获得样本训练集中的各训练样本各自对应的模型度量表征向量和图像度量表征向量,可基于模型度量表征向量和图像度量表征向量得到用以表征训练样本难易程度的综合度量结果,如此,便可基于综合度量结果从训练样本集中筛选出更利于模型训练的目标训练样本。由于本申请可以通过用于表征样本难易程度的综合度量结果来筛选出目标训练样本,相比于传统的随机筛选出训练样本,本申请可筛选出有价值的训练样本,从而基于有价值的训练样本提升图像处理模型的训练效果。
附图说明
图1为一个实施例中训练样本筛选方法的应用环境图;
图2为一个实施例中训练样本筛选方法的流程示意图;
图3为一个实施例中阻断模型的示意图;
图4为一个实施例中神经元阻断的示意图;
图5为一个实施例中基于模型迭代训练的框架示意图;
图6为一个实施例中目标训练样本的筛选方法的流程示意图;
图7为一个具体实施例中训练样本筛选方法的流程示意图;
图8为一个实施例中训练样本筛选装置的结构框图;
图9为另一个实施例中训练样本筛选装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中训练样本筛选方法的应用环境图。参照图1,该训练样本筛选方法应用于训练样本筛选系统100。该训练样本筛选系统100包括终端102和服务器104。当终端102获取得到训练样本时,终端102可将训练样本发送至服务器104,以使服务器104确定与训练样本对应的综合度量结果,并通过每个训练样本各自对应的综合度量结果,从训练样本库中筛选出目标训练样本,以通过筛选出的目标训练样本对该图像处理模型进行训练。
其中,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等,但并不局限于此。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请涉及人工智能(Artificial Intelligence,AI)领域,比如,可通过人工智能确定训练样本的综合度量结果。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
值得注意的,本申请还涉及区块链技术领域,如本申请所公开的训练样本筛选方法,其中所筛选的训练样本可保存于区块链上。
本申请亦涉及地图车联领域,比如,本申请中的终端可以为车载终端,车载终端中部署有图像处理模型,通过上述训练样本筛选方法,可以从训练样本集中筛选出目标训练样本,并通过目标训练样本对车载终端中的图像处理模型进行训练,以基于训练好的图像处理模型对图像进行处理,比如,以基于训练好的图像处理模型对行车环境图进行识别,从而基于识别结果进行导航。
为了更好地理解本申请实施例中的训练样本筛选方法,下面对本申请的整体应用场景进行介绍:
对于主动学习而言,目前,主要是从训练样本集中随机筛选出目标训练样本,再对随机筛选出的目标训练样本进行标签标注处理,通过标签标注后的目标训练样本对图像处理模型进行训练。然而,随机筛选出目标训练样本的方式,会导致模型的训练效果不佳。因此,为了从训练样本集中筛选出更利于模型训练的目标训练样本,计算机设备可确定训练样本对于当前模型推理输出的潜在不确定性以及该训练样本的难易程度,并通过训练样本对于当前模型推理输出的潜在不确定性以及该训练样本的难易程度,来从训练样本集中筛选出目标训练样本。其中,筛选训练样本的时候,如果只选不确定性大的训练样本,或者只选难的训练样本,则会导致图像处理模型难以训练且无法达到最佳效果,因此,计算机设备可根据需求,综合考虑训练样本对于当前模型推理输出的潜在不确定性以及该训练样本的难易程度,从训练样本集中筛选出利于模型训练的目标训练样本。
在一个实施例中,如图2所示,提供了一种训练样本筛选方法,以该方法应用于图1中的计算机设备为例进行说明,其中,计算机设备包括终端102和服务器104,训练样本筛选方法包括以下步骤:
步骤S202,随机阻断图像处理模型中的神经元得到阻断模型,并通过阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果。
其中,神经元指的是机器学习模型中的数学模型,对于一个神经元来说,它会接收其他神经元传递的信息,并对接收到的信息进行处理,得到处理结果,将处理结果传递至其余神经元。阻断指的是暂停神经元的工作,使其暂停接收其他神经元传递的信息、以及暂停对信息进行处理。
图像处理指的是通过一系列算法来充分挖掘图像反馈出的信息,其中,图像处理具体可以为图像识别、图像分解等,比如,该图像处理可以为对人脸图像进行识别、对热力图中的关键点进行识别、对行车环境现场图进行识别等。在其中一个实施例中,可通过图像处理模型对图像进行处理,其中,该图像处理模型具体可以为基于主动学习得到的机器学习模型。主动学习指的是从训练样本集中挑选出一部分训练样本提供给评测员做主观评分,通过评测员对挑选出的训练样本进行主观打分,得到标注有主观评分的训练样本,从而通过标注有主观评分的训练样本对机器学习模型进行训练。主动学习能够通过特定的选择策略主动挑选出部分训练样本用以进行模型训练,从而在保证模型性能的同时,有效地减少需要标注的样本量。
具体地,当需要确定图像处理模型对训练样本进行推理后,所得到的输出结果的不确定性时,也即当需要确定用于表征模型不确定性的模型度量表征向量时,计算机设备可生成与图像处理模型相对应的阻断图像处理模型,并通过阻断图像处理模型对训练样本集中的每个训练样本均进行图像处理,得到每个训练样本各自对应的处理结果,并将该处理结果作为第一处理结果。为了更好地理解本实施例,下述以训练样本集中的当前训练样本为例进行说明,其中,当前训练样本为训练样本集中的任意一个训练样本。当获取得到当前训练样本集时,计算机设备可对当前训练样本进行多次的图像处理,其中,对于每次的图像处理,均随机阻断图像处理模型中的神经元,得到阻断模型,并通过阻断模型对当前训练样本进行图像处理,得到第一处理结果。
在一个实施中,参考图3,可在图像处理模型的全连层之后,加入神经元阻断层,通过神经元阻断层随机阻断图像处理模型中的部分神经元,得到阻断模型。其中,计算机设备可以确定神经元阻断层随机阻断神经元的概率值,从而基于所确定的概率值,确定随机阻断的神经元的数量。由于图像处理模型可由多个结构相似的基础模块堆叠而成,因此,可在每一个基础模块之后均加入一个神经元阻断层,并将插入的神经元阻断层置于推理模式,从而基于处于推理模式的神经元阻断层随机阻断相应基础模型中的部分神经元。图3示出了一个实施例中阻断模型的示意图。
在一个实施例中,可对图像处理模型进行预训练,得到预训练后的图像处理模型,并在预训练后的图像处理模型中添加神经元阻断层,也即在处于测试阶段的图像处理模型中添加神经元阻断层,得到阻断模型。由于,对于最新的图像处理模型,加入神经元阻断层可能会带来模型本身的性能下降,因此通过在测试阶段使用神经元阻断层、且低神经元阻断概率,可以减少模型性能下降的概率。
在一个实施例中,参考图4,图4示出了一个实施例中神经元阻断的示意图。如图4所示,图像处理模型可由多个处于不同层级的神经元组成,当将训练样本输入至图像处理模型时,图像处理模型中的神经元阻断层会根据神经元阻断概率,随机阻断图像处理模型中的部分神经元,得到阻断模型,并通过阻断模型对输入的训练样本进行处理,得到该训练样本的第一处理结果。比如,当图像处理模型为用以对图像中的人脸进行识别的机器学习模型时,计算机设备可通过与该图像处理模型对应的阻断模型对训练样本中的人脸进行识别,得到人脸识别结果,并将该人脸识别结果作为第一处理结果;又比如,当图像处理模型为用以对热力图关键点进行识别的机器学习模型时,计算机设备可通过与该图像处理模型对应的阻断模型对热力图关键点进行识别,得到关键点识别模型,并将该关键点识别模型作为第一处理结果。
在一个实施例中,随机阻断图像处理模型中的神经元得到阻断模型,并通过阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果,包括:对于训练样本集中的当前训练样本,随机阻断图像识别模型中的第一预设数量的神经元,得到阻断模型,并通过阻断模型对当前训练样本进行图像识别,得到第一处理结果;进入下一轮的图像识别,返回随机阻断图像识别模型中的第一预设数量的神经元的步骤继续执行,直至满足第一预设停止条件时停止,得到当前训练样本所对应的多个第一处理结果。
具体地,对于训练样本集中的当前训练样本,计算机设备可对当前训练样本进行多次的图像处理,其中,在每次图像处理时,均随机阻断图像处理模型中的第一预设数量的神经元,得到阻断模型,并通过阻断模型对当前训练样本进行图像处理,得到第一处理结果。比如,对于训练样本A,计算机设备可将训练样本A输入至图像处理模型,并在向前过程随机阻断图像处理模型中的部分神经元,通过图像处理模型中的未阻断神经元对训练样本A进行图像处理,得到训练样本A的第一个第一处理结果。计算机设备再将训练样本A输入至图像处理模型,并在向前过程随机阻断图像处理模型中的部分神经元,通过图像处理模型中的未阻断神经元对训练样本A进行图像处理,得到训练样本A的第二个第一处理结果。如此迭代,直至满足第一预设停止条件时停止,得到与训练样本A相对应的第一预设数量的第一处理结果。
容易理解地,由于是随机阻断图像识别模型中的神经元,因此,每次进行图像识别的阻断模型可均不一致,如此,便使得每次获取得到的第一处理结果可不一致,从而通过多个不一致的第一处理结果,得到用于体现模型不确定性的模型度量表征向量。
本实施例中,通过对当前训练样本均进行多次的图像识别,可得到当前训练样本所对应的多个第一处理结果,从而可通过多个第一处理结果,快速得到用于体现模型不确定性的模型度量表征向量。
步骤S204,对于当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,模型度量表征向量用于表征模型不确定性。
具体地,由于是通过随机阻断了神经元的阻断模型,来对训练样本进行处理,得到第一处理结果,因此,可通过第一处理结果得到模型的不确定性。其中,模型不确定性指的是,由模型中参与数据处理的神经元的不确定性而导致的认知不确定性。当需要确定训练样本的模型度量表征向量时,针对训练样本集中的每个训练样本,计算机设备均可确定与当前训练样本对应的多个第一处理结果,并对与当前训练样本相对应的多个第一处理结果进行处理,得到与当前训练样本相对应的模型度量表征向量。其中,该模型度量表征向量用于表征模型不确定性。
在一个实施例中,对于当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,包括:对于当前训练样本,对与多次随机阻断对应的多个第一处理结果进行求均值运算,得到与当前训练样本对应的第一均值结果;确定与当前训练样本对应的每个第一处理结果与第一均值结果之间的差异,得到每个第一处理结果各自对应的第一差异结果;综合多个第一差异结果,得到当前训练样本的模型度量表征向量。
具体地,当获取得到训练样本集中当前训练样本所对应的多个第一处理结果时,计算机设备可基于与当前训练样本相对应多个第一处理结果,得到与当前训练样本相对应的模型度量表征向量。容易理解地,当前训练样本可以为训练样本集中的任意一个训练样本。当需要确定当前训练样本的模型度量表征向量时,计算机设备可获取得到当前训练样本的多个第一处理结果,并对当前训练样本所对应的多个第一处理结果进行求均值运算,得到与当前训练样本对应的第一均值结果。比如,计算机设备可确定多个第一处理结果的数量,并对该多个第一处理结果进行求和处理,得到第一处理结果之和,将第一处理结果之和除以多个第一处理结果的数量,得到第一均值结果。
进一步地,对于与当前训练样本相对应的多个第一处理结果中的每个第一处理结果,计算机设备可分别确定每个第一处理结果与第一均值结果之间的差异,从而得到每个第一处理结果各自对应的第一差异结果。计算机设备可综合与当前训练样本对应的多个第一差异结果,得到与当前训练样本对应的模型度量表征向量。
容易理解地,计算机设备可在获取得到当前训练样本所对应的多个第一处理结果时,立即对当前训练样本所对应的多个第一处理结果进行处理,得到当前训练样本所对应的模型度量表征向量。计算机设备也可在获取得到训练样本集中每个训练样本各自对应的多个第一处理结果时,再对每个训练样本各自对应的多个第一处理结果进行处理,得到各训练样本各自对应的模型度量表征向量。
在其中一个实施例中,对于不同的图像处理任务,可通过不同的方式来确定第一差异结果。比如,对于坐标回归任务,可确定第一处理结果与第一均值结果之间的曼哈顿距离或者欧式距离,将曼哈顿距离或者欧式距离,作为第一差异结果;对于人体关键点识别任务,可通过确定第一处理结果指向的关键点、与第一均值所指向的关键点之间的相似度,来确定第一差异结果。
在其中一个实施例中,可通过公式O=M(I)确定第一处理结果,其中,I为训练样本,M为阻断模型,O为阻断模型输出的第一处理结果。可通过下述公式来确定与当前训练样本相对应的多个第一差异结果:
Figure BDA0003364471280000131
Figure BDA0003364471280000132
其中,i代表第i轮图像识别,Oi代表第i轮图像识别所得到的第一处理结果,
Figure BDA0003364471280000133
代表第一均值结果,f代表用以确定第一处理结果与第一均值结果之间差异的度量函数。当图像处理任务为人体关键点识别任务时,度量函数可为
Figure BDA0003364471280000141
其中,OKS代表第一处理结果指向的关键点与第一均值所指向的关键点之间的相似度。
在其中一个实施例中,可通过模型间接输出的结果,来确定第一差异结果。例如,可将图像处理模型中间特征层的监督损失函数作为度量函数,从而将监督损失函数所输出的结果作为第一处理结果,将多个第一处理结果的均值作为第一均值结果。由于度量函数主要为了表达数据在经过模型推理后和多次推理的均值之间的差异,因此度量函数的输入不一定需要是模型最终的输出结果,还可以是输出的中间结果。
上述实施例中,只需确定每个第一处理结果与第一均值结果之间的第一差异结果,即可基于第一差异结果得到模型度量表征向量,从而大大提升了模型度量表征向量的确定效率。
在一个实施例中,综合多个第一差异结果,得到当前训练样本的模型度量表征向量,包括:对多个第一差异结果进行求均值运算,得到第一均值差异;对多个第一差异结果进行求方差运算,得到第一方差差异;确定多个第一差异结果中的最大值,得到第一最大差异;综合第一均值差异、第一方差差异和第一最大差异,得到当前训练样本的模型度量表征向量。
具体地,当获取得到与当前训练样本相对应的多个第一差异结果时,计算机设备可对多个第一差异结果进行求均值运算,得到第一均值差异。比如,计算机设备可确定多个第一差异结果的数量,并对该多个第一差异结果进行求和处理,得到第一差异结果之和,将第一差异结果之和除以多个第一差异结果的数量,得到第一均值差异。进一步地,计算机设备可对多个第一差异结果进行求方差运算,得到第一方差差异,比如,计算机设备可通过确定第一差异结果与第一均值差异之间的差值,来得到第一方差差异。进一步地,计算机设备确定多个第一差异结果中的最大值,得到第一最大差异,并综合第一均值差异、第一方差差异和第一最大差异,得到当前训练样本的模型度量表征向量。
容易理解地,对于训练样本集中的每个训练样本,计算机设备均可确定每个训练样本各自对应的一组第一差异结果LModel1,…,T,其中,LModeli代表该训练样本在第i轮图像识别所得到的第一差异结果。因此,计算机设备可针对训练样本集中的每个训练样本均确定相应的第一均值差异、第一方差差异和第一最大差异,再基于第一均值差异、第一方差差异和第一最大差异,确定每个训练样本各自对应的模型度量表征向量。
在其中一个实施例中,计算机设备可通过下述公式确定模型度量表征向量:
Figure BDA0003364471280000151
其中,
Figure BDA0003364471280000152
代表模型度量表征向量,mean(LModel)代表第一均值差异,std(LModel)代表第一方差差异,max(LModel)代表第一最大差异。
上述实施例中,由于模型度量表征向量包含了由于模型不确定性引入的度量平均值、度量的波动程度以及最大波动范围信息,使得后续基于多种信息所确定的综合度量结果能够更为准确,所蕴含的信息也能够更为丰富。
步骤S206,获取通过对当前训练样本进行图像变换得到的变换样本,并通过图像处理模型对变换样本进行图像处理,得到第二处理结果。
具体地,为了得到用于表征图像不确定性的图像度量表征向量时,计算机设备可对训练样本集中的当前训练样本进行图像变换,得到变换样本,并将变换样本输入至图像处理模型中,通过图像处理模型对变换样本进行图像处理,得到与变换样本相应的第二处理结果,由于变换样本是通过对当前训练样本进行图像变化而得到的样本,因此,变换样本与当前训练样本之间具有对应的关系,因此,与变换样本相对应的二处理结果,也为与当前训练样本相对应的第二处理结果。
在一个实施例中,通过图像处理模型对变换样本进行图像处理,得到第二处理结果,包括:通过图像处理模型对与当前训练样本相对应的每个变换样本分别进行图像处理,得到与当前训练样本相对应的多个第二处理结果。
具体地,由于图像处理模型是通过对图像像素进行卷积来提取语义特征,因此,对于同一图像,扰动图像中的像素或者进行像素位移都会改变模型提取的语义特征,从而导致图像处理模型输出不同甚至错误的结果。因此,为了得到用以表征模型不确定性的图像度量表征向量,计算机设备可对训练样本集中的每个训练样本均进行多次的图像变换,也即,对每个训练样本集均进行多次的像素扰动或者像素位移,得到每个训练样本各自对应的多个变换样本,并通过图像处理模型对每个变换样本均进行图像处理,得到每个变换样本各自对应的第二处理结果。进一步地,计算机设备基于每个变换样本各自对应的第二处理结果,得到每个训练样本各自对应的多个第二处理结果,从而基于每个训练样本各自对应的多个第二处理结果,得到用以表征图像不确定性的图像度量表征向量。其中,图像不确定性指的是由输入模型的图像的不确定性而导致的认知不确定性。
为了更好地理解本实施例,下述以训练样本集中的当前训练样本为例进行说明,其中,当前训练样本可以为训练样本集中的任意一个训练样本。当获取得到当前训练样本时,计算机设备可对当前训练样本进行图像变换,得到首次变换的变换样本,并将首次变换的变换样本输入至图像处理模型中,得到第一个第二处理结果。计算机设备可再次对当前训练样本进行图像变换,得到再次变换的变换样本,并将再次变换的变换样本输入至图像处理模型中,得到第二个第二处理结果。依次迭代,直至满足第二预设停止条件时停止,得到与当前训练样本相对应的多个第二处理结果。
容易理解地,计算机设备还可先对当前训练样本进行多次图像变换,得到与当前训练样本相对应的多个变换图像,再将多个变换图像输入至图像处理模型中,得到与当前训练样本相对应的多个第二处理结果。
本实施例中,由于是对训练样本进行图像变换得到的变换图像,因此,通过对变换图像进行图像处理,可得到图像的不确定性,从而后续可通过图像不确定性确定样本图像的难以程度,并通过样本图像的难以程度确定目标样本图像。
在一个实施例中,上述方法还包括变换样本的生成步骤,变换样本的生成步骤包括:调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种,得到与当前训练样本对应的颜色扰动样本;对颜色扰动样本中的像素点进行像素位移,得到与当前训练样本对应的变换样本;进入下一轮的图像变换,返回调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种的步骤继续执行,直至满足第二预设停止条件时停止,得到与当前训练样本对应的多个变换样本。
具体地,计算机设备可对样本训练集中的每个训练样本均进行像素位移和颜色扰动来得到变换样本。比如,当需要对当前训练样本进行颜色扰动时,计算机设备可调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种,得到当前训练样本所对应的颜色扰动样本。其中,当前训练样本为训练样本集中的任意一个训练样本。其中,可预先设置随机调整的调整幅度,从而计算机设备可在预设的调整幅度内调整亮度、对比度、饱和度和锐度。计算机设备可针对当前训练样本的亮度、对比度、饱和度和锐度均进行调整,计算机设备也可对当前训练样本的亮度、对比度、饱和度和锐度中的一种进行调整。
进一步地,当获取得到与当前训练样本相对应的颜色扰动样本时,计算机设备可随机对颜色扰动样本中的像素进行位移,得到与当前训练样本相对应的变换样本。容易理解地,计算机设备可先对当前训练样本进行颜色扰动,再进行像素位移来得到变换样本;也可先对当前训练样本进行像素位移在,再进行颜色扰动来得到变换样本;还可以仅对当前训练样本进行颜色扰动或者像素位移,来得到变换样本。本实施例在此不做限定。
进一步地,计算机进入下一轮的图像变换,继续对训练样本集中的当前训练样本进行颜色扰动和像素位移,得到下一轮的变换样本。如此迭代,直至满足第二预设停止条件时停止,得到与当前训练样本对应的多个变换样本。
在其中一个实施例中,可通过仿射变换来进行像素位移。比如,可通过仿射变换矩阵来随机移动、缩放颜色扰动样本中的部分像素,得到相对应的变换样本。进一步地,当获取得到变换样本时,可将变换样本输入至图像处理模型中,通过图像处理模型输出相应的处理结果。由于变换样本中引入了缩放位移,因此,对于分割、关键点等输出含有像素信息的图像处理任务,还需要对图像处理模型输出的处理结果进行对应的逆变化,得到对齐到原训练样本的第二处理结果。
在其中一个实施例中,计算机设备可通过下述公式确定与当前训练样本相对应的多个变换样本:I′i=Si(I),i=1,…,T,其中,I代表当前训练样本,I′i代表与训练样本I相对应的第i个变换样本。计算机设备可通过下述公式确定图像处理模型输出的处理结果:U′i=M(I′i),其中,M为图像处理模型,U′i为基于变换样本I′i得到的处理结果。由于变换样本中引入了缩放位移,计算机设备可通过下述公式对图像处理模型输出的处理结果进行逆变换,得到第二处理结果
Figure BDA0003364471280000181
其中,U′i为图像处理模型输出的处理结果,
Figure BDA0003364471280000182
为仿射变换的逆变换,Ui为第二处理结果。
上述实施例中,通过随机进行颜色扰动和像素位移,可得到包含有图像不确定性的变换样本,从而后续可通过包含有图像不确定性的变换样本,得到图像度量表征向量。
步骤S208,对于当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,图像度量表征向量用于表征图像不确定性。
具体地,计算机设备可根据当前训练样本所对应的多个第二处理结果,得到当前训练样本的图像度量表征向量。其中,图像度量表征向量用于表征图像不确定性。在一个实施例中,图像度量表征向量的模长越长时,可认为该训练样本也就越难,从而基于该训练样本进行模型训练的难度就越大。
在其中一个实施例中,对于训练样本集中的每个训练样本,计算机设备均可在获取得到当前训练样本所对应的多个第二处理结果时,立即对当前训练样本所对应的多个第二处理结果进行处理,得到当前训练样本所对应的图像度量表征向量。计算机设备也可在获取得到训练样本集中每个训练样本各自对应的多个第二处理结果时,再对每个训练样本各自对应的多个第二处理结果进行处理,得到每个训练样本各自对应的图像度量表征向量。本实施例在此不做限定。
在一个实施例中,对于当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,包括:对于当前训练样本,对与当前训练样本对应的多个第二处理结果进行求均值运算,得到与当前训练样本对应的第二均值结果;确定与当前训练样本对应的每个第二处理结果与第二均值结果之间的差异,得到每个第二处理结果各自对应的第二差异结果;综合多个第二差异结果,得到与当前训练样本相对应的图像度量表征向量。
具体地,当获取得到与当前训练样本相对应的多个第二处理结果时,计算机设备可对多个第二处理结果进行求均值运算,得到与当前训练样本相对应的第二均值结果。比如,计算机设备可确定多个第二处理结果的数量,并对多个第二处理结果进行叠加,得到第二处理结果之和,将第二处理结果之和之和除以多个第二处理结果的数量,得到第二均值结果。进一步地,对于与当前训练样本相对应的多个第二处理结果中的每个第二处理结果,计算机设备分别确定每个第二处理结果与第二均值结果之间的差异,得到每个第二处理结果各自对应的第二差异结果。从而计算机设备可综合多个第二差异结果,得到与当前训练样本对应的图像度量表征向量。
在其中一个实施例中,对于不同的图像处理任务,可通过不同的方式来确定第二差异结果。比如,对于坐标回归任务,可确定第二处理结果与第二均值结果之间的曼哈顿距离或者欧式距离,将曼哈顿距离或者欧式距离,作为第二差异结果;对于人体关键点识别任务,可通过确定第二处理结果指向的关键点、与第二均值所指向的关键点之间的相似度,来确定第二差异结果。
在其中一个实施例中,可通过下述公式来确定第二差异结果:
Figure BDA0003364471280000191
Figure BDA0003364471280000192
其中,i代表第i轮图像识别,Ui代表第i轮图像识别所得到的第二处理结果,
Figure BDA0003364471280000193
代表第二均值结果,f代表用以确定第二处理结果与第二均值结果之间差异的度量函数。当图像处理任务为人体关键点识别任务时,度量函数可为
Figure BDA0003364471280000194
其中,OKS代表第二处理结果指向的关键点与第二均值所指向的关键点之间的相似度。
上述实施例中,由于只需对第二处理结果进行求均值计算和求差异计算,即可得到相应的图像度量表征向量,可大大提升图像度量表征向量的确定效率。
在一个实施例中,综合多个第二差异结果,得到与当前训练样本相对应的图像度量表征向量,包括:对多个第二差异结果进行求均值运算,得到第二均值差异;对多个第二差异结果进行求方差运算,得到第二方差差异;确定多个第二差异结果中的最大值,得到第二最大差异;综合第二均值差异、第二方差差异和第二最大差异,得到当前训练样本的图像度量表征向量。
具体地,当获取得到与当前训练样本相对应的多个第二差异结果时,计算机设备可对多个第二差异结果进行求均值运算,得到第二均值差异。进一步地,计算机设备可对多个第二差异结果进行求方差运算,得到第二方差差异,比如,计算机设备可通过确定第二差异结果与第二均值差异之间的差值,来得到第二方差差异。以及计算机设备确定多个第二差异结果中的最大值,得到第二最大差异,并综合第二均值差异、第二方差差异和第二最大差异,得到当前训练样本的图像度量表征向量。容易理解地,对于训练样本集中的每个训练样本,计算机设备均可确定每个训练样本各自对应的一组第二差异结果UModel1,…,T,其中,UModeli代表该训练样本在第i轮图像识别所得到的第二差异结果。因此,计算机设备可针对每个训练样本均确定相应的第二均值差异、第二方差差异和第二最大差异,再基于第二均值差异、第二方差差异和第二最大差异,确定每个训练样本各自对应的图像度量表征向量。
在其中一个实施例中,计算机设备可通过下述公式确定图像度量表征向量:
Figure BDA0003364471280000201
其中,
Figure BDA0003364471280000202
代表模型度量表征向量,mean(UModel)代表第二均值差异,std(UModel)代表第二方差差异,max(UModel)代表第二最大差异。
上述实施例中,由于图像度量表征向量包含了由于图像不确定性引入的度量平均值、度量的波动程度以及最大波动范围信息,使得后续基于多种信息所确定的综合度量结果能够更为准确,所蕴含的信息也能够更为丰富。
步骤S210,综合模型度量表征向量和图像度量表征向量得到综合度量结果,并根据训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的目标训练样本用于对图像处理模型进行训练。
具体地,对于多个训练样本中的每个训练样本,计算机设备均确定每个训练样本的模型度量表征向量和图像度量表征向量,并综合模型度量表征向量和图像度量表征向量,得到每个训练样本各自对应的综合度量结果。其中,训练样本的综合度量结果反映的是,图像处理模型对训练样本进行推理后输出结果的潜在不确定性、以及该训练样本的难易程度。其中,训练样本的难易程度指的是通过该训练样本对模型进行训练,并达到预设训练效果的难易程度,也即,难训练样本指的是难学的训练样本,容易训练样本指的是易学的训练样本。综合度量结果的模长与不确定性呈正相关,其中,一个训练样本的不确定性包括模型不确定性和图像不确定性,容易理解地,当训练样本的综合度量结果的模长越长,则该训练样本的不确定性也就越大。在筛选训练样本的时候,如果只选不确定性大的训练样本,则会导致图像处理模型难以训练且无法达到最佳效果,从而也就使得,当训练样本的综合度量结果的模长越长,该训练样本的困难程度也就越大。因此,当综合度量结果的模长,则训练样本的不确定性也就越大,该训练样本为难样本。
进一步地,由于若只选综合度量结果的模长较长的训练样本,则会导致图像处理模型难以训练且无法达到最佳效果,因此,计算机设备可根据各训练样本各自对应的综合度量结果,以及模型的实际训练需求,从训练样本集中筛选出目标训练样本。比如,计算机设备可均匀地从训练样本集中筛选出具有不同综合度量结果模长的目标训练样本,从而基于均匀筛选出的目标训练样本对图像处理模型进行训练。
在一个实施例中,计算机设备可对当前训练样本的模型度量表征向量和图像度量表征向量进行拼接,得到当前训练样本的综合度量结果。当模型度量表征向量为
Figure BDA0003364471280000211
图像度量表征向量为
Figure BDA0003364471280000212
时,拼接得到的综合度量结果可以为
Figure BDA0003364471280000213
Figure BDA0003364471280000214
在一个实施例中,参考图5,图5示出了一个实施例中基于模型迭代训练的框架示意图。训练样本集中可包括有有标签的训练样本,和无标签的训练样本,计算机设备可按照上述训练样本筛选方法,分别对每个有标签的训练样本和无标签训练样本均进行推理,得到每个训练样本各自对应的综合度量结果。进一步地,计算机设备可根据综合度量结果从无标签的训练样本中筛选出目标训练样本,并对目标训练样本进行标签标注处理,得到有标签的目标训练样本,通过有标签的目标训练样本、和原始的有标签的训练样本,对图像处理模型进行训练。上述流程完整进行一次为一个循环,为了提升图像处理模型所输出的结果的准确性,通常要定期执行上述循环迭代,也即,需要定期从无标签的训练样本中筛选出目标训练样本,并通过目标训练样本对图像处理模型进行训练。此外,由于是通过图像处理模型自身对训练样本进行处理,来得到训练样本的综合度量结果,因此,对于不同的模型,同一训练样本所对应的综合度量结果不同,从而使得针对不同的图像处理模型,会从训练样本集中筛选出不同的目标训练样本,如此,便实现了个性化筛选,并基于个性化筛选出的目标训练样本进一步提升模型的训练效果。
上述训练样本筛选方法中,通过随机阻断图像处理模型中的神经元,可得到阻断模型,从而通过阻断模型对样本训练集中的当前训练样本进行图像处理,得到第一处理结果,并基于第一处理结果得到与当前训练样本相对应的用于表征模型不确定性的模型度量表征向量。通过对样本训练集中的当前训练样本进行图像变换,可得到变换样本,从而通过图像处理模型对变换样本进行图像处理,得到第二处理结果,并基于第二处理结果得到与当前训练样本相对应的用于表征图像不确定性的图像度量表征向量。通过获得样本训练集中的各训练样本各自对应的模型度量表征向量和图像度量表征向量,可基于模型度量表征向量和图像度量表征向量得到用以表征训练样本难易程度的综合度量结果,如此,便可基于综合度量结果从训练样本集中筛选出更利于模型训练的目标训练样本。由于本申请可以通过用于表征样本难易程度的综合度量结果来筛选出目标训练样本,相比于传统的随机筛选出训练样本,本申请可筛选出有价值的训练样本,从而基于有价值的训练样本提升图像处理模型的训练效果。
在一个实施例中,训练样本集包括第一训练样本集和第二训练样本集,第一训练样本集包括具有标签的第一训练样本;第二训练样本集中包括不具有标签的第二训练样本;综合模型度量表征向量和图像度量表征向量得到综合度量结果,包括:分别对每个第一训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个第一训练样本各自对应的第一综合度量结果;分别对每个第二训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个第二训练样本各自对应的第二综合度量结果。
具体地,训练样本集中包括有第一训练样本集和第二训练样本集,其中,第一训练样本集中存储有第一训练样本,第一训练样本为具有标签的训练样本;第二训练样本集中存储有第二训练样本,第二训练样本为不具有标签的训练样本。当获取得到每个第一训练样本各自对应的模型度量表征向量和图像度量表征向量时,对于多个第一训练样本中的每个第一训练样本,计算机设备均将当前第一训练样本的模型度量表征向量与图像度量表征向量进行拼接,得到当前第一训练样本所对应的第一综合度量结果。比如,计算机设备可将图像度量表征向量拼接至模型度量表征向量之后,得到第一综合度量结果。
相应地,当获取得到每个第二训练样本各自对应的模型度量表征向量和图像度量表征向量时,对于多个第二训练样本中的每个第二训练样本,计算机设备均将当前第二训练样本的模型度量表征向量与图像度量表征向量进行拼接,得到当前第二训练样本所对应的第二综合度量结果。
上述实施例中,通过对模型度量表征向量和图像度量表征向量进行拼接,可得到包括有模型不确定性和图像不确定性的综合度量结果,也即,得到用以度量不确定性的综合度量结果,从而后续可基于用以度量不确定性的综合度量结果从训练样本集中筛选出利于模型训练的目标训练样本。
在一个实施例中,参考图6,根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本,包括:
步骤S602,对于当次筛选所对应的第一训练样本集和第二训练样本集,分别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异。
步骤S604,根据每个第二综合度量结果各自对应的多个度量结果差异,从第二训练样本集中筛选出当次的目标训练样本。
具体地,由于综合度量结果的模长与不确定性呈正相关,在筛选目标训练样本时,如果只选不确定性大的训练样本,则会导致模型难以训练且无法达到最佳效果,因此为了减少全部选取不确定性大的目标训练样本的概率,使得筛选出的目标训练样本与原始的第一训练样本在不确定性空间中分布均匀,计算机设备可结合已有的具有标签的第一训练样本在不确定性空间中的分布,来筛选出目标训练样本,从而使得后续可以通过分布均匀的目标训练样本和第一训练样本来提升模型的训练效果。
对于当次筛选所对应的第一训练样本集和第二训练样本集,当获取得到多个第一综合度量结果和多个第二综合度量结果时,计算机设备可确定各第一综合度量结果与各第二综合度量结果之间的差异,得到多个度量结果差异。比如,对于多个第二综合度量结果中的每个第二综合度量结果,计算机设备均确定当前第二综合度量结果与每个第一综合度量结果之间的差异,得到与当前第二综合度量结果相对应的多个度量结果差异。其中,度量结果差异指的是第二综合度量结果与第一综合度量结果之间的差异。比如,当第二训练样本A的第二综合度量结果为a,第一训练样本B的第一综合度量结果为b,第一训练样本C的第一综合度量结果为c,此时,与第二综合度量结果a相对应的多个度量结果差异即包括a与b之间的差异和a与c之间的差异。
进一步地,计算机设备根据多个度量结果差异,从第二训练样本集中筛选出目标训练样本,得到当次筛选出的目标训练样本。比如,计算机设备可将具有最大度量结果差异的第二训练样本,作为目标训练样本,或者,计算机设备可将具有最小度量结果差异的第二训练样本,作为目标训练样本,亦或者,计算机设备可将具有目标值度量结果的第二训练样本,作为目标训练样本等。
在其中一个实施例中,计算机设备可确定第二综合度量结果与第一综合度量结果之间的最小欧式距离或者最小曼哈顿距离,并将第二综合度量结果与第一综合度量结果之间的最小欧式距离作为度量结果差异,或者将第二综合度量结果与第一综合度量结果之间的最小曼哈顿距离作为度量结果差异。
在其中一个实施例中,当获取得到多个度量差异结果时,可对多个度量差异结果进行聚类处理,得到至少一个聚类簇,从而根据需求从聚类簇中筛选出目标度量差异,并将具有目标度量差异的第二训练样本,作为目标训练样本。
步骤S606,对当次的目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至第一训练样本集,得到更新后的第一训练样本集,并删除第二训练样本集中的目标训练样本,得到更新后的第二训练样本集。
步骤S608,将更新后的第一训练样本集作为下次筛选所对应的第一训练样本集,将更新后的第二训练样本集作为下次筛选所对应的第二训练样本集,进入下次筛选并返回分别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所第二综合度量结果各自对应的多个度量结果差异的步骤继续执行,直至达到第三停止条件时停止,得到第二预设数量的目标训练样本。
具体地,计算机设备对当次筛选出的目标训练样本进行标签标注处理,并将标签标注后的目标训练样本存储至第一训练集中,得到更新后的第一训练样本集,删除第二训练集中的目标训练样本,得到更新后的第二训练样本集。计算机设备返回别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异的步骤继续执行,如此迭代,直至达到第三停止条件时停止,得到第二预设数量的目标训练样本。
本实施例中,由于是结合已有的第一训练样本的综合度量结果,来对于第二训练样本进行自动化筛选,因此,能够使得第一训练样本和筛选出的目标训练样本在不确定性空间中分布更为均匀,从而能够提升基于分布均匀的第一训练样本和目标训练样本训练得到的图像处理模型的处理效果。
此外,由于是从第二训练样本集中筛选出利于模型训练的目标训练样本,因此,相比于传统的随机筛选出训练样本,本申请实施例可以减少对筛选出的冗余的训练样本进行标签标注的概率,从而给提升了标签的标注效率。
在一个实施例中,分别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异之前还包括:对第一综合度量结果进行归一化处理,得到第一归一化结果,并通过映射函数对第一归一化结果进行映射处理,得到第一映射结果;对第二综合度量结果进行归一化处理,得到第二归一化结果,并通过映射函数对第二归一化结果进行映射处理,得到第二映射结果;分别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异,包括:分别确定第一训练样本集中每个第一训练样本所对应的第一映射结果,与第二训练样本集中每个第二训练样本所对应的第二映射结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异。
具体地,为了减少难的第二训练样本的在不确定性空间中分布过于分散,而导致算法将其全部选取的概率,需要对第一综合度量结果和第二综合度量结果进行归一化及饱和映射。
当获取得到第一综合度量结果时,计算机设备可对该第一综合度量结果进行归一化处理,得到第一归一化结果,并通过预设的映射函数对第一归一化结果进行映射处理,得到第一映射结果。相应地,计算机设备可对第二综合度量结果进行归一化处理,得到第二归一化结果,并通过预设的映射函数对第二归一化结果进行映射处理,得到第二映射结果。进一步地,对于多个第二映射结果中的每个第二映射结果,计算机设备确定当前第二映射结果与每个第一映射结果之间的差异,并将该差异作为度量结果差异,从而得到与当前第二映射结果相对应的多个度量结果差异。
在其中一个实施例中,计算机设备可通过下述公式对第一综合度量结果进行归一化处理,得到第一归一化结果
Figure BDA0003364471280000261
Figure BDA0003364471280000262
其中,
Figure BDA0003364471280000263
为第一综合度量结果,
Figure BDA0003364471280000264
为多个第一综合度量结果的均值,
Figure BDA0003364471280000265
为多个第一综合度量结果的方差。同理,计算机设备也可通过上述公式对第二综合度量结果进行归一化处理。
在其中一个实施例中,计算机设备可通过下述公式对第一归一化结果进行映射,得到第一映射结果
Figure BDA0003364471280000266
Figure BDA0003364471280000267
Figure BDA0003364471280000268
其中,T为Sigmoid斜率控制系数,通过增大T,更多的难训练样本会被压缩到饱和区域,从而降低其被选取的概率,因此可以通过T来控制难以程度大于预设值的训练样本与难以程度小于预设值的训练样本之间的比例,也即控制难易样本的筛选比例,从而通过所控制的难易样本的筛选比例,进一步提升模型的训练效果。容易理解地,计算机设备也可通过上述公式确定第二归一化结果。归一化和函数映射皆是位操作,即是对第一综合度量结果和第二综合度量结果中每个元素独立运算。
上述实施例中,通过对第一综合度量结果和第二综合度量结果进行归一化及饱和映射,可以减少难以程度大于预设值的训练样本在不确定性空间中的分散程度,从而使得难以程度大于预设值的训练样本和难以程度小于或等于预设值的训练样本,能够被均匀选取。
在一个实施例中,根据每个第二综合度量结果各自对应的多个度量结果差异,从第二训练样本集中筛选出当次的目标训练样本,包括:将各第二综合度量结果各自对应的多个度量结果差异中的最小度量结果差异,作为相应第二综合度量结果的目标度量结果差异;从多个目标度量结果差异中筛选出最大目标度量结果差异,并将具有最大目标度量结果差异的第二综合度量结果作为目标第二综合度量结果;将具有目标第二综合度量结果的第二训练样本作为目标训练样本。
具体地,计算机设备可确定每个第二综合度量结果各自对应的目标度量结果差异,其中,对于多个第二综合度量结果中的每个第二综合度量结果,计算机设备均将当前第二综合度量结果所对应的多个度量结果差异中的最小度量结果差异,作为与当前第二综合度量结果相对应的目标度量结果差异。进一步地,计算机设备从每个第二综合度量结果各自对应的目标度量结果差异中,筛选出最大目标度量结果差异,并将具有最大目标度量结果差异的第二综合度量结果作为目标第二综合度量结果,将具有目标第二综合度量结果的第二训练样本,作为目标训练样本。比如,当得到第二训练样本A的第二综合度量结果a,且与第二综合度量结果a相对应的目标度量结果差异为最大目标度量结果差异时,将第二训练样本A作为目标训练样本。
在其中一个实施例中,计算机设备可通过下述公式确定目标度量结果差异:d=minj∈mΔ(u,sj),其中,u为第二综合度量结果,sj为第一综合度量结果,m为第一综合度量结果集,该第一综合度量结果集中包括有每个第一训练样本各自对应的第一综合度量结果。Δ为曼哈顿距离或者欧式距离。
上述实施例中,由于是基于度量结果差异来筛选出目标训练样本的,使得所筛选出的目标训练样本在不确定空间中能够更为均匀,从而可基于均匀筛选出的目标训练样本提升模型的训练效果和训练效率。
在一个实施例中,训练样本集包括第一训练样本集,第一训练样本集中包括有具有标注标签的第一训练样本,上述方法还包括:对目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至第一训练样本集,得到更新后的第一训练样本集;通过更新后的第一训练样本集对图像处理模型进行训练,直至达到第四预设停止条件时停止,得到训练好的图像处理模型;训练好的图像处理模型用于对待识别图像进行识别。
具体地,当获取得到目标训练样本时,计算机设备可对目标训练样本进行标签标注处理,得到添加有标签的目标训练样本,并将添加有标签的目标训练样本存储至第一样本集中。当将目标训练样本存储与第一训练样本集时,计算机设备可通过第一训练样本对图像处理模型进行训练,直至达到第四预设停止条件时停止,得到训练好的图像处理模型。其中,训练好的图像处理模型可用于对图像进行处理,比如,可识别图像中的目标对象,或者对图像进行分割,亦或者确定图像中的关键点等。
本实施例中,通过对图像处理模型进行进一步训练,使得训练好的图像处理模型可输出更为准确的处理结果。
本申请还提供一种应用场景,该应用场景应用上述的训练样本筛选方法。
具体地,该训练样本筛选方法在该应用场景的应用如下:
在智慧零售领域中,可通过图像处理模型对进出商场的视频进行识别,得到顾客的进出轨迹,并通过进出轨迹得到商场的客流量。由于商城的环境每隔一定时间会进行变更,因此,需要定期对图像处理模型进行优化训练。研发人员可获取带标签的多个第一训练样本和不带标签的多个第二训练样本,从而计算机设备可按照上述训练样本筛选方法,从多个第二训练样本中筛选出预设数量的目标训练样本,并通过第一训练样本和筛选出的目标训练样本,对图像处理模型进行优化训练,得到优化训练好的图像处理模型。
本申请还另外提供一种应用场景,该应用场景应用上述的训练样本筛选方法。具体地,该训练样本筛选方法在该应用场景的应用如下:
在人脸识别场景中,为了提升资源转移的安全性,在通过应用进行资源转移之前,可通过图像处理模型对包括有用户人脸的人脸图像进行活体检测。由于随着科学技术的发展,人脸伪造技术也会随之改进,因此,需要定期对图像处理模型进行优化训练,以基于优化训练后的图像处理模型提升活体检测的准确性。计算机设备可按照上述训练样本筛选方法,从样本训练集中中筛选出预设数量的目标训练样本,并通过筛选出的目标训练样本,对图像处理模型进行优化训练,得到优化训练好的图像处理模型。
上述应用场景仅为示意性的说明,可以理解,本申请各实施例所提供的训练样本筛选方法的应用不局限于上述场景。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户进出轨迹、用户人脸图像等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一个具体实施例中,参考图7,提供了一种训练样本筛选方法,训练样本筛选方法包括:
S702,计算机设备对于多个训练样本中的每个训练样本,均随机阻断图像识别模型中的第一预设数量的神经元,得到阻断模型,并通过阻断模型对当前训练样本进行图像识别,得到第一处理结果,进入下一轮的图像识别,返回随机阻断图像识别模型中的第一预设数量的神经元的步骤继续执行,直至满足第一预设停止条件时停止,得到当前训练样本所对应的多个第一处理结果。
S704,对于多个训练样本中的每个训练样本,计算机设备均对当前训练样本所对应的多个第一处理结果进行求均值运算,得到与当前训练样本对应的第一均值结果。
S706,计算机设备确定与当前训练样本对应的每个第一处理结果与第一均值结果之间的差异,得到每个第一处理结果各自对应的第一差异结果,对多个第一差异结果进行求均值运算,得到第一均值差异,对多个第一差异结果进行求方差运算,得到第一方差差异,确定多个第一差异结果中的最大值,得到第一最大差异。
S708,计算机设备综合第一均值差异、第一方差差异和第一最大差异,得到当前训练样本的模型度量表征向量。
S710,计算机设备分别调整每个训练样本的亮度、对比度、饱和度和锐度中的至少一种,得到每个训练样本各自对应的颜色扰动样本;分别对每个颜色扰动样本中的像素点进行像素位移,得到每个训练样本各自对应的变换样本,进入下一轮的图像变换,返回分别调整每个训练样本的亮度、对比度、饱和度和锐度中的至少一种的步骤继续执行,直至满足第二预设停止条件时停止,得到训练样本集中的每个训练样本各自对应的多个变换样本。
S712,对于多个训练样本中的每个训练样本,计算机设备均通过图像处理模型对与当前训练样本相对应的每个变换样本均进行图像处理,得到与当前训练样本相对应的多个第二处理结果。
S714,对于多个训练样本中的每个训练样本,计算机设备均对与当前训练样本对应的多个第二处理结果进行求均值运算,得到与当前训练样本对应的第二均值结果。
S716,计算机设备确定与当前训练样本对应的每个第二处理结果与第二均值结果之间的差异,得到每个第二处理结果各自对应的第二差异结果;对多个第二差异结果进行求均值运算,得到第二均值差异,对多个第二差异结果进行求方差运算,得到第二方差差异,确定多个第二差异结果中的最大值,得到第二最大差异。
S718,计算机设备综合第二均值差异、第二方差差异和第二最大差异,得到当前训练样本的图像度量表征向量。
S720,计算机设备分别对每个第一训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个第一训练样本各自对应的第一综合度量结果。
S722,计算机设备分别对每个第二训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个第二训练样本各自对应的第二综合度量结果。
S724,计算机设备分别确定每个第一综合度量结果与每个第二综合度量结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异,将各第二综合度量结果各自对应的多个度量结果差异中的最小度量结果差异,作为相应第二综合度量结果的目标度量结果差异。
S726,计算机设备从多个目标度量结果差异中筛选出最大目标度量结果差异,并将具有最大目标度量结果差异的第二综合度量结果作为目标第二综合度量结果,将具有目标第二综合度量结果的第二训练样本作为目标训练样本。
S728,计算机设备对目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至第一训练样本集,并删除第二训练样本集中的目标训练样本,返回分别对每个第一训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接的步骤继续执行,直至达到第三停止条件时停止,得到第二预设数量的目标训练样本。
上述训练样本筛选方法,通过随机阻断图像处理模型中的神经元,可得到阻断模型,从而通过阻断模型对训练样本进行图像处理,得到第一处理结果,并基于第一处理结果得到用于表征模型不确定性的模型度量表征向量。通过对训练样本进行图像变换,可得到变换样本,从而通过图像处理模型对变换样本进行图像处理,得到第二处理结果,并基于第二处理结果得到用于表征图像不确定性的图像度量表征向量。通过获得模型度量表征向量和图像度量表征向量,可基于模型度量表征向量和图像度量表征向量得到用以表征训练样本难以程度的综合度量结果,如此,便可基于综合度量结果从训练样本集中筛选出更利于模型训练的目标训练样本。由于本申请可以通过用于表征样本难易程度的综合度量结果来筛选出目标训练样本,相比于传统的随机筛选出训练样本,本申请可筛选出有价值的训练样本,从而基于有价值的训练样本提升图像处理模型的训练效果。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一个训练样本筛选装置800,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:模型不确定性获取模块802、图像不确定性获取模块804和筛选模块806,其中:
模型不确定性获取模块802,用于随机阻断图像处理模型中的神经元得到阻断模型,并通过阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;对于当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,模型度量表征向量用于表征模型不确定性。
图像不确定性获取模块804,用于获取通过对当前训练样本进行图像变换得到的变换样本,并通过图像处理模型对变换样本进行图像处理,得到第二处理结果;对于当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,图像度量表征向量用于表征图像不确定性。
筛选模块806,用于综合模型度量表征向量和图像度量表征向量得到综合度量结果,并根据训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的目标训练样本用于对图像处理模型进行训练。
上述训练样本筛选装置,通过随机阻断图像处理模型中的神经元,可得到阻断模型,从而通过阻断模型对训练样本进行图像处理,得到第一处理结果,并基于第一处理结果得到用于表征模型不确定性的模型度量表征向量。通过对训练样本进行图像变换,可得到变换样本,从而通过图像处理模型对变换样本进行图像处理,得到第二处理结果,并基于第二处理结果得到用于表征图像不确定性的图像度量表征向量。通过获得模型度量表征向量和图像度量表征向量,可基于模型度量表征向量和图像度量表征向量得到用以表征训练样本难以程度的综合度量结果,如此,便可基于综合度量结果从训练样本集中筛选出更利于模型训练的目标训练样本。由于本申请可以通过用于表征样本难易程度的综合度量结果来筛选出目标训练样本,相比于传统的随机筛选出训练样本,本申请可筛选出有价值的训练样本,从而基于有价值的训练样本提升图像处理模型的训练效果。
在一个实施例中,参考图9,模型不确定性获取模块802还包括第一处理结果获取模块8021,用于对于训练样本集中的当前训练样本,随机阻断图像识别模型中的第一预设数量的神经元,得到阻断模型,并通过阻断模型对当前训练样本进行图像识别,得到第一处理结果;进入下一轮的图像识别,返回随机阻断图像识别模型中的第一预设数量的神经元的步骤继续执行,直至满足第一预设停止条件时停止,得到当前训练样本所对应的多个第一处理结果。
在一个实施例中,模型不确定性获取模块802还用于对于当前训练样本,对与多次随机阻断对应的多个第一处理结果进行求均值运算,得到与当前训练样本对应的第一均值结果;确定与当前训练样本对应的每个第一处理结果与第一均值结果之间的差异,得到每个第一处理结果各自对应的第一差异结果;综合多个第一差异结果,得到当前训练样本的模型度量表征向量。
在一个实施例中,模型不确定性获取模块802用于对多个第一差异结果进行求均值运算,得到第一均值差异;对多个第一差异结果进行求方差运算,得到第一方差差异;确定多个第一差异结果中的最大值,得到第一最大差异;综合第一均值差异、第一方差差异和第一最大差异,得到当前训练样本的模型度量表征向量。
在一个实施例中,图像不确定性获取模块804还包括图像变换模块8041,用于调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种,得到与当前训练样本对应的颜色扰动样本;对颜色扰动样本中的像素点进行像素位移,得到与当前训练样本对应的变换样本;进入下一轮的图像变换,返回调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种的步骤继续执行,直至满足第二预设停止条件时停止,得到与当前训练样本对应的多个变换样本。
在一个实施例中,图像不确定性获取模块804还用于对于当前训练样本,对与当前训练样本对应的多个第二处理结果进行求均值运算,得到与当前训练样本对应的第二均值结果;确定与当前训练样本对应的每个第二处理结果与第二均值结果之间的差异,得到每个第二处理结果各自对应的第二差异结果;综合多个第二差异结果,得到与当前训练样本相对应的图像度量表征向量。
在一个实施例中,图像不确定性获取模块804还用于对多个第二差异结果进行求均值运算,得到第二均值差异;对多个第二差异结果进行求方差运算,得到第二方差差异;确定多个第二差异结果中的最大值,得到第二最大差异;综合第二均值差异、第二方差差异和第二最大差异,得到当前训练样本的图像度量表征向量。
在一个实施例中,训练样本集包括第一训练样本集和第二训练样本集,第一训练样本集包括具有标签的第一训练样本;第二训练样本集中包括不具有标签的第二训练样本;筛选模块806还用于分别对每个第一训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个第一训练样本各自对应的第一综合度量结果;分别对每个第二训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个第二训练样本各自对应的第二综合度量结果。
在一个实施例中,筛选模块806还用于对于当次筛选所对应的第一训练样本集和第二训练样本集,分别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异;根据每个第二综合度量结果各自对应的多个度量结果差异,从第二训练样本集中筛选出当次的目标训练样本;对当次的目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至第一训练样本集,得到更新后的第一训练样本集,并删除第二训练样本集中的目标训练样本,得到更新后的第二训练样本集;将更新后的第一训练样本集作为下次筛选所对应的第一训练样本集,将更新后的第二训练样本集作为下次筛选所对应的第二训练样本集,进入下次筛选并返回分别确定第一训练样本集中每个第一训练样本的第一综合度量结果,与第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所第二综合度量结果各自对应的多个度量结果差异的步骤继续执行,直至达到第三停止条件时停止,得到第二预设数量的目标训练样本。
在一个实施例中,筛选模块806还包括映射模块8061,用于对第一综合度量结果进行归一化处理,得到第一归一化结果,并通过映射函数对第一归一化结果进行映射处理,得到第一映射结果;对第二综合度量结果进行归一化处理,得到第二归一化结果,并通过映射函数对第二归一化结果进行映射处理,得到第二映射结果;分别确定第一训练样本集中每个第一训练样本所对应的第一映射结果,与第二训练样本集中每个第二训练样本所对应的第二映射结果之间的差异,得到每个第二综合度量结果各自对应的多个度量结果差异。
在一个实施例中,筛选模块806还包括目标确定模块8062,用于将各第二综合度量结果各自对应的多个度量结果差异中的最小度量结果差异,作为相应第二综合度量结果的目标度量结果差异;从多个目标度量结果差异中筛选出最大目标度量结果差异,并将具有最大目标度量结果差异的第二综合度量结果作为目标第二综合度量结果;将具有目标第二综合度量结果的第二训练样本作为目标训练样本。
在一个实施例中,训练样本集包括第一训练样本集,第一训练样本集中包括有具有标注标签的第一训练样本,训练样本筛选装置800还用于对目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至第一训练样本集,得到更新后的第一训练样本集;通过更新后的第一训练样本集对图像处理模型进行训练,直至达到第四预设停止条件时停止,得到训练好的图像处理模型;训练好的图像处理模型用于对待识别图像进行识别。
关于训练样本筛选装置的具体限定可以参见上文中对于训练样本筛选方法的限定,在此不再赘述。上述训练样本筛选装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练样本。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种训练样本筛选方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种训练样本筛选方法,其特征在于,所述方法包括:
随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;
对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;
获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;
对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;
综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果,包括:
对于训练样本集中的当前训练样本,随机阻断所述图像识别模型中的第一预设数量的神经元,得到阻断模型,并通过所述阻断模型对所述当前训练样本进行图像识别,得到第一处理结果;
进入下一轮的图像识别,返回随机阻断所述图像识别模型中的第一预设数量的神经元的步骤继续执行,直至满足第一预设停止条件时停止,得到所述当前训练样本所对应的多个第一处理结果。
3.根据权利要求1所述的方法,其特征在于,所述对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,包括:
对于所述当前训练样本,对与多次随机阻断对应的多个第一处理结果进行求均值运算,得到与所述当前训练样本对应的第一均值结果;
确定与所述当前训练样本对应的每个第一处理结果与所述第一均值结果之间的差异,得到每个所述第一处理结果各自对应的第一差异结果;
综合多个所述第一差异结果,得到所述当前训练样本的模型度量表征向量。
4.根据权利要求3所述的方法,其特征在于,所述综合多个所述第一差异结果,得到所述当前训练样本的模型度量表征向量,包括:
对多个所述第一差异结果进行求均值运算,得到第一均值差异;
对多个所述第一差异结果进行求方差运算,得到第一方差差异;
确定多个所述第一差异结果中的最大值,得到第一最大差异;
综合所述第一均值差异、所述第一方差差异和所述第一最大差异,得到所述当前训练样本的模型度量表征向量。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种,得到与所述当前训练样本对应的颜色扰动样本;
对所述颜色扰动样本中的像素点进行像素位移,得到与所述当前训练样本对应的变换样本;
进入下一轮的图像变换,返回调整当前训练样本的亮度、对比度、饱和度和锐度中的至少一种的步骤继续执行,直至满足第二预设停止条件时停止,得到与所述当前训练样本对应的多个变换样本。
6.根据权利要求1所述的方法,其特征在于,所述对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,包括:
对于所述当前训练样本,对与所述当前训练样本对应的多个第二处理结果进行求均值运算,得到与当前训练样本对应的第二均值结果;
确定与所述当前训练样本对应的每个第二处理结果与所述第二均值结果之间的差异,得到每个所述第二处理结果各自对应的第二差异结果;
综合多个所述第二差异结果,得到与所述当前训练样本相对应的图像度量表征向量。
7.根据权利要求6所述的方法,其特征在于,所述综合多个所述第二差异结果,得到与所述当前训练样本相对应的图像度量表征向量,包括:
对多个所述第二差异结果进行求均值运算,得到第二均值差异;
对多个所述第二差异结果进行求方差运算,得到第二方差差异;
确定多个所述第二差异结果中的最大值,得到第二最大差异;
综合所述第二均值差异、所述第二方差差异和所述第二最大差异,得到所述当前训练样本的图像度量表征向量。
8.根据权利要求1所述的方法,其特征在于,所述训练样本集包括第一训练样本集和第二训练样本集,所述第一训练样本集包括具有标签的第一训练样本;所述第二训练样本集中包括不具有标签的第二训练样本;
所述综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,包括:
分别对每个所述第一训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个所述第一训练样本各自对应的第一综合度量结果;
分别对每个所述第二训练样本各自对应的模型度量表征向量和图像度量表征向量进行拼接,得到每个所述第二训练样本各自对应的第二综合度量结果。
9.根据权利要求8所述的方法,其特征在于,所述根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本,包括:
对于当次筛选所对应的第一训练样本集和第二训练样本集,分别确定所述第一训练样本集中每个第一训练样本的第一综合度量结果,与所述第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所述第二综合度量结果各自对应的多个度量结果差异;
根据每个所述第二综合度量结果各自对应的多个度量结果差异,从所述第二训练样本集中筛选出当次的目标训练样本;
对所述当次的目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至所述第一训练样本集,得到更新后的第一训练样本集,并删除所述第二训练样本集中的目标训练样本,得到更新后的第二训练样本集;
将更新后的第一训练样本集作为下次筛选所对应的第一训练样本集,将更新后的第二训练样本集作为下次筛选所对应的第二训练样本集,进入下次筛选并返回所述分别确定所述第一训练样本集中每个第一训练样本的第一综合度量结果,与所述第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所第二综合度量结果各自对应的多个度量结果差异的步骤继续执行,直至达到第三停止条件时停止,得到第二预设数量的目标训练样本。
10.根据权利要求9所述的方法,其特征在于,所述分别确定所述第一训练样本集中每个第一训练样本的第一综合度量结果,与所述第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所述第二综合度量结果各自对应的多个度量结果差异之前,所述方法还包括:
对所述第一综合度量结果进行归一化处理,得到第一归一化结果,并通过映射函数对所述第一归一化结果进行映射处理,得到第一映射结果;
对所述第二综合度量结果进行归一化处理,得到第二归一化结果,并通过映射函数对所述第二归一化结果进行映射处理,得到第二映射结果;
所述分别确定所述第一训练样本集中每个第一训练样本的第一综合度量结果,与所述第二训练样本集中每个第二训练样本的第二综合度量结果之间的差异,得到每个所述第二综合度量结果各自对应的多个度量结果差异,包括:
分别确定所述第一训练样本集中每个第一训练样本所对应的第一映射结果,与所述第二训练样本集中每个第二训练样本所对应的第二映射结果之间的差异,得到每个所述第二综合度量结果各自对应的多个度量结果差异。
11.根据权利要求9所述的方法,其特征在于,所述根据每个所述第二综合度量结果各自对应的多个度量结果差异,从所述第二训练样本集中筛选出当次的目标训练样本,包括:
将各所述第二综合度量结果各自对应的多个度量结果差异中的最小度量结果差异,作为相应第二综合度量结果的目标度量结果差异;
从多个目标度量结果差异中筛选出最大目标度量结果差异,并将具有最大目标度量结果差异的第二综合度量结果作为目标第二综合度量结果;
将具有目标第二综合度量结果的第二训练样本作为目标训练样本。
12.根据权利要求1至11中的任一项所述的方法,其特征在于,所述训练样本集包括第一训练样本集,所述第一训练样本集中包括有具有标注标签的第一训练样本,所述方法还包括:
对所述目标训练样本进行标签标注,将进行标签标注后的目标训练样本存储至所述第一训练样本集,得到更新后的第一训练样本集;
通过更新后的第一训练样本集对所述图像处理模型进行训练,直至达到第四预设停止条件时停止,得到训练好的图像处理模型;所述训练好的图像处理模型用于对待识别图像进行识别。
13.一种训练样本筛选装置,其特征在于,所述装置包括:
模型不确定性获取模块,用于随机阻断图像处理模型中的神经元得到阻断模型,并通过所述阻断模型对训练样本集中的当前训练样本进行图像处理,得到第一处理结果;对于所述当前训练样本,基于与多次随机阻断分别对应的第一处理结果,确定对应的模型度量表征向量,所述模型度量表征向量用于表征模型不确定性;
图像不确定性获取模块,用于获取通过对所述当前训练样本进行图像变换得到的变换样本,并通过所述图像处理模型对所述变换样本进行图像处理,得到第二处理结果;对于所述当前训练样本,基于与相对应的多个变换样本的第二处理结果,确定对应的图像度量表征向量,所述图像度量表征向量用于表征图像不确定性;
筛选模块,用于综合所述模型度量表征向量和所述图像度量表征向量得到综合度量结果,并根据所述训练样本集中每个训练样本的综合度量结果筛选出目标训练样本;筛选出的所述目标训练样本用于对图像处理模型进行训练。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202111398654.0A 2021-11-19 2021-11-19 训练样本筛选方法、装置、计算机设备和存储介质 Pending CN114332556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111398654.0A CN114332556A (zh) 2021-11-19 2021-11-19 训练样本筛选方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111398654.0A CN114332556A (zh) 2021-11-19 2021-11-19 训练样本筛选方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114332556A true CN114332556A (zh) 2022-04-12

Family

ID=81045811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111398654.0A Pending CN114332556A (zh) 2021-11-19 2021-11-19 训练样本筛选方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114332556A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721315A (zh) * 2023-08-08 2023-09-08 腾讯科技(深圳)有限公司 活体检测模型的训练方法、装置、介质及电子设备
CN116994085A (zh) * 2023-06-27 2023-11-03 中电金信软件有限公司 图像样本筛选方法、模型训练方法、装置和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994085A (zh) * 2023-06-27 2023-11-03 中电金信软件有限公司 图像样本筛选方法、模型训练方法、装置和计算机设备
CN116721315A (zh) * 2023-08-08 2023-09-08 腾讯科技(深圳)有限公司 活体检测模型的训练方法、装置、介质及电子设备
CN116721315B (zh) * 2023-08-08 2023-12-01 腾讯科技(深圳)有限公司 活体检测模型的训练方法、装置、介质及电子设备

Similar Documents

Publication Publication Date Title
CN110163235B (zh) 图像增强模型的训练、图像增强方法、装置和存储介质
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN111738357B (zh) 垃圾图片的识别方法、装置及设备
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
Laugraud et al. LaBGen: A method based on motion detection for generating the background of a scene
CN111353546B (zh) 图像处理模型的训练方法、装置、计算机设备和存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111860147A (zh) 行人重识别模型优化处理方法、装置和计算机设备
CN114332556A (zh) 训练样本筛选方法、装置、计算机设备和存储介质
CN113505797B (zh) 模型训练方法、装置、计算机设备和存储介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN113112518B (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
CN113283368B (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN112232397A (zh) 图像分类模型的知识蒸馏方法、装置和计算机设备
CN109784353B (zh) 一种处理器实现的方法、设备和存储介质
CN111159450A (zh) 图片分类方法、装置、计算机设备和存储介质
US20220137930A1 (en) Time series alignment using multiscale manifold learning
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN111339952A (zh) 基于人工智能的图像分类方法、装置及电子设备
CN114998814A (zh) 目标视频生成方法、装置、计算机设备和存储介质
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070952

Country of ref document: HK