CN112232426B - 目标检测模型的训练方法、装置、设备及可读存储介质 - Google Patents

目标检测模型的训练方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112232426B
CN112232426B CN202011135684.8A CN202011135684A CN112232426B CN 112232426 B CN112232426 B CN 112232426B CN 202011135684 A CN202011135684 A CN 202011135684A CN 112232426 B CN112232426 B CN 112232426B
Authority
CN
China
Prior art keywords
sample set
target detection
detection model
trained
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011135684.8A
Other languages
English (en)
Other versions
CN112232426A (zh
Inventor
刘彦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Saiante Technology Service Co Ltd
Original Assignee
Shenzhen Saiante Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Saiante Technology Service Co Ltd filed Critical Shenzhen Saiante Technology Service Co Ltd
Priority to CN202011135684.8A priority Critical patent/CN112232426B/zh
Publication of CN112232426A publication Critical patent/CN112232426A/zh
Application granted granted Critical
Publication of CN112232426B publication Critical patent/CN112232426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种目标检测模型的训练方法，包括：加载待训练的目标检测模型；获取输入的训练样本集，并确定所述训练样本集中具有标注的第一样本集，以及所述训练样本集中的不具有标注的第二样本集；根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛；若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型。本申请还提供一种装置、计算机设备和存储介质。实现提高目标检测模型训练效率和模型鲁棒性。

Description

目标检测模型的训练方法、装置、设备及可读存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种目标检测模型的训练方法、目标检测模型的训练装置、计算机设备及计算机可读存储介质。
背景技术
基于深度神经网络的人工智能技术在计算机视觉处理应用中获得了广泛的应用。然而，深度神经网络模型在处理受到对抗攻击干扰的图像样本时，性能大幅下降。因此，需要提高网络模型的鲁棒性。
现有技术中，为获得鲁棒的网络模型，利用大量数据的不断训练和优化，以提高模型的鲁棒性。但是，此时在进行训练时，需要对数据进行大量的处理，比如标注和分类等，需要耗费大量的人力成本，同时也并不能有效对攻击干扰进行处理，使得网络模型的鲁棒性的提升不够。
因此，现在亟需一种提高模型训练效率和模型鲁棒性的目标检测模型的训练方法。
发明内容
本申请提供了一种目标检测模型的训练方法、装置、计算机设备及存储介质，以提高目标检测模型训练效率和模型鲁棒性。
第一方面，本申请提供了一种目标检测模型的训练方法，所述方法包括：
加载待训练的目标检测模型；
获取输入的训练样本集，并确定所述训练样本集中具有标注的第一样本集，以及所述训练样本集中的不具有标注的第二样本集；
根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；
获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛；
若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型。
第二方面，本申请还提供了一种目标检测模型的训练装置，所述装置包括：
数据加载模块，用于获取训练样本集，并加载待训练的目标检测模型；
样本获取模块，用于在所述训练样本集中的标注样本集中获取第一样本集，以及在所述训练样本集中的无标注样本集中获取第二样本集；
模型训练模块，用于根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；
结果判断模块，用于获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛；
数据存储模块，用于若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的目标检测模型的训练方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的目标检测模型的训练方法。
本申请公开了一种目标检测模型的训练方法、装置、计算机设备及存储介质，在进行模型训练时，首先利用标注样本集训练得到一个标注预测模型，然后利用标注预测模型实现无监督的对无标注样本集进行标注预测，以得到一个更大的样本集，以将所得到的更大的样本集作为模型训练的训练样本，降低了训练样本的获取难度，避免了大量的标注工作，然后利用所得到的更大的样本集以对待训练的目标检测模型进行对抗防御训练，通过不断的对抗防御训练，实现对模型中相关参数的不断优化，以使得最终所得到的目标检测模型在保证目标检测准确性的情况下，具有更好的鲁棒性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的一种目标检测模型的训练方法的流程示意图；
图2为本申请一个实施例提供的对待训练目标检测模型进行训练的步骤的流程示意图；
图3为本申请一个实施例提供的根据对抗样本集进行训练的步骤的流程示意图；
图4为本申请一个实施例提供的确定是否收敛的步骤的流程示意图；
图5为本申请一个实施例提供的目标检测模型的训练装置的示意性框图；
图6为本申请一个实施例提供的计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1为本申请一个实施例提供的一种目标检测模型的训练方法的流程示意图。
如图1所示，该目标检测模型的训练方法包括步骤S101至步骤S104。
步骤S101、加载待训练的目标检测模型。
在对待训练的目标检测模型进行训练时，将会加载当前所需要进行训练的待训练的目标检测模型，进而以利用相关的训练输入数据对待训练的目标检测模型进行训练。其中，对于所加载的待训练的目标检测模型，是基于神经网络模型所得到的，以用来实现对目标物体的检测，进而在实际应用和使用过程中，可以用来实现目标追踪等。
步骤S102、获取输入的训练样本集，并确定所述训练样本集中具有标注的第一样本集，以及所述训练样本集中不具有标注的第二样本集。
在对所加载的待训练的目标检测模型进行训练时，首先需要获取进行模型训练的初始数据，进而才能利用所获取的训练数据对所加载的模型进行训练。因此，在模型加载时，还将获取进行训练的训练样本集，进而使得待训练的目标检测模型根据训练样本集完成自身训练。
在实际应用中，在对模进行型训练时，通常是用于训练的样本数据越多，训练完成之后的模型具有更好的能力，比如行为预测能力，再比如目标跟踪能力，因此，为了使得训练之后的模型具有更好的能力，会加大模型的训练样本。
在一实施例中，对于所获取的训练样本集，包含有若干数量的标注样本和若干数量的未标注样本，且未标注样本的数量远大于标注样本的数量。在目标检测场景应用中，标注样本是对样本中每个目标的矩形框进行标注，同时对每个矩形框的分类标注，而未标注样本则是没有进行任何人为处理的样本。
在实际应用中，模型训练所使用的样本需要有相应的标注，若一个样本没有进行标注，那么它将是一个无用的样本。由于所获取的训练样本集并不是一个进行全标注的样本集，因此，在得到训练样本集之后，需要对训练样本集进行分类，以将所接收到的训练样本集分为具有标注的第一样本集和不具有标注的第二样本集。
在一实施例中，对于具有标注的第一样本集而言，显然可以直接作为模型训练的直接输入，但是对于不具有标注的第二样本集，需要进行相应的标注，以使得第二样本集可以成为模型训练的有效数据。
步骤S103、根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练。
在接收到输入的训练样本集之后，由于训练样本集中所包含的样本有的是具有标注的样本，有的是不具有标注的样本，因此需要对不具有标注的第二样本集进行相应的处理，进而在根据所得到的第一样本集和第二样本集，对待训练的目标检测模型进行训练。
在一实施例中，在进行模型训练时，需要模型训练所输入的数据具有相应的标注，因此对于第二样本集而言，不可以直接作为模型训练的输入，而是需要进行一定的处理，进而使得处理后的第二样本集可以作为模型训练的输入。
具体地，参照图2，图2为本申请一个实施例提供的对待训练目标检测模型进行训练的步骤的流程示意图。其中，步骤S103包括子步骤S201至子步骤S203。
子步骤S201、根据所述第一样本集对所述待训练的目标检测模型进行训练，得到标注预测模型。
在得到具有标注的第一样本集和不具有标注的第二样本集之后，需要对不具有标注的第二样本集进行标注，确定样本中各目标对应的样本框以及各样本框对应的类别。由于第一样本集是具有标注的样本集，因此将会根据第一样本集实现对第二样本集的标注。
在一实施例中，在对待训练的目标检测模型进行训练之前，需要确定进行训练的输入数据，在实际应用中，在确定进行训练所输入的数据时，可以是对每个数据进行标注处理，但是这样需要大量的人工劳动，因此需要使用无监督的方式实现对进行训练的数据的获取。
因此，在得到具有标注的第一样本集，利用所得到的第一样本集对待训练的目标检测模型进行训练，以得到可以对样本的标注进行预测的标注预测模型。在实际应用中，进行对抗训练所需要的数据相较于进行模型训练所需要的数据而言，是更加庞大的。因此，对于具有标注的第一样本集，所包含的样本并不需要保证对抗训练的完成，只需要保证对目标检测模型的标准训练即可。
对于第一样本集而言，所包含的样本都对应有相应的标注信息，比如设定一个样本为(xs,ts,ys)，其中，xs为该样本的样本信息，比如样本id，ts为多个物体的位置(以一个矩形框标定物体的轮廓)标注向量，每个物体的矩形框信息含四个变量(tx,ty,tw,th)，分别表示矩形框左上角点的横坐标、纵坐标、矩形框宽度、矩形框高度；ys为对应每个标注物体的类别向量，ys的第i个元素表示ts的第i个元素(矩形框)的类别信息。
在利用具有标注的第一样本集进行训练得到标注预测模型时，以梯度下降法对所获取的待训练的目标检测模型进行训练，通过不断的优化，得到对应的标注预测模型。
需要说明的是，在得到标注预测模型时，是基于待训练的目标检测模型所得到的，但是该过程并不是训练好的目标检测模型所必须具有的功能，也就是，对于最终所得到的训练好的目标检测模型而言，可以具有进行标注预测的功能，也可以不具有进行标注预测的功能。
子步骤S202、将所述第二样本集输入至所述标注预测模型中，以对所述第二样本集中各样本进行标注，并将所述第一样本集以及所述进行标注后的第二样本集作为对抗样本集。
由于在进行对抗防御训练时，需要使用更加庞大的样本数据，因此，在获取不具有标注的第二样本集之后，使用前述基于第一样本集训练所得到的标注预测模型对第二样本集所包含的样本的标注进行预测，以使得不具有标注的第二样本集更新为具有标注的第二样本集。
在利用标注预测模型对第二样本集所包含的样本的标注进行预测时，通过输出预测的目标物体位置(矩形框)向量tu和其对应的类别向量yu，在完成预测之后，所得到的标注信息为(xu,tu,yu)，其中，u为第二样本集中的第u个样本。
同时，在完成对第二样本集的标注之后，将第一样本集和进行标注后的第二样本集作为对抗样本集，进而使用对抗样本集作为待训练的目标检测模型的训练输入数据。
需要说明的是，第二样本集中所包含的样本数量通常为第一样本集中所包含的样本数量的若干倍，比如第一样本集占训练样本的比例为10％，第二样本集占训练样本的比例为90％。
子步骤S203、根据所述对抗样本集，对所述待训练的目标检测模型进行对抗训练。
在得到对抗样本集之后，将会直接根据所得到的对抗样本集对待训练的目标检测模型进行相应的对抗训练，以使得训练之后的目标检测模型满足实际的应用需求。
具体地，参照图3，图3为本申请一个实施例提供的根据对抗样本集进行训练的步骤的流程示意图。其中，子步骤S203包括子步骤S301至子步骤S304。
子步骤S301、将所述对抗样本集，输入至所述待训练的目标检测模型中，以输出得到对应的预测样本。
在对待训练的目标检测模型进行训练时，利用所得到的对抗训练样本集作为模型训练的输入，通过不断的参数优化，使得的最终所得到的模型满足实际的需求。在将所得到的对抗训练样本集进行输入时，对于每一个样本都对应的一个预测样本，然进而根据以得到的预测样本对模型进行调节。
实际的，对抗训练样本集中的每个样本都对应着各自的标注信息，其中标注信息具体包含有标注框以及标注类别，在将样本输入待训练的目标检测模型中时，会输出得到样本对应的预测样本，由于预测样本与实际的样本之间会存在一定的差异，也就是预测样本对应的标注信息会与实际对应的标注信息有所不同，比如，实际的标注框为(2,3,5,6)，而预测样本对应的标注框为(3,3,6,7)，使得在得到预测样本之后，需要对模型中的相关参数进行调整，以使得所得到的预测结果满足当前训练的需求。
子步骤S302、根据所述预测样本以及所述对抗样本集，得到所述待训练的目标检测模型对应的损失函数。
损失函数用来表示预测样本与对应的训练样本之间的差异性，通常情况下，一个预测样本与对应的输入样本之间的损失值越小，说明当前所使用的模型的预测越准确。在实际应用中，损失值与当前所使用的模型有关。
因此，在得到预测样本之后，将根据所得到的预测样本与对抗训练样本集确定当前所对应的损失函数，而对于每个样本而言，针对于当前所使用的模型会对应着相应的损失值，而随着模型的不断优化，模型中的参数的不断优化，使得损失值也是在不断变化的。
对于损失函数而言，设定损失函数为L(x,t,y,θ)＝Lloc+Lcls，其中，θ为待训练的目标检测模型的参数，Lloc为预测样本与实际样本的标注框之间的定位损失，Lcls预测样本与实际样本的标注框类别损失。
子步骤S303、确定所述对抗训练样本集对应的扰动图像样本集。
对于对抗训练样本集所包含的图像样本，确定图像样本对应的扰动图像，以得到对抗训练样本集对应的扰动图像样本集，进而利用所得到的扰动图像样本集对待训练的目标检测模型进行训练。
在得到扰动样本图像集时，首先需要对图像进行处理，以得到图像样本对应的矢量，其中矢量可以是一维向量，也可以是二维向量，以图像样本x为例，记图像样本x的扰动图像样本为x′，初始迭代时，将x赋值给x′，即x′←x，然后在样本集(x′,t,y)上进行后续的处理，也就是初次训练时，扰动图像样本集为对抗训练样本集。
在实际应用时，通过对待训练的目标检测模型进行训练，实现对对应的参数θ进行调节，因此会通过若干次的不断训练，以使得最终所得到的参数θ满足当前的实际需求，也就完成对模型的训练。
子步骤S304、根据所述扰动图像样本集以及所述损失函数，对所述待训练的目标检测模型进行参数调节，以对所述待训练的目标检测模型进行训练。
在利用当前所得到的扰动图像样本集对待训练的目标检测模型训练时，模型中会默认对参数θ进行设置，然后在进行调节，在进行一次训练时，通过输入扰动图像样本集，以得到在完成一次训练之后所对应的参数θ，具体地，参数θ的赋值方式如下：
其中，N为扰动图像样本集中所包含图像样本的数量，是损失函数相对于θ求梯度，γ为预先设定的学习率超参数，且通常设定为较小值，如0.01。
在实际训练时，是通过大量次数的训练所得到的，因此，在整个的训练过程中，完成第一次训练之后，需要进行第二次的训练。而在进行第二次训练时，首先同样需要得到此时所需要的扰动图像样本集，而为了可以不断的对模型进行优化，可以对样本集的获取方式进行相应的限制，由前述描述可知，初次所得到的扰动图像样本集为对抗训练样本集，那么在进行第二次训练时，扰动图像样本集的获取方式如下：
x′←x′+ε·sign(g)
其中，ε为预先设定的最大扰动范数范围，g为损失函数L相对于图像样本x的梯度，具体且g为与x′同样大小的图像，g中每个像素值为L对该像素的梯度。sign(g)为与g同样大小的图像，每个元素表示g中对应元素的正负符号。
也就是，第二次训练时所使用的扰动图像样本集x′与前一次扰动图像样本集存在上面的关系。进而可以得到每次训练时所需要的扰动图像样本集x′。
步骤S104、确定训练后的目标检测模型是否收敛。
在对待训练的目标检测模型进行训练之后，确定训练后的目标检测模型是否收敛。在实际应用中，确定模型收敛的方式有很多种，比如常规的训练次数，即在模型训练次数达到所设定的次数时确定模型收敛，再比如模型中的某一参数，即在该参数满足所设定的条件时确定模型收敛，当然，还可能是其他的判断方式，在此不做任何限制。
在一实施例中，在确定训练后的目标检测模型是否收敛时，通过获取相关的收敛条件，进而对训练后的目标检测模型进行信息获取，以根据所得到的信息和收敛条件确定是否收敛。
具体地，参照图4，图4为本申请一个实施例提供的确定是否收敛的步骤的流程示意图。其中，步骤S104包括子步骤S401至子步骤S405。
子步骤S401、获取基于所述扰动图像样本集对所述待训练的目标检测模型进行训练时所生成的模型参数；
子步骤S402、基于所述模型参数以及所述损失函数，计算所述对抗训练样本集的损失值；
子步骤S403、根据所述损失值确定训练后的目标检测模型是否收敛。
在模型参数θ的不断调整过程中，损失函数值是不断降低的过程，在理论情况下，由于模型参数θ是一个一直变化的状态，因此需要基于模型参数θ确定模型训练是否完成。
在确定训练后的模型是否收敛时，获取在训练时所生成的模型参数，其中模型参数的产生是待训练的目标检测模型在基于扰动图像样本集进行训练时，所得到的模型参数，然后根据所得到的模型参数以及前述所得到的损失函数，计算对抗训练样本集所对应的损失值，进而获取预先所设定的损失阈值，以将计算得到的损失值与损失阈值进行比较，以确定当前训练所得到的目标检测模型是否收敛。
其中，若计算得到的损失值小于或者等于损失阈值，则确定当前训练所得到的目标检测模型收敛；若计算得到的损失值大于孙志阈值，则确定当前训练所得到的目标检测模型未收敛。而在确定当前训练所得到的目标检测模型未收敛时，将会继续进行模型训练，以至训练后的目标检测模型收敛。
对于待训练的目标检测模型的损失函数而言，在待训练的目标检测模型训练没有完成时，针对于图像样本集在进行目标检测时，所得到的损失值会偏高，而在待训练的目标检测模型训练完成之后，在进行目标检测时所对应的损失值会在一个可接收到的范围内，也就是一个比较小的数值，而在模型训练时，是通过不断的模型中的参数θ进行不断的调节和优化，以使得训练之后的模型更加满足实际的需求，因此在得到参数θ时，将此时所得到的参数θ代入损失函数中，以计算个样本在此状态下的损失值，进而根据所得到的损失值确定训练后的目标检测模型是否收敛。
在实际应用中，对于所设定的损失阈值，可以根据实际的场景和需求进行设定，但通常是一个比较小的数值，比如设定为0.05，那么在进行判断时，在所得到的损失值小于或者等于0.05时，确定收敛，反之则确定不收敛。
步骤S105、若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型。
通过对训练后的目标检测模型中的模型参数进行判断，在确定所得到的模型参数满足所设定的条件时，确定此时训练所得到的目标检测模型收敛，也就是满足对于该模型的实际需求，因此将会对此时训练后的目标检测模型进行记录和存储，以便于后续的使用。
在一实施例中，对于训练后的目标检测模型，除了确定收敛之外，还可能会依旧不收敛，也就是依旧不满足对于该模型的实际需求，因此还需要继续对该目标检测模型进行训练。
因此，在确定是否收敛时，若确定所述训练后的目标检测模型未收敛，则执行上述步骤S103：根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练，并确定训练到的目标检测模型是否收敛。
在上述描述的目标检测模型的训练方法中，首先利用标注样本集训练得到一个标注预测模型，然后利用标注预测模型实现无监督的对无标注样本集进行标注预测，以得到一个更大的样本集，以将所得到的更大的样本集作为模型训练的训练样本，降低了训练样本的获取难度，避免了大量的标注工作，然后利用所得到的更大的样本集以对待训练的目标检测模型进行对抗防御训练，通过不断的对抗防御训练，实现对模型中相关参数的不断优化，以使得最终所得到的目标检测模型在保证目标检测准确性的情况下，具有更好的鲁棒性。
请参阅图5，图5为本申请一个实施例提供的目标检测模型的训练装置的示意性框图，该装置用于执行前述的目标检测模型的训练方法。
如图5所示，该目标检测模型的训练装置500包括：
数据加载模块501，用于获取训练样本集，并加载待训练的目标检测模型；
样本获取模块502，用于在所述训练样本集中的标注样本集中获取第一样本集，以及在所述训练样本集中的无标注样本集中获取第二样本集；
模型训练模块503，用于根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；
结果判断模块504，用于获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛；
数据存储模块505，用于若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型。
进一步地，在一个实施例中，所述模型训练模块503具体还用于：
根据所述第一样本集对所述待训练的目标检测模型进行训练，得到标注预测模型；将所述第二样本集输入至所述标注预测模型中，以对所述第二样本集中各样本进行标注，并将所述第一样本集以及所述进行标注后的第二样本集作为对抗样本集；根据所述对抗样本集，对所述待训练的目标检测模型进行对抗训练。
进一步地，在一个实施例中，所述模型训练模块503具体还用于：
将所述对抗样本集，输入至所述待训练的目标检测模型中，以输出得到对应的预测样本；根据所述预测样本以及所述对抗样本集，得到所述待训练的目标检测模型对应的损失函数；确定所述对抗训练样本集对应的扰动图像样本集；根据所述扰动图像样本集以及所述损失函数，对所述待训练的目标检测模型进行参数调节，以对所述待训练的目标检测模型进行训练。
进一步地，在一个实施例中，所述模型训练模块503具体还用于：
对所述对抗样本集进行矢量处理，得到所述对抗样本集中各对抗样本对应的矢量向量，其中所述矢量向量的集合为所述扰动图像样本集。
进一步地，在一个实施例中，所述结果判断模块504具体还用于：
获取基于所述扰动图像样本集对所述待训练的目标检测模型进行训练时所生成的模型参数；基于所述模型参数θ以及所述损失函数，计算所述对抗训练样本集的损失值；根据所述损失值确定训练后的目标检测模型是否收敛。
进一步地，在一个实施例中，所述结果判断模块504具体还用于：
获取预设的损失阈值，并将所述损失值与所述损失阈值进行比较；若所述损失值小于或者等于所述损失阈值，则确定所述训练后的目标检测模型收敛；若所述损失值大于所述损失阈值，则确定所述训练后的目标检测模型未收敛。
进一步地，在一个实施例中，所述数据存储模块505具体还用于：
若确定所述训练后的目标检测模型未收敛，则执行步骤：根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练，并确定训练到的目标检测模型是否收敛。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6为本申请一个实施例提供的计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图6，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种目标检测模型的训练方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种目标检测模型的训练方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
加载待训练的目标检测模型；获取输入的训练样本集，并确定所述训练样本集中具有标注的第一样本集，以及所述训练样本集中的不具有标注的第二样本集；根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；确定训练后的目标检测模型是否收敛；若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型。
在一个实施例中，所述处理器在实现所述根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练时，还用于实现：
根据所述第一样本集对所述待训练的目标检测模型进行训练，得到标注预测模型；将所述第二样本集输入至所述标注预测模型中，以对所述第二样本集中各样本进行标注，并将所述第一样本集以及所述进行标注后的第二样本集作为对抗样本集；根据所述对抗样本集，对所述待训练的目标检测模型进行对抗训练。
在一个实施例中，所述处理器在实现所述根据所述对抗样本集，对所述待训练的目标检测模型进行对抗训练时，还用于实现：
将所述对抗样本集，输入至所述待训练的目标检测模型中，以输出得到对应的预测样本；根据所述预测样本以及所述对抗样本集，得到所述待训练的目标检测模型对应的损失函数；确定所述对抗训练样本集对应的扰动图像样本集；根据所述扰动图像样本集以及所述损失函数，对所述待训练的目标检测模型进行参数调节，以对所述待训练的目标检测模型进行训练。
在一个实施例中，所述处理器在实现确定所述对抗训练样本集对应的扰动图像样本集时，还用于实现：
对所述对抗样本集进行矢量处理，得到所述对抗样本集中各对抗样本对应的矢量向量，其中所述矢量向量的集合为所述扰动图像样本集。
在一个实施例中，所述处理器在实现所述获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛时，还用于实现：
获取基于所述扰动图像样本集对所述待训练的目标检测模型进行训练时所生成的模型参数；基于所述模型参数θ以及所述损失函数，计算所述对抗训练样本集的损失值；根据所述损失值确定训练后的目标检测模型是否收敛。
在一个实施例中，所述处理器在实现所述根据所述损失值确定训练后的目标检测模型是否收敛时，还用于实现：
获取预设的损失阈值，并将所述损失值与所述损失阈值进行比较；若所述损失值小于或者等于所述损失阈值，则确定所述训练后的目标检测模型收敛；若所述损失值大于所述损失阈值，则确定所述训练后的目标检测模型未收敛。
在一个实施例中，所述处理器在实现所述确定训练到的目标检测模型是否收敛之后，还用于实现：
若确定所述训练后的目标检测模型未收敛，则执行步骤：根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练，并确定训练到的目标检测模型是否收敛。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项目标检测模型的训练方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
另外，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种目标检测模型的训练方法，其特征在于，所述方法包括：
加载待训练的目标检测模型；
获取输入的训练样本集，并确定所述训练样本集中具有标注的第一样本集，以及所述训练样本集中的不具有标注的第二样本集；
根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；
获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛；
若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型；
其中，所述根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练，包括：
根据所述第一样本集对所述待训练的目标检测模型进行训练，得到标注预测模型，其中所述待训练的目标检测模型存储于区块链节点中；
将所述第二样本集输入至所述标注预测模型中，以对所述第二样本集中各样本进行标注，并将所述第一样本集以及所述进行标注后的第二样本集作为对抗样本集；
将所述对抗样本集，输入至所述待训练的目标检测模型中，以输出得到对应的预测样本；
根据所述预测样本以及所述对抗样本集，得到所述待训练的目标检测模型对应的损失函数；
确定所述对抗训练样本集对应的扰动图像样本集；
根据所述扰动图像样本集以及所述损失函数，对所述待训练的目标检测模型进行参数调节，以对所述待训练的目标检测模型进行训练。
2.根据权利要求1所述的训练方法，其特征在于，所述确定所述对抗训练样本集对应的扰动图像样本集，包括：
对所述对抗样本集进行矢量处理，得到所述对抗样本集中各对抗样本对应的矢量向量，其中所述矢量向量的集合为所述扰动图像样本集。
3.根据权利要求2所述的训练方法，其特征在于，所述获取进行对抗训练时所生成的损失值，并基于所述损失值确定训练后的目标检测模型是否收敛，包括：
获取基于所述扰动图像样本集对所述待训练的目标检测模型进行训练时所生成的模型参数；
基于所述模型参数以及所述损失函数，计算所述对抗训练样本集的损失值；
根据所述损失值确定训练后的目标检测模型是否收敛。
4.根据权利要求3所述的训练方法，其特征在于，所述根据所述损失值确定训练后的目标检测模型是否收敛，包括：
获取预设的损失阈值，并将所述损失值与所述损失阈值进行比较；
若所述损失值小于或者等于所述损失阈值，则确定所述训练后的目标检测模型收敛；
若所述损失值大于所述损失阈值，则确定所述训练后的目标检测模型未收敛。
5.根据权利要求1至4中任一项所述的训练方法，其特征在于，所述确定训练到的目标检测模型是否收敛之后，还包括：
若确定所述训练后的目标检测模型未收敛，则执行步骤：根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练，并确定训练到的目标检测模型是否收敛。
6.一种目标检测模型的训练装置，其特征在于，所述装置包括：
数据加载模块，用于获取训练样本集，并加载待训练的目标检测模型；
样本获取模块，用于在所述训练样本集中的标注样本集中获取第一样本集，以及在所述训练样本集中的无标注样本集中获取第二样本集；
模型训练模块，用于根据所述第一样本集和所述第二样本集，对所述待训练的目标检测模型进行对抗训练；
结果判断模块，用于确定训练后的目标检测模型是否收敛；
数据存储模块，用于若确定所述训练后的目标检测模型收敛，则记录并存储所述训练好的目标检测模型；
其中，所述模型训练模块还用于，根据所述第一样本集对所述待训练的目标检测模型进行训练，得到标注预测模型，其中所述待训练的目标检测模型存储于区块链节点中；将所述第二样本集输入至所述标注预测模型中，以对所述第二样本集中各样本进行标注，并将所述第一样本集以及所述进行标注后的第二样本集作为对抗样本集；将所述对抗样本集，输入至所述待训练的目标检测模型中，以输出得到对应的预测样本；根据所述预测样本以及所述对抗样本集，得到所述待训练的目标检测模型对应的损失函数；确定所述对抗训练样本集对应的扰动图像样本集；根据所述扰动图像样本集以及所述损失函数，对所述待训练的目标检测模型进行参数调节，以对所述待训练的目标检测模型进行训练。
7.一种计算机设备，其特征在于，包括存储器和处理器：
所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的目标检测模型的训练方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，使得一个或多个处理器执行如权利要求1至5中任一项所述的目标检测模型的训练方法的步骤。
CN202011135684.8A 2020-10-21 2020-10-21 目标检测模型的训练方法、装置、设备及可读存储介质 Active CN112232426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135684.8A CN112232426B (zh) 2020-10-21 2020-10-21 目标检测模型的训练方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135684.8A CN112232426B (zh) 2020-10-21 2020-10-21 目标检测模型的训练方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112232426A CN112232426A (zh) 2021-01-15
CN112232426B true CN112232426B (zh) 2024-04-02

Family

ID=74109000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135684.8A Active CN112232426B (zh) 2020-10-21 2020-10-21 目标检测模型的训练方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112232426B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239975B (zh) * 2021-04-21 2022-12-20 国网甘肃省电力公司白银供电公司 一种基于神经网络的目标检测方法和装置
CN113222480B (zh) * 2021-06-11 2023-05-12 支付宝(杭州)信息技术有限公司 对抗样本生成模型的训练方法及装置
CN113569691B (zh) * 2021-07-19 2024-09-27 芯算一体(深圳)科技有限公司 人头检测模型生成方法、装置、人头检测模型及人头检测方法
CN113570007B (zh) * 2021-09-27 2022-02-15 深圳市信润富联数字科技有限公司 零件缺陷识别模型构建优化方法、装置、设备及存储介质
CN114186182A (zh) * 2021-11-02 2022-03-15 联想(北京)有限公司 一种处理方法、装置、设备及存储介质
CN114462531A (zh) * 2022-01-30 2022-05-10 支付宝(杭州)信息技术有限公司 一种模型训练方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355628A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 图文知识点标注方法和装置、图文标注的修正方法和系统
CN109902705A (zh) * 2018-10-30 2019-06-18 华为技术有限公司 一种对象检测模型的对抗扰动生成方法和装置
CN110688893A (zh) * 2019-08-22 2020-01-14 成都通甲优博科技有限责任公司 佩戴安全帽的检测方法、模型训练方法及相关装置
CN111341341A (zh) * 2020-02-11 2020-06-26 腾讯科技（深圳）有限公司 音频分离网络的训练方法、音频分离方法、装置及介质
CN111522958A (zh) * 2020-05-28 2020-08-11 泰康保险集团股份有限公司 文本分类方法和装置
CN111542841A (zh) * 2018-06-08 2020-08-14 北京嘀嘀无限科技发展有限公司 一种内容识别的系统和方法
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443178B2 (en) * 2017-12-15 2022-09-13 Interntional Business Machines Corporation Deep neural network hardening framework
CA3060144A1 (en) * 2018-10-26 2020-04-26 Royal Bank Of Canada System and method for max-margin adversarial training

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355628A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 图文知识点标注方法和装置、图文标注的修正方法和系统
CN111542841A (zh) * 2018-06-08 2020-08-14 北京嘀嘀无限科技发展有限公司 一种内容识别的系统和方法
CN109902705A (zh) * 2018-10-30 2019-06-18 华为技术有限公司 一种对象检测模型的对抗扰动生成方法和装置
CN110688893A (zh) * 2019-08-22 2020-01-14 成都通甲优博科技有限责任公司 佩戴安全帽的检测方法、模型训练方法及相关装置
CN111341341A (zh) * 2020-02-11 2020-06-26 腾讯科技（深圳）有限公司 音频分离网络的训练方法、音频分离方法、装置及介质
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN111522958A (zh) * 2020-05-28 2020-08-11 泰康保险集团股份有限公司 文本分类方法和装置
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-Label Adversarial Perturbations;Qingquan Song等;《arxiv》;20190102;第1-10页 *
Semi-Supervised Deep Transfer Learning-Based on Adversarial Feature Learning for Label Limited SAR Target Recognition;Wei Zhang等;《IEEE Access》;20191021;第7卷;第152412-152420页 *
基于AE-WGAN的定向对抗样本生成及利用;张洁等;《南京邮电大学学报(自然科学版)》;20200225;第63-69页 *
针对神经网络的图像对抗样本生成及应用研究;刘雨佳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815(第8期);第I138-609页 *

Also Published As

Publication number Publication date
CN112232426A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112232426B (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
US11853882B2 (en) Methods, apparatus, and storage medium for classifying graph nodes
CN112184508B (zh) 一种用于图像处理的学生模型的训练方法及装置
CN110414526B (zh) 语义分割网络的训练方法、训练装置、服务器和存储介质
US11030750B2 (en) Multi-level convolutional LSTM model for the segmentation of MR images
US20190228273A1 (en) Identifying parameter image adjustments using image variation and sequential processing
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
US9386266B2 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN112749666B (zh) 一种动作识别模型的训练及动作识别方法与相关装置
US20220261623A1 (en) System and method for channel-separable operations in deep neural networks
CN117132890A (zh) 一种基于Kubernetes边缘计算集群的遥感图像目标检测方法和系统
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
US20220207679A1 (en) Method and apparatus for stitching images
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
CN112215298A (zh) 模型训练方法、装置、设备及可读存储介质
EP4343616A1 (en) Image classification method, model training method, device, storage medium, and computer program
KR101700030B1 (ko) 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치
CN113963236A (zh) 目标检测方法及装置
CN111985471B (zh) 一种车牌定位方法、装置及存储介质
US20230410465A1 (en) Real time salient object detection in images and videos
KR102240403B1 (ko) 이미지 평활화 방법 및 이미지 평활화 장치
CN111985439A (zh) 人脸检测方法、装置、设备和存储介质
WO2023010701A1 (en) Image generation method, apparatus, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210207

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen saiante Technology Service Co.,Ltd.

Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000

Applicant before: Ping An International Smart City Technology Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant