CN113807529A - 机器学习模型的训练方法和装置、图像的分类方法和装置 - Google Patents

机器学习模型的训练方法和装置、图像的分类方法和装置 Download PDF

Info

Publication number
CN113807529A
CN113807529A CN202010761644.8A CN202010761644A CN113807529A CN 113807529 A CN113807529 A CN 113807529A CN 202010761644 A CN202010761644 A CN 202010761644A CN 113807529 A CN113807529 A CN 113807529A
Authority
CN
China
Prior art keywords
picture
processed
machine learning
learning model
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010761644.8A
Other languages
English (en)
Inventor
申童
张炜
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010761644.8A priority Critical patent/CN113807529A/zh
Publication of CN113807529A publication Critical patent/CN113807529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种机器学习模型的训练方法和装置、图像的分类方法和装置，涉及人工智能技术领域。该训练方法包括：利用第一机器学习模型，提取待处理图片的特征向量，根据特征向量确定待处理图片的第一分类结果，待处理图片属于第一数据域或第二数据域；根据特征向量，利用第二机器学习模型，确定待处理图片的第二分类结果，第二分类结果包括待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果；根据第一分类结果和第二分类结果，对第一机器学习模型和第二机器学习模型进行对抗训练，使得第二分类结果的准确率低于阈值，训练好的第一机器学习模型用于图片分类。

Description

机器学习模型的训练方法和装置、图像的分类方法和装置
技术领域
本公开涉及人工智能技术领域，特别涉及一种机器学习模型的训练方法、机器学习模型的训练装置、图像的分类方法、图像的分类装置、电子设备和非易失性计算机可读存储介质。
背景技术
图像语义分割作为一种图像的分类方法是计算机视觉领域的一个重要课题，其目的是对于输入图像的每一个像素划分一个独特的语义标签。图像语义分割在许多领域中都有重要应用，如自动驾驶、图像生成等。因此，对用于图像语义分割的机器学习模型进行训练就显得尤为重要。
在相关技术中，通常依赖于大量有标注的训练数据进行训练；或者利用计算机视觉技术通过渲染生成训练数据进行训练。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：获取大量有标注的训练数据成本较高，且生成的训练数据与真实情况有偏差，导致训练效果差。
鉴于此，本公开提出了一种机器学习模型的训练技术方案，能够降低成本并提高训练效果。
根据本公开的一些实施例，提供了一种机器学习模型的训练方法，包括：利用第一机器学习模型，提取待处理图片的特征向量，根据所述特征向量确定所述待处理图片的第一分类结果，所述待处理图片属于第一数据域或第二数据域；根据所述特征向量，利用第二机器学习模型，确定所述待处理图片的第二分类结果，所述第二分类结果包括所述待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果；根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练，使得所述第二分类结果的准确率低于阈值，训练好的第一机器学习模型用于图片分类。
在一些实施例中，所述根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练包括：根据所述待处理图片属于的数据域，以及所述第一分类结果，生成第一标注结果；根据所述第二分类结果和所述第一标注结果，计算第一损失函数；根据所述第一损失函数训练所述第二机器学习模型。
在一些实施例中，所述第一数据域中的图片为人工生成的虚拟图片，所述第二数据域中的图片为实际采集的真实图片。
在一些实施例中，所述根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练包括：在所述待处理图片属于第二数据域的情况下，生成所述待处理图片的第二标注结果，所述第二标注结果将所述待处理图片标注为属于第一数据域；根据所述第二分类结果和所述第二标注结果计算第二损失函数；根据所述第二损失函数训练所述第一机器学习模型。
在一些实施例中，所述根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练包括：在所述待处理图片属于第一数据域的情况下，根据所述第一分类结果和所述待处理图片的第三标注结果计算第三损失函数，所述第三标注结果用于标注所述待处理图片所属的图像类型；根据所述第三损失函数训练所述第一机器学习模型。
在一些实施例中，所述根据所述待处理图片属于的数据域，以及所述第一分类结果，生成第一标注结果包括：在所述待处理图片属于的第一数据域的情况下，在所述第一分类结果后面加标识位，生成所述第一标注结果，所述标识位的个数与所有图像类型的个数相同；在所述待处理图片属于的第二数据域的情况下，在所述第一分类结果前面加所述标识位，生成所述第一标注结果，所述标识位的个数与所有图像类型的个数相同。
在一些实施例中，所述第一分类结果为所述待处理图片中每一个像素属于各图像类型的概率，所述待处理图片在第一数据域中的分类结果为所述待处理图片中每一个像素在第一数据域中属于各图像类型的概率，所述待处理图片在第二数据域中的分类结果为所述待处理图片中每一个像素在第二数据域中属于各图像类型的概率。
在一些实施例中，所述的训练方法，还包括：利用训练好的第一机器学习模型进行图片分类。
根据本公开的另一些实施例，提供一种机器学习模型的训练装置，包括：第一确定单元，用于利用第一机器学习模型，提取待处理图片的特征向量，根据所述特征向量确定所述待处理图片的第一分类结果，所述待处理图片属于第一数据域或第二数据域；第二确定单元，用于根据所述特征向量，利用第二机器学习模型，确定所述待处理图片的第二分类结果，所述第二分类结果包括所述待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果；训练单元，用于根据所述第一分类结果和所述第二分类结果，根据所述第一分类结果或所述第二分类结果中的至少一个，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练，使得所述第二分类结果的准确率低于阈值，训练好的第一机器学习模型用于图片分类。
在一些实施例中，所述训练单元根据所述待处理图片属于的数据域，以及所述第一分类结果，生成第一标注结果；根据所述第二分类结果和所述第一标注结果，计算第一损失函数；根据所述第一损失函数训练所述第二机器学习模型。
在一些实施例中，所述第一数据域中的图片为人工生成的虚拟图片，所述第二数据域中的图片为实际采集的真实图片。
在一些实施例中，训练单元在所述待处理图片属于第二数据域的情况下，生成所述待处理图片的第二标注结果，所述第二标注结果将所述待处理图片标注为属于第一数据域；根据所述第二分类结果和所述第二标注结果计算第二损失函数；根据所述第二损失函数训练所述第一机器学习模型。
在一些实施例中，训练单元在所述待处理图片属于第一数据域的情况下，根据所述第一分类结果和所述待处理图片的第三标注结果计算第三损失函数，所述第三标注结果用于标注所述待处理图片所属的图像类型；根据所述第三损失函数训练所述第一机器学习模型。
在一些实施例中，训练单元在所述待处理图片属于的第一数据域的情况下，在所述第一分类结果后面加标识位，生成所述第一标注结果，所述标识位的个数与所有图像类型的个数相同；在所述待处理图片属于的第二数据域的情况下，在所述第一分类结果前面加所述标识位，生成所述第一标注结果，所述标识位的个数与所有图像类型的个数相同。
在一些实施例中，所述第一分类结果为所述待处理图片中每一个像素属于各图像类型的概率，所述待处理图片在第一数据域中的分类结果为所述待处理图片中每一个像素在第一数据域中属于各图像类型的概率，所述待处理图片在第二数据域中的分类结果为所述待处理图片中每一个像素在第二数据域中属于各图像类型的概率。
在一些实施例中，所述第一确定单元利用训练好的第一机器学习模型进行图片分类。
根据本公开的又一些实施例，提供一种图像的分类方法，包括：获取待处理图片；利用第一机器学习模型，对待处理图片进行分类，第一机器学习模型根据上述任一实施例所述的训练方法训练得到。
根据本公开的再一些实施例，提供一种图像的分类装置，包括：获取单元，用于获取待处理图片；分类单元，用于利用第一机器学习模型，对待处理图片进行分类，第一机器学习模型根据上述任一实施例所述的训练方法训练得到。
根据本公开的再一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的机器学习模型的训练方法或者图像的分类方法。根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的机器学习模型的训练方法或者图像的分类方法。
在上述实施例中，第二机器学习模型根据第一机器学习模型提取的特征向量，不但能够区分图片的类型还能够区分图片所属的数据域；通过对抗训练，使得第一机器学习模型在不同的数据域提取的特征向量保持一致。这样，可以从不同的数据域获取训练数据，从而降低了数据获取的成本，增加了训练数据量，提高了训练效果。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的机器学习模型的训练方法的一些实施例的流程图；
图2示出图1中的步骤130的一些实施例的流程图；
图3示出图1中的步骤130的另一些实施例的流程图；
图4示出图1中的步骤130的又一些实施例的流程图；
图5示出本公开的机器学习模型的训练方法的一些实施例的示意图；
图6示出本公开的机器学习模型的训练装置的一些实施例的框图；
图7示出本公开的电子设备的一些实施例的框图；
图8示出本公开的电子设备的另一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，图像语义分割很大程度上依赖于大量有标注的训练数据。然而，获取这些数据的成本非常巨大。因此，如何减轻数据标注的成本成为一个亟待解决的问题。
一个解决办法是使用计算机视觉技术渲染的图像进行训练。然而，由于渲染生成的数据与现实场景差距较大，将使用人工生成的数据训练的模型部署到现实场景中时，通常会出现性能下降的情况。
本公开发现域适应技术可以将在一种数据域上学习到的知识迁移到另一种数据域上，从而减小这种性能损失。有标签标注的数据所在的数据域为源域，没有标签标注的数据所在的数据域为目标域。例如，人工生成的虚拟数据所在的数据域为源域，实际采集的真实数据所在的数据域为目标域。
基于域适应技术，本公开提出了一种利用源域和目标域的知识进行类内结构与类间结构对齐的技术方案。将对抗学习方法的二分类域鉴别器，扩展成多分类的具有类别意识(数据域区分意识)的域鉴别器(第二机器学习模型)，从而建模更加复杂的类间信息。
在一些实施例中，还可以将用于训练鉴别器的源域、目标域的二值域标签泛化为域编码。在对图像的数据域信息进行编码的同时，也对图像的类别信息进行编码。
这样，通过从网络输出中提取的源域和目标域的类别信息，可以构建域编码，用于训练域鉴别器。从而，可以建模更加复杂的潜在的类内与类间结构。有了一个强大的具有类别意识的域鉴别器，就可以反向鼓励分割网络(第一机器学习模型)生成出更加稳定且有助于分割任务的特征。例如，可以通过下面的实施例来实现本公开的技术方案。
图1示出本公开的机器学习模型的训练方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，确定第一分类结果；步骤120，确定第二分类结果；和步骤130。
在步骤110中，利用第一机器学习模型，提取待处理图片的特征向量，根据特征向量确定待处理图片的第一分类结果。待处理图片属于第一数据域或第二数据域。例如，可以利用训练好的第一机器学习模型进行图片分类。第一机器学习模型可以为一个图像的分割网络。
在一些实施例中，第一数据域为源域，第二数据域为目标域。属于源域的图片具有第三标注结果，用于标注待处理图片所属的图像类型；属于目标域的图片不具有第三标注结果。
通过对抗学习，使得作为鉴别器的第二机器学习模型无法识别第一机器学习模型是对源域数据还是对目标域数据提取的特征向量。
也就是说，可以训练第一机器学习模型在源域中提取的特征向量与在目标域中提取的特征向量保持一致，从而将源域中的数据学习到的知识迁移到目标域上，增加训练样本。
例如，第一数据域中的图片为人工生成的虚拟图片，第二数据域中的图片为实际采集的真实图片。这样，可以使得人工生成的数据与现实场景更加匹配，从而提高训练效果，提高机器学习模型的性能。
在一些实施例中，第一分类结果为待处理图片中每一个像素属于各图像类型的概率。待处理图片在第一数据域中的分类结果为待处理图片中每一个像素在第一数据域中属于各图像类型的概率。待处理图片在第二数据域中的分类结果为待处理图片中每一个像素在第二数据域中属于各图像类型的概率。
在步骤120中，根据特征向量，利用第二机器学习模型，确定待处理图片的第二分类结果。第二分类结果包括待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果。例如，第二机器学习模型可以为一个鉴别器。
在一些实施例中，第二机器学习模型为能够区分数据域的域鉴别器。根据原图(待处理图片)的特征向量，第二机器学习模型输出一个和原图同样大小，具有2K个通道的一个特征分数图。K是语义分类器可以识别的标签(图像类型)的数量。
2K个通道中的前K个通道代表的是待处理图片在源域的类别信息；后K个通道代表的是待处理图片在目标域中的类别信息。
在步骤130中，根据第一分类结果和第二分类结果，对第一机器学习模型和第二机器学习模型进行对抗训练，使得第二分类结果的准确率低于阈值。训练好的第一机器学习模型用于图片分类。
在一些实施例中，在训练第二机器学习模型时，将其输出与真实的域编码计算一个损失函数，帮助第二机器学习模型区分数据域之间和图像类型之间的关系。在利用第二机器学习模型训练第一机器学习模型时，将第二机器学习模型的输出与混淆的域编码计算损失函数，用于鼓励第一机器学习模型生成与数据域无关的特征向量。例如，可以通过图2、3、4中的实施例训练机器学习模型。
图2示出图1中的步骤130的一些实施例的流程图。
如图2所示，步骤130可以包括：步骤210，生成第一标注结果；步骤220，计算第一损失函数；和步骤230，训练第二机器学习模型。
在步骤210中，根据待处理图片属于的数据域，以及第一分类结果，生成第一标注结果。
在一些实施例中，在待处理图片属于的第一数据域的情况下，在第一分类结果后面加标识位，生成第一标注结果；在待处理图片属于的第二数据域的情况下，在第一分类结果前面加标识位，生成第一标注结果。标识位的个数与图像类型的个数相同。例如，标识位可以为数字0等符号。
在一些实施例中，可以将分割网络输出的关于源域与目标域的知识，编码成域编码作为第一标注结果。知识可以有多种表达形式，可以采用分割网络输出的K通道的概率图(第一分类结果)作为知识。例如，知识的表达式可以如下所示：
Figure BDA0002613253240000091
aik为待处理图片中第i个像素在通道k(类型k)上的知识，即第一神经网络根据特征向量确定的待处理图片中第i个像素对于图像类型k的概率。
Figure BDA0002613253240000092
为归一化前，分割网络输出的K通道分数图上，第i个像素在第k个通道上对应的数值(表达隶属程度于某个图像类型的分数)。
Figure BDA0002613253240000093
为归一化前，分割网络输出的K通道分数图上，第i个像素在第j个通道上对应的数值。T是根据实际情况设置的温度参数，用来控制生成的知识在各类别分布上的平滑程度。
在一些实施例中，可以从第一神经网络的输出中提取出包含K个元素的知识。例如，待处理图片中第i个像素的知识为向量[ai1ai2…aik…aiK]。
在待处理图片属于源域的情况下，在知识后面连接上K个0来生成真实的域编码(第一标注结果)，用于指示待处理图片属于源域；在待处理图片属于目标域的情况下，在知识前面连接上K个0来生成真实的域编码，用于指示待处理图片属于目标域。
这样，对属于源域的图片，可以确保在第二机器学习模型的输出中，对应于源域的区域与源域知识尽量相近，对应于目标域的区域尽量接近0。对于目标域的数据也是相似的道理。
在步骤220中，根据第二分类结果和第一标注结果，计算第一损失函数。
在步骤230中，根据第一损失函数训练第二机器学习模型。
在一些实施例中，可以通过与上述实施例相反的方式为属于目标域的待处理图片生成混淆的域编码(第二标注结果)。例如，在待处理图片属于目标域的情况下，在知识后面连接上K个0来生成混淆的域编码。
这样，可以让第二机器学习模型将目标域的特征映射到源域上来，促进第一机器学习模型提取的两个域之间的特征一致。而且，由于域编码中还包含有类别信息，通过混淆的域编码也可以鼓励生成的特征中保留有数据域无关的一致的类别结构。
在一些实施例中，对于属于第二数据域的待处理图片，可以通过图3中的方式利用混淆的域编码训练第一机器学习模型。
图3示出图1中的步骤130的另一些实施例的流程图。
如图3所示，步骤130可以包括：步骤310，生成第二标注结果；步骤320，计算第二损失函数；和步骤330，训练第一机器学习模型。
在步骤310中，在待处理图片属于第二数据域的情况下，生成待处理图片的第二标注结果。第二标注结果将待处理图片标注为属于第一数据域。
在步骤320中，根据第二分类结果和第二标注结果计算第二损失函数。
在步骤330中，根据第二损失函数训练第一机器学习模型。
在一些实施例中，对于属于第一数据域的待处理图片，可以通过图4中的方式利用真实的域编码训练第一机器学习模型。
图4示出图1中的步骤130的又一些实施例的流程图。
如图4所示，步骤130可以包括：步骤410，计算第三损失函数；步骤420，训练第一机器学习模型。
在步骤410中，在待处理图片属于第一数据域的情况下，根据第一分类结果和待处理图片的第三标注结果计算第三损失函数。第三标注结果用于标注待处理图片所属的图像类型。
在步骤420中，根据第三损失函数训练第一机器学习模型。
图5示出本公开的机器学习模型的训练方法的一些实施例的示意图。
如图5所示，为了利用有类别意识的域鉴别器来鼓励类别层面的特征对齐，第一机器学习模型为一个分割网络，由一个特征提取器和一个语义分类器组成。源域图片经过分割网络后的到第一分类结果，根据第一分类结果和语义标签(第三标注结果)计算第三损失函数用于更新分割网络。
第二机器学习模型为一个具有类别意识的域鉴别器。源域图片的特征向量和目标域图片的特征向量都会被送入域鉴别器，通过对抗学习鼓励两个域之间的特征对齐。
在一些实施例中，可以交替地更新分割网络和域鉴别器，以完成训练。例如，训练过程可以分为如下的两个步骤。
在第一个步骤中，固定特征提取器和语义分类器，训练域鉴别器。
例如，可以将源域图片与目标域图片分别经过特征提取器，提取出源域特征与目标域特征。将源域特征、目标域特征输入到语义分类器后得到各自的第一分类结果，分别为源域知识和目标域知识。
根据源域知识和目标域知识，利用编码模块分别生成源域特征、目标域特征所对应的真实的域编码。将提取出的源域特征与目标域特征输入到域鉴别器中，分别得到各自的第二分类结果。根据第二分类结果和真实的域编码，计算一个交叉熵的第一损失函数用于训练域鉴别器。使得域鉴别器的输出与真实的域编码尽量一致。
通过这个过程，可以让域鉴别器学习到两个域中的类别关系，为鼓励第一机器学习模型在类别层面实现特征分布一致的基础。
在第二个步骤中，固定域鉴别器，训练特征提取器与语义分类器。
例如，根据源域图片，利用特征提取器与语义分类器，确定第一分类结果。利用第一分类结果和语义标签计算第三损失函数，使得第一机器学习模型可以对源域图片的每个像素进行正确的分类。
根据没有语义标签的目标域图片，利用特征提取器得到特征向量；将特征向量输入到域鉴别器当中，输出第二分类结果。利用第二分类结果和混淆的域编码计算第二损失函数，用于更新特征提取器。这样，可以鼓励特征提取器生成出域鉴别器区分不出待处理图片所属数据域的特征向量，从而使得在类别层面两个域的特征分布保持一致。
在上述实施例中，配置了具有类别意识的域鉴别器，可以根据特征所对应的类别信息进行不同程度地对齐，并将二分类域标签扩展为多通道的域编码，用于训练具有类别意识的域鉴别器。而且，可以引导不同域下类别结构的对齐。该技术方案在两个跨域图像分割任务上都取得了很好的效果。
这样，利用域编码和具有类别意识的域鉴别器进行对抗训练，解决了对抗学习域适应方法无法很好的对齐不同域下面同一个类别所对应的特征的问题。
本公开的技术方案框架具有一定的适应性和灵活性，可以根据任务的不同使用不同的处理方式，实现源域和目标域的知识提取以及域编码的生成。针对域知识的提取，可以利用分割网络输出的软标签，也可以使用独热编码(One-hot encoding)等硬标签，并添加各类正则项。
图6示出本公开的机器学习模型的训练装置的一些实施例的框图。
如图6所示，用于图片分类的机器学习模型的训练装置6包括第一确定单元61、第二确定单元62、训练单元63。
第一确定单元61利用第一机器学习模型，提取待处理图片的特征向量，根据所述特征向量确定所述待处理图片的第一分类结果。待处理图片属于第一数据域或第二数据域。
在一些实施例中，第一数据域中的图片为人工生成的虚拟图片，第二数据域中的图片为实际采集的真实图片。
第二确定单元62根据特征向量，利用第二机器学习模型，确定待处理图片的第二分类结果。第二分类结果包括待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果。
训练单元63根据第一分类结果和第二分类结果，根据第一分类结果或第二分类结果中的至少一个，对第一机器学习模型和第二机器学习模型进行对抗训练，使得第二分类结果的准确率低于阈值。训练好的第一机器学习模型用于图片分类。
在一些实施例中，所训练单元63根据待处理图片属于的数据域，以及第一分类结果，生成第一标注结果；根据第二分类结果和第一标注结果，计算第一损失函数；根据第一损失函数训练所述第二机器学习模型。
在一些实施例中，训练单元63在待处理图片属于第二数据域的情况下，生成待处理图片的第二标注结果。第二标注结果将待处理图片标注为属于第一数据域；根据第二分类结果和第二标注结果计算第二损失函数；根据第二损失函数训练第一机器学习模型。
在一些实施例中，训练单元63在待处理图片属于第一数据域的情况下，根据第一分类结果和待处理图片的第三标注结果计算第三损失函数。第三标注结果用于标注待处理图片所属的图像类型；根据第三损失函数训练第一机器学习模型。
在一些实施例中，训练单元63在待处理图片属于的第一数据域的情况下，在第一分类结果后面加标识位，生成第一标注结果。标识位的个数与所有图像类型的个数相同。训练单元63在待处理图片属于的第二数据域的情况下，在第一分类结果前面加标识位，生成第一标注结果，标识位的个数与所有图像类型的个数相同。
在一些实施例中，第一分类结果为待处理图片中每一个像素属于各图像类型的概率。待处理图片在第一数据域中的分类结果为待处理图片中每一个像素在第一数据域中属于各图像类型的概率。待处理图片在第二数据域中的分类结果为待处理图片中每一个像素在第二数据域中属于各图像类型的概率。
在一些实施例中，第一确定单元利用训练好的第一机器学习模型进行图片分类。
图7示出本公开的电子设备的一些实施例的框图。
如图7所示，该实施例的训练装置7包括：存储器71以及耦接至该存储器71的处理器72，处理器72被配置为基于存储在存储器71中的指令，执行本公开中任意一个实施例中的训练方法或分类方法。
其中，存储器71例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图8示出本公开的电子设备的另一些实施例的框图。
如图8所示，该实施例的电子设备8包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中的训练方法或者分类方法。
存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
电子设备8还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830、840、850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的用于图片分类的机器学习模型的训练方法、机器学习模型的训练装置和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (13)

1.一种机器学习模型的训练方法，包括：
利用第一机器学习模型，提取待处理图片的特征向量，根据所述特征向量确定所述待处理图片的第一分类结果，所述待处理图片属于第一数据域或第二数据域；
根据所述特征向量，利用第二机器学习模型，确定所述待处理图片的第二分类结果，所述第二分类结果包括所述待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果；
根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练，使得所述第二分类结果的准确率低于阈值，训练好的第一机器学习模型用于图片分类。
2.根据权利要求1所述的训练方法，其中，所述根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练包括：
根据所述待处理图片属于的数据域，以及所述第一分类结果，生成第一标注结果；
根据所述第二分类结果和所述第一标注结果，计算第一损失函数；
根据所述第一损失函数训练所述第二机器学习模型。
3.根据权利要求1所述的训练方法，其中，
所述第一数据域中的图片为人工生成的虚拟图片，
所述第二数据域中的图片为实际采集的真实图片。
4.根据权利要求3所述的训练方法，其中，所述根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练包括：
在所述待处理图片属于第二数据域的情况下，生成所述待处理图片的第二标注结果，所述第二标注结果将所述待处理图片标注为属于第一数据域；
根据所述第二分类结果和所述第二标注结果计算第二损失函数；
根据所述第二损失函数训练所述第一机器学习模型。
5.根据权利要求3所述的训练方法，其中，所述根据所述第一分类结果和所述第二分类结果，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练包括：
在所述待处理图片属于第一数据域的情况下，根据所述第一分类结果和所述待处理图片的第三标注结果计算第三损失函数，所述第三标注结果用于标注所述待处理图片所属的图像类型；
根据所述第三损失函数训练所述第一机器学习模型。
6.根据权利要求2所述的训练方法，其中，所述根据所述待处理图片属于的数据域，以及所述第一分类结果，生成第一标注结果包括：
在所述待处理图片属于的第一数据域的情况下，在所述第一分类结果后面加标识位，生成所述第一标注结果，所述标识位的个数与所有图像类型的个数相同；
在所述待处理图片属于的第二数据域的情况下，在所述第一分类结果前面加所述标识位，生成所述第一标注结果，所述标识位的个数与所有图像类型的个数相同。
7.根据权利要求1-6任一项所述的训练方法，其中，
所述第一分类结果为所述待处理图片中每一个像素属于各图像类型的概率，
所述待处理图片在第一数据域中的分类结果为所述待处理图片中每一个像素在第一数据域中属于各图像类型的概率，
所述待处理图片在第二数据域中的分类结果为所述待处理图片中每一个像素在第二数据域中属于各图像类型的概率。
8.根据权利要求1-6任一项所述的训练方法，还包括：
利用训练好的第一机器学习模型进行图片分类。
9.一种图像的分类方法，包括：
获取待处理图片；
利用第一机器学习模型，对所述待处理图片进行分类，所述第一机器学习模型根据权利要求1-7任一项所述的训练方法训练得到。
10.一种机器学习模型的训练装置，包括：
第一确定单元，用于利用第一机器学习模型，提取待处理图片的特征向量，根据所述特征向量确定所述待处理图片的第一分类结果，所述待处理图片属于第一数据域或第二数据域；
第二确定单元，用于根据所述特征向量，利用第二机器学习模型，确定所述待处理图片的第二分类结果，所述第二分类结果包括所述待处理图片在第一数据域中的分类结果和在第二数据域中的分类结果；
训练单元，用于根据所述第一分类结果和所述第二分类结果，根据所述第一分类结果或所述第二分类结果中的至少一个，对所述第一机器学习模型和所述第二机器学习模型进行对抗训练，使得所述第二分类结果的准确率低于阈值，训练好的第一机器学习模型用于图片分类。
11.一种图像的分类装置，包括：
获取单元，用于获取待处理图片；
分类单元，用于利用第一机器学习模型，对所述待处理图片进行分类，所述第一机器学习模型根据权利要求1-7任一项所述的训练方法训练得到。
12.一种电子设备，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8任一项所述的机器学习模型的训练方法，或者权利要求9所述的图像的分类方法。
13.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述的机器学习模型的训练方法，或者权利要求9所述的图像的分类方法。
CN202010761644.8A 2020-07-31 2020-07-31 机器学习模型的训练方法和装置、图像的分类方法和装置 Pending CN113807529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010761644.8A CN113807529A (zh) 2020-07-31 2020-07-31 机器学习模型的训练方法和装置、图像的分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010761644.8A CN113807529A (zh) 2020-07-31 2020-07-31 机器学习模型的训练方法和装置、图像的分类方法和装置

Publications (1)

Publication Number Publication Date
CN113807529A true CN113807529A (zh) 2021-12-17

Family

ID=78943443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010761644.8A Pending CN113807529A (zh) 2020-07-31 2020-07-31 机器学习模型的训练方法和装置、图像的分类方法和装置

Country Status (1)

Country Link
CN (1) CN113807529A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110399856A (zh) * 2019-07-31 2019-11-01 上海商汤临港智能科技有限公司 特征提取网络训练方法、图像处理方法、装置及其设备
US20200234068A1 (en) * 2019-01-18 2020-07-23 Fujitsu Limited Apparatus and method for training classifying model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234068A1 (en) * 2019-01-18 2020-07-23 Fujitsu Limited Apparatus and method for training classifying model
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110399856A (zh) * 2019-07-31 2019-11-01 上海商汤临港智能科技有限公司 特征提取网络训练方法、图像处理方法、装置及其设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAORAN WANG; TONG SHEN; WEI ZHAN; LING-YU DUAN; AND TAO MEI: "Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation", ARXIV, 20 July 2020 (2020-07-20), pages 1 - 17 *
TONG SHEN;DONG GONG;WEI ZHANG;CHUNHUA SHEN;TAO MEI: "Regularizing Proxies with Multi-Adversarial Training for Unsupervised Domain-Adaptive Semantic Segmentation", ARXIV, 30 September 2019 (2019-09-30), pages 1 - 10 *

Similar Documents

Publication Publication Date Title
US20190122072A1 (en) Reverse neural network for object re-identification
US20190034709A1 (en) Method and apparatus for expression recognition
CN110232340B (zh) 建立视频分类模型以及视频分类的方法、装置
CN104680119A (zh) 图像身份识别方法和相关装置及身份识别系统
CN110598019B (zh) 重复图像识别方法及装置
CN111626126A (zh) 一种人脸情绪识别的方法、装置、介质及电子设备
Akhtar et al. Attack to fool and explain deep networks
CN111401099A (zh) 文本识别方法、装置以及存储介质
CN112926379A (zh) 一种构建人脸识别模型的方法及装置
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
KR20230038087A (ko) 영상 데이터에 포함된 텍스트 플레이트 비식별화 방법 및 이를 수행하기 위한 장치
CN113762326A (zh) 一种数据识别方法、装置、设备及可读存储介质
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
CN116018621A (zh) 利用部分标记的训练数据训练多类别对象分类模型的系统和方法
CN115687643A (zh) 一种训练多模态信息抽取模型的方法及信息抽取方法
CN115393625A (zh) 从粗略标记进行图像分段的半监督式训练
CN112348001B (zh) 表情识别模型的训练方法、识别方法、装置、设备及介质
Sumalakshmi et al. Fused deep learning based Facial Expression Recognition of students in online learning mode
CN111488400B (zh) 数据分类方法、装置和计算机可读存储介质
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
CN115130437B (zh) 一种文档智能填写方法、装置及存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN115035463B (zh) 行为识别方法、装置、设备和存储介质
CN110674678A (zh) 视频中敏感标志的识别方法及装置
CN113807529A (zh) 机器学习模型的训练方法和装置、图像的分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination