CN112257738A - 机器学习模型的训练方法、装置和图像的分类方法、装置 - Google Patents

机器学习模型的训练方法、装置和图像的分类方法、装置 Download PDF

Info

Publication number
CN112257738A
CN112257738A CN202010757205.XA CN202010757205A CN112257738A CN 112257738 A CN112257738 A CN 112257738A CN 202010757205 A CN202010757205 A CN 202010757205A CN 112257738 A CN112257738 A CN 112257738A
Authority
CN
China
Prior art keywords
sample data
machine learning
learning model
similarity
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010757205.XA
Other languages
English (en)
Inventor
潘滢炜
王羽
姚霆
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010757205.XA priority Critical patent/CN112257738A/zh
Publication of CN112257738A publication Critical patent/CN112257738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种机器学习模型的训练方法、装置和图像的分类方法、装置，涉及人工智能技术领域。该训练方法包括：对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据，第一正样本数据和多个第二正样本数据共同构成待分类图像的正样本数据；利用机器学习模型，提取待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量，各样本数据包括正样本数据和负样本数据；根据目标特征向量与各样本特征向量的相似程度，计算损失函数的函数值；利用函数值，训练机器学习模型，用于对待分类图像进行分类。

Description

机器学习模型的训练方法、装置和图像的分类方法、装置
技术领域
本公开涉及人工智能技术领域，特别涉及一种机器学习模型的训练方法、机器学习模型的训练装置、图像的分类方法、图像的分类装置、电子设备和非易失性计算机可读存储介质。
背景技术
近年来，有监督学习和无监督学习等机器学习方法被广泛应用于很多人工智能场景。例如，通过机器学习方法可以实现图像的目标检测、图像分类等。
在相关技术中，独立地计算目标与每个分类的正样本的相似程度，以确定损失函数；利用该损失函数训练机器学习模型。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：每次训练只能分析目标与单个正样本的关系，无法充分挖掘每个分类的内在特征，造成机器学习模型的训练效果差，从而导致图像分类准确率低。
鉴于此，本公开提出了一种机器学习模型的训练技术方案，能够提高机器学习模型的训练效果，从而提高图像分类的准确率。
根据本公开的一些实施例，提供了一种机器学习模型的训练方法，包括：对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据，所述第一正样本数据和所述多个第二正样本数据共同构成所述待分类图像的正样本数据；利用机器学习模型，提取所述待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量，所述各样本数据包括所述正样本数据和负样本数据；根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值；利用所述函数值，训练所述机器学习模型，用于对所述待分类图像进行分类。
在一些实施例中，所述根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值包括：根据各正样本数据的特征向量的统计特征，计算所述目标特征向量与所述各样本特征向量的相似程度。
在一些实施例中，所述根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值包括：在所述正样本数据的数量趋于正无穷的情况下，利用各正样本数据的特征向量的统计特征，确定所述损失函数的极限，用于计算所述函数值。
在一些实施例中，所述利用各正样本数据的特征向量的统计特征，确定所述损失函数的极限包括：根据所述目标特征向量与所述各正样本数据的特征向量的均值的相似程度，确定第一相似度；根据所述目标特征向量与所述各正样本数据的特征向量的方差的相似程度，确定第二相似度；根据所述目标特征向量与所述各负样本数据的特征向量的相似程度之和，确定第三相似度；根据所述第一相似度、第二相似度、第三相似度，确定所述损失函数的极限，所述损失函数的极限与所述第一相似度负相关，与所述第二相似度和所述第三相似度之和正相关。
在一些实施例中，所述利用机器学习模型，提取所述待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量包括：利用第一机器学习模型提取所述目标特征向量，利用第二机器学习模型提取所述各样本特征向量；所述利用所述函数值，训练所述机器学习模型包括：利用所述函数值，调整所述第一机器学习模型的各参数；根据所述第一机器学习模型的各参数，调整所述第二机器学习模型的各参数。
在一些实施例中，所述根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值包括：根据所述目标特征向量与任一正样本数据的特征向量的相似程度，确定该正样本数据对应的子损失函数，所述子损失函数跟所述目标特征向量与该正样本数据的特征向量的相似程度负相关，跟所述目标特征向量与所有负样本数据的特征向量的相似度之和正相关；根据各子损失函数的加权和，确定所述损失函数。
在一些实施例中，所述变换处理包括旋转处理、加噪声处理、翻转处理、缩放处理、裁剪处理、平移处理中的至少一项。
在一些实施例中，所述利用所述函数值，训练所述机器学习模型包括：根据一批次的训练数据中各待分类图像的所述函数值的加权平均值，训练所述机器学习模型。
根据本公开的另一些实施例，提供一种图像的分类方法，包括：获取待分类图像；利用机器学习模型，对所述待分类图像进行分类，所述机器学习模型根据上述任一个实施例中的训练方法训练得到。
根据本公开的又一些实施例，提供一种机器学习模型的训练装置，包括：生成单元，用于对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据，所述第一正样本数据和所述多个第二正样本数据共同构成所述待分类图像的正样本数据；提取单元，用于利用机器学习模型，提取所述待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量，所述各样本数据包括所述正样本数据和负样本数据；计算单元，用于根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值；训练单元，用于利用所述函数值，训练所述机器学习模型，用于对所述待分类图像进行分类。
在一些实施例中，所述计算单元根据各正样本数据的特征向量的统计特征，计算所述目标特征向量与所述各样本特征向量的相似程度。
在一些实施例中，所述计算单元在所述正样本数据的数量趋于正无穷的情况下，利用各正样本数据的特征向量的统计特征，确定所述损失函数的极限，用于计算所述函数值。
在一些实施例中，所述计算单元根据所述目标特征向量与所述各正样本数据的特征向量的均值的相似程度，确定第一相似度；根据所述目标特征向量与所述各正样本数据的特征向量的方差的相似程度，确定第二相似度；根据所述目标特征向量与所述各负样本数据的特征向量的相似程度之和，确定第三相似度；根据所述第一相似度、第二相似度、第三相似度，确定所述损失函数的极限，所述损失函数的极限与所述第一相似度负相关，与所述第二相似度和所述第三相似度之和正相关。
在一些实施例中，所述提取单元利用第一机器学习模型提取所述目标特征向量，利用第二机器学习模型提取所述各样本特征向量；所述训练单元利用所述函数值，调整所述第一机器学习模型的各参数；根据所述第一机器学习模型的各参数，调整所述第二机器学习模型的各参数。
在一些实施例中，所述计算单元根据所述目标特征向量与任一正样本数据的特征向量的相似程度，确定该正样本数据对应的子损失函数，所述子损失函数跟所述目标特征向量与该正样本数据的特征向量的相似程度负相关，跟所述目标特征向量与所有负样本数据的特征向量的相似度之和正相关；根据各子损失函数的加权和，确定所述损失函数。
在一些实施例中，所述变换处理包括旋转处理、加噪声处理、翻转处理、缩放处理、裁剪处理、平移处理中的至少一项。
在一些实施例中，所述训练单元根据一批次的训练数据中各待分类图像的所述函数值的加权平均值，训练所述机器学习模型。
根据本公开的又一些实施例，提供一种图像的分类装置，包括：获取单元，用于获取待分类图像；分类单元，用于利用机器学习模型，对所述待分类图像进行分类，所述机器学习模型根据上述任一个实施例中的训练方法训练得到。
根据本公开的又一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的机器学习模型的训练方法或者图像的分类方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的机器学习模型的训练方法或者图像的分类方法。
在上述实施例中，基于一个正样本数据生成了多个正样本数据，并根据多个正样本数据与待分类图像的相似程度进行训练。这样，可以利用正样本数据之间共享相似性的特点，充分挖掘每个分类的内在特征，以提高机器学习模型的训练效果，从而提高图像分类的准确率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的机器学习模型的训练方法的一些实施例的流程图；
图2示出本公开的机器学习模型的训练方法的一些实施例的示意图；
图3示出本公开的机器学习模型的训练方法的另一些实施例的示意图；
图4示出本公开的机器学习模型的训练最终的一些实施例的框图；
图5示出本公开的电子设备的一些实施例的框图；
图6示出本公开的电子设备的另一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
针对上述技术问题，在每次训练过程中，对于本公开同时分析待分类图像与其所属的图像分类的多个正样本数据的相似性。这样，可以利用同一图像分类的多个正样本数据之间的相关性，对训练过程实施更加严格的约束，以提高训练的效果。从而，可以提高机器学习模型对图像分类的准确性。
例如，可以通过如下的实施例实现本公开的技术方案。
图1示出本公开的机器学习模型的训练方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，生成多个第二正样本数据；步骤120，提取特征向量；步骤130，计算损失函数的函数值；和步骤140，训练机器学习模型。
在步骤110中，对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据。第一正样本数据和多个第二正样本数据共同构成待分类图像的正样本数据。
在一些实施例中，变换处理可以是各种数据增强处理(Data Augmentation)。例如，变换出力可以包括旋转处理(Rotation)、加噪声处理(Gaussian Noise)、翻转处理(Flip)、缩放处理(Scale)、裁剪处理(Crop)、平移处理(Translation)中的至少一项。
例如，训练数据集合Xi中包含待分类图像
Figure BDA0002611966090000071
及其所属图像类型的1个正样本数据和多个负样本数据。可以在输入空间(ambient space)中，将该正样本数据扩展为多个正样本数据
Figure BDA0002611966090000072
m为大于或等于1，小于等于整数M的整数。输入空间可以是待分类图像中像素值的取值范围。
例如，可以对Xi中的
Figure BDA0002611966090000073
进行M+1次的数据增强处理，将其中的M个处理结果作为正样本数据，将剩余的1个处理结果作为待分类图像。
在步骤120中，利用机器学习模型，提取待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量。各样本数据包括正样本数据和负样本数据。
在一些实施例中，利用第一机器学习模型提取目标特征向量，利用第二机器学习模型提取各样本特征向量。
例如，第一机器学习模型为查询编码器f(·)，第二机器学习模型为键值编码器g(·)。f(·)用于提取Xi中的
Figure BDA0002611966090000074
的目标特征向量qi；g(·)用于提取Xi中的各
Figure BDA0002611966090000075
的正样本特征向量
Figure BDA0002611966090000076
和各负样本数据的负样本特征向量
Figure BDA0002611966090000077
j为大于或等于1，小于等于整数K的整数。
在一些实施例中，第一机器学习模型和第二机器学习模型可以为不同的深度学习神经网络。可以通过对比学习的方式对第一机器学习模型和第二机器学习模型进行训练。
例如，可以利用函数值，调整第一机器学习模型的各参数；根据第一机器学习模型的各参数，调整第二机器学习模型的各参数。
在步骤130中，根据目标特征向量与各样本特征向量的相似程度，计算损失函数的函数值。
在一些实施例中，根据目标特征向量与任一正样本数据的特征向量的相似程度，确定该正样本数据对应的子损失函数。子损失函数跟目标特征向量与该正样本数据的特征向量的相似程度负相关，跟目标特征向量与所有负样本数据的特征向量的相似度之和正相关；根据各子损失函数的加权和，确定损失函数。例如，可以通过图2中的实施例确定各子损失函数。
图2示出本公开的机器学习模型的训练方法的一些实施例的示意图。
如图2所示，利用f(·)和g(·)分别提取Xi中的
Figure BDA0002611966090000081
的qi和各
Figure BDA0002611966090000082
的
Figure BDA0002611966090000083
利用
Figure BDA0002611966090000084
计算
Figure BDA0002611966090000085
与各
Figure BDA0002611966090000086
的相似程度，利用
Figure BDA0002611966090000087
计算
Figure BDA0002611966090000088
与各负样本数据的相似程度；然后利用各
Figure BDA0002611966090000089
计算正样本数据
Figure BDA00026119660900000810
对应的子损失函数Li,m。例如，可以通过如下的公式计算各Li,m：
Figure BDA00026119660900000811
τ为根据实际情况和需求设置的温度超参数。从上面的公式可以看出，Li,m根qi与
Figure BDA00026119660900000812
的相似程度负相关，跟qi与
Figure BDA00026119660900000813
以及与所有负样本数据的
Figure BDA00026119660900000814
的相似度之和正相关。
在一些实施例中，根据各子损失函数的加权和，确定损失函数。例如，各子损失函数的权值与正样本数据的数量负相关。如可以取M个子损失函数的平均值作为损失函数。对于待分类图像
Figure BDA00026119660900000815
的所属图像分类的M个正样本数据，损失函数
Figure BDA00026119660900000816
可以通过如下公式计算：
Figure BDA00026119660900000817
在上述实施例中，基于一个正样本数据生成了多个正样本数据，并根据多个正样本数据与待分类图像的相似程度进行训练。这样，可以利用正样本数据之间共享相似性的特点，充分挖掘每个分类的内在特征，以提高机器学习模型的训练效果，从而提高图像分类的准确率。
在一些实施例中，根据各正样本数据的特征向量的统计特征，计算目标特征向量与各样本特征向量的相似程度；根据相似程度计算损失函数的函数值。
例如，可以利用各
Figure BDA00026119660900000818
的分布的均值、方差中的至少一项，表征正样本数据的综合特征向量；利用综合特征向量，计算
Figure BDA00026119660900000819
与所有
Figure BDA00026119660900000820
的相似程度。
这样，可以不必计算每个正样本数据与待分类图像的相似程度，仅需计算综合特征向量与待分类图像的相似程度即可确定损失函数的函数值。从而，既降低了计算量，又引入了多个正样本数据之间的关联信息，提升了训练效率，提高了图像分类的准确性。
由于对于一批训练数据中的N个待分类图像，需要计算(M+1)×N对
Figure BDA0002611966090000091
与
Figure BDA0002611966090000092
的相似程度，因此，这会导致计算量较大。为了解决该技术问题，可以采用下面实施例中的方式计算损失函数的函数值。
在一些实施例中，在正样本数据的数量趋于正无穷的情况下，利用各正样本数据的特征向量的统计特征，确定损失函数的极限，用于计算函数值。
例如，可以采用如下的极限计算公式，确定损失函数：
Figure BDA0002611966090000093
Figure BDA0002611966090000094
为取括号中关于所有正样本数据
Figure BDA0002611966090000095
的均值。进而，可以确定上面公式的上限为：
Figure BDA0002611966090000096
在上述实施例中，在正样本数据的数量趋于正无穷的情况下，确定了
Figure BDA0002611966090000097
的严格上限，以获取在具有无限多个正样本数据的情况下的损失函数。这样，可以使得损失函数更加贴近实际情况，提高训练效果，从而提高图像分类的准确性。
在一些实施例中，所有正样本数据
Figure BDA0002611966090000098
服从高斯分布，即
Figure BDA0002611966090000099
Figure BDA00026119660900000910
和
Figure BDA00026119660900000911
分别为
Figure BDA00026119660900000912
的分布的均值和方差。可以根据
Figure BDA00026119660900000913
和
Figure BDA00026119660900000914
计算上面公式中
Figure BDA00026119660900000915
与
Figure BDA00026119660900000916
的相似程度。例如，可以通过图3中的实施例实现上述技术方案。
图3示出本公开的机器学习模型的训练方法的另一些实施例的示意图。
如图3所示，可以对第一正样本数据进行M′次的数据增强处理，获取M′个第二正样本数据，M′为小于M的正整数。利用f(·)和g(·)分别提取Xi中的
Figure BDA0002611966090000101
的qi和各
Figure BDA0002611966090000102
的
Figure BDA0002611966090000103
并获取所有
Figure BDA0002611966090000104
服从的分布
Figure BDA0002611966090000105
中的统计特征
Figure BDA0002611966090000106
和
Figure BDA0002611966090000107
在一些实施例中，根据目标特征向量与各正样本数据的特征向量的均值的相似程度，确定第一相似度。例如，第一相似度可以为
Figure BDA0002611966090000108
根据目标特征向量与各正样本数据的特征向量的方差的相似程度，确定第二相似度。例如，第二相似度可以为
Figure BDA0002611966090000109
根据目标特征向量与各负样本数据的特征向量的相似程度之和，确定第三相似度。例如，第三相似度可以为
Figure BDA00026119660900001010
根据第一相似度、第二相似度、第三相似度，确定损失函数的极限。损失函数的极限与第一相似度负相关，与第二相似度和第三相似度之和正相关。例如，可以确定损失函数为：
Figure BDA00026119660900001011
λ为根据实际情况和需求设置的调节超参数。
在上述实施例中，利用
Figure BDA00026119660900001012
的统计特征
Figure BDA00026119660900001013
和
Figure BDA00026119660900001014
计算出无穷多个正样本数据的子损失函数的和作为损失函数，提高了训练效果和图像分类的准确性。
在步骤140中，利用函数值，训练机器学习模型，用于对待分类图像进行分类。
在一些实施例中，根据一批次的训练数据中各待分类图像的函数值的加权平均值，训练机器学习模型。例如，可以取所有待分类图像的损失函数的平均值，计算出用于训练的最终函数值：
Figure BDA0002611966090000111
在一些实施例中，利用上述任一项的训练方法训练机器学习模型后，可以利用该机器学习模型，对获取的待分类图像进行分类。
图4示出本公开的机器学习模型的训练最终的一些实施例的框图。
如图4所示，训练装置4包括生成单元41、提取单元42、计算单元43和训练单元44。
生成单元41对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据。第一正样本数据和多个第二正样本数据共同构成待分类图像的正样本数据。
在一些实施例中，变换处理包括旋转处理、加噪声处理、翻转处理、缩放处理、裁剪处理、平移处理中的至少一项。
提取单元42利用机器学习模型，提取待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量。各样本数据包括正样本数据和负样本数据。
计算单元43根据目标特征向量与各样本特征向量的相似程度，计算损失函数的函数值。
在一些实施例中，计算单元43根据各正样本数据的特征向量的统计特征，计算目标特征向量与各样本特征向量的相似程度。
在一些实施例中，计算单元43在正样本数据的数量趋于正无穷的情况下，利用各正样本数据的特征向量的统计特征，确定损失函数的极限，用于计算函数值。
在一些实施例中，计算单元43根据目标特征向量与各正样本数据的特征向量的均值的相似程度，确定第一相似度；根据目标特征向量与各正样本数据的特征向量的方差的相似程度，确定第二相似度；根据目标特征向量与各负样本数据的特征向量的相似程度之和，确定第三相似度；根据第一相似度、第二相似度、第三相似度，确定损失函数的极限。损失函数的极限与第一相似度负相关，与第二相似度和所述第三相似度之和正相关。
在一些实施例中，计算单元43根据目标特征向量与任一正样本数据的特征向量的相似程度，确定该正样本数据对应的子损失函数。子损失函数跟目标特征向量与该正样本数据的特征向量的相似程度负相关，跟目标特征向量与所有负样本数据的特征向量的相似度之和正相关；根据各子损失函数的加权和，确定损失函数。
训练单元44利用函数值，训练机器学习模型，用于对待分类图像进行分类。
在一些实施例中，提取单元42利用第一机器学习模型提取目标特征向量，利用第二机器学习模型提取各样本特征向量；训练单元44利用函数值，调整第一机器学习模型的各参数；根据第一机器学习模型的各参数，调整第二机器学习模型的各参数。
在一些实施例中，训练单元44根据一批次的训练数据中各待分类图像的函数值的加权平均值，训练机器学习模型。
在一些实施例中，图像的分类装置包括：获取单元，用于获取待分类图像；分类单元，用于利用机器学习模型，对待分类图像进行分类。机器学习模型根据上述任一个实施例中的训练方法训练得到。
图5示出本公开的电子设备的一些实施例的框图。
如图5所示，该实施例的电子设备5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的机器学习模型的训练方法或者图像的分类方法。
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6示出本公开的电子设备的另一些实施例的框图。
如图6所示，该实施例的电子设备6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的机器学习模型的训练方法或者图像的分类方法。
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
电子设备6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的机器学习模型的训练方法、机器学习模型的训练装置、图像的分类方法、图像的分类装置、电子设备和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (13)

1.一种机器学习模型的训练方法，包括：
对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据，所述第一正样本数据和所述多个第二正样本数据共同构成所述待分类图像的正样本数据；
利用机器学习模型，提取所述待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量，所述各样本数据包括所述正样本数据和负样本数据；
根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值；
利用所述函数值，训练所述机器学习模型，用于对所述待分类图像进行分类。
2.根据权利要求1所述的训练方法，其中，所述根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值包括：
根据各正样本数据的特征向量的统计特征，计算所述目标特征向量与所述各样本特征向量的相似程度。
3.根据权利要求1所述的训练方法，其中，所述根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值包括：
在所述正样本数据的数量趋于正无穷的情况下，利用各正样本数据的特征向量的统计特征，确定所述损失函数的极限，用于计算所述函数值。
4.根据权利要求3所述的训练方法，其中，所述利用各正样本数据的特征向量的统计特征，确定所述损失函数的极限包括：
根据所述目标特征向量与所述各正样本数据的特征向量的均值的相似程度，确定第一相似度；
根据所述目标特征向量与所述各正样本数据的特征向量的方差的相似程度，确定第二相似度；
根据所述目标特征向量与所述各负样本数据的特征向量的相似程度之和，确定第三相似度；
根据所述第一相似度、所述第二相似度、所述第三相似度，确定所述损失函数的极限，所述损失函数的极限与所述第一相似度负相关，与所述第二相似度和所述第三相似度之和正相关。
5.根据权利要求1所述的训练方法，其中，
所述利用机器学习模型，提取所述待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量包括：
利用第一机器学习模型提取所述目标特征向量，利用第二机器学习模型提取所述各样本特征向量；
所述利用所述函数值，训练所述机器学习模型包括：
利用所述函数值，调整所述第一机器学习模型的各参数；
根据所述第一机器学习模型的各参数，调整所述第二机器学习模型的各参数。
6.根据权利要求1-5任一项所述的训练方法，其中，所述根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值包括：
根据所述目标特征向量与任一正样本数据的特征向量的相似程度，确定该正样本数据对应的子损失函数，所述子损失函数跟所述目标特征向量与该正样本数据的特征向量的相似程度负相关，跟所述目标特征向量与所有负样本数据的特征向量的相似度之和正相关；
根据各子损失函数的加权和，确定所述损失函数。
7.根据权利要求1-5任一项所述的训练方法，其中，
所述变换处理包括旋转处理、加噪声处理、翻转处理、缩放处理、裁剪处理、平移处理中的至少一项。
8.根据权利要求1-5任一项所述的训练方法，其中，所述利用所述函数值，训练所述机器学习模型包括：
根据一批次的训练数据中各待分类图像的所述函数值的加权平均值，训练所述机器学习模型。
9.一种图像的分类方法，包括：
获取待分类图像；
利用机器学习模型，对所述待分类图像进行分类，所述机器学习模型根据权利要求1-8任一项所述的训练方法训练得到。
10.一种机器学习模型的训练装置，包括：
生成单元，用于对待分类图像的第一正样本数据进行变换处理，生成多个第二正样本数据，所述第一正样本数据和所述多个第二正样本数据共同构成所述待分类图像的正样本数据；
提取单元，用于利用机器学习模型，提取所述待分类图像的特征向量作为目标特征向量，并提取各样本数据的特征向量作为各样本特征向量，所述各样本数据包括所述正样本数据和负样本数据；
计算单元，用于根据所述目标特征向量与所述各样本特征向量的相似程度，计算损失函数的函数值；
训练单元，用于利用所述函数值，训练所述机器学习模型，用于对所述待分类图像进行分类。
11.一种图像的分类装置，包括：
获取单元，用于获取待分类图像；
分类单元，用于利用机器学习模型，对所述待分类图像进行分类，所述机器学习模型根据权利要求1-8任一项所述的训练方法训练得到。
12.一种电子设备，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8任一项所述的机器学习模型的训练方法，或者权利要求9所述的图像的分类方法。
13.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述的机器学习模型的训练方法，或者权利要求9所述的图像的分类方法。
CN202010757205.XA 2020-07-31 2020-07-31 机器学习模型的训练方法、装置和图像的分类方法、装置 Pending CN112257738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010757205.XA CN112257738A (zh) 2020-07-31 2020-07-31 机器学习模型的训练方法、装置和图像的分类方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010757205.XA CN112257738A (zh) 2020-07-31 2020-07-31 机器学习模型的训练方法、装置和图像的分类方法、装置

Publications (1)

Publication Number Publication Date
CN112257738A true CN112257738A (zh) 2021-01-22

Family

ID=74224481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010757205.XA Pending CN112257738A (zh) 2020-07-31 2020-07-31 机器学习模型的训练方法、装置和图像的分类方法、装置

Country Status (1)

Country Link
CN (1) CN112257738A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505848A (zh) * 2021-07-27 2021-10-15 京东科技控股股份有限公司 模型训练方法和装置
CN114140723A (zh) * 2021-12-01 2022-03-04 北京有竹居网络技术有限公司 多媒体数据的识别方法、装置、可读介质及电子设备
CN114881937A (zh) * 2022-04-15 2022-08-09 北京医准智能科技有限公司 一种针对超声切面的检测方法、装置及计算机可读介质
WO2023283765A1 (zh) * 2021-07-12 2023-01-19 上海联影医疗科技股份有限公司 机器学习模型的训练方法、装置、计算机设备和存储介质
CN116152577A (zh) * 2023-04-19 2023-05-23 深圳须弥云图空间科技有限公司 图像分类方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156734A (zh) * 2014-08-19 2014-11-19 中国地质大学（武汉） 一种基于随机蕨分类器的全自主在线学习方法
CN104778474A (zh) * 2015-03-23 2015-07-15 四川九洲电器集团有限责任公司 一种用于目标检测的分类器构建方法及目标检测方法
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110175511A (zh) * 2019-04-10 2019-08-27 杭州电子科技大学 一种嵌入正负样本对距离分布的行人重识别方法
CN110516737A (zh) * 2019-08-26 2019-11-29 南京人工智能高等研究院有限公司 用于生成图像识别模型的方法和装置
GB202004709D0 (en) * 2019-05-30 2020-05-13 Adobe Inc Text-to-visual machine learning embedding techinques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156734A (zh) * 2014-08-19 2014-11-19 中国地质大学（武汉） 一种基于随机蕨分类器的全自主在线学习方法
CN104778474A (zh) * 2015-03-23 2015-07-15 四川九洲电器集团有限责任公司 一种用于目标检测的分类器构建方法及目标检测方法
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
CN110175511A (zh) * 2019-04-10 2019-08-27 杭州电子科技大学 一种嵌入正负样本对距离分布的行人重识别方法
GB202004709D0 (en) * 2019-05-30 2020-05-13 Adobe Inc Text-to-visual machine learning embedding techinques
CN110516737A (zh) * 2019-08-26 2019-11-29 南京人工智能高等研究院有限公司 用于生成图像识别模型的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023283765A1 (zh) * 2021-07-12 2023-01-19 上海联影医疗科技股份有限公司 机器学习模型的训练方法、装置、计算机设备和存储介质
CN113505848A (zh) * 2021-07-27 2021-10-15 京东科技控股股份有限公司 模型训练方法和装置
CN113505848B (zh) * 2021-07-27 2023-09-26 京东科技控股股份有限公司 模型训练方法和装置
CN114140723A (zh) * 2021-12-01 2022-03-04 北京有竹居网络技术有限公司 多媒体数据的识别方法、装置、可读介质及电子设备
CN114881937A (zh) * 2022-04-15 2022-08-09 北京医准智能科技有限公司 一种针对超声切面的检测方法、装置及计算机可读介质
CN114881937B (zh) * 2022-04-15 2022-12-09 北京医准智能科技有限公司 一种针对超声切面的检测方法、装置及计算机可读介质
CN116152577A (zh) * 2023-04-19 2023-05-23 深圳须弥云图空间科技有限公司 图像分类方法及装置
CN116152577B (zh) * 2023-04-19 2023-08-29 深圳须弥云图空间科技有限公司 图像分类方法及装置

Similar Documents

Publication Publication Date Title
CN112257738A (zh) 机器学习模型的训练方法、装置和图像的分类方法、装置
Nogueira et al. Evaluating software-based fingerprint liveness detection using convolutional networks and local binary patterns
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN109271958B (zh) 人脸年龄识别方法及装置
Simon et al. Generalized orderless pooling performs implicit salient matching
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
EP3664019A1 (en) Information processing device, information processing program, and information processing method
CN109413510B (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN107358172B (zh) 一种基于人脸朝向分类的人脸特征点初始化方法
WO2010043954A1 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
Zarbakhsh et al. Low-rank sparse coding and region of interest pooling for dynamic 3D facial expression recognition
Wang et al. Improved knowledge distillation for training fast low resolution face recognition model
CN113920382A (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN112116567A (zh) 一种无参考图像质量评价方法、装置及存储介质
Elsayed et al. Hand gesture recognition based on dimensionality reduction of histogram of oriented gradients
CN107563287B (zh) 人脸识别方法和装置
CN111461255B (zh) 一种基于间隔分布的Siamese网络图像识别方法及系统
Montagner et al. Image operator learning and applications
CN114548218A (zh) 图像匹配方法、装置、存储介质和电子装置
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN113869398A (zh) 一种不平衡文本分类方法、装置、设备及存储介质
Sánchez et al. Diatom classification including morphological adaptations using CNNs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination