CN108345943B - 一种基于嵌入编码与对比学习的机器学习识别方法 - Google Patents

一种基于嵌入编码与对比学习的机器学习识别方法 Download PDF

Info

Publication number
CN108345943B
CN108345943B CN201810129046.1A CN201810129046A CN108345943B CN 108345943 B CN108345943 B CN 108345943B CN 201810129046 A CN201810129046 A CN 201810129046A CN 108345943 B CN108345943 B CN 108345943B
Authority
CN
China
Prior art keywords
sample
comparison
samples
machine learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810129046.1A
Other languages
English (en)
Other versions
CN108345943A (zh
Inventor
徐传运
许洲
张杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Maoqiao Technology Co.,Ltd.
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN201810129046.1A priority Critical patent/CN108345943B/zh
Publication of CN108345943A publication Critical patent/CN108345943A/zh
Application granted granted Critical
Publication of CN108345943B publication Critical patent/CN108345943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于嵌入编码与对比学习的机器学习识别方法，能够利用已知类别的一定量的多媒体数据样本采用不同的对比样本输入排列顺序对机器学习模型f1进行多次区别化的学习训练，用以进行多媒体数据类别识别处理，机器学习模型f1设计为编码函数模型、卷积神经网络模型或/和全连接神经网络模型的组合模型构架，大幅降低了对海量训练样本的依赖，并且能够方便的扩展对未经过学习训练的多媒体数据类别进行类别识别，很好的解决了现有多媒体数据分类机器学习识别方法因对大量训练样本的依赖以及因无法直接对未经学习训练的类别进行分类识别而导致实际应用性、通用性受限的问题，能够更加广泛有效的应用到更多的具体的多媒体数据分类使用场合中。

Description

一种基于嵌入编码与对比学习的机器学习识别方法
技术领域
本发明涉及多媒体数据处理技术和机器学习技术领域，尤其涉及一种基于嵌入编码与对比学习的机器学习识别方法。
背景技术
多媒体(Multimedia)是多种媒体的综合，在计算机系统中，多媒体指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体，使用的媒体包括文字、图片、照片、声音、动画和影片，以及程式所提供的互动功能等。
随着大数据时代的到来，海量多媒体数据的分类和挖掘技术显得尤为重要。在海量数据挖掘中，如何利用从已有数据中分类和挖掘出来的信息来指导新数据的分类和挖掘已成为一个新的研究热点。特别是当某些任务的样本数量较少时，利用多任务学习能够有效的减少海量数据分类和挖掘的时间成本并提高信息获取准确度。例如，面对基于人脸识别的小区门禁系统开发任务，若将每个业主的人脸图像分别划分为一个独立的图像数据类别，就需要系统处理实现对人脸图像的分类识别，判断当前门禁处采集到的人脸图像是属于哪一位业主的人脸(即判断属于哪一个图像数据类别)，进而判断是否解除门禁。
基于深度学习方法在实践中被证明是一种有效、鲁棒的信息分类方法。深度神经网路(例如深度卷积神经网络)是最具代表性的机器学习方法。深度学习模型通常有数十层可学习的数据处理层，有数十万、甚至数百万的可以学习参数。由于大量参数构成极其巨大的学习空间，为了得到最优的模型参数，通常需要大量的训练数据。但是，为了训练深度学习模型，必须构建拥有大量样本的训练数据集，通常训练样本数量在数万以上。然而，构建这样的训练集，在实际应用中是非常困难的，并且代价昂贵。例如，面对基于人脸识别的小区门禁系统开发任务，若将每个业主的人脸图像分别划分为一个独立的图像数据类别，在对机器学习模型进行分类识别训练时，如果需要对于每一个业主采集数以万计的人脸图像训练样本，是非常不现实的。这导致了深度模型对大数据的贪婪导致深度学习方法在很多领域都难以得到具体应用，或者说很难具有可靠的技术可实现性。
在深度学习方法用于分类任务时，传统的深度学习方法要求分类模型对比样本的类必须与生产样本的类相同，即模型只能分类已学习的类，如果有新的类的样本需要分类，必须重新训练机器学习模型，或者对机器学习模型做一些适应性的训练学习。例如，面对基于人脸识别的小区门禁系统开发任务，若将每个业主的人脸图像分别划分为一个独立的图像数据类别，采用目前的深度学习方法，都需要对当前每一位业主的人脸图像进行学习训练；当有一位新的业主出现时，即便将该新业主的人脸图像直接加入到识别对比样本数据库中，由于机器学习模型之前并未对该新业主的人脸图像进行学习训练，因此当门禁处再次采集到该新业主的人脸图像时，机器学习模型依然无法基于对比样本数据库中该新业主的人脸图像数据而直接分类识别出该新业主。这也导致了基于深度学习方法的机器学习模型的训练，需要消耗大量的训练计算资源和较长的训练学习时间，限制了其在实际应用场合中的使用便利性和通用性。
发明内容
针对现有技术中存在的上述不足，本发明解决的技术问题在于如何提供一种基于嵌入编码与对比学习的机器学习识别方法，用以解决现有的多媒体数据分类机器学习识别方法需要依赖大量的训练样本而导致实际应用受限的问题，进一步解决现有的多媒体数据分类机器学习识别方法无法直接对未经学习训练的类别进行分类识别而导致通用性受限的问题。
为解决上述技术问题，本发明采用了如下的技术手段：
基于嵌入编码与对比学习的机器学习识别方法，在多个不同已知类别的多媒体数据之中选取目标识别样本和对比样本，作为一个机器学习模型f1的输入，对机器学习模型f1进行学习训练，进而利用学习训练后的机器学习模型f1对待识别多媒体数据进行类别识别；所述机器学习模型f1包括第一子学习模型fDP、第二子学习模型fDE和第三子函数模型fE，所述第一子学习模型fDP为卷积神经网络模型或全连接神经网络模型，所述第二子学习模型fDE为卷积神经网络模型或全连接神经网络模型，所述第三子函数模型fE为数据特征提取编码函数模型或数据降维编码函数模型；所选取的对比样本包含两个以上的不同类别的多个多媒体数据，且设置对比样本输入至机器学习模型f1的输入排列顺序，将目标识别样本和对比样本分别作为所述第三子函数模型fE的输入，由所述第三子函数模型fE分别输出相对应的目标识别数据样本和对比数据样本，并根据对比样本输入排列顺序，将目标识别数据样本与对比数据样本以预设定的组合规则进行组合，由此形成保留有对比样本输入排列顺序规则的多个数据样本组合，分别将各个多媒体数据样本组合作为所述第二子学习模型fDE的输入，并将各相应的第二子学习模型fDE的输出按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量，且所述第一子学习模型fDP的输出向量作为所述机器学习模型的结果向量；由此通过训练学习，使得学习训练所得的机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征目标识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，从而能够利用已知类别的多媒体数据样本采用不同的对比样本输入排列顺序对所述机器学习模型f1进行多次的学习训练。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，将目标识别样本和对比样本分别输入至第三子函数模型fE得到相对应的目标识别数据样本和对比数据样本的具体方式为如下处理方式之中的一种：
处理方式①：将每个目标识别样本和每个对比样本分别输入至第三子函数模型fE，得到每个目标识别样本相对应的目标识别数据样本，以及每个对比样本相对应的对比数据样本；
处理方式②：先将各个对比样本进行按类别划分，将目标识别样本作为整体输入至第三子函数模型fE，将每个类别的对比样本分别输入至第三子函数模型fE，从而得到目标识别样本整体相对应的目标识别数据样本，以及每个类别的对比样本相对应的对比数据样本。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，作为机器学习模型f1输入的目标识别样本为一个或多个，且均属于同一类别；
若作为机器学习模型f1输入的目标识别样本为一个，在将目标识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式①：将所述目标识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式②：先将各个对比样本进行按类别划分，然后将所述目标识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
若作为机器学习模型f1输入的目标识别样本为多个，在将目标识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式a：将每一个目标识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式b：先将各个对比样本进行按类别划分，然后将每一个目标识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
组合规则方式c：将全部目标识别样本作为整体分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式d：先将各个对比样本进行按类别划分，然后将全部目标识别样本作为整体分别与每一个类别的对比样本之间建立组合关系，分别进行组合。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，在对机器学习模型f1进行学习训练的过程中，所述目标识别样本和对比样本从预设的多媒体数据样本库中进行选取，每次选取所述多媒体数据样本库中所包含的一部分已知类别的多媒体数据作为目标识别样本和对比样本对机器学习模型f1进行学习训练，并分多次从所述多媒体数据样本库中选取目标识别样本和对比样本对机器学习模型f1进行学习训练，以保证目标识别样本和对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少H次的对比样本选取操作，H为与设定的训练选取次数阈值。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，所述利用学习训练后的机器学习模型f1对待识别多媒体数据进行类别识别的具体方式为：
获取作为待识别对象的多媒体数据作为待识别样本，以及从多个不同已知类别的多媒体数据之中选取的对比样本，作为学习训练后的机器学习模型f1的输入，所选取的对比样本包含两个以上的不同类别的多个多媒体数据，且设置对比样本输入至机器学习模型f1的输入排列顺序，将待识别样本和对比样本分别作为所述第三子函数模型fE的输入，由所述第三子函数模型fE分别输出相对应的待识别数据样本和对比数据样本，并根据对比样本输入排列顺序，将待识别数据样本与对比数据样本以预设定的组合规则进行组合，由此形成保留有对比样本输入排列顺序规则的多个数据样本组合，分别将各个多媒体数据样本组合作为所述第二子学习模型fDE的输入，并将各相应的第二子学习模型fDE的输出按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量，且所述第一子学习模型fDP的输出向量作为所述机器学习模型的结果向量；类别识别过程中，所述机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征待识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，从而根据该相关性确定待识别样本的所属类别。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，将待识别样本和对比样本分别输入至第三子函数模型fE得到相对应的待识别数据样本和对比数据样本的具体方式为如下处理方式之中的一种：
处理方式①：将每个待识别样本和每个对比样本分别输入至第三子函数模型fE，得到每个待识别样本相对应的待识别数据样本，以及每个对比样本相对应的对比数据样本；
处理方式②：先将各个对比样本进行按类别划分，将待识别样本作为整体输入至第三子函数模型fE，将每个类别的对比样本分别输入至第三子函数模型fE，从而得到待识别样本整体相对应的待识别数据样本，以及每个类别的对比样本相对应的对比数据样本。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，所获取的待识别样本为一个或多个，且均属于同一类别；
若输入至机器学习模型f1的待识别样本为一个，在将待识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式①：将所述待识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式②：先将各个对比样本进行按类别划分，然后将所述待识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
若输入至机器学习模型f1的待识别样本为多个，在将待识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式a：将每一个待识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式b：先将各个对比样本进行按类别划分，然后将每一个待识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
组合规则方式c：将全部待识别样本作为整体分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式d：先将各个对比样本进行按类别划分，然后将全部待识别样本作为整体分别与每一个类别的对比样本之间建立组合关系，分别进行组合。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，所获取的待识别样本为一个或多个，且均属于同一类别；
若获取的待识别样本为多个，则可以采用分批次输入至所述机器学习模型f1进行识别处理，分批次输入至机器学习模型f1的具体方式为如下方式之中的一种：
分批次输入方式①：将全部对比样本分别与每一个待识别样本组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式②：先将各个对比样本进行按类别划分；然后从每一个类别中选取一个对比样本，再选取一个待识别样本，组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式③：先将各个对比样本进行按类别划分；然后从每一个类别中选取一个对比样本，与全部待识别样本一起，组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式④：将全部对比样本与全部待识别样本组成一个样本输入集合，作为所述机器学习模型f1的输入。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，根据机器学习模型f1多次输出的结果向量进行类别识别处理的具体方式为如下方式之中的一种：
多次输出类别识别方式①：统计对比各次输出的结果向量中的各结果向量元素，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别；
多次输出类别识别方式②：将机器学习模型f1各次输出的结果向量进行累加，得到累加结果向量，从而统计对比所述累加结果向量中各结果向量元素所表征的相关性，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别。
上述基于嵌入编码与对比学习的机器学习识别方法中，作为优选方案，所述对比样本从预设的多媒体数据样本库中进行选取，每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，L和S均为大于1的整数，且需要从所述多媒体数据样本库中多次选取对比样本分别作为机器学习模型f1的输入，对待识别样本进行多次类别识别处理，以保证对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少K次的对比样本选取操作，K为与设定的识别选取次数阈值；然后，统计对比机器学习模型f1各次类别识别处理所输出的结果向量中的各结果向量元素，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别。
相比于现有技术，本发明具有以下有益效果：
1、本发明基于嵌入编码与对比学习的机器学习识别方法，能够利用已知类别的一定量的多媒体数据样本采用不同的对比样本输入排列顺序对机器学习模型f1进行多次区别化的学习训练，即能够利用少量的训练样本对机器学习模型进行大量的学习训练来达到预期的类别识别效果，从而大幅降低了对海量训练样本的依赖，解决了现有的多媒体数据分类机器学习识别方法需要依赖大量的训练样本而导致实际应用受限的问题。
2、本发明基于嵌入编码与对比学习的机器学习识别方法，即便对于某一个多媒体数据类别未经过学习训练，只要将该多媒体数据类别的多媒体数据样本加入到识别对比样本数据库中，当待识别样本为该类别的多媒体数据时，机器学习模型f1输出的结果向量依然能够体现出该待识别样本与其他不同类别的对比样本之间的差异性以及与相同类别的对比样本之间的相关性，从而依然能够根据该相关性确定待识别样本的所属类别，从而能够方便的扩展对未经过学习训练的多媒体数据类别进行类别识别，能够解决因无法直接对未经学习训练的类别进行分类识别而导致通用性受限的问题。
3、本发明基于嵌入编码与对比学习的机器学习识别方法，在进行类别识别处理的过程中，可以采用数据局部选取的类别识别处理方式让每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，然后通过多次选取对比样本分别作为机器学习模型f1的输入对待识别样本进行多次类别识别处理的方式，以减少机器学习模型f1每次类别识别处理过程执行数据运算处理的数据量，避免机器学习模型f1处理效率过低或无法有效执行处理的问题。
4、本发明基于嵌入编码与对比学习的机器学习识别方法，很好的解决了现有多媒体数据分类机器学习识别方法因对大量训练样本的依赖以及因无法直接对未经学习训练的类别进行分类识别而导致实际应用性、通用性受限的问题，能够更加广泛有效的应用到更多的具体的多媒体数据分类使用场合中，具有广阔的技术应用和推广前景。
附图说明
图1为本发明机器学习识别方法中机器学习训练过程的流程示意图。
图2为本发明机器学习识别方法中另一个机器学习训练过程的流程示意图。
图3为本发明机器学习识别方法中多媒体数据类别识别过程的流程示意图。
具体实施方式
针对现有的多媒体数据分类机器学习识别方法需要依赖大量的训练样本而导致实际应用受限的问题，需要从现有的机器学习识别方法的识别原理加以分析，发现导致问题出现的原因。现有的分类机器学习识别方法，通常是将待识别样本与已知类别的对比样本进行单独对比，计算待识别样本与对比样本之间的相似度，或者计算待识别样本与对比样本之间的差异距离值，来判断待识别样本与对比样本是否属于同一类别，从而实现对待识别样本的类别识别。这样的机器学习识别方法，应用在多媒体数据分类识别的应用场景中，容易受到技术应用的限制：
一方面，因为多媒体数据中，同一类别的数据样本都可能存在较大的数据差异；例如，面对基于人脸识别的小区门禁系统开发任务而言，若将每个业主的人脸图像分别划分为一个独立的图像数据类别，需要系统处理实现对人脸图像的分类识别，但即便是同一位业主的人脸图像，也容易因为环境光线、拍摄角度、业主自身妆容打扮等情况的不同而存在图像差异，并且每一种环境光线、拍摄角度、妆容打扮条件状态下的训练样本，仅对于相同条件状态下的待识别样本相似度或差异距离值计算和识别判断有直接的帮助，这就导致了需要大量的在不同环境光线、不同拍摄角度、不同妆容打扮等条件状态下的业主人脸图像作为训练样本和识别对比数据，对机器学习模型进行学习训练，才能保证较好的人脸识别效果，从而增加了实际应用中对于模型学习训练的操作难度，对技术应用造成限制。
另一方面，现有的分类机器学习识别方法中，与待识别样本所属类别不同的各其他类训练样本，对于该待识别样本识别结果的学习训练影响难以体现出差异性；例如，面对基于人脸识别的小区门禁系统开发任务而言，若将每个业主的人脸图像分别划分为一个独立的图像数据类别，针对一位业主的人脸图像进行识别或者学习训练时，对比样本数据库中其它任意业主的人脸图像，对于该待识别业主的人脸图像识别或训练结果均为相似度不足或差异距离较大；因此大量的非同类对比样本对于待识别样本的识别或者学习训练结果无法带来有意义的区别化影响，这也间接导致了对于待识别样本的识别或者学习训练仅能够依赖于同类别的对比样本，增加了机器学习识别方法对海量训练样本的依赖。
相应的，基于上述两方面的限制原因，这也导致了另一个结果，即针对于多媒体数据分类识别应用场景中，对于没有经过学习训练的数据类别，现有的机器学习识别方法对该类别的待识别样本进行有效的类别识别。
针对于上述分析结果，基于解决上述问题的技术思想，本发明提出了一种基于嵌入编码与对比学习的机器学习识别方法，该识别方法采用了不同于现有技术的学习训练方式对机器学习模型加以训练，如图1所示，在多个不同已知类别的多媒体数据之中选取目标识别样本R和对比样本a，作为一个机器学习模型f1的输入，对机器学习模型f1进行学习训练，进而利用学习训练后的机器学习模型f1对待识别多媒体数据进行类别识别；所述机器学习模型f1包括第一子学习模型fDP、第二子学习模型fDE和第三子函数模型fE，所述第一子学习模型fDP为卷积神经网络模型或全连接神经网络模型，所述第二子学习模型fDE为卷积神经网络模型或全连接神经网络模型，所述第三子函数模型fE为数据特征提取编码函数模型或数据降维编码函数模型；所选取的对比样本包含两个以上的不同类别的多个多媒体数据，且设置对比样本输入至机器学习模型f1的输入排列顺序，例如图1中，按对比样本输入排列顺序列出的多个对比样本分别标记为a1、a2、…、an，n表示作为机器学习模型f1输入的对比样本数量，将目标识别样本R和对比样本a1、a2、…、an分别作为所述第三子函数模型fE的输入，由所述第三子函数模型fE分别输出相对应的目标识别数据样本eR和对比数据样本e1、e2、…、en，并根据对比样本输入排列顺序，将目标识别数据样本eR与对比数据样本e1、e2、…、en以预设定的组合规则进行组合，例如图1中简单的示例为将目标识别数据样本eR按对比样本输入排列顺序分别与对比数据样本e1、e2、…、en进行组合，由此形成保留有对比样本输入排列顺序规则的多个数据样本组合，分别将各个多媒体数据样本组合作为所述第二子学习模型fDE的输入，并将各相应的第二子学习模型fDE的输出DE1、DE2、…、DEn按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量A，且所述第一子学习模型fDP的输出向量作为所述机器学习模型的结果向量C；由此通过训练学习，使得学习训练所得的机器学习模型f1输出的结果向量C中的每一个结果向量元素ci∈C(i∈{1,2,…,n})用以表征目标识别样本与相应排列顺序位置上的一个对比样本ai(i∈{1,2,…,n})所属类别之间的相关性，从而能够利用已知类别的多媒体数据样本采用不同的对比样本输入排列顺序对所述机器学习模型f1进行多次的学习训练。例如，如图2所示，采用图1中相同的n个对比样本，但通过设置改变对比样本输入排列顺序，使得原来的a1顺序位置的对比样本调整到a4顺序位置，从而对机器学习模型f1进行不同的学习训练。
本发明基于嵌入编码与对比学习的机器学习识别方法，相比于现有技术而言，采用了不同思路的技术实现方式，通过选取已知类别的多媒体数据作为目标识别样本和对比样本，一并输入至机器学习模型f1进行学习训练，所选取的对比样本需要包含两个以上的不同类别的多个多媒体数据，以能够体现出不同类别的多个对比样本之间在输入排列顺序上的差异性。同时，由于机器学习模型f1的学习训练目标是使得学习训练所得的机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征目标识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，并且，由于机器学习模型f1设计为包括第一子学习模型fDP、第二子学习模型fDE和第三子函数模型fE的组合模型构架；其中，第一子学习模型fDP和第二子学习模型fDE均可以选择为卷积神经网络模型或全连接神经网络模型，卷积神经网络可以选择残差神经网络模型(Residual Neural Network，缩写为ResNet)、密集卷积网络模型(Dense Convolutional Network，缩写为DenseNet)等，全连接神经网络则可以选用本领域技术人员常用的一些具有全连接层的神经网络模型；第三子函数模型fE可以选择为数据编码函数模型，具体可以选用数据特征提取编码函数模型或者数据降维编码函数模型作为第三子函数模型fE使用，用以对多媒体数据进行特征提取或者数据降维，以提高对不同类别多媒体数据的特征区分识别能力，或者降低对多媒体数据执行后续学习训练处理或类别识别处理过程的数据处理难度、提升处理效率。由此通过第一子学习模型fDP、第二子学习模型fDE和第三子函数模型fE组合构成的机器学习模型f1，在学习训练过程中，将目标识别样本(类别识别处理时相应为待识别样本)和对比样本分别输入至第三子函数模型fE得到各自相对应的目标识别数据样本(类别识别处理时相应得到待识别数据样本)和对比数据样本并加以组合后，形成保留有对比样本输入排列顺序规则的多个数据样本组合输入至第二子学习模型fDE，所得到的输出按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量，从而由第一子学习模型fDP输出作为机器学习模型f1的结果向量，由此保证机器学习模型f1输出的结果向量中的各结果向量元素的排列顺序保留了与对比样本输入排列顺序之间的对应关系，且由于第一子学习模型fDP和第二子学习模型fDE均可以选择为卷积神经网络模型或全连接神经网络模型，因此结果向量中每一个结果向量元素均受到对比样本输入排列顺序的影响，从而使得训练所得的机器学习模型f1输出的结果向量中的每一个结果向量元素所表征的相关性，都与对比样本输入排列顺序存在关联性影响。这样以来，在对比样本中与目标识别样本属于相同类别的多媒体数据在对比样本输入排列顺序上的不同，会对机器学习模型f1的学习训练结果产生不同的影响，因此，与目标识别样本属于相同类别的每一个多媒体数据在作为对比样本使用时，都可以通过调整其在对比样本输入排列顺序中的顺序位置，对机器学习模型f1进行多次区别化的学习训练。同时，在对比样本中与目标识别样本属于不同类别的多媒体数据在对比样本输入排列顺序上的不同，也会对机器学习模型f1的学习训练结果产生不同的影响，因此，与目标识别样本属于不同类别的每一个多媒体数据在作为对比样本使用时，也可以通过调整其在对比样本输入排列顺序中的顺序位置，多次参与对机器学习模型f1的区别化学习训练。由此，便能够利用已知类别的一定量的多媒体数据样本采用不同的对比样本输入排列顺序对机器学习模型f1进行多次区别化的学习训练，即能够利用少量的训练样本对机器学习模型进行大量的学习训练来达到预期的类别识别效果，从而大幅降低了对海量训练样本的依赖，解决了现有的多媒体数据分类机器学习识别方法需要依赖大量的训练样本而导致实际应用受限的问题。
在具体应用时，在利用本发明的机器学习识别方法对机器学习模型f1进行学习训练的过程中，目标识别样本和对比样本从预设的多媒体数据样本库中进行选取，每次选取所述多媒体数据样本库中所包含的一部分已知类别的多媒体数据作为目标识别样本和对比样本对机器学习模型f1进行学习训练，并分多次从所述多媒体数据样本库中选取目标识别样本和对比样本对机器学习模型f1进行学习训练，以保证目标识别样本和对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少H次的对比样本选取操作，H为与设定的训练选取次数阈值。每次选取多媒体数据样本库中所包含的一部分已知类别的多媒体数据作为目标识别样本和对比样本对机器学习模型f1进行学习训练，是一种局部选取的学习训练处理方式。因为如果将多媒体数据样本库中所包含的全部类别的多媒体数据全局选取执行对机器学习模型f1的学习训练处理，容易导致对比运算数据量巨大，运算效率过低，并且，如果机器学习模型f1的神经网络层次过多，还容易导致机器学习模型f1无法有如此大量的数据执行有效的运算处理。因此，每次选取多媒体数据样本库中所包含的一部分已知类别的多媒体数据作为目标识别样本和对比样本对机器学习模型f1进行学习训练，然后通过多次选取取目标识别样本和对比样本对机器学习模型f1进行学习训练的方式，以减少机器学习模型f1每次学习训练处理过程执行数据运算处理的数据量，避免机器学习模型f1处理效率过低或无法有效执行处理的问题；但这种局部选取的类别识别处理方式，有可能出现多媒体数据样本库中包含的多媒体数据训练在学习训练过程中未得到充分利用的问题，针对于此，并且由于机器学习模型f1输出的结果向量中的每一个结果向量元素均受到对比样本输入排列顺序的影响，因此同一个类别的对比样本在不同的对比样本输入排列顺序上对于目标识别样本的相关性影响会存在差异，可能影响对机器学习模型f1的学习训练结果，因此为了尽可能保证对机器学习模型f1的学习训练效果，学习训练过程做好保证目标识别样本和对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少H次的对比样本选取操作，H为与设定的训练选取次数阈值，H的具体取值可根据实际应用经验确定。
利用该机器学习训练程序学习训练所得的机器学习模型f1，便能够用于对多媒体数据进行类别识别。具体而言，利用学习训练后的机器学习模型f1对待识别多媒体数据进行类别识别的具体方式为：如图3所示，获取作为待识别对象的多媒体数据作为待识别样本Rx，以及从多个不同已知类别的多媒体数据之中选取的对比样本a，作为学习训练后的机器学习模型f1的输入，所选取的对比样本包含两个以上的不同类别的多个多媒体数据，且设置对比样本输入至机器学习模型f1的输入排列顺序，例如图3中，按对比样本输入排列顺序列出的多个对比样本分别标记为a1、a2、…、an，n表示作为机器学习模型f1输入的对比样本数量，将待识别样本Rx和对比样本a1、a2、…、an分别作为所述第三子函数模型fE的输入，由所述第三子函数模型fE分别输出相对应的待识别数据样本eRx和对比数据样本e1、e2、…、en，并根据对比样本输入排列顺序，将待识别数据样本eRx与对比数据样本e1、e2、…、en以预设定的组合规则进行组合，例如图3中简单的示例为将待识别数据样本eRx按对比样本输入排列顺序分别与对比数据样本e1、e2、…、en进行组合，由此形成保留有对比样本输入排列顺序规则的多个数据样本组合，分别将各个多媒体数据样本组合作为所述第二子学习模型fDE的输入，并将各相应的第二子学习模型fDE的输出DE1、DE2、…、DEn按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量A，且所述第一子学习模型fDP的输出向量作为所述机器学习模型的结果向量C；类别识别过程中，所述机器学习模型f1输出的结果向量C中的每一个结果向量元素ci∈C(i∈{1,2,…,n})用以表征待识别样本Rx与相应排列顺序位置上的一个对比样本ai(i∈{1,2,…,n})所属类别之间的相关性，从而可以根据该相关性确定待识别样本Rx的所属类别；例如，若学习训练所得机器学习模型f1其输出的结果向量C中的结果向量元素ci的值越小表明与相应排列顺序位置上的对比样本所属类别之间的相关程度越高，则如图3所示，在识别确定待识别样本Rx所属类别yx时，结果向量C中值最小的一个结果向量元素的相应排列顺序位置上的对比样本ai所属的类别yi，就可以判定为是待识别样本Rx的所属类别，即
Figure BDA0001574310910000121
具体实施应用时，本实施例基于嵌入编码与对比学习的机器学习识别方法中的上述机器学习训练过程和多媒体数据类别识别处理过程，均可以通过计算机编程后配置载入至机器学习识别装置的处理器中，使得其处理器被配置为执行上述机器学习训练流程的机器学习训练程序，或执行上述多媒体数据类别识别处理流程的多媒体数据类别识别程序。基于本发明的机器学习识别方法所设计的机器学习类别识别装置，自然具有共同的技术特点和技术优势。
在本发明机器学习识别方法及其装置的具体实施中，要使得学习训练所得的机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征目标识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，具体训练操作时，是容易办到的；例如，在训练过程中，针对于目标识别样本与输入排列顺序上的一个对比样本是否为同一类别，在机器学习模型f1输出的结果向量中相应的排列顺序位置上的一个结果向量元素赋予预设的相关性期望值，例如相同类别赋予正相关性期望值(例如赋值为“0”)，而不同类别赋予负相关性期望值(例如赋值为“1”)，那么经过机器学习训练，机器学习模型f1就能够习得对于目标识别样本与对比样本之间是否相同类别的相关性区分，通过其输出的结果向量中的每一个结果向量元素来表征目标识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性。由此经过训练后，在执行对多媒体数据的类别识别处理时，机器学习模型f1输出的结果向量中的每一个结果向量元素便能够很好的区别化表征出待识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，其中越接近正相关性期望值的结果向量元素，其在结果向量中的元素排序位置所对应的对比样本输入排列顺序位置上的一个对比样本所属类别，就可以被判定为是待识别样本的所属类别。例如，图1所示的学习训练流程中，目标识别样本R与对比样本输入排列顺序第1位的对比样本a1属于相同类别，因此赋予结果向量中排列顺序第1位的结果向量元素c1的值为“0”表示正相关性期望值，其余不同类别对比样本顺序位置对应的结果向量元素赋值为“1”表示负相关性期望值；而在图2所示的学习训练流程中，目标识别样本R与对比样本输入排列顺序第4位的对比样本a4属于相同类别，因此赋予结果向量中排列顺序第1位的结果向量元素c4的值为“0”表示正相关性期望值，其余不同类别对比样本顺序位置对应的结果向量元素赋值为“1”表示负相关性期望值。
需要说明的是，本发明的机器学习识别方法中，在学习训练时获取的目标识别样本可以为一个、也可以为多个，且需要均属于同一类别；同样，在类别识别处理时所针对的待识别样本也可以为一个、也可以为多个，但同样也需要均属于同一类别。而针对于目标识别样本(或待识别样本)为一个或多个的不同情况，本发明的机器学习识别方法在具体应用实施中，涉及到几方面的因素，也需要分不同的情况加以说明。
其中，第一方面的因素，机器学习模型f1构架中利用了第三子函数模型fE执行数据编码处理，在学习训练过程中，当获取的目标识别样本为一个或多个的情况下，将目标识别样本和对比样本分别输入至第三子函数模型fE得到相对应的目标识别数据样本和对比数据样本的具体方式可以采用如下处理方式之中的一种：
处理方式①：将每个目标识别样本和每个对比样本分别输入至第三子函数模型fE，得到每个目标识别样本相对应的目标识别数据样本，以及每个对比样本相对应的对比数据样本；
处理方式②：先将各个对比样本进行按类别划分，将目标识别样本作为整体输入至第三子函数模型fE，将每个类别的对比样本分别输入至第三子函数模型fE，从而得到目标识别样本整体相对应的目标识别数据样本，以及每个类别的对比样本相对应的对比数据样本。
相应地，在类别识别处理过程中，当待识别样本为一个或多个的情况下，将待识别样本和对比样本分别输入至第三子函数模型fE得到相对应的待识别数据样本和对比数据样本的具体方式则可以采用如下处理方式之中的一种：
处理方式①：将每个待识别样本和每个对比样本分别输入至第三子函数模型fE，得到每个待识别样本相对应的待识别数据样本，以及每个对比样本相对应的对比数据样本；
处理方式②：先将各个对比样本进行按类别划分，将待识别样本作为整体输入至第三子函数模型fE，将每个类别的对比样本分别输入至第三子函数模型fE，从而得到待识别样本整体相对应的待识别数据样本，以及每个类别的对比样本相对应的对比数据样本。
上述的处理方式①是利用第三子函数模型fE对每个目标识别样本(或待识别样本)和每个对比样本分别进行编码处理，通过编码达到对每个样本进行特征提取或降维处理的效果，但不会改变样本总体数量。而处理方式②是第三子函数模型fE对目标识别样本(或待识别样本)作为一个整体(属于一个类别)以及每个类别的各对比样本作为一个整体分别进行编码处理，即分别对每个类别的各样本进行整体编码处理，这就相当于将每个类别的多样本数据编码成为了一个单样本数据，使得编码后每个样本仅保留一个数据样本，不仅起到了特征提取或降维处理的效果，而且还一定程度上减少了样本数量以及帮助整合了每一类样本的数据共性特征，对于减少后续处理计算量以及提高不同类别之间的共性特征区分识别率有一定帮助。
第二方面的因素，在学习训练过程或类别识别处理过程中，将目标识别样本(类别识别处理过程中相应为待识别样本)与对比样本输入至机器学习模型f1时，或者将目标识别数据样本(类别识别处理过程中相应为待识别数据样本)与对比数据样本输入至机器学习模型f1时，都需要以预设定的组合规则进行组合，进行这样的组合处理，一方面是为了能够使得形成的多个数据样本组合保留有对比样本输入排列顺序规则，另一方面是为了在数据输入层面就建立目标识别样本(或待识别样本)与对比样本之间以及与对比样本输入排列顺序之间的关联联系，这也是本发明机器学习识别方法相比于现有技术的一项重要技术差别。在数据输入层面就建立了目标识别样本(或待识别样本)与对比样本之间以及与对比样本输入排列顺序之间的关联联系之后，通过机器学习模型f1的处理输出，其输出的结果向量中的每一个结果向量元素就不再仅仅与目标识别样本(或待识别样本)和一个对比样本二者之间的相似性有关，还与构成每个数据样本组合之中的目标识别样本(或待识别样本)和对比样本之间的关联性有关，且通过机器学习模型f1的全连接运算处理作用，使得每一个结果向量元素还与作为输入的各数据样本组合所保留的对比样本输入排列顺序规则有关，从而更好的保证了机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征目标识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性。
正是借助通过将目标识别样本(类别识别处理过程中相应为待识别样本)与对比样本组合后输入至机器学习模型f1进行学习训练或类别识别处理的特殊处理方式，使得本发明基于嵌入编码与对比学习的机器学习识别方法，对于没有经过学习训练的数据类别也能够具备类别识别能力。因为采用本发明方法训练后得到的机器学习模型f1对待识别多媒体数据进行类别识别时，机器学习模型f1输出的结果向量中的一个结果向量元素不仅与待识别样本和一个对比样本二者之间的相似性有关，还更多的与构成每个数据样本组合之中的目标识别样本(或待识别样本)和对比样本之间的关联性、以及与作为输入的各数据样本组合所保留的对比样本输入排列顺序规则有关，因此，即便对于某一个多媒体数据类别未经过学习训练，只要将该多媒体数据类别的多媒体数据样本加入到识别对比样本数据库中，当待识别样本为该类别的多媒体数据时，机器学习模型f1输出的结果向量依然能够体现出该待识别样本与其他不同类别的对比样本之间的差异性以及与相同类别的对比样本之间的相关性，从而依然能够根据该相关性确定待识别样本的所属类别。因此，本发明基于嵌入编码与对比学习的机器学习识别方法，能够方便的扩展对未经过学习训练的多媒体数据类别进行类别识别，能够解决因无法直接对未经学习训练的类别进行分类识别而导致通用性受限的问题。
同时，正是由于需要建立目标识别样本(或待识别样本)与对比样本之间以及与对比样本输入排列顺序之间的关联联系，因此目标识别样本(或待识别样本)的数量为一个或为多个的不同情况下，具体组合方式也会有所区别。
若作为机器学习模型f1输入的目标识别样本(或待识别样本)为一个，在将目标识别数据样本(或待识别数据样本)与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式①：将所述目标识别样本(或待识别样本)分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式②：先将各个对比样本进行按类别划分，然后将所述目标识别样本(或待识别样本)分别与每一个类别的对比样本之间建立组合关系，分别进行组合。
若作为机器学习模型f1输入的目标识别样本(或待识别样本)为多个，在将目标识别数据样本(或待识别数据样本)与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式a：将每一个目标识别样本(或待识别样本)分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式b：先将各个对比样本进行按类别划分，然后将每一个目标识别样本(或待识别样本)分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
组合规则方式c：将全部目标识别样本(或待识别样本)作为整体分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式d：先将各个对比样本进行按类别划分，然后将全部目标识别样本(或待识别样本)作为整体分别与每一个类别的对比样本之间建立组合关系，分别进行组合。
上述的组合规则方式①以及组合规则方式a是将每个目标识别样本(或待识别样本)分别与每一个对比样本之间建立配对组合关系，分别进行配对组合，这样的组合规则可以形成尽可能多的保留有对比样本输入排列顺序规则的数据样本组合，对于学习训练处理流程而言，数量尽可能多的数据样本组合，有利于通过改变不同的对比样本输入排列顺序而用于执行更多次不同的区别化想学习训练，对于提升机器学习模型f1的训练效果有一定帮助。而组合规则方式②以及处理规则b、c、d则是将全部目标识别样本(或待识别样本)作为一个整体(属于一个类别)或者将每个类别的各对比样本作为一个整体，然后再分别进行组合，由此形成的多个数据样本组合，不仅能够保留对比样本输入排列顺序规则，而且将全部目标识别样本(或待识别样本)作为一个整体(属于一个类别)或者将每个类别的各对比样本作为一个整体构成一个数据样本组合中的组成部分，由此形成的一个数据样本组合进入机器学习模型f1中进行运算处理时，其运算处理过程相当于整合了相应类别样本的数据共性特征，因此对于提高不同类别之间的共性特征区分识别率有一定帮助。
第三方面的因素，在类别识别处理过程中，在获取到多个同一类别的待识别样本需要进行类别识别处理，同时对比样本也存在多个类别和多个数量的情况下，可以采用分批次输入至机器学习模型f1的方式进行识别处理；具体操作时，分批次输入至机器学习模型f1的具体方式可以采用如下方式之中的一种：
分批次输入方式①：将全部对比样本分别与每一个待识别样本组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式②：先将各个对比样本进行按类别划分；然后从每一个类别中选取一个对比样本，再选取一个待识别样本，组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式③：先将各个对比样本进行按类别划分；然后从每一个类别中选取一个对比样本，与全部待识别样本一起，组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式④：将全部对比样本与全部待识别样本组成一个样本输入集合，作为所述机器学习模型f1的输入。
相应的，采用分批次输入至机器学习模型f1进行类别识别的处理方式，每一批次的输入都将得到一个结果向量，因此根据机器学习模型f1多次输出的结果向量进行类别识别处理的具体方式也可以采用如下方式之中的一种：
多次输出类别识别方式①：统计对比各次输出的结果向量中的各结果向量元素，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别；
多次输出类别识别方式②：将机器学习模型f1各次输出的结果向量进行累加，得到累加结果向量，从而统计对比所述累加结果向量中各结果向量元素所表征的相关性，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别。
其中，多次输出类别识别方式①是直接根据各次输出的结果向量中的全部结果向量元素进行相关性统计对比，找出相关程度最高的一个来确定待识别样本所属类别。而多次输出类别识别方式②则是将各次输出的结果向量就和累加之后再相关性统计对比，找出相关程度最高的一个来确定待识别样本所属类别。相比而言，多次输出类别识别方式②相当于是对分批次输入至机器学习模型f1进行类别识别处理后的各次结果向量输出进行了累加平均化的综合考量，相比于多次输出类别识别方式①而言，更有助于避免因偶然误差而造成的待识别样本类别识别错误的情况，有助于保证更好的识别准确率。
第四方面的因素，在利用本发明机器学习识别方法进行类别识别处理的过程中，对比样本可以从预设的多媒体数据样本库中进行选取，并且在具体应用时，可以操作每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，L和S均为大于1的整数，且需要从所述多媒体数据样本库中多次选取对比样本分别作为机器学习模型f1的输入，对待识别样本进行多次类别识别处理，以保证对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少K次的对比样本选取操作，K为与设定的识别选取次数阈值。让每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，是一种局部选取的类别识别处理方式。因为如果将多媒体数据样本库中所包含的全部类别的多媒体数据全局选取执行对待识别样本的类别识别处理，容易导致对比运算数据量巨大，运算效率过低，并且，如果机器学习模型f1的神经网络层次过多，还容易导致机器学习模型f1无法有如此大量的数据执行有效的运算处理。因此，让每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，然后通过多次选取对比样本分别作为机器学习模型f1的输入对待识别样本进行多次类别识别处理的方式，以减少机器学习模型f1每次类别识别处理过程执行数据运算处理的数据量，避免机器学习模型f1处理效率过低或无法有效执行处理的问题；但这种局部选取的类别识别处理方式，可能导致单次选取的对比样本中不存在待识别样本所属的类别而导致得不到有效的类别识别结果，并且由于机器学习模型f1输出的结果向量中的每一个结果向量元素均受到对比样本输入排列顺序的影响，因此同一个类别的对比样本在不同的对比样本输入排列顺序上对于待识别样本的相关性识别影响会存在差异，可能影响对待识别样本的类别识别结果，因此为了尽可能保证对待识别样本类别识别的准确性，需要保证对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少K次的对比样本选取操作，K为与设定的选取次数阈值，K的具体取值可根据实际应用经验确定。然后，统计对比机器学习模型f1各次类别识别处理所输出的结果向量中的各结果向量元素，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别。
识别效果对比实施例：
本实施例将本发明提供的用于多媒体数据分类的机器学习识别装置中使用的机器学习识别方法，与一些采用现有技术机器学习模型的识别方法，采用相同的数据集进行了识别效果对比实验，来验证本发明所提供的机器学习识别装置中使用的机器学习识别方法的可行性和有效性。
在本实施例中，将本发明方法标记为“LCNN”，而作为对比的现有技术机器学习模型包括文献“Lake,B.M.,Salakhutdinov,R.&Tenenbaum,J.B.Human-level conceptlearning through probabilistic program induction SupplementaryMaterial.Science 350,1332–1338(2015)”中提及到的BPL(BayesianProgram Learning，贝叶斯规划学习算法)模型(标记为“BPL[Lake2015]”)，文献“Vinyals,O.,Blundell,C.,Lillicrap,T.,Wierstra,D.&others.Matching networks for one shot learning.inAdvances in Neural Information Processing Systems 3630–3638(2016)”中提及到的Matching Nets(匹配网络)模型(标记为“Matching Nets[Vinyals2016]”)，以及文献“Koch,G.,Richard Zemel&Ruslan Salakhutdinov.Siamese neural networks for one-shot image recognition.in(University of Toronto,2015)”中提及到的ConvolutionalSiamese Net(卷积连接网络)模型(标记为“Convolutional Siamese Net[Kock2015]”)。
本实施例基于Omniglot数据集，在Omniglot数据集提供的训练集中分别选取30、60、136、156、964个类别的样本作为训练集，每个类别有20个样本，对参与对比的模型分别进行训练；然后，使用文献“Koch,G.,Richard Zemel&Ruslan Salakhutdinov.Siameseneural networks for one-shot image recognition.in(University of Toronto,2015)”中提供的20个类别的400个测试样本(每个类别有20个样本)进行20选1的单样本(20-way)类别识别测试，针对每个模型的类别识别测试进行100次，分别统计各自的识别精度。本实施例中，采用本发明方法方案中的第一子学习模型fDP选择为单层的全连接神经网络，第二子学习模型fDE选择为121层的残差神经网络(ResNet)，第三子函数模型fE选择为残差网络。本实施例对作为对比的现有技术机器学习模型进行类别识别测试的识别精度统计数据如表1所示，对本发明方法各实施例方案进行类别识别测试的识别精度统计数据如表2所示。
表1
Figure BDA0001574310910000191
表2
Figure BDA0001574310910000192
通过上述表1和表2可以看到，本发明机器学习识别方法由于能够基于相同的训练样本集对机器学习模型f1进行更多次的区别化学习训练，因此在相同的训练样本类别书和训练样本数量的条件下，本发明机器学习识别方法的识别精度均领先于参与对比的现有技术机器学习模型的识别精度，足以说明本发明的机器学习识别方法针对于多媒体数据类别识别具有很好的可行性和有效性。
综上所述，本发明基于嵌入编码与对比学习的机器学习识别方法，能够利用已知类别的一定量的多媒体数据样本采用不同的对比样本输入排列顺序对机器学习模型f1进行多次区别化的学习训练，即能够利用少量的训练样本对机器学习模型进行大量的学习训练来达到预期的类别识别效果，从而大幅降低了对海量训练样本的依赖，解决了现有的多媒体数据分类机器学习识别方法需要依赖大量的训练样本而导致实际应用受限的问题；同时，即便对于某一个多媒体数据类别未经过学习训练，只要将该多媒体数据类别的多媒体数据样本加入到识别对比样本数据库中，当待识别样本为该类别的多媒体数据时，机器学习模型f1输出的结果向量依然能够体现出该待识别样本与其他不同类别的对比样本之间的差异性以及与相同类别的对比样本之间的相关性，从而依然能够根据该相关性确定待识别样本的所属类别，从而能够方便的扩展对未经过学习训练的多媒体数据类别进行类别识别，能够解决因无法直接对未经学习训练的类别进行分类识别而导致通用性受限的问题；此外，在进行类别识别处理的过程中，可以采用数据局部选取的类别识别处理方式让每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，然后通过多次选取对比样本分别作为机器学习模型f1的输入对待识别样本进行多次类别识别处理的方式，以减少机器学习模型f1每次类别识别处理过程执行数据运算处理的数据量，避免机器学习模型f1处理效率过低或无法有效执行处理的问题。由此可见，本发明基于嵌入编码与对比学习的机器学习识别方法，很好的解决了现有多媒体数据分类机器学习识别方法因对大量训练样本的依赖以及因无法直接对未经学习训练的类别进行分类识别而导致实际应用性、通用性受限的问题，能够更加广泛有效的应用到更多的具体的多媒体数据分类使用场合中，具有广阔的技术应用和推广前景。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于嵌入编码与对比学习的机器学习识别方法，其特征在于，包括如下步骤：
步骤一：获取图像数据作为训练的多媒体数据，在多个不同已知类别的多媒体数据之中选取目标识别样本和对比样本，作为一个机器学习模型f1的输入，对机器学习模型f1进行学习训练；所述机器学习模型f1包括第一子学习模型fDP、第二子学习模型fDE和第三子函数模型fE，所述第一子学习模型fDP为卷积神经网络模型或全连接神经网络模型，所述第二子学习模型fDE为卷积神经网络模型或全连接神经网络模型，所述第三子函数模型fE为数据特征提取编码函数模型或数据降维编码函数模型；所选取的对比样本包含两个以上的不同类别的多个多媒体数据，且设置对比样本输入至机器学习模型f1的输入排列顺序，将目标识别样本和对比样本分别作为所述第三子函数模型fE的输入，由所述第三子函数模型fE分别输出相对应的目标识别数据样本和对比数据样本，并根据对比样本输入排列顺序，将目标识别数据样本与对比数据样本以预设定的组合规则进行组合，由此形成保留有对比样本输入排列顺序规则的多个数据样本组合，分别将各个多媒体数据样本组合作为所述第二子学习模型fDE的输入，并将各相应的第二子学习模型fDE的输出按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量，且所述第一子学习模型fDP的输出向量作为所述机器学习模型的结果向量；由此通过训练学习，使得学习训练所得的机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征目标识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，从而能够利用已知类别的多媒体数据样本采用不同的对比样本输入排列顺序对所述机器学习模型f1进行多次的学习训练；
步骤二：将图像数据作为待识别的多媒体数据，利用学习训练后的机器学习模型f1对待识别多媒体数据进行类别识别，进而实现对图像的分类识别。
2.根据权利要求1所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，将目标识别样本和对比样本分别输入至第三子函数模型fE得到相对应的目标识别数据样本和对比数据样本的具体方式为如下处理方式之中的一种：
处理方式①：将每个目标识别样本和每个对比样本分别输入至第三子函数模型fE，得到每个目标识别样本相对应的目标识别数据样本，以及每个对比样本相对应的对比数据样本；
处理方式②：先将各个对比样本进行按类别划分，将目标识别样本作为整体输入至第三子函数模型fE，将每个类别的对比样本分别输入至第三子函数模型fE，从而得到目标识别样本整体相对应的目标识别数据样本，以及每个类别的对比样本相对应的对比数据样本。
3.根据权利要求1所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，作为机器学习模型f1输入的目标识别样本为一个或多个，且均属于同一类别；
若作为机器学习模型f1输入的目标识别样本为一个，在将目标识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式①：将所述目标识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式②：先将各个对比样本进行按类别划分，然后将所述目标识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
若作为机器学习模型f1输入的目标识别样本为多个，在将目标识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式a：将每一个目标识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式b：先将各个对比样本进行按类别划分，然后将每一个目标识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
组合规则方式c：将全部目标识别样本作为整体分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式d：先将各个对比样本进行按类别划分，然后将全部目标识别样本作为整体分别与每一个类别的对比样本之间建立组合关系，分别进行组合。
4.根据权利要求1所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，在对机器学习模型f1进行学习训练的过程中，所述目标识别样本和对比样本从预设的多媒体数据样本库中进行选取，每次选取所述多媒体数据样本库中所包含的一部分已知类别的多媒体数据作为目标识别样本和对比样本对机器学习模型f1进行学习训练，并分多次从所述多媒体数据样本库中选取目标识别样本和对比样本对机器学习模型f1进行学习训练，以保证目标识别样本和对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少H次的对比样本选取操作，H为与设定的训练选取次数阈值。
5.根据权利要求1所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，所述利用学习训练后的机器学习模型f1对待识别多媒体数据进行类别识别的具体方式为：
获取作为待识别对象的多媒体数据作为待识别样本，以及从多个不同已知类别的多媒体数据之中选取的对比样本，作为学习训练后的机器学习模型f1的输入，所选取的对比样本包含两个以上的不同类别的多个多媒体数据，且设置对比样本输入至机器学习模型f1的输入排列顺序，将待识别样本和对比样本分别作为所述第三子函数模型fE的输入，由所述第三子函数模型fE分别输出相对应的待识别数据样本和对比数据样本，并根据对比样本输入排列顺序，将待识别数据样本与对比数据样本以预设定的组合规则进行组合，由此形成保留有对比样本输入排列顺序规则的多个数据样本组合，分别将各个多媒体数据样本组合作为所述第二子学习模型fDE的输入，并将各相应的第二子学习模型fDE的输出按照所述对比样本输入排列顺序规则排序构成一个数据向量，作为所述第一子学习模型fDP的输入向量，且所述第一子学习模型fDP的输出向量作为所述机器学习模型的结果向量；类别识别过程中，所述机器学习模型f1输出的结果向量中的每一个结果向量元素用以表征待识别样本与相应排列顺序位置上的一个对比样本所属类别之间的相关性，从而根据该相关性确定待识别样本的所属类别。
6.根据权利要求5所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，将待识别样本和对比样本分别输入至第三子函数模型fE得到相对应的待识别数据样本和对比数据样本的具体方式为如下处理方式之中的一种：
处理方式①：将每个待识别样本和每个对比样本分别输入至第三子函数模型fE，得到每个待识别样本相对应的待识别数据样本，以及每个对比样本相对应的对比数据样本；
处理方式②：先将各个对比样本进行按类别划分，将待识别样本作为整体输入至第三子函数模型fE，将每个类别的对比样本分别输入至第三子函数模型fE，从而得到待识别样本整体相对应的待识别数据样本，以及每个类别的对比样本相对应的对比数据样本。
7.根据权利要求5所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，所获取的待识别样本为一个或多个，且均属于同一类别；
若输入至机器学习模型f1的待识别样本为一个，在将待识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式①：将所述待识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式②：先将各个对比样本进行按类别划分，然后将所述待识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
若输入至机器学习模型f1的待识别样本为多个，在将待识别数据样本与对比数据样本以预设定的组合规则进行组合时，所述预设定的组合规则为如下方式之中的一种：
组合规则方式a：将每一个待识别样本分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式b：先将各个对比样本进行按类别划分，然后将每一个待识别样本分别与每一个类别的对比样本之间建立组合关系，分别进行组合；
组合规则方式c：将全部待识别样本作为整体分别与每一个对比样本之间建立配对组合关系，分别进行配对组合；
组合规则方式d：先将各个对比样本进行按类别划分，然后将全部待识别样本作为整体分别与每一个类别的对比样本之间建立组合关系，分别进行组合。
8.根据权利要求 5所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，所获取的待识别样本为一个或多个，且均属于同一类别；
若获取的待识别样本为多个，则可以采用分批次输入至所述机器学习模型f1进行识别处理，分批次输入至机器学习模型f1的具体方式为如下方式之中的一种：
分批次输入方式①：将全部对比样本分别与每一个待识别样本组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式②：先将各个对比样本进行按类别划分；然后从每一个类别中选取一个对比样本，再选取一个待识别样本，组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式③：先将各个对比样本进行按类别划分；然后从每一个类别中选取一个对比样本，与全部待识别样本一起，组成一个样本输入集合；由此形成多个样本输入集合，分次作为所述机器学习模型f1的输入；
分批次输入方式④：将全部对比样本与全部待识别样本组成一个样本输入集合，作为所述机器学习模型f1的输入。
9.根据权利要求8所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，根据机器学习模型f1多次输出的结果向量进行类别识别处理的具体方式为如下方式之中的一种：
多次输出类别识别方式①：统计对比各次输出的结果向量中的各结果向量元素，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别；
多次输出类别识别方式②：将机器学习模型f1各次输出的结果向量进行累加，得到累加结果向量，从而统计对比所述累加结果向量中各结果向量元素所表征的相关性，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别。
10.根据权利要求5所述基于嵌入编码与对比学习的机器学习识别方法，其特征在于，所述对比样本从预设的多媒体数据样本库中进行选取，每次选取的用以作为机器学习模型f1输入的对比样本类别数量L小于所述多媒体数据样本库中所包含的已知类别的多媒体数据的类别数量S，L和S均为大于1的整数，且需要从所述多媒体数据样本库中多次选取对比样本分别作为机器学习模型f1的输入，对待识别样本进行多次类别识别处理，以保证对比样本的选取遍历所述多媒体数据样本库中所包含的各个多媒体数据类别，且针对多媒体数据样本库中的每个多媒体数据类别均执行了至少K次的对比样本选取操作，K为与设定的识别选取次数阈值；
然后，统计对比机器学习模型f1各次类别识别处理所输出的结果向量中的各结果向量元素，找出相关性所体现的相关程度最高的一个结果向量元素，将该结果向量元素所对应的排列顺序位置上的一个对比样本所属类别判定为待识别样本所属类别。
CN201810129046.1A 2018-02-08 2018-02-08 一种基于嵌入编码与对比学习的机器学习识别方法 Active CN108345943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810129046.1A CN108345943B (zh) 2018-02-08 2018-02-08 一种基于嵌入编码与对比学习的机器学习识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810129046.1A CN108345943B (zh) 2018-02-08 2018-02-08 一种基于嵌入编码与对比学习的机器学习识别方法

Publications (2)

Publication Number Publication Date
CN108345943A CN108345943A (zh) 2018-07-31
CN108345943B true CN108345943B (zh) 2020-04-07

Family

ID=62958714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810129046.1A Active CN108345943B (zh) 2018-02-08 2018-02-08 一种基于嵌入编码与对比学习的机器学习识别方法

Country Status (1)

Country Link
CN (1) CN108345943B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288085B (zh) * 2019-06-20 2022-06-03 厦门市美亚柏科信息股份有限公司 一种数据处理方法、装置、系统及存储介质
CN112598139B (zh) * 2020-12-22 2023-08-18 百度在线网络技术（北京）有限公司 类别编码方法、装置、设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679160A (zh) * 2014-01-03 2014-03-26 苏州大学 一种人脸识别方法和装置
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN106022392A (zh) * 2016-06-02 2016-10-12 华南理工大学 一种深度神经网络样本自动取舍的训练方法
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106649715A (zh) * 2016-12-21 2017-05-10 中国人民解放军国防科学技术大学 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679160A (zh) * 2014-01-03 2014-03-26 苏州大学 一种人脸识别方法和装置
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN106022392A (zh) * 2016-06-02 2016-10-12 华南理工大学 一种深度神经网络样本自动取舍的训练方法
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106649715A (zh) * 2016-12-21 2017-05-10 中国人民解放军国防科学技术大学 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep residual learning for image recognition;Kaiming He等;《IEEE conference on computer vision and pattern recognition》;20161231;770–778 *
大规模机器学习理论研究与应用;张利军;《中国博士学位论文全文数据库 信息科技辑》;20131215(第12期);I140-2 *
神经网络学习样本点的选取方法比较;王少波 等;《郑州大学学报（工学版）》;20030330(第1期);63-65,69 *

Also Published As

Publication number Publication date
CN108345943A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108229588B (zh) 一种基于深度学习的机器学习识别方法
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN109189767B (zh) 数据处理方法、装置、电子设备及存储介质
CN105303179A (zh) 指纹识别方法、装置
CN110503161B (zh) 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN112199462A (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN103927550B (zh) 一种手写体数字识别方法及系统
CN111914911B (zh) 一种基于改进深度相对距离学习模型的车辆再识别方法
CN108345942B (zh) 一种基于嵌入编码学习的机器学习识别方法
CN108229692B (zh) 一种基于双重对比学习的机器学习识别方法
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN115659966A (zh) 基于动态异构图和多级注意力的谣言检测方法及系统
CN111626357B (zh) 一种基于神经网络模型的图像识别方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN108345943B (zh) 一种基于嵌入编码与对比学习的机器学习识别方法
CN110991247B (zh) 一种基于深度学习与nca融合的电子元器件识别方法
Lin et al. Integrated circuit board object detection and image augmentation fusion model based on YOLO
CN108229693B (zh) 一种基于对比学习的机器学习识别装置及方法
CN111222558A (zh) 图像处理方法及存储介质
CN118294455A (zh) 钕铁硼电镀毛坯的智能检测系统及方法
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220126

Address after: 408299 No. 7, floor 1, building B, No. 16, Second Branch Road, Pingdu East Road, Sanhe street, Fengdu County, Chongqing

Patentee after: Chongqing Maoqiao Technology Co.,Ltd.

Address before: No. 69 lijiatuo Chongqing District of Banan City Road 400054 red

Patentee before: Chongqing University of Technology

TR01 Transfer of patent right