CN112784130A - 孪生网络模型训练、度量方法、装置、介质和设备 - Google Patents

孪生网络模型训练、度量方法、装置、介质和设备 Download PDF

Info

Publication number
CN112784130A
CN112784130A CN202110113716.2A CN202110113716A CN112784130A CN 112784130 A CN112784130 A CN 112784130A CN 202110113716 A CN202110113716 A CN 202110113716A CN 112784130 A CN112784130 A CN 112784130A
Authority
CN
China
Prior art keywords
data
classification
model
sample data
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110113716.2A
Other languages
English (en)
Other versions
CN112784130B (zh
Inventor
李鹏
曹偲
潘颂声
刘华平
赵翔宇
熊贝尔
陈梦
金强
蔡苗苗
白杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Cloud Music Technology Co Ltd
Original Assignee
Hangzhou Netease Cloud Music Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Cloud Music Technology Co Ltd filed Critical Hangzhou Netease Cloud Music Technology Co Ltd
Priority to CN202110113716.2A priority Critical patent/CN112784130B/zh
Publication of CN112784130A publication Critical patent/CN112784130A/zh
Application granted granted Critical
Publication of CN112784130B publication Critical patent/CN112784130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种孪生网络模型训练、度量方法、装置、介质和设备。先预训练一个标签分类模型，然后利用训练出的标签分类模型，通过增加编码神经网络分支的方式，构造孪生网络模型，从而可以基于包括标签分类学习和度量学习的多任务学习的方式，训练得到用于推荐系统中的数据相似度度量的孪生网络模型。通过分阶段训练以及多任务学习约束的方式，可以有效提高模型的稳定性和泛化能力，并提高训练出的用于推荐系统中的数据相似度度量的孪生网络模型的准确性。进一步的，可以基于训练出的孪生网络模型进行数据相似度度量，有效提高数据相似度度量的准确性。将训练出的孪生网络模型用于歌曲相似度度量，即可以有效提高歌曲相似度度量的准确性。

Description

孪生网络模型训练、度量方法、装置、介质和设备
技术领域
本公开涉及互联网技术领域，特别涉及一种孪生网络模型训练、度量方法、装置、介质和设备。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
推荐系统中的数据相似度度量具有广泛的应用价值，因此受到了极大的重视。进行相似度度量的数据可以为任意类型，例如，可以为音频(如音乐)类型、或视频类型或者文本类型(如新闻)等等。但是目前的数据相似度度量的准确性仍然难以得到保证。
以进行歌曲相似度度量为例，歌曲相似度度量对音乐分发、歌曲推荐、歌曲关联、曲库管理、音乐制作都有明显的促进作用。歌曲相似度度量可以从很多维度考虑，包括从歌手、歌词、流派、用户收听行为等维度进行歌曲相似度度量。
例如，进行歌曲相似度度量时，可以认为同一个歌手的作品可能具有较高的相似度；两首歌的歌词有数量较多的共有词汇，则可能具有较高的相似度；同属于摇滚流派的歌曲，在听感上可能比较相似，可能具有较高的相似度；两首歌在众多用户的收藏中同时出现，则可能有较高的相似度等等。
需要说明的是，上述歌曲相似度度量维度并未从歌曲音频内容本身出发，从音频信号层面来考虑如何度量歌曲间的听感相似度，因此对歌曲的相似度度量不够准确。
一般来说，两首歌曲听感上是否相似，与音频信号本身的属性密切相关，例如使用的乐器类型、演唱者的音色、旋律、和弦和节奏等等。然而，在度量两首歌曲听感相似度时，很难一一分析这些属性进行对比，即使能够拆分成不同属性，也比较难给出每个属性上的相似度度量方法，以及最终的融合策略。因此，基于音频内容的歌曲相似度度量，一般是从音频信号中抽取特征，建立机器学习模型，通过回归、分类等方式来判断两首歌曲的相似度，或者直接基于相关性(correlation)计算，从特征中计算相关值，作为相似度打分。
但是目前相关技术基于音频特征进行歌曲相似度度量的准确性仍然有待提高。
发明内容
本公开实施例提供一种孪生网络模型训练、度量方法、装置、介质和设备，用于解决数据相似度度量的准确性较低的问题。
第一方面，本公开提供了一种用于推荐系统中的数据相似度度量的孪生网络模型训练方法，所述方法包括：
将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，所述标签分类模型包括基础神经网络和分类神经网络，所述基础神经网络用于将输入的样本数据转换为设定维度的第一向量，所述分类神经网络用于根据所述基础神经网络传入的所述第一向量输出所述至少一个标签类别下对应的分类信息；
基于所述已训练的标签分类模型构造孪生网络模型，包括：在所述标签分类模型的基础神经网络上，增加一个编码神经网络分支，所述编码神经网络用于根据所述基础神经网络传入的所述第一向量输出指定维度的第二向量；
将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，所述一对样本数据包括正样本对或者负样本对，所述正样本对包括一个样本数据以及一个与该样本数据相似的正样本数据，所述负样本对包括一个样本数据以及一个与该样本数据不相似的负样本数据；
基于所述分类神经网络获得所述一对样本数据的标签分类预测值，并与真实标签分类值计算标签分类损失函数值；基于所述编码神经网络获得所述一对样本数据的第二向量，并计算两个向量之间的度量学习损失函数值，基于所述标签分类损失函数值和所述度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
根据本公开实施例提供的方案，可以先预训练一个标签分类模型，然后利用训练出的标签分类模型，通过增加编码神经网络分支的方式，构造孪生网络模型，从而可以基于包括标签分类学习和度量学习的多任务学习的方式，训练得到用于推荐系统中的数据相似度度量的孪生网络模型。通过分阶段训练以及多任务学习约束的方式，可以有效提高模型的稳定性和泛化能力，并提高训练出的用于推荐系统中的数据相似度度量的孪生网络模型的准确性。将该孪生网络模型用于数据相似度度量，即可以有效提高数据相似度度量的准确性。
在一种可能的实现方式中，待训练标签分类模型输出至少两个标签类别下的分类信息，将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，包括：
将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的所述至少两个标签类别下的分类标签信息，训练得到已训练的标签分类模型。
也就是说，在一种可能的实现方式中，标签分类模型也可以选择多任务学习模型，以进一步提高基于标签分类模型训练出的用于推荐系统中的数据相似度度量的孪生网络模型的泛化能力和准确性。
在一种可能的实现方式中，所述推荐系统包含具有分类标签信息的待推荐数据，所述第一样本数据为所述推荐系统保存的待推荐数据。
也就是说，在一种可能的实现方式中，第一样本数据可以直接选择推荐系统保存的待推荐数据，无需通过人工标注的方式来获得，使得标签分类模型的训练数据更易获取，并有效降低训练数据的获取成本。
在一种可能的实现方式中，所述正样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述正样本对中的正样本数据为所述推荐系统推荐的该样本数据的关联待推荐数据中的一个；
所述负样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述负样本对中的负样本数据为所述推荐系统保存的至少一个分类标签信息与该样本数据不同的待推荐数据。
也就是说，在一种可能的实现方式中，第二样本数据可以直接选择推荐系统保存的待推荐数据，无需通过人工标注的方式来获得，使得孪生网络模型的训练数据更易获取，并有效降低训练数据的获取成本。
在一种可能的实现方式中，所述方法还包括：
利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新。
也就是说，在一种可能的实现方式中，还可以通过人工标注方式获得的高精度训练样本，进一步对训练出的孪生网络模型进行微调，以进一步提高孪生网络模型进行数据相似性度量的准确性。
在一种可能的实现方式中，利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新，包括：
从训练出的所述孪生网络模型中，移除所述标签分类模型中的分类神经网络，得到调整后的孪生网络模型；
利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对调整后的孪生网络模型的至少一个模型参数进行更新。
也就是说，在一种可能的实现方式中，可以从训练出的孪生网络模型中，移除标签分类模型，并对调整后的孪生网络模型进行微调，从而使得训练样本无需对分类标签信息进行人工标注，降低人工标注的成本，减少人工标注的工作量，并降低训练样本的获取难度。
第二方面，本公开还提供了一种用于推荐系统中的数据相似度度量的孪生网络模型训练装置，所述装置包括：
第一训练模块，用于将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，所述标签分类模型包括基础神经网络和分类神经网络，所述基础神经网络用于将输入的样本数据转换为设定维度的第一向量，所述分类神经网络用于根据所述基础神经网络传入的所述第一向量输出所述至少一个标签类别下对应的分类信息；
构造模块，用于基于所述已训练的标签分类模型构造孪生网络模型，包括：在所述标签分类模型的基础神经网络上，增加一个编码神经网络分支，所述编码神经网络用于根据所述基础神经网络传入的所述第一向量输出指定维度的第二向量；
第二训练模块，用于将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，所述一对样本数据包括正样本对或者负样本对，所述正样本对包括一个样本数据以及一个与该样本数据相似的正样本数据，所述负样本对包括一个样本数据以及一个与该样本数据不相似的负样本数据；基于所述分类神经网络获得所述一对样本数据的标签分类预测值，并与真实标签分类值计算标签分类损失函数值；基于所述编码神经网络获得所述一对样本数据的第二向量，并计算两个向量之间的度量学习损失函数值，基于所述标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
在一种可能的实现方式中，待训练标签分类模型输出至少两个标签类别下的分类信息，所述第一训练模块具体用于将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的所述至少两个标签类别下的分类标签信息，训练得到已训练的标签分类模型。
在一种可能的实现方式中，所述推荐系统包含具有分类标签信息的待推荐数据，所述第一样本数据为所述推荐系统保存的待推荐数据。
在一种可能的实现方式中，所述正样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述正样本对中的正样本数据为所述推荐系统推荐的该样本数据的关联待推荐数据中的一个；
所述负样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述负样本对中的负样本数据为所述推荐系统保存的至少一个分类标签信息与该样本数据不同的待推荐数据。
在一种可能的实现方式中，所述装置还包括微调模块：
所述微调模块，用于利用人工标注正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新。
在一种可能的实现方式中，所述微调模块，具体用于从训练出的所述孪生网络模型中，移除所述标签分类模型中的分类神经网络，得到调整后的孪生网络模型；利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对调整后的孪生网络模型的至少一个模型参数进行更新。
第三方面，本公开还提供了一种数据相似度度量方法，所述方法包括：
将第一数据和第二数据作为根据如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的第三向量和第四向量；
根据所述孪生网络模型输出的第三向量和第四向量，确定所述第一数据和所述第二数据的数据相似度。
也就是说，可以基于如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练出的孪生网络模型进行两个数据的数据相似度度量，有效提高数据相似度度量的准确性。而将训练出的孪生网络模型用于歌曲相似度度量，即可以有效提高歌曲相似度度量的准确性。
第四方面，本公开还提供了一种数据相似度度量装置，所述装置包括：
模型输入模块，用于将第一数据和第二数据作为根据如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的第三向量和第四向量；
度量模块，用于根据所述孪生网络模型输出的第三向量和第四向量，确定所述第一数据和所述第二数据的数据相似度。
第五方面，本公开还提供了一种数据相似度度量方法，所述方法包括：
将至少两个数据作为根据如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的向量；
根据所述孪生网络模型输出的向量，对所述至少两个数据进行聚类。
也就是说，可以基于如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练出的孪生网络模型，通过数据聚类的方式，进行多个数据的数据相似度度量，有效提高数据相似度度量的准确性。而将训练出的孪生网络模型用于歌曲相似度度量，即可以有效提高歌曲相似度度量的准确性。
第六方面，本公开还提供了一种数据相似度度量装置，所述装置包括：
输入模块，用于将至少两个数据作为根据如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的向量；
聚类模块，用于根据所述孪生网络模型输出的向量，对所述至少两个数据进行聚类。
第七方面，本公开还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现如上所述的方法。
第八方面，本公开还提供了一种数据处理设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存储的程序时，实现如上所述的方法步骤。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1(a)为本公开实施例提供的基于单任务学习的神经网络结构的示意图；
图1(b)为本公开实施例提供的基于多任务学习的神经网络结构的示意图；
图2为本公开实施例提供的孪生网络模型应用于度量学习时的结构示意图；
图3为本公开实施例提供的用于推荐系统中的数据相似度度量的孪生网络模型训练方法的流程示意图；
图4为本公开实施例提供的用于推荐系统中的数据相似度度量的孪生网络模型训练方法的流程示意图；
图5为本公开实施例提供的针对标签分类模型的数据流向示意图；
图6为本公开实施例提供的针对构造出的孪生网络模型的数据流向示意图；
图7为本公开实施例提供的微调时的数据流向示意图；
图8为本公开实施例提供的数据相似度度量方法的流程示意图；
图9为本公开实施例提供的数据相似度度量方法的流程示意图；
图10为本公开实施例提供的用于推荐系统中的数据相似度度量的孪生网络模型训练装置的结构示意图；
图11为本公开实施例提供的数据相似度度量装置的结构示意图；
图12为本公开实施例提供的数据相似度度量装置的结构示意图；
图13为本公开实施例提供的处理设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本公开，下面对几个概念进行简单说明。
深度学习(deep learning)：利用深度神经网络来发掘数据的高层特征表示，以更准确地表征数据分布的特性。
度量学习(metric learning)：一个度量(metric)是指用于计算一个集合中元素之间距离的函数，该集合称作度量空间。在集合元素上应用度量函数后，可以评估集合元素之间的距离，这个距离可以用来衡量集合元素之间的相似度。度量学习也可以称为距离度量学习，可以用机器学习的方法，在线下通过训练集学习出一个合适的度量函数。
嵌入(embedding)：深度学习领域常用的概念，是指将输入数据通过网络映射为一个固定维度的向量进行表示。
深度度量学习(deep metric learning)：即，使用深度神经网络进行度量学习。一般来说，其基本思想是将原始(raw)元素输入到深度神经网络中，通过该网络映射为一个N维embedding向量空间中的embedding向量，然后基于embedding向量间的余弦(cosine)或欧式距离来衡量元素间的相似度。而如何训练一个合适的神经网络，使得相似的两个raw元素经过映射后的embedding向量距离近，不相似的两个raw元素经过映射后的embedding向量距离远，是深度度量学习研究的关键。
单任务学习(single-task learning)：在机器学习中，只学习一个目标输出的任务为单任务学习，例如，训练一个手写数字字符分类器、或者训练一个语音性别分类器等，都属于单任务学习。
基于单任务学习的神经网络结构示意图可以如图1(a)所示。单任务学习中，可以分别针对每个任务(例如，分别记为任务1～任务4(Task1～Task4))，通过输入(可以统一记为INPUTS)来获得对应的目标输出(可以分别对应记为Task1～Task4)。
多任务学习(multi-task learning)：和单任务学习相对应，在多任务学习中，会同时存在多个目标输出，模型训练过程中需要同时优化多个目标输出。例如，一个语音性别/年龄分类器，该模型同时输出性别、年龄两个类别下的信息，训练时就需要同时考虑这两个目标输出。通常在多任务学习中，多个目标输出会共享一些基本的网络结构，而在输出时引出各自的分支，并计算各自的损失函数值(loss)，模型整体的loss是这些多任务输出loss的加权和。因此，整个网络在进行多任务学习时，会兼顾多个输出目标，且多个输出目标间相互约束，使得模型整体泛化能力更强。
假设图1所示的四个任务(Task1～Task4)通过多任务学习来实现，基于多任务学习的神经网络结构示意图可以如图1(b)所示。多任务学习中，可以针对所有任务(分别记为Task1～Task4)，通过输入(可以记为INPUTS)来获得四个目标输出(可以分别对应记为Task1～Task4)。
孪生网络(Siamese Network)：孪生网络属于深度神经网络中的概念，其基本定义是，孪生网络中的第一神经网络(network1)和第二神经网络(network2)其结构是相同的，且网络权重参数是共享的，因此，实质上network1和network2可以理解为同一个网络。
孪生网络在深度度量学习中有广泛的使用，孪生网络模型应用于度量学习时的结构示意图可以如图2所示。一般是将元素1(可以记为X1)和元素2(可以记为X2)分别经过network1和network2，映射为embedding向量(可以分别记为GW(X1)和GW(X2))，然后衡量两个向量间的欧式或cosine距离(可以记为Distance<GW(X1)，GW(X2)>)，得到两个向量间的距离度量值(可以记为EW)，进而可以根据两个向量间的距离度量值确定元素1和元素2的相似度。而其中的network1和network2实际上是同一个网络，网络权重参数(W)共享。
基于孪生网络在度量学习中的应用，本公开考虑基于孪生网络模型来实现数据相似度度量。但是在孪生网络的训练流程和模型结构方面，对孪生网络进行改进，使得训练出的孪生网络模型稳定性更好，泛化能力更强，进行数据相似度度量的准确性更高。
其中，在训练流程方面，引入多步骤训练和多任务学习的技术构思，可以先预训练一个标签分类模型。然后，在该标签分类模型的基础上构造孪生网络，进行孪生网络度量学习，以优化模型收敛效果和稳定性，且度量学习过程中仍然保持标签分类的多任务约束，通过任务间的相互约束提高模型的泛化能力。
在模型结构方面，基于多任务学习的技术构思，在孪生网络模型中同时引出标签分类和度量学习两个分支，使得可以使用多任务学习进行训练。基于多任务学习的模型结构，相比于直接进行度量学习，有更多的约束，可以将标签分类融入到可以用于数据相似度度量的孪生网络模型训练中，使得模型泛化能力更佳。
基于上述发明构思，本公开实施例提供一种用于推荐系统中的数据相似度度量的孪生网络模型训练方法，该方法的步骤流程可以如图3所示，包括：
步骤101、将第一样本数据作为待训练标签分类模型的输入，根据第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型。
在本实施例中，标签分类模型可以包括基础神经网络和分类神经网络。基础神经网络用于将输入的样本数据转换为设定维度的第一向量，分类神经网络用于根据基础神经网络传入的第一向量输出至少一个标签类别下对应的分类信息。
在一种可能的实现方式中，基础神经网络可以但不限于采用卷积神经网络(CNN)+长短期记忆网络(LSTM，循环神经网络RNN的一种典型结构)的结构。
在一种可能的实现方式中，分类神经网络可以采用全连接网络。且全连接网络可以采用多任务学习的模型结构，并可以进行多个softmax分类器输出。
在本步骤中，可以将第一样本数据作为待训练标签分类模型的输入，经基础神经网络，将输入的样本数据转换为设定维度的第一向量，再经分类神经网络，输出至少一个标签类别下对应的分类信息。
这样，即可以根据标签分类模型输出的至少一个标签类别下对应的分类信息，以及第一样本数据的至少一个分类标签信息，即基于标签分类预测值和真实标签分类值，计算损失函数值，训练得到已训练的标签分类模型。
需要说明的是，本公开训练出的用于推荐系统中的数据相似度度量的孪生网络模型，进行相似度度量的数据可以为任意类型的数据。对应的，第一样本数据可以理解为需要进行数据相似度度量的任意类型的数据，例如，第一样本数据可以理解为音频类型的数据，如歌曲，也可以理解为视频类型的数据，也可以理解为文本类型的数据等等。
另外需要说明的是，标签分类模型可以采用单任务学习模型，也可以采用多任务学习模型。在一种可能的实现方式中，为了进一步提高模型的泛化能力，标签分类模型可以采用多任务学习模型。也就是说，预训练的标签分类模型也可以基于多任务学习进行训练，以进一步优化基于标签分类模型得到的孪生网络模型的泛化能力。
此时，待训练标签分类模型可以输出至少两个标签类别下的分类信息，将第一样本数据作为待训练标签分类模型的输入后，可以根据第一样本数据的与输出的每个标签分类预测值对应的分类标签信息，训练得到已训练的标签分类模型。
其中，根据第一样本数据的与输出的每个标签分类预测值对应的分类标签信息，训练得到已训练的标签分类模型，可以理解为，针对每个标签分类预测值，根据该标签分类预测值和对应的真实标签分类值计算得到一个损失函数值。将每个损失函数值的加权值求和得到标签分类模型对应的损失函数值，并基于该损失函数值训练得到已训练的标签分类模型。
例如，假设针对一个第一样本数据，待训练标签分类模型输出三个标签类别下的预测分类信息，分别记为A1、B1和C1。该第一样本数据对应的在三个标签类别下的真实分类信息分别记为A2、B2和C2。
那么，可以基于A1和A2计算出一个损失函数值，可以记为LossA。基于B1和B2计算出一个损失函数值，可以记为LossB。基于C1和C2计算出一个损失函数值，可以记为LossC。并可以将通过加权系数q1与LossA相乘得到的加权值(可以记为q1LossA)、通过加权系数q2与LossB相乘得到的加权值(可以记为q2LossB)，和通过加权系数q3与LossC相乘得到的加权值(可以记为q3LossC)，其中q1、q2和q3之和为1，求和得到标签分类模型对应的损失函数值(可以记为LossLABEL)，并基于LossLABEL训练标签分类模型。
此外，需要进一步说明的是，除了在孪生网络的训练流程和模型结构方面进行改进之外，考虑到引入多步骤训练和多任务学习的技术构思之后，对训练数据集的数量质量要求可以适当降低，本公开在训练数据的准备方面也可以进行改进，以降低训练数据集的准备难度。
其中，在进行标签分类模型的预训练时，样本数据可以选择推荐系统已有的具有分类标签信息的待推荐数据，而无需由人工标注获得样本数据，降低训练数据集的获取成本。
即在一种可能的实现方式中，若推荐系统包含具有分类标签信息的待推荐数据，第一样本数据可以是推荐系统保存的待推荐数据。即可以将推荐系统中已有的具有分类标签信息的数据作为第一样本数据，而无需经人工标注获得第一样本数据，有效减小样本数据的获取难度，并降低人工标注成本。
当然，第一样本数据不限于是推荐系统保存的待推荐数据，也可以通过其他方式来获取，例如通过网络爬取的方式，获得具有分类标签信息的数据作为第一样本数据。
步骤102、基于已训练的标签分类模型构造孪生网络模型。
训练得到已训练的标签分类模型之后，标签分类模型(包括基础神经网络和分类神经网络)的权值已经训练好，在本步骤中，可以基于已训练的标签分类模型构造孪生网络模型。
由于孪生网络模型中的第一神经网络(network1)和第二神经网络(network2)实质上是同一个网络，在本步骤中，可以在标签分类模型的基础神经网络上，增加一个编码神经网络分支，得到network1(也即network2)。编码神经网络用于根据基础神经网络传入的第一向量输出指定维度的第二向量。在一种可能的实现方式中，编码神经网络可以采用全连接网络。
步骤103、将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，基于标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
将在标签分类模型的基础神经网络上，增加一个编码神经网络分支形成的神经网络作为孪生网络模型的network1和network2，此时的孪生网络模型构成了一个包括标签分类学习和度量学习的多任务学习模型。
将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，可以基于分类神经网络获得一对样本数据的标签分类预测值，并可以根据获得的标签分类预测值，以及真实标签分类值，计算得到标签分类损失函数值。还可以基于编码神经网络获得一对样本数据的第二向量，并可以计算两个向量之间的度量学习损失函数值。进而可以基于标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
第二样本数据可以理解为需要进行数据相似度度量的任意类型的数据，且与第一样本数据的类型一致，例如，可以为音频类型的数据，或视频类型的数据，或文本类型的数据等等。
基于标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型，可以理解为，将标签分类损失函数值的加权值，以及度量学习损失函数值的加权值求和得到孪生网络模型对应的损失函数值，并基于该损失函数值训练得到已训练的孪生网络模型。
另外需要说明的是，向待训练孪生网络模型输入的一对样本数据可以包括正样本对或者负样本对。正样本对可以理解为包括一个样本数据以及一个与该样本数据相似的正样本数据。负样本对可以理解为包括一个样本数据以及一个与该样本数据不相似的负样本数据。
在对基于标签分类模型构造出的孪生网络模型进行训练时，每一对样本数据(包括正样本对和负样本对)也均可以从推荐系统中获取，也无需由人工标注获得样本数据，以降低训练数据集的获取成本。
即在一种可能的实现方式中，正样本对中的样本数据可以为推荐系统保存的具有分类标签信息的待推荐数据，正样本对中的正样本数据可以为推荐系统推荐的该样本数据的关联待推荐数据中的一个。
也就是说，由于孪生网络模型仍然需要进行标签分类学习，因此，第二样本数据中的正样本对也可以从推荐系统保存的具有分类标签信息的待推荐数据中获取。其中，可以将推荐系统中保存的任意一个具有分类标签信息的数据作为第二样本数据的正样本对中的样本数据，并认为推荐系统推荐的该样本数据的关联待推荐数据与该样本数据相似，从中确定一个作为正样本数据。这样，无需经人工标注获得第二样本数据的正样本对，有效减小样本数据的获取难度，并降低人工标注成本。
负样本对中的样本数据可以为推荐系统保存的具有分类标签信息的待推荐数据，负样本对中的负样本数据可以为推荐系统保存的至少一个分类标签信息与该样本数据不同的待推荐数据。
也就是说，与正样本对类似的，由于孪生网络模型仍然需要进行标签分类学习，因此，第二样本数据中的负样本对也可以从推荐系统保存的具有分类标签信息的待推荐数据中获取。其中，可以将推荐系统中保存的任意一个具有分类标签信息的数据作为第二样本数据的负样本对中的样本数据，并认为分类标签信息与该样本数据不同(至少一个分类标签信息与该样本数据不同，即可以理解为分类标签信息与该样本数据不同)的待推荐数据与该样本数据不相似，从中确定一个作为负样本数据。这样，无需经人工标注获得第二样本数据的负样本对，有效减小样本数据的获取难度，并降低人工标注成本。
需要进一步说明的是，在一种可能的实现方式中，一个正样本对和一个负样本对中的样本数据可以为推荐系统保存的同一个具有分类标签信息的数据，该正样本对中进一步包括一个推荐系统推荐的该样本数据的关联待推荐数据，该负样本对进一步包括一个推荐系统保存的分类标签信息与该样本数据不同的数据。由于作为正样本数据和负样本数据的基准的样本数据相同，通过这种方式设置的正样本对和负样本对进行模型训练，可以进一步提高训练出的模型的准确性。
为了进一步提高训练出的孪生网络模型的准确性，并使得训练出的孪生网络模型能更好地适配于可能的数据相似度度量场景，基于多步骤训练和多任务学习的技术构思，在本公开中，还可以利用少量人工标注方式获得的高质量正样本对和负样本对(这部分正样本对和负样本对可以理解为未曾用于训练孪生网络模型，且与可能的数据相似度度量场景匹配)，按照较小的学习率参数，以较小的幅度对训练出的孪生网络模型的网络权值参数进行微调。
由于训练出的孪生网络模型已经基于一部分训练样本完成了训练(或者理解为训练到了一定程度)，对训练出的孪生网络模型的网络权值参数进行微调的样本数据数量可以较少，从而有效降低人工标注成本。而由于经人工标注的训练样本集的数据质量较高，可以有效提高微调后得到的孪生网络模型的数据相似度度量效果。
需要进一步说明的是，在一种可能的实现方式中，由于训练得到的孪生网络模型已经可以保证一定的数据相似度度量的准确性，因此，可以无需再进行多任务约束，可以在去除标签分类任务的约束后，对孪生网络模型进行微调，从而还可以使得无需对标签分类信息进行人工标注，显著减少人工标注的成本。
进一步的，本公开实施例提供一种用于推荐系统中的数据相似度度量的孪生网络模型训练方法，该方法的步骤201～步骤203分别与步骤101～步骤103相同，并进一步包括步骤204，该方法的步骤流程可以如图4所示，步骤204包括：
步骤204、按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新。
在利用第二样本数据中的正样本对和负样本对，训练得到已训练的孪生网络模型之后，可以进一步对已训练的孪生网络模型进行微调。
在本步骤中，可以利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的孪生网络模型的至少一个模型参数进行更新。用于对已训练的孪生网络模型进行微调的正样本对或负样本对，可以理解为数据类型与第一样本数据(以及第二样本数据)的类型一致。
对已训练的孪生网络模型进行微调时，可以保持标签分类学习和度量学习的多任务约束，而考虑到已训练的孪生网络模型已经可以保证一定的准确性，也可以去除标签分类学习任务的约束，仅保留度量学习任务。
在一种可能的实现方式中，为了减少人工标注的工作量，降低人工标注成本，可以从训练出的孪生网络模型中，移除标签分类模型中的分类神经网络，得到调整后的孪生网络模型。并利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对调整后的孪生网络模型的至少一个模型参数进行更新。
下面以训练出的孪生网络模型用于音乐推荐场景中的歌曲相似度度量为例，进一步对标签分类模型的训练过程，孪生网络模型的构造和训练过程，以及，孪生网络模型的微调过程进行非限制性说明。
针对标签分类模型的数据流向示意图可以如图5所示。假设标签分类模型采用多任务学习模型，输出至少两个标签类别下的分类信息，图5中以标签至少包括流派、语种和歌手类别为例进行示意，输出的流派标签类别下的分类信息可以是摇滚、古典或民谣等，输出的语种标签类别下的分类信息可以是国语、英语或日语等，输出的歌手类别标签类别下的分类信息可以是男、女或童声等。
由于训练出的孪生网络模型用于推荐系统中的歌曲相似度度量，针对标签分类模型的训练过程中，获取的第一样本数据可以理解为音乐推荐系统(如音乐流媒体平台)歌曲库中保存的具有分类标签信息的待推荐歌曲。
可以理解为，在目前成熟的音乐流媒体平台，歌曲库中歌曲的标签体系建设是较为完备的，每首歌曲都会带有丰富的分类标签信息。而这些分类标签信息由于长时间业务运营的积累，在数量上较为丰富，在质量上准确性也较高。因此，本公开考虑利用歌曲库中具有分类标签信息的歌曲作为训练标签分类模型的第一样本数据。这样，可以充分利用歌曲库中已有的标签信息，第一样本数据(集)可以自动获取，无需专门的人工参与和标注，降低了第一样本数据(集)的获取成本。
将第一样本数据作为待训练标签分类模型的输入，可以是从歌曲的脉冲编码调制(PCM)音频中提取音频原始(raw)特征，将提取出的音频raw特征作为待训练标签分类模型的输入。
音频raw特征可以是任意类型的音频特征，例如，可以是梅尔谱特征，或者梅尔倒谱系数(MFCC)特征，或者色度(chroma)特征等。当然，如果是进行文本数据相似度度量，文本raw特征可以是任意类型的文本特征，例如，可以是word2vec这种embedding特征，也可以是bag-of-words这种词袋特征。如果是进行视频数据相似度度量，视频raw特征可以是任意类型的视频特征。
以输入待训练标签分类模型的音频raw特征为梅尔谱特征为例，可以对歌曲的PCM音频进行短时傅里叶变换(SIFT)，然后提取梅尔谱，得到以帧为单位的固定维度梅尔谱特征向量序列。
进而可以将歌曲对应的梅尔谱特征向量序列输入到基础神经网络，通过基础神经网络将梅尔谱特征向量序列映射为一个固定维度的向量。
基础神经网络可以采用任意可以将音频raw特征映射为一个固定维度的向量的神经网络结构，例如可以采用卷积神经网络(CNN)+长短期记忆网络(LSTM，循环神经网络RNN的一种典型结构)的结构。
假设基础神经网络采用CNN+LSTM的结构，那么可以将歌曲对应的梅尔谱特征向量序列，划分为固定窗口时长的片段，例如10秒的片段，对每个固定窗口时长的片段应用CNN，通过CNN映射为一个固定维度的向量，然后，将CNN输出的各个向量传入LSTM，经LSTM编码后映射为一个固定维度的向量。
经基础神经网络将音频raw特征映射为一个固定维度的向量之后，可以传入分类神经网络。分类神经网络可以采用全连接网络，全连接网络可以采用多任务学习的模型结构，并可以进行多个softmax分类器输出。
可以理解为，每个分类器对应一种标签，例如如图5所示，标签包括流派、语种和歌手类别等。以对应流派标签的分类器为例，该分类器可以将歌曲分类为摇滚、古典和民谣等中的一个。以对应语种标签的分类器为例，该分类器可以将歌曲分类为国语、英语和日语等中的一个。以对应歌手类别标签的分类器为例，该分类器可以将歌曲分类为男、女和童声等中的一个。
如果是进行文本数据相似度度量，标签可以包括情感、主题等。以对应情感标签的分类器为例，该分类器可以将文本分类为正向、负向、中性等中的一个。以对应主题标签的分类器为例，该分类器可以将文本分类为经济、政治、娱乐等中的一个。
需要指出的是，多任务类别softmax分类器在训练时，损失函数可以采用经典的softmax loss。基于待训练标签分类模型输出的每个标签类别下的分类信息，以及歌曲每个标签类别下真实的分类信息，可以根据softmax loss，训练得到已训练的标签分类模型。
仍接上例，训练得到标签分类模型后，可以基于训练出的标签分类模型构造孪生网络模型，针对构造出的孪生网络模型的数据流向示意图可以如图6所示。
完成标签分类模型的训练后，基础神经网络和分类神经网络的权值已经训练好，此时，可以从基础神经网络上引出一个分支，在该分支上配置一个编码神经网络，利用编码神经网络进一步输出一个固定维度的向量。其中，编码神经网络可以采用全连接网络。
此时，可以采用孪生网络的构造思想，利用在标签分类模型上增加编码神经网络分支得到的模型，来构造孪生网络。如图6所示，左右两边的两个基础神经网络完全相同、两个编码神经网络完全相同，两个分类神经网络也完全相同，两个相同神经网络权值共享。同时，整个孪生网络模型为一个多任务学习的结构。
将第二样本数据中的一对样本数据(一个歌曲对(pair)，正样本对或负样本对)作为待训练孪生网络模型的输入，可以是从一个歌曲对包括的两首歌曲的每首歌曲的PCM音频中提取音频raw特征，分别输入到一个基础神经网络，将基础神经网络映射得到的固定维度的向量，分别传入对应的分类神经网络和编码神经网络。
由分类神经网络进行标签分类(由于图6基于图5提供的标签分类模型构造孪生网络，因此图6中的分类神经网络仍然采用多任务学习的模型结构)，根据标签分类损失函数计算标签分类损失函数值。由编码神经网络进一步进行向量映射，并可以基于编码神经网络输出的两个向量，根据度量学习损失函数计算度量学习损失函数值。进而可以基于标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
在对孪生网络模型的训练过程中，为了实现深度度量学习，输入的一个歌曲对为正样本对或负样本对，即，一个歌曲对包括两首听感上相似的歌曲，或者两首听感上不相似的歌曲，以实现深度度量训练。
将一个歌曲对传入构造出的孪生网络后，可以分别通过编码神经网络得到两个向量。在这两个向量的基础上，可以采用典型的深度度量学习损失函数，如对比损失函数(contrastive loss)或者三个一组损失函数(triplet loss)，来进行模型训练。
以损失函数采用对比损失函数(contrastive loss)为例，损失函数L(Y,X1,X2)可以表示为：
Figure BDA0002919988700000221
其中，X1和X2分别为两首歌曲经过编码神经网络后得到的两个向量；
当两首歌曲组成正样本对时(两首歌曲听感上相似)，Y为0，当两首歌曲组成负样本时(两首歌曲听感上不相似)，Y为1；
D为距离(distance)度量，一般可以选用欧式距离；
m为一个可配置的常数。
需要说明的是，由于构造出的孪生网络模型是一个多任务学习模型，还包括标签分类学习，因此，可以理解为一个歌曲对中的每首歌曲都具有分类标签信息。正因为此，正样本对和负样本对也可以考虑从音乐推荐系统歌曲库中保存的具有分类标签信息的待推荐歌曲中获取。
由于音乐推荐系统可以基于协同过滤，利用用户行为数据以及其他附加信息，按照从歌曲到歌曲、从歌曲到用户或者从用户到用户等任意形式，进行关联歌曲的推荐，例如，针对一个音乐推荐系统，对于头部热门歌曲(可以理解为被用户选择播放次数较多的歌曲)，每首歌曲都会存在根据用户行为数据挖掘出的多首关联歌曲，可以粗略地认为一首歌曲与其关联歌曲之间存在听感上的相似性，二者相似，可以构成一个正样本对。
另外，可以粗略地认为音乐推荐系统中至少一个分类标签信息不同的两首歌曲，听感上不相似，即，二者不相似，可以构成一个负样本对。
基于上述构思，第二样本数据集的准备流程可以如下所示：
(1)从一个音乐推荐系统的歌曲库中获得M首头部热门歌曲。
(2)对于每一首头部热门歌曲，从该音乐推荐系统中获取其关联歌曲集合U，每个U中歌曲数量可以相同，也可以不相同。
(3)将每一首头部热门歌曲与其关联歌曲集合U中的前K首歌曲组成K个歌曲对，从而形成MK个歌曲对。
(4)对MK个歌曲对进行去重，移除重复的歌曲对。可以假设移除重复的歌曲对后，得到L个歌曲对。
(5)将L个歌曲对作为正样本对。
(6)对于每一首头部热门歌曲，从该音乐推荐系统中随机获取一首歌曲，若该歌曲的至少一个标签与对应的头部热门歌曲不同，例如，随机获取的歌曲的流派标签对应的分类信息为民谣，头部热门歌曲的流派标签对应的分类信息为摇滚，则可以将该歌曲与对应的头部热门歌曲组成的歌曲对作为一个负样本对。
通过上述准备流程可以看出，正样本对中的正样本数据可以通过音乐推荐系统关联的歌曲来获得，负样本对中的负样本数据可以通过随机采样来获得。通过对已有数据的组合、清洗和采样的方式，能够通过自动挖掘，方便快速地完成数据集的准备，无需人工标注。需要说明的是，上述准备流程仅仅为一个示例，其它组合、清洗和采样的方式，也同样可以适用于本公开，对此不再进行进一步说明。
当然，虽然在本实施例中，以用于训练构造出的孪生网络模型的每一对样本数据来源于推荐系统为例进行了说明，但是，在本实施例中，每一对样本数据不限于从推荐系统获取，也可以采用其他方式来获取。
仍接上例，在利用正样本对和负样本对实现对孪生网络的训练之后，可以进一步对训练出的孪生网络进行微调。微调时的数据流向示意图可以如图7所示。
在微调时，可以保留分类神经网络。如果保留了分类神经网络，那么正样本对和负样本对中的每首歌曲，还需要人工标注分类标签信息。
如图7所示，在微调时，也可以移除分类神经网络，此时正样本对和负样本对中的每首歌曲，无需人工标注分类标签信息，以显著减少人工标注的工作量和成本。
以微调时移除分类神经网络为例，将人工标注获得的一对样本数据(一个歌曲对(pair)，正样本对或负样本对)作为调整后的孪生网络模型的输入，可以是从一个歌曲对包括的两首歌曲的每首歌曲的PCM音频中提取音频raw特征，分别输入到一个基础神经网络，将基础神经网络映射得到的固定维度的向量，传入对应的编码神经网络，由编码神经网络进一步进行向量映射。进而可以基于编码神经网络输出的两个向量，根据度量学习损失函数计算度量学习损失函数值，基于度量学习损失函数值，对调整后的孪生网络模型进行微调。
在微调时，可以使用少量的、人工标注的高质量的正样本对和负样本对，对模型做进一步的训练。在训练时，可以设置较低的学习率，使得训练过程中，神经网络权值可以进行小幅调整，以进一步提高训练出的模型的准确性。
可以理解为，在获得孪生网络模型的整个训练数据集的准备流程中，仅在微调阶段需要投入少量的人工标注成本，在标签分类模型训练阶段，以及微调之前的孪生网络模型训练阶段，均可以使用自动化的训练数据集获取方式，使得训练数据集的构建较为简单，同时还可以保证训练数据集中的训练数据充足。
需要进一步说明的是，经过标签分类模型训练、孪生网络模型构造和训练(以及，模型微调)得到模型后，可以利用最终得到的模型进行数据相似度度量，例如，对两个数据直接进行数据相似度度量或者基于聚类实现多个数据的数据相似度度量，或者其他的，例如，变换、近邻查找等数据处理流程。
例如，对于一首歌曲，可以将其传入训练好的模型，利用基础神经网络和编码神经网络，将该歌曲映射为一个固定维度的embedding向量，这个向量可以理解为代表了该模型对该歌曲听感特点的紧凑表达。需要说明的是，由于该模型进行相似度度量的准确性得到了有效提高，可以理解为，训练好的模型可以得到更为准确的数据特征表达，即将歌曲映射得到的embedding向量可以更准确地表达该歌曲的听感特点。
而若需要度量两首歌曲的相似度，则可以将这两首歌曲分别经模型映射为embedding向量，然后计算两个embedding向量之间的距离度量值即可。用于计算距离度量值的距离度量即为孪生网络训练时，损失函数中使用的距离度量D。
另外，除了直接度量两首歌曲的相似度，还可以将大量歌曲映射为embedding向量，并在embedding向量空间使用聚类方法，如K均值聚类算法(k-means)进行聚类，将听感上接近的歌曲聚类为一个一个的组(group)，通过聚类方法实现数据相似度度量。
此外，还可以将大量歌曲映射为embedding向量，并在embedding向量空间进行一些常见的数据处理操作。例如，可以在该空间中做K最近邻分类(KNN，K-Nearest-Neighbors)查找，对于一首给定歌曲，寻找其听感上最接近的K首歌曲。当然，以上仅仅是一些可能的示例，数据处理操作不限于进行相似数据查找。
基于上述说明，本公开实施例进一步提供一种数据相似度度量方法，该方法的步骤流程可以如图8所示，包括：
步骤301、将第一数据和第二数据作为训练得到的孪生网络模型的输入，以分别获得根据编码神经网络输出的指定维度的第三向量和第四向量。
为了实现数据相似度度量，可以分别将第一数据和第二数据作为上述实施例训练得到的孪生网络模型的输入，从而可以分别获得编码神经网络针对第一数据和第二数据，输出的固定维度的第三向量和第四向量。
其中，第三向量可以理解为第一数据的特征的紧凑表达，第四向量可以理解为第二数据的特征的紧凑表达。
步骤302、根据孪生网络模型输出的第三向量和第四向量，确定第一数据和第二数据的数据相似度。
在获得第三向量和第四向量后，即可以根据第三向量和第四向量，确定第一数据和第二数据的数据相似度。
其中，可以通过计算第三向量和第四向量之间的距离度量值，例如，欧式距离值或余弦距离值，确定第一数据和第二数据的数据相似度。可以理解为，第三向量和第四向量之间的距离越近，第三向量和第四向量之间的数据相似度越高，第三向量和第四向量之间的距离越远，第三向量和第四向量之间的数据相似度越低。
需要说明的是，如果将上述数据相似度度量方法应用于歌曲相似度度量，可以从歌曲库中挖掘出与一首歌曲听感相似的中长尾歌曲(可以理解为被用户选择播放次数较少的歌曲)或新发布歌曲，进而将这部分歌曲推荐给偏好类似听感的用户，提高音乐推荐的准确性的同时，还可以提升歌曲库中歌曲的分发效率，而这是基于用户行为数据进行歌曲推荐所无法做到的。
基于上述说明，本公开实施例还进一步提供一种数据相似度度量方法，该方法的步骤流程可以如图9所示，包括：
步骤401、将至少两个数据作为训练得到的孪生网络模型的输入，以分别获得根据编码神经网络输出的指定维度的向量。
为了实现数据相似度度量，可以分别将每个数据作为上述实施例训练得到的孪生网络模型的输入，从而可以分别获得编码神经网络针对每个数据，输出的固定维度的向量。
步骤402、根据所述孪生网络模型输出的向量，对数据进行聚类。
在得到每个数据对应的向量后，即可以根据每个数据对应的向量，对数据进行聚类，实现数据相似度度量，其中，聚类为一个组的数据，即可以理解为数据相似度较高的数据。
与提供的方法对应的，进一步提供以下的装置。
本公开实施例提供一种用于推荐系统中的数据相似度度量的孪生网络模型训练装置，该装置的结构可以如图10所示，包括：
第一训练模块01用于将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，所述标签分类模型包括基础神经网络和分类神经网络，所述基础神经网络用于将输入的样本数据转换为设定维度的第一向量，所述分类神经网络用于根据所述基础神经网络传入的所述第一向量输出所述至少一个标签类别下对应的分类信息；
构造模块02用于基于所述已训练的标签分类模型构造孪生网络模型，包括：在所述标签分类模型的基础神经网络上，增加一个编码神经网络分支，所述编码神经网络用于根据所述基础神经网络传入的所述第一向量输出指定维度的第二向量；
第二训练模块03用于将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，所述一对样本数据包括正样本对或者负样本对，所述正样本对包括一个样本数据以及一个与该样本数据相似的正样本数据，所述负样本对包括一个样本数据以及一个与该样本数据不相似的负样本数据；基于所述分类神经网络获得所述一对样本数据的标签分类预测值，并与真实标签分类值计算标签分类损失函数值；基于所述编码神经网络获得所述一对样本数据的第二向量，并计算两个向量之间的度量学习损失函数值，基于所述标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
在一种可能的实现方式中，待训练标签分类模型输出至少两个标签类别下的分类信息，所述第一训练模块01具体用于将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的所述至少两个标签类别下的分类标签信息，训练得到已训练的标签分类模型。
在一种可能的实现方式中，所述推荐系统包含具有分类标签信息的待推荐数据，所述第一样本数据为所述推荐系统保存的待推荐数据。
在一种可能的实现方式中，所述正样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述正样本对中的正样本数据为所述推荐系统推荐的该样本数据的关联待推荐数据中的一个；
所述负样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述负样本对中的负样本数据为所述推荐系统保存的至少一个分类标签信息与该样本数据不同的待推荐数据。
在一种可能的实现方式中，所述装置还包括微调模块04：
所述微调模块04，用于利用人工标注正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新。
在一种可能的实现方式中，所述微调模块04，具体用于从训练出的所述孪生网络模型中，移除所述标签分类模型中的分类神经网络，得到调整后的孪生网络模型；利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对调整后的孪生网络模型的至少一个模型参数进行更新。
本公开实施例提供一种数据相似度度量装置，该装置的结构可以如图11所示，包括：
模型输入模块11用于将第一数据和第二数据作为上述实施例训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的第三向量和第四向量；
度量模块12用于根据所述孪生网络模型输出的第三向量和第四向量，确定所述第一数据和所述第二数据的数据相似度。
本公开实施例还提供一种数据相似度度量装置，该装置的结构可以如图12所示，包括：
输入模块21用于将至少两个数据作为根据如上所述的用于推荐系统中的数据相似度度量的孪生网络模型训练方法训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的向量；
聚类模块22用于根据所述孪生网络模型输出的向量，对所述至少两个数据进行聚类。
本公开上述实施例提供的各装置的各功能单元的功能，可以通过上述对应的各方法的步骤来实现，因此，本公开实施例提供的各装置中的各个功能单元的具体的工作过程和有益效果，在此不复赘述。
基于同一发明构思，本公开实施例提供以下的设备和介质。
本公开实施例提供一种数据处理设备，该设备的结构可以如图13所示，包括处理器31、通信接口32、存储器33和通信总线34，其中，所述处理器31，所述通信接口32，所述存储器33通过所述通信总线34完成相互间的通信；
所述存储器33，用于存放计算机程序；
所述处理器31，用于执行所述存储器上所存储的程序时，实现本公开上述方法实施例所述的步骤。
可选的，所述处理器31可以包括中央处理器(CPU)、特定应用集成电路(ASIC，Application Specific Integrated Circuit)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(FPGA，Field Programmable Gate Array)开发的硬件电路，可以是基带处理器。
可选的，所述处理器31可以包括至少一个处理核心。
可选的，所述存储器33可以包括只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)和磁盘存储器。存储器33用于存储至少一个处理器31运行时所需的数据。存储器33的数量可以为一个或多个。
本公开实施例还提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，当可执行程序被处理器执行时，实现本公开上述方法实施例提供的方法。
在可能的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(USB，Universal Serial Bus Flash Drive)、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。
在本公开实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。
在本公开实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(Universal Serial Bus Flash Drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (18)

1.一种用于推荐系统中的数据相似度度量的孪生网络模型训练方法，其特征在于，所述方法包括：
将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，所述标签分类模型包括基础神经网络和分类神经网络，所述基础神经网络用于将输入的样本数据转换为设定维度的第一向量，所述分类神经网络用于根据所述基础神经网络传入的所述第一向量输出所述至少一个标签类别下对应的分类信息；
基于所述已训练的标签分类模型构造孪生网络模型，包括：在所述标签分类模型的基础神经网络上，增加一个编码神经网络分支，所述编码神经网络用于根据所述基础神经网络传入的所述第一向量输出指定维度的第二向量；
将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，所述一对样本数据包括正样本对或者负样本对，所述正样本对包括一个样本数据以及一个与该样本数据相似的正样本数据，所述负样本对包括一个样本数据以及一个与该样本数据不相似的负样本数据；
基于所述分类神经网络获得所述一对样本数据的标签分类预测值，并与真实标签分类值计算标签分类损失函数值；基于所述编码神经网络获得所述一对样本数据的第二向量，并计算两个向量之间的度量学习损失函数值，基于所述标签分类损失函数值和所述度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
2.如权利要求1所述的方法，其特征在于，待训练标签分类模型输出至少两个标签类别下的分类信息，将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，包括：
将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的所述至少两个标签类别下的分类标签信息，训练得到已训练的标签分类模型。
3.如权利要求1所述的方法，其特征在于，所述推荐系统包含具有分类标签信息的待推荐数据，所述第一样本数据为所述推荐系统保存的待推荐数据。
4.如权利要求1所述的方法，其特征在于，所述正样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述正样本对中的正样本数据为所述推荐系统推荐的该样本数据的关联待推荐数据中的一个；
所述负样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述负样本对中的负样本数据为所述推荐系统保存的至少一个分类标签信息与该样本数据不同的待推荐数据。
5.如权利要求1～4任一所述的方法，其特征在于，所述方法还包括：
利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新。
6.如权利要求5所述的方法，其特征在于，利用人工标注获得的正样本数据构成的正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新，包括：
从训练出的所述孪生网络模型中，移除所述标签分类模型中的分类神经网络，得到调整后的孪生网络模型；
利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对调整后的孪生网络模型的至少一个模型参数进行更新。
7.一种用于推荐系统中的数据相似度度量的孪生网络模型训练装置，其特征在于，所述装置包括：
第一训练模块，用于将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的至少一个分类标签信息，训练得到已训练的标签分类模型，所述标签分类模型包括基础神经网络和分类神经网络，所述基础神经网络用于将输入的样本数据转换为设定维度的第一向量，所述分类神经网络用于根据所述基础神经网络传入的所述第一向量输出所述至少一个标签类别下对应的分类信息；
构造模块，用于基于所述已训练的标签分类模型构造孪生网络模型，包括：在所述标签分类模型的基础神经网络上，增加一个编码神经网络分支，所述编码神经网络用于根据所述基础神经网络传入的所述第一向量输出指定维度的第二向量；
第二训练模块，用于将第二样本数据中的一对样本数据作为待训练孪生网络模型的输入，所述一对样本数据包括正样本对或者负样本对，所述正样本对包括一个样本数据以及一个与该样本数据相似的正样本数据，所述负样本对包括一个样本数据以及一个与该样本数据不相似的负样本数据；基于所述分类神经网络获得所述一对样本数据的标签分类预测值，并与真实标签分类值计算标签分类损失函数值；基于所述编码神经网络获得所述一对样本数据的第二向量，并计算两个向量之间的度量学习损失函数值，基于所述标签分类损失函数值和度量学习损失函数值，采用多任务学习的方式训练得到已训练的孪生网络模型。
8.如权利要求7所述的装置，其特征在于，待训练标签分类模型输出至少两个标签类别下的分类信息，所述第一训练模块具体用于将第一样本数据作为待训练标签分类模型的输入，根据所述第一样本数据的所述至少两个标签类别下的分类标签信息，训练得到已训练的标签分类模型。
9.如权利要求7所述的装置，其特征在于，所述推荐系统包含具有分类标签信息的待推荐数据，所述第一样本数据为所述推荐系统保存的待推荐数据。
10.如权利要求7所述的装置，其特征在于，所述正样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述正样本对中的正样本数据为所述推荐系统推荐的该样本数据的关联待推荐数据中的一个；
所述负样本对中的样本数据为所述推荐系统保存的具有分类标签信息的待推荐数据，所述负样本对中的负样本数据为所述推荐系统保存的至少一个分类标签信息与该样本数据不同的待推荐数据。
11.如权利要求7～10任一所述的装置，其特征在于，所述装置还包括微调模块：
所述微调模块，用于利用人工标注正样本对或者负样本对，按照不大于设定值的学习率参数，对训练出的所述孪生网络模型的至少一个模型参数进行更新。
12.如权利要求11所述的装置，其特征在于，所述微调模块，具体用于从训练出的所述孪生网络模型中，移除所述标签分类模型中的分类神经网络，得到调整后的孪生网络模型；利用人工标注获得的正样本对或者负样本对，按照不大于设定值的学习率参数，对调整后的孪生网络模型的至少一个模型参数进行更新。
13.一种数据相似度度量方法，其特征在于，所述方法包括：
将第一数据和第二数据作为根据权利要求1～6中的任一权利要求训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的第三向量和第四向量；
根据所述孪生网络模型输出的第三向量和第四向量，确定所述第一数据和所述第二数据的数据相似度。
14.一种数据相似度度量装置，其特征在于，所述装置包括：
模型输入模块，用于将第一数据和第二数据作为根据权利要求1～6中的任一权利要求训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的第三向量和第四向量；
度量模块，用于根据所述孪生网络模型输出的第三向量和第四向量，确定所述第一数据和所述第二数据的数据相似度。
15.一种数据相似度度量方法，其特征在于，所述方法包括：
将至少两个数据作为根据权利要求1～6中的任一权利要求训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的向量；
根据所述孪生网络模型输出的向量，对所述至少两个数据进行聚类。
16.一种数据相似度度量装置，其特征在于，所述装置包括：
输入模块，用于将至少两个数据作为根据权利要求1～6中的任一权利要求训练得到的孪生网络模型的输入以分别获得根据编码神经网络输出的指定维度的向量；
聚类模块，用于根据所述孪生网络模型输出的向量，对所述至少两个数据进行聚类。
17.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1～6或13或15任一所述的方法。
18.一种数据处理设备，其特征在于，所述设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存储的程序时，实现权利要求1～6或13或15任一所述的方法步骤。
CN202110113716.2A 2021-01-27 2021-01-27 孪生网络模型训练、度量方法、装置、介质和设备 Active CN112784130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110113716.2A CN112784130B (zh) 2021-01-27 2021-01-27 孪生网络模型训练、度量方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113716.2A CN112784130B (zh) 2021-01-27 2021-01-27 孪生网络模型训练、度量方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN112784130A true CN112784130A (zh) 2021-05-11
CN112784130B CN112784130B (zh) 2022-05-27

Family

ID=75759172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113716.2A Active CN112784130B (zh) 2021-01-27 2021-01-27 孪生网络模型训练、度量方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN112784130B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283368A (zh) * 2021-06-08 2021-08-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113408208A (zh) * 2021-06-25 2021-09-17 成都欧珀通信科技有限公司 模型训练方法、信息提取方法、相关装置及存储介质
CN113420847A (zh) * 2021-08-24 2021-09-21 平安科技（深圳）有限公司 基于人工智能的目标对象匹配方法及相关设备
CN113435499A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 标签分类方法、装置、电子设备和存储介质
CN113569086A (zh) * 2021-08-05 2021-10-29 深圳墨世科技有限公司 曲库聚合方法、装置、终端设备和可读存储介质
CN113723070A (zh) * 2021-08-20 2021-11-30 上海浦东发展银行股份有限公司 文本相似度模型训练方法、文本相似度检测方法及装置
CN113743024A (zh) * 2021-11-03 2021-12-03 深圳市华阳国际工程设计股份有限公司 一种基于建筑信息模型的人工智能孪生式训练方法
CN113762508A (zh) * 2021-09-06 2021-12-07 京东鲲鹏(江苏)科技有限公司 一种图像分类网络模型的训练方法、装置、设备和介质
CN114352486A (zh) * 2021-12-31 2022-04-15 西安翔迅科技有限责任公司 一种基于分类的风电机组叶片音频故障检测方法
CN114496094A (zh) * 2021-12-17 2022-05-13 广州保量医疗科技有限公司 肠道菌群移植配型的度量学习方法、系统、设备及介质
CN114648077A (zh) * 2022-05-18 2022-06-21 合肥高斯智能科技有限公司 一种用于多点位工业数据缺陷检测的方法及装置
CN114662624A (zh) * 2022-05-25 2022-06-24 浙江大学 基于可再训练孪生网络的非侵入式负荷识别方法及系统
CN114826681A (zh) * 2022-03-30 2022-07-29 西安电子科技大学 一种dga域名检测方法、系统、介质、设备及终端
CN114898472A (zh) * 2022-04-26 2022-08-12 华南理工大学 基于孪生视觉Transformer网络的签名鉴定方法和系统
CN114997331A (zh) * 2022-06-27 2022-09-02 吉林大学 基于度量学习的小样本关系分类方法及系统
CN115147661A (zh) * 2022-07-25 2022-10-04 浙大城市学院 一种染色体分类方法、装置、设备及可读存储介质
CN115205496A (zh) * 2022-06-14 2022-10-18 国网河北省电力有限公司电力科学研究院 一种数字孪生模型轻量化方法及系统
CN116245154A (zh) * 2022-11-30 2023-06-09 荣耀终端有限公司 神经网络的训练方法、舆情危机识别方法及相关装置
CN116665906A (zh) * 2023-05-25 2023-08-29 南通大学 基于相似性孪生网络的静息态功能磁共振脑龄预测方法
CN117808558A (zh) * 2024-01-09 2024-04-02 南京清正源信息技术有限公司 基于孪生网络的客户风险行为识别方法及系统
CN117854709A (zh) * 2024-01-12 2024-04-09 北京医院 一种基于深度对比聚类的糖尿病六分型方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543776A (zh) * 2018-10-29 2019-03-29 北京交通大学 一种大规模双盲相机源检测方法
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法
CN110413924A (zh) * 2019-07-18 2019-11-05 广东石油化工学院 一种半监督多视图学习的网页分类方法
CN111143604A (zh) * 2019-12-25 2020-05-12 腾讯音乐娱乐科技（深圳）有限公司 一种音频的相似度匹配方法、装置及存储介质
CN111259127A (zh) * 2020-01-15 2020-06-09 浙江大学 一种基于迁移学习句向量的长文本答案选择方法
CN111310041A (zh) * 2020-02-12 2020-06-19 腾讯科技（深圳）有限公司 图文发布的方法、模型的训练方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543776A (zh) * 2018-10-29 2019-03-29 北京交通大学 一种大规模双盲相机源检测方法
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法
CN110413924A (zh) * 2019-07-18 2019-11-05 广东石油化工学院 一种半监督多视图学习的网页分类方法
CN111143604A (zh) * 2019-12-25 2020-05-12 腾讯音乐娱乐科技（深圳）有限公司 一种音频的相似度匹配方法、装置及存储介质
CN111259127A (zh) * 2020-01-15 2020-06-09 浙江大学 一种基于迁移学习句向量的长文本答案选择方法
CN111310041A (zh) * 2020-02-12 2020-06-19 腾讯科技（深圳）有限公司 图文发布的方法、模型的训练方法、装置及存储介质

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283368B (zh) * 2021-06-08 2023-10-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113283368A (zh) * 2021-06-08 2021-08-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113435499B (zh) * 2021-06-25 2023-06-20 平安科技（深圳）有限公司 标签分类方法、装置、电子设备和存储介质
CN113408208A (zh) * 2021-06-25 2021-09-17 成都欧珀通信科技有限公司 模型训练方法、信息提取方法、相关装置及存储介质
CN113435499A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 标签分类方法、装置、电子设备和存储介质
CN113569086B (zh) * 2021-08-05 2024-01-26 深圳墨世科技有限公司 曲库聚合方法、装置、终端设备和可读存储介质
CN113569086A (zh) * 2021-08-05 2021-10-29 深圳墨世科技有限公司 曲库聚合方法、装置、终端设备和可读存储介质
CN113723070A (zh) * 2021-08-20 2021-11-30 上海浦东发展银行股份有限公司 文本相似度模型训练方法、文本相似度检测方法及装置
CN113723070B (zh) * 2021-08-20 2024-01-23 上海浦东发展银行股份有限公司 文本相似度模型训练方法、文本相似度检测方法及装置
CN113420847B (zh) * 2021-08-24 2021-11-16 平安科技（深圳）有限公司 基于人工智能的目标对象匹配方法及相关设备
CN113420847A (zh) * 2021-08-24 2021-09-21 平安科技（深圳）有限公司 基于人工智能的目标对象匹配方法及相关设备
CN113762508A (zh) * 2021-09-06 2021-12-07 京东鲲鹏(江苏)科技有限公司 一种图像分类网络模型的训练方法、装置、设备和介质
CN113743024A (zh) * 2021-11-03 2021-12-03 深圳市华阳国际工程设计股份有限公司 一种基于建筑信息模型的人工智能孪生式训练方法
CN113743024B (zh) * 2021-11-03 2022-02-18 深圳市华阳国际工程设计股份有限公司 一种基于建筑信息模型的人工智能孪生式训练方法
CN114496094A (zh) * 2021-12-17 2022-05-13 广州保量医疗科技有限公司 肠道菌群移植配型的度量学习方法、系统、设备及介质
CN114352486A (zh) * 2021-12-31 2022-04-15 西安翔迅科技有限责任公司 一种基于分类的风电机组叶片音频故障检测方法
CN114826681A (zh) * 2022-03-30 2022-07-29 西安电子科技大学 一种dga域名检测方法、系统、介质、设备及终端
CN114898472A (zh) * 2022-04-26 2022-08-12 华南理工大学 基于孪生视觉Transformer网络的签名鉴定方法和系统
CN114898472B (zh) * 2022-04-26 2024-04-05 华南理工大学 基于孪生视觉Transformer网络的签名鉴定方法和系统
CN114648077A (zh) * 2022-05-18 2022-06-21 合肥高斯智能科技有限公司 一种用于多点位工业数据缺陷检测的方法及装置
CN114662624A (zh) * 2022-05-25 2022-06-24 浙江大学 基于可再训练孪生网络的非侵入式负荷识别方法及系统
CN115205496B (zh) * 2022-06-14 2023-10-24 国网河北省电力有限公司电力科学研究院 一种数字孪生模型轻量化方法及系统
CN115205496A (zh) * 2022-06-14 2022-10-18 国网河北省电力有限公司电力科学研究院 一种数字孪生模型轻量化方法及系统
CN114997331A (zh) * 2022-06-27 2022-09-02 吉林大学 基于度量学习的小样本关系分类方法及系统
CN115147661A (zh) * 2022-07-25 2022-10-04 浙大城市学院 一种染色体分类方法、装置、设备及可读存储介质
CN116245154A (zh) * 2022-11-30 2023-06-09 荣耀终端有限公司 神经网络的训练方法、舆情危机识别方法及相关装置
CN116245154B (zh) * 2022-11-30 2024-06-11 荣耀终端有限公司 神经网络的训练方法、舆情危机识别方法及相关装置
CN116665906A (zh) * 2023-05-25 2023-08-29 南通大学 基于相似性孪生网络的静息态功能磁共振脑龄预测方法
CN116665906B (zh) * 2023-05-25 2023-12-26 南通大学 基于相似性孪生网络的静息态功能磁共振脑龄预测方法
CN117808558A (zh) * 2024-01-09 2024-04-02 南京清正源信息技术有限公司 基于孪生网络的客户风险行为识别方法及系统
CN117854709A (zh) * 2024-01-12 2024-04-09 北京医院 一种基于深度对比聚类的糖尿病六分型方法和系统

Also Published As

Publication number Publication date
CN112784130B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN112784130B (zh) 孪生网络模型训练、度量方法、装置、介质和设备
Dong et al. Bidirectional convolutional recurrent sparse network (BCRSN): an efficient model for music emotion recognition
CN104395953B (zh) 来自音乐音频信号的拍子、和弦和强拍的评估
CN110532379B (zh) 一种基于lstm的用户评论情感分析的电子资讯推荐方法
CN108287858A (zh) 自然语言的语义提取方法及装置
CN113573161B (zh) 多媒体数据处理方法、装置、设备及存储介质
WO2024021882A1 (zh) 音频数据处理方法、装置、计算机设备和存储介质
CN111563161B (zh) 一种语句识别方法、语句识别装置及智能设备
CN111241394A (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
US10586519B2 (en) Chord estimation method and chord estimation apparatus
CN118194923B (zh) 大语言模型的构建方法、装置、设备及计算机可读介质
CN118098274B (zh) 模型训练方法、装置、电子设备及存储介质
CN111428078B (zh) 音频指纹编码方法、装置、计算机设备及存储介质
CN116049412A (zh) 文本分类方法、模型训练方法、装置及电子设备
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
CN110968721A (zh) 一种海量图像侵权检索方法、系统及其计算机可读存储介质
CN114528762A (zh) 一种模型训练方法、装置、设备和存储介质
CN110110137A (zh) 一种确定音乐特征的方法、装置、电子设备及存储介质
CN113140228A (zh) 一种基于图神经网络的声乐打分方法
CN110516086B (zh) 一种基于深度神经网络影视标签自动获取方法
CN110717064B (zh) 个性化音频播单生成方法、装置及可读存储介质
CN113837910B (zh) 试题推荐方法、装置、电子设备和存储介质
CN115631739A (zh) 一种基于LightGBM算法的音乐和弦识别方法
CN115130650A (zh) 一种模型训练方法及相关装置
CN113868463A (zh) 推荐模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant