CN115114395B - 内容检索及模型训练方法、装置、电子设备和存储介质 - Google Patents

内容检索及模型训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115114395B
CN115114395B CN202210398191.6A CN202210398191A CN115114395B CN 115114395 B CN115114395 B CN 115114395B CN 202210398191 A CN202210398191 A CN 202210398191A CN 115114395 B CN115114395 B CN 115114395B
Authority
CN
China
Prior art keywords
content
sample
cluster
title
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210398191.6A
Other languages
English (en)
Other versions
CN115114395A (zh
Inventor
罗锦文
郭伟东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210398191.6A priority Critical patent/CN115114395B/zh
Publication of CN115114395A publication Critical patent/CN115114395A/zh
Application granted granted Critical
Publication of CN115114395B publication Critical patent/CN115114395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及计算机技术领域，尤其涉及一种内容检索及模型训练方法、装置、电子设备和存储介质，用以提高内容检索的准确性。其中，方法包括：基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出目标内容检索模型；在一次循环迭代过程中：将选取的训练样本分别输入待训练的内容检索模型中的交互式网络和对偶式网络，分别获得样本内容针对相应样本标题的第一预测关联度和第二预测关联度；基于第一预测关联度和对应的内容标签之间的差异，对交互式网络进行参数调整，基于第二预测关联度和对应的第一预测关联度之间的差异，对对偶式网络进行参数调整。本申请利用精度更高的交互式网络对对偶式网络进行辅助训练，可有效提高内容检索准确性。

Description

内容检索及模型训练方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种内容检索及模型训练方法、装置、电子设备和存储介质。
背景技术
随着科技的发展，对象对互联网的依赖越来越大，对象可随时通过互联网获取各种各样的信息，如视频、新闻资讯等多媒体内容。当对象想要了解某个内容时，可将该内容相应的关键词(如想要搜索的标题)输入到搜索引擎，这样搜索引擎可通过搜索引擎结果页提供与该关键词相关的内容实体介绍。
具体地，结果页中提供的内容可通过基于人工智能技术的检索模型检索得到。在相关技术中，通常采用基于深度语义表示的对偶式检索模型作为检索模型，具体是指，采用两个完全一致的子网络分别对标题和候选内容进行特征提取，得到对应的语义表示，并计算语义相似度。该方式可以快速的从大量候选内容中筛选出与标题相似的内容，但是，该模型仅能够单独地学习候选内容与标题各自的语义，无法有效学习到候选内容与标题之间的语义相关性，因而检索结果的准确性不高。
综上，如何有效提高内容检索的准确性是亟待解决的。
发明内容
本申请实施例提供一种内容检索及模型训练方法、装置、电子设备和存储介质，用以提高内容检索的准确性。
本申请实施例提供的一种内容检索模型训练方法，包括：
基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出相应的目标内容检索模型；每个训练样本包括：样本内容及其与相应样本标题之间的实际关联度；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本分别输入所述待训练的内容检索模型中的交互式网络和对偶式网络，分别获得所述样本内容针对相应样本标题的第一预测关联度，以及所述样本内容针对相应样本标题的第二预测关联度；
基于所述第一预测关联度和对应的内容标签之间的差异，对所述交互式网络进行参数调整，以及，基于所述第二预测关联度和对应的第一预测关联度之间的差异，对所述对偶式网络进行参数调整。
本申请实施例提供的一种内容检索方法，包括：
将当前周期的各个候选内容，分别输入已训练的目标内容检索模型中的交互式网络，获得所述各个候选内容的深度语义特征；
基于获得的各个深度语义特征，对所述各个候选内容进行聚类，获得至少一个相似簇；
对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将所述一个相似簇与所述一个历史簇进行簇融合，获得至少一个目标簇，其中，所述历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
本申请实施例提供的一种内容检索模型训练装置，包括：
模型训练单元，用于基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出相应的目标内容检索模型；每个训练样本包括：样本内容及其与相应样本标题之间的实际关联度；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本分别输入所述待训练的内容检索模型中的交互式网络和对偶式网络，分别获得所述样本内容针对相应样本标题的第一预测关联度，以及所述样本内容针对相应样本标题的第二预测关联度；
基于所述第一预测关联度和对应的内容标签之间的差异，对所述交互式网络进行参数调整，以及，基于所述第二预测关联度和对应的第一预测关联度之间的差异，对所述对偶式网络进行参数调整。
可选的，在一次训练迭代过程中选取的训练样本为：由至少三个训练样本组成的训练样本组；所述训练样本组中的样本内容包括：对应同一样本标题的一个正样本内容，至少一个困难负样本内容及至少一个简单负样本内容；
其中，所述正样本内容为：与所述样本标题相关联的样本内容；所述困难负样本内容为：与所述样本标题不相关但与所述正样本内容相关的样本内容；所述简单负样本内容为：与所述样本标题不相关且与所述正样本内容不相关的样本内容。
可选的，对于两个不同的训练样本组，其中一个训练样本组中的正样本内容和困难负样本内容中的至少一个，为另一个训练样本组中的简单负样本内容。
可选的，所述模型训练单元还用于：
对于一个样本标题，通过如下方式获得与所述一个样本标题对应的困难负样本内容：
将一个样本标题以及各个样本内容分别输入所述对偶式网络，获得所述一个样本标题以及所述各个样本内容各自的深度语义特征；基于各个深度语义特征，获得所述各个样本内容各自与所述一个样本标题之间的第一语义相似度；以及
将所述各个样本内容与所述一个样本标题，以第一输入特征的形式输入所述交互式网络，获得所述各个样本内容各自与所述一个样本标题之间的第二语义相似度，每个第一输入特征为所述一个样本标题和一个样本内容拼接得到的；
基于各个样本内容对应的第一语义相似度和第二语义相似度之间的差异，从所述各个样本内容中筛选出至少一个困难负样本内容。
可选的，所述装置还包括：
样本构建单元，用于对所述至少一个困难负样本内容进行数据扩充，获得扩充的困难负样本内容；
其中，对于一个困难负样本内容进行数据扩充的方式包括以下至少一种：
对于一个困难负样本内容中的至少一个分词进行同义词替换；
对于一个困难负样本内容中的至少两个分词进行内容顺序调整。
可选的，每个训练样本还包括相应样本内容的标注信息，所述模型训练单元还用于通过下列方式获得标注信息：
基于已训练的事件分类模型，分别对各个样本内容进行分类，获得所述各个样本内容各自的标注信息，所述标注信息用于表征所述样本内容是否为事件类内容。
可选的，所述模型训练单元还用于通过如下方式筛选得到每个样本内容：
基于已训练的质量评价模型，对历史内容集的各个历史内容进行质量评估，获得所述各个历史内容各自的质量评价参数；
基于获得的各个质量评价参数，从所述历史内容集中筛选出多个历史内容，作为所述样本内容。
可选的，所述模型训练单元具体用于：
基于所述第一预测关联度和对应的实际关联度之间的差异，构建交叉熵损失函数；
基于所述交叉熵损失函数，对所述交互式网络进行参数调整。
可选的，所述模型训练单元具体用于：
基于所述第二预测关联度和对应的实际关联度之间的差异，构建对比损失函数，以及，基于所述第二预测关联度和对应的第一预测关联度之间的差异，构建相对熵损失函数；
基于所述对比损失函数和所述相对熵损失函数，对所述对偶式网络进行参数调整。
可选的，所述装置还包括：
分类单元，用于将当前周期的各个候选内容，分别输入所述目标内容检索模型中的交互式网络，获得所述各个候选内容的深度语义特征；
基于获得的各个深度语义特征，对所述各个候选内容进行聚类，获得至少一个相似簇；
对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将所述一个相似簇与所述一个历史簇进行簇融合，获得至少一个目标簇，其中，所述历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
可选的，所述装置还包括：
推荐单元，用于将待检索标题以及各个候选内容分别输入所述目标内容检索模型中的对偶式网络，获得所述各个候选内容与所述待检索标题之间的第一预测关联度；
基于获得的各个第一预测关联度，从所述各个候选内容中，筛选出至少两个目标候选内容；
将所述至少两个目标候选内容分别与所述待检索标题，以第二输入特征的形式输入所述目标内容检索模型中的交互式网络，获得所述至少两个目标候选内容各自与所述待检索标题之间的第二预测关联度，每个第二输入特征为所述待检索样本标题和一个目标候选内容拼接得到的；
基于获得的各个第二预测关联度，从所述至少两个目标候选内容中确定针对所述待检索标题的目标推荐内容。
可选的，所述推荐单元具体用于：
确定所述至少两个目标候选内容各自的簇标识，所述簇标识用于表征目标候选内容所属的目标簇，所述目标簇是预先对各个目标候选内容进行聚类得到的；
将具有相同簇标识的目标候选内容进行去重后，根据剩余的目标候选内容各自的第二预测关联度，确定针对所述待检索标题的目标推荐内容。
本申请实施例提供的一种内容检索装置，包括：
特征提取单元，用于将当前周期的各个候选内容，分别输入已训练的目标内容检索模型中的交互式网络，获得所述各个候选内容的深度语义特征；
聚类单元，用于基于获得的各个深度语义特征，对所述各个候选内容进行聚类，获得至少一个相似簇；
更新单元，用于对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将所述一个相似簇与所述一个历史簇进行簇融合，获得至少一个目标簇，其中，所述历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
可选的，所述装置还包括：
推荐单元，用于在针对待检索标题进行内容推荐前，根据各个候选内容的簇标识，对所述各个候选内容进行去重处理，所述簇标识用于表征候选内容所属的目标簇，所述目标簇是预先对各个候选内容进行聚类得到的。
本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种内容检索模型训练方法或任意一种内容检索方法的步骤。
本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种内容检索模型训练方法或任意一种内容检索方法的步骤。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种内容检索模型训练方法或任意一种内容检索方法的步骤。
本申请有益效果如下：
本申请实施例提供了一种内容检索及模型训练方法、装置、电子设备和存储介质。由于本申请实施例中的模型训练方法，采用交互式网络和对偶式网络联合训练的方式，将训练样本分别输入交互式网络和对偶式网络，由于对偶式网络是指采用两个完全一致的子网络，分别对样本标题和样本内容进行特征提取，而交互式网络是指通过预训练模型对样本标题和样本内容拼接的输入进行特征提取，因而，基于交互式网络可获得第一预测关联度，该网络联合学习样本内容与样本标题的语义，这样可以有效学习到样本内容与样本标题之间的语义相关性，模型精度更高；而对偶式网络可以快速的单独学习样本内容与样本标题的语义，获得第二预测关联度，因而，本申请采用知识蒸馏的联合学习方式，利用精度更高的交互式网络对对偶式网络进行辅助训练，可以使得训练后的对偶式网络可以快速学习到内容与标题之间的语义相关性，进而有效提高内容检索的准确性。
此外，本申请实施例中的内容检索方法，通过周期性地对候选内容进行聚类，可实现对新增内容的批次聚类，并且，每周期都会结合历史簇对本周期聚类得到的相似簇进行簇融合，该方法可有效将历史簇与新增内容进行关联，有效提升聚类效果。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中的一种应用场景的一个可选的示意图；
图2为本申请实施例中的一种信息流推荐的示意图；
图3为本申请实施例中的一种内容检索模型训练方法的实施流程图；
图4A为本申请实施例中的一种交互式网络的结构示意图；
图4B为本申请实施例中的一种对偶式网络的结构示意图；
图5为本申请实施例中的一种交互式网络和对偶式网络的联合学习过程示意图；
图6为本申请实施例中的一种训练样本组的示意图；
图7A为本申请实施例中的一种过滤模型训练过程的逻辑示意图；
图7B为本申请实施例中的一种过滤模型预测过程的逻辑示意图；
图8为本申请实施例中的一种扩充困难样本的方法示意图；
图9A为本申请实施例中的一种内容聚类方法的逻辑示意图；
图9B为本申请实施例中的一种簇融合示例的示意图；
图10为本申请实施例中的一种内容推荐方法的逻辑示意图；
图11为本申请实施例中的一种内容检索方法的实施流程图；
图12为本申请实施例中的一种内容检索模型训练和使用过程的具体流程示意图；
图13为本申请实施例中的一种内容检索模型训练装置的组成结构示意图；
图14为本申请实施例中的一种内容检索装置的组成结构示意图；
图15为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；
图16为应用本申请实施例的又一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
交互式网络：是指通过预训练模型对问题(question)和文章(passage)拼接的输入，进行特征抽取，如图4A所示，输出对应的得分估计，进而，经过point-wise(由一条样本构造的损失函数)、pair-wise(由两条样本构造的损失函数)或者list-wise(由多条样本构造的损失函数)的方式对多个样本进行排序。
对偶式网络：包含两个完全一致的子网络，如图4B所示，在本申请实施例中的内容检索场景下，可采用这两个完全一致的子网络分别对question和passage进行特征提取，得到对应的语义表示，进而，再结合语义表示计算二者之间的距离，距离越近表示question和passage越相似。
预训练模型：基于多层transformer结构和掩码语义技术构造深层网络，通过海量的无监督文本数据进行模型训练，可以作为特征提取器应用于大量自然语言理解相关任务。
主动学习(active learning)：指的是一种融合人工经验的学习方法，通过机器学习的方法获取到那些比较“难”分类的样本数据，让人工再次确认和审核，然后将人工标注得到的数据再次使用有监督学习模型或者半监督学习模型进行训练，逐步提升模型的效果，将人工经验融入机器学习的模型中。
相对熵(Kullback-Leibler，KL)：又被称为信息散度，是两个概率分布间差异的非对称性度量。在信息理论中，相对熵等价于两个概率分布的信息熵的差值。相对熵是一些优化算法，例如最大期望算法(Expectation-Maximization algorithm，EM)的损失函数。此时参与计算的一个概率分布为真实分布，另一个为理论(拟合)分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。
学生模型和老师模型：在神经网络模型训练中，老师模型是用于指导学生模型进行训练的，一般老师模型的预测能力要远远高于学生模型，因此基于老师模型对学生模型进行训练，可以提高学生模型的鲁棒性。在本申请实施例中，学生模型可以理解为对偶式网络，老师模型为交互式网络，采用知识蒸馏的联合学习方式，利用精度更高的老师模型对学生模型进行辅助训练，以提高学生模型的精度。
知识蒸馏(Knowledge Distillation，KD)：是一种模型压缩方法，是一种基于“老师-学生网络思想”的训练方法。顾名思义，就是将已经训练好的模型包含的知识(Knowledge)，蒸馏(Distill)提取到另一个模型里面去。在本申请实施例中，是指将交互式网络包含的知识，蒸馏到对偶式网络中，以提高对偶式网络的精度。
硬标签(Hard Label)：是指专业人员对样本内容与样本标题之间的相关性进行打分时所打的标注，在数值上是离散的0和1。每个样本内容都对应有一个硬标签，当硬标签对应的数值是1，表明该样本内容与样本标题相关；当硬标签对应的数值是0时，表明该样本内容与样本标题不相关。
软标签(Soft Label)：是指硬标签通过标签软化后得到的标签，即每个样本内容都对应有一个软标签，软标签在数值上是0到1之间的连续值，例如0.2，0.3，0.8，…。与硬标签相比，硬标签更容易标注，但是会丢失类内、类间的关联，并引入噪声，而使用软标签标注时，可以给模型带来更强的泛化能力，携带更多的信息，对噪声更加鲁棒。
训练样本：用于训练内容检索模型的数据。在本申请实施例中，将训练样本按照学习的难易程度来区分的话，本申请中的训练样本集合中的训练样本包括简单样本和困难样本两大类，其中，困难样本指的就是难学的样本(loss大)，简单样本就是好学的样本(loss小)；而一般训练样本又可分为正样本和负样本，在上述基础上，本申请实施例中提出了正样本(不区分难易)，简单负样本和困难负样本三大类样本。其中，简单困难负样本是指预测时与真值标签误差较大的负样本，简单负样本则是指预测时与真值标签误差较小的负样本。
聚类和簇：聚类指按照某一个特定的标准(比如距离)，把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不再同一个簇内的数据对象的差异性也尽可能的大。聚类可以作为一个单独过程，用于寻找数据内在分布结构，也可以作为其他学习任务前驱过程。簇(或类cluster)指子集合。
本申请实施例涉及人工智能(Artificial Intelligence，AI)、自然语言处理(Nature Language processing，NLP)和机器学习技术(Machine Learning，ML)，基于人工智能中的计算机视觉技术和机器学习而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括语音分离、文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。对比于数据挖掘从大数据之间找相互特性而言，机器学习更加注重算法的设计，让计算机能够自动地从数据中“学习”规律，并利用规律对未知数据进行预测。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
本申请实施例中的目标内容检索模型就是采用机器学习或深度学习技术训练得到的，其中的交互式网络、对偶式网络等都可以是机器学习模型或深度学习模型。基于本申请实施例中的内容检索方法，可以提高内容检索的准确性。
随着互联网的普及和发展，对象可以接触到非常丰富的资源。对于某些对象想要了解的领域以及相关内容，人们可以选择内容检索来获取相关的内容。为了提升检索效率，优化检索效果，可以利用人工智能技术辅助内容检索，以帮助人们更快更好地获取想要知道的相关内容。
在相关技术中，内容检索一般由检索模块和排序模块两部分实现，其中检索模块主要用于从全量的内容库中快速筛选出与对象想要搜索的待检索标题相关的候选内容，也即召回多个候选内容，排序模块则主要用于对召回的候选内容进行打分，按照分数进行选取最终的检索结果推荐给对象。
在相关技术中，模型训练一般采用按批次内负采样的方式训练，每个问题的候选段落个数与批次大小相同，但是训练过程中见到的候选段落远小于预测时的候选段落。并且，相关技术中采用的对偶式网络无法有效学习到候选内容与标题之间的语义相关性，因而检索结果的准确性不高。
有鉴于此，本申请实施例提出了一种内容检索及模型训练方法、装置、电子设备和存储介质。本申请实施例中的模型训练方法，采用交互式网络和对偶式网络联合训练的方式，将训练样本分别输入交互式网络和对偶式网络，由于对偶式网络是指采用两个完全一致的子网络，分别对样本标题和样本内容进行特征提取，而交互式网络是指通过预训练模型对样本标题和样本内容拼接的输入进行特征提取，因而，基于交互式网络可获得第一预测关联度，该网络联合学习样本内容与样本标题的语义，这样可以有效学习到样本内容与样本标题之间的语义相关性，模型精度更高；而对偶式网络可以快速的单独学习样本内容与样本标题的语义，获得第二预测关联度，因而，本申请采用知识蒸馏的联合学习方式，利用精度更高的交互式网络对对偶式网络进行辅助训练，可以使得训练后的对偶式网络可以快速学习到内容与标题之间的语义相关性，进而有效提高内容检索的准确性。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。
在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有内容检索、内容推荐等相关的客户端，该客户端可以是软件(例如浏览器、短视频软件等)，也可以是网页、小程序等，服务器120则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行内容检索、内容推荐等的服务器，本申请不做具体限定。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请各实施例中的内容检索方法可以由电子设备执行，该电子设备可以为终端设备110或者服务器120，即，该方法可以由终端设备110或者服务器120单独执行，也可以由终端设备110和服务器120共同执行。比如由服务器120单独执行时，服务器120构建或获取训练样本集合，进而从训练样本集合中选取训练样本，对待训练的内容检索模型进行多次循环迭代，直至模型收敛，或者训练次数达到上限等等，最终输出训练完毕的内容检索模型，也即目标内容检索模型。在模型应用过程中，终端设备110和服务器120可共同执行，例如，终端设备110获取当前周期的多个候选内容，并发送给服务器120(发送标识/链接由服务器下载或直接发送给服务器)，由服务器120侧部署的目标内容检索模型对候选内容进行向量表示(即深度语义特征)，进而基于获得的各个深度语义特征，对各个候选内容进行聚类，获得至少一个相似簇，并结合历史簇对本次获得的相似簇进行簇融合，为最终得到的各个簇分配各自的簇标识，并将各个候选内容的簇标识反馈给终端设备110。
如图2所示，其为本申请实施例中的一种信息流推荐的示意图。以信息流场景为例，丰富的资讯内容存在大量的重复内容和相似内容，推荐过程中重复内容推荐容易导致对象的体验感下降，因此需要过滤掉重复内容。如图2中界面a所示，在该界面中A媒体和B媒体发布的内容即为重复内容，这种情况下则需要进行去重。此外，相似内容推荐也会导致推荐效率降低，例如图2界面b，同屏幕中两次出现春节档电影相关内容，如C媒体和D媒体发布的内容，因此需要打散相似内容。
此外，除了上述所列举的两个场景下，还有一些场景下往往需要推荐一些相似内容，如在新场景探索中，推荐侧希望在图文内容下方出现视频相关内容，如图2中界面c所示，以提高对象视频消费。
在上述所列举的几个场景下，都可应用本申请实施例中的目标内容检索模型来进行内容检索、推荐等。
在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中，通信网络是有线网络或无线网络。
需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。
本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的内容检索方法，其中所涉及的训练样本、候选内容、深度语义特征等可保存于区块链上。
此外，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。
下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的内容检索方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。
参阅图3所示，为本申请实施例提供的一种内容检索模型训练方法的实施流程图，以服务器单独执行为例，该方法的具体实施流程如下：
服务器基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出相应的目标内容检索模型；每个训练样本包括：样本内容及其与相应样本标题之间的实际关联度；其中，在一次循环迭代过程中，执行以下操作，包括步骤S31-S32：
S31：服务器将选取的训练样本分别输入待训练的内容检索模型中的交互式网络和对偶式网络，分别获得样本内容针对相应样本标题的第一预测关联度，以及样本内容针对相应样本标题的第二预测关联度。
具体地，第一预测关联度是基于交互式网络计算得到的，而第二预测关联度是基于对偶式网络计算得到的。
如图4A所示，其为本申请实施例中的一种交互式网络的结构示意图。在本申请实施例中，将选取的训练样本输入交互式网络时，具体方式为：将训练样本中的样本标题作为图4A中的question(简写为q)，将样本内容作为图4A中的passage(简写为p)，将样本标题和样本内容进行拼接后，输入交互式网络中，获得该训练样本对应的第一预测关联度，即sim(q，p)。
在本申请实施例中，样本标题、样本内容都可以看做是一对文本信息，即一个句子对(question为句子A，passage为句子B)，其中样本内容可以是文章的标题、视频的标题等，将样本标题和样本内容的文本信息进行拼接时，可以参考图4A所示的拼接方式，即将question和passage用分词表示，将分词拼接即可，此外，在两个句子之间还需要增加两个标志位，其中，[CLS]标志放在第一个句子的首位，即question之前，经过BERT得到的表征向量C可以用于后续的分类任务；[SEP]标志用于分开两个输入句子，即图4A中在question和passage之间增加[SEP]。
具体的，q(l)，…，q(k)是指对question进行分词得到的各个词语，p(l)，…，p(k)则是对passage进行分词得到的各个词语。通过图4A所示的方式，将question和passage拼接输入交互式网络，经过交互式网络进行特征提取后，取第一个CLS位置的向量，输出对应的得分估计，即为第一预测关联度sim(q，p)。
如图4B所示，其为本申请实施例中的一种对偶式网络的结构示意图。在本申请实施例中，将选取的训练样本输入对偶式网络时，具体方式为：将训练样本中的样本标题作为图4B中的question，输入对偶式网络中左侧的子网络，将样本内容作为图4B中的passage，输入对偶式网络中右侧的子网络，这两个子网络的结构完全相同。
具体地，q(l)，…，q(k)是指对question进行分词得到的各个词语，句子前有一个[CLS]标志，经过图4B左侧的子网络，对question进行特征提取后，取对应的CLS位置的向量，输出对应的语义表示Eq(q)，通常为一个固定长度的向量(如768维)，同样地，p(l)，…，p(k)则是对passage进行分词得到的各个词语，句子前也有一个[CLS]标志，经过图4B右侧的子网络，对passage进行特征提取后，取对应的CLS位置的向量，输出对应的语义表示Ep(p)，与Eq(q)为同一长度的向量，进而，再通过距离函数计算二者之间的距离，即第二预测关联度sim(q，p)。
很显然，第二预测关联度并非是图4B所示的对偶式网络直接学习得到的，而是对该网络输出的语义表示计算相似度后得到的，也就是说，一般地对偶式网络仅能够单独地学习候选内容与标题各自的语义，无法有效学习到候选内容与标题之间的语义相关性，因而，第二预测关联度不如第一预测关联度准确。因而，本申请为了提高对偶式网络的预测准确性，提高模型精度，提出了如下训练方式，如下步骤S32所述。
S32：服务器基于第一预测关联度和对应的内容标签之间的差异，对交互式网络进行参数调整，以及，基于第二预测关联度和对应的第一预测关联度之间的差异，对对偶式网络进行参数调整。
可选的，在步骤S32中，对交互式网络进行参数调整的具体过程如下：
基于第一预测关联度和对应的实际关联度之间的差异，构建交叉熵损失函数；基于交叉熵损失函数，对交互式网络进行参数调整。
在相关技术中，对偶式网络(dual-encoder)召回效率高但是准确率不及交互式网络(cross-encoder)，然而，cross-encoder由于计算量巨大，通常使用在召回之后的重排序中。而本申请中考虑将cross-encoder视作老师模型，将dual-encoder视作学生模型，进行联合训练。
如图5所示，其为本申请实施例中的一种交互式网络和对偶式网络的联合学习过程示意图。在本申请实施例中，训练样本中的实际关联度用0或1表示，若一个样本内容相对于样本标题的实际关联度为1，则表示该样本内容和样本标题相关，若一个样本内容相对于样本标题的实际关联度为0，则表示该样本内容和样本标题不相关，如图6中所示，样本标题为q1，样本内容有多个，即：D1，D2，D3，…，Dn，其中，D1与q1相关，而其他样本内容(D2，D3，…，Dn)与q1不相关。
经过交互式网络学习得到的各个样本内容相对于相应样本标题的第一预测关联度为0到1之间的连续值，例如D1对应的第一预测关联度为0.9，而D2对应的第一预测关联度为0.6，D3对应的第一预测关联度为0.65，D4对应的第一预测关联度为0.2，D5对应的第一预测关联度为0.1，…，等等。
在本申请实施例中，结合各个样本内容的第一预测关联度与对应的实际关联度构建cross-entropy loss，即交叉熵损失，以对cross-encoder进行参数调整。
可选的，在步骤S32中，对对偶式网络进行参数调整的具体过程如下：
基于第二预测关联度和对应的实际关联度之间的差异，构建对比损失函数，以及，基于第二预测关联度和对应的第一预测关联度之间的差异，构建相对熵损失函数；基于对比损失函数和相对熵损失函数，对对偶式网络进行参数调整。
上述方式中，结合第二预测关联度和对应的第一预测关联度之间的差异构建损失函数时，即把第一预测关联度作为软标签，将01监督信号转换成软标签，通过概率分布，更好的区分候选的难易程度，而学生模型则通过KL散度拟合该分布，可以获得更好的效果。这样，本申请在Contrastive loss(对比损失)的基础上增加KL loss(相对熵损失)，有效地提升了检索模型效果。
或者，也可仅基于第二预测关联度和对应的第一预测关联度之间的差异，构建相对熵损失函数，基于相对熵损失函数，对对偶式网络进行参数调整，这样也可提升检索效果，本文不做具体限定。
在上述实施方式中，由于基于交互式网络联合学习样本内容与样本标题的语义，这样可以有效学习到样本内容与样本标题之间的语义相关性，模型精度更高；而对偶式网络可以快速的单独学习样本内容与样本标题的语义，模型速度更快，因而，本申请采用知识蒸馏的联合学习方式，充分利用老师模型的检索效果，以此优化学生模型的检索效果，实现了利用精度更高的交互式网络对对偶式网络的辅助训练，可以使得训练后的对偶式网络也可以有效学习相似文本间的交互，因而可以快速学习到内容与标题之间的语义相关性，进而有效提高内容检索的准确性。
在本申请实施例中，除了对上述训练方式及损失函数的优化之外，还进一步对训练样本进行了优化，下面从训练样本优化的角度对内容检索模型的训练过程进行详细介绍：
可选的，在一次训练迭代过程中选取的训练样本为：由至少三个训练样本组成的训练样本组；训练样本组中的样本内容包括：对应同一样本标题的一个正样本内容，至少一个困难负样本内容及至少一个简单负样本内容。
其中，正样本内容为：与样本标题的实际关联度高于第一阈值的样本内容；困难负样本内容为：与样本标题不相关但与正样本内容相关的样本内容，即与样本标题无关，但是和正样本内容的语义相似，较难学习的样本内容；简单负样本内容为：与样本标题不相关且与正样本内容不相关的样本内容，即与样本标题无关，且和正样本内容的语义也不相似，较易学习的样本内容。
在一般情况下，正样本内容即为与样本标题的实际关联度为1的样本内容，而负样本内容即为与样本标题的实际关联度为0的样本内容。本申请实施例中，进一步将负样本内容划分为了困难负样本内容和简单负样本内容。
在本申请实施例中，对训练样本进行分组时，可采用如下方式：
首先将针对同一样本标题的正样本内容和至少一个困难负样本内容划分为一组，进而，从其他组内选取正样本内容和/或困难负样本内容，作为该组的简单负样本内容。也即，对于两个不同的训练样本组，其中一个训练样本组中的正样本内容和困难负样本内容中的至少一个，为另一个训练样本组中的简单负样本内容。
如图6所示，其为本申请实施例中的一种训练样本组的示意图。由于真实场景负例(负样本)远大于正例(正样本)不固定，存在严重的数据偏置问题，通过point-wise拟合01标签的回归loss或者01二分类模型，容易拟合训练数据分布，难以应对真实场景。因此本申请引入对比学习loss，如图6所示，本申请对训练数据进行分组，其中，q1、q2、q3为列举的三个样本标题，D1-D9则是样本内容，对于q1而言，q1、D1、D2、D3为一组，其中D1为q1的正例，其余为困难负例(即困难负样本)；同理，对于q2而言，q2、D4、D5、D6为一组，其中D4为q1的正例，其余为困难负例；对于q3而言，q3、D7、D8、D9为一组，其中D4为q1的正例，其余为困难负例。
针对同一个批(batch)训练样本，其他训练样本组的内容能够作为q1的随机负例(即简单负样本)。例如：q2组中的D4、D5、D6，q3组中的D7、D8、D9都可以作为q1的随机负例；q1组中的D1、D2、D3，q3组中的D7、D8、D9都可以作为q2的随机负例；q1组中的D1、D2、D3，q2组中的D4、D5、D6都可以作为q3的随机负例。
如图5所示的候选列表中，以n＝9为例，其中D1即为相对于q1的正样本内容，D2、D3即为相对于q1的困难负样本内容，D4-D9即为相对于q1的简单负样本内容。
在上述实施方式中，可以保证不增加计算量的情况下，通过一定的组合显著扩充随机负例的数量，提升模型的鲁棒性。
此外，上述实施方式中主要列举了训练样本组的构成，下面从其他两个方面对训练样本进行详细介绍。
(a)增加标注信息，提升标注质量。
考虑到建模标题语义相关性需要大量标注样本，标注成本高。因此，本申请为了降低标注成本，仅标注强相关数据，过滤掉低质量的样本内容，该过程可以基于如下方式来实现：
可选的，每个样本内容是通过如下方式筛选得到的：
基于已训练的质量评价模型，对历史内容集的各个历史内容进行质量评估，获得各个历史内容各自的质量评价参数；基于获得的各个质量评价参数，从历史内容集中筛选出多个历史内容，作为样本内容。
其中，质量评价模型可以结合一些高质量历史内容和低质量历史内容训练得到。本申请实施例中的质量评价模型也可称作过滤模型，如图7A所示，其为本申请实施例中的一种过滤模型训练过程的逻辑示意图。本申请中，借助词法分析工具、关键词工具和账号相关性信息，筛选出包含文本语义的候选内容(即高质量的历史内容)和内容标题不符合的候选内容(即低质量的历史内容)，再借助基于转换器的双向编码表征(BidirectionalEncoder Representation from Transformers，BERT)模型进行分类，过滤低质内容。
其中，通过词法分析工具，可以对历史内容(标题文本)中的是实体进行提取；通过关键词工具可以分析历史内容的标题文本和正文(如果是视频的话，视频标题和视频内容)的相关性；通过账号相关性信息可以分析发布历史内容的账号经常发布的内容的质量，如某官方新闻网，这种账号发布的内容质量较高，再比如粉丝基础也很小的某私人账号，这种账号发布的内容质量一般或较差。
通过上述分析，可以筛选出关键词信息不在标题、无实体信息等的内容作为低质量历史内容作为训练样本，训练图7A左侧所示的BERT低质分类模型，并将训练完毕的模型作为上述的质量评价模型，来对历史内容进行打分，以过滤掉低质量的历史内容，保证本申请训练样本集合中的样本内容的质量。
其中，关键词信息不在标题即标题文本与内容本身不符，如一个新闻资讯的文章标题和正文不符，又如一个视频的视频标题和视频内容不符等。需要说明的是，除了上述所列举的方式外，也可采用其他方式训练质量评价模型，本文不做具体限定。
此外，资讯侧内容通常能够分为事件和非事件，事件相关通常要求参与的主体一致，而非事件只要描述同一类实体，如非事件类内容：鱿鱼烹饪好吃、鱿鱼做法，鱿鱼烹饪，鲤鱼烹饪；事件类内容：S市知名作家张三去世，S市知名作家张三与会等。本申请考虑到，对于事件类内容，其中一个词对整个句子的语义影响较大，如“S市知名作家张三去世”和“S市知名作家张三与会”是两个完全不同的事件，而非事件类内容这一特征并不明显，如“鱿鱼做法”和“鱿鱼烹饪”意思相近，因而，本申请实施例中还可在训练内容检索模型前，对样本内容进行事件分类，增加用以表征样本内容是否为事件类内容的标注信息，以调整内容检索模型对不同类型内容的学习效果。
可选的，每个训练样本还包括相应样本内容的标注信息，标注信息是通过下列方式获得的：基于已训练的事件分类模型，分别对各个样本内容进行分类，获得各个样本内容各自的标注信息。
其中，目标分类模型是通过事件样本内容和非事件样本内容进行训练得到的。具体地，事件样本内容可以通过热点挖掘算法挖掘得到；非事件样本内容可以从美食、情感等垂类中采样得到。
如图7A所示，本申请实施例中的事件分类模型也可称作过滤模型，本申请基于热点挖掘内容选择大量事件标题，而非事件类则从美食、情感等主题中筛选，学习一个事件分类模型。这样人工标注和数据增强能够针对事件非事件标准调整，提高内容检索的效果。
如图7B所示，其为本申请实施例中的一种过滤模型预测过程的逻辑示意图。如图7B中列举了三个样本内容的文本示例，如T1：鱿鱼这样吃才香；T2：爱你，也太太太太太太“美”了；T3：S市知名作家张三去世。
首先，可结合上述所列举的质量评价模型对上述三个内容进行低质分类，过滤到其中的T2，T2为无实体信息的低质内容。进而，结合上述所列举的事件分类模型，对T1和T3进行事件分类，其中T1属于美食垂类，因而标注信息为非事件，T3属于热点事件，因而标注信息为事件。
需要说明的是，图7B只是简单举例说明。对于本申请实施例中的样本内容，皆可通过上述方式进行筛选和标注，进而，基于此对待训练的内容检索模型，来进行模型训练。
(b)困难样本的筛选和扩充。
在本申请实施例中，一种可选的困难样本筛选方式为：
对于一个样本标题，首先，将该样本标题以及各个样本内容分别输入对偶式网络，获得该样本标题以及各个样本内容各自的深度语义特征；基于各个深度语义特征，获得各个样本内容各自与该样本标题之间的第一语义相似度；以及，将各个样本内容与该样本标题，以第一输入特征的形式输入交互式网络，获得各个样本内容各自与该样本标题之间的第二语义相似度，每个第一输入特征为该样本标题和一个样本内容拼接得到的。进而，基于各个样本内容对应的第一语义相似度和第二语义相似度之间的差异，从各个样本内容中筛选出至少一个困难负样本内容。
如图8所示，其为本申请实施例中的一种扩充困难样本的方法示意图。
其中，对于初始数据(包含多个样本标题和多个样本内容)，将初始数据按照上述方式输入对偶式网络，即图8中的Dual-encoder，基于该网络，可以实现样本内容的快速召回，筛选出和输入的样本标题语义相似的多个样本内容。具体方式为：将该样本标题以及样本内容分别输入对偶式网络中相应的子网络，可参考图4B中的方式，获得样本标题以及样本内容各自的深度语义特征，可分别记作Eq(q)、Ep(p)，进而通过距离函数计算向量之间的距离，将计算结果作为相应的第一语义相似度。
同时，将初始数据输入交互式网络，即图8中的Cross-encoder，基于该网络，判断各个样本与样本标题之间的语义相关性。其中，第一输入特征即样本标题和样本内容拼接获得的，具体形式可参考图4A，在此不做重复赘述。最终可获得交互式网络输出的第二语义相似度sim(q,p)。
通过上述方式，采用Cross-encoder和Dual-encoder两个网络对同一批样本进行预测，由于两个网络本身的特点，预测到的结果会存在一些差异，因而，结合第一语义相似度和第二语义相似度之间的差异，可进行人工标注，例如选取差异较大的样本作为困难负样本内容。
需要说明的是，本申请实施例中的语义相似度和预测关联度的本质含义是相同的，都是基于模型获得的，表征标题和内容之间的相关性的参数。另外，第一预测关联度、第二预测关联度分别表示内容检索模型训练或应用过程中，交互式网络、对偶式网络的输出结果，而第一语义相似度、第二语义相似度分别表示内容检索模型训练前的样本筛选阶段，对偶式网络、交互式网络的输出结果。
在本申请实施例中，还可对至少一个困难负样本内容进行数据扩充，如图8所示的数据增扩步骤，通过筛选困难负样本内容、增扩困难负样本内容的方式，可进一步提升内容检索模型的准确性。
一种可选的困难样本扩充方式为，对于一个困难负样本内容进行数据扩充的方式包括以下至少一种：
对于一个困难负样本内容中的至少一个分词进行同义词替换；对于一个困难负样本内容中的至少两个分词进行内容顺序调整。
比如，一个困难负样本内容为“张三在3.1日10点与会”，通过内容顺序调整，可得到一个扩充后的困难负样本内容“在3.1日10点张三与会”，又比如，通过同义词替换，可得到另一个扩充后的困难负样本内容“张三在3.1日10点参加会议”，再比如通过同义词替换和内容顺序调整，得到一个扩充后的困难负样本内容“在3.1日10点张三参加会议”，等等。
在上述实施方式中，采用困难样本训练模型，能够增加能够有效地提升模型效果，因此本申请在数据准备之初就借鉴主动学习的方法，将模型学习和人工标注结合形成一个流水线。
此外，相比于相关技术中采用BM25算法进行召回的方式，BM25算法用作模型召回仅能表示文本间字面相似度，本申请首先选择Dual-encoder的方式建模文本的深度语义表示，提升召回能力。在此基础上，本申请借助预训练模型强大的交互能力，通过cross-encoder判断文本对是否强相关。接下来本申请将两者之间存在差异的内容进行人工标注，获得监督信息提示模型效果，最后本申请通过数据增扩，通过内容顺序调整、同义替换等方式获得更多强负例(困难负例)，新得到的增强数据又可以进一步的提升召回和判断模型的效果。
下面从模型应用的角度，对本申请实施例中的目标内容检索模型的应该过程进行举例说明：
可选的，本申请实施例中训练好的目标内容检索模型中的对偶式网络具有效率高、准确率高的特点，因而，基于目标内容检索模型，对内容库中的候选内容进行向量表示时，可以快速获得准确的语义表示向量，也即深度语义特征。
在实际应用中，资讯内容的语义表示向量(vector)上线推荐侧开销大，本申请考虑到传统的聚类方法，每次有新增内容时，都需要重新进行聚类，难以实现对新增内容聚类ID不变，因此本申请将传统的离线聚类方法，改进为周期执行的批次聚类方法。具体实现方式如下：
首先，将当前周期的各个候选内容，分别输入目标内容检索模型中的交互式网络，获得各个候选内容的深度语义特征；进而，基于获得的各个深度语义特征，对各个候选内容进行聚类，获得至少一个相似簇；在将当前周期的候选内容进行聚类后，将聚类得到的相似簇与历史簇进行融合，具体融合方式为：
对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将一个相似簇与一个历史簇进行簇融合，获得至少一个目标簇，其中，历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
其中，两个簇之间的内容相似度，可以为两者之间的支撑点相似度确定，支撑点也称关键节点；若一个相似簇和一个历史簇中相似的关键节点的占比大于预设阈值，则将一个相似簇和一个历史簇进行簇融合，获得一个目标簇。
在本申请实施例中，目标簇也即更新后的相似簇，通过上述方式，可以将每周期聚类得到的相似簇和历史簇进行融合更新，对于可以融合的簇，更新后的簇ID同对应的历史簇的簇ID相同，而没有重合的簇，则分配新的簇ID，加入SimDB中。
参阅图9A所示，其为本申请实施例中的一种内容聚类方法的逻辑示意图。该示意图是以周期为1小时为例，即每小时进行一次聚类，且一个周期内聚类的候选内容为最近12小时内内容库中新增的内容。比如：第一周期为：6:00-18:00，第二周期为7:00-19:00，第三周期为：7:00-20:00，…，以此类推即可。
如图9A中的HBase为存储候选内容的数据库，也即内容库，可存储有候选内容以及各个候选内容对应的向量(即语义表示向量，也称深度语义特征)，其中，该向量可以预先通过目标内容检索模型中的对偶式网络获得。具体地，每隔一小时即可通过HBase拉取“最近12小时(候选)内容和对应的向量”，进而，结合各个候选内容的语义表示向量，通过DBScan算法聚类得到相似簇，将相似簇与SimDB中的历史簇进行融合，并更新SimDB。
下面以当前为第二周期为例，即本次从HBase中拉取最近12小时(7:00-19:00)的候选内容和对应的语义表示向量，通过DBScan算法聚类得到相似簇，并进行簇融合。参阅图9B所示，其为本申请实施例中的一种簇融合示例的示意图。其中，对第一周期6:00-18:00的候选内容进行聚类得到了4个相似簇作为历史簇，分别为历史簇1-历史簇4，簇标识分别为：ID1-ID4。在当前周期(第二周期)，对7:00-19:00的候选内容进行聚类得到了3个相似簇，分别为相似簇1-相似簇3，暂未分配簇标识。在获得上述结果后，将第二周期的聚类得到的相似簇与历史簇进行融合，获得最终的结果，如图9B中，在簇融合过程中，具体是：将新得到的相似簇2和历史簇2进行融合，得到更新后的相似簇，也称目标簇1，簇标识同历史簇2的标识相同，为ID2；以及，将新得到的相似簇3和历史簇3进行融合，得到更新后的相似簇，也称目标簇2，簇标识同历史簇3的标识相同，为ID3。对于相似簇1而言，该相似簇与历史簇1-历史簇4的内容相似度都未达到第三阈值，即表明相似簇1与历史簇1-历史簇4都不相似，无需进行簇融合，分配一个新的簇ID即可，如图9B中的相似簇1的簇标识为ID5。
最终，在第二周期获得的结果有5个簇，分别为历史簇1(ID1)、目标簇1(ID2)、目标簇2(ID3)、历史簇4(ID4)、相似簇1(ID5)。在下一周期进簇融合时，即可将这五个簇作为历史簇。即在第三周期时，对8:00-20:00的候选内容进行聚类，并将聚类结果与图9B中第二周期结果中的这五个历史簇进行簇融合，对于未能融合的簇，分配新的簇ID，以此类推即可，重复之处不再赘述。
在上述实施方式中，提出了批次聚类的方法，且将相似簇与历史簇融合，对于没有融合的簇才会重新分配新的簇ID，而可融合的簇无需重新分配，可保证一些新增内容聚类ID不变。
可选的，除了上述所列举的内容聚类外，还可基于本申请实施例中的目标内容检索模型来进行内容推荐，一般内容推荐也分为召回和排序两个大步骤。具体地，检索对象输入待检索标题后，即可将待检索标题以及各个候选内容分别输入目标内容检索模型中的对偶式网络，获得各个候选内容与待检索标题之间的第一预测关联度；基于获得的各个第一预测关联度，从各个候选内容中，筛选出至少两个目标候选内容，即召回过程，基于目标内容检索模型中的对偶式网络，可以快速准确的召回多个与待检索标题相关的候选内容，即目标候选内容。
进而，将至少两个目标候选内容分别与待检索标题，以第二输入特征的形式输入目标内容检索模型中的交互式网络，获得至少两个目标候选内容各自与待检索标题之间的第二预测关联度，每个第二输入特征为待检索样本标题和一个目标候选内容拼接得到的；基于获得的各个第二预测关联度，从至少两个目标候选内容中确定针对待检索标题的目标推荐内容。
如图10所示，其为本申请实施例中的一种内容推荐方法的逻辑示意图。
在本申请实施例中，对象可在终端设备侧输入待检索标题，由终端设备将待检索标题通知服务器，进而，服务器采用内部部署的目标内容检索模型，对候选内容进行召回，获得至少两个目标候选内容，进而，基于各个目标候选内容各自的第二预测关联度，对目标候选内容进行排序，基于排序结果筛选目标推荐内容推荐，并将目标推荐内容的标识发送给终端设备，由终端设备展示给对象。例如，将目标候选内容按照第二预测关联度从大到小的顺序排序，如图10中依次为：目标候选内容1、目标候选内容2、目标候选内容3、目标候选内容4，可选取前两个，即目标候选内容1、目标候选内容2作为目标推荐内容。
或者，为了实现去重的效果，还在基于各个目标候选内容各自的第二预测关联度，对目标候选内容进行排序，基于排序结果确定出目标推荐内容推荐的过程中，可确定至少两个目标候选内容各自的簇标识，进而，将具有相同簇标识的目标候选内容进行去重后，根据剩余的目标候选内容的排序结果，确定针对待检索标题的目标推荐内容，例如目标候选内容1、目标候选内容2重复，可将这两个重复内容中第二预测关联度较小的去除，然后，选取排序靠前的两个，即目标候选内容1、目标候选内容3作为目标推荐内容。
其中，簇标识用于表征目标候选内容所属的目标簇，目标簇是预先对各个目标候选内容进行聚类得到的，具体聚类方式可参考上述图9A和图9B中所列举的方式，重复之处不再赘述。
除此之外，在本申请实施例中，还可将加入外部知识库wiki等，提升对开放域检索的效果。例如，在获得候选的基础上，加入更多的对象画像信息和外部知识库信息对候选进行重新排序，将能够更好满足对象问题的答案排在更靠前的位置，并最终地排序结果展示给对象。
在上述实施方式中，上述过程结合了人工智能技术，可以依靠机器学习自动完成，无需人工干预，减少了人工工作，更加系统、科学，减轻了对象负担。并且，上述方法预测准确率较高，能够较准确检索出对象想要检索出来的结果，且有效去除重复内容，提高推荐效果。
需要说明的是，本申请中的方法应用在语义相关性计算，相似子簇聚类任务，上线推荐打散等场景下，都可取得非常好的效果，还可支持推荐热度计算，解决事件聚类召回不足的情况，支持社交平台表情包的匹配等等，应用范围广泛。另外，本申请中的方法具有良好的可扩展性，针对不同领域，可以选用不同领域的检索数据进行训练，在不同领域的检索效果都可以得到响应的提升并且不会造成太多检索延时增加。
参阅图11所示，为本申请实施例提供的一种内容检索方法的实施流程图，以服务器单独执行为例，该方法的具体实施流程如下：
S111：服务器将当前周期的各个候选内容，分别输入已训练的目标内容检索模型中的交互式网络，获得各个候选内容的深度语义特征；
S112：服务器基于获得的各个深度语义特征，对各个候选内容进行聚类，获得至少一个相似簇；
S113：服务器对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将一个相似簇与一个历史簇进行簇融合，获得至少一个目标簇，其中，历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
需要说明的是，上述实施过程的具体实施方式可参见上述实施例，例如图9A、图9B所示，重复之处不再赘述。
可选的，在针对待检索标题进行内容推荐前，根据各个候选内容的簇标识，对各个候选内容进行去重处理，具体实施例方式也可参见上述实施例，重复之处不再赘述。
在上述实施方式中，通过周期性地对候选内容进行聚类，可实现对新增内容的批次聚类，并且，每周期都会结合历史簇对本周期聚类得到的相似簇进行簇融合，该方法可有效将历史簇与新增内容进行关联，有效提升聚类效果。
参阅图12所示，其为本申请实施例中的一种内容检索模型训练和使用过程的具体流程示意图。该方法的具体实施流程如下：
步骤S1201：服务器基于已训练的质量评价模型，对历史内容集的各个历史内容进行质量评估，基于获得的各个质量评价参数，从历史内容集中筛选出多个历史内容，作为样本内容；
步骤S1202：服务器基于已训练的事件分类模型，分别对各个样本内容进行分类，获得各个样本内容各自的标注信息；
步骤S1203：服务器将一个样本标题以及各个样本内容分别输入待训练的内容检索模型中的对偶式网络，获得各个样本内容各自与一个样本标题之间的第一语义相似度；
步骤S1204：服务器将各个样本内容与一个样本标题，以第一输入特征的形式输入待训练的内容检索模型中的交互式网络，获得各个样本内容各自与一个样本标题之间的第二语义相似度；
步骤S1205：服务器基于各个样本内容对应的第一语义相似度和第二语义相似度之间的差异，从各个样本内容中筛选出至少一个困难负样本内容；
步骤S1206：服务器对上述筛选出的至少一个困难负样本内容进行数据扩充，获得扩充的困难负样本内容；
步骤S1207：服务器将训练样本集合划分为多个训练样本组，每个训练样本组中的样本内容包括：对应同一样本标题的一个正样本内容，两个困难负样本内容及至少一个简单负样本内容；
步骤S1208：服务器选取训练样本组，并将该训练样本组分别输入待训练的内容检索模型中的交互式网络和对偶式网络，分别获得样本内容针对相应样本标题的第一预测关联度，以及样本内容针对相应样本标题的第二预测关联度；
步骤S1209：服务器基于第一预测关联度和对应的内容标签之间的差异，对交互式网络进行参数调整，以及，基于第二预测关联度和对应的第一预测关联度之间的差异，对对偶式网络进行参数调整；
步骤S1210：服务器判断内容检索模型是否收敛，如果是，则执行步骤S1211，否则，返回步骤S1208；
步骤S1211：服务器将当前周期的各个候选内容，分别输入目标内容检索模型中的交互式网络，获得各个候选内容的深度语义特征；
步骤S1212：服务器基于获得的各个深度语义特征，对各个候选内容进行聚类，获得至少一个相似簇；
步骤S1213：服务器对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将一个相似簇与一个历史簇进行簇融合，获得至少一个目标簇。
需要说明的是，上述图12只是对本申请实施例中的内容检索方法的简单举例说明，基于本申请实施例中的方法训练得到的对偶式网络同时具备召回效率高、召回准确率高两大特点，可以应用到大规模检索召回场景。
基于相同的发明构思，本申请实施例还提供一种内容检索模型训练装置。
如图13所示，其为内容检索模型训练装置1300的结构示意图，可以包括：
模型训练单元1301，用于基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出相应的目标内容检索模型；每个训练样本包括：样本内容及其与相应样本标题之间的实际关联度；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本分别输入待训练的内容检索模型中的交互式网络和对偶式网络，分别获得样本内容针对相应样本标题的第一预测关联度，以及样本内容针对相应样本标题的第二预测关联度；
基于第一预测关联度和对应的内容标签之间的差异，对交互式网络进行参数调整，以及，基于第二预测关联度和对应的第一预测关联度之间的差异，对对偶式网络进行参数调整。
可选的，在一次训练迭代过程中选取的训练样本为：由至少三个训练样本组成的训练样本组；训练样本组中的样本内容包括：对应同一样本标题的一个正样本内容，至少一个困难负样本内容及至少一个简单负样本内容；
其中，正样本内容为：与样本标题相关联的样本内容；困难负样本内容为：与样本标题不相关但与正样本内容相关的样本内容；简单负样本内容为：与样本标题不相关且与正样本内容不相关的样本内容。
可选的，对于两个不同的训练样本组，其中一个训练样本组中的正样本内容和困难负样本内容中的至少一个，为另一个训练样本组中的简单负样本内容。
可选的，模型训练单元1301还用于：
对于一个样本标题，通过如下方式获得与一个样本标题对应的困难负样本内容：
将一个样本标题以及各个样本内容分别输入对偶式网络，获得一个样本标题以及各个样本内容各自的深度语义特征；基于各个深度语义特征，获得各个样本内容各自与一个样本标题之间的第一语义相似度；以及
将各个样本内容与一个样本标题，以第一输入特征的形式输入交互式网络，获得各个样本内容各自与一个样本标题之间的第二语义相似度，每个第一输入特征为一个样本标题和一个样本内容拼接得到的；
基于各个样本内容对应的第一语义相似度和第二语义相似度之间的差异，从各个样本内容中筛选出至少一个困难负样本内容。
可选的，装置还包括：
样本构建单元1302，用于对至少一个困难负样本内容进行数据扩充，获得扩充的困难负样本内容；
其中，对于一个困难负样本内容进行数据扩充的方式包括以下至少一种：
对于一个困难负样本内容中的至少一个分词进行同义词替换；
对于一个困难负样本内容中的至少两个分词进行内容顺序调整。
可选的，每个训练样本还包括相应样本内容的标注信息，模型训练单元1301还用于通过下列方式获得标注信息：
基于已训练的事件分类模型，分别对各个样本内容进行分类，获得各个样本内容各自的标注信息，标注信息用于表征样本内容是否为事件类内容。
可选的，模型训练单元1301还用于通过如下方式筛选得到每个样本内容：
基于已训练的质量评价模型，对历史内容集的各个历史内容进行质量评估，获得各个历史内容各自的质量评价参数；
基于获得的各个质量评价参数，从历史内容集中筛选出多个历史内容，作为样本内容。
可选的，模型训练单元1301具体用于：
基于第一预测关联度和对应的实际关联度之间的差异，构建交叉熵损失函数；
基于交叉熵损失函数，对交互式网络进行参数调整。
可选的，模型训练单元1301具体用于：
基于第二预测关联度和对应的实际关联度之间的差异，构建对比损失函数，以及，基于第二预测关联度和对应的第一预测关联度之间的差异，构建相对熵损失函数；
基于对比损失函数和相对熵损失函数，对对偶式网络进行参数调整。
可选的，装置还包括：
分类单元1303，用于将当前周期的各个候选内容，分别输入目标内容检索模型中的交互式网络，获得各个候选内容的深度语义特征；
基于获得的各个深度语义特征，对各个候选内容进行聚类，获得至少一个相似簇；
对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将一个相似簇与一个历史簇进行簇融合，获得至少一个目标簇，其中，历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
可选的，装置还包括：
推荐单元1304，用于将待检索标题以及各个候选内容分别输入目标内容检索模型中的对偶式网络，获得各个候选内容与待检索标题之间的第一预测关联度；
基于获得的各个第一预测关联度，从各个候选内容中，筛选出至少两个目标候选内容；
将至少两个目标候选内容分别与待检索标题，以第二输入特征的形式输入目标内容检索模型中的交互式网络，获得至少两个目标候选内容各自与待检索标题之间的第二预测关联度，每个第二输入特征为待检索样本标题和一个目标候选内容拼接得到的；
基于获得的各个第二预测关联度，从至少两个目标候选内容中确定针对待检索标题的目标推荐内容。
可选的，推荐单元1304具体用于：
确定至少两个目标候选内容各自的簇标识，簇标识用于表征目标候选内容所属的目标簇，目标簇是预先对各个目标候选内容进行聚类得到的；
将具有相同簇标识的目标候选内容进行去重后，根据剩余的目标候选内容各自的第二预测关联度，确定针对待检索标题的目标推荐内容。
本申请实施例中的模型训练方法，采用交互式网络和对偶式网络联合训练的方式，将训练样本分别输入交互式网络和对偶式网络，由于对偶式网络是指采用两个完全一致的子网络，分别对样本标题和样本内容进行特征提取，而交互式网络是指通过预训练模型对样本标题和样本内容拼接的输入进行特征提取，因而，基于交互式网络可获得第一预测关联度，该网络联合学习样本内容与样本标题的语义，这样可以有效学习到样本内容与样本标题之间的语义相关性，模型精度更高；而对偶式网络可以快速的单独学习样本内容与样本标题的语义，获得第二预测关联度，因而，本申请采用知识蒸馏的联合学习方式，利用精度更高的交互式网络对对偶式网络进行辅助训练，可以使得训练后的对偶式网络可以快速学习到内容与标题之间的语义相关性，进而有效提高内容检索的准确性。
基于相同的发明构思，本申请实施例还提供一种内容检索装置。如图14所示，其为内容检索装置1400的结构示意图，可以包括：
特征提取单元1401，用于将当前周期的各个候选内容，分别输入已训练的目标内容检索模型中的交互式网络，获得各个候选内容的深度语义特征；
聚类单元1402，用于基于获得的各个深度语义特征，对各个候选内容进行聚类，获得至少一个相似簇；
更新单元1403，用于对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将一个相似簇与一个历史簇进行簇融合，获得至少一个目标簇，其中，历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
可选的，装置还包括：
推荐单元1404，用于在针对待检索标题进行内容推荐前，根据各个候选内容的簇标识，对各个候选内容进行去重处理，簇标识用于表征候选内容所属的目标簇，目标簇是预先对各个候选内容进行聚类得到的。
本申请实施例中的内容检索方法，周期性地对候选内容进行聚类，可实现对新增内容的批次聚类，并且，每周期都会结合历史簇对本周期聚类得到的相似簇进行簇融合，该方法可有效将历史簇与新增内容进行关联，有效提升聚类效果。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的内容检索方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图15所示，包括存储器1501，通讯模块1503以及一个或多个处理器1502。
存储器1501，用于存储处理器1502执行的计算机程序。存储器1501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器1501是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器1501可以是上述存储器的组合。
处理器1502，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1502，用于调用存储器1501中存储的计算机程序时实现上述内容检索方法。
通讯模块1503用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1501、通讯模块1503和处理器1502之间的具体连接介质。本申请实施例在图15中以存储器1501和处理器1502之间通过总线1504连接，总线1504在图15中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1504可以分为地址总线、数据总线、控制总线等。为便于描述，图15中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
存储器1501中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的内容检索模型训练方法或内容检索方法。处理器1502用于执行上述的内容检索模型训练方法或内容检索方法，如图3或图11所示。
在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图16所示，包括：通信组件1610、存储器1620、显示单元1630、摄像头1640、传感器1650、音频电路1660、蓝牙模块1670、处理器1680等部件。
通信组件1610用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。
存储器1620可用于存储软件程序及数据。处理器1680通过运行存储在存储器1620的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器1620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1620存储有使得终端设备110能运行的操作系统。本申请中存储器1620可以存储操作系统及各种应用程序，还可以存储执行本申请实施例内容检索模型训练方法或内容检索方法的计算机程序。
显示单元1630还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元1630可以包括设置在终端设备110正面的显示屏1632。其中，显示屏1632可以采用液晶显示器、发光二极管等形式来配置。显示单元1630可以用于显示本申请实施例中的信息流、目标推荐内容等。
显示单元1630还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元1630可以包括设置在终端设备110正面的触控屏1631，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
其中，触控屏1631可以覆盖在显示屏1632之上，也可以将触控屏1631与显示屏1632集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元1630可以显示应用程序以及对应的操作步骤。
摄像头1640可用于捕获静态图像，用户可以将摄像头1640拍摄的图像通过应用发布评论。摄像头1640可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1680转换成数字图像信号。
终端设备还可以包括至少一种传感器1650，比如加速度传感器1651、距离传感器1652、指纹传感器1653、温度传感器1654。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1660、扬声器1661、传声器1662可提供用户与终端设备110之间的音频接口。音频电路1660可将接收到的音频数据转换后的电信号，传输到扬声器1661，由扬声器1661转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1662将收集的声音信号转换为电信号，由音频电路1660接收后转换为音频数据，再将音频数据输出至通信组件1610以发送给比如另一终端设备110，或者将音频数据输出至存储器1620以便进一步处理。
蓝牙模块1670用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1670与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
处理器1680是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1620内的软件程序，以及调用存储在存储器1620内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1680可包括一个或多个处理单元；处理器1680还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1680中。本申请中处理器1680可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的内容检索模型训练方法或内容检索方法。另外，处理器1680与显示单元1630耦接。
在一些可能的实施方式中，本申请提供的内容检索方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的内容检索模型训练方法或内容检索方法中的步骤，例如，电子设备可以执行如图3或图11中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备，或者，可以连接到外部电子设备。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (19)

1.一种内容检索模型训练方法，其特征在于，该方法包括：
基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出相应的目标内容检索模型；每个训练样本包括：样本内容及其与相应样本标题之间的实际关联度；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本分别输入所述待训练的内容检索模型中的交互式网络和对偶式网络，分别获得所述样本内容针对相应样本标题的第一预测关联度，以及所述样本内容针对相应样本标题的第二预测关联度；
基于所述第一预测关联度和对应的内容标签之间的差异，对所述交互式网络进行参数调整，以及，基于所述第二预测关联度和对应的第一预测关联度之间的差异，对所述对偶式网络进行参数调整。
2.如权利要求1所述的方法，其特征在于，在一次训练迭代过程中选取的训练样本为：由至少三个训练样本组成的训练样本组；所述训练样本组中的样本内容包括：对应同一样本标题的一个正样本内容，至少一个困难负样本内容及至少一个简单负样本内容；
其中，所述正样本内容为：与所述样本标题相关联的样本内容；所述困难负样本内容为：与所述样本标题不相关但与所述正样本内容相关的样本内容；所述简单负样本内容为：与所述样本标题不相关且与所述正样本内容不相关的样本内容。
3.如权利要求2所述的方法，其特征在于，对于两个不同的训练样本组，其中一个训练样本组中的正样本内容和困难负样本内容中的至少一个，为另一个训练样本组中的简单负样本内容。
4.如权利要求2所述的方法，其特征在于，对于一个样本标题，与所述一个样本标题对应的困难负样本内容是通过如下方式获得的：
将一个样本标题以及各个样本内容分别输入所述对偶式网络，获得所述一个样本标题以及所述各个样本内容各自的深度语义特征；基于各个深度语义特征，获得所述各个样本内容各自与所述一个样本标题之间的第一语义相似度；以及
将所述各个样本内容与所述一个样本标题，以第一输入特征的形式输入所述交互式网络，获得所述各个样本内容各自与所述一个样本标题之间的第二语义相似度，每个第一输入特征为所述一个样本标题和一个样本内容拼接得到的；
基于各个样本内容对应的第一语义相似度和第二语义相似度之间的差异，从所述各个样本内容中筛选出至少一个困难负样本内容。
5.如权利要求2所述的方法，其特征在于，所述方法还包括：
对所述至少一个困难负样本内容进行数据扩充，获得扩充的困难负样本内容；
其中，对于一个困难负样本内容进行数据扩充的方式包括以下至少一种：
对于一个困难负样本内容中的至少一个分词进行同义词替换；
对于一个困难负样本内容中的至少两个分词进行内容顺序调整。
6.如权利要求1所述的方法，其特征在于，每个训练样本还包括相应样本内容的标注信息，所述标注信息是通过下列方式获得的：
基于已训练的事件分类模型，分别对各个样本内容进行分类，获得所述各个样本内容各自的标注信息，所述标注信息用于表征所述样本内容是否为事件类内容。
7.如权利要求1所述的方法，其特征在于，每个样本内容是通过如下方式筛选得到的：
基于已训练的质量评价模型，对历史内容集的各个历史内容进行质量评估，获得所述各个历史内容各自的质量评价参数；
基于获得的各个质量评价参数，从所述历史内容集中筛选出多个历史内容，作为所述样本内容。
8.如权利要求1～7任一项所述的方法，其特征在于，所述基于所述第一预测关联度和对应的实际关联度之间的差异，对所述交互式网络进行参数调整，包括：
基于所述第一预测关联度和对应的实际关联度之间的差异，构建交叉熵损失函数；
基于所述交叉熵损失函数，对所述交互式网络进行参数调整。
9.如权利要求1～7任一项所述的方法，其特征在于，所述基于所述第二预测关联度和对应的第一预测关联度之间的差异，对所述对偶式网络进行参数调整，包括：
基于所述第二预测关联度和对应的实际关联度之间的差异，构建对比损失函数，以及，基于所述第二预测关联度和对应的第一预测关联度之间的差异，构建相对熵损失函数；
基于所述对比损失函数和所述相对熵损失函数，对所述对偶式网络进行参数调整。
10.如权利要求1～7任一项所述的方法，其特征在于，所述方法还包括：
将当前周期的各个候选内容，分别输入所述目标内容检索模型中的交互式网络，获得所述各个候选内容的深度语义特征；
基于获得的各个深度语义特征，对所述各个候选内容进行聚类，获得至少一个相似簇；
对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将所述一个相似簇与所述一个历史簇进行簇融合，获得至少一个目标簇，其中，所述历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
11.如权利要求1～7任一项所述的方法，其特征在于，所述方法还包括：
将待检索标题以及各个候选内容分别输入所述目标内容检索模型中的对偶式网络，获得所述各个候选内容与所述待检索标题之间的第一预测关联度；
基于获得的各个第一预测关联度，从所述各个候选内容中，筛选出至少两个目标候选内容；
将所述至少两个目标候选内容分别与所述待检索标题，以第二输入特征的形式输入所述目标内容检索模型中的交互式网络，获得所述至少两个目标候选内容各自与所述待检索标题之间的第二预测关联度，每个第二输入特征为待检索样本标题和一个目标候选内容拼接得到的；
基于获得的各个第二预测关联度，从所述至少两个目标候选内容中确定针对所述待检索标题的目标推荐内容。
12.如权利要求11所述的方法，其特征在于，所述基于获得的各个第二预测关联度，从所述至少两个目标候选内容中确定针对所述待检索标题的目标推荐内容，包括：
确定所述至少两个目标候选内容各自的簇标识，所述簇标识用于表征目标候选内容所属的目标簇，所述目标簇是预先对各个目标候选内容进行聚类得到的；
将具有相同簇标识的目标候选内容进行去重后，根据剩余的目标候选内容各自的第二预测关联度，确定针对所述待检索标题的目标推荐内容。
13.一种内容检索方法，其特征在于，包括：
将当前周期的各个候选内容，分别输入已训练的目标内容检索模型中的交互式网络，获得所述各个候选内容的深度语义特征；其中，所述目标内容检索模型还包括对偶式网络，所述目标内容检索模型是基于样本内容针对相应样本标题的第一预测关联度和对应的内容标签之间的差异，以及所述样本内容针对相应样本标题的第二预测关联度和对应的第一预测关联度之间的差异，进行参数调整得到；所述第一预测关联度基于所述交互式网络获得，所述第二预测关联度基于所述对偶式网络获得；
基于获得的各个深度语义特征，对所述各个候选内容进行聚类，获得至少一个相似簇；
对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将所述一个相似簇与所述一个历史簇进行簇融合，获得至少一个目标簇，其中，所述历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
14.如权利要求13所述的方法，其特征在于，所述方法还包括：
在针对待检索标题进行内容推荐前，根据各个候选内容的簇标识，对所述各个候选内容进行去重处理，所述簇标识用于表征候选内容所属的目标簇，所述目标簇是预先对各个候选内容进行聚类得到的。
15.一种内容检索模型训练装置，其特征在于，包括：
模型训练单元，用于基于训练样本集合对待训练的内容检索模型进行循环迭代训练，输出相应的目标内容检索模型；每个训练样本包括：样本内容及其与相应样本标题之间的实际关联度；其中，在一次循环迭代过程中，执行以下操作：
将选取的训练样本分别输入所述待训练的内容检索模型中的交互式网络和对偶式网络，分别获得所述样本内容针对相应样本标题的第一预测关联度，以及所述样本内容针对相应样本标题的第二预测关联度；
基于所述第一预测关联度和对应的内容标签之间的差异，对所述交互式网络进行参数调整，以及，基于所述第二预测关联度和对应的第一预测关联度之间的差异，对所述对偶式网络进行参数调整。
16.一种内容检索模型训练装置，其特征在于，包括：
特征提取单元，用于将当前周期的各个候选内容，分别输入已训练的目标内容检索模型中的交互式网络，获得所述各个候选内容的深度语义特征；其中，所述目标内容检索模型还包括对偶式网络，所述目标内容检索模型是基于样本内容针对相应样本标题的第一预测关联度和对应的内容标签之间的差异，以及所述样本内容针对相应样本标题的第二预测关联度和对应的第一预测关联度之间的差异，进行参数调整得到；所述第一预测关联度基于所述交互式网络获得，所述第二预测关联度基于所述对偶式网络获得；
聚类单元，用于基于获得的各个深度语义特征，对所述各个候选内容进行聚类，获得至少一个相似簇；
更新单元，用于对于每个相似簇分别执行以下操作：若一个相似簇和一个历史簇的内容相似度达到第三阈值，则将所述一个相似簇与所述一个历史簇进行簇融合，获得至少一个目标簇，其中，所述历史簇是基于历史周期内的各个候选内容的聚类结果确定的。
17.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～14中任一所述方法的步骤。
18.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～14中任一所述方法的步骤。
19.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行权利要求1～14中任一所述方法的步骤。
CN202210398191.6A 2022-04-15 2022-04-15 内容检索及模型训练方法、装置、电子设备和存储介质 Active CN115114395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398191.6A CN115114395B (zh) 2022-04-15 2022-04-15 内容检索及模型训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398191.6A CN115114395B (zh) 2022-04-15 2022-04-15 内容检索及模型训练方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115114395A CN115114395A (zh) 2022-09-27
CN115114395B true CN115114395B (zh) 2024-03-19

Family

ID=83324556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398191.6A Active CN115114395B (zh) 2022-04-15 2022-04-15 内容检索及模型训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115114395B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329749B (zh) * 2022-10-14 2023-01-10 成都数之联科技股份有限公司 一种语义检索的召回和排序联合训练方法及系统
CN116167455B (zh) * 2022-12-27 2023-12-22 北京百度网讯科技有限公司 模型训练及数据去重方法、装置、设备及存储介质
CN116756548B (zh) * 2023-08-22 2023-10-24 贵州中南锦天科技有限责任公司 应用于低压配电物联网的断路器管理方法及系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319686A (zh) * 2018-02-01 2018-07-24 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法
CN110554602A (zh) * 2018-05-30 2019-12-10 罗伯特·博世有限公司 生成鲁棒的自动化学习系统并测试经训练自动化学习系统
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法
CN110736709A (zh) * 2019-10-26 2020-01-31 苏州大学 一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法
CN111626956A (zh) * 2020-05-26 2020-09-04 北京百度网讯科技有限公司 图像去模糊方法和装置
CN111815035A (zh) * 2020-06-22 2020-10-23 国网上海市电力公司 一种融合形态聚类及TCN-Attention的短期负荷预测方法
CN111862260A (zh) * 2020-07-31 2020-10-30 浙江工业大学 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN112182292A (zh) * 2020-09-30 2021-01-05 百度(中国)有限公司 视频检索模型的训练方法、装置、电子设备及存储介质
CN112287134A (zh) * 2020-09-18 2021-01-29 中国科学院深圳先进技术研究院 检索模型的训练和识别方法、电子设备及存储介质
CN112836068A (zh) * 2021-03-24 2021-05-25 南京大学 一种基于带噪标签学习的无监督跨模态哈希检索方法
CN112949710A (zh) * 2021-02-26 2021-06-11 北京百度网讯科技有限公司 一种图像的聚类方法和装置
CN113392651A (zh) * 2020-11-09 2021-09-14 腾讯科技（深圳）有限公司 训练词权重模型及提取核心词的方法、装置、设备和介质
CN113535918A (zh) * 2021-07-14 2021-10-22 梁晨 预训练对偶注意力神经网络语义推断对话检索方法及系统、检索设备、存储介质
CN113590983A (zh) * 2021-01-28 2021-11-02 腾讯科技（深圳）有限公司 描述文本生成方法和装置、文本处理模型的训练方法
CN113590863A (zh) * 2021-02-23 2021-11-02 腾讯科技（北京）有限公司 图像聚类方法、装置及计算机可读存储介质
CN113609896A (zh) * 2021-06-22 2021-11-05 武汉大学 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113705299A (zh) * 2021-03-16 2021-11-26 腾讯科技（深圳）有限公司 一种视频识别的方法、装置及存储介质
CN113873539A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 获取神经网络的方法和装置
CN113988157A (zh) * 2021-09-30 2022-01-28 北京百度网讯科技有限公司 语义检索网络训练方法、装置、电子设备及存储介质
CN114298055A (zh) * 2021-12-24 2022-04-08 浙江大学 基于多级语义匹配的检索方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
CN108090093B (zh) * 2016-11-22 2021-02-09 华为技术有限公司 生成推荐结果的方法和装置
US20210286859A1 (en) * 2020-02-27 2021-09-16 University Of Virginia Patent Foundation System, method and computer readable medium for sensitivity of dynamical systems to interaction network topology

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319686A (zh) * 2018-02-01 2018-07-24 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法
CN110554602A (zh) * 2018-05-30 2019-12-10 罗伯特·博世有限公司 生成鲁棒的自动化学习系统并测试经训练自动化学习系统
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法
CN110736709A (zh) * 2019-10-26 2020-01-31 苏州大学 一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
CN111402259A (zh) * 2020-03-23 2020-07-10 杭州健培科技有限公司 一种基于多层次结构关系学习网络的脑肿瘤分割方法
CN111626956A (zh) * 2020-05-26 2020-09-04 北京百度网讯科技有限公司 图像去模糊方法和装置
CN111815035A (zh) * 2020-06-22 2020-10-23 国网上海市电力公司 一种融合形态聚类及TCN-Attention的短期负荷预测方法
CN113873539A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 获取神经网络的方法和装置
CN111862260A (zh) * 2020-07-31 2020-10-30 浙江工业大学 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN112287134A (zh) * 2020-09-18 2021-01-29 中国科学院深圳先进技术研究院 检索模型的训练和识别方法、电子设备及存储介质
CN112182292A (zh) * 2020-09-30 2021-01-05 百度(中国)有限公司 视频检索模型的训练方法、装置、电子设备及存储介质
CN113392651A (zh) * 2020-11-09 2021-09-14 腾讯科技（深圳）有限公司 训练词权重模型及提取核心词的方法、装置、设备和介质
CN113590983A (zh) * 2021-01-28 2021-11-02 腾讯科技（深圳）有限公司 描述文本生成方法和装置、文本处理模型的训练方法
CN113590863A (zh) * 2021-02-23 2021-11-02 腾讯科技（北京）有限公司 图像聚类方法、装置及计算机可读存储介质
CN112949710A (zh) * 2021-02-26 2021-06-11 北京百度网讯科技有限公司 一种图像的聚类方法和装置
CN113705299A (zh) * 2021-03-16 2021-11-26 腾讯科技（深圳）有限公司 一种视频识别的方法、装置及存储介质
CN112836068A (zh) * 2021-03-24 2021-05-25 南京大学 一种基于带噪标签学习的无监督跨模态哈希检索方法
CN113609896A (zh) * 2021-06-22 2021-11-05 武汉大学 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113535918A (zh) * 2021-07-14 2021-10-22 梁晨 预训练对偶注意力神经网络语义推断对话检索方法及系统、检索设备、存储介质
CN113988157A (zh) * 2021-09-30 2022-01-28 北京百度网讯科技有限公司 语义检索网络训练方法、装置、电子设备及存储介质
CN114298055A (zh) * 2021-12-24 2022-04-08 浙江大学 基于多级语义匹配的检索方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向自由文本的细粒度关系抽取的关键技术研究;朱倩;《CNKI优秀硕士学位论文全文库信息科技辑》;1-174 *

Also Published As

Publication number Publication date
CN115114395A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN104933113B (zh) 一种基于语义理解的表情输入方法和装置
CN115114395B (zh) 内容检索及模型训练方法、装置、电子设备和存储介质
CN110209897B (zh) 智能对话方法、装置、存储介质及设备
CN112749326B (zh) 信息处理方法、装置、计算机设备及存储介质
WO2013170587A1 (zh) 一种多媒体问答系统及方法
CN113704388A (zh) 多任务预训练模型的训练方法、装置、电子设备和介质
CN113569088A (zh) 一种音乐推荐方法、装置以及可读存储介质
CN111611436A (zh) 一种标签数据处理方法、装置以及计算机可读存储介质
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
Lin et al. From ideal to reality: segmentation, annotation, and recommendation, the vital trajectory of intelligent micro learning
CN109783624A (zh) 基于知识库的答案生成方法、装置和智能会话系统
CN113254711B (zh) 一种互动图像的显示方法、装置、计算机设备和存储介质
CN112015928A (zh) 多媒体资源的信息提取方法、装置、电子设备及存储介质
CN111324773A (zh) 一种背景音乐构建方法、装置、电子设备和存储介质
CN115238126A (zh) 搜索结果重排序方法、装置、设备及计算机存储介质
CN116186197A (zh) 话题推荐方法、装置、电子设备及存储介质
CN117473034A (zh) 交互文本处理方法、装置、电子设备及存储介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
Ishmam et al. From image to language: A critical analysis of visual question answering (vqa) approaches, challenges, and opportunities
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
Gaikwad et al. MCNN: Visual sentiment analysis using various deep learning framework with deep CNN
CN115269961A (zh) 内容搜索方法以及相关设备
CN114970494A (zh) 一种评论生成方法、装置、电子设备和存储介质
CN115130453A (zh) 互动信息生成方法和装置
Nie et al. Location emotion recognition for travel recommendation based on social network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant