CN113704452B - 基于Bert模型的数据推荐方法、装置、设备及介质 - Google Patents

基于Bert模型的数据推荐方法、装置、设备及介质 Download PDF

Info

Publication number
CN113704452B
CN113704452B CN202111017745.5A CN202111017745A CN113704452B CN 113704452 B CN113704452 B CN 113704452B CN 202111017745 A CN202111017745 A CN 202111017745A CN 113704452 B CN113704452 B CN 113704452B
Authority
CN
China
Prior art keywords
vector
feature
text data
vectors
bert model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111017745.5A
Other languages
English (en)
Other versions
CN113704452A (zh
Inventor
詹乐
冯德亮
龚静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202111017745.5A priority Critical patent/CN113704452B/zh
Publication of CN113704452A publication Critical patent/CN113704452A/zh
Application granted granted Critical
Publication of CN113704452B publication Critical patent/CN113704452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例涉及人工智能领域，公开了一种基于Bert模型的数据推荐方法、装置、设备及介质，该方法包括：从训练样本集的各个第一文本数据中提取第一特征向量，第一特征向量包括词向量、句子类别向量、位置向量以及同义词向量；将第一特征向量输入预设的Bert模型进行训练，得到目标数据推荐模型；将从待测试的第二文本数据中提取的第二特征向量输入目标数据推荐模型中，得到多个文本向量；按照第二特征向量与各个文本向量之间的相似度从大到小的顺序确定候选文本数据，并将候选文本数据发送给用户终端，能够更精确地识别用户意图，提高数据推荐的准确性。本发明涉及区块链技术，如可将文本数据写入区块链中，以用于数据取证等场景。

Description

基于Bert模型的数据推荐方法、装置、设备及介质
技术领域
本发明涉及人工智能领域，尤其涉及一种基于Bert模型的数据推荐方法、装置、设备及介质。
背景技术
目前，在各个应用场景中均存在数据推荐技术如检索问答技术，数据推荐技术是人工智能领域重要的技术，在互联网产品中的数据推荐的应用日益广泛，不仅可以极大的降低公司人力成本，实时快速解决用户问题，而且还能够帮助企业改善服务质量，提高客户满意度等。
传统的数据推荐方法中用户使用的词语过于宽泛，导致无法有效识别用户的真实意图，从而导致数据推荐不够准确，这在一定程度上给用户带来了较差的服务体验。因此，如何更有效地提高数据推荐的准确率成为研究的重点。
发明内容
本发明实施例提供了一种基于Bert模型的数据推荐方法、装置、设备及介质，能够更精确地识别用户意图，增强模型的泛化能力，提高数据推荐的准确性。
第一方面，本发明实施例提供了一种基于Bert模型的数据推荐方法，包括：
获取训练样本集，所述训练样本集包括多个第一文本数据；
从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；
将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；
获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；
计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。
进一步地，所述将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型，包括：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值；
将所述损失函数值与目标损失函数值进行对比，当对比结果不满足预设条件时，根据所述对比结果调整所述预设的Bert模型的模型参数；
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入调整模型参数后的Bert模型中；
当得到的损失函数值与目标损失函数值的对比结果满足预设条件时，确定得到所述目标数据推荐模型。
进一步地，所述将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值，包括：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征；
将所述目标向量特征输入所述预设的Bert模型的第二残差网络层中，得到所述损失函数值。
进一步地，所述第一残差网络层包括多个残差网络层，所述多个残差网络层包括第一层、第二层、第三层以及第四层；所述将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征，包括：
将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征；
将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征；
将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征；
将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
进一步地，所述将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征，包括：
根据预设的加权值对所述第一向量特征进行加权处理，得到第一加权向量特征；
确定所述句子类别向量对应的句子类别向量特征，并根据所述第一加权向量特征与所述句子类别向量特征之和确定第一和向量特征；
将所述第一和向量特征输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征。
进一步地，所述将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征，包括：
根据所述预设的加权值对所述第一向量特征和所述第二向量特征进行加权处理，得到第二加权向量特征；
确定所述位置向量对应的位置向量特征，并根据所述第二加权向量特征与所述位置向量特征之和确定第二和向量特征；
将所述第二和向量特征输入预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征。
进一步地，所述将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征，包括：
根据所述预设的加权值对所述第一向量特征、所述第二向量特征和所述第三向量特征进行加权处理，得到第三加权向量特征；
确定所述同义词向量对应的同义词向量特征，并根据所述第三加权向量特征与所述同义词向量特征之和确定第三和向量特征；
将所述第三和向量特征输入预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
第二方面，本发明实施例提供了一种基于Bert模型的数据推荐装置，包括：
获取单元，用于获取训练样本集，所述训练样本集包括多个第一文本数据；
提取单元，用于从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；
训练单元，用于将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；
测试单元，用于获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；
推送单元，用于计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。
第三方面，本发明实施例提供了一种计算机设备，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述计算机程序，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例可以获取训练样本集，所述训练样本集包括多个第一文本数据；从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。本发明实施例通过在模型训练中添加词向量、句子类别向量、位置向量以及同义词向量，能够更精确地识别用户意图，增强模型的泛化能力，提高数据推荐的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于Bert模型的数据推荐方法的示意流程图；
图2是本发明实施例提供的一种特征向量的示意图；
图3是本发明实施例提供的一种Bert模型中确定目标向量特征的示意图；
图4是本发明实施例提供的一种基于Bert模型的数据推荐装置的示意框图；
图5是本发明实施例提供的一种计算机设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于Bert模型的数据推荐方法可以应用于一种基于Bert模型的数据推荐装置，在某些实施例中，所述基于Bert模型的数据推荐装置设置于计算机设备中。在某些实施例中，所述计算机设备包括但不限于智能手机、平板电脑、膝上型电脑等中的一种或者多种。
本发明实施例可以获取训练样本集，所述训练样本集包括多个第一文本数据；从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。本发明实施例通过在模型训练中添加词向量、句子类别向量、位置向量以及同义词向量，能够更精确地识别用户意图，增强模型的泛化能力，提高数据推荐的准确性。
本申请实施例可以基于人工智能技术对相关的数据(如第一文本数据、第二文本数据等)进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
下面结合附图1对本发明实施例提供的基于Bert模型的数据推荐方法进行示意性说明。
请参见图1，图1是本发明实施例提供的一种基于Bert模型的数据推荐方法的示意流程图，如图1所示，该方法可以由基于Bert模型的数据推荐装置执行，所述基于Bert模型的数据推荐装置设置于计算机设备中。具体地，本发明实施例的所述方法包括如下步骤。
S101：获取训练样本集，所述训练样本集包括多个第一文本数据。
本发明实施例中，基于Bert模型的数据推荐装置可以获取训练样本集，所述训练样本集包括多个第一文本数据。
S102：从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量。
本发明实施例中，基于Bert模型的数据推荐装置可以从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量。
在一个实施例中，所述第一特征向量中的词向量token embeddings、位置向量position embeddings、句子类别向量segement embeddings以及同义词向量SynonymsEmbeddings如图2所示，图2是本发明实施例提供的一种特征向量的示意图。如图2所示，增加了同义词向量Synonyms Embeddings，这样就可以兼顾用户多样性表达，当用户表达不同的词语时，直接加入到同义词表进行训练，模型的泛化能力将得到进一步提升，用户的意图识别能力也将得到加强。由于很多词语都会配置同义词，在计算同义词时会使用同义词表进行检索，并求其所有同义词的向量均值。例如，当句中有“银行卡”时，可以找到它的同义词，并将它的所有同义词进行求和取平均值，这样同义词向量就可以计算出来。
通过从第一文本数据中提取包括词向量、句子类别向量、位置向量以及同义词向量的第一特征向量，用于训练目标推荐模型，有助于增强模型的泛化能力，更精确地识别用户意图。
S103：将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型。
本发明实施例中，基于Bert模型的数据推荐装置可以将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型。
在一个实施例中，基于Bert模型的数据推荐装置在将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型时，可以将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值；将所述损失函数值与目标损失函数值进行对比，当对比结果不满足预设条件时，根据所述对比结果调整所述预设的Bert模型的模型参数；将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入调整模型参数后的Bert模型中；当得到的损失函数值与目标损失函数值的对比结果满足预设条件时，确定得到所述目标数据推荐模型。
在一个实施例中，基于Bert模型的数据推荐装置在将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值时，可以将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征；将所述目标向量特征输入所述预设的Bert模型的第二残差网络层中，得到所述损失函数值。
在一个实施例中，本发明实施例中所述预设的Bert模型可以为使用12层的transformer模型，所述12层的transformer模型中包括第一残差网络层和第二残差网络层，所述第一残差网络层包括多个层，所述第二残差网络层包括多个层。所述预设的Bert模型是不仅将上一层传到下一层，更将上上一层传到下一层，然后求和，具体可以图3为例进行说明，图3是本发明实施例提供的一种Bert模型中确定目标向量特征的示意图，即从第二层开始，每一层的向量特征都将来自前面各层的向量特征。同时，为防止数据重合，使用预设的加权值将每一层要传给下层的数据进行一定程度的抑制。在某些实施例中，所述预设的加权值可以默认为0.5，即对来自上一层的向量特征进行加权。
在一个实施例中，所述第一残差网络层包括多个残差网络层，所述多个残差网络层包括第一层、第二层、第三层以及第四层；基于Bert模型的数据推荐装置在将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征时，可以将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征；将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征；将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征；将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
在一个实施例中，基于Bert模型的数据推荐装置在将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征时，可以根据预设的加权值对所述第一向量特征进行加权处理，得到第一加权向量特征；确定所述句子类别向量对应的句子类别向量特征，并根据所述第一加权向量特征与所述句子类别向量特征之和确定第一和向量特征；将所述第一和向量特征输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征。
在一种实施方式中，基于Bert模型的数据推荐装置可以将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征f(1)，所述预设的Bert模型的第二层可以接收来自第一层的第一向量特征f(1)，根据预设的加权值dropout对所述第一向量特征进行加权处理，得到第一加权向量特征f(d1)，则第一加权向量特征可以记为f(d1)＝dropout(f(1))。确定所述句子类别向量对应的句子类别向量特征f(s)，并根据所述第一加权向量特征f(d1)与所述句子类别向量特征f(s)之和确定第一和向量特征f(t1)，即f(t1)＝f(d1)+f(s)＝dropout(f(1))+f(s)；将所述第一和向量特征f(t1)输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征f(2)。
在一个实施例中，基于Bert模型的数据推荐装置在将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征时，可以根据所述预设的加权值对所述第一向量特征和所述第二向量特征进行加权处理，得到第二加权向量特征；确定所述位置向量对应的位置向量特征，并根据所述第二加权向量特征与所述位置向量特征之和确定第二和向量特征；将所述第二和向量特征输入预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征。
在一种实施方式中，基于Bert模型的数据推荐装置可以根据所述预设的加权值dropout对所述第一向量特征f(1)和所述第二向量特征f(2)进行加权处理，得到第二加权向量特征f(d2)，即f(d2)＝dropout(f(1)+f(2))；确定所述位置向量对应的位置向量特征f(p)，并根据所述第二加权向量特征f(d2)与所述位置向量特征f(p)之和确定第二和向量特征f(t2)，即f(t2)＝f(d2)+f(p)＝dropout(f(1)+f(2))+f(p)；将所述第二和向量特征f(t2)输入预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征f(3)。
在一个实施例中，基于Bert模型的数据推荐装置在将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征时，可以根据所述预设的加权值对所述第一向量特征、所述第二向量特征和所述第三向量特征进行加权处理，得到第三加权向量特征；确定所述同义词向量对应的同义词向量特征，并根据所述第三加权向量特征与所述同义词向量特征之和确定第三和向量特征；将所述第三和向量特征输入预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
在一种实施方式中，在一种实施方式中，基于Bert模型的数据推荐装置可以根据所述预设的加权值dropout对所述第一向量特征f(1)、所述第二向量特征f(2)和所述第三向量特征f(3)进行加权处理，得到第三加权向量特征f(d3)，即f(d3)＝dropout(f(1)+f(2)+f(3))；确定所述同义词向量对应的同义词向量特征f(e)，并根据所述第三加权向量特征f(d3)与所述同义词向量特征f(e)之和确定第三和向量特征f(t3)，即f(t3)＝f(d3)+f(e)＝dropout(f(1)+f(2)+f(3))+f(e)；将所述第三和向量特征f(t3)输入预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征f。
S104：获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量。
本发明实施例中，基于Bert模型的数据推荐装置可以获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量。
在某些实施例中，所述第二特征向量包括所述第二文本数据对应的词向量、位置向量、句子类别向量以及同义词向量。
S105：计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。
本发明实施例中，基于Bert模型的数据推荐装置可以计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。
在某些实施例中，基于Bert模型的数据推荐装置可以采用余弦相似度算法等计算第二特征向量与各文本向量之间的相似度。
本发明实施例中，基于Bert模型的数据推荐装置可以获取训练样本集，所述训练样本集包括多个第一文本数据；从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。本发明实施例通过在模型训练中添加词向量、句子类别向量、位置向量以及同义词向量，能够更精确地识别用户意图，增强模型的泛化能力，通过优化Bert模型结构，有助于进一步提高数据推荐的准确性。
本发明实施例还提供了一种基于Bert模型的数据推荐装置，该基于Bert模型的数据推荐装置用于执行前述任一项所述的方法的单元。具体地，参见图4，图4是本发明实施例提供的一种基于Bert模型的数据推荐装置的示意框图。本实施例的基于Bert模型的数据推荐装置包括：获取单元401、提取单元402、训练单元403、测试单元404以及推送单元405。
获取单元401，用于获取训练样本集，所述训练样本集包括多个第一文本数据；
提取单元402，用于从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；
训练单元403，用于将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；
测试单元404，用于获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；
推送单元405，用于计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。
进一步地，所述训练单元403将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型时，具体用于：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值；
将所述损失函数值与目标损失函数值进行对比，当对比结果不满足预设条件时，根据所述对比结果调整所述预设的Bert模型的模型参数；
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入调整模型参数后的Bert模型中；
当得到的损失函数值与目标损失函数值的对比结果满足预设条件时，确定得到所述目标数据推荐模型。
进一步地，所述训练单元403将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值时，具体用于：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征；
将所述目标向量特征输入所述预设的Bert模型的第二残差网络层中，得到所述损失函数值。
进一步地，所述第一残差网络层包括多个残差网络层，所述多个残差网络层包括第一层、第二层、第三层以及第四层；所述训练单元403将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征时，具体用于：
将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征；
将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征；
将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征；
将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
进一步地，所述训练单元403将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征时，具体用于：
根据预设的加权值对所述第一向量特征进行加权处理，得到第一加权向量特征；
确定所述句子类别向量对应的句子类别向量特征，并根据所述第一加权向量特征与所述句子类别向量特征之和确定第一和向量特征；
将所述第一和向量特征输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征。
进一步地，所述训练单元403将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征时，具体用于：
根据所述预设的加权值对所述第一向量特征和所述第二向量特征进行加权处理，得到第二加权向量特征；
确定所述位置向量对应的位置向量特征，并根据所述第二加权向量特征与所述位置向量特征之和确定第二和向量特征；
将所述第二和向量特征输入预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征。
进一步地，所述训练单元403将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征时，具体用于：
根据所述预设的加权值对所述第一向量特征、所述第二向量特征和所述第三向量特征进行加权处理，得到第三加权向量特征；
确定所述同义词向量对应的同义词向量特征，并根据所述第三加权向量特征与所述同义词向量特征之和确定第三和向量特征；
将所述第三和向量特征输入预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
本发明实施例中，基于Bert模型的数据推荐装置可以获取训练样本集，所述训练样本集包括多个第一文本数据；从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。本发明实施例通过在模型训练中添加词向量、句子类别向量、位置向量以及同义词向量，能够更精确地识别用户意图，增强模型的泛化能力，通过优化Bert模型结构，有助于进一步提高数据推荐的准确性。
参见图5，图5是本发明实施例提供的一种计算机设备的示意框图，在某些实施例中，如图5所示的本实施例中的计算机设备可以包括：一个或多个处理器501；一个或多个输入设备502，一个或多个输出设备503和存储器504。上述处理器501、输入设备502、输出设备503和存储器504通过总线505连接。存储器504用于存储计算机程序，所述计算机程序包括程序，处理器501用于执行存储器504存储的程序。其中，处理器501被配置用于调用所述程序执行：
获取训练样本集，所述训练样本集包括多个第一文本数据；
从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；
将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；
获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；
计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。
进一步地，所述处理器501将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型时，具体用于：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值；
将所述损失函数值与目标损失函数值进行对比，当对比结果不满足预设条件时，根据所述对比结果调整所述预设的Bert模型的模型参数；
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入调整模型参数后的Bert模型中；
当得到的损失函数值与目标损失函数值的对比结果满足预设条件时，确定得到所述目标数据推荐模型。
进一步地，所述处理器501将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值时，具体用于：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征；
将所述目标向量特征输入所述预设的Bert模型的第二残差网络层中，得到所述损失函数值。
进一步地，所述第一残差网络层包括多个残差网络层，所述多个残差网络层包括第一层、第二层、第三层以及第四层；所述处理器501将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第二文本数据对应的目标向量特征时，具体用于：
将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征；
将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征；
将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征；
将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
进一步地，所述处理器501将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征时，具体用于：
根据预设的加权值对所述第一向量特征进行加权处理，得到第一加权向量特征；
确定所述句子类别向量对应的句子类别向量特征，并根据所述第一加权向量特征与所述句子类别向量特征之和确定第一和向量特征；
将所述第一和向量特征输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征。
进一步地，所述处理器501将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征时，具体用于：
根据所述预设的加权值对所述第一向量特征和所述第二向量特征进行加权处理，得到第二加权向量特征；
确定所述位置向量对应的位置向量特征，并根据所述第二加权向量特征与所述位置向量特征之和确定第二和向量特征；
将所述第二和向量特征输入预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征。
进一步地，所述处理器501将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征时，具体用于：
根据所述预设的加权值对所述第一向量特征、所述第二向量特征和所述第三向量特征进行加权处理，得到第三加权向量特征；
确定所述同义词向量对应的同义词向量特征，并根据所述第三加权向量特征与所述同义词向量特征之和确定第三和向量特征；
将所述第三和向量特征输入预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
本发明实施例中，计算机设备可以获取训练样本集，所述训练样本集包括多个第一文本数据；从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端。本发明实施例通过在模型训练中添加词向量、句子类别向量、位置向量以及同义词向量，能够更精确地识别用户意图，增强模型的泛化能力，通过优化Bert模型结构，有助于进一步提高数据推荐的准确性。
应当理解，在本发明实施例中，所称处理器501可以是中央处理单元(CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigiSalSignal Processor，DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列(Field-Programmable GaSe Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备502可以包括触控板、麦克风等，输出设备503可以包括显示器(LCD等)、扬声器等。
该存储器504可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器。例如，存储器504还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器501、输入设备502、输出设备503可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图4所描述的基于Bert模型的数据推荐装置的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的基于Bert模型的数据推荐方法，也可实现本发明图4所对应实施例的基于Bert模型的数据推荐装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的基于Bert模型的数据推荐装置的内部存储单元，例如基于Bert模型的数据推荐装置的硬盘或内存。所述计算机可读存储介质也可以是所述基于Bert模型的数据推荐装置的外部存储装置，例如所述基于Bert模型的数据推荐装置上配备的插接式硬盘，智能存储卡(SmarS Media Card,SMC)，安全数字(Secure DigiSal,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述基于Bert模型的数据推荐装置的内部存储单元也包括外部存储装置。所述计算机可读存储介质用于存储所述计算机程序以及所述基于Bert模型的数据推荐装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于Bert模型的数据推荐方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括多个第一文本数据；
从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；
将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；
获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；
计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端；
所述将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型，包括：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值；
将所述损失函数值与目标损失函数值进行对比，当对比结果不满足预设条件时，根据所述对比结果调整所述预设的Bert模型的模型参数；
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入调整模型参数后的Bert模型中；
当得到的损失函数值与目标损失函数值的对比结果满足预设条件时，确定得到所述目标数据推荐模型；
所述将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值，包括：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第一文本数据对应的目标向量特征；
将所述目标向量特征输入所述预设的Bert模型的第二残差网络层中，得到所述损失函数值；
所述第一残差网络层包括多个残差网络层，所述多个残差网络层包括第一层、第二层、第三层以及第四层；所述将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第一文本数据对应的目标向量特征，包括：
将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征；
将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征；
将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征；
将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征；
所述将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征，包括：
根据预设的加权值对所述第一向量特征进行加权处理，得到第一加权向量特征；
确定所述句子类别向量对应的句子类别向量特征，并根据所述第一加权向量特征与所述句子类别向量特征之和确定第一和向量特征；
将所述第一和向量特征输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征，包括：
根据所述预设的加权值对所述第一向量特征和所述第二向量特征进行加权处理，得到第二加权向量特征；
确定所述位置向量对应的位置向量特征，并根据所述第二加权向量特征与所述位置向量特征之和确定第二和向量特征；
将所述第二和向量特征输入预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征，包括：
根据所述预设的加权值对所述第一向量特征、所述第二向量特征和所述第三向量特征进行加权处理，得到第三加权向量特征；
确定所述同义词向量对应的同义词向量特征，并根据所述第三加权向量特征与所述同义词向量特征之和确定第三和向量特征；
将所述第三和向量特征输入预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征。
4.一种基于Bert模型的数据推荐装置，其特征在于，包括：
获取单元，用于获取训练样本集，所述训练样本集包括多个第一文本数据；
提取单元，用于从所述多个第一文本数据的各个第一文本数据中提取对应的第一特征向量，所述第一特征向量包括所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量；
训练单元，用于将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型；
测试单元，用于获取待测试的第二文本数据，从所述第二文本数据中提取第二特征向量，并将所述第二特征向量输入所述目标数据推荐模型中，得到所述第二文本数据对应的多个文本向量；
推送单元，用于计算所述第二特征向量与各个文本向量之间的相似度，按照所述相似度从大到小的顺序确定与所述第二文本数据对应的候选文本数据，并将所述候选文本数据发送给用户终端；
所述训练单元将所述第一特征向量输入预设的Bert模型中进行训练，得到目标数据推荐模型时，具体用于：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值；
将所述损失函数值与目标损失函数值进行对比，当对比结果不满足预设条件时，根据所述对比结果调整所述预设的Bert模型的模型参数；
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入调整模型参数后的Bert模型中；
当得到的损失函数值与目标损失函数值的对比结果满足预设条件时，确定得到所述目标数据推荐模型；
所述训练单元将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型，得到损失函数值时，具体用于：
将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第一文本数据对应的目标向量特征；
将所述目标向量特征输入所述预设的Bert模型的第二残差网络层中，得到所述损失函数值；
所述第一残差网络层包括多个残差网络层，所述多个残差网络层包括第一层、第二层、第三层以及第四层；所述训练单元将所述各个第一文本数据对应的词向量、句子类别向量、位置向量以及同义词向量输入所述预设的Bert模型的第一残差网络层中，得到与所述各个第一文本数据对应的目标向量特征时，具体用于：
将所述各个第一文本数据对应的词向量输入所述预设的Bert模型的第一层中，得到与所述词向量对应的第一向量特征；
将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征；
将所述第一向量特征、所述第二向量特征和所述位置向量输入所述预设的Bert模型的第三层中，得到与所述第一向量特征、所述第二向量特征和所述位置向量对应的第三向量特征；
将所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量输入所述预设的Bert模型的第四层中，得到与所述第一向量特征、所述第二向量特征、第三向量特征和所述同义词向量对应的所述目标向量特征；
所述训练单元将所述第一向量特征和所述句子类别向量输入所述预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征时，具体用于：
根据预设的加权值对所述第一向量特征进行加权处理，得到第一加权向量特征；
确定所述句子类别向量对应的句子类别向量特征，并根据所述第一加权向量特征与所述句子类别向量特征之和确定第一和向量特征；
将所述第一和向量特征输入预设的Bert模型的第二层中，得到与所述第一向量特征和所述句子类别向量对应的第二向量特征。
5.一种计算机设备，其特征在于，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述处理器被配置用于调用所述计算机程序，执行如权利要求1-3任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-3任一项所述的方法。
CN202111017745.5A 2021-08-31 2021-08-31 基于Bert模型的数据推荐方法、装置、设备及介质 Active CN113704452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111017745.5A CN113704452B (zh) 2021-08-31 2021-08-31 基于Bert模型的数据推荐方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017745.5A CN113704452B (zh) 2021-08-31 2021-08-31 基于Bert模型的数据推荐方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113704452A CN113704452A (zh) 2021-11-26
CN113704452B true CN113704452B (zh) 2023-08-25

Family

ID=78658484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017745.5A Active CN113704452B (zh) 2021-08-31 2021-08-31 基于Bert模型的数据推荐方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113704452B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416974A (zh) * 2021-12-17 2022-04-29 北京百度网讯科技有限公司 模型训练方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413894A (zh) * 2019-07-31 2019-11-05 腾讯科技（深圳）有限公司 内容推荐模型的训练方法、内容推荐的方法及相关装置
WO2020228514A1 (zh) * 2019-05-13 2020-11-19 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及存储介质
CN112395857A (zh) * 2020-11-13 2021-02-23 平安科技（深圳）有限公司 基于对话系统的语音文本处理方法、装置、设备及介质
CN112800190A (zh) * 2020-11-11 2021-05-14 重庆邮电大学 基于Bert模型的意图识别与槽值填充联合预测方法
CN112860841A (zh) * 2021-01-21 2021-05-28 平安科技（深圳）有限公司 一种文本情感分析方法、装置、设备及存储介质
CN112989035A (zh) * 2020-12-22 2021-06-18 平安普惠企业管理有限公司 基于文本分类识别用户意图的方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228514A1 (zh) * 2019-05-13 2020-11-19 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及存储介质
CN110413894A (zh) * 2019-07-31 2019-11-05 腾讯科技（深圳）有限公司 内容推荐模型的训练方法、内容推荐的方法及相关装置
CN112800190A (zh) * 2020-11-11 2021-05-14 重庆邮电大学 基于Bert模型的意图识别与槽值填充联合预测方法
CN112395857A (zh) * 2020-11-13 2021-02-23 平安科技（深圳）有限公司 基于对话系统的语音文本处理方法、装置、设备及介质
CN112989035A (zh) * 2020-12-22 2021-06-18 平安普惠企业管理有限公司 基于文本分类识别用户意图的方法、装置及存储介质
CN112860841A (zh) * 2021-01-21 2021-05-28 平安科技（深圳）有限公司 一种文本情感分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113704452A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN112860841B (zh) 一种文本情感分析方法、装置、设备及存储介质
CN110163478B (zh) 一种合同条款的风险审查方法及装置
US20210256390A1 (en) Computationally efficient neural network architecture search
CN111382255A (zh) 用于问答处理的方法、装置、设备和介质
CN111723870B (zh) 基于人工智能的数据集获取方法、装置、设备和介质
CN110532469B (zh) 一种信息推荐方法、装置、设备及存储介质
CN112085091B (zh) 基于人工智能的短文本匹配方法、装置、设备及存储介质
CN112395391B (zh) 概念图谱构建方法、装置、计算机设备及存储介质
CN112671985A (zh) 基于深度学习的坐席质检方法、装置、设备及存储介质
CN113705792A (zh) 基于深度学习模型的个性化推荐方法、装置、设备及介质
CN113704452B (zh) 基于Bert模型的数据推荐方法、装置、设备及介质
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
CN114330483A (zh) 数据处理方法及模型训练方法、装置、设备、存储介质
US20230244878A1 (en) Extracting conversational relationships based on speaker prediction and trigger word prediction
CN112560428A (zh) 一种文本处理方法、装置、电子设备及存储介质
CN112307738A (zh) 用于处理文本的方法和装置
CN111950265A (zh) 一种领域词库构建方法和装置
CN116483979A (zh) 基于人工智能的对话模型训练方法、装置、设备及介质
CN115719058A (zh) 一种内容分析方法、电子设备和存储介质
CN113704623B (zh) 一种数据推荐方法、装置、设备及存储介质
CN113515627B (zh) 文档检测方法、装置、设备及存储介质
CN115374259A (zh) 一种问答数据挖掘方法、装置及电子设备
CN114357964A (zh) 主观题评分方法、模型的训练方法、计算机设备及存储介质
CN113590786A (zh) 一种数据预测方法、装置、设备及存储介质
CN113064887B (zh) 数据管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant