CN116894431A - 文本处理模型训练方法、文本改写方法及装置和存储介质 - Google Patents

文本处理模型训练方法、文本改写方法及装置和存储介质 Download PDF

Info

Publication number
CN116894431A
CN116894431A CN202311151558.5A CN202311151558A CN116894431A CN 116894431 A CN116894431 A CN 116894431A CN 202311151558 A CN202311151558 A CN 202311151558A CN 116894431 A CN116894431 A CN 116894431A
Authority
CN
China
Prior art keywords
text
decoder
loss function
processing model
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311151558.5A
Other languages
English (en)
Other versions
CN116894431B (zh
Inventor
朱秀红
曹训
黄泽谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311151558.5A priority Critical patent/CN116894431B/zh
Publication of CN116894431A publication Critical patent/CN116894431A/zh
Application granted granted Critical
Publication of CN116894431B publication Critical patent/CN116894431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种文本处理模型训练方法、文本改写方法及装置和存储介质，涉及人工智能中的大模型领域，包括：获取第一训练样本集，每一训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义，针对至少一训练样本，以训练样本中的第一文本为文本处理模型中编码器的输入，输出第一文本编码后的向量特征，以第一文本编码后的向量特征为第一解码器的输入，输出第一预测文本，根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。

Description

文本处理模型训练方法、文本改写方法及装置和存储介质
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种文本处理模型训练方法、文本改写方法及装置和存储介质。
背景技术
搜索引擎的主要目标是根据用户输入的Query（短文本）识别用户的真正搜索意图并返回相关结果，在搜索的召回阶段要确保能够尽量召回和Query相关的内容。目前，文本召回过程中对于文本处理的一般过程包括文本预处理、分词、文本结构分析和文本改写等，文本召回中文本改写是影响召回效果的重要一环。文本改写是在原始输入的文本的基础上进行扩展（也称为转述改写），得到语义相近或者相关的文本。
相关技术中，基于离线挖掘和在线替换的方式进行文本改写。具体是在文本库中预先存储文本（Query）对，在文本库中查找原始输入的文本对应的文本，将查找到的文本进行在线替换，得到改写后的文本。
然而，文本库中的文本对的数量是有限的，覆盖率较低，导致文本改写的准确率较低，进而导致文本召回的召回率较低。
发明内容
本申请实施例提供一种文本处理模型训练方法、文本改写方法及装置和存储介质，可以提高文本改写的准确率。
第一方面，本申请实施例提供一种文本处理模型训练方法，包括：
获取第一训练样本集，每一训练样本包括第一文本、所述第一文本的改写文本和所述第一文本的标签，所述第一文本的标签用于指示所述第一文本中的关键字符，所述关键字符用于表达所述第一文本的核心语义；
针对所述第一训练样本集中的至少一训练样本，以所述训练样本中的第一文本为文本处理模型中编码器的输入，输出所述第一文本编码后的向量特征，所述文本处理模型包括所述编码器和第一解码器；
以所述第一文本编码后的向量特征为所述第一解码器的输入，输出第一预测文本；
根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，对所述编码器的参数和所述第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。
第二方面，本申请实施例提供一种文本改写方法，包括：
获取目标文本；
将所述目标文本输入文本处理模型，输出所述目标文本的改写文本，所述文本处理模型根据第一方面所述的方法训练得到。
第三方面，本申请实施例提供一种文本处理模型训练装置，包括：
获取模块，用于获取第一训练样本集，每一训练样本包括第一文本、所述第一文本的改写文本和所述第一文本的标签，所述第一文本的标签用于指示所述第一文本中的关键字符，所述关键字符用于表达所述第一文本的核心语义；
处理模块，用于针对所述第一训练样本集中的至少一训练样本，以所述训练样本中的第一文本为文本处理模型中编码器的输入，输出所述第一文本编码后的向量特征，所述文本处理模型包括所述编码器和第一解码器；
所述处理模块还用于：以所述第一文本编码后的向量特征为所述第一解码器的输入，输出第一预测文本；
调整模块，用于根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，对所述编码器的参数和所述第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。
第四方面，本申请实施例提供一种文本改写装置，包括：
获取模块，用于获取目标文本；
处理模块，用于将所述目标文本输入文本处理模型，输出所述目标文本的改写文本，所述文本处理模型根据第一方面所述的方法训练得到。
第五方面，本申请实施例提供一种计算机设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面或第二方面的方法。
第六方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机程序上运行时，使得所述计算机执行如第一方面或第二方面的方法。
第七方面，本申请实施例提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行如第一方面或第二方面的方法。
综上，在本申请实施例中，通过在训练文本处理模型时，文本处理模型包括编码器和第一解码器，训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示可表达第一文本的核心语义的关键字符，针对训练样本集中的至少一训练样本，将训练样本中的第一文本输入编码器，输出第一文本编码后的向量特征，将第一文本编码后的向量特征输入第一解码器，输出第一预测文本，接着根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。通过在训练样本中加入可表达第一文本的核心语义的关键字符，使得在编码阶段可以较好地学习到输入的核心语义，增强了编码器对输入文本中核心片段的识别，进而增强了编码节点的语义编码能力。从而使得文本处理模型可较为准确地根据输入的目标文本输出目标文本的改写文本，使得目标文本的改写文本与目标文本在语义或含义上的相似度较高，因此提高了文本改写的准确率，进而提高文本召回的召回率。
进一步地，本申请实施例中通过文本处理模型增加第二解码器和第三解码器，在训练样本中加入第二文本和第三文本，第二文本与第一文本的相似度大于第一阈值，第二文本与第一文本之间的泛化程度小于第一预设阈值，第三文本与第一文本的相似度小于第二阈值，第三文本与第一文本之间的泛化程度大于第二预设阈值，采用一对多训练，强迫模型学习同一文本生成不同改写文本时的区别，提高了模型的泛化能力，从而可进一步提高文本处理模型进行文本改写的准确率，进而提高文本召回的召回率。
附图说明
图1为本申请实施例提供的一种文本处理模型训练方法以及文本改写方法的实施场景示意图；
图2为文本改写在搜索中的定位示意图；
图3为本申请实施例提供的一种文本处理模型训练方法的流程图；
图4为本申请实施例提供的一种文本处理模型训练过程示意图；
图5为本申请实施例提供的一种文本处理模型训练过程示意图；
图6为本申请实施例提供的一种文本处理模型训练方法的流程图；
图7为本申请实施例提供的一种训练样本和损失函数的示意图；
图8为本申请实施例提供的一种文本处理模型训练方法的流程图；
图9为本申请实施例提供的一种文本处理模型训练方法的流程图；
图10为本申请实施例提供的一种文本处理模型训练方法的流程示意图；
图11为本申请实施例提供的一种文本改写方法的流程图；
图12为本申请实施例提供的一种文本处理模型训练装置的结构示意图；
图13为本申请实施例提供的一种文本处理模型训练装置的结构示意图；
图14是本申请实施例提供的计算机设备300的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
需要说明的是，本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本申请实施例技术方案之前，下面先对本申请实施例相关知识进行介绍：
1、人工智能(Artificial Intelligence, AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2、机器学习(Machine Learning, ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
3、深度学习（Deep Learning, DL）：是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是学习训练样本数据的内在规律和表示层次，这些学习过程中获得的信息对文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
4、神经网络（Neural Network，NN）：在机器学习和认知科学领域的一种模仿生物神经网络结构和功能的深度学习模型。
5、自然语言处理(Nature Language processing ，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
6、预训练模型（Pre-training model，PTM），也称基石模型、大模型，指具有大参量的深度神经网络（Deep neural network，DNN），在海量未标记的数据上对其进行训练，利用大参量DNN的函数近似能力使PTM在数据上提取共性特征，经微调（fine tune）、参数高效微调（PEFT）、prompt-tuning等技术，适用于下游任务。因此，预训练模型可以在小样本（Few-shot）或零样本（Zero-shot）场景下达到理想效果。PTM按照处理的数据模态可以分为语言模型（ELMO,BERT,GPT)、视觉模型（swin-transformer，ViT，V-MOE）、语音模型（VALL-E）、多模态模型(ViBERT, CLIP，Flamingo，Gato)等，其中多模态模型指建立两种或以上数据模态特征表示的模型。预训练模型是输出人工智能生成内容（AIGC）重要工具，也可以作为连接多个具体任务模型的通用接口。
本申请实施例提供的技术方案主要涉及人工智能技术中的自然语言处理技术、机器学习和深度学习等技术，本申请实施例中的文本处理模型可以为上述预训练模型中的语言模型，具体可以通过下述实施例进行说明。
相关技术中，依靠预存的文本库（存储文本对）查找原始输入的文本对应的改写文本，由于文本库中的文本对的数量是有限的，覆盖率较低，因此文本改写的准确率较低。
为解决这一技术问题，本申请实施例通过预先根据训练样本集训练文本处理模型，获取到目标文本后，将目标文本输入已训练的文本处理模型，即可输出目标文本的改写文本。在训练文本处理模型时，文本处理模型包括编码器和第一解码器，训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示可表达第一文本的核心语义的关键字符，针对训练样本集中的至少一训练样本，将训练样本中的第一文本输入编码器，输出第一文本编码后的向量特征，将第一文本编码后的向量特征输入第一解码器，输出第一预测文本，接着根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。通过在训练样本中加入可表达第一文本的核心语义的关键字符，使得在编码阶段可以较好地学习到输入的核心语义，增强了编码器对输入文本中核心片段的识别，进而增强了编码节点的语义编码能力。从而使得文本处理模型可较为准确地根据输入的目标文本输出目标文本的改写文本，使得目标文本的改写文本与目标文本在语义或含义上的相似度较高，因此提高了文本改写的准确率，进而提高文本召回的召回率。
进一步地，本申请实施例中的文本处理模型还包括第二解码器和第三解码器，通过在每一训练样本中增加第二文本和第三文本，第二文本与第一文本的相似度大于第一阈值，第二文本与第一文本之间的泛化程度小于第一预设阈值，第三文本与第一文本的相似度小于第二阈值，第三文本与第一文本之间的泛化程度大于第二预设阈值，采用一对多训练，强迫模型学习同一文本生成不同改写结果时的区别，从而可更进一步提高文本改写的准确率。
本申请实施例可应用于搜索召回的场景，例如可应用于搜索引擎、网页、应用程序、小程序等搜索召回的场景。例如，在某应用程序的搜一搜功能中，用户通过“搜一搜”输入框输入搜索文本，通过使用本申请实施例提供的文本改写方法得到该搜索文本的改写文本，进而该搜索文本的改写文本可用于搜索的召回场景。
需要说明的是，上面介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
示例性的，图1为本申请实施例提供的一种文本处理模型训练方法以及文本改写方法的实施场景示意图，如图1所示，本申请实施例的实施场景涉及服务器1和终端设备2，终端设备2可以通过通信网络与服务器1进行数据通信。通信网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中，在一些可实现方式中，终端设备2是指一类具备丰富人机交互方式、拥有接入互联网能力、通常搭载各种操作系统、具有较强处理能力的设备。终端设备可以是智能手机、平板电脑、便携式笔记本电脑、台式电脑等终端设备或电话手表等，但不限于此。可选的，本申请实施例中，终端设备2中安装有各类应用程序，如具备查询搜索功能的应用程序或者网页等。
其中，在一些可实现方式中，终端设备2包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
图1中的服务器1可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。本申请实施例对此不做限制。本申请实施例中，服务器1可以为终端设备2中安装的某个应用程序的后台服务器。
在一些可实现方式中，图1示例性地示出了一个终端设备、一台服务器，实际上可以包括其他数量的终端设备和服务器，本申请实施例对此不做限制。
在一些实施例中，服务器1可以使用本申请实施例提供的文本处理模型方法，先进行文本处理模型的训练，具体可以是：获取第一训练样本集，每一训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义，针对第一训练样本集中的至少一训练样本，以训练样本中的第一文本为文本处理模型中编码器的输入，输出第一文本编码后的向量特征，文本处理模型包括编码器和第一解码器，以第一文本编码后的向量特征为第一解码器的输入，输出第一预测文本，根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。在得到训练好的文本处理模型后，用户可通过终端设备2安装运行的应用程序显示的输入框输入用于搜索目标内容的目标文本，终端设备2将所输入的目标文本发送至服务器1，服务器1获取到目标文本后，将目标文本输入已训练的文本处理模型，输出目标文本的改写文本。从而，即可得到目标文本的改写文本，接着可以继续使用目标文本的改写文本进行文本召回，得到搜索结果，服务器1可将搜索结果发送至终端设备2，终端设备将搜索结果展示给用户。可选的，在一实施例中，文本处理模型的训练还可以是终端设备执行，文本改写方法也可以是终端设备执行，本实施例对此不做限制。
图2为文本改写在搜索中的定位示意图，如图2所示，以搜索引擎为例，搜索引擎在获取到输入的原始文本后，对原始文本进行改写得到改写文本，对原始文本进行纠错得到纠错后文本，可以理解的是，若原始文本无错误，则纠错后文本为原始文本。接着，对改写文本进行文本（Query）分析（具体是对改写后的文本进行分词、实体识别、紧密度识别、成分分析、意图识别、获取词权重、获取同义词、获取联想词、非必留处理、查询扩展、时新性处理、相关性处理、新词发现、文本摘要等处理），得到文本特征信号；接着根据文本特征信号进行召回排序，召回排序时依次进行索引召回、粗排序、分档精排序和个性化排序，最后得到输出文章列表，相比于原始文本，通过文本改写可以提高召回文章的质量。通过图2所示，可以看出文本改写在文本召回中的重要性。
下面将对本申请实施例技术方案进行详细阐述：
图3为本申请实施例提供的一种文本处理模型训练方法的流程图，本申请实施例的执行主体为具有模型训练功能的装置，该模型训练装置例如可以为服务器，如图3所示，该方法可以包括：
S101、获取第一训练样本集，每一训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义。
具体地，文本处理模型一般要进行多次训练，本实施例中的文本处理模型包括编码器（Encoder）和第一解码器（Decoder），可选的，在一实施例中，编码器和解码器的结构可以是基于Transformer的编码器-解码器模型结构；在另一实施例中，编码器可以是使用Conformer结构，解码器是Transformer结构；在另一实施例中，编码器和解码器均可以是一般的神经网络结构，一般的神经网络结构具体可包括循环神经网络结构。本实施例对此不做限制。
其中，本实施例中文本处理模型需要进行多次迭代训练，在任一次迭代训练过程中，获取第一训练样本集，可以是从第一训练样本总集中选取预设数量的训练样本组成第一训练样本集。
其中，第一训练样本集包括多个训练样本，每一训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本和第一文本的改写文本可以是语义或者含义相同（或相近）的两个文本，可选的，第一文本和第一文本的改写文本可以是对应同一搜索结果的搜索文本，此时第一文本和第一文本的改写文本可以称为共点击数据。第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义，例如第一文本为“XX公积金政策变化”，其中的XX为地理位置，该第一文本中的关键字符为“公积金”，相应地，第一文本的标签例如可以为“001110000”，该标签指示第一文本中的每个字符是否为关键字符，若是则为“1”，若不是则为“0”。
S102、针对第一训练样本集中的至少一训练样本，以训练样本中的第一文本为文本处理模型中编码器的输入，输出第一文本编码后的向量特征，文本处理模型包括编码器和第一解码器。
S103、以第一文本编码后的向量特征为第一解码器的输入，输出第一预测文本。
具体地，本实施例中的文本处理模型包括编码器和第一解码器，针对第一训练样本集中的至少一训练样本，以训练样本中的第一文本为文本处理模型中编码器的输入，输出第一文本编码后的向量特征，接着，以第一文本编码后的向量特征为第一解码器的输入，输出第一预测文本。
具体地，在一种可实施的方式中，S103具体可以为：
将第一文本编码后的向量特征输入第一解码器，用于第一解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第一预测文本的单个字符的解码结果。具体来说，第一解码器依次以第一文本编码后的向量特征以及第1个字符至第n-1个字符的解码结果的拼接结果为第一解码器的输入，输出第n个字符的解码结果，n大于或等于2。
下面结合图4详细说明上述S102-S103的具体实施过程，图4为本申请实施例提供的一种文本处理模型训练过程示意图，如图4所示，文本处理模型包括编码器和解码器，编码器包括两个归一化层（add&Norm）、掩码多头注意力层（Masked multi-head attention）和前馈神经网络层（Feed Forward Networks），解码器包括四个归一化层（add&Norm）、掩码多头注意力层、多头注意力层（multi-head attention）、前馈神经网络层（Feed ForwardNetworks）、线性层（linear）和归一化层（softmax）。其中，编码器端，由两个归一化层、掩码多头注意力层、前馈神经网络层构成的子层可以是N个，N为正整数。解码器端，由四个归一化层（add&Norm）、掩码多头注意力层、前馈神经网络层和多头注意力层构成的子层可以是N个，N为正整数。可选的，编码器端的子层和解码器端的子层的个数还可以不同。示例性地，图4所示为一种基于Transformer的文本处理模型结构示意图，需要说明的是，图4只是一种示例，本申请实施例涉及的文本处理模型结构包括但不限于图4所示。
在模型训练时，在任一次训练过程中，以训练样本中的第一文本（如图4中所示的“XX公积金政策变化”）为编码器的输入，具体是提取第一文本的嵌入特征输入编码器，经过编码器的处理，输出第一文本编码后的向量特征，即编码器的输出为第一文本编码后的向量特征，第一文本编码后的向量特征作为解码器的输入，具体是输入解码器的多头注意力层，解码器依次以第一文本编码后的向量特征以及第1个字符至第n-1个字符的解码结果的拼接结果为第一解码器的输入，输出第n个字符的解码结果，n大于或等于2。例如，如图4所示，解码器以第一文本编码后的向量特征和第1个字符至第6个字符的解码结果的拼接结果-“XX公积金新”作为解码器的输入，输出第7个字符的解码结果“规”，第1个字符至第7个字符的解码结果的拼接结果为“XX公积金新规”。
S104、根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。
具体地，停止训练条件可以是预设的停止训练条件，停止训练条件可以是达到预设的文本改写的准确率，例如文本改写的准确率大于或等于预设阈值，还可以是达到预设的迭代训练次数，本实施例对此不做限制。
具体地，在一种可实施的方式中，S104中根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，具体可以为：
S1041、根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，构建目标损失函数。
可选的，S1041具体可以为：
S10411、将第一文本编码后的向量特征依次经过线性层和归一化层的处理，得到第一文本中每个字符为关键字符的预测概率。
具体地，编码器的输出为第一文本编码后的向量特征，将第一文本编码后的向量特征依次经过线性层和归一化层的处理，可得到第一文本中每个字符为关键字符的预测概率。图5为本申请实施例提供的一种文本处理模型训练过程示意图，如图5所示，在图4所示文本处理模型结构的基础上，编码器端增加了线性层和归一化层，编码器的输出为第一文本编码后的向量特征，将第一文本编码后的向量特征依次经过线性层和归一化层的处理，可得到第一文本中每个字符为关键字符的预测概率，例如图5中所示的第一文本为“XX公积金政策变化”，关键字符的指示可以为“001110000”，“1”指示对应字符为关键字符，“0”指示对应字符不是关键字符，第一文本编码后的向量特征依次经过线性层和归一化层的处理，可得到第一文本中每个字符的指示是“1”的预测概率。
S10412、根据第一文本中每个字符为关键字符的预测概率和第一文本的标签，构建第一损失函数。
具体地，例如图5所示，根据第一文本中每个字符为关键字符的预测概率和第一文本的标签，构建第一损失函数Loss1。
在一种可实施的方式中，Loss1可以为交叉熵损失，具体可通过如下公式（1）所示：
Loss1=（1）
S10413、根据第一文本的改写文本和第一预测文本，构建第二损失函数。
具体地，例如图5所示，根据第一文本的改写文本和第一预测文本（即图5中所示解码器的输出），构建第二损失函数Loss2。
在一种可实施的方式中，第二损失函数Loss2可以交叉熵损失，具体形式与如上公式（1）所示的相同。
S10414、对第一损失函数和第二损失函数进行加权求和，得到目标损失函数。
具体地，在一种可实施的方式中，对第一损失函数和第二损失函数进行加权求和，可以为：目标损失函数Loss=Loss1+Loss2，即第一损失函数和第二损失函数的权重分别为1，还可以为其它数值，本实施例对此不做限制。
S1042、根据目标损失函数，反向传播调整编码器的参数和第一解码器的参数。
可选的，本实施例的方法还可以包括：
S105、根据第二训练样本集，对文本处理模型进行无监督训练，第二训练样本集中的每个训练样本包括一个文本。
具体地，第二训练样本集可以包括数量较多的各类不同的文本，可以使用第二训练样本集对文本处理模型进行预训练（Pre-training）。
可选的，本实施例的方法还可以包括：
S106、获取第三训练样本集，第三训练样本集中的每个训练样本包括一文本和文本的改写文本。
S107、对已训练的文本处理模型进行初始化，使用第三训练样本集对初始化后的文本处理模型训练，得到模型参数调整后的文本处理模型。
其中，可选的，使用第三训练样本集对初始化后的文本处理模型训练，可以使用交叉熵损失函数，对文本处理模型的模型参数进行调整。
具体地，第三训练样本集中的训练样本可以是以人工标注的方式获取，因此每一训练样本中包括的文本和该文本的改写文本是精确的语义或含义相近（或相同）的文本对。使用第三训练样本集对初始化后的已训练的文本处理模型训练，得到模型参数调整后的文本处理模型。实现了对通过S101-S104训练得到的文本处理模型微调，文本处理模型的准确率得到收敛，从而进一步提高了文本处理模型进行文本改写的准确率。
本实施例提供的文本处理模型训练方法，通过在训练文本处理模型时，文本处理模型包括编码器和第一解码器，训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示可表达第一文本的核心语义的关键字符，针对训练样本集中的至少一训练样本，将训练样本中的第一文本输入编码器，输出第一文本编码后的向量特征，将第一文本编码后的向量特征输入第一解码器，输出第一预测文本，接着根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。通过在训练样本中加入可表达第一文本的核心语义的关键字符，使得在编码阶段可以较好地学习到输入的核心语义，增强了编码器对输入文本中核心片段的识别，进而增强了编码节点的语义编码能力。从而使得文本处理模型可较为准确地根据输入的目标文本输出目标文本的改写文本，使得目标文本的改写文本与目标文本在语义或含义上的相似度较高，因此提高了文本改写的准确率，进而提高文本召回的召回率。
本申请上述实施例中，第一训练样本集中第一文本和第一文本的改写文本是文本对的形式，文本处理模型学习的是不同文本对应不同改写的情况，缺乏学习同一文本情况下，生成不同改写结果面对的惩罚力度。为解决这一问题，本申请实施例进一步添加对比损失，通过在每一训练样本中增加第二文本和第三文本，第二文本与第一文本的相似度大于第一阈值，第二文本与第一文本之间的泛化程度小于第一预设阈值，第三文本与第一文本的相似度小于第二阈值，第三文本与第一文本之间的泛化程度大于第二预设阈值，采用一对多训练，强迫模型学习同一文本生成不同改写结果时的区别，从而可更进一步提高文本改写的准确率，下面结合图6详细说明。
图6为本申请实施例提供的一种文本处理模型训练方法的流程图，本申请实施例的执行主体为具有模型训练功能的装置，该模型训练装置例如可以为服务器，如图6所示，该方法可以包括：
S201、获取第一训练样本集，每一训练样本包括第一文本、第一文本的改写文本、第一文本的标签、第二文本和第三文本，第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义。
具体地，本实施例中的第一训练样本集包括多个训练样本，每一训练样本包括第一文本、第一文本的改写文本、第一文本的标签、第二文本和第三文本，第一文本和第一文本的改写文本可以是语义或者含义相同（或相近）的两个文本，可选的，第一文本和第一文本的改写文本可以是对应同一搜索结果的搜索文本，此时第一文本和第一文本的改写文本可以称为共点击数据。第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义，例如第一文本为“XX公积金政策变化”，其中的XX为地理位置，该第一文本中的关键字符为“公积金”，相应地，第一文本的标签例如可以为“001110000”，该标签指示第一文本中的每个字符是否为关键字符，若是则为“1”，若不是则为“0”。
其中，第二文本与第一文本的相似度大于第一阈值，第二文本与第一文本之间的泛化程度小于第一预设阈值，对第一文本进行泛化处理得到第二文本或第三文本，对文本进行泛化处理是指对文本进行大致的或类似的转换，其中对文本进行泛化处理是为了便于获得模型的泛化能力，泛化能力为模型对未知样本的识别能力（或预测能力），第一训练样本集是有限集合，模型通过有限集合可以学到对没有见过的样本的识别能力，即为泛化能力。示例性地，图7为本申请实施例提供的一种训练样本和损失函数的示意图，如图7所示，有2个训练样本，分别是训练样本一和训练样本二，训练样本一和训练样本二均包括第一文本、第一文本的改写文本、第二文本和第三文本。例如，训练样本一中，第一文本为A城市景点，第一文本的改写文本为A城市景区，可以看出，第一文本的改写文本与第一文本相似度是最高的（图7中指示为高相似）。第二文本为A城市XX，其中的XX为A城市一具体的景点，可以看出，A城市景点一与A城市景点的相似度较大，A城市景点一与A城市景点的泛化程度较小（图7中指示为一定相似+一定泛化）。第三文本与第一文本的相似度小于第二阈值，第三文本与第一文本之间的泛化程度大于第二预设阈值。例如，第一文本为A城市景点，第三文本为A城市招聘，可以看出，A城市招聘与A城市景点的相似度较小，A城市招聘与A城市景点的泛化程度较大（图7中指示为低相似+高泛化）。又例如，训练样本二中，第一文本为“怎么投诉驾校”，第一文本的改写文本为“如何投诉驾校”，第二文本为“驾校投诉平台”，第三文本为“驾校培训”。可以看出，“怎么投诉驾校”与“如何投诉驾校”的语义非常接近，“怎么投诉驾校”和“驾校投诉平台”之间的相似度较大、泛化程度较小。“怎么投诉驾校”和“驾校培训”之间的相似度较小、泛化程度较大。
S202、针对第一训练样本集中的至少一训练样本，以训练样本中的第一文本为文本处理模型中编码器的输入，输出第一文本编码后的向量特征，文本处理模型包括编码器、第一解码器、第二解码器和第三解码器。
S203、以第一文本编码后的向量特征为第一解码器的输入，输出第一预测文本，以第一文本编码后的向量特征为第二解码器的输入，输出第二预测文本，以第一文本编码后的向量特征为第三解码器的输入，输出第三预测文本。
具体地，本实施例中文本处理模型包括编码器（Encoder）和三个解码器（Decoder），分别是第一解码器、第二解码器和第三解码器。获取到第一训练样本集后，针对其中一训练样本，将该训练样本中的第一文本输入编码器，编码器输出第一文本编码后的向量特征。接着，将第一文本编码后的向量特征输入分别输入第一解码器、第二解码器和第三解码器，分别输出第一预测文本、第二预测文本和第三预测文本。
具体地，在一种可实施的方式中，S203具体可以为：
将第一文本编码后的向量特征输入第一解码器，用于第一解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第一预测文本的单个字符的解码结果。将第一文本编码后的向量特征输入第二解码器，用于第二解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第二预测文本的单个字符的解码结果。将第一文本编码后的向量特征输入第三解码器，用于第三解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第三预测文本的单个字符的解码结果。三个解码器详细的处理过程可参见上述实施例中的描述，此处不再赘述。
示例性地，图8为本申请实施例提供的一种文本处理模型训练方法的流程图，如图8所示，文本处理模型包括编码器和三个解码器，分别是第一解码器、第二解码器和第三解码器。获取到第一训练样本集后，针对其中一训练样本，将该训练样本中的第一文本（例如图中的XX景点）输入编码器，编码器输出第一文本编码后的向量特征。接着，将第一文本编码后的向量特征输入第一解码器，第一解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第一预测文本的单个字符的解码结果。将第一文本编码后的向量特征输入第二解码器，第二解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第二预测文本的单个字符的解码结果。将第一文本编码后的向量特征输入第三解码器，第三解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第三预测文本的单个字符的解码结果。
S204、根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本、第一预测文本、第二文本、第三文本、第二预测文本和第三预测文本，对编码器的参数、第一解码器的参数、第二解码器的参数和第三解码器的参数进行调整，直到满足停止训练条件。
具体地，停止训练条件可以是预设的停止训练条件，停止训练条件可以是达到预设的文本改写的准确率，例如文本改写的准确率大于或等于预设阈值，还可以是达到预设的迭代训练次数，本实施例对此不做限制。
可选的，在一种可实施的方式中，S204具体可以为：
S2041、根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本、第一预测文本、第二文本、第三文本、第二预测文本和第三预测文本，构建目标损失函数。
S2042、根据目标损失函数，反向传播调整编码器的参数、第一解码器的参数、第二解码器的参数和第三解码器的参数。
可选的，在一种可实施的方式中，S2041具体可以为：
S20411、根据第一文本编码后的向量特征和第一文本的标签，构建第一损失函数。
具体地，根据第一文本编码后的向量特征和第一文本的标签，构建第一损失函数，具体可以是先将第一文本编码后的向量特征依次经过线性层和归一化层的处理，得到第一文本中每个字符为关键字符的预测概率，接着根据第一文本中每个字符为关键字符的预测概率和第一文本的标签，构建第一损失函数。例如图8中所示，第一文本为XX景点，其中的XX可以为城市名D，第一文本的改写文本为XX景区，其中的XX也为城市名D，第二文本为XXAB，其中的XX也为城市名D，AB为城市D一具体的景点，第三文本为XX招聘，其中的XX也为城市名D。第一文本为XX景点，其中的XX可以为城市名D，此时的第一文本的关键字符为XX，第一文本的关键字符的指示为“1100”，“1”指示对应字符为关键字符，“0”指示对应字符不是关键字符，第一文本编码后的向量特征依次经过线性层和归一化层的处理，可得到第一文本中每个字符的指示是“1”的预测概率。
在一种可实施的方式中，Loss1可以为交叉熵损失，具体可通过如上公式（1）所示。
S20412、根据第一文本的改写文本和第一预测文本，构建第二损失函数。
具体地，例如图7和图8所示，根据第一文本的改写文本“XX景区”和第一预测文本（即图7中所示第一解码器的输出），构建第二损失函数Loss2。
S20413、根据第二文本和第二预测文本，构建第三损失函数。
具体地，例如图7和图8所示，根据第二文本 “XXAB”和第二预测文本（即图7中所示第二解码器的输出），构建第三损失函数Loss3。
S20414、根据第三文本和第三预测文本，构建第四损失函数。
具体地，例如图7和图8所示，根据第三文本 “XX招聘”和第三预测文本（即图7中所示第三解码器的输出），构建第四损失函数Loss4。
在一种可实施的方式中，第二损失函数Loss2、第三损失函数Loss3和第四损失函数Loss4均可以使用交叉熵损失，具体形式可为如上公式（1）所示的形式。
S20415、根据第一损失函数、第二损失函数、第三损失函数和第四损失函数，确定目标损失函数。
可选的，在一种可实施的方式中，S20415具体可以为：
S11、确定第一值和第二值，第一值取第三损失函数减去第二损失函数的差与零中的最大值，第二值取第二损失函数减去第四损失函数的差与零中的最大值。
S12、对第一损失函数、第二损失函数、第三损失函数、第四损失函数、第一值和第二值进行加权求和，得到目标损失函数。
具体地，在一种可实施的方式中，对第一损失函数、第二损失函数、第三损失函数、第四损失函数、第一值和第二值进行加权求和，得到目标损失函数，可以为如下公式（3）所示：
Loss=Loss1+( Loss2+Loss3+Loss4)+max(0, Loss2-Loss3) +max(0, Loss3-Loss4)（3）
其中，max(0, Loss2-Loss3)为第一值，max(0, Loss3-Loss4)为第二值，max(0,Loss2-Loss3) +max(0, Loss3-Loss4)用于对比学习任务，表示Loss2越接近Loss3越好，Loss3越远离Loss4越好。从而文本模型可学习到同一文本生成不同改写文本时的区别，提高了模型的泛化能力，从而可进一步提高文本处理模型进行文本改写的准确率。
S205、将满足停止训练条件所确定的第二解码器和编码器输出为已训练的文本处理模型。
可选的，本实施例的方法还可以包括：
S206、根据第二训练样本集，对文本处理模型进行无监督训练，第二训练样本集中的每个训练样本包括一个文本。
具体地，第二训练样本集可以包括数量较多的各类不同的文本，可以使用第二训练样本集对文本处理模型进行预训练（Pre-training），其中，可选的，对文本处理模型进行无监督训练使用的损失函数可以为语言模型最小化极大似然函数，具体形式可为如下公式（2）所示：
（2）
其中，u表示训练数据，使用前k个字符（token）去预测第i个字符的概率，k表示窗口大小，表示文本处理模型在迭代训练时需要更新的模型参数。
可选的，本实施例的方法还可以包括：
S207、获取第三训练样本集，第三训练样本集中的每个训练样本包括一文本和文本的改写文本。
S208、对已训练的文本处理模型进行初始化，使用第三训练样本集对初始化后的文本处理模型训练，得到模型参数调整后的文本处理模型。
具体地，第三训练样本集中的训练样本可以是以人工标注的方式获取，因此每一训练样本中包括的文本和该文本的改写文本是精确的语义或含义相近（或相同）的文本对。使用第三训练样本集对初始化后的已训练的文本处理模型训练，得到模型参数调整后的文本处理模型。实现了对通过S201-S205训练得到的文本处理模型微调，文本处理模型的准确率得到收敛，从而进一步提高了文本处理模型进行文本改写的准确率。
可选的，本实施例中的文本处理模型还可以为机器学习模型，如GPT，GPT是在大量数据集上进行了训练，是一个庞大的基于transformer的语言模型。
本实施例提供的文本处理模型训练方法，通过在训练文本处理模型时，文本处理模型包括编码器、第一解码器、第二解码器和第三解码器，训练样本包括第一文本、第一文本的改写文本、第一文本的标签、第二文本和第三文本，第一文本的标签用于指示可表达第一文本的核心语义的关键字符，针对训练样本集中的至少一训练样本，将训练样本中的第一文本输入编码器，输出第一文本编码后的向量特征，将第一文本编码后的向量特征分别输入第一解码器、第二解码器和第三解码器，分别输出第一预测文本、第二预测文本和第三预测文本，接着根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本、第一预测文本、第二文本、第三文本、第二预测文本和第三预测文本，对编码器的参数、第一解码器的参数、第二解码器的参数和第三解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。通过在训练样本中加入可表达第一文本的核心语义的关键字符，使得在编码阶段可以较好地学习到输入的核心语义，增强了编码器对输入文本中核心片段的识别，进而增强了编码节点的语义编码能力。从而使得文本处理模型可较为准确地根据输入的目标文本输出目标文本的改写文本，使得目标文本的改写文本与目标文本在语义或含义上的相似度较高，因此提高了文本改写的准确率。进一步地，通过在训练样本中加入第二文本和第三文本，第二文本与第一文本的相似度大于第一阈值，第二文本与第一文本之间的泛化程度小于第一预设阈值，第三文本与第一文本的相似度小于第二阈值，第三文本与第一文本之间的泛化程度大于第二预设阈值，采用一对多训练，强迫模型学习同一文本生成不同改写文本时的区别，提高了模型的泛化能力，从而可进一步提高文本处理模型进行文本改写的准确率，进而提高文本召回的召回率。
图9为本申请实施例提供的一种文本处理模型训练方法的流程图，本申请实施例的执行主体为具有模型训练功能的装置，该模型训练装置例如可以为服务器，图10为本申请实施例提供的一种文本处理模型训练方法的流程示意图，如图9和图10所示，该方法可以包括：
S31、根据第二训练样本集，对文本处理模型进行无监督训练，得到第一文本处理模型，第二训练样本集中的每个训练样本包括一个文本。
具体地，第二训练样本集可以包括数量较多的各类不同的文本，可以使用第二训练样本集对文本处理模型进行预训练（Pre-training）。本实施例中，文本处理模型可以包括编码器、第一解码器、第二解码器和第三解码器。其中，可选的，对文本处理模型进行无监督训练使用的损失函数可以为语言模型最小化极大似然函数，具体形式可为如下公式（2）所示：
（2）
其中，u表示训练数据，使用前k个字符（token）去预测第i个字符的概率，k表示窗口大小，表示文本处理模型在迭代训练时需要更新的模型参数。
S32、对第一文本处理模型进行初始化后，对第一文本处理模型进行任务适配训练，得到第二文本处理模型。
具体地，可通过上述实施例中S201-S204对第一文本处理模型进行任务适配训练，得到第二文本处理模型，具体过程可参见上述实施例的描述，此处不再赘述。
S33、获取第三训练样本集，第三训练样本集中的每个训练样本包括一文本和文本的改写文本，对第二文本处理模型进行初始化，使用第三训练样本集对第二文本处理模型训练，得第三文本处理模型。
如图10所示，预训练阶段包括无监督训练和领域任务适配，第三训练阶段是下游精调阶段。
具体地，第三训练样本集中的训练样本可以是以人工标注的方式获取，因此每一训练样本中包括的文本和该文本的改写文本是精确的语义或含义相近（或相同）的文本对。使用第三训练样本集对第二文本处理模型训练，得到第三文本处理模型。实现了对第二文本处理模型微调，第二文本处理模型的准确率得到收敛，从而进一步提高了文本处理模型进行文本改写的准确率。
本实施例提供的文本处理模型训练方法，通过三个阶段的训练方式，分别是第一阶段的无监督训练、第二阶段的领域任务适配和第三阶段的下游精调，可以丰富文本处理模型的多样性知识，在第二阶段训练时通过增加可表达第一文本的核心语义的关键字符，使得在编码阶段可以较好地学习到输入的核心语义，增强了编码器对输入文本中核心片段的识别，进而增强了编码节点的语义编码能力。从而使得文本处理模型可较为准确地根据输入的目标文本输出目标文本的改写文本，提高了文本改写的准确率，在第二阶段训练时还通过增加对比损失采用一对多训练，强迫模型学习同一文本生成不同改写结果时的区别，强化模型的泛化能力，从而可更进一步提高文本改写的准确率，进而提高文本召回的召回率。
图11为本申请实施例提供的一种文本改写方法的流程图，该方法的执行主体可以是服务器，如图11所示，该方法可以包括：
S301、获取目标文本。
S302、将目标文本输入文本处理模型，输出目标文本的改写文本。
其中，文本处理模型根据图3所示的方法训练得到。
本实施例提供的文本改写方法，通过在获取到目标文本后，将目标文本输入预先训练的文本处理模型，即可输出目标文本的改写文本。预先训练的文本处理模型可较为准确地根据输入的目标文本输出目标文本的改写文本，使得目标文本的改写文本与目标文本在语义或含义上的相似度较高，因此提高了文本改写的准确率，进而提高文本召回的召回率。
图12为本申请实施例提供的一种文本处理模型训练装置的结构示意图，如图12所示，该装置可以包括：获取模块11、处理模块12和调整模块13。
其中，获取模块11用于获取第一训练样本集，每一训练样本包括第一文本、第一文本的改写文本和第一文本的标签，第一文本的标签用于指示第一文本中的关键字符，关键字符用于表达第一文本的核心语义；
处理模块12用于针对第一训练样本集中的至少一训练样本，以训练样本中的第一文本为文本处理模型中编码器的输入，输出第一文本编码后的向量特征，文本处理模型包括编码器和第一解码器；
处理模块12还用于：以第一文本编码后的向量特征为第一解码器的输入，输出第一预测文本；
调整模块13用于根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，对编码器的参数和第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。
在一实施例中，处理模块12用于：将第一文本编码后的向量特征输入第一解码器，用于第一解码器基于第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出第一预测文本的单个字符的解码结果。
在一实施例中，调整模块13用于：根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本和第一预测文本，构建目标损失函数；
根据目标损失函数，反向传播调整编码器的参数和第一解码器的参数。
在一实施例中，调整模块13具体用于：将第一文本编码后的向量特征依次经过线性层和归一化层的处理，得到第一文本中每个字符为关键字符的预测概率；
根据第一文本中每个字符为关键字符的预测概率和第一文本的标签，构建第一损失函数；
根据第一文本的改写文本和第一预测文本，构建第二损失函数；
对第一损失函数和第二损失函数进行加权求和，得到目标损失函数。
在一实施例中，第一训练样本集还包括第二文本和第三文本，第二文本与第一文本的相似度大于第一阈值，第二文本与第一文本之间的泛化程度小于第一预设阈值，第三文本与第一文本的相似度小于第二阈值，第三文本与第一文本之间的泛化程度大于第二预设阈值，文本处理模型还包括第二解码器和第三解码器，处理模块12还用于：
以第一文本编码后的向量特征为第二解码器的输入，输出第二预测文本；
以第一文本编码后的向量特征为第三解码器的输入，输出第三预测文本。
在一实施例中，调整模块13用于：
根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本、第一预测文本、第二文本、第三文本、第二预测文本和第三预测文本，对编码器的参数、第一解码器的参数、第二解码器的参数和第三解码器的参数进行调整；
将满足停止训练条件所确定的第二解码器和编码器输出为已训练的文本处理模型。
在一实施例中，调整模块13具体用于：
根据第一文本编码后的向量特征、第一文本的标签、第一文本的改写文本、第一预测文本、第二文本、第三文本、第二预测文本和第三预测文本，构建目标损失函数；
根据目标损失函数，反向传播调整编码器的参数、第一解码器的参数、第二解码器的参数和第三解码器的参数。
在一实施例中，调整模块13具体用于：
根据第一文本编码后的向量特征和第一文本的标签，构建第一损失函数；
根据第一文本的改写文本和第一预测文本，构建第二损失函数；
根据第二文本和第二预测文本，构建第三损失函数；
根据第三文本和第三预测文本，构建第四损失函数；
根据第一损失函数、第二损失函数、第三损失函数和第四损失函数，确定目标损失函数。
在一实施例中，调整模块13具体用于：
确定第一值和第二值，第一值取第三损失函数减去第二损失函数的差与零中的最大值，第二值取第二损失函数减去第四损失函数的差与零中的最大值；
对第一损失函数、第二损失函数、第三损失函数、第四损失函数、第一值和第二值进行加权求和，得到目标损失函数。
在一实施例中，处理模块12还用于：
根据第二训练样本集，对文本处理模型进行无监督训练，第二训练样本集中的每个训练样本包括一个文本。
在一实施例中，处理模块12还用于：
获取第三训练样本集，第三训练样本集中的每个训练样本包括一文本和文本的改写文本；
对已训练的文本处理模型进行初始化，使用第三训练样本集对初始化后的文本处理模型训练，得到模型参数调整后的文本处理模型。
图13为本申请实施例提供的一种文本处理模型训练装置的结构示意图，如图13所示，该装置可以包括：获取模块21和处理模块22。
其中，获取模块21用于获取目标文本；
处理模块22用于将目标文本输入文本处理模型，输出目标文本的改写文本，文本处理模型根据上述实施例所示的文本处理模型训练方法训练得到。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图12所示的文本处理模型训练装置或图13所示的文本改写装置可以执行服务器对应的方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了实现服务器对应的方法实施例，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的文本处理模型训练装置和文本改写装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图14是本申请实施例提供的计算机设备300的示意性框图。
如图14所示，该计算机设备300可包括：
存储器310和处理器320，该存储器310用于存储计算机程序，并将该程序代码传输给该处理器320。换言之，该处理器320可以从存储器310中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该处理器320可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请实施例的一些实施例中，该处理器320可以包括但不限于：
通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请实施例的一些实施例中，该存储器310包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synch link DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DR RAM）。
在本申请实施例的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器310中，并由该处理器320执行，以完成本申请实施例提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图14所示，该计算机设备还可包括：
收发器330，该收发器330可连接至该处理器320或存储器310。
其中，处理器320可以控制该收发器330与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器330可以包括发射机和接收机。收发器330还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上内容，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以该权利要求的保护范围为准。

Claims (17)

1.一种文本处理模型训练方法，其特征在于，包括：
获取第一训练样本集，每一训练样本包括第一文本、所述第一文本的改写文本和所述第一文本的标签，所述第一文本的标签用于指示所述第一文本中的关键字符，所述关键字符用于表达所述第一文本的核心语义；
针对所述第一训练样本集中的至少一训练样本，以所述训练样本中的第一文本为文本处理模型中编码器的输入，输出所述第一文本编码后的向量特征，所述文本处理模型包括所述编码器和第一解码器；
以所述第一文本编码后的向量特征为所述第一解码器的输入，输出第一预测文本；
根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，对所述编码器的参数和所述第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。
2.根据权利要求1所述的方法，其特征在于，所述以所述第一文本编码后的向量特征为所述第一解码器的输入，输出所述第一预测文本，包括：
将所述第一文本编码后的向量特征输入所述第一解码器，用于所述第一解码器基于所述第一文本编码后的向量特征和已解码出的字符的向量特征，依次输出所述第一预测文本的单个字符的解码结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，对所述编码器的参数和所述第一解码器的参数进行调整，包括：
根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，构建目标损失函数；
根据所述目标损失函数，反向传播调整所述编码器的参数和所述第一解码器的参数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，构建目标损失函数，包括：
将所述第一文本编码后的向量特征依次经过线性层和归一化层的处理，得到所述第一文本中每个字符为所述关键字符的预测概率；
根据所述第一文本中每个字符为所述关键字符的预测概率和所述第一文本的标签，构建第一损失函数；
根据所述第一文本的改写文本和所述第一预测文本，构建第二损失函数；
对所述第一损失函数和所述第二损失函数进行加权求和，得到所述目标损失函数。
5.根据权利要求1所述的方法，其特征在于，所述第一训练样本集还包括第二文本和第三文本，所述第二文本与所述第一文本的相似度大于第一阈值，所述第二文本与所述第一文本之间的泛化程度小于第一预设阈值，所述第三文本与所述第一文本的相似度小于第二阈值，所述第三文本与所述第一文本之间的泛化程度大于第二预设阈值，所述文本处理模型还包括第二解码器和第三解码器，所述方法还包括：
以所述第一文本编码后的向量特征为所述第二解码器的输入，输出第二预测文本；
以所述第一文本编码后的向量特征为所述第三解码器的输入，输出第三预测文本。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，对所述编码器的参数和所述第一解码器的参数进行调整，包括：
根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本、所述第一预测文本、所述第二文本、所述第三文本、所述第二预测文本和所述第三预测文本，对所述编码器的参数、所述第一解码器的参数、所述第二解码器的参数和所述第三解码器的参数进行调整；
所述得到已训练的文本处理模型，包括：
将满足所述停止训练条件所确定的所述第二解码器和编码器输出为所述已训练的文本处理模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本、所述第一预测文本、所述第二文本、所述第三文本、所述第二预测文本和所述第三预测文本，对所述编码器的参数、所述第一解码器的参数、所述第二解码器的参数和所述第三解码器的参数进行调整，包括：
根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本、所述第一预测文本、所述第二文本、所述第三文本、所述第二预测文本和所述第三预测文本，构建目标损失函数；
根据所述目标损失函数，反向传播调整所述编码器的参数、所述第一解码器的参数、所述第二解码器的参数和所述第三解码器的参数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本、所述第一预测文本、所述第二文本、所述第三文本、所述第二预测文本和所述第三预测文本，构建目标损失函数，包括：
根据所述第一文本编码后的向量特征和所述第一文本的标签，构建第一损失函数；
根据所述第一文本的改写文本和所述第一预测文本，构建第二损失函数；
根据所述第二文本和所述第二预测文本，构建第三损失函数；
根据所述第三文本和所述第三预测文本，构建第四损失函数；
根据所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，确定所述目标损失函数。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，确定所述目标损失函数，包括：
确定第一值和第二值，所述第一值取所述第三损失函数减去所述第二损失函数的差与零中的最大值，所述第二值取所述第二损失函数减去所述第四损失函数的差与零中的最大值；
对所述第一损失函数、所述第二损失函数、所述第三损失函数、所述第四损失函数、所述第一值和所述第二值进行加权求和，得到所述目标损失函数。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
根据第二训练样本集，对所述文本处理模型进行无监督训练，所述第二训练样本集中的每个训练样本包括一个文本。
11.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
获取第三训练样本集，所述第三训练样本集中的每个训练样本包括一文本和所述文本的改写文本；
对所述已训练的文本处理模型进行初始化，使用所述第三训练样本集对初始化后的文本处理模型训练，得到模型参数调整后的文本处理模型。
12.一种文本改写方法，其特征在于，包括：
获取目标文本；
将所述目标文本输入文本处理模型，输出所述目标文本的改写文本，所述文本处理模型根据权利要求1-11任一项所述的方法训练得到。
13.一种文本处理模型训练装置，其特征在于，包括：
获取模块，用于获取第一训练样本集，每一训练样本包括第一文本、所述第一文本的改写文本和所述第一文本的标签，所述第一文本的标签用于指示所述第一文本中的关键字符，所述关键字符用于表达所述第一文本的核心语义；
处理模块，用于针对所述第一训练样本集中的至少一训练样本，以所述训练样本中的第一文本为文本处理模型中编码器的输入，输出所述第一文本编码后的向量特征，所述文本处理模型包括所述编码器和第一解码器；
所述处理模块还用于：以所述第一文本编码后的向量特征为所述第一解码器的输入，输出第一预测文本；
调整模块，用于根据所述第一文本编码后的向量特征、所述第一文本的标签、所述第一文本的改写文本和所述第一预测文本，对所述编码器的参数和所述第一解码器的参数进行调整，直到满足停止训练条件，得到已训练的文本处理模型。
14.一种文本改写装置，其特征在于，包括：
获取模块，用于获取目标文本；
处理模块，用于将所述目标文本输入文本处理模型，输出所述目标文本的改写文本，所述文本处理模型根据权利要求1-11任一项所述的方法训练得到。
15.一种计算机设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至11或12中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机程序上运行时，使得所述计算机执行如权利要求1至11或12中任一项所述的方法。
17.一种包含指令的计算机程序产品，其特征在于，当所述指令在计算机上运行时，使得所述计算机执行权利要求1至11或12中任一项所述方法。
CN202311151558.5A 2023-09-07 2023-09-07 文本处理模型训练方法、文本改写方法及装置和存储介质 Active CN116894431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311151558.5A CN116894431B (zh) 2023-09-07 2023-09-07 文本处理模型训练方法、文本改写方法及装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311151558.5A CN116894431B (zh) 2023-09-07 2023-09-07 文本处理模型训练方法、文本改写方法及装置和存储介质

Publications (2)

Publication Number Publication Date
CN116894431A true CN116894431A (zh) 2023-10-17
CN116894431B CN116894431B (zh) 2024-01-09

Family

ID=88312382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311151558.5A Active CN116894431B (zh) 2023-09-07 2023-09-07 文本处理模型训练方法、文本改写方法及装置和存储介质

Country Status (1)

Country Link
CN (1) CN116894431B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209817A (zh) * 2019-05-31 2019-09-06 安徽省泰岳祥升软件有限公司 文本处理模型的训练方法、装置和文本处理方法
CN110909021A (zh) * 2018-09-12 2020-03-24 北京奇虎科技有限公司 查询改写模型的构建方法、装置及其应用
WO2022143105A1 (zh) * 2020-12-30 2022-07-07 北京有竹居网络技术有限公司 文本生成模型生成方法、文本生成方法、装置及设备
CN114896983A (zh) * 2022-05-12 2022-08-12 支付宝(杭州)信息技术有限公司 模型训练方法、文本处理方法、装置和计算机设备
CN115858742A (zh) * 2022-09-02 2023-03-28 北京中关村科金技术有限公司 问题文本扩充方法、装置、设备及存储介质
US20230123581A1 (en) * 2020-06-28 2023-04-20 Beijing Baidu Netcom Science And Technology Co., Ltd. Query rewriting method and apparatus, device and storage medium
CN116050352A (zh) * 2022-12-12 2023-05-02 华润数字科技有限公司 文本编码方法和装置、计算机设备及存储介质
CN116187282A (zh) * 2022-12-30 2023-05-30 北京百度网讯科技有限公司 文本复述模型的训练方法、文本复述方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909021A (zh) * 2018-09-12 2020-03-24 北京奇虎科技有限公司 查询改写模型的构建方法、装置及其应用
CN110209817A (zh) * 2019-05-31 2019-09-06 安徽省泰岳祥升软件有限公司 文本处理模型的训练方法、装置和文本处理方法
US20230123581A1 (en) * 2020-06-28 2023-04-20 Beijing Baidu Netcom Science And Technology Co., Ltd. Query rewriting method and apparatus, device and storage medium
WO2022143105A1 (zh) * 2020-12-30 2022-07-07 北京有竹居网络技术有限公司 文本生成模型生成方法、文本生成方法、装置及设备
CN114896983A (zh) * 2022-05-12 2022-08-12 支付宝(杭州)信息技术有限公司 模型训练方法、文本处理方法、装置和计算机设备
CN115858742A (zh) * 2022-09-02 2023-03-28 北京中关村科金技术有限公司 问题文本扩充方法、装置、设备及存储介质
CN116050352A (zh) * 2022-12-12 2023-05-02 华润数字科技有限公司 文本编码方法和装置、计算机设备及存储介质
CN116187282A (zh) * 2022-12-30 2023-05-30 北京百度网讯科技有限公司 文本复述模型的训练方法、文本复述方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂锦燃 等: "基于变分自编码器的无监督文本风格转换", 《中文信息学报》, vol. 34, no. 7, pages 79 - 88 *

Also Published As

Publication number Publication date
CN116894431B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN118349673A (zh) 文本处理模型的训练方法、文本处理方法及装置
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
US20180357225A1 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN109977201B (zh) 带情感的机器聊天方法、装置、计算机设备及存储介质
CN113672708B (zh) 语言模型训练方法、问答对生成方法、装置及设备
CN110534087A (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN110929030A (zh) 一种文本摘要和情感分类联合训练方法
CN117370373A (zh) 数据处理方法、装置、电子设备及存储介质
US20220383206A1 (en) Task Augmentation and Self-Training for Improved Few-Shot Learning
CN113065358A (zh) 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
US20240104352A1 (en) Contrastive Learning and Masked Modeling for End-To-End Self-Supervised Pre-Training
CN114880991B (zh) 知识图谱问答问句实体链接方法、装置、设备及介质
CN115803806A (zh) 用于训练双模式机器学习言语识别模型的系统和方法
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
WO2024073087A1 (en) Revision of and attribution for output of text generation models
CN118246537B (zh) 基于大模型的问答方法、装置、设备及存储介质
CN114360502A (zh) 语音识别模型的处理方法、语音识别方法及装置
CN116450839A (zh) 知识增强预训练语言模型知识注入和训练方法及系统
CN117272937B (zh) 文本编码模型训练方法、装置、设备及存储介质
US20240135187A1 (en) Method for Training Large Language Models to Perform Query Intent Classification
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质
CN116894431B (zh) 文本处理模型训练方法、文本改写方法及装置和存储介质
CN114925681B (zh) 知识图谱问答问句实体链接方法、装置、设备及介质
CN117217278A (zh) 模型训练方法、文本召回方法、设备、介质及程序产品
CN113157892B (zh) 用户意图处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant