CN116029303A - 语言表达方式识别方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种语言表达方式识别方法、装置、电子设备和存储介质，其中方法包括：确定待识别文本；提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。本发明提供的语言表达方式识别方法、装置、电子设备和存储介质，通过提取待识别文本中各分句的句子内语义特征和上下文语义特征，并基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别，由此能够实现同时兼容依赖上下文信息和仅依赖单句内信息的多种语言表达方式的识别，从而可以节省资源，提高识别效率。

Description

语言表达方式识别方法、装置、电子设备和存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种语言表达方式识别方法、装置、电子设备和存储介质。

背景技术

语言表达方式是指文章的写作方法，主要包括记叙、描写、抒情、议论、说明和修辞等各种方法。

相关技术中，针对不同类型的语言表达方式采用不同的建模方法，每次仅能够识别一类或一种语言表达方式。然而大部分的文本会同时包括多种语言表达方式，导致实际应用时需要进行多次识别，需要占用大量的资源。

基于此，提供一种能够识别各种语言表达方式的方法是本领域技术人员亟需解决的问题。

发明内容

本发明提供一种语言表达方式识别方法、装置、电子设备和存储介质，用以解决现有技术中每次仅能够识别一类或一种语言表达方式的缺陷。

本发明提供一种语言表达方式识别方法，包括：

确定待识别文本；

提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

根据本发明提供的语言表达方式识别方法，所述基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别，包括：

基于所述各分句的句子内语义特征和上下文语义特征分别对各目标语言表达方式识别的重要程度，对所述各分句的句子内语义特征和上下文语义特征进行融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征；

基于所述各分句在所述各目标语言表达方式下的融合语义特征，对所述各分句进行各目标语言表达方式的识别。

根据本发明提供的语言表达方式识别方法，所述基于所述各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，对所述各分句的句子内语义特征和上下文语义特征进行融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征，包括：

基于所述各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，确定所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重；

基于所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重，对所述各分句的句子内语义特征和上下文语义特征进行加权融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征。

根据本发明提供的语言表达方式识别方法，所述提取所述待识别文本中的各分句的句子内语义特征和上下文语义特征，包括：

基于所述各分句中各分词之间的相关性，对所述各分词进行上下文语义特征提取，得到所述各分词的上下文语义特征；

基于所述各分词的上下文语义特征，对所述各分句进行句子内语义特征提取，得到所述各分句的句子内语义特征；

基于所述各分词的上下文语义特征，对所述各分句进行上下文语义特征提取，得到所述各分句的上下文语义特征。

根据本发明提供的语言表达方式识别方法，所述基于所述各分词的上下文语义特征，对所述各分句进行句子内语义特征提取，得到所述各分句的句子内语义特征，包括：

基于所述各分词的上下文语义特征，以及所述各分词对各目标语言表达方式识别的重要程度，对所述各分句进行句子内语义特征提取，得到所述各分句在所述各目标语言表达方式下的句子内语义特征。

根据本发明提供的语言表达方式识别方法，所述提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别，包括：

基于共享编码模块，提取所述待识别文本中各分词的上下文语义特征；

基于各目标语言表达方式分别对应的识别模块，应用所述各分词的上下文语义特征，提取所述待识别文本中各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，并应用所述各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，对所述各分句进行各目标语言表达方式的识别；

所述共享编码模块、所述各目标语言表达方式分别对应的识别模块构成语言表达方式识别模型，所述语言表达方式识别模型是基于样本文本和标签训练得到的。

根据本发明提供的语言表达方式识别方法，所述语言表达方式识别模型的获取步骤包括：

获取初始模型，所述初始模型包括初始共享编码模块和各目标语言表达方式分别对应的初始识别模块；

基于各目标语言表达方式对应的样本文本和标签，对所述初始模型进行参数迭代，得到所述共享编码模块和各目标语言表达方式分别对应的中间识别模块；

基于各目标语言表达方式对应的样本文本和标签，对各目标语言表达方式分别对应的中间识别模块进行参数迭代，得到所述各目标语言表达方式分别对应的识别模块。

本发明还提供一种语言表达方式识别装置，包括：

文本确定单元，用于确定待识别文本；

识别单元，用于提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语言表达方式识别方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语言表达方式识别方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语言表达方式识别方法。

本发明提供的语言表达方式识别方法、装置、电子设备和存储介质，通过提取待识别文本中各分句的句子内语义特征和上下文语义特征，并基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别，由此能够实现同时兼容依赖上下文信息和仅依赖单句内信息的多种语言表达方式的识别，从而可以节省资源，提高识别效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的语言表达方式识别方法的流程示意图之一；

图2是本发明提供的语言表达方式识别方法的流程示意图之二；

图3是本发明提供的语言表达方式识别方法的流程示意图之三；

图4是本发明提供的语言表达方式识别方法的流程示意图之四；

图5是本发明提供的语言表达方式识别方法中步骤120的流程示意图；

图6是本发明提供的语言表达方式识别模型的结构示意图；

图7是本发明提供的各语言表达方式分别对应的识别模块的结构示意图；

图8是本发明提供的语言表达方式识别模型的获取流程示意图；

图9是本发明提供的语言表达方式识别装置的结构示意图；

图10是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

语言表达方式是指文章的写作方法，主要包括记叙、描写、抒情、议论、说明和修辞方法等。

记叙是写作中最常见的一种表达方式，用于写出人物的经历和事件的发展变化过程。正确识别文章中的记叙部分内容能够辅助文章事件脉络分析等自然语言任务。

描写是把描写对象的状貌、情态描绘出来，主要包括心理描写、语言描写、动作描写、神态描写、外貌描写、环境描写、场面描写、五感描写等。描写方法能够用生动形象的语言把人物的形态、动作或景物的状态等具体特征描绘出来。写作中往往通过描写方法来体现人或物的特点，因此描写方法识别任务不仅是判断文章好坏的重要指标，也能辅助文章中人物性格、品质等特点识别任务。

抒情是抒发和表现作者的感情，包括直接抒情和间接抒情。抒情识别任务是文章情感分析任务的重要前置任务，特别是为长文本的情感变化分析任务提供表达情感的抒情片段。

议论就是作者对某个议论对象发表见解，以表明自己的观点和态度，常采用道理论证、举例论证、对比论证等方法。议论识别任务识别出的议论部分文本是观点挖掘、论证结构分析等任务的重要研究对象。

说明是把事物的形状、性质、特征、成因、关系、功用等解说清楚的表达方式。说明时主要会使用举例子、列数字、作比较、分类别等说明方法。文章中事物的相关信息都是通过说明方法进行写作，识别说明方法能有效辅助机器判断文章中是否写出事物的信息和提取文章中所写事物的信息。

修辞方法是提高语言表达效果的重要手段，使用修辞方法能够使文章更加生动地传达自己的意思，吸引别人的注意力、加深别人的印象。常用的修辞方法包括比喻、拟人、夸张、排比、引用等。修辞方法识别任务对于判断一篇文章写作的好坏具有重要的作用。同时修辞方法也是表达情感的一种重要手段，是文章情感识别的重要依据。

相关技术中，每次仅能够识别一类或一种语言表达方式，针对不同类型的语言表达方式采用不同的建模方法，建模方法主要包括以下几种：

1)句子内表示建模。修辞方法中的比喻、拟人、夸张等方法和描写方法中外貌、神态、动作等方法仅需要考虑当前句子内的信息进行识别。因此这类语言表达方式的识别通常采用句子内表示进行建模，并且还会针对每种方法设计成分抽取任务，例如比喻识别会使用本体和喻体识别作为辅助任务。句子内表示建模在识别时输入单个目标句子，通过模型对目标句子进行编码得到句子表示，对目标句子表示进行分类得到目标句子的类别。同时会使用基于序列标注的相关成分片段识别任务进行辅助。

2)基于上下文的句子表示建模。抒情方法中的间接抒情、论证方法中的对比论证和因果论证等、说明方法中的比较等需要上下文信息进行判断。这类语言表达方式无法仅依赖当前单句进行识别，需要上下文的信息才能进行判断。基于上下文的句子表示建模在识别时输入包含目标句子的上下文片段，通过使用注意力等方法使目标句子和上下文片段信息进行交互得到目标句子的表示，对目标句子表示进行分类得到目标句子的类别。

然而，实际应用时大部分的文本会同时包括多种语言表达方式，导致应用时需要分别进行多次识别，占用大量的资源。

基于此，为了节省资源，实现一次输入就能够识别各种语言表达方式，本发明的发明构思在于：针对各种语言表达方式进行统一的建模，分别提取待识别文本中各分句的句子内语义特征和上下文语义特征，并基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别，由此能够实现同时兼容依赖上下文信息和仅依赖单句内信息的多种语言表达方式识别。

基于上述发明构思，本发明提供一种语言表达方式识别方法、装置、电子设备和存储介质，应用于人工智能技术中的语言表达方式识别场景，例如作文自动评阅场景，以实现一次输入就能够识别各种语言表达方式，从而节省资源。

下面将结合附图详细描述本发明的技术方案。图1是本发明提供的语言表达方式识别方法的流程示意图之一，该方法中各步骤的执行主体可以是语言表达方式识别装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备(如智能手机、个人电脑、可穿戴式设备等)，也可以是服务器(如本地服务器或云端服务器，也可以为服务器集群等)，也可以是处理器，也可以是芯片等。如图1所示，该方法可以包括如下步骤：

步骤110，确定待识别文本。

具体地，待识别文本即需要进行语言表达方式识别的文本，待识别文本可以是任意形式的文本，例如可以是学生提交的作文，可以是书本里的课文，可以是网络上的文章等等，在此不一一列举。

待识别文本可以是用户直接输入的，也可以是将采集所得的音频进行语音转写后得到的，还可以是通过扫描仪、手机、相机等图像采集设备采集得到图像，并对图像进行OCR(Optical Character Recognition，光学字符识别)得到的，还可以通过与外接设备连接的接口传输得到的。

步骤120，提取待识别文本中各分句的句子内语义特征和上下文语义特征，并基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别。

具体地，获取到待识别文本之后，可对待识别文本进行分句处理，得到待识别文本中的各分句。

各分句的句子内语义特征能够表示各分句句子内的语义信息，通常是针对单个句子而言。在识别一些特定的语言表达方式时，比如修辞方法中的比喻、拟人、夸张等方法和描写方法中外貌、神态、动作等方法，仅需要考虑当前分句的句子内语义特征。

例如“有时候我穿着白衣服，有时候我穿着黑衣服，早晨和傍晚我又把红袍披在身上。”这句话，通过提取句子内语义特征，并对句子内语义特征进行识别可得到采用了排比的修辞手法。

各分句的上下文语义特征能够表示各分句分别与上下文之间的语义信息，通常是针对包含上下文信息的句子，比如段落或篇章等。在识别一些特定的语言表达方式时，比如抒情方法中的间接抒情、论证方法中的对比论证和因果论证等、说明方法中的作比较等需要上下文信息进行判断。

例如“太阳一晒，我就变成汽。升到天空，我又变成无数极小极小得点儿，连成一片，在空中漂浮。有时候我穿着白衣服，有时候我穿着黑衣服，早晨和傍晚我又把红袍披在身上。”这个段落，通过结合上下信息，可知“有时候我穿着白衣服，有时候我穿着黑衣服，早晨和傍晚我又把红袍披在身上。”这句话还采用了拟人和对比的表达方式。

实际应用时，可通过对待识别文本中各分词的词嵌入向量进行特征提取，得到待识别文本中各分句的句子内语义特征和上下文语义特征；或采用训练好的特征提取模型提取待识别文本中各分句的句子内语义特征和上下文语义特征，还可以采用已有的其他特征提取方法提取待识别文本中各分句的句子内语义特征和上下文语义特征，本发明实施例对此不作具体限定。

随即，基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别。具体识别时，可以将各分句的句子内语义特征和上下文语义特征输入至预先训练好的识别模型，由训练好的识别模型对各分句的句子内语义特征和上下文语义特征进行特征融合，并基于融合结果识别各分句的语言表达方式，从而输出各分句的识别结果。也可以分别应用各分句的句子内语义特征和上下文语义特征对各分句进行语言表达方式识别，并综合基于句子内语义特征得到的识别结果和基于上下文语义特征得到的识别结果，确定各分句的语言表达方式识别结果，本发明实施例对此不作具体限定。

本发明实施例提供的方法，通过提取待识别文本中各分句的句子内语义特征和上下文语义特征，并基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别，由此能够实现同时兼容依赖上下文信息和仅依赖单句内信息的多种语言表达方式的识别，从而可以节省资源，提高识别效率。

基于上述任一实施例，图2是本发明提供的语言表达方式识别方法的流程示意图之二，如图2所示，步骤120中基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别，具体包括：

步骤121，基于各分句的句子内语义特征和上下文语义特征分别对各目标语言表达方式识别的重要程度，对各分句的句子内语义特征和上下文语义特征进行融合，得到各分句在所述各目标语言表达方式下的融合语义特征；

步骤122，基于各分句在所述各目标语言表达方式下的融合语义特征，对各分句进行各目标语言表达方式的识别。

具体地，本发明能够实现一次识别多种语言表达方式，此处各目标语言表达方式即采用本发明的方法，能够识别的多种语言表达方式。比如各目标语言表达方式可以包括记叙、描写、抒情和议论；各目标语言表达方式还可以包括比喻、说明、议论和拟人，可根据实际需要灵活设置。

考虑到各分句的句子内语义特征和上下文语义特征针对各目标语言表达方式识别的贡献大小不同，特征的有用性大小不同，即各分句的句子内语义特征和上下文语义特征分别对各目标语言表达方式识别的重要程度不同。

因此，可以根据各分句的句子内语义特征和上下文语义特征分别对各目标语言表达方式识别的重要程度，对句子内语义特征和上下文语义特征进行融合，得到融合语义特征。融合语义特征中，可以着重体现对目标语言表达方式识别的重要程度较高的语义特征，相应地，可以弱化对目标语言表达方式识别的重要程度较低的语义特征。

以其中一个目标语言表达方式为抒情为例，上下文语义特征和抒情表达方式之间的关联性较大，对抒情表达方式识别的贡献较大；句子内语义特征和抒情表达方式之间的关联性相对较小，对抒情表达方式识别的贡献较小。因此，对各分句的句子内语义特征和上下文语义特征进行融合时，可以强化各分句的上下文语义特征，弱化各分句的句子内语义特征，从而可以进一步提高识别的准确率。

再例如，假设其中一个目标语言表达方式为修辞手法中的比喻，上下文语义特征和比喻表达方式之间的关联性较小，对比喻表达方式识别的贡献较小；句子内语义特征和比喻表达方式之间的关联性相对较大，对比喻表达方式识别的贡献较大。因此，对各分句的句子内语义特征和上下文语义特征进行融合时，可以强化各分句的句子内语义特征，弱化各分句的上下文语义特征。

在实现各分句的句子内语义特征和上下文语义特征融合之后，即可基于融合所得的融合语义特征，进行各目标语言表达方式的识别。具体可通过预先训练好的各目标语言表达方式分别对应的分类器，对各融合语义特征进行分类。

本发明实施例提供的方法，通过对句子内语义特征和上下文语义特征进行融合，基于融合得到的融合语义特征进行各目标语言表达方式的识别，融合语义特征强化了与各目标语言表达方式的识别息息相关的语义特征，弱化了与各目标语言表达方式的识别关联较弱的语义特征，有助于进一步提高识别的准确率。

基于上述任一实施例，图3是本发明提供的语言表达方式识别方法的流程示意图之三，如图3所示，步骤121具体包括：

步骤121-1，基于各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，确定各分句的句子内语义特征和上下文语义特征分别对应的融合权重；

步骤121-2，基于各分句的句子内语义特征和上下文语义特征分别对应的融合权重，对各分句的句子内语义特征和上下文语义特征进行加权融合，得到各分句的融合语义特征。

具体地，可以首先根据各分句的句子内语义特征和上下文语义特征，确定各自分别对目标语言表达方式识别的重要程度。此处在确定重要程度时，可以预先通过训练学习句子内语义特征和上下文语义特征分别与目标语言表达方式识别之间的映射关系，后续应用时即可直接将当前的句子内语义特征和上下文语义特征代入映射关系，从而得到各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度。

在此基础上，可以直接将重要程度作为其对应的融合权重，也可以在得到各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度之后，对分别对应的重要程度进行归一化处理，从而得到句子内语义特征和上下文语义特征分别对应的融合权重，本发明实施例对此不作具体限定。

随即，可通过加权融合的方式实现各分句的句子内语义特征和上下文语义特征的融合，此处加权融合可以是加权求和，也可以是加权求和后取均值，还可以是句子内语义特征和上下文语义特征分别与其对应的权重相乘之后进行拼接，本发明实施例对此不作具体限定。

本发明实施例提供的方法，针对各目标语言表达方式的识别，通过对各分句的句子内语义特征和上下文语义特征分配不同的权重大小进行加权融合，由此得到的融合语义特征能进一步提高识别的准确率。

基于上述任一实施例，融合和识别的过程可表示如下：

其中w_inner和w_context分别为句子内语义特征和上下文语义特征对目标语言表达方式识别的重要程度，

和

分别为使用softmax进行归一化之后的句子内语义特征和上下文语义特征的权重。s_k为融合语义特征，用于目标语言表达方式的识别。w_inner和w_context可以通过训练过程学习得到句子内语义特征和上下文语义特征对每种语言表达方式识别任务的不同贡献。

最后可使用线性分类层对目标语言表达方式进行分类，得到句子在目标语言表达方式上的标签Y＝(y₁，y₂，...，y_m)，识别是否为目标语言表达方式，如下式所示：

y_k＝linear-classifier(s_k)

例如，目标语言表达方式分别为记叙、抒情、议论和描写，识别得到句子在目标语言表达方式上的标签为Y＝(是、否、是、否)，则待识别文本包括记叙和议论两种语言表达方式。

可理解的是，使用该方法可同时对多种目标语言表达方式进行识别。

基于上述任一实施例，图4是本发明提供的语言表达方式识别方法的流程示意图之四，如图4所示，步骤120中提取待识别文本中各分句的句子内语义特征和上下文语义特征，包括：

步骤123，基于各分句中各分词之间的相关性，对各分词进行上下文语义特征提取，得到各分词的上下文语义特征。

步骤124，基于各分词的上下文语义特征，对各分句进行句子内语义特征提取，得到各分句的句子内语义特征；

步骤125，基于各分词的上下文语义特征，对各分句进行上下文语义特征提取，得到各分句的上下文语义特征。

具体地，为了提取得到待识别文本中各分句的句子内语义特征和上下文语义特征，可首先对待识别文本中的各分词进行上下文语义特征提取，得到各分词在上下文中的语义信息表示，即各分词的上下文语义特征。基于各分句中各分词之间的相关性，对各分词进行上下文语义特征提取，可以使得在特征提取时，每一个分词都能够关注到待识别文本中所有分词的信息。

针对各分词的上下文语义特征，可通过如下方式得到：

在一个示例中，在待识别文本中的每个句子前后分别添加“[CLS]”和“[SEP]”标签，作为句子语义特征提取和句子边界指示。例如，原始输入段落中有三句话：“逛公园……”、“绿色的树……”、“真开心……”，增加标签后输入转化为“[CLS]逛公园……[SEP][CLS]绿色的树……[SEP][CLS]真开心……[SEP]”。然后通过词嵌入的方法将转换后的句子中的词和标签编码为向量表示，即待识别文本可表示为词向量序列X＝(x₁，x₂，...，x_n)，其中x_i表示第i个词对应的词向量。

然后，可基于自注意力机制的特征提取模型，对各分词进行上下文语义特征提取，得到各分词的上下文语义特征。

在此基础上，即可执行步骤124和步骤125。需说明的是，步骤124和步骤125可以同时执行，也可以顺序执行，且不限定两者的执行先后顺序。

针对各分句的句子内语义特征，可通过基于各分句中各分词的上下文语义特征，对各分句进行句子内语义特征提取实现，从而得到各分句的句子内信息表示，即句子内语义特征。

针对各分句的上下文语义特征，可通过基于各分句中各分词的上下文语义特征，对各分句进行句子间交互，以实现上下文语义特征提取，从而得到各分句的上下文信息表示，即上下文语义特征。

本发明实施例提供的方法，通过基于各分词的上下文语义特征，提取各分句的句子内语义特征和各分句的上下文语义特征，使得在特征提取时能够共享各分词的上下文语义特征，从而节省了资源，提高了特征提取效率。

基于上述任一实施例，步骤124具体包括：

步骤124-1，基于各分词的上下文语义特征，以及各分词对目标语言表达方式识别的重要程度，对各分句进行句子内语义特征提取，得到各分句的句子内语义特征。

具体地，考虑到各分词的上下文语义特征针对各目标语言表达方式识别的贡献大小不同，特征的有用性大小不同，即词的上下文语义特征对各目标语言表达方式识别的重要程度不同。

因此，针对各分句的句子内语义特征，可通过基于各分词的上下文语义特征，以及各分词对目标语言表达方式识别的重要程度，对各分句进行句子内语义特征提取实现。特征提取时，可以着重体现对目标语言表达方式识别的重要程度较高的分词特征，相应地，可以弱化对目标语言表达方式识别的重要程度较低的分词特征。

例如，“她的脸像苹果一样”这句话，其中的分词“像”对比喻的修辞方法识别的重要程度较高，在特征提取时，可以着重体现分词“像”的上下文语义特征。

在一些实施例中，可通过局部注意力的方法，计算句子中每个分词的上下文语义特征对当前语言表达方式的重要程度，然后通过对句子中词向量加权求和的方法得到句子内语义特征s_iner，即：

其中，

为上下文语义特征，用于计算每个分词对目标语言表达方式的重要程度。

为第k个句子的词向量序列，即从第m_k个词到第n_k个词的词向量序列，m_k和n_k分别为第k个句子的起始标签“[CLS]”和终止标签“[SEP]”在输入序列中的位置。a_k为句子中每个词对目标语言表达方式的重要程度，

为句子中第i个词的重要程度权重。

为

中第i个词的向量表示。

为第k句的句子内语义特征。

基于上述任一实施例，图5是本发明提供的语言表达方式识别方法中步骤120的流程示意图，如图5所示，步骤120具体包括：

步骤126，基于共享编码模块，提取待识别文本中各分词的上下文语义特征；

步骤127，基于各目标语言表达方式分别对应的识别模块，应用各分词的上下文语义特征，提取待识别文本中各分句在各目标语言表达方式下的句子内语义特征和上下文语义特征，并应用各分句在各目标语言表达方式下的句子内语义特征和上下文语义特征，对各分句进行各目标语言表达方式的识别；

共享编码模块、各目标语言表达方式分别对应的识别模块构成语言表达方式识别模型，语言表达方式识别模型是基于样本文本和标签训练得到的。

具体地，为了实现一次能够识别多个语言表达方式，可基于语言表达方式识别模型实现。图6是本发明提供的语言表达方式识别模型的结构示意图，如图6所示，语言表达方式识别模型包括共享编码模块和各目标语言表达方式分别对应的识别模块，如记叙表达方式可对应识别模块1、议论表达方式可对应识别模块2、修辞表达方式可对应识别模块3、……、描写表达方式可对应识别模块N等。各目标语言表达方式分别对应的识别模块输出各自对应的语言表达方式标签，标签可以指示是否为该语言表达方式。

其中，共享编码模块可用于提取待识别文本中各分词的上下文语义特征。共享编码模块可以采用BERT模型。BERT模型采用多层基于自注意力的Transformer结构，在编码时每一个词可以关注到所有输入词的信息，这种结构使得输出的词向量信息为基于上下文的词向量，即：

H＝BERT(X)

最终得到的H＝(h₁，h₂，...，h_n)为BERT模型最后一层输出的词表示序列。其中，X为输入的待识别文本；h_i为输入中第i个词在上下文中的语义信息表示，即各分词的上下文语义特征。后续所有语言表达方式识别共享这一信息表示。

各目标语言表达方式分别对应的识别模块同时提取句子内语义特征和上下文语义特征，然后将两种特征进行融合得到语言表达句子表示，即融合语义特征，最后对语言表达句子表示进行分类。由于每种语言表达方式关注的信息不同，因此每种语言表达方式使用一个独立的语言表达识别模块。图7是本发明提供的各语言表达方式分别对应的识别模块的结构示意图，如图7所示，各语言表达方式分别对应的识别模块包括句子内语义特征提取子模块、上下文语义特征提取子模块、融合子模块和识别子模块。

其中，句子内语义特征提取子模块用于提取待识别文本中各分句在各目标语言表达方式下的句子内语义特征；

上下文语义特征提取子模块用于提取待识别文本中各分句在各目标语言表达方式下的上下文语义特征；

融合子模块用于将各分句在各目标语言表达方式下的句子内语义特征和上下文语义特征进行融合，得到融合语义特征。融合子模块可采用门控模块实现。

识别子模块用于基于融合语义特征对各分句进行各目标语言表达方式的识别。特征提取和识别的过程可参照前述实施例的描述，此处不再赘述。

本发明实施例提供的方法，通过语言表达方式识别模型对各种语言表达方式识别任务进行统一建模，实现使用一个模型识别所有语言表达方式。

基于上述任一实施例，图8是本发明提供的语言表达方式识别模型的获取流程示意图，如图8所示，语言表达方式识别模型的获取步骤包括：

步骤810，获取初始模型，初始模型包括初始共享编码模块和各目标语言表达方式分别对应的初始识别模块；

步骤820，基于各目标语言表达方式对应的样本文本和标签，对初始模型进行参数迭代，得到共享编码模块和各目标语言表达方式分别对应的中间识别模块；

步骤830，基于各目标语言表达方式对应的样本文本和标签，对各目标语言表达方式分别对应的中间识别模块进行参数迭代，得到各目标语言表达方式分别对应的识别模块。

具体地，为了得到语言表达方式识别模型，可首先获取初始模型，初始模型包括初始共享编码模块和各目标语言表达方式分别对应的初始识别模块。在初始模型的基础上利用训练数据集进行参数迭代，参数迭代完成后得到语言表达方式识别模型。

考虑到现有技术方案在训练时仅使用目标语言表达方式的标注数据集，不能使用大规模数据，这就使得现有方案缺乏可扩展性，无法在不影响已有语言表达方式识别能力的情况下，快速增加一种新的语言表达方式识别。

同时，由于各个语言表达方式识别任务分开进行，也使得相关的数据集构建仅包含一种或部分语言表达方式标注。这就使得这些数据集较难融合到一起训练模型。

基于此，为了增强数据的利用率，同时减少多任务学习中不同任务收敛不同步的问题，本发明实施例在训练时采用二阶段训练的方法。

第一阶段训练时，采用所用训练数据进行大规模训练。基于各目标语言表达方式对应的样本文本和标签，对初始模型进行参数迭代，得到共享编码模块和各目标语言表达方式分别对应的中间识别模块。

由于已有技术方案的语言表达方式识别任务都是单独的进行，因此不同的数据集仅标注了部分语言表达方式标签。为了利用大规模数据训练全部语言表达任务，将所有数据集混合进行训练，训练时每个数据集的数据仅在其标注的语言表达方式任务上进行求导和优化。这样既扩大了训练数据规模，也能够使得每种语言表达任务都得到训练。

第二阶段训练时，固定共享编码模块的模块参数，基于各目标语言表达方式对应的样本文本和标签，对各目标语言表达方式分别对应的中间识别模块进行参数迭代，得到各目标语言表达方式分别对应的识别模块。依次使用每种语言表达方式的标注数据对该语言表达方式的私有识别模块进行优化，能够解决第一阶段中不同语言表达方式任务收敛速率不同步和训练数据不均衡的问题。

需要说明的是，在需要增加新语言表达方式识别能力时，仅需要增加新的语言表达方式识别模块，然后针对新的语言表达方式进行第二阶段训练即可。

本发明实施例提供的方法，先通过第一阶段的大规模不同语言表达方式标注数据的训练使模型具有很好的泛化效果，再通过第二阶段固定共享编码模块的模块参数，使用目标语言表达方式数据对目标语言表达方式针对性优化。此外，由于大规模语言表达方式数据的训练使得共享编码模块有很好的泛化性，在增加新的语言表达方式识别时，仅需要在顶层增加新的识别模块，并对新的语言表达方式识别模块进行优化即可。

基于上述任一实施例，提供一种语言表达方式识别方法，包括：

S1，构建初始模型，初始模型包括初始共享编码模块和各目标语言表达方式分别对应的初始识别模块。

S2，基于各目标语言表达方式对应的样本文本和标签，对初始模型进行参数迭代，得到共享编码模块和各目标语言表达方式分别对应的中间识别模块。分别采用大规模语言表达方式标注语料，通过多任务学习方法同时训练所有的语言表达方式识别任务，充分使用数据的同时各种语言表达方式识别任务之间可以互相辅助。

S3，基于各目标语言表达方式对应的样本文本和标签，对各目标语言表达方式分别对应的中间识别模块进行参数迭代，得到各目标语言表达方式分别对应的识别模块。

固定共享编码模块参数，分别使用每种表达方式的标注语料对模型进行二阶段训练。缓解多任务训练过程中不同任务收敛不同步的问题。

S4，共享编码模块、各目标语言表达方式分别对应的识别模块构成语言表达方式识别模型。

S5，确定待识别文本。

S6，基于共享编码模块，提取所述待识别文本中各分词的上下文语义特征；基于各目标语言表达方式分别对应的识别模块，应用所述各分词的上下文语义特征，提取所述待识别文本中各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，并应用所述各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，对所述各分句进行各目标语言表达方式的识别。

其中，S6中应用所述各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，对所述各分句进行各目标语言表达方式的识别，包括：

S61，基于所述各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，确定所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重；

S62，基于所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重，对所述各分句的句子内语义特征和上下文语义特征进行加权融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征；

S63，基于所述各分句在所述各目标语言表达方式下的融合语义特征，对所述各分句进行各目标语言表达方式的识别。

本发明实施例提供的方法同时兼容依赖上下文信息和仅依赖单句内信息的多种语言表达方式识别。通过一个模型一次能够识别多种语言表达方式，并且可以在原模型基础上快速增加新的语言表达方式识别能力，实现模型识别能力的快速扩展。

下面对本发明提供的语言表达方式识别装置进行描述，下文描述的语言表达方式识别装置与上文描述的语言表达方式识别方法可相互对应参照。

基于上述任一实施例，图9是本发明提供的语言表达方式识别装置的结构示意图，如图9所示，语言表达方式识别装置包括文本确定单元910和识别单元920，其中：

文本确定单元910，用于确定待识别文本；

识别单元920，用于提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

本发明实施例提供的语言表达方式识别装置，通过提取待识别文本中各分句的句子内语义特征和上下文语义特征，并基于各分句的句子内语义特征和上下文语义特征，对各分句进行语言表达方式识别，由此能够实现同时兼容依赖上下文信息和仅依赖单句内信息的多种语言表达方式的识别，从而可以节省资源，提高识别效率。

基于上述任一实施例，识别单元具体用于：

基于所述各分句的句子内语义特征和上下文语义特征分别对各目标语言表达方式识别的重要程度，对所述各分句的句子内语义特征和上下文语义特征进行融合，得到所述各分句的融合语义特征；

基于所述各分句的融合语义特征，对所述各分句分别进行各目标语言表达方式识别。

基于上述任一实施例，识别单元具体用于：

基于所述各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，确定所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重；

基于所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重，对所述各分句的句子内语义特征和上下文语义特征进行加权融合，得到所述各分句的融合语义特征。

基于上述任一实施例，识别单元具体用于：

基于所述各分句中各分词之间的相关性，对所述各分词进行上下文语义特征提取，得到所述各分词的上下文语义特征；

基于所述各分词的上下文语义特征，对所述各分句进行句子内语义特征提取，得到所述各分句的句子内语义特征；

基于所述各分词的上下文语义特征，对所述各分句进行上下文语义特征提取，得到所述各分句的上下文语义特征。

基于上述任一实施例，识别单元具体用于：

基于所述各分词的上下文语义特征，以及所述各分词对目标语言表达方式识别的重要程度，对所述各分句进行句子内语义特征提取，得到所述各分句的句子内语义特征。

基于上述任一实施例，识别单元具体用于：

基于共享编码模块，提取所述待识别文本中各分词的上下文语义特征；

基于各目标语言表达方式分别对应的识别模块，应用所述各分词的上下文语义特征，提取所述待识别文本中各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，并应用所述各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，对所述各分句进行各目标语言表达方式的识别；

所述共享编码模块、所述各目标语言表达方式分别对应的识别模块构成语言表达方式识别模型，所述语言表达方式识别模型是基于样本文本和标签训练得到的。

基于上述任一实施例，识别装置还包括模型获取单元，具体用于：

获取初始模型，所述初始模型包括初始共享编码模块和各目标语言表达方式分别对应的初始识别模块；

基于各目标语言表达方式对应的样本文本和标签，对所述初始模型进行参数迭代，得到所述共享编码模块和各目标语言表达方式分别对应的中间识别模块；

基于各目标语言表达方式对应的样本文本和标签，对各目标语言表达方式分别对应的中间识别模块进行参数迭代，得到所述各目标语言表达方式分别对应的识别模块。

图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行语言表达方式识别方法，该方法包括：确定待识别文本；提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的语言表达方式识别方法，该方法包括：确定待识别文本；提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的语言表达方式识别方法，该方法包括：确定待识别文本；提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种语言表达方式识别方法，其特征在于，包括：

确定待识别文本；

提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

2.根据权利要求1所述的语言表达方式识别方法，其特征在于，所述基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别，包括：

基于所述各分句的句子内语义特征和上下文语义特征分别对各目标语言表达方式识别的重要程度，对所述各分句的句子内语义特征和上下文语义特征进行融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征；

基于所述各分句在所述各目标语言表达方式下的融合语义特征，对所述各分句进行各目标语言表达方式的识别。

3.根据权利要求2所述的语言表达方式识别方法，其特征在于，所述基于所述各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，对所述各分句的句子内语义特征和上下文语义特征进行融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征，包括：

基于所述各分句的句子内语义特征和上下文语义特征分别对目标语言表达方式识别的重要程度，确定所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重；

基于所述各分句的句子内语义特征和上下文语义特征分别对应的融合权重，对所述各分句的句子内语义特征和上下文语义特征进行加权融合，得到所述各分句在所述各目标语言表达方式下的融合语义特征。

4.根据权利要求1所述的语言表达方式识别方法，其特征在于，所述提取所述待识别文本中的各分句的句子内语义特征和上下文语义特征，包括：

基于所述各分句中各分词之间的相关性，对所述各分词进行上下文语义特征提取，得到所述各分词的上下文语义特征；

基于所述各分词的上下文语义特征，对所述各分句进行句子内语义特征提取，得到所述各分句的句子内语义特征；

基于所述各分词的上下文语义特征，对所述各分句进行上下文语义特征提取，得到所述各分句的上下文语义特征。

5.根据权利要求4所述的语言表达方式识别方法，其特征在于，所述基于所述各分词的上下文语义特征，对所述各分句进行句子内语义特征提取，得到所述各分句的句子内语义特征，包括：

基于所述各分词的上下文语义特征，以及所述各分词对各目标语言表达方式识别的重要程度，对所述各分句进行句子内语义特征提取，得到所述各分句在所述各目标语言表达方式下的句子内语义特征。

6.根据权利要求1至5中任一项所述的语言表达方式识别方法，其特征在于，所述提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别，包括：

基于共享编码模块，提取所述待识别文本中各分词的上下文语义特征；

基于各目标语言表达方式分别对应的识别模块，应用所述各分词的上下文语义特征，提取所述待识别文本中各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，并应用所述各分句在所述各目标语言表达方式下的句子内语义特征和上下文语义特征，对所述各分句进行各目标语言表达方式的识别；

所述共享编码模块、所述各目标语言表达方式分别对应的识别模块构成语言表达方式识别模型，所述语言表达方式识别模型是基于样本文本和标签训练得到的。

7.根据权利要求6所述的语言表达方式识别方法，其特征在于，所述语言表达方式识别模型的获取步骤包括：

获取初始模型，所述初始模型包括初始共享编码模块和各目标语言表达方式分别对应的初始识别模块；

基于各目标语言表达方式对应的样本文本和标签，对所述初始模型进行参数迭代，得到所述共享编码模块和各目标语言表达方式分别对应的中间识别模块；

基于各目标语言表达方式对应的样本文本和标签，对各目标语言表达方式分别对应的中间识别模块进行参数迭代，得到所述各目标语言表达方式分别对应的识别模块。

8.一种语言表达方式识别装置，其特征在于，包括：

文本确定单元，用于确定待识别文本；

识别单元，用于提取所述待识别文本中各分句的句子内语义特征和上下文语义特征，并基于所述各分句的句子内语义特征和上下文语义特征，对所述各分句进行语言表达方式识别。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述语言表达方式识别方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述语言表达方式识别方法。

Images