CN113761943A - 司法对话的生成方法和模型训练方法、装置以及存储介质 - Google Patents

司法对话的生成方法和模型训练方法、装置以及存储介质 Download PDF

Info

Publication number
CN113761943A
CN113761943A CN202111115865.9A CN202111115865A CN113761943A CN 113761943 A CN113761943 A CN 113761943A CN 202111115865 A CN202111115865 A CN 202111115865A CN 113761943 A CN113761943 A CN 113761943A
Authority
CN
China
Prior art keywords
text
judicial
dialogue
class
dialog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111115865.9A
Other languages
English (en)
Inventor
姬长阵
张雅婷
孙常龙
司罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202111115865.9A priority Critical patent/CN113761943A/zh
Publication of CN113761943A publication Critical patent/CN113761943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种司法对话的生成方法和模型训练方法、装置以及存储介质。所述司法对话的生成方法，包括：获得当前司法对话文本的类案文本；在所述类案文本中获得类案处理信息；根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。本发明实施例提高了司法文本处理效率。

Description

司法对话的生成方法和模型训练方法、装置以及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种司法对话的生成方法和模型训练方法、装置以及存储介质。
背景技术
随着大数据和人工智能技术兴起，从根本上改变了文本处理方式，使得诸如知识问答的文本处理应用能够独立执行文本处理，或者高效地辅助人们进行文本记录、分析乃至文本创作。
例如，在司法在判案过程中，法官需要参考类案信息推理，以对当前的在审案件进行决策。类案信息的特点是数据量大，并且与在审案件的相关程度不同。法官不仅需要对类案信息的相关内容进行记忆，还要分析类案信息与当前案件的相关程度，导致了法官的工作量较大，处理效率比较低下。
发明内容
有鉴于此，本发明实施例提供一种司法对话的生成方法和模型训练方法、装置以及存储介质，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种司法对话的生成方法，包括：获得当前司法对话文本的类案文本；在所述类案文本中获得类案处理信息；根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。
根据本发明实施例的第二方面，提供了一种模型训练方法，应用于基于注意力机制的编码器解码器模型，所述编码器解码器模型包括编码器和解码器，所述方法包括：获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话；合并所述第一司法对话文本及其类案文本，得到合并文本；基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练。
根据本发明实施例的第三方面，提供了一种司法对话的生成装置，包括：文本获取模块，获得当前司法对话文本的类案文本；信息获取模块，在所述类案文本中获得类案处理信息；对话生成模块，根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。
根据本发明实施例的第四方面，提供了一种模型训练装置，应用于基于注意力机制的编码器解码器模型，所述编码器解码器模型包括编码器和解码器，所述装置包括：样本获取模块，获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话；文本合并模块，合并所述第一司法对话文本及其类案文本，得到合并文本；模型训练模块，基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练。
根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的方法对应的操作。
根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
在本发明实施例的方案中，由于类案处理信息反映了类案文本中的司法语义上下文，因此根据当前司法对话文本与类案处理信息生成的下一轮的司法对话，能够与当前司法对话具有司法语义上下文，提高了司法文本处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据本发明的一个实施例的司法对话的生成方法的步骤流程图；
图2为一个示例的基于注意力机制的编码器解码器模型的示意图；
图3为根据本发明的另一实施例的模型训练方法的步骤流程图；
图4A为根据本发明的编码器解码器模型的编码器的示意图；
图4B为根据本发明的编码器解码器模型的指针生成网络的示意图；
图5为根据本发明的另一实施例的模型训练装置的示意性框图；
图6为根据本发明的另一实施例的司法对话的生成装置的示意性框图；以及
图7为根据本发明的另一实施例的电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
图1为根据本发明的一个实施例的司法对话的生成方法的步骤流程图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。图1的司法对话的生成方法，包括：
S110：获得当前司法对话文本的类案文本。
应理解，当前司法对话文本可以为任何司法推理场景中的文本，当前司法对话文本可以为篇章、段落、句子等。类案文本可以与训练阶段的类案文本相同或不同，当推理阶段的类案文本与训练阶段的类案文本相同时，文本预测效果通常会更好。此外，可以在推理阶段采集数据，更新训练样本。
S120：在类案文本中获得类案处理信息。
应理解，可以采用预先训练的编码器解码器模型获取类案处理信息。在模型的推理阶段，当推理阶段的类案文本与训练阶段的类案文本相同时，文本预测效果通常会更好。此外，可以在推理阶段采集数据，更新训练样本。
S130：根据当前司法对话文本与类案处理信息，为当前司法对话文本生成下一轮的司法对话。
在司法审理场景中，法官提出了作为问题或答复的预测文本，当事人可以根据该预测文本，提供答复或问题的文本，因此可以将该预测文本作为第一司法对话文本(例如，对应于当前司法对话文本)、当事人基于该预测文本进一步提高的文本作为第二司法对话文本(例如，对应于下一轮司法对话文本)，更新训练样本。
在本发明实施例的方案中，将第一司法对话文本和类案文本作为编码器的输入，将第二司法对话文本作为解码器的输出，对编码器解码器模型进行训练，通过自注意力机制的上下文表示学习到了类案文本对第一司法对话文本的影响，因此，提高了模型基于类案文本进行预测的能力。
在实现司法审理场景的配置中，本发明实施例的智能法官设备与云服务器连接，云服务器可以配置有模型训练模块和语音识别(Natural Language Processing，NLP)模块，获取相应的模型训练服务和语音识别服务。模型训练模块和语音识别模块可以部署在同一云服务器中，也可以部署在不同云服务器中。
在本发明实施例的方案中，由于类案处理信息反映了类案文本中的司法语义上下文，因此根据当前司法对话文本与类案处理信息生成的下一轮的司法对话，能够与当前司法对话具有司法语义上下文，提高了司法文本处理效率。
在另一些示例中，该方法还包括：获得司法文本，司法文本包括庭审笔录及其判决结果；将司法文本编码为词向量形式并获得司法文本的文本表示。相应的，获得当前司法对话文本的类案文本包括：在多个司法文本的文本表示中，获得文本相似度超过预设阈值的司法文本，作为当前司法对话文本的类案文本。
一般而言，可以获取多个文本构成的关联文本序列，并且根据关联文本序列中的文本位置关系，将多个文本中的相邻文本确定为第一司法对话文本(对应于当前司法对话文本)和第二司法对话文本(对应于下一轮的司法对话文本)，并且将关联文本序列中的其他文本确定为第一司法对话文本和第二司法对话文本的类案文本。或者，可以获取第一司法对话文本集和第二司法对话文本集，第一司法对话文本集本包括第一司法对话文本和第二司法对话文本，并且根据第一司法对话文本集与第二司法对话文本集的文本相似度，从第二司法对话文本集中确定与第一司法对话文本和第二司法对话文本相似的类案文本。
上述的相似度可以采用如下方法计算：将多个文本进行嵌入处理(Embedding),例如，采用Bert(BiDirectional Encoder Rpresentation From Transformers，基于Transformer模型的双向编码器表示)或Robert进行Position Embeddings(位置嵌入)、Segment Embeddings(分割嵌入)以及Token Embeddings(标记嵌入)处理，然后对嵌入后的文本进行相似度计算。
在另一些示例中，在类案文本中获得类案处理信息，包括：将当前司法对话文本中的最后一个句子，作为检索条件，在类案文本中获得与检索条件相匹配的类案句子；在相匹配的类案句子中，获得类案处理信息，类案处理信息包括字、词、短语、句子中的一项或多项。最后一个句子提高了生成下一轮对话的文本的可靠性和相关性，进一步提高了司法文本的处理效率。
在另一些示例中，该方法还包括：在相匹配的类案句子中，滤除掉与类案处理信息不相匹配的信息。
图2为一个示例的基于注意力机制的编码器解码器(Encoder-Decoder)模型的示意图。编码器解码器作为一种序列到序列(Sequence to Sequence)的机器学习模型，采用注意力机制实现了高效的文本处理。编码器解码器模型能够通过编码器和解码器学习到上下文信息，同时考虑了时间先后的因素。一般而言，对于预先训练的模型，根据编码器端输入的一个文本，由于编码器和解码器在编码和解码的过程中考虑了时间序列，因此能够相应地在解码器按照时间序列输出一个文本。图1的编码器解码器模型包括编码器(Encoder)210和解码器(Decoder)220。先用Encoder将原文本编码成一个中间层的隐藏状态，然后用Decoder来将该隐藏状态解码成为另一个文本。编码器解码器模型在Encoder端可以是一个双向的LSTM或其他神经网络。以双向LSTM为例，其可以捕捉到原文本的长距离依赖关系以及位置信息，Encoder编码时词嵌入(Word Embedding)经过双向LSTM后得到编码状态hi，在Decoder可以为单向LSTM，在时间步tt得到解码状态st。
在训练阶段时，参考训练样本中的输入文本和输出文本相应作为Encoder的输入和Decoder的输出。在测试阶段时，参考作为输入文本的当前文本(例如，当前司法对话文本)输入到Encoder，使用hi和st得到该时间步预测文本第i个词注意力权重ai t，ai t与hi加权求和得到重要的上下文向量ht *。h*tht*可以看成是该时间步通读了原文的固定尺寸的表征。然后将st和ht *经过两层线性层得到词表概率分布，根据时间步tt的词表概率分布Decoder输出了时间步tt输出文本。
图3为根据本发明的一个实施例的训练方法的步骤流程图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。
图3的训练方法应用于基于注意力机制的编码器解码器模型，编码器解码器模型包括编码器和解码器。该编码器解码器模型例如可以实现图1的实施例的方法，例如，步骤S130。具体而言，该方法包括：
S310：获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话。
图3的编码器解码器模型可以为图2中的模型架构，其中，可以采用与图2不同的编码器或解码器。
应理解，第一司法对话文本、第二司法对话文本以及类案文本中任一者可以为诸如词或字的字符、句子、段落或篇章。作为一个示例，第一司法对话文本、第二司法对话文本以及类案文本均为句子。
在训练阶段，可以从目标篇章或段落中的目标对话文本确定第一司法对话文本、第二司法对话文本以及类案文本。例如，可以将目标对话文本中的目标问句或目标答复确定为第一司法对话文本，相应地，将该目标问句或目标答复的答复或进一步问句作为第二司法对话文本。此外，可以将目标对话文本中除了第一司法对话文本和第二司法对话文本的部分作为类案文本。类案文本的范围可以与第一司法对话文本或第二司法对话文本的范围部分重合。此外，第一司法对话文本和第二司法对话文本可以从第一目标对话文本中提取，类案文本可以从第二目标对话文本中提取。
S320：合并所述第一司法对话文本及其类案文本，得到合并文本。
例如，可以预先对训练样本中的文本进行词嵌入处理(Word Embedding)，得到第一司法对话文本、第二司法对话文本和类案文本的词向量。换言之，可以将第一司法对话文本的词向量和类案文本的词向量输入到编码器中，编码器可以学习第一司法对话文本与类案文本之间的上下文关系，考虑该上下文关系，将第一司法对话文本与第二司法对话文本进行关联。相应地，在生成司法对话时，根据当前司法对话文本与类案处理信息，为当前司法对话文本生成下一轮的司法对话，可以包括：将当前司法对话文本与类案处理信息进行合并，得到合并文本；将合并文本，输入到预先训练的指针生成网络，生成下一轮的司法对话。合并文本提高了文本处理效率。
S330：基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练。
在本发明实施例的方案中，将第一司法对话文本和类案文本作为编码器的输入，将第二司法对话文本作为解码器的输出，对编码器解码器模型进行训练，通过自注意力机制的上下文表示学习到了类案文本对第一司法对话文本的影响，因此，提高了模型基于类案文本进行预测的能力。
作为一个示例，在司法判案的场景中，基于上述类案文本可以模拟参考类案信息推理的过程。具体而言，法官在审判案件(第一目标对话文本的示例)的时候，可能会对当前案件判决方案存在不确定的情况，法官可以查阅相似的案件，并将相似案件(第二目标对话文本的示例)的评判方案来辅助当前案件。与此类似，第一司法对话文本可以作为当前在审案件的文本，类案文本可以作为查阅相似的案件，输出的第二司法对话文本可以作为案件的审判过程。更具体地，法官在进行审理时，可以对当事人进行询问，审理过程可以抽象为对话的形式，例如，法官与当事人之间可以进行法官询问、当事人回答的流程、或者当事人询问、法官回答的流程、或者当事人未回答、法官追问、当事人回答的流程等。对应于本发明的训练方法及文本预测方法，第一司法对话文本可以作为当事人的上一句回复或提问，机器学习模型模拟法官查阅作为类案的类案文本，输出第二司法对话文本，作为对当事人的提问或回复。
换言之，机器学习模型实现了智能司法庭审系统，能够生成法官要说的话，法官的话可以参考上下文和类案一同生成。机器学习模型模拟法官，先找到相似案件，然后阅读该案件，把重点内容记忆下来，做出处理当前案件的决定。机器学习模型能够在智能司法庭审的同时利用实际审理结果，更新训练样本，并且利用训练样本继续训练。
智能法官设备可以存储有机器学习模型，并且还配置有语音采集接口、语音输出接口、网络接口等。语音采集接口用于获取司法审理场景中的语音信息(包括当事人语音和/或智能法官设备自身的语音)。语音输出接口是智能法官设备在司法审理场景中输出预测文本的接口。智能法官设备可以通过网络接口与云服务器连接。语音识别模块可以通过语音采集接口采集当事人的语音，通过语音识别模块获得当事人的文本。可以将获取的文本作为更新的训练样本传输到模型训练模块继续训练，并且从模型训练模块获取更新的机器学习模型。
图4A为根据本发明的编码器解码器模型的编码器的示意图。图4A示出了N个编码器单元，N为大于2的任意整数。在本示例中，仅以N为9的情况进行说明。
在编码器单元410、420、…、490构成了上述各实施例中的编码器。编码器单元410的Query、Key和Value分别接收输入401(第一司法对话文本的示例)、411和411(类案文本的示例)，并且将输出连接到编码器单元(相邻的下一编码器单元)420的Query，编码器单元420接收输入421(第二司法对话文本的示例)到Key和Value。在本示例中，每个编码器单元的配置相同，只是编码器单元410与编码器单元420-490的第一输入不完全相同。
作为一个示例，下面以编码器单元410为例描述各个编码器单元的配置和操作过程。编码器单元410的Query、Key和Value分别接收输入401、输入411和输入411(输入401和输入411均为经过词嵌入处理的句子向量)，对输入401、输入411和输入411进行基于自注意力机制的计算。例如，输入411、输入421、…、输入491为具有上下文语义关系的文本，例如，可以为对话序列文本。具体而言，可以将Query对应的输入401和Key对应的输入411进行点乘注意力计算，得到第一向量计算结果；将第一向量计算结果和Value对应的输入411进行相加归一化计算，得到第二向量计算结果；将第二向量计算结果输入到前馈神经网络，并且将编码器单元410的输出到馈入到编码器单元420的Query。换言之，第一输入为第一司法对话文本向量，第二输入为第二司法对话文本向量，每个编码器单元用于：将Query对应的第一司法对话文本向量和Key对应的第二司法对话文本向量进行点乘注意力计算，得到第一向量计算结果；将第一向量计算结果和Value对应的第二司法对话文本向量进行相加归一化计算，得到第二向量计算结果；将第二向量计算结果输入到前馈神经网络，得到该编码器单元的输出，从而利用自注意力机制可靠地学习到第一司法对话文本向量与第二司法对话文本向量之间的上下文语义表示。还应理解，一般而言，N个编码器单元可以与N个文本对应，每个编码器单元包括第一输入和第二输入，第一个编码器单元的输入作为编码器的输入，当n≥2时，第n个编码器单元的输出连接到与第n+1个编码器单元的第一输入，第N个编码器单元的输出作为编码器的输出，其中，n为正整数。可以将N个文本分别作为N个编码器单元的第二输入，将第一司法对话文本作为第一个编码器的第一输入。
作为另一示例，每个编码器单元用于：将Query对应的第一司法对话文本向量、Key对应的第二司法对话文本向量以及Value对应的第二司法对话文本向量进行点乘注意力计算，得到第一向量计算结果；将第一向量计算结果进行归一化计算，得到第二向量计算结果；将第二向量计算结果输入到前馈神经网络，得到该编码器单元的输出，从而利用自注意力机制可靠地学习到第一司法对话文本向量与第二司法对话文本向量之间的上下文语义表示。
作为另一示例中，从编码器单元490的前馈神经网络输出的结果可以继续输入到一注意力机制模块进行线性加权处理，并且将注意力机制模块输出的结果作为编码器的输出。
在模型训练阶段，输入401(第一司法对话文本的示例)、输入411、421、…、491(类案文本的示例)、以及解码器的输出(第二司法对话文本的示例)可以从相同或不同文本中提取。例如，输入401和解码器的输出可以为第一对话文本中相邻的文本(问-答，或者答-问等)，输入411、421、…、491可以为第二对话文本中的相邻文本。第一对话文本和第二对话文本可以相同，也可以不同。作为一个示例，计算第一对话文本与其他对话文本的相似度，将相似度高于预设阈值的对话文本确定为第二对话文本。一般而言，可以获取多个文本构成的关联文本序列，并且根据关联文本序列中的文本位置关系，将多个文本中的相邻文本确定为第一司法对话文本和第二司法对话文本，并且将关联文本序列中的其他文本确定为第一司法对话文本和第二司法对话文本的类案文本。或者，可以获取第一司法对话文本集和第二司法对话文本集，第一司法对话文本集本包括第一司法对话文本和第二司法对话文本，并且根据第一司法对话文本集与第二司法对话文本集的文本相似度，从第二司法对话文本集中确定与第一司法对话文本和第二司法对话文本相似的类案文本。
在模型推理阶段，输入401可以为当前文本，输入411、421、…、491可以为类案文本。可以计算当前文本与其他对话文本之间的相似度，将相似度高于预设阈值的对话文本作为类案文本。
图4B为根据本发明的编码器解码器模型的指针生成网络的示意图。图4B的编码器解码器模型为指针生成网络，包括编码器4100和解码器4200。指针生成网络的概率值P指示类案文本在目标词表中的概率。换言之，(1—P)表示将来自输入文本中但不在词表中的至少一个词向量(或者字符向量)在输出文本中输出的概率。
在训练阶段，可以根据图4A中的输入401(第一司法对话文本的示例)、输入411、421、…、491(类案文本的示例)、解码器的输出(第二司法对话文本的示例)以及目标词表进行训练，得到具有P的指针生成网络。一般而言，可以将第一司法对话文本和类案文本作为编码器的输入，将第二司法对话文本作为解码器的输出，以确定概率值。
在推理阶段，可以将输入401以及输入411、421、…、491按照图4A所示输入到具有P的指针生成网络中，得到预测文本以及扩展词表。一般而言，类案文本根据目标词表确定，编码器解码器模型为指针生成网络，指针生成网络的概率值指示类案文本在目标词表中的概率。可以将当前司法对话文本及其类案文本输入到编码器中，判断从编码器输出的备选预测文本是否在目标词表中；根据目标词表以及概率值，确定备选预测文本在目标词表的扩展词表中的概率；如果备选预测文本在目标词表的扩展词表中的概率最高，则将备选预测文本确定为预测文本。相应地，在生成司法对话时，指针生成网络的概率值指示合并文本在目标词表中的概率，将合并文本，输入到预先训练的指针生成网络，生成下一轮的司法对话，包括：将合并文本输入到编码器中，判断从编码器输出的备选预测文本是否在目标词表中；根据目标词表以及概率值，确定备选预测文本在目标词表的扩展词表中的概率；如果备选预测文本在目标词表的扩展词表中的概率最高，则将备选预测文本确定为下一轮的司法对话。
图5为根据本发明的另一实施例的训练装置的示意性框图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。图5的模型训练装置应用于基于注意力机制的编码器解码器模型，编码器解码器模型包括编码器和解码器，该装置包括：
样本获取模块510，获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话；
文本合并模块520，合并所述第一司法对话文本及其类案文本，得到合并文本；
模型训练模块530，基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练。
在本发明实施例的方案中，将第一司法对话文本和类案文本作为编码器的输入，将第二司法对话文本作为解码器的输出，对编码器解码器模型进行训练，通过自注意力机制的上下文表示学习到了类案文本对第一司法对话文本的影响，因此，提高了模型基于类案文本进行预测的能力。
在另一些示例中，获取模块具体用于：获取多个文本构成的关联文本序列；根据关联文本序列中的文本位置关系，将多个文本中的相邻文本确定为第一司法对话文本和第二司法对话文本，并且将关联文本序列中的其他文本确定为第一司法对话文本和第二司法对话文本的类案文本。
在另一些示例中，获取模块具体用于：获取第一司法对话文本集和第二司法对话文本集，第一司法对话文本集本包括第一司法对话文本和第二司法对话文本；根据第一司法对话文本集与第二司法对话文本集的文本相似度，从第二司法对话文本集中确定与第一司法对话文本和第二司法对话文本相似的类案文本。
在另一些示例中，编码器包括N个编码器单元，类案文本包括N个文本，每个编码器单元包括第一输入和第二输入，第一个编码器单元的输入作为编码器的输入，当n≥2时，第n个编码器单元的输出连接到与第n+1个编码器单元的第一输入，第N个编码器单元的输出作为编码器的输出，其中，n为正整数，将第一司法对话文本和类案文本作为编码器的输入，包括：将N个文本分别作为N个编码器单元的第二输入，将第一司法对话文本作为第一个编码器的第一输入。
在另一些示例中，每个编码器单元用于根据基于自注意力机制的Query、Key和Value进行计算，其中，Query对应于第一输入，Key和Value均对应于第二输入。
在另一些示例中，第一输入为第一司法对话文本向量，第二输入为第二司法对话文本向量，每个编码器单元用于：将Query对应的第一司法对话文本向量和Key对应的第二司法对话文本向量进行点乘注意力计算，得到第一向量计算结果；将第一向量计算结果和Value对应的第二司法对话文本向量进行相加归一化计算，得到第二向量计算结果；将第二向量计算结果输入到前馈神经网络，得到该编码器单元的输出。
在另一些示例中，编码器解码器模型为指针生成网络，指针生成网络的概率值指示类案文本在目标词表中的概率，训练模块具体用于：将第一司法对话文本和类案文本作为编码器的输入，将第二司法对话文本作为解码器的输出，以确定概率值。
本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
图6为根据本发明的另一实施例的文本预测装置的示意性框图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。
图6的司法对话的生成装置包括：
文本获取模块610，获得当前司法对话文本的类案文本；
信息获取模块620，在所述类案文本中获得类案处理信息；
对话生成模块630，根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。
司法对话的生成装置可以应用于基于注意力机制的编码器解码器模型，编码器解码器模型包括编码器和解码器。
在本发明实施例的方案中，由于类案处理信息反映了类案文本中的司法语义上下文，因此根据当前司法对话文本与类案处理信息生成的下一轮的司法对话，能够与当前司法对话具有司法语义上下文，提高了司法文本处理效率。
在另一些示例中，文本获取模块具体用于：获得司法文本，所述司法文本包括庭审笔录及其判决结果；将所述司法文本编码为词向量形式并获得所述司法文本的文本表示；在多个所述司法文本的文本表示中，获得文本相似度超过预设阈值的司法文本，作为所述当前司法对话文本的类案文本。
在另一些示例中，信息获取模块具体用于：将所述当前司法对话文本中的最后一个句子，作为检索条件，在所述类案文本中获得与所述检索条件相匹配的类案句子；在所述相匹配的类案句子中，获得类案处理信息，所述类案处理信息包括字、词、短语、句子中的一项或多项。
在另一些示例中，该装置还包括：信息滤除模块，在所述相匹配的类案句子中，滤除掉与所述类案处理信息不相匹配的信息。
在另一些示例中，对话生成模块具体用于：将所述当前司法对话文本与所述类案处理信息进行合并，得到合并文本；将所述合并文本，输入到预先训练的指针生成网络，生成下一轮的司法对话。
在另一些示例中，所述指针生成网络的概率值指示所述合并文本在目标词表中的概率。对话生成模块具体用于：将所述合并文本输入到所述编码器中，判断从所述编码器输出的备选预测文本是否在所述目标词表中；根据所述目标词表以及所述概率值，确定所述备选预测文本在所述目标词表的扩展词表中的概率；如果所述备选预测文本在所述目标词表的扩展词表中的概率最高，则将所述备选预测文本确定为所述下一轮的司法对话。
换言之，类案文本根据目标词表确定，编码器解码器模型为指针生成网络，指针生成网络的概率值指示类案文本在目标词表中的概率，预测模块具体用于：将当前文本及其类案文本输入到编码器中，判断从编码器输出的备选预测文本是否在目标词表中；根据目标词表以及概率值，确定备选预测文本在目标词表的扩展词表中的概率；如果备选预测文本在目标词表的扩展词表中的概率最高，则将备选预测文本确定为预测文本。
本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
参照图7，示出了根据本发明的另一实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704，用于与其它电子设备或服务器进行通信。
处理器702，用于执行程序710，具体可以执行上述方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作：获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话；合并所述第一司法对话文本及其类案文本，得到合并文本；基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练；
或者，获得当前司法对话文本的类案文本；在所述类案文本中获得类案处理信息；根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。
此外，程序710中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (11)

1.一种司法对话的生成方法，包括：
获得当前司法对话文本的类案文本；
在所述类案文本中获得类案处理信息；
根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。
2.根据权利要求1所述的方法，其中，所述方法还包括：
获得司法文本，所述司法文本包括庭审笔录及其判决结果；
将所述司法文本编码为词向量形式并获得所述司法文本的文本表示；
相应的，所述获得当前司法对话文本的类案文本包括：
在多个所述司法文本的文本表示中，获得文本相似度超过预设阈值的司法文本，作为所述当前司法对话文本的类案文本。
3.根据权利要求2所述的方法，其中，所述在所述类案文本中获得类案处理信息，包括：
将所述当前司法对话文本中的最后一个句子，作为检索条件，在所述类案文本中获得与所述检索条件相匹配的类案句子；
在所述相匹配的类案句子中，获得类案处理信息，所述类案处理信息包括字、词、短语、句子中的一项或多项。
4.根据权利要求3所述的方法，其中，所述方法还包括：
在所述相匹配的类案句子中，滤除掉与所述类案处理信息不相匹配的信息。
5.根据权利要求1-4中任一项所述的方法，其中，所述根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话，包括：
将所述当前司法对话文本与所述类案处理信息进行合并，得到合并文本；
将所述合并文本，输入到预先训练的指针生成网络，生成下一轮的司法对话。
6.根据权利要求5所述的方法，其中，所述指针生成网络的概率值指示所述合并文本在目标词表中的概率，
所述将所述合并文本，输入到预先训练的指针生成网络，生成下一轮的司法对话，包括：
将所述合并文本输入到所述编码器中，判断从所述编码器输出的备选预测文本是否在所述目标词表中；
根据所述目标词表以及所述概率值，确定所述备选预测文本在所述目标词表的扩展词表中的概率；
如果所述备选预测文本在所述目标词表的扩展词表中的概率最高，则将所述备选预测文本确定为所述下一轮的司法对话。
7.一种模型训练方法，应用于基于注意力机制的编码器解码器模型，所述编码器解码器模型包括编码器和解码器，所述方法包括：
获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话；
合并所述第一司法对话文本及其类案文本，得到合并文本；
基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练。
8.一种司法对话的生成装置，包括：
文本获取模块，获得当前司法对话文本的类案文本；
信息获取模块，在所述类案文本中获得类案处理信息；
对话生成模块，根据所述当前司法对话文本与所述类案处理信息，为所述当前司法对话文本生成下一轮的司法对话。
9.一种模型训练装置，应用于基于注意力机制的编码器解码器模型，所述编码器解码器模型包括编码器和解码器，所述装置包括：
样本获取模块，获取训练样本，所述训练样本包括第一司法对话文本及其类案文本、以及第二司法对话文本，所述第二司法对话文本为所述第一司法对话文本的下一轮对话；
文本合并模块，合并所述第一司法对话文本及其类案文本，得到合并文本；
模型训练模块，基于所述合并文本作为所述编码器的输入，将所述第二司法对话文本作为所述解码器的输出，对所述编码器解码器模型进行训练。
10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的方法对应的操作。
11.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202111115865.9A 2021-09-23 2021-09-23 司法对话的生成方法和模型训练方法、装置以及存储介质 Pending CN113761943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111115865.9A CN113761943A (zh) 2021-09-23 2021-09-23 司法对话的生成方法和模型训练方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115865.9A CN113761943A (zh) 2021-09-23 2021-09-23 司法对话的生成方法和模型训练方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN113761943A true CN113761943A (zh) 2021-12-07

Family

ID=78797049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115865.9A Pending CN113761943A (zh) 2021-09-23 2021-09-23 司法对话的生成方法和模型训练方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN113761943A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356860A (zh) * 2022-01-06 2022-04-15 支付宝(杭州)信息技术有限公司 对话生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297341A1 (en) * 2013-03-28 2014-10-02 Sampara Sundara Srikanth System and method for forensic analysis and investigation of digital data in digital media device
CN110442684A (zh) * 2019-08-14 2019-11-12 山东大学 一种基于文本内容的类案推荐方法
CN111260114A (zh) * 2020-01-08 2020-06-09 昆明理工大学 融入案件辅助句的低频和易混淆罪名预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297341A1 (en) * 2013-03-28 2014-10-02 Sampara Sundara Srikanth System and method for forensic analysis and investigation of digital data in digital media device
CN110442684A (zh) * 2019-08-14 2019-11-12 山东大学 一种基于文本内容的类案推荐方法
CN111260114A (zh) * 2020-01-08 2020-06-09 昆明理工大学 融入案件辅助句的低频和易混淆罪名预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356860A (zh) * 2022-01-06 2022-04-15 支付宝(杭州)信息技术有限公司 对话生成方法及装置

Similar Documents

Publication Publication Date Title
CN109977201B (zh) 带情感的机器聊天方法、装置、计算机设备及存储介质
CN111312245B (zh) 一种语音应答方法、装置和存储介质
CN110990543A (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN111538809B (zh) 一种语音服务质量检测方法、模型训练方法及装置
CN111223476B (zh) 语音特征向量的提取方法、装置、计算机设备和存储介质
CN111930914A (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
CN110704597A (zh) 对话系统可靠性校验方法、模型生成方法及装置
CN114400005A (zh) 语音消息生成方法和装置、计算机设备、存储介质
CN113948090B (zh) 语音检测方法、会话记录产品及计算机存储介质
CN113178200B (zh) 语音转换方法、装置、服务器及存储介质
CN113761943A (zh) 司法对话的生成方法和模型训练方法、装置以及存储介质
WO2023226239A1 (zh) 对象情绪的分析方法、装置和电子设备
CN116595023A (zh) 地址信息的更新方法和装置、电子设备及存储介质
CN111324712A (zh) 对话回复方法及服务端
CN116959417A (zh) 对话回合的检测方法、装置、设备、介质、程序产品
CN112818688B (zh) 文本处理方法、装置、设备及存储介质
CN112035648B (zh) 一种用户数据的处理方法、装置及电子设备
CN112052320B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN111310847B (zh) 训练要素分类模型的方法和装置
CN114373443A (zh) 语音合成方法和装置、计算设备、存储介质及程序产品
CN113761157B (zh) 应答语句生成方法和装置
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
CN117152467B (zh) 图像识别方法、装置、介质及电子设备
CN117636848A (zh) 一种端到端联结主义时间分类语音识别优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination