CN109992782A - 法律文书命名实体识别方法、装置及计算机设备 - Google Patents

法律文书命名实体识别方法、装置及计算机设备 Download PDF

Info

Publication number
CN109992782A
CN109992782A CN201910263217.4A CN201910263217A CN109992782A CN 109992782 A CN109992782 A CN 109992782A CN 201910263217 A CN201910263217 A CN 201910263217A CN 109992782 A CN109992782 A CN 109992782A
Authority
CN
China
Prior art keywords
legal documents
neural network
data
model
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910263217.4A
Other languages
English (en)
Other versions
CN109992782B (zh
Inventor
赵小康
吕仲琪
温凯雯
顾正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huayun Zhongsheng Science And Technology Co Ltd
Original Assignee
Shenzhen Huayun Zhongsheng Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huayun Zhongsheng Science And Technology Co Ltd filed Critical Shenzhen Huayun Zhongsheng Science And Technology Co Ltd
Priority to CN201910263217.4A priority Critical patent/CN109992782B/zh
Publication of CN109992782A publication Critical patent/CN109992782A/zh
Application granted granted Critical
Publication of CN109992782B publication Critical patent/CN109992782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及法律文书命名实体识别方法、装置及计算机设备，该方法包括获取待识别的法律文书；将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果；其中，深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的；语言模型是通过若干语料训练谷歌Bert模型所得的。本发明通过采用深度神经网络模型进行实体识别，采用训练谷歌Bert模型所得的语言模型对待识别法律文书的中文字符序列提取字符向量，并将字符向量输入到双向循环神经网络，将双向循环神经网络的输出编码输入到线性链条件随机场并得到识别结果，以实现命名实体识别的网络结构简单，训练成本低以及预测能力强。

Description

法律文书命名实体识别方法、装置及计算机设备
技术领域
本发明涉及命名实体识别方法，更具体地说是指法律文书命名实体识别方法、装置及计算机设备。
背景技术
命名实体识别是自然语言处理的基础任务之一，其目的是识别非结构化文本中的命名实体，并对这些实体进行分类，比如人名、地名、组织机构名、有特殊含义的时间和数字类型、以及用户自定义的实体指称和类别等。准确的命名实体识别可以有效提高NLP(自然语言处理，NATURAL LANGUAGE PROCESSING)的下游任务，广泛应用于信息提取、问答系统、句法分析、信息检索和情感分析等。法律文书文本命名实体识别是识别法律文书中与司法相关的实体信息，包括被告人姓名、罪名、判罚刑期、强制措施等。
整体上，近年来命名实体识别的方法分为四个阶段，早期方法主要基于规则和词典构建NER系统，例如根据词语出现的规则和概率并结合专家制作的知识词典识别命名实体；到2000年初，结合机器学习和概率图模型的方法得到广泛的应用相关的方法有支持向量机、最大熵模型、隐马尔可夫模型、条件随机场等。此后，随着深度学习在NLP(自然语言处理，NATURAL LANGUAGE PROCESSING)上研究的兴起，基于深度神经网络/卷积神经网络/循环神经网络+条件随机场一度成为了研究的热点，直到现在很多高效的方法都是在该基础上修改提高。
在司法应用领域，许多传统的识别技术已经被用于解决文书信息的提取问题。然而，基于规则和词典的方法往往需要构建大型词典或者根据任务的不同人工构建特定的匹配规则，这种方法耗时耗力，维护成本过高，不够智能。基于机器学习的方法也需要构建大量的特征模板或者堆叠复杂的分类模型来实现。导致识别系统不仅费时费力，对于建模人员的专业背景知识也有很高的要求，而且灵活性差。基于深度神经网络和CRF的方法作为一种简洁灵活的端到端学习方法，能够很好的将字符表示向量作为输入并结合上下文信息学习模型参数，使用句子级别的对数似然，有效结合了CRF在序列标注中的优势，将标签转移得分加入到了目标函数中，但上述方法的输入数据，也就是字词的表示向量使用随机或者预训练word2vec方法存在表示意义弱，在训练模型上依赖于大规模的标注数据、随着网络结构的扩增越难以训练等缺点。
因此，有必要设计一种新的方法，以解决现有命名实体识别方案网络结构复杂、训练成本高、预测能力弱的问题。
发明内容
本发明的目的在于克服现有技术的缺陷，提供法律文书命名实体识别方法、装置及计算机设备。
为实现上述目的，本发明采用以下技术方案：法律文书命名实体识别方法，包括：
获取待识别的法律文书；
将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果；
其中，所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的；
所述语言模型是通过若干语料训练谷歌Bert模型所得的。
其进一步技术方案为：所述语言模型是通过若干语料训练谷歌Bert模型所得的，包括：
获取谷歌Bert模型；
获取若干语料；
根据若干语料采用半监督的并行双向方式训练所述谷歌Bert模型，以得到语言模型。
其进一步技术方案为：所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的，包括：
获取双向循环神经网络以及条件随机场；
构建损失函数；
获取若干法律文书数据；
对法律文书数据进行预处理，以得到预处理后的法律文书数据；
对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据；
将带有标签的法律文书数据输入至语言模型，以得到样本字符向量；
将样本字符向量输入至双向循环神经网络内，以得到样本编码；
将样本编码输入条件随机场内，以得到样本标签以及类别；
将样本标签以及带有标签的法律文书数据输入损失函数中，以得到损失值；
判断所述损失值是否小于设定阈值；
若否，则根据损失值调整双向循环神经网络以及条件随机场的参数，并返回所述将样本字符向量输入至双向循环神经网络内，以得到样本编码；
若是，将语言模型、双向循环神经网络以及条件随机场进行整合，以得到深度神经网络模型。
其进一步技术方案为：所述对法律文书数据进行预处理，包括：
对法律文书数据进行清洗，以得到第一数据；
对第一数据进行编码转换，以得到第二数据；
对第二数据进行标注，以得到预处理后的法律文书数据。
其进一步技术方案为：所述对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据，包括：
对预处理后的法律文书数据按字分词，以得到第三数据；
对第三数据的标注信息转化成每个字对应的标签，以得到带有标签的法律文书数据。
其进一步技术方案为：所述将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果之后，包括：
将识别结果输出至终端，以使得识别终端在终端显示。
本发明还提供了法律文书命名实体识别装置，包括：
文书获取单元，用于获取待识别的法律文书；
识别单元，用于将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果。
其进一步技术方案为：所述装置包括：
第一训练单元，用于通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场，以得到深度神经网络模型。
其进一步技术方案为：所述装置还包括：
第二训练单元，用于通过若干语料训练谷歌Bert模型，以得到语言模型。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过采用深度神经网络模型进行实体识别，具体是采用训练谷歌Bert模型所得的语言模型对待识别法律文书的中文字符序列提取字符向量，并将字符向量输入到双向循环神经网络，将双向循环神经网络的输出编码输入到线性链条件随机场并得到识别结果，以实现命名实体识别的网络结构简单，训练成本低以及预测能力强。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的法律文书命名实体识别方法的应用场景示意图；
图2为本发明实施例提供的法律文书命名实体识别方法的流程示意图；
图3为本发明实施例提供的法律文书命名实体识别方法的子流程示意图；
图4为本发明实施例提供的法律文书命名实体识别方法的子流程示意图；
图5为本发明实施例提供的法律文书命名实体识别方法的子流程示意图；
图6为本发明实施例提供的法律文书命名实体识别方法的子流程示意图；
图7为本发明实施例提供的深度神经网络模型的结构示意图；
图8为本发明实施例提供的语言模型的结构示意图；
图9为本发明另一实施例提供的法律文书命名实体识别方法的流程示意图；
图10为本发明实施例提供的法律文书命名实体识别装置的示意性框图；
图11为本发明另一实施例提供的法律文书命名实体识别装置的示意性框图；
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的法律文书命名实体识别方法的应用场景示意图。图2为本发明实施例提供的法律文书命名实体识别方法的示意性流程图。该法律文书命名实体识别方法应用于服务器中。该服务器与终端进行数据交互，从终端获取到待识别的法律文书后，由服务器进行命名实体识别，以得到识别结果，并将结果输出至终端进行显示。
图2是本发明实施例提供的法律文书命名实体识别方法的流程示意图。如图2所示，该方法包括以下步骤S110至S120。
S110、获取待识别的法律文书。
在本实施例中，待识别的法律文书是指由终端拍摄所得的法律文书，其可是为图像也可以为电子文件等。
S120、将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果。
在本实施例中，识别结果是指待识别的法律文书的标签序列。
其中，深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的，如图7所示。
另外，上述的语言模型是通过若干语料训练谷歌Bert模型所得的。
在一实施例中，请参阅图3，上述的语言模型是通过若干语料训练谷歌Bert模型所得的步骤可包括步骤S121～S123。
S121、获取谷歌Bert模型。
在本实施例中，其中谷歌Bert模型是一种基于Transformer神经网络架构的双向模型，Transformer采用了Attention深度学习机制并摒弃了RNN(Recurrent NeuralNetwork，循环神经网络)无法并行处理的缺点，此外，Attention深度学习机制能够提取整个序列上影响最终预测结果的特征。这些优点使得网络的训练与推理速度更快且效果更好。
S122、获取若干语料；
S123、根据若干语料采用半监督的并行双向方式训练所述谷歌Bert模型，以得到语言模型。
该语言模型使用了海量的互联网语料，采用了半监督的并行双向的训练方法进行了预先训练，最终得到预训练的语言模型，使用这个模型可以对下游特定的任务进行微调或语言表示。
训练所得的语言模型可以对中文字符序列提取语义特征，将语义特征用高维向量表示。该语言模型使用了更多的训练语料和更强的网络结构，相比于以往的随机向量或者Word2vec的向量表示方法，该方法对语义的表示能力更强，能够提高下游NLP(自然语言处理，NATURAL LANGUAGE PROCESSING)任务的收敛速度，提高识别效率。
具体地，请参阅图8，实际应用中，一份法律文书对应的自定义命名实体往往有几十种，且随着时间的推移和下游NLP任务的变化，模型重训练与更新比较频繁。为了降低模型再训练成本，针对每个法律文书数据的标签训练一个神经网络模型，n个实体的识别任务会生成n个深度神经网络模型。这种训练模型的方法将每一个实体的识别问题变成一个二分类问题，即预测的标签只有实体标签与非实体标签这两个标签，这样可以有效提高模型的分类能力。如图7所示，由于顶层的语言模型只作为一个词向量表示生成层。在深度神经网络模型训练的时候只涉及到双向循环神经网络以及条件随机场的参数，所以训练时间耗时较短。训练独立模型的好处可以在系统后期随机组合实体识别的模型来完成不同的识别任务，此外，更新模型成本低，可灵活调配。也就是语言模型无需在训练，在有新的标签需要识别时，则只需要训练深度神经网络模型中的双向循环神经网络以及条件随机场即可，降低更新深度神经网络模型的成本。
在一实施例中，请参阅图4，上述的深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的步骤，可包括步骤S120a～S120l。
S120a、获取双向循环神经网络以及条件随机场。
在本实施例中，使用双向循环神经网络可以进一步有效地处理上下文语义序列关系。将双向循环神经网络得到的字编码输入线性链条件随机场进行序列级别的预测标注，以得到标签序列。
S120b、构建损失函数。
利用构建的损失函数以使双向循环神经网络以及条件随机场进行深度学习，实现高效识别法律文书。
S120c、获取若干法律文书数据。
在本实施例中，通过网络爬虫的方式从互联网上爬取公开的法律文书数据。法律文书是司法行政机关及当事人、律师等在解决诉讼和非讼案件时使用的文书。
S120d、对法律文书数据进行预处理，以得到预处理后的法律文书数据。
在一实施例中，请参阅图5，上述的步骤S120d可包括步骤S120d1～S120d3。
S120d1、对法律文书数据进行清洗，以得到第一数据；
S120d2、对第一数据进行编码转换，以得到第二数据；
S120d3、对第二数据进行标注，以得到预处理后的法律文书数据。
对法律文书数据进行清洗、编码转换等文本预处理操作，再利用进行标注以获得足够的数据。
S120e、对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据。
在本实施例中，上述的带有标签的法律文书数据是指带有实体和非实体标签的数据。
在一实施例中，请参阅图6，上述的步骤S120e可包括步骤S120e1～S120e2。
S120e1、对预处理后的法律文书数据按字分词，以得到第三数据；
S120e2、对第三数据的标注信息转化成每个字对应的标签，以得到带有标签的法律文书数据。
将预处理后的法律文书数据进行按字分词，并将标注信息使用BIO的形式转化成每个字对应的标签。
S120f、将带有标签的法律文书数据输入至语言模型，以得到样本字符向量。
在本实施例中，语言模型生成任意中文词汇表对应的固定长度的词向量，并形成输入双向循环神经网络的词嵌入向量，即样本字符向量。
将训练数据与词嵌入向量输入查阅层，对于训练数据中的每一个字到词嵌入向量中查找该字对应的词向量，形成训练数据序列的向量矩阵作为双向循环神经网络的输入，其中，序列长度不足时以空白符的向量表示。
S120g、将样本字符向量输入至双向循环神经网络内，以得到样本编码。
通过双向循环神经网络拼接样本字符向量的前向层跟后向层的编码结果作为最终的样本字编码，其中前向层和后向层的编码结果分别指代双向循环神经网络的两层网络生成的两种字符向量。
S120h、将样本编码输入条件随机场内，以得到样本标签以及类别。
条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场，条件随机场可以用于不同的预测问题。
将样本编码输入至条件随机场中，以使其输出样本标签和类别。
S120i、将样本标签以及带有标签的法律文书数据输入损失函数中，以得到损失值；
S120j、判断所述损失值是否小于设定阈值；
S120k、若否，则根据损失值调整双向循环神经网络以及条件随机场的参数，并返回步骤S120g；
S120l、若是，将语言模型、双向循环神经网络以及条件随机场进行整合，以得到深度神经网络模型。
根据损失函数来获取样本标签与实际的标签之间的差距，进而根据这个差距调整双向循环神经网络以及条件随机场的参数，以使得样本标签与实际的标签之间的差距满足设定的阈值，以实现整个深度神经网络模型可以准确地识别出实体标签。
采用双向循环神经网络的神经元包含了上一时刻隐含层的输出和当前字符特征向量，这种网络单元的优点是让模型在训练和推理过程中，利用了当前输入和上一时刻的输出数据。在语言序列预测中将语言的上下文信息及其语义依赖关系都采纳和学习到了，其输出更好地表示了语言序列深层次的含义，有效的提高了最终的识别效果。此外，最终的预测分类层使用了线性链条件随机场，相比于传统的使用softmax来预测标签概率，该方法考虑到条件随机场模型在序列标注问题中的优势，将标签转移得分加入到目标函数中，计算句子序列级别的对数似然而不是字符级别。
双向循环神经网络以及条件随机场训练好之后可灵活取用与更新。相比于一次性训练一个可识别多个实体的大模型,子模型在训练和推理的时候速度更快，效率更高，此外，在构建命名实体识别应用的时候双向循环神经网络以及条件随机场的模式可以与任务解耦。根据不同的任务可灵活组合训练好的子模型，当有新的标签需要识别的时候，只需训练单个标签的模型。这样降低了识别应用中的模型维护与再训练模型成本。
采用了Transformer神经网络框架强大的语言特征提取技术，并结合双向循环神经网络以及条件随机场对上下文语义编码与序列级别标注的优势，能够解决现有命名实体识别方案网络结构复杂、训练成本高、预测能力弱的问题。
在训练阶段，模型的目标是最大化标注结果序列y的对数概率：
其中，s(X,y)为标注结果序列y的得分：
其中，A为标签之间的概率转移矩阵，P∈Rn*k为双向循环神经网络的输出结果，是序列中字符的个数，k是标签的个数。在预测样本标签的时候，得到序列的标注序列通过最大化得分得到：
将深度神经网络模型应用到法律文书的命名实体识别任务中，通过精度Precision、召回率Recall、综合评分F1-measure来评价上述方案的识别效果，使用的实验数据为：训练集37376条，开发集3738条，测试集11212条，训练好某任务的双向循环神经网络以及条件随机场之后，选取了部分深度神经网络模型在测试集上进行了测试。结果如下表所示：
上表中，Precision表示识别的精确率，也被称为查准率，其计算的是所有被正确识别的数目占所有实际被识别的数目的比例。Recall表示识别的召回率，也被称为查全率，其计算的是所有被正确识别的数目占应该被正确识别的数目的比例。F1-measure是Precision值和Recall值的调和平均值，其代表了前面两个评估指标的综合评估值。
样本数据的是法院公示的法律文书经标注之后形成的带标签的法律文书数据，该带标签的法律文书数据每个字符都标注上了一个标签，以表明该字符是否是一个法律领域命名实体。在训练的时候，输入切分的句子序列和对应的标签序列到网络进行迭代批次训练，学习网络参数，每一迭代结束使用开发集评估模型，如果在一定的迭代次数之内模型在开发集上的评估效果没有得到提升，则停止训练，保存训练好的模型参数和网络结构。当需要测试模型或预测的时候，只需输入句子序列，输出就是对应句子的标签序列。
上述的法律文书命名实体识别方法，通过采用深度神经网络模型进行实体识别，具体是采用训练谷歌Bert模型所得的语言模型对待识别法律文书的中文字符序列提取字符向量，并将字符向量输入到双向循环神经网络，将双向循环神经网络的输出编码输入到线性链条件随机场并得到识别结果，以实现命名实体识别的网络结构简单，训练成本低以及预测能力强。
图9是本发明另一实施例提供的一种法律文书命名实体识别方法的流程示意图。如图9所示，本实施例的法律文书命名实体识别方法包括步骤S210-S230。其中步骤S210-S220与上述实施例中的步骤S110-S120类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S2370。
S230、将识别结果输出至终端，以使得识别终端在终端显示。
图10是本发明实施例提供的一种*法律文书命名实体识别装置300的示意性框图。如图10所示，对应于以上法律文书命名实体识别方法，本发明还提供一种法律文书命名实体识别装置300。该法律文书命名实体识别装置300包括用于执行上述法律文书命名实体识别方法的单元，该装置可以被配置于服务器中。具体地，请参阅图10，该法律文书命名实体识别装置300包括：
文书获取单元301，用于获取待识别的法律文书；
识别单元302，用于将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果。
在一实施例中，上述的装置还包括：
第一训练单元，用于通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场，以得到深度神经网络模型。
在一实施例中，上述的装置还包括：
第二训练单元，用于通过若干语料训练谷歌Bert模型，以得到语言模型。
在一实施例中，所述第二训练单元包括：
模型获取子单元，用于获取谷歌Bert模型；
语料获取子单元，用于获取若干语料；
语言模型形成子单元，用于根据若干语料采用半监督的并行双向方式训练所述谷歌Bert模型，以得到语言模型。
在一实施例中，所述第一训练单元包括：
网络获取子单元，用于获取双向循环神经网络以及条件随机场；
函数构建子单元，用于构建损失函数；
数据获取子单元，用于获取若干法律文书数据；
预处理子单元，用于对法律文书数据进行预处理，以得到预处理后的法律文书数据；
标注子单元，用于对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据；
向量形成子单元，用于将带有标签的法律文书数据输入至语言模型，以得到样本字符向量；
编码形成子单元，用于将样本字符向量输入至双向循环神经网络内，以得到样本编码；
标签获取子单元，用于将样本编码输入条件随机场内，以得到样本标签以及类别；
损失值获取子单元，用于将样本标签以及带有标签的法律文书数据输入损失函数中，以得到损失值；
判断子单元，用于判断所述损失值是否小于设定阈值；
调整子单元，用于若否，则根据损失值调整双向循环神经网络以及条件随机场的参数，并返回所述将样本字符向量输入至双向循环神经网络内，以得到样本编码；
整合子单元，用于若是，将语言模型、双向循环神经网络以及条件随机场进行整合，以得到深度神经网络模型。
在一实施例中，所述预处理子单元包括：
清洗模块，用于对法律文书数据进行清洗，以得到第一数据；
转换模块，用于对第一数据进行编码转换，以得到第二数据；
标注模块，用于对第二数据进行标注，以得到预处理后的法律文书数据。
在一实施例中，所述标注子单元包括：
分词模块，用于对预处理后的法律文书数据按字分词，以得到第三数据；
转化模块，用于对第三数据的标注信息转化成每个字对应的标签，以得到带有标签的法律文书数据。
图11是本发明另一实施例提供的一种法律文书命名实体识别装置300的示意性框图。如图11所示，本实施例的法律文书命名实体识别装置300是上述实施例的基础上增加了输出单元303。
输出单元303，用于将识别结果输出至终端，以使得识别终端在终端显示。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述法律文书命名实体识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述法律文书命名实体识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12，图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器。
参阅图12，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种法律文书命名实体识别方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种法律文书命名实体识别方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待识别的法律文书；
将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果；
其中，所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的；
所述语言模型是通过若干语料训练谷歌Bert模型所得的。
在一实施例中，处理器502在实现所述语言模型是通过若干语料训练谷歌Bert模型所得的步骤时，具体实现如下步骤：
获取谷歌Bert模型；
获取若干语料；
根据若干语料采用半监督的并行双向方式训练所述谷歌Bert模型，以得到语言模型。
在一实施例中，处理器502在实现所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的步骤时，具体实现如下步骤：
获取双向循环神经网络以及条件随机场；
构建损失函数；
获取若干法律文书数据；
对法律文书数据进行预处理，以得到预处理后的法律文书数据；
对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据；
将带有标签的法律文书数据输入至语言模型，以得到样本字符向量；
将样本字符向量输入至双向循环神经网络内，以得到样本编码；
将样本编码输入条件随机场内，以得到样本标签以及类别；
将样本标签以及带有标签的法律文书数据输入损失函数中，以得到损失值；
判断所述损失值是否小于设定阈值；
若否，则根据损失值调整双向循环神经网络以及条件随机场的参数，并返回所述将样本字符向量输入至双向循环神经网络内，以得到样本编码；
若是，将语言模型、双向循环神经网络以及条件随机场进行整合，以得到深度神经网络模型。
在一实施例中，处理器502在实现所述对法律文书数据进行预处理步骤时，具体实现如下步骤：
对法律文书数据进行清洗，以得到第一数据；
对第一数据进行编码转换，以得到第二数据；
对第二数据进行标注，以得到预处理后的法律文书数据。
在一实施例中，处理器502在实现所述对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据步骤时，具体实现如下步骤：
对预处理后的法律文书数据按字分词，以得到第三数据；
对第三数据的标注信息转化成每个字对应的标签，以得到带有标签的法律文书数据。
在一实施例中，处理器502在实现所述将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果步骤之后，还实现如下步骤：
将识别结果输出至终端，以使得识别终端在终端显示。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待识别的法律文书；
将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果；
其中，所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的；
所述语言模型是通过若干语料训练谷歌Bert模型所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述语言模型是通过若干语料训练谷歌Bert模型所得的步骤时，具体实现如下步骤：
获取谷歌Bert模型；
获取若干语料；
根据若干语料采用半监督的并行双向方式训练所述谷歌Bert模型，以得到语言模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的步骤时，具体实现如下步骤：
获取双向循环神经网络以及条件随机场；
构建损失函数；
获取若干法律文书数据；
对法律文书数据进行预处理，以得到预处理后的法律文书数据；
对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据；
将带有标签的法律文书数据输入至语言模型，以得到样本字符向量；
将样本字符向量输入至双向循环神经网络内，以得到样本编码；
将样本编码输入条件随机场内，以得到样本标签以及类别；
将样本标签以及带有标签的法律文书数据输入损失函数中，以得到损失值；
判断所述损失值是否小于设定阈值；
若否，则根据损失值调整双向循环神经网络以及条件随机场的参数，并返回所述将样本字符向量输入至双向循环神经网络内，以得到样本编码；
若是，将语言模型、双向循环神经网络以及条件随机场进行整合，以得到深度神经网络模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对法律文书数据进行预处理步骤时，具体实现如下步骤：
对法律文书数据进行清洗，以得到第一数据；
对第一数据进行编码转换，以得到第二数据；
对第二数据进行标注，以得到预处理后的法律文书数据。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据步骤时，具体实现如下步骤：
对预处理后的法律文书数据按字分词，以得到第三数据；
对第三数据的标注信息转化成每个字对应的标签，以得到带有标签的法律文书数据。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果步骤之后，还实现如下步骤：
将识别结果输出至终端，以使得识别终端在终端显示。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.法律文书命名实体识别方法，其特征在于，包括：
获取待识别的法律文书；
将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果；
其中，所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的；
所述语言模型是通过若干语料训练谷歌Bert模型所得的。
2.根据权利要求1所述的法律文书命名实体识别方法，其特征在于，所述语言模型是通过若干语料训练谷歌Bert模型所得的，包括：
获取谷歌Bert模型；
获取若干语料；
根据若干语料采用半监督的并行双向方式训练所述谷歌Bert模型，以得到语言模型。
3.根据权利要求1所述的法律文书命名实体识别方法，其特征在于，所述深度神经网络模型通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场所得的，包括：
获取双向循环神经网络以及条件随机场；
构建损失函数；
获取若干法律文书数据；
对法律文书数据进行预处理，以得到预处理后的法律文书数据；
对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据；
将带有标签的法律文书数据输入至语言模型，以得到样本字符向量；
将样本字符向量输入至双向循环神经网络内，以得到样本编码；
将样本编码输入条件随机场内，以得到样本标签以及类别；
将样本标签以及带有标签的法律文书数据输入损失函数中，以得到损失值；
判断所述损失值是否小于设定阈值；
若否，则根据损失值调整双向循环神经网络以及条件随机场的参数，并返回所述将样本字符向量输入至双向循环神经网络内，以得到样本编码；
若是，将语言模型、双向循环神经网络以及条件随机场进行整合，以得到深度神经网络模型。
4.根据权利要求3所述的法律文书命名实体识别方法，其特征在于，所述对法律文书数据进行预处理，包括：
对法律文书数据进行清洗，以得到第一数据；
对第一数据进行编码转换，以得到第二数据；
对第二数据进行标注，以得到预处理后的法律文书数据。
5.根据权利要求3所述的法律文书命名实体识别方法，其特征在于，所述对预处理后的法律文书数据进行标注处理，以得到带有标签的法律文书数据，包括：
对预处理后的法律文书数据按字分词，以得到第三数据；
对第三数据的标注信息转化成每个字对应的标签，以得到带有标签的法律文书数据。
6.根据权利要求1至5任一项所述的法律文书命名实体识别方法，其特征在于，所述将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果之后，包括：
将识别结果输出至终端，以使得识别终端在终端显示。
7.法律文书命名实体识别装置，其特征在于，包括：
文书获取单元，用于获取待识别的法律文书；
识别单元，用于将待识别的法律文书输入至深度神经网络模型中进行识别，以得到识别结果。
8.根据权利要求7所述的法律文书命名实体识别装置，其特征在于，所述装置包括：
第一训练单元，用于通过若干带有标签的法律文书数据训练语言模型、双向循环神经网络以及条件随机场，以得到深度神经网络模型。
9.根据权利要求8所述的法律文书命名实体识别装置，其特征在于，所述装置还包括：
第二训练单元，用于通过若干语料训练谷歌Bert模型，以得到语言模型。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
CN201910263217.4A 2019-04-02 2019-04-02 法律文书命名实体识别方法、装置及计算机设备 Active CN109992782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910263217.4A CN109992782B (zh) 2019-04-02 2019-04-02 法律文书命名实体识别方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910263217.4A CN109992782B (zh) 2019-04-02 2019-04-02 法律文书命名实体识别方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN109992782A true CN109992782A (zh) 2019-07-09
CN109992782B CN109992782B (zh) 2023-07-07

Family

ID=67132197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910263217.4A Active CN109992782B (zh) 2019-04-02 2019-04-02 法律文书命名实体识别方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN109992782B (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377691A (zh) * 2019-07-23 2019-10-25 上海应用技术大学 文本分类的方法、装置、设备及存储介质
CN110472231A (zh) * 2019-07-11 2019-11-19 阿里巴巴集团控股有限公司 一种识别法律文书案由的方法和装置
CN110569486A (zh) * 2019-07-30 2019-12-13 平安科技（深圳）有限公司 基于双架构的序列标注方法、装置和计算机设备
CN110647632A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
CN110688411A (zh) * 2019-09-25 2020-01-14 北京地平线机器人技术研发有限公司 一种文本识别方法及装置
CN110705294A (zh) * 2019-09-11 2020-01-17 苏宁云计算有限公司 命名实体识别模型训练方法、命名实体识别方法及装置
CN110705272A (zh) * 2019-08-28 2020-01-17 昆明理工大学 一种面向汽车发动机故障诊断的命名实体识别方法
CN110795940A (zh) * 2019-10-26 2020-02-14 创新工场(广州)人工智能研究有限公司 一种命名实体识别方法、系统及电子设备
CN110807328A (zh) * 2019-10-25 2020-02-18 华南师范大学 面向法律文书多策略融合的命名实体识别方法及系统
CN110888798A (zh) * 2019-10-14 2020-03-17 西安理工大学 一种基于图卷积神经网络对软件缺陷预测方法
CN111047092A (zh) * 2019-12-11 2020-04-21 深圳前海环融联易信息科技服务有限公司 纠纷案件胜率预测方法、装置、计算机设备及存储介质
CN111062834A (zh) * 2019-12-11 2020-04-24 深圳前海环融联易信息科技服务有限公司 纠纷案件实体识别方法、装置、计算机设备及存储介质
CN111291569A (zh) * 2020-04-15 2020-06-16 智者四海（北京）技术有限公司 多类别实体识别模型的训练方法及装置
CN111353311A (zh) * 2020-03-03 2020-06-30 平安医疗健康管理股份有限公司 一种命名实体识别方法、装置、计算机设备及存储介质
CN111428485A (zh) * 2020-04-22 2020-07-17 深圳市华云中盛科技股份有限公司 司法文书段落分类方法、装置、计算机设备及存储介质
CN111476034A (zh) * 2020-04-07 2020-07-31 同方赛威讯信息技术有限公司 基于规则和模型结合的法律文书信息抽取方法及系统
CN111523324A (zh) * 2020-03-18 2020-08-11 大箴(杭州)科技有限公司 命名实体识别模型的训练方法及装置
CN111597812A (zh) * 2020-05-09 2020-08-28 北京合众鼎成科技有限公司 一种基于遮蔽语言模型的金融领域多重关系抽取方法
CN111666771A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 文书的语义标签抽取、装置、电子设备及可读存储介质
CN111738004A (zh) * 2020-06-16 2020-10-02 中国科学院计算技术研究所 一种命名实体识别模型的训练方法及命名实体识别的方法
CN112232088A (zh) * 2020-11-19 2021-01-15 京北方信息技术股份有限公司 合同条款风险智能识别方法、装置、电子设备及存储介质
WO2021017383A1 (zh) * 2019-07-30 2021-02-04 北京国双科技有限公司 一种法律文书要素解析方法及系统
CN112396201A (zh) * 2019-07-30 2021-02-23 北京国双科技有限公司 一种罪名预测方法及系统
CN112434531A (zh) * 2020-10-27 2021-03-02 西安交通大学 一种有格式法律文书的命名实体和属性识别方法及系统
CN112541373A (zh) * 2019-09-20 2021-03-23 北京国双科技有限公司 司法文本识别方法、文本识别模型获得方法及相关设备
CN112765984A (zh) * 2020-12-31 2021-05-07 平安资产管理有限责任公司 命名实体识别方法、装置、计算机设备和存储介质
CN112887304A (zh) * 2021-01-25 2021-06-01 山东省计算中心（国家超级计算济南中心） 基于字符级神经网络的web应用入侵检测方法及系统
CN113011185A (zh) * 2020-07-17 2021-06-22 上海浦东华宇信息技术有限公司 法律领域文本分析识别方法、系统、存储介质及终端
CN113139382A (zh) * 2020-01-20 2021-07-20 北京国双科技有限公司 命名实体识别方法及装置
CN113239196A (zh) * 2021-05-12 2021-08-10 同方知网数字出版技术股份有限公司 一种基于数字人文的实体分类模型训练与预测方法
CN113255357A (zh) * 2021-06-24 2021-08-13 北京金山数字娱乐科技有限公司 数据处理、目标识别模型训练、目标识别方法及装置
CN113963358A (zh) * 2021-12-20 2022-01-21 北京易真学思教育科技有限公司 文本识别模型训练方法、文本识别方法、装置及电子设备
CN114372465A (zh) * 2021-09-29 2022-04-19 武汉工程大学 基于Mixup和BQRNN的法律命名实体识别方法
CN114548103A (zh) * 2020-11-25 2022-05-27 马上消费金融股份有限公司 一种命名实体识别模型的训练方法和命名实体的识别方法
CN114580424A (zh) * 2022-04-24 2022-06-03 之江实验室 一种用于法律文书的命名实体识别的标注方法和装置
CN114818681A (zh) * 2022-06-24 2022-07-29 西南财经大学 一种实体识别方法及系统、计算机可读存储介质及终端
CN116822477A (zh) * 2023-05-16 2023-09-29 浙江法之道信息技术有限公司 一种法律文书自动生成系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN109446514A (zh) * 2018-09-18 2019-03-08 平安科技（深圳）有限公司 新闻实体识别模型的构建方法、装置和计算机设备
CN109492215A (zh) * 2018-09-18 2019-03-19 平安科技（深圳）有限公司 新闻实体识别方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN109446514A (zh) * 2018-09-18 2019-03-08 平安科技（深圳）有限公司 新闻实体识别模型的构建方法、装置和计算机设备
CN109492215A (zh) * 2018-09-18 2019-03-19 平安科技（深圳）有限公司 新闻实体识别方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘小安等: "基于卷积神经网络的中文景点识别研究", 《计算机工程与应用》 *
刘小安等: "基于卷积神经网络的中文景点识别研究", 《计算机工程与应用》, 8 March 2019 (2019-03-08), pages 140 - 145 *

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472231A (zh) * 2019-07-11 2019-11-19 阿里巴巴集团控股有限公司 一种识别法律文书案由的方法和装置
CN110472231B (zh) * 2019-07-11 2023-05-12 创新先进技术有限公司 一种识别法律文书案由的方法和装置
CN110377691A (zh) * 2019-07-23 2019-10-25 上海应用技术大学 文本分类的方法、装置、设备及存储介质
CN110569486A (zh) * 2019-07-30 2019-12-13 平安科技（深圳）有限公司 基于双架构的序列标注方法、装置和计算机设备
WO2021017268A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 基于双架构的序列标注方法、装置和计算机设备
CN110569486B (zh) * 2019-07-30 2023-01-03 平安科技（深圳）有限公司 基于双架构的序列标注方法、装置和计算机设备
WO2021017383A1 (zh) * 2019-07-30 2021-02-04 北京国双科技有限公司 一种法律文书要素解析方法及系统
CN112396201A (zh) * 2019-07-30 2021-02-23 北京国双科技有限公司 一种罪名预测方法及系统
CN110647632A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
CN110647632B (zh) * 2019-08-06 2020-09-04 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
CN110705272A (zh) * 2019-08-28 2020-01-17 昆明理工大学 一种面向汽车发动机故障诊断的命名实体识别方法
CN110705294A (zh) * 2019-09-11 2020-01-17 苏宁云计算有限公司 命名实体识别模型训练方法、命名实体识别方法及装置
CN110705294B (zh) * 2019-09-11 2023-06-23 苏宁云计算有限公司 命名实体识别模型训练方法、命名实体识别方法及装置
CN112541373B (zh) * 2019-09-20 2023-10-31 北京国双科技有限公司 司法文本识别方法、文本识别模型获得方法及相关设备
WO2021051957A1 (zh) * 2019-09-20 2021-03-25 北京国双科技有限公司 司法文本识别方法、文本识别模型获得方法及相关设备
CN112541373A (zh) * 2019-09-20 2021-03-23 北京国双科技有限公司 司法文本识别方法、文本识别模型获得方法及相关设备
CN110688411A (zh) * 2019-09-25 2020-01-14 北京地平线机器人技术研发有限公司 一种文本识别方法及装置
CN110888798B (zh) * 2019-10-14 2022-11-04 西安理工大学 一种基于图卷积神经网络对软件缺陷预测方法
CN110888798A (zh) * 2019-10-14 2020-03-17 西安理工大学 一种基于图卷积神经网络对软件缺陷预测方法
CN110807328B (zh) * 2019-10-25 2023-05-05 华南师范大学 面向法律文书多策略融合的命名实体识别方法及系统
CN110807328A (zh) * 2019-10-25 2020-02-18 华南师范大学 面向法律文书多策略融合的命名实体识别方法及系统
CN110795940B (zh) * 2019-10-26 2024-01-12 创新工场(广州)人工智能研究有限公司 一种命名实体识别方法、系统及电子设备
CN110795940A (zh) * 2019-10-26 2020-02-14 创新工场(广州)人工智能研究有限公司 一种命名实体识别方法、系统及电子设备
CN111062834A (zh) * 2019-12-11 2020-04-24 深圳前海环融联易信息科技服务有限公司 纠纷案件实体识别方法、装置、计算机设备及存储介质
CN111047092A (zh) * 2019-12-11 2020-04-21 深圳前海环融联易信息科技服务有限公司 纠纷案件胜率预测方法、装置、计算机设备及存储介质
CN113139382A (zh) * 2020-01-20 2021-07-20 北京国双科技有限公司 命名实体识别方法及装置
CN111353311A (zh) * 2020-03-03 2020-06-30 平安医疗健康管理股份有限公司 一种命名实体识别方法、装置、计算机设备及存储介质
CN111523324A (zh) * 2020-03-18 2020-08-11 大箴(杭州)科技有限公司 命名实体识别模型的训练方法及装置
CN111523324B (zh) * 2020-03-18 2024-01-26 大箴(杭州)科技有限公司 命名实体识别模型的训练方法及装置
CN111476034A (zh) * 2020-04-07 2020-07-31 同方赛威讯信息技术有限公司 基于规则和模型结合的法律文书信息抽取方法及系统
CN111291569A (zh) * 2020-04-15 2020-06-16 智者四海（北京）技术有限公司 多类别实体识别模型的训练方法及装置
CN111428485A (zh) * 2020-04-22 2020-07-17 深圳市华云中盛科技股份有限公司 司法文书段落分类方法、装置、计算机设备及存储介质
CN111428485B (zh) * 2020-04-22 2024-04-02 深圳市华云中盛科技股份有限公司 司法文书段落分类方法、装置、计算机设备及存储介质
CN111597812A (zh) * 2020-05-09 2020-08-28 北京合众鼎成科技有限公司 一种基于遮蔽语言模型的金融领域多重关系抽取方法
CN111666771A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 文书的语义标签抽取、装置、电子设备及可读存储介质
CN111666771B (zh) * 2020-06-05 2024-03-08 北京百度网讯科技有限公司 文书的语义标签抽取、装置、电子设备及可读存储介质
CN111738004B (zh) * 2020-06-16 2023-10-27 中国科学院计算技术研究所 一种命名实体识别模型的训练方法及命名实体识别的方法
CN111738004A (zh) * 2020-06-16 2020-10-02 中国科学院计算技术研究所 一种命名实体识别模型的训练方法及命名实体识别的方法
CN113011185A (zh) * 2020-07-17 2021-06-22 上海浦东华宇信息技术有限公司 法律领域文本分析识别方法、系统、存储介质及终端
CN112434531B (zh) * 2020-10-27 2024-07-16 西安交通大学 一种有格式法律文书的命名实体和属性识别方法及系统
CN112434531A (zh) * 2020-10-27 2021-03-02 西安交通大学 一种有格式法律文书的命名实体和属性识别方法及系统
CN112232088A (zh) * 2020-11-19 2021-01-15 京北方信息技术股份有限公司 合同条款风险智能识别方法、装置、电子设备及存储介质
CN114548103A (zh) * 2020-11-25 2022-05-27 马上消费金融股份有限公司 一种命名实体识别模型的训练方法和命名实体的识别方法
CN114548103B (zh) * 2020-11-25 2024-03-29 马上消费金融股份有限公司 一种命名实体识别模型的训练方法和命名实体的识别方法
CN112765984A (zh) * 2020-12-31 2021-05-07 平安资产管理有限责任公司 命名实体识别方法、装置、计算机设备和存储介质
CN112887304B (zh) * 2021-01-25 2022-12-30 山东省计算中心（国家超级计算济南中心） 基于字符级神经网络的web应用入侵检测方法及系统
CN112887304A (zh) * 2021-01-25 2021-06-01 山东省计算中心（国家超级计算济南中心） 基于字符级神经网络的web应用入侵检测方法及系统
CN113239196B (zh) * 2021-05-12 2024-07-09 同方知网数字出版技术股份有限公司 一种基于数字人文的实体分类模型训练与预测方法
CN113239196A (zh) * 2021-05-12 2021-08-10 同方知网数字出版技术股份有限公司 一种基于数字人文的实体分类模型训练与预测方法
CN113255357A (zh) * 2021-06-24 2021-08-13 北京金山数字娱乐科技有限公司 数据处理、目标识别模型训练、目标识别方法及装置
CN114372465A (zh) * 2021-09-29 2022-04-19 武汉工程大学 基于Mixup和BQRNN的法律命名实体识别方法
CN113963358B (zh) * 2021-12-20 2022-03-04 北京易真学思教育科技有限公司 文本识别模型训练方法、文本识别方法、装置及电子设备
CN113963358A (zh) * 2021-12-20 2022-01-21 北京易真学思教育科技有限公司 文本识别模型训练方法、文本识别方法、装置及电子设备
CN114580424A (zh) * 2022-04-24 2022-06-03 之江实验室 一种用于法律文书的命名实体识别的标注方法和装置
CN114580424B (zh) * 2022-04-24 2022-08-05 之江实验室 一种用于法律文书的命名实体识别的标注方法和装置
CN114818681A (zh) * 2022-06-24 2022-07-29 西南财经大学 一种实体识别方法及系统、计算机可读存储介质及终端
CN114818681B (zh) * 2022-06-24 2022-10-11 西南财经大学 一种实体识别方法及系统、计算机可读存储介质及终端
CN116822477A (zh) * 2023-05-16 2023-09-29 浙江法之道信息技术有限公司 一种法律文书自动生成系统
CN116822477B (zh) * 2023-05-16 2024-04-30 浙江法之道信息技术有限公司 一种法律文书自动生成系统

Also Published As

Publication number Publication date
CN109992782B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109992782A (zh) 法律文书命名实体识别方法、装置及计算机设备
Swathi et al. An optimal deep learning-based LSTM for stock price prediction using twitter sentiment analysis
CN111897908B (zh) 融合依存信息和预训练语言模型的事件抽取方法及系统
CN109766524B (zh) 一种并购重组类公告信息抽取方法及系统
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN110222188B (zh) 一种多任务学习的公司公告处理方法及服务端
Chen et al. Ensemble application of convolutional and recurrent neural networks for multi-label text categorization
CN108399158B (zh) 基于依存树和注意力机制的属性情感分类方法
CN108460089A (zh) 基于Attention神经网络的多元特征融合中文文本分类方法
CN111738003B (zh) 命名实体识别模型训练方法、命名实体识别方法和介质
CN106844349B (zh) 基于协同训练的垃圾评论识别方法
CN106980608A (zh) 一种中文电子病历分词和命名实体识别方法及系统
Wahid et al. Cricket sentiment analysis from Bangla text using recurrent neural network with long short term memory model
CN107608956A (zh) 一种基于cnn‑grnn的读者情绪分布预测算法
CN107729309A (zh) 一种基于深度学习的中文语义分析的方法及装置
CN112711953A (zh) 一种基于注意力机制和gcn的文本多标签分类方法和系统
CN111881671B (zh) 一种属性词提取方法
CN103207855A (zh) 针对产品评论信息的细粒度情感分析系统及方法
Firdaus et al. A multi-task hierarchical approach for intent detection and slot filling
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN109726400B (zh) 实体词识别结果评价方法、装置、设备及实体词提取系统
CN114818717B (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
Sadr et al. Convolutional neural network equipped with attention mechanism and transfer learning for enhancing performance of sentiment analysis
CN111222318A (zh) 基于双通道双向lstm-crf网络的触发词识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 room 701, building 11, Shenzhen Software Park (phase 2), No.1, kejizhong 2 Road, Gaoxin Central District, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Huayun Zhongsheng Technology Co.,Ltd.

Address before: 518000 Fifth Floor, Devison Building, No. 16 South 7th High-tech Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN HUAYUN ZHONGSHENG TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant