CN111125331A - 语义识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

语义识别方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111125331A
CN111125331A CN201911330528.4A CN201911330528A CN111125331A CN 111125331 A CN111125331 A CN 111125331A CN 201911330528 A CN201911330528 A CN 201911330528A CN 111125331 A CN111125331 A CN 111125331A
Authority
CN
China
Prior art keywords
entity
information
intention
sample
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911330528.4A
Other languages
English (en)
Other versions
CN111125331B (zh
Inventor
王炳乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911330528.4A priority Critical patent/CN111125331B/zh
Publication of CN111125331A publication Critical patent/CN111125331A/zh
Application granted granted Critical
Publication of CN111125331B publication Critical patent/CN111125331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例提供了一种语义识别方法、装置、电子设备及计算机可读存储介质，该语义识别方法包括：获取待识别的目标语句并输入基于双向编码器表征模型；运行基于双向编码器表征模型，确定目标语句的实体信息和意图信息；根据实体信息和意图信息，确定目标语句的涵义。本申请提供的语义识别方法通过基于双向编码器表征模型，在识别出目标语句的实体信息同时，识别出意图信息，改变了人工智能领域中对于自然语言的语义识别的处理结构，将原本两步式的处理方式改进为单步式处理方式，较大程度上提高了人工智能对于语句含义的识别效率。

Description

语义识别方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及人工智能技术领域，具体而言，本申请涉及一种语义识别方法、装置、电子设备及计算机可读存储介质。
背景技术
随着人工智能领域中自然语言处理的相关技术的突破，智能语音问答已经在越来越多的领域(百科、医疗、金融、旅游等)扮演重要的角色，问答形式也逐渐趋于多样化，如基于FAQ(Frequently Asked Questions，常问问题)的问答、基于知识库的问答或基于知识图谱的问答等。
“实体识别”和“意图理解”是问答中对于问题语句理解的重要环节，现有的问答大多将这两个环节当成两个子任务来处理，即先识别用户传入问题中存在的实体，然后理解表达该问题的问句想要表达的意图，最后根据识别出的实体和意图返回对应的答案。上述过程中，实体识别常采用户字典分词(实体词库)，或者基于有监督的大规模语料标注的深度学习方法进行序列标注等方法，意图理解则采用问题的相似度匹配等。这种两步式的处理方式由于结构上天然存在两个过程，会在很大程度上影响问题语句含义的识别效率。
发明内容
本申请针对现有方式的缺点，提出一种语义识别方法、装置、电子设备及计算机可读存储介质，用以解决现有技术存在语句含义识别效率低的技术问题。
第一个方面，本申请实施例提供了一种语义识别方法，包括：
获取待识别的目标语句并输入基于双向编码器表征模型；
运行基于双向编码器表征模型，确定目标语句的实体信息和意图信息；
根据实体信息和意图信息，确定目标语句的涵义。
在第一个方面的某些实现方式中，基于双向编码器表征模型是通过下述方式预先训练得到的，包括：
获取若干样本语句，样本语句包含以若干类特征标记分别进行分类标记的字段；
根据各样本语句、以及基于双向编码器表征模型的训练模型，确定基于双向编码器表征模型；基于双向编码器表征模型的训练模型为在基于双向编码器表征模型的最后一层之后加上预定任务分类层。
结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，特征标记包括实体类别标记和意图类别标记；
获取若干样本语句，样本语句包含以若干类特征标记分别进行分类标记的字段的步骤，包括：
将样本语句中实体信息对应的字段，标记为实体标记数据，将样本语句中意图信息对应的字段，标记为意图标记数据；
实体标记数据和意图标记数据之间以预设符号间隔。
结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，根据各样本语句、以及基于双向编码器表征模型的训练模型，确定基于双向编码器表征模型的步骤，包括：
将每个样本语句输入训练模型，使得样本语句的意图标记数据，转化成训练模型中最后一个意图分类层池化后输出的意图特征，并使得样本语句的实体标记数据，转化成训练模型中最后一个实体分类层输出的实体特征；
根据样本语句的意图特征、以及最后一个意图分类层的加权参数矩阵和偏置参数，确定出样本语句的意图预测结果；
根据样本语句的实体特征、以及最后一个实体分类层的加权参数矩阵和偏置参数，确定出样本语句的实体预测结果；
根据样本语句的基于未知量条件下的意图预测结果的概率、以及基于未知量条件下的实体预测结果的概率，确定出训练模型的目标函数；
调整基于双向编码器表征模型中的参数，使得目标函数达到最大值且预定任务分类层中的联合损失函数达到最小，得到基于双向编码器表征模型。
结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，根据样本语句的意图特征、以及最后一个意图分类层的加权参数矩阵和偏置参数，确定出样本语句的意图预测结果的步骤，包括：
将意图特征接入TextCNN模型，确定收敛处理后的意图特征；
根据样本语句的实体特征、以及最后一个实体分类层的加权参数矩阵和偏置参数，确定出样本语句的实体预测结果的步骤，包括：
将实体特征接入神经网络的条件随机场层和/或BiLSTM层，通过BiLSTM层确定实体特征的标签概率，通过条件随机场层确定具有预设约束信息的实体特征。
结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，特征标记还包括单词类别标记；
获取若干样本语句，样本语句包含以若干类特征标记分别进行分类标记的字段的步骤，包括：
样本语句中实体信息和意图信息之外的单词信息对应的字段以单词类别标记，标记为单词数据；
将单词数据从样本语句中删除，记录删除的单词数据在样本语句中的位置信息。
结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，根据实体信息和意图信息，确定目标语句的涵义的步骤之后，还包括：
根据实体信息，检索目标数据库，确定若干条候选目标信息；
根据意图信息和候选目标信息，确定最终目标信息。
结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，根据实体信息和意图信息，确定目标语句的涵义的步骤之后，还包括：
根据实体信息和意图信息，检索知识图谱，确定最终目标信息。
第二个方面，本申请提供了一种语义识别装置，包括：
获取模块，用于获取待识别的目标语句并输入基于双向编码器表征模型；
识别模块，用于运行基于双向编码器表征模型，确定目标语句的实体信息和意图信息；
输出模块，用于根据实体信息和意图信息，确定目标语句的涵义。
第三个方面，本申请提供了一种电子设备，包括：
处理器；
存储器，与处理器电连接；
至少一个程序，被存储在存储器中并被配置为由处理器执行，至少一个程序被配置用于：实现如本申请第一个方面提供的语义识别方法。
第四个方面，本申请提供了一种计算机可读存储介质，该计算机存储介质用于存储计算机指令，当计算机指令在计算机上运行时，实现如本申请第一个方面提供的语义识别方法。
本申请实施例提供的技术方案带来的有益技术效果是：
本申请提供的语义识别方法通过基于双向编码器表征模型，在识别出目标语句的实体信息同时，识别出意图信息，改变了人工智能领域中对于自然语言的语义识别的处理结构，将原本两步式的处理方式改进为单步式处理方式，较大程度上提高了人工智能对于语句含义的识别效率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种语义识别方法的方法流程示意图；
图2为本申请实施例提供的基于双向编码器表征模型的训练方法流程示意图；
图3为本申请实施例提供的获取若干样本语句的方法流程示意图；
图4为本申请实施例提供的确定基于双向编码器表征模型的方法流程示意图；
图5为本申请实施例提供的一种语义识别装置的结构框架示意图；
图6为本申请实施例提供的另一种语义识别装置的结构框架示意图；
图7为本申请实施例提供的语句标记的一个实例的示意图；
图8为本申请实施例提供的实体信息提取的一个实例的示意图；
图9为本申请实施例提供的自然语言向量转换的一个实例的示意图；
图10为本申请实施例提供的一种艺术类问答答案提取的一个实例的示意图；
图11为本申请实施例提供的一种电子设备的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请涉及的几个名词进行介绍和解释：
基于双向编码器表征模型，英文全称为Bidirectional Encoder Representationfrom Transformers，代表来自Transformer的双向编码器表示，简写为BERT，人工智能子领域自然语言处理的预训练语言模型中的一种，旨在通过联合调节模型所有层中的左右上下文来预训练深度双向表示。
Transformer，一种基于编码器-解码器结构的神经网络模型。
隐藏层，神经网络模型中除输入层和输出层以外的其他各层叫做隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号，隐藏层在神经网络中的作用是作为中间的黑盒子，可以认为是其他的不同功能层的总称。
目标语句，是指实际工作中需要进行语义理解的自然语言段落。
样本语句，是指用之作为预训练语言模型训练的自然语言段落，样本语句的涵义已知。
实体信息，表示自然语言段落中的关键信息集合，一个具有完整信息的自然语言语句通常包括多个关键信息，通常包括人名、地名、机构名、时间、专有名词等，只要是业务需要的特殊文本片段都可以称为实体。
NER(Named Entity Recognition，命名实体识别)又称作专名识别，是自然语言处理中常见的一项任务，命名实体通常指的是文本中具有特别意义或者指代性非常强的实体。
意图信息，表示自然语言段落表达的用户目的，一个具有完整信息的自然语言语句通常包括一个用户目的。
知识图谱，通过将应用数学、图形学、信息可视化技术、信息科学等多学科方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构，把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律。
下面以具体地实施例对本申请的技术方案，以及本申请的技术方案如何解决背景技术中提到的技术问题进行详细说明。
第一个方面，本申请实施例提供了一种语义识别方法，如图1所示，该方法包括下列步骤：
S100：获取待识别的目标语句并输入基于双向编码器表征模型。
S200：运行基于双向编码器表征模型，确定目标语句的实体信息和意图信息。
S300：根据实体信息和意图信息，确定目标语句的涵义。
本申请提供的语义识别方法，通过执行上述步骤，将需要识别的目标语句输入到完成训练的基于双向编码器表征模型之中，确定出目标语句的实体信息和意图信息，完成目标语句涵义的理解，由于能够同时完成“实体识别”和“意图理解”，将原本需要两个理解环节的处理方式改进为只具有一个理解环节的处理方式，大幅度提高了语句含义的识别效率。
本申请一个实施例中，提供了S100中的基于双向编码器表征模型的训练方法，如图2所示，基于双向编码器表征模型是通过下述方式预先训练得到的，具体包括：
S110：获取若干样本语句，样本语句包含以若干类特征标记分别进行分类标记的字段。
可选地，可以通过预先下载或者采集预先输入的自然语言语句的方式，获取样本语句，然后根据一定的规则将每一个样本语句进行处理，改变传统神经网络模型训练时进行意图理解需要采用的匹配任务，使之成为标签分类任务，并且在进行意图理解的同时，进行实体的序列标注。
S120：根据各样本语句、以及基于双向编码器表征模型的训练模型，确定基于双向编码器表征模型；基于双向编码器表征模型的训练模型为在基于双向编码器表征模型的最后一层之后加上预设任务分类层。
可选地，首先获取一定数量的样本语句，由于基于双向编码器表征模型自身的先进性，所使用到的样本语句的数量，较其他自然语言处理领域中用到的神经网络模型而言，要小很多，因此能够在小规模样本语句的前提下，获取较高的准确率，节省了计算开销。
在本申请上述实施例的一个实现方式中，S110中的特征标记包括实体类别标记和意图类别标记，样本语句包含以若干类特征标记分别进行分类标记的字段，如图3所示，获取若干样本语句的步骤，具体包括：
S111：将样本语句中实体信息对应的字段，标记为实体标记数据，将样本语句中意图信息对应的字段，标记为意图标记数据。
具体而言，用实体类别标记将实体信息对应的字段标记为实体标记数据，用意图类别标记将意图信息对应的字段标记为意图标记数据，以供后续处理。
可选地，实体标记数据的标记和意图标记数据的标记可以同时进行，也可以先后进行或穿插进行，并不限定特定的顺序。
S112：实体标记数据和意图标记数据之间以预设符号间隔。
可选地，通过预设符号将实体标记数据和意图标记数据加以间隔，为神经网络模型的处理提供便利，预设符号可采用\t。
可行的，本申请一个实施方式中，特征标记还包括单词特征标记；
获取若干样本语句，样本语句包含以若干类特征标记分别进行分类标记的字段的步骤，具体还包括：
样本语句中实体信息和意图信息之外的单词信息对应的字段以单词特征标记为单词数据；
将单词数据从样本语句中删除，记录删除的单词数据在样本语句中的位置信息。
本申请提供的语义识别方法可针对中文语句进行语义识别，在中文语句中可能涉及到英文单词或者数字串，而中文字词和英文或数字的标签划分规则不相同，如果以英文单词为单位进行划分，在英语中不同后缀的词非常的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。为解决这种基于双向编码器表征模型分词带来的问题，本实施方式将被拆开的英文或者数字字符串统一采用单词特征标记进行标签化划分，在进行后续的意图信息识别和实体信息识别的过程中，将这些单词数据隐去或存储后删除，并不参与意图信息识别和实体信息识别。然后，在实体识别模型中再预测出这些单词特征标记，根据单词数据在原始数据中的位置将存储的单词数据还原到原始数据中，或者直接呈现这些单词数据信息。
在上述实施例的另一个可行的实施方式中，根据各样本语句、以及基于双向编码器表征模型的训练模型，确定基于双向编码器表征模型的步骤，如图4所示，具体包括：
S121：将每个样本语句输入训练模型，使得样本语句的意图标记数据，转化成训练模型中最后一个意图分类层池化后输出的意图特征，并使得样本语句的实体标记数据，转化成训练模型中最后一个实体分类层输出的实体特征。
在数据处理上，将已经标记出意图标记数据的样本语句输入训练模型，为了获得输入的意图标记数据的固定维度表示，取特殊标记[CLS]对应的最终隐藏状态层的池化后的输出h1，即取训练模型最后一整层特殊标记[CLS]表示的向量作为意图分类的语义特征表示，h1为一数据矩阵，此时最终隐藏状态层即为意图分类层。基于双向编码器表征模型是一个句子级别的语言模型，不需要每层加上权重做全局池化，可以直接获得一整个句子的唯一向量表示，在每个输入数据前面加一个特殊的记号[CLS]，然后让Transformer对[CLS]进行深度编码，由于Transformer是可以无视空间和距离地把全局信息编码进每个位置的，即意图特征获取自对于整个句子的理解。而[CLS]的最终隐藏层作为句子/句对的表示直接跟softmax(一种深度学习的函数)的输出层连接，因此其作为梯度反向传播路径上的关键节点，可以学到整个输入数据的上层特征。
对于实体特征，在实体识别的任务上，取基于双向编码器表征模型的训练模型最后一层每个单词的隐藏层表示hn，n为文本序列长度，不同的样本语句文本序列长度一般不同，hn同样是一个数据矩阵。将hn送入基于双向编码器表征模型的训练模型中最后一个实体分类层，具体为NER标签集合的分类层，获取到计算机能够处理的实体特征。实体特征是通过识别句子当中的每个单词或词语确定的。
S122：根据样本语句的意图特征、以及最后一个意图分类层的加权参数矩阵和偏置参数，确定出样本语句的意图预测结果。
可选地，根据矩阵hl，以及基于双向编码器表征模型的最后一个意图分类层的加权参数矩阵W和偏置参数b，获取到用公式(1)表达的意图预测结果：
yi＝oftmax(Wihl+bi)， 公式(1)。
S123：根据样本语句的实体特征、以及最后一个实体分类层的加权参数矩阵和偏置参数，确定出样本语句的实体预测结果。
可选地，本申请中步骤S122与S123之间不存在严格的执行顺序，可以同时执行，也可以一个步骤先执行另一个步骤后执行。
可选地，根据矩阵hn，以及基于双向编码器表征模型的最后一个实体分类层的加权参数矩阵Ws和偏置参数bs，获取到用公式(2)表达的实体预测结果：
Figure BDA0002329438450000101
Figure BDA0002329438450000102
为样本语句中第n个实体标记数据的实体预测结果，N为该样本语句的实体标记数据的总数。
S124：根据样本语句的基于未知量条件下的意图预测结果的概率、以及基于未知量条件下的实体预测结果的概率，确定出训练模型的目标函数。
基于双向编码器表征模型的训练模型中基于最后一个意图分类层的加权参数矩阵W，以及最后一个实体分类层的加权参数矩阵Ws中参数并未最终确定，而是需要通过训练进行调整，通过意图预测结果的概率和实体预测结果的概率，获取到用公式(3)表示的基于双向编码器表征模型的训练模型的目标函数。
Figure BDA0002329438450000103
式中x为输入的文本序列，即样本语句。
S125：调整基于双向编码器表征模型中的参数，使得目标函数达到最大值且预设任务分类层中的联合损失函数达到最小，得到基于双向编码器表征模型。
可选地，选取交叉熵损失函数进行处理，分别确定出意图特征的损失函数lossi，以公式(4)表达，和实体特征的损失函数losss，以公式(5)表达，并且获取到用公式(6)表达的基于双向编码器表征模型的训练模型的联合损失函数。
Figure BDA0002329438450000111
式中K为样本语句中意图特征的数量，ti为意图特征的标签。
Figure BDA0002329438450000112
式中J为样本语句中实体特征的数量。
loss＝lossi+losss，公式(6)。
由于各样本语句中意图信息和实体信息都是已知的，将上述公式(3)得到的目标函数最大值以及公式(6)得到的损失函数最小值与已知的意图信息和实体信息对应，能够获知基于双向编码器表征模型在训练之前还未知的参量，即将公式(1)和公式(2)中的未知量求解出来，再放入公式(1)和公式(2)，以及后续基于双向编码器表征模型的各项公式之中，从而获取到能够用作语义识别的基于双向编码器表征模型。
在本申请的另一个实施例中，根据样本语句的意图特征、以及最后一个意图分类层的加权参数矩阵和偏置参数，确定出样本语句的意图预测结果的步骤，包括：
将意图特征接入TextCNN(Convolutional Neural Networks，文本卷积神经网络)模型，确定收敛处理后的意图特征；
根据样本语句的实体特征、以及最后一个实体分类层的加权参数矩阵和偏置参数，确定出样本语句的实体预测结果的步骤，包括：
将实体特征接入神经网络的条件随机场层和/或BiLSTM(Bi-directionalLongShort-Term Memory，双向长短记忆网络)层，通过BiLSTM层确定实体特征的标签概率，通过条件随机场层确定具有预设约束信息的实体信息。
在上述实施例中，通过基于双向编码器表征模型进行意图信息识别过程中，可以将最后一个意图分类层池化后输出的意图特征接入TextCNN模型，TextCNN在快速进行文本分类的工作上效果显著，因而可以加速整个基于双向编码器表征模型的收敛速度。通过基于双向编码器表征模型进行实体信息识别过程中，可将基于双向编码器表征模型最后一个实体分类层表示，接入CRF(Conditional Random Field，条件随机场)层或者BiLSTM+CRF层，BiLSTM层可以预测每一个实体特征的所属标签概率，而CRF层可以为输出的实体信息加入约束关系，从而保证预测标签的合法性，进一步提高实体信息识别的准确性。
语义识别的进行，往往伴随相关的语言处理任务，在实际应用场景中，例如人工智能客服，准确解答顾客的各种咨询，或者应用于信息检索领域，通过用户提供的自然语言写成的检索语句，给出准确答案。在本申请的某些可行的实施例中，根据实体信息和意图信息，确定目标语句的涵义的步骤之后，还包括：
根据实体信息，检索目标数据库，确定若干条候选目标信息；
根据意图信息和候选目标信息，确定最终目标信息。
本实施例提供的方案可以服务于多种形式的问答，例如，在基于数据库的艺术领域问答项目上，基于双向编码器表征模型预测的实体信息可以作为关键词进行答案索引，而相应的意图信息可以作为属性值确定最终的候选答案。
在本申请的另一些可行的实施例中，根据实体信息和意图信息，确定目标语句的涵义的步骤之后，还包括：
根据实体信息和意图信息，检索知识图谱，确定最终目标信息。在基于知识图谱的问答系统上，利用实体信息和意图信息构成查询语句，获取答案。
第二个方面，本申请提供了一种语义识别装置10，如图5所示，包括获取模块11、识别模块12和输出模块13。获取模块11用于获取待识别的目标语句并输入基于双向编码器表征模型。获取模块11不仅用于获取目标语句，而且用于将目标语句输入到基于双向编码器表征模型中。识别模块12用于运行基于双向编码器表征模型，确定目标语句的实体信息和意图信息。输出模块13用于根据实体信息和意图信息，确定目标语句的涵义。
本申请提供的语义识别装置，通过执行上述语义识别方法，将需要识别的目标语句输入到完成训练的基于双向编码器表征模型之中，确定出目标语句的实体信息和意图信息，完成目标语句涵义的理解，由于能够同时完成“实体识别”和“意图理解”，将原本需要两个理解环节的处理方式改进为只具有一个理解环节的处理方式，大幅度提高了语句含义的识别效率。
基于双向编码器表征模型通过一定的预先训练得到，本申请提供的语义识别装置还包括训练模块14，如图6所示，训练模块14包括：
标记单元14a，用于获取若干样本语句，该样本语句包含以若干特征标记分别进行分类标记的字段。
模型训练单元14b，用于根据各样本语句、以及基于双向编码器表征模型的训练模型，确定基于双向编码器表征模型；基于双向编码器表征模型的训练模型为在基于双向编码器表征模型的最后一层之后加上预设任务分类层。
训练模块14与识别模块12连接，通过训练模块14向识别模块12提供训练好的基于双向编码器表征模型，训练模块14也能应用识别模块12处理后的数据，对训练模块14中的基于双向编码器表征模型的训练模型进行反馈调整。
本实施例的语义识别装置可执行本申请实施例所提供的语义识别方法的各种可选实施方式，其实现原理相类似，此处不再赘述。
为便于理解本申请的技术方案以及语义识别装置的工作原理，现以本申请提供的语义识别方法及语义识别装置在艺术类问答活动中的应用作为案例加以说明：
如图7所示，在语义识别的工作进行之前，需要对未经过调整的基于双向编码器表征模型进行训练，例如输入的样本语句为“出生于1824年的法国画家布丹有哪些代表作”，采用B-entity_type、I-entity_type、O、以及[##WordPiece]等特征标记进行标注。图中，实体分类标记B-PER表示画家布丹这一实体信息的开头，实体分类标记I-PER表示画家布丹这一实体信息的中间部分，实体分类标记B-TIM表示时间实体信息的开头，实体分类标记I-TIM表示时间实体信息的中间部分，而单词分类标记[##WordPiece]表示被分词分开的单词片段，它作为一个特殊标记，在模型中也会被预测出来。意图分类标记“代表作”表示整个句子的意图信息，即这句话问的是法国画家布丹的代表作品有哪些，意图信息和实体信息的标记序列中间以\t分开。如图8所示，图示的是针对原始数据进行BERT分词后，得到预测结果并提取出实体信息的过程。
在对自然语言的向量转换过程中，如图9所示，例如对“点播达芬奇蒙娜丽莎”进行向量转换，基于双向编码器表征模型对这一样本语句，以特殊标记[CLS]对应最终隐藏状态层的池化后的输出矩阵，开头[CLS]和结尾[SEP]会被插入到标记化后的结果中，为后面的分类任务和划分句子对服务。
对于艺术领域问答系统的答案提取，如图10所示，对于前述的问答题目，即“出生于1824年的法国画家布丹有哪些代表作”这一问题，获取答案的过程为，将问题传入到基于双向编码器表征模型之中，通过基于双向编码器表征模型识别出实体和意图，一方面采用数据库，以“布丹”作为关键词进行答案检索，以“代表作”作为问题的属性值确定候选答案并输出。另一方面采用知识图谱，利用“布丹和代表作”作为查询语句，获取答案并输出。然后，融合两种途径得出的具体答案进行合并输出。
基于同一发明构思，本申请的一实施例中提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序被配置用于：实现如本申请任一实施例所示的语义识别方法。
与现有技术相比，本申请提供的电子设备能够同时执行实体信息识别和意图信息识别，改变了人工智能领域中对于自然语言的语义识别的处理结构，大幅度提高了人工智能对于语句含义的识别效率。
在一个可选实施例中提供了一种电子设备，如图11所示，电子设备1000包括：处理器1001和存储器1003。其中，处理器1001和存储器1003相连，如通过总线1002相连。可选地，电子设备1000还可以包括收发器1004。需要说明的是，实际应用中收发器1004不限于一个，该电子设备1000的结构并不构成对本申请实施例的限定。
处理器1001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1002可包括一通路，在上述组件之间传送信息。总线1002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器1003用于存储执行本申请方案的应用程序代码，并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
其中，电子设备包括但不限于：手机、平板电脑、台式计算机等。
本申请又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序在计算机上运行时，使得计算机可以实现前述方法实施例中相应内容。与现有技术相比，同时执行实体信息识别和意图信息识别，改变了人工智能领域中对于自然语言的语义识别的处理结构，大幅度提高了语句含义识别的识别效率。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种语义识别方法，其特征在于，包括：
获取待识别的目标语句并输入基于双向编码器表征模型；
运行所述基于双向编码器表征模型，确定所述目标语句的实体信息和意图信息；
根据所述实体信息和所述意图信息，确定所述目标语句的涵义。
2.根据权利要求1所述的语义识别方法，其特征在于，所述基于双向编码器表征模型是通过下述方式预先训练得到的，包括：
获取若干样本语句，所述样本语句包含以若干类特征标记分别进行分类标记的字段；
根据各所述样本语句、以及基于双向编码器表征模型的训练模型，确定所述基于双向编码器表征模型；所述基于双向编码器表征模型的训练模型为在所述基于双向编码器表征模型的最后一层之后加上预定任务分类层。
3.根据权利要求2所述的语义识别方法，其特征在于，所述特征标记包括实体类别标记和意图类别标记；
所述获取若干样本语句，所述样本语句包含以若干类特征标记分别进行分类标记的字段的步骤，包括：
将所述样本语句中实体信息对应的字段，标记为实体标记数据，将所述样本语句中意图信息对应的字段，标记为意图标记数据；
所述实体标记数据和所述意图标记数据之间以预设符号间隔。
4.根据权利要求3所述的语义识别方法，其特征在于，所述根据各所述样本语句、以及基于双向编码器表征模型的训练模型，确定所述基于双向编码器表征模型的步骤，包括：
将每个所述样本语句输入所述训练模型，使得所述样本语句的意图标记数据，转化成所述训练模型中最后一个意图分类层池化后输出的意图特征，并使得所述样本语句的实体标记数据，转化成所述训练模型中最后一个实体分类层输出的实体特征；
根据所述样本语句的意图特征、以及所述最后一个意图分类层的加权参数矩阵和偏置参数，确定出所述样本语句的意图预测结果；
根据所述样本语句的实体特征、以及所述最后一个实体分类层的加权参数矩阵和偏置参数，确定出所述样本语句的实体预测结果；
根据所述样本语句的基于未知量条件下的意图预测结果的概率、以及基于所述未知量条件下的实体预测结果的概率，确定出所述训练模型的目标函数；
调整所述基于双向编码器表征模型中的参数，使得所述目标函数达到最大值且所述预定任务分类层中的联合损失函数达到最小，得到所述基于双向编码器表征模型。
5.根据权利要求4所述的语义识别方法，其特征在于，所述根据所述样本语句的意图特征、以及所述最后一个意图分类层的加权参数矩阵和偏置参数，确定出所述样本语句的意图预测结果的步骤，包括：
将所述意图特征接入TextCNN模型，确定收敛处理后的意图特征；
所述根据所述样本语句的实体特征、以及所述最后一个实体分类层的加权参数矩阵和偏置参数，确定出所述样本语句的实体预测结果的步骤，包括：
将所述实体特征接入神经网络的条件随机场层和/或BiLSTM层，通过所述BiLSTM层确定所述实体特征的标签概率，通过所述条件随机场层确定具有预设约束信息的实体信息。
6.根据权利要求2所述的语义识别方法，其特征在于，所述特征标记还包括单词类别标记；
所述获取若干样本语句，所述样本语句包含以若干类特征标记分别进行分类标记的字段的步骤，包括：
所述样本语句中实体信息和意图信息之外的单词信息对应的字段以所述单词类别标记，标记为单词数据；
将所述单词数据从所述样本语句中删除，记录删除的所述单词数据在所述样本语句中的位置信息。
7.根据权利要求1所述的语义识别方法，其特征在于，所述根据所述实体信息和所述意图信息，确定所述目标语句的涵义的步骤之后，还包括：
根据所述实体信息，检索目标数据库，确定若干条候选目标信息；
根据所述意图信息和所述候选目标信息，确定最终目标信息。
8.根据权利要求1所述的语义识别方法，其特征在于，所述根据所述实体信息和所述意图信息，确定所述目标语句的涵义的步骤之后，还包括：
根据所述实体信息和所述意图信息，检索知识图谱，确定最终目标信息。
9.一种语义识别装置，其特征在于，包括：
获取模块，用于获取待识别的目标语句并输入基于双向编码器表征模型；
识别模块，用于运行所述基于双向编码器表征模型，确定所述目标语句的实体信息和意图信息；
输出模块，用于根据所述实体信息和所述意图信息，确定所述目标语句的涵义。
10.一种电子设备，其特征在于，包括：
处理器；
存储器，与所述处理器电连接；
至少一个程序，被存储在所述存储器中并被配置为由所述处理器执行，所述至少一个程序被配置用于：实现如权利要求1～8中任一项所述的语义识别方法。
11.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当所述计算机指令在计算机上运行时，实现如上述权利要求1～8中任一项所述的语义识别方法。
CN201911330528.4A 2019-12-20 2019-12-20 语义识别方法、装置、电子设备及计算机可读存储介质 Active CN111125331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911330528.4A CN111125331B (zh) 2019-12-20 2019-12-20 语义识别方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911330528.4A CN111125331B (zh) 2019-12-20 2019-12-20 语义识别方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111125331A true CN111125331A (zh) 2020-05-08
CN111125331B CN111125331B (zh) 2023-10-31

Family

ID=70501101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911330528.4A Active CN111125331B (zh) 2019-12-20 2019-12-20 语义识别方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111125331B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753553A (zh) * 2020-07-06 2020-10-09 北京世纪好未来教育科技有限公司 语句类型识别方法、装置、电子设备和存储介质
CN111783471A (zh) * 2020-06-29 2020-10-16 中国平安财产保险股份有限公司 自然语言的语义识别方法、装置、设备及存储介质
CN112164391A (zh) * 2020-10-16 2021-01-01 腾讯科技（深圳）有限公司 语句处理方法、装置、电子设备及存储介质
CN112214588A (zh) * 2020-10-16 2021-01-12 平安国际智慧城市科技股份有限公司 多意图识别方法、装置、电子设备及存储介质
CN112257432A (zh) * 2020-11-02 2021-01-22 北京淇瑀信息科技有限公司 一种自适应意图识别方法、装置及电子设备
CN112308370A (zh) * 2020-09-16 2021-02-02 湘潭大学 一种基于Transformer的面向思政课程的主观题自动评分技术
CN112749556A (zh) * 2020-08-04 2021-05-04 腾讯科技（深圳）有限公司 多语言模型的训练方法和装置、存储介质和电子设备
CN112765993A (zh) * 2021-01-20 2021-05-07 上海德拓信息技术股份有限公司 语义解析方法、系统、设备及可读存储介质
CN113032560A (zh) * 2021-03-16 2021-06-25 北京达佳互联信息技术有限公司 语句分类模型训练方法、语句处理方法及设备
CN113076758A (zh) * 2021-03-19 2021-07-06 中山大学 一种面向任务型对话的多域请求式意图识别方法
CN113157892A (zh) * 2021-05-24 2021-07-23 中国平安人寿保险股份有限公司 用户意图处理方法、装置、计算机设备及存储介质
CN113434656A (zh) * 2021-07-21 2021-09-24 广州华多网络科技有限公司 电商客服匹配方法及其相应的装置、设备、介质
CN113468307A (zh) * 2021-06-30 2021-10-01 网易（杭州）网络有限公司 文本处理方法、装置、电子设备及存储介质
CN113536793A (zh) * 2020-10-14 2021-10-22 腾讯科技（深圳）有限公司 一种实体识别方法、装置、设备以及存储介质
CN113673247A (zh) * 2021-05-13 2021-11-19 江苏曼荼罗软件股份有限公司 基于深度学习的实体识别方法、装置、介质及电子设备
CN113743120A (zh) * 2021-09-07 2021-12-03 湖北亿咖通科技有限公司 语句处理方法及装置
CN113761921A (zh) * 2020-06-05 2021-12-07 北京金山数字娱乐科技有限公司 一种基于双任务模型的词语处理方法及装置
CN113823300A (zh) * 2021-09-18 2021-12-21 京东方科技集团股份有限公司 语音处理方法及装置、存储介质、电子设备
CN114036956A (zh) * 2021-11-18 2022-02-11 清华大学 一种旅游知识语义分析方法及装置
CN114238644A (zh) * 2022-02-22 2022-03-25 北京澜舟科技有限公司 一种降低语义识别计算量的方法、系统及存储介质
CN114254593A (zh) * 2020-09-23 2022-03-29 中移动信息技术有限公司 问题语句的处理方法、装置、设备及计算机存储介质
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114417873A (zh) * 2022-01-17 2022-04-29 软通动力信息技术(集团)股份有限公司 一种少样本实体识别方法、装置、介质及设备
CN114692631A (zh) * 2020-12-28 2022-07-01 株式会社理光 命名实体的识别方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN110309511A (zh) * 2019-07-04 2019-10-08 哈尔滨工业大学 基于共享表示的多任务语言分析系统及方法
CN110442676A (zh) * 2019-07-02 2019-11-12 北京邮电大学 基于多轮对话的专利检索方法及装置
CN110472029A (zh) * 2019-08-01 2019-11-19 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN110442676A (zh) * 2019-07-02 2019-11-12 北京邮电大学 基于多轮对话的专利检索方法及装置
CN110309511A (zh) * 2019-07-04 2019-10-08 哈尔滨工业大学 基于共享表示的多任务语言分析系统及方法
CN110472029A (zh) * 2019-08-01 2019-11-19 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIAN CHEN等: "BERT for Joint Intent Classification and Slot Filling" *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761921A (zh) * 2020-06-05 2021-12-07 北京金山数字娱乐科技有限公司 一种基于双任务模型的词语处理方法及装置
CN111783471B (zh) * 2020-06-29 2024-05-31 中国平安财产保险股份有限公司 自然语言的语义识别方法、装置、设备及存储介质
CN111783471A (zh) * 2020-06-29 2020-10-16 中国平安财产保险股份有限公司 自然语言的语义识别方法、装置、设备及存储介质
CN111753553A (zh) * 2020-07-06 2020-10-09 北京世纪好未来教育科技有限公司 语句类型识别方法、装置、电子设备和存储介质
US11775769B2 (en) 2020-07-06 2023-10-03 Beijing Century Tal Education Technology Co., Ltd. Sentence type recognition method and apparatus, electronic device, and storage medium
CN112749556A (zh) * 2020-08-04 2021-05-04 腾讯科技（深圳）有限公司 多语言模型的训练方法和装置、存储介质和电子设备
CN112749556B (zh) * 2020-08-04 2022-09-13 腾讯科技（深圳）有限公司 多语言模型的训练方法和装置、存储介质和电子设备
CN112308370A (zh) * 2020-09-16 2021-02-02 湘潭大学 一种基于Transformer的面向思政课程的主观题自动评分技术
CN112308370B (zh) * 2020-09-16 2024-03-05 湘潭大学 一种基于Transformer的面向思政课程的主观题自动评分方法
CN114254593A (zh) * 2020-09-23 2022-03-29 中移动信息技术有限公司 问题语句的处理方法、装置、设备及计算机存储介质
CN113536793A (zh) * 2020-10-14 2021-10-22 腾讯科技（深圳）有限公司 一种实体识别方法、装置、设备以及存储介质
CN112164391B (zh) * 2020-10-16 2024-04-05 腾讯科技（深圳）有限公司 语句处理方法、装置、电子设备及存储介质
CN112214588B (zh) * 2020-10-16 2024-04-02 深圳赛安特技术服务有限公司 多意图识别方法、装置、电子设备及存储介质
CN112214588A (zh) * 2020-10-16 2021-01-12 平安国际智慧城市科技股份有限公司 多意图识别方法、装置、电子设备及存储介质
CN112164391A (zh) * 2020-10-16 2021-01-01 腾讯科技（深圳）有限公司 语句处理方法、装置、电子设备及存储介质
CN112257432A (zh) * 2020-11-02 2021-01-22 北京淇瑀信息科技有限公司 一种自适应意图识别方法、装置及电子设备
CN114692631A (zh) * 2020-12-28 2022-07-01 株式会社理光 命名实体的识别方法、装置及计算机可读存储介质
CN112765993A (zh) * 2021-01-20 2021-05-07 上海德拓信息技术股份有限公司 语义解析方法、系统、设备及可读存储介质
CN113032560A (zh) * 2021-03-16 2021-06-25 北京达佳互联信息技术有限公司 语句分类模型训练方法、语句处理方法及设备
CN113032560B (zh) * 2021-03-16 2023-10-27 北京达佳互联信息技术有限公司 语句分类模型训练方法、语句处理方法及设备
CN113076758A (zh) * 2021-03-19 2021-07-06 中山大学 一种面向任务型对话的多域请求式意图识别方法
CN113076758B (zh) * 2021-03-19 2023-03-14 中山大学 一种面向任务型对话的多域请求式意图识别方法
CN113673247A (zh) * 2021-05-13 2021-11-19 江苏曼荼罗软件股份有限公司 基于深度学习的实体识别方法、装置、介质及电子设备
CN113157892A (zh) * 2021-05-24 2021-07-23 中国平安人寿保险股份有限公司 用户意图处理方法、装置、计算机设备及存储介质
CN113468307B (zh) * 2021-06-30 2023-06-30 网易（杭州）网络有限公司 文本处理方法、装置、电子设备及存储介质
CN113468307A (zh) * 2021-06-30 2021-10-01 网易（杭州）网络有限公司 文本处理方法、装置、电子设备及存储介质
CN113434656B (zh) * 2021-07-21 2023-04-25 广州华多网络科技有限公司 电商客服匹配方法及其相应的装置、设备、介质
CN113434656A (zh) * 2021-07-21 2021-09-24 广州华多网络科技有限公司 电商客服匹配方法及其相应的装置、设备、介质
CN113743120B (zh) * 2021-09-07 2023-07-11 亿咖通(湖北)技术有限公司 语句处理方法及装置
CN113743120A (zh) * 2021-09-07 2021-12-03 湖北亿咖通科技有限公司 语句处理方法及装置
CN113823300A (zh) * 2021-09-18 2021-12-21 京东方科技集团股份有限公司 语音处理方法及装置、存储介质、电子设备
CN113823300B (zh) * 2021-09-18 2024-03-22 京东方科技集团股份有限公司 语音处理方法及装置、存储介质、电子设备
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114281959B (zh) * 2021-10-27 2024-03-19 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114036956A (zh) * 2021-11-18 2022-02-11 清华大学 一种旅游知识语义分析方法及装置
CN114417873A (zh) * 2022-01-17 2022-04-29 软通动力信息技术(集团)股份有限公司 一种少样本实体识别方法、装置、介质及设备
CN114238644A (zh) * 2022-02-22 2022-03-25 北京澜舟科技有限公司 一种降低语义识别计算量的方法、系统及存储介质

Also Published As

Publication number Publication date
CN111125331B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111125331B (zh) 语义识别方法、装置、电子设备及计算机可读存储介质
CN111444320B (zh) 文本检索方法、装置、计算机设备和存储介质
CN112528034B (zh) 一种基于知识蒸馏的实体关系抽取方法
CN110737758A (zh) 用于生成模型的方法和装置
CN112101040B (zh) 一种基于知识图谱的古代诗词语义检索方法
CN112528672A (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
CN104615589A (zh) 训练命名实体识别模型的方法、命名实体识别方法及装置
CN112149421A (zh) 一种基于bert嵌入的软件编程领域实体识别方法
CN110309511B (zh) 基于共享表示的多任务语言分析系统及方法
CN111666758A (zh) 中文分词方法、训练设备以及计算机可读存储介质
CN111738002A (zh) 基于Lattice LSTM的古文领域命名实体识别方法和系统
CN112528649A (zh) 针对多语言混合文本的英文拼音识别方法和系统
CN115600597A (zh) 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN111666374A (zh) 一种在深度语言模型中融入额外知识信息的方法
CN112528003B (zh) 一种基于语义排序和知识修正的多项选择问答方法
CN110377691A (zh) 文本分类的方法、装置、设备及存储介质
CN112667819A (zh) 一种实体描述推理知识库构建与推理证据量化信息获取方法和装置
CN113468311B (zh) 一种基于知识图谱的复杂问句问答方法、装置及存储介质
CN115186105A (zh) 实体链接方法及装置
KR20230103009A (ko) 인공지능을 이용한 수학 문제 자동 풀이 방법 및 장치
Sharma et al. EXPLORING THE ROLE OF GENERATIVE MODELS IN NATURAL LANGUAGE UNDERSTANDING
CN113673247A (zh) 基于深度学习的实体识别方法、装置、介质及电子设备
Wu et al. Analyzing the Application of Multimedia Technology Assisted English Grammar Teaching in Colleges
Zaib et al. Learning to select the relevant history turns in conversational question answering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant