CN111026842A - 自然语言处理方法、自然语言处理装置及智能问答系统 - Google Patents

自然语言处理方法、自然语言处理装置及智能问答系统 Download PDF

Info

Publication number
CN111026842A
CN111026842A CN201911204367.4A CN201911204367A CN111026842A CN 111026842 A CN111026842 A CN 111026842A CN 201911204367 A CN201911204367 A CN 201911204367A CN 111026842 A CN111026842 A CN 111026842A
Authority
CN
China
Prior art keywords
information
sequence
knowledge
text
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911204367.4A
Other languages
English (en)
Other versions
CN111026842B (zh
Inventor
彭建博
罗剑波
朱涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimin Insurance Agency Co Ltd
Original Assignee
Weimin Insurance Agency Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimin Insurance Agency Co Ltd filed Critical Weimin Insurance Agency Co Ltd
Priority to CN201911204367.4A priority Critical patent/CN111026842B/zh
Publication of CN111026842A publication Critical patent/CN111026842A/zh
Application granted granted Critical
Publication of CN111026842B publication Critical patent/CN111026842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例涉及一种自然语言处理方法、自然语言处理装置及智能问答系统。该方法包括：预处理接收的文本信息，形成由若干个单词组成的文本序列；在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息；将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列；计算意图上下文信息并确定所述融合序列的意图；计算槽位上下文信息；结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息并确定所述融合序列中每一个单词所属的槽位；通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。其融合了预设的知识图谱中的实体信息，可以有效的提升计算对在特定专业领域的分析和理解能力。

Description

自然语言处理方法、自然语言处理装置及智能问答系统
【技术领域】
本申请涉及自然语言处理技术领域，尤其涉及一种自然语言处理方法、自然语言处理装置及智能问答系统。
【背景技术】
“自然语言处理”是现今人工智能领域中非常重要的一个分支，其目标在于赋予计算机理解人类语言的能力，令人类语言可以用结构化的数据或者特征向量来表示。随着人工智能技术的不断发展，其开始广泛的应用在诸如客服系统等的多种应用场景中，替代了大量的人工操作。
以自动问答客服系统为例，现有的解决方案大致可以分为垂直搜索、社区建设以及问答机器人三大类型。其中，问答机器人是基于自然语言处理等技术而建立的机器人。由于其可以模拟人类的交互行为，全天候的为用户提供应答服务，因此备受人们的青睐。
在实现本申请的过程中，发明人发现现有技术存在如下问题：现有的问答机器人受限于自然语言处理算法的性能，无法很好的理解用户的语言，尤其是在特殊的专业细分领域中，机器人回答的覆盖率和精准性较差，无法很好的满足用户的需求。
【发明内容】
本申请实施例提供一种自然语言处理方法、自然语言处理装置及智能问答系统，旨在解决现有自然语言处理过程中存在的缺陷。
本申请实施例提供以下技术方案：一种文本序列的自然语言处理方法。其中，所述自然语言处理方法包括：
预处理接收的文本信息，形成由若干个单词组成的文本序列；
确定所述文本序列中包含的实体；
在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息；
将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列；
计算所述融合序列的意图上下文信息；根据所述意图上下文信息，确定所述融合序列的意图；
计算所述融合序列的槽位上下文信息；
结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息；
根据所述意图与槽位的关联信息以及所述槽位上下文信息，确定所述融合序列中每一个单词所属的槽位；
通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。
本申请另一实施例提供以下技术方案：一种自然语言处理装置。其中，所述自然语言处理装置包括：
预处理单元，用于预处理接收的文本信息，形成由若干个单词组成的文本序列；
实体提取单元，用于确定所述文本序列中包含的实体；
信息融合单元，用于在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息，并且将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列；
意图识别单元，用于计算所述融合序列的意图上下文信息；根据所述意图上下文信息，确定所述融合序列的意图；
槽位填充单元，用于计算所述融合序列的槽位上下文信息；并且结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息，根据所述意图与槽位的关联信息以及所述槽位上下文信息，确定所述融合序列中每一个单词所属的槽位；
语义输出单元，用于通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。
本申请另一实施例提供以下技术方案：一种智能问答系统。其中，所述智能问答系统包括：
提问采集装置，用于采集用户提问，形成对应的文本信息；
如上所述的自然语言处理装置，用于识别所述文本序列的意图并对所述文本序列进行槽位填充；
知识图谱搜索装置，用于将所述文本序列的意图以及槽位填充结果转换为对应的查询语句，并且在预设的知识图谱中搜索获得与所述查询语句对应的查询结果；
回答反馈装置，用于按照预设的模板，将所述查询结果整理和渲染为回答信息。
本申请另一实施例提供以下技术方案：一种电子设备。其中，该电子设备包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的自然语言处理方法。
本申请另一实施例提供以下技术方案：一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上所述的自然语言处理方法。
与现有技术相比较，本申请实施例提供的自然语言处理方法在进行意图识别和槽位填充时，结合预设知识图谱中的实体信息进行分析，可以有效的提升计算机在特定专业领域中的分析和理解能力。
而且，最终得到的槽位标注结果对于问答、推荐和用户画像建立等都能提供重要信息。识别获得的意图则可以发现用户提问背后对应的产品需求，对于准确识别用户真正的需求对于问答和推荐具有重要的意义。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请实施例的自然语言处理方法的示意图；
图2为本申请实施例提供的槽位填充与意图识别联合模型的示意图；
图3为本申请另一实施例提供的自然语言处理方法的示意图；
图4为本申请实施例提供的知识图谱的示意图；
图5为本申请实施例提供的问答机器人系统的结构示意图；
图6为本申请实施例提供的自然语言处理装置的示意图；
图7为本申请实施例提供的智能问答系统的示意图；
图8为本申请实施例提供的电子设备的示意图。
【具体实施方式】
为了便于理解本申请，下面结合附图和具体实施例，对本申请进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本申请不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
“文本序列”是指具有一定长度，用于表达特定需求的文本，其可以是来自于任何数据源的，用于各种不同语言文字书写的语句。单词是文本序列中的基本组成元素。对于文本序列的自然语言处理是指根据序列中的单词以及单词之间的关联关系，得出文本序列想要表达的用户需求的过程。
图1为本申请实施例提供的自然语言处理方法的示意图。其可以在任何类型的电子计算设备执行(如服务器或者工作站)，用以提供对文本型数据的处理和分析服务。
本实施例提供的自然语言处理方法基于深度学习的方式完成。由此，在服务器或者工作站上部署使用前，需要预先对模型进行训练，通过训练数据集学习和确定模型中的参数后才能使用。在已知模型结构的前提下，对模型的训练过程为本领域技术人员所熟知。因此，为陈述简便，不再对具体的训练过程进行详细的描述。
如图1所示，所述自然语言处理方法包括：
步骤101：预处理接收的文本信息，形成由若干个单词组成的文本序列。
在实际应用过程中，该文本信息可以是用户直接输入的文本语句。当然，该文本信息也可以来自于用户的语音转换结果或者其他方式。
“预处理”是在输入到深度学习模型前，为减少干扰和噪声信息，突出文本自身特征而针对原始文本数据进行的一系列处理步骤。通过预处理步骤，可以获得一个由多个单词按次序排列而形成的文本序列。
在一些实施例中，该预处理过程可以包括如下步骤：
首先，对所述文本序列进行分词处理，获得多个单词。分词处理是一项非常常用的处理方式，经过分词处理后的文本序列可以被切分为多个按次序排列的单词。
然后，识别并删除所述单词中的停用词。“停用词”(stop word)是一些没有实际含义，普遍存在于语句中的词语。这些词语需要在进行自然语言处理和分析前删除，以提升处理效率和避免干扰。
在实际操作过程中，可以提供预先建立的停用词表或者停用词词典来识别和删除原文本信息中包含的停用词。具体的停用词可以根据实际情况而进行设定。
步骤102：确定所述文本序列中包含的实体。
“实体”是指现实世界中具有区别性，可以独立存在的事务或者抽象概念。例如“刘德华”和“中国人”等等都可以被认为是一个实体。在一段文本序列中，可以包含有多个不同的实体。
步骤103：在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息。
“知识图谱”(knowledge graph)是用于描述现实世界中的各种实体和概念之间相互关系的网络图。其作为一个知识库，可以通过实体-关系-实体以及实体-属性-属性值等的三元数组来表达和描述具体的事实，每一个实体是一个独立的节点，通过边的方式与其他实体、属性或者属性值相关联。
其中，属性是用于描述实体，一个实体可能具有多个不同的属性，属性值是属性的取值，都是知识图谱中的节点。关系表示两个实体之间的联系关系，在知识图谱中由边来表示。
例如，北京和中国都是实体，北京和中国之间存在关系“首都”。人口是北京的其中一个属性，2063.9万是人口这一属性的属性值。
在确定文本序列中包含的实体后，可以相应的在知识图谱中寻找相同的实体，从而得到该实体的相关知识。考虑到不同的实体在知识图谱中以节点的形式存在。在本实施例中，以知识信息来表示该实体节点与其他节点(属性、属性值或者实体)之间的关联。
具体可以使用任何类型的方式构建需要使用的知识图谱，将松散的数据组织成便于计算机处理和使用的数据。例如，首先收集公开可用的结构化数据、半结构化数据和非结构化数据。然后，针对不同的数据类型，利用不同的方式从数据中提取实体、关系和属性等信息。
其中，结构化数据不需处理，可直接获得这些信息。而非结构化数据可以通过人工手动标记的方式，确定非结构化数据中的实体、关系和属性信息。半结构化数据则可以利用预设的提取规则，基于结构化部分提供的信息，从非结构化部分中提取实体、关系和属性信息。
最后，将来自各个数据源的提取结果进行融合(包括实体消歧和共指消解)，并将已提取的实体、关系和属性等信息存入图数据库，组织成知识图谱。
步骤104：将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列。
“融合序列”是指将知识图谱提供的知识信息与文本序列对应的实体进行信息融合后获得的输出序列。换言之，融合是在文本序列的单词中添加有该单词对应的实体在知识图谱中记录的知识信息。
如上所记载的，知识图谱中存在有多个不同的实体节点。知识信息就是指该实体节点在知识图谱中与其他的节点(包括实体、属性以及属性值)之间的连接关系。
例如，在知识图谱中，可以获得“刘德华”这一实体节点存在与属性节点“歌手”和“电影明星”之间的联系。由此，可以将其作为知识信息与文本序列中包含的单词“刘德华”进行信息融合。
最终获得的融合序列中，便可以确定或者理解刘德华具有歌手和电影明星两种不同的身份，从而更好的理解文本序列的含义。
通过在进行自然语言处理前，将外部知识引入文本序列的方式可以很好的帮助提升语义理解的准确性，尤其是在一些特殊的专业领域中，可以令模型更好的辨识这些专业领域中的特别术语或者特定的表达方式(例如医疗领域中各个疾病的命名)。
步骤105：计算所述融合序列的意图上下文信息。
“意图上下文信息”是指由融合序列中的不同单词之间的上下文关系体现出整个文本信息的意图的数据信息。亦即，在上下文关系中可以用于区分文本信息的意图的特征。
步骤106：根据所述意图上下文信息，确定所述融合序列的意图。
“意图”是指融合序列中所要表达的需求。例如在融合序列“告诉/我/今天/天气”中，可以认为“查询天气”是其意图。意图识别具体可以被理解为一个分类任务。该分类任务通常可以通过神经网络模型来完成。例如，首先将已经标注好意图的多个文字序列作为训练样本数据，对前馈神经网络等神经网络模型进行训练，确定神经元的参数。然后，将意图上下文信息作为输入特征，输入到已经训练完毕的神经网络模型中，得到该融合序列属于不同的意图的概率。最后，选定概率最大的意图为当前融合序列的意图。
步骤107：计算所述融合序列的槽位上下文信息。
“槽位上下文信息”与“意图上下文信息”相类似，具体是指在上下文关系中可以用于区分文本信息的意图的特征。
步骤108：结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息。
“结合”是指将两种上下文信息通过合适的权重参数或者函数进行计算，整合为一个新的，被称为“意图与槽位的关联信息”的变量。
可以理解的是，该“意图与槽位的关联信息”实际上是一种描述意图与槽位之间联系的特征。
步骤109：根据所述意图与槽位的关联信息以及所述槽位上下文信息，确定所述融合序列中每一个单词所属的槽位。
确定单词所属的槽位的计算过程也可以被简称为“槽位填充”(slot filling)。其实际上是对一个融合序列中单词的自动标注过程。
每个槽位指代某种单词类型，或者可以说是一些预先设置好的单词标签，用于说明单词的特点，如人物、动作或者无意义等。在确定单词所属的槽位以后，就可以为单词设置相应的槽位标签。
例如，对于文本序列“9月5日达到深圳”，可以将“9月”和“5日”这两个单词放入同一个槽位，类型为时间，“深圳”放入另一个槽位，类型为目的地，“到达”也放入另一个槽位，类型为动作。
槽位填充的任务可以通过任何合适的方式进行，例如基于前馈神经网络(RNN)来实现。在本实施例中，在计算单词所属的槽位时，额外引入了意图上下文信息，令模型可以学习获得槽位填充结果与意图之间的联系，提升了模型能对于文本序列的理解能力。
步骤110：通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。
根据每个单词的槽位标注结果以及计算确定的意图，可以有效的将文本信息转换为结构化数据，使得计算机可以正确的理解文本信息真正的语义，并据此作出后续的进一步操作。
技术人员可以理解的是，步骤105至步骤110是由深度学习模型执行的。融合序列作为模型的输入，经过训练好模型的计算后，可以输出融合序列的意图以及槽位填充结果，用以表示对应文本信息的语义。
具体可以使用任何结构的联合模型来实现上述步骤105至步骤110的计算过程。在一些实施例中，可以使用一种被称为“slot-gated modeling”的用于结合意图识别和槽位填充的模型。为陈述简便，以下将其简称为“槽位填充与意图识别联合模型”。
图2为本申请实施例提供的槽位填充与意图识别联合模型的结构示意图。如图2所示，所述槽位填充与意图识别联合模型主要包括：槽位填充部分10，意图识别部分20、槽位门30以及信息融合部分40。
其中，信息融合部分40用于将文本序列中包含的实体和知识图谱对应的知识信息进行融合，形成一个融合序列。
具体的，融合的过程可以基于被称为“ERNIE”(基于实体信息的自然语言增强表达模型Enhanced Language Representation with Informative Entities)来实现，可以包括如下步骤：
首先，通过样本数据的训练，确定单词权重参数、知识信息权重参数以及调节参数。然后，通过所述单词权重参数、所述知识信息权重参数以及所述调节参数，将所述向量表示的单词以及与所述单词对齐的知识信息合并为融合变量。最后，以所述融合变量作为预设的激活函数的自变量，计算获得所述预设的激活函数的因变量作为所述融合序列的其中一个元素。
在一些实施例中，可以通过如下算式(1)将实体和对应的知识信息进行融合：
hi＝σ(Wtwi+Week+b) (1)
其中，Wt，We和b分别为可通过学习训练获得的单词权重参数、知识信息权重参数以及调节参数，wi表示文本序列的第i个单词，ek表示与所述单词对齐的知识信息(每个单词可能有对应的实体，也可能没有对应的实体，在没有对应的实体时，不需要叠加知识信息而直接输出)。σ，是预设的激活函数，用于增加非线性。激活函数可以根据实际情况的需要而选择(如GELU函数)。
在信息融合部分40得到的融合序列作为模型的输入，分别会提供至意图识别部分20和槽位填充部分10，槽位门(slot-gate)30将意图识别结果引入到槽位填充的计算中。
令x＝h1，...，hT表示融合序列，联合模型中各个部分的计算过程具体如下：
在槽位填充部分，融合序列x会被映射到相应的槽位标签y，对于融合序列中的每个元素hi，通过算式(2)计算槽位的上下文向量
Figure BDA0002296625060000101
Figure BDA0002296625060000102
其中，T为融合序列长度，hj为融合序列的第j个元素，
Figure BDA0002296625060000103
由算式(3)和算式(4)计算获得。
Figure BDA0002296625060000104
Figure BDA0002296625060000105
其中，σ为激活函数，
Figure BDA0002296625060000106
为通过学习训练获得的参数，hk融合序列的第k个元素。
在意图识别部分，首先通过与算式(2)相类似的计算方式，计算获得意图识别的上下文向量cI。
然后，通过如下算式(5)计算文本序列的意图：
Figure BDA0002296625060000107
其中，yI为意图的预测结果，
Figure BDA0002296625060000108
为通过学习训练获得的参数，hT为融合序列的第T个元素。
在slot-gate部分，通过算式(6)对槽位上下文向量
Figure BDA0002296625060000109
和意图上下文向量cI进行结合，从而将意图识别的结果引入到槽位填充的计算过程中，令模型可以学习到两者之间的联系。
Figure BDA0002296625060000111
结合slot-gate部分的输出，槽位填充部分最终通过如下算式(7)计算确定融合序列中各个元素需要被放入的槽位，输出最终的槽位填充结果。
Figure BDA0002296625060000112
其中，
Figure BDA0002296625060000113
为可通过学习训练获得的参数，hi为融合序列的第T个元素，
Figure BDA0002296625060000114
表示槽位预测结果，亦即该元素被分配到各个槽位的概率。
本申请实施例提供的自然语言处理方法，通过信息融合的方式，在融合序列的实体中加入了知识图谱提供的知识信息，可以在特殊领域或者专业领域令模型具有更好的性能。而且，通过联合意图识别和槽位填充的方式，能够提供令模型学习两者之间的关系，进一步的提升了准确性。
请继续参阅图2，在进行信息融合前，通常还需要先将知识信息和单词均转换为向量表示(特征抽取50)，以提供深度学习模型所需要的底层特征向量。该向量化过程可以被通过数据编码和重解码(encoder-decoder)这样的机制实现。亦即，抽取知识信息和单词的特征，将其映射到对应的向量中。
对于文本序列而言，不同的单词之间总是会存在有依赖关系(知识图谱中的实体信息也类似)。亦即，某些单词之间是存在强联系的，通过其组合表达特定的内在含义。例如，某些句式中特定的语法特征(如英语中的强调句式it is---that---)。
在较佳实施例中，在进行向量化时，可以基于注意力机制，捕获不同的所述单词之间以及不同的所述实体信息之间的依赖关系。
注意力机制(attention机制)是指通过快速扫描，获取需要重点关注的目标区域，快速筛选出高价值信息的方式。其通常通过为注意力区域分配更大的权重来实现。
然后，根据不同的所述单词之间的依赖关系，将所述单词转换为对应的单词特征向量，以及根据不同的所述实体信息之间的依赖关系，将所述实体信息转换为对应的实体特征向量。
与使用BiLSTM(Bi-directional Long short-Term Memory)等RNN或者CNN模型进行数据形式转换(encoder-decoder)进行比较可以看出：
BiLSTM模型需要依据文本序列的次序进行计算，对于文本序列中两个距离较远之间的单词之间的依赖关系，需要经过多个时间步骤的信息才能将两者建立联系。两个单词之间的距离越远，这种依赖关系能够捕获到的概率就越低。
而基于注意力机制的计算过程中，可以计算文本序列中任意两个单词之间的依赖关系从而避免了单词距离的影响，可以快速的捕获到这些远距离的依赖关系，能够更有效的提取和利用文本序列中的特征。
具体可以使用任何基于注意力机制的数据转换模型来实现。例如，可以使用被称为“transformer”的模型来处理序列模型相关问题的工具。
本申请实施例提供的自然语言处理方法可以应用于问答机器人、推荐系统和用户画像建设等多个领域。其中，其输出的槽位填充结果可以提取用户问题中的关键信息，识别获得的意图则能够准确的识别用户自然语言描述的问题所对应的产品需求，为系统提供指导信息。
图3为本申请实施例提供的如何基于槽位填充结果和意图实现问答机器人的示意图。在本实施例中，接收到的文本信息是用户提问。如图3所示，在对用户提问的文本序列执行如上实施例所述的自然语言处理方法后，还包括如下步骤：
步骤310：按预设的规则，根据所述意图和所述单词所属的槽位，生成查询语句。
该预设的规则是由技术人员根据实际情况而设置的自定义规则，用于将槽位填充与意图识别联合模型的输出调整为可被使用的查询语句。
“查询语句”是指在特定数据集合中寻找特定数据信息的指令。其具体的形式可以根据实际情况的需要而设定。在本实施例中，查询语句是在知识图谱中进行搜索的图查询语句。
步骤320：在所述知识图谱中，搜索获得与所述查询语句对应的查询结果。
“查询结果”是在知识图谱中检索得到的，与用户提问相关的信息。具体的搜索查询过程可以根据实际情况的需要而进行设置，是一个在知识图谱中不断匹配检索的过程，可以基于广度优先或者深度优先等方式进行，在此不作赘述。
步骤330：基于所述查询结果，生成对所述用户提问的回答。
由于查询结果得到的是一些零散的数据信息。由此，可以通过预设的填充模板和渲染步骤，将其整合生成为一个完成的回答。具体生成用户回答的方式可以根据实际情况的需要而选择和设置。
依据不同行业或者使用领域的特点，需要构建具有相应结构的知识图谱以满足使用的需要。以保险行业为例，其可以被细分为许多不同的险种。这些险种都具有非常鲜明的自身特点(如健康险中的疾病名称，车险中的专业术语等)。
由此，在保险行业中应用时，所述知识图谱可以包括通用知识图谱以及多个不同的险种知识图谱。
其中，每一个险种知识图谱与一种保险类型相对应。亦即，分别为不同的保险类型(险种)设置一个独立的知识图谱。例如，为车险设置车险知识图谱，为健康险设置健康险知识图谱(图4为本申请实施例提供的健康险知识图谱的实例)。而通用知识图谱则是除去这些险种知识图谱以后的剩余部分。
相对应地，由于具有多种不同的知识图谱，所述在所述知识图谱中，搜索获得与所述查询语句对应的查询结果的步骤具体包括：
首先，通过所述意图，确定所述用户问题涉及的目标保险类型。然后，在与所述目标保险类型对应的险种知识图谱中进行检索。
当然，在实际使用过程中，也有可能不涉及到具体的保险类型。此时，则需要在所述通用知识图谱中进行检索。
在实际实现过程中，可以将用户不涉及具体的保险类型时的情况以空值来表示，在确定所述用户问题涉及的保险类型为空值时，相应的在通用知识图谱中进行检索。
综上所述，本申请实施例提供的自然语言处理方法，通过知识图谱的建立完成了对专业领域知识的抽象，对于涉及专业知识的问题提供了重要的参考资料，并且利用深度学习技术对自然描述的问题进行处理，相比传统的词法分析等技术具有更强的理解能力。
进一步地，对模型进行了改进，提升了模型对用户问题的理解能力。输出的槽位填充结果可有效提取句子中的关键信息，为精准问答、推荐系统和用户画像提供重要信息；意图识别结果则可理解用户自然语言描述问题背后的需求，为系统提供指导信息。
本申请实施例提供的自然语言处理方法可以应用在多种不同的场景中，以改善和提升计算机系统的智能化程度。图5为本申请实施例提供的自然语言处理方法在问答机器人中应用的结构示意图。
如图5所示，在该问答机器人系统中包括离线训练510和在线自动回复520两部分。
其中，离线训练部分510由训练数据集511和模型训练单元512所组成。训练数据集511是由多个已经标记好的训练数据组成的数据集合。模型训练单元512通过训练数据集511中的训练数据，对初始化的槽位填充与意图识别联合模型513进行训练，从而确定模型中需要通过学习训练获得的参数。
当初始化的槽位填充与意图识别联合模型513中所有可通过学习训练获得的参数均被训练确定以后，便可以作为训练好的槽位填充与意图识别联合模型523提供给在线自动回复部分520使用。
在线自动回复部分520是问答机器人系统的主要应用部分。其大致可以由指令采集单元521，预处理单元522，训练好的槽位填充与意图识别联合模型523，知识图谱524以及输出处理单元525组成。
请继续参阅图5，指令采集单元521可以体现为各种不同类型的文本输入框或者语音输入等(图5中以文本输入框为例)，用于接收和采集用户输入的提问语句。预处理单元522用于对这些提问语句进行分词、停用词删除等一系列的处理，形成便于处理分析的文本序列。
将预处理单元522输出的文本序列以及知识图谱524中提供的专家知识(如特殊专业名词)结合输入到训练好的槽位填充与意图识别联合模型523中，由训练好的槽位填充与意图识别联合模型523进行处理识别，输出提问语句的槽位填充结果和意图。
最后，利用提问语句的槽位填充结果和意图在知识图谱524中搜索相应的结果。将搜索到的结果作为提供给输出处理单元525，按照相应的回答模板，添加上相应的词语，例如“您”等，组织形成完整的回答语句，向用户展示。
在一具体实施例中，本申请提供的问答机器人系统应用于保险领域，具体使用过程包括以下步骤：
通过指令采集单元521以文本输入框或者语音输入等方式，接收和采集用户输入的，关于购买医疗保险的提问语句(例如，已患有糖尿病是否接受xx医疗险的投保？)，并通过预处理单元522对提问语句进行分词、停用词删除等一系列的处理，形成便于处理分析的文本序列(患有/糖尿病/是否/接受//xx医疗险/投保)。
槽位填充与意图识别联合模型523的信息融合部分根据输入的文本序列中包含的实体，在预设的知识图谱中搜索与该实体对应的知识信息并将两者进行信息融合，得到包含了知识信息的融合序列(将知识图谱记录的糖尿病这一实体节点与其他节点的关联加入到文本序列包含的实体“糖尿病”中)。
其中，信息融合的过程具体包括：首先将单词和知识信息都转换为向量表示。然后，根据单词对应的实体将单词与知识信息对齐(在知识图谱中找到“糖尿病”这一实体节点)。最后，将对齐后的单词和知识信息，通过训练好的激活函数，得到相应的输出值以组成融合序列。
融合序列被输入到意图识别部分中，通过训练好的神经网络模型学习获得融合序列的意图(判断是否满足xx医疗险的投保条件)。
另外，融合序列还被输入到槽位填充部分，进行槽位填充。在槽位填充的过程中，通过槽位门引入所述融合序列的意图与槽位填充结果之间的关系，从而最终确定融合序列中各个单词所属的槽位。
槽位填充与意图识别联合模型523最终会输出标记有所属槽位的单词以及融合序列的意图。在已知每个单词所属的槽位和意图以后，其作为一种结构化数据，可以生成查询语句(糖尿病and xx医疗险)。
在本实施例中，知识图谱分为通用知识图谱和特定险种知识图谱这两大类型，针对于不同的查询语句而设置。由此，需要首先根据意图(判断是否满足xx医疗险的投保条件)来确定生成的查询语句是否与保险相关。
若确定查询语句不与保险相关，则在通用知识图谱中进行搜索，确定查询语句的搜索结果。若确定查询语句与保险相关(xx医疗险)，则在目标保险类型对应的险种知识图谱中进行搜索，确定查询语句的搜索结果。
搜索结果(xx医疗险这一实体节点与其属性节点“投保条件”下包含的多个属性值，糖尿病这一实体节点与其关联实体节点“慢性病”)可以提供给输出处理单元525，生成对所述用户提问的回答。
具体的，输出处理单元525按照相应的回答模板，添加上相应的词语，例如“您”“可以”或者“而”等助词，组织形成完整的回答语句，向用户展示(xx医疗险的投保条件包括xxxxx以及不患有慢性病，而糖尿病是慢性病的一种)。
图6为本申请实施例提供的自然语言处理装置600的示意图。在一些实施例中，该自然语言处理装置600可以在服务器、工作站等电子计算设备上部署，用以提供相应的自然语言处理服务。如图6所示，该自然语言处理装置600可以包括：预处理单元610，实体提取单元620、信息融合单元630，意图识别单元640，槽位填充单元650以及语义输出单元660。
其中，预处理单元610用于预处理接收的文本信息，形成由若干个单词组成的文本序列。实体提取单元620用于确定所述文本序列中包含的实体。信息融合单元630用于在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息，并且将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列。意图识别单元640用于计算所述融合序列的意图上下文信息；根据所述意图上下文信息，确定所述融合序列的意图。槽位填充单元650用于计算所述融合序列的槽位上下文信息；并且结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息，根据所述意图与槽位的关联信息以及所述槽位上下文信息，确定所述融合序列中每一个单词所属的槽位。语义输出单元660用于通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。
该自然语言处理装置利用深度学习技术对自然语言描述的问题进行处理，相比传统的词法分析等技术具有更强的理解能力，可以用于问答机器人、推荐系统和用户画像建设等领域。
在可选的实施例中，该预处理单元610具体用于；对所述文本信息进行分词处理，获得多个单词；识别并删除所述单词中的停用词。
在可选的实施例中，该信息融合单元620具体用于：将所述知识信息与所述单词转换为向量表示；令所述单词以及与所述单词对齐的知识信息进行信息融合，生成所述融合序列中的元素。
在可选的实施例中，该信息融合单元620在将所述实体信息与所述单词转换为向量表示时，具体用于：
基于注意力机制，捕获不同的所述单词之间以及不同的所述实体信息之间的依赖关系；根据不同的所述单词之间的依赖关系，将所述单词转换为对应的单词特征向量；并且根据不同的所述实体信息之间的依赖关系，将所述实体信息转换为对应的实体特征向量。
在可选的实施例中，在可选的实施例中，该信息融合单元620在令所述单词以及与所述单词对齐的实体进行信息融合，生成所述融合序列中的元素时，具体用于：
通过样本数据的训练，确定单词权重参数、知识信息权重参数以及调节参数；
通过所述单词权重参数、所述知识信息权重参数以及所述调节参数，将所述向量表示的单词以及与所述单词对齐的知识信息合并为融合变量；
以所述融合变量作为预设的激活函数的自变量，计算获得所述预设的激活函数的因变量作为所述融合序列的其中一个元素。
图7为本申请实施例提供的智能问答系统700的示意图。该智能问答系统700基于图6所述的自然语言处理装置600实现，可以自动对用户提问做出精准的回答。如图7所示，该智能问答系统包括：提问采集装置710，自然语言处理装置600，知识图谱搜索装置730以及回答反馈装置740。
其中，提问采集装置710用于采集用户提问，形成对应的文本序列，自然语言处理装置720用于识别所述文本序列的意图并对所述文本序列进行槽位填充，知识图谱搜索装置730用于将所述文本序列的意图以及槽位填充结果转换为对应的查询语句，并且在预设的知识图谱中搜索获得与所述查询语句对应的查询结果，回答反馈装置740用于按照预设的模板，将所述查询结果整理和渲染为回答信息。
该智能问答系统基于深度学习模型完成对用户问题的理解后，将自然语言描述的问题转换为图查询语句，根据意图识别结果在对应图谱中检索并返回答案，可以提供精确的回答，具有较好的使用体验。
本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的自然语言处理自然语言处理方法。
图8示出了本申请电子设备实施例的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图8所示，该电子设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。通信接口804，用于与其它设备比如客户端或其它服务器等的网元通信。处理器802，用于执行程序810，具体可以执行上述自然语言处理方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。高并发处理设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行如上所述的自然语言处理方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种自然语言处理方法，其特征在于，包括：
预处理接收的文本信息，形成由若干个单词组成的文本序列；
确定所述文本序列中包含的实体；
在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息；
将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列；
计算所述融合序列的意图上下文信息；
根据所述意图上下文信息，确定所述融合序列的意图；
计算所述融合序列的槽位上下文信息；
结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息；
根据所述意图与槽位的关联信息以及所述槽位上下文信息，确定所述融合序列中每一个单词所属的槽位；
通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。
2.根据权利要求1所述的方法，其特征在于，所述预处理接收的文本信息，具体包括：
对所述文本信息进行分词处理，获得多个单词；
识别并删除所述单词中的停用词。
3.根据权利要求2所述的方法，其特征在于，所述将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列，具体包括：
根据所述文本序列中的单词所对应的实体，将所述知识信息与所述文本序列中的单词对齐；
将所述知识信息与所述文本序列中的单词均转换为向量表示；
令所述向量表示的单词与所述单词对齐的知识信息进行信息融合，生成所述融合序列。
4.根据权利要求3所述的方法，其特征在于，所述将所述知识信息与所述文本序列中的单词均转换为向量表示，具体包括：
基于注意力机制，捕获不同的所述单词之间的依赖关系，以及不同的所述知识信息之间的依赖关系；
根据不同的所述单词之间的依赖关系，将所述单词转换为对应的单词特征向量；并且
根据不同的所述知识信息之间的依赖关系，将所述知识信息转换为对应的知识特征向量。
5.根据权利要求3所述的方法，其特征在于，所述令所述向量表示的单词与所述单词对齐的知识信息进行信息融合，生成所述融合序列，具体包括：
通过样本数据的训练，确定单词权重参数、知识信息权重参数以及调节参数；
通过所述单词权重参数、所述知识信息权重参数以及所述调节参数，将所述向量表示的单词以及与所述单词对齐的知识信息合并为融合变量；
以所述融合变量作为预设的激活函数的自变量，计算获得所述预设的激活函数的因变量作为所述融合序列的其中一个元素。
6.根据权利要求1所述的方法，其特征在于，在所述文本信息为用户提问时，所述方法还包括：
按预设的规则，将所述单词所属的槽位以及意图转换为查询语句；
在所述知识图谱中，搜索获得与所述查询语句对应的查询结果；
基于所述查询结果，生成对所述用户提问的回答。
7.根据权利要求6所述的方法，其特征在于，所述知识图谱包括通用知识图谱以及多个不同的险种知识图谱；每一个险种知识图谱与一种保险类型相对应；
所述在所述知识图谱中，搜索获得与所述查询语句对应的查询结果，具体包括：
通过所述意图，确定所述用户问题涉及的目标保险类型；
在与所述目标保险类型对应的险种知识图谱中进行检索；
在所述用户问题不涉及特定的保险类型时，在所述通用知识图谱中进行检索。
8.一种自然语言处理装置，其特征在于，包括：
预处理单元，用于预处理接收的文本信息，形成由若干个单词组成的文本序列；
实体提取单元，用于确定所述文本序列中包含的实体；
信息融合单元，用于在预设的知识图谱中，获取所述文本序列中包含的实体的知识信息，并且将所述知识信息与所述文本序列中对应的实体进行融合，生成融合序列；
意图识别单元，用于计算所述融合序列的意图上下文信息；根据所述意图上下文信息，确定所述融合序列的意图；
槽位填充单元，用于计算所述融合序列的槽位上下文信息；并且结合所述意图上下文信息与所述槽位上下文信息，生成意图与槽位的关联信息，根据所述意图与槽位的关联信息以及所述槽位上下文信息，确定所述融合序列中每一个单词所属的槽位；
语义输出单元，用于通过所述单词所属的槽位以及所述融合序列的意图，确定所述文本信息的语义。
9.一种智能问答系统，其特征在于，包括：
提问采集装置，用于采集用户提问，形成对应的文本信息；
如权利要求8所述的自然语言处理装置，用于获得所述文本信息的意图以及每个单词所属的槽位以确定所述文本信息的语义；
知识图谱搜索装置，用于将所述意图以及每个单词所属的槽位转换为对应的查询语句，并且在预设的知识图谱中搜索获得与所述查询语句对应的查询结果；
回答反馈装置，用于按照预设的模板，将所述查询结果整理和渲染为回答信息。
10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7任一项所述的自然语言处理方法。
11.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7任一项所述的自然语言处理方法。
CN201911204367.4A 2019-11-29 2019-11-29 自然语言处理方法、自然语言处理装置及智能问答系统 Active CN111026842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911204367.4A CN111026842B (zh) 2019-11-29 2019-11-29 自然语言处理方法、自然语言处理装置及智能问答系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911204367.4A CN111026842B (zh) 2019-11-29 2019-11-29 自然语言处理方法、自然语言处理装置及智能问答系统

Publications (2)

Publication Number Publication Date
CN111026842A true CN111026842A (zh) 2020-04-17
CN111026842B CN111026842B (zh) 2023-09-12

Family

ID=70207371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911204367.4A Active CN111026842B (zh) 2019-11-29 2019-11-29 自然语言处理方法、自然语言处理装置及智能问答系统

Country Status (1)

Country Link
CN (1) CN111026842B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581968A (zh) * 2020-05-07 2020-08-25 携程计算机技术（上海）有限公司 口语理解模型的训练方法、识别方法、系统、设备及介质
CN111898371A (zh) * 2020-07-10 2020-11-06 中国标准化研究院 设计理性知识的本体构建方法、装置及计算机存储介质
CN112015921A (zh) * 2020-09-15 2020-12-01 重庆广播电视大学重庆工商职业学院 一种基于学习辅助知识图谱的自然语言处理方法
CN112035609A (zh) * 2020-08-20 2020-12-04 出门问问信息科技有限公司 一种智能对话方法、装置以及计算机可读存储介质
CN112069808A (zh) * 2020-09-28 2020-12-11 深圳壹账通智能科技有限公司 融资风控方法、装置、计算机设备及存储介质
CN112084781A (zh) * 2020-09-10 2020-12-15 腾讯科技（深圳）有限公司 一种标准术语确定方法、装置及存储介质
CN112364147A (zh) * 2020-12-01 2021-02-12 四川长虹电器股份有限公司 一种基于知识图谱的跨领域多轮对话方法及实现系统
CN112399019A (zh) * 2020-09-16 2021-02-23 中国农业银行股份有限公司河北省分行 智能外呼方法、终端设备及可读存储介质
CN112507712A (zh) * 2020-12-11 2021-03-16 北京百度网讯科技有限公司 建立槽位识别模型与槽位识别的方法、装置
CN113239163A (zh) * 2021-05-12 2021-08-10 同方知网数字出版技术股份有限公司 一种基于交通大数据的智能问答方法及系统
CN113420125A (zh) * 2021-06-25 2021-09-21 深圳索信达数据技术有限公司 基于行业类型的问答对确定方法、系统、存储介质及设备
CN113918701A (zh) * 2021-10-20 2022-01-11 北京亿信华辰软件有限责任公司 看板展示方法及装置
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114416935A (zh) * 2021-12-24 2022-04-29 北京百度网讯科技有限公司 知识问答处理方法及知识问答系统的构建方法、装置
CN115358186A (zh) * 2022-08-31 2022-11-18 南京擎盾信息科技有限公司 一种槽位标签的生成方法、装置及存储介质
CN117453899A (zh) * 2023-12-26 2024-01-26 浙江智港通科技有限公司 一种基于大模型的智能对话系统、方法与电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228372A1 (en) * 2016-02-08 2017-08-10 Taiger Spain Sl System and method for querying questions and answers
CN108920497A (zh) * 2018-05-23 2018-11-30 北京奇艺世纪科技有限公司 一种人机交互方法及装置
CN109308321A (zh) * 2018-11-27 2019-02-05 烟台中科网络技术研究所 一种知识问答方法、知识问答系统及计算机可读存储介质
CN109684448A (zh) * 2018-12-17 2019-04-26 北京北大软件工程股份有限公司 一种智能问答方法
CN110502608A (zh) * 2019-07-05 2019-11-26 平安科技（深圳）有限公司 基于知识图谱的人机对话方法及人机对话装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228372A1 (en) * 2016-02-08 2017-08-10 Taiger Spain Sl System and method for querying questions and answers
CN108920497A (zh) * 2018-05-23 2018-11-30 北京奇艺世纪科技有限公司 一种人机交互方法及装置
CN109308321A (zh) * 2018-11-27 2019-02-05 烟台中科网络技术研究所 一种知识问答方法、知识问答系统及计算机可读存储介质
CN109684448A (zh) * 2018-12-17 2019-04-26 北京北大软件工程股份有限公司 一种智能问答方法
CN110502608A (zh) * 2019-07-05 2019-11-26 平安科技（深圳）有限公司 基于知识图谱的人机对话方法及人机对话装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581968A (zh) * 2020-05-07 2020-08-25 携程计算机技术（上海）有限公司 口语理解模型的训练方法、识别方法、系统、设备及介质
CN111898371A (zh) * 2020-07-10 2020-11-06 中国标准化研究院 设计理性知识的本体构建方法、装置及计算机存储介质
CN111898371B (zh) * 2020-07-10 2022-08-16 中国标准化研究院 设计理性知识的本体构建方法、装置及计算机存储介质
CN112035609A (zh) * 2020-08-20 2020-12-04 出门问问信息科技有限公司 一种智能对话方法、装置以及计算机可读存储介质
CN112035609B (zh) * 2020-08-20 2024-04-05 出门问问创新科技有限公司 一种智能对话方法、装置以及计算机可读存储介质
CN112084781A (zh) * 2020-09-10 2020-12-15 腾讯科技（深圳）有限公司 一种标准术语确定方法、装置及存储介质
CN112084781B (zh) * 2020-09-10 2024-04-12 腾讯科技（深圳）有限公司 一种标准术语确定方法、装置及存储介质
CN112015921A (zh) * 2020-09-15 2020-12-01 重庆广播电视大学重庆工商职业学院 一种基于学习辅助知识图谱的自然语言处理方法
CN112015921B (zh) * 2020-09-15 2024-04-16 重庆广播电视大学重庆工商职业学院 一种基于学习辅助知识图谱的自然语言处理方法
CN112399019A (zh) * 2020-09-16 2021-02-23 中国农业银行股份有限公司河北省分行 智能外呼方法、终端设备及可读存储介质
CN112069808A (zh) * 2020-09-28 2020-12-11 深圳壹账通智能科技有限公司 融资风控方法、装置、计算机设备及存储介质
CN112364147A (zh) * 2020-12-01 2021-02-12 四川长虹电器股份有限公司 一种基于知识图谱的跨领域多轮对话方法及实现系统
CN112507712A (zh) * 2020-12-11 2021-03-16 北京百度网讯科技有限公司 建立槽位识别模型与槽位识别的方法、装置
CN112507712B (zh) * 2020-12-11 2024-01-26 北京百度网讯科技有限公司 建立槽位识别模型与槽位识别的方法、装置
CN113239163A (zh) * 2021-05-12 2021-08-10 同方知网数字出版技术股份有限公司 一种基于交通大数据的智能问答方法及系统
CN113420125A (zh) * 2021-06-25 2021-09-21 深圳索信达数据技术有限公司 基于行业类型的问答对确定方法、系统、存储介质及设备
CN113420125B (zh) * 2021-06-25 2023-09-19 深圳索信达数据技术有限公司 基于行业类型的问答对确定方法、系统、存储介质及设备
CN113918701A (zh) * 2021-10-20 2022-01-11 北京亿信华辰软件有限责任公司 看板展示方法及装置
CN113918701B (zh) * 2021-10-20 2022-04-15 北京亿信华辰软件有限责任公司 看板展示方法及装置
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114281959B (zh) * 2021-10-27 2024-03-19 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114416935A (zh) * 2021-12-24 2022-04-29 北京百度网讯科技有限公司 知识问答处理方法及知识问答系统的构建方法、装置
CN115358186B (zh) * 2022-08-31 2023-11-14 南京擎盾信息科技有限公司 一种槽位标签的生成方法、装置及存储介质
CN115358186A (zh) * 2022-08-31 2022-11-18 南京擎盾信息科技有限公司 一种槽位标签的生成方法、装置及存储介质
CN117453899A (zh) * 2023-12-26 2024-01-26 浙江智港通科技有限公司 一种基于大模型的智能对话系统、方法与电子设备
CN117453899B (zh) * 2023-12-26 2024-03-29 浙江智港通科技有限公司 一种基于大模型的智能对话系统、方法与电子设备

Also Published As

Publication number Publication date
CN111026842B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN108563653B (zh) 一种用于知识图谱中知识获取模型的构建方法及系统
CN106407333B (zh) 基于人工智能的口语查询识别方法及装置
CN109918489A (zh) 一种多策略融合的知识问答方法和系统
CN110704576B (zh) 一种基于文本的实体关系抽取方法及装置
CN110489755A (zh) 文本生成方法和装置
CN110032623B (zh) 用户问句与知识点标题的匹配方法和装置
CN117033608A (zh) 一种基于大语言模型的知识图谱生成式问答方法及系统
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN109857846B (zh) 用户问句与知识点的匹配方法和装置
CN111949824A (zh) 基于语义对齐的视觉问答方法和系统、存储介质
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
CN113919366A (zh) 一种面向电力变压器知识问答的语义匹配方法和装置
CN112988970A (zh) 一种服务于智能问答系统的文本匹配算法
CN112613321A (zh) 一种抽取文本中实体属性信息的方法及系统
CN115599899A (zh) 基于飞行器知识图谱的智能问答方法、系统、设备及介质
CN113343692B (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN114661951A (zh) 一种视频处理方法、装置、计算机设备以及存储介质
CN114330483A (zh) 数据处理方法及模型训练方法、装置、设备、存储介质
CN113705207A (zh) 语法错误识别方法及装置
CN115617974B (zh) 一种对话处理方法、装置、设备及存储介质
CN114398903B (zh) 意图识别方法、装置、电子设备及存储介质
CN115269961A (zh) 内容搜索方法以及相关设备
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant