CN111563209A - 一种意图识别的方法、装置及计算机可读存储介质 - Google Patents

一种意图识别的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111563209A
CN111563209A CN201910087304.9A CN201910087304A CN111563209A CN 111563209 A CN111563209 A CN 111563209A CN 201910087304 A CN201910087304 A CN 201910087304A CN 111563209 A CN111563209 A CN 111563209A
Authority
CN
China
Prior art keywords
corpus
training
vector
knowledge base
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910087304.9A
Other languages
English (en)
Other versions
CN111563209B (zh
Inventor
梁亮
丁磊
董滨
姜珊珊
童毅轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910087304.9A priority Critical patent/CN111563209B/zh
Priority to US16/739,311 priority patent/US11507854B2/en
Priority to JP2020004904A priority patent/JP6947233B2/ja
Publication of CN111563209A publication Critical patent/CN111563209A/zh
Application granted granted Critical
Publication of CN111563209B publication Critical patent/CN111563209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种意图识别的方法、装置及计算机可读存储介质。本发明在对语料样本进行池化处理时，考虑了池化窗口内的文本与所述语料样本的相似程度，从而可以更好的抽取相关语义特征，改善了意图识别分类器的学习训练过程，提升了训练得到的意图识别分类器的性能。另外，本发明还在语料样本的向量学习过程中，结合知识库元素等信息进行向量学习，相比于直接学习原始词向量可以在一定程度上降低噪声，在此基础上可以更加高效准确的进行意图识别。另外，本发明还基于未标注语料与知识库信息的匹配程度，进行未标注语料的选择以扩充标注语料，有利于在样本选择过程中去除假阳性样本，从而提升意图识别分类器的性能。

Description

一种意图识别的方法、装置及计算机可读存储介质
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种意图识别的方法、装置及计算机可读存储介质。
背景技术
随着互联网规模不断增加，智能化地为用户提供网络服务成为了热门的趋势。在这样的趋势下，能够更好的识别出用户的意图就能够真正的了解用户想要的是什么，从而能够为用户提供更贴心的服务，使用户的体验度提升，提高产品的市场竞争力。因此，对用户的操作意图的识别就尤为重要。
传统的意图识别方法主要分为三类，分别是导航类，信息类，事务类。导航类是指用户期望找到某个网站的首页。信息类是指用户期望找到一些满足需求的网页，这些网页往往是内容型的，例如新闻，百科类的网页。通过阅读这些页面，用户可以得到满意的信息。事务类是指用户期望找到某个网页能够完成某项事务。例如银行转账，购买商品，查询机票信息等。
但是，随着信息采集技术的发展，简单地对意图进行分类已经无法满足为用户提供服务时对用户意图的识别要求，用户输入的信息往往简短但表达的内容很复杂，传统的意图识别方法识别出的结果往往不是用户真正想要表达的，这就需要更加智能的意图识别方法来对用户的复杂信息进行识别。
中国专利申请CN107748757A公开了一种基于知识图谱的问答方法，基于知识库实体和关系的匹配技术识别用户意图，并在问答过程的完成基于实体识别匹配程度与关系识别匹配程度分数。该方法中模型训练需要大量标注数据，另外由于采用了多种语义匹配技术，其时间复杂度大。
现有技术目前主流的意图识别方法，通常存在着模型的识别准确度低的问题。针对相关技术中对用户的意图进行识别时识别准确度低的问题，目前还没有有效的解决方案。
发明内容
本发明实施例要解决的技术问题是提供一种意图识别的方法、装置及计算机可读存储介质，用以提升意图识别模型的识别准确度。
为解决上述技术问题，本发明实施例提供的意图识别的方法，包括：
学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素；
通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量；
根据所述语料样本的特征向量，训练一基于向量的意图识别分类器；
利用训练得到的所述意图识别分类器，识别查询语料的意图。
优选的，学习语料样本中的知识库元素的向量，将所述语料样本转换为由各个知识库元素的向量组成的行向量的步骤，包括：
将语料样本中的知识库元素，替换为所述知识库元素对应的符号；
通过词向量训练，训练得到所述语料样本中各个符号的向量，将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。
优选的，所述池化窗口包括预定行数的向量；从所述语料样本中各个池化窗口抽取特征向量的步骤，包括：
对所述池化窗口内的向量进行最大池化操作，得到第一特征向量；以及，对所述池化窗口内的向量进行平均池化操作，得到第二特征向量。
优选的，所述语料样本包括意图已标注的标注语料和意图未标注的未标注语料；根据所述语料样本的特征向量，训练一基于向量的意图识别分类器的步骤，包括：
利用标注语料的特征向量，训练所述意图识别分类器，并在训练完成后，判断是否满足预设的训练结束条件；
在满足所述训练结束条件时，结束训练过程；
在未满足所述训练结束条件时，利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度；
基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注；
从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，返回利用标注语料的特征向量，训练所述意图识别分类器的步骤。
优选的，基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料的步骤，包括：
从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；
按照未标注语料中包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。
优选的，所述知识库元素包括知识库中的实体、属性和关系。
优选的，所述意图识别分类器为支持向量输入的分类器，所述支持向量输入的分类器包括支持向量机SVM分类器和多层感知机MLP。
本发明实施例还提供了一种意图识别装置，包括：
向量学习单元，用于学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素；
池化处理单元，用于通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量；
模型训练单元，用于根据所述语料样本的特征向量，训练一基于向量的意图识别分类器；
意图识别单元，用于利用训练得到的所述意图识别分类器，识别查询语料的意图。
优选的，所述向量学习单元，具体用于将语料样本中的知识库元素，替换为所述知识库元素对应的符号；通过词向量训练，训练得到所述语料样本中各个符号的向量，将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。
优选的，所述模型训练单元包括：
第一训练单元，用于利用标注语料的特征向量，训练所述意图识别分类器；
判断单元，用于判断是否满足预设的训练结束条件，在满足所述训练结束条件时，结束训练过程；在未满足所述训练结束条件时，触发第二训练单元；
第二训练单元，用于利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度；
语料更新单元，用于基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注；从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，并触发所述第一训练单元继续训练所述意图识别分类器。
优选的，所述语料更新单元，具体用于从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；按照未标注语料中包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。
本发明实施例还提供了一种意图识别装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的意图识别的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的意图识别的方法的步骤。
与现有技术相比，本发明实施例提供的意图识别的方法、装置及计算机可读存储介质，在对语料样本进行池化处理时，考虑了池化窗口内的文本与所述语料样本的相似程度，从而可以更好的抽取相关语义特征，改善了意图识别分类器的学习训练过程，提升了训练得到的意图识别分类器的性能。另外，本发明实施例还在语料样本的向量学习过程中，结合知识库元素等信息进行向量学习，相比于直接学习原始词向量可以在一定程度上降低噪声，在此基础上可以更加高效准确的进行意图识别。另外，本发明实施例还基于未标注语料与知识库信息的匹配程度，进行未标注语料的选择以扩充标注语料，有利于在样本选择过程中去除假阳性样本，从而提升意图识别分类器的性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的意图识别的方法的一种应用场景示意图；
图2为本发明实施例的意图识别的方法的一种流程示意图；
图3为本发明实施例提供的对语料样本的词向量学习的一个示例图；
图4为本发明实施例中文本间相似程度的一个示例图；
图5为本发明实施例提供的池化处理的一个示例图；
图6为本发明实施例的意图识别分类器的训练过程的一种示意图；
图7为本发明实施例提供的未标注语料与知识库匹配程度的一种示例图；
图8为本发明实施例的意图识别装置的一种结构示意图；
图9为本发明实施例的意图识别装置的另一种结构示意图；
图10为本发明实施例的意图识别装置的又一种结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明实施例提出了一种意图识别的方法以及意图识别装置，可以降低意图识别模型对标注数据的依赖度，提升意图识别模型的识别准确度。该方法可以应用于涉及自然语言的意图识别的多种场景，例如，应用于对话机器人或搜索引擎中。图1给出了可以应用本申请的意图识别的方法的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102和103，网络104和服务器105。网络104用以在终端设备101、102和103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102和103通过网络104与服务器105交互，以发送查询语料等信息。终端设备101、102和103上可以安装有各种通讯客户端应用，例如文件编辑应用、信息搜索类应用、信息传输应用等。终端设备101、102和103可以是具有显示屏并且可以发送信息和文件的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器105可以进行意图识别处理。具体的，服务器105可以从终端设备处接收查询语料，将查询语料输入至预先训练得到的意图识别分类器，从而预测查询语料的意图，然后，向终端设备返回所述意图的预测结果。
需要说明的是，本申请实施例所提供的所述意图识别的方法可以由服务器105执行，相应地，所述意图识别装置可以设置于服务器105中。当然，本申请实施例所提供的所述意图识别的方法也可以由终端设备执行，相应地，所述意图识别装置可以设置于终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参照图2，给出了本发明实施例提供的意图识别的方法的一种流程示意图，该意图识别的方法可以提升意图识别分类器的识别准确度。如图2所示，该意图识别的方法可以包括：
步骤201，学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素
上述步骤201中，在语料样本的向量学习过程中，本发明实施例结合知识库元素等信息进行向量学习，相比于直接学习原始词向量，可以在一定程度上降低噪声。具体的，本发明实施例可以将语料样本中存在的知识库元素替换为所述知识库元素对应的符号，所述知识库元素具体可以包括知识库中的实体、属性和关系。然后，通过词向量训练，训练得到所述语料样本中各个符号的向量，从而可以将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。其中，所述行向量中的每行向量，分别为所述语料样本中的一个知识库元素对应的向量。
在进行上述向量学习之前，本发明实施例可以对语料样本进行字符串预处理，得到预处理后的语料样本，所述预处理包括但不限于数据清洗、去停用词，纠错处理、词干化以及分词等处理，然后进行步骤201的向量学习，获得对应的向量表示。
图3给出了对某个语料样本的词向量学习的一个示例，其中，语料样本为“IsiPhone 8cheaper than iPhone X？”通过字符串预处理，对上述语料样本进行分词等处理，获得组成上述语料样本的多个词，如“Is”、“iPhone 8”、“cheaper”、“than”和“iPhone X”；然后，找到上述语料样本中存在的知识库元素，假设该知识库为一电商领域的知识库，其包括有各种如手机之类的实体，如iPhone 8和iPhone X，还包括实体的价格属性，如cheaper等，因此，可以将上述语料样本中的“iPhone 8”、“iPhone X”和“cheaper”，分别替换为与之对应的特定符号，如图3中的“[mobile_phone]_1”、“[mobile_phone]_2”和“[price_attribute]_adj”。在完成所有语料样本的上述处理后，通过现有技术的词向量学习训练方法，训练各个符号的向量，得到各个特定符号对应的向量表示，可以把上述语料样本转换为一个行向量，该行向量中的每行元素，分别为上述语料样本中的一个知识库元素对应的向量。
这里，词向量训练的具体方式可以参考现有技术各种已有的词向量训练算法实现，本发明实施例对此不做具体限定。
步骤202，通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量。
层级池化通过对各个池化窗口的池化处理，可以降低输出的特征向量的维度并改善效果，池化窗口通常具有预设大小，并按照预设步长进行移动。请参照图4，假设某个语句为“The phone’s color is……？”，按照池化窗口大小为3且步长为3，可以包括2个池化窗口，其中第1个池化窗口内的文本为“The phone’s color”，第2个池化窗口内的文本为“is……？”，从文本间的相似程度看，第1个池化窗口内的文本与该语句的相似程度S1较高，第2个池化窗口内的文本与该语句的相似程度S2较低，本发明实施例在层级池化处理中，引入了基于文本间相似程度的权值，对池化处理抽取到的特征向量进行加权，可以更好的抽取相关语义特征，改善后续意图识别分类器的学习训练过程，提升训练得到的意图识别分类器的性能。
这里，所述池化窗口可以包括预定行数的向量，如所述语料样本对应的行向量中的n行向量。层级池化处理可以包括最大池化处理(max pooling)和平均池化处理(averagepooling)，在上述步骤202中，在各个池化窗口抽取特征向量时，可以对所述池化窗口内的向量进行最大池化操作，得到第一特征向量；以及，对所述池化窗口内的向量进行平均池化操作，得到第二特征向量。然后，利用所述权值，对层级池化处理过程中得到的向量进行加权处理，最终得到各个池化窗口的特征向量，并将各个池化窗口的特征向量组合，从而得到所述语料样本的特征向量，完成所述语料样本的特征抽取。
具体的，所述权值可以直接采用所述相似程度的取值，以简化处理。当然，本发明实施例，所述权值也可以是上述相似程度的一种函数，其所述权值与上述相似程度正相关，即相似程度越高，权值越大，反之，相似程度越低，权值越小。这里，相似程度的计算方式，可以参考现有技术各种已有的文本相似度的计算算法实现，本发明实施例对此不做具体限定。
层级池化处理中通常涉及至少两层的池化处理，本发明实施例的上述加权处理，可以在其中的某一层或多层进行。优选的，在层级池化处理的最后一层为利用最大池化处理进行下采样时，本发明实施例可以仅在该最后一层的池化处理中，利用所述权值，对最后一层的最大池化处理得到的向量进行加权(计算该权值与该向量的乘积)，得到加权后的向量。
图5给出了池化处理的一个示例，其中池化窗口包括3行向量，且池化窗口的移动步长为3，第一层池化处理对语料样本中的行向量进行平均池化处理和最大池化处理，第二层池化处理则为最大池化处理。图5中11～19分别表示语料样本对应的行向量中的每一行的向量。通过对向量11～19进行第一层池化处理，得到向量211～216；通过对向量211～216进行第二层池化处理，得到向量311～316，从而获得由向量311～316表示的上述语料样本的特征向量。
图5中，在第一层池化处理时，对池化窗口内向量11～13进行平均池化处理，抽取得到该池化窗口的特征向量211，对池化窗口内向量11～13进行最大池化处理，抽取得到该池化窗口的特征向量212；对池化窗口内向量14～16进行平均池化处理，抽取得到该池化窗口的特征向量213，对池化窗口内向量14～16进行最大池化处理，抽取得到该池化窗口的特征向量214；对池化窗口内向量17～19进行平均池化处理，抽取得到该池化窗口的特征向量215，对池化窗口内向量16～19进行最大池化处理，抽取得到该池化窗口的特征向量216。
图5中，在第二层池化处理时，对各个池化窗口抽取到的特征向量211～216分别进行最大池化处理，并利用各个池化窗口的权值进行加权，从而得到向量311～316，例如，假设向量211包括元素为a1、a2、a3…an，其中最大的元素为ai，那么通过最大池化处理，可以抽取出其中的最大元素ai，并利用池化窗口的权重(假设为Si)对最大元素ai进行加权，从而得到Si*ai。
步骤203，根据所述语料样本的特征向量，训练一基于向量的意图识别分类器。
这里，本发明实施例可以部署一基于向量输入的分类器，包括但不限于以下分类器：支持向量机(SVM，Support Vector Machine)分类器、多层感知机(MLP，Multi-LayerPerceptron)分类器等。然后，利用步骤202所获得的各个语料样本的特征向量，对意图识别分类器进行训练，具体训练方式可以参考现有技术，此处不再赘述，并在满足预设的训练结束条件时，可以结束训练，此时得到训练完成的意图识别分类器。所述训练结束条件可以是训练次数达到预设次数，训练时间达到预定时长，意图识别模型收敛度达到预设要求等。
步骤204，利用训练得到的所述意图识别分类器，识别查询语料的意图。
在获得步骤203的意图识别分类器后，本发明实施例可以利用该意图识别模型，对接收到的查询语料进行意图识别，预测所述查询语料的意图，并将预测结果进行输出。
从以上步骤可以看出，本发明实施例提供的意图识别的方法，在对语料样本进行池化处理时，考虑了池化窗口内的文本与所述语料样本的相似程度，从而可以更好的抽取相关语义特征，改善了意图识别分类器的学习训练过程，提升了训练得到的意图识别分类器的性能。另外，本发明实施例还在语料样本的向量学习过程中，结合知识库元素等信息进行向量学习，相比于直接学习原始词向量可以在一定程度上降低噪声，在此基础上可以更加高效准确的进行意图识别。
传统的意图识别方法，其分类器的训练依赖于大量的标注数据，在标注数据较少时，难以达到较高的性能。本发明实施例还可以实现一种半监督的分类器训练过程，语料样本包括意图已标注的标注语料和意图未标注的未标注语料，并基于未标注语料与知识库信息的匹配程度，选择未标注语料以扩充标注语料，从而有利于在样本选择过程中去除假阳性样本，可以降低分类器训练对标注数据的依赖程度，提升意图识别分类器的性能。此时，上述步骤203可以包括：
步骤203a，利用标注语料的特征向量，训练所述意图识别分类器，并在训练完成后，判断是否满足预设的训练结束条件，并在满足时结束训练过程，否则，进入步骤203b。
这里，基于当前的标注语料执行一次训练过程，具体的，可以将所有的标注语料输入至意图识别分类器，并利用标注语料的标注数据对意图识别分类器进行训练，并在本次训练结束后，判断是否满足所述训练结束条件，如果满足，则可以输出训练得到的意图识别模型，否则，可以进入后续步骤203b以更新标注语料的样本数据。所述训练结束条件可以是训练次数达到预设次数，训练时间达到预定时长，意图识别模型收敛度达到预设要求等。
步骤203b，在未满足所述训练结束条件时，利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度。
在上述步骤203b中，利用步骤203a中训练得到的意图识别分类器，预测各个未标注语料的意图，得到意图的预测结果及其预测置信度。这里，可以将满足预测结果满足预定条件的未标注语料添加到一候选集合中。具体的，所述预定条件可以是，所述意图识别分类器的预测结果的预测置信度高于某个预定门限值。
步骤203c，基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注。
这里，可以从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；然后，按照未标注语料中所包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。也就是说，本发明实施例优先选择包含有更多知识库元素的未标注语料，作为目标语料。例如，选择出的目标语料中包含的知识库元素的数量大于某个数量门限；又例如，根据添加的目标语料的期望数量，按照包含有知识库元素的数量的高低顺序，从第一类语料中选择所述期望数量的未标注语料，作为所述目标语料。
步骤203d，从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，从而实现了对标注语料的补充更新，然后返回步骤203a继续下一次的训练过程。
图7给出了选择目标语料的一个示例，其中提供了两个未标注语料，包括左侧的语料“Is iPhone 8 cheaper than iPhone X”和右侧的语料“Is he elder than me”，这两个未标注语料在语义及语法结构上十分相似。但左侧语料可与某个预设的手机知识库匹配得到两个实体(“iPhone 8”与“iPhone X”)以及一个属性信息(“cheaper”)，而右侧语料则没有匹配上，因此按照步骤203c中的处理方式，将优先选择左侧语料作为目标语料，从而可以实现对假阳性的样本的过滤，优化标注样本，改善后续意图识别分类器的训练，提升训练得到的意图识别分类器的性能。
基于以上方法，本发明实施例还提供了实施上述方法的装置，请参考图8，本发明实施例提供的意图识别装置800，包括：
向量学习单元801，用于学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素；
池化处理单元802，用于通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量；
模型训练单元803，用于根据所述语料样本的特征向量，训练一基于向量的意图识别分类器；
意图识别单元804，用于利用训练得到的所述意图识别分类器，识别查询语料的意图。
优选的，所述向量学习单元801，具体用于将语料样本中的知识库元素，替换为所述知识库元素对应的符号；通过词向量训练，训练得到所述语料样本中各个符号的向量，将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。
优选的，所述池化窗口包括预定行数的向量。所述池化处理单元802，具体用于在抽取所述特征向量时，对所述池化窗口内的向量进行最大池化操作，得到第一特征向量；以及，对所述池化窗口内的向量进行平均池化操作，得到第二特征向量。
优选的，如图9所示，所述模型训练单元803包括：
第一训练单元8031，用于利用标注语料的特征向量，训练所述意图识别分类器；
判断单元8032，用于判断是否满足预设的训练结束条件，在满足所述训练结束条件时，结束训练过程；在未满足所述训练结束条件时，触发第二训练单元；
第二训练单元8033，用于利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度；
语料更新单元8034，用于基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注；从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，并触发所述第一训练单元继续训练所述意图识别分类器。
优选的，所述语料更新单元8034，具体用于从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；按照未标注语料中包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。
通过以上单元，本发明实施例的意图识别装置800，在对语料样本进行池化处理时，引入了池化窗口内的文本与所述语料样本的相似程度，从而可以更好的抽取相关语义特征，改善了意图识别分类器的学习训练过程，提升了训练得到的意图识别分类器的性能。另外，本发明实施例还可以在一定程度上降低噪声，在此基础上可以更加高效准确的进行意图识别。另外，本发明实施例还基于未标注语料与知识库信息的匹配程度，进行未标注语料的选择以扩充标注语料，有利于在样本选择过程中去除假阳性样本，提升意图识别分类器的性能。
请参考图10，本发明实施例还提供了意图识别装置的一种硬件结构框图，如图10所示，该意图识别装置1000包括：
处理器1002；和
存储器1004，在所述存储器1004中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器1002执行以下步骤：
学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素；
通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量；
根据所述语料样本的特征向量，训练一基于向量的意图识别分类器；
利用训练得到的所述意图识别分类器，识别查询语料的意图。
进一步地，如图10所示，该意图识别装置1000还可以包括网络接口1001、输入设备1003、硬盘1005、和显示设备1006。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量的互联的总线和桥。具体由处理器1002代表的一个或者多个中央处理器(CPU)，以及由存储器1004代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口1001，可以连接至网络(如因特网、局域网等)，从网络中接收信息，并可以将接收到的信息保存在硬盘1005中，例如，将收集到的语料样本保存在硬盘1005中。
所述输入设备1003，可以接收操作人员输入的各种指令，并发送给处理器1002以供执行。所述输入设备1003可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。
所述显示设备1006，可以将处理器1002执行指令获得的结果进行显示，例如显示语料的意图预测结果及其置信度等。
所述存储器1004，用于存储操作系统运行所必须的程序和数据，以及处理器1002计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器1004可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1004旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器1004存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统10041和应用程序10042。
其中，操作系统10041，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序10042，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序10042中。
本发明上述实施例揭示的方法可以应用于处理器1002中，或者由处理器1002实现。处理器1002可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1002中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1002可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1004，处理器1002读取存储器1004中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，所述计算机程序被处理器1002执行时还可实现如下步骤：
将语料样本中的知识库元素，替换为所述知识库元素对应的符号；
通过词向量训练，训练得到所述语料样本中各个符号的向量，将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。
具体地，所述计算机程序被处理器1002执行时还可实现如下步骤：
对所述池化窗口内的向量进行最大池化操作，得到第一特征向量；以及，对所述池化窗口内的向量进行平均池化操作，得到第二特征向量。
具体地，所述计算机程序被处理器1002执行时还可实现如下步骤：
利用标注语料的特征向量，训练所述意图识别分类器，并在训练完成后，判断是否满足预设的训练结束条件；
在满足所述训练结束条件时，结束训练过程；
在未满足所述训练结束条件时，利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度；
基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注；
从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，返回利用标注语料的特征向量，训练所述意图识别分类器的步骤。
具体地，所述计算机程序被处理器1002执行时还可实现如下步骤：
从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；
按照未标注语料中包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。
优选的，所述知识库元素包括知识库中的实体、属性和关系。所述意图识别分类器为支持向量输入的分类器，所述支持向量输入的分类器包括但不限于SVM分类器和MLP分类器等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的意图识别的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种意图识别的方法，其特征在于，包括：
学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素；
通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量；
根据所述语料样本的特征向量，训练一基于向量的意图识别分类器；
利用训练得到的所述意图识别分类器，识别查询语料的意图。
2.如权利要求1所述的方法，其特征在于，学习语料样本中的知识库元素的向量，将所述语料样本转换为由各个知识库元素的向量组成的行向量的步骤，包括：
将语料样本中的知识库元素，替换为所述知识库元素对应的符号；
通过词向量训练，训练得到所述语料样本中各个符号的向量，将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。
3.如权利要求1所述的方法，其特征在于，所述池化窗口包括预定行数的向量；从所述语料样本中各个池化窗口抽取特征向量的步骤，包括：
对所述池化窗口内的向量进行最大池化操作，得到第一特征向量；以及，对所述池化窗口内的向量进行平均池化操作，得到第二特征向量。
4.如权利要求1所述的方法，其特征在于，所述语料样本包括意图已标注的标注语料和意图未标注的未标注语料；根据所述语料样本的特征向量，训练一基于向量的意图识别分类器的步骤，包括：
利用标注语料的特征向量，训练所述意图识别分类器，并在训练完成后，判断是否满足预设的训练结束条件；
在满足所述训练结束条件时，结束训练过程；
在未满足所述训练结束条件时，利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度；
基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注；
从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，返回利用标注语料的特征向量，训练所述意图识别分类器的步骤。
5.如权利要求4所述的方法，其特征在于，基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料的步骤，包括：
从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；
按照未标注语料中包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。
6.如权利要求1所述的方法，其特征在于，所述知识库元素包括知识库中的实体、属性和关系。
7.如权利要求1所述的方法，其特征在于，所述意图识别分类器为支持向量输入的分类器，所述支持向量输入的分类器包括支持向量机SVM分类器和多层感知机MLP。
8.一种意图识别装置，其特征在于，包括：
向量学习单元，用于学习语料样本中的知识库元素的向量，将所述语料样本转换为由知识库元素的向量所组成的行向量，所述知识库元素为预定知识库中的元素；
池化处理单元，用于通过层级池化处理，从所述语料样本中各个池化窗口抽取特征向量，根据所述池化窗口内的文本与所述语料样本的相似程度，确定一与所述相似程度正相关的权值，对抽取到的特征向量进行加权，得到所述池化窗口的特征向量，进而获得由各个池化窗口的特征向量所组成的所述语料样本的特征向量；
模型训练单元，用于根据所述语料样本的特征向量，训练一基于向量的意图识别分类器；
意图识别单元，用于利用训练得到的所述意图识别分类器，识别查询语料的意图。
9.如权利要求8所述的意图识别装置，其特征在于，
所述向量学习单元，具体用于将语料样本中的知识库元素，替换为所述知识库元素对应的符号；通过词向量训练，训练得到所述语料样本中各个符号的向量，将所述语料样本转换为所述语料样本中各个符号的向量所组成的行向量。
10.如权利要求8所述的意图识别装置，其特征在于，所述语料样本包括意图已标注的标注语料和意图未标注的未标注语料；所述模型训练单元包括：
第一训练单元，用于利用标注语料的特征向量，训练所述意图识别分类器；
判断单元，用于判断是否满足预设的训练结束条件，在满足所述训练结束条件时，结束训练过程；在未满足所述训练结束条件时，触发第二训练单元；
第二训练单元，用于利用训练得到的所述意图识别分类器，预测得到所述未标注语料的意图和预测置信度；
语料更新单元，用于基于所述未标注语料的预测置信度以及与知识库元素的匹配程度，从所述未标注语料中选择目标语料，并根据预测得到的意图和预测置信度，对所述目标语料进行标注；从所述未标注语料中删除所述目标语料，并在所述标注语料中添加所述目标语料，并触发所述第一训练单元继续训练所述意图识别分类器。
11.如权利要求10所述的意图识别装置，其特征在于，
所述语料更新单元，具体用于从所述未标注语料中，选择出预测置信度大于预定门限值的第一类语料；按照未标注语料中包含的知识库元素的数量的高低排序，从所述第一类语料中选择出目标语料。
12.一种意图识别装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的意图识别的方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的意图识别的方法的步骤。
CN201910087304.9A 2019-01-29 2019-01-29 一种意图识别的方法、装置及计算机可读存储介质 Active CN111563209B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910087304.9A CN111563209B (zh) 2019-01-29 2019-01-29 一种意图识别的方法、装置及计算机可读存储介质
US16/739,311 US11507854B2 (en) 2019-01-29 2020-01-10 Method and apparatus for recognizing intention, and non-transitory computer-readable recording medium
JP2020004904A JP6947233B2 (ja) 2019-01-29 2020-01-16 意図識別方法、装置、及びコンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910087304.9A CN111563209B (zh) 2019-01-29 2019-01-29 一种意图识别的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111563209A true CN111563209A (zh) 2020-08-21
CN111563209B CN111563209B (zh) 2023-06-30

Family

ID=71731385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910087304.9A Active CN111563209B (zh) 2019-01-29 2019-01-29 一种意图识别的方法、装置及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11507854B2 (zh)
JP (1) JP6947233B2 (zh)
CN (1) CN111563209B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158680A (zh) * 2021-03-23 2021-07-23 北京新方通信技术有限公司 一种语料处理及意图识别的方法和装置
CN114547334A (zh) * 2022-02-14 2022-05-27 浙江省交通运输科学研究院 融合COLREGs场景知识的船舶行为意图识别与推理方法及装置
WO2022142613A1 (zh) * 2020-12-28 2022-07-07 深圳壹账通智能科技有限公司 训练语料扩充方法及装置、意图识别模型训练方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611366B (zh) * 2020-05-20 2023-08-11 北京百度网讯科技有限公司 意图识别优化处理方法、装置、设备及存储介质
CN112069302B (zh) * 2020-09-15 2024-03-08 腾讯科技（深圳）有限公司 会话意图识别模型的训练方法、会话意图识别方法及装置
CN112417855A (zh) * 2020-11-20 2021-02-26 平安科技（深圳）有限公司 文本意图识别方法、装置以及相关设备
CN112560505A (zh) 2020-12-09 2021-03-26 北京百度网讯科技有限公司 一种对话意图的识别方法、装置、电子设备及存储介质
CN112528001B (zh) * 2020-12-23 2023-07-25 北京百度网讯科技有限公司 一种信息查询方法、装置及电子设备
CN112287669B (zh) * 2020-12-28 2021-05-25 深圳追一科技有限公司 文本处理方法、装置、计算机设备和存储介质
CN112732911B (zh) * 2020-12-30 2023-10-10 平安科技（深圳）有限公司 基于语义识别的话术推荐方法、装置、设备及存储介质
CN113793191B (zh) * 2021-02-09 2024-05-24 京东科技控股股份有限公司 商品的匹配方法、装置及电子设备
CN113051385B (zh) * 2021-04-28 2023-05-26 杭州网易再顾科技有限公司 意图识别的方法、介质、装置和计算设备
CN113407698B (zh) * 2021-06-30 2022-08-23 北京百度网讯科技有限公司 意图识别模型的训练与意图识别的方法、装置
CN114281959B (zh) * 2021-10-27 2024-03-19 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114154512A (zh) * 2021-12-09 2022-03-08 京东科技信息技术有限公司 小样本学习处理方法、装置、设备及存储介质
CN114398903B (zh) * 2022-01-21 2023-06-20 平安科技（深圳）有限公司 意图识别方法、装置、电子设备及存储介质
CN114580533A (zh) * 2022-03-04 2022-06-03 腾讯科技（深圳）有限公司 特征提取模型的训练方法、装置、设备、介质及程序产品
CN114580354B (zh) * 2022-05-05 2022-10-28 阿里巴巴达摩院(杭州)科技有限公司 基于同义词的信息编码方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548124A (zh) * 2015-09-17 2017-03-29 松下知识产权经营株式会社 主题推定系统、主题推定方法
US20170124462A1 (en) * 2015-10-28 2017-05-04 International Business Machines Corporation Cognitive intention detection system, method, and recording medium for initiating automated workflow in multimodal messaging
CN107204193A (zh) * 2017-06-12 2017-09-26 山东师范大学 基于直方图统计和池化算法的音频场景识别方法及装置
US20180025726A1 (en) * 2016-07-22 2018-01-25 International Business Machines Corporation Creating coordinated multi-chatbots using natural dialogues by means of knowledge base
CN107943860A (zh) * 2017-11-08 2018-04-20 北京奇艺世纪科技有限公司 模型的训练方法、文本意图的识别方法及装置
CN108427722A (zh) * 2018-02-09 2018-08-21 卫盈联信息技术（深圳）有限公司 智能交互方法、电子装置及存储介质
CN109145153A (zh) * 2018-07-02 2019-01-04 北京奇艺世纪科技有限公司 意图类别的识别方法和装置
CN109241291A (zh) * 2018-07-18 2019-01-18 华南师范大学 基于深度强化学习的知识图谱最优路径查询系统及其方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6611053B2 (ja) * 2015-09-17 2019-11-27 パナソニックＩｐマネジメント株式会社 主題推定システム、主題推定方法およびプログラム
CN108780464A (zh) * 2016-03-31 2018-11-09 马鲁巴公司 用于处理输入查询的方法和系统
CN107423278B (zh) 2016-05-23 2020-07-14 株式会社理光 评价要素的识别方法、装置及系统
CN107730289A (zh) 2016-08-11 2018-02-23 株式会社理光 一种用户行为分析方法及用户行为分析装置
US10817509B2 (en) * 2017-03-16 2020-10-27 Massachusetts Institute Of Technology System and method for semantic mapping of natural language input to database entries via convolutional neural networks
CN108959328B (zh) 2017-05-27 2021-12-21 株式会社理光 知识图谱的处理方法、装置及电子设备
CN107748757B (zh) 2017-09-21 2021-05-07 北京航空航天大学 一种基于知识图谱的问答方法
CN110209830B (zh) 2018-02-12 2023-06-06 株式会社理光 实体链接方法、装置、设备、计算机可读存储介质
CN108920622B (zh) * 2018-06-29 2021-07-20 北京奇艺世纪科技有限公司 一种意图识别的训练方法、训练装置和识别装置
US10726062B2 (en) * 2018-11-30 2020-07-28 Sony Interactive Entertainment Inc. System and method for converting image data into a natural language description
US11514091B2 (en) * 2019-01-07 2022-11-29 International Business Machines Corporation Extracting entity relations from semi-structured information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548124A (zh) * 2015-09-17 2017-03-29 松下知识产权经营株式会社 主题推定系统、主题推定方法
US20170124462A1 (en) * 2015-10-28 2017-05-04 International Business Machines Corporation Cognitive intention detection system, method, and recording medium for initiating automated workflow in multimodal messaging
US20180025726A1 (en) * 2016-07-22 2018-01-25 International Business Machines Corporation Creating coordinated multi-chatbots using natural dialogues by means of knowledge base
CN107204193A (zh) * 2017-06-12 2017-09-26 山东师范大学 基于直方图统计和池化算法的音频场景识别方法及装置
CN107943860A (zh) * 2017-11-08 2018-04-20 北京奇艺世纪科技有限公司 模型的训练方法、文本意图的识别方法及装置
CN108427722A (zh) * 2018-02-09 2018-08-21 卫盈联信息技术（深圳）有限公司 智能交互方法、电子装置及存储介质
CN109145153A (zh) * 2018-07-02 2019-01-04 北京奇艺世纪科技有限公司 意图类别的识别方法和装置
CN109241291A (zh) * 2018-07-18 2019-01-18 华南师范大学 基于深度强化学习的知识图谱最优路径查询系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUANGXU XUN,ETC: "《A Survey on Context Learning》", vol. 29, no. 29, pages 38 - 56 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142613A1 (zh) * 2020-12-28 2022-07-07 深圳壹账通智能科技有限公司 训练语料扩充方法及装置、意图识别模型训练方法及装置
CN113158680A (zh) * 2021-03-23 2021-07-23 北京新方通信技术有限公司 一种语料处理及意图识别的方法和装置
CN113158680B (zh) * 2021-03-23 2024-05-07 北京新方通信技术有限公司 一种语料处理及意图识别的方法和装置
CN114547334A (zh) * 2022-02-14 2022-05-27 浙江省交通运输科学研究院 融合COLREGs场景知识的船舶行为意图识别与推理方法及装置

Also Published As

Publication number Publication date
US20200242486A1 (en) 2020-07-30
US11507854B2 (en) 2022-11-22
CN111563209B (zh) 2023-06-30
JP2020123331A (ja) 2020-08-13
JP6947233B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
CN111563209B (zh) 一种意图识别的方法、装置及计算机可读存储介质
CN111563208B (zh) 一种意图识别的方法、装置及计算机可读存储介质
CN107977361B (zh) 基于深度语义信息表示的中文临床医疗实体识别方法
CN110232183B (zh) 关键词提取模型训练方法、关键词提取方法、装置及存储介质
CN109190120B (zh) 神经网络训练方法和装置及命名实体识别方法和装置
WO2020232861A1 (zh) 命名实体识别方法、电子装置及存储介质
US10733197B2 (en) Method and apparatus for providing information based on artificial intelligence
TW202020691A (zh) 特徵詞的確定方法、裝置和伺服器
CN111931500B (zh) 搜索信息的处理方法、装置
CN111459977B (zh) 自然语言查询的转换
CN112287069B (zh) 基于语音语义的信息检索方法、装置及计算机设备
WO2021082086A1 (zh) 机器阅读方法、系统、装置及存储介质
CN113177412A (zh) 基于bert的命名实体识别方法、系统、电子设备及存储介质
CN112925912B (zh) 文本处理方法、同义文本召回方法及装置
CN113204667B (zh) 音频标注模型的训练与音频标注的方法、装置
CN111931488A (zh) 用于验证判断结果准确性的方法、装置、电子设备及介质
CN111078881A (zh) 细粒度情感分析方法、系统、电子设备和存储介质
CN114218940B (zh) 文本信息处理、模型训练方法、装置、设备及存储介质
CN110705279A (zh) 一种词汇表的选择方法、装置及计算机可读存储介质
CN113761188A (zh) 文本标签确定方法、装置、计算机设备和存储介质
CN117079298A (zh) 信息提取方法、信息提取系统的训练方法和信息提取系统
CN114692631B (zh) 命名实体的识别方法、装置及计算机可读存储介质
CN113989562B (zh) 模型训练、图像分类方法和装置
CN113792230B (zh) 服务链接方法、装置、电子设备和存储介质
CN117371447A (zh) 命名实体识别模型的训练方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant