CN114691840A - 意图识别方法、装置、智能对话平台及存储介质 - Google Patents

意图识别方法、装置、智能对话平台及存储介质 Download PDF

Info

Publication number
CN114691840A
CN114691840A CN202011626280.9A CN202011626280A CN114691840A CN 114691840 A CN114691840 A CN 114691840A CN 202011626280 A CN202011626280 A CN 202011626280A CN 114691840 A CN114691840 A CN 114691840A
Authority
CN
China
Prior art keywords
words
relationship
dependency
vector
input sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011626280.9A
Other languages
English (en)
Inventor
耿瑞莹
黎槟华
李永彬
武玉川
孙健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202011626280.9A priority Critical patent/CN114691840A/zh
Publication of CN114691840A publication Critical patent/CN114691840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本公开实施例涉及一种意图识别方法、装置、智能对话平台及存储介质,通过获取输入语句中的词语之间的依存关系,并将获取到的依存关系加入到注意力机制中确定得到输入语句中至少部分词语的语义特征向量,然后基于输入语句中至少部分词语的语义特征向量进行意图识别得到输入语句表达的用户意图,根据用户意图执行相应的操作,并反馈操作结果。本公开实施例提供的方案能够提高意图识别的准确性。

Description

意图识别方法、装置、智能对话平台及存储介质
技术领域
本公开实施例涉及人工智能技术领域,尤其涉及一种意图识别方法、装置、智能对话平台及存储介质。
背景技术
随着人工智能技术的发展,意图识别技术已被广泛应用在各类智能对话平台上。智能对话平台基于意图识别技术能够对用户的语句进行分析和理解,并根据分析结果执行相应的操作。但是,目前意图识别的结果还不够准确,还需要进一步的提升。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种意图识别方法、装置、智能对话平台及存储介质。
本公开实施例的第一方面提供了一种意图识别方法,该方法包括:获取输入语句中的词语之间的依存关系;根据词语之间的依存关系结合注意力机制确定得到输入语句中至少部分词语的语义特征向量;基于确定得到的至少部分词语的语义特征向量识别得到输入语句表达的用户意图;根据识别得到的用户意图执行符合用户意图的操作,并反馈相应的操作结果。
本公开实施例的第二方面提供了一种意图识别装置,该装置包括:
获取模块,用于获取输入语句中的词语之间的依存关系。
确定模块,用于根据获取到的依存关系结合注意力机制确定得到输入语句中至少部分词语的语义特征向量。
识别模块,用于基于确定得到的至少部分词语的语义特征向量识别得到输入语句表达的用户意图。
执行模块,用于根据用户意图执行符合用户意图的操作,并反馈相应的操作结果。
本公开实施例的第三方面提供了一种智能对话平台,该智能对话平台,包括存储器和处理器,其中,存储器中存储有计算机程序,当该计算机程序被处理器执行时,处理器可以执行上述第一方面的方法。
本公开实施例的第四方面提供了一种计算机可读存储介质,该存储介质中存储有计算机程序,当该计算机程序被处理器执行时,处理器可以执行上述第一方面的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例,通过获取输入语句中的词语之间的依存关系,并将获取到的依存关系加入到注意力机制中确定得到输入语句中至少部分词语的语义特征向量,然后基于输入语句中的至少部分词语的语义特征向量进行意图识别得到输入语句表达的用户意图,然后根据用户意图执行相应的操作,并反馈操作结果。由于本公开实施例在注意力机制中加入了词语之间的依存关系,该依存关系不但能够将词语的注意力集中在距离词语自身较近的词语上,还能够将词语的注意力集中在距离词语自身较远,但存在语义依存关系的词语上。因此,将词语之间的依存关系加入到注意力机制之后可以得到准确度更高的语义特征向量,在此基础之上再根据这些语义特征向量进行意图识别就能够得到真实的用户意图,从而提高了意图识别的准确性和用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种人机交互场景的示意图;
图2是本公开实施例提供的一种意图识别方法的流程示意图;
图3A是本公开实施例提供的一种词语之间的语义依存关系的示意图;
图3B是根据图3A中的语义依存关系得到的语义依存关系树的示意图;
图4A是本公开实施例提供的一种词语之间的依存句法关系的示意图;
图4B是根据图4A中的依存句法关系得到的依存句法关系树的示意图;
图5是本公开实施例提供的一种基于注意力机制的语义分析模型的结构示意图;
图6是本公开实施例提供的一种意图识别方法的流程示意图;
图7是本公开实施例提供的一种意图识别装置的结构示意图;
图8是本公开实施例提供的一种智能对话平台的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
为了更好理解本公开实施例的技术方案,首先对本公开实施例涉及的部分技术术语进行介绍:
BERT:是一种大规模预训练语言模型,该模型可以以汉字或者外文单词为单位对句子进行编码,编码后句子中的每个汉字或者外文单词对应的向量可用于表示该汉字或者外文单词在句子中的语义。
Transformer:是一种基于注意力机制的文本编码网络结构,该网络结构可以采用注意力机制从句子中提取出对词语理解有帮助的信息,并以此来对句子中的词语进行语义分析。
语义依存关系:是一种用于表示句子中词语之间的语义关联关系的语义依存结构。
依存句法关系:是一种用于表示句子中词语之间的句法关系的句法表示结构。
下面对相关技术提供的意图识别方法以及该方法存在的缺陷进行示例性说明。
相关技术通常采用基于BERT的意图识别模型来进行意图识别。BERT是一种基于大规模语料训练的多层Transformer语言模型,在该模型中输入语句中的每个词语的注意力只能集中在距离自身距离较近的词语上,而对于距离自身距离较远的词语则无法处理,从而导致了意图识别准确率不高的问题。尤其是对于句子长度较长的语句来说,这个问题尤其明显。
针对相关技术存在的缺陷,本公开实施例提供了一种意图识别方案。该方案通过将输入语句中的词语之间的依存关系(比如,语义依存关系、依存句法关系等)加入到对输入语句的词语的注意力计算过程中,使得输入语句的意图识别结果的准确性得到提高。
示例的,图1是本公开实施例提供的一种人机交互场景的示意图,如图1所示,本公开实施例提供的意图识别方案可以被应用在用户与智能对话平台的人机交互场景中。其中,用户11可以是人也可以是设备或者设备上搭载的应用程序。当用户11被具体为设备或者设备上搭载的应用程序时,该设备或者设备上搭载的应用程序具有语音输出能力或者文本输出能力。智能对话平台12可以被示例性的具体为一种智能对话机器人,该机器人可以是虚拟机器人,比如,应用在网站或者应用程序上的问答机器人等,也可以是实体机器人,比如车机、手机、音箱等具有语音交互功能的设备。当本公开实施例所称的智能对话平台被具体为智能对话机器人时至少可以实现诸如智能问答、与第三方应用程序接口(Application Programming Interface,简称API)集成实现自助服务(比如订单查询、物流跟踪、自主退货、疑难解答等)、语音控制等服务。
在图1所示的场景中,用户11向智能对话平台12输入的语句可以是音频语句也可以文本语句。智能对话平台12在接收到用户11的输入语句后,基于预设的依存分析算法或者模型从输入语句中获取到词语之间的依存关系(比如,语义依存关系和依存句法关系中的至少一种),然后将获得的依存关系加入到对输入语句的注意力计算过程中得到输入语句中至少部分词语的语义特征向量。然后再基于这些词语的语义特征向量进行意图识别即可得到输入语句所表达的真实用户意图。在此基础之上智能对话平台12还可以根据用户意图执行相应的操作(比如,搜索问题答案、查询物流信息、执行退货流程等,但不局限于这里列举的这些操作),并反馈相应的操作结果。
本公开实施例提供的意图识别方案,通过将输入语句中的词语之间的依存关系加入到对输入语句的注意力计算过程中,使得输入语句中的每个词语(以下简称目标词语)的注意力都能集中在与其存在依存关系的词语上,而这些与目标词语存在依存关系的词语中不但包括距离目标词语距离较近的词语,还包括与目标词语距离较远的词语,因而相较于相关技术,本公开实施例计算得到的目标词语的语义特征向量能够准确的反映出目标词语在输入语句中的含义,据此识别得到的用户意图也更加符合用户的真实意图,从而提高了意图识别的准确性。
为了更好的理解本公开实施例提供的技术方案,下面结合示例性的实施例对本公开实施例的方案进行说明。
图2是本公开实施例提供的一种意图识别方法的流程示意图。在图2所示的实施例中,该方法可以示例性的由上述智能对话平台来执行。如图2所示,在本公开实施例的一种示例性的实施方式中,该方法包括:
步骤201、获取输入语句中的词语之间的依存关系。
本实施例中所称的“输入语句”可以是音频语句,也可以是文本语句。其中,当输入语句被具体为文本语句时,该文本语句可以是根据用户输入的音频语句转换得到的,也可以是用户直接输入得到的。
本实施例中输入语句的获取方式可以有多种,比如,当本实施例的输入语句被具体为音频语句时,一种可行的实施方式是通过搭载在智能对话平台上的音频采集设备采集用户输入的语句,其中,音频采集设备包括但不局限于麦克风。再比如,当本实施例的输入语句被具体为文本语句时,一种可行的实施方式是配置智能对话平台向用户提供编辑界面,从编辑界面上获取用户输入的文本语句。再比如,当本实施例的输入语句被具体为音频语句或者文本语句时,一种可行的实施方式是在智能对话平台上配置无线接收设备(比如,蓝牙设备和/或wifi设备等,但不局限于蓝牙设备和wifi设备),用户通过配对设备(比如,蓝牙耳机或者手机等)将音频语句或者文本语句发送给智能对话平台。当然上述这几种获取方式仅是本实施例众多实施方式中的一部分而不是全部,实际上,在其他实施例中,输入语句的获取方式可以根据需要进行配置,而不必局限于某一种或几种特定的方式。
本实施例所称的依存关系至少包括如下中的一种:语义依存关系、依存句法关系。其中,语义依存关系用于表示输入语句中的词语在语义上的依存关系,依存句法关系用于表示输入语句中的词语在句式结构上的依存关系。比如,图3A是本公开实施例提供的一种词语之间的语义依存关系的示意图,如图3A所示,对“我在餐厅用勺子喝蔬菜汤”这个语句进行语义依存关系分析可以得到如下结果:“喝”是表达用户核心意图的词。“我”和“喝”之间构成施事关系,在图3A中用“Agt”表示;“喝”和“餐厅”之间构成空间角色关系,在图3A中用“Loc”表示;“喝”和“勺子”之间构成工具角色关系,在图3A中用“Tool”表示;“喝”和“蔬菜汤”之间构成受事关系,在图3A中用“Pat”表示;“喝”和“。”之间构成标点关系,在图3A中用“mPunc”表示;“用”和“勺子”之间构成介词关系,在图3A中用“mPrep”表示;“在”和“餐厅”之间构成介词关系,在图3A中用“mPrep”表示。进一步的,如果将“喝”作为根节点(或者称为Root节点),并以树状结构表示词语之间的语义依存关系,那么根据上述词语之间的依存关系,可以将“我”、“餐厅”、“勺子”、“蔬菜汤”、“。”作为“喝”的子节点,将“用”作为“勺子”的子节点,将“在”作为“餐厅”的子节点,进而上述语句中的词语之间的语义依存关系可以由图3B所示的语义依存关系树进行表示。再比如,图4A是本公开实施例提供的一种词语之间的依存句法关系的示意图,如图4A所示,对“我在餐厅用勺子喝蔬菜汤”这个语句进行依存句法关系分析可以得到如下结果:“喝”是表达用户核心意图的词,图4A中用“Root”进行表示;“我”和“喝”之间构成主谓关系,图4A中用“SBV”进行表示;“在”和“喝”,以及“用”和“喝”之间构成状中结构,图4A中用“ADV”进行表示;“喝”和“蔬菜汤”之间构成动宾关系,图4A中用“VOB”进行表示;“喝”和“。”之间构成标点符号关系,图4A中用“WP”进行表示;“用”和“勺子”之间,以及“在”和“餐厅”之间构成介宾关系,图4A中用“POB”进行表示。进一步的,如果将“喝”作为根节点,并以树状结构表示词语之间的句法结构关系,那么根据上述词语之间的句法结构关系,可以将“我”、“在”、“用”、“蔬菜汤”、“。”作为“喝”的子节点,将“餐厅”作为“在”的子节点,将“勺子”作为“用”的子节点,进而上述语句中的词语之间的依存句法关系可以由图4B所示的依存句法关系树进行表示。
在本实施例中,输入语句中的词语之间的依存关系可以根据预设的依存关系分析算法或者模型获取得到。其中,预设的依存关系分析算法和模型可以根据需要进行设置,本实施例不做具体限定。
步骤202、根据获取到的依存关系结合注意力机制确定得到输入语句中至少部分词语的语义特征向量。
示例的,图5是本公开实施例提供的一种基于注意力机制的语义分析模型的结构示意图,如图5所示,输入语句中的词语的语义特征向量可以通过图5所示的模型结构确定得到。具体的,该模型包括BERT层、分词处理层(也可以称为Word Pooling层)和注意力计算层。其中,BERT层用于对输入语句进行字级别的编码得到输入语句中每个字对应的字向量。分词处理层用于对BERT层输出的结果进行分词处理,得到输入语句中每个词语对应的词向量。注意力计算层用于计算输入语句中的每个词语与其他词语之间的注意力打分,然后根据词语与其他词语之间的注意力打分,计算并输出词语在输入语句中的语义特征向量,其中,语义特征向量可以用于表示词语在输入语句中的含义。
参见图5,本实施例所称的依存关系与注意力机制的结合可以发生在计算词语与其他词语之间的注意力关系打分的过程中,也可以发生在根据词语与其他词语之间的注意力关系打分计算词语语义特征向量的过程中。由于注意力机制的计算过程是一个向量计算过程,当本实施例获取到的依存关系不是用向量量化表示的依存关系时,可以先根据预设的依存关系与依存关系向量之间的映射关系,获取词语之间的依存关系所对应的依存关系向量,再将词语之间的依存关系向量加入到注意力机制的计算过程中得到输入语句中的词语的语义特征向量,其中,依存关系向量是指预先设置的用于表示特定依存关系(包括语义依存关系和依存句法关系)的向量,在本实施例中不同的依存关系可以用不同的依存关系向量表示。比如,当词语之间的依存关系被具体为语义依存关系时,根据预设的依存关系与依存关系向量之间的映射关系得到的依存关系向量可以被具体为语义依存关系向量,其中,语义依存关系向量是指用于表示语义依存关系的向量,不同的语义依存关系可以用不同的语义依存关系向量表示。再比如,当词语之间的依存关系被具体为依存句法关系时,根据预设的依存关系与依存关系向量之间的映射关系得到的依存关系向量可以被具体为依存句法关系向量,其中,依存句法关系向量是指用于表示句法结构关系的向量,不同的依存句法关系向量可以用不同的依存句法关系向量表示。
在本实施例中,当词语之间的依存关系与注意力关系打分过程结合时,该依存关系可以被具体为词语之间的语义依存关系,基于预设的依存关系与依存关系向量之间的映射关系得到的依存关系向量可以被具体为语义依存关系向量。在计算输入语句中的词语的语义特征向量时可以将词语之间的语义依存关系向量作为词语之间的注意力关系的加权量,计算得到词语之间的注意力关系打分。其中,注意力关系和语义依存关系向量之间的具体加权方式可以根据需要进行设定,本实施例不做具体限定。
在本实施例中,当词语之间的依存关系与计算词语语义特征向量的过程结合时,词语之间的依存关系可以被具体为词语之间的依存句法关系,基于预设的依存关系与依存关系向量之间的映射关系得到的依存关系向量可以被具体为依存句法关系向量。在计算输入语句中的词语的语义特征向量时,可以先基于注意力机制计算得到词语之间的注意力关系打分,然后再将词语之间的依存句法关系向量作为词语之间的注意力关系打分的加权量,计算得到输入语句中至少部分词语的语义特征向量。其中注意力关系打分和依存句法关系向量之间的具体加权方式可以根据需要进行设定,本实施例不做具体限定。
步骤203、基于输入语句中至少部分词语的语义特征向量识别得到输入语句表达的用户意图。
示例的,本实施例可以将输入语句中的部分词语或者全部词语的语义特征向量输入到预设的全连接分类器中进行意图识别。其中该全连接分类器是指采用训练方法预先得到的,能够用于对用户意图进行识别和分类的分类器。该分类器的类型和结构可以根据需要进行设置,本实施例不做具体限定。
参见图3B或者图4B,考虑到在词语之间的依存关系中一般包括根节点上的词语与输入语句中其他词语之间的依存关系,而根节点上的词语又是输入语句中最能够体现用户核心意图的词语,因此,为了减少输入语句中其他词语对全连接分类器的分类结果造成影响,提高全连接分类器的识别速度和准确度,在本实施例的一种示例性的实施方式中,可以先采用前述获得语义特征向量的方法,计算获得根节点上的词语的语义特征向量,然后将根节点上的词语的语义特征向量输入预先训练的全连接分类器得到输入语句所表达的用户意图。这样仅将根节点上的词语的语义特征向量作为意图识别的输入,不但能够提高用户意图的识别速度还可以提高用户意图识别的准确度。
当然本实施例之所以能够将根节点上的词语的语义特征向量作为输入进行意图识别是因为本实施例前述步骤获取到的语义特征向量具有极高的准确性,而相关技术提供的方式,得到的语义特征向量的准确性较低,不能够只采用根节点上的词语的语义特征向量作为意图识别的输入,因此,本实施例提供的方案相比于相关技术具有极高的优越性。
步骤204、根据用户意图执行符合用户意图的操作,并反馈相应的操作结果。
举例来说,假设用户输入的语句是“今天天气怎么样”,那么智能会话平台将从第三方天气应用或者网络上搜索得到当天的天气信息,并通过语音或文字的方式反馈给用户,当然这里仅是示例说明而不是唯一限定。
本公开实施例,通过获取输入语句中的词语之间的依存关系,并将获取到的依存关系加入到注意力机制中确定得到输入语句中至少部分词语的语义特征向量,然后基于输入语句中的至少部分词语的语义特征向量进行意图识别得到输入语句表达的用户意图,然后根据用户意图执行相应的操作,并反馈操作结果。由于本公开实施例在注意力机制中加入了词语之间的依存关系,该依存关系不但能够将词语的注意力集中在距离词语自身较近的词语上,还能够将词语的注意力集中在距离词语自身较远,但存在语义依存关系的词语上。因此,将词语之间的依存关系加入到注意力机制之后可以得到准确度更高的语义特征向量,在此基础之上再根据这些语义特征向量进行意图识别就能够得到真实的用户意图,从而提高了意图识别的准确性和用户体验。
图6是本公开实施例提供的一种意图识别方法的流程示意图,如图6所示,该方法至少包括如下步骤:
步骤601、获取输入语句中的词语之间的语义依存关系和依存句法关系。
本实施例目标获取的依存关系包括语义依存关系和依存句法关系。其中,词语之间的语义依存关系可以通过预设的语义依存关系分析算法或者模型输出得到,词语之间的依存句法关系可以通过预设的依存句法关系分析算法或者模型输出得到。其中,在词语之间的语义依存关系和依存句法关系均由模型输出时,词语之间的语义依存关系和依存句法关系可以由同一个模型输出,也可以由不同的模型输出。当词语之间的语义依存关系和依存句法关系由同一个模型输出时,该模型包括用于对语义依存关系进行分析的网络层和用于对依存句法关系进行分析的网络层。
步骤602、根据语义依存关系与语义依存关系向量之间的映射关系,得到词语之间的语义依存关系向量,根据依存句法关系与依存句法关系向量之间的映射关系,得到词语之间的依存句法关系向量。
示例的,在本实施例中,图2实施例所称的依存关系与依存关系向量之间的映射关系可以被具体为语义依存关系与语义依存关系向量之间的映射关系和依存句法关系与依存句法关系向量之间的映射关系。其中,语义依存关系与语义依存关系向量之间的具体映射方式以及依存句法关系与依存句法关系向量之间的具体映射方式,均可以根据需要进行设定,本实施例不做具体限定。
步骤603、将词语之间的语义依存关系向量作为词语之间的注意力关系的加权量,计算得到词语之间的注意力关系打分。
示例的,如下是将词语之间的语义依存关系向量作为词语之间的注意力关系的加权量加入到注意力计算机制后,得到的一种示例性的注意力关系打分计算方式:
Figure BDA0002877546830000121
其中,xi和xj表示输入语句中的两个词语。
Figure BDA0002877546830000122
为词语xi的查询向量矩阵,
Figure BDA0002877546830000123
为词语xj的键向量矩阵,
Figure BDA0002877546830000124
为xi和xj之间的语义依存关系向量,d为向量维度,h为常数,
Figure BDA0002877546830000125
表示xi和xj之间的注意力关系打分。
本实施例通过将词语之间的语义依存关系向量作为词语之间的注意力关系的加权量加入到注意力计算机制中,能够使得注意力关系打分计算过程充分考虑到词语之间的语义依存关系对词语语义的影响,进而提高了注意力关系打分计算的准确性。
步骤604、将词语之间的依存句法关系向量作为词语之间的注意力关系打分的加权量,计算得到输入语句中至少部分词语的语义特征向量。
示例的,如下是将词语之间的依存句法关系向量作为词语之间注意力关系打分的加权量加入到注意力计算机制后,得到的一种语义特征向量的计算方式:
Figure BDA0002877546830000126
其中,
Figure BDA0002877546830000127
表示词语xi的语义特征向量,
Figure BDA0002877546830000128
表示词语xi和xj之间的注意力关系打分,
Figure BDA0002877546830000129
为词语xj的值向量矩阵,
Figure BDA00028775468300001210
为词语xi和xj之间的依存句法关系向量,n为输入语句中词语的数量。
本实施例通过将词语之间的依存句法关系向量作为词语之间注意力关系打分的加权量加入到注意力计算机制中,能够使得词语语义特征向量的计算过程充分考虑到词语之间的句法结构关系对词语语义的影响,进而提高了词语语义特征向量计算的准确性。
605、基于输入语句中至少部分词语的语义特征向量识别得到输入语句表达的用户意图。
606、根据用户意图执行符合用户意图的操作,并反馈相应的操作结果。
本实施例通过将词语之间的语义依存关系加入到注意力关系打分计算过程中,将词语之间的依存句法关系加入到词语的语义特征向量计算过程中,能够使得意图识别过程充分考虑到语义依存关系和依存句法关系对语义的影响,进而达到了提高意图识别准确度的目的。
图7是本公开实施例提供的一种意图识别装置的结构示意图。该装置可以被示例性的理解为上述实施例所称的智能对话平台或者智能对话平台上的部分功能模块。如图7所示,意图识别装置70包括:
获取模块71,用于获取输入语句中的词语之间的依存关系。
确定模块72,用于根据获取到的依存关系结合注意力机制确定得到输入语句中至少部分词语的语义特征向量。
识别模块73,用于基于输入语句中至少部分词语的语义特征向量识别得到输入语句表达的用户意图。
执行模块74,用于根据用户意图执行符合用户意图的操作,并反馈相应的操作结果。
在一种实施方式中,确定模块72,包括:
获取子单元,用于根据预设的依存关系与依存关系向量之间的映射关系,获得词语之间的依存关系向量。
确定子单元,用于根据词语之间的依存关系向量结合注意力机制确定得到输入语句中至少部分词语的语义特征向量。
在一种实施方式中,词语之间的依存关系包括:语义依存关系,词语之间的依存关系向量包括语义依存关系向量;其中,所述语义依存关系向量是指用于表示词语之间语义依存关系的向量。
在一种实施方式中,确定子单元,用于将词语之间的语义依存关系向量作为词语之间的注意力关系的加权量,计算得到词语之间的注意力关系打分;以及
根据词语之间的注意力关系打分,计算得到输入语句中至少部分词语的语义特征向量。
在一种实施方式中,词语之间的依存关系包括:依存句法关系,词语之间的依存关系向量包括依存句法关系向量;其中,所述依存句法关系向量是指用于表示词语之间依存句法关系的向量。
在一种实施方式中,确定子单元,用于基于注意力机制计算词语之间的注意力关系打分;以及
将词语之间的依存句法关系向量作为词语之间的注意力关系打分的加权量,计算得到输入语句中至少部分词语的语义特征向量。
在一种实施方式中,词语之间的依存关系包括输入语句中位于根节点上的词语与输入语句中其他词语之间的依存关系,其中,根节点上的词语是指输入语句中体现用户核心意图的词语;确定得到的输入语句中至少部分词语的语义特征向量中包括位于根节点上的词语的语义特征向量。
在一种实施方式中,识别模块73,用于基于位于所述根节点上的词语的语义特征向量,识别得到所述输入语句表达的用户意图。
本公开实施例提供的装置能够用于执行上述任一方法实施例的方法,其执行方式和有益效果类似,在这里不再赘述。
图8是本公开实施例提供的一种智能对话平台的结构示意图,如图8所示,智能对话平台80包括存储器81和处理器82,其中,存储器81中存储有计算机程序,当该计算机程序被处理器82执行时,处理器可以执行上述任一方法实施例的方法。
其中,本公开实施例所称的智能对话平台包括但不局限于智能对话机器人。
本公开实施例还提供一种计算机可读存储介质,该存储介质中存储有计算机程序,当该计算机程序被处理器执行时,使得该处理器可以执行上述任一方法实施例的方法。
其中,该计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。该计算机可读存储介质可以是机器可读信号介质或机器可读储存介质。该计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。计算机可读的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
计算机可读存储介质中存储的计算机程序可以以一种或多种程序设计语言或其组合来编写,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。该计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种意图识别方法,其特征在于,包括:
获取输入语句中的词语之间的依存关系;
根据所述依存关系结合注意力机制确定得到所述输入语句中至少部分词语的语义特征向量;
基于所述至少部分词语的语义特征向量识别得到所述输入语句表达的用户意图;
根据所述用户意图执行符合所述用户意图的操作,并反馈相应的操作结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述依存关系结合注意力机制确定得到所述输入语句中至少部分词语的语义特征向量,包括:
根据预设的依存关系与依存关系向量之间的映射关系,获得所述词语之间的依存关系向量;
根据所述词语之间的依存关系向量结合注意力机制确定得到所述至少部分词语的语义特征向量。
3.根据权利要求2所述的方法,其特征在于,所述词语之间的依存关系包括:语义依存关系,所述词语之间的依存关系向量包括语义依存关系向量;
其中,所述语义依存关系向量是指用于表示词语之间语义依存关系的向量。
4.根据权利要求3所述的方法,其特征在于,所述根据所述词语之间的依存关系向量结合注意力机制确定得到所述至少部分词语的语义特征向量,包括:
将所述词语之间的语义依存关系向量作为所述词语之间的注意力关系的加权量,计算得到所述词语之间的注意力关系打分;
根据所述词语之间的注意力关系打分,计算得到所述输入语句中至少部分词语的语义特征向量。
5.根据权利要求2所述的方法,其特征在于,所述词语之间的依存关系包括:依存句法关系,所述词语之间的依存关系向量包括依存句法关系向量;
其中,所述依存句法关系向量是指用于表示词语之间依存句法关系的向量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述词语之间的依存关系向量结合注意力机制确定得到所述至少部分词语的语义特征向量,包括:
基于注意力机制计算所述词语之间的注意力关系打分;
将所述词语之间的依存句法关系向量作为所述词语之间的注意力关系打分的加权量,计算得到所述输入语句中至少部分词语的语义特征向量。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述词语之间的依存关系包括所述输入语句中位于根节点上的词语与所述输入语句中其他词语之间的依存关系,其中,所述根节点上的词语是指所述输入语句中体现用户核心意图的词语;
确定得到的所述至少部分词语的语义特征向量中包括位于所述根节点上的词语的语义特征向量。
8.根据权利要求7所述的方法,其特征在于,所述基于所述至少部分词语的语义特征向量识别得到所述输入语句表达的用户意图,包括:
基于位于所述根节点上的词语的语义特征向量,识别得到所述输入语句表达的用户意图。
9.一种意图识别装置,其特征在于,包括:
获取模块,用于获取输入语句中的词语之间的依存关系;
确定模块,用于根据所述依存关系结合注意力机制确定得到所述输入语句中至少部分词语的语义特征向量;
识别模块,用于基于所述至少部分词语的语义特征向量识别得到所述输入语句表达的用户意图;
执行模块,用于根据所述用户意图执行符合所述用户意图的操作,并反馈相应的操作结果。
10.一种智能对话平台,其特征在于,包括:
存储器和处理器,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,所述处理器执行如权利要求1-8中任一项所述的方法。
11.根据权利要求10所述的智能对话平台,其特征在于,所述智能对话平台包括智能对话机器人。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,所述处理器执行如权利要求1-8中任一项所述的方法。
CN202011626280.9A 2020-12-31 2020-12-31 意图识别方法、装置、智能对话平台及存储介质 Pending CN114691840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011626280.9A CN114691840A (zh) 2020-12-31 2020-12-31 意图识别方法、装置、智能对话平台及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011626280.9A CN114691840A (zh) 2020-12-31 2020-12-31 意图识别方法、装置、智能对话平台及存储介质

Publications (1)

Publication Number Publication Date
CN114691840A true CN114691840A (zh) 2022-07-01

Family

ID=82133637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011626280.9A Pending CN114691840A (zh) 2020-12-31 2020-12-31 意图识别方法、装置、智能对话平台及存储介质

Country Status (1)

Country Link
CN (1) CN114691840A (zh)

Similar Documents

Publication Publication Date Title
CN110491383B (zh) 一种语音交互方法、装置、系统、存储介质及处理器
CN111933129B (zh) 音频处理方法、语言模型的训练方法、装置及计算机设备
US10991366B2 (en) Method of processing dialogue query priority based on dialog act information dependent on number of empty slots of the query
US10762903B1 (en) Conversational recovery for voice user interface
CN108899013B (zh) 语音搜索方法、装置和语音识别系统
CN103956169B (zh) 一种语音输入方法、装置和系统
US11574637B1 (en) Spoken language understanding models
US20150199340A1 (en) System for translating a language based on user's reaction and method thereof
CN112530408A (zh) 用于识别语音的方法、装置、电子设备和介质
JP2020030408A (ja) オーディオにおける重要語句を認識するための方法、装置、機器及び媒体
CN108538294B (zh) 一种语音交互方法及装置
US11276403B2 (en) Natural language speech processing application selection
CN110019741B (zh) 问答系统答案匹配方法、装置、设备及可读存储介质
US11615787B2 (en) Dialogue system and method of controlling the same
US11532301B1 (en) Natural language processing
CN112669842A (zh) 人机对话控制方法、装置、计算机设备及存储介质
CN104750677A (zh) 语音传译装置、语音传译方法及语音传译程序
Chakraborty et al. Knowledge-based framework for intelligent emotion recognition in spontaneous speech
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
US11626107B1 (en) Natural language processing
CN110809796B (zh) 具有解耦唤醒短语的语音识别系统和方法
CN112908315A (zh) 一种基于声音特征和语音识别的问答意图判断方法
CN116775870A (zh) 一种结合大模型的对话意图识别方法
CN114444609B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20230317066A1 (en) Shared encoder for natural language understanding processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination