CN108549656A - 语句解析方法、装置、计算机设备及可读介质 - Google Patents

语句解析方法、装置、计算机设备及可读介质 Download PDF

Info

Publication number
CN108549656A
CN108549656A CN201810193537.2A CN201810193537A CN108549656A CN 108549656 A CN108549656 A CN 108549656A CN 201810193537 A CN201810193537 A CN 201810193537A CN 108549656 A CN108549656 A CN 108549656A
Authority
CN
China
Prior art keywords
candidate
object statement
feature
slot position
analysis results
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810193537.2A
Other languages
English (en)
Other versions
CN108549656B (zh
Inventor
陈立玮
刘琼琼
丁鑫哲
孙珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810193537.2A priority Critical patent/CN108549656B/zh
Publication of CN108549656A publication Critical patent/CN108549656A/zh
Application granted granted Critical
Publication of CN108549656B publication Critical patent/CN108549656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种语句解析方法、装置、计算机设备及可读介质,通过获取待解析的目标语句对应的启发式理解的特征信息;根据目标语句对应的启发式理解的特征信息,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度;各候选解析结果中包括候选意图和候选槽位;根据各候选解析结果以及对应的置信度,获取目标语句对应的目标理解。本发明的语句解析方案,即使在训练数据资源不足的冷启动阶段,也能够获取到目标语句对应的启发式理解的特征信息,实现对目标语句的准确理解。而且,能够避免使用固定格式的模板进行语句识别,可以避免模板泛化能力弱带来的语句理解准确性差的技术缺陷,能够有效地提高语句解析的准确性和语句解析的效率。

Description

语句解析方法、装置、计算机设备及可读介质
【技术领域】
本发明涉及计算机应用技术领域,尤其涉及一种语句解析方法、装置、计算机设备及可读介质。
【背景技术】
人工智能(Artificial Intelligence;AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
随着智能交互产品的快速发展,Query语句理解技术受到了越来越广泛的关注。Query语句理解的目标是将用户的非结构化Query语句解析为结构化的意图和槽位的形式,从而使得计算机可以理解并且能够寻找资源来满足用户的需求。与传统搜索引擎中的用户Query语句不同,在智能交互领域,用户的Query语句不仅仅只是关键词的组合,而是越来越口语化、越来越接近真实的自然语言,这就需要Query语句理解的解析算法具有更强大的表义能力、自然语言理解能力。
通常来说,Query语句理解技术被分成两个主要的子任务:意图识别和槽位解析。意图识别可以被看成是一个分类任务,判断一条Query语句表达了用户的什么意图;槽位解析则可以被看成是一个序列标注任务,对Query语句中具体的槽位信息进行标注。例如,对于一条Query语句“给我推荐一个曾经吓死过人的电影,要免费的”,Query语句理解时可以判断它表达的意图是“SYS_MOVIE(寻找电影)”,同时其中含有两个槽位:“曾经吓死过人:user_movie_tag”,“免费:user_is_free”。按照现有的技术,可以采用人工编辑的模板对Query语句进行理解,或者基于大量的标注训练数据训练机器学习模型,来理解Query语句。
但是,当标注的训练数据资源不足时,机器学习模型不适合冷启动,仅能够采用人工标记的模板来理解Query语句,而现有模板数量有限,且模板格式固定、泛化能力非常弱,导致现有的Query语句理解的准确性较差。
【发明内容】
本发明提供了一种语句解析方法、装置、计算机设备及可读介质,用于提高Query语句理解的准确性。
本发明提供一种语句解析方法,所述方法包括:
获取待解析的目标语句对应的启发式理解的特征信息;
根据所述目标语句对应的启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;各所述候选解析结果中包括候选意图和候选槽位;
根据各种所述候选解析结果以及各种所述候选解析结果的置信度,确定所述目标语句对应的目标理解。
进一步可选地,如上所述的方法中,获取待解析的目标语句对应的启发式理解的特征信息,具体包括:
基于预设的多个语义片段规则组,获取所述目标语句对应的第一启发式理解的特征信息;各所述语义片段规则组分别对应一种意图,各所述语义片段规则组中包括多个槽位以及各所述槽位的顺序标识;和/或
基于预标注的训练语句数据集,获取所述目标语句对应的第二启发式理解的特征信息;所述预标注的训练语句数据集中包括多条训练语句,各所述训练语句中已标注对应的意图和槽位;
对应地,根据所述目标语句对应的启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述第一启发式理解的特征信息和/或所述启发式理解的第二特征信息,获取所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
进一步可选地,如上所述的方法中,基于预设的多个语义片段规则组,获取所述目标语句对应的第一启发式理解的特征信息,具体包括:
基于预设的各个所述语义片段规则组,获取所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征。
进一步可选地,如上所述的方法中,根据所述第一启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征中的至少一种,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;或者
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
进一步可选地,如上所述的方法中,基于预标注的训练语句数据集,获取所述目标语句对应的第二启发式理解的特征信息,具体包括如下至少一种:
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位普及程度特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的词语与槽位的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的不同词语对应的候选槽位间的槽位与槽位的相关性特征;和/或
基于所述预标注的训练语句数据集,获取所述目标语句的自然语言特征。
进一步可选地,如上所述的方法中,根据所述第二启发式理解的特征信息,获取所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述目标语句对应的所述槽位与意图的相关性特征、所述槽位普及程度特征、所述词语与槽位的相关性特征、所述槽位与槽位的相关性特征以及所述自然语言特征、以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
进一步可选地,如上所述的方法中,根据所述第一启发式理解的特征信息和/或所述第二启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述第一启发式理解的特征信息和/或所述第二启发式理解的特征信息,采用神经网络模型解析所述目标语句的多种所述候选解析结果,并计算各种所述候选解析结果对应的置信度。
本发明提供一种语句解析装置,所述装置包括:
获取模块,用于获取待解析的目标语句对应的启发式理解的特征信息;
解析模块,用于根据所述目标语句对应的启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;各所述候选解析结果中包括候选意图和候选槽位;
确定模块,用于根据各种所述候选解析结果以及各种所述候选解析结果的置信度,确定所述目标语句对应的目标理解。
进一步可选地,如上所述的装置中,所述获取模块,具体用于:
基于预设的多个语义片段规则组,获取所述目标语句对应的第一启发式理解的特征信息;各所述语义片段规则组分别对应一种意图,各所述语义片段规则组中包括多个槽位以及各所述槽位的顺序标识;和/或
基于预标注的训练语句数据集,获取所述目标语句对应的第二启发式理解的特征信息;所述预标注的训练语句数据集中包括多条训练语句,各所述训练语句中已标注对应的意图和槽位;
对应地,所述解析模块,具体用于:
根据所述第一启发式理解的特征信息和/或所述启发式理解的第二特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
进一步可选地,如上所述的装置中,所述获取模块,具体用于基于预设的各个所述语义片段规则组,获取所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征。
进一步可选地,如上所述的装置中,所述解析模块,具体用于:
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征中的至少一种,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;或者
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
进一步可选地,如上所述的装置中,所述获取模块,具体用于,执行如下至少一种操作:
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位普及程度特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的词语与槽位的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的不同词语对应的候选槽位间的槽位与槽位的相关性特征;和/或
基于所述预标注的训练语句数据集,获取所述目标语句的自然语言特征。
进一步可选地,如上所述的装置中,所述解析模块,具体用于根据所述目标语句对应的所述槽位与意图的相关性特征、所述槽位普及程度特征、所述词语与槽位的相关性特征、所述槽位与槽位的相关性特征以及所述自然语言特征、以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
进一步可选地,如上所述的装置中,所述解析模块,具体用于根据所述第一启发式理解的特征信息和/或所述第二启发式理解的特征信息,采用神经网络模型解析所述目标语句的多种所述候选解析结果,并计算各种所述候选解析结果对应的置信度。
本发明还提供一种计算机设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的语句解析方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的语句解析方法。
本发明的语句解析方法、装置、计算机设备及可读介质,通过获取待解析的目标语句对应的启发式理解的特征信息;根据目标语句对应的启发式理解的特征信息,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度;各候选解析结果中包括候选意图和候选槽位;根据各种候选解析结果及对应的置信度,获取目标语句对应的目标理解。本发明的语句解析方案,即使在训练数据资源不足的冷启动阶段,也能够获取到目标语句对应的启发式理解的特征信息,实现对目标语句的准确理解。而且,本发明的语句解析方案中,避免使用固定格式的模板进行语句识别,可以避免模板泛化能力弱带来的语句理解准确性差的技术缺陷,通过获取到目标语句对应的启发式理解的特征信息,实现对目标语句的准确理解,从而能够有效地提高语句解析的准确性和语句解析的效率。
【附图说明】
图1为本发明的语句解析方法实施例的流程图。
图2为本发明提供的一种Query语句的解析示意图。
图3为本发明提供的一种语义片段规则组解析效果示意图。
图4为本发明的语句解析中的概率模型的示意图。
图5为本发明的语句解析装置实施例的结构图。
图6为本发明的计算机设备实施例的结构图。
图7为本发明提供的一种计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的语句解析方法实施例的流程图。如图1所示,本实施例的语句解析方法,具体可以包括如下步骤:
100、获取待解析的目标语句对应的启发式理解的特征信息;
本实施例的语句解析方法的执行主体为语句理解装置,该语句理解装置用于智能交互式产品中,用于对用户输入的Query语句进行启发式解析,以克服现有技术中仅能够采用人工标记的固定模板或者基于大量的标注训练数据训练机器学习模型才能对Query语句进行解析的缺陷。
本实施例中,为了克服人工标记的模板的资源不足以及训练数据的资源不足,基于启发式的理解来实现对Query语句的语义解析。首先,获取待解析的目标语句对应的启发式理解的特征信息。
101、根据目标语句对应的启发式理解的特征信息,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度;各候选解析结果中包括候选意图和候选槽位;
本实施例中,基于获取的目标语句对应的启发式理解的特征信息,可以实现对目标语句进行多种解析,得到多种候选解析结果,同时还可以获取到每种解析结果对应的置信度。其中每一种候选解析结果中可以包括该目标语句对应的候选意图和候选槽位,其中每一种候选解析结果中包括的候选槽位的数量可以为一个、两个或者多个。
本实施例获取的目标语句对应的启发式理解的特征信息的数量可以为一个、两个或者多个。具体可以根据所有特征信息的部分特征信息,来解析目标语句的多种候选解析结果。进一步可选地,若影响候选解析结果的特征信息的数量包括两个以上时,在根据目标语句对应的启发式理解的特征信息,计算对应的候选解析结果对应的置信度时,各特征信息可以呈线性关系或者非线性关系。
可选地,本实施例中的步骤101也可以通过神经网络模型来实现,此时对应的该神经网络模型输入可以为目标语句对应的启发式理解的特征信息,若参与计算的特征有两个以上时,神经网络模型可以按照预先配置的各特征的权重,或者根据训练数据训练的各特征的权重,解析目标语句对应的各个候选解析结果,并计算各候选解析结果的置信度,最终可以输入每种解析结果以及对应的置信度。
102、根据各种候选解析结果以及各种候选解析结果的置信度,确定目标语句对应的目标理解。
根据上述步骤得到各个候选结果的置信度之后,可以根据各个候选解析结果的置信度,从多个候选解析结果中选取置信度最大的候选解析结果作为目标语句对应的目标理解。而若存在两个以上置信度相同的候选解析结果时,可以从多个候选解析结果中选择槽位较多的候选解析结果作为目标语句对应的目标理解;或者也可以采用其他选取方式从多个候选解析结果中选择目标语句对应的目标理解。根据上述方式,得到目标语句对应的目标理解,即得到该目标语句对应的最终的目标意图和目标槽位,进而后续可以基于该目标语句理解得到的目标意图和目标槽位,对该用户的Query语句进行反馈。
本实施例的语句解析方法,通过获取待解析的目标语句对应的启发式理解的特征信息;根据目标语句对应的启发式理解的特征信息,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度;各候选解析结果中包括候选意图和候选槽位;根据各种候选解析结果及对应的置信度,获取目标语句对应的目标理解。本实施例的语句解析方案,即使在训练数据资源不足的冷启动阶段,也能够获取到目标语句对应的启发式理解的特征信息,实现对目标语句的准确理解。而且,本实施例的语句解析方案中,避免使用固定格式的模板进行语句识别,可以避免模板泛化能力弱带来的语句理解准确性差的技术缺陷,通过获取到目标语句对应的启发式理解的特征信息,实现对目标语句的准确理解,从而能够有效地提高语句解析的准确性和语句解析的效率。
进一步可选地,在上述图1所示实施例的技术方案的基础上,其中步骤100“获取待解析的目标语句对应的启发式理解的特征信息”,具体可以从如下两方面中任一方面来获取:
第一方面:基于预设的多个语义片段规则组,获取目标语句对应的第一启发式理解的特征信息;本实施例中,各语义片段规则组分别对应一种意图,各语义片段规则组中包括多个槽位以及各槽位的顺序标识;其中槽位的顺序标识可以表示该槽位对应的语义片段在Query语句中的位置。
本实施例中,在Query语句解析中,意图和槽位是一种常见的解析结果表示方式。其中,意图用于表示该Query语句的具体需求,比如寻找餐厅、寻找电影、询问价格等等,而槽位则用来表示对于该意图的一些约束或者修饰,比如对餐厅环境的要求、对电影类型的要求等。
例如,图2为本发明提供的一种Query语句的解析示意图。如图2所示,Query语句“推荐一个陈小春演的恐怖电影”的解析结果中SYS_MOVIE是意图,表示这条Query语句的需求是寻找电影。user_actor=陈小春、user_movie_type=恐怖是槽位,分别约束了所要寻找的电影的演员以及类型。
本实施例中,可以基于语义片段规则组来实现按照上述方式对Query语句进行解析。语义片段规则组用易于理解的方式定义了一系列的启发式规则,这些规则可以由开发者来定义,也可以自动进行学习。图3为本发明提供的一种语义片段规则组解析效果示意图。如图3所示,以一种包括槽位[D:loc]和[D:time],且意图为天气的语义片段规则组为例,来解析“今天北京天气咋样”所得到的解析结果。
其中[D:loc],匹配地点槽位,如“北京”;[D:time]匹配时间槽位,如“今天”;“天气”匹配Query语句中一个特定的关键词(即作为意图的片段)均为匹配局部语义片段的规则。语义片段规则组的匹配规则可以是一段具体的文本、一个槽位,也可以是槽位、通配、文字的组合,如“从[D:start][W:0-4]到[D:arrival]”,其中[D:start]是出发地槽位,[D:arrival]是到达地槽位。解析时将会尝试用这些规则与Query语句中的一部分进行匹配,匹配到的部分即为局部语义片段。如在Query语句“从北京出发到上海的路线”中,语义片段规则组“从[D:start][W:0-4]到[D:arrival]”可以匹配到局部语义片段“从北京出发到上海”。
另外,由于Query语句为用户发出的自然语言,自然语言的表现形式非常灵活。例如在询问天气情况时,可以通过“北京今天天气咋样”、“今天北京天气咋样”等方式进行询问,因此,开发者可以预先指定语义片段规则组中各槽位位置的语义片段之间的相互顺序。本实施例中,为了便于描述,可以采用非负整数来表示槽位的顺序标识。例如,可以定义一个语义片段的槽位的顺序标识为0,表明它的位置在Query语句不受任何限制,可以位于Query语句中任何一个位置,如上述例子中的“北京”和“今天”对应的槽位。如果一个语义片段的位置对应的槽位的顺序标识为一个正整数,那么则要求顺序标识的数值小的语义片段在Query语句中位于顺序标识的数值大的语义片段的前面。如果两个语义片段的位置对应的顺序标识的值是相同的正整数,那么它们之间的相对顺序不受限制。
如图3所示,槽位[D:loc]和[D:time]所代表的语义片段以及意图对应的语义片段“天气”之间的顺序没有约束,可以任意组合,所以它们的顺序标识可以均设置为0。此时,该语义片段规则组可以替代以下6个如下不同的模板:[D:loc][D:time]天气、[D:loc]天气[D:time]、天气[D:loc][D:time]、天气[D:time][D:loc]、[D:time]天气[D:loc]和[D:time][D:loc]天气。
假设语义片段规则组中“天气”的相对顺序标记为0,[D:loc]的相对顺序标记为1,[D:time]顺序标记为2,那么在匹配的过程中,[D:loc]必须处于[D:time]的前面,而“天气”的位置则不受限制。此时语义片段规则组可以替代以下模板:[D:loc][D:time]天气、天气[D:loc][D:time]和[D:loc]天气[D:time]。
假设语义片段规则组中“天气”的相对顺序标记为2,而[D:loc]和[D:time]的顺序均标记为1,那么在匹配过程中,“天气”必须位于[D:loc]和[D:time]的后面,而[D:loc]和[D:time]的相对顺序则不受限制。此时语义片段规则组可以替代以下模板:[D:loc][D:time]天气和[D:time][D:loc]天气。
基于以上所述,可以知道,本实施例的语义片段规则组相比现有的固定模板的优势在于:每条模板只能识别一种句式,而本实施例的语义片段规则组则可以通过指定槽位对应的语义片段间的顺序,让一个语义规则组可以匹配多种不同的句式。因此,语义片段规则组相比模板有更强的召回能力,避免开发大量的固定的模板,从而能够大幅度降低开发的成本。
实际应用中,基于上述的语义片段规则组的特性,用户可以预设多种语义片段规则组来进行Query语句的解析,每一种语义片段规则组对应一种意图,包括多个槽位及各槽位对应的语义片段在语句中的顺序标识。
进一步可选地,本实施例中,该第一方面“基于预设的多个语义片段规则组,获取目标语句对应的第一启发式理解的特征信息”,具体可以包括如下至少一种:
第一种、获取目标语句的命中的各候选槽位的片段的顺序标识是否满足对应的语义片段规则组中的限定的特征;
本实施例的第一方面中,可以采用每个语义片段规则组来理解该目标语句,即每个语义片段规则组对应的理解都可以作为该目标语句的一种候选理解。由于每一种语义片段规则组中都限定了各个槽位的顺序标识,当根据某个语义片段规则组识别目标语句时,首先识别目标语句中包括的该语义片段规则组中的各个槽位,然后,可以根据该语义片段规则组中的各个槽位的顺序标识,获取目标语句中命中各槽位对应的语义片段的顺序标识,例如目标语句中的语义片段1和语义片段2命中该语义片段规则组中的槽位1和槽位2,若槽位1和槽位2的顺序标识分别为1和2,则语义片段规则组中的限定的该语义片段1和语义片段2的顺序标识应该为1和2,即语义片段1必须位于语义片段2之前。若目标语句中语义片段1位于语义片段2之后,则目标语句的命中候选槽位的语义片段的顺序标识不满足对应的语义片段规则组中的限定,此时可以采用0,标识不满足对应的语义片段规则组中的限定;而若目标语句中语义片段1正好位于语义片段2之前,则目标语句的命中候选槽位的语义片段的顺序标识满足对应的语义片段规则组中的限定,此时可以采用1,标识满足对应的语义片段规则组中的限定。对应每个语义片段规则组,即对应目标语句的每一种候选解析结果,都可以获取到上述特征,在此不再赘述。
第二种、获取目标语句中是否包括对应的候选意图对应的特定片段的特征;
同理,对于每个语义片段规则组对目标语句的候选理解,对应存在一种候选意图,即为语义片段规则组中标识的意图。根据上述实施例的记载,对于每一个语义片段规则组的意图,都会限定一个表征意图的特定片段。例如如图3所示,可以限定询问天气的Query语句中需要都包括“天气”片段。而且在语义片段规则组中,也可以标识该特定片段的顺序标识。例如在图3所示实施例中,天气的顺序标识也可以为0,即可以位于Query语句中任意位置。
然后,可以将各语义片段规则组的意图都作为目标语句的候选意图,判断目标语句中是否包括每个候选意图对应的特定片段。例如,若包括,可以采用数字1表示,若未包括可以采用数字0表示。
第三种、获取对目标语句的候选理解的识别覆盖率的特征。
对于每一种语义片段规则组对目标语句的候选解析结果,都可以计算出利用该语义片段规则组对该目标语句识别的覆盖率,等于识别出的字符数除以该目标语句所包括的所有字符数。该覆盖率越大,表示采用该语义片段规则组解析该目标语句的准确性越高,而覆盖率越小,表示采用该语义片段规则组解析该目标语句的准确性越低。
另外,需要说明的是,由于目标语句为用户输入的自然语句,偏向于口语化,在语句解析时,目标语句中的某些词语虽然未命中槽位,但是可以解析其为口语,此时若将这部分口语理解为未识别的字符,将会大大降低识别覆盖率。因此,本实施例中,还可以增加识别目标语句的口语化片段的识别模块,虽然口语化片段未命中槽位信息,但是可以作为已识别字符,提高识别覆盖率的数值。
具体实现时,对于每一条输入的Query语句,首先使用命名实体识别工具识别其中的命名实体;用口语化识别工具、通用片段词典等口语化片段识别模块识别Query语句中的口语化片段、通用的无意义片段,如“我想要”、“帮我查”、“肯德基评价咋样啊”中的“咋样啊”等;最后使用模板匹配工具的局部匹配功能,将开发者定义的语义片段规则组与Query语句进行匹配,获得Query语句中的语义片段的候选结果。
在此基础上,基于语义片段-意图的倒排索引,获取所有可能的意图,构成意图候选列表。最后,基于开发者所编写的规则,计算一系列的启发式特征,如上述三种特征,基于上述三种特征可以对目标语句的候选的结果进行评分,以便于后续获取最优的解析结果。本实施例的这种启发式的结果调节方式的复杂度相比人工调整模板有了显著下降,而且具有更强的包容性。
上述实施例中,以第一启发式理解的特征信息包括上述三种特征为例,实际应用中,第一启发式理解的特征信息还可以包括基于预设的多个语义片段规则组,获取的目标语句对应的其他特征,在此不再一一举例赘述。
在获取到第一启发式理解的特征信息之后,本实施例的步骤101“根据目标语句对应的启发式理解的特征信息,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度”,的一种可选方案具体可以包括:仅根据获取的上述三种特征中的至少一种,来解析候选解析结果。例如,若同时根据上述三种特征解析目标语句时,对于某语义片段规则解析的候选解析结果,若上述三个特征同时满足要求,则置信度可以为最高,而若仅上述两个特征满足要求,置信度次之,而若仅上述一个特征满足要求,则置信度最低。
或者进一步可选地,本实施例中,还可以预先为上述三种特征配置对应的权重,重要的特征可以配置的权重较高,不重要的特征配置的权重较低,并将三个特征同时参与候选解析结果对应的置信度的计算。即根据目标语句的命中各候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、目标语句中是否包括对应的候选意图对应的特定片段的特征、和目标语句的候选理解的识别覆盖率的特征以及预先为各特征配置的权重,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度。计算时,各特征呈线性关系或者非线性关系。或者本实施例中,也可以采用神经网络模型来实现,由神经网络模型按照预先配置的各特征的权重,或者根据训练数据训练的各特征的权重,解析目标语句对应的各个候选解析结果,并计算各候选解析结果的置信度,最终可以输入每种解析结果以及对应的置信度。
第二方面:基于预标注的训练语句数据集,获取目标语句对应的第二启发式理解的特征信息;预标注的训练语句数据集中包括多条训练语句,各训练语句中已标注对应的意图和槽位;
在上述目标语句对应的特征信息为目标语句对应的第一启发式理解的特征信息的实施例中,给出了最简单直接的方式,也就是在开发者所写的语义片段规则组的基础上,设计一系列的启发式特征来获取最优的解析结果。但是这种方式中缺乏自然语言处理相关的策略,因此仍然不能深入理解用户的Query语句的语义,可能会导致解析结果错误。
进一步地,在智能交互开发平台上,开发者除了可以编写规则,还可以标注并上传训练语句数据集,从而基于预标注的训练语句数据集,获取目标语句对应的第二启发式理解的特征信息。本实施例中,预标注的训练语句数据集中可以包括多条训练语句,各训练语句中已标注对应的意图和槽位。因此,可以进一步利用这些训练语句数据来对Query语句进行解析,与语义片段规则组进行互补,从而使得整体效果更加鲁棒。在获取了局部语义片段和意图的候选后,进一步分析如何利用自然语言处理的算法分析目标语句中含有的信息,深入理解用户Query语句所表达的含义,获取全局最优的解析结果。考虑到开发者在初期所提供的训练语句数据集中的数据量可能较小,本实施例中可以选用基于概率模型的算法,并针对性的设计了一系列的特征,使其能够在训练数据量较小时就获得较好的效果。
给定一条Query语句的词序列,对于它的每一种候选解析结果,即一种意图和槽位的组合,都可以计算出以这个词序列为条件的概率,这可以被看成是一个如下图4所示的概率模型。如图4所示,用S表示槽位序列(不包含无歧义的,即候选唯一的槽位),W表示词序列,y表示意图,则以词序列为条件的一个候选解析结果的概率可表示为:
其中,Z是归一化因子,λi和μj是特征的权重,在冷启动阶段可根据经验来人工指定一个初始值,随着训练数据增多,则可以基于训练数据来学习优化;fi(S,W)是基于槽位和词构建的特征,gj(S,y)是基于槽位和意图构建的特征。后续将详细介绍这些特征。
基于以上所述,求一条Query语句的最优解析的过程可以看成是以这个词序列为条件,求概率最高的槽位和意图组合方案。假设S是所有候选槽位序列的集合,Y是所有候选意图的集合,那么最优的解析结果为:
具体地,第二方面中包括的特征,具体可以包括如下至少一种:
第四种、基于预标注的训练语句数据集,获取目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征;
槽位与意图的相关性特征主要关注在给定一个槽位的情况下,选择一个意图的可能性,它体现了槽位与意图之间的关联程度。假设槽位为s,意图为y,那么该特征可由下式计算:
其中freq(s,y)是预标注的训练语句数据集中槽位s和意图y共同出现的频次。
具体实现时,对于接收到的目标语句即Query语句,可以先根据预设的槽位库对目标语句中的槽位进行识别。目标语句中的同一个语义片段或者说同一个词语,可以对应不同的意图的候选槽位。例如地名【北京】可以对应地名的槽位,也可以对应歌名或者其他意图的槽位,具体还需要根据Query的上下文来判断。因此,需要基于预标注的训练语句数据集,统计并获取目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征。目标语句的某个候选槽位与意图的相关性越强,表示该目标语句为该种意图的概率就越大,反之,某个候选槽位与意图的相关性越弱,表示该目标语句为该种意图的概率就越小。
第五种、基于预标注的训练语句数据集,获取目标语句中的每个词语对应的各候选槽位的槽位普及程度特征;
该槽位普及程度特征主要衡量在预标注的训练语句数据集中,每个槽位的常见程度。在其它特征难以区分结果优劣的时候,直接选取最常见的槽位就是一种相对合理的方式。因此,预标注的训练语句数据集中,出现频次越高的槽位,普及度越高,该槽位作为目标语句的解析结果的槽位的概率就越高;反之,出现频次越低的槽位,普及度越低,该槽位作为目标语句的解析结果的槽位的概率就越低。该槽位普及程度特征可由下式计算:
其中freq(s)是预标注的训练语句数据集中槽位s出现的频次,Sall是所有槽位的集合。
第六种、基于预标注的训练语句数据集,获取目标语句中的每个词语对应的词语与槽位的相关性特征;
词语与槽位相关性特征体现了在不考虑其它因素的情况下,Query语句中的一个词语被标记为一个候选槽位的可能性。假设这个词语是w,它的一个候选槽位是s,那么该词语与槽位的相关性特征可以由下式进行计算:
其中freq(w)是预标注的训练语句数据集中词语w出现的频次,freq(w,s)是预标注的训练语句数据集中词语w被标记为槽位s的频次。
若该词语与槽位的相关性越强,表示目标语句的解析结果中该词语为槽位的概率越高;反之,该词语与槽位的相关性越弱,表示目标语句的解析结果中该词语为槽位的概率越小。
第七种、基于预标注的训练语句数据集,获取目标语句中的不同词语对应的候选槽位间的槽位与槽位的相关性特征;
具体地,对目标语句进行槽位识别时,有的词语可以识别到一个候选槽位,而有的词语可以识别到多种不同类型的候选槽位。本实施例中,可以统计所有的不同词语间的候选槽位间的槽位与槽位的相关性特征。例如,某个Query语句中,词语A可以识别到候选的槽位1和候选的槽位2,词语B可以识别到候选的槽位3。可以统计槽位1和槽位3的相关性特征,槽位2和槽位3的相关性特征。例如,槽位1和槽位3的相关性特征可以等于预标注的训练语句数据集中槽位1和槽位3一起出现的频次,占槽位1和其他一起出现的所有槽位一起出现的频次的比例。同理,也可以统计出槽位2和槽位3的相关性特征。如果槽位1和槽位3的相关性特征大于槽位2和槽位3的相关性特征,则表示,词语A被识别为候选的槽位1的概率大于被识别为候选的槽位2的概率。按照上述方式,可以统计目标语句中的所有槽位与槽位的相关性特征。该槽位-槽位相关性特征主要衡量Query中的两个槽位之间的关联。
第八种、基于预标注的训练语句数据集,获取目标语句的自然语言特征。
该自然语言特征也可以称之为Ngram特征,对于一个Query语句的词语序列W和一个候选的槽位序列S,Ngram特征的构建方式如下:首先将槽位替换到词语序列中,而后在词语和槽位的混合序列中抽取bigram、trigram或者其他等Ngram,每个Ngram为一条特征。然后在预标注的训练语句数据集中,检测该Ngram是否出现。例如,在Ngram特征表示时,若预标注的训练语句数据集出现该Ngram,则对应位置元素标识为1,若未出现,则对应位置的元素标识为0。从而基于预标注的训练语句数据集,可以得到一个完整的Ngram特征。Ngram特征可表明在特定的上下文语境下,解析结果更可能选择哪个槽位。
除了前面所讨论的特征以外,本实施例中还可以加入更多的其它自然语言处理相关的特征,如围绕句法分析结果所设计的特征、根据槽位间的搭配关系所设计的特征等,从而进一步的提高语义解析的能力,以及语句的识别准确性,在此不再一一举例赘述。
在获取到上述各种第二启发式理解的特征信息之后,上述实施例的步骤101“根据目标语句对应的启发式理解的特征信息,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度”,的一种可选方案具体可以包括:仅根据获取的上述第四种特征到第八种特征中的至少一种,来解析候选解析结果以及对应置信度的计算。具体可以根据实际需求选择哪种特征参与解析。
或者,还可以根据上述第四种特征到第八种特征以及预先为各特征配置的权重,获取目标语句的多种候选解析结果以及各种候选解析结果对应的置信度。计算时,各特征呈线性关系或者非线性关系。或者同理,本实施例中,也可以采用神经网络模型来实现,由神经网络模型按照预先配置的各特征的权重,或者根据训练数据训练的各特征的权重,解析目标语句对应的各个候选解析结果,并计算各候选解析结果的置信度,最终可以输入每种解析结果以及对应的置信度。
可选地,在获取上述第一方面的三种特征和第二方面的五种特征之后,可以将上述两方面的所有特征都参与目标语句的解析结果的解析以及各候选解析结果对应的置信度的计算。具体地,可以根据实际需求为各特征配置权重,或者可以采用神经网络模型,根据训练数据训练各特征的权重,并由神经网络模型根据训练的各特征的权重以及得到的上述各特征,解析目标语句对应的各个候选解析结果,并计算各候选解析结果的置信度,最终可以输入每种解析结果以及对应的置信度。
基于上述实施例,可以知道,本申请的语句解析方法在根据目标语句对应的启发式理解的特征信息解析目标语句的多种候选解析结果时,可以仅基于预设的多个语义片段规则组获取的目标语句对应的第一启发式理解的特征信息(如上述实施例中的第一种到第三种特征),来解析目标语句的多种候选解析结果,并计算对应的置信度。也可以仅基于预标注的训练语句数据集获取的目标语句对应的第二启发式理解的特征信息(如上述实施例中的第四种到第八种特征),来解析目标语句的多种候选解析结果,并计算对应的置信度。
当然,也可以同时参考基于预设的多个语义片段规则组获取的目标语句对应的第一启发式理解的特征信息(如上述实施例中的第一种到第三种特征),和基于预标注的训练语句数据集获取的目标语句对应的第二启发式理解的特征信息(如上述实施例中的第四种到第八种特征),来解析目标语句的多种候选解析结果,并计算对应的置信度。
此时,在解析时,根据第一启发式理解的特征信息(如上述实施例中的第一种到第三种特征),能够解析到一组候选解析结果和对应的置信度。根据第二启发式理解的特征信息(如上述实施例中的第四种到第八种特征),也能够解析到一组候选解析结果和置信度。可以将两组候选解析结果放在一起,整体参与排序,获取置信度最优的候选解析结果,作为目标解析结果,即目标语句的目标理解。
或者,在解析时,也可以将第一启发式理解的特征信息(如上述实施例中的第一种到第三种特征),和第二启发式理解的特征信息(如上述实施例中的第四种到第八种特征)一起参与候选解析结果的解析和置信度的计算。此时,第一启发式理解的特征信息和第二启发式理解的特征信息不单独直接解析目标语句,得到候选解析结果;而仅仅是第一启发式理解的特征信息中的特征如第一特征到第三特征是基于预设的多个语义片段规则组获取的,所以在表示时会基于预设的语义片段规则组来表示。第二启发式理解的特征信息中的特征如第四特征到第八特征是基于预标注的训练语句数据集获取的,所以表示时会基于预标注的训练语句数据集来表示。
上述实施例的技术方案,除了具有较强的语句解析的准确性之外,与现有的基于固定的模板的方案相比,所使用的语义片段规则组具有较强的召回能力,一个语义片段规则组可以替代大量的传统模板,大幅度降低了开发的成本,同时也避免了调整大量模板之间的优先级的困难。上述实施例的技术方案还可以通过引入口语化片段识别的模块,提高了对口语化Query的处理能力。进一步的,上述实施例的技术方案具有较强的可扩展性,可以整合多种不同的自然语言处理特征和启发式规则,便于进行持续优化。
与基于机器学习的方案相比,上述实施例的技术方案不需要大量的人工标注,可以在冷启动阶段快速获得可用的Query理解能力;并且算法透明性高,更易于对错误识别的case进行干预。
图5为本发明的语句解析装置实施例的结构图。如图5所示,本实施例的语句解析装置,具体可以包括:
获取模块10用于获取待解析的目标语句对应的启发式理解的特征信息;
解析模块11用于根据获取模块10获取的目标语句对应的启发式理解的特征信息,解析目标语句的多种候选解析结果以及各种候选解析结果对应的置信度;各候选解析结果中包括候选意图和候选槽位;
确定模块12用于根据解析模块11得到的各种候选解析结果以及各种候选解析结果的置信度,确定目标语句对应的目标理解。
本实施例的语句解析装置,通过采用上述模块实现语句解析的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
进一步可选地,在上述图5所示实施例的技术方案的基础上,其中获取模块10具体用于:
基于预设的多个语义片段规则组,获取目标语句对应的第一启发式理解的特征信息;各语义片段规则组分别对应一种意图,各语义片段规则组中包括多个槽位以及各槽位的顺序标识;和/或
基于预标注的训练语句数据集,获取目标语句对应的第二启发式理解的特征信息;预标注的训练语句数据集中包括多条训练语句,各训练语句中已标注对应的意图和槽位;
对应地,解析模块11具体用于:
根据第一启发式理解的特征信息和/或启发式理解的第二特征信息,解析目标语句的多种候选解析结果以及各种候选解析结果对应的置信度。
进一步可选地,在上述实施例的技术方案的基础上,获取模块10具体用于基于预设的各个语义片段规则组,获取目标语句的命中各候选槽位的片段的顺序标识是否满足对应的语义片段规则组中的限定的特征、目标语句中是否包括对应的候选意图对应的特定片段的特征、和目标语句的候选理解的识别覆盖率的特征。
进一步可选地,在上述实施例的技术方案的基础上,解析模块11具体用于:
根据目标语句的命中各候选槽位的片段的顺序标识是否满足对应的语义片段规则组中的限定的特征、目标语句中是否包括对应的候选意图对应的特定片段的特征、和目标语句的候选理解的识别覆盖率的特征中的至少一种,解析目标语句的多种候选解析结果以及各种候选解析结果对应的置信度;或者
根据目标语句的命中各候选槽位的片段的顺序标识是否满足对应的语义片段规则组中的限定的特征、目标语句中是否包括对应的候选意图对应的特定片段的特征、和目标语句的候选理解的识别覆盖率的特征以及预先为各特征配置的权重,解析目标语句的多种候选解析结果以及各种候选解析结果对应的置信度。
进一步可选地,在上述实施例的技术方案的基础上,获取模块10具体用于,执行如下至少一种操作:
基于预标注的训练语句数据集,获取目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征;
基于预标注的训练语句数据集,获取目标语句中的每个词语对应的各候选槽位的槽位普及程度特征;
基于预标注的训练语句数据集,获取目标语句中的每个词语对应的词语与槽位的相关性特征;
基于预标注的训练语句数据集,获取目标语句中的不同词语对应的候选槽位间的槽位与槽位的相关性特征;和/或
基于预标注的训练语句数据集,获取目标语句的自然语言特征。
进一步可选地,在上述实施例的技术方案的基础上,解析模块11具体用于根据目标语句对应的槽位与意图的相关性特征、槽位普及程度特征、词语与槽位的相关性特征、槽位与槽位的相关性特征以及自然语言特征、以及预先为各特征配置的权重,解析目标语句的多种候选解析结果以及各种候选解析结果对应的置信度。
进一步可选地,在上述实施例的技术方案的基础上,解析模块11具体用于根据第一启发式理解的特征信息和/或第二启发式理解的特征信息,采用神经网络模型解析目标语句的多种候选解析结果,并计算各种候选解析结果对应的置信度。
上述实施例的语句解析装置,通过采用上述模块实现语句解析的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图6为本发明的计算机设备实施例的结构图。如图6所示,本实施例的计算机设备,包括:一个或多个处理器30,以及存储器40,存储器40用于存储一个或多个程序,当存储器40中存储的一个或多个程序被一个或多个处理器30执行,使得一个或多个处理器30实现如上述方法实施例的语句解析方法。图6所示实施例中以包括多个处理器30为例。
例如,图7为本发明提供的一种计算机设备的示例图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图7显示的计算机设备12a仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于:一个或者多个处理器16a,系统存储器28a,连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34a可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明上述图1-图5各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a,可以存储在例如系统存储器28a中,这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图5各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信,还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信,和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且,计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12a使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序,从而执行各种功能应用以及数据处理,例如实现上述实施例所示的语句解析方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所示的语句解析方法。
本实施例的计算机可读介质可以包括上述图7所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载,或者采用其他方式获取。因此,本实施例中的计算机可读介质不仅可以包括有形的介质,还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (16)

1.一种语句解析方法,其特征在于,所述方法包括:
获取待解析的目标语句对应的启发式理解的特征信息;
根据所述目标语句对应的启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;各所述候选解析结果中包括候选意图和候选槽位;
根据各种所述候选解析结果以及各种所述候选解析结果的置信度,确定所述目标语句对应的目标理解。
2.根据权利要求1所述的方法,其特征在于,获取待解析的目标语句对应的启发式理解的特征信息,具体包括:
基于预设的多个语义片段规则组,获取所述目标语句对应的第一启发式理解的特征信息;各所述语义片段规则组分别对应一种意图,各所述语义片段规则组中包括多个槽位以及各所述槽位的顺序标识;和/或
基于预标注的训练语句数据集,获取所述目标语句对应的第二启发式理解的特征信息;所述预标注的训练语句数据集中包括多条训练语句,各所述训练语句中已标注对应的意图和槽位;
对应地,根据所述目标语句对应的启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述第一启发式理解的特征信息和/或所述启发式理解的第二特征信息,获取所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
3.根据权利要求2所述的方法,其特征在于,基于预设的多个语义片段规则组,获取所述目标语句对应的第一启发式理解的特征信息,具体包括:
基于预设的各个所述语义片段规则组,获取所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征。
4.根据权利要求3所述的方法,其特征在于,根据所述第一启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征中的至少一种,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;或者
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
5.根据权利要求2所述的方法,其特征在于,基于预标注的训练语句数据集,获取所述目标语句对应的第二启发式理解的特征信息,具体包括如下至少一种:
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位普及程度特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的词语与槽位的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的不同词语对应的候选槽位间的槽位与槽位的相关性特征;和/或
基于所述预标注的训练语句数据集,获取所述目标语句的自然语言特征。
6.根据权利要求5所述的方法,其特征在于,根据所述第二启发式理解的特征信息,获取所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述目标语句对应的所述槽位与意图的相关性特征、所述槽位普及程度特征、所述词语与槽位的相关性特征、所述槽位与槽位的相关性特征以及所述自然语言特征、以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
7.根据权利要求2所述的方法,其特征在于,根据所述第一启发式理解的特征信息和/或所述第二启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度,具体包括:
根据所述第一启发式理解的特征信息和/或所述第二启发式理解的特征信息,采用神经网络模型解析所述目标语句的多种所述候选解析结果,并计算各种所述候选解析结果对应的置信度。
8.一种语句解析装置,其特征在于,所述装置包括:
获取模块,用于获取待解析的目标语句对应的启发式理解的特征信息;
解析模块,用于根据所述目标语句对应的启发式理解的特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;各所述候选解析结果中包括候选意图和候选槽位;
确定模块,用于根据各种所述候选解析结果以及各种所述候选解析结果的置信度,确定所述目标语句对应的目标理解。
9.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
基于预设的多个语义片段规则组,获取所述目标语句对应的第一启发式理解的特征信息;各所述语义片段规则组分别对应一种意图,各所述语义片段规则组中包括多个槽位以及各所述槽位的顺序标识;和/或
基于预标注的训练语句数据集,获取所述目标语句对应的第二启发式理解的特征信息;所述预标注的训练语句数据集中包括多条训练语句,各所述训练语句中已标注对应的意图和槽位;
对应地,所述解析模块,具体用于:
根据所述第一启发式理解的特征信息和/或所述启发式理解的第二特征信息,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
10.根据权利要求9所述的装置,其特征在于,所述获取模块,具体用于基于预设的各个所述语义片段规则组,获取所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征。
11.根据权利要求10所述的装置,其特征在于,所述解析模块,具体用于:
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征中的至少一种,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度;或者
根据所述目标语句的命中各所述候选槽位的片段的顺序标识是否满足对应的所述语义片段规则组中的限定的特征、所述目标语句中是否包括对应的候选意图对应的特定片段的特征、和所述目标语句的候选理解的识别覆盖率的特征以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
12.根据权利要求9所述的装置,其特征在于,所述获取模块,具体用于,执行如下至少一种操作:
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位与意图的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的各候选槽位的槽位普及程度特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的每个词语对应的词语与槽位的相关性特征;
基于所述预标注的训练语句数据集,获取所述目标语句中的不同词语对应的候选槽位间的槽位与槽位的相关性特征;和/或
基于所述预标注的训练语句数据集,获取所述目标语句的自然语言特征。
13.根据权利要求12所述的装置,其特征在于,所述解析模块,具体用于根据所述目标语句对应的所述槽位与意图的相关性特征、所述槽位普及程度特征、所述词语与槽位的相关性特征、所述槽位与槽位的相关性特征以及所述自然语言特征、以及预先为各所述特征配置的权重,解析所述目标语句的多种候选解析结果以及各种所述候选解析结果对应的置信度。
14.根据权利要求9所述的装置,其特征在于,所述解析模块,具体用于根据所述第一启发式理解的特征信息和/或所述第二启发式理解的特征信息,采用神经网络模型解析所述目标语句的多种所述候选解析结果,并计算各种所述候选解析结果对应的置信度。
15.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201810193537.2A 2018-03-09 2018-03-09 语句解析方法、装置、计算机设备及可读介质 Active CN108549656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810193537.2A CN108549656B (zh) 2018-03-09 2018-03-09 语句解析方法、装置、计算机设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810193537.2A CN108549656B (zh) 2018-03-09 2018-03-09 语句解析方法、装置、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN108549656A true CN108549656A (zh) 2018-09-18
CN108549656B CN108549656B (zh) 2022-06-28

Family

ID=63516141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810193537.2A Active CN108549656B (zh) 2018-03-09 2018-03-09 语句解析方法、装置、计算机设备及可读介质

Country Status (1)

Country Link
CN (1) CN108549656B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063221A (zh) * 2018-11-02 2018-12-21 北京百度网讯科技有限公司 基于混合策略的查询意图识别方法和装置
CN110209446A (zh) * 2019-04-23 2019-09-06 华为技术有限公司 一种人机对话系统中组合槽位的配置方法及装置
CN110222866A (zh) * 2019-04-28 2019-09-10 杭州实在智能科技有限公司 结合口语化描述与问答的智能民事案件预测系统及方法
CN110597882A (zh) * 2019-09-19 2019-12-20 北京明略软件系统有限公司 数据处理方法及装置、存储介质、电子装置
CN110866090A (zh) * 2019-11-14 2020-03-06 百度在线网络技术(北京)有限公司 用于语音交互的方法、装置、电子设备和计算机存储介质
CN111160016A (zh) * 2019-04-15 2020-05-15 深圳碳云智能数字生命健康管理有限公司 语义识别方法、装置、计算机可读存储介质和计算机设备
CN111209363A (zh) * 2019-12-25 2020-05-29 华为技术有限公司 语料数据处理方法、装置、服务器和存储介质
CN111444727A (zh) * 2020-04-01 2020-07-24 神州数码融信软件有限公司 一种业务规则解析方法
CN111915060A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 组合优化任务的处理方法以及处理装置
CN112435657A (zh) * 2019-08-26 2021-03-02 深圳市优必选科技股份有限公司 语音识别方法、装置、计算机设备及存储介质
CN112749543A (zh) * 2020-12-22 2021-05-04 浙江吉利控股集团有限公司 一种信息解析过程的匹配方法、装置、设备及存储介质
CN116992830A (zh) * 2022-06-17 2023-11-03 北京聆心智能科技有限公司 文本数据处理方法、相关装置及计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012778A1 (en) * 2007-07-05 2009-01-08 Nec (China) Co., Ltd. Apparatus and method for expanding natural language query requirement
CN101393544A (zh) * 2008-10-07 2009-03-25 南京师范大学 面向地址编码的中文地址语义解析方法
CN104572626A (zh) * 2015-01-23 2015-04-29 北京云知声信息技术有限公司 语义模板自动生成方法、装置和语义分析方法、系统
CN107301227A (zh) * 2017-06-21 2017-10-27 北京百度网讯科技有限公司 基于人工智能的搜索信息解析方法及装置
CN107316643A (zh) * 2017-07-04 2017-11-03 科大讯飞股份有限公司 语音交互方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012778A1 (en) * 2007-07-05 2009-01-08 Nec (China) Co., Ltd. Apparatus and method for expanding natural language query requirement
CN101393544A (zh) * 2008-10-07 2009-03-25 南京师范大学 面向地址编码的中文地址语义解析方法
CN104572626A (zh) * 2015-01-23 2015-04-29 北京云知声信息技术有限公司 语义模板自动生成方法、装置和语义分析方法、系统
CN107301227A (zh) * 2017-06-21 2017-10-27 北京百度网讯科技有限公司 基于人工智能的搜索信息解析方法及装置
CN107316643A (zh) * 2017-07-04 2017-11-03 科大讯飞股份有限公司 语音交互方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石全: "《系统决策与建模》", 31 July 2016, 《国防工业出版社》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063221A (zh) * 2018-11-02 2018-12-21 北京百度网讯科技有限公司 基于混合策略的查询意图识别方法和装置
CN111160016B (zh) * 2019-04-15 2022-05-03 深圳碳云智能数字生命健康管理有限公司 语义识别方法、装置、计算机可读存储介质和计算机设备
CN111160016A (zh) * 2019-04-15 2020-05-15 深圳碳云智能数字生命健康管理有限公司 语义识别方法、装置、计算机可读存储介质和计算机设备
CN110209446A (zh) * 2019-04-23 2019-09-06 华为技术有限公司 一种人机对话系统中组合槽位的配置方法及装置
CN110222866A (zh) * 2019-04-28 2019-09-10 杭州实在智能科技有限公司 结合口语化描述与问答的智能民事案件预测系统及方法
CN112435657B (zh) * 2019-08-26 2023-08-04 深圳市优必选科技股份有限公司 语音识别方法、装置、计算机设备及存储介质
CN112435657A (zh) * 2019-08-26 2021-03-02 深圳市优必选科技股份有限公司 语音识别方法、装置、计算机设备及存储介质
CN110597882A (zh) * 2019-09-19 2019-12-20 北京明略软件系统有限公司 数据处理方法及装置、存储介质、电子装置
CN110866090A (zh) * 2019-11-14 2020-03-06 百度在线网络技术(北京)有限公司 用于语音交互的方法、装置、电子设备和计算机存储介质
US11830482B2 (en) 2019-11-14 2023-11-28 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for speech interaction, and computer storage medium
CN111209363A (zh) * 2019-12-25 2020-05-29 华为技术有限公司 语料数据处理方法、装置、服务器和存储介质
CN111209363B (zh) * 2019-12-25 2024-02-09 华为技术有限公司 语料数据处理方法、装置、服务器和存储介质
CN111444727A (zh) * 2020-04-01 2020-07-24 神州数码融信软件有限公司 一种业务规则解析方法
CN111915060A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 组合优化任务的处理方法以及处理装置
CN112749543B (zh) * 2020-12-22 2022-08-05 浙江吉利控股集团有限公司 一种信息解析过程的匹配方法、装置、设备及存储介质
CN112749543A (zh) * 2020-12-22 2021-05-04 浙江吉利控股集团有限公司 一种信息解析过程的匹配方法、装置、设备及存储介质
CN116992830A (zh) * 2022-06-17 2023-11-03 北京聆心智能科技有限公司 文本数据处理方法、相关装置及计算设备
CN116992830B (zh) * 2022-06-17 2024-03-26 北京聆心智能科技有限公司 文本数据处理方法、相关装置及计算设备

Also Published As

Publication number Publication date
CN108549656B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN108549656A (zh) 语句解析方法、装置、计算机设备及可读介质
CN108829893B (zh) 确定视频标签的方法、装置、存储介质和终端设备
CN109062937B (zh) 训练描述文本生成模型的方法、生成描述文本的方法及装置
CN107291828B (zh) 基于人工智能的口语查询解析方法、装置及存储介质
CN109408622B (zh) 语句处理方法及其装置、设备和存储介质
US9020805B2 (en) Context-based disambiguation of acronyms and abbreviations
CN109241524A (zh) 语义解析方法及装置、计算机可读存储介质、电子设备
CN110390003A (zh) 基于医疗的问答处理方法及系统、计算机设备及可读介质
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
CN110377905A (zh) 语句的语义表示处理方法及装置、计算机设备及可读介质
CN110276023A (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN108304373A (zh) 语义词典的构建方法、装置、存储介质和电子装置
CN109684634A (zh) 情感分析方法、装置、设备及存储介质
CN110147421A (zh) 一种目标实体链接方法、装置、设备及存储介质
CN110287341A (zh) 一种数据处理方法、装置以及可读存储介质
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN108268602A (zh) 分析文本话题点的方法、装置、设备和计算机存储介质
Wang et al. Empirical exploring word-character relationship for chinese sentence representation
CN110489740A (zh) 语义解析方法及相关产品
CN110362688A (zh) 试题标注方法、装置、设备及计算机可读存储介质
CN110362734A (zh) 文本识别方法、装置、设备及计算机可读存储介质
CN109960752A (zh) 应用程序内的查询方法、装置、计算机设备和存储介质
CN110287487A (zh) 主谓语识别方法、装置、设备及计算机可读存储介质
CN116090450A (zh) 一种文本处理方法及计算设备
He et al. Discovering interdisciplinary research based on neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant