CN110890090A - 基于上下文的辅助交互控制方法及系统 - Google Patents

基于上下文的辅助交互控制方法及系统 Download PDF

Info

Publication number
CN110890090A
CN110890090A CN201811054935.2A CN201811054935A CN110890090A CN 110890090 A CN110890090 A CN 110890090A CN 201811054935 A CN201811054935 A CN 201811054935A CN 110890090 A CN110890090 A CN 110890090A
Authority
CN
China
Prior art keywords
parameter
input
control object
control
supplementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811054935.2A
Other languages
English (en)
Other versions
CN110890090B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Xiyin Medical Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811054935.2A priority Critical patent/CN110890090B/zh
Publication of CN110890090A publication Critical patent/CN110890090A/zh
Application granted granted Critical
Publication of CN110890090B publication Critical patent/CN110890090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

一种工业辅助控制领域的基于上下文的辅助交互控制方法及系统，通过对原始输入进行语法模板匹配，获得控制对象信息和操作参数部分，然后对控制对象信息和操作参数部分进行后验证语义解析：当操作参数不完整时进行参数补充解析、当用户补充输入时进行参数追加处理，直至获得能够用于生成辅助控制指令的完整语义。本发明能够大幅度提高不完整语义的识别准确度，通过模拟人类对语言的理解方式，将用户的输入进行上下文关联，使得用户不需要每次输入完整语义的指令，大幅度简化了输入复杂度和长度；此外本发明还能够自动检验指令参数的完整性，提高了控制效率。

Description

基于上下文的辅助交互控制方法及系统
技术领域
本发明涉及的是一种语义识别领域的技术，具体是一种基于上下文的辅助交互控制方法及系统。
背景技术
语音对话会是未来的主流人机交互系统，目前已经有不少相关的产品出现。上下文相关的对话是一个很重要的功能，因为这是用户非常自然的需求。比如：用户输入为：帮我买张机票。当有上下文对话功能的系统则会反馈：请问你什么时候出发，去哪里？而现有的无上下文对话功能的系统只能给出：请一句话完整说出你要订的机票的详细信息，如“帮我买一张明天上午去北京的机票”的答复。两者相比，对于有上下文对话的系统，系统通过询问用户问题，可以非常自然的帮助用户完成整个过程。又或者如用户输入：对系统盘进行碎片整理，则系统将在启动磁盘碎片整理并设置整理系统盘后结束交互，如在准备碎片整理时或整理过程中用户再次输入：需要多少时间？则系统将会对该不完整的语义反馈无法理解。而根据常识用户的意思明显是指碎片整理所需要的时间，这样的问题是由于目前的交互系统以实现指令启动作为交互的唯一目的而导致。
目前具有上下文功能的人机交互系统，必须通过框定答复范围实现多个语句之间的对话，如系统根据上文中的用户输入进一步提问：请问你什么时候出发，去哪里？这时用户后续的输入只能是时间或地点信息，或者取消指令。否则例如用户输入：先帮我查一下明天下不下雨。系统的上下文提问就中断，直接按照新的问题，即查询当地明天的天气，而不是查询上文中机票目的地的天气。这样的交互系统无法将用户的两个输入之间的语义进行关联，即“明天去北京的机票”和“明天天气”之间实际上存在了语义关系。
造成这种技术问题的主要原因在于，目前的人机交互系统大多是基于frame-slot技术，当第一句话落入交互系统的语义识别模块的某个frame，但是缺少该frame对应的slot信息时，交互系统则锁定在该frame的slot解析的语法上。
由于目前各种不同的软件、硬件、网站、网页等等控制对象呈几何级数的速度出现，针对这些控制对象的辅助控制指令的参数和种类众多，无法要求所有用户都对这些指令和控制了如指掌，也很难通过GUI上简单直观地反映出控制对象的所有参数的解释、用途和具体设置。针对大部分用户来说，倘若部分参数设置或操作的错误或缺失就可能使得整条输入非法或无法执行，或之前的诸多动作被丢弃，浪费了系统资源的同时也浪费了用户的时间。
综上，目前急需一种能够通过最简单直观方式实现与用户进行无障碍提示和信息采集并对控制对象进行有效辅助指令生成的方法。
发明内容
本发明针对现有技术只能针对完整语义的输入进行处理，对上下文相关联的不完整语义无法解析的缺陷，提出一种基于上下文的辅助交互控制方法及系统，在现有的语法检索基础上大幅度提高不完整语义的识别准确度，通过模拟人类对语言的理解方式，将用户的输入进行上下文关联，使得用户不需要每次输入完整语义的指令，大幅度简化了输入复杂度和长度；此外本发明还能够自动检验指令参数的完整性，提高了控制效率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于上下文的辅助交互控制方法，通过对原始输入进行语法模板匹配，获得控制对象信息和操作参数部分，然后对控制对象信息和操作参数部分进行后验证语义解析：当操作参数不完整时进行参数补充解析、当用户补充输入时进行参数追加处理，直至获得能够用于生成辅助控制指令的完整语义。
所述的辅助控制指令由于包含了用户输入中涉及所需要控制对象的全部或部分参数的语义，因此能够直接通过中央处理单元进行操作，从而实现基于上下文的辅助控制。
所述的原始输入或补充输入为多模态形式，包括影像、声音或其数字格式的文件、通过外部设备输入的字符串等，优选为声音或其数字格式的文件或其与字符串的组合。
所述的原始输入或补充输入优选经类型判断和对应的预处理，以得到能够进行逻辑操作的字符，即待解析语句字符串。
所述的预处理，采用但不限于将原始输入或补充输入中的声音或其数字格式统一调整为能够被现有的语音识别技术识别出的格式，并经特征提取后与模型匹配，得到对应的待解析语句字符串。
所述的特征，优选采用MFCC(Mel-frequency Cepstrum Coefficients，梅尔倒谱系数)。
所述的模型，包括但不限于：隐马尔可夫模型、混合高斯模型、深度神经网络模型、卷积神经网络模型等。
所述的语法模板匹配是指：以常见句式中所包含的关键字生成对应的语法正则表达式，以DFA(确定性有穷自动机)方式对原始输入进行匹配，对所有的匹配结果依照语法正则表达式中的关键字位置将一条原始输入或补充输入对应分割为至少两个部分，其中包括控制对象信息和由至少一个子参数体组成的操作参数部分。
所述的控制对象信息，其包括但不限于：通过网络无线或有线连接的能够接收外部指令和参数的任何设备名称及其网络地址，该设备可以是普通终端的外部设备，如音响、显示器、GPS定位模块、NFC模块、具有可调控制器的家用电器、载具等；也可以是普通终端的内部模块或程序的可执行文件名称及其位置，该程序可以是导航模块、闹钟模块、磁盘整理、网页浏览器等。
每一个所述的控制对象信息对应至少一个正则表达式，不同的控制对象信息的正则表达式可以相同，使得所述后验证分值尽可能多样化以提高语义识别的准确度。
所述的子参数体是指：用于调整所述控制对象的必要参数或附加参数，其中：必要参数是针对控制对象的指令所必须具备的参数部分，缺少时将导致指令运行失败，即操作参数不完整；附加参数，即可选参数则在缺少时不会导致指令运行失败。例如，在dos系统中的shutdown指令为控制对象(即计算机操作系统的关机重启)，该控制对象的必要参数包括：重启(-r)或关机(-s)，其附加参数则包括：关机时间(-t)、是否强制关机(-f)等。
所述的后验证语义解析是指：根据控制对象信息和操作参数部分的组合，在不进行验证的前提下先对操作参数部分在控制对象所属的知识库组中进行匹配，再根据所得的不同匹配结果与控制对象信息的组合，计算得到对应的后验证分值，通过选择其中的一个作为与原始输入最接近的解析内容。
所述的知识库组，即为操作参数部分的集合，该知识库组包括至少一个附加参数库。
优选地，所述的知识库组根据控制对象的不同还包括必要参数库，且不同控制对象的知识库组可以具有单独或共用的附加参数库和必要参数库。
所述的必要参数库可以与附加参数库存在交集，或真包含于附加参数库。
所述的后验证语义解析，结合上述知识库组的结构，优选对操作参数部分与必要参数库或附加参数库中的一种进行匹配。
优选地，所述的必要参数库和附加参数库内均含有实体信息子库和行为信息子库，其中：实体信息子库包括名词性的单词，其包括但不限于：通讯录或网络常见的人名、地名、时间、商品名等等。
所述的实体信息子库通过全文搜索引擎、关键词索引的方式实现匹配，并对匹配相似度进行赋值，该赋值对应不同的控制对象，即领域可以不相同且能够根据需要更新调整。
所述的关键词索引优选包括所有关键词的拼音索引。
所述的行为信息子库包括动词性的单词及其短句，该行为信息子库通过建立特征向量并比较其与子参数体之间的欧氏距离或通过全文搜索引擎、关键词索引的方式实现匹配。
所述的实体信息子库和/或行为信息子库优选配置有程度信息子库，该程度信息子库包括形容词或副词性的单词，其包括但不限于：根据名词性的单词的种类或参数的描述、根据动词性的单词及其短句的程度的描述等。
所述的程度信息子库通过全文搜索引擎、关键词索引的方式实现匹配，并对匹配相似度进行赋值，该赋值对应不同的控制对象，即领域可以不相同且能够根据需要更新调整。
所述的后验证分值结合上述知识库组的结构，采用但不限于：将知识库组中每一个匹配结果对应的分值累加或加权累加所得到的结果，该权值对应不同的控制对象，即领域可以不相同且能够根据需要更新调整。
所述的加权优选采用程度信息子库的对应赋值实现。
与原始输入最接近的解析内容，可以是后验证分值中最高，也可以是所有超过后验证判断阈值的知识库组的不同匹配结果与控制对象信息的组合，该后验证判断阈值对应不同的控制对象，即领域可以不相同且能够根据需要更新调整。
所述的参数补充解析是指：当后验证语义解析所得到的操作参数部分中缺少该控制对象的必要参数时，提示补充必要参数并准备接收补充输入；当获得补充输入后通过知识库组中的必要参数库进行匹配，当匹配失败时，进行参数追加处理。
所述的参数追加处理是指：当参数补充解析不完整时，通过知识库组中的附加参数库对补充输入进行匹配，并将匹配得到的附加参数与控制对象合并处理后输出以生成辅助控制指令。
所述的参数补充解析不完整是指：后验证语义解析所得到的操作参数部分中不缺少必要参数、控制对象对应的知识库组并不含有必要参数库、或参数补充解析无法对补充输入进行匹配。
优选地，当参数追加处理得到的附加参数与后验证语义解析所得到的必要参数不同或相矛盾时，优选将两种组合分别生成两条辅助控制指令供用户选择。
优选地，当参数追加处理失败时，重新对补充输入进行针对本控制对象的后验证语义解析；进一步优选地，当该后验证语义解析失败时，重新对补充输入进行语法模板匹配。从而实现用户对同一控制对象的所有输入都能够被解析出对应的语义，并在用户调整控制参数时能够不切换控制对象并延续相同的判断操作。
优选地，所述的后验证语义解析、参数补充解析和参数追加处理中所涉及的匹配，先对待匹配对象进行预处理，其包括但不限于：对操作参数部分进行字符增加冗余、删除首字符、删除尾字符、字符重排、拼音前后鼻音调整或方言拼音替换等，进一步地，该预处理所采用的操作与控制对象对应的子参数体的类型相关，即根据自参数体的类型进行对应的预处理操作。
技术效果
与现有技术相比，本发明的优点在于，针对不同的控制对象不需要用户在操作之前即熟悉其必要参数，一旦指令语义判断能够获得控制对象信息，则本方法能够将后续用户的不完整语义输入优先视为针对该控制对象的更新操作，优先针对该控制对象所属的知识库进行语义匹配并得到所有可能的语义，以确保后续所有用户的意图都会被理解为针对该控制对象的进一步操作需要，直至该补充输入的完整或不完整语义能够在其他的知识库中被更接近地匹配到为止。
本发明还涉及一种基于上下文的辅助交互控制系统，包括：将原始输入或补充输入解析并生成针对控制对象的带参数的辅助控制指令的语义识别模块，以及与语义识别模块相连，接收解析请求并提供对应的解析结果的知识库组。
本发明能够在不熟悉控制指令具体参数的情况下确保用户的所有输入中的实际需求能够被解析出语义并作为对控制对象的参数进行设置。同时能够在输入所含语义并不完整的情况下自动关联之前接收到的指令。
附图说明
图1为本发明系统示意图；
图2为领域解析模块示意图；
图3为实施例中一种辅助指令生成模块示意图；
图4为实施例中另一种辅助指令生成模块示意图；
图5为本发明流程示意图；
图6为实施例中不缺少必要参数的解析流程示意图；
图7为实施例中补充输入的解析流程示意图；
图8为实施例中另一种情况下的补充输入的解析流程示意图。
具体实施方式
实施例1
以下实施例结合附图进行说明，如图1所示，本实施例涉及一种实现上述辅助控制方法的系统，包括：将原始输入或补充输入解析并生成针对控制对象的带参数的辅助控制指令的语义识别模块，以及与语义识别模块相连，接收解析请求并提供对应的解析结果的知识库组。
所述的语义识别模块包括：对原始输入或补充输入进行语义提取并获得控制对象信息和操作参数部分的领域解析模块、对操作参数部分进行完整性处理的辅助指令生成模块、解析操作参数部分并分别获得必要参数和附加参数的必要参数解析模块和附加参数解析模块。
如图2所示，所述的领域解析模块与知识库组相连并接收所有控制对象对应的语法模板，用于对原始输入或补充输入进行匹配，然后将原始输入或补充输入按至少一种匹配结果分割为控制对象信息和操作参数部分并输出至辅助指令生成模块，该领域解析模块包括：入口单元以及进行后验证计算的后验证单元，其中：入口单元中的语法匹配单元通过语法模板将原始输入或补充输入与内置语法库进行匹配并得到控制单元信息和操作参数部分，并由入口单元中的若干个领域入口分别进行对应操作参数部分的匹配；匹配的结果通过后验证单元计算对应的后验证分值并输出至辅助指令生成模块。
如图3所示，所述的辅助指令生成模块根据若干组控制对象信息和操作参数部分及其对应的后验证分值，判断原始输入语义或补充语义的最接近结果，根据最接近结果中的控制对象信息的类型判断其对应的操作参数部分包含必要参数与否，对应将操作参数部分输出至必要参数解析模块或附加参数解析模块，并根据参数解析结果生成辅助控制指令或请求补充输入，该辅助指令生成模块包括：对象判断单元、补充输入单元和指令组成单元，其中：对象判断单元接收若干组控制对象信息和操作参数部分，根据其对应的后验证分值排序以及操作参数部分是否缺失必要参数判断得出最匹配的至少一组控制对象信息和操作参数部分并输出至补充输入单元；补充输入单元在缺失必要参数时提示并接收补充输入，并通过附加参数解析模块进行补充输入的匹配，在不缺失必要参数时将操作参数部分输出至必要参数解析模块或附加参数解析模块进行匹配；指令组成单元根据对象判断单元输出的控制对象信息以及来自必要参数解析模块或附加参数解析模块的匹配结果进行指令组成，根据不同控制对象的指令格式要求生成一条辅助控制指令或多条辅助控制指令并输出，当必要参数解析模块或附加参数解析模块对补充输入均不具有匹配结果时则将补充输入输出至领域解析模块。
如图4所示，所述的辅助指令生成模块内优选进一步设有状态获取单元，该状态获取单元对指令组成单元输出的辅助控制指令通过控制对象进行预处理，并将预处理结果反馈至补充输入单元，通过补充输入单元的提示和补充输入以实现对辅助控制指令内容的更新。
所述的必要参数解析模块内置每个控制对象的必要参数信息并将操作参数部分或补充输入与知识库组中该控制对象的必要参数库进行匹配，将其中的匹配结果输出至指令组成单元、将其中的无匹配部分输出至附加参数解析模块、将其中的必要参数匹配情况输出至补充输入单元。
所述的必要参数匹配情况是指：操作参数部分或补充输入中包括了原始输入中的控制对象所对应的所有必要参数或缺失至少一个必要参数，补充输入单元将根据该匹配情况判断是否请求补充输入。
所述的附加参数解析模块内置每个控制对象的所有参数信息并将补充输入与知识库进行匹配，当补充输入全部获得匹配结果时输出至指令组成单元，并当存在无匹配部分时将补充输入输出至领域解析模块。
实施例2
以下实施例为本发明如图1所示的具有后验证的辅助控制方法在具体场景下的实施：
1)本实施例首先对原始输入进行语法模板匹配和后验证解析，例如，当原始输入为：我要整理系统硬盘，则得到该原始输入的控制单元为磁盘碎片整理，或按照windows系统来说，该控制对象为defrag.exe的程序，操作参数部分为系统硬盘。
由于语法模板匹配并不必然得出控制对象信息和/或操作参数部分，即当原始输入中无法获得任何与语法模板相匹配的结果，或原始输入中并无操作参数部分时，辅助交互控制系统通过给出反馈提示要求用户重新进行原始输入或从必要参数表中选择至少一项以便继续。
在另外一些情况下，语法模板匹配可能得到两个以上的结果及其分割方案，则后验证解析将对这些方案分别进行后验证分值的计算并判断其中哪一个或哪几个更接近原始输入的语义。
2)对控制对象及其操作参数部分进行后验证分值的计算，即将操作参数部分与磁盘碎片整理程序对应的知识库组进行匹配，得到系统硬盘的具体盘符；由于defrag程序的必要参数为盘符，即只要给出具体待操作的硬盘标号即可实现该指令的操作，因此在这种情况下不缺少必要参数。
3)根据步骤2，相应给出反馈提示：是否可以运行对系统硬盘的磁盘碎片整理？同时等待补充输入，当此时用户的补充输入为：是/否/好/可以/再等下等表述时，补充输入将先及进行参数补充解析，如图6所示。
4)如用户的补充输入是完全针对反馈提示的，那么将会在参数补充解析时从必要信息库中得到匹配的结果，从而与控制对象、必要参数部分组成完整语义输出。
优选地，如语义涉及的是操作指令，则可以在输出后可以供用户进行简单确认，即在输出语义单一的情况下仅给出是否两个选择，在输出语义多个的情况下仅给出多选一的选择，并在用户选择后将语义生成辅助控制指令并执行；如语义涉及的是状态查询指令，则不必再给出确认环节，可以直接显示出查询的结果。本领域技术人员可以根据完整语义的具体情况给出适应性的调整处理。
优选地，用于执行本实施方案的上述辅助交互控制系统中的语义识别模块中均设有存储机构，该存储机构能够以堆栈的方式依次保存上述完整语义、控制对象、获得匹配结果的知识库组信息或辅助控制指令的执行反馈信息中的至少一个，在后续补充输入时优先采用这些设置对不完整语义进行匹配或反馈。这样的好处在于，模拟人类对话中不完整语义的表达必然与之前时间上最接近的上文有关这一表述习惯。
5)根据上述场景，当系统硬盘碎片整理工作已经执行后，用户进一步补充输入：那其他盘呢？则根据本方法，补充输入将被视为参数的追加，先进行参数追加处理。从对应的知识库中匹配到语义为系统盘外所有其他硬盘，再将该控制指令，即磁盘碎片整理分别与各个必要参数，即硬盘盘符组成多项语义输出，如图7所示。
如用户补充输入为：要多久？则补充输入匹配在磁盘碎片整理对应知识库组中的结果，即附加参数为时间查询，此时的完整语义即为查询系统盘的磁盘碎片整理所需时间(或剩余时间)。
目前大部分程序的操作参数功能都日趋复杂，虽然通过有效的设计人机界面能够让用户了解部分主要参数，但所有的参数信息、状态查询如同时载入的话势必会影响系统运行效率，冗余的信息反而会误导初学者用户。通过上述方法可以大幅度精简程序的载入资源，当用户需要了解这些信息或作出调整时再进行处理。
如用户补充输入为：整理好就关了吧。则补充输入匹配在对应知识库得到的附加参数为碎片整理完成后自动关机，目前大部分磁盘碎片整理程序都具有完成后关机的参数设置，因此此时的完整语义即为磁盘碎片整理完成后自动关机，如图8所示。
此外，现有技术针对上述用户多次补充输入的场景无法给出进一步的判断，即在完成第一次完整语义处理后工作即告完成，对于用户后续追加的不完整语义并不能给出相应的补充解析。
同样如图8所示，当用户补充输入为：我想听首歌。由于磁盘控制程序defrag.exe不会自带媒体播放功能，而该功能属于另外的控制对象，因此此时的补充输入在磁盘碎片整理对应的知识库中无法匹配到结果。即当参数追加处理没有得到匹配结果时，将补充输入重新进行磁盘随便整理领域的后验证解析，失败后则进一步进行语法模板匹配，则该补充输入将会自动被视为新的原始输入，按照上述步骤1的方式进行相应的解析匹配。
这样做的好处在于，根据人类对话习惯，即一旦表达为完整语义，其所表达的语义与之前的上文往往存在一定的领域或内容上的差异，因此再用之前的知识库进行匹配则反而会产生语义理解上的错误。
上述实施例仅为本发明的一种最简单的实施描述，本领域技术人员可以其他场合，如数控机床控制、导航识别、汽车无人驾驶等等领域对上述步骤中的知识库内容、语法模板等进行简单调整后即可达到类似的效果。
实施例3
本方法不仅可以应用于工业控制领域，在日常工作中也可以实现输入复杂度的降低和工作效率的提高。比如目前在网上购买机票时，用户需要在网页中明确点选多个必要信息，如：起点终点、时间、姓名后才能够根据目前机票剩余情况给出相应不同航空公司的价格信息。因此这些必要信息即可视为购买机票这一控制单元信息的必要参数。
本实施例采用与实施例1类似的方式，如原始输入为：我想买张机票，则经过语法模板匹配得到控制对象信息后，由于缺少必要参数，辅助交互控制系统给出提示以采集至少一个必要参数信息：您要去哪里？
上述提示信息可以根据实际不同控制对象和/或用户历史数据相应调整，即当用户设置或通过ip地址得到当前位置时，也可以选择不提示用户起始地。
由于不同的控制对象的必要参数的数量、内容并不相同。本发明以选择最少的必要参数作为原则进行知识库构建。对应在本实施例中，只需要获得起点终点，即能够实现机票的查询。
当用户选择目的地，或通过补充输入给出一具体地名时，通过匹配实体信息子库可以方便得到其起点终点的必要信息，此时即可实现语义输出，即从A点到B点的机票，并直接给出信息查询结果。
相应地，该信息查询结果将会被语义识别模块预先存储以便后续匹配或反馈。
当用户补充输入为：明天上午？则补充输入将通过参数追加处理将完整语义识别为A点到B点的明天上午的机票，并进一步给出缩小范围后的查询结果。
当用户补充输入为完整语义：我想看看明天上午的，则补充输入在参数追加处理过程中将发生存在无匹配部分(我想看看)的情况，此时补充输入将进入同一控制对象下的后验证解析，同样可以得到一个与目的地相类似的必要参数，即明天上午。由于语义识别模块中的存储机构对之前的完整语义进行了堆栈存储，因此经用户补充输入后的完整语义则可以是在之前的历史记录上进一步附加该必要参数。
通过本实施例可见。本发明可以采用相似的方式应用在设备控制以外的其他领域，并获得相近似的技术效果。
优选地，上述知识库组以及后验证分值的计算方式可以采用但不限于现有的方式进行创建和设置。本领域技术人员也可以根据常识定期或不定期地根据实施场景的不同对控制对象的数量、知识库组的索引、匹配分值以及语法模板进行更新和调整。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (20)

1.一种基于上下文的辅助交互控制方法，其特征在于，通过对原始输入进行语法模板匹配，获得控制对象信息和操作参数部分，然后对控制对象信息和操作参数部分进行后验证语义解析：当操作参数不完整时进行参数补充解析、当用户补充输入时进行参数追加处理，直至获得能够用于生成辅助控制指令的完整语义。
2.根据权利要求1所述的辅助交互控制方法，其特征是，所述的语法模板匹配是指：以常见句式中所包含的关键字生成对应的语法正则表达式，以DFA方式对原始输入进行匹配，对所有的匹配结果依照语法正则表达式中的关键字位置将一条原始输入或补充输入对应分割为至少两个部分，其中包括控制对象信息和由至少一个子参数体组成的操作参数部分。
3.根据权利要求2所述的辅助交互控制方法，其特征是，每一个所述的控制对象信息对应至少一个正则表达式，不同的控制对象信息的正则表达式可以相同，使得所述后验证分值尽可能多样化以提高语义识别的准确度。
4.根据权利要求2所述的辅助交互控制方法，其特征是，所述的子参数体是指：用于调整所述控制对象的必要参数或附加参数，其中：必要参数是针对控制对象的指令所必须具备的参数部分，缺少时将导致指令运行失败，即操作参数不完整；附加参数，即可选参数则在缺少时不会导致指令运行失败。
5.根据权利要求1所述的辅助交互控制方法，其特征是，所述的后验证语义解析是指：根据控制对象信息和操作参数部分的组合，在不进行验证的前提下先对操作参数部分在控制对象所属的知识库组中进行匹配，再根据所得的不同匹配结果与控制对象信息的组合，计算得到对应的后验证分值，通过选择其中的一个作为与原始输入最接近的解析内容。
6.根据权利要求1或5所述的辅助交互控制方法，其特征是，所述的知识库组，即为操作参数部分的集合，该知识库组包括至少一个附加参数库。
7.根据权利要求6所述的辅助交互控制方法，其特征是，所述的后验证分值是指：将知识库组中每一个匹配结果对应的分值累加或加权累加所得到的结果。
8.根据权利要求7所述的辅助交互控制方法，其特征是，所述的与原始输入最接近的解析内容，为后验证分值中最高或所有超过后验证判断阈值的知识库组的不同匹配结果与控制对象信息的组合，该后验证判断阈值对应不同的控制对象，即领域可以不相同且能够根据需要更新调整。
9.根据权利要求1所述的辅助交互控制方法，其特征是，所述的参数补充解析是指：当后验证语义解析所得到的操作参数部分中缺少该控制对象的必要参数时，提示补充必要参数并准备接收补充输入；当获得补充输入后通过知识库组中的必要参数库进行匹配，当匹配失败时，进行参数追加处理。
10.根据权利要求1所述的辅助交互控制方法，其特征是，所述的参数追加处理是指：当参数补充解析不完整时，通过知识库组中的附加参数库对补充输入进行匹配，并将匹配得到的附加参数与控制对象合并处理后输出以生成辅助控制指令。
11.根据权利要求10所述的辅助交互控制方法，其特征是，所述的参数补充解析不完整是指：后验证语义解析所得到的操作参数部分中不缺少必要参数、控制对象对应的知识库组并不含有必要参数库、或参数补充解析无法对补充输入进行匹配。
12.一种基于上下文的辅助交互控制系统，其特征在于，包括：将原始输入或补充输入解析并生成针对控制对象的带参数的辅助控制指令的语义识别模块，以及与语义识别模块相连，接收解析请求并提供对应的解析结果的知识库组；
所述的语义识别模块包括：对原始输入或补充输入进行语义提取并获得控制对象信息和操作参数部分的领域解析模块、对操作参数部分进行完整性处理的辅助指令生成模块、解析操作参数部分并分别获得必要参数和附加参数的必要参数解析模块和附加参数解析模块。
13.根据权利要求12所述的辅助交互控制系统，其特征是，所述的领域解析模块与知识库组相连并接收所有控制对象对应的语法模板，用于对原始输入或补充输入进行匹配，然后将原始输入或补充输入按至少一种匹配结果分割为控制对象信息和操作参数部分并输出至辅助指令生成模块。
14.根据权利要求12或13所述的辅助交互控制系统，其特征是，所述的领域解析模块包括：入口单元以及进行后验证计算的后验证单元，其中：入口单元中的语法匹配单元通过语法模板将原始输入或补充输入与内置语法库进行匹配并得到控制单元信息和操作参数部分，并由入口单元中的若干个领域入口分别进行对应操作参数部分的匹配；匹配的结果通过后验证单元计算对应的后验证分值并输出至辅助指令生成模块。
15.根据权利要求12所述的辅助交互控制系统，其特征是，所述的辅助指令生成模块根据若干组控制对象信息和操作参数部分及其对应的后验证分值，判断原始输入语义或补充语义的最接近结果，根据最接近结果中的控制对象信息的类型判断其对应的操作参数部分包含必要参数与否，对应将操作参数部分输出至必要参数解析模块或附加参数解析模块，并根据参数解析结果生成辅助控制指令或请求补充输入。
16.根据权利要求12或15所述的辅助交互控制系统，其特征是，所述的辅助指令生成模块包括：对象判断单元、补充输入单元和指令组成单元，其中：对象判断单元接收若干组控制对象信息和操作参数部分，根据其对应的后验证分值排序以及操作参数部分是否缺失必要参数判断得出最匹配的至少一组控制对象信息和操作参数部分并输出至补充输入单元；补充输入单元在缺失必要参数时提示并接收补充输入，并通过附加参数解析模块进行补充输入的匹配，在不缺失必要参数时将操作参数部分输出至必要参数解析模块或附加参数解析模块进行匹配；指令组成单元根据对象判断单元输出的控制对象信息以及来自必要参数解析模块或附加参数解析模块的匹配结果进行指令组成，根据不同控制对象的指令格式要求生成一条辅助控制指令或多条辅助控制指令并输出，当必要参数解析模块或附加参数解析模块对补充输入均不具有匹配结果时则将补充输入输出至领域解析模块。
17.根据权利要求16所述的辅助交互控制系统，其特征是，所述的辅助指令生成模块内设有状态获取单元，该状态获取单元对指令组成单元输出的辅助控制指令通过控制对象进行预处理，并将预处理结果反馈至补充输入单元，通过补充输入单元的提示和补充输入以实现对辅助控制指令内容的更新。
18.根据权利要求12所述的辅助交互控制系统，其特征是，所述的必要参数解析模块内置每个控制对象的必要参数信息并将操作参数部分或补充输入与知识库组中该控制对象的必要参数库进行匹配，将其中的匹配结果输出至指令组成单元、将其中的无匹配部分输出至附加参数解析模块、将其中的必要参数匹配情况输出至补充输入单元。
19.根据权利要求18所述的辅助交互控制系统，其特征是，所述的必要参数匹配情况是指：操作参数部分或补充输入中包括了原始输入中的控制对象所对应的所有必要参数或缺失至少一个必要参数，补充输入单元将根据该匹配情况判断是否请求补充输入。
20.根据权利要求12所述的辅助交互控制系统，其特征是，所述的附加参数解析模块内置每个控制对象的所有参数信息并将补充输入与知识库进行匹配，当补充输入全部获得匹配结果时输出至指令组成单元，并当存在无匹配部分时将补充输入输出至领域解析模块。
CN201811054935.2A 2018-09-11 2018-09-11 基于上下文的辅助交互控制方法及系统 Active CN110890090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811054935.2A CN110890090B (zh) 2018-09-11 2018-09-11 基于上下文的辅助交互控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811054935.2A CN110890090B (zh) 2018-09-11 2018-09-11 基于上下文的辅助交互控制方法及系统

Publications (2)

Publication Number Publication Date
CN110890090A true CN110890090A (zh) 2020-03-17
CN110890090B CN110890090B (zh) 2022-08-12

Family

ID=69745387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811054935.2A Active CN110890090B (zh) 2018-09-11 2018-09-11 基于上下文的辅助交互控制方法及系统

Country Status (1)

Country Link
CN (1) CN110890090B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908304A (zh) * 2021-01-29 2021-06-04 深圳通联金融网络科技服务有限公司 一种提高语音识别精准性的方法和装置
CN113555018A (zh) * 2021-07-20 2021-10-26 海信视像科技股份有限公司 语音交互方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089282A1 (en) * 2007-09-30 2009-04-02 Nec (China) Co., Ltd. Natural language based service selection system and method, service query system and method
CN103198155A (zh) * 2013-04-27 2013-07-10 俞志晨 一种基于移动终端的智能问答交互系统及方法
CN105868179A (zh) * 2016-04-08 2016-08-17 上海智臻智能网络科技股份有限公司 一种智能问答方法及装置
CN106649253A (zh) * 2015-11-02 2017-05-10 涂悦 基于后验证的辅助控制方法及系统
CN107357787A (zh) * 2017-07-26 2017-11-17 微鲸科技有限公司 语义交互方法、装置及电子设备
CN108170734A (zh) * 2017-12-15 2018-06-15 国网冀北电力有限公司信息通信分公司 一种智能化运维机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089282A1 (en) * 2007-09-30 2009-04-02 Nec (China) Co., Ltd. Natural language based service selection system and method, service query system and method
CN103198155A (zh) * 2013-04-27 2013-07-10 俞志晨 一种基于移动终端的智能问答交互系统及方法
CN106649253A (zh) * 2015-11-02 2017-05-10 涂悦 基于后验证的辅助控制方法及系统
CN105868179A (zh) * 2016-04-08 2016-08-17 上海智臻智能网络科技股份有限公司 一种智能问答方法及装置
CN107357787A (zh) * 2017-07-26 2017-11-17 微鲸科技有限公司 语义交互方法、装置及电子设备
CN108170734A (zh) * 2017-12-15 2018-06-15 国网冀北电力有限公司信息通信分公司 一种智能化运维机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908304A (zh) * 2021-01-29 2021-06-04 深圳通联金融网络科技服务有限公司 一种提高语音识别精准性的方法和装置
CN112908304B (zh) * 2021-01-29 2024-03-26 深圳通联金融网络科技服务有限公司 一种提高语音识别精准性的方法和装置
CN113555018A (zh) * 2021-07-20 2021-10-26 海信视像科技股份有限公司 语音交互方法及装置

Also Published As

Publication number Publication date
CN110890090B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN108984529B (zh) 实时庭审语音识别自动纠错方法、存储介质及计算装置
US10713441B2 (en) Hybrid learning system for natural language intent extraction from a dialog utterance
US20180061408A1 (en) Using paraphrase in accepting utterances in an automated assistant
EP2317507B1 (en) Corpus compilation for language model generation
US9858039B2 (en) Voice recognition of commands extracted from user interface screen devices
US6499013B1 (en) Interactive user interface using speech recognition and natural language processing
US11520992B2 (en) Hybrid learning system for natural language understanding
US7742922B2 (en) Speech interface for search engines
US6975983B1 (en) Natural language input method and apparatus
US6963831B1 (en) Including statistical NLU models within a statistical parser
CN110164435A (zh) 语音识别方法、装置、设备及计算机可读存储介质
US20060074671A1 (en) System and methods for improving accuracy of speech recognition
KR20120009446A (ko) 자연 언어 텍스트의 자동화 의미적 라벨링 시스템 및 방법
JP2005084681A (ja) 意味的言語モデル化および信頼性測定のための方法およびシステム
CN106649253B (zh) 基于后验证的辅助控制方法及系统
US11526512B1 (en) Rewriting queries
US20220414463A1 (en) Automated troubleshooter
CN110890090B (zh) 基于上下文的辅助交互控制方法及系统
US8775459B2 (en) Method and apparatus for robust input interpretation by conversation systems
WO2022105493A1 (zh) 基于语义识别的数据查询方法、装置、设备及存储介质
KR101677859B1 (ko) 지식 베이스를 이용하는 시스템 응답 생성 방법 및 이를 수행하는 장치
US20050086214A1 (en) Computer system and method for multilingual associative searching
US20220165257A1 (en) Neural sentence generator for virtual assistants
CN111914527A (zh) 自动聊天机器人语言表达生成
CA2483805A1 (en) System and methods for improving accuracy of speech recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220727

Address after: 519000 zone a, floor 3, building D, No. 288, Jichang East Road, Sanzao Town, Jinwan District, Zhuhai City, Guangdong Province

Applicant after: Zhuhai Xiyin Medical Technology Co.,Ltd.

Address before: Floor 9, building 2, ganghui Plaza, No. 3 Hongqiao Road, Xuhui District, Shanghai 200030

Applicant before: Tu Yue

GR01 Patent grant
GR01 Patent grant