CN111968640A - 语音控制方法、装置、电子设备及存储介质 - Google Patents

语音控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111968640A
CN111968640A CN202010825753.1A CN202010825753A CN111968640A CN 111968640 A CN111968640 A CN 111968640A CN 202010825753 A CN202010825753 A CN 202010825753A CN 111968640 A CN111968640 A CN 111968640A
Authority
CN
China
Prior art keywords
voice control
information
control command
semantic information
execution object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010825753.1A
Other languages
English (en)
Inventor
赖永永
方彦彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202010825753.1A priority Critical patent/CN111968640A/zh
Publication of CN111968640A publication Critical patent/CN111968640A/zh
Priority to US17/241,777 priority patent/US11749273B2/en
Priority to EP21171081.9A priority patent/EP3958110B1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种语音控制方法、装置、电子设备及存储介质，所述方法应用于终端设备，包括：接收输入的语音控制命令，获取所述语音控制命令的识别结果；在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象；根据查找结果，响应所述语音控制命令；其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。

Description

语音控制方法、装置、电子设备及存储介质
技术领域
本发明涉及语音控制技术领域，尤其涉及一种语音控制方法、装置、电子设备及存储介质。
背景技术
随着科学技术的不断进步，用户和终端设备等机器的交互方式也在发生变化，出现了越来越多的语音助手，用于识别用户的语音控制命令并给出对应的回复及执行对应的操作，实现了用户对终端设备的语音控制。但是语音控制方式的信息获取效率和准确率均较低，导致终端设备对用户语音控制命令的响应效率低，响应准确率低。
发明内容
本发明提供一种语音控制方法、装置、电子设备及存储介质，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种语音控制方法，应用于终端设备，所述控制方法包括：
接收输入的语音控制命令，获取所述语音控制命令的识别结果；
在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象；
根据查找结果，响应所述语音控制命令；
其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。
在一个实施例中，所述逐级查找与所述识别结果匹配的执行对象，包括：
按照预设的优先级顺序在所述预设搜索范围内查找与所述识别结果匹配的所述执行对象，并在确定所述执行对象后停止查找。
在一个实施例中，所述预设的优先级顺序为：
接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统的优先级依次降低。
在一个实施例中，所述识别结果包括用于指示所述语音控制命令的执行对象的第一语义信息；
当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，所述查找与所述识别结果匹配的执行对象，包括：
获得对所述显示界面进行分割所得到的多个界面元素；
确定至少一个界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；
分别比较至少一个所述界面元素的第二语义信息和所述第一语义信息，若任一所述界面元素的第二语义信息与所述第一语义信息相匹配，则确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象。
在一个实施例中，所述目标信息还包括所述界面元素的位置信息；
所述确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象，包括：
获取与所述第一语义信息相匹配的第二语义信息对应的界面元素；
根据获取的所述界面元素的所述位置信息，确定在所述显示界面的对应位置的所述界面元素为所述执行对象。
在一个实施例中，所述识别结果还包括用于确定所述语音控制命令的控制内容的第三语义信息；
所述根据查找结果，响应所述语音控制命令，包括：
对所述执行对象执行与所述第三语义信息对应的操作。
在一个实施例中，所述识别结果包括意图信息；
当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，所述查找与所述识别结果匹配的执行对象，包括：
根据所述意图信息和应用程序支持的操作类型确定所述执行对象。
在一个实施例中，当预设搜索范围为接收所述语音控制命令时终端设备当前运行的至少一个应用程序，所述查找与所述识别结果匹配的执行对象，包括：
获取终端设备当前运行的每个应用程序支持的至少一种操作类型对应的第四语义信息；
分别比较至少一个操作类型对应的第四语义信息与所述意图信息，若任一操作类型对应的第四语义信息与所述意图信息相匹配，则确定与所述意图信息匹配的第四语义信息对应的操作类型所属的应用程序为所述执行对象。
在一个实施例中，当预设搜索范围为终端设备的系统，所述查找与所述识别结果匹配的执行对象，包括：
获取所述系统的操作类型响应表中至少一个操作类型对应的第五语义信息，其中，所述操作类型响应表包括操作类型与响应程序的映射关系；
分别比较至少一个操作类型对应的第五语义信息与所述意图信息，若任一操作类型对应的第五语义信息与所述意图信息相匹配，则根据与所述意图信息匹配的第五语义信息对应的操作类型和所述操作类型响应表确定所述执行对象。
在一个实施例中，所述识别结果还包括与所述意图信息对应的槽位信息以及各个槽位信息内的实体信息；
所述根据查找结果，响应所述语音控制命令，包括：
根据所述槽位信息以及各个槽位信息内的实体信息对所述执行对象执行对应的操作。
在一个实施例中，所述根据查找结果，响应所述语音控制命令，还包括：
响应于未确定所述执行对象，生成提示信息，其中，所述提示信息用于指示所述终端设备无法执行所述语音控制命令。
根据本发明实施例的第二方面，提供一种语音控制装置，应用于终端设备，所述控制装置包括：
识别模块，用于接收输入的语音控制命令，获取所述语音控制命令的识别结果；
查找模块，用于在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象；
响应模块，用于根据查找结果，响应所述语音控制命令；
其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。
在一个实施例中，所述查找模块具体用于：
按照预设的优先级顺序在所述预设搜索范围内查找与所述识别结果匹配的所述执行对象，并在确定所述执行对象后停止查找。
在一个实施例中，所述预设的优先级顺序为：
接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统的优先级依次降低。
在一个实施例中，所述识别结果包括用于指示所述语音控制命令的执行对象的第一语义信息；
当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，所述查找模块具体用于：
获得对所述显示界面进行分割所得到的多个界面元素；
确定至少一个界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；
分别比较至少一个所述界面元素的第二语义信息和所述第一语义信息，若任一所述界面元素的第二语义信息与所述第一语义信息相匹配，则确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象。
在一个实施例中，所述目标信息还包括所述界面元素的位置信息；
所述查找模块用于确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象时，具体用于：
获取与所述第一语义信息相匹配的第二语义信息对应的界面元素；
根据获取的所述界面元素的所述位置信息，确定在所述显示界面的对应位置的所述界面元素为所述执行对象。
在一个实施例中，所述识别结果还包括用于确定所述语音控制命令的控制内容的第三语义信息；
所述响应模块具体用于：
对所述执行对象执行与所述第三语义信息对应的操作。
在一个实施例中，所述识别结果包括意图信息；
当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，所述查找模块具体用于：
根据所述意图信息和应用程序支持的操作类型确定所述执行对象。
在一个实施例中，当预设搜索范围为接收所述语音控制命令时终端设备当前运行的至少一个应用程序，所述查找模块具体用于：
获取终端设备当前运行的每个应用程序支持的至少一种操作类型对应的第四语义信息；
分别比较至少一个操作类型对应的第四语义信息与所述意图信息，若任一操作类型对应的第四语义信息与所述意图信息相匹配，则确定与所述意图信息匹配的第四语义信息对应的操作类型所属的应用程序为所述执行对象。
在一个实施例中，当预设搜索范围为终端设备的系统，所述查找模块具体用于：
获取所述系统的操作类型响应表中至少一个操作类型对应的第五语义信息，其中，所述操作类型响应表包括操作类型与响应程序的映射关系；
分别比较至少一个操作类型对应的第五语义信息与所述意图信息，若任一操作类型对应的第五语义信息与所述意图信息相匹配，则根据与所述意图信息匹配的第五语义信息对应的操作类型和所述操作类型响应表确定所述执行对象。
在一个实施例中，所述识别结果还包括与所述意图信息对应的槽位信息以及各个槽位信息内的实体信息；
所述响应模块具体用于：
根据所述槽位信息以及各个槽位信息内的实体信息对所述执行对象执行对应的操作。
在一个实施例中，所述响应模块具体用于：
响应于未确定所述执行对象，生成提示信息，其中，所述提示信息用于指示所述终端设备无法执行所述语音控制命令。
根据本发明实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面任一项所述的方法进行语音控制。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面任一项所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开通过获取语音控制命令的识别结果，并在预设搜索范围内逐级查找与所述识别结果匹配的执行对象，最后根据查找结果，响应语音控制命令。由于预设搜索范围包括当前界面、当前运行的至少一个应用程序和系统中的至少一个，因此对于接收到的语音控制命令，增加了至少一个层面进行匹配，提高了语音控制命令响应的针对性，既提高了语音响应效率，又提高了语音响应的准确率，避免了误响应、重复响应和无响应等问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明一示例性实施例示出的语音控制方法的流程图；
图2是本发明一示例性实施例示出的在接收所述语音控制命令时终端设备的当前界面的范围内查找执行对象的一种方式的流程图；
图3是本公开一示例性实施例示出的语音控制装置的结构示意图；
图4是本公开一示例性实施例示出的电子设备框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着科学技术的不断进步，用户和终端设备等机器的交互方式也在发生变化，出现了越来越多的语音助手，用于识别用户的语音控制命令并给出对应的回复及执行对应的操作，实现了用户对终端设备的语音控制。但是语音控制方式的信息获取效率和准确率均较低，导致终端设备对用户语音控制命令的响应效率低，响应准确率低。
具体来说，当响应设备是带屏设备的开放系统时，比如手机、平板电脑、电视等时，该系统上除了系统预装应用外，还安装了大量三方应用，如果想通过语音，充分发挥该类设备的能力，就需要语音命令能够得到准确的响应。
基于此，第一方面，本发明至少一个实施例提供了一种语音控制方法，请参照图1，其示出了该控制方法的流程，包括步骤S101至步骤S104。
其中，所述语音控制方法应用于终端设备，所述终端设备具备语音采集功能，例如，所述终端设备可以是智能手机、平板电脑、桌面型/膝上型/手持型计算机、可穿戴设备、智能音箱、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personaldigital assistant，PDA)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等包括触摸屏的设备，本公开的实施例无意对该终端设备的具体形态进行限定。
在步骤S101中，接收输入的语音控制命令，获取所述语音控制命令的识别结果。
本步骤中，终端设备处于允许语音控制的状态，即终端设备实时采集用户输入的语音控制命令。终端设备采集语音控制命令后，需要对语音控制命令进行识别处理，以得到语音识别结果。
在一个示例中，对所述语音控制命令进行语音识别和语义识别，得到所述语音控制命令的语音识别结果和语义识别结果。
在步骤S102中，在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象，其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。
本步骤中，可以按照预设的优先级顺序在所述预设搜索范围内查找与所述识别结果匹配的所述执行对象，并在确定所述执行对象后停止查找。
在一些示例中，所述预设搜索范围仅为接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统中的一个，则直接在预设搜索范围内查找与所述识别结果匹配的所述执行对象。例如，所述预设搜索范围为接收所述语音控制命令时所述终端设备的当前界面，则直接且仅在接收所述语音控制命令时所述终端设备的当前界面查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找；再例如，所述预设搜索范围为接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序，则直接且仅在接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找；再例如，所述预设搜索范围为所述终端设备的系统，则直接且仅在所述终端设备的系统查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找。
其中，所述预设的优先级顺序为：接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统的优先级依次降低。
在一个示例中，所述预设搜索范围包括接收所述语音控制命令时终端设备的当前界面和接收所述语音控制命令时终端设备当前运行的至少一个应用程序，首先，在接收所述语音控制命令时所述终端设备的当前界面查找执行对象，查找结束后，若确定了执行对象，停止查找，若未确定执行对象，则继续在接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序中查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找。
在一个示例中，所述预设搜索范围包括接收所述语音控制命令时终端设备的当前界面和终端设备的系统，首先，在接收所述语音控制命令时所述终端设备的当前界面查找执行对象，查找结束后，若确定了执行对象，停止查找，若未确定执行对象，则继续在在所述终端设备的系统查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找。
在一个示例中，所述预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统，首先，在接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序中查找执行对象，查找结束后，若确定了执行对象，停止查找，若未确定执行对象，则继续在所述终端设备的系统查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找。
在一个示例中，所述预设搜索范围包括接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统，首先，在接收所述语音控制命令时所述终端设备的当前界面查找执行对象，查找结束后，若确定了执行对象，停止查找，若未确定执行对象，则继续在接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序查找执行对象，查找结束后，若确定了执行对象，停止查找，若未确定执行对象，则继续在在所述终端设备的系统查找执行对象，查找结束后，无论是否确定了执行对象，均停止查找。这一示例中，语音控制命令依次在当前页面、当前运行的至少一个应用程序和系统三个层面进行匹配，提高了语音控制命令响应的针对性，即能够在当前页面响应便在当前页面响应，不能够在当前页面响应就在当前运行的应用程序响应，不能够在当前运行的应用程序响应再由系统响应，既提高了语音响应效率，又提高了语音响应的准确率，避免了误响应、重复响应和无响应等问题，形成了自然高效的用户体验。
在步骤S103中，根据查找结果，响应所述语音控制命令。
其中，响应所述语音控制命令，包括：若确定了执行对象，则对所述执行对象执行所述语音控制命令对应的操作，若未确定执行对象，则生成提示信息，其中，所述提示信息用于指示所述终端设备无法执行所述语音控制命令。也就是说，无论是否执行语音控制命令对应的操作，都有相应的响应动作，以便使用户能够根据响应动作做出下一步的操作。
本公开的实施例，通过获取语音控制命令的识别结果，并在预设搜索范围内逐级查找与所述识别结果匹配的执行对象，最后根据查找结果，响应语音控制命令。由于预设搜索范围包括当前界面、当前运行的至少一个应用程序和系统中的至少一个，因此对于接收到的语音控制命令，增加了至少一个层面进行匹配，提高了语音控制命令响应的针对性，既提高了语音响应效率，又提高了语音响应的准确率，避免了误响应、重复响应和无响应等问题。
在本公开的一些实施例中，所述识别结果包括用于指示所述语音控制命令的执行对象的第一语义信息，其中，第一语义信息可以用于在接收所述语音控制命令时终端设备的当前界面的范围内确定执行对象。
基于识别结果的上述形式，当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，可以按照下述方式查找与所述识别结果匹配的执行对象，请参照附图2，其示出了上述方式的流程，包括步骤S201至步骤S203。
在步骤S201中，获得对所述显示界面进行分割所得到的多个界面元素。
其中，可以将屏幕进行等比例分割，以实现对屏幕的等分；还可以将屏幕进行非等比例的分割，以实现对屏幕的非等分，例如可以按照有效的操作区域进行划分，这样可以使分割后的各部分均对应一个有效的操作区域。
在一些实施例中，可以以相邻的控件元素的界限为分割线对显示界面进行分割，以得到至少一个控件元素，然后将每个控件元素作为一个界面元素，其中，显示界面包括至少一个控件元素，控件元素可以是导航文字、图标、文字和图标的组合等，多个控件元素可以对应一个响应动作，例如导航文字和图标对应同一个响应动作，文字和图标的组合中，图标可以是控件元素主体，文字可以是对应的标识，例如在移动终端的应用程序列表中，每个应用程序对应一个控件元素，且控件元素既包括应用程序的图标，还包括应用程序的名称；可以利用终端设备的系统内的页面处理工具直接获取到页面内的控件信息，控件信息至少包括以下任意一种：就页面内的每个控件元素的编号(ID)、位置、属性等，例如在Android系统内，利用系统自带的Accessibility Service能够获取到页面内的控件信息。以控件元素为单元进行划分，使划分后的每个界面元素均为一个独立的控制单元，不仅具有独立的第二语义信息，而且可以独立作为控制对象，提高了显示界面的分割效率和准确率，且提高了后续确定控制对象的效率和准确率。
在步骤S202中，确定至少一个界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息。
其中，可以根据界面元素的特点采用不同的方式确定其第二语义信息。例如，对包含文本内容的界面元素，可以识别界面元素内包含的文本内容，并根据所述文本内容确定所述界面元素的第二语义信息；对未包含文本内容的界面元素，可以对界面元素进行图像识别，以得到界面元素对应的文字描述信息，并将上述文字描述信息确定为界面元素的第二语义信息。具体的，可以采用光学字符识别(OCR)方式及自然语言处理(NLP)方式，识别文本内容，并根据识别结果确定界面元素第二语义信息；可以采用光学字符识别(OCR)方式及自然语言处理(NLP)方式，对所述界面元素进行图像识别，还可以预先训练一个能够用于图像识别和提取文字描述信息的神经网络，然后利用该神经网络对界面元素进行图像识别。
在步骤S203中，分别比较至少一个所述界面元素的第二语义信息和所述第一语义信息，若任一所述界面元素的第二语义信息与所述第一语义信息相匹配，则确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象。其中，所述目标信息还包括界面元素的位置信息，因此可以按照下述方式确定执行对象：首先，获取与所述第一语义信息相匹配的第二语义信息对应的界面元素；接下来，根据获取的所述界面元素的所述位置信息，确定在所述显示界面的对应位置的所述界面元素为所述执行对象。通过界面元素的位置信息能够准确的定位界面元素，提高确定执行对象的准确性。
在一些实施例中，确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象，包括：
当所述第一语义信息与所述第二语义信息的文本相似度超过预设阈值时，确定所述第二语义信息与所述第一语义信息匹配；
确定与所述第二语义信息对应的所述界面元素为执行对象。
例如：利用NLP自然语言识别技术中的文本匹配技术提取第一语义信息和第二语义信息中的语义特征，计算第一语义信息和第二语义信息的文本相似度，当所述文本相似度超过预设阈值时，确定所述第二语义信息与所述第一语义信息匹配，然后再获取与所述第二语义信息对应的界面元素。
本公开的一些实施例中，所述识别结果还包括用于确定所述语音控制命令的控制内容的第三语义信息，基于识别结果的上述形式，当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，可以按照下述方式响应所述语音控制命令：对所述执行对象执行所述第三语义信息对应的操作。分别通过第一语义信息和第三语义信息确定语音控制命令的执行对象和控制内容，从而能够准确的响应语音控制命令，且提高响应效率，避免了误响应、重复响应和无响应等问题。
在本公开的一些实施例中，所述识别结果包括意图信息，所述意图信息是用于指示输入的语音控制命令的操作意图的信息。其中，常见的意图信息有“购物”、“天气查询”、“音乐播放”、“视频播放”等。
基于识别结果的上述形式，当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，可以按照下述方式查找与所述识别结果匹配的执行对象：根据所述意图信息和应用程序支持的操作类型确定执行对象。其中，每种应用程序支持至少一个操作类型，这些操作类型可以在应用程序安装于系统上时同步注册，还可以在用户使用应用程序时进行更新，例如用户在使用时不断增加一个应用程序支持的操作类型。如果是第三方应用程序，则该应用程序需要提供外部调用能力，例如intent和/或deeplink等。
在一些实施例中，当预设搜索范围为接收所述语音控制命令时终端设备当前运行的至少一个应用程序，具体按照下述方式查找与所述识别结果匹配的执行对象：首先，获取终端设备当前运行的每个应用程序支持的至少一种操作类型对应的第四语义信息；接下来，分别比较至少一个操作类型对应的第四语义信息与所述意图信息，若任一操作类型对应的第四语义信息与所述意图信息相匹配，则确定与所述意图信息匹配的第四语义信息对应的操作类型所指示的应用程序为执行对象。
在一些实施例中，可以按照预设的优先级顺序比较至少一个操作类型对应的第四语义信息与所述意图信息，例如，可以将当前页面所属的应用程序作为优先级最高的应用程序，将其他应用程序对应设置优先级顺序，由于优先匹配当前页面所属的应用程序支持的操作类型，能够优先使当前页面所属的应用程序执行命令，避免有两个以上应用同时满足该操作类型时，不令当前页面所属的应用程序执行，却拉起来另一个应用造成的用户体验差。
匹配应用程序支持的操作类型时，对于每一个应用程序，可以遍历该应用程序支持的所有操作类型，分别匹配每个操作类型与意图信息，当存在匹配成功的操作类型时确定该应用程序为执行对象，当不存在匹配成功的操作类型时开始对下一个应用程序的所有操作类型的遍历和匹配，当所述终端设备当前运行的所有应用程序均不存在匹配成功的操作类型时即在当前搜索范围未查找到执行对象。
例如，当前页面为淘宝的一个使用界面，淘宝这个应用程序支持的操作类型之一为购物，当语音控制命令为“买个书包”，因此该语音控制命令的识别结果中，意图信息为“购物”，能够与购物这一操作类型匹配成功，因此可以将淘宝这个当前页面所指示的应用程序确定为执行对象。
在一些实施例中，当预设搜索范围为终端设备的系统，具体按照下述方式查找与所述识别结果匹配的执行对象：首先，获取所述系统的操作类型响应表中至少一个操作类型对应的第五语义信息，其中，所述操作类型响应表包括操作类型与响应程序的映射关系；接下来，分别比较至少一个操作类型对应的第五语义信息与所述意图信息，若任一操作类型对应的第五语义信息与所述意图信息相匹配，则根据与所述意图信息匹配的第五语义信息对应的操作类型和所述操作类型响应表确定执行对象。
其中，所述操作类型响应表为系统的全局默认命令响应方式，也就是预先规定了对于接收到的何种命令以何种应用程序以及何种方式进行响应。随着应用程序的安装、卸载和使用，操作类型响应表不断更新和变化。另外，所述系统的操作类型响应表中，每个操作类型均对应至少一个应用程序，且所述操作类型对应的多个应用程序按照预设的优先级顺序排列。在系统内做匹配时，也可以遍历系统支持的操作类型，分别匹配每个操作类型与语音识别结果中的意图信息，当存在匹配成功的操作类型时，可以根据匹配成功的操作类型进一步确定对应的应用程序为执行对象。当所述操作类型对应一个应用程序，直接确定所述应用程序为执行对象；当所述操作类型对应多个应用程序，通过比较多个应用程序的优先级顺序，然后确定优先级最高的应用程序为执行对象。
例如，当前页面为淘宝的一个使用界面，淘宝这个应用程序支持的操作类型为购物等，当语音控制命令为“看个电影XXX”，当前页面内无相关的界面元素，因此进一步匹配语音识别结果与淘宝支持的操作类型，语音识别结果未能与淘宝的任何一个操作类型匹配成功，因此不能在淘宝这个当前页面所属的应用程序执行该语音控制命令，进一步匹配语音识别结果与系统支持的操作类型，若系统支持“影视”这一操作类型，则该操作类型与语音识别结果中的意图信息匹配成功，且可进一步确定系统内的腾讯视频为执行对象。
本公开的一些实施例中，所述识别结果还包括与所述意图信息对应的槽位信息以及各个槽位信息内的实体信息，其中，每个意图信息均对应至少一个槽位信息，且各个槽位信息内可以根据识别结果填入对应的实体信息，例如，“购物”这一意图信息至少具有“物品”这一槽位信息，而该槽位信息内可以填入“书包”这个实体信息，“天气预报”这一意图信息至少具有“城市名”和“时间”两个槽位信息，且可以分别对应填入“北京”和“2020.08.20”两个实体信息。
基于识别结果的上述形式，当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，可以按照下述方式响应所述语音控制命令：根据所述槽位信息以及各个槽位信息内的实体信息对所述执行对象执行对应的操作。分别通过意图信息和对应的槽位信息及实体信息确定语音控制命令的执行对象和控制内容，从而能够准确的响应语音控制命令，且提高响应效率，避免了误响应、重复响应和无响应等问题。
请参照附图3，根据本发明实施例的第二方面，提供一种语音控制装置，应用于终端设备，所述控制装置包括：
识别模块301，用于接收输入的语音控制命令，获取所述语音控制命令的识别结果；
查找模块302，用于在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象；
响应模块303，用于根据查找结果，响应所述语音控制命令；
其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。
在一个实施例中，所述查找模块具体用于：
按照预设的优先级顺序在所述预设搜索范围内查找与所述识别结果匹配的执行对象，并在确定所述执行对象后停止查找。
在一个实施例中，所述预设的优先级顺序为：
接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统的优先级依次降低。
在一个实施例中，所述识别结果包括用于指示所述语音控制命令的执行对象的第一语义信息；
当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，所述查找模块具体用于：
获得对所述显示界面进行分割所得到的多个界面元素；
确定至少一个界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；
分别比较至少一个所述界面元素的第二语义信息和所述第一语义信息，若任一所述界面元素的第二语义信息与所述第一语义信息相匹配，则确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象。
在一个实施例中，所述目标信息还包括所述界面元素的位置信息；
所述查找模块用于确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象时，具体用于：
获取与所述第一语义信息相匹配的第二语义信息对应的界面元素；
根据获取的所述界面元素的所述位置信息，确定在所述显示界面的对应位置的所述界面元素为所述执行对象。
在一个实施例中，所述识别结果还包括用于确定所述语音控制命令的控制内容的第三语义信息；
所述响应模块具体用于：
对所述执行对象执行所述第三语义信息对应的操作。
在一个实施例中，所述识别结果包括意图信息；
当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，所述查找模块具体用于：
根据所述意图信息和应用程序支持的操作类型确定执行对象。
在一个实施例中，当预设搜索范围为接收所述语音控制命令时终端设备当前运行的至少一个应用程序，所述查找模块具体用于：
获取终端设备当前运行的每个应用程序支持的至少一种操作类型对应的第四语义信息；
分别比较至少一个操作类型对应的第四语义信息与所述意图信息，若任一操作类型对应的第四语义信息与所述意图信息相匹配，则确定与所述意图信息匹配的第四语义信息对应的操作类型所属的应用程序为执行对象。
在一个实施例中，当预设搜索范围为终端设备的系统，所述查找模块具体用于：
获取所述系统的操作类型响应表中至少一个操作类型对应的第五语义信息，其中，所述操作类型响应表包括操作类型与响应程序的映射关系；
分别比较至少一个操作类型对应的第五语义信息与所述意图信息，若任一操作类型对应的第五语义信息与所述意图信息相匹配，则根据与所述意图信息匹配的第五语义信息对应的操作类型和所述操作类型响应表确定执行对象。
在一个实施例中，所述识别结果还包括与所述意图信息对应的槽位信息以及各个槽位信息内的实体信息；
所述响应模块具体用于：
执行对象根据所述槽位信息以及各个槽位信息内的实体信息执行对应的操作。
在一个实施例中，所述响应模块具体用于：
响应于未确定执行对象，生成提示信息，其中，所述提示信息用于指示所述终端设备无法执行所述语音控制命令。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本公开实施例的第三方面，请参照附图4，其示例性的示出了一种电子设备的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理部件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或4G或它们的组合。在一个示例性实施例中，通信部件414经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述电子设备的供电方法。
第四方面，本公开在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述电子设备的供电方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (24)

1.一种语音控制方法，其特征在于，应用于终端设备，所述控制方法包括：
接收输入的语音控制命令，获取所述语音控制命令的识别结果；
在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象；
根据查找结果，响应所述语音控制命令；
其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。
2.根据权利要求1所述的语音控制方法，其特征在于，所述逐级查找与所述识别结果匹配的执行对象，包括：
按照预设的优先级顺序在所述预设搜索范围内查找与所述识别结果匹配的所述执行对象，并在确定所述执行对象后停止查找。
3.根据权利要求2所述的语音控制方法，其特征在于，所述预设的优先级顺序为：
接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统的优先级依次降低。
4.根据权利要求1所述的语音控制方法，其特征在于，所述识别结果包括用于指示所述语音控制命令的执行对象的第一语义信息；
当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，所述查找与所述识别结果匹配的执行对象，包括：
获得对所述显示界面进行分割所得到的多个界面元素；
确定至少一个界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；
分别比较至少一个所述界面元素的第二语义信息和所述第一语义信息，若任一所述界面元素的第二语义信息与所述第一语义信息相匹配，则确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象。
5.根据权利要求4所述的语音控制方法，其特征在于，所述目标信息还包括所述界面元素的位置信息；
所述确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象，包括：
获取与所述第一语义信息相匹配的第二语义信息对应的界面元素；
根据获取的所述界面元素的所述位置信息，确定在所述显示界面的对应位置的所述界面元素为所述执行对象。
6.根据权利要求4所述的语音控制方法，其特征在于，所述识别结果还包括用于确定所述语音控制命令的控制内容的第三语义信息；
所述根据查找结果，响应所述语音控制命令，包括：
对所述执行对象执行与所述第三语义信息对应的操作。
7.根据权利要求1所述的语音控制方法，其特征在于，所述识别结果包括意图信息；
当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，所述查找与所述识别结果匹配的执行对象，包括：
根据所述意图信息和应用程序支持的操作类型确定所述执行对象。
8.根据权利要求7所述的语音控制方法，其特征在于，当预设搜索范围为接收所述语音控制命令时终端设备当前运行的至少一个应用程序，所述查找与所述识别结果匹配的执行对象，包括：
获取终端设备当前运行的每个应用程序支持的至少一种操作类型对应的第四语义信息；
分别比较至少一个操作类型对应的第四语义信息与所述意图信息，若任一操作类型对应的第四语义信息与所述意图信息相匹配，则确定与所述意图信息匹配的第四语义信息对应的操作类型所属的应用程序为所述执行对象。
9.根据权利要求7所述的语音控制方法，其特征在于，当预设搜索范围为终端设备的系统，所述查找与所述识别结果匹配的执行对象，包括：
获取所述系统的操作类型响应表中至少一个操作类型对应的第五语义信息，其中，所述操作类型响应表包括操作类型与响应程序的映射关系；
分别比较至少一个操作类型对应的第五语义信息与所述意图信息，若任一操作类型对应的第五语义信息与所述意图信息相匹配，则根据与所述意图信息匹配的第五语义信息对应的操作类型和所述操作类型响应表确定所述执行对象。
10.根据权利要求7所述的语音控制方法，其特征在于，所述识别结果还包括与所述意图信息对应的槽位信息以及各个槽位信息内的实体信息；
所述根据查找结果，响应所述语音控制命令，包括：
根据所述槽位信息以及各个槽位信息内的实体信息对所述执行对象执行对应的操作。
11.根据权利要求6或10所述的语音控制方法，其特征在于，所述根据查找结果，响应所述语音控制命令，还包括：
响应于未确定所述执行对象，生成提示信息，其中，所述提示信息用于指示所述终端设备无法执行所述语音控制命令。
12.一种语音控制装置，其特征在于，应用于终端设备，所述控制装置包括：
识别模块，用于接收输入的语音控制命令，获取所述语音控制命令的识别结果；
查找模块，用于在预设搜索范围内，逐级查找与所述识别结果匹配的执行对象；
响应模块，用于根据查找结果，响应所述语音控制命令；
其中，所述预设搜索范围至少包括以下任意一种：接收所述语音控制命令时所述终端设备的当前界面、接收所述语音控制命令时所述终端设备当前运行的至少一个应用程序、所述终端设备的系统。
13.根据权利要求1所述的语音控制装置，其特征在于，所述查找模块具体用于：
按照预设的优先级顺序在所述预设搜索范围内查找与所述识别结果匹配的所述执行对象，并在确定所述执行对象后停止查找。
14.根据权利要求13所述的语音控制装置，其特征在于，所述预设的优先级顺序为：
接收所述语音控制命令时终端设备的当前界面、接收所述语音控制命令时终端设备当前运行的至少一个应用程序和终端设备的系统的优先级依次降低。
15.根据权利要求12所述的语音控制装置，其特征在于，所述识别结果包括用于指示所述语音控制命令的执行对象的第一语义信息；
当预设搜索范围包括接收所述语音控制命令时终端设备的当前界面，所述查找模块具体用于：
获得对所述显示界面进行分割所得到的多个界面元素；
确定至少一个界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；
分别比较至少一个所述界面元素的第二语义信息和所述第一语义信息，若任一所述界面元素的第二语义信息与所述第一语义信息相匹配，则确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象。
16.根据权利要求15所述的语音控制装置，其特征在于，所述目标信息还包括所述界面元素的位置信息；
所述查找模块用于确定与所述第一语义信息相匹配的第二语义信息对应的所述界面元素为所述执行对象时，具体用于：
获取与所述第一语义信息相匹配的第二语义信息对应的界面元素；
根据获取的所述界面元素的所述位置信息，确定在所述显示界面的对应位置的所述界面元素为所述执行对象。
17.根据权利要求15所述的语音控制装置，其特征在于，所述识别结果还包括用于确定所述语音控制命令的控制内容的第三语义信息；
所述响应模块具体用于：
对所述执行对象执行与所述第三语义信息对应的操作。
18.根据权利要求12所述的语音控制装置，其特征在于，所述识别结果包括意图信息；
当预设搜索范围包括接收所述语音控制命令时终端设备当前运行的至少一个应用程序和/或终端设备的系统，所述查找模块具体用于：
根据所述意图信息和应用程序支持的操作类型确定所述执行对象。
19.根据权利要求18所述的语音控制装置，其特征在于，当预设搜索范围为接收所述语音控制命令时终端设备当前运行的至少一个应用程序，所述查找模块具体用于：
获取终端设备当前运行的每个应用程序支持的至少一种操作类型对应的第四语义信息；
分别比较至少一个操作类型对应的第四语义信息与所述意图信息，若任一操作类型对应的第四语义信息与所述意图信息相匹配，则确定与所述意图信息匹配的第四语义信息对应的操作类型所属的应用程序为所述执行对象。
20.根据权利要求18所述的语音控制装置，其特征在于，当预设搜索范围为终端设备的系统，所述查找模块具体用于：
获取所述系统的操作类型响应表中至少一个操作类型对应的第五语义信息，其中，所述操作类型响应表包括操作类型与响应程序的映射关系；
分别比较至少一个操作类型对应的第五语义信息与所述意图信息，若任一操作类型对应的第五语义信息与所述意图信息相匹配，则根据与所述意图信息匹配的第五语义信息对应的操作类型和所述操作类型响应表确定所述执行对象。
21.根据权利要求18所述的语音控制装置，其特征在于，所述识别结果还包括与所述意图信息对应的槽位信息以及各个槽位信息内的实体信息；
所述响应模块具体用于：
根据所述槽位信息以及各个槽位信息内的实体信息对所述执行对象执行对应的操作。
22.根据权利要求17或21所述的语音控制装置，其特征在于，所述响应模块具体用于：
响应于未确定所述执行对象，生成提示信息，其中，所述提示信息用于指示所述终端设备无法执行所述语音控制命令。
23.一种电子设备，其特征在于，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于权利要求1至11任一项所述的方法进行语音控制。
24.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至11任一项所述的方法。
CN202010825753.1A 2020-08-17 2020-08-17 语音控制方法、装置、电子设备及存储介质 Pending CN111968640A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010825753.1A CN111968640A (zh) 2020-08-17 2020-08-17 语音控制方法、装置、电子设备及存储介质
US17/241,777 US11749273B2 (en) 2020-08-17 2021-04-27 Speech control method, terminal device, and storage medium
EP21171081.9A EP3958110B1 (en) 2020-08-17 2021-04-29 Speech control method and apparatus, terminal device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825753.1A CN111968640A (zh) 2020-08-17 2020-08-17 语音控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111968640A true CN111968640A (zh) 2020-11-20

Family

ID=73389583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825753.1A Pending CN111968640A (zh) 2020-08-17 2020-08-17 语音控制方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11749273B2 (zh)
EP (1) EP3958110B1 (zh)
CN (1) CN111968640A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286487A (zh) * 2020-12-30 2021-01-29 智道网联科技(北京)有限公司 语音引导操作方法、装置、电子设备及存储介质
CN113076397A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 意图识别方法、装置、电子设备及存储介质
CN115457959A (zh) * 2022-11-08 2022-12-09 广州小鹏汽车科技有限公司 语音交互方法、服务器及计算机可读存储介质
CN116610267A (zh) * 2023-07-20 2023-08-18 联想凌拓科技有限公司 存储管理方法及装置、电子设备及存储介质
WO2024001618A1 (zh) * 2022-06-30 2024-01-04 比亚迪股份有限公司 语音控制方法、多媒体系统、汽车及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396709A (zh) * 2022-08-22 2022-11-25 海信视像科技股份有限公司 显示设备、服务器及免唤醒语音控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103915095A (zh) * 2013-01-06 2014-07-09 华为技术有限公司 语音识别的方法、交互设备、服务器和系统
US20140270258A1 (en) * 2013-03-15 2014-09-18 Pantech Co., Ltd. Apparatus and method for executing object using voice command
CN106157955A (zh) * 2015-03-30 2016-11-23 阿里巴巴集团控股有限公司 一种语音控制方法及装置
CN107195302A (zh) * 2017-06-02 2017-09-22 努比亚技术有限公司 一种语音控制的方法及对应的系统、终端设备
CN108231076A (zh) * 2018-01-04 2018-06-29 广州视源电子科技股份有限公司 一种语音控制方法、装置、设备及存储介质
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作系统
CN108877791A (zh) * 2018-05-23 2018-11-23 百度在线网络技术（北京）有限公司 基于视图的语音交互方法、装置、服务器、终端和介质
CN109389974A (zh) * 2017-08-09 2019-02-26 阿里巴巴集团控股有限公司 一种语音操作的方法及装置
CN110177185A (zh) * 2018-02-19 2019-08-27 柯尼卡美能达株式会社 图像处理装置、图像处理装置的控制方法及记录介质
CN111385633A (zh) * 2018-12-27 2020-07-07 Tcl集团股份有限公司 一种基于语音的资源搜索方法、智能终端及存储介质
CN111506245A (zh) * 2020-04-27 2020-08-07 北京小米松果电子有限公司 终端操控方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103915095A (zh) * 2013-01-06 2014-07-09 华为技术有限公司 语音识别的方法、交互设备、服务器和系统
US20140270258A1 (en) * 2013-03-15 2014-09-18 Pantech Co., Ltd. Apparatus and method for executing object using voice command
CN106157955A (zh) * 2015-03-30 2016-11-23 阿里巴巴集团控股有限公司 一种语音控制方法及装置
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作系统
CN107195302A (zh) * 2017-06-02 2017-09-22 努比亚技术有限公司 一种语音控制的方法及对应的系统、终端设备
CN109389974A (zh) * 2017-08-09 2019-02-26 阿里巴巴集团控股有限公司 一种语音操作的方法及装置
CN108231076A (zh) * 2018-01-04 2018-06-29 广州视源电子科技股份有限公司 一种语音控制方法、装置、设备及存储介质
CN110177185A (zh) * 2018-02-19 2019-08-27 柯尼卡美能达株式会社 图像处理装置、图像处理装置的控制方法及记录介质
CN108877791A (zh) * 2018-05-23 2018-11-23 百度在线网络技术（北京）有限公司 基于视图的语音交互方法、装置、服务器、终端和介质
CN111385633A (zh) * 2018-12-27 2020-07-07 Tcl集团股份有限公司 一种基于语音的资源搜索方法、智能终端及存储介质
CN111506245A (zh) * 2020-04-27 2020-08-07 北京小米松果电子有限公司 终端操控方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286487A (zh) * 2020-12-30 2021-01-29 智道网联科技(北京)有限公司 语音引导操作方法、装置、电子设备及存储介质
CN113076397A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 意图识别方法、装置、电子设备及存储介质
WO2024001618A1 (zh) * 2022-06-30 2024-01-04 比亚迪股份有限公司 语音控制方法、多媒体系统、汽车及存储介质
CN115457959A (zh) * 2022-11-08 2022-12-09 广州小鹏汽车科技有限公司 语音交互方法、服务器及计算机可读存储介质
CN115457959B (zh) * 2022-11-08 2023-02-10 广州小鹏汽车科技有限公司 语音交互方法、服务器及计算机可读存储介质
CN116610267A (zh) * 2023-07-20 2023-08-18 联想凌拓科技有限公司 存储管理方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3958110A1 (en) 2022-02-23
US11749273B2 (en) 2023-09-05
EP3958110B1 (en) 2024-05-22
US20220051668A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
CN111968640A (zh) 语音控制方法、装置、电子设备及存储介质
CN105489220B (zh) 语音识别方法及装置
US20170150290A1 (en) Method and device for information push
CN109600303B (zh) 内容分享方法、装置及存储介质
CN109447125B (zh) 分类模型的处理方法、装置、电子设备及存储介质
RU2645282C2 (ru) Способ и устройство для вызова по облачным визиткам
CN110764627B (zh) 一种输入方法、装置和电子设备
US11335348B2 (en) Input method, device, apparatus, and storage medium
CN106354504B (zh) 消息显示方法及装置
CN107229403B (zh) 一种信息内容选择方法及装置
WO2021213038A1 (zh) 历史信息的获取方法、存储介质、系统
CN113254784A (zh) 信息显示方法、装置、电子设备及存储介质
CN104951522B (zh) 一种进行搜索的方法和装置
CN111177521A (zh) 一种查询词分类模型的确定方法和装置
CN111968639A (zh) 语音控制方法、装置、电子设备及存储介质
CN109842688B (zh) 一种内容推荐方法、装置、电子设备及存储介质
CN107436896B (zh) 一种输入推荐方法、装置及电子设备
CN105260088B (zh) 信息分类展示处理的方法及装置
CN110147426B (zh) 一种查询文本的分类标签确定方法及相关装置
CN109901726B (zh) 一种候选词生成方法、装置及用于候选词生成的装置
CN109799916B (zh) 一种候选项联想方法和装置
CN110362760B (zh) 一种智能提示搜索结果的方法、装置及介质
CN107515853B (zh) 一种细胞词库推送方法及装置
CN112083811B (zh) 一种候选项展示方法和装置
CN110399566B (zh) 一种位置搜索方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination