CN110691160A - 一种语音控制方法、装置及手机 - Google Patents

一种语音控制方法、装置及手机 Download PDF

Info

Publication number
CN110691160A
CN110691160A CN201810724986.5A CN201810724986A CN110691160A CN 110691160 A CN110691160 A CN 110691160A CN 201810724986 A CN201810724986 A CN 201810724986A CN 110691160 A CN110691160 A CN 110691160A
Authority
CN
China
Prior art keywords
control
voice
screen information
analyzed
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810724986.5A
Other languages
English (en)
Inventor
李凯
朱众微
宋亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Mobile Communications Technology Co Ltd
Original Assignee
Hisense Mobile Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Mobile Communications Technology Co Ltd filed Critical Hisense Mobile Communications Technology Co Ltd
Priority to CN201810724986.5A priority Critical patent/CN110691160A/zh
Priority to PCT/CN2019/093222 priority patent/WO2020007225A1/zh
Publication of CN110691160A publication Critical patent/CN110691160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种语音控制方法、装置及手机，所述方法包括：获取包含控制指令的语音；解析所述语音，获取所述控制指令；基于辅助功能获取终端当前操作界面的屏幕信息；查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。本申请提供的语音控制方法、装置及手机，在执行语音控制的时候基于辅助功能获取当前操作界面的屏幕信息，做到具体语音控制所执行操作结合终端当前操作界面的屏幕信息，实现在终端的任意界面实现与该界面相关的语音控制，即可实现用户看到的操作可直接通过语音进行控制执行操作，不再局限于预先设置适配的应用，有助于实现手机上所有应用的语音控制，扩大了现有语音控制的控制范围。

Description

一种语音控制方法、装置及手机
技术领域
本申请涉及移动通讯技术领域，尤其涉及一种语音控制方法、装置及手机。
背景技术
手机语音控制是指用户通过语音控制代替按键、触摸等操作手机，可用于解放用户的双手，更加便于手机的使用。目前随着现今语音识别技术的发展，基于语音识别功能的手机语音控制越来越受到手机用户的青睐。
现有的手机语音控制方法，基本上通过预先设置关键词，通过关键词去适配相应的应用。具体的，用户说出相关控制指令，手机接收用户说出的相关控制指令语音，从本地或者服务器上进行识别，分析出语义，然后根据识别出的语义与预先设置的关键词去匹配，根据关键词适配的应用进行点击，实现手机的操作控制。如，当用户说：“打开设置”，手机接收“打开设置”的语音，解析获得“设置”，根据关键词适配找到“系统-设置”，点击手机“系统-设置”，完成“系统-设置”的打开。
然而在具体使用中发现，语音控制中往往不能结合当前使用的界面。如，用户在“微信-我”的界面想要打开微信设置，说：“打开设置”，手机最后打开的是“系统-设置”，而并不是“微信-设置”。产生用户在不同的界面上针对其当前使用界面说出同样的话语却执行的是同一个命令的局面，从而可能造成操作混乱，不便于用户的使用。且现有的语音控制中，打开的都是需要与关键词适配的应用，当存在应用没有预先设置适配的关键词时，将无法实现语音控制，更加不便于用户的使用。
发明内容
本申请提供了一种语音控制方法、装置及手机，实现语音控制结合当前使用界面，做到用户看到的操作可直接通过语音进行控制，不用局限于预先设置适配的应用。
第一方面，本申请提供了一种语音控制方法，所述方法包括：
获取包含控制指令的语音；
解析所述语音，获取所述控制指令；
基于辅助功能获取终端当前操作界面的屏幕信息；
查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。
第二方面，本申请还提供了一种语音控制装置，所述控制装置包括处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，用于读取所述存储器中存储的程序代码，并作为具体部件执行上述所述的语音控制方法。
第三方面，本申请还提供了一种手机，所述手机包括语音控制装置，所述语音控制装置为上述所述的语音控制装置。
本申请提供的一种语音控制方法、装置及手机，所述方法包括：获取包含控制指令的语音；解析所述语音，获取所述控制指令；基于辅助功能获取终端当前操作界面的屏幕信息；查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。在本申请提供的语音控制方法中，在执行语音控制的时候基于辅助功能获取当前操作界面的屏幕信息，做到具体语音控制所执行操作结合终端当前操作界面的屏幕信息，实现在终端的任意界面实现与该界面相关的语音控制，即可实现用户看到的操作可直接通过语音进行控制执行操作，不再局限于预先设置适配的应用，有助于实现手机上所有应用的语音控制，扩大了现有语音控制的控制范围。
本申请提供的语音控制装置，用于语音控制方法的具体执行。本申请提供的语音控制装置可用于智能手机、电视等终端设备。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的语音控制方法的结构流程图；
图2为本申请实施例二提供的语音控制方法的结构流程图；
图3为本申请实施例三提供的语音控制方法的结构流程图；
图4为本申请实施例四提供的语音控制方法的结构流程图；
图5为本申请实施例的语音控制装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
附图1为本申请实施例一提供的一种语音控制方法的流程图。如附图1所示，本申请实施例一提供的语音控制方法，包括：
S100：获取包含控制指令的语音。
启动语音控制后，获取用户给予的包含控制指令的语音。启动语音控制包括可通过长按终端设备某个物理键，如手机的Home键。
S200：解析所述语音中包含的控制指令。
当接收到用户给予的包含控制指令的语音后，解析所述语音获得所述语音中包含的控制指令。解析语音中包含的控制指令，通常是结合智能语音库截取所接收语音中的关键词并进行关键词的拼接。
S300：基于辅助功能获取终端当前操作界面的屏幕信息。
辅助功能(Accessbility)，是Android官方推出帮助身体不便或者操作不灵活的人来辅助操作手机应用的。本申请中通过辅助功能获取终端当前操作界面的屏幕信息，具体可通过调用Accessbility提供的接口，获取当前操作界面的屏幕信息。如：
调用getRootInActiveWindow获取当前的操作界面的屏幕信息
AccessibilityNodeInfo nodeInfo＝getRootInActiveWindow()；
这个NodeInfo就是一个当前屏幕信息的一个合集类。
前操作界面的屏幕信息包括界面上的文字、图片、控件Text、ID、Clickable等均为控件的属性。Text为控件的值；ID为用于标识控件的唯一标识符，Clickable表示该控件是否可点击，当Clickable为false时，表示不能点击。
S400：查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。
根据解析出的控制指令和获取到的屏幕信息，查找屏幕信息中与解析出的控制指令相匹配的控件，执行模拟控件点击，完成语音控制。查找屏幕信息中与解析出的控制指令相匹配的控件，及从当前操作界面的屏幕信息中找到用户需要操作控制的内容。屏幕信息中与解析出的控制指令相匹配不限于文字上的对比匹配；还包括图片分析，及分析图片内容获得图片信息，但控制指令指代图片内容的时候也可进行与图片的匹配。
如，用户启动语音控制后，在“微信-我”的界面为当前操作界面，说：“我要打开微信设置”，语言控制系统获取“我要打开微信设置”的语音。根据接收到的“我要打开微信设置”的语音，截取出所述语音中的关键词“打开”、“微信”和“设置”，拼接出“打开‘微信设置’”的控制指令。获取“微信-我”的操作界面的屏幕信息，获得包括“钱包”、“收藏”、“设置”等控件的屏幕信息。在“微信-我”操作界面的屏幕信息中查找与“微信设置”相匹配的控件，经过遍历屏幕信息，查找到控件“设置”。模拟点击操作，即执行控件点击，从而打开“微信设置”，实现“我要打开微信设置”的语音控制。不会在“微信-我”的界面执行“打开设置”语音控制的时候，出现打开“系统-设置”的现象，使语音控制结合当前操作界面，提高语音控制的准确性。
在本申请实施例提供的语音控制方法中，在执行语音控制的时候基于辅助功能获取当前操作界面的屏幕信息，做到具体语音控制所执行操作结合终端当前操作界面的屏幕信息，实现在终端的任意界面实现与该界面相关的语音控制。即本申请实施例提供的语音控制方法可实现用户看到的操作可直接通过语音进行控制执行操作，不再局限于预先设置适配的应用，有助于实现手机上所有应用的语音控制，扩大了现有语音控制的控制范围。本申请语音控制方法可用于智能手机、电视等终端设备。
附图2为本申请实施例二提供的一种语音控制方法的流程图。在本申请具体实施方式中，如附图2所示，步骤S400：查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
S401:判断所述屏幕信息中是否存在与解析出的控制指令相匹配的控件。
S402:当所述屏幕信息中存在与解析出的控制指令相匹配的控件时，执行控件点击；
S403:当所述屏幕信息中不存在与解析出的控制指令相匹配的控件时，查找并匹配终端系统的适配。
在查找屏幕信息中与解析出的控制指令相匹配的控件时，遍历所述屏幕信息，判断屏幕信息中是否存在与解析出的控制指令相匹配的控件，当存在时，执行步骤S402；当不存在时，执行步骤S403。如此，可有效保证当用户给予的控制指令不存在于当前操作界面时，及时停止在当前操作界面的屏幕信息中的查找匹配；当在当前操作界面的屏幕信息中无法找到与解析出的控制指令相匹配的控件时，更换终端其他语音控制，如查找并匹配终端系统的适配，保证语音控制的有效性。
附图3为本申请实施例三提供的一种语音控制方法的流程图。在本申请具体实施方式中，如附图3所示，步骤S400：查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
S404:当查找所述屏幕信息中存在与解析出的控制指令相匹配的控件时，判断所述控件是否可点击；
S405:当所述控件不可点击时，遍历所述控件的父容器，直至找到可点击控件，执行控件点击；
S406:当所述控件可点击时，执行控件点击。
因为屏幕信息中的控件具有可点击或不可点击的Clickable的属性，当控件具有不可点击的Clickable的属性时，模拟点击操作将是无效的，即无法完成执行控件点击，所以在执行控件点击操作前，判断查找到的控件是否可点击，有效保证查找到屏幕信息中存在与解析出的控制指令相匹配的控件时，执行控件点击操作时的有效性。即在查找到屏幕信息中存在与解析出的控制指令相匹配的控件时，先判断控件的Clickable是否为false，当为false时说明控件不可点击，遍历所述控件的父容器，直至找到可点击控件，执行控件点击；否则直接执行控件点击。
如，用户在微信界面说“打开发现”，获取包含控制指令的所述语音并解析所述语音中包含的控制指令，解析识别出用户是要打开“发现”，根据获取到的当前操作界面的屏幕信息，查找所述信息中屏幕包含“发现”的控件，当找到含有“发现”的控件时，获取所述含有“发现”的控件的属性，判断其是否可点击，当其可点击的时候，认为找到的含有“发现”的控件与解析出的控制指令相匹配，执行含有“发现”控件的点击，完成了当前给予“打开发现”的语音控制。
附图4为本申请实施例三提供的一种语音控制方法的流程图。在本申请具体实施方式中，如附图4所示，本申请实施例提供的语音控制方法，在基于辅助功能获取终端当前操作界面的屏幕信息前，所述方法还包括：
S500：匹配解析出的控制指令和预置词条，判断解析出的控制指令是否符合预置词条；
S501：当解析出的控制指令符合预置词条时，根据所述预置词条拆分解析出的控制指令。
预置词条是预先设置词条，通常用于表示若干个控制指令，记录其中每一个相关控制指令的相关步骤。如，预置词条“查看朋友圈”记录“进入微信”、“点击发现”和“点击朋友圈”三个步骤。
在解析出语音中所包含的语音指令后，先进行所述语音指令与预置词条的匹配，判断解析出的控制指令是否符合预置词条，即判断预置词条中是否包含所述解析出的控制指令，当解析出的控制指令符合预置词条或预置词条中包含所述解析出的控制指令，根据预置词条拆分解析出的控制指令，根据拆分的控制指令依次执行控件点击，即依次根据相应操作界面的屏幕信息查找相应控制指令的控件进行点击。
如，用户想打开微信朋友圈，启动语音控制在桌面说“进入微信”，语言控制系统获取“进入微信”的语音，解析所述语音获取打开微信的控制指令，获取当前桌面的屏幕信息，在当前桌面的屏幕信息中查找微信控件，执行微信控件点击，进入微信；朋友圈在微信的发现->朋友圈内，则可以先说“发现”，语言控制系统获取“发现”的语音，解析所述语音获取进入发现的控制指令，获取当前微信界面的屏幕信息，在当前微信界面查找到发现控件，执行发现控件点击，进入发现；进入发现界面后，用户可以再说“朋友圈”，语言控制系统获取“朋友圈”的语音，解析所述语音获取进入朋友圈的控制指令，获取当前发现界面的屏幕信息，在当前发现界面的屏幕信息中查找到朋友圈控件，执行朋友圈控件点击，进入朋友圈。如此，基于辅助功能对当前界面的屏幕信息的获取，实现对界面内控件的直接控制。
基于上述实施例提供的语音控制方法，用户可在桌面当前操作界面直接说“查看朋友圈”，语音控制系统根据预置词条“查看朋友圈”记录的“进入微信”、“点击发现”和“点击朋友圈”步骤，则会获取当前桌面的屏幕信息，查找微信控件信息，点击进入微信；进入微信界面后，获取微信界面的屏幕信息，查找微信界面中“发现”控件，点击“发现”控件；进入发现界面后，获取发现界面的屏幕信息，查找发现界面中的“朋友圈”控件，点击“朋友圈”控件，进入朋友圈，达到查看朋友圈的操作。如此，本申请实施例提供的语音控制方法通过结合所处界面的屏幕信息实现多个控制动作的执行。
进一步，在本申请具体实施方式中，本申请实施例提供的语音控制方法，还包括：
当所述屏幕信息中存在与解析出的控制指令相匹配的控件不唯一时，提醒用户手动点击。
当在预设等待时间内未接收到用户手动点击信号，点击所述屏幕信息中第一个与解析出的控制指令相匹配的控件。
在具体实施本申请提供的语音控制方法时，在查找所述屏幕信息中与解析出的控制指令相匹配的控件时，可能会在查找到两个或两个以上相匹配的可点击控件，即屏幕信息中存在与解析出的控制指令相匹配的控件不唯一。如此，为保证语音控制正常进行，在本申请具体实施方式中，当所述屏幕信息中存在与解析出的控制指令相匹配的控件不唯一时，提醒用户手动点击，如显示文字或语音提醒“您给予的指令不唯一，请手动点击”，根据用户手动点击打开相关控件。更进一步，预设等待时间用于语音控制系统在给予提醒后的等待用户的的相应时间，当在预设等待时间内未接收到用户手动点击信号，点击所述屏幕信息中第一个与解析出的控制指令相匹配的控件。本申请实施例中，不局限于述屏幕信息中第一个与解析出的控制指令相匹配的控件，可以为任意一个，可根据需要进行设置。
如，在视频网站搜索界面语音控制搜索XX电影，根据控制指令搜索到N个XX电影相关的电影，当在执行点击XX电影的时候，因为当前界面含有N个XX电影的控件，提醒用户“找到N个电影，请手动点击”，用户可根据此提醒进行手动选择点击。也可等待一段时间让语音控制系统根据其默认点击规律自行执行控件点击。如点击排在第一个“XX电影”控件或更新时间最新的“XX电影”控件等等。
在本申请具体实施方式中，本申请提供的语音控制方法还包括：
当在预设等待时间内接收到用户手动点击信号，记录用户点击控件的ID；
根据所述控件的ID，预置解析出的控制指令并适配所述控件的ID。
具体的，当所述屏幕信息中存在与解析出的控制指令相匹配的控件不唯一时，提醒用户手动点击，用户在预设等待时间内进行了手动点击，与语音控制系统在预设等待时间内接收到用户手动点击信号，记录用户点击控件的ID，根据所述控件的ID，预置解析出的控制指令并适配所述控件的ID。如此，当用户在相同情况下进行相同的语音控制时，可直接进行此控件的点击，而不会再发生找到多个相匹配的控件时，进行提醒才能继续执行语音控制。
为保证在预置解析出的控制指令并适配所述控件时，做到解析出的控制指令与所述控件一一对应，当在预设等待时间内接收到用户手动点击信号，记录但不局限于用户所点击控件的ID，还可以记录用户所点击控件的文字、Text等属性信息。
更进一步，在本申请具体实施方式中，本申请提供的语音控制方法还包括：
当在预设等待时间内接收到用户手动点击信号，提醒用户是否记录操作；
当接收到记录操作信号时，根据所述控件的ID，预置解析出的控制指令并适配所述控件的ID。
具体的，当所述屏幕信息中存在与解析出的控制指令相匹配的控件不唯一时，提醒用户手动点击，用户在预设等待时间内进行了手动点击，与语音控制系统在预设等待时间内接收到用户手动点击信号，提醒用户是否记录操作；当接收到记录操作信号时，记录用户点击控件的ID，根据所述控件的ID，预置解析出的控制指令并适配所述控件的ID。除了实现上述实施例的功能，还通过提醒用户是否记录操作，防止语音控制系统自主预置了不合适的匹配；如，用户点击了语音控制指令外的控件。如此，本申请实施例提供的语音控制方法提高语音控制操作的准确性。
与上述实施例提供的一种语音控制方法相对应，本申请还提供了一种语音控制装置的实施例。
如附图5所示，本申请实施例提供的语音控制装置500，包括处理器501和存储器502；
所述存储器502，用于存储程序代码；
所述处理器501，用于读取所述存储器中502存储的程序代码，并作具体部件执行上述实施例提供的任意一项所述的语音控制方法。
其中，处理器501内部设置有微存储器，用于存储程序，程序可以包括程序代码，程序代码包括计算机操作指令。微存储器可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。图中仅示出了一个处理器，当然，微存储器也可以根据需要，为多个微处理器。微处理器，用于读取存储器中存储的程序代码。存储器用于临时存储芯片下载的芯片启动程序，当芯片启动完毕后，存储器中的芯片启动程序随即释放。本申请实施例提供的语音控制装置可用于智能手机、电视等终端设备。
基于本申请实施例提供的语音控制装置，本申请实施例还提供了一种手机，所述手机包括语音控制装置，所述语音控制装置如上述实施例所述的语音控制装置。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处，相关之处参见方法实施例的部分说明即可。本领域技术人员在考虑说明书及实践这里的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种语音控制方法，其特征在于，所述方法包括：
获取包含控制指令的语音；
解析所述语音，获取所述控制指令；
基于辅助功能获取终端当前操作界面的屏幕信息；
查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。
2.根据权利要求1所述的语音控制方法，其特征在于，所述查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
判断所述屏幕信息中是否存在与解析出的控制指令相匹配的控件；
当所述屏幕信息中存在与解析出的控制指令相匹配的控件时，执行控件点击；
当所述屏幕信息中不存在与解析出的控制指令相匹配的控件时，查找并匹配终端系统的适配。
3.根据权利要求1所述的语音控制方法，其特征在于，所述基于辅助功能获取终端当前操作界面的屏幕信息，包括：
根据辅助功能提供的接口，获取终端当前操作界面的屏幕信息，所述屏幕信息包括控件的Text、ID和Clickable。
4.根据权利要求1所述的语音控制方法，其特征在于，查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
当查找所述屏幕信息中存在与解析出的控制指令相匹配的控件时，判断所述控件是否可点击；
当所述控件不可点击时，遍历所述控件的父容器，直至找到可点击控件，执行控件点击；
当所述控件可点击时，执行控件点击。
5.根据权利要求1所述的语音控制方法，其特征在于，在所述基于辅助功能获取终端当前操作界面的屏幕信息前，所述方法还包括：
匹配解析出的控制指令和预置词条，判断解析出的控制指令是否符合预置词条；
当解析出的控制指令符合预置词条时，根据所述预置词条拆分解析出的控制指令。
6.根据权利要求1所述的语音控制方法，其特征在于，所述查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
当所述屏幕信息中存在与解析出的控制指令相匹配的控件不唯一时，提醒用户手动点击；
当在预设等待时间内未接收到用户手动点击信号，点击所述屏幕信息中第一个与解析出的控制指令相匹配的控件。
7.根据权利要求6所述的语音控制方法，其特征在于，所述方法还包括：
当在预设等待时间内接收到用户手动点击信号，记录用户点击控件的ID；
根据所述控件的ID，预置解析出的控制指令并适配所述控件的ID。
8.根据权利要求6所述的语音控制方法，其特征在于，所述方法还包括：
当在预设等待时间内接收到用户手动点击信号，提醒用户是否记录操作；
当接收到记录操作信号时，根据所述控件的ID，预置解析出的控制指令并适配所述控件的ID。
9.一种语音控制装置，其特征在于，所述控制装置包括处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，用于读取所述存储器中存储的程序代码，并作为具体部件执行上述权利要求1-8中任意一项所述的语音控制方法。
10.一种手机，其特征在于，所述手机包括语音控制装置，所述语音控制装置如上述权利要求9所述的语音控制装置。
CN201810724986.5A 2018-07-04 2018-07-04 一种语音控制方法、装置及手机 Pending CN110691160A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810724986.5A CN110691160A (zh) 2018-07-04 2018-07-04 一种语音控制方法、装置及手机
PCT/CN2019/093222 WO2020007225A1 (zh) 2018-07-04 2019-06-27 语音控制方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810724986.5A CN110691160A (zh) 2018-07-04 2018-07-04 一种语音控制方法、装置及手机

Publications (1)

Publication Number Publication Date
CN110691160A true CN110691160A (zh) 2020-01-14

Family

ID=69059841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810724986.5A Pending CN110691160A (zh) 2018-07-04 2018-07-04 一种语音控制方法、装置及手机

Country Status (2)

Country Link
CN (1) CN110691160A (zh)
WO (1) WO2020007225A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017656A (zh) * 2020-08-11 2020-12-01 博泰车联网(南京)有限公司 一种语音控制方法、装置及计算机存储介质
CN112309388A (zh) * 2020-03-02 2021-02-02 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
CN112581957A (zh) * 2020-12-04 2021-03-30 浪潮电子信息产业股份有限公司 一种计算机语音控制方法、系统及相关装置
CN112712806A (zh) * 2020-12-31 2021-04-27 南方科技大学 一种视障人群辅助阅读方法、装置、移动终端及存储介质
WO2022022289A1 (zh) * 2020-07-28 2022-02-03 华为技术有限公司 一种控件显示方法和设备
CN114115777A (zh) * 2021-11-19 2022-03-01 武汉虹信技术服务有限责任公司 一种基于安卓系统的增强文本显示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489437B (zh) * 2022-01-14 2024-03-19 深圳优美创新科技有限公司 智能手表及其控制方法、计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541438A (zh) * 2010-11-01 2012-07-04 微软公司 集成话音命令模态的用户界面
CN103442138A (zh) * 2013-08-26 2013-12-11 华为终端有限公司 语音控制方法、装置及终端
US20130342457A1 (en) * 2012-06-22 2013-12-26 Cape Evolution Limited Data manipulation on electronic device and remote terminal
CN103869931A (zh) * 2012-12-10 2014-06-18 三星电子（中国）研发中心 语音控制用户界面的方法及装置
CN105161106A (zh) * 2015-08-20 2015-12-16 深圳Tcl数字技术有限公司 智能终端的语音控制方法、装置及电视机系统
CN105551488A (zh) * 2015-12-15 2016-05-04 深圳Tcl数字技术有限公司 语音控制方法及系统
CN105895093A (zh) * 2015-11-02 2016-08-24 乐视致新电子科技（天津）有限公司 语音信息处理方法及装置
CN105957530A (zh) * 2016-04-28 2016-09-21 海信集团有限公司 一种语音控制方法、装置和终端设备
CN106683675A (zh) * 2017-02-08 2017-05-17 张建华 一种控制方法及语音操作系统
CN107358953A (zh) * 2017-06-30 2017-11-17 努比亚技术有限公司 语音控制方法、移动终端及存储介质
CN107948698A (zh) * 2017-12-14 2018-04-20 深圳市雷鸟信息科技有限公司 智能电视的语音控制方法、系统及智能电视
US20180122366A1 (en) * 2016-11-02 2018-05-03 Panasonic Intellectual Property Corporation Of America Information processing method and non-temporary storage medium for system to control at least one device through dialog with user

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541438A (zh) * 2010-11-01 2012-07-04 微软公司 集成话音命令模态的用户界面
US20130342457A1 (en) * 2012-06-22 2013-12-26 Cape Evolution Limited Data manipulation on electronic device and remote terminal
CN103869931A (zh) * 2012-12-10 2014-06-18 三星电子（中国）研发中心 语音控制用户界面的方法及装置
CN103442138A (zh) * 2013-08-26 2013-12-11 华为终端有限公司 语音控制方法、装置及终端
CN105161106A (zh) * 2015-08-20 2015-12-16 深圳Tcl数字技术有限公司 智能终端的语音控制方法、装置及电视机系统
CN105895093A (zh) * 2015-11-02 2016-08-24 乐视致新电子科技（天津）有限公司 语音信息处理方法及装置
CN105551488A (zh) * 2015-12-15 2016-05-04 深圳Tcl数字技术有限公司 语音控制方法及系统
CN105957530A (zh) * 2016-04-28 2016-09-21 海信集团有限公司 一种语音控制方法、装置和终端设备
US20180122366A1 (en) * 2016-11-02 2018-05-03 Panasonic Intellectual Property Corporation Of America Information processing method and non-temporary storage medium for system to control at least one device through dialog with user
CN106683675A (zh) * 2017-02-08 2017-05-17 张建华 一种控制方法及语音操作系统
CN107358953A (zh) * 2017-06-30 2017-11-17 努比亚技术有限公司 语音控制方法、移动终端及存储介质
CN107948698A (zh) * 2017-12-14 2018-04-20 深圳市雷鸟信息科技有限公司 智能电视的语音控制方法、系统及智能电视

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309388A (zh) * 2020-03-02 2021-02-02 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
WO2022022289A1 (zh) * 2020-07-28 2022-02-03 华为技术有限公司 一种控件显示方法和设备
CN112017656A (zh) * 2020-08-11 2020-12-01 博泰车联网(南京)有限公司 一种语音控制方法、装置及计算机存储介质
CN112581957A (zh) * 2020-12-04 2021-03-30 浪潮电子信息产业股份有限公司 一种计算机语音控制方法、系统及相关装置
CN112712806A (zh) * 2020-12-31 2021-04-27 南方科技大学 一种视障人群辅助阅读方法、装置、移动终端及存储介质
CN114115777A (zh) * 2021-11-19 2022-03-01 武汉虹信技术服务有限责任公司 一种基于安卓系统的增强文本显示方法

Also Published As

Publication number Publication date
WO2020007225A1 (zh) 2020-01-09

Similar Documents

Publication Publication Date Title
CN110691160A (zh) 一种语音控制方法、装置及手机
US20220221959A1 (en) Annotations in software applications for invoking dialog system functions
CN107111516B (zh) 数字个人助理内的无头任务完成
CN107437416B (zh) 一种基于语音识别的咨询业务处理方法及装置
KR101777392B1 (ko) 중앙 서버 및 이에 의한 사용자 음성 처리 방법
US9635129B2 (en) Automatic application discovery, download, integration and launch
CN110085222B (zh) 用于支持语音对话服务的交互装置和方法
US20140019462A1 (en) Contextual query adjustments using natural action input
CN107527619B (zh) 语音控制业务的定位方法及装置
US10402407B2 (en) Contextual smart tags for content retrieval
CN111052079B (zh) 提供用于与助理代理进行交互的多功能链接的系统/方法和设备
CN110570846B (zh) 一种语音控制方法、装置及手机
CN109979450B (zh) 信息处理方法、装置及电子设备
CN111385633B (zh) 一种基于语音的资源搜索方法、智能终端及存储介质
CN112652302B (zh) 语音控制方法、装置、终端及存储介质
US20140372455A1 (en) Smart tags for content retrieval
CN112130839A (zh) 一种构建数据库、语音编程的方法及相关装置
JP2007509418A (ja) 手書き認識をパーソナル化するシステムと方法
CN106371905B (zh) 应用程序操作方法、装置和服务器
US10002130B1 (en) Conversational agent
CN112581957B (zh) 一种计算机语音控制方法、系统及相关装置
CN110209939B (zh) 推荐信息的获取方法、装置、电子设备及可读存储介质
CN110989876A (zh) 一种应用程序适配方法、移动终端及存储介质
WO2023040692A1 (zh) 语音控制方法、装置、设备及介质
US12008991B2 (en) Enabling natural language interactions with user interfaces for users of a software application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication