CN104965596A - 语音操控系统 - Google Patents
语音操控系统 Download PDFInfo
- Publication number
- CN104965596A CN104965596A CN201510440736.5A CN201510440736A CN104965596A CN 104965596 A CN104965596 A CN 104965596A CN 201510440736 A CN201510440736 A CN 201510440736A CN 104965596 A CN104965596 A CN 104965596A
- Authority
- CN
- China
- Prior art keywords
- voice
- control system
- speech
- command
- speech control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Toys (AREA)
Abstract
本发明提供了一种语音操控系统，提升了车载终端、手机、智能家居、移动互联等各类应用操作的便利性，让操控交互更简单，更人性化。语音操控系统技术方案如下描述：系统自定义命令和系统截取屏幕并识别图片中可操作区域，可操作区域包括图标、按钮、文本标签等界面控件，然后生成对应的命令集库；系统采集语音，通过在线或离线的方式对语音进行识别为文字；系统匹配文字与命令集库，识别语音控制命令；系统模拟控制命令对应的操控动作或通知应用进行操作，实现语音操控目标。
Description
技术领域
本发明涉及语音识别技术、图像识别技术、文本识别技术、动作模拟技术和蓝牙技术。
背景技术
开车时用手操控车载娱乐系统危险性非常大。
当前智能家居、智能穿戴、智能玩具对于语音操控的需求越来越强烈。
在医疗等领域很多人士手不方便操作终端，需要操控一些智能设备极其不便利。
如何通过语音有效的操控各种智能设备是目前急需解决的问题。
发明内容
本发明的目的在于解决上述问题，提供了一种语音操控系统，提升了车载终端、手机、智能家居、移动互联等各类应用操作的便利性，让操控交互更简单，更人性化。
语音操控系统技术方案如下描述。
系统自定义命令和系统截取屏幕并识别图片中可操作区域，可操作区域包括图标、按钮、文本标签等界面控件，然后生成对应的命令集库。
系统采集语音，通过在线或离线的方式对语音进行识别为文字。
系统匹配文字与命令集库，识别语音控制命令。
系统模拟控制命令对应的操控动作或通知应用进行操作，实现语音操控目标。
根据本发明的语音操控系统的一实施例，语音识别和命令识别由系统的语音命令识别层实现。
根据本发明的语音操控系统的一实施例，应用的操作由系统的操作执行层完成。
根据本发明的语音操控系统的一实施例，语音操控系统状态包括初期空闲、开始提示、采集语音、语音识别、命令匹配结果提示、操作执行。
用户端遥控器包括蓝牙遥控器，用于接收用户按键事件传输至智能终端。
智能终端包括图形和文本识别模块、语音识别命令模块和操作执行模块，各模块功能如下。
图形和文本识别模块，把自定义的命令和截图识别的可操作区域命令汇合生成命令集库。
语音识别命令模块，就采样的语音识别为文字，然后和命令集库匹配识别语音控制命令。
操作执行模块，模拟控制命令对应的操控动作或通知应用进行操作，实现语音操控目标。
本发明对比现有技术有如下的有益效果：本发明的方案是对现有应有界面识别其可操作区域动态生成命令集库，在语音识别之后进行语音命令的识别，然后模拟相应的操作动作或通知应用执行。相较于传统技术，本发明可以执行应用的任何命令，而传统的技术只能支持几个常用的命令，每次添加命令都需要底层深度定制；本发明可以推广到接受语音操控的各种只能终端，包括但不限于智能手机、智能车载、智能穿戴、智能家居、智能医疗、智能玩具等可以接受语音输入的用户终端。
附图说明
图1示出了本发明的语音操控系统的较佳实施例的流程图。
图2示出了本发明的语音操控系统的较佳实施例的业务逻辑图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1示出了本发明的语音操控系统的较佳实施例的流程。请参见图1，本实施例的语音操控系统的实施步骤详述如下。
步骤100 ：系统自定义命令和系统截取屏幕并识别图片中可操作区域，可操作区域包括图标、按钮、文本标签等界面控件，然后生成对应的命令集库。
步骤102 ：系统采集语音，通过在线或离线的方式对语音进行识别为文字。
步骤104 ：系统匹配文字与命令集库，识别语音控制命令。
图2示出了本发明的语音操控系统的较佳实施例的业务逻辑图，请参见图2，本实施例的语音操控系统包括用户端遥控器20和智能终端60。
用户端遥控器20包括蓝牙遥控器，用于接收用户按键事件传输至智能终端。智能终端60包括图形和文本识别模块602、语音命令识别模块604和操作执行模块606。语音命令识别模块604对采样的语音进行识别后转化成文字并对转化后的文字进行命令识别。操作执行模块606模拟控制命令对应的操控动作或通知应用进行操作，实现语音操控目标。
例如，用户打开车载导航，用户点击蓝牙遥控器语音开始键，说出“搜地点”命令。
从用户的角度看，用户的控制命令与可操作区域是对应匹配的：“搜地点”对应界面中的搜地点文本框可操作取悦，“景点”命令对应界面中的标签可操作区域，“播放”命令对应播放器界面中的播放图标，界面中的可操作区域，可操作区域包括图标、按钮、文本标签等界面控件都是语音命令，另外还有系统自定义的语音命令，譬如“Home”返回主菜单界面等。
系统截取当前和屏幕识别可操作区域结合系统自定义的命令生成命令集库。
系统识别出“搜地点”语音文本，然后和命令集库匹配识别出“搜地点”命令。
步骤106 ：模拟控制命令“搜地点”对应的操控动作或通知应用进行操作，跳转到下一个操作界面，实现语音操控目标。
上述实施例是提供给本领域一般技术人员来实现和使用本发明的，本领域一般技术人员可在不脱离本发明的思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。
Claims (8)
1.一种语音操控系统，包括：
系统自定义命令和系统截取屏幕并识别图片中可操作区域，可操作区域包括图标、按钮、文本标签等界面控件，然后生成对应的命令集库；
系统采集语音，通过在线或离线的方式对语音进行识别为文字；
系统匹配文字与命令集库，识别语音控制命令；
系统模拟控制命令对应的操控动作或通知应用进行操作，实现语音操控目标；
用户端遥控器包括蓝牙遥控器，用于接收用户按键事件传输至智能终端；
智能终端包括图形和文本识别模块、语音识别命令模块和操作执行模块，各模块功能如下：
图形和文本识别模块，把自定义的命令和截图识别的可操作区域命令汇合生成命令集库；
语音识别命令模块，就采样的语音识别为文字，然后和命令集库匹配识别语音控制命令；
操作执行模块，模拟控制命令对应的操控动作或通知应用进行操作，实现语音操控目标。
2.根据权利要求1所述的语音操控系统，其特征在于，命令集库是图形和文本识别层来实现的。
3.根据权利要求1所述的语音操控系统，其特征在于，语音识别和语音控制命令识别由系统的语音命令识别层实现。
4.根据权利要求1所述的语音操控系统，其特征在于，应用的操作由系统的操作执行层模拟用户操作动作或通知应用执行来实现。
5.根据权利要求1所述的语音操控系统，其特征在于，语音操控系统状态包括初期空闲、开始提示、采集语音、语音识别、命令匹配结果提示、操作执行。
6.根据权利要求2所述的语音操控系统，其特征在于，识别的屏幕界面可操作区域包括图标、按钮、文本标签、文本输入框、文字导航等一切用户可进行动作操作的区域。
7.根据权利要求3所述的语音操控系统，其特征在于，语音识别包括在线云平台和离线的语音识别库两种方式实现。
8.根据权利要求4所述的语音操控系统，其特征在于，模拟的用户操作动作包括单击、双击、拖拽、多点触摸、横划等交互动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510440736.5A CN104965596A (zh) | 2015-07-24 | 2015-07-24 | 语音操控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510440736.5A CN104965596A (zh) | 2015-07-24 | 2015-07-24 | 语音操控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104965596A true CN104965596A (zh) | 2015-10-07 |
Family
ID=54219634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510440736.5A Pending CN104965596A (zh) | 2015-07-24 | 2015-07-24 | 语音操控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104965596A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373565A (zh) * | 2016-08-24 | 2017-02-01 | 安徽咪鼠科技有限公司 | 一种自动切换语音识别引擎的方法 |
| CN106683675A (zh) * | 2017-02-08 | 2017-05-17 | 张建华 | 一种控制方法及语音操作系统 |
| CN106710598A (zh) * | 2017-03-24 | 2017-05-24 | 上海与德科技有限公司 | 语音识别方法及装置 |
| CN107077319A (zh) * | 2016-12-22 | 2017-08-18 | 深圳前海达闼云端智能科技有限公司 | 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品 |
| CN107506446A (zh) * | 2017-08-23 | 2017-12-22 | 京东方科技集团股份有限公司 | 辅助查询确认方法及系统 |
| CN107799115A (zh) * | 2016-08-29 | 2018-03-13 | 法乐第(北京)网络科技有限公司 | 一种语音识别方法及装置 |
| CN108932090A (zh) * | 2018-05-29 | 2018-12-04 | 北京小米移动软件有限公司 | 终端控制方法、装置和存储介质 |
| CN110058838A (zh) * | 2019-04-28 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 语音控制方法、装置、计算机可读存储介质和计算机设备 |
| CN110136718A (zh) * | 2019-05-31 | 2019-08-16 | 深圳市语芯维电子有限公司 | 语音控制的方法和装置 |
| CN110428832A (zh) * | 2019-07-26 | 2019-11-08 | 苏州蜗牛数字科技股份有限公司 | 一种自定义语音实现屏幕控制的方法 |
| CN112394921A (zh) * | 2020-12-03 | 2021-02-23 | 江苏通付盾科技有限公司 | 应用程序的界面获取方法、装置、计算机设备和存储介质 |
| CN112511882A (zh) * | 2020-11-13 | 2021-03-16 | 海信视像科技股份有限公司 | 一种显示设备及语音唤起方法 |
| CN113450778A (zh) * | 2021-06-09 | 2021-09-28 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于语音交互控制的训练方法及存储介质 |
| CN114048726A (zh) * | 2022-01-13 | 2022-02-15 | 北京中科汇联科技股份有限公司 | 一种计算机图形界面交互方法及系统 |
| CN115148189A (zh) * | 2022-07-27 | 2022-10-04 | 中国第一汽车股份有限公司 | 一种驾驶员自定义语音命令多功能同步实现系统及方法 |
| CN115550499A (zh) * | 2022-10-18 | 2022-12-30 | 中国第一汽车股份有限公司 | 车辆及其信息处理方法、系统、装置和处理器 |
| WO2024131398A1 (zh) * | 2022-12-22 | 2024-06-27 | 浙江吉利控股集团有限公司 | 语音交互方法、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500578A (zh) * | 2013-10-22 | 2014-01-08 | 上海云视科技有限公司 | 语音操控方法和装置 |
| CN103853355A (zh) * | 2014-03-17 | 2014-06-11 | 吕玉柱 | 电子设备操作方法及其操控设备 |
-
2015
- 2015-07-24 CN CN201510440736.5A patent/CN104965596A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500578A (zh) * | 2013-10-22 | 2014-01-08 | 上海云视科技有限公司 | 语音操控方法和装置 |
| CN103853355A (zh) * | 2014-03-17 | 2014-06-11 | 吕玉柱 | 电子设备操作方法及其操控设备 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373565A (zh) * | 2016-08-24 | 2017-02-01 | 安徽咪鼠科技有限公司 | 一种自动切换语音识别引擎的方法 |
| CN107799115A (zh) * | 2016-08-29 | 2018-03-13 | 法乐第(北京)网络科技有限公司 | 一种语音识别方法及装置 |
| CN107077319A (zh) * | 2016-12-22 | 2017-08-18 | 深圳前海达闼云端智能科技有限公司 | 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品 |
| WO2018112856A1 (zh) * | 2016-12-22 | 2018-06-28 | 深圳前海达闼云端智能科技有限公司 | 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品 |
| CN106683675A (zh) * | 2017-02-08 | 2017-05-17 | 张建华 | 一种控制方法及语音操作系统 |
| CN106710598A (zh) * | 2017-03-24 | 2017-05-24 | 上海与德科技有限公司 | 语音识别方法及装置 |
| CN107506446A (zh) * | 2017-08-23 | 2017-12-22 | 京东方科技集团股份有限公司 | 辅助查询确认方法及系统 |
| CN108932090A (zh) * | 2018-05-29 | 2018-12-04 | 北京小米移动软件有限公司 | 终端控制方法、装置和存储介质 |
| CN110058838B (zh) * | 2019-04-28 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 语音控制方法、装置、计算机可读存储介质和计算机设备 |
| CN110058838A (zh) * | 2019-04-28 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 语音控制方法、装置、计算机可读存储介质和计算机设备 |
| CN110136718A (zh) * | 2019-05-31 | 2019-08-16 | 深圳市语芯维电子有限公司 | 语音控制的方法和装置 |
| CN110428832A (zh) * | 2019-07-26 | 2019-11-08 | 苏州蜗牛数字科技股份有限公司 | 一种自定义语音实现屏幕控制的方法 |
| CN112511882A (zh) * | 2020-11-13 | 2021-03-16 | 海信视像科技股份有限公司 | 一种显示设备及语音唤起方法 |
| CN112511882B (zh) * | 2020-11-13 | 2022-08-30 | 海信视像科技股份有限公司 | 一种显示设备及语音唤起方法 |
| CN112394921A (zh) * | 2020-12-03 | 2021-02-23 | 江苏通付盾科技有限公司 | 应用程序的界面获取方法、装置、计算机设备和存储介质 |
| CN113450778A (zh) * | 2021-06-09 | 2021-09-28 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于语音交互控制的训练方法及存储介质 |
| CN114048726A (zh) * | 2022-01-13 | 2022-02-15 | 北京中科汇联科技股份有限公司 | 一种计算机图形界面交互方法及系统 |
| CN114048726B (zh) * | 2022-01-13 | 2022-04-08 | 北京中科汇联科技股份有限公司 | 一种计算机图形界面交互方法及系统 |
| CN115148189A (zh) * | 2022-07-27 | 2022-10-04 | 中国第一汽车股份有限公司 | 一种驾驶员自定义语音命令多功能同步实现系统及方法 |
| CN115550499A (zh) * | 2022-10-18 | 2022-12-30 | 中国第一汽车股份有限公司 | 车辆及其信息处理方法、系统、装置和处理器 |
| WO2024131398A1 (zh) * | 2022-12-22 | 2024-06-27 | 浙江吉利控股集团有限公司 | 语音交互方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104965596A (zh) | 语音操控系统 | |
| CN105513594A (zh) | 语音操控系统 | |
| CN103415835B (zh) | 一种触屏装置用户界面的处理方法及触屏装置 | |
| CN102884491B (zh) | 用于基于触摸屏的电子设备的可动作对象控制器和数据录入附件 | |
| CN103197756B (zh) | 一种电子设备的操作信息输入方法及电子设备 | |
| CN103632664B (zh) | 一种语音识别的方法及电子设备 | |
| CN106201219A (zh) | 应用程序功能快捷调用方法及系统 | |
| CN105335048A (zh) | 具有隐藏应用图标的电子设备及隐藏应用图标的方法 | |
| CN112581946B (zh) | 语音控制方法、装置、电子设备和可读存储介质 | |
| CN110557699B (zh) | 一种智能音箱交互方法、装置、设备及存储介质 | |
| CN101950475B (zh) | 基于移动设备触摸屏笔画识别的遥控器及遥控电器的方法 | |
| CN109491562A (zh) | 一种语音助手应用程序的界面显示方法及终端设备 | |
| CN110768877B (zh) | 语音控制指令的处理方法、装置、电子设备及可读存储介质 | |
| CN104238741A (zh) | 包括径向布局软键区的用户接口 | |
| AU2019203256B2 (en) | Fingerprint event processing method, apparatus, and terminal | |
| CN102929385A (zh) | 语音控制应用程序的方法 | |
| CN104252287A (zh) | 一种交互装置和基于交互装置的提高表达能力的方法 | |
| CN202395925U (zh) | 一种电视机系统 | |
| CN113126875B (zh) | 虚拟礼物的交互方法、装置、计算机设备及存储介质 | |
| CN105094344B (zh) | 固定终端控制方法及装置 | |
| CN202486951U (zh) | 一种触摸遥控器 | |
| US20210098012A1 (en) | Voice Skill Recommendation Method, Apparatus, Device and Storage Medium | |
| CN102339126A (zh) | 一种基于大屏幕移动终端的互动操控方式 | |
| CN110675188A (zh) | 一种获取反馈信息的方法及装置 | |
| CN202281975U (zh) | 用于遥控的设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151007 |
|
| WD01 | Invention patent application deemed withdrawn after publication |