CN107613352A - 用于智能电视的语音控制方法、智能电视和存储介质 - Google Patents
用于智能电视的语音控制方法、智能电视和存储介质 Download PDFInfo
- Publication number
- CN107613352A CN107613352A CN201710896525.1A CN201710896525A CN107613352A CN 107613352 A CN107613352 A CN 107613352A CN 201710896525 A CN201710896525 A CN 201710896525A CN 107613352 A CN107613352 A CN 107613352A
- Authority
- CN
- China
- Prior art keywords
- view area
- intelligent television
- intended application
- key
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了用于智能电视的语音控制方法、智能电视和存储介质。本发明在侦测到按键事件时,对所述按键事件进行拦截,根据所述按键事件确定对应的目标应用,将所述按键事件发送至所述目标应用,以使所述目标应用在接收到所述按键事件时查找对应的文本信息,并反馈所述文本信息,在接收到所述目标应用反馈的文本信息时,将所述文本信息转换为语音信息。本发明通过将按键事件传递给目标应用处理,使得视图较为复杂的应用也可将文本转换为语音,保证了语音辅助功能的稳定性,也就解决了语音辅助功能中存在不能较好地识别不规则视图并转换成语音的技术问题。
Description
技术领域
本发明涉及智能设备领域,尤其涉及用于智能电视的语音控制方法、智能电视和存储介质。
背景技术
为了方便视障人群更好地使用智能设备,比如智能电视,可通过将智能电视上的显示文本转换成语音的方式,来帮助视障人群更好地使用该智能电视。其中,多数智能电视搭载安卓(Android)系统,在满足视障人群较好地使用智能电视的情况下,可通过Android系统中的辅助功能服务(Accessibility Service)类来实现文本转语音的功能,以使视障人群可以直接以听觉来确认当前操作状态,所以,可以较好地验证并提示用户的当前操作行为。
但是,当前智能电视上的语音转换功能有诸多缺陷,比如,当智能电视上可使用的应用程序的视图较为复杂时,从该种具有不规则视图的应用中较难提取出文本信息,比如,应用程序上的文本信息为艺术字或变形的文字,也就导致该种具有不规则视图的应用不能较顺利地提取出文本信息并进行文本转语音的操作,所以,当前的文本转语音功能存在不能较好地识别视图不规则的应用的文本信息并转换成语音信息的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供用于智能电视的语音控制方法、智能电视和存储介质,旨在解决现有技术中不能较好地识别不规则视图的应用的文本信息并转换成语音信息的技术问题。
为实现上述目的,本发明提供一种用于智能电视的语音控制方法,所述方法包括以下步骤:
在侦测到按键事件时,对所述按键事件进行拦截;
根据所述按键事件确定对应的目标应用,将所述按键事件发送至所述目标应用,以使所述目标应用在接收到所述按键事件时查找对应的文本信息,并反馈所述文本信息;
在接收到所述目标应用反馈的文本信息时,将所述文本信息转换为语音信息。
优选地,所述根据所述按键事件确定对应的目标应用之后,所述方法还包括:
获取所述目标应用的目标应用标识;
将所述目标应用标识与各预设应用标识进行匹配;
在匹配成功时,执行所述将所述按键事件发送至所述目标应用的步骤。
优选地,所述将所述目标应用标识与各预设应用标识进行匹配之后,所述方法还包括:
在匹配失败时,根据所述按键事件查找对应的文本信息;
将所述文本信息转换成语音信息。
优选地,所述根据所述按键事件确定对应的目标应用,具体包括:
获取当前焦点,确定所述当前焦点所属的当前视图区域;
根据所述按键事件确定对应的第一焦点移动方向;
对各预设视图区域进行遍历,判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上,各预设视图区域分别对应于不同控件;
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,根据所述目标视图区域确定对应的控件,由确定的控件查找对应的目标应用。
优选地,所述判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上之后,所述方法还包括:
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,将所述目标视图区域认定为第一视图区域;
从所述预设视图区域中选取第二视图区域,所述第二视图区域为预设视图区域中除所述第一视图区域之外的其他视图区域;
计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域,计算所述当前视图区域与所述第二视图区域的重叠部分作为第二重叠区域,将所述第一重叠区域与所述第二重叠区域进行比对;
在所述第一重叠区域大于所述第二重叠区域时,根据所述第一视图区域确定对应的控件,并执行所述由确定的控件查找对应的目标应用的步骤。
优选地,从所述预设视图区域中选取第二视图区域之后,所述方法还包括:
判断所述第二视图区域是否位于所述当前视图区域的所述第二焦点移动方向上,所述第二焦点移动方向为与所述第一焦点移动方向相反的方向;
当所述第二视图区域位于所述当前视图区域的所述第二焦点移动方向上时,执行所述计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域的步骤。
优选地,所述将所述第一重叠区域与所述第二重叠区域进行比对之后,所述方法还包括:
在所述第一重叠区域不大于所述第二重叠区域时,计算所述当前视图区域的中心位置与所述第一视图区域的中心位置之间的距离作为第一距离,计算所述当前视图区域的中心位置与所述第二视图区域的中心位置之间的距离作为第二距离,将所述第一距离与所述第二距离进行比对;
在所述第一距离小于所述第二距离时,执行所述根据所述第一视图区域确定对应的控件的步骤。
优选地,所述将所述文本信息转换成语音信息之前,所述方法还包括:
检测是否存在处于播报状态的语音信息;
在检测到存在所述语音信息时,中断所述语音信息。
此外,为实现上述目的,本发明还提供一种智能电视,所述智能电视包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于智能电视的语音控制程序,所述用于智能电视的语音控制程序配置为实现所述用于智能电视的语音控制方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有用于智能电视的语音控制程序,所述用于智能电视的语音控制程序被处理器执行时实现所述的用于智能电视的语音控制方法的步骤。
本发明中通过将按键事件传递给目标应用处理,使得即便是视图较为复杂的应用也可根据需要直接将文本转换为语音,保证了语音辅助功能的稳定性,也就解决了语音辅助功能中存在不能较好地识别不规则视图并转换成语音的技术问题
附图说明
图1是本发明实施例方案涉及的硬件运行环境的智能电视结构示意图;
图2为本发明用于智能电视的语音控制方法第一实施例的流程示意图;
图3为本发明用于智能电视的语音控制方法第二实施例的流程示意图;
图4为本发明用于智能电视的语音控制方法第三实施例的流程示意图;
图5为本发明用于智能电视的语音控制方法第四实施例的流程示意图;
图6为本发明用于智能电视的语音控制方法第五实施例的流程示意图;
图7为本发明用于智能电视的语音控制方法第六实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的智能电视结构示意图。
如图1所示,该智能电视可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
所述智能电视也可为其他运行安卓系统的电子设备,当为智能电视时,可通过与所述智能电视配套使用的遥控器去操作智能电视。
本领域技术人员可以理解,图1中示出的结构并不构成对智能电视的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及用于智能电视的语音控制程序。
在图1所示的智能电视中,网络接口1004主要用于连接服务器,与所述服务器进行数据通信;用户接口1003主要用于连接用户设备,与用户设备进行数据通信,所述用户设备可为遥控器或其他可与智能电视实现通信的电子设备;所述智能电视通过处理器1001调用存储器1005中存储的用于智能电视的语音控制程序,并执行以下操作:
在侦测到按键事件时,对所述按键事件进行拦截;
根据所述按键事件确定对应的目标应用,将所述按键事件发送至所述目标应用,以使所述目标应用在接收到所述按键事件时查找对应的文本信息,并反馈所述文本信息;
在接收到所述目标应用反馈的文本信息时,将所述文本信息转换为语音信息。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
获取所述目标应用的目标应用标识;
将所述目标应用标识与各预设应用标识进行匹配;
在匹配成功时,执行所述将所述按键事件发送至所述目标应用的步骤。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
在匹配失败时,根据所述按键事件查找对应的文本信息;
将所述文本信息转换成语音信息。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
获取当前焦点,确定所述当前焦点所属的当前视图区域;
根据所述按键事件确定对应的第一焦点移动方向;
对各预设视图区域进行遍历,判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上,各预设视图区域分别对应于不同控件;
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,根据所述目标视图区域确定对应的控件,由确定的控件查找对应的目标应用。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,将所述目标视图区域认定为第一视图区域;
从所述预设视图区域中选取第二视图区域,所述第二视图区域为预设视图区域中除所述第一视图区域之外的其他视图区域;
计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域,计算所述当前视图区域与所述第二视图区域的重叠部分作为第二重叠区域,将所述第一重叠区域与所述第二重叠区域进行比对;
在所述第一重叠区域大于所述第二重叠区域时,根据所述第一视图区域确定对应的控件,并执行所述由确定的控件查找对应的目标应用的步骤。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
判断所述第二视图区域是否位于所述当前视图区域的所述第二焦点移动方向上,所述第二焦点移动方向为与所述第一焦点移动方向相反的方向;
当所述第二视图区域位于所述当前视图区域的所述第二焦点移动方向上时,执行所述计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域的步骤。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
在所述第一重叠区域不大于所述第二重叠区域时,计算所述当前视图区域的中心位置与所述第一视图区域的中心位置之间的距离作为第一距离,计算所述当前视图区域的中心位置与所述第二视图区域的中心位置之间的距离作为第二距离,将所述第一距离与所述第二距离进行比对;
在所述第一距离小于所述第二距离时,执行所述根据所述第一视图区域确定对应的控件的步骤。
进一步地,处理器1001可以调用存储器1005中存储的用于智能电视的语音控制程序,还执行以下操作:
检测是否存在处于播报状态的语音信息;
在检测到存在所述语音信息时,中断所述语音信息。
本实施例中通过将按键事件传递给目标应用处理,使得即便是视图较为复杂的应用也可根据需要直接将文本转换为语音,保证语音辅助功能实施的稳定性,也就解决了语音辅助功能中存在不能较好地识别不规则视图并转换成语音的技术问题。
基于上述硬件结构,提出本发明用于智能电视的语音控制方法的实施例。
参照图2,图2为本发明用于智能电视的语音控制方法第一实施例的流程示意图。
在第一实施例中,所述用于智能电视的语音控制方法包括以下步骤:
步骤S10:在侦测到按键事件时,对所述按键事件进行拦截;
可以理解的是,在智能电视侦测到按键事件时,比如,若所述智能电视为基于Android系统的智能电视,其中,智能电视在使用时可配套使用对应的遥控器,本实施例对此不作限制。
在具体实现中,可通过辅助功能服务(AccessibilityService)来实现,其中,AccessibilityService是一种替换或者增强辅助功能服务的反馈的服务类。
当然,AccessibilityService类可运行于智能电视的后台,以接收到智能电视的系统发出的各类事件(Event),所述事件可为用户使用遥控器时的各种操作,在系统预先定义了事件后,当用户进行指定的操作后,将自动产生对应的事件,用于后续的事件传递或者事件处理。
需要说明的是,所述按键事件是指用户使用遥控器时通过点击遥控器的物理按键或虚拟按键而自动生成的事件。
比如,当使用遥控器去控制对应的智能电视时,遥控器可通过物理按键控制智能电视上的箭头以执行上下左右方向上的移动,同时智能电视的系统后台中可运行着该AccessibilityService类,其中,智能电视开机后已存在箭头,也就是说,将存在一个代表箭头位置的初始焦点,当用户在遥控器进行了移动箭头的操作后,比如,用户按下了箭头向右的按键,也就产生了一个按键事件,该按键事件表示用户当前按下了箭头向右的按键。
应当理解的是,在智能电视的Android系统侦测到按键事件时,基于An droid系统的事件传递机制,将遍历相关的子控件,直至遍历到焦点所在的子控件,拦截所述按键事件。
步骤S20:根据所述按键事件确定对应的目标应用;
可以理解的是,对于当前基于Android系统的智能电视而言,在实现基于安卓的语音辅助功能时,在获得按键事件后,一般将在系统层面上处理该按键事件,并最终实现用于智能电视的语音控制,但是,由于应用的视图可能不规则,较难获取到该应用的文本信息,所以,现行的方法可能无法实现对于具有不规则视图的应用进行文本获取以得到对应的语音信息。但是,通过将所述按键事件传递至对应的目标应用处理可以较好地解决该问题。
步骤S30:将所述按键事件发送至所述目标应用,以使所述目标应用在接收到所述按键事件时查找对应的文本信息,并反馈所述文本信息;
在具体实现中,对于一些较难获取到文本信息的具有不规则视图的应用,Android系统在拦截到所述按键事件后,可将所述按键事件发送至所述目标应用,而不在系统层面进行事件处理。所以,可先通过所述按键事件确定对应的目标应用。
可以理解的是,所述根据所述按键事件确定对应的目标应用,具体而言可为,智能电视将根据之前确定的初始焦点和拦截到的按键事件计算出用户需要进行操作的下一个焦点,例如,初始焦点右边的一个焦点位置,可直接将该按键事件传递给目标应用。所述目标应用就是所述下一个焦点对应的应用。比如,当用户通过遥控器将焦点从智能电视界面上的选项“TV play”变化到选项“Film”时,所述下一个焦点即指“Film”所在的焦点,所述选项“F ilm”即为目标应用,本实施例对此不作限制。所以,在具体操作中,目标应用可为一个应用程序,也可为一个应用程序中的一个选项。
当然,在将所述按键事件传递至对应的目标应用后,该目标应用作为当前对象也就获得了对按键事件的控制权,后续的执行进程将保持跟没有开启语音服务时一致。所述目标应用在接收到所述按键事件后,按键事件将导致视图发生变化,在检测到视图发生变化后,将给对应的服务类发送TYPE_A NNOUNCEMENT事件,并将需要朗读的文本信息主动发送至进行语音转换的功能实现方法,也就完成了对于文本信息的查找。所述文本信息即为目标应用上的文本信息,比如选项“Film”上的“Film”文字。在查找对应的文本信息后,并反馈所述文本信息。
步骤S40:在接收到所述目标应用反馈的文本信息时,将所述文本信息转换为语音信息。
当然,为了更加方便视障人群对于该智能电视的使用,可在用户改变焦点位置时同时自动发出显示选项的语音信息,该语音信息可预先保存或者智能电视生产人员进行自定义设置,比如,当用户通过遥控器将焦点从选项“T V play”变化到选项“Film”时,智能电视将通过预设音频朗读出单词“Fil m”,以提示视障人群当前选项为“Film”,提高用户的视听感受,也就实现了将文本信息转换成语音信息。
对于朗读出选项内容的方式,可采用从文本到语音(Text To Speech,T TS)的应用,该应用为语音合成应用的一种,在Android系统中已内嵌TTS应用,用于将相应的文本转化为语音进行播报,可直接引用该TTS应用,也可调用其他第三方TTS应用。
进一步地,所述将所述文本信息转换成语音信息之前,所述方法还包括,检测是否存在处于播报状态的语音信息,在检测到存在所述语音信息时,中断所述语音信息。
可以理解的是,为了防止智能电视在播报语音时,用户在遥控器上按下下一个按键,导致两次的语音信息播报重叠以使用户无法听清目标应用的信息,可设置中断机制来克服播报重叠,防止语音累积。
在具体实现中,可通过检测是否存在处于播报状态的语音信息,当智能电视检测到有处于播报状态的语音信息时,即表明当前电视正在播放应用的文本信息或者播放其他视频节目的声音,将中断该语音信息,再进行将所述文本信息转换成语音信息的步骤。通过该中断机制,可以很好地防止语音累积,并使得视障人群可以更好地听清当前应用的文本信息。
本实施例中通过将按键事件传递给目标应用处理,使得即便是视图较为复杂的应用也可根据需要直接将文本转换为语音,保证语音辅助功能实施的稳定性,也就解决了语音辅助功能中存在不能较好地识别不规则视图并转换成语音的技术问题。
参照图3,图3为本发明用于智能电视的语音控制方法第二实施例的流程示意图,基于上述图2所示的实施例,提出本发明用于智能电视的语音控制方法的第二实施例。
在第二实施例中,步骤S20之后,所述方法还包括:
步骤S201:获取所述目标应用的目标应用标识;
可以理解的是,为了较好地对不同应用进行区别,可预先对智能电视上的应用进行标记,即设置应用标识。所述应用标识可为唯一且无序的数字与字母的混合编码,用于对应用或应用中的具体选项进行区分。所以,在根据所述按键事件确定对应的目标应用后,可获取所述目标应用的目标应用标识。
步骤S202:将所述目标应用标识与各预设应用标识进行匹配;
进一步地,在所述目标应用标识与各预设应用标识匹配成功时,转步骤S30,以根据对待不规则视图应用的方式去获取对应的语音信息;
进一步地,在所述目标应用标识与各预设应用标识匹配失败时,转步骤S30′,以根据对待标准视图应用的方式去获取对应的语音信息;
可以理解的是,为了更加方便地区分较难识别文本信息的不规则视图的应用与易于获得文本信息的标准视图应用,可预先筛选所述不规则视图的应用,比如,统计所述不规则视图的应用,将其认定为预设应用,可将所有的不规则视图应用的标识保存入一个列表中,可命名为PackageNameList。所以,通过该PackageNameList中的预设应用标识可直接区分出不规则视图应用和标准视图应用,其中,所述预设应用标识即为预设不规则视图应用的应用标识。
在具体实现中,在确定目标应用并获取对应的应用标识后,可在PackageNameList中查找是否存在所述目标应用,针对所述应用标识与各预设应用标识进行匹配的匹配结果进行后续操作。
可以理解的是,在匹配成功时,即说明当前目标应用即为不规则视图的应用,较难获取到文本信息,则可通过将所述按键事件发送至所述目标应用,在应用层面去获取文本信息。
进一步地,可通过Android接口定义语言(Android Interface definition language,AIDL)向PackageNameList中添加不规则视图应用的预设应用标识。其中,不规则视图应用可通知AccessibilityService服务向PackageNameList中添加预设应用标识,但是,不规则视图应用与PackageNameList服务运行于不同的进程中,所以,可通过AIDL实现跨进程的通信。
步骤S30′:根据所述按键事件查找对应的文本信息;
可以理解的是,由于未查找到所述目标应用,表明目标应用不是PackageNameList中预先标记的不规则视图应用,所以,可判断当前的目标应用可通过直接调用系统的方法来获取文本信息并获取对应的语音信息。
在具体实现中,在通过预设AIDL预置的PackageNameList来确定处理应用的方式以后,可告知服务类端进行特殊处理。对于告知服务类端的方式,可通过返回值进行确定,比如,当前系统在返回false时,可将按键事件继续传递至不规则视图应用;在返回为true时,可将按键事件作消耗处理。
应当理解的是,在将所述按键事件传递至当前系统后,系统将通过AccessibilityService类自动执行所述按键事件,在执行并窗口发生变化时,可监听AccessibilityEvent事件。当监听AccessibilityEvent事件时,可重新获取新窗口的窗口信息,所述窗口信息包括文本信息和窗口属性等。所以,当前系统即可获取到对应的文本信息,所述文本信息即为目标应用的文本信息。
步骤S40′:将所述文本信息转换成语音信息。
步骤S40′与步骤S40的内容基本相同,在此不作赘述。
本实施例中通过预先设置预设应用标识,使得智能电视可以更加方便地区分不规则视图应用和标准视图应用;同时,通过设置分别对应不规则视图应用和标准视图应用的两种文本转语音方法,即可结合两种方法的优点,既提高了不规则视图应用的文本转语音的可实现性,也保证了标准应用获得语音信息的稳定性。
参照图4,图4为本发明用于智能电视的语音控制方法第三实施例的流程示意图,基于上述图2所示的实施例,提出本发明用于智能电视的语音控制方法的第三实施例。
在第三实施例中,步骤S20,具体包括:
步骤S201′:获取当前焦点,确定所述当前焦点所属的当前视图区域;
可以理解的是,为了根据所述按键事件确定对应的目标应用,可先确定当前视图区域。可根据已确定的当前焦点,可将已确定的当前焦点命名为初始焦点,根据初始焦点来获得对应的当前视图区域,初始焦点将落在当前视图区域中。在Android系统中,将存在多种形状的视图(View),视图区域也为一种类型的视图,在事件处理机制中,视图是可响应事件的单位,比如,所述视图区域可为矩形区域或其他多边形区域。所以,可通过确定视图来确定对应的目标应用。比如,Android系统里将存在多个矩形区域,该矩形区域可大可小,也可彼此重叠。结合第一实施例,当前矩形区域可为电视界面上的选项“TV play”所在的矩形区域。
步骤S202′:根据所述按键事件确定对应的第一焦点移动方向;
可以理解的是,第一实施例中的按键事件表示用户在遥控器上按下了箭头向右的按键,也就表明,所述按键事件对应的第一焦点移动方向为焦点将向右移动,第一焦点移动方向为向右。
步骤S203′:对各预设视图区域进行遍历,各预设视图区域分别对应于不同控件;
在具体实现中,为了更准确地确认所述下一个焦点所在的视图区域即目标应用所在的矩形区域,也就是选项“Film”所在的矩形区域,将通过在An droid系统中随机选择矩形区域,并对选取到的矩形区域进行判断,以实现确认目标应用所在的矩形区域。
步骤S204′:判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上;
应当理解的是,由于所述目标矩形区域为从各预设矩形区域中随机选取的,故而,所述目标矩形区域并不一定为所述目标应用所在的矩形区域,将对所述目标矩形区域进行一定的判断。比如,将判断所述目标矩形区域是否在所述当前矩形区域的所述第一焦点移动方向,换言之,判断所述目标矩形区域是否在所述当前矩形区域的右侧,因为用户按下了向右的按键希望触发右侧的应用。
当所述目标矩形区域位于所述当前矩形区域的所述第一焦点移动方向上,执行步骤S205′。
步骤S205′:根据所述目标视图区域确定对应的控件,由确定的控件查找对应的目标应用。
在具体实现中,当所述目标矩形区域在所述当前矩形区域的所述第一焦点移动方向上时,即表明目标矩形区域在用户希望进行操作的一侧,则可认定目标矩形区域即为目标应用所在的矩形区域,而在安卓系统中可将一个矩形区域作为一个对象进行处理,一个矩形区域也是一个安卓控件。其中,所述目标应用即落入在所述目标矩形区域的范围内,则可根据对应的控件确定可操作的目标应用。
本实施例中通过判断所述目标视图区域是否在所述当前视图区域的所述第一焦点移动方向,使得对于视图区域的选取可以更加准确,也就提高了用户选取下一个焦点的准确率。
参照图5,图5为本发明用于智能电视的语音控制方法第四实施例的流程示意图,基于上述图4所示的实施例,提出本发明用于智能电视的语音控制方法的第四实施例。
在第四实施例中,所述步骤S204′之后且当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,所述方法还包括:
步骤S2041:将所述目标视图区域认定为第一视图区域,从所述预设视图区域中选取第二视图区域;
可以理解的是,所述第二矩形区域为预设矩形区域中除所述第一矩形区域之外的其他矩形区域,为了提高确定目标应用所在的矩形区域的准确率,可通过从所述预设矩形区域中选取第一矩形区域和第二矩形区域,并将选择到的第一矩形区域和第二矩形区域进行比对,以确定用户需要操作的下一选项所在的矩形区域。其中,可将第三实施例中判断为位于当前矩形区域的第一焦点移动方向上的目标矩形区域作为第一矩形区域,该种方式可提高容错率,降低在错误方向上确定应用的机率。
步骤S2042:计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域,计算所述当前视图区域与所述第二视图区域的重叠部分作为第二重叠区域;
应当理解的是,在选取到第一矩形区域和第二矩形区域之后,将从第一矩形区域和第二矩形区域中选取一个更优项,可计算所述当前矩形区域与所述第一矩形区域的重叠部分作为第一重叠区域,计算所述当前矩形区域与所述第二矩形区域的重叠部分作为第二重叠区域,并将所述第一重叠区域与所述第二重叠区域进行比对。
步骤S2043:将所述第一重叠区域与所述第二重叠区域进行比对;
在所述第一重叠区域大于所述第二重叠区域时,执行步骤S205′。
所述步骤S205′,具体包括:
步骤S205″:根据所述第一视图区域确定对应的控件,由确定的控件查找对应的目标应用。
可以理解的是,在所述第一重叠区域大于所述第二重叠区域时,即表明比之第二矩形区域,第一矩形区域更加接近当前矩形区域,也就可根据所述第一矩形区域确定对应的目标应用。因为,在用户的实际操作中,通过一次按键事件即一次按键操作,焦点将会按照按键事件指向的移动方向移动到最近的一个焦点上。所以,通过判断最接近当前矩形区域的预设矩形区域可以很好地提高确定目标应用的准确率。
本实施例中通过计算预设视图区域与当前视图区域的重叠部分,来确定更加接近当前视图区域的预设视图区域,比之第三实施例,可以更加准确地确认目标应用所在的视图区域,进一步提高了用户操作的准确率。
参照图6,图6为本发明用于智能电视的语音控制方法第五实施例的流程示意图,基于上述图5所示的实施例,提出本发明用于智能电视的语音控制方法的第五实施例。
在第五实施例中,步骤S2041之后,所述方法还包括:
步骤S20411:判断所述第二视图区域是否位于所述当前视图区域的所述第二焦点移动方向上;
可以理解的是,所述第二焦点移动方向为与所述第一焦点移动方向相反的方向。在所述第一焦点移动方向为向右时,将与所述第一焦点移动方向相反的方向作为第二焦点移动方向,所以,第二焦点移动方向为向左。
当所述第二视图区域位于所述当前视图区域的所述第二焦点移动方向上时,执行步骤S2042。
在具体实现中,为了进一步地提高确定目标应用的准确率,可在从所述预设矩形区域中选取第二矩形区域时,对所述第二矩形区域进行筛选。比如,可将所述当前矩形区域的所述第二焦点移动方向上的矩形区域作为第二矩形区域,换言之,所述第二矩形区域为与用户操作的方向相反的目标区域,可以理解为,所述第二矩形区域为在确定目标应用的过程中确定出的最差情况。在后续操作中,通过将随机选取的第一矩形区域与该最差情况进行比对,可以较好地从最终确定目标应用所在的矩形区域中排除该最差情况。
本实施例中通过设置在第二焦点移动方向的第二视图区域,并将第二视图区域与第一视图区域进行对比,可通过判断选取从最终确定的目标应用所在的视图区域中排除该错误情况,较为明显地提高确定结果的实际准确率。
参照图7,图7为本发明用于智能电视的语音控制方法第六实施例的流程示意图,基于上述图5所示的实施例,提出本发明用于智能电视的语音控制方法的第六实施例。
在第六实施例中,步骤S2043之后,在所述第一重叠区域不大于所述第二重叠区域时,执行步骤S20431。
步骤S20431:计算所述当前视图区域的中心位置与所述第一视图区域的中心位置之间的距离作为第一距离,计算所述当前视图区域的中心位置与所述第二视图区域的中心位置之间的距离作为第二距离;
可以理解的是,在所述第一重叠区域不大于所述第二重叠区域时,即表明比之第二矩形区域,第一矩形区域没有更加接近当前矩形区域,但是,因为第二矩形区域是所述当前矩形区域的所述第二焦点移动方向上的矩形区域,说明第二矩形区域不是目标应用所在矩形区域的最优选,或者说,第二矩形区域不会是目标应用所在的矩形区域。当得到该判断结果时,可进行进一步地判断。
步骤S20432:将所述第一距离与所述第二距离进行比对;
在具体实现中,将计算所述当前矩形区域的中心位置与所述第一矩形区域的中心位置之间的距离作为第一距离,计算所述当前矩形区域的中心位置与所述第二矩形区域的中心位置之间的距离作为第二距离,并将所述第一距离与所述第二距离进行比对。换言之,将对比第一矩形区域与第二矩形区域,并选出距离当前矩形区域更近的矩形区域。因为,用户在进行焦点移动时,即用户在遥控器上按下箭头向右的按键时,用户想要获得的下一个焦点将为离初始焦点最近的一个焦点,并且下一个焦点为初始焦点的右侧,所以判断中心距离也是为了判断焦点移动的距离远近。
在所述第一距离小于所述第二距离时,执行步骤S205″。
可以理解的是,在所述第一距离小于所述第二距离时,表明第一视图区域距离当前视图区域更近,可表明第一视图区域为下一个焦点所在的视图区域。所以,可通过第一视图区域确定对应的目标应用。
本实施例中通过对比第一距离与第二距离,可以更好地确定离当前视图区域更近的视图区域,也就可以更加准确地确认目标应用,降低失误机率。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有用于智能电视的语音控制程序,所述用于智能电视的语音控制程序被处理器执行时实现如下操作:
在侦测到按键事件时,对所述按键事件进行拦截;
根据所述按键事件确定对应的目标应用,将所述按键事件发送至所述目标应用,以使所述目标应用在接收到所述按键事件时查找对应的文本信息,并反馈所述文本信息;
在接收到所述目标应用反馈的文本信息时,将所述文本信息转换为语音信息。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
获取所述目标应用的当前应用标识;
将所述当前应用标识与各预设应用标识进行匹配;
在匹配成功时,执行所述将所述按键事件发送至所述目标应用的步骤。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
在匹配失败时,根据所述按键事件查找对应的文本信息;
将所述文本信息转换成语音信息。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
获取当前焦点,确定所述当前焦点所属的当前视图区域;
根据所述按键事件确定对应的第一焦点移动方向;
对各预设视图区域进行遍历,判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上,各预设视图区域分别对应于不同控件;
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,根据所述目标视图区域确定对应的控件,由确定的控件查找对应的目标应用。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,将所述目标视图区域认定为第一视图区域;
对各预设视图区域进行遍历,以获取第二视图区域;
计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域,计算所述当前视图区域与所述第二视图区域的重叠部分作为第二重叠区域,将所述第一重叠区域与所述第二重叠区域进行比对;
在所述第一重叠区域大于所述第二重叠区域时,根据所述第一视图区域确定对应的控件,并执行所述由确定的控件查找对应的目标应用的步骤。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
对各预设视图区域进行遍历,判断遍历到的目标视图区域是否位于所述当前视图区域的所述第二焦点移动方向上,所述第二焦点移动方向为与所述第一焦点移动方向相反的方向;
当所述目标视图区域位于所述当前视图区域的所述第二焦点移动方向上时,将所述目标视图区域作为第二视图区域。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
在所述第一重叠区域不大于所述第二重叠区域时,计算所述当前视图区域的中心位置与所述第一视图区域的中心位置之间的距离作为第一距离,计算所述当前视图区域的中心位置与所述第二视图区域的中心位置之间的距离作为第二距离,将所述第一距离与所述第二距离进行比对;
在所述第一距离小于所述第二距离时,执行所述根据所述第一视图区域确定对应的控件的步骤。
进一步地,所述用于智能电视的语音控制程序被处理器执行时还实现如下操作:
检测是否存在处于播报状态的语音信息;
在检测到存在所述语音信息时,中断所述语音信息。
本实施例中通过将按键事件传递给目标应用处理,使得即便是视图较为复杂的应用也可根据需要直接将文本转换为语音,保证语音辅助功能实施的稳定性,也就解决了语音辅助功能中存在不能较好地识别不规则视图并转换成语音的技术问题。
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用通过得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种用于智能电视的语音控制方法,其特征在于,所述方法包括以下步骤:
在侦测到按键事件时,对所述按键事件进行拦截;
根据所述按键事件确定对应的目标应用;
将所述按键事件发送至所述目标应用,以使所述目标应用在接收到所述按键事件时查找对应的文本信息,并反馈所述文本信息;
在接收到所述目标应用反馈的文本信息时,将所述文本信息转换为语音信息。
2.如权利要求1所述的用于智能电视的语音控制方法,其特征在于,所述根据所述按键事件确定对应的目标应用之后,所述方法还包括:
获取所述目标应用的目标应用标识;
将所述目标应用标识与各预设应用标识进行匹配;
在匹配成功时,执行所述将所述按键事件发送至所述目标应用的步骤。
3.如权利要求2所述的用于智能电视的语音控制方法,其特征在于,所述将所述目标应用标识与各预设应用标识进行匹配之后,所述方法还包括:
在匹配失败时,根据所述按键事件查找对应的文本信息;
将所述文本信息转换成语音信息。
4.如权利要求1所述的用于智能电视的语音控制方法,其特征在于,所述根据所述按键事件确定对应的目标应用,具体包括:
获取当前焦点,确定所述当前焦点所属的当前视图区域;
根据所述按键事件确定对应的第一焦点移动方向;
对各预设视图区域进行遍历,判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上,其中,各预设视图区域分别对应于不同控件;
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,根据所述目标视图区域确定对应的控件,由确定的控件查找对应的目标应用。
5.如权利要求4所述的用于智能电视的语音控制方法,其特征在于,所述判断遍历到的目标视图区域是否位于所述当前视图区域的所述第一焦点移动方向上之后,所述方法还包括:
当所述目标视图区域位于所述当前视图区域的所述第一焦点移动方向上时,将所述目标视图区域认定为第一视图区域;
从所述预设视图区域中选取第二视图区域,所述第二视图区域为预设视图区域中除所述第一视图区域之外的其他视图区域;
计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域,计算所述当前视图区域与所述第二视图区域的重叠部分作为第二重叠区域,将所述第一重叠区域与所述第二重叠区域进行比对;
在所述第一重叠区域大于所述第二重叠区域时,根据所述第一视图区域确定对应的控件,并执行所述由确定的控件查找对应的目标应用的步骤。
6.如权利要求5所述的用于智能电视的语音控制方法,其特征在于,所述从所述预设视图区域中选取第二视图区域之后,所述方法还包括:
判断所述第二视图区域是否位于所述当前视图区域的所述第二焦点移动方向上,所述第二焦点移动方向为与所述第一焦点移动方向相反的方向;
当所述第二视图区域位于所述当前视图区域的所述第二焦点移动方向上时,执行所述计算所述当前视图区域与所述第一视图区域的重叠部分作为第一重叠区域的步骤。
7.如权利要求5所述的用于智能电视的语音控制方法,其特征在于,所述将所述第一重叠区域与所述第二重叠区域进行比对之后,所述方法还包括:
在所述第一重叠区域不大于所述第二重叠区域时,计算所述当前视图区域的中心位置与所述第一视图区域的中心位置之间的距离作为第一距离,计算所述当前视图区域的中心位置与所述第二视图区域的中心位置之间的距离作为第二距离,将所述第一距离与所述第二距离进行比对;
在所述第一距离小于所述第二距离时,执行所述根据所述第一视图区域确定对应的控件的步骤。
8.如权利要求1至7中的任一项所述的用于智能电视的语音控制方法,其特征在于,所述将所述文本信息转换成语音信息之前,所述方法还包括:
检测是否存在处于播报状态的语音信息;
在检测到存在所述语音信息时,中断所述语音信息。
9.一种智能电视,其特征在于,所述智能电视包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于智能电视的语音控制程序,所述用于智能电视的语音控制程序被所述处理器执行时实现如权利要求1至8中任一项所述的用于智能电视的语音控制方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有用于智能电视的语音控制程序,所述用于智能电视的语音控制程序被处理器执行时实现如权利要求1至8中任一项所述的用于智能电视的语音控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710896525.1A CN107613352B (zh) | 2017-09-28 | 2017-09-28 | 用于智能电视的语音控制方法、智能电视和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710896525.1A CN107613352B (zh) | 2017-09-28 | 2017-09-28 | 用于智能电视的语音控制方法、智能电视和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107613352A true CN107613352A (zh) | 2018-01-19 |
CN107613352B CN107613352B (zh) | 2021-02-05 |
Family
ID=61058904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710896525.1A Active CN107613352B (zh) | 2017-09-28 | 2017-09-28 | 用于智能电视的语音控制方法、智能电视和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107613352B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108777808A (zh) * | 2018-06-04 | 2018-11-09 | 深圳Tcl数字技术有限公司 | 基于显示终端的文本转语音方法、显示终端及存储介质 |
CN112287738A (zh) * | 2020-04-20 | 2021-01-29 | 北京沃东天骏信息技术有限公司 | 图形控件的文本匹配方法及装置、介质、电子设备 |
CN112312176A (zh) * | 2020-10-10 | 2021-02-02 | 视联动力信息技术股份有限公司 | 一种语音播放方法、装置、终端设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003017139A1 (en) * | 2001-08-15 | 2003-02-27 | Motorola Inc. | System and method for providing dynamic selection of communication actions using stored rule set |
CN1956516A (zh) * | 2005-10-28 | 2007-05-02 | 深圳Tcl新技术有限公司 | 通过图片结合语音显示电视功能界面的方法 |
CN102799433A (zh) * | 2012-07-04 | 2012-11-28 | 桂林电子科技大学 | 一种残疾人可使用软件的实现方法 |
CN103686341A (zh) * | 2013-12-31 | 2014-03-26 | 冠捷显示科技(厦门)有限公司 | 一种具有自动语音通知功能的电视系统及其实现方法 |
CN106055260A (zh) * | 2016-06-03 | 2016-10-26 | 深圳市联谛信息无障碍有限责任公司 | 一种安全键盘的读屏方法及装置 |
CN106911959A (zh) * | 2017-02-06 | 2017-06-30 | 深圳创维数字技术有限公司 | 一种基于智能电视的语音读图方法及系统 |
-
2017
- 2017-09-28 CN CN201710896525.1A patent/CN107613352B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003017139A1 (en) * | 2001-08-15 | 2003-02-27 | Motorola Inc. | System and method for providing dynamic selection of communication actions using stored rule set |
CN1956516A (zh) * | 2005-10-28 | 2007-05-02 | 深圳Tcl新技术有限公司 | 通过图片结合语音显示电视功能界面的方法 |
CN102799433A (zh) * | 2012-07-04 | 2012-11-28 | 桂林电子科技大学 | 一种残疾人可使用软件的实现方法 |
CN103686341A (zh) * | 2013-12-31 | 2014-03-26 | 冠捷显示科技(厦门)有限公司 | 一种具有自动语音通知功能的电视系统及其实现方法 |
CN106055260A (zh) * | 2016-06-03 | 2016-10-26 | 深圳市联谛信息无障碍有限责任公司 | 一种安全键盘的读屏方法及装置 |
CN106911959A (zh) * | 2017-02-06 | 2017-06-30 | 深圳创维数字技术有限公司 | 一种基于智能电视的语音读图方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108777808A (zh) * | 2018-06-04 | 2018-11-09 | 深圳Tcl数字技术有限公司 | 基于显示终端的文本转语音方法、显示终端及存储介质 |
WO2019233190A1 (zh) * | 2018-06-04 | 2019-12-12 | 深圳Tcl数字技术有限公司 | 基于显示终端的文本转语音方法、显示终端及存储介质 |
CN108777808B (zh) * | 2018-06-04 | 2021-01-12 | 深圳Tcl数字技术有限公司 | 基于显示终端的文本转语音方法、显示终端及存储介质 |
CN112287738A (zh) * | 2020-04-20 | 2021-01-29 | 北京沃东天骏信息技术有限公司 | 图形控件的文本匹配方法及装置、介质、电子设备 |
CN112312176A (zh) * | 2020-10-10 | 2021-02-02 | 视联动力信息技术股份有限公司 | 一种语音播放方法、装置、终端设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107613352B (zh) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11854570B2 (en) | Electronic device providing response to voice input, and method and computer readable medium thereof | |
US9584990B1 (en) | Short message service (SMS) response and interpretation application | |
CN100580769C (zh) | 用于选择性语音识别的方法和装置 | |
CN108172223A (zh) | 语音指令识别方法、装置及服务器和计算机可读存储介质 | |
CN107613352A (zh) | 用于智能电视的语音控制方法、智能电视和存储介质 | |
CN101536084A (zh) | 对话分析 | |
CN112286485B (zh) | 通过语音控制应用的方法、装置、电子设备与存储介质 | |
CN106649696A (zh) | 信息分类方法及装置 | |
US20230054011A1 (en) | Voice collaborative awakening method and apparatus, electronic device and storage medium | |
CN108733666B (zh) | 服务器信息推送方法、终端信息发送方法及装置、系统 | |
CN105183291A (zh) | 显示界面中的信息提取方法及系统 | |
CN106940674A (zh) | 一种移动终端中目标事件的触发方法和装置 | |
CN111611365A (zh) | 一种对话系统的流程控制方法、装置、设备及存储介质 | |
CN104461512A (zh) | 一种快速启动应用程序的方法和装置 | |
CN112529585A (zh) | 风险交易的交互唤醒方法、装置、设备及系统 | |
CN111343348A (zh) | 互动式语音应答菜单的应用方法、系统、装置及存储介质 | |
CN109727597A (zh) | 语音信息的交互辅助方法和装置 | |
EP3451189B1 (en) | A system and method for user query recognition | |
CN111835823B (zh) | 一种访问限流方法及终端 | |
CN114979051B (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
US11055481B2 (en) | Information input method, information input apparatus, and information input system | |
CN111131002A (zh) | 聊天记录的追踪方法、系统及存储介质 | |
CN115547333A (zh) | 语言识别模型的生成方法、生成装置、系统、设备及介质 | |
CN112653612B (zh) | 消息处理方法、设备以及系统、消息服务器 | |
CN107423785A (zh) | 基于二维码的工作任务确认方法、系统、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |