CN115145526B - 一种语音控制方法及显示终端 - Google Patents
一种语音控制方法及显示终端 Download PDFInfo
- Publication number
- CN115145526B CN115145526B CN202110282762.5A CN202110282762A CN115145526B CN 115145526 B CN115145526 B CN 115145526B CN 202110282762 A CN202110282762 A CN 202110282762A CN 115145526 B CN115145526 B CN 115145526B
- Authority
- CN
- China
- Prior art keywords
- display
- identification information
- control
- area
- operation interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001960 triggered effect Effects 0.000 claims abstract description 45
- 238000009826 distribution Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000036541 health Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及无线传输技术领域,特别涉及一种语音控制方法及显示终端,用以灵活地对显示终端进行操控。响应用户触发的启动对显示终端的操作界面进行语音控制的指令,将操作界面划分为多个显示区域,并在操作界面中展示划分得到的显示区域以及显示区域的区域标识信息;响应用户触发的包含位置标识信息的第一语音命令,根据位置标识信息确定用户需要选中的目标控件,并展示目标控件对应的显示页面。由于本发明实施例通过语音命令的方式实现用户对显示终端进行操控,不需要借助其它控制设备以及触摸屏,通过语音命令的方式实现选中操作界面中控件,从而展示选中控件对应的显示页面,进一步提高对显示终端进行控制的灵活性。
Description
技术领域
本发明涉及显示技术领域,尤其涉及一种语音控制方法及显示终端。
背景技术
智能显示设备是在互联网影响之下物联化的体现。各种智能显示设备可以通过物联网技术连接到一起,例如智能电视、智能手机、平板电脑、医疗终端等。
随着智能显示设备的不断增多,用户在使用智能显示设备过程中需要经常操控智能家居的操作界面。目前针对智能显示设备常用的界面操控方式包括通过控制设备操控、用户通过触摸的方式对具有触摸屏的智能显示设备进行操控。例如,针对智能电视,一种常用的方式为通过遥控器选择电视操作界面中的控件;针对具有触摸屏的智能手机,一种常用的方式为用户通过点击触摸屏上的选项,操控智能手机的操作界面。但是,若在对智能显示设备进行控制的控制设备故障、或触摸屏损坏时,将无法选择智能显示界面操作界面中的控件,无法对智能显示设备进行操控。
发明内容
本发明示例性的实施方式中提供一种语音控制方法及显示终端,用以灵活地对显示终端进行操控。
根据示例性的实施方式中的第一方面,提供一种语音控制方法,包括:
响应用户触发的启动对显示终端的操作界面进行语音控制的指令,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;
响应用户触发的包含所述位置标识信息的第一语音命令,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,并展示所述目标控件对应的显示页面。
由于本发明实施例针对显示终端,用户可以触发启动对显示终端进行语音控制的指令,在启动对显示终端的语音控制时,显示终端将操作界面划分为多个显示区域并展示每个显示区域的区域标识信息,这样,用户在需要选中操作界面中的控件时,可以参考操作界面中划分的显示区域,根据需要选中的控件与各个显示区域之间的相对位置关系以及各显示区域的区域标识信息,进一步确定需要选中的控件在操作界面中对应的位置标识信息。则用户可以触发包含位置标识信息的语音命令,显示终端接收到包含位置标识信息的语音命令后,根据位置标识信息可以确定出用户需要选中的目标控件,则显示终端可以确定用户触发了针对目标控件的选中操作,展示目标控件对应的显示页面。由于本发明实施例可以通过语音命令的方式实现用户对显示终端的操作进行的操控,不需要借助其它控制设备以及触摸屏,通过语音命令的方式实现选中操作界面中的控件,从而展示选中控件对应的显示页面,进一步提高了对显示终端进行控制的灵活性。
可选的,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,包括:
所述显示终端根据所述操作界面中各个控件的分布信息,将所述操作界面中包含控件的界面区域划分为多个显示区域,并确定划分得到的各个显示区域的区域标识信息;在所述界面区域展示划分得到的显示区域以及显示区域的区域标识信息;或
所述显示终端将整个所述操作界面中划分为多个显示区域,并确定划分得到的显示区域以及显示区域的区域标识信息;展示将整个所述操作界面划分得到的显示区域以及显示区域的区域标识信息。
可选的,若划分得到的每个显示区域对应一个控件,则所述控件对应的位置标识信息为所述控件对应的显示区域的区域标识信息。
可选的,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,包括:
所述显示终端根据各个显示区域的尺寸信息,确定所述位置标识信息对应的显示区域的中心像素点的目标像素坐标信息;
所述显示终端根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
可选的,若划分的各个显示区域中有显示区域对应至少两个控件,所述显示终端在所述操作界面中展示划分后的显示区域以及显示区域的区域标识信息之后,在根据所述位置标识信息确定所述用户需要选中的目标控件之前,还包括:
响应用户触发的包含所述区域标识信息的第二语音命令,所述显示终端将所述区域标识信息对应的显示区域划分为多个子区域;
所述显示终端在所述显示区域中展示划分后的各个子区域以及各个子区域的位置标识信息。
可选的,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,包括:
所述显示终端根据各个显示区域的尺寸信息、所述位置标识信息对应的子区域在显示区域中的位置、以及所述各个子区域的尺寸信息,确定所述位置标识信息对应的子区域的中心像素点的目标像素坐标信息;
所述显示终端根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
根据示例性的实施方式中的第二方面,提供一种显示终端,包括麦克风、处理器和显示屏;
所述麦克风被配置为采集用户触发的启动对显示终端的操作界面进行语音控制的指令,以及采集用户触发的包含位置标识信息的第一语音命令;并将接收到的所述指令以及所述第一语音命令传输给所述处理器;
所述处理器被配置为响应所述麦克风采集的所述指令,将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息;以及响应所述麦克风采集的所述第一语音命令,根据所述位置标识信息确定所述用户需要选中的目标控件,并生成所述目标控件对应的显示页面;
所述显示屏被配置为在所述操作界面中展示划分后的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;以及展示所述目标控件对应的显示页面。
可选的,所述处理器被配置为根据所述操作界面中各个控件的分布信息,将所述操作界面中包含控件的界面区域划分为多个显示区域,并确定划分得到的各个显示区域的区域标识信息;
所述显示屏被配置为在所述界面区域展示划分得到的显示区域以及显示区域的区域标识信息。
可选的,所述处理器被配置为将整个所述操作界面中划分为多个显示区域,并确定划分得到的显示区域以及显示区域的区域标识信息;
所述显示屏被配置为展示将整个所述操作界面划分得到的显示区域以及显示区域的区域标识信息。
可选的,若划分得到的每个显示区域对应一个控件,则所述控件对应的位置标识信息为所述控件对应的显示区域的区域标识信息。
可选的,所述处理器被配置为:
根据各个显示区域的尺寸信息,确定所述位置标识信息对应的显示区域的中心像素点的目标像素坐标信息;
根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
可选的,所述麦克风被配置为采集用户触发的包含所述区域标识信息的第二语音命令;
若划分得到的各个显示区域中有显示区域对应至少两个控件,所述处理器被配置为将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息之后,在根据所述位置标识信息确定所述用户需要选中的目标控件之前,响应所述第二语音命令,将所述区域标识信息对应的显示区域划分为多个子区域并确定各个子区域的位置标识信息;
所述显示屏配置为在所述显示区域中展示划分得到的各个子区域以及各个子区域的位置标识信息。
可选的,所述处理器被配置为:
根据各个显示区域的尺寸信息、所述位置标识信息对应的子区域在显示区域中的位置、以及所述各个子区域的尺寸信息,确定所述位置标识信息对应的子区域的中心像素点的目标像素坐标信息;
根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
根据示例性的实施方式中的第三方面,提供一种语音控制装置,包括:
显示单元,用于响应用户触发的启动对显示终端的操作界面进行语音控制的指令,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;
处理单元,用于响应用户触发的包含所述位置标识信息的第一语音命令,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,并展示所述目标控件对应的显示页面。
根据示例性的实施方式中的第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述方法的步骤。
另外,第二方面至第四方面中任一一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示例性示出了本发明实施例提供的一种显示终端的操作界面示意图;
图2示例性示出了本发明实施例提供的一种显示终端的显示页面示意图;
图3示例性示出了本发明实施例提供的一种语音控制方法流程图;
图4示例性示出了本发明实施例提供的一种显示终端的操作界面划分方式示意图;
图5示例性示出了本发明实施例提供的一种显示终端的操作界面示意图;
图6示例性示出了本发明实施例提供的一种显示终端的操作界面中的界面区域示意图;
图7示例性示出了本发明实施例提供的一种显示终端划分后的操作界面示意图;
图8示例性示出了本发明实施例提供的一种显示终端划分后的操作界面示意图;
图9示例性示出了本发明实施例提供的一种显示终端划分后的操作界面示意图;
图10示例性示出了本发明实施例提供的一种显示终端操作界面中子区域的示意图;
图11示例性示出了本发明实施例提供的一种语音控制方法整体流程图;
图12示例性示出了本发明实施例提供的另一种语音控制方法整体流程图;
图13示例性示出了本发明实施例提供的一种显示终端的结构示意图;
图14示例性示出了本发明实施例提供的一种智能电视的结构示意图;
图15示例性示出了本发明实施例提供的一种手机的结构示意图;
图16示例性示出了本发明实施例提供的一种语音控制装置的结构示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清除、详尽地描述。其中,在本发明实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本发明实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本发明实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明实施例中的显示终端可以为具有显示屏的任意终端;例如,手机、平板电脑、可穿戴设备、笔记本电脑、电视、医疗终端等。
如图1所示的显示终端的操作界面,在显示终端的操作界面中包括多个控件,例如“健康咨询”控件、“健康管理”控件、“网络医院”控件、“健康科普”控件、“居家养老”控件、“健康商城”控件等,且各个控件在操作界面中的尺寸大小可以相同或不同。用户可以选择操作界面中的某一控件,显示终端展示控件对应的显示页面。例如,在用户选择点击“健康咨询”控件,则显示终端跳转至如图2所示的显示页面。
相关技术中,在对显示终端的操作界面进行控制时,一种常见的操作方式为,通过控制设备向显示终端发送选中某一控件的命令,显示终端在接收到命令后展示相应的页面;或者,另一种常见的操作方式为,针对触摸屏显示终端,用户可以通过触摸操作界面选中某一控件,显示终端展示相应的页面。但是,若在控制设备故障或用户暂时无法获得控制设备时,或者触摸屏显示终端的触摸屏损坏时,无法对显示设备进行操控。
基于上述问题,本发明实施例提供一种语音控制方法,如图3所示,包括以下步骤:
步骤S301、响应用户触发的启动对显示终端的操作界面进行语音控制的指令,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;
步骤S302、响应用户触发的包含所述位置标识信息的第一语音命令,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,并展示所述目标控件对应的显示页面。
由于本发明实施例针对显示终端,用户可以触发启动对显示终端进行语音控制的指令,在启动对显示终端的语音控制时,显示终端将操作界面划分为多个显示区域并展示每个显示区域的区域标识信息,这样,用户在需要选中操作界面中的控件时,可以参考操作界面中划分的显示区域,根据需要选中的控件与各个显示区域之间的相对位置关系以及各显示区域的区域标识信息,进一步确定需要选中的控件在操作界面中对应的位置标识信息。则用户可以触发包含位置标识信息的语音命令,显示终端接收到包含位置标识信息的语音命令后,根据位置标识信息可以确定出用户需要选中的目标控件,则显示终端可以确定用户触发了针对目标控件的选中操作,展示目标控件对应的显示页面。由于本发明实施例可以通过语音命令的方式实现用户对显示终端的操作进行的操控,不需要借助其它控制设备以及触摸屏,通过语音命令的方式实现选中操作界面中的控件,从而展示选中控件对应的显示页面,进一步提高了对显示终端进行控制的灵活性。
实施中,在用户触发启动对显示终端的操作界面进行语音控制的指令之后,显示终端的模式切换为对操作界面进行语音控制的模式,在该种模式下,用户可以通过语音方式,对显示终端的操作界面中的控件进行选择,在用户选择某一控件后,终端显示界面跳转至该控件对应的显示界面。
用户触发启动对显示终端的操作界面进行语音控制的指令的方式可以有多种,本发明实施例可以通过如下方式触发启动对显示终端的操作界面进行语音控制的指令的方式。
需要说明的是,下述内容介绍的几种触发启动对显示终端的操作界面进行语音控制的指令的方式仅是对本发明实施例的举例说明,本发明实施例想要保护的触发启动对显示终端的操作界面进行语音控制的指令的方式并不限于下述举例。
方式1、通过语音的方式触发启动对显示终端的操作界面进行语音控制的指令;
本发明实施例的显示设备支持语音识别,显示设备可以通过麦克风采集环境中的语音消息,通过对语音消息进行识别,解析出用户对显示设备的控制命令,并执行与控制命令对应的操作;
在一些实施例中,为节约显示终端功耗,显示终端的状态可以分为唤醒状态和休眠状态;显示终端可以通过检测唤醒词的方式将状态由休眠状态切换为欢迎状态。显示终端在休眠状态下监测环境中的语音消息,在检测到与自身匹配的唤醒词之后,显示终端切换为唤醒状态,对环境中的语音消息进行识别,并根据识别结果执行相应的操作。例如,假设显示终端的唤醒词为“小聚小聚”,则在显示终端检测到用户触发的唤醒词“小聚小聚”后,处于唤醒状态,进一步采集用户触发的语音消息并进行识别;在用户触发唤醒词之前,显示终端仅监测环境中语音消息中是否包含唤醒词,并不会识别环境中的语音消息。
本发明实施例显示设备可以在检测到用户触发的启动对显示终端的操作界面进行语音控制的指令后,确定用户需要对显示终端的操作界面进行语音控制。
实施中,用户可以通过触发唤醒词,将显示终端的状态切换为唤醒状态,在唤醒状态下,用户触发启动对显示终端的操作界面进行语音控制的指令;显示终端在识别到用户触发的启动对显示终端的操作界面进行语音控制的指令后,将显示终端的模式切换为对操作界面进行语音控制的模式;
例如,显示终端在采集到唤醒词“小聚小聚”后,显示终端进入唤醒状态;假设启动对显示终端的操作界面进行语音控制的指令为用户触发的唤醒词“小聚控制”,则在显示终端采集到唤醒词“小聚控制”后,将显示终端的模式切换为对操作界面进行语音控制的模式。
方式2、通过显示终端的物理按键触发启动对显示终端的操作界面进行语音控制的指令;
本发明实施例将显示终端上预设的物理按键设置为,用于触发启动对显示终端的操作界面进行语音控制的按键;在用户按压该物理按键时,显示设备接收到用户触发的启动对显示终端的操作界面进行语音控制的指令,将显示终端的模式切换为对操作界面进行语音控制的模式。
本发明实施例显示终端响应用户触发的启动对显示终端的操作界面进行语音控制的指令,将显示终端的模式切换为对操作界面进行语音控制的模式;
在显示终端处于对操作界面进行语音控制的模式下,显示终端将操作界面划分为多个显示区域,并在操作界面中展示划分得到的显示区域以及显示区域的区域标识信息;
实施中,显示终端在将操作界面划分为多个显示区域时,可以将操作界面进行均匀划分,或者,也可以按照非均匀的方式进行划分;
可选的,为了便于根据显示区域与操作界面中控件之间的相对位置关系,确定用户通过语音方式选中的目标控件,本发明实施例显示终端可以将操作界面划分为多个矩形区域。
另外,显示终端在将操作界面划分为多个显示区域时,可以将整个操作界面进行划分得到多个显示区域,或者显示终端还可以识别操作界面中包含控件的界面区域,将包含控件的界面区域进行划分得到多个显示区域;下面针对这两种划分方式分别进行说明。
1、显示终端将整个操作界面进行划分得到多个显示区域;
下面结合附图4介绍下显示终端对整个操作界面的划分方式:
假设在对显示终端的操作界面进行划分之前的操作界面如图1所示;显示终端响应用户触发的启动对显示终端的操作界面进行语音控制的指令,显示终端将操作界面划分为如图4所示的多个显示区域,并在每个显示区域中展示每个显示区域对应的区域标识信息;
如图4所示,显示终端将操作界面划分为7*12个显示区域;其中,第一行中包含的12个显示区域的区域标识信息依次为AxAy、AxBy、AxCy、AxDy、AxEy、AxFy、AxGy、AxHy、AxIy、AxJy、AxKy、AxLy;第一列中包含的7个显示区域的区域标识信息依次为AxAy、BxAy、CxAy、DxAy、ExAy、FxAy、GxAy。其它显示区域的区域标识信息可以依次类推,在此不再一一描述。
需要说明的是,本发明实施例可以将整个操作界面划分为多个尺寸相同的显示区域;本发明实施例可以预先设定操作界面对应的显示区域的个数,例如,将显示区域划分为7*12个显示区域,则显示终端在进行划分时,将操作界面划分为7行12列,得到84个显示区域;或者,本发明实施例还可以预先设定显示区域的尺寸,例如,针对屏幕分辨率为2160*3840的显示终端,可以预先设定一个显示区域的尺寸为308*320。则显示终端在将整个操作界面划分为多个显示区域时,根据预先设定的显示区域个数或者显示区域尺寸进行划分。
2、显示终端将操作界面中包含控件的界面区域进行划分得到多个显示区域;
下面结合附图5~附图7介绍下显示终端对整个操作界面的划分方式:
假设在对显示终端的操作界面进行划分之前的操作界面如图5所示;显示终端响应用户触发的启动对显示终端的操作界面进行语音控制的指令,显示终端根据操作界面中各个控件的分布信息,确定操作界面中包含控件的界面区域,例如如图6所示的操作界面,虚线框所示区域为显示终端确定出的包含控件的界面区域。在显示终端确定出操作界面中的包含控件的界面区域后,将界面区域划分为多个显示区域,并在每个显示区域中展示每个显示区域对应的区域标识信息;
如图7所示,将显示终端操作界面中包含控件的界面区域划分为4*7个显示区域;其中,第一行中包含的7个显示区域的区域标识信息依次为AxAy、AxBy、AxCy、AxDy、AxEy、AxFy、AxGy;第一列中包含的4个显示区域的区域标识信息依次为AxAy、BxAy、CxAy、DxAy;其它显示区域的区域标识信息可以依次类推,在此不再一一描述。
需要说明的是,本发明实施例可以将操作界面中包含控件的界面区域划分为多个尺寸相同的显示区域;由于不同操作界面中控件的分布信息不同,因此不同操作界面中包含控件的界面区域也不相同,因此,在该种划分操作界面的方式下,本发明实施例可以预先设定显示区域的尺寸,例如,针对屏幕分辨率为2160*3840的显示终端,可以预先设定一个显示区域的尺寸为308*320。则显示终端在将操作界面中包含控件的界面区域划分为多个显示区域时,根据预先设定的显示区域尺寸进行划分。
另外,在一些实施例中,显示终端在对整个操作界面进行划分时,可以将整个操作界面按照预先设定的显示区域个数或者显示区域尺寸进行划分,但在操作界面中展示划分得到的显示区域时,确定操作界面中包含控件的界面区域,仅展示界面区域中划分得到的显示区域以及显示区域对应的区域标识信息。
本发明实施例显示终端在操作界面中展示划分后的显示区域以及显示区域对应的区域标识信息之后,用户可以根据操作界面中各个控件与显示区域之前的相对位置关系,以及操作界面中用户需要选中的控件的位置,确定需要选中的控件的位置标识信息;
实施中,本发明实施例可以根据下列方式确定需要选中的操作界面中的控件对应的位置标识信息:
方式1、控件对应的位置标识信息为控件对应的显示区域的区域标识信息;
在显示终端将操作界面划分为多个显示区域时,若划分得到的每个显示区域对应一个控件,则控件对应的位置标识信息为控件对应的显示区域的区域标识信息。
由于在该种方式下,每个显示区域仅对应一个控件,在用户确定需要选中的控件时,只要确定出该控件对应的显示区域的区域标识信息,则显示设备即可根据显示区域的区域标识信息确定用户需要选中的控件。
并且,在该种方式下,划分得到的每个显示区域对应一个控件,但每个控件可以对应一个或多个显示区域;如图8所示的划分后的操作界面,每个显示区域对应一个控件,且部分控件对应一个显示区域,另一部分控件对应多个显示区域;例如,“网络医院”控件、“健康科普”控件、“居家养老”控件、“健康商城”控件均对应一个显示区域,“虚拟医生”控件、健康共享”控件、健康监测”控件、“健康评估”控件、“健康膳食”控件对应三个显示区域,“视频医生”控件、“用药管理”控件、“健康档案”控件对应两个显示区域。
本发明实施例用户在需要选中操作界面中的控件时,确定该控件对应的显示区域,用户触发包含显示区域的区域标识信息的第一语音命令,显示终端响应用户触发的第一语音命令,根据第一语音命令中包含的区域标识信息确定用户需要选中的目标控件,并展示目标控件对应的显示页面。
实施中,一种可选的实施方式为,本发明实施例可以根据下列方式确定用户需要选中的目标控件:
显示终端根据各个显示区域的尺寸信息,确定第一语音命令中包含的区域标识信息对应的显示区域的中心像素点的目标像素坐标信息;显示终端根据预设的像素坐标信息与控件之间的对应关系,确定目标像素坐标信息对应的控件为用户需要选中的目标控件。
实施中,显示终端可以从本地获取预先设定的各个显示区域的尺寸信息,或者,显示终端可以根据屏幕尺寸信息以及预先设定的显示区域的个数,确定各个显示区域的尺寸信息。
显示终端在接收到用户触发的包含区域标识信息的第一语音命令后,根据第一语音命令中包含的区域标识信息,确定该区域标识信息对应的显示区域在操作界面中的位置;例如,如图8所示的划分后的操作界面,假设用户触发的第一语音命令中包含的区域标识信息为CxDy,则显示终端确定CxDy对应的显示区域为第3行第4列的显示区域。
显示终端在确定第一语音命令中的区域标识信息对应的显示区域后,确定该区域标识信息对应的显示区域的中心像素点的目标像素坐标信息;
例如,如图8所示的划分后的操作界面,假设屏幕分辨率为3840*2160,操作界面中显示区域的个数为5*10;则每个显示区域的尺寸信息为384*432。则CxDy对应的显示区域的中心像素点的坐标信息的横坐标为:3*384+384/2=1218;CxDy对应的显示区域的中心像素点的坐标信息的纵坐标为:2*432+432/2=1080;则CxDy对应的显示区域的中心像素点的目标像素坐标信息为(1218,1080)。
本发明实施例显示终端在确定出第一语音命令中包含的区域标识信息对应的显示区域的中心像素点的目标像素坐标信息之后,根据预设的像素坐标信息与控件之间的对应关系,确定目标像素坐标信息对应的控件为用户需要选中的目标控件。
需要说明的是,本发明实施例预先存储像素坐标信息与控件之间的对应关系,显示终端可以根据预先存储的对应关系,确定目标像素坐标信息对应的控件。
例如,如图8所示的划分后的操作界面,假设确定出的目标像素坐标信息为(1218,1080),则确定用户选中的控件为“健康监测”控件。
本发明实施例显示终端在确定出第一语音命令中包含的区域标识信息对应的显示区域的中心像素点的目标像素坐标信息后,在操作系统中调用send_event事件,相当于发送选中事件(例如,鼠标左键事件或触摸事件),则相当于“健康监测”控件被点击,则显示终端根据该send_event事件执行操作,展示“健康监测”控件对应的显示页面。
方式2、控件对应的位置标识信息为控件对应的显示区域的子区域的标识信息;
实施中,若划分得到的显示区域对应至少两个控件,则控件对应的位置标识信息为将控件对应的显示区域划分为多个子区域的标识信息。
在该种方式下,在用户确定需要选中的控件时,在确定出控件对应的显示区域后,由于一个显示区域中可能包括多个控件,因此用户需要进一步确定出需要选择的控件在显示区域中的具体位置,具体可以将显示区域划分为预设个数的子区域,确定需要选择的控件在显示区域中的子区域的位置标识信息,每个子区域仅对应一个控件,则显示设备即可根据显示区域中子区域的位置标识信息确定用户需要选中的控件。
在确定控件对应的位置标识信息时,用户可以基于操作界面中展示的各个显示区域的区域标识信息以及预设的显示区域中子区域的预设个数,进一步估计出控件对应的位置标识信息;
本发明实施例用户在需要选中操作界面中的控件时,确定该控件对应的位置标识信息,用户触发包含位置标识信息的第一语音命令,显示终端响应用户触发的第一语音命令,根据第一语音命令中包含的位置标识信息确定用户需要选中的目标控件,并展示目标控件对应的显示页面。
例如,如图9所示的划分后的操作界面,假设用户需要选中“健康咨询”控件时,由于“健康咨询”控件对应的区域标识信息为BxBy;假设预先设定每个显示区域划分的子区域的个数为10*10,则用户估计“健康咨询”控件对应的子区域的标识信息可以为B1B2,则确定“健康咨询”控件对应的位置标识信息为B2B2;
用户触发包含“B1B2”的第一语音命令,则显示终端响应用户触发的第一语音命令,根据第一语音命令中包含的“B1B2”位置标识信息确定用户需要选中“健康咨询”控件,并展示“健康咨询”控件对应的显示页面。
另一种可选的实施方式为,显示终端在操作界面中展示划分后的显示区域以及显示区域的区域标识信息之后,在根据位置标识信息确定用户需要选中的目标控件之前,响应用户触发的包含区域标识信息的第二语音命令,显示终端将区域标识信息对应的显示区域划分为多个子区域,并确定各个子区域的位置标识信息;以及显示终端在显示区域中展示划分得到的各个子区域以及各个子区域的位置标识信息。
例如,如图9所示的划分后的操作界面,假设用户需要选中“健康咨询”控件时,由于“健康咨询”控件对应的区域标识信息为BxBy;用户触发包含区域标识信息“BxBy”的第二语音命令,显示终端根据预先设定的每个显示区域将划分为多个子区域,假设一个显示区域中子区域的个数为10*10,则显示终端将“BxBy”对应的显示区域划分为10*10的子区域,划分之后得到的各个子区域以及各个子区域的位置标识信息如图10所示。
本发明实施例用户在需要选中操作界面中的控件时,确定该控件对应的显示区域以及在显示区域中对应的子区域,用户触发包含子区域的位置标识信息的第一语音命令,显示终端响应用户触发的第一语音命令,根据第一语音命令中包含的位置标识信息确定用户需要选中的目标控件,并展示目标控件对应的显示页面。
实施中,一种可选的实施方式为,本发明实施例可以根据下列方式确定用户需要选中的目标控件:
显示终端根据各个显示区域的尺寸信息、位置标识信息对应的子区域在显示区域中的位置、以及各个子区域的尺寸信息,确定位置标识信息对应的子区域的中心像素点的目标像素坐标信息;显示终端根据预设的像素坐标信息与控件之间的对应关系,确定目标像素坐标信息对应的控件为用户需要选中的目标控件。
实施中,显示终端可以从本地获取预先设定的各个显示区域的尺寸信息,或者,显示终端可以根据屏幕尺寸信息以及预先设定的显示区域的个数,确定各个显示区域的尺寸信息。
显示终端可以根据预先设定的显示区域中子区域的个数,以及显示区域的尺寸信息,确定各个子区域的尺寸信息。
假设用户需要选中“健康咨询”控件时,由于“健康咨询”控件对应的子区域标识信息为B1B2;则确定“健康咨询”控件对应的位置标识信息为B1B2;用户触发包含“B1B2”的第一语音命令,则显示终端响应用户触发的第一语音命令,根据第一语音命令中包含的“B1B2”位置标识信息确定用户需要选中“健康咨询”控件,并展示“健康咨询”控件对应的显示页面。
显示终端在确定第一语音命令中的位置标识信息对应的显示区域的子区域后,确定该位置标识信息对应的子区域的中心像素点的目标像素坐标信息;
例如,如图10所示的划分后的操作界面,假设屏幕分辨率为3840*2160,操作界面中显示区域的个数为5*10;则每个显示区域的尺寸信息为384*432。由于用户需要选中的控件对应的子区域标识为B1B2,则B1B2对应的子区域的中心像素点的坐标信息的横坐标为:384+384/10*2.5=480,B1B2对应的子区域的中心像素点的坐标信息的纵坐标为:432+432/10*1.5=497。
则B1B2对应的子区域的中心像素点的目标像素坐标信息为(480,497)。
本发明实施例显示终端在确定出第一语音命令中包含的位置标识信息对应的子区域的中心像素点的目标像素坐标信息之后,根据预设的像素坐标信息与控件之间的对应关系,确定目标像素坐标信息对应的控件为用户需要选中的目标控件。
需要说明的是,本发明实施例预先存储像素坐标信息与控件之间的对应关系,显示终端可以根据预先存储的对应关系,确定目标像素坐标信息对应的控件。
例如,如图10所示的划分后的操作界面,假设确定出的目标像素坐标信息为(480,497),则确定用户选中的控件为“健康咨询”控件。
本发明实施例显示终端在确定出第一语音命令中包含的位置标识信息对应的子区域的中心像素点的目标像素坐标信息后,在操作系统中调用send_event事件,相当于发送选中事件(例如,鼠标左键事件或触摸事件),则相当于“健康咨询”控件被点击,则显示终端根据该send_event事件执行操作,展示“健康咨询”控件对应的显示页面。
如图11所示,本发明实施例一种语音控制方法流程图,包括以下步骤:
步骤S1101、响应用户触发的启动对显示终端的操作界面进行语音控制的指令,显示终端将所述操作界面划分为多个显示区域;
步骤S1102、显示终端在操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使用户根据显示区域与控件之间的相对位置确定需要选中的操作界面中的控件对应的区域标识信息;
步骤S1103、响应用户触发的包含区域标识信息的第一语音命令,显示终端根据各个显示区域的尺寸信息,确定区域标识信息对应的显示区域的中心像素点的目标像素坐标信息;
步骤S1104、显示终端根据预设的像素坐标信息与控件之间的对应关系,确定目标像素坐标信息对应的控件为用户需要选中的目标控件。
如图12所示,本发明实施例提供的另一种语音控制方法流程图,包括以下步骤:
步骤S1201、响应用户触发的启动对显示终端的操作界面进行语音控制的指令,显示终端将所述操作界面划分为多个显示区域;
步骤S1202、显示终端在操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使用户根据显示区域与控件之间的相对位置以及显示区域的区域标识信息,确定需要选中的操作界面中的控件对应的位置标识信息;
步骤S1203、响应用户触发的包含区域标识信息的第二语音命令,显示终端将区域标识信息对应的显示区域划分为多个子区域,并确定各个子区域的位置标识信息;
步骤S1204、显示终端在显示区域中展示划分得到的各个子区域以及各个子区域的位置标识信息;
步骤S1205、响应用户触发的包含位置标识信息的第一语音命令,根据各个显示区域的尺寸信息、位置标识信息对应的子区域在显示区域中的位置、以及各个子区域的尺寸信息,确定位置标识信息对应的子区域的中心像素点的目标像素坐标信息;
步骤S1206、显示终端根据预设的像素坐标信息与控件之间的对应关系,确定目标像素坐标信息对应的控件为用户需要选中的目标控件。
基于相同的发明构思,本发明实施例还提供一种显示终端,如图13所示,显示终端130包括麦克风1301、处理器1302和显示屏1303;
所述麦克风1301被配置为采集用户触发的启动对显示终端的操作界面进行语音控制的指令,以及采集用户触发的包含位置标识信息的第一语音命令;并将接收到的所述指令以及所述第一语音命令传输给所述处理器;
所述处理器1302被配置为响应所述麦克风采集的所述指令,将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息;以及响应所述麦克风采集的所述第一语音命令,根据所述位置标识信息确定所述用户需要选中的目标控件,并生成所述目标控件对应的显示页面;
所述显示屏1303被配置为在所述操作界面中展示划分后的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;以及展示所述目标控件对应的显示页面。
可选的,所述处理器1302被配置为根据所述操作界面中各个控件的分布信息,将所述操作界面中包含控件的界面区域划分为多个显示区域,并确定划分得到的各个显示区域的区域标识信息;
所述显示屏1303被配置为在所述界面区域展示划分得到的显示区域以及显示区域的区域标识信息。
可选的,所述处理器1302被配置为将整个所述操作界面中划分为多个显示区域,并确定划分得到的显示区域以及显示区域的区域标识信息;
所述显示屏1303被配置为展示将整个所述操作界面划分得到的显示区域以及显示区域的区域标识信息。
可选的,若划分得到的每个显示区域对应一个控件,则所述控件对应的位置标识信息为所述控件对应的显示区域的区域标识信息。
可选的,所述处理器1302被配置为根据各个显示区域的尺寸信息,确定所述位置标识信息对应的显示区域的中心像素点的目标像素坐标信息;根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
可选的,所述麦克风1301被配置为采集用户触发的包含所述区域标识信息的第二语音命令;
若划分得到的各个显示区域中有显示区域对应至少两个控件,所述处理器1302被配置为将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息之后,在根据所述位置标识信息确定所述用户需要选中的目标控件之前,响应所述第二语音命令,将所述区域标识信息对应的显示区域划分为多个子区域并确定各个子区域的位置标识信息;
所述显示屏1303配置为在所述显示区域中展示划分得到的各个子区域以及各个子区域的位置标识信息。
可选的,所述处理器1302被配置为根据各个显示区域的尺寸信息、所述位置标识信息对应的子区域在显示区域中的位置、以及所述各个子区域的尺寸信息,确定所述位置标识信息对应的子区域的中心像素点的目标像素坐标信息;根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
本发明实施例的显示终端可以为智能电视、手机、医疗终端等。
例如,在显示终端为智能电视时,如图14所示,智能电视1400中可以包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、存储器260、用户接口265、视频处理器270、显示器275、音频处理器280、音频输出接口285、供电电源290。
调谐解调器210,通过有线或无线方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,用于从多个无线或有线广播电视信号中解调出用户所选择的电视频道的频率中所携带的音视频信号,以及附加信息(例如EPG数据)。
调谐解调器210,可根据用户选择,以及由控制器250控制,响应用户选择的电视频道的频率以及该频率所携带的电视信号。
调谐解调器210,根据电视信号的广播制式不同,可以接收信号的途径有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播等;以及根据调制类型不同,可以数字调制方式或模拟调制方式;以及根据接收电视信号的种类不同,可以解调模拟信号和数字信号。
在其他一些示例性实施例中,调谐解调器210也可在外部设备中,如外部机顶盒等。这样,机顶盒通过调制解调后输出电视信号,经过外部装置接口240输入至显示设备200中。
通信器220,是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如显示设备200可将内容数据发送至经由通信器220连接的外部设备,或者,从经由通信器220连接的外部设备浏览和下载内容数据。通信器220可以包括wifi模块221、蓝牙模块222、有线以太网通信协议模块223等网络通信协议模块或近场通信协议模块,从而通信器220可根据控制器250的控制接收控制设备100的控制信号,并将控制信号实现为wifi信号、蓝牙信号、射频信号等。
检测器230,是智能电视1400用于采集外部环境或与外部交互的信号的组件。检测器230可以包括麦克风231,可以用于接收用户的声音,如用户控制智能电视1400的控制指令的语音信号;或者,可以采集用于识别环境场景类型的环境声音,实现智能电视1400可以自适应环境噪声。
在其他一些示例性实施例中,检测器230,还可以包括图像采集器232,如相机、摄像头等,可以用于采集外部环境场景,以自适应变化智能电视1400的显示参数;以及用于采集用户的属性或与用户交互手势,以实现显示设备与用户之间互动的功能。
在其他一些示例性实施例中,检测器230,还可以包括光接收器,用于采集环境光线强度,以自适应智能电视1400的显示参数变化等。
在其他一些示例性实施例中,检测器230,还可以包括温度传感器,如通过感测环境温度,智能电视1400可自适应调整图像的显示色温。示例性的,当温度偏高的环境时,可调整智能电视1400显示图像色温偏冷色调;当温度偏低的环境时,可以调整智能电视1400显示图像色温偏暖色调。
外部装置接口240,是提供控制器250控制智能电视1400与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接,可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中,外部装置接口240可以包括:高清多媒体接口(HDMI)端子241、复合视频消隐同步(CVBS)端子242、模拟或数字分量端子243、通用串行总线(USB)端子244、组件(Component)端子(图中未示出)、红绿蓝(RGB)端子(图中未示出)等任一个或多个。
控制器250,通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序),来控制智能电视1400的工作和响应用户的操作。
如图14所示,控制器250包括随机存取存储器(RAM)251、只读存储器(ROM)252、图形处理器253、CPU处理器254、通信接口255、以及通信总线256。其中,RAM251、ROM252以及图形处理器253、CPU处理器254通信接口255通过通信总线256相连接。
ROM252,用于存储各种系统启动指令。如在接收到开机信号时,智能电视1400电源开始启动,CPU处理器254运行ROM252中的系统启动指令,将存储在存储器260的操作系统拷贝至RAM251中,以开始运行启动操作系统。当操作系统启动完成后,CPU处理器254再将存储器260中各种应用程序拷贝至RAM251中,然后,开始运行启动各种应用程序。
图形处理器253,用于产生各种图形对象,如图标、操作菜单、以及用户输入指令显示图形等。图形处理器253可以包括运算器,用于通过接收用户输入各种交互指令进行运算,进而根据显示属性显示各种对象;以及包括渲染器,用于产生基于运算器得到的各种对象,将进行渲染的结果显示在显示器275上。
CPU处理器254,用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令,来执行各种应用程序、数据和内容的处理,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器254,可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器,用于在显示设备预加载模式中执行智能电视1400的一些初始化操作,和/或,在正常模式下显示画面的操作。多个或一个子处理器,用于执行在显示设备待机模式等状态下的一种操作。
通信接口255,可包括第一接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器250可以控制智能电视1400的整体操作。例如:响应于接收到用于选择在显示器275上显示的GUI对象的用户输入命令,控制器250便可以执行与由用户输入命令选择的对象有关的操作。
其中,该对象可以是可选对象中的任何一个,例如超链接或图标。该与所选择的对象有关的操作,例如显示连接到超链接页面、文档、图像等操作,或者执行与对象相对应的程序的操作。该用于选择GUI对象的用户输入命令,可以是通过连接到智能电视1400的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器260,用于存储驱动和控制智能电视1400运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语“存储器”包括存储器260、控制器250的RAM251和ROM252、或智能电视1400中的存储卡。
在一些实施例中,存储器260具体用于存储驱动智能电视1400中控制器250的运行程序;存储智能电视1400内置的和用户从外部设备下载的各种应用程序;存储用于配置由显示器275提供的各种GUI、与GUI相关的各种对象及用于选择GUI对象的选择器的视觉效果图像等数据。
在一些实施例中,存储器260具体用于存储调谐解调器210、通信器220、检测器230、外部装置接口240、视频处理器270、显示器275、音频处理器280等的驱动程序和相关数据,例如从外部装置接口接收的外部数据(例如音视频数据)或用户接口接收的用户数据(例如按键信息、语音信息、触摸信息等)。
在一些实施例中,存储器260具体存储用于表示操作系统(OS)的软件和/或程序,这些软件和/或程序可包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理系统资源,以及其它程序所实施的功能(如所述中间件、API或应用程序);同时,内核可以提供接口,以允许中间件、API或应用程序访问控制器,以实现控制或管理系统资源。
例如,在显示终端为手机时,如图15所示手机1500包括:射频(radio frequency,RF)电路1510、存储器1520、显示单元1530、摄像头1540、传感器1550、音频电路1560、无线保真(Wireless Fidelity,Wi-Fi)模块1570、处理器1580、蓝牙模块1581、以及电源1590等部件。
RF电路1510可用于在收发信息或通话过程中信号的接收和发送,可以接收基站的下行数据后交给处理器1580处理;可以将上行数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
存储器1520可用于存储软件程序及数据。处理器1580通过运行存储在存储器1520的软件程序或数据,从而执行手机1500的各种功能以及数据处理。存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1520存储有使得手机1500能运行的操作系统。本发明中存储器1520可以存储操作系统及各种应用程序,还可以存储执行本发明实施例所述方法的代码。
显示单元1530可用于接收输入的数字或字符信息,产生与手机1500的用户设置以及功能控制有关的信号输入,具体地,显示单元1530可以包括设置在手机1500正面的触摸屏1531,可收集用户在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
显示单元1530还可用于显示由用户输入的信息或提供给用户的信息以及手机1500的各种菜单的图形用户界面(graphical user interface,GUI)。具体地,显示单元1530可以包括设置在手机1500正面的显示屏1532。其中,显示屏1532可以采用液晶显示器、发光二极管等形式来配置。显示单元1530可以用于显示本发明中所述的各种图形用户界面。
其中,触摸屏1531可以覆盖在显示屏1532之上,也可以将触摸屏1531与显示屏1532集成而实现手机1500的输入和输出功能,集成后可以简称触摸显示屏。本发明中显示单元1530可以显示应用程序以及对应的操作步骤。
摄像头1540可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1580转换成数字图像信号。
手机1500还可以包括至少一种传感器1550,比如加速度传感器1551、距离传感器1552、指纹传感器1553、温度传感器1554。手机1500还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1560、扬声器1561、麦克风1562可提供用户与手机1500之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声音信号输出。手机1500还可配置音量按钮,用于调节声音信号的音量。另一方面,麦克风1562将收集的声音信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出至RF电路1510以发送给比如另一终端,或者将音频数据输出至存储器1520以便进一步处理。本发明中麦克风1562可以获取用户的语音。
处理器1580是手机1500的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器1520内的软件程序,以及调用存储在存储器1520内的数据,执行手机1500的各种功能和处理数据。在一些实施例中,处理器1580可包括一个或多个处理单元;处理器1580还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1580中。本发明中处理器1580可以运行操作系统、应用程序、用户界面显示及触控响应,以及本发明实施例所述的移动终端侧的电子家居设备控制方法。另外,处理器1580与显示单元1530耦接。
蓝牙模块1581,用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。
Wi-Fi属于短距离无线传输技术,手机1500可以通过Wi-Fi模块1570帮助用户收发电子邮件、浏览网页和访问流媒体等,它为用户提供了无线的宽带互联网访问。
手机1500还包括给各个部件供电的电源1590(比如电池)。电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电以及功耗等功能。手机1500还可配置有电源按钮,用于终端的开机和关机,以及锁屏等功能。
如图16所示,本发明实施例还提供一种语音控制装置,包括:
显示单元1601,用于响应用户触发的启动对显示终端的操作界面进行语音控制的指令,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;
处理单元1602,用于响应用户触发的包含所述位置标识信息的第一语音命令,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,并展示所述目标控件对应的显示页面。
可选的,所述显示单元1601具体用于:
根据所述操作界面中各个控件的分布信息,将所述操作界面中包含控件的界面区域划分为多个显示区域,并确定划分得到的各个显示区域的区域标识信息;在所述界面区域展示划分得到的显示区域以及显示区域的区域标识信息;或
将整个所述操作界面中划分为多个显示区域,并确定划分得到的显示区域以及显示区域的区域标识信息;展示将整个所述操作界面划分得到的显示区域以及显示区域的区域标识信息。
可选的,若划分得到的每个显示区域对应一个控件,则所述控件对应的位置标识信息为所述控件对应的显示区域的区域标识信息。
可选的,所述处理单元1602具体用于:
根据各个显示区域的尺寸信息,确定所述位置标识信息对应的显示区域的中心像素点的目标像素坐标信息;根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
可选的,所述显示单元1601还用于:
若划分的各个显示区域中有显示区域对应至少两个控件,在所述操作界面中展示划分后的显示区域以及显示区域的区域标识信息之后,在根据所述位置标识信息确定所述用户需要选中的目标控件之前,响应用户触发的包含所述区域标识信息的第二语音命令,将所述区域标识信息对应的显示区域划分为多个子区域;在所述显示区域中展示划分后的各个子区域以及各个子区域的位置标识信息。
可选的,所述处理单元1602具体用于:
根据各个显示区域的尺寸信息、所述位置标识信息对应的子区域在显示区域中的位置、以及所述各个子区域的尺寸信息,确定所述位置标识信息对应的子区域的中心像素点的目标像素坐标信息;根据预设的像素坐标信息与控件之间的对应关系,确定所述位目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种显示终端,其特征在于,包括麦克风、处理器和显示屏;
所述麦克风被配置为采集用户触发的启动对显示终端的操作界面进行语音控制的指令,以及采集用户触发的包含位置标识信息的第一语音命令;并将接收到的所述指令以及所述第一语音命令传输给所述处理器;
所述处理器被配置为响应所述麦克风采集的所述指令,将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息;以及响应所述麦克风采集的所述第一语音命令,根据所述位置标识信息确定所述用户需要选中的目标控件,并生成所述目标控件对应的显示页面;
所述显示屏被配置为在所述操作界面中展示划分后的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;以及展示所述目标控件对应的显示页面。
2.根据权利要求1所述的显示终端,其特征在于,所述处理器被配置为根据所述操作界面中各个控件的分布信息,将所述操作界面中包含控件的界面区域划分为多个显示区域,并确定划分得到的各个显示区域的区域标识信息;
所述显示屏被配置为在所述界面区域展示划分得到的显示区域以及显示区域的区域标识信息。
3.根据权利要求1所述的显示终端,其特征在于,所述处理器被配置为将整个所述操作界面中划分为多个显示区域,并确定划分得到的显示区域以及显示区域的区域标识信息;
所述显示屏被配置为展示将整个所述操作界面划分得到的显示区域以及显示区域的区域标识信息。
4.根据权利要求1所述的显示终端,其特征在于,若划分得到的每个显示区域对应一个控件,则所述控件对应的位置标识信息为所述控件对应的显示区域的区域标识信息。
5.根据权利要求4所述的显示终端,其特征在于,所述处理器被配置为:
根据各个显示区域的尺寸信息,确定所述位置标识信息对应的显示区域的中心像素点的目标像素坐标信息;
根据预设的像素坐标信息与控件之间的对应关系,确定所述目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
6.根据权利要求1所述的显示终端,其特征在于,所述麦克风被配置为采集用户触发的包含所述区域标识信息的第二语音命令;
若划分得到的各个显示区域中有显示区域对应至少两个控件,所述处理器被配置为将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息之后,在根据所述位置标识信息确定所述用户需要选中的目标控件之前,响应所述第二语音命令,将所述区域标识信息对应的显示区域划分为多个子区域并确定各个子区域的位置标识信息;
所述显示屏配置为在所述显示区域中展示划分得到的各个子区域以及各个子区域的位置标识信息。
7.根据权利要求6所述的显示终端,其特征在于,所述处理器被配置为:
根据各个显示区域的尺寸信息、所述位置标识信息对应的子区域在显示区域中的位置、以及所述各个子区域的尺寸信息,确定所述位置标识信息对应的子区域的中心像素点的目标像素坐标信息;
根据预设的像素坐标信息与控件之间的对应关系,确定所述目标像素坐标信息对应的控件作为所述用户需要选中的目标控件。
8.一种语音控制方法,其特征在于,该方法包括:
响应用户触发的启动对显示终端的操作界面进行语音控制的指令,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,以使所述用户根据所述显示区域与控件之间的相对位置以及所述显示区域的区域标识信息,确定需要选中的所述操作界面中的控件对应的位置标识信息;
响应用户触发的包含所述位置标识信息的第一语音命令,所述显示终端根据所述位置标识信息确定所述用户需要选中的目标控件,并展示所述目标控件对应的显示页面。
9.根据权利要求8所述的方法,其特征在于,所述显示终端将所述操作界面划分为多个显示区域,并在所述操作界面中展示划分得到的显示区域以及显示区域的区域标识信息,包括:
所述显示终端根据所述操作界面中各个控件的分布信息,将所述操作界面中包含控件的界面区域划分为多个显示区域,并确定划分得到的各个显示区域的区域标识信息;在所述界面区域展示划分得到的显示区域以及显示区域的区域标识信息;或
所述显示终端将整个所述操作界面中划分为多个显示区域,并确定划分得到的显示区域以及显示区域的区域标识信息;展示整个所述操作界面划分得到的显示区域以及显示区域的区域标识信息。
10.根据权利要求8所述的方法,其特征在于,若划分得到的各个显示区域中有显示区域对应至少两个控件,在将所述操作界面划分为多个显示区域,并确定划分得到的显示区域的区域标识信息之后,在根据所述位置标识信息确定所述用户需要选中的目标控件之前,还包括:
响应用户触发的包含所述区域标识信息的第二语音命令,将所述区域标识信息对应的显示区域划分为多个子区域并确定各个子区域的位置标识信息;
在所述显示区域中展示划分得到的各个子区域以及各个子区域的位置标识信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110282762.5A CN115145526B (zh) | 2021-03-16 | 2021-03-16 | 一种语音控制方法及显示终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110282762.5A CN115145526B (zh) | 2021-03-16 | 2021-03-16 | 一种语音控制方法及显示终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115145526A CN115145526A (zh) | 2022-10-04 |
CN115145526B true CN115145526B (zh) | 2024-06-18 |
Family
ID=83403751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110282762.5A Active CN115145526B (zh) | 2021-03-16 | 2021-03-16 | 一种语音控制方法及显示终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115145526B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107147776A (zh) * | 2017-04-14 | 2017-09-08 | 努比亚技术有限公司 | 一种语音控制的实现方法和移动终端 |
CN112165640A (zh) * | 2020-09-21 | 2021-01-01 | Vidaa美国公司 | 一种显示设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100007625A (ko) * | 2008-07-14 | 2010-01-22 | 엘지전자 주식회사 | 이동 단말기 및 그 메뉴 표시 방법 |
KR20120020853A (ko) * | 2010-08-31 | 2012-03-08 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN107168602A (zh) * | 2017-04-07 | 2017-09-15 | 深圳市金立通信设备有限公司 | 一种控制应用图标的方法及终端 |
CN111223478A (zh) * | 2018-11-27 | 2020-06-02 | 奇酷互联网络科技(深圳)有限公司 | 基于ai语音的终端控制方法、终端设备和存储介质 |
-
2021
- 2021-03-16 CN CN202110282762.5A patent/CN115145526B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107147776A (zh) * | 2017-04-14 | 2017-09-08 | 努比亚技术有限公司 | 一种语音控制的实现方法和移动终端 |
CN112165640A (zh) * | 2020-09-21 | 2021-01-01 | Vidaa美国公司 | 一种显示设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115145526A (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111050199B (zh) | 显示设备及显示设备蓝牙通信资源的调度方法 | |
CN110536008B (zh) | 一种投屏方法及移动终端 | |
CN111405338B (zh) | 一种智能画质的切换方法及显示设备 | |
CN111208969A (zh) | 一种声音输出设备的选择控制方法及显示设备 | |
CN111050198A (zh) | 显示设备及蓝牙音频设备的切换方法 | |
CN111031375B (zh) | 一种开机动画详情页的跳转方法及显示设备 | |
CN111970548B (zh) | 显示设备及调整摄像头角度的方法 | |
CN111970549B (zh) | 菜单显示方法和显示设备 | |
CN113825032B (zh) | 媒资播放方法及显示设备 | |
CN112073762B (zh) | 基于多系统显示设备的信息获取方法及多系统显示设备 | |
CN112543359A (zh) | 一种显示设备及自动配置视频参数的方法 | |
CN111176603A (zh) | 一种用于显示设备的图像显示方法及显示设备 | |
CN113452932B (zh) | 一种显示设备及显示方法 | |
CN111954059A (zh) | 屏保的展示方法及显示设备 | |
CN111542031A (zh) | 显示设备及蓝牙设备配对方法 | |
CN111669662A (zh) | 显示设备、视频通话方法及服务器 | |
CN111787364B (zh) | 媒体数据获取方法、智能电视及移动终端 | |
CN110602540B (zh) | 显示设备音量控制方法及显示设备 | |
CN111586463A (zh) | 显示设备 | |
CN114079827A (zh) | 菜单显示方法和显示设备 | |
CN113495711A (zh) | 显示设备和显示方法 | |
CN110719514A (zh) | 设备的控制方法及系统、终端 | |
CN115145526B (zh) | 一种语音控制方法及显示终端 | |
CN115623255A (zh) | 一种显示设备、终端设备及镜像投屏反控方法 | |
CN113573115B (zh) | 确定搜索字符的方法及显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |