CN117234404A - 一种设备控制方法及电子设备 - Google Patents
一种设备控制方法及电子设备 Download PDFInfo
- Publication number
- CN117234404A CN117234404A CN202210631098.5A CN202210631098A CN117234404A CN 117234404 A CN117234404 A CN 117234404A CN 202210631098 A CN202210631098 A CN 202210631098A CN 117234404 A CN117234404 A CN 117234404A
- Authority
- CN
- China
- Prior art keywords
- control
- interface
- user
- electronic device
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000006870 function Effects 0.000 claims abstract description 55
- 230000004044 response Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 26
- 210000003811 finger Anatomy 0.000 description 74
- 210000004027 cell Anatomy 0.000 description 45
- 238000004891 communication Methods 0.000 description 38
- 239000010410 layer Substances 0.000 description 27
- 238000013461 design Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000001960 triggered effect Effects 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 13
- 238000003825 pressing Methods 0.000 description 12
- 230000002452 interceptive effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Abstract
本申请提供一种设备控制方法及电子设备,能够提升用户与第二电子设备之间的交互效率与交互体验。所述方法应用于第一电子设备或能够支持第一电子设备实现功能的组件(比如芯片系统),其中,所述第一电子设备对在第二电子设备上显示的内容进行操作控制,所述方法包括:获取第一触摸点,根据所述第一触摸点属于第一触摸区域,在所述第一电子设备的第一控制界面的任意区域采用第一模式对所述第二电子设备进行操作控制;获取第二触摸点,根据所述第二触摸点属于第二触摸区域,在所述第一控制界面的任意区域采用第二模式对所述第二电子设备进行操作控制。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种设备控制方法及电子设备。
背景技术
目前,越来越多的用户选择使用大屏设备。用户可以通过与大屏设备进行交互,以满足不同的视听感受。
在用户与大屏设备交互的过程中,用户主要使用遥控器对大屏设备进行控制,需要频繁按压遥控器的按键,操作复杂,设备交互体验较差,控制效率较低。
发明内容
本申请提供一种设备控制方法及电子设备,能够提升用户与大屏设备的交互效率与交互体验。
为实现上述技术目的,本申请采用如下技术方案:
第一方面,提供了一种设备控制方法,所述方法应用于第一电子设备或能够支持第一电子设备实现功能的组件(比如芯片系统),其中,所述第一电子设备对在第二电子设备上显示的内容进行操作控制,所述方法包括:获取第一触摸点,根据所述第一触摸点属于第一触摸区域,在所述第一电子设备的第一控制界面的任意区域采用第一模式对所述第二电子设备进行操作控制;获取第二触摸点,根据所述第二触摸点属于第二触摸区域,在所述第一控制界面的任意区域采用第二模式对所述第二电子设备进行操作控制。
可以看出,用户可以方便的触发某种遥控模式,在触发该遥控模式后,用户可以在第一电子设备较大区域(如全屏)范围内进行操作控制,方便用户操作,提升用户与第二电子设备之间的交互效率与交互体验。
示例性的,以第一电子设备为手机,第二电子设备为电视,第一模式为走焦模式为例,如图6B,用户在界面10(第一控制界面)上输入操作,该操作的第一触摸点为点A,第一触摸点A属于走焦控件区域101(第一触摸区域),则手机在界面10的任意区域采用走焦模式(第一模式)对电视进行操作控制。比如,用户可以在界面10的任意区域进行滑动,手机控制电视上的显示内容进行控制。此种方案中,在用户日常使用手机的过程中,可以完成对电视上显示内容的控制,用户可以通过习惯的交互方式控制电视(比如通过操作手机来控制电视),因此,无需改动手机的握持方式及用户与手机交互的手势,并且在一些使用场景下也便于用户实现单手操作,降低了用户控制电视的学习成本。
在一种可能的设计中,所述第一触摸区域和所述第二触摸区域均属于所述第一控制界面,所述第一触摸点为第一滑动操作的起点,所述第二触摸点为第二滑动操作的起点,
所述获取第一触摸点,根据所述第一触摸点属于第一触摸区域,在所述第一控制界面的任意区域采用第一模式对所述第二电子设备进行操作控制,包括:
获取所述第一滑动操作的起点,根据所述第一滑动操作的起点属于所述第一触摸区域,在所述第一控制界面采用第一模式,对所述第二电子设备进行与所述第一滑动操作关联的操作控制;
所述获取第二触摸点,根据所述第二触摸点属于第二触摸区域,在所述第一控制界面的任意区域采用第二模式对所述第二电子设备进行操作控制,包括:
获取所述第二滑动操作的起点,根据所述第二滑动操作的起点属于所述第二触摸区域,在所述第一控制界面采用第二模式,对所述第二电子设备进行与所述第二滑动操作关联的操作控制。
示例性的,如图16B,假设第一触摸区域为走焦控件区域1807,第二触摸区域为手势控件区域1806,第一模式为走焦模式,第二模式为手势模式。用户在界面1805(第一控制界面)上输入滑动操作(第一滑动操作),该滑动操作的起点位于走焦控件区域1807,则手机在界面1805采用走焦模式,对电视进行与该滑动操作关联的操作控制。比如,响应于用户的该滑动操作,手机可以控制电视移动电视上的焦点。
类似的,若用户在界面1805(第一控制界面)上输入滑动操作(第二滑动操作),该滑动操作的起点位于手势控件区域1806,则手机在界面1805采用手势模式,对电视进行与该滑动操作关联的操作控制。比如,响应于用户的该滑动操作,手机可以控制电视滑动显示界面、缩放显示界面等。
可以看出,在不同时段,手机的界面可以处于不同的遥控模式(比如走焦模式或手势模式),走焦模式或手势模式下,用户均可以在手机的更大屏幕范围内,如整个显示界面中进行操作,以便控制电视。比如,触发走焦模式后,用户手指可以在手机全屏来回多次滑动,滑动轨迹不受限制,提升用户与设备交互操作的连续性,进而提高交互效率与交互体验。
在一种可能的设计中,所述第一触摸区域为走焦控件区域,所述第一模式为走焦模式,所述对第二电子设备进行的操作控制,包括:移动所述第二电子设备的显示界面上的焦点;
所述第二触摸区域为手势控件区域,所述第二模式为手势模式,所述对第二电子设备进行的操作控制,包括:滚动所述第二电子设备的显示界面,或者,缩放所述第二电子设备的显示界面。
用户可以通过第一电子设备对电视进行多种类型的操作控制,以便满足用户丰富的交互需求,提升交互体验。
在一种可能的设计中,所述方法还包括:
在所述走焦模式或所述手势模式下,接收在所述第一控制界面的输入操作,响应于所述输入操作,在所述第二电子设备的显示界面上执行关联的操作,所述输入操作包括以下至少一项:单击、双击和长按。
示例性的,如图23的(a),在走焦模式下,用户手指在手机界面10上上滑(上滑操作的终点位置如标记112所示),控制电视界面70上的焦点由标记702所示的电影标识移动至输入框701中。在一个示例中,如图23的(b),用户可以抬起手指,并点击界面10中的某个位置(比如点击手机屏幕中的B点),响应于用户点击B点的操作(所述输入操作的一个示例),如图23的(c),界面10中的输入框701获取焦点,且手机可以调出虚拟键盘,用户可以通过虚拟键盘在电视界面80的输入框701中输入内容。在一些应用场景中,在该走焦模式下,用户进行点击操作的范围可以设置为除功能区域109之外的任意位置,以避免用户点击操作而可能导致的对功能区域109中其他控件的误触。
在一种可能的设计中,所述方法还包括:获取所述第二电子设备的显示界面中应用程序的信息;
根据获取的所述应用程序的信息,将所述第一电子设备的所述第一控制界面切换为第二控制界面,其中,所述第二控制界面对所述第二电子设备进行操作控制的方式与所述第一控制界面不同。
在一种可能的设计中,所述方法还包括:
获取用户对所述第二电子设备进行操作控制的意图;
所述获取所述第二电子设备的显示界面中应用程序的信息,包括:
响应于所述意图,获取所述第二电子设备的显示界面的信息,所述显示界面的信息包括所述显示界面中应用程序的信息。
在一种可能的设计中,所述根据获取的所述应用程序的信息,将所述第一电子设备的所述第一控制界面切换为第二控制界面,包括:
根据获取的所述应用程序的信息,在所述第一电子设备上显示可切换界面提示;
获取与所述提示关联的选择操作,响应于所述选择操作,将所述第一控制界面切换为所述第二控制界面。
示例性的,如图14D的(a),电视上的焦点位于便签应用(假设为移动应用)的界面270上,则手机获取用户的遥控意图之后,可以显示电视界面270匹配的触控遥控器界面10。示例性的,如图14D的(b),电视上的焦点位于视频应用(假设为电视应用)的界面260上,则手机获取用户的遥控意图之后,可以显示可切换界面提示601。手机获取与提示601关联的选择操作,比如,用户点击“是”按钮(选择操作),则如图14D的(c),手机可以将触控遥控器界面10(第一控制界面的一个示例)切换至电视界面260匹配的按键遥控器界面30(第二控制界面的一个示例)。
该方案中,手机可以基于想要使用电视上某个应用的意图(比如将电视焦点移至该应用的界面上),自动为用户切换该应用匹配的遥控器界面,避免了用户通过操作诸如控件103来触发遥控器形态切换,导致的高操作复杂度。
在一种可能的设计中,所述应用程序的信息包括所述应用程序的类型。
在一种可能的设计中,所述第二控制界面为包括按键式控制组件的操作控制界面。
示例性的,手机显示图8的(b)所示界面30(第二控制界面的一个示例)。界面30为包括按键式控制组件的操作控制界面。比如,如图8的(b),界面30可以包括按键,比如包括上键301、下键302、左键303、右键304等方向键以及确认(OK)键等。
在一种可能的设计中,所述方法还包括:
获取所述第一电子设备上的界面切换事件;
响应于所述界面切换事件,将所述第一电子设备的第一控制界面切换为第二控制界面,其中,所述第二控制界面对所述第二电子设备进行操作控制的方式与所述第一控制界面不同。
示例性的,手机默认显示触控遥控器界面之后,用户可以通过一些操作,比如点击图14B所示的手机界面10中的控件103控制手机切换至按键遥控器界面。也即,响应于用户触发的界面切换事件,手机对遥控器界面的样式进行切换。
在一种可能的设计中,手机还可以在其他可能的应用场景下,控制切换遥控器形态。这类应用场景包括但不限于:用户打开某个应用。示例性的,如图15的(b),手机当前显示触控遥控器界面10(第一控制界面),假设电视的焦点位于A视频应用的图标上。手机响应于用户的点击操作,获知用户想要打开电视上的A视频应用,那么,如图15的(c),手机可以控制电视打开A视频应用,电视上可以显示A视频应用的主界面。并且,手机可以将遥控器界面10切换至A视频应用匹配的按键遥控器界面30,以便用户通过手机的按键遥控器界面30对电视上的电视应用(比如A视频应用)进行操作。该方案中,手机可以基于想要打开电视上某个应用的意图(比如通过手机界面选中电视上该应用的图标),自动为用户切换该应用匹配的遥控器界面,避免了用户通过操作诸如控件103来触发遥控器形态切换,导致的高操作复杂度。
在一种可能的设计中,所述第一控制界面包括功能区域,所述功能区域包括一个或多个功能控件,所述一个或多个功能控件在被操作时可以执行对应的一个或多个与所述第二电子设备关联的功能。
示例性的,如图5的(b),界面10(第一控制界面的一个示例)包括功能区域109,所述功能区域109包括一个或多个功能控件(比如控件102-107)。
在一种可能的设计中,在所述走焦模式或所述手势模式下,可执行所述输入操作的区域为所述第一控制界面中除所述功能区域外的区域。示例性的,如图5的(b),为了避免用户误触发功能区域109中的功能控件,用户可执行点击操作等类似操作的区域为界面10中除所述功能区域109外的区域。
在一种可能的设计中,所述方法还包括:
根据获取的用户指令显示设置界面,所述设置界面用于设置与所述第一控制界面中的第一触摸区域关联的内容。示例性的,如图24A的(b),手机显示设置界面1901。该设置界面1901可以用于设置与触控遥控器界面中的走焦控件区域关联的内容。比如,设置走焦控件区域的位置、形状、尺寸等。
在一种可能的设计中,所述内容用于指示所述第一触摸区域的如下一项或多项:区域的形状、位置、尺寸。
在一种可能的设计中,所述设置界面还用于设置与所述第一控制界面中的第二触摸区域关联的内容。
在一种可能的设计中,控制所述第二电子设备执行所述第一滑动操作对应的操作之前,所述方法还包括:
获取所述第一滑动操作的操作参数,所述操作参数包括速度、加速度、距离中的一个或多个;
根据所述第一滑动操作的起点属于所述第一触摸区域,在所述第一控制界面采用第一模式,对所述第二电子设备进行与所述第一滑动操作关联的操作控制,包括:
根据所述第一滑动操作的起点属于所述第一触摸区域,以及所述第一滑动操作的操作参数,在所述第一控制界面采用第一模式,对所述第二电子设备进行与所述第一滑动操作关联的操作控制。
示例性的,如图30的(a),用户输入滑动操作,且该滑动操作的起点位于走焦控件区域,该滑动操作的速度较快,则手机控制电视上的焦点快速的由位置405移动至位置404。此种实现方式,便于快速移动电视上的焦点。如图30的(b),用户输入滑动操作,且滑动操作的起点位于走焦控件区域,该滑动操作的速度较慢,则手机控制电视上的焦点缓慢的由位置405移动至位置406。此种实现方式,便于精准移动电视上的焦点。
在一种可能的设计中,所述方法还包括:
检测用户对所述第一电子设备的持握姿态;
根据所述持握姿态,显示所述第一控制界面,所述第一控制界面中第一触摸区域和/或所述第二触摸区域的布局方式与所述持握姿态关联。
在一种可能的设计中,若所述持握姿态为右手持握,则所述第一触摸区域和/或所述第二触摸区域被布局在所述第一控制界面的右侧;若所述持握姿态为左手持握,则所述第一触摸区域和/或所述第二触摸区域被布局在所述第一控制界面的左侧。
示例性的,如图28A,若用户右手持握手机,则走焦控件区域101被布局在界面10(第一控制界面)的右侧。在一些示例中,界面10中除功能区域109、走焦控件区域101之外的区域视为手势控件区域111。类似的,若用户左手持握手机,则走焦控件区域101和/或手势控件区域111被布局在界面10的左侧。
可选的,走焦控件区域101以及手势控件区域111可以显示在大拇指操作区域的附近。如此,用户可以通过单手操作方便的对电视进行控制。
第二方面,本申请提供一种电子设备,该电子设备具有实现如上述任意方面及其中任一种可能的实现方式中所述的设备控制方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应地软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面,本申请提供一种计算机可读存储介质。计算机可读存储介质存储有计算机程序(也可称为指令或代码),当该计算机程序被电子设备执行时,使得电子设备执行第一方面或第一方面中任意一种实施方式的方法。
第四方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行第一方面或第一方面中任意一种实施方式的方法。
第五方面,本申请提供一种电路系统,电路系统包括处理电路,处理电路被配置为执行第一方面或第一方面中任意一种实施方式的方法。
第六方面,本申请提供一种芯片系统,包括至少一个处理器和至少一个接口电路,至少一个接口电路用于执行收发功能,并将指令发送给至少一个处理器,当至少一个处理器执行指令时,至少一个处理器执行第一方面或第一方面中任意一种实施方式的方法。
附图说明
图1为本申请实施例提供的系统架构示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种电子设备的软件架构实例示意图;
图4为本申请实施例提供的另一种电子设备的结构示意图;
图5为本申请实施例提供的界面示意图;
图6A、图6B、图6C为本申请实施例提供的界面示意图;
图7-图12为本申请实施例提供的界面示意图;
图13为本申请实施例提供的设备控制方法的流程示意图;
图14A、图14B、图14C、图14D为本申请实施例提供的界面示意图;
图15为本申请实施例提供的界面示意图;
图16A、图16B、图16C为本申请实施例提供的界面示意图;
图17-图18为本申请实施例提供的界面示意图;
图19为本申请实施例提供的手机屏幕与电视屏幕之间的坐标映射示意图;
图20A、图20B为本申请实施例提供的界面示意图;
图21-图23为本申请实施例提供的界面示意图;
图24A、图24B为本申请实施例提供的界面示意图;
图25-图27为本申请实施例提供的界面示意图;
图28A、图28B为本申请实施例提供的界面示意图;
图29为本申请实施例提供的手机屏幕与电视屏幕之间的坐标映射示意图;
图30-图32为本申请实施例提供的界面示意图;
图33为本申请实施例提供的一种设备控制装置的结构示意图;
图34为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供的方法可以应用于智能家居控制系统(比如控制电视等大屏设备的系统)中。如图1示出了本申请实施例所适用的智能家居控制系统的一种示例性架构,该系统包括第一电子设备100和第二电子设备110。
其中,第一电子设备100可以是手机、平板电脑、膝上型电脑、手持计算机、笔记本电脑等设备,本申请实施例对第一电子设备的具体形态不作特殊限制。在一些示例中,第一电子设备100可以包括触摸屏,用户可以通过第一电子设备100的触摸屏输入操作信息。第一电子设备100可以向第二电子设备110发送用户的操作信息,以便控制第二电子设备100执行相应操作。示例性的,如图1,第一电子设备100接收用户的左滑操作(如标记100a所示),并向第二电子设备110发送左滑操作的信息(比如左滑操作的滑动幅度等)。在一些示例中,第二电子设备110根据左滑操作的信息,将自身的焦点110a(比如光标)向左移动。在一些示例中,可以将第一电子设备100的显示屏虚拟为遥控器,并可以使用该遥控器控制第二电子设备。
在本申请实施例中,第一电子设备100还可以被称为控制设备。
第二电子设备110可以是但不限于是智慧屏、智能电视、智能投影仪、智能显示器、车机/车载智慧屏、平板、电脑等包括屏幕的设备。第二电子设备110可以从第一电子设备100接收用户的操作信息,并根据操作信息执行相应操作。
在本申请实施例中,第二电子设备110还可以被称为被控智能设备(被控设备)或者显示设备等。
在本申请实施例中,第一电子设备100和第二电子设备110之间可以建立连接。该连接可以是基于蓝牙协议的连接,也可以是无线保真(wireless fidelity,Wi-Fi)连接,或者是其他类型的连接。本申请实施例并不限制该连接的协议标准类型。
可选的,本申请实施例的第一电子设备100、第二电子设备110可以处于同一局域网内。在另一些实施例中,第一电子设备100、第二电子设备110也可以分别处于不同局域网。
以第一电子设备100为手机为例,请参考图2,为本申请实施例提供的手机的一种示例性结构示意图。如图2所示,第一电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。
其中,上述传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L和骨传导传感器180M等传感器。
可以理解的是,本发明实施例示意的结构并不构成对第一电子设备100的具体限定。在本申请另一些实施例中,第一电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度等进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
以下实施例中的方法均可以在具有上述硬件结构的电子设备100中实现。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层系统架构(比如系统等系统)为例,示例性说明电子设备100的软件结构。
图3是本申请实施例提供的电子设备100的软件结构框图。分层架构可将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,分层系统可包括三层,从上至下分别为应用程序层(简称应用层),应用程序框架层(简称框架层),以及内核层(也称为驱动层)。
其中,应用层可以包括一系列应用程序包。例如,应用程序包可以为相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息以及桌面启动(Launcher)等应用程序。
本申请实施例涉及的应用程序可以包括遥控应用和被遥控应用。其中,遥控应用可以安装在第一电子设备(比如手机)上。
被遥控应用可以安装在第二电子设备(比如智慧屏)上。用户可以通过第一电子设备上的遥控应用,对第二电子设备上的被遥控应用进行操作。或者,在另一些示例中,被遥控应用可以安装在第二电子设备,并且显示在第二电子设备上,或者,可以通过其他方式,使得安装在其他电子设备上的被遥控应用(比如移动应用)显示/运行在第二电子设备上。或者,在另一些示例中,上述遥控和被遥控操作也可以不采用应用程序的方式实现,而是采用其他可能的形式而使得第一电子设备和第二电子设备分别实现控制和被控制。
按照应用程序支持的功能,第二电子设备上的被遥控应用可以划分为移动设备版的应用程序(简称为移动应用)、定制应用(或称原生(native)应用)、兼容版应用等。
可选的,以第二电子设备是电视为例,定制应用可以是电视版的应用程序(简称为电视(television,TV)应用或TV定制应用)。本申请实施例主要以第二电子设备为电视,定制应用为电视应用为例进行说明,在此统一说明,下文不在赘述。
可选的,移动应用可以不是为第二电子设备定制的各类型应用。比如,PC应用、平板、手机应用等。应用适配的操作系统不限,比如可以是应用、安卓应用、应用、/>等、/>应用等。
其中,以移动应用为手机应用为例,手机应用支持触屏操作(或称为触控操作),比如用户通过手机的触摸屏输入操作,控制手机应用的界面进行滑动、翻页等。虽然可以在电视上安装这类手机应用,但是,通过传统的按键遥控器通常无法操作电视上的手机应用。
可选的,触控操作包括但不限于滑动操作、点击、触摸操作等。
电视应用支持通过按键遥控器进行操作,或者支持智能语音操作。按键遥控器包括物理遥控器,或者虚拟的按键遥控器(比如图8的(b)所示,手机显示的虚拟按键遥控器)。这样的电视应用可以安装在智能电视等配备遥控器设备上。
兼容版应用,既支持触控操作,又支持通过按键遥控器进行操作。
在一些实施例中,移动应用、电视应用、兼容应用可以在不同的入口,比如,在不同界面中显示不同类型的应用。或者,各类型的应用可以在同一入口,可以通过TV、Mobile等文字或图形化角标方式区分应用的类型。
本申请实施例中,第一电子设备(比如手机)可以支持触控遥控器模式和按键遥控器模式。
其中,按键遥控器模式下,第一电子设备可以显示按键遥控器界面。以第一电子设备为手机为例,比如,手机显示图8的(b)所示界面30。界面30为包括按键式控制组件的操作控制界面。比如,如图8的(b),界面30可以包括按键,比如包括上键301、下键302、左键303、右键304等方向键以及确认(OK)键等。
用户可以通过手机界面30中的方向键控制电视执行相应操作。以手机控制电视上的焦点移动为例,通常,响应于用户点击手机界面30中方向键的操作,电视可以将焦点移动至方向键所指示的方向上,离当前焦点最近,且可获得焦点的位置。如图8的(b),假设电视上的当前焦点在电影1的标识上。用户点击手机界面30中的右键304,则手机控制电视上的焦点由电影1的标识移动至电影2的标识(电影2的标识位于电影1的标识右侧,且距离电影1的标识最近)上。用户再次点击手机界面30中的右键304,则手机控制电视上的焦点由电影2的标识移动至电影3的标识。
触控遥控器模式下,第一电子设备可以显示触控遥控器界面。以第一电子设备为手机为例,比如,手机显示图9所示界面10。界面10可以包括走焦控件区域101和手势控件区域111。
以手机控制电视上的焦点移动为例,用户可以在界面10上滑动手指,以控制电视上的焦点移动。示例性的,如图9,假设电视上的当前焦点在电影1的标识上。用户可以在界面10上输入滑动操作,若该滑动操作的触摸起点位于走焦控件区域101内,则手机的触控遥控器进入走焦模式。手机可以在界面10采用走焦模式,对电视进行与滑动操作关联的操作控制。示例性的,用户可以在界面10上滑动手指(比如沿箭头所示方向),手机可以根据用户的滑动操作,控制电视上的焦点由电影1的标识移动至电影3的标识。可以看出,与用户点击一次方向键,控制电视上的焦点移动至距离当前焦点最近的可获焦位置(比如焦点由电影1的标识移动至电影2的标识)不同,通过触控遥控器控制电视上的焦点移动,用户的滑动操作可以控制电视上的焦点直接移动至目标位置(比如焦点由电影1的标识直接移动至电影3的标识)。并且,在触控遥控器的控制方式下,电视上焦点移动的方向不再受限于方向键的方向,比如,除了上、下、左、右方向外,用户手指可以在如图9所示的界面10上按照曲线轨迹滑动,那么,电视可以根据用户手指的曲线滑动轨迹移动电视上的焦点。
以第一电子设备为手机,第二电子设备为电视为例,可选的,手机上的按键遥控器可以用于操作电视上的电视应用以及兼容应用。手机上的触控遥控器可以用于操作电视上的移动应用以及兼容应用。其中,电视应用主要支持由按键遥控器提供的按键类操作,移动应用主要支持由触控遥控器提供的触控类操作,兼容应用则可以兼顾支持按键类操作和触控类操作。
可选的,手机上的触控遥控器,还可以用于操作电视上的电视应用。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图4所示,框架层可以包括窗口管理器(window manager service,WMS)和活动管理器(activity managerservice,AMS)等。可选的,框架层还可以包括内容提供器,视图(view)系统,电话管理器,资源管理器,通知管理器等(附图未示出)。
其中,窗口管理器WMS用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。活动管理器AMS用于负责管理Activity,负责系统中各组件的启动、切换、调度及应用程序的管理和调度等工作。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。内核层是硬件和软件之间的层。内核层可以包含显示驱动,输入/输出设备驱动(例如,键盘、触摸屏、耳机、扬声器、麦克风等),摄像头驱动,音频驱动以及传感器驱动等。
其中,用户对电子设备100进行输入操作(如在触摸屏上进行滑动的操作),内核层可以根据输入操作产生响应的输入事件(如滑动事件)并向应用程序框架层上报该事件。由应用程序框架层的活动管理器AMS设置界面显示。应用程序框架层的窗口管理器WMS根据AMS的设置绘制界面,然后将界面数据发送给内核层的显示驱动,由显示驱动在屏幕显示对应的界面。
上述图3仅为第一电子设备100的软件架构的一种可能示例,并不构成对第一电子设备100软件架构的限制。可以理解,第一电子设备100的软件架构还可以为其他。比如,在分层软件架构中,还可划分为更多层或更少层,并且每个层的具体功能不做限定。
示例性的,图4示出了第二电子设备110的一种示例性结构。如图4所示,第二电子设备110包括:处理器501、存储器502、收发器503以及显示屏。处理器501、存储器502、显示屏504的实现可参见第一电子设备100的处理器、存储器的实现。收发器503,用于第二电子设备110与其他设备(比如第一电子设备100)交互。收发器503可以是基于诸如Wi-Fi、蓝牙或其他通信协议的器件。上述图4仅为第二电子设备110的结构的一种可能示例,并不构成对第二电子设备110结构的限制。
第二电子设备110的软件架构可以与第一电子设备100的软件架构相同或不同。比如,第一电子设备100、第二电子设备110均采用安卓架构。再比如,第一电子设备100采用安卓架构,第二电子设备110采用安卓架构之外的其他结构。本申请实施例并不限制第一电子设备100和第二电子设备110的软件架构的具体实现。
接下来以手机作为上述第一电子设备,电视作为上述第二电子设备为例,结合附图详细阐述本申请各实施例的技术方案。
场景一
在一种可能的实现方式中,手机接收用户的遥控意图之后,可以根据电视上运行的应用的信息,在手机屏幕上显示相适配的遥控器界面(还可以简称为遥控界面)。可选的,应用的信息包括应用的类型。
其中,手机上的遥控器界面可以包括触控遥控器的界面以及按键遥控器的界面。不同遥控器的界面对电视进行操作控制的方式不同。
为了便于描述,可以对电视上可支持的应用类型进行划分,应用类型包括移动应用、兼容应用以及电视应用。手机的触控遥控器的界面,可以用于操作电视上的移动应用以及兼容应用。可选的,手机的触控遥控器的界面,还可以用于操作电视上的电视应用。
手机的按键遥控器的界面,可以用于操作电视上的电视应用以及兼容应用。
手机接收用户对电视进行操作控制的意图(可以简称为遥控意图),可以是手机接收用户输入的语音指令(比如输入语音“打开遥控应用”),或手势指令(比如用户点击“遥控应用”的图标,或双击电源键等预设手势指令),或其他用于指示打开遥控应用的意图。其中,手势指令,可以是用户的触摸手势指令,或者隔空手势指令。比如,用户点击遥控应用的图标,以控制手机打开遥控器界面。再比如,电视发送通知消息给手机,用户点击手机的通知消息,以控制手机打开遥控器界面。再比如,电视发送通知消息给手机,手机直接弹出遥控器界面。再比如,用户手持手机,对着电视做出“招一招”手势,可以调出手机的遥控器界面。
示例性的,手机已与电视建立通信连接。如图5的(a)所示,手机显示界面20,界面20包括遥控应用的图标201。检测到用户点击图标201的操作之后,手机可以获取电视上当前显示界面中短视频应用C的类型,假设短视频应用C为移动应用,则手机可以显示与移动应用适配的遥控器界面。比如,如图5的(b),手机可以显示与移动应用匹配的触控遥控器界面10。
遥控器界面10可以包括走焦控件区域101和手势控件区域111。
其中,走焦控件区域101为遥控器界面10上可以用于触发走焦操作的区域。走焦控件区域101,还可以称为光标走焦起始区域,或者光标走焦触发区域等。在一些示例中,用户可以在界面10上输入滑动操作,若用户的滑动操作的触摸起点在走焦控件区域101中,则触发手机开启走焦模式。其中,可选的,在遥控模式切换到走焦模式的情况下,用户可以在遥控器界面10的任意区域(比如如图5的(b)的手机全屏(包括功能区域109、走焦控件区域101以及手势控件区域111)的任意位置)输入滑动操作,手机可以根据滑动操作的滑动轨迹(或者称为滑动路径),控制电视上执行走焦操作。走焦操作,包括移动光标焦点的操作。
可选的,可以以一定图形形状提示该走焦控件区域101在遥控器界面10上的范围,比如以图5的(b)所示的圆形范围提示走焦控件区域101的范围。
可选的,可以根据指纹按压区域(用于指纹解锁时输入指纹信息的屏幕区域)的位置确定走焦控件区域101的位置和尺寸。示例性的,走焦控件区域101覆盖指纹按压区域,且面积大于指纹按压区域。如此,能够在用户习惯使用的屏幕区域设置走焦控件区域101,更便于用户操作走焦控件区域101,提升用户与电子设备之间的交互效率和交互体验。
手势控件111为遥控器界面10上可以用于触发手势操作的区域。手势控件区域111还可以称为手势控制触发区域等。在一些示例中,若用户的滑动操作的触摸起点在手势控件区域111中,则触发手机开启手势模式。在遥控模式切换到手势模式的情况下,用户可以在遥控器界面10的任意区域(比如如图5的(b)所示的手机全屏(包括功能区域109、走焦控件区域101、手势控件区域111)的任意位置)输入滑动操作,手机可以根据滑动操作的滑动轨迹,控制电视执行手势控制操作。可选的,手势控制操作包括但不限于:电视上的界面滑动、界面缩放等非走焦操作。可以看出,用户可以方便的触发某种遥控模式,在触发该遥控模式后,用户可以在手机全屏进行诸如滑动操控,便于用户实现单指/单手操作。并且,由于用户可以通过单手握持、单指盲操手机,对电视上显示的内容进行控制。也就是说,在用户日常使用手机的过程中,可以完成对电视上显示内容的控制,用户可以通过习惯的交互方式控制电视(比如通过操作手机来控制电视),因此,无需改动手机的握持方式及用户与手机交互的手势,降低了用户控制电视的学习成本。
可选的,手势控件区域111可以没有控件对应的图形呈现提示,比如,如图5的(b)所示,遥控器界面10包括走焦控件区域101(通过圆形图标提示走焦控件区域101的范围)。在一个示例中,手机全屏的界面10中除了走焦控件区域101以及功能区域109(如图5的(b)的虚线框所示)之外的区域,均可视为手势控件区域111。或者,在其他实施例中,手势控件区域111可以有对应的图形呈现以提示该区域的具体范围。
可选的,触控遥控器进入走焦模式或手势模式之后,用户也可以在触控遥控器界面的指定区域进行滑动操作,以控制电视执行走焦操作或手势控制操作。仍以图5的(b)为例,触控遥控器进入走焦模式或手势模式之后,该指定区域可以是手机界面10的任意区域(包括功能区域109、走焦控件区域101、手势控件区域111),也可以是除去特定区域外的手机界面10中的其他区域范围,如除去功能区域109的区域范围。
在一些实施例中,除了走焦模式以及手势模式,可选的,触控遥控器还可以支持其他遥控模式(比如点击模式)。可选的,仍如图5的(b),为了防止用户误触功能区域109中的功能控件(比如控件103),在点击模式下,用户可以在遥控器界面10中除了功能区域109之外的区域上输入点击操作,手机可以响应该点击事件,并控制电视执行该点击事件关联的动作,比如控制电视选中电视上某个应用的图标。
可选的,点击操作包括但不限于以下至少一项:单击、双击和长按。
或者,可选的,手机可以屏蔽功能区域109,使得功能区域109中的功能控件临时失效或隐藏功能区域109中的功能控件,如此,用户可以在包括功能区域109的手机全屏区域进行点击操作。示例性的,如图6C,检测到用户想要控制触控遥控器进入点击模式的意图(比如手指抬离手机屏幕)时,手机可以隐藏功能区域109中的功能控件的图标,或使得功能区域109中的功能控件临时失效。或者,在检测到手机界面进入走焦模式或手势模式时,即隐藏功能区域109,或使得功能区域109临时失效。那么,用户可以在包括功能区域109的手机全屏区域的任意位置进行点击操作。手机可以响应该点击事件,控制电视执行该点击事件关联的动作。之后,如果在某个时刻识别到用户需要选择功能区域109中某个图标的意图,则重新呈现功能区域109,或者使得功能区域109重新生效。
在点击模式下,光标的位置通常不会被移动。用户可以在设定区域内的任意位置进行点击,使得光标所在位置的输入控件(比如输入框)获取焦点(可以简称为获焦)进入文本输入态。比如,假设在走焦模式下,用户通过在手机屏幕上滑动手势,控制电视上的光标被移至遥控器界面的输入框1中。后续,用户可以将手指抬离手机屏幕,并可以在全屏的任意位置进行点击(相当于触发了点击模式),响应于用户的点击操作,输入框1获取焦点。用户可以在遥控器界面的输入框1中输入文本。
可选的,点击模式也可以支持多指手势控制、单击、双击、长按等操作。单击操作,可以是单个或多个指关节单击,或者手指的单击操作。双击操作,可以是单个或多个指关节双击,或者手指的双击操作等。
在一些实施例中,上述手势模式、走焦模式可以兼容点击模式。以走焦模式为例,如图10的(c),在走焦模式下,用户手指在手机屏幕上滑动,以便控制电视上的焦点(比如光标)进行移动。在走焦模式下,在将光标移至目标位置,比如由电影1的标识移至电影3的标识之后,用户可以将手指台离手机屏幕,并在手机界面10中除功能区域109之外的任意区域进行点击(相当于触发了点击模式)。响应于用户的点击操作,手机确定用户想要打开电影3的界面,则可以指示电视打开电影3的界面。
需要说明的是,上述遥控模式的划分以及各遥控模式的名称还可以有其他实现方式,这里不做限制。
示例性的,如图18的(a),电视上显示邮件应用(移动应用)的界面40,电视上的光标位置如标记401所示。手机上显示移动应用匹配的触控遥控器界面10。
后续,如图18的(b),用户的手指触摸手机界面10中的走焦控件区域101,触发界面10进入走焦模式。在走焦模式下,用户可以在界面10上沿着如图所示轨迹(起点位置如标记1031)滑动手指,滑动轨迹的终点位置如标记1021所示。响应于用户手指在界面10上的滑动操作,手机向电视发送滑动操作的信息(比如滑动轨迹,滑动轨迹的起始点、终点),电视根据滑动操作的信息移动光标(将光标由位置401移动至402)。
在一些实施例中,可选的,如图5的(b),遥控器界面10还可以包括功能区域109(如图5的(b)的虚线框所示),功能区域109可以包括一个或多个功能控件(比如控件102-控件107)。一个或多个功能控件在被操作时可以执行对应的一个或多个与电视关联的功能。
其中,控件104,用于切换遥控器界面10的控件布局方式。布局方式包括但不限于:里外布局、上下布局或左右布局等。示例性的,里外布局比如可以是如图5的(b)所示的布局方式,走焦控件区域101位于界面10的圆形范围里,手势控件区域111位于圆形范围外(且不包括功能区域109)。左右布局比如可以是图16A所示的布局方式,走焦控件区域1807位于界面1805的左侧,手势控件区域1806位于界面1805的右侧。
控件103,用于切换遥控器界面的显示样式(或称显示形态)。显示样式包括但不限于触控遥控器的样式、传统按键遥控器的样式。
控件102,用于设置遥控器的功能。
控件106,用于显示遥控相关的常用菜单功能。例如,检测到用户点击手机界面10上控件106的操作,手机可以控制电视显示当前所播放视频的进度条、清晰度(比如高清)等。用户手指可以在手机界面10上进行诸如滑动操作,以调节电视上的视频进度。或者,用户手指可以在手机界面10上进行滑动、点击,以选择新的视频清晰度(比如超高清)。
控件105,用于显示/隐藏遥控相关的其他功能。如图5的(b),检测到用户的诸如点击控件105的操作(或作用于控件105的下滑操作等),手机可以显示如图6A的(a)所示的截屏功能105a以及录屏功能105b。手机还可以显示遥控相关的其他功能。
可选的,如图6A的(a),检测到用户再次点击控件105时,手机可以隐藏遥控相关的功能选项,比如,当检测到用户再次点击图6A的(a)所示的控件105时,如图6A的(b)所示,手机仅显示控件105,不再显示截屏等功能选项。
控件107,用于返回被遥控设备的主页(home页)。
再示例性的,如图7的(a),手机显示界面20,界面20包括遥控应用的图标201。检测到用户点击图标201的操作之后,手机可以获取电视上当前运行的邮件应用的类型,假设邮件应用为移动应用,则手机可以显示与移动应用适配的遥控器界面。比如,如图7的(b),手机可以显示与移动应用匹配的触控遥控器界面10。
该方案中,在接收到用户的遥控意图时,手机可以根据电视上运行的应用的类型,自动切换至该应用匹配的遥控器界面,降低了用户操作的复杂度,有助于提升设备控制效率。
以电视上运行的应用为电视应用举例,示例性的,如图8的(a)所示,手机显示界面20,界面20包括遥控应用的图标201。检测到用户点击图标201的操作之后,手机可以获取电视上当前运行的视频应用A的类型,假设视频应用A为电视应用,则手机可以显示与电视应用适配的遥控器界面。比如,如图8的(b),手机可以显示与移动应用匹配的按键遥控器界面30。按键遥控器界面30的具体设计方式可以参见相关技术,这里不再赘述。
或者,在另一些实施例中,在触控遥控器也支持操作电视应用的情况下,用户可以通过触控遥控器控制电视上的电视应用的相关操作。示例性的,如图8的(b)所示,电视上显示视频应用A的界面,手机上显示按键遥控器的界面30。检测到用户的切换意图(比如点击控件103的操作)之后,手机切换至如图9所示的触控遥控器的界面10。如此,用户可以通过手机的触控遥控器的界面10对电视上的视频应用A进行相关控制。此遥控器界面切换方式,用户可以根据使用习惯,自由的选择想要使用的遥控器界面,并通过手机上的遥控器界面便捷的对电视进行控制,有助于提升用户与设备之间的交互效率和交互体验。
或者,在另一些实施例中,若电视上在前台运行的应用是电视应用,则手机可以弹出提示框,该提示框可以用于用户选择触控遥控器或者按键遥控器。若检测到用户选择触控遥控器的选项,则手机可以显示触控遥控器的界面,反之,若检测到用户选择按键遥控器的选项,则手机可以显示按键遥控器的界面。
或者,在另一些实施例中,若手机确定电视上当前运行的应用是电视应用,则手机可以根据用户历史上通过手机控制电视应用的信息,确定用户的操作偏好,并根据用户的操作偏好显示相应的遥控器界面。
比如,根据用户的历史操作信息,手机确定用户更偏好使用手机的触控遥控器控制电视上的电视应用。那么,后续,当检测到用户的遥控意图(用于控制电视上的电视应用)时,手机可以显示触控遥控器的界面,以便用户能够通过最习惯、舒适的操作方式进行设备控制,提升用户的交互体验。
以电视上运行的应用是兼容应用举例,示例性的,如图10的(a)所示,手机显示界面20,界面20包括遥控应用的图标201。检测到用户点击图标201的操作之后,手机可以获取电视上当前运行的视频应用B的类型,假设视频应用B既支持通过触控遥控器进行操作,又支持通过按键遥控器进行操作(意味着视频应用B是兼容版的应用),则手机可以显示如图10的(b)所示弹窗202,用于提示用户选择遥控器的形态。
在一些示例中,若检测到用户点击“触控遥控器”选项,则手机可以显示如图10的(c)所示的触控遥控器界面10。若检测到用户点击“按键遥控器”选项,则手机可以显示如图8的(b)所示的按键遥控器界面30。
可选的,自手机弹出图10的(b)所示弹窗202开始,若一段时间内,手机没有检测到用户点击“触控遥控器”或“按键遥控器”的操作,则手机默认显示诸如图10的(c)所示的触控遥控器界面10。如此,用户可以通过触控遥控器界面10,快速、方便的控制电视上的应用相关操作。
或者,在另一些实施例中,若手机确定电视上当前运行的应用是兼容应用,则手机可以根据用户历史上通过手机控制电视上兼容应用的信息,确定用户的操作偏好,并根据用户的操作偏好显示相应的遥控器界面。
图10主要以手机弹出弹窗202为例提示用户选择遥控器形态,在另一些实施例中,手机还可以提供其他用于选择遥控器形态的入口。比如,如图11的(a)所示,手机显示界面20,界面20包括遥控应用的图标201。检测到用户长按图标201的操作,手机可以弹出快捷卡片202,用于提示用户选择遥控器形态。在一些示例中,检测到用户点击“触控遥控器”选项的操作之后,手机可以显示如图11的(b)所示的触控遥控器界面10。
在另一些实施例中,在电视中当前运行的应用为兼容应用时,手机可以默认显示能够兼容更多应用类型的触控遥控器界面,使得用户可以方便快捷的对电视进行控制。后续,接收到用户的切换遥控器形态的操作时,手机根据该操作切换遥控器形态。示例性的,如图12的(a),检测到用户点击遥控应用的图标201时,手机根据电视上运行的视频应用B的类型(兼容版的应用),默认显示如图12的(b)所示的触控遥控器界面10。检测到用户点击控件103的操作,手机确定用户想要切换遥控器的形态,则手机可以将遥控器界面由图11的(b)所示的触控遥控器界面10切换至如图12的(c)所示的按键遥控器界面30。
需要说明的是,手机还可以为用户提供用于选择遥控器形态的更多入口和方式,本申请实施例对此不做限制。
图13示出了本申请实施例的设备控制方法的示例性的流程图。以电视为第二电子设备,手机为第一电子设备为例,如图13,该方法包括:
S101、手机与电视建立连接。
可选的,手机与电视之间可以建立基于蓝牙协议的连接,或者建立Wi-Fi连接,或者建立其他类型的连接。
S102、电视获取第一应用的类型。
其中,第一应用可以是电视上当前运行/显示的应用。
示例性的,如图12的(b)所示,第一应用可以是电视上正在显示的视频应用B。
S103、电视向手机发送第一应用的类型。
S104、手机根据第一应用的类型,显示遥控器界面。
可以理解,由于电视上的不同类型应用支持不同的操作,因此,手机可以根据电视上第一应用的类型,显示与第一应用匹配的遥控器界面,以便通过该遥控器界面更好的控制电视上第一应用的相关操作。
示例性的,如图12的(b),电视上当前显示视频应用B的界面,则为了便于操作视频应用B,手机根据视频应用B的类型(比如类型是移动应用),显示与视频应用B匹配的遥控器界面10,以使得用户可以方便、快捷的控制电视上的视频应用B的相关操作。
上述方案中,手机可以自动识别电视上应用的类别,并自动切换遥控器形态。也就是说,用户打开电视上的任意应用,手机的虚拟遥控器可以随即自动的被切换为对应的控制形态。如此,能够减少用户手动切换遥控器形态的概率,提升用户与电视进行交互的体验与交互效率。在一些场景中,用户无需手动切换遥控器的形态,也就是,可以提供用户无感的遥控体验,提升交互效率与交互体验。
上述主要以电视上当前在前台运行并显示的应用个数为一个为例,在另一些实施例中,电视上在前台运行并显示的应用个数也可以为多个。
此种情况下,作为一种可能的实现方式,考虑到触控遥控器可以支持对多种类型应用进行操作,手机可以在接收用户的遥控意图之后,默认显示触控遥控器的界面。示例性的,如图14A,假设电视开机后显示界面250,并向手机发送通知消息,通知手机打开遥控器。手机接收到通知消息后,根据电视界面250上显示的多个应用的应用图标(比如电子邮件、A视频应用),显示触控遥控器的界面10。如此,用户可以通过手机界面10对电视上的应用进行操作,比如选中电子邮件应用的图标,或选中A视频应用的图标。
可选的,手机默认显示触控遥控器界面之后,用户可以通过一些操作,比如点击图6A的(b)所示的控件103控制手机切换至按键遥控器界面。
作为另一种可能的实现方式,电视上运行/显示有多个应用时,在接收用户的遥控意图之后,默认显示触控遥控器的界面。后续,用户可以通过诸如点击控件103,控制手机切换至按键遥控器。
作为另一种可能的实现方式,手机还可以统计用户在不同场景中的遥控器偏好,在目标场景中显示相应的遥控器界面。比如,在开机场景中,用户偏好使用触控遥控器,则在电视显示开机界面时,手机相应显示触控遥控器界面。
作为另一个示例,电视界面上也可以是显示多个应用的应用界面,例如,分屏显示电子邮件和A视频应用的应用界面。
此情形下,作为一种可能的实现方式,当获知电视上以分屏方式显示多个应用对应的界面时,手机可以默认显示触控遥控器界面,以便于对电视上的多种类型应用进行操作。示例性的,如图14B,电视以分屏方式显示视频应用的界面260以及便签应用的界面270。那么,获取到用户的遥控意图之后,手机根据电视上显示的多个应用的界面,可以默认显示触控遥控器界面10,用户可以通过触控遥控器界面10控制电视。
可选的,手机默认显示触控遥控器界面之后,用户可以通过一些操作,比如点击图14B所示的手机界面10中的控件103控制手机切换至按键遥控器界面。也即,响应于用户触发的界面切换事件,手机对遥控器界面的样式进行切换。
作为另一种可能的实现方式,当获知电视上以分屏方式显示多个应用对应的界面时,手机可以获取电视上的焦点位置,并根据电视上的焦点位置确定切换至触控遥控器或按键遥控器。示例性的,如图14C的(a),电视上的焦点位于便签应用(假设为移动应用)的界面270上,则手机获取用户的遥控意图之后,可以切换至便签应用的界面270匹配的触控遥控器界面10。示例性的,如图14C的(b),电视上的焦点位于视频应用(假设为电视应用)的界面260上,则手机获取用户的遥控意图之后,可以切换至视频应用的界面260匹配的按键遥控器界面30。
在另一些实施例中,手机在切换遥控器形态之前,可以询问用户是否同意切换遥控器形态。示例性的,如图14D的(a),电视上的焦点位于便签应用(假设为移动应用)的界面270上,则手机获取用户的遥控意图之后,可以显示便签应用的界面270匹配的触控遥控器界面10。示例性的,如图14D的(b),电视上的焦点位于视频应用(假设为电视应用)的界面260上,则手机获取用户的遥控意图之后,可以显示可切换界面提示601。手机获取与提示601关联的选择操作,比如,用户点击“是”按钮,则如图14D的(c),手机可以将触控遥控器界面10切换至电视界面260匹配的按键遥控器界面30。
在另一些示例中,手机还可以在其他可能的应用场景下,控制切换遥控器形态。这类应用场景包括但不限于:用户打开某个应用。示例性的,如图15的(a)用户通过手机界面10对电视上的邮件应用进行操作。之后,用户可以通过手机界面10控制电视上的邮件应用关闭。比如,用户手指从手机的屏幕边缘(比如从屏幕左边缘)滑向屏幕中间,手机将该操作信息发送给电视,以控制电视退出当前显示的邮件应用,电视可以返回图15的(b)所示桌面,该桌面包括电子邮件应用的图标和A视频应用的图标。用户还可以通过其他方式控制电视跳转回桌面,本申请实施例对此不做限制。
如图15的(b),在走焦模式下,用户可以在手机界面10上滑动手指,以控制电视上的焦点移动至A视频应用的图标上。
电视上的焦点移至A视频应用的图标上之后,用户可以将手指抬离手机屏幕,并在界面10(比如界面10上除功能区域109之外的区域)上进行点击(相当于触发了点击模式)。响应于用户的点击操作,手机确定用户想要打开电视上的A视频应用(假设是电视应用)。那么,如图15的(c),手机可以控制电视打开A视频应用,电视上可以显示A视频应用的主界面。并且,手机可以将遥控器界面切换至A视频应用匹配的按键遥控器界面30,以便用户通过手机的按键遥控器界面30对电视上的电视应用(比如A视频应用)进行操作。该方案中,手机可以基于想要打开电视上某个应用的意图(比如通过手机界面选中电视上该应用的图标),自动为用户切换该应用匹配的遥控器界面,避免了用户通过操作诸如控件103来触发遥控器形态切换,导致的高操作复杂度。
可选的,在一些示例中,在手机显示触控遥控器界面的情况下,用户对手机的一些操作可以用来控制电视。比如,手机显示图6A的(b)所示界面10的情况下,用户调节手机的音量键,手机可以将用户的调节音量操作发送给电视,以便控制电视调节音量。
再比如,手机显示图6A的(b)所示界面10的情况下,用户手指从手机屏幕的边缘向屏幕中间滑动,手机可以将用户的该滑动操作发送给电视,以控制电视返回/退出电视上的应用。
可以看出,上述过程中,用户可以方便的触发手机进入相应遥控模式(比如走焦模式或手势模式),在触发相应遥控模式后,用户可以在手机的全屏进行诸如滑动操作,便于用户通过单手持握、单指操作手机来控制电视(比如控制电视上显示相应内容),提升用户的电视之间的交互效率和交互体验。
可以理解的,图13示出的方法流程图可以适用于手机需要支持多种不同形态的遥控器界面的情形,而在某些场景下,如电视上安装的应用均可以支持触控遥控器界面,或者该触控遥控器界面的功能设计以足够实现对电视上所安装的应用的控制时,也可以不执行图13中所涉及的基于应用类型调取相应遥控器界面形态的操作,而直接基于用户发起的控制意图,在手机上打开确定的遥控器界面。
场景二
该场景中,手机的虚拟遥控器为触控遥控器形态。触控遥控器的遥控器界面可以支持多种遥控模式,比如手势控制模式(可以简称为手势模式)、点击事件响应模式(可以简称为点击模式)以及光标走焦模式(可以简称为走焦模式)。作为一种可能的实现方式,触控遥控器可以在不同时间段内开启不同的遥控模式。也就是说,遥控器界面在第一时间段内开启点击模式,在第二时间段内开启手势模式,在第三时间段内开启走焦模式。
可选的,本申请实施例提供如下多种切换遥控模式的方法:
a)通过单个切换控件切换遥控模式:
1)遥控器界面包括特定的切换控件,用户通过点击该切换控件,可以控制触控遥控器在多种模式之间循环切换。
比如,用户某次点击切换控件,触控遥控器切换至走焦模式,下一次点击该切换控件,触控遥控器切换至手势模式,以此类推。
再比如,如图17的遥控器界面1810所示,界面1810包括循环切换控件1809。控件1809用于触控遥控器在走焦模式与手势模式之间循环切换。
示例性的,检测到用户某次点击控件1809的操作之后,触控遥控器切换至走焦模式,并保持在走焦模式。用户可以在手机屏幕的区域1808(也可以穿透功能区域109)滑动手指,意味着用户手指可以在手机的全屏上进行操作,以便控制电视上的焦点进行移动。
直至用户再次点击控件1809,触控遥控器切换至手势模式,并保持在手势模式。用户可以在手机屏幕的区域1808(也可以穿透功能区域109)滑动手指,意味着用户手指可以在手机的全屏上进行诸如滑动等操作,以便控制电视上的界面进行滚动。
可以理解的,当用户点击控件1809以使得触控遥控器进入走焦模式或手势模式后,即使用户在该走焦模式或手势模式下穿过点击控件1809所覆盖区域,例如以持续性的滑动操作方式,也不会触发模式切换,除非用户在进行滑动操作时停留在点击控件1809所覆盖区域,并在该区域再次进行点击操作。
可选的,走焦模式、手势模式均可以兼容点击模式。
2)遥控器界面包括特定的切换控件,用户可以对该切换控件进行不同的按压操作,以触发遥控模式切换。比如,短按该切换控件可以触发触控遥控器切换至走焦模式,长按该切换控件可以触发触控遥控器切换至手势模式。
b)通过多个切换控件切换遥控模式:
1)该遥控模式切换方式可以称为临时启用方式,触控遥控器默认处于点击模式,当用户触摸遥控器界面中的某个切换控件时,临时启用对应的遥控模式。启用该遥控模式后,用户手指可以持续在遥控器界面上滑动,当用户手指抬离屏幕,该遥控模式结束,触控遥控器恢复至点击模式。
例如,如图6B,假设触控遥控器默认处于点击模式,当用户在遥控器界面10中输入滑动操作,且滑动操作的触摸起点位于走焦控件区域101时,触发触控遥控器切换至走焦模式。用户手指可以继续在手机屏幕上滑动,以控制电视上光标的持续走焦。比如,用户手指可以沿着图6B所示轨迹,由下向上,穿透功能区域109,再由上向下穿过走焦控件区域101,再穿过手势控件区域111。期间,只要用户手指不抬离屏幕,则触控遥控器一直保持在走焦模式。可以看出,触发走焦模式后,用户手指可以在手机全屏来回多次滑动,滑动轨迹不受限制,提升用户与设备交互操作的连续性,进而提高交互效率与交互体验。
之后,当用户手指抬离手机屏幕后,触控遥控器自动恢复默认的点击模式。
之后,用户可以点击如图6B所示遥控器界面10中的手势控件区域111,触发触控遥控器切换至手势模式。用户手指可以在手机屏幕上滑动,以控制电视上的界面滚动。当用户手指抬离手机屏幕后,触控遥控器自动恢复默认的点击模式。在该示例中,走焦控件区域101和手势控件区域111即对应于两个切换控件。
再例如,如图16B的(a),触控遥控器界面1805包括走焦控件区域1807和手势控件区域1806。其中,走焦控件区域1807用于触发触控遥控器界面进入走焦模式,手势控件区域1806用于触发触控遥控器进入手势模式。假设触控遥控器默认处于点击模式,当用户点击遥控器界面1805中的走焦控件区域1807时,触发触控遥控器切换至走焦模式。用户手指可以在手机屏幕上滑动。比如,用户手指可以沿着图16B的(a)所示轨迹,由左向右,穿透手势控件区域1806,再由下向上穿过区域1808,再穿过功能区域109。之后,用户手指还可以由上向下到达区域1808。期间,用户手指可以连续滑动,只要用户手指不抬离屏幕,则触控遥控器一直保持在走焦模式。当用户手指抬离屏幕,结束走焦模式。此后,用户想要控制电视上的光标走焦时,如图16B的(b),需要重新点击走焦控件区域1807,以触发走焦模式。在该示例中,走焦控件区域1807和手势控件区域1806即对应于两个切换控件。
2)该遥控模式切换方式可以称为保持启用方式。用户对切换控件进行操作(比如点击或单指触摸)后,触控遥控器一直保持该切换控件对应的遥控模式。该遥控模式下,用户手指可以抬离屏幕,用户手指抬离屏幕并不导致当前遥控模式结束。直至用户点击其他切换控件,手机结束当前遥控模式,并将触控遥控器的遥控模式切换至相应遥控模式。
比如,如图16C的(a)的遥控器界面1805所示,遥控器界面1805包括走焦控件区域1807和手势控件区域1806。可选的,触控遥控器默认处于点击模式。响应于用户在图16C的(a)的所示遥控器界面1805中输入滑动操作,且滑动操作的触摸起点位于走焦控件区域1807,手机触发触控遥控器切换至走焦模式,且触控遥控器一直保持在走焦模式。用户可以在手机屏幕上(比如功能区域109和区域1808(即全屏)的任意位置)继续滑动手指,以控制电视上的光标移动。比如,用户手指可以沿着图16C的(a)所示轨迹,由左向右,穿透区域手势控件区域1806,再由下向上穿过区域1808,再穿过功能区域109。之后,用户手指还可以由上向下到达区域1808。
此种实现方式中,用户手指可以抬离屏幕,触控遥控器仍保持在走焦模式,用户无需再次点击走焦控件区域1807来触发走焦模式。如图16C的(b),用户将手指抬离手机屏幕后,可以通过手指继续在手机屏幕上滑动,触控遥控器仍处于走焦模式。直至用户点击手势控件区域1806,手机将触控遥控器的遥控模式切换至手势模式。在手势模式下,用户可以在手机屏幕上多次进行手指滑动,以便对电视进行持续的手势控制。期间,即使手指多次抬离手机屏幕,触控遥控器仍处于手势模式。
作为一种可能的实现方式,走焦模式可以兼容点击模式,即,在触控遥控器处于走焦模式的情况下,手机可以响应于用户的走焦操作(比如滑动操作),并根据用户的走焦操作控制电视进行走焦,手机还可以响应于用户的点击操作,并控制电视执行点击事件对应的操作(比如选中某个应用的图标)。类似的,手势模式可以兼容点击模式。
需要说明的是,此种方式中,用于触发走焦模式或手势模式的操作,可以是滑动操作或其他操作(比如点击、触摸操作等)。比如,如图16A,用户可以以走焦控件区域1807范围内的某个触摸点作为起点输入滑动操作的起点,该滑动操作可以触发走焦模式。或者,用户可以点击走焦控件区域1807,以触发走焦模式。之后,手指抬离手机屏幕,并在诸如走焦控件区域1807之外的区域输入滑动操作。
c)通过单个物理按钮切换遥控模式:
1)用户可以单击手机等控制设备的物理按键,如,手机作为触控板时,点击手机的电源键,以控制手机的触控遥控器在多种模式之间循环切换。其他形态的硬件设备作为触控板时,可能有其他类型的物理按键。
2)用户可以对同一个物理按键进行不同的按压操作,以便控制触控遥控器进行遥控模式的切换,如,短按电源键触发走焦模式,长按电源键或快速多次点击电源键等方式触发不同于走焦模式的遥控模式。
d)通过多个物理按钮切换遥控模式:
1)用户可以按压不同物理按键,以触发触控遥控器临时启用对应的遥控模式。如,用户点击音量加键,触发触控遥控器临时切换至走焦模式。用户点击音量减键,触发触控遥控器临时切换至手势模式。此种遥控模式切换方式可称为临时启动方式,临时启用方式的详细介绍可参见前述实施例,不再赘述。
2)用户可以按压不同物理按键,以触发触控遥控器启用对应的遥控模式,直至对应其他遥控模式的按键被按压,手机切换到另外一种遥控模式。如,用户点击音量加键,以触发触控遥控器切换并保持在走焦模式,直至用户点击音量减键,触发触控遥控器切换并保持在手势模式。此种遥控模式切换方式可称为保持启用方式,保持启用方式的详细介绍可参见前述实施例,不再赘述。
可选的,通过物理按键触发遥控模式切换的场景中,上述提及的手势控件区域可以没有控件对应的图标,比如,如图24的(c)所示,遥控器界面1801包括走焦控件区域101的图标(圆形)。在一个示例中,界面1801中除了走焦控件区域101以及功能区域109(如图24的(c)的虚线框所示)之外的区域,均可视为手势控件区域。
或者,可选的,在某些场景中,比如通过特定手势、物理按键等方式触发切换遥控模式的情况下,走焦控件区域也可以没有控件对应的图标。
e)通过组合键切换遥控模式:用户可以通过手机等控制设备的多个模式按钮(比如界面中的虚拟按钮)或者物理按钮组合切换。如,用户可以通过按压电源键和音量加键,触发触控遥控器切换至走焦模式,用户通过按压电源键和音量减键,触发触控遥控器切换至手势模式。
f)通过一个或多个触控手势切换遥控模式:比如用户单指在手机的触控遥控器的界面上划一个“8”字手势,实现触控遥控器多种遥控模式之间的循环切换。或者,可以设置多个特定手势,该多个手势与触控遥控器的多种遥控模式之间一一对应,从而通过某个手势可以控制触控遥控器切换至相应的遥控模式。
g)通过摄像头识别手势,并控制切换遥控模式:通过控制设备或被控设备的摄像头,智能识别用户的手势,以触发遥控模式的切换。如,用户对着摄像头摆出手势,以触发触控遥控器在多种模式之间的循环切换。再比如,不同手势可以与触控遥控器的多种遥控模式之间一一对应,用户可以通过相应手势控制遥控模式的快捷切换。
h)通过控制设备可感知的运动姿态控制切换遥控模式:用户握住控制设备(比如手机),通过特定的摇动、摆动、划出特定符号等方式,触发触控遥控器切换遥控模式。
比如,用户通过“摇一摇”手势,触发触控遥控器在多种遥控模式之间的循环切换。再比如,不同手势可以与触控遥控器的多种遥控模式之间一一对应,用户可以通过相应运动姿态控制遥控模式的快捷切换。
i)通过语音控制切换遥控模式:通过控制设备或者被控设备语音控制触控遥控器进行遥控模式的切换。
上述仅是对遥控模式切换方式的几个举例,切换遥控模式的方式还可以为其他,本申请实施例对此不做限制。
作为一种可能的实现方式,可以将手机屏幕中的点与电视屏幕中的点建立关联关系。这样一来,电视从手机接收到滑动轨迹的信息之后,可以根据滑动轨迹的信息以及上述关联关系,确定滑动轨迹在自身屏幕上对应的位置。示例性的,图19的(a)示出了电视屏幕的坐标系,图19的(b)示出了手机屏幕(比如竖屏状态)的坐标系。手机屏幕上的点1021对应电视屏幕上的点402,手机屏幕上的点1031对应电视屏幕上的点401。如此,电视从手机接收到滑动轨迹的信息之后,可以根据滑动轨迹的信息以及手机屏幕坐标与电视屏幕坐标之间的关联关系,将光标由图18的(a)所示的位置401移动至如图18的(b)所示的位置402。
应理解,图19仅示出了手机在某个状态(比如竖屏)下的屏幕坐标与电视屏幕坐标之间的关联关系,还可以确定手机在其他状态(比如横屏)下的屏幕坐标与电视屏幕坐标之间的关联关系。
相比于通过按键遥控器控制电视,需要多次按压上键、右键等才能将电视上的焦点移动至目标位置,用户的操作复杂度较高,本申请实施例的技术方案,用户可以在手机上进行简单的滑动操作,就可以触发手机对电视上的焦点进行移动,降低了实现走焦意图的操作复杂度,能够提升交互效率。
作为一种可能的实现方式,手机可以将实时的滑动轨迹信息发送给电视,电视根据滑动轨迹信息,实时更新焦点位置。示例性的,如图20A的(a),电视上显示邮件应用(移动应用)的界面40,电视上的光标位置如标记401所示。手机上显示移动应用匹配的触控遥控器界面10。
假设用户想要将电视上的焦点由图20A的(a)所示的位置401移动至“账号*”后方输入框的字母y后面,如图20A的(b),用户的手指触摸手机界面10中的走焦控件区域101,触发界面10进入走焦模式。在走焦模式下,用户可以在手机界面10上沿着如图所示轨迹滑动手指,手机可以将滑动轨迹的信息发送给电视。电视根据用户的滑动轨迹的信息,显示光标的实时位置。比如,图20A的(b)中,电视在界面40中显示光标的实时位置403。
用户可以查看电视上光标的实时位置,以便获知电视上的光标是否被移动至目标位置。如图20A的(b)的电视界面40所示,电视上的光标(位于位置403)未移动至目标位置(即“账号*”后方输入框的字母y后面),则如图20A的(c)所示,用户可以继续在手机界面10上进行滑动,并观察电视上焦点的位置变化,直至电视上的光标被移至目标位置404,此次走焦操作结束。
可选的,在界面40的不同位置处,光标的用户界面(user interface,UI)样式可以不同。比如,如图20A的(a),位置401处的光标呈现为竖线形态,如图20A的(b),位置403处的光标呈现为圆点形态。
再示例性的,如图20B的(a),电视上的光标位置如标记407所示。如图20B的(b)所示,在走焦模式下,响应于用户手指在手机界面10上的滑动操作,电视上的焦点由位置407移动至位置408。
本申请实施例的技术方案,用户可以随意的在手机屏幕上进行滑动等操作,同时用户眼睛可以看着电视屏幕,即,上述方案能够实现手眼分离的盲操作,提高了操作的便利性。
再示例性的,如图21的(a),电视显示视频应用B(假设是移动应用)的界面50,手机显示与移动应用匹配的触控遥控器界面10。如图21的(b),检测到用户触摸手势控件区域111的操作,手机控制触控遥控器进入手势模式。触控遥控器处于手势模式的情况下,如图21的(b),用户手指可以在手机界面10上进行上滑,手机可以将用户的上滑操作的轨迹信息发送给电视。电视根据上滑操作的轨迹信息,控制界面上滑,并显示上滑后的界面60。
再示例性的,如图22的(a),电视显示图库应用(假设是移动应用)中的图片230,手机显示与移动应用匹配的触控遥控器界面10。检测到用户滑动操作的触摸起点位于手势控件区域111范围内,则手机可以控制触控遥控器进入手势模式。触控遥控器处于手势模式的情况下,如图22的(b),用户手指可以在手机界面10上进行缩放操作(比如通过双指对向滑动放大图片),手机可以将用户的缩放操作的信息发送给电视。电视根据缩放操作的信息,控制电视上的图片进行缩放,并显示缩放后的图片240。
在一些实施例中,用户还可以通过手机界面上的虚拟键盘向电视输入文字等内容。示例性的,如图23的(a),在触控遥控器处于走焦模式的情况下,用户通过在手机界面10上上滑(上滑操作的终点位置如标记112所示),控制电视界面70上的焦点由标记702所示的电影标识移动至输入框701中。在一个示例中,用户可以抬起手指,以触发触控遥控器切换至点击模式。如图23的(b),在点击模式下,用户点击界面10中除功能区域109之外的任意位置(比如点击手机屏幕中的B点),响应于用户的点击操作,如图23的(c),界面10中的输入框701获取焦点,且手机可以调出虚拟键盘,用户可以通过虚拟键盘在电视界面80的输入框701中输入内容。手机调出虚拟键盘,可以是手机自动弹出虚拟键盘,或者,手机发送通知消息,响应于用户点击通知消息的操作,手机调出虚拟键盘。本申请实施例对手机调出虚拟键盘的具体实现方式不做限制。
场景三
该场景中,用户可以通过手机提供的入口,自定义触控遥控器的界面布局和/或控件。比如自定义一个或多个走焦控件区域,也可以自定义一个或多个手势控件区域,以方便用户以自己最熟悉的手势进行触控交互,实现更好的诸如单手握持、单指操作的手眼分离盲操交互体验。
示例性的,如图24A的(a),手机显示设置界面90,界面90包括选择菜单901。检测到用户点击选择菜单901的操作之后,手机可以跳转到如图24A的(b)所示界面1901。
用户可以通过界面1901选择控件的功能(比如选择走焦功能)以及选择控件的图标。可选的,界面1901还可以包括添加按钮1902,添加按钮1902用于添加其他形状。其他形状可以是手机相册中的形状,或者,可以是其他来源地形状。比如,添加按钮1902用于上传用户自己制作的控件形状。
用户选择完控件的功能以及图标之后,可以点击“下一步”按钮,以触发手机跳转到诸如图24A的(c)所示的界面1801。
可选的,如图24A的(c),界面1801包括提示信息1904,用于提示用户调整走焦控件区域101的大小、形状、位置等。用户可以对控件101进行操作,比如将控件101拖拽到屏幕的某个位置,当用户手指抬离屏幕后,控件101在新位置固定。
可选的,界面1901还可以包括添加按钮1905。用户可以点击添加按钮1905,以便新增控件,并可以定义该控件的位置、形状、大小以及功能等。可选的,在一些示例中,添加按钮1905,可以用来定义新的控件以及对应的新功能/模式。示例性的,响应于用户点击添加按钮1905的操作,手机可以跳转到如图24B所示的界面2004。界面2004可以包括输入框2002,用户可以在输入框2002中输入新控件的功能。可选的,界面2004还可以包括输入框2003,用户可以在输入框2003中输入新功能的备注信息,比如,输入新功能的简单介绍。用户还可以通过界面2004设置新控件的形状。可选的,用户可以点击界面2004中的控件2001,以便上传其他的形状作为新控件的形状。
可选的,手机可以分析各控件在各位置处匹配的形状。比如,控件被移动至屏幕的左下角时,控件匹配的形状为1/4圆形,则手机在检测到用户将控件拖拽至该左下角位置时,自动将控件显示为1/4圆形。控件被移动至靠近屏幕边缘时,控件匹配的形状为半圆形。控件被移动至距离屏幕边缘较远的位置时,控件匹配的形状默认为圆形。
可选的,手机可以提示用户是否将控件形状切换为系统认为更合适的控件形状。若用户同意切换控件形状,则手机将控件形状切换为相应屏幕位置处匹配的形状。反之,若用户不同意切换控件形状,则保持用户设置的控件形状。
可选的,手机可以基于不同场景下用户对不同类型控件的操作习惯,确定用户习惯的屏幕操作区域,并确定各控件匹配的屏幕布局位置。比如,在使用遥控功能时,用户习惯右手持握手机,且习惯操作手机屏幕的右下区域,则后续用户定义遥控器的界面布局时,手机可以推荐用户在屏幕的右下区域设置切换控件(比如走焦控件区域、手势控件区域等)。
再示例性的,图25示出了用户自定义的触控遥控器的布局示例,手机屏幕左下角和右下角两个1/4圆形控件1802覆盖的区域为走焦控件区域,遥控器界面1801中除了功能区域109以及控件1802之外的其他区域,视为手势控件区域。
再示例性的,图26示出了用户自定义的触控遥控器的布局的又一示例,屏幕左侧边缘居中的半圆形控件1803和屏幕右侧边缘居中的半圆形控件1803覆盖的区域为走焦控件区域。
再示例性的,图27示出了用户自定义的触控遥控器的布局的又一示例,屏幕上的四方形控件1804覆盖的区域为走焦控件区域。
再示例性的,用户自定义的触控遥控器的布局还可以如图16A或图17所示。图16A、图17中各界面元素的介绍可以参见上文中针对图16A、图17的描述。
上述以设置界面90作为编辑触控遥控器的入口,在另一些实施例中,手机还可以提供其他编辑触控遥控器的入口。本申请实施例对此不做限制。比如,在图6A的(b)所示界面10中增加编辑控件,当用户选择(比如点击)编辑控件时,虚拟遥控器进入编辑模式。在编辑模式下,用户可以对触控遥控器的布局和/或切换控件等进行编辑、调整。比如,在编辑模式下,用户长按选中如图6A的(b)所示的控件101之后,可以对控件101的参数(包括但不限于大小、形状、位置、功能(比如用于走焦或手势控制))进行调整。
场景四
该场景中,手机可以获取经授权的用户信息,并根据用户信息,显示遥控器界面。其中,遥控器界面上的各切换控件的布局是根据用户信息确定的。
其中,用户信息包括但不限于:用户持握第一电子设备的姿态。用户的持握姿态包括:左右持握、右手持握、双手持握。
示例性的,如图28A,用户右手持握手机。检测到用户打开遥控应用的意图(比如点击遥控应用的图标)时,则手机可以显示遥控器界面10,遥控器界面10的右半部分区域包括走焦控件区域101(比如通过圆形图标提示走焦控件区域101的范围),除功能区域109、走焦控件101之外的区域可以视为手势控件区域111。可选的,走焦控件区域101以及手势控件区域111可以显示在大拇指操作区域的附近。如此,用户可以通过单手操作方便的对电视进行控制。
或者,可选的,手机也可以在右半部分区域显示手势控件区域111(比如通过某形状的图标提示手势控件区域111的范围),除手势控件区域111以及功能区域109外的区域可以视为走焦控件区域101。
作为一种可能的实现方式,手机可以根据用户的操作习惯,确定切换控件(走焦控件区域、手势控件区域等)在屏幕中的位置和尺寸。比如,在使用遥控功能时,用户习惯右手持握手机,且习惯操作手机屏幕的右下区域,则后续用户打开遥控应用时,如图28B所示,手机可以在屏幕的右下区域显示切换控件(比如走焦控件区域101等)。
场景五
该场景中,手机可以根据用户的行为信息智能的控制电视进行相应的操作,其中,用户的行为信息包括但不限于手指在手机屏幕上滑动的速度、距离等。
以走焦场景为例,作为一种可能的实现方式,可以基于大数据,经用户授权获取多个用户使用手机与电视交互的行为信息,和/或获取不同场景中控制设备(比如手机)和被控设备(比如电视)的显控比,定义显控比的基准值。
其中,显控比,可以表示光标在被控显示屏(即被控设备的显示屏)上移动的距离与用户手指在控制显示屏(即控制设备的显示屏)上移动的距离,两者之间的比值。
示例性的,如图29的(b)所示,响应于用户手指从手机屏幕上的a点滑动至b点,手机控制电视上的焦点由图29的(a)所示的c点移动至d点。c、d点之间的距离(可以记作dcd)与a、b点之间的距离(dab)的比值(dcd/dab)即显控比。
本申请实施例中,可以基于大数据,统计不同用户使用手机与电视进行交互时的显控比。其中,对于一个用户来说,可能存在多种控制场景,比如,该用户可以使用手机控制电视进行走焦,或者使用其他控制设备(比如平板)控制电视进行走焦。
可以理解,对于同一用户来说,由于不同场景中控制设备与被控设备的尺寸存在差异,或者,不同场景中,该用户的操作习惯(比如手指在手机屏幕上滑动的速度)存在差异,使得不同场景中可能对应不同的显控比。比如,用户使用手机等较小屏设备控制电视进行走焦的场景中,手机与电视之间的尺寸差异较大,显控比相应较大,即用户手指在手机屏幕上滑动较小的距离,可控制电视上的焦点移动较大的距离。与手机控制电视的场景相比,用户使用平板等较大屏设备控制电视的场景中,平板与电视之间的尺寸差异相对较小,显控比相应较小。
本申请实施例中,可以基于不同用户在不同场景中使用控制设备(比如手机、平板等)与被控设备(比如电视)进行交互时的显控比,确定目标用户的显控比基准值。
比如,基于大数据,对多个用户分别在不同场景中对应的显控比进行加权,得到的加权结果可作为目标用户的显控比基准值。或者,还可以采用其他方法确定显控比的基准值,本申请实施例对确定显控比基准值的方法不做限制。
之后,可以根据目标用户的显控比基准值以及目标用户使用控制设备与被控设备进行交互的行为信息,对显控比基准值进行调整,得到与目标用户的行为习惯更为契合的个性化显控比。比如,如图30的(a),当目标用户的手指在手机屏幕上快速、长距离滑动时,手机可以加大显控比,以便手机能够控制电视上的光标快速的移动较长距离(比如从电视界面50的位置405移动至位置404)。如此,用户通过在手机屏幕上单次滑动手指,可以控制电视上的光标快速、高效的移动较长距离。
再比如,如图30的(b),当目标用户的手指在手机屏幕上慢速、短距离滑动时,手机可以减小显控比,以便手机能够控制电视上的光标在小范围内进行慢速的精准移动(比如从电视界面50的位置405移动至位置406),来实现精细化控制。
可选的,本实施例的技术方案同样适用通过手势控制被控设备的场景。比如,可以应用在通过电视阅读新闻、书籍等场景中。
示例性的,如图31的(a),在阅读书籍的场景中,电视显示界面200。检测到用户点击手机界面10中手势控件区域111的操作,手机将触控遥控器的遥控模式切换至手势模式。如图31的(b),用户可以在手机界面10上快速、长距离的滑动手指。手机可以将用户的滑动操作的信息(比如但不限于滑动的轨迹、速度)发送给电视,电视根据滑动操作的信息,控制电视上的界面加速滚动,进而展示更多的界面内容。比如,电视界面由图31的(a)所示界面200(显示书籍的第一章的内容)上滑至图31的(b)所示界面210(显示书籍的第三章的内容)。如此,用户可以通过手机控制电视进行界面的快速刷新,为用户提供更加流畅的阅读体验。
再比如,如图32的(a),电视显示界面200。检测到用户点击手机界面10中手势控件区域111的操作,手机将触控遥控器的遥控模式切换至手势模式。如图32的(b),用户可以在手机界面10上慢速、短距离的滑动手指。手机可以将用户的滑动操作的信息发送给电视,电视根据滑动操作的信息,控制电视上的界面慢速滚动。比如,电视界面由图32的(a)所示界面200(显示书籍的第一章的内容)上滑至图32的(b)所示界面220(显示书籍的第一章的内容以及第二章的部分内容)。如此,用户可以通过手机控制电视进行界面的慢速刷新,以便用户看清更多细节,实现仔细精细的阅读。
需要说明的是,由于对应于用户手指在手机屏幕上的不同滑动速度,电视光标可以有不同的移动加速度和/或速度,因此,电视上光标的移动轨迹,与手机上手指的滑动轨迹可以不一致。如图29所示,电视上位置401至402的轨迹与手机上位置1031至1021的轨迹不完全一致。
作为一种可能的实现方式,可以采用机器学习方法确定目标用户的显控比。机器学习方法包括但不限于自学习的机器学习方法。比如,构建机器学习模型。机器学习模型的训练样本包括但不限于如下一项或多项:不同场景中控制设备的屏幕尺寸、不同场景中被控设备的屏幕尺寸、不同用户的交互行为信息。可选的,用户的交互行为信息包括但不限于用户在控制设备的屏幕上进行操作(比如滑动)的速度、距离、轨迹等。
可以理解,构建机器学习模型之后,可以通过机器学习模型,调整目标用户使用控制设备(比如手机)控制被控设备(比如电视)时的显控比。比如,检测到用户在手机的遥控器界面上滑动手指时,手机将目标用户的滑动操作的信息(比如滑动速度、距离、轨迹)输入机器学习模型,由机器学习模型输出显控比。手机可以根据机器学习模型输出的显控比,对电视进行相应的控制。
本申请实施例中,还可以更新机器学习模型,比如,构建机器学习模型之后,可以定期或基于其他条件,使用更多的训练样本(比如目标用户在历史上的交互行为信息等)训练机器学习模型,以提升机器学习模型的准确度。如此,随着用户的交互次数增多,交互时间增长,能够获得与目标用户越来越匹配的个性化机器学习模型,进而目标用户可以获得越来越得心应手的操控体验。
本申请实施例还提供一种设备控制方法,检测到遥控意图时,手机可以默认切换至可以支持操作多类型应用的触控遥控器界面。后续,检测到用户的切换意图时,手机可以由触控遥控器界面切换至按键遥控器界面。
上述一个或多个界面均是示例性的,在另一些实施例中,还可以有其他的界面设计方式。比如,图16A中的走焦控件区域1807、手势控件区域1806可以为相同或不同形状。可选的,走焦控件区域1807、手势控件区域1806在屏幕中的布局方式还可以为其他布局方式。比如,走焦控件区域1807位于手势控件区域1806上方。再比如,遥控器界面中各控件的形状、位置、尺寸等不做限制。再比如,当遥控器界面中包括多个控件(比如走焦控件区域、手势控件区域)时,各控件之间的位置关系,形状是否相同,不做限制。
需要说明的是,上述各方法实施例的流程中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。并且,各流程的步骤之间的执行顺序仅是示例性的,并不构成对步骤之间执行顺序的限制,各步骤之间还可以是其他执行顺序。并非旨在表明所述执行次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文某个实施例涉及的过程细节同样以类似的方式适用于其他实施例,或者,不同实施例之间可以组合使用。
此外,方法实施例中的某些步骤可等效替换成其他可能的步骤。或者,方法实施例中的某些步骤可以是可选的,在某些使用场景中可以删除。或者,可以在方法实施例中增加其他可能的步骤。
并且,上述各方法实施例之间可以单独实施,或结合起来实施。
本申请另一些实施例提供了一种装置,该装置可以是上述第二电子设备或第一电子设备或第一电子设备中的组件或第二电子设备中的组件(比如芯片系统)。该装置可以包括:显示屏、存储器和一个或多个处理器。该显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图2所示的电子设备100的结构或图4所示的电子设备。
其中,该电子设备的核心结构可以表示为图33所示的结构,电子设备包括:处理模块1301、输入模块1302、存储模块1303、显示模块1304和通信模块1305。
处理模块1301,可包括中央处理器(CPU)、应用处理器(Application Processor,AP)或通信处理器(Communication Processor,CP)中的至少一个。处理模块1301可执行与用户电子设备的其他元件中的至少一个的控制和/或通信相关的操作或数据处理。具体地,处理模块1301可用于根据一定的触发条件,控制主屏上显示的内容。或者根据预设规则确定屏幕上显示的内容。处理模块1301还用于将输入的指令或数据进行处理,并根据处理后的数据确定显示样式。
输入模块1302,用于获取用户输入的指令或数据,并将获取到的指令或数据传输到电子设备的其他模块。具体地说,输入模块1302的输入方式可以包括触摸、手势、接近屏幕等,也可以是语音输入。例如,输入模块可以是电子设备的屏幕,获取用户的输入操作并根据获取到的输入操作生成输入信号,将输入信号传输至处理模块1301。
存储模块1303,可包括易失性存储器和/或非易失性存储器。存储模块用于存储用户终端设备的其他模块中的至少一个相关的指令或数据。
显示模块1304,可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。用于显示用户可观看的内容(例如,文本、图像、视频、图标、符号等)。
通信模块1305,用于支持个人终端(通过通信网络)与其他个人终端通信。例如,通信模块可经由无线通信或有线通信连接到网络,以与其他个人终端或网络服务器进行通信。无线通信可采用蜂窝通信协议中的至少一个,诸如,长期演进(LTE)、高级长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。无线通信可包括例如短距通信。短距通信可包括无线保真(Wi-Fi)、蓝牙、近场通信(NFC)、磁条传输(MST)或GNSS中的至少一个。
图33所示装置还可以包括更多、更少组件,或拆分部分组件,或有其他布局组件的方式,本申请实施例对此不做限制。
本申请实施例还提供一种芯片系统,如图34所示,该芯片系统包括至少一个处理器1401和至少一个接口电路1402。处理器1401和接口电路1402可通过线路互联。例如,接口电路1402可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1402可用于向其它装置(例如处理器1401)发送信号。示例性的,接口电路1402可读取存储器中存储的指令,并将该指令发送给处理器1401。当所述指令被处理器1401执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (21)
1.一种设备控制方法,其特征在于,所述方法应用于第一电子设备,其中,所述第一电子设备对在第二电子设备上显示的内容进行操作控制,所述方法包括:
获取第一触摸点,根据所述第一触摸点属于第一触摸区域,在所述第一电子设备的第一控制界面的任意区域采用第一模式对所述第二电子设备进行操作控制;
获取第二触摸点,根据所述第二触摸点属于第二触摸区域,在所述第一控制界面的任意区域采用第二模式对所述第二电子设备进行操作控制。
2.根据权利要求1所述的方法,其特征在于,所述第一触摸区域和所述第二触摸区域均属于所述第一控制界面,所述第一触摸点为第一滑动操作的起点,所述第二触摸点为第二滑动操作的起点,
所述获取第一触摸点,根据所述第一触摸点属于第一触摸区域,在所述第一控制界面的任意区域采用第一模式对所述第二电子设备进行操作控制,包括:
获取所述第一滑动操作的起点,根据所述第一滑动操作的起点属于所述第一触摸区域,在所述第一控制界面采用第一模式,对所述第二电子设备进行与所述第一滑动操作关联的操作控制;
所述获取第二触摸点,根据所述第二触摸点属于第二触摸区域,在所述第一控制界面的任意区域采用第二模式对所述第二电子设备进行操作控制,包括:
获取所述第二滑动操作的起点,根据所述第二滑动操作的起点属于所述第二触摸区域,在所述第一控制界面采用第二模式,对所述第二电子设备进行与所述第二滑动操作关联的操作控制。
3.根据权利要求1或2所述的方法,其特征在于,
所述第一触摸区域为走焦控件区域,所述第一模式为走焦模式,所述对第二电子设备进行的操作控制,包括:移动所述第二电子设备的显示界面上的焦点;
所述第二触摸区域为手势控件区域,所述第二模式为手势模式,所述对第二电子设备进行的操作控制,包括:滚动所述第二电子设备的显示界面,或者,缩放所述第二电子设备的显示界面。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述走焦模式或所述手势模式下,接收在所述第一控制界面的输入操作,响应于所述输入操作,在所述第二电子设备的显示界面上执行关联的操作,所述输入操作包括以下至少一项:单击、双击和长按。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:获取所述第二电子设备的显示界面中应用程序的信息;
根据获取的所述应用程序的信息,将所述第一电子设备的所述第一控制界面切换为第二控制界面,其中,所述第二控制界面对所述第二电子设备进行操作控制的方式与所述第一控制界面不同。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取用户对所述第二电子设备进行操作控制的意图;
所述获取所述第二电子设备的显示界面中应用程序的信息,包括:
响应于所述意图,获取所述第二电子设备的显示界面的信息,所述显示界面的信息包括所述显示界面中应用程序的信息。
7.根据权利要求5或6所述的方法,其特征在于,所述根据获取的所述应用程序的信息,将所述第一电子设备的所述第一控制界面切换为第二控制界面,包括:
根据获取的所述应用程序的信息,在所述第一电子设备上显示可切换界面提示;
获取与所述提示关联的选择操作,响应于所述选择操作,将所述第一控制界面切换为所述第二控制界面。
8.根据权利要求7所述的方法,其特征在于,所述应用程序的信息包括所述应用程序的类型。
9.根据权利要求5-8任一项所述的方法,其特征在于,所述第二控制界面为包括按键式控制组件的操作控制界面。
10.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
获取所述第一电子设备上的界面切换事件;
响应于所述界面切换事件,将所述第一电子设备的第一控制界面切换为第二控制界面,其中,所述第二控制界面对所述第二电子设备进行操作控制的方式与所述第一控制界面不同。
11.根据权利要求4所述的方法,其特征在于,所述第一控制界面包括功能区域,所述功能区域包括一个或多个功能控件,所述一个或多个功能控件在被操作时可以执行对应的一个或多个与所述第二电子设备关联的功能。
12.根据权利要求11所述的方法,其特征在于,在所述走焦模式或所述手势模式下,可执行所述输入操作的区域为所述第一控制界面中除所述功能区域外的区域。
13.根据权利要求1-12任一项所述的方法,其特征在于,所述方法还包括:
根据获取的用户指令显示设置界面,所述设置界面用于设置与所述第一控制界面中的第一触摸区域关联的内容。
14.根据权利要求13所述的方法,其特征在于,所述内容用于指示所述第一触摸区域的如下一项或多项:区域的形状、位置、尺寸。
15.根据权利要求13或14所述的方法,其特征在于,所述设置界面还用于设置与所述第一控制界面中的第二触摸区域关联的内容。
16.根据权利要求2所述的方法,其特征在于,控制所述第二电子设备执行所述第一滑动操作对应的操作之前,所述方法还包括:
获取所述第一滑动操作的操作参数,所述操作参数包括速度、加速度、距离中的一个或多个;
根据所述第一滑动操作的起点属于所述第一触摸区域,在所述第一控制界面采用第一模式,对所述第二电子设备进行与所述第一滑动操作关联的操作控制,包括:
根据所述第一滑动操作的起点属于所述第一触摸区域,以及所述第一滑动操作的操作参数,在所述第一控制界面采用第一模式,对所述第二电子设备进行与所述第一滑动操作关联的操作控制。
17.根据权利要求1-12任一项所述的方法,其特征在于,所述方法还包括:
检测用户对所述第一电子设备的持握姿态;
根据所述持握姿态,显示所述第一控制界面,所述第一控制界面中第一触摸区域和/或所述第二触摸区域的布局方式与所述持握姿态关联。
18.根据权利要求17所述的方法,其特征在于,若所述持握姿态为右手持握,则所述第一触摸区域和/或所述第二触摸区域被布局在所述第一控制界面的右侧;若所述持握姿态为左手持握,则所述第一触摸区域和/或所述第二触摸区域被布局在所述第一控制界面的左侧。
19.一种电子设备,其特征在于,所述电子设备包括存储器、一个或多个处理器以及显示屏;所述存储器、所述显示屏和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,使所述一个或多个所述处理器执行如权利要求1-18任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-18中任意一项所述的方法。
21.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210631098.5A CN117234404A (zh) | 2022-06-06 | 2022-06-06 | 一种设备控制方法及电子设备 |
PCT/CN2023/097460 WO2023236830A1 (zh) | 2022-06-06 | 2023-05-31 | 一种设备控制方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210631098.5A CN117234404A (zh) | 2022-06-06 | 2022-06-06 | 一种设备控制方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117234404A true CN117234404A (zh) | 2023-12-15 |
Family
ID=89088523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210631098.5A Pending CN117234404A (zh) | 2022-06-06 | 2022-06-06 | 一种设备控制方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117234404A (zh) |
WO (1) | WO2023236830A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011077863A (ja) * | 2009-09-30 | 2011-04-14 | Sony Corp | 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム |
CN102713822A (zh) * | 2010-06-16 | 2012-10-03 | 松下电器产业株式会社 | 信息输入装置、信息输入方法以及程序 |
KR102169521B1 (ko) * | 2013-05-14 | 2020-10-23 | 삼성전자 주식회사 | 입력장치, 디스플레이장치 및 그 제어방법 |
CN112218134B (zh) * | 2020-09-08 | 2023-06-02 | 华为技术加拿大有限公司 | 一种输入方法以及相关设备 |
-
2022
- 2022-06-06 CN CN202210631098.5A patent/CN117234404A/zh active Pending
-
2023
- 2023-05-31 WO PCT/CN2023/097460 patent/WO2023236830A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023236830A1 (zh) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021018067A1 (zh) | 一种悬浮窗口的管理方法及相关装置 | |
US11893219B2 (en) | Method for quickly invoking small window when video is displayed in full screen, graphic user interface, and terminal | |
US11922005B2 (en) | Screen capture method and related device | |
US11836341B2 (en) | Scrolling screenshot method and electronic device with screenshot editing interface | |
EP4030276A1 (en) | Content continuation method and electronic device | |
WO2020134869A1 (zh) | 电子设备的操作方法和电子设备 | |
KR102534354B1 (ko) | 시스템 탐색 바 표시 제어 방법, 그래픽 사용자 인터페이스 및 전자 디바이스 | |
US11474664B2 (en) | Application icon moving method and electronic device | |
US20230046708A1 (en) | Application Interface Interaction Method, Electronic Device, and Computer-Readable Storage Medium | |
JP2023508419A (ja) | 画面表示方法及び電子デバイス | |
EP3846427B1 (en) | Control method and electronic device | |
WO2021052344A1 (zh) | 一种参数的调整方法及电子设备 | |
CN110633043A (zh) | 一种分屏处理方法及终端设备 | |
WO2022017393A1 (zh) | 显示交互系统、显示方法及设备 | |
US20230244507A1 (en) | Method and Apparatus for Processing Interaction Event | |
CN112068907A (zh) | 一种界面显示方法和电子设备 | |
CN113746961A (zh) | 显示控制方法、电子设备和计算机可读存储介质 | |
CN109918014B (zh) | 页面显示方法、可穿戴设备及计算机可读存储介质 | |
WO2022002213A1 (zh) | 翻译结果显示方法、装置及电子设备 | |
CN117234404A (zh) | 一种设备控制方法及电子设备 | |
CN114690985A (zh) | 一种显示方法和电子设备 | |
WO2023207854A1 (zh) | 一种应用窗口的显示方法及电子设备 | |
WO2023071718A1 (zh) | 浮窗调整方法及电子设备 | |
US11803594B2 (en) | Information display method and apparatus | |
WO2023207799A1 (zh) | 消息处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |