CN108920234A - 动态显示ui元素的方法和终端 - Google Patents

动态显示ui元素的方法和终端 Download PDF

Info

Publication number
CN108920234A
CN108920234A CN201810672558.2A CN201810672558A CN108920234A CN 108920234 A CN108920234 A CN 108920234A CN 201810672558 A CN201810672558 A CN 201810672558A CN 108920234 A CN108920234 A CN 108920234A
Authority
CN
China
Prior art keywords
user
mode
current
terminal
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810672558.2A
Other languages
English (en)
Other versions
CN108920234B (zh
Inventor
高建国
管皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201810672558.2A priority Critical patent/CN108920234B/zh
Publication of CN108920234A publication Critical patent/CN108920234A/zh
Application granted granted Critical
Publication of CN108920234B publication Critical patent/CN108920234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供一种动态显示UI元素的方法和终端,所述方法包括:确定终端被用户握持的当前握持模式,其中,所述握持模式包括左手握持模式和右手握持模式;确定当前显示界面中的预定UI元素的显示区域,其中,所述预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域;在确定的显示区域中显示所述预定UI元素。本发明可自动检测用户的握持模式,显示符合当前握持模式的UI,该方法适用于各样场景的使用,在提高单手操作的便捷性的同时不会缩小显示面积。此外,可根据摄像头实时拍摄的用户面部图像精确地判断当前握持模式,当检测到用户切换到另一个手握持终端时,当前显示界面会随之动态更新。

Description

动态显示UI元素的方法和终端
技术领域
本发明涉及用户界面的技术领域,更具体地讲,涉及一种动态显示UI元素的方法和终端。
背景技术
目前市场上的终端(移动通信终端、个人计算机、平板电脑、游戏机、数字多媒体播放器等)的显示屏越来越大,单手操作存在一定的困难。目前,可以通过设置单手模式,将屏幕显示区域等比缩小,在一定程度上解决了单手操作困难的问题。但现有的单手模式需要用户主动的去设置,不够智能,用户很少去使用,并且这种单手模式只能应用于某些场景,覆盖面较低。此外,将屏幕等比缩小,违背了设计大屏幕的移动终端时强调的大视野、强观感的初衷,影响用户使用终端的视觉体验。
因此,现有的终端的显示界面不能同时满足大视野和操作方便的要求。
发明内容
本发明的目的在于提供一种动态显示UI元素的方法和终端,以解决现有的终端的显示界面不能同时满足大视野和操作方便的要求。
本发明的一方面提供一种动态显示UI元素的方法,所述方法包括:确定终端被用户握持的当前握持模式,其中,所述握持模式包括左手握持模式和右手握持模式;确定当前显示界面中的预定UI元素的显示区域,其中,所述预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域;在确定的显示区域中显示所述预定UI元素。
可选地,所述预定UI元素的数量为至少一个,其中,所述方法还包括:根据各个预定UI元素的历史使用数据确定各个预定UI元素的使用频率,其中,所述使用频率指示UI元素被用户操作的频率;根据所述使用频率以及当前握持模式确定各个预定UI元素在确定的显示区域中的排列顺序。
可选地,所述方法还包括:确定用户观看终端的当前视线模式,其中,所述视线模式包括正视模式和斜视模式,其中,所述预定UI元素的显示区域为与当前握持模式、当前显示界面以及当前视线模式对应的显示区域。
可选地,所述方法还包括:根据当前显示界面中的各个UI元素的历史使用数据确定各个UI元素的使用频率;将使用频率的排名在前若干位的UI元素确定为预定UI元素。
可选地,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式,和/或根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式。
可选地,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式的步骤包括:根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;当所述夹角小于第一预定角度时,确定当前握持模式为右手握持模式;当所述夹角大于180度与第一预定角度之差时,确定所述当前握持模式为左手握持模式。
可选地,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式的步骤还包括:当所述夹角大于或等于所述第一预定角度且小于或等于180度与第一预定角度之差时,将之前使用次数最多的握持模式确定为当前握持模式。
可选地,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式的步骤包括:根据摄像头拍摄的用户的面部图像确定用户眨动的眼睛是左眼还是右眼;当用户眨动的眼睛是左眼时,确定当前握持模式为左手握持模式;当用户眨动的眼睛是右眼时,确定当前握持模式为右手握持模式。
可选地,根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式的步骤包括:根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;当所述夹角小于第二预定角度,或者大于180度与第二预定角度之差时,确定所述当前视线模式为斜视模式;当所述夹角大于或等于所述第二预定角度且小于或等于180度与第二预定角度之差时,确定所述当前视线模式为正视模式。
可选地,在当前握持模式保持不变持续第一预定时间时,提醒用户更换握持模式;和/或,在当前视线模式为斜视模式且保持不变持续第二预定时间时,提醒用户更换视线模式。
本发明的另一方面提供一种动态显示UI元素的终端,所述终端包括:显示单元和处理器,其中,所述处理器被配置为:确定终端被用户握持的当前握持模式,其中,所述握持模式包括左手握持模式和右手握持模式;确定当前显示界面中的预定UI元素的显示区域,其中,所述预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域;控制显示单元在确定的显示区域中显示所述预定UI元素。
可选地,所述预定UI元素的数量为至少一个,其中,所述处理器还被配置为:根据各个预定UI元素的历史使用数据确定各个预定UI元素的使用频率,其中,所述使用频率指示UI元素被用户操作的频率;根据所述使用频率以及当前握持模式确定各个预定UI元素在确定的显示区域中的排列顺序。
可选地,所述处理器还被配置为:确定用户观看终端的当前视线模式,其中,所述视线模式包括正视模式和斜视模式,其中,所述预定UI元素的显示区域为与当前握持模式、当前显示界面以及当前视线模式对应的显示区域。
可选地,所述处理器还被配置为:根据当前显示界面中的各个UI元素的历史使用数据确定各个UI元素的使用频率;将使用频率的排名在前若干位的UI元素确定为预定UI元素。
可选地,所述处理器被配置为:根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式,和/或根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式。
可选地,所述处理器还被配置为:根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;当所述夹角小于或等于第一预定角度时,确定当前握持模式为右手握持模式;当所述夹角大于180度与第一预定角度之差时,确定所述当前握持模式为左手握持模式。
可选地,所述处理器还被配置为:当所述夹角大于或等于所述第一预定角度且小于或等于180度与第一预定角度之差时,将之前使用次数最多的握持模式确定为当前握持模式。
可选地,所述处理器还被配置为:根据摄像头拍摄的用户的面部图像确定用户眨动的眼睛是左眼还是右眼;当用户眨动的眼睛是左眼时,确定当前握持模式为左手握持模式;当用户眨动的眼睛是右眼时,确定当前握持模式为右手握持模式。
可选地,根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式的处理包括:根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;当所述夹角小于第二预定角度,或者大于180度与第二预定角度之差时,确定所述当前视线模式为斜视模式;当所述夹角大于或等于所述第二预定角度且小于或等于180度与第二预定角度之差时,确定所述当前视线模式为正视模式。
可选地,所述处理器还被配置为:在当前握持模式保持不变持续第一预定时间时,提醒用户更换握持模式;和/或,在当前视线模式为斜视模式且保持不变持续第二预定时间时,提醒用户更换视线模式。
本发明的另一方面提供一种计算机可读存储介质,该计算机可读存储介质存储有当被处理器执行时使得处理器执行如上所述的动态显示UI元素的方法的计算机程序。
根据本发明的动态显示UI元素的方法和终端,可自动检测用户的握持模式,显示符合当前握持模式的UI,该方法适用于各样场景的使用,解决了大屏幕终端单手操作的困难,在提高单手操作的便捷性的同时不会缩小显示面积。此外,可根据摄像头实时拍摄的用户面部图像精确地判断当前握持模式,当检测到用户切换到另一个手握持终端时,当前显示界面会随之动态更新。
此外,根据本发明的动态显示UI元素的方法和终端还可结合握持模式、视线模式以及历史使用数据,动态地调整手机UI元素的显示区域以及排列顺序,可为用户提供一种能够舒适、快捷地触控到常用UI元素的方式,并且用户每次使用手机时,都能带来新的视觉上的改变。
将在接下来的描述中部分阐述本发明另外的方面和/或优点,还有一部分通过描述将是清楚的,或者可以经过本发明的实施而得知。
附图说明
通过下面结合附图进行的详细描述,本发明的上述和其它目的、特点和优点将会变得更加清楚,其中:
图1是示出根据本发明的实施例的动态显示UI元素的方法的流程图;
图2是示出根据本发明的实施例的确定当前握持模式以及当前视线模式的方法的流程图;
图3示出根据本发明的实施例的握持模式以及视线模式与夹角的关系示意图;
图4示出应用场景示例一中左手握持模式下的用户界面的示意图;
图5示出应用场景示例一中右手握持模式下的用户界面的示意图;
图6示出应用场景示例二中左手握持模式下的用户界面的示意图;
图7示出应用场景示例二中右手握持模式下的用户界面的示意图;
图8示出应用场景示例三中左手握持模式下的用户界面的示意图;
图9示出应用场景示例三中右手握持模式下的用户界面的示意图;
图10示出应用场景示例四中右手握持模式和斜视模式下的用户界面的示意图;
图11和图12分别示出应用场景示例五中用于智能提醒的用户界面的示意图;
图13出应用场景示例六中的用户界面的示意图。
具体实施方式
下面参照附图详细描述本发明的实施例。
图1是示出根据本发明的实施例的动态显示UI元素的方法的流程图。根据本发明的实施例的动态显示UI元素的方法可应用于各种可手持的移动终端,例如,移动通信终端、个人计算机、平板电脑、游戏机、数字多媒体播放器等。
参照图1,在步骤S10,确定终端被用户握持的当前握持模式。握持模式包括左手握持模式和右手握持模式。
在步骤S10,可自动地确定终端被用户握持的当前握持模式。
进一步讲,可根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式。下文将详细介绍自动确定终端被用户握持的当前握持模式的具体过程。
确定当前握持模式后,可将当前握持模式进行存储,作为历史数据,可供以后确定握持模式时使用。
在步骤S20,确定当前显示界面中的预定UI元素的显示区域。
本领域技术人员清楚,UI(用户界面)元素是显示界面中可以看见的任何可视元素,包括可以响应用户的操作的各种控件(如按钮、图标等)。
当前显示界面中的预定UI元素是指当前显示界面中用户使用频率较高的UI元素。该预定UI元素的数量为至少一个。
当前显示界面中的预定UI元素可预先设置。例如,在输入法界面,用户用的最多的按键是删除键和确定键,可将这两个键设置为预定UI元素。
当前显示界面中的预定UI元素还可根据用户的历史使用记录来确定。例如,根据当前显示界面中的各个UI元素的历史使用数据确定各个UI元素的使用频率,将使用频率的排名在前若干位的UI元素确定为预定UI元素。
使用频率指示UI元素被用户操作的频率。历史使用数据是指UI元素被用户操作的历史数据,例如,可包括被用户操作的次数(例如某个图标被用户点击的次数),以及每次操作的时间等。
预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域。
也就是说,可根据当前握持模式以及当前显示界面来确定当前显示界面中的预定UI元素的显示区域。
作为示例,预定UI元素的显示区域与当前握持模式以及当前显示界面,三者之间的对应关系可预先存储在终端中。
作为示例,当前显示界面中的预定UI元素的显示区域,是在当前握持模式下,当前显示界面中用户容易触摸到的区域,例如,可以是离用户的拇指距离最近的区域。
在另一个实施例中,根据本发明的实施例的动态显示UI元素的方法还包括以下步骤(图中未示出):确定用户观看终端的当前视线模式。
视线模式包括正视模式和斜视模式。这里,可根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式。下文将详细介绍自动确定用户观看终端的当前视线模式的具体过程。
预定UI元素的显示区域为与当前握持模式、当前显示界面以及当前视线模式对应的显示区域。也就是说,在步骤S20中,根据当前握持模式、当前显示界面以及当前视线模式来确定当前显示界面中的预定UI元素的显示区域。
作为示例,预定UI元素的显示区域与当前握持模式、当前显示界面以及当前视线模式,四者之间的对应关系可预先存储在终端中。
作为示例,显示区域为在当前握持模式以及当前视线模式下,在当前显示界面中用户容易触摸到且用户的视线容易到达的区域。
在另一个实施例中,还可根据各预定UI元素的使用频率来确定各个预定UI元素在确定的显示区域中的排列顺序。这里,各个预定UI元素的使用频率可根据各个预定UI元素的历史使用数据来确定。
各个预定UI元素在确定的显示区域中的排列顺序为在当前握持模式下,使用频率越高的预定UI元素,离用户的拇指的距离越近。
在步骤S30中,在确定的显示区域中显示预定UI元素。
在还确定预定UI元素在确定的显示区域中的排列顺序的实施例中,在步骤S30中,在确定的显示区域中以确定的排列顺序显示预定UI元素。
在一个优选的实施例中,根据本发明的实施例的动态显示UI元素的方法还可对用户姿态进行智能提醒。例如,在当前握持模式保持不变持续第一预定时间时,提醒用户更换握持模式;和/或,在当前视线模式为斜视模式且保持不变持续第二预定时间时,提醒用户更换视线模式。
也就是说,用户长时间一只手握持终端时,提示用户换手,避免手指以及手掌关节的压力过度;和/或,用户长时间斜视手机,提示用户正视手机,以防止用户的头部和视线偏转时间太久,导致产生颈部和眼部疾病。
图2是示出根据本发明的实施例的确定当前握持模式以及当前视线模式的方法的流程图。
以下将参照图2来详细描述根据本发明的实施例的确定当前握持模式以及当前视线模式的具体过程。
参照图2,在步骤201,根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置。
可采用现有的方法来根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置,在此不再赘述。该面部中心可以是用户的鼻子所在的位置。
在步骤S202,确定第一连线与第二连线之间的夹角。
第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线。
这里,可根据由摄像头、用户的面部中心以及用户的右眼球所在的位置组成的三角形以及余弦定理来计算上述的夹角。
在步骤S203,根据上述的夹角来确定当前握持模式以及当前视线模式。
图3示出根据本发明的实施例的握持模式以及视线模式与夹角的关系示意图。
以下将参照图3来描述当前握持模式以及当前视线模式与夹角的关系示意图。
如图3所示,第一连线AO(摄像头所在的位置A与用户的面部中心所在的位置O之间的连线)与第二连线OC(用户的面部中心所在的位置O与用户的右眼球所在的位置C之间的连线)的夹角为∠AOC。
当∠AOC在右手握持范围内(即小于第一预定角度α)时,确定当前握持模式为右手握持模式。
当∠AOC在左手握持范围内(即大于180度与第一预定角度α之差)时,确定所述当前握持模式为左手握持模式。
当∠AOC大于或等于第一预定角度α且小于或等于180度与第一预定角度α之差时,将之前使用次数最多的握持模式确定为当前握持模式。
第一预定角度α可预先设置,其可设置为接近90度,其具体的数值可根据摄像头在终端上的具体位置以及根据图像确定位置的方法的准确程度来确定。
可以理解,还可通过用户的面部中心所在的位置O与用户的左眼球所在的位置B之间的连线OB与第一连线AO的夹角∠AOB来确定当前握持模式,其确定方法与图3中的类似,在此不再赘述。
当无法采用上述方法来确定当前握持姿势时,可通过提示用户眨眼来确定当前握持姿势。
具体说来,根据摄像头拍摄的用户的面部图像确定用户眨动的眼睛是左眼还是右眼;当用户眨动的眼睛是左眼时,确定当前握持模式为左手握持模式;当用户眨动的眼睛是右眼时,确定当前握持模式为右手握持模式。
当∠AOC在斜视范围内(即小于第二预定角度β,或者大于180度与第二预定角度β之差)时,确定当前视线模式为斜视模式。
当∠AOC在正视范围内(即大于或等于第二预定角度β且小于或等于180度与第二预定角度β之差)时,确定当前视线模式为正视模式。
第二预定角度β可预先设置。例如,可根据用户的单眼水平舒适视度域来设置第二预定角度β。作为示例,根据以往的研究,通常情况下人的单眼水平舒适视度域,为60度,也就是说如果目标物体,在用户视角60度范围之外,这是人眼不敏感的范围,俗称眼睛的余光,该范围用户视角将产生不适感,也就导致看不清目标物体,眼睛疲劳,所以可将第二预定角度β设置为60度左右。
以下将参照图4至图13描述本发明的方法的应用场景的示例。
应用场景示例一
图4示出应用场景示例一中左手握持模式下的用户界面的示意图。
图5示出应用场景示例一中右手握持模式下的用户界面的示意图。
在智能手机(即终端)为黑屏状态时,用户选择了左手握持智能手机。摄像头开始捕捉用户的脸部图像。
摄像头获取完用户的脸部图像后,根据脸部图像得到当前的夹角为15°,确定当前握持模式为左手握持模式,存储这次确定的当前握持模式。
根据历史使用数据确定桌面界面(即当前显示界面)中各个应用的图标(即UI元素)使用频率,得到微信、微博、QQ和音乐的图标依次为使用频率最高的应用图标,确定微信、微博、QQ和音乐的图标为预定UI元素。
确定在左手握持模式下,显示桌面界面中显示的预定UI元素的显示区域为屏幕的下方,并确定预定UI元素的排列顺序为:从左到右排序为微信、微博、QQ和音乐的图标,使用频率越高的预定UI元素,离用户的拇指的距离越近。
智能手机在解锁后,在智能手机的屏幕上显示如图4所示的用户界面。
可以理解,当应用场景示例一中的用户使用的右手握持智能手机(即当前握持模式为右手握持模式)时,在智能手机的屏幕上显示如图5所示的用户界面。如图5所示,预定UI元素的排列顺序为:从右到左排序为微信、微博、QQ和音乐的图标。
在应用场景示例一中,用户能够以最短的距离点击到微信,微博,QQ,音乐这些最常用的应用程序的图标,大大方便了单手操作智能手机,提高了用户体验。
可以理解,如果在用户解锁智能手机之前,摄像头拍摄了多次用户的头部图像,以最后一次拍摄的用户头部图像为准。
应用场景示例二
图6示出应用场景示例二中左手握持模式下的用户界面的示意图。
图7示出应用场景示例二中右手握持模式下的用户界面的示意图。
根据用户调查,在智能手机的输入法界面中,用户用的最多的两个按键是删除键和确定键,可预先将删除键和确定键设定为输入法界面的预定UI元素。
当确定用户用左手握持手机(即当前握持模式为左手握持模式)时,如图6所示,输入法界面(即当前显示界面)中的删除键和确定键移到了输入法界面的左边(即预定UI元素的显示区域移到了输入法界面的左边),而当用户用右手握持手机(即当前握持模式为右手握持模式)时,键盘中的删除键和确定键移到了输入法界面的右边(即预定UI元素的显示区域移到了输入法界面的右边)。
这样用户能够以最近的距离,触摸到输入法界面中的删除键和确定键,大大增加了输入法的输入体验,提高输入的效率。
应用场景示例三
图8示出应用场景示例三中左手握持模式下的用户界面的示意图。
图9示出应用场景示例三中右手握持模式下的用户界面的示意图。
如图8,智能手机的状态栏位于屏幕的最顶部,状态栏中有用户经常需要使用的快捷设置的设置控件,比如Wi-Fi、声音震动、蓝牙等等。当检测到用户下拉状态栏时,根据历史使用数据确定Wi-Fi、声音震动、蓝牙的设置控件的使用频率排名靠前,确定Wi-Fi、声音震动、蓝牙的设置控件为状态栏界面(当前显示界面)中的预定UI元素,又检测到当前用户为左手握持(即当前握持模式为左手握持模式),如图8所示,将Wi-Fi、声音震动和蓝牙的设置控件动态调整到了状态栏最下面(即预定UI元素的显示区域移到了状态栏界面的下边),并且从左到右排列,这样使得用户触摸起来更加的方便。
可以理解,在当前握持模式为右手握持模式时,在智能手机的屏幕上显示如图9所示的用户界面。如图9所示,预定UI元素的排列顺序为:从右到左排序为Wi-Fi、声音震动和蓝牙的设置控件。
应用场景示例四
图10示出应用场景示例四中右手握持模式和斜视模式下的用户界面的示意图。
如图10所示,摄像头检测到上述的夹角为20°,确定当前握持模式为右手握持模式,并且当前视线模式为斜视模式,此时桌面界面中原本靠下水平排列的预定UI元素(微信、微博、QQ和音乐的应用程序的图标),整体偏向了左边,并且靠左垂直显示,这样的话,即便用户以一种不正确的姿势和视线观看手机,依然使得该用户能尽量的看清当前桌面界面中的常用的应用程序的图标。
应用场景示例五
图11和图12分别示出应用场景示例五中用于智能提醒的用户界面的示意图。
如图11所示,摄像头检测到夹角为100°,确定当前握持模式为左手握持模式,并且保持了30分钟以上,当一种握持状态大于30分钟(第一预定时间)时,认为该用户长时间使用一种握持方式,这时候智能手机发出了提醒:“您已长时间左手握持,请更换握持姿势,以减少手指的压力”,以提醒用户换手,避免手指以及手掌关节的压力过高。
如图12所示,摄像头检测到夹角为160°,确定当前视线模式为斜视模式,并且保持了30分钟以上,当斜视状态大于30分钟(第二预定时间)时,认为该用户长时间使用斜视状态观看手机,这时候智能手机发出了提醒:“您已长时间斜视手机,请正视您的手机,以减少颈部和眼部的压力”,以防止颈部和眼部疾病。
应用场景示例六
图13出应用场景示例六中的用户界面的示意图。
如图13中的a所示,当前由于某种原因,摄像头无法捕捉到用户的面部图像或者智能手机处于不稳定的晃动状态,用户界面可提示用户目前无法判断当前握持模式,并提醒用户可以使用眨眼的方式,该用户选择“确定”按钮后,进入如图13中的b所示的界面,在界面中提示眨左眼即可开启左手握持模式,眨右眼即可开启右手握持模式。这样,当出现异常情况时,用户也可以主动地去设置握持模式,方便用户使用。
本发明的实施例还提供一种动态显示UI元素的终端。该终端可以是移动通信终端、个人计算机、平板电脑、游戏机、数字多媒体播放器等。
终端可包括显示单元和处理器。
处理器被配置为确定终端被用户握持的当前握持模式,确定当前显示界面中的预定UI元素的显示区域,控制显示单元在确定的显示区域中显示预定UI元素。
握持模式包括左手握持模式和右手握持模式。
处理器可被配置为自动地确定终端被用户握持的当前握持模式。
进一步讲,可根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式。下文将详细介绍自动确定终端被用户握持的当前握持模式的具体过程。
确定当前握持模式后,可将当前握持模式进行存储,作为历史数据,可供以后确定握持模式时使用。
本领域技术人员清楚,UI(用户界面)元素是显示界面中可以看见的任何可视元素,包括可以响应用户的操作的控件(如按钮、图标等)。
当前显示界面中的预定UI元素是指当前显示界面中用户使用频率较高的UI元素。该预定UI元素的数量为至少一个。
当前显示界面中的预定UI元素可预先设置。例如,在输入法界面,用户用的最多的按键是删除键和确定键,可将这两个键设置为预定UI元素。
当前显示界面中的预定UI元素还可根据用户的历史使用记录来确定。例如,根据当前显示界面中的各个UI元素的历史使用数据确定各个UI元素的使用频率,将使用频率的排名在前若干位的UI元素确定为预定UI元素。
使用频率指示UI元素被用户操作的频率。历史使用数据是指UI元素被用户操作的历史数据,例如,可包括被用户操作的次数(例如某个图标被用户点击的次数),以及每次操作的时间等。
预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域。
也就是说,可根据当前握持模式以及当前显示界面来确定当前显示界面中的预定UI元素的显示区域。
作为示例,预定UI元素的显示区域与当前握持模式以及当前显示界面,三者之间的对应关系可预先存储在终端中。
作为示例,当前显示界面中的预定UI元素的显示区域,是在当前握持模式下,当前显示界面中用户容易触摸到的区域,例如,可以是离用户的拇指距离最近的区域。
在另一个实施例中,处理器还被配置为确定用户观看终端的当前视线模式。
视线模式包括正视模式和斜视模式。这里,可根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式。下文将详细介绍自动确定用户观看终端的当前视线模式的具体过程。
预定UI元素的显示区域为与当前握持模式、当前显示界面以及当前视线模式对应的显示区域。也就是说,根据当前握持模式、当前显示界面以及当前视线模式来确定当前显示界面中的预定UI元素的显示区域。
作为示例,预定UI元素的显示区域与当前握持模式、当前显示界面以及当前视线模式,四者之间的对应关系可预先存储在终端中。
作为示例,显示区域为在当前握持模式以及当前视线模式下,在当前显示界面中用户容易触摸到且用户的视线容易到达的区域。
在另一个实施例中,还可根据各预定UI元素的使用频率来确定各个预定UI元素在确定的显示区域中的排列顺序。这里,各个预定UI元素的使用频率可根据各个预定UI元素的历史使用数据来确定。
各个预定UI元素在确定的显示区域中的排列顺序为在当前握持模式下,使用频率越高的预定UI元素,离用户的拇指的距离越近。
在还确定预定UI元素在确定的显示区域中的排列顺序的实施例中,处理器还被配置为在确定的显示区域中以确定的排列顺序显示预定UI元素。
在一个优选的实施例中,根据本发明的实施例的动态显示UI元素的方法还可对用户姿态进行智能提醒。例如,在当前握持模式保持不变持续第一预定时间时,提醒用户更换握持模式;和/或,在当前视线模式为斜视模式且保持不变持续第二预定时间时,提醒用户更换视线模式。
也就是说,用户长时间一只手握持终端时,提示用户换手,避免手指以及手掌关节的压力过度;和/或,用户长时间斜视手机,提示用户正视手机,以防止用户的头部和视线偏转时间太久,导致产生颈部和眼部疾病。
以下将详细描述处理器确定当前握持模式以及当前视线模式的具体过程。
处理器根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置。
可采用现有的方法来根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置,在此不再赘述。该面部中心可以使用户的鼻子所在的位置。
处理器确定第一连线与第二连线之间的夹角。
第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线。
这里,可根据由摄像头、用户的面部中心以及用户的右眼球所在的位置组成的三角形以及余弦定理来计算上述的夹角。
处理器根据上述的夹角来确定当前握持模式以及当前视线模式。夹角与当前握持模式以及当前视线模式的对应关系可参照图3。
根据本发明的动态显示UI元素的方法和终端,可自动检测用户的握持模式,显示符合当前握持模式的UI,该方法适用于各样场景的使用,解决了大屏幕终端单手操作的困难,在提高单手操作的便捷性的同时不会缩小显示面积。此外,可根据摄像头实时拍摄的用户面部图像精确地判断当前握持模式,当检测到用户切换到另一个手握持终端时,当前显示界面会随之动态更新。
此外,根据本发明的动态显示UI元素的方法和终端还可结合握持模式、视线模式以及历史使用数据,动态地调整手机UI元素的显示区域以及排列顺序,可为用户提供一种能够舒适、快捷地触控到常用UI元素的方式,并且用户每次使用手机时,都能带来新的视觉上的改变。
根据本发明的实施例还提供一种计算机可读存储介质。该计算机可读存储介质存储有当被处理器执行时使得处理器执行如上所述的动态显示UI元素的方法的计算机程序。
尽管已经参照其示例性实施例具体显示和描述了本发明,但是本领域的技术人员应该理解,在不脱离权利要求所限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。

Claims (21)

1.一种动态显示UI元素的方法,其特征在于,所述方法包括:
确定终端被用户握持的当前握持模式,其中,所述握持模式包括左手握持模式和右手握持模式;
确定当前显示界面中的预定UI元素的显示区域,其中,所述预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域;
在确定的显示区域中显示所述预定UI元素。
2.根据权利要求1所述的方法,其特征在于,所述预定UI元素的数量为至少一个,
其中,所述方法还包括:
根据各个预定UI元素的历史使用数据确定各个预定UI元素的使用频率,其中,所述使用频率指示UI元素被用户操作的频率;
根据所述使用频率以及当前握持模式确定各个预定UI元素在确定的显示区域中的排列顺序。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定用户观看终端的当前视线模式,
其中,所述视线模式包括正视模式和斜视模式,
其中,所述预定UI元素的显示区域为与当前握持模式、当前显示界面以及当前视线模式对应的显示区域。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述方法还包括:
根据当前显示界面中的各个UI元素的历史使用数据确定各个UI元素的使用频率;
将使用频率的排名在前若干位的UI元素确定为预定UI元素。
5.根据权利要求3所述的方法,其特征在于,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式,和/或
根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式。
6.根据权利要求5所述的方法,其特征在于,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式的步骤包括:
根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;
确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;
当所述夹角小于第一预定角度时,确定当前握持模式为右手握持模式;
当所述夹角大于180度与第一预定角度之差时,确定所述当前握持模式为左手握持模式。
7.根据权利要求6所述的方法,其特征在于,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式的步骤还包括:
当所述夹角大于或等于所述第一预定角度且小于或等于180度与第一预定角度之差时,将之前使用次数最多的握持模式确定为当前握持模式。
8.根据权利要求5所述的方法,其特征在于,根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式的步骤包括:
根据摄像头拍摄的用户的面部图像确定用户眨动的眼睛是左眼还是右眼;
当用户眨动的眼睛是左眼时,确定当前握持模式为左手握持模式;
当用户眨动的眼睛是右眼时,确定当前握持模式为右手握持模式。
9.根据权利要求5所述的方法,其特征在于,根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式的步骤包括:
根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;
确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;
当所述夹角小于第二预定角度,或者大于180度与第二预定角度之差时,确定所述当前视线模式为斜视模式;
当所述夹角大于或等于所述第二预定角度且小于或等于180度与第二预定角度之差时,确定所述当前视线模式为正视模式。
10.根据权利要求3所述的方法,其特征在于,在当前握持模式保持不变持续第一预定时间时,提醒用户更换握持模式;和/或,在当前视线模式为斜视模式且保持不变持续第二预定时间时,提醒用户更换视线模式。
11.一种动态显示UI元素的终端,其特征在于,所述终端包括:显示单元和处理器,
其中,所述处理器被配置为:
确定终端被用户握持的当前握持模式,其中,所述握持模式包括左手握持模式和右手握持模式;
确定当前显示界面中的预定UI元素的显示区域,其中,所述预定UI元素的显示区域为与当前握持模式以及当前显示界面对应的显示区域;
控制显示单元在确定的显示区域中显示所述预定UI元素。
12.根据权利要求11所述的终端,其特征在于,所述预定UI元素的数量为至少一个,
其中,所述处理器还被配置为:
根据各个预定UI元素的历史使用数据确定各个预定UI元素的使用频率,其中,所述使用频率指示UI元素被用户操作的频率;
根据所述使用频率以及当前握持模式确定各个预定UI元素在确定的显示区域中的排列顺序。
13.根据权利要求11所述的终端,其特征在于,所述处理器还被配置为:
确定用户观看终端的当前视线模式,
其中,所述视线模式包括正视模式和斜视模式,
其中,所述预定UI元素的显示区域为与当前握持模式、当前显示界面以及当前视线模式对应的显示区域。
14.根据权利要求11至13中任意一项所述的终端,其特征在于,所述处理器还被配置为:
根据当前显示界面中的各个UI元素的历史使用数据确定各个UI元素的使用频率;
将使用频率的排名在前若干位的UI元素确定为预定UI元素。
15.根据权利要求13所述的终端,其特征在于,所述处理器被配置为:根据终端的摄像头拍摄的用户的面部图像,确定终端被用户握持的当前握持模式,和/或
根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式。
16.根据权利要求15所述的终端,其特征在于,所述处理器还被配置为:
根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;
确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;
当所述夹角小于或等于第一预定角度时,确定当前握持模式为右手握持模式;
当所述夹角大于180度与第一预定角度之差时,确定所述当前握持模式为左手握持模式。
17.根据权利要求16所述的终端,其特征在于,所述处理器还被配置为:
当所述夹角大于或等于所述第一预定角度且小于或等于180度与第一预定角度之差时,将之前使用次数最多的握持模式确定为当前握持模式。
18.根据权利要求15所述的终端,其特征在于,所述处理器还被配置为:
根据摄像头拍摄的用户的面部图像确定用户眨动的眼睛是左眼还是右眼;
当用户眨动的眼睛是左眼时,确定当前握持模式为左手握持模式;
当用户眨动的眼睛是右眼时,确定当前握持模式为右手握持模式。
19.根据权利要求15所述的终端,其特征在于,根据终端的摄像头拍摄的用户的面部图像,确定用户观看终端的当前视线模式的处理包括:
根据摄像头拍摄的用户的面部图像确定摄像头、用户的面部中心以及用户的右眼球所在的位置;
确定第一连线与第二连线的夹角,其中,所述第一连线为摄像头所在的位置与用户的面部中心所在的位置之间的连线,所述第二连线为用户的面部中心所在的位置与用户的右眼球所在的位置之间的连线;
当所述夹角小于第二预定角度,或者大于180度与第二预定角度之差时,确定所述当前视线模式为斜视模式;
当所述夹角大于或等于所述第二预定角度且小于或等于180度与第二预定角度之差时,确定所述当前视线模式为正视模式。
20.根据权利要求13所述的终端,其特征在于,所述处理器还被配置为:在当前握持模式保持不变持续第一预定时间时,提醒用户更换握持模式;和/或,在当前视线模式为斜视模式且保持不变持续第二预定时间时,提醒用户更换视线模式。
21.一种计算机可读存储介质,存储有当被处理器执行时使得处理器执行如权利要求1至10中任意一项所述的动态显示UI元素的方法的计算机程序。
CN201810672558.2A 2018-06-26 2018-06-26 动态显示ui元素的方法和终端 Active CN108920234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810672558.2A CN108920234B (zh) 2018-06-26 2018-06-26 动态显示ui元素的方法和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810672558.2A CN108920234B (zh) 2018-06-26 2018-06-26 动态显示ui元素的方法和终端

Publications (2)

Publication Number Publication Date
CN108920234A true CN108920234A (zh) 2018-11-30
CN108920234B CN108920234B (zh) 2021-12-17

Family

ID=64422700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810672558.2A Active CN108920234B (zh) 2018-06-26 2018-06-26 动态显示ui元素的方法和终端

Country Status (1)

Country Link
CN (1) CN108920234B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727388A (zh) * 2019-10-11 2020-01-24 广东虹勤通讯技术有限公司 一种控制输入法键盘的方法和装置
CN113031773A (zh) * 2021-03-24 2021-06-25 Oppo广东移动通信有限公司 提示方法、电子设备及计算机可读存储介质
CN113778580A (zh) * 2021-07-28 2021-12-10 赤子城网络技术(北京)有限公司 模态用户界面显示方法、电子设备及存储介质
CN113849099A (zh) * 2021-12-01 2021-12-28 荣耀终端有限公司 应用程序图标的显示方法及电子设备
JP7104230B1 (ja) * 2021-07-02 2022-07-20 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム
JP7104222B1 (ja) * 2021-07-02 2022-07-20 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム
JP7174876B1 (ja) 2021-07-02 2022-11-17 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281367A (zh) * 2014-09-28 2015-01-14 北京数字天域科技股份有限公司 一种移动终端系统管理方法及装置
CN104731320A (zh) * 2013-12-20 2015-06-24 卡西欧计算机株式会社 电子设备以及显示控制方法
CN107291238A (zh) * 2017-06-29 2017-10-24 深圳天珑无线科技有限公司 一种数据处理方法与装置
CN107562353A (zh) * 2017-07-17 2018-01-09 努比亚技术有限公司 一种显示界面控制方法、终端及计算机可读存储介质
CN107728789A (zh) * 2017-10-31 2018-02-23 努比亚技术有限公司 一种单手操作模式的开启方法、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731320A (zh) * 2013-12-20 2015-06-24 卡西欧计算机株式会社 电子设备以及显示控制方法
CN104281367A (zh) * 2014-09-28 2015-01-14 北京数字天域科技股份有限公司 一种移动终端系统管理方法及装置
CN107291238A (zh) * 2017-06-29 2017-10-24 深圳天珑无线科技有限公司 一种数据处理方法与装置
CN107562353A (zh) * 2017-07-17 2018-01-09 努比亚技术有限公司 一种显示界面控制方法、终端及计算机可读存储介质
CN107728789A (zh) * 2017-10-31 2018-02-23 努比亚技术有限公司 一种单手操作模式的开启方法、终端及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727388A (zh) * 2019-10-11 2020-01-24 广东虹勤通讯技术有限公司 一种控制输入法键盘的方法和装置
CN113031773A (zh) * 2021-03-24 2021-06-25 Oppo广东移动通信有限公司 提示方法、电子设备及计算机可读存储介质
JP7104230B1 (ja) * 2021-07-02 2022-07-20 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム
JP7104222B1 (ja) * 2021-07-02 2022-07-20 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム
JP7174876B1 (ja) 2021-07-02 2022-11-17 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム
JP2023008803A (ja) * 2021-07-02 2023-01-19 功憲 末次 機器支持状況通知システムおよび機器支持状況通知プログラム
CN113778580A (zh) * 2021-07-28 2021-12-10 赤子城网络技术(北京)有限公司 模态用户界面显示方法、电子设备及存储介质
CN113778580B (zh) * 2021-07-28 2023-12-08 赤子城网络技术(北京)有限公司 模态用户界面显示方法、电子设备及存储介质
CN113849099A (zh) * 2021-12-01 2021-12-28 荣耀终端有限公司 应用程序图标的显示方法及电子设备

Also Published As

Publication number Publication date
CN108920234B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN108920234A (zh) 动态显示ui元素的方法和终端
KR102185854B1 (ko) 생체측정 인증의 구현
KR102301599B1 (ko) 생체측정 인증의 구현
JP4275151B2 (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
US20220342972A1 (en) Implementation of biometric authentication
US10514767B2 (en) Information processing apparatus and information processing method
CN107239144B (zh) 一种设备的输入方法和装置
KR102056033B1 (ko) 생체측정 인증의 구현
KR20190029628A (ko) 생체측정 인증의 구현
US20120032979A1 (en) Method and system for adjusting display content
TW201224917A (en) Mode switching
CN109428969A (zh) 双屏终端的边缘触控方法、装置及计算机可读存储介质
WO2017005020A1 (zh) 一种移动终端及其实现自动接听的方法
KR20160136446A (ko) 핸드헬드형 기기 상의 사용자 조작 모드를 식별하는 방법 및 핸드헬드형 기기
US20160216837A1 (en) Method and device for providing a touch-based user interface
US20190079663A1 (en) Screenshot method and screenshot apparatus for an electronic terminal
WO2016082330A1 (zh) 调整虚拟按键布局的方法、装置及移动终端
KR20150130808A (ko) 사용자의 공간 제스처를 식별하는 방법 및 장치
Li et al. Bayesgaze: A bayesian approach to eye-gaze based target selection
EP3018566A1 (en) Handheld device and method for adjusting position of input area thereon
CN105045395A (zh) 一种显示装置及画面显示方法
KR20200116493A (ko) 정보 처리 장치, 및 기록 매체에 저장된 컴퓨터 프로그램
CN108200228B (zh) 终端指纹识别模组管理方法、终端及计算机可读存储介质
KR102444500B1 (ko) 정보 처리 장치, 및 기록 매체에 저장된 컴퓨터 프로그램
WO2022062806A1 (zh) 防误触方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant