CN105446673B - 屏幕显示的方法及终端设备 - Google Patents

Abstract

本发明公开了一种屏幕显示的方法及终端设备，该方法包括：获取屏幕上的元素的关系信息，元素为屏幕上显示的对象或用于人机交互的载体；获取用户的视线信息和手势信息中的至少一种；根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，其中确定的用户的关注区域包括视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系；对确定的用户的关注区域进行优化处理，并将经过优化处理的用户的关注区域显示在屏幕上。本发明实施例的屏幕显示的方法及终端设备，通过自动优化关注区域的显示，可以提高人机交互效率。

Description

屏幕显示的方法及终端设备

技术领域

本发明涉及通信领域，尤其涉及通信领域中屏幕显示的方法及终端设备。

背景技术

随着信息通信技术的不断发展，用户越来越多地通过以智能手机为代表的智能移动终端，进行信息的浏览。通常，智能移动终端的屏幕的大小有限，上面的文字、图片等媒体信息较小，不便于查看和操作。

智能移动终端的屏幕显示，大多可以通过用户手动调整来更改整个屏幕上元素的大小。但是，手动调整不但增加了用户的工作量，还容易使手动调整的操作与其它操作混淆，造成误操作。并且，手动调整涉及整个屏幕上的所有元素，有可能会改变屏幕上的信息量，不利于用户对信息的整体把握，使得用户可能需要执行更多的滑屏或翻页操作。并且，屏幕上元素的整体放大常常会造成信息的位移，使得用户无法定位放大操作之前在关注的信息，不利于人机交互。

虽然现在提出了一些改进方法，可以对屏幕上的局部区域进行简单优化，但是现有的方法确定的局部区域的范围和优化的效果都并不理想，人机交互效率低。

发明内容

本发明实施例提供了一种屏幕显示的方法及终端设备，能够提高人机交互效率。

第一方面，提供了一种屏幕显示的方法，该方法包括：获取所述屏幕上的元素的关系信息，其中，所述元素为所述屏幕上显示的对象或用于人机交互的载体；获取用户的视线信息和手势信息中的至少一种；根据所述视线信息和手势信息中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户的关注区域，其中所述确定的用户的关注区域包括所述视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系；对所述确定的用户的关注区域进行优化处理，并将经过所述优化处理的用户的关注区域显示在所述屏幕上。

结合第一方面，在第一方面的第二种可能的实现方式中，所述元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述视线信息包括当前视线的焦点位置；所述手势信息包括当前手势的悬浮位置；所述根据所述视线信息和手势信息中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户的关注区域，包括：根据所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中所述确定的用户当前关注的区域包括所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述视线信息包括当前视线的焦点位置和视线的移动趋势；所述手势信息包括当前手势的悬浮位置和手势的移动趋势；所述根据所述视线信息和手势信息中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户的关注区域，包括：根据所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中所述确定的用户下一关注的区域包括所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

结合第一方面和第一方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第四种可能的实现方式中，该方法还包括：监测用户做出响应的响应区域；在所述响应区域与所述关注区域不完全相同时，根据所述响应区域与所述关注区域的区别，更新所述区域划分算法。

结合第一方面和第一方面的第一种至第四种可能的实现方式中的任一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述对所述确定的用户的关注区域进行优化处理，并将经过所述优化处理的用户的关注区域显示在所述屏幕上，包括：根据区域优化算法，选择以下至少一种方式对所述确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；将所述确定的用户的关注区域中经过优化处理后的元素显示在所述屏幕上。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，该方法还包括：获取用户使用习惯，所述用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；根据所述用户使用习惯，更新所述区域划分算法和/或所述区域优化算法。

结合第一方面的第五种或第六种可能的实现方式，在第一方面的第七种可能的实现方式中，该方法还包括：计算用户做出响应的响应效率，所述响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；根据所述响应效率，更新所述区域优化算法。

结合第一方面的第五种至第七种可能的实现方式中的任一种可能的实现方式，在第一方面的第八种可能的实现方式中，所述区域划分算法包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的至少一种算法；或所述区域优化算法包括基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法。

第二方面，提供了一种终端设备，该终端设备包括：第一获取模块，用于获取所述屏幕上的元素的关系信息，其中，所述元素为所述屏幕上显示的对象或用于人机交互的载体；第二获取模块，用于获取用户的视线信息和手势信息中的至少一种；确定模块，用于根据所述第二获取模块获取的所述视线信息和手势信息中的至少一种，结合所述第一获取模块获取的所述元素的关系信息，利用区域划分算法确定用户的关注区域，其中所述确定的用户的关注区域包括所述视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系；优化显示模块，用于对所述确定模块确定的用户的关注区域进行优化处理，并将经过所述优化处理的用户的关注区域显示在所述屏幕上。

结合第二方面，在第二方面的第二种可能的实现方式中，所述第一获取模块获取的所述元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述第二获取模块获取的所述视线信息包括当前视线的焦点位置；所述第二获取模块获取的所述手势信息包括当前手势的悬浮位置；所述确定模块具体用于：根据所述第二获取模块获取的所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种，结合所述第一获取模块获取的所述元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中所述确定模块确定的用户当前关注的区域包括所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第二获取模块获取的所述视线信息包括当前视线的焦点位置和视线的移动趋势；所述第二获取模块获取的所述手势信息包括当前手势的悬浮位置和手势的移动趋势；所述确定模块具体用于：根据所述第二获取模块获取的所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种，结合所述第一获取模块获取的所述元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中所述确定模块确定的用户下一关注的区域包括所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

结合第二方面和第二方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第二方面的第四种可能的实现方式中，该终端设备还包括：监测模块，用于监测用户做出响应的响应区域；所述更新模块还用于：在所述响应区域与所述关注区域不完全相同时，根据所述响应区域与所述关注区域的区别，更新所述区域划分算法。

结合第二方面和第二方面的第一种至第四种可能的实现方式中的任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述优化显示模块具体用于：根据区域优化算法，选择以下至少一种方式对所述确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；将所述确定的用户的关注区域中经过优化处理后的元素显示在所述屏幕上。

结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，该终端设备还包括：第三获取模块，用于获取用户使用习惯，所述用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；更新模块，用于根据所述第三获取模块获取的所述用户使用习惯，更新所述区域划分算法和/或所述区域优化算法。

结合第二方面的第五种或第六种可能的实现方式，在第二方面的第七种可能的实现方式中，该终端设备还包括：计算模块，用于计算用户做出响应的响应效率，所述响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；所述更新模块还用于：根据所述响应效率，更新所述区域优化算法。

结合第二方面的第五种至第七种可能的实现方式中的任一种可能的实现方式，在第二方面的第八种可能的实现方式中，所述区域划分算法包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的至少一种算法；或所述区域优化算法包括基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法。

基于上述技术方案，本发明实施例的屏幕显示的方法及终端设备，通过根据用户的视线信息和手势信息中的至少一种，结合屏幕上的元素的关系信息，利用区域划分算法确定用户关注区域，使得该关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的，优化关注区域的显示，可以提高人机交互效率，改善用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是根据本发明实施例的屏幕显示的方法的示意性流程图。

图2是根据本发明另一实施例的屏幕显示的方法的示意图。

图3是根据本发明另一实施例的屏幕显示的方法的示意图。

图4是根据本发明另一实施例的屏幕显示的方法的示意图。

图5是根据本发明另一实施例的屏幕显示的方法的示意性流程图。

图6是根据本发明实施例的终端设备的示意性框图。

图7是根据本发明另一实施例的终端设备的示意性框图。

图8是根据本发明另一实施例的终端设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应属于本发明保护的范围。

图1示出了根据本发明实施例的屏幕显示的方法100的示意性流程图，该方法100可以由终端设备执行。文中的终端设备，可以是具有屏幕显示功能的多种处理设备。例如，可以是具有屏幕显示功能的用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理、用户装置或用户设备(UE，User Equipment)，还可以是智能手机、个人电脑、平板电脑、无绳电话、手持设备、车载设备等具有屏幕的其它计算设备。如图1所示，方法100包括：

S101，获取屏幕上的元素的关系信息，其中，元素为屏幕上显示的对象或用于人机交互的载体；

S102，获取用户的视线信息和手势信息中的至少一种；

S103，根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，其中确定的用户的关注区域包括视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系；

S104，对确定的用户的关注区域进行优化处理，并将经过优化处理的用户的关注区域显示在屏幕上。

在S101中，终端设备可以通过终端设备中的软硬件配置信息和当前屏幕上显示的内容，进而获取屏幕上的元素的关系信息。

其中，屏幕上的元素是指屏幕上显示的对象或用于人机交互的载体，包括屏幕当前显示的文字、图片、按钮、下拉菜单、单选框、输入框、复选框和链接等各种元素，本发明实施例并不仅限于此。

元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。元素之间在功能上的包含是指一个元素可能分为多个部分，即分为更小的元素。元素之间在功能上的顺序是指在逻辑上元素出现的先后顺序。元素之间在功能上的相关是指在逻辑上元素是为了实现相同的功能的。元素之间在功能上的联动是指用户可能在该多个元素之间选择或徘徊，例如，成对出现的按钮等。

除此之外，元素之间在功能上还可以是互斥的，即在当前的操作任务下，用户不可能使用到另一元素。此外，终端设备还可以获取以下信息中的一种或多种：屏幕上元素的位置、大小、颜色、形状、元素可进行的操作、屏幕的大小、分辨率等信息作为区域划分和优化时的参考。

在S102中，获取用户针对屏幕做出的行为的相关信息，可以包括用户的视线信息和手势信息中的至少一种。其中，用户的视线信息可以通过眼动技术来确定。通过诸如前置摄像头、远红外摄像头等的眼动跟踪设备，可以得到用户眼睛的开合状况、瞳孔的大小、视线驻留的位置范围、视线移动的方向、速度和加速度等。用户的手势信息主要是指用户手部或手指悬浮的位置、手部或手指触摸屏幕的位置、手势移动的方向、速度和加速度、手势的语义(如点击、上下左右滑动、拖动等)等，可以通过诸如距离传感器、光线传感器、电磁传感器和声传感器等的手势跟踪设备来获取。

在S103中，根据S102中获取的视线信息和手势信息中的至少一种，结合在S101中获得的元素的关系信息，利用区域划分算法，可以确定用户的关注区域。

S103中确定的用户的关注区域包括视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。其中，根据视线信息或者手势信息，例如视线的焦点位置，可以确定屏幕上相应的元素，即目标元素。但仅优化目标元素不能保证屏幕上关注区域内的元素在功能上的完整性。根据元素的关系信息，可以确定与目标元素具有包含、顺序、相关或联动关系的扩展元素，将扩展元素和目标元素确定为关注区域内的元素，对关注区域进行优化，可以保证屏幕上关注区域内的元素在功能上的完整性。

例如，获取屏幕上的元素的关系信息，在判断两个元素是相关关系时，将相关的两个元素一同确定为关注区域的元素。如图2A所示，根据获取的用户的视线信息，可以确定用户视线的焦点位于屏幕的某个图片上，根据屏幕上的元素的关系信息，与该图片相关的元素还包括图片右边的说明文字，则如图2B所示，将该图片及说明文字确定为关注区域的元素，对这两个元素同时进行优化，例如，放大、高亮显示等。类似地，当根据元素的关系信息确定了与目标元素具有包含(如，目标元素的图为某一大图中的一小块)、顺序(如，目标元素的单选框与另一按钮在顺序上紧密相连)、或联动(如，目标元素的下拉菜单与另一下拉菜单是联动的)关系的扩展元素时，将扩展元素和目标元素确定为关注区域内的元素，对关注区域进行优化。

此外，如果屏幕上的两个元素是互斥关系时，则将目标元素确定为关注区域的元素，而与目标元素互斥的另一个元素不是关注区域的元素。即对一个元素及其相关的元素进行优化，而对与其相排斥的元素可以不进行优化，甚至可以弱化其显示。还可以获取屏幕上元素的位置、大小、形状等信息，以保证所显示的界面的完整性和美观性。例如，获取屏幕上的元素的位置、大小、形状等信息可以避免出现如下情况：关注区域中包含有不完整的元素，如包含按钮的一部分，而不是整个按钮。如果关注区域中包含有不完整的元素，则在进行关注区域显示的优化处理时，可能会出现仅放大了某个元素的一部分的情况，出现错位、断层等，影响用户阅读和操作。获取屏幕上的元素信息还可以提高优化的最终效果。

应理解，关注区域可以是用户当前关注的区域，也可以是用户的下一关注区域。确定的关注区域不同，其要求S102相应地获取的视线信息和手势信息的具体内容也不相同。区域划分算法可以包括一些较为成熟的划分算法。例如，可以包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的一种，也可以是多种算法相结合。确定关注区域时，还可以分别根据各种区域划分算法进行计算，对各种计算结果进行统计，确定关注区域，本发明实施例对此不作限定。

在S104中，对确定的用户的关注区域进行优化处理，并将经过优化处理的用户的关注区域显示在屏幕上。应注意地是，本发明实施例中的优化处理应尽量不改变屏幕上的信息量，即在最大程度保证屏幕上显示界面的完整性、美观性以及功能的完整性的前提下，由交互设计规则来指导优化效果的设计，以实现诸如点击时间、切换速度、和视觉搜索效率等的人机的交互效率的提升。其中，视觉搜索效率是指用户在屏幕的众多元素中，定位某一特定元素所花费的时间。当对关注区域的元素进行放大时，可以通过缩小其它区域的间隔、局部遮盖、递进虚化等手段相应调整布局和显示，使得屏幕上的信息量不发生改变。

具体而言，可以根据区域优化算法，选择以下至少一种方式对确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；将确定的用户的关注区域中经过优化处理后的元素显示在屏幕上，但本发明实施例并不仅限于此。

区域优化算法可以为基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法，还可以基于多种定律或法则分别确定要做出的优化，然后通过投票方式确定最终的优化处理方案。当然区域优化算法可以基于其它的定理或基础算法，本发明实施例对此不作限定。

例如，区域优化算法所依据的交互设计规则可以是费茨定律(Fitts's law)。费茨定律是人机互动以及人体工程学中人类活动的模型，其认为快速移动到目标区域所需的时间是目标区域的距离和目标区域的大小的函数。费茨定律多用于表现“指和点”这个动作的概念模型，无论是用手或者手指进行物理接触，抑或是在电脑屏幕上用假想的设备(例如鼠标)进行虚拟的触碰。使用指点设备到达一个目标的时间同以下两个因素有关：设备当前位置和目标位置的距离(D)，距离越长，所用时间越长；目标的大小(S)，目标越大，所用时间越短。该定律可用以下公式表示：t＝a+blog₂(D/S+1)。其中a，b是经验参数，依赖于具体的指点设备的物理特性，以及操作人员和环境等因素。在本发明实施例中，可以结合多种定律和原理综合考虑，得出较优的优化算法。

具体而言，例如，如图3所示为用户在智能手机上进行拨号的场景，用户意欲输入号码“234”。图3A为用户未开始拨号时的情景；图3B为用户开始拨号，其手指首先移到屏幕键盘数字2附近，装置将数字2及其周围区域放大，更方便用户点击数字键2。接下来用户手指依次移到数字3和4处，则装置顺次将相应数字及其周围区域键盘放大，方便用户点击。

再如，用户正在使用智能手机浏览网页，分析用户当前视线焦点位于网页上方的新闻的标题，因此将标题区域放大。接下来用户的视线移到标题图，整张图片放大。根据用户的浏览习惯，同时将旁边相应的图片说明文字被移到中间易阅读的位置。继而再用户准备点击下一条新闻链接时，将其视线焦点和手指指向区域高亮与其它链接相区分，方便用户确定要点击的区域。

又如，用户使用移动阅读器来阅读电子书。当用户的视线移动到一行的末尾，根据用户的阅读习惯，装置自动的将下一行文字的开头局部间隔放大，方便用户定位阅读。如果用户是老年人，装置可以自动记录其习惯的的字体大小和字体形态，作为区域划分算法的参数，继而能够在各种界面将字体等自动调整到最合适用户阅读的状态。

因此，本发明实施例的屏幕显示的方法，通过根据用户的视线信息和手势信息中的至少一种，结合屏幕上的元素的关系信息，利用区域划分算法确定用户关注区域，使得该关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的，优化关注区域的显示，可以提高人机交互效率，改善用户体验。

可选地，作为一个实施例，视线信息包括当前视线的焦点位置；手势信息包括当前手势的悬浮位置；根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，包括：根据当前视线的焦点位置和当前手势的悬浮位置中的至少一种，结合元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中确定的用户当前关注的区域包括当前视线的焦点位置和当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。

具体而言，通过诸如前置摄像头、远红外摄像头等的眼动跟踪设备，可以获取当前视线的焦点位置。通过诸如距离传感器、光线传感器、电磁传感器和声传感器等的手势跟踪设备可以获取当前手势的悬浮位置。根据当前视线的焦点位置和/或当前手势的悬浮位置，结合元素的关系信息，利用区域划分算法，可以确定用户当前关注的区域，并保证用户当前关注的区域内包括当前视线的焦点位置和当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素。进而通过区域优化算法，可以对该用户当前关注的区域的显示进行优化处理，以实现诸如点击时间、切换速度、视觉搜索效率等的人机的交互效率的提升。当然，手势信息中还可以包括其它信息，如用户手势的语义。例如获取手势的语义为点击，则确定当前关注区域时，可以以该点击按钮作为关注区域的中心，并且也可以为区域优化提供相应的信息，本发明实施例对此不作限定。

因此，本发明实施例的屏幕显示的方法，通过根据用户的当前视线的焦点位置和当前手势的悬浮位置中的至少一种，结合屏幕上的元素的关系信息，利用区域划分算法确定用户当前的关注区域，使得该用户当前的关注区域包括目标元素以及扩展元素，即使得用户当前的关注区域包括的元素在功能上是完整的，自动优化用户当前的关注区域的显示，可以提高人机交互效率，改善用户体验。

可选地，作为另一个实施例，视线信息包括当前视线的焦点位置和视线的移动趋势；手势信息包括当前手势的悬浮位置和手势的移动趋势；根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，包括：根据当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种，结合元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中确定的用户下一关注的区域包括当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。

具体而言，通过摄像头等设备可以获得用户当前视线的焦点位置，还可以获取用户视线的移动趋势。该视线的移动趋势包括视线的移动方向，优选地还可以包括视线的移动速度或加速度等信息。通过传感器等设备可以获得用户当前手势的悬浮位置，还可以获取用户手势的移动趋势。该手势的移动趋势包括手势的移动方向，优选地还可以包括手势的移动速度或加速度等信息。根据视线和/或手势的以上信息，结合屏幕上的元素的关系信息，通过区域划分算法计算，可以预测用户下一关注的区域，进而对该下一关注的区域的显示进行优化处理，并保证用户下一关注的区域内包括当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素。

除了通过用户当前视线的焦点位置、视线的移动方向、速度等来确定用户下一关注的区域，还可以通过上一刻的移动的历史来预测可能的移动趋势。例如在阅读操作下，上一刻视线是从左移到当前位置，则有一定概率视线会继续右移。而如果当前位置已经是屏幕的最右端，则视线右移的可能性大大下降。同样，手势信息中也还可以包括其它信息，如用户手势的语义等，本发明实施例对此不作限定。

例如，如图4所示为用户在智能手机上浏览表格的场景。图4A为用户未开始浏览时的情景，表格的所有行均为未优化的原始状态。图4B为用户开始浏览表格，其视线首先移到表格的201行，则行201高亮并且放大加宽显示。此时，如图4C所示，用户视线开始移动，将表格的201行恢复为原始状态。根据用户的视线移动趋势，判断接下来用户可能会阅读表格的202行，则此时，如图4D所示，提前将行202高亮并且放大加宽显示。跟随用户的视线移动，依次优化表格的各行。

因此，本发明实施例的屏幕显示的方法，通过用户的当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种，结合屏幕上的元素的关系信息，可以提前确定用户的下一关注区域，即可以预测用户的下一关注区域，使得该用户的下一关注区域包括目标元素以及扩展元素，即使得用户的下一关注区域包括的元素在功能上是完整的，从而相应地提前优化该关注区域的显示，能够进一步提高人机交互效率，改善用户体验。

可选地，作为另一个实施例，方法100还包括：

获取用户使用习惯，用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；

根据用户使用习惯，更新区域划分算法和/或区域优化算法。

具体而言，获取用户使用习惯包括用户的浏览习惯、操作习惯和交互习惯等。浏览习惯包括：对屏幕上内容的浏览顺序、位置(如新闻是否会看右边的栏目)，浏览速度，平视还是垂视等。操作习惯包括：左手还是右手持机，单手还是双手，主动手等。交互习惯包括：比如新闻网页浏览习惯打开新的标签然后按窗口关闭按钮，还是在原窗口打开后按后退按钮等。获得用户使用习惯，可以通过各种监控或传感设备。例如，用户手势和手持方式的判断可以通过加速度传感器、方向传感器、距离传感器、光线传感器等数据通过机器学习方法对手势进行分类判断，本发明实施例的用户使用习惯及其获取方法并不仅限于此。

因此，本发明实施例的屏幕显示的方法，通过了解用户的使用习惯，有利于确定用户的关注区域，对于区域优化算法的确定也有一定的参考价值，因此可以根据获取的用户使用习惯相应调整区域划分算法和/或区域优化算法，以进一步提高区域划分的准确性和优化的效率。

可选地，作为另一个实施例，方法100还包括：

监测用户做出响应的响应区域；

在响应区域与关注区域不完全相同时，根据响应区域与关注区域的区别，更新区域划分算法。

具体而言，通过区域划分算法确定的当前的关注区域或下一关注区域有可能是有偏差的，甚至可能是完全不正确的。继续跟踪用户行为，如用户点击的位置等信息，可以确定用户做出响应的响应区域。

将该响应区域与通过区域划分算法计算的关注区域进行对比。当响应区域与关注区域不完全相同时，则表明区域划分算法的计算是有偏差的，根据响应区域与关注区域的区别，可以对区域划分算法进行更新，以提高其计算的准确性。其中，对区域划分算法进行更新可以是对某一区域划分算法中的参数进行更新和调整；在区域划分的偏差较大时，说明当前使用的区域划分算法可能是不合适的，可以选择其它的区域划分算法进行区域划分。

因此，本发明实施例的屏幕显示的方法，通过对响应区域与通过区域划分算法计算的关注区域进行对比，可以根据响应区域与关注区域的区别，更新优化区域划分算法，以进一步提高区域划分的准确性。

可选地，作为另一个实施例，方法100还包括：

计算用户做出响应的响应效率，响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；

根据响应效率，更新区域优化算法。

其中，视觉搜索效率是指用户在屏幕的众多元素中，定位某一特定元素所花费的时间。如上文所述，对关注区域优化的原则包括保证界面的完整性和美观性，方便用户查看和操作，另外，还可以包括提升点击时间、切换速度、视觉搜索效率等。因此，可以在优化完成后，可以跟踪确定用户做出响应的响应效率，例如包括点击时间、切换速度、和视觉搜索效率中的至少一种。将这些响应效率与用户操作的实际效果和/或之前的优化结果相比较，可以依比较结果更新相应的区域优化算法。其中，对区域优化算法进行更新可以是对某一区域优化算法中的参数进行更新和调整；也可以选择其它的区域优化算法进行优化处理。

应理解，获取用户使用习惯、用户的响应区域或者用户做出响应的响应效率等信息后，需要对这些信息进行统计分析，以获得可用的数据。例如，通过统计方法，获得用户的惯用手信息、观看屏幕的浏览习惯、查看网页的交互习惯等，本发明实施例对统计分析方法不作限定。

因此，本发明实施例的屏幕显示的方法，通过用户的点击时间、切换速度、和视觉搜索效率中的至少一种，对区域划分算法和区域优化算法进行更新，能够使得后续的区域划分和区域优化更合理有效，可以进一步提高人机交互效率，改善用户体验。

应理解，本发明各个实施例中的区域划分算法和区域优化算法，可以视为一种模型。模型的初始化可以是多用户统计模型或者规则模型。例如，区域划分算法可以由函数f(X,Y,Z,M)来表示。其中，X表示屏幕上元素的特征，如元素的大小、颜色、元素可执行的操作等，以及不同交互元素之间的关联性，如顺序、组合、互斥等；Y表示用户的视线信息，如当前视线的焦点位置、视线移动的方向、移动的速度等；Z表示用户的手指悬浮信息，如当前手指悬浮的位置、手指移动的方向、移动的速度等；M表示用户过去相似界面上浏览和操作行为习惯而建立的区域划分算法；函数值f(X,Y,Z,M)表示用户关注的区域的中心位置、区域大小、可能的移动趋势等。同理，区域优化算法也可以由相应的函数表示。

对区域划分算法和区域优化算法的更新，可以看作是学习的过程。装置通过摄像头、传感器等记录用户的使用习惯等信息，对这些信息进行分析和分类，获取有用信息作为动态的参数输入模型，结合最终的优化结果，对区域划分算法和区域优化算法中的一些基础参数进行更新。根据预测的关注区域与用户做出的响应的差别，也可以对区域划分算法中的基础参数进行更新。

因此，本发明实施例的屏幕显示的方法，通过用户的使用习惯、用户的响应区域或者用户做出响应的响应效率等信息，对区域划分算法和区域优化算法进行更新，能够使得后续的区域划分和区域优化更合理有效，可以进一步提高人机交互效率，改善用户体验。

下面将结合图5，以更详细的例子说明本发明实施例的屏幕显示的方法。如图5所示，屏幕显示的方法300包括：

S301，获取屏幕上的元素的关系信息，包括屏幕上包括元素之间在功能上的包含、顺序、相关或联动关系等。

S302，获取用户当前的视线焦点位置和当前的手势悬浮位置中的至少一种。其中，用户的视线焦点位置可以通过前置摄像头、远红外摄像头等获取；用户的手势悬浮位置可以通过距离传感器、光线传感器、电磁传感器等各种传感器获取。

S303，根据获取的用户的视线焦点位置或用户的手势悬浮位置中的至少一种，结合元素的关系信息，通过区域划分算法，确定需要优化显示的用户的当前关注区域，使得该用户当前的关注区域包括目标元素以及扩展元素，即使得用户当前的关注区域包括的元素在功能上是完整的。

S304，根据区域优化算法，对当前关注区域的显示进行优化处理，如放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距等。

S305，获取用户使用习惯、用户的响应区域或者用户做出响应的响应效率等。其中，获取的用户使用习惯和用户的响应区，用于对区域划分算法进行更新。获取的用户使用习惯和用户做出响应的响应效率，用于对区域优化算法进行更新。

S306，根据S305中获取的信息，判断是否需要更新区域划分算法或区域优化算法。如果需要更新区域划分算法，执行S307；如果需要更新区域划分算法，执行S308；如果否，在用户视线移动或用户手势移动时执行S309，在用户离开屏幕上显示的当前界面时结束。

S307，更新区域划分算法，更新后执行S302或S309。

S308，更新区域优化算法，更新后执行S302或S309。

S309，在用户视线移动或用户手势移动时，获取用户的当前视线的焦点位置和视线移动趋势，以及用户的当前手势的悬浮位置和手势移动趋势中的至少一种。其中，视线移动趋势包括视线移动的方向和速度；手势移动趋势包括手势移动的方向和速度等。

S310，根据用户的当前视线的焦点位置和视线移动趋势，以及用户的当前手势的悬浮位置和手势移动趋势中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的下一关注区域，使得该用户的下一关注区域包括目标元素以及扩展元素，即使得用户的下一关注区域包括的元素在功能上是完整的。

S311，根据区域优化算法，优化下一关注区域的显示。优化完成后，可以执行S306获取相应信息，而后对区域划分算法或区域优化算法更新；也可以直接结束。

因此，本发明实施例的屏幕显示的方法，通过获取屏幕上的元素的关系信息，并根据用户的当前视线焦点位置和当前手指悬浮位置中的至少一种，结合区域划分算法和元素的关系信息，确定用户当前的关注区域，自动优化关注区域的显示，可以提高人机交互效率。根据用户使用习惯、用户的响应区域或者用户做出响应的响应效率等对区域划分算法和区域优化算法进行更新，使得区域划分和区域优化更准确有效。此外，还根据视线移动趋势和用户的手指移动趋势中的至少一种预测下一关注区域，能够提前对用户可能关注的下一区域进行优化显示，进一步提高人机交互效率，改善用户体验。在本发明实施例中，由于结合元素的关系信息，使得关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的。

应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上文中结合图1至图5，详细描述了根据本发明实施例的屏幕显示的方法，下面将结合图6至图8，详细描述根据本发明实施例的终端设备。

图6示出了根据本发明实施例的终端设备400的示意性框图。如图6所示，该终端设备400包括：

第一获取模块401，获取屏幕上的元素的关系信息，其中，元素为屏幕上显示的对象或用于人机交互的载体；

第二获取模块402，用于获取用户的视线信息和手势信息中的至少一种；

确定模块403，用于根据第二获取模块获取的视线信息和手势信息中的至少一种，结合第一获取模块获取的元素的关系信息，利用区域划分算法确定用户的关注区域，其中确定的用户的关注区域包括视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系；

优化显示模块404，用于对确定模块确定的用户的关注区域进行优化处理，并将经过优化处理的用户的关注区域显示在屏幕上。

因此，本发明实施例的终端设备，通过根据用户的视线信息和手势信息中的至少一种，结合屏幕上的元素的关系信息，利用区域划分算法确定用户关注区域，使得该关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的，优化关注区域的显示，可以提高人机交互效率，改善用户体验。

应理解，第一获取模块401获取的元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。

可选地，作为一个实施例，第二获取模块402获取的视线信息包括当前视线的焦点位置；

第二获取模块402获取的手势信息包括当前手势的悬浮位置；

确定模块403具体用于：

根据第二获取模块402获取的当前视线的焦点位置和当前手势的悬浮位置中的至少一种，结合第一获取模块401获取的元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中确定模块确定的用户当前关注的区域包括当前视线的焦点位置和当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。

可选地，作为另一个实施例，第二获取模块402获取的视线信息包括当前视线的焦点位置和视线的移动趋势；

第二获取模块402获取的手势信息包括当前手势的悬浮位置和手势的移动趋势；

确定模块403具体用于：

根据第二获取模块402获取的当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种，结合第一获取模块401获取的元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中确定模块确定的用户下一关注的区域包括当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。

可选地，作为另一个实施例，终端设备400还包括：

监测模块，用于监测用户做出响应的响应区域；

更新模块还用于：

在响应区域与关注区域不完全相同时，根据响应区域与关注区域的区别，更新区域划分算法。

应理解，优化显示模块404具体可以用于：

根据区域优化算法，选择以下至少一种方式对确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；

将确定的用户的关注区域中经过优化处理后的元素显示在屏幕上。

可选地，作为另一个实施例，终端设备400还包括：

第三获取模块，用于获取用户使用习惯，用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；

更新模块，用于根据第三获取模块获取的用户使用习惯，更新区域划分算法和/或区域优化算法。

可选地，作为另一个实施例，终端设备400还包括：

计算模块，用于计算用户做出响应的响应效率，响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；

更新模块还用于：

根据响应效率，更新区域优化算法。

应理解，终端设备400中的第一获取模块401、确定模块403，优化模块404可以为处理器。第二获取模块402可以包括触控面板。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板的操作)，并根据预先设定的程式驱动相应的连接装置。或者，第二获取模块402可以包括红外设备、图像采集设备、摄像头，或者运行相应用于获取用户的视线信息和手势信息中的至少一种功能的处理器。

还应理解，区域划分算法包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的至少一种算法；或区域优化算法包括基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法。

还应理解，在本发明实施例中，根据本发明实施例的终端设备400可对应于根据本发明实施例的方法的执行主体，并且终端设备400中的各个模块的上述和其它操作和/或功能分别为了实现图1至图5中的各个方法的相应流程，为了简洁，在此不再赘述。

因此，本发明实施例的终端设备，通过获取屏幕上的元素的关系信息，并根据用户的当前视线焦点位置和当前手指悬浮位置中的至少一种，结合区域划分算法和元素的关系信息，确定用户当前的关注区域，自动优化关注区域的显示，可以提高人机交互效率。根据用户使用习惯、用户的响应区域或者用户做出响应的响应效率等对区域划分算法和区域优化算法进行更新，使得区域划分和区域优化更准确有效。此外，还根据视线移动趋势和用户的手指移动趋势中的至少一种预测下一关注区域，能够提前对用户可能关注的下一区域进行优化显示，进一步提高人机交互效率，改善用户体验。在本发明实施例中，由于结合元素的关系信息，使得关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的。

如图7所示，本发明实施例还提供了一种终端设备500，该终端设备500包括处理器501、存储器502和总线系统503，处理器501和存储器502通过总线系统503相连。存储器502用于存储指令，处理器501用于执行存储器502存储的指令。其中，处理器501用于：

获取屏幕上的元素的关系信息，其中，元素为屏幕上显示的对象或用于人机交互的载体；

获取用户的视线信息和手势信息中的至少一种；

根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，其中确定的用户的关注区域包括视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系；

对确定的用户的关注区域进行优化处理，并将经过优化处理的用户的关注区域显示在屏幕上。

因此，本发明实施例的终端设备，通过根据用户的视线信息和手势信息中的至少一种，结合屏幕上的元素的关系信息，利用区域划分算法确定用户关注区域，使得该关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的，优化关注区域的显示，可以提高人机交互效率，改善用户体验。

应理解，在本发明实施例中，该处理器501可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器501还可以是其它通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器502可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储器502的一部分还可以包括非易失性随机存取存储器。例如，存储器502还可以存储设备类型的信息。

该总线系统503除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统503。

在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应理解，处理器501获取的元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。

可选地，作为一个实施例，视线信息包括当前视线的焦点位置；

手势信息包括当前手势的悬浮位置；

处理器501根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，包括：

根据当前视线的焦点位置和当前手势的悬浮位置中的至少一种，结合元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中确定的用户当前关注的区域包括当前视线的焦点位置和当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。

可选地，作为另一个实施例，视线信息包括当前视线的焦点位置和视线的移动趋势；

手势信息包括当前手势的悬浮位置和手势的移动趋势；

处理器501根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，包括：

根据当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种，结合元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中确定的用户下一关注的区域包括当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。

可选地，作为另一个实施例，处理器501还用于：

监测用户做出响应的响应区域；

在响应区域与关注区域不完全相同时，根据响应区域与关注区域的区别，更新区域划分算法。

应理解，处理器501具体可以用于：

根据区域优化算法，选择以下至少一种方式对确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；

将确定的用户的关注区域中经过优化处理后的元素显示在屏幕上。

可选地，作为另一个实施例，处理器501还用于：

获取用户使用习惯，用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；

根据用户使用习惯，更新区域划分算法和/或区域优化算法。

可选地，作为另一个实施例，处理器501还用于：

计算用户做出响应的响应效率，响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；

根据响应效率，更新区域优化算法。

应理解，区域划分算法包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的至少一种算法；或区域优化算法包括基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法。

还应理解，根据本发明实施例的终端设备500可对应于执行本发明实施例中的方法的主体，还可以对应于根据本发明实施例的终端设备400，并且终端设备500中的各个模块的上述和其它操作和/或功能是为了实现图1至图5的各方法的相应流程，为了简洁，在此不再赘述。

因此，本发明实施例的终端设备，通过获取屏幕上的元素的关系信息，并根据用户的当前视线焦点位置和当前手指悬浮位置中的至少一种，结合区域划分算法和元素的关系信息，确定用户当前的关注区域，自动优化关注区域的显示，可以提高人机交互效率。根据用户使用习惯、用户的响应区域或者用户做出响应的响应效率等对区域划分算法和区域优化算法进行更新，使得区域划分和区域优化更准确有效。此外，还根据视线移动趋势和用户的手指移动趋势中的至少一种预测下一关注区域，能够提前对用户可能关注的下一区域进行优化显示，进一步提高人机交互效率，改善用户体验。在本发明实施例中，由于结合元素的关系信息，使得关注区域包括目标元素以及扩展元素，即使得关注区域包括的元素在功能上是完整的。

本发明实施例涉及一种终端设备600及屏幕显示的方法，该终端设备600可以为手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、或车载电脑等。

图8示出的是本发明实施例终端600的结构示意图。参考图8，本发明实施例的一种终端设备600，包括，第一存储器620、处理器660及输入单元630，该第一存储器620存储该终端预设数量的应用程序的界面信息，其中，该界面信息包括界面元素、界面编号、该界面编号与该界面元素的对应关系、以及该界面元素位于该界面编号对应的应用程序界面的位置信息；该输入单元630用于接收用户切换应用程序界面操作，并产生切换信号；该处理器660用于根据该切换信号确定目标界面编号；根据与该目标界面编号相邻的预定数量确定与该目标界面编号相邻的界面编号；根据该第一存储器620中存储的界面编号和与该目标界面编号相邻的界面编号，确定待加载的界面编号对应的界面信息；释放该第一存储器620中与该目标界面编号不相邻的至少部分界面编号对应的界面信息所占用的存储空间；加载该待加载的界面编号对应的界面信息到该第一存储器620中。

其中，该预设数量是指可以存储于该第一存储器620的应用程序的界面信息的数量。该预定数量是指与该目标界面编号每一侧相邻的界面编号的数量。

该处理器660可以通过释放该第一存储器620中，与该目标界面编号不相邻的至少部分界面编号对应的界面信息所占用的存储空间，加载与该目标界面编号相邻的界面编号对应的界面信息于该第一存储器620中，从而可以循环加载界面信息,减缓终端600的存储容量的限制与日益增长的应用程序界面数量之间的矛盾。

其中，根据该第一存储器620中存储的界面编号和与该目标界面编号相邻的界面编号，确定待加载的界面编号对应的界面信息，具体为：根据该第一存储器620中存储的界面编号和与该目标界面编号相邻的界面编号，确定该第一存储器620中未存储的界面编号，该未存储的界面编号对应的界面信息为该第一存储器620中待加载的界面编号对应的界面信息。

需要说明的是，该处理器660可以调用该第一存储器620中存储的与该目标界面编号对应的界面元素、以及该界面元素显示于该界面编号对应的应用程序界面的位置信息，从而将该界面元素显示在与该目标界面编号对应的应用程序界面。其中，该界面元素可以是应用程序图标或widget桌面控件等。

本发明实施例中，该终端600还可以包括第二存储器621，该第二存储器621可以用于存储终端600的所有应用程序的界面信息。该处理器660加载该待加载的界面编号对应的界面信息到该第一存储器620中，具体为：该处理器660调用该第二存储器621中待加载的界面编号对应的界面信息，将该待加载的界面编号对应的界面信息加载到该第一存储器620中。

可以理解的，该第二存储器621可以为该终端600的外存，该第一存储器620可以为该终端600的内存。该处理器660可以从该第二存储器621中加载预设数量的界面信息到该第一存储器620中。每个加载的界面信息在该第一存储器620中对应一个存储空间，可选的，每个存储空间可以相同。该第一存储器620可以为NVRAM非易失存储器、DRAM动态随机存储器、SRAM静态随机存储器、Flash闪存等其中之一；该第二存储器621可以为硬盘、光盘、USB盘、软盘或磁带机等。

本发明实施例中，终端的所有界面信息可以存储在云服务器，该云服务器可以为第二存储器621。该处理器660加载该待加载的界面编号对应的界面信息到该第一存储器620中，具体为：该处理器660通过网络通道获取该云服务器中待加载的界面编号对应的界面信息，将该待加载的界面编号对应的界面信息加载到该第一存储器620中。

该输入单元630可用于接收输入的数字或字符信息，以及产生与终端600的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元630可以包括触控面板631。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器660，并能接收处理器660发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

该终端600还可以包括显示单元640，该显示单元640可用于显示由用户输入的信息或提供给用户的信息以及终端600的各种菜单界面。该显示单元640可包括显示面板641，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)或OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板641。

本发明实施例中，该触控面板631覆盖该显示面板641，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器660以确定触摸事件的类型，随后处理器660根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。

本发明实施例中，该触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。

该处理器660是终端600的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在该第一存储器620内的软件程序和/或模块，以及调用存储在该第二存储器621内的数据，执行终端600的各种功能和处理数据，从而对终端600进行整体监控。可选的，该处理器660可包括一个或多个处理单元。

可以理解的，该处理器660初始化时，可以从该第二存储器621存储的界面信息中，加载预设数量的界面信息到该第一存储器620，并记录该预设数量的界面信息对应的界面编号，该处理器660读取该第一存储器620的任意一个或预定编号的界面信息，并根据该界面信息生成界面，控制该触摸显示屏的应用程序界面显示区显示该生成界面作为初始界面，并控制该常用控件显示区显示界面编号，提供用户选择界面，其中，该常用控件显示区显示的界面编号可以为该第一存储器620中已加载的界面信息对应的界面编号，也可以是该第二存储器621中存储的界面信息对应的界面编号。该预设数量不大于该第一存储器620所能存储该界面信息的最大数量。

可选的或进一步的，该处理器660可以控制该常用控件显示区显示的界面编号中的至少部分界面编号响应用户输入操作。

例如，该处理器660在该常用控件显示区显示的界面编号中，控制已加载的界面信息对应的界面编号可以响应用户的输入操作，未加载的界面信息对应的界面编号不响应用户的输入操作。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种屏幕显示的方法，其特征在于，包括：

获取所述屏幕上的元素的关系信息，其中，所述元素为所述屏幕上显示的对象或用于人机交互的载体；

获取用户的视线信息和手势信息中的至少一种；

根据所述视线信息和手势信息中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户的关注区域，其中所述确定的用户的关注区域包括所述视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系；

对所述确定的用户的关注区域进行优化处理，并将经过所述优化处理的用户的关注区域显示在所述屏幕上。

2.根据权利要求1所述的方法，其特征在于，所述元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。

3.根据权利要求1或2所述的方法，其特征在于，

所述视线信息包括当前视线的焦点位置；

所述手势信息包括当前手势的悬浮位置；

所述根据所述视线信息和手势信息中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户的关注区域，包括：

根据所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中所述确定的用户当前关注的区域包括所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

4.根据权利要求1或2所述的方法，其特征在于，

所述视线信息包括当前视线的焦点位置和视线的移动趋势；

所述手势信息包括当前手势的悬浮位置和手势的移动趋势；

所述根据所述视线信息和手势信息中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户的关注区域，包括：

根据所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种，结合所述元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中所述确定的用户下一关注的区域包括所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

监测用户做出响应的响应区域；

在所述响应区域与所述关注区域不完全相同时，根据所述响应区域与所述关注区域的区别，更新所述区域划分算法。

6.根据权利要求1或2所述的方法，其特征在于，所述对所述确定的用户的关注区域进行优化处理，并将经过所述优化处理的用户的关注区域显示在所述屏幕上，包括：

根据区域优化算法，选择以下至少一种方式对所述确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；

将所述确定的用户的关注区域中经过优化处理后的元素显示在所述屏幕上。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取用户使用习惯，所述用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；

根据所述用户使用习惯，更新所述区域划分算法和/或所述区域优化算法。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

计算用户做出响应的响应效率，所述响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；

根据所述响应效率，更新所述区域优化算法。

9.根据权利要求6所述的方法，其特征在于，所述区域划分算法包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的至少一种算法；或

所述区域优化算法包括基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法。

10.一种终端设备，其特征在于，包括：

第一获取模块，用于获取所述终端设备的屏幕上的元素的关系信息，其中，所述元素为所述屏幕上显示的对象或用于人机交互的载体；

第二获取模块，用于获取用户的视线信息和手势信息中的至少一种；

确定模块，用于根据所述第二获取模块获取的所述视线信息和手势信息中的至少一种，结合所述第一获取模块获取的所述元素的关系信息，利用区域划分算法确定用户的关注区域，其中所述确定的用户的关注区域包括所述视线信息和手势信息中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系；

优化显示模块，用于对所述确定模块确定的用户的关注区域进行优化处理，并将经过所述优化处理的用户的关注区域显示在所述屏幕上。

11.根据权利要求10所述的终端设备，其特征在于，所述第一获取模块获取的所述元素的关系信息包括元素之间在功能上的包含、顺序、相关或联动关系。

12.根据权利要求10或11所述的终端设备，其特征在于，

所述第二获取模块获取的所述视线信息包括当前视线的焦点位置；

所述第二获取模块获取的所述手势信息包括当前手势的悬浮位置；

所述确定模块具体用于：

根据所述第二获取模块获取的所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种，结合所述第一获取模块获取的所述元素的关系信息，利用区域划分算法确定用户当前关注的区域，其中所述确定模块确定的用户当前关注的区域包括所述当前视线的焦点位置和所述当前手势的悬浮位置中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

13.根据权利要求10或11所述的终端设备，其特征在于，

所述第二获取模块获取的所述视线信息包括当前视线的焦点位置和视线的移动趋势；

所述第二获取模块获取的所述手势信息包括当前手势的悬浮位置和手势的移动趋势；

所述确定模块具体用于：

根据所述第二获取模块获取的所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种，结合所述第一获取模块获取的所述元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中所述确定模块确定的用户下一关注的区域包括所述当前视线的焦点位置和视线的移动趋势，以及所述当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中所述扩展元素与所述目标元素具有所述元素的关系信息所表示的关系。

14.根据权利要求10或11所述的终端设备，其特征在于，所述终端设备还包括：

监测模块，用于监测用户做出响应的响应区域；

更新模块，用于在所述响应区域与所述关注区域不完全相同时，根据所述响应区域与所述关注区域的区别，更新所述区域划分算法。

15.根据权利要求10或11所述的终端设备，其特征在于，所述优化显示模块具体用于：

根据区域优化算法，选择以下至少一种方式对所述确定的用户的关注区域的元素进行优化处理：放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距；

将所述确定的用户的关注区域中经过优化处理后的元素显示在所述屏幕上。

16.根据权利要求15所述的终端设备，其特征在于，所述终端设备还包括：

第三获取模块，用于获取用户使用习惯，所述用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；

更新模块，用于根据所述第三获取模块获取的所述用户使用习惯，更新所述区域划分算法和/或所述区域优化算法。

17.根据权利要求15所述的终端设备，其特征在于，所述终端设备还包括：

计算模块，用于计算用户做出响应的响应效率，所述响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；

更新模块，用于根据所述响应效率，更新所述区域优化算法。

18.根据权利要求15所述的终端设备，其特征在于，所述区域划分算法包括连通区域检测、依赖关系图搜索和基于聚类的分层分割中的至少一种算法；或

所述区域优化算法包括基于费茨定律、席克定律、格式塔接近法则和奥卡姆剃刀原理中的至少一种的算法。