CN104516654A - 操作处理方法和装置 - Google Patents

Abstract

本发明公开了一种操作处理方法和装置，应用于电子设备，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸，所述方法包括：在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系；检测用户在所述第二交互界面中执行的第一动作；以及根据所述第一动作来在所述第一交互界面中执行第一操作。在本发明中，可以将第一交互界面映射到第二交互界面中，并且可以通过在第二交互界面中执行的第一动作来实现用户期望在第一交互界面中执行的第一操作，从而使得用户能够方便地对电子设备进行操控。

Description

操作处理方法和装置

技术领域

本发明涉及计算机技术领域，更具体地，本发明涉及一种操作处理方法和装置。

背景技术

近年来，诸如笔记本计算机、台式计算机、平板电脑（PAD）、移动电话、多媒体播放器、个人数字助理（PDA）之类的电子设备越发普及。在这样的电子设备中，将显示模块与控制模块（诸如，触摸控制模块和/或悬浮（hover）控制模块）层叠设置，以形成具有控制功能的显示屏幕。用户可以通过对这种显示屏幕进行触摸手势操作和/或悬浮手势操作来控制在其上显示的可操作对象，以实现与电子设备的各种交互操作。

随着用户对于使用舒适性的不断追求，在上述电子设备的基础上，诸如智能桌面之类的大屏幕电子设备应运而生，并取得迅速发展。然而，本发明人注意到，在大屏幕的交互环境下，在小屏幕电子设备（诸如，常规的智能手机）上的很多交互方式变得不可行或不够自然。

具体而言，在小屏幕的情况下，由于尺寸限制，用户通常可以方便地触摸屏幕的任意位置而与电子设备进行交互操作。然而，在大屏幕的情况下，用户往往位于电子设备的一边，并且由于屏幕尺寸很大（即，屏幕的可操作范围很大），用户的手通常无法或非常不方便遍及全部屏幕，因此，用户难以通过直接执行手势操作而控制在屏幕上距离自己较远的屏幕显示内容。这个问题在超大屏幕多用户交互的场景中尤其突出。

为了用户能够操纵屏幕上距离其较远的目标，通常可以采用以下两种方式。第一种方式是使得用户走到需要控制的目标位置附近进行操作，然而，这种方式通常很不方便，其不仅需要用户不停地移动位置，而且还可能影响其它用户的正常使用。另一种方式是为用户提供鼠标，然而，这种方式一方面需要给同时操作的多个用户提供多个鼠标，另一方面也失去了具有控制功能的显示屏幕的各种优势。

因此，需要一种新型的操作处理方法和装置来解决上述问题。

发明内容

为了解决上述技术问题，根据本发明的一个方面，提供了一种操作处理方法，应用于电子设备，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸，所述方法包括：在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系；检测用户在所述第二交互界面中执行的第一动作；以及根据所述第一动作来在所述第一交互界面中执行第一操作。

此外，根据本发明的另一方面，提供了一种操作处理装置，应用于电子设备，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸，所述装置包括：界面显示单元，用于在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系；第一检测单元，用于检测用户在所述第二交互界面中执行的第一动作；以及操作执行单元，用于根据所述第一动作来在所述第一交互界面中执行第一操作。

与现有技术相比，采用根据本发明的操作处理方法，可以将第一交互界面映射到第二交互界面中，并且可以通过在第二交互界面中执行的第一动作来实现用户期望在第一交互界面中执行的第一操作，从而使得用户能够方便地对电子设备进行操控。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1图示了根据本发明的操作处理方法。

图2图示了根据本发明第一实施例的操作处理方法。

图3A图示了根据本发明实施例的显示单元的第一示例。

图3B图示了根据本发明实施例的显示单元的第二示例。

图4A图示了根据本发明实施例的第一交互界面和第二交互界面的第一关系。

图4B图示了根据本发明实施例的第一交互界面和第二交互界面的第二关系。

图4C图示了根据本发明实施例的第一交互界面和第二交互界面的第三关系。

图5图示了根据本发明第二实施例的操作处理方法。

图6图示了根据本发明的操作处理装置。

图7图示了根据本发明第一实施例的操作处理装置。

图8图示了根据本发明第二实施例的操作处理装置。

具体实施方式

将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

首先，将描述根据本发明实施例的显示处理方法。

根据本发明实施例的显示处理方法应用于电子设备。所述电子设备可以是诸如个人计算机、智能电视、平板电脑、移动电话、数码相机、个人数字助手、便携式计算机、游戏机等的便携式电子设备。所述电子设备也可以是诸如智能桌面等的大屏幕电子设备。这里，大屏幕表示通常一个人的单只手难以覆盖整个屏幕范围。

在结构上，所述电子设备至少包括显示单元，诸如显示屏幕。该显示单元包括显示模块，用于显示各种对象，所述对象可以是存储在所述电子设备中的图片、文档等，也可以是所述电子设备中安装的系统应用或用户应用及其控件的显示界面等。另外，该显示单元还包括控制模块，用于接收用户的触摸控制手势和/或悬浮控制手势。所述控制模块可以通过诸如电阻式传感器、电容式传感器等的多种方式形成。

可选地，在该显示单元中所述显示模块可以与所述控制模块层叠设置，以形成具有控制功能的显示单元（例如，触控显示屏或悬控显示屏）。用户可通过对在该显示单元上显示的可操作对象进行手势操作而直观地控制所述对象，以实现用户与电子设备的各种交互操作。

在下文中，将电子设备优选地描述为诸如智能桌面之类的大屏幕电子设备。然而，本发明的电子设备并不限于上述大屏幕电子设备，其可以广义地指代包括具有控制功能的显示屏幕的任何电子设备。电子设备的具体类型不构成对本发明的限定。普通小屏幕的电子设备同样可以适用本发明，只要用户可以通过对屏幕局部范围的操作来操控整个屏幕即可。

图1图示了根据本发明的操作处理方法。

图1所图示的操作处理方法可应用于电子设备，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸。

如图1所图示的，所述操作处理方法包括：

在步骤S110中，在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系。

在步骤S120中，检测用户在所述第二交互界面中执行的第一动作。

在步骤S130中，根据所述第一动作来在所述第一交互界面中执行第一操作。

由此可见，采用根据本发明的操作处理方法，可以将第一交互界面映射到第二交互界面中，并且可以通过在第二交互界面中执行的第一动作来实现用户期望在第一交互界面中执行的第一操作，从而使得用户能够方便地对电子设备进行操控。

图2图示了根据本发明第一实施例的操作处理方法。

图2所图示的操作处理方法可应用于电子设备，所述电子设备包括显示单元。例如，该显示单元可以是具有触控功能和/或悬控功能的显示屏幕。

如图2所图示的，所述操作处理方法包括：

在步骤S210中，在显示单元中显示第一交互界面。

当用户希望使用电子设备来执行自己所需的操作时，该用户可以首先开启电子设备的电源，使得电子设备加电。

相应地，在电子设备中例如可以包括电源单元，该电源单元用于检测用户执行的加电操作，并且向整个电子设备提供电力。

例如，该电子设备还可以包括处理单元，例如中央处理器（CPU）。该处理单元在加电之后，用于在对电子设备中对各种数据进行加工和处理，对所有操作进行调度和控制。

为了使得用户能够执行所需的操作，该处理单元可以向显示单元提供显示信号，以便在显示单元中显示第一交互界面，以便用户通过该第一交互界面来完成与电子设备的交互控制。

图3A图示了根据本发明实施例的显示单元的第一示例。

如图3A所图示的，在第一示例中，该第一交互界面210可以充满地显示在电子设备的显示单元（显示屏幕）200中。也就是说，该第一交互界面210的第一尺寸可以等于显示单元200的整个屏幕尺寸。这样，用户就可以通过在整个屏幕范围中输入触摸控制手势和/或悬浮控制手势来使得电子设备执行自己所需的功能，例如在全屏幕中显示图像、播放电影、编辑文档、进行游戏等。

图3B图示了根据本发明实施例的显示单元的第二示例。

如图3B所图示的，在第二示例中，该第一交互界面210也可以显示在电子设备的显示单元（显示屏幕）200的一部分中。也就是说，该第一交互界面210的第一尺寸可以小于显示单元200的整个屏幕尺寸。这样，用户就可以通过在部分屏幕范围中输入控制手势来在部分屏幕范围中执行自己所需的功能。

例如，该第二示例可以应用于以下场景，其中该电子设备例如是由多个用户同时操作的大屏幕智能桌面。这时，可以将显示单元200的整个屏幕范围划分为多个部分，并且向一个用户分配一个或多个部分，作为该用户的交互界面，以便每个用户可以独立地完成自己的任务，而不会对其他用户造成影响。

具体地，在图3B中，假设存在第一用户和第二用户两个用户，并且向第一用户分配显示单元200的左半部分，作为该第一用户的第一交互界面210；而向第二用户分配显示单元200的右半部分作为该第二用户的第一交互界面。此外，通过合理地分配处理单元的处理资源，可以使得第一用户和第二用户同时在自己的交互界面中执行自己所需的功能。

为了简单起见，下面将以第一示例为例并且在以下场景中继续描述本发明的第一实施例，其中，优选地，假设该电子设备是智能桌面的大屏幕电子设备。然而，需要说明的是，本发明不限于此。例如，该电子设备可以是包括具有任何尺寸的显示屏幕的电子设备。

在大屏幕电子设备的情况下，用户往往位于电子设备的一侧，并且由于屏幕的尺寸很大，所以其难以对距离自己较远处的屏幕显示内容进行交互。例如，如图3A所图示的，当位于第一交互界面210下侧的用户希望对在第一交互界面210上侧显示的照片进行放大、缩小、旋转操作，或者想要将它挪到自己近处等等时，该用户只能通过尽量延伸自己的胳膊来勉强将自己的手移动到该照片的操作位置，并执行所需手势。然而，如果屏幕上下侧的长度超过用户的手臂长度时，用户在当前的位置处将无法完成上述操作，而不得不选择移动自身位置进行操控，这对于该用户而言是非常不便的。

因此，在根据本发明第一实施例的操作处理方法中，向该用户提供第二交互界面，其优选地位于该用户附近，使得用户可以在其中执行所需的动作（例如，触控手势、悬控手势、语音输入、表情变化等），以便对整个显示屏幕进行操作，从而使得用户能够方便地对例如大屏幕电子设备进行操控。

为此，用户需要首先对电子设备执行第二动作，以便触发该电子设备在显示单元中显示该第二交互界面。

在步骤S220中，检测用户对所述电子设备执行的第二动作。

相应地，在该电子设备中，检测用户执行对其执行的第二动作，判断所述第二动作是否满足用于触发显示该第二交互界面的第一条件，并且如果所述第二动作满足所述第一条件，则根据所述第二动作来在所述显示单元中显示所述第二交互界面。其中，所述第二交互界面具有第二尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系。

具体地，该电子设备可以接收用户通过各种方式输入的第二动作。

在第一示例中，该电子设备可以包括文字输入单元（例如，键盘、手写笔），用于接收用户输入的手写信号，对该手写信号进行文字识别，并且判断该手写信号是否是预设文字（例如，“开启缩略区”），如果是，则触发显示单元执行第二交互界面的显示操作。

在第二示例中，该电子设备可以包括声音采集单元（例如，麦克风），用于接收用户输入的声音信号，对该声音信号进行语音识别，并且判断该声音信号是否是预设语音（例如，“启动缩略”），如果是，则触发显示单元执行第二交互界面的显示操作。

在第三示例中，该电子设备可以包括图像采集单元（例如，摄像头），用于捕捉图像信号（例如，二维码或QR码等），并且通过对该图像信号进行图像识别来确定是否检测到该第二动作。

在第四示例中，该电子设备可以包括手势采集单元（例如，触摸屏、摄像头），用于捕捉手势信号，并且通过对该手势信号进行手势识别来确定是否检测到该第二动作。

具体地，例如，该手势采集单元可以是摄像头或者支持悬浮（hover）控制功能的触摸屏，用于捕捉用户执行的悬浮手势信号，并且与触发手势进行比较。例如，此时，可以将触发手势设置为通过拳头悬停（掌心向下）来表示此时用户需要对全屏内容进行缩略交互。当检测到用户执行该触发手势时，在显示单元中显示第二交互界面。

又如，该手势采集单元可以是支持触摸控制功能的触摸屏，用于捕捉用户执行的触摸手势信号，并且与触发手势进行比较。这里的触发手势可以是用户对触摸显示屏幕的任何操作，例如，用户可以通过一个或多个手指触摸显示屏幕，或者通过手指在显示屏幕上划动，例如画出一个闭合形状的图形等等。假设将触发手势设置为通过在触摸屏上绘制一个闭合的圆圈来表示此时用户需要对全屏内容进行缩略交互。当检测到用户执行该触发手势时，在显示单元中显示第二交互界面。

在步骤S230中，根据所述第二动作来在所述显示单元中显示所述第二交互界面。

在检测到满足触发条件的第二动作之后，在显示第二交互界面之前，进一步根据所述第二动作来确定所述第二交互界面在所述显示单元中的显示方式，所述显示方式包括以下各项中的至少一个：显示位置、显示尺寸（或称之为第二尺寸）、和尺寸改变速度，并且根据所述显示方式来在所述显示单元中显示所述第二交互界面。

在触发手势是拳头悬停的上述情况下，可以通过该手势采集单元来确定用户拳头在显示单元（在本示例中，也就是第一交互界面）中的垂直投影位置，根据该投影位置来确定第二交互界面的初始显示位置。例如，可以以该投影位置作为第二交互界面的中心点、左顶点或其他参考位置点。

当在拳头悬停处指示了第二交互界面的初始位置之后，优选地可以在该初始位置处显示一个提示图标（例如，气泡），便于用户了解该第二交互界面在第一交互界面中的出现位置是否是自己所需的位置。如果用户希望改变该初始位置，用户可以对悬停的拳头进行移动，并且电子设备根据手势采集单元捕捉到的结果来移动在第一交互界面中显示的气泡状提示图标，以供用户判断该初始位置是否符合自己的需要。

然后，该用户可以将拳头逐步张开为手掌，使得气泡图标渐变地展开为第二交互界面。相应地，在电子设备中，手势采集单元可以感知用户手掌张开的程度和速度，以便根据手掌张开的程度来确定第二交互界面展开的尺寸，和/或根据手掌张开的速度来确定第二交互界面展开的速度。

例如，当手势采集单元感知到用户的手仍然保持为拳头时，可以不显示该第二交互界面，而是在相应位置处显示一个气泡状提示图标。然后，当手势采集单元感知到用户的手以第一速度从拳头张开到半握拳状态（其中，手掌张开到一半程度）时，可以显示该第二交互界面，并优选地按照第一速度将该第二交互界面的第二尺寸从零改变为第一交互界面的第一尺寸的一半。最后，当手势采集单元感知到用户的手以第二速度从半握拳状态张开为手掌时，可以按照第二速度将该第二交互界面的第二尺寸从二分之一的第一尺寸改变为第一尺寸，即使得第二交互界面充满该第一交互界面。

上面，将在用户的手完全张开为手掌时的第二交互界面的最大尺寸定义为第一交互界面的第一尺寸（在本示例中，也就是显示单元的整个尺寸），然而，本发明不限于此。可以将第二交互界面的最大尺寸定义为第一尺寸的任何比例，例如，第一尺寸的二分之一、四分之一、八分之一等；或者也可以定义为任何绝对尺寸，例如16厘米×9厘米、4厘米×3厘米等。

在触发手势是绘制圆圈的上述情况下，可以通过该手势采集单元来将用户绘制的圆圈的中心确定为第二交互界面的中心点，并且在该中心点处显示一个预设大小的第二交互界面。然后，该手势采集单元可以进一步检测用户对于该第二交互界面的触控手势。例如，当检测到用户利用手指点住第二交互界面并向某一位置进行拖动时，相应地将第二交互界面移动到该位置。又如，当检测到用户分别利用左右手单指点住第二交互界面的左上角和右下角并向对角线方向拉动时，根据用户的拉伸幅度来重新确定第二交互界面的第二尺寸。

尽管上面以特定具体实例说明了显示第二交互界面的图形用户接口，但是，显然，本发明不限于此，还可以采用本领域技术人员已知的其他方式来确定第二交互界面的显示。

此外，在根据上述显示方式来在显示单元中显示第二交互界面的过程中，可以根据所述第二交互界面与所述第一交互界面之间的映射关系来确定第二交互界面的显示内容。

该映射关系的具体确定方式可以根据实际应用场景而设定。优选地，可以根据第一交互界面的第一尺寸和第二交互界面的第二尺寸之间的比例关系来精确地确定两个界面之间的映射关系，以便将第二交互界面中的坐标成比例（或其它函数关系）地对应到第一交互界面中的坐标，从而使得对第二交互界面内第二位置的操作可以按比例地对应到对第一交互界面上第一位置的操作。替换地，也可以根据这种尺寸比例关系以及模糊算法来近似地确定两个界面之间的映射关系。

在确定了该映射关系之后，在一种情况下，在显示第二交互界面的过程中，例如，可以根据这个映射关系来对所述第一交互界面进行缩放，并且在所述显示单元中显示缩放后的第一交互界面，作为所述第二交互界面。

图4A图示了根据本发明实施例的第一交互界面和第二交互界面的第一关系。

在图4A中图示了电子设备的显示单元200。在该显示单元200中充满地显示有第一交互界面210。在该第一交互界面210中包括有可操作对象21A、22A和23A，可操作对象21A、22A和23A可以是文件、文件夹、应用软件图标、显示的图像、播放的视频等。

此外，图4A还图示出了显示在显示单元200上的第二交互界面220，在该示例中，第二交互界面220是在第一交互界面210上显示的、与第一交互界面210的形状相一致但缩小的局部缩略区域。优选地，该第二交互界面220始终位于第一交互界面210的上层。

如图4A所图示的，可以在第二交互界面220中缩小地显示了第一交互界面210的全屏幕的真实界面，其中可操作对象21A、22A和23A被分别缩小显示为可操作对象21B、22B和23B。这里，缩小显示的方式（即映射方式）优选是第一交互界面210中的坐标与第二交互界面220中的坐标成比例地一一对应，但是，如上所述，其不限于这种成比例的方式，也可以将第一交互界面210中的坐标与第二交互界面220中的坐标不成比例地一一对应，例如，当第一交互界面210与第二交互界面220的形状状态时，可以将第一交互界面210的界面变形地显示在第二交互界面220中。

另外，在另一情况下，在显示第二交互界面的过程中，例如，还可以在所述显示单元中显示空白交互界面，作为所述第二交互界面，检测在所述第一交互界面中包括的可操作对象，确定所述可操作对象在所述第一交互界面中的布局信息，并且根据所述布局信息来在所述空白交互界面中显示虚拟对象，所述虚拟对象根据所述映射关系来映射到所述可操作对象。

仍然参考图4A，在显示第二交互界面220的过程中，不是在第二交互界面220中缩小地显示了第一交互界面210的真实界面，而是可以对第一交互界面210中的可操作对象21A、22A和23A进行检测并生成对象信息，并且确定这些可操作对象在第一交互界面中的形状、大小、位置等布局信息。然后，根据该对象信息和布局信息来在空白的第二交互界面220中显示与第一交互界面中的真实可操作对象21A、22A和23A一一对应的虚拟对象21B、22B和23B。其中，每个虚拟对象不是对真实可操作对象的缩小显示，而是简单地通过几何形状和文字说明来表示。该几何形状例如可以是白色方框，其不必还原真实可操作对象的图标图案、其中显示的图像或视频截图等内容。该文字说明可以是可操作对象的名称、标题栏中显示的内容、或具体文字的摘要信息等，只要用户可以确定该虚拟对象对应的真实可操作对象即可。此外，在第二交互界面220中，也不显示第一交互界面210的背景图像或任何不可操作的对象。

这样，与前述情况相比，可以简化第二交互界面的显示，节约电子设备的处理资源，延长了电子设备的待机时间。

在步骤S240中，检测用户在第一交互界面中执行的交互手势。

当在第一交互界面中显示了第二交互界面之后，检测用户在第一交互界面中执行的交互手势。

在悬浮控制的情况下，电子设备可以利用摄像头来拍摄用户图像并进行识别，以便捕捉用户在第一交互界面上方执行的交互手势。该摄像头可以集成在电子设备中，或布置在电子设备四周并且与该电子设备进行通信，从而确定交互手势在电子设备的显示单元、乃至在第一交互界面（在本示例中，二者相同）中垂直投影的位置坐标。

替换地，该电子设备还可以通过传感器来感测静电容量等参数变化，以便来捕捉用户在第一交互界面上方执行的交互手势。该传感器例如可以是电容式传感器，并且与集成在电子设备的显示单元中，形成电容触摸屏幕。

此外，在触摸控制的情况下，触摸屏幕还可以捕捉用户通过触摸第一交互界面所执行的交互手势。

在步骤S250中，确定交互手势是否是在第二交互界面中执行的第一动作。

在检测到交互手势之后，可以确定所述交互手势在所述第一交互界面中的第一全局坐标，根据所述第一全局坐标来判断在所述交互手势中是否有至少一部分是在所述第二交互界面中执行的。

如果判断出在所述交互手势中没有任何部分是在所述第二交互界面中执行的，则将所述交互手势确定为第三动作，并且根据所述第三动作来在所述第一交互界面中执行第二操作。

具体地，如图4A所图示的，在第二交互界面220中显示有与第一交互界面210中的可操作对象21A、22A和23A对应的可操作对象21B、22B和23B。显然，这些可操作对象21B、22B和23B既处于第二交互界面220的范围中，又处于第一交互界面210的范围中。下面，将它们在第二交互界面220中的坐标值称为局部坐标；而将它们在显示单元200（在本示例中，也就是第一交互界面210）中的坐标值称为全局坐标。

因此，当在步骤S240中检测到用户在第一交互界面中执行的交互手势之后，可以确定在该交互手势中包括的轨迹点。例如，如果该交互手势是单击，则在该交互手势中仅仅包括一个轨迹点；如果该交互手势是双击，则在该交互手势中可能包括一个轨迹点或相距很近的两个轨迹点；如果该交互手势是拖曳、轻拂，则在该交互手势中可能包括一连串连续的轨迹点；而如果该交互手势是捏合、展开，则在该交互手势中可能包括两串连续的轨迹点。

然后，确定在该交互手势中包括的轨迹点的全局坐标集合，并且判断其中是否有至少一部分轨迹点的全局坐标是处于第二交互界面范围中的。如果不是，则说明该交互手势是用户在第一交互界面中针对可操作对象21A、22A和23A直接做出的操作，并然后，按照正常处理来对可操作对象21A、22A和23A执行相应的处理。

如果是，则说明该交互手势很可能是用户在第二交互界面中针对可操作对象21B、22B和23B做出的操作。然而，由于当用户希望对第二交互界面本身进行操作（例如，改变第二交互界面的大小、位置、形状等特性）时，相应的动作也往往是在第二交互界面中完成的，所以在将该交互手势确定为是针对可操作对象21B、22B和23B做出的第一动作之前，需要首先判断该交互手势是否是针对所述第二交互界面本身做出的。

如果该交互手势是针对所述第二交互界面本身做出的，则将所述交互手势确定为第四动作，并且根据所述第四动作来在所述第一交互界面中对所述第二交互界面执行第三操作。例如，该第三操作包括以下各项中的至少一项：缩小所述第二交互界面、放大所述第二交互界面、移动所述第二交互界面、刷新所述第二交互界面、和关闭所述第二交互界面。

例如，在以下场景中可以判定为用户希望对第二交互界面本身做出操作：在悬浮控制的情况下，用户可以使用手掌在第二交互界面上悬停抓取，并对它进行挪动，或者用户可以使用手掌在第二交互界面上悬停之后将手掌合拢为拳头，使得第二交互界面消失；替换地，在触摸控制的情况下，用户可以利用手指点住第二交互界面并向某一位置进行拖动来改变它的位置，或者用户可以分别利用左右手单指点住第二交互界面的左上角和右下角并向对角线方向拉动来改变它的尺寸，或者用户可以通过将该第二交互界面轻拂到第一交互界面的边界之外来取消第二交互界面，或者用户可以通过单指划过第二交互界面的两侧边界（例如，利用手指点住第二交互界面左侧边界的左边某一位置，向右侧边界移动手指，并且在右侧边界的右边某一位置处松开手指）来关闭第二交互界面。

如果判断出该交互手势不是针对所述第二交互界面本身做出的，则说明该交互手势是用户在第二交互界面中对可操作对象21B、22B和23B执行的、实际上用于控制第一交互界面中的可操作对象21A、22A和23A执行第一操作的第一动作。

在步骤S260中，根据第一动作来在第一交互界面中执行第一操作。

接下来，确定所述第一动作在所述第二交互界面中的局部坐标，将所述局部坐标映射为所述第一交互界面中的第二全局坐标，并且根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作。

例如，当用户需要对触摸第一交互界面210上的可操作对象21A、22A和23A进行操作时，只需要相应地对在第二交互界面220中的可操作对象21B、22B和23B执行第一动作。

这时，电子设备会确定在第一动作中包括的轨迹点的局部坐标，并且根据第一交互界面210与第二交互界面220之间的映射关系将该局部坐标映射为第一交互界面中的全局坐标，这样就可以将该第二交互界面220中的操作手势映射到触摸第一交互界面210的操作范围上，即将对可操作对象21B、22B和23B的虚拟操作映射到可操作对象21A、22A和23A上，从而实现了对操作对象21A、22A和23A的真实操作。

参考图4A，例如，当用户希望在第一交互界面210中向右移动可操作对象21A时，该用户只需要在第二交互界面中点住可操作对象21B，并且将它向右拖动第二移动距离。

这时，电子设备可以首先确定用户手指在第二交互界面中的局部坐标，将它映射为在第一交互界面中的全局坐标，并且判断出可操作对象21A对应于该全局坐标。然后，该电子设备可以对该可操作对象21A执行点住操作。接下来，该电子设备可以将可操作对象21B在第二交互界面220中的第二移动距离转换为在第一交互界面中的第一移动距离，并且在第一交互界面210中将该可操作对象21A向右移动第一移动距离。

由此可见，采用根据本发明第一实施例的操作处理方法，不仅可以在第二交互界面范围（例如，缩略交互区域）范围内看到第一交互界面（例如，整个显示屏幕）可操作对象的映射体，而且可以通过对缩略交互区域内的操作来实现对整个显示屏幕的操作，从而大大方便了用户的操作。

因此，在本发明的第一实施例中，解决了用户在大屏交互或超大屏交互中的操作距离受到限制的问题，并且可以使得缩略区域交互与全屏交互相结合，以便很好地适用于多人交互场景。

图5图示了根据本发明第二实施例的操作处理方法。

如图5所图示的，所述操作处理方法包括：

在步骤S310中，在显示单元中显示第一交互界面。

在步骤S320中，检测用户对所述电子设备执行的第二动作。

在步骤S330中，根据所述第二动作来在所述显示单元中显示所述第二交互界面。

在步骤S340中，检测用户在第一交互界面中执行的交互手势。

在步骤S350中，确定交互手势是否是在第二交互界面中执行的第一动作。

在步骤S360中，根据第一动作来在第一交互界面中执行第一操作。

图5中的步骤S310到S360与图2中的步骤S210到S260分别相同，并因此，将省略其重复描述。下面，将描述图5与图2的不同之处。

在本发明的第一实施例中，为了简化显示，电子设备可以仅仅在第一交互界面210中显示用户执行的第一动作对于可操作对象21B、22B和23B的操作结果，而不更新第二交互界面220上的显示。然而，本发明人发现，这样做将导致第二交互界面220的内容与第一交互界面210中不同步，进而造成用户后续的映射操作无法进行。这时，优选地，执行下面的步骤S370，来进一步根据第一交互界面的显示来刷新第二交互界面的显示。

在步骤S370中，通过所述第一交互界面对于所述第一操作的第一响应来更新所述第二交互界面的显示。

在一个示例中，在电子设备根据第一动作对第一交互界面210执行第一操作之后，可以根据第一交互界面210与第二交互界面220之间的映射关系来再次对第一交互界面进行缩放，将其显示为第二交互界面。

替换地，该电子设备也可以重新确定各个可操作对象在第一交互界面中的布局信息，刷新虚拟对象的显示。或者，该电子设备也可以仅仅确定在第一交互界面中被操作的可操作对象的布局信息，而增量地刷新虚拟对象的显示，从而降低处理单元的资源需求。

在另一示例中，在用户为了操作第一交互界面210中的可操作对象21A、22A和23A而操作第二交互界面220中的可操作对象21B、22B和23B时，电子设备可以在第一交互界面210中对可操作对象21A、22A和23A执行实际的第一操作的同时，直接在第二交互界面220中对可操作对象21B、22B和23B执行虚拟的第一操作。

例如，当用户可以在第一交互界面210中将可操作对象21A向右移动第一移动距离的同时，在第二交互界面220中将可操作对象21B向右拖动第二移动距离。

本发明人还发现，由于该第二交互界面220叠加地显示在第一交互界面210的上方，所以该第二交互界面220可能会遮挡第一交互界面210中的一部分显示内容。这时，优选地，在用户完成在缩略交互区域中的交互操作之后，为了避免影响该用户或其他用户的后续操作，该电子设备还可以进一步接收该用户或其他用户的悬浮控制手势或触摸控制手势，以便关闭所开启的虚拟交互区域。

由此可见，采用根据本发明第二实施例的操作处理方法，不仅可以通过对缩略交互区域内的操作来实现对整个显示屏幕的操作，而且还可以进一步根据整个显示屏幕对于该操作的响应来刷新缩略交互区域的显示，以便用户能够可持续地使用缩略交互区域完成后续操作。

此外，在本发明的第二实施例中，还可以接收用户用于移动或关闭该缩略交互区域的动作，以便确保该用户或其他用户的其他操作不受影响。

需要说明的是，尽管在上文中以第二交互界面的第二尺寸小于第一交互界面的第一尺寸为例进行了描述，但是，本发明不限于此。显然，该第二交互界面的第二尺寸也可以大于或等于第一交互界面的第一尺寸。

图4B图示了根据本发明实施例的第一交互界面和第二交互界面的第二关系。

在图4B中图示了电子设备的显示单元200。例如，为了使得显示单元200供多个用户使用，可以将显示单元200的区域划分为多个小区域。这时，第一交互界面210可能仅仅显示在该显示单元200中的一小部分区域中。在该第一交互界面210中仍然包括有可操作对象21A、22A和23A，但是由于该第一交互界面210的第一尺寸较小，所以在该第一交互界面210中包括的可操作对象21A、22A和23A的尺寸也相应变小。

这时，由于屏幕的尺寸很大，位于电子设备下侧的用户仍然难以对距离自己较远处的第一交互界面210进行交互。根据本发明的上述原理，可以在显示单元200中距离用户较近的位置处显示一个第二交互界面220。然而，如果这时第二交互界面仍然是缩略交互区域，则可操作对象21A、22A和23A之间的距离将变得极小，这样用户将无法对它们进行操作。

于是，优选地，在显示单元200中显示所述第二交互界面220时，可以使得第二交互界面220的第二尺寸大于第一交互界面210的第一尺寸，以便用户能够很好地对其中的可操作对象执行操作，而不会产生任何误操作。

图4C图示了根据本发明实施例的第一交互界面和第二交互界面的第三关系。

在图4C中图示了电子设备的显示单元200。该第一交互界面210显示在该显示单元200中的一部分区域中，并且在该第一交互界面210中仍然包括有可操作对象21A、22A和23A。与图4B不同的，该第一交互界面210的第一尺寸在用户可操作的正常范围内。

这时，可以在显示单元中距离用户较近的位置处显示一个第二交互界面220，并且使得第二交互界面220的第二尺寸可以等于第一交互界面210的第一尺寸，也就是说，在显示单元的下侧虚拟显示一个交互区域，该虚拟交互区域的形状、大小、以及其中的内容与位于显示单元左上角的真实交互区域完全相同。这样，可以使得第二交互界面220完全相等地（一比一地）映射到第一交互界面210，从而向用户提供最为真实的操作体验。

图6图示了根据本发明的操作处理装置。

图6所图示的操作处理装置100可应用于电子设备，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸。

如图6所图示的，所述操作处理装置100包括：界面显示单元110、第一检测单元120、和操作执行单元130。

该界面显示单元110用于在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系。

该第一检测单元120用于检测用户在所述第二交互界面中执行的第一动作。

该操作执行单元130用于根据所述第一动作来在所述第一交互界面中执行第一操作。

由此可见，采用根据本发明的操作处理装置，可以将第一交互界面映射到第二交互界面中，并且可以通过在第二交互界面中执行的第一动作来实现用户期望在第一交互界面中执行的第一操作，从而使得用户能够方便地对电子设备进行操控。

图7图示了根据本发明第一实施例的操作处理装置。

图2所图示的根据本发明第一实施例的操作处理方法可以通过图7所图示的操作处理装置100来实现。该操作处理装置100可以用于对电子设备进行操作处理，以使得用户能够容易地操纵电子设备的显示单元中距离自己较远的可操作对象。

该操作处理装置100可以通过任何方式与电子设备进行通信。

在一个示例中，该操作处理装置100可以作为一个软件模块和/或硬件模块而集成到该电子设备中，换言之，该电子设备可以包括该操作处理装置100。例如，当电子设备是智能桌面时，该操作处理装置100可以是该智能桌面的操作系统中的一个软件模块，或者可以是针对于该智能桌面所开发的一个应用程序；当然，该操作处理装置100同样可以是该智能桌面的众多硬件模块之一。

替换地，在另一示例中，该操作处理装置100与该电子设备也可以是分离的设备，并且该操作处理装置100可以通过有线和/或无线网络连接到该电子设备，并且按照约定的数据格式来传输交互信息。

如图7所图示的，与图6中相似地，该操作处理装置100可以包括：界面显示单元110、第一检测单元120、和操作执行单元130。此外，优选地，该操作处理装置100还可以包括：第二检测单元140。

该第二检测单元140用于在所述界面显示单元110在所述显示单元中显示第二交互界面之前，检测用户对所述电子设备执行的第二动作，判断所述第二动作是否满足第一条件，并且如果所述第二动作满足所述第一条件，则通知所述界面显示单元110根据所述第二动作来在所述显示单元中显示所述第二交互界面。

具体地，该界面显示单元110根据该第二检测单元140检测到的第二动作来确定所述第二交互界面在所述显示单元中的显示方式，所述显示方式包括以下各项中的至少一个：显示位置、显示尺寸、和尺寸改变速度，并且根据所述显示方式来在所述显示单元中显示所述第二交互界面。

然后，在一个示例中，该界面显示单元110根据第一交互界面与第二交互界面之间的映射关系来对所述第一交互界面进行缩放，并且在所述显示单元中显示缩放后的第一交互界面，作为所述第二交互界面。

替换地，在另一示例中，该界面显示单元110在所述显示单元中显示空白交互界面，作为所述第二交互界面，检测在所述第一交互界面中包括的可操作对象，确定所述可操作对象在所述第一交互界面中的布局信息，并且根据所述布局信息来在所述空白交互界面中显示虚拟对象，所述虚拟对象根据所述映射关系来映射到所述可操作对象。

接下来，该第一检测单元120检测用户在所述第一交互界面中执行的交互手势，确定所述交互手势在所述第一交互界面中的第一全局坐标，根据所述第一全局坐标来判断在所述交互手势中是否有至少一部分是在所述第二交互界面中执行的，如果判断出在所述交互手势中有至少一部分是在所述第二交互界面中执行的，则将所述交互手势确定为所述第一动作，并且如果判断出在所述交互手势中没有任何部分是在所述第二交互界面中执行的，则将所述交互手势确定为第三动作，并且通知所述操作执行单元130根据所述第三动作来在所述第一交互界面中执行第二操作。

例如，该第一检测单元120通过以下步骤来将所述交互手势确定为所述第一动作：判断所述交互手势是否是针对所述第二交互界面本身做出的，如果判断出所述交互手势是针对所述第二交互界面本身做出的，则将所述交互手势确定为第四动作，并且通知所述操作执行单元130根据所述第四动作来在所述第一交互界面中对所述第二交互界面执行第三操作，并且如果判断出所述交互手势不是针对所述第二交互界面本身做出的，则将所述交互手势确定为所述第一动作。

其中，所述第三操作包括以下各项中的至少一项：缩小所述第二交互界面、放大所述第二交互界面、移动所述第二交互界面、刷新所述第二交互界面、和关闭所述第二交互界面。

在根据所述第一动作来在所述第一交互界面中执行第一操作的过程中，操作执行单元130确定所述第一动作在所述第二交互界面中的局部坐标，根据所述映射关系来将所述局部坐标映射为所述第一交互界面中的第二全局坐标，并且根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作。

根据本发明第一实施例的操作处理装置100中的各个单元的具体配置和操作已经在上面参考图2描述的操作处理方法中详细介绍，并因此，将省略其重复描述。

由此可见，采用根据本发明第一实施例的操作处理装置，不仅可以在第二交互界面范围（例如，缩略交互区域）范围内看到第一交互界面（例如，整个显示屏幕）可操作对象的映射体，而且可以通过对缩略交互区域内的操作来实现对整个显示屏幕的操作，从而大大方便了用户的操作。

图8图示了根据本发明第二实施例的操作处理装置。

图5所图示的根据本发明第二实施例的操作处理方法可以通过图8所图示的操作处理装置100来实现。如图8所图示的，与图7中相似地，该操作处理装置100可以包括：界面显示单元110、第一检测单元120、操作执行单元130、和第二检测单元140。此外，优选地，该操作处理装置100还可以包括：显示更新单元150。

该显示更新单元150用于在所述操作执行单元130根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作之后，根据所述映射关系，通过所述第一交互界面对于所述第一操作的第一响应来更新所述第二交互界面的显示。

根据本发明第二实施例的操作处理装置100中的各个单元的具体配置和操作已经在上面参考图5描述的操作处理方法中详细介绍，并因此，将省略其重复描述。

由此可见，采用根据本发明第二实施例的操作处理方法，不仅可以通过对缩略交互区域内的操作来实现对整个显示屏幕的操作，而且还可以进一步根据整个显示屏幕对于该操作的响应来刷新缩略交互区域的显示，以便用户能够可持续地使用缩略交互区域完成后续操作。

需要说明的是，尽管此处将上述的各个单元作为各个步骤的执行主体来说明本发明的各个实施例，但是，本领域技术人员能够理解的是，本发明不限于此。各个步骤的执行主体可以由其他的一个或多个设备、装置、单元、甚至模块来担任。

例如，上述界面显示单元110、第一检测单元120、操作执行单元130、第二检测单元140、和显示更新单元150所执行的各个步骤可以统一地由电子设备中的中央处理单元（CPU）来实现。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助于软件加必需的硬件平台的方式来实现，当然也可以全部通过软件、或硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁盘、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

在上面详细描述了本发明的各个实施例。然而，本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (20)

1.一种操作处理方法，应用于电子设备，其特征在于，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸，所述方法包括：

在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系；

检测用户在所述第二交互界面中执行的第一动作；以及

根据所述第一动作来在所述第一交互界面中执行第一操作。

2.根据权利要求1的方法，其特征在于，在所述在所述显示单元中显示第二交互界面的步骤之前，所述方法还包括：

检测用户对所述电子设备执行的第二动作；

判断所述第二动作是否满足第一条件；以及

如果所述第二动作满足所述第一条件，则根据所述第二动作来在所述显示单元中显示所述第二交互界面。

3.根据权利要求2的方法，其特征在于，所述根据所述第二动作来在所述显示单元中显示所述第二交互界面的步骤包括：

根据所述第二动作来确定所述第二交互界面在所述显示单元中的显示方式，所述显示方式包括以下各项中的至少一个：显示位置、显示尺寸、和尺寸改变速度；以及

根据所述显示方式来在所述显示单元中显示所述第二交互界面。

4.根据权利要求1的方法，其特征在于，所述在所述显示单元中显示第二交互界面的步骤包括：

根据所述映射关系来对所述第一交互界面进行缩放；以及

在所述显示单元中显示缩放后的第一交互界面，作为所述第二交互界面。

5.根据权利要求1的方法，其特征在于，所述在所述显示单元中显示第二交互界面的步骤包括：

在所述显示单元中显示空白交互界面，作为所述第二交互界面；

检测在所述第一交互界面中包括的可操作对象；

确定所述可操作对象在所述第一交互界面中的布局信息；以及

根据所述布局信息来在所述空白交互界面中显示虚拟对象，所述虚拟对象根据所述映射关系来映射到所述可操作对象。

6.根据权利要求1的方法，其特征在于，所述检测用户在所述第二交互界面中执行的第一动作的步骤包括：

检测用户在所述第一交互界面中执行的交互手势；

确定所述交互手势在所述第一交互界面中的第一全局坐标；

根据所述第一全局坐标来判断在所述交互手势中是否有至少一部分是在所述第二交互界面中执行的；

如果判断出在所述交互手势中有至少一部分是在所述第二交互界面中执行的，则将所述交互手势确定为所述第一动作；以及

如果判断出在所述交互手势中没有任何部分是在所述第二交互界面中执行的，则将所述交互手势确定为第三动作，并且根据所述第三动作来在所述第一交互界面中执行第二操作。

7.根据权利要求6的方法，其特征在于，所述将所述交互手势确定为所述第一动作的步骤包括：

判断所述交互手势是否是针对所述第二交互界面本身做出的；

如果判断出所述交互手势是针对所述第二交互界面本身做出的，则将所述交互手势确定为第四动作，并且根据所述第四动作来在所述第一交互界面中对所述第二交互界面执行第三操作；以及

如果判断出所述交互手势不是针对所述第二交互界面本身做出的，则将所述交互手势确定为所述第一动作。

8.根据权利要求7的方法，其特征在于，所述第三操作包括以下各项中的至少一项：

缩小所述第二交互界面、放大所述第二交互界面、移动所述第二交互界面、刷新所述第二交互界面、和关闭所述第二交互界面。

9.根据权利要求1的方法，其特征在于，所述根据所述第一动作来在所述第一交互界面中执行第一操作的步骤包括：

确定所述第一动作在所述第二交互界面中的局部坐标；

根据所述映射关系来将所述局部坐标映射为所述第一交互界面中的第二全局坐标；以及

根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作。

10.根据权利要求9的方法，其特征在于，在所述根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作的步骤之后，所述方法还包括：

根据所述映射关系，通过所述第一交互界面对于所述第一操作的第一响应来更新所述第二交互界面的显示。

11.一种操作处理装置，应用于电子设备，其特征在于，所述电子设备包括显示单元，在所述显示单元中显示有第一交互界面，所述第一交互界面具有第一尺寸，所述装置包括：

界面显示单元，用于在所述显示单元中显示第二交互界面，所述第二交互界面具有第二尺寸，所述第二尺寸不同于所述第一尺寸，并且所述第一交互界面与所述第二交互界面之间具有映射关系；

第一检测单元，用于检测用户在所述第二交互界面中执行的第一动作；以及

操作执行单元，用于根据所述第一动作来在所述第一交互界面中执行第一操作。

12.根据权利要求11的装置，其特征在于，所述装置还包括：

第二检测单元，用于在所述界面显示单元在所述显示单元中显示第二交互界面之前，检测用户对所述电子设备执行的第二动作，判断所述第二动作是否满足第一条件，并且如果所述第二动作满足所述第一条件，则通知所述界面显示单元根据所述第二动作来在所述显示单元中显示所述第二交互界面。

13.根据权利要求12的装置，其特征在于，所述界面显示单元根据所述第二动作来确定所述第二交互界面在所述显示单元中的显示方式，所述显示方式包括以下各项中的至少一个：显示位置、显示尺寸、和尺寸改变速度，并且根据所述显示方式来在所述显示单元中显示所述第二交互界面。

14.根据权利要求11的装置，其特征在于，所述界面显示单元根据所述映射关系来对所述第一交互界面进行缩放，并且在所述显示单元中显示缩放后的第一交互界面，作为所述第二交互界面。

15.根据权利要求11的装置，其特征在于，所述界面显示单元在所述显示单元中显示空白交互界面，作为所述第二交互界面，检测在所述第一交互界面中包括的可操作对象，确定所述可操作对象在所述第一交互界面中的布局信息，并且根据所述布局信息来在所述空白交互界面中显示虚拟对象，所述虚拟对象根据所述映射关系来映射到所述可操作对象。

16.根据权利要求11的装置，其特征在于，所述第一检测单元检测用户在所述第一交互界面中执行的交互手势，确定所述交互手势在所述第一交互界面中的第一全局坐标，根据所述第一全局坐标来判断在所述交互手势中是否有至少一部分是在所述第二交互界面中执行的，如果判断出在所述交互手势中有至少一部分是在所述第二交互界面中执行的，则将所述交互手势确定为所述第一动作，并且如果判断出在所述交互手势中没有任何部分是在所述第二交互界面中执行的，则将所述交互手势确定为第三动作，并且通知所述操作执行单元根据所述第三动作来在所述第一交互界面中执行第二操作。

17.根据权利要求16的装置，其特征在于，所述第一检测单元判断所述交互手势是否是针对所述第二交互界面本身做出的，如果判断出所述交互手势是针对所述第二交互界面本身做出的，则将所述交互手势确定为第四动作，并且通知所述操作执行单元根据所述第四动作来在所述第一交互界面中对所述第二交互界面执行第三操作，并且如果判断出所述交互手势不是针对所述第二交互界面本身做出的，则将所述交互手势确定为所述第一动作。

18.根据权利要求17的装置，其特征在于，所述第三操作包括以下各项中的至少一项：

缩小所述第二交互界面、放大所述第二交互界面、移动所述第二交互界面、刷新所述第二交互界面、和关闭所述第二交互界面。

19.根据权利要求11的装置，其特征在于，所述操作执行单元确定所述第一动作在所述第二交互界面中的局部坐标，根据所述映射关系来将所述局部坐标映射为所述第一交互界面中的第二全局坐标，并且根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作。

20.根据权利要求19的装置，其特征在于，所述装置还包括：

显示更新单元，用于在所述操作执行单元根据所述第二全局坐标来在所述第一交互界面中执行所述第一操作之后，根据所述映射关系，通过所述第一交互界面对于所述第一操作的第一响应来更新所述第二交互界面的显示。