CN110928614B - 界面显示方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种界面显示方法、装置、设备及存储介质，该方法包括接收对第一显示界面中多媒体元素的第一操作指令，在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面，接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置，根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示，可以解决现有技术中多屏交互功能的使用缺陷，提高了多屏交互效率。

Description

界面显示方法、装置、设备及存储介质

技术领域

本发明涉及多界面交互技术领域，尤其涉及一种界面显示方法、装置、设备及存储介质。

背景技术

目前，各类智能设备被广泛的应用在人们的日常生活和工作中。用户在使用智能设备时，为了方便用户的操作、展示，开发者为用户提供了多屏交互的功能，用户可以控制一个屏幕中的多媒体元素(如图片、视频、文字等)将其显示在另一屏幕中。如用户使用平板设备时，可以点选平板设备当前界面中显示的多媒体元素，并通过特定手势将其“甩”到另一屏幕中。

在实现本发明的过程中，发明人发现现有技术存在如下缺陷：当用户控制当前设备的多媒体元素将其在另一屏幕进行显示时，无法高效、精确的控制选中的多媒体元素在另一屏幕中的显示位置，使用不便。

发明内容

有鉴于此，本发明实施例提供了一种界面显示方法、装置、设备及存储介质，提高了多屏显示的交互效率，可以使用户方便快捷的进行操作。

第一方面，本发明实施例提供了一种界面显示方法，包括：

接收对第一显示界面中多媒体元素的第一操作指令；

在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面；

接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置；

根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

可选的，在所述第一显示界面中显示第二显示界面的缩略图包括：

在所述第一显示界面中显示第二显示界面的分块缩略图，所述分块缩略图中包含至少两个分块区域。

可选的，所述触发位置包括触发分块区，相应的，所述根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示包括：

根据所述触发分块区确定所述第二显示界面中对应的显示区域；

根据所述显示区域进行所述多媒体元素的关联显示。

可选的，在所述第一显示界面中显示第二显示界面的缩略图包括：

截取第二显示界面当前显示的界面图得到第二界面截图；

在所述第一显示界面中显示所述第二界面截图。

可选的，所述触发位置包括位置坐标，相应的，所述根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示包括：

根据所述第二界面截图和所述第二显示界面的映射关系与所述位置坐标确定所述多媒体元素在所述第二界面的显示位置；

根据所述显示位置进行所述多媒体元素的关联显示。

可选的，在根据所述第二操作指令确定所述缩略图的触发位置之后，还包括：

在所述触发位置显示所述多媒体元素的图标。

可选的，在根据所述第二操作指令确定所述缩略图的触发位置之后，还包括：

在所述触发位置进行预设样式显示，所述预设样式显示包括预设亮度显示、预设颜色显示和闪烁显示中的任意一种。

可选的，所述第二操作指令包括拖动指令、双击指令或预设按键指令中的任意一种。

可选的，当所述第二操作指令为拖动指令时，所述根据所述第二操作指令确定所述缩略图的触发位置包括：

根据所述拖动指令对应的拖动位置确定所述缩略图的触发位置。

可选的，当所述第二操作指令为双击指或预设按键指令时，所述根据所述第二操作指令确定所述缩略图的触发位置包括：

根据所述双击指令或所述预设按键指令对应的预设位置规则确定所述缩略图的触发位置。

可选的，所述第一操作指令包括点击指令，所述多媒体元素包括文本、图片、音频或视频中的任意一种。

可选的，进行所述多媒体元素的关联显示包括：

将所述多媒体元素对应的应用程序打开并进行界面显示。

可选的，所述第二显示界面和所述第一显示界面显示在同一屏幕中，所述第二显示界面和所述第一显示界面分屏显示。

可选的，在根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示之后，还包括：

如果检测到对第二多媒体元素进行操作的第二操作指令，则在确定所述第二多媒体元素的触发位置后，依据预设分屏显示规则，在所述第二显示界面进行所述第二多媒体元素的关联显示。

第二方面，本发明实施例还提供一种界面显示装置，包括：

缩略图触发模块，用于接收对第一显示界面中多媒体元素的第一操作指令；

缩略图显示模块，用于在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面；

位置确定模块，用于接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置；

界面关联显示模块，用于根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

第三方面，本发明实施例还提供一种界面显示设备，包括：存储器、显示屏以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

所述显示屏，用于显示界面；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的界面显示方法。

第四方面，本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的界面显示方法。

上述提供的界面显示方法、装置、设备及存储介质，通过接收对第一显示界面中多媒体元素的第一操作指令，在所述第一显示界面中显示第二显示界面的缩略图，其中，第二显示界面和第一显示界面为进行交互的界面，接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置，根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示，解决现有技术中在多屏交互时，无法选择多媒体元素的显示位置的功能缺陷，提高了多屏交互效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种界面显示方法的流程图；

图2为显示界面的第一示意图；

图3为显示界面的第二示意图；

图4为本发明实施例二提供的一种界面显示方法的流程图；

图5为显示界面的第三示意图；

图6为显示界面的第四示意图；

图7为本发明实施例三提供的一种界面显示方法的流程图；

图8为显示界面的第四示意图；

图9为本发明实施例四提供的一种界面显示方法的流程图；

图10为本发明实施例五提供的一种界面显示方法的流程图；

图11为本发明实施例六提供的一种界面显示装置的结构示意图；

图12为本发明实施例七提供的一种界面显示设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或操作或对象与另一个实体或操作或对象区分开来，而不一定要求或者暗示这些实体或操作或对象之前存在任何这种实际的关系或顺序。例如，第一操作指令和第二操作指令的“第一”和“第二”用来区分两个不同的指令操作。

本申请实施例中提供的界面显示方法可以由界面显示设备执行，该界面显示设备可以通过软件和/或硬件的方式实现，该界面显示设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如，界面显示设备可以是电脑、手机、平板或智能交互平板等智能设备。

为了便于理解，实施例中以智能交互平板为界面显示设备进行示例性描述。其中，智能交互平板可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。

一般而言，智能交互平板包括至少一个显示屏。实施例中，以智能交互平板配置有两个显示屏为例进行描述。此时，两个显示屏可以为相同类型的显示屏，也可以为不同类型的显示屏。两个显示屏可以直接进行通信，也可以通过智能交互平板的处理器(如中央处理器)间接进行通信。同时，处理器可以单独控制每个显示屏。进一步的，两个显示屏均具有触控功能，相应的，显示屏可以是电容屏、电阻屏或者电磁屏。进一步的，两个显示屏的触控操作响应方式相同，以用户在一个显示屏中进行触控操作为例，此时，用户可以通过手指或触控笔触控显示屏的方式实现触控操作，相应的，智能交互平板检测触控操作在显示屏中的触控位置，并根据触控位置对应的显示内容确定响应方案，进而进行响应，以实现触控功能。例如，根据触控位置确定对应的显示内容为某个功能的控件，此时，响应方案为执行该功能。实际应用中，用户可以对一个显示屏进行触控操作，也可以同时对两个显示屏进行触控操作。可选的，确定触控操作在显示屏中触控位置的具体方式可以结合实际情况设定，例如，当显示屏某个位置接收到触控操作时，负责检测该位置的电器元件采集的参数会发生变化，此时，智能交互平板可以根据参数变化情况确定触控位置。可以理解的是，实际应用中，用户还可以通过键盘、鼠标、物理按键等方式实现控制操作。

典型的，智能交互平板安装有至少一类操作系统，其中，操作系统包括但不限定于安卓系统、Linux系统及Windows系统。通过操作系统可以分别对每个显示屏进行单独控制。进一步的，智能交互平板可以基于操作系统安装至少一个应用程序，实施例中，以具有电子白板功能的应用程序进行示例性描述。例如，智能交互平板中安装有电子白板应用程序。其中，该应用程序可以为操作系统自带的应用程序，也可以为从第三方设备或者服务器中下载的应用程序。可选的，在电子白板功能下，可以实现书写、插入表格、插入图片、插入多媒体、插入文件(如PPT等)、播放多媒体、插入图形、绘制表格等功能。可以理解的是，对于两个显示屏而言，其可以同时开启相同的应用程序，或者同时开启不同的应用程序。对于同一应用程序而言，其被开启后在两个显示屏中可以显示相同的界面或不同的界面。可选的，当显示不同的界面时，应用程序可以具有不同的版本，此时每个显示屏可以显示对应版本下的界面。或者是，两个显示屏显示同一应用程序的不同功能。

进一步的，将在电子白板应用程序的界面中显示的可操作对象记为多媒体元素，该多媒体元素可以为用户绘制的多媒体元素，如绘制的图形、文本框、表格、笔迹等，也可以为用户插入的多媒体元素，如插入的图形、图片、文档、PPT等。显示多媒体元素后，用户可以对多媒体元素进行控制操作，如调整多媒体元素位置、多媒体元素大小、多媒体元素颜色等，再如，对多媒体元素进行翻页、关闭、删除等。每个多媒体元素中可能包含其他多个多媒体元素，例如，多媒体元素为课件时，通过电子白板应用程序显示课件时，该课件中插入的图片同样可以认为是一个多媒体元素。此时，用户可以对图片进行单独控制，或者对课件进行控制时控制图片同步响应。

具体的，本申请实施例以运行具有电子白板功能的应用程序为例，描述两个显示屏下的界面显示方法。

实施例一

图1为本申请实施例一提供的一种界面显示方法的流程图。参考图1，该界面显示方法具体包括：

S101、接收对第一显示界面中多媒体元素的第一操作指令。

其中，第一显示界面可以是第一显示屏显示的界面，也可以是一块显示屏中分屏显示模式下的其中一个分屏显示的界面。在第一显示界面中显示有一个或多个多媒体元素，多媒体元素可以是文本、图片、音频、视频或程序图标等。

其中，该第一操作指令用于实现对多媒体元素的具体操作，示例性的，该第一操作指令可以是触摸指令，如用户可通过手指点击长按第一显示界面中的多媒体元素生成的指令。

S102、在所述第一显示界面中显示第二显示界面的缩略图。

其中，该第二显示界面可以是第二显示屏显示的界面，也可以是和第一显示界面共用同一显示屏时，在一块显示屏中分屏显示的另一分屏界面。

该第二显示界面为和第一显示界面进行交互的界面。在一个实施例中，第一显示界面和第二显示界面可以执行交互操作。典型的，用户可将第一显示界面中的多媒体元素移动至第二显示界面以实现第一显示界面和第二显示界面的交互，示例性的，在第一显示界面中显示有一段文本，此时用户可选中该文本并将该文本拖动到第二显示界面中，另其在第二显示界面进行显示。需要说明的是，上述将第一显示界面中显示的文本拖动至第二显示界面进行显示的操作仅为第一显示界面和第二显示界面实现的交互操作中的一种，并不是唯一一种，举例而言，第一显示界面和第二显示界面的交互操作还可以是在第一显示界面中执行操作指令以控制第二显示界面的显示画面等，任何第一显示界面和第二显示界面之间发生关联的操作均可视为显示界面的交互。

在一个实施例中，在接收到接收对第一显示界面中多媒体元素的第一操作指令后，在第一显示界面中显示第二显示界面的缩略图，该缩略图可以是模拟显示的第二界面的分块缩略图，如显示一矩形线框，该矩形中被划分为五个分块区域，示例性的标记显示为“上”、“下”、“左”、“右”和“中”，该缩略图还可以是第二界面的截图，即截取当前第二显示界面显示的图像作为缩略图。

S103、接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置。

其中，该第二操作指令用于实现对多媒体元素的具体操作，示例性的，该第二操作指令可以是拖动指令、双击指令或预设按键指令中的任意一种，如用户可通过手指的滑动来拖动多媒体元素。

在一个实施例中，第一操作指令用于点选第一界面中需要和第二界面进行交互的多媒体元素，如长按多媒体元素，此时该多媒体元素处于被选中状态，被选中状态可以是多媒体元素的高亮、闪烁、放大显示中的任意一种；第二操作指令为第一操作指令之后触发的指令，如对处于被选中状态的多媒体元素进行拖动的指令。

其中，缩略图的触发位置可以是缩略图显示区域中被触发的区域的位置，示例性的，缩略图以分块显示为例，如图2所示，图2为显示界面的第一示意图，该缩略图包含四个分块区，分别为“上”、“下”、“左”和“右”，该触发位置指具体的触发分块区，如触发位置为“上”分块区所在的位置。

在一个实施例中，该第二操作指令可以是拖动指令，根据检测到的拖动指令以确定缩略图的触发位置。示例性的，缩略图显示在第一显示界面的右上角，多媒体元素在第一显示界面中非缩略图所在的位置，此时检测到该多媒体元素的拖动指令，将拖动指令对应的结束位置(如用户手指松开时该多媒体元素所在的位置)确定为缩略图的触发位置。可选的，多媒体元素为一视频文件图标，在第一显示界面的右上角区域显示一缩略图，为便于确定多媒体元素在缩略图中的触发位置缩略图的每个分块区域的尺寸大小设置为大于多媒体元素的尺寸大小，其中，每个分块区域为一个单独的可被确定的触发位置，当某个分块区域被触发时其被确定为触发分块区，如缩略图包含4个分块区域，每个分块区域可被相应触发确定为触发分块区。具体的，第一显示界面中的每个位置对应一坐标值(x，y)，坐标精度大小可根据需求进行合理设置，当缩略图生成后，缩略图中每个分块区域均对应有各自的坐标值范围，以缩略图包含两个分块区为例，第一分块区坐标范围可以是x轴范围x1a～x1b，y轴范围y1a～y1b，第二分块区坐标范围可以是x轴范围x2a～x2b，y轴范围y2a～y2b，当检测到针对多媒体元素的拖动指令结束时，确定此时多媒体元素在第一显示界面中的位置坐标，当该位置坐标在第一分块区的坐标范围内时，相应的，第一分块区被确定为触发分块区，如果该位置坐标在第二分块区的坐标范围内时，相应的，第二分块区被确定为触发分块区。

在另一个实施例中，多媒体元素在被拖动时可相应改变其形状大小，同理，在检测到多媒体元素被拖动时，缩略图的大小也可相应变化，如多媒体元素在被拖动时其尺寸逐渐变小，缩略图的尺寸逐渐变大。具体的，给出一种多媒体元素在被拖动过程中尺寸大小进行变化的示例。在移动多媒体元素的过程中，实时调整多媒体元素在第一显示界面的显示尺寸。显示尺寸可以理解为多媒体元素在显示屏中的大小，其可以根据多媒体元素在显示屏中所占的像素点的个数确定。可以理解的是，若多媒体元素所在的显示界面有自己的坐标系，该坐标系与显示屏中的像素坐标系为互相独立的坐标系，则显示尺寸也可以理解为多媒体元素在显示界面中的大小，其可以根据多媒体元素在显示界面中所占的坐标点的个数确定。其中，显示界面包括但不限定于画布、文档界面、课件界面、网页等。此时，像素坐标系与显示界面的坐标系之间存在映射关系，以通过该映射关系，实现在显示屏对显示界面进行显示，以及将显示屏中接收的触控操作与显示界面关联起来。实施例中，以当前仅包含像素坐标系为例。

具体的，将第一触控操作作用的多媒体元素在第一显示界面的显示尺寸记为第一显示尺寸。进一步的，调整第一显示尺寸在控制多媒体元素继续移动的过程中同步发生。从用户的角度而言，可以看到多媒体元素移动的过程中多媒体元素大小同步发生了变化。其中，调整第一显示尺寸可以包括放大第一显示尺寸和/或缩小第一显示尺寸，在针对多屏交互显示时优选为缩小尺寸。典型的，第一显示尺寸的调整方式可以根据实际情况设定。如，随着移动时长增加而等比例缩小。再如，随着移动距离增加而等比例缩小或放大第一显示尺寸。又如，随着移动速度增加而等比例缩小或放大第一显示尺寸。还如，预先设定显示位置时，如缩略图所在的位置区域为预先设定的显示位置，当多媒体元素逐渐靠近设定显示位置时，可调整多媒体元素的第一显示尺寸逐渐变小，这样可以在多媒体元素拖动至缩略图时保证其落入缩略图中的某一个分块区域而不是覆盖多个区域。其中，设定尺寸阈值可以根据实际情况设定，当第一显示尺寸随着移动逐渐变小时，设定尺寸阈值可以是最小尺寸阈值，当第一显示尺寸随着移动逐渐变大时，设定尺寸阈值可以是最大尺寸阈值。

需要说明的是，调整第一显示尺寸仅是多媒体元素拖动过程在第一屏幕中呈现的一种可选方式。实际应用中，还可以通过其他的方式呈现多媒体元素传递显示过程。例如，在多媒体元素移动过程中，调整多媒体元素的透明度或者多媒体元素的边框颜色等，使第一屏幕上的多媒体元素呈现逐渐消失的效果。或者是，仅移动多媒体元素，而不调整多媒体元素的第一显示尺寸。

在另一个实施例中，该第二操作指令可以是双击指令，根据检测到的双击指令以确定缩略图的触发位置。示例性的，缩略图显示在第一显示界面的右上角，多媒体元素在第一显示界面中非缩略图所在的位置，此时检测到该多媒体元素的双击指令后，根据预设位置规则以确定缩略图的触发位置，示例性的，当多媒体元素处于被选中状态后，第一次双击该多媒体元素时对应缩略图的第一触发位置，第二次双击该多媒体元素时对应缩略图的第二触发位置，第三次双击该多媒体元素时对应缩略图的第三触发位置，第四次双击该多媒体元素时对应缩略图的第四触发位置，依次类推，如果缩略图总共包含5个触发位置，则在第六次双击该多媒体元素时重新对应缩略图的第一触发位置。

可以理解，在一些实施方式中，在使用者的角度看，该第一操作指令和第二操作指令可被认为是由一个动作产生的，例如，按压至少一多媒体元素，拖动所述多媒体元素的过程则可认为有产生第一操作指令和第二操作指令。

另外，需要说明的是，S101(接收对第一显示界面中多媒体元素的第一操作指令)与S102(在所述第一显示界面中显示第二显示界面的缩略图)没有必然的顺序，亦即在一些实施方式中，S101实施之前或过程中S102已经实施，即在所述第一显示界面中已显示第二显示界面的缩略图。另外，在一些实施方式中，S102(在所述第一显示界面中显示第二显示界面的缩略图)不是由第一操作指令而启动，而可以是由其他操作指令而启动。

S104、根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

其中，关联显示包括和多媒体元素相关具备显示功能的界面显示。示例性的，如多媒体元素是一张图片文件，该图片文件可被图片应用程序打开，则相应的具备显示功能的界面可以是打开该图片的程序显示出的图片的界面，和该图片文件对应的关联显示可以是在第二显示界面中进行打开图片后的对图片进行的显示。又如，多媒体元素是以应用程序的快捷方式图标，该快捷方式对应一应用程序，则和该多媒体元素的关联显示可以是该应用程序打开时显示的界面。又如，多媒体元素第一显示界面中打开的课件程序中的一段文字文本，和该文字文本对应的关联显示可以同样是该段文字文本，即在第二显示界面显示该文字文本。

其中，将多媒体元素在第二显示界面进行关联显示的过程中，具体的多媒体元素在第二显示界面的显示位置依据前述确定的缩略图的触发位置而定，现有技术中的“甩图”(即将一个显示界面中的多媒体元素在另一个显示界面进行显示的过程)仅能将一个显示界面中的多媒体元素在另一个显示界面进行显示，而无法确定或指定该多媒体元素在第二显示界面的具体显示位置，由此导致了操作不便、交互效率低的问题。

在一个实施例中，在第一显示界面中显示的第二显示界面的模型的缩略图采用分块缩略图的显示方式，如图2所示，缩略图包括四个分块区域，每个分块区域对应第二显示界面中的相应显示位置，该第二显示界面可同样按照该缩略图的形式进行位置区域的划分，即第二显示界面也同样被划分为“上”、“下”、“左”、和“右”四个分块区。具体的，关联显示的方式可以是根据缩略图的触发分块区确定第二显示界面中对应的显示区域，如触发分块区为缩略图中的“下”分块区，则相应的确定出的第二显示界面中对应的显示区域也为“下”分块区，如触发分块区为缩略图中的“左”分块区，则相应的确定出的第二显示界面中对应的显示区域也为“左”分块区，依次类推。

在一个实施例中，在第一显示界面显示的缩略图为第二显示界面的截图，相应的，在第二显示界面进行多媒体元素关联显示的方式可以是根据位置坐标以及缩略图和第二显示界面的映射关系确定多媒体元素在所述第二界面的显示位置，根据显示位置进行多媒体元素的关联显示。其中，该位置坐标由缩略图中的触发位置确定。示例性的，图3为显示界面的第二示意图，如图3所示，缩略图中每个位置区域对应一个坐标值(或位置编号标识，本方案不做限定去，其仅用于实现位置确定功能)，相应的该坐标值可依据缩略图和第二显示界面的映射关系确定在第二显示界面的一个唯一的位置区域，在确定多媒体元素在缩略图的位置坐标后和唯一确定其在第二显示界面的显示位置，典型的，缩略图中的位置坐标和第二显示界面的位置坐标的映射关系为一一对应。

本实施例提供的技术方案中，可根据对多媒体元素的操作指令确定出其在缩略图中的触发位置进而确定出在第二显示界面中的显示位置并进行相应显示，可以是用户根据自己需求将多媒体元素在第二显示界面中按照用户的设想显示位置进行显示，满足了用户的多样性需求，如多媒体元素分别为文本1和文本2，用户可将文本1和文本2在第二显示界面中上下并排显示以进行文本1和文本2的对比，同理也可以是图片对比等。在另一场景下，在第二显示界面的上方区域可显示多媒体元素1对应打开的应用程序，第二显示界面下方区域显示多媒体元素2对应打开的应用程序，以实现个性化的、便利与用户操作的位置区域显示。

实施例二

图4为本发明实施例二提供的一种界面显示方法的流程图，以缩略图为分块缩略图为例，给出了一种具体的多媒体元素在第二显示界面进行显示的方法。具体的，参考图4，实施例提供的界面显示方法具体包括：

S201、接收对第一显示界面中多媒体元素的第一操作指令。

S202、在所述第一显示界面中显示第二显示界面的分块缩略图。

图5为显示界面的第三示意图，在一个实施例中，如图5所示，缩略图501显示在第一显示界面502的右上角，本方案中并不限定缩略图的具体显示位置，可显示在第一显示界面的任意位置以任意方式(如悬浮方式)进行显示。其中，该缩略图以分块缩略图的方式进行显示，附图5中缩略图501标记的触发分块区共计为四个，分别为“上”、“下”、“左”和“右”，本方案并不限定分块区的分块个数可以是大于等于2的任意正整数，且在缩略图的实际显示过程中数字“上”、“下”、“左”和“右”可以显示在缩略图的对应分块中也可以不进行显示，同理分块区“上”、“下”、“左”和“右”的分割线也可显示在实际应用的缩略图中也可以隐藏。需要说明的是，缩略图的分块方式并不进行具体限定，图5中所示的分块方式仅为其中一种，还可以采取其他分块方式，本方案不做限定。

S203、接收第二操作指令，根据所述第二操作指令确定所述分块缩略图的触发分块区。

图6为显示界面的第四示意图，如图6所示，在第一显示界面601中接收对多媒体元素602的第二操作指令，将其拖动至分块缩略图603中，根据多媒体元素602在分块缩略图603中的位置确定触发分块区，如当前触发分块区可以是图2中所示的“左”分区。

具体的，第一显示界面601中每个位置触点对应一坐标值，示例性的一(m，n)表示，由于缩略图603显示在第一显示界面601中，故分块缩略图603中的每个触点也对应一坐标值，该坐标值和第一显示界面的坐标值共用相同的坐标系。其中，以分块缩略图603被划分为四个分块区域为例，具体的划分方式可参见图2，其中每个分块区域由该分块的边界线确定，即每个分块区域拥有各自不重叠的坐标值范围，当接收对多媒体元素602的第二操作指令，将其拖动至分块缩略图603中时，将该多媒体元素602的坐标值所落在的区域确定为触发分块区。

S204、根据所述触发分块区确定所述第二显示界面中对应的显示区域，根据所述显示区域进行所述多媒体元素的关联显示。

如图6所示，在第二显示界面604中，该第二显示界面也相应的虚拟划分为和缩略图对应的分区，如在步骤S203中确定出触发分块区为“左”时，相应的，将该多媒体元素对应关联显示在第二显示界面604的“左”分区605中。在一个实施例中，在第二显示界面进行多媒体元素的关联显示时，如在“左”分区进行多媒体元素的显示，则将第二显示界面进行左右分屏，在左分屏区域进行多媒体元素的关联显示。

本实施例提供的技术方案中，通过在第一显示界面显示第二显示界面的分块缩略图，该分块缩略图中的分块区和第二显示界面中的显示位置相对应，用户可操控多媒体元素将其拖动至缩略图的不同触发分块区以将多媒体元素在选定的位置关联显示在第二显示界面中，优化了多屏交互的用户体验，多屏互动功能更加丰富。

实施例三

图7为本发明实施例三提供的一种界面显示方法的流程图，以缩略图为第二显示界面的截图为例，给出了一种具体的多媒体元素在第二显示界面进行显示的方法。具体的，参考图7，实施例提供的界面显示方法具体包括：

S301、接收对第一显示界面中多媒体元素的第一操作指令。

S302、截取第二显示界面当前显示的界面图得到第二界面截图，在所述第一显示界面中显示所述第二界面截图。

其中，具体的截图方式可选现有GDI截图或DXGI截图等方案，此处不再赘述。通过对第二显示界面进行截图后，生成第二显示界面截图，给第二显示界面截图的图像显示内容、布局和第二显示界面一致，将第二显示界面截图显示在第二显示界面的预设区域，该预设区域示例性的可以是第一显示界面的右上角。

S303、接收第二操作指令，根据所述第二操作指令确定所述第二界面截图的位置坐标。

图8为显示界面的第四示意图，如图8所示，在第一显示界面801中接收对多媒体元素802的第二操作指令，将其拖动至第二界面截图803中，根据多媒体元素802在第二界面截图803中的位置确定对应的位置坐标，示例性的，第二界面截图的坐标位置可采用图示中的虚拟坐标轴确定(该虚拟坐标轴并非显示在实际应用场景中，此处仅便于进行解释)，该坐标轴包括x轴和y轴，通过x轴和y轴的坐标以唯一确定多媒体元素的坐标位置。

S304、根据所述第二界面截图和所述第二显示界面的映射关系与所述位置坐标确定所述多媒体元素在所述第二界面的显示位置，根据所述显示位置进行所述多媒体元素的关联显示。

其中，该映射关系可以是第二界面截图和第二显示界面的坐标映射关系，在一个实施例中，第二显示界面也采取虚拟坐标轴的形式对界面位置进行定位，如图8所示的对应第二显示界面的虚拟坐标轴，其和第二界面截图对应的虚拟坐标轴采取相同的坐标基准。示例性的，如多媒体元素为一幅图片，确定出其在第二界面截图的位置坐标为x轴位置3、y轴位置1，则相应的在第二显示界面中坐标x轴位置3、y轴位置1处进行该图片的显示。

本实施例提供的技术方案中，通过在第一显示界面显示第二显示界面的截图，该截图通过虚拟坐标轴进行位置标定，用户可操控多媒体元素将其拖动至截图区域的对应位置以在该位置映射到第二显示界面的位置处进行多媒体元素的关联显示，优化了多屏交互的用户体验，多屏互动功能更加丰富，可以实现不同界面间多媒体元素的精确位置显示。

实施例四

图9为本发明实施例四提供的一种界面显示方法的流程图，给出了一种在多媒体元素拖动至缩略图是缩略图的显示方式。具体的，参考图9，实施例提供的界面显示方法具体包括：

S401、接收对第一显示界面中多媒体元素的第一操作指令。

S402、在所述第一显示界面中显示第二显示界面的缩略图。

S403、接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置。

S404、在所述触发位置进行预设样式显示，所述预设样式显示包括预设亮度显示、预设颜色显示和闪烁显示中的任意一种。

在一个实施例中，以第二操作指令为用户的拖动指令为例，当用户拖动多媒体元素至缩略图的不同触发位置，该触发位置进行预设样式显示，如该触发位置显示为蓝色、高亮、闪烁或其他用于区别位置的显示方式。由此以指示其在第二显示界面中显示的位置供用户进行调整。

需要说明的是，当多媒体元素拖动至缩略图的不同区域时，第二显示界面可以随着多媒体元素在缩略图的位置实时进行变化显示，如多媒体元素位于图2所示的缩略图的“左”触发分块区时，其相应关联显示在第二显示界面的“左”显示分区，当多媒体元素移动至缩略图的“右”触发分块区时，其相应关联显示在第二显示界面的“右”显示分区。在另一实施例中，还可以是当多媒体元素在缩略图中的位置进行变化时不进行第二显示界面的实时变化，当检测到该拖动指令结束，即用户手指从多媒体元素中移开时，以此时多媒体元素的位置为依据在第二显示界面进行多媒体元素的关联显示，具体的二者显示交互方式并不做限定，本方案对显示位置的确定进行了限定。

S405、根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

本实施例提供的技术方案中，接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置，以实时指示多媒体元素在第二显示界面的显示位置，便于用于基于位置定位多媒体元素在第二显示界面的显示位置，节约了用户的操作时间，提高了多屏界面的交互效率。

实施例五

图10为本发明实施例五提供的一种界面显示方法的流程图，给出了多个不同的多媒体元素在第二显示界面进行关联显示的方式。具体的，参考图10，实施例提供的界面显示方法具体包括：

S501、接收对第一显示界面中多媒体元素的第一操作指令。

S502、在所述第一显示界面中显示第二显示界面的缩略图。

S503、接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置。

S504、根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

S505、如果检测到对第二多媒体元素进行操作的第二操作指令，则在确定所述第二多媒体元素的触发位置后，依据预设分屏显示规则，在所述第二显示界面进行所述第二多媒体元素的关联显示。

其中，该预设分屏显示规则可以是预先设置的当存在多个多媒体元素在第二显示界面进行显示时的位置确定规则。在一个实施例中，以第二显示界面划分为“左上”、“左下”、“右上”和“右下”四个区域为例，当第一个多媒体元素显示在“左上”时，如果再次检测到第二多媒体元素确定的显示位置区域也为“左上”，则可相应的将当前“左上”位置区域显示的第一多媒体元素的内容替换为第二多媒体元素的内容，还可以是将“左上”区域进行二次分屏，即将第一多媒体元素和第二多媒体元素同时显示在“左上”区域。具体的显示规则可根据实际需要进行适应性设置以便于多屏显示交互。

本实施例提供的技术方案中，如果检测到对第二多媒体元素进行操作的第二操作指令，则在确定所述第二多媒体元素的触发位置后，依据预设分屏显示规则，在所述第二显示界面进行所述第二多媒体元素的关联显示，进一步完善了界面显示方案，优化了多媒体元素基于位置的显示功能。

实施例六

图11为本发明实施例六提供的一种界面显示装置的结构示意图。参考图11，该界面显示装置包括：缩略图触发模块601、缩略图显示模块602、位置确定模块603以及界面关联显示模块604。

其中，缩略图触发模块601，用于接收对第一显示界面中多媒体元素的第一操作指令；缩略图显示模块602，用于在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面；位置确定模块603，用于接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置；界面关联显示模块604，用于根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

本实施例提供的技术方案，可根据对多媒体元素的操作指令确定出其在缩略图中的触发位置进而确定出在第二显示界面中的显示位置并进行相应显示，可以是用户根据自己需求将多媒体元素在第二显示界面中按照用户的设想显示位置进行显示，满足了用户的多样性需求，如多媒体元素分别为文本1和文本2，用户可将文本1和文本2在第二显示界面中上下并排显示以进行文本1和文本2的对比，同理也可以是图片对比等。在另一场景下，在第二显示界面的上方区域可显示多媒体元素1对应打开的应用程序，第二显示界面下方区域显示多媒体元素2对应打开的应用程序，以实现个性化的、便利与用户操作的位置区域显示。

可选的，所述缩略图显示模块602具体用于：

在所述第一显示界面中显示第二显示界面的分块缩略图，所述分块缩略图中包含至少两个分块区域。

可选的，所述触发位置包括触发分块区，所述界面关联显示模块604具体用于：

根据所述触发分块区确定所述第二显示界面中对应的显示区域；

根据所述显示区域进行所述多媒体元素的关联显示。

可选的，所述缩略图显示模块602具体用于：

截取第二显示界面当前显示的界面图得到第二界面截图；

在所述第一显示界面中显示所述第二界面截图。

可选的，所述触发位置包括位置坐标，所述界面关联显示模块604具体用于：

根据所述位置坐标以及所述第二界面截图和所述第二显示界面的映射关系确定所述多媒体元素在所述第二界面的显示位置；

根据所述显示位置进行所述多媒体元素的关联显示。

可选的，所述缩略图显示模块602还用于：

在根据所述第二操作指令确定所述缩略图的触发位置之后，在所述触发位置显示所述多媒体元素的图标。

可选的，所述缩略图显示模块602还用于：在根据所述第二操作指令确定所述缩略图的触发位置之后，在所述触发位置进行预设样式显示，所述预设样式显示包括预设亮度显示、预设颜色显示和闪烁显示中的任意一种。

可选的，所述第二操作指令包括拖动指令、双击指令或预设按键指令中的任意一种。

可选的，当所述第二操作指令为拖动指令时，所述位置确定模块603具体用于：

根据所述拖动指令对应的拖动位置确定所述缩略图的触发位置。

可选的，当所述第二操作指令为双击指或预设按键指令时，所述位置确定模块603具体用于：

根据所述双击指令或所述预设按键指令对应的预设位置规则确定所述缩略图的触发位置。

可选的，所述第一操作指令包括点击指令，所述多媒体元素包括文本、图片、音频、视频和程序图标中的任意一种。

可选的，所述界面关联显示模块604具体用于：

将所述多媒体元素对应的应用程序打开并进行界面显示。

可选的，所述第二显示界面和所述第一显示界面显示在同一屏幕中，所述第二显示界面和所述第一显示界面分屏显示。

可选的，所述界面关联显示模块604还用于：

在根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示之后，如果检测到对第二多媒体元素进行操作的第二操作指令，则在确定所述第二多媒体元素的触发位置后，依据预设分屏显示规则，在所述第二显示界面进行所述第二多媒体元素的关联显示。

本实施例提供的界面显示装置可以用于执行上述任意实施例提供的界面显示方法，具备相应的功能和有益效果。

实施例七

图12为本发明实施例七提供的一种界面显示设备的结构示意图。本实施例中，以智能交互平板为界面显示设备为例，进行描述。如图12所示，该智能交互平板60包括至少一个处理器61、至少一个网络接口62、用户接口63、存储器64以及至少一个通信总线65。

其中，通信总线65用于实现这些组件之间的连接通信。

其中，用户接口62可以包括显示屏、摄像头，可选用户接口63还可以包括标准的有线接口、无线接口。其中，显示屏可以为至少一个，实施例中以两个为例。

其中，网络接口62可选包括标准的有线接口、无线接口(如Wi-Fi接口)。

其中，处理器61可以包括一个或多个处理核心。处理器61利用各种接口和线路连接整个智能交互平板60内的各个部分，通过运行或执行存储在处理器61内的指令、程序、代码集或指令集，以及调用存储在存储器64内的数据，执行智能交互平板60的各种功能和处理数据。可选的，处理器61可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable GateArray，FPGA)、可编程逻辑阵列(Programmablelogic arrays，PLA)中的至少一种硬件形式来实现。处理器61可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制，两个显示屏可以共用同一GPU，或者每个显示屏对应一个GPU；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器61中，单独通过一块芯片进行实现。

其中，存储器64可以包括随机存储器(RandomAccess Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器64包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器64可用于存储指令、程序、代码、代码集或指令集。存储器64可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。如图12所示，作为一种计算机存储介质的存储器64中可以包括操作系统、网络通信模块、用户接口模块以及智能交互平板的操作应用程序。

在图12所示的智能交互平板60中，用户接口63主要用于为用户提供输入的接口，获取用户输入的数据；而处理器61可以用于调用存储器64中存储的智能交互平板的操作应用程序，并具体执行上述实施例中界面显示方法中的相关操作。

上述提供的界面显示设备可用于执行上述任意实施例提供的界面显示方法，具备相应的功能和有益效果。

实施例八

本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种界面显示方法，包括：

接收对第一显示界面中多媒体元素的第一操作指令；

在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面；

接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置；

根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的界面交互显示的操作，还可以执行本发明任意实施例所提供的界面显示方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的界面显示方法。

值得注意的是，上述界面显示装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (17)

1.一种界面显示方法，其特征在于，包括：

接收对第一显示界面中多媒体元素的第一操作指令；

在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面；

接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置；

根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示，其中，所述多媒体元素在所述第二显示界面的显示位置根据所述触发位置确定。

2.根据权利要求1所述的方法，其特征在于，在所述第一显示界面中显示第二显示界面的缩略图包括：

在所述第一显示界面中显示第二显示界面的分块缩略图，所述分块缩略图中包含至少两个分块区域。

3.根据权利要求2所述的方法，其特征在于，所述触发位置包括触发分块区，所述触发分块区对应一所述分块缩略图的分块区域，相应的，所述根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示包括：

根据所述触发分块区确定所述第二显示界面中对应的显示区域；

根据所述显示区域进行所述多媒体元素的关联显示。

4.根据权利要求1所述的方法，其特征在于，在所述第一显示界面中显示第二显示界面的缩略图包括：

截取第二显示界面当前显示的界面图得到第二界面截图；

在所述第一显示界面中显示所述第二界面截图。

5.根据权利要求4所述的方法，其特征在于，所述触发位置包括位置坐标，相应的，所述根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示包括：

根据所述第二界面截图和所述第二显示界面的映射关系与所述位置坐标确定所述多媒体元素在所述第二界面的显示位置；

根据所述显示位置进行所述多媒体元素的关联显示。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在根据所述第二操作指令确定所述缩略图的触发位置之后，还包括：

在所述触发位置显示所述多媒体元素的图标。

7.根据权利要求1-5中任一项所述的方法，其特征在于，在根据所述第二操作指令确定所述缩略图的触发位置之后，还包括：

在所述触发位置进行预设样式显示，所述预设样式显示包括预设亮度显示、预设颜色显示和闪烁显示中的任意一种。

8.根据权利要求1-5中任一项所述的方法，其特征在于，所述第二操作指令包括拖动指令、双击指令或预设按键指令中的任意一种。

9.根据权利要求8所述的方法，其特征在于，当所述第二操作指令为拖动指令时，所述根据所述第二操作指令确定所述缩略图的触发位置包括：

根据所述拖动指令对应的拖动位置确定所述缩略图的触发位置。

10.根据权利要求8所述的方法，其特征在于，当所述第二操作指令为双击指令或预设按键指令时，所述根据所述第二操作指令确定所述缩略图的触发位置包括：

根据所述双击指令或所述预设按键指令对应的预设位置规则确定所述缩略图的触发位置。

11.根据权利要求1-5中任一项所述的方法，其特征在于，所述第一操作指令包括点击指令，所述多媒体元素包括文本、图片、音频、视频和程序图标中的任意一种。

12.根据权利要求1-5中任一项所述的方法，其特征在于，进行所述多媒体元素的关联显示包括：

将所述多媒体元素对应的应用程序打开并进行界面显示。

13.根据权利要求1-5中任一项所述的方法，其特征在于，所述第二显示界面和所述第一显示界面显示在同一屏幕中，所述第二显示界面和所述第一显示界面分屏显示。

14.根据权利要求1-5中任一项所述的方法，其特征在于，在根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示之后，还包括：

如果检测到对第二多媒体元素进行操作的第二操作指令，则在确定所述第二多媒体元素的触发位置后，依据预设分屏显示规则，在所述第二显示界面进行所述第二多媒体元素的关联显示。

15.一种界面显示装置，其特征在于，包括：

缩略图触发模块，用于接收对第一显示界面中多媒体元素的第一操作指令；

缩略图显示模块，用于在所述第一显示界面中显示第二显示界面的缩略图，所述第二显示界面是和所述第一显示界面关联的交互界面；

位置确定模块，用于接收第二操作指令，根据所述第二操作指令确定所述缩略图的触发位置；

界面关联显示模块，用于根据所述触发位置在所述第二显示界面中进行所述多媒体元素的关联显示，其中，所述多媒体元素在所述第二显示界面的显示位置根据所述触发位置确定。

16.一种界面显示设备，其特征在于，包括：存储器、显示屏以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

所述显示屏，用于显示界面；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14任一所述的界面显示方法。

17.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-14任一所述的界面显示方法。

Images