CN106933523A - 一种多屏互动方法及装置 - Google Patents

Abstract

本发明提供了一种多屏互动方法及装置，其中，方法包括：根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。本发明能够解决多屏互动时，由于主设备与从设备的分辨率不兼容导致的多媒体资源播放画面不清晰、卡顿、甚至无法播放的问题。

Description

一种多屏互动方法及装置

技术领域

本发明涉及界面交互技术领域，特别涉及一种多屏互动方法及装置。

背景技术

多屏互动是指在不同多媒体终端上，如常见基于Ios、Android、Symbian等不同操作系统上的不同智能终端设备如手机，PDA，TV等之间，可进行多媒体(音频，视频，图片)内容的传输，解析，展示，控制等一系列操作，可以在不同平台设备上同时共享展示内容，丰富用户的多媒体生活。简单的说，就是几种设备的屏幕，通过专门的连接设备就可以互相连接转换。比如手机上的电影可以在电视上播放，平板上的图片可以在电视上分享，电脑的内容可以投影到电视上，是一种时下正在悄然兴起的技术。

目前，多屏互动技术方案大多是利用DLNA、miracast或airplay协议，实现多媒体资源共享；其中，DLNA只能实现单个图片、视频的共享；miracast和airplay既能够实现单个图片、视频的共享，还能够实现同屏投射；但在实现同屏投射时，多媒体资源发送方的屏幕必须一直处于点亮状态，非常耗电；尤其是在电池容量较小的终端上，多屏互动技术应用效果非常不好。

另外，在实现多媒体资源共享时，多媒体资源接收方直接播放多媒体资源发送方的资源，由于双方设备所支持的分辨率不同，有时导致资源播放不顺畅，显示画面不清晰等问题，严重时还会出现画面卡顿，导致多媒体资源无法正常播放的问题。

发明内容

本发明所要解决的技术问题是提供一种多屏互动方法，用以解决多屏互动时，多媒体资源播放画面不清晰、卡顿、甚至无法播放的问题。

本发明还提供了一种界面交互装置，用以保证上述方法在实际中的实现及应用。

为了解决上述问题，在本发明第一方面公开了一种多屏互动方法，所述方法包括：

根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

在本发明第二方面公开了一种多屏互动装置，所述装置包括：

虚拟显示屏创建单元，用于根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

应用列表显示单元，用于扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

应用触发单元，用于接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

投射单元，用于将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

与现有技术相比，本发明包括以下优点：

在本发明实施例中，用户使用主设备实现多屏互动时，首先，主设备根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；这样，主设备为用户建立了一条新的虚拟投射通道。然后，接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；最后，将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。在本发明中，虚拟显示屏是以从设备物理显示屏的分辨率和像素信息为基础建立的，该虚拟显示屏与从设备物理显示屏相匹配，能够获得最佳显示效果，从而避免了由于主从设备的分辨率不兼容导致的多媒体资源播放画面不清晰、卡顿、甚至无法播放的问题。

另外，由于虚拟投射通道依赖于虚拟显示屏，而虚拟显示屏的运作是独立于物理显示屏的，因此，在投射过程中，物理显示屏的显示与否都不会影响多媒体资源在虚拟显示屏上的投射。这样，利用本发明技术方案，用户还可以通过关闭物理显示屏的方式，达到节约主设备的耗电量的目的。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种多屏互动方法实施例1的流程图；

图2是本发明提供的一种多屏互动方法实施例2的流程图；

图3是本发明提供的一种多屏互动装置实施例1的结构图；

图4是本发明提供的一种多屏互动装置实施例2的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

参阅图1，示出了本发明提供的一种多屏互动方法实施例1的流程图，如图1所示，该方法可以包括步骤101-103：

步骤101：根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏。

在本实施例中，主设备和从设备均是指能够支持多媒体资源播放的设备；例如：智能手机、笔记本、计算机、平板、智能电视机、投影仪等设备。其中，主设备具体是指多媒体资源发送方，从设备具体是指多媒体资源接收方，由主设备将其播放的多媒体资源投射到从设备上进行显示，以实现主设备和从设备之间的多屏互动。一般情况下，主设备内安装有多款应用，用户使用这些应用时可以与从设备之间进行多屏互动，从而将主设备上显示的内容，投射到从设备上进行显示。

例如：用户使用手机(主设备)中的播放器应用播放电影，可以通过多屏互动技术将该电影投射到电视机(从设备)上进行播放。

再例如：用户使用笔记本(主设备)中相册应用查看相片，可以通过多屏互动技术将该照片投射到投影仪(从设备)上进行查看。

再例如：用户使用PAD(主设备)中的游戏应用，可以通过多屏互动技术将游戏画面投射到电视机(从设备)上进行显示。

现有的多屏互动技术在实现多媒体资源共享时，由于主设备和从设备显示性能不同，导致资源播放不顺畅，显示画面不清晰等问题，严重时还会出现画面卡顿，导致多媒体资源无法正常播放的问题。因此，本发明实施例为了给用户提供良好的多屏互动体验，先在主设备内为从设备创建对应的虚拟显示屏，以为后续的多屏互动打好基础。

在实现时，可以根据业务需求，在主设备内创建一个或者多个虚拟显示屏，虚拟显示屏与从设备之间具有一一对应关系。例如：主设备需要与多个从设备同时进行多频互动，则主设备为每个从设备均创建一个对应的虚拟显示屏，进而在实现多屏互动时，将所述虚拟显示屏上显示的内容投射到对应的从设备物理显示屏上。因此，在实现时，可以根据业务需求，在主设备内创建一个或者多个虚拟显示屏，以支持主设备与一个或多个从设备之间的多屏互动业务。

在实现时，步骤101可以按照如下方式实现，该方式包括S11-S12：

S11：获取从设备物理显示屏的分辨率和像素信息，并从中选择主设备物理显示屏能够支持的最佳分辨率和像素信息；

S12：根据选择的最佳分辨率和像素信息创建虚拟显示屏。

由于,一个设备一般会支持多组分辨率和像素，在本发明实施例中，主设备和从设备都可能会支持多组分辨率和像素，但主设备和从设备的物理显示屏具体采用的分辨率和像素可能不同，如果直接将主设备物理显示屏上的内容投射到从设备物理显示屏上，那么就可能出现分辨率不兼容导致的多媒体资源播放画面不清晰、卡顿、甚至无法播放的问题。基于此，本发明实施例提供了一种新的投射渠道，在主设备内为从设备创建对应的虚拟显示屏，以使虚拟显示屏与从设备物理显示屏的显示属性相匹配。

例如：从设备支持的像素信息是240dpi，可以支持的分辨率为1080p和720p；而主设备此时的内存大小不足以支持1080p和像素240dpi，但可以支持720p，则主设备根据720p的分辨率，基于像素160dpi创建虚拟显示屏。这样，该虚拟显示屏就能够与从设备的物理显示屏的显示性能相匹配。

由于，在主设备内预先创建好与从设备物理显示屏的分辨率和像素相匹配的虚拟显示屏，主设备与从设备之间实现多屏互动时，将主设备虚拟显示屏上显示的内容投射到从设备物理显示屏上，就能够保证主设备和从设备两者显示属性彼此兼容，从而能够获得最佳显示效果，避免了由于主从设备的分辨率不兼容导致的多媒体资源播放画面不清晰、卡顿、甚至无法播放的问题。

在创建虚拟显示屏之后，按照步骤102-104的操作来实现多频互动。

步骤102：扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

在实现时，应用列表具体可以包括应用图标和应用名称，这样，用户可以根据用户名称选择自己感兴趣的应用，并通过应用图标来触发应用。

在实现时，可以预先在主设备内创建一个虚拟应用管理器，该虚拟应用管理器就用于扫描主设备内的应用，在虚拟显示屏显示应用列表。该虚拟应用管理器可以设置成一个应用程序，则其和其他应用程序类似的，具有一个应用图标和应用名称，主设备在显示界面上显示系统内所有应用的应用图标和应用名称；这样，用户可以在界面上通过应用图标和应用名称识别出虚拟应用管理器，然后可以通过声控、点击等方式来触发虚拟应用管理器，以控制主设备实现步骤102。

在实现时，也可以预先在主设备上为用户提供虚拟应用管理器的控件，该控件用于控制虚拟应用管理器的功能。在该方式中，在主设备上为用户提供一个控件，该控件可以是软件控件，也可以是硬件控件；例如：主设备在设备界面上为用户显示软件控件，软件控件可以设置成可移动控件；这样方便用户根据需求随意拖动该控件。再例如，主设备在设备侧面为用户设置有硬件控件，当然硬件控件的形式、位置可以根据设备的具体形状来设置，在本发明实施例中并不作具体限定。在该方式中，用户可以通过触控控件的方式，来触发虚拟应用管理器，以实现步骤102。其中，控件的触控形式可以是点击、双击、滑动、声音控制等形式，当然，在本发明实施例中对此并不作具体限定，可以采用任意一种触发形式。

步骤103：接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示。

在实现时，用户浏览虚拟显示屏上的应用列表，选择触发自己感兴趣的应用，发起触发请求，则将用户触发的应用在虚拟显示屏上显示。例如，用户浏览虚拟显示屏上的应用列表，选择了播放器应用，点击触发该播放器应用，响应于用户的该触发请求，在虚拟显示屏上显示该播放器应用的具体内容，即，启动该播放器应用。

步骤104：将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

在实现时，主设备可以通过数据连接线与从设备相连，进而通过该数据连接线将所述虚拟显示屏上显示的内容投射到从设备物理显示屏上；例如：主设备通过HDMI(High-Definition Multimedia Interface，高清晰度多媒体接口)数据线与从设备相连，进而利用该HDMI数据线将主设备虚拟显示屏上显示的内容投射到从设备物理显示屏上。在实现时，主设备也可以通过无线网络与从设备相连。这样主设备通过无线网络将主设备虚拟显示屏上显示的内容投射到从设备物理显示屏上。例如，用户在该播放应用器上选择播放某一个影片，在将虚拟显示屏上显示的该影片通过网络投射到从设备物理显示屏上，这样就实现了主设备与从设备两者间的多屏互动。

由于，虚拟显示屏是独立于物理显示屏的，这两者彼此独立工作，互不影响，主设备物理显示屏处于显示或者关闭状态对虚拟显示屏的工作都不会产生影响，不会影响虚拟显示屏的正常工作。因此，为了节约主设备的耗电量，在上述方法的基础上，还可以增加如下步骤：

根据用户针对主设备物理显示屏触发的关闭操作，控制物理显示屏处于关闭状态。

利用上述方法，用户打开应用在虚拟显示屏上显示后，可以直接关闭主设备的物理显示屏，这样就能够在保证多屏互动正常进行的同时，还能够节省主设备电量。

正是由于虚拟显示屏与物理显示屏彼此独立，因此，在虚拟显示屏工作的同时，用户还可以在主设备上操作其他应用，以在物理显示屏上进行显示，具体是在上述方法的基础上，增加如下步骤：

接收用户针对另一应用的触发请求，在主设备物理显示屏上显示所述另一应用的内容。

利用上述方法，主设备利用虚拟显示屏与从设备进行多屏互动，在互动过程中，用户还可以自由操作主设备的另一应用，这样，能够在不影响多屏互动技术的前提下，提高用户的操作体验。

进一步地，发明人还考虑到在实际应用中，分屏功能还停留在针对特定应用预先进行分屏应用开发的阶段，由于开发成本非常高，很多应用目前都还不能够支持分屏功能。基于此，发明人在上述方法的基础上进一步地提出了一种可选方案，以实现分屏技术。

参阅图2，示出了本发明提供的一种多屏互动方法实施例2的流程图，如图2所示，该方法可以包括：步骤201-205：

步骤201：根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

步骤202：扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

步骤203：接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

步骤204：将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

步骤205：接收用户通过虚拟输入设备发送的控制信息，将所述控制信息转换成应用可识别的信息，并发送至所述应用，以使所述应用根据所述控制信息执行相应的处理。

其中，步骤201-204与上述图1所示步骤101-104相同，可以参照上文对应的描述，此处不再赘述。而图2所述方法与图1所示方法的区别在于，增加了步骤205的操作。

在实现时，主设备可以为用户提供虚拟输入设备，如虚拟键盘或虚拟鼠标或虚拟麦克风等设备。用户通过虚拟输入设备发送控制信息，主设备接收到用户发送的控制信息，将这些控制信息转换成应用可识别的信息，并发送至对应的应用，以使应用根据控制信息执行相应的处理。

下面通过示例对图2所示方法进行示例性说明。

例如，用户在主设备的虚拟显示屏上打开了一个游戏应用，则该游戏应用的画面会在主设备的虚拟显示屏上显示。未做分屏处理的应用，用户操作画面也会在屏幕上进行显示。但在本发明实施例中，主设备通过为用户提供虚拟输入设备的方式，以实现分屏处理；该虚拟输入设备可以是虚拟键盘、虚拟鼠标、虚拟麦克风等虚拟设备；用户可以利用该虚拟输入设备来操控该游戏应用，用户通过虚拟输入设备发送控制信息，该控制信息被转换成该游戏应用可识别的信息，并转发至该游戏应用，则该游戏应用根据用户的控制信息执行相应的处理。但用户操控游戏应用的操作过程类似于后台操作一样，其不会显示在虚拟显示屏上，从而使得用户操作部分和游戏画面两者相分离，在虚拟显示屏上只显示游戏画面部分，而用户通过虚拟显示屏发起的操作部分就不会被投射到从设备物理显示屏上。这样，通过虚拟输入设备将用户操作部分与应用画面显示部分相分离，从而在不对应用程序修改的情况下，实现分屏处理。

这样，本发明通过为用户提供虚拟输入设备，以方便用户操控虚拟显示屏上的应用，但用户利用虚拟输入设备操控应用的过程却不会显示在虚拟显示屏上，这样就能够针对任何一种应用实现分屏处理，而无需对应用预先作分屏开发。

另外，本发明还提供了一种多屏互动装置，下面结合实施例对该装置作进一步解释说明。

参阅图3，示出了本发明提供的一种多屏互动装置实施例1的结构图，如图3所示，该装置应用于主设备中，该装置可以包括：

虚拟显示屏创建单元301，用于根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

应用列表显示单元302，用于扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

应用触发单元303，用于接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

投射单元304，用于将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

可选的，所述虚拟显示屏创建单元，包括：

获取子单元，用于获取从设备物理显示屏的分辨率和像素信息，并从中选择主设备物理显示屏能够支持的最佳分辨率和像素信息；

创建子单元，用于根据选择的最佳分辨率和像素信息创建虚拟显示屏。

可选的，所述装置还包括：

物理显示单元，用于接收用户针对另一应用的触发请求，在主设备物理显示屏上显示所述另一应用的内容。

在本发明实施例中，用户使用主设备实现多屏互动时，首先，主设备根据从设备物理显示屏的分辨率和像素信息，在主设备内创建的虚拟显示屏；扫描主设备内的应用，在虚拟显示屏显示应用列表；这样，主设备为用户建立了一条新的虚拟投射通道。然后，接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；最后，将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。在本发明中，虚拟显示屏是以从设备物理显示屏的分辨率和像素信息为基础建立的，该虚拟显示屏与从设备物理显示屏相匹配，能够获得最佳显示效果，从而避免了由于主从设备的分辨率不兼容导致的多媒体资源播放画面不清晰、卡顿、甚至无法播放的问题。

另外，由于虚拟投射通道依赖与虚拟显示屏，而虚拟显示屏的运作是独立于物理显示屏的，因此，在投射过程中，物理显示屏的显示与否都不会影响多媒体资源在虚拟显示屏上的投射。这样，利用本发明技术方案，用户还可以通过关闭物理显示屏的方式，达到节约主设备的耗电量的目的。

参阅图4，示出了本发明提供的一种多屏互动装置实施例2的结构图，该装置可以包括：

虚拟显示屏创建单元401，用于根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

应用列表显示单元402，用于扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

应用触发单元403，用于接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

投射单元404，用于将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

控制单元405，用于接收用户通过虚拟输入设备发送的控制信息，将所述控制信息转换成应用可识别的信息，并发送至所述应用，以使所述应用根据所述控制信息执行相应的处理。

可选的，所述虚拟输入设备是虚拟键盘或虚拟鼠标或虚拟麦克风。

图4所示装置中的401-404单元与图3所示装置的301-304相同，此处不再赘述，可以参见上文图3的描述。图4所示的装置具体是在图3所示装置的基础上增加了控制单元405。

图4所示装置在图3所示装置的基础上，进一步地为用户提供虚拟输入设备，以方便用户操控虚拟显示屏上的应用，但用户利用虚拟输入设备操控应用的过程却不会显示在虚拟显示屏上，这样就能够针对任何一种应用实现分屏处理，而无需对应用预先作分屏开发。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种多屏互动方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多屏互动方法，其特征在于，所述方法包括：

根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

2.根据权利要求1所述的方法，其特征在于，所述根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏的步骤包括：

获取从设备物理显示屏的分辨率和像素信息，并从中选择主设备物理显示屏能够支持的最佳分辨率和像素信息；

根据选择的最佳分辨率和像素信息创建虚拟显示屏。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户通过虚拟输入设备发送的控制信息，将所述控制信息转换成应用可识别的信息，并发送至所述应用，以使所述应用根据所述控制信息执行相应的处理。

4.根据权利要求3所述的方法，其特征在于，所述虚拟输入设备是虚拟键盘或虚拟鼠标或虚拟麦克风。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户针对另一应用的触发请求，在主设备物理显示屏上显示所述另一应用的内容。

6.一种多屏互动装置，其特征在于，所述装置包括：

虚拟显示屏创建单元，用于根据从设备物理显示屏的分辨率和像素信息，在主设备内创建虚拟显示屏；

应用列表显示单元，用于扫描主设备内的应用，在所述虚拟显示屏上显示应用列表；

应用触发单元，用于接收用户的触发请求，将用户触发的应用在所述虚拟显示屏上显示；

投射单元，用于将所述虚拟显示屏上显示的内容投射到所述从设备物理显示屏上。

7.根据权利要求6所述的装置，其特征在于，所述虚拟显示屏创建单元，包括：

获取子单元，用于获取从设备物理显示屏的分辨率和像素信息，并从中选择主设备物理显示屏能够支持的最佳分辨率和像素信息；

创建子单元，用于根据选择的最佳分辨率和像素信息创建虚拟显示屏。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

控制单元，用于接收用户通过虚拟输入设备发送的控制信息，将所述控制信息转换成应用可识别的信息，并发送至所述应用，以使所述应用根据所述控制信息执行相应的处理。

9.根据权利要求8所述的装置，其特征在于，所述虚拟输入设备是虚拟键盘或虚拟鼠标或虚拟麦克风。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

物理显示单元，用于接收用户针对另一应用的触发请求，在主设备物理显示屏上显示所述另一应用的内容。