CN103596053A - 一种pip播放的方法及终端 - Google Patents

Abstract

本发明实施例公开了一种PIP（画中画）播放的方法，包括：获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。本发明实施例还公开了一种PIP播放的终端。采用本发明，具有智能焦点躲避、灵活设定PIP的属性和窗口切换快等优点，完善和提高了PIP播放功能的灵活性和操作性，提高了用户的使用体验。

Description

一种PIP播放的方法及终端

技术领域

本发明涉及一种电子领域，尤其涉及一种PIP播放的方法及终端。

背景技术

随着Android移动智能系统功能的不断提高和完善，Android系统已经应用到各种终端，包括手机、平板电脑、智能电视、智能机顶盒等。这些移动系统终端通过Android系统丰富的多媒体以及强大的信息获取共享等功能，让人们享受到了前所未有的体验。其中，基于Android智能机顶盒上的视频观看体验成为人们选择机顶盒时的重要标准，现有技术方案中可以将PIP(画中画)功能和Android系统结合可以在一定程度上完善和提高用户的视频观看体验，用户可以在同一时刻观看两路视频（主窗口一路，PIP窗口一路），而且两路视频可以来之不同的节目源，同样也允许用户在PIP窗口中观看视频的同时在主窗口进行其他操作（例如：浏览网页、玩游戏、购物等），另外允许用户对PIP进行打开、关闭等操作。这样，就满足了用户方便而灵活的视频观看体验，进一步发挥Android机顶盒的丰富功能，从而成为家庭媒体中心。

但是，现有技术方案的缺点包括：第一，PIP功能中两路视频源是固定的（一般对应两个解码器），一旦设定很难进行灵活修改；第二，由于平台软件的限制，PIP小窗口的位置、大小等属性不能灵活设置，或者只能进行有限设置；第三，多窗口方案对平台的依赖性大，造成支持的视频播放器少，虽然可以做到小窗口观看视频，但是无法做到多路视频的播放；第四，浮动窗口方案可以同时观看两路节目，但是PIP小窗口和大窗口切换过程中，由于是两个独立播放进程的切换，造成切换动作非常慢，尤其是播放网络视频的情况；第五，浮动窗口方案中，PIP小窗口控制设置不够灵活，PIP小窗口可能遮挡屏幕的焦点区域，影响用户的使用体验。

发明内容

本发明实施例所要解决的技术问题在于，提供一种PIP播放的方法及终端。具有智能焦点躲避、灵活设定PIP的属性和窗口切换快等优点，完善和提高了PIP播放功能的灵活性和操作性，提高了用户的使用体验。

为了解决上述技术问题，本发明实施例提供了一种PIP播放的方法，包括：

获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；

根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；

根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。

其中，所述用户界面的焦点区域信息包括焦点区域的顶点坐标位置和焦点区域大小，所述PIP小窗口的区域信息包括PIP小窗口的顶点坐标位置和区域大小。

其中，所述根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置之前还包括：

确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域。

其中，所述根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置还包括：

对多个PIP播放器应用进程的状态进行检测；

若检测到有处于运行状态的PIP播放器应用进程，则通过所述处于运行状态的PIP播放器应用进程调整PIP小窗口的位置。

其中，所述方法还包括：

获取遥控器发送的PIP功能键信号；

若获取到的所述PIP功能键信号为所述遥控器发送的窗口属性设置信号，则获取用户输入的修改PIP小窗口的属性信息，所述PIP小窗口的属性信息包括PIP小窗口的区域信息以及其他属性信息；

根据获取到的所述用户输入的修改PIP小窗口的属性信息，通过PIP属性设置应用进程修改PIP小窗口的属性。

相应地，本发明实施例还提供了一种PIP播放的终端，包括：

信息获取模块，用于获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；

信息计算模块，用于根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；

窗口调整模块，用于根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。

其中，所述用户界面的焦点区域信息包括焦点区域的顶点坐标位置和焦点区域大小，所述PIP小窗口的区域信息包括PIP小窗口的顶点坐标位置和区域大小。

其中，所述终端还包括：

区域确定模块，用于确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域。

其中，所述窗口调整模块包括：

进程检测单元，用于对多个PIP播放器应用进程的状态进行检测；

位置调整单元，用于若检测到有处于运行状态的PIP播放器应用进程，则通过所述处于运行状态的PIP播放器应用进程调整PIP小窗口的位置。

其中，所述终端还包括：

信号获取模块，用于获取遥控器发送的PIP功能键信号；

属性信息获取模块，用于若获取到的所述PIP功能键信号为所述遥控器发送的窗口属性设置信号，则获取用户输入的修改PIP小窗口的属性信息，所述PIP小窗口的属性信息包括PIP小窗口的区域信息以及其他属性信息；

属性修改模块，用于根据获取到的所述用户输入的修改PIP小窗口的属性信息，通过PIP属性设置应用进程修改PIP小窗口的属性。

实施本发明实施例，具有如下有益效果：获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。具有智能焦点躲避、灵活设定PIP的属性和窗口切换快等优点，完善和提高了PIP播放功能的灵活性和操作性，提高了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种PIP播放的方法的第一实施例流程图；

图2是本发明实施例提供的多路视频播放的示意图；

图3是本发明另一实施例提供的一种PIP播放的方法的流程图；

图4是本发明实施例提供的一种PIP播放的终端的结构示意图；

图5是本发明实施例提供的PIP播放的终端中窗口调整模块的结构示意图；

图6是本发明另一实施例提供的一种PIP播放的终端结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出了一种PIP播放的方法及终端，其中包括PIP焦点躲避、PIP小窗口属性设置以及PIP窗口切换等功能。本发明主要通过一个Service（后台服务）来完成整个方案中的状态控制、窗口控制以及操作控制等，再结合Proxy端(前端)的接口控制，配合Android系统来完成，整体结构包括三部分：前端控制模块、后台服务模块和事件控制模块，其中：

前端控制模块，用于完成窗口切换通知，前端PIP切换的主动申请，PIP窗口信息的获取应用等工作，并且提供了开启关闭PIP后台服务、注册应用服务、申请PIP切换以及应用PIP窗口信息等控制接口，前端控制模块的接口需要应用到参与PIP切换的前端应用程序当中。

后台服务模块，用于控制PIP窗口大小位置、控制PIP窗口状态切换、处理PIP前端异常退出、及时响应前端应用的PIP控制动作以及后台硬件事件。该PIP后台服务进程随Android系统启动而启动，根据PIP前端控制模块的注册信息生成播放器实例ID，并对所有的注册播放器实例进行状态控制，同时响应系统底层事件控制模块（如遥控器按键事件）向PIP前端控制模块发送事件通知等等，与PIP前端控制模块共同完成PIP功能。

事件控制模块，用于接收响应底层遥控器按键信号和当前Android系统中处于前台应用（Running Acivity）焦点变化信息等，可以直接接收底层硬件指令，并及时通知前端控制模块，从而呈现给用户最快的PIP效果，该模块作为后台服务的独立模块运行，从而可以使PIP切换以及焦点闪避快速响应。

请参考图1，图1是本发明实施例提供的一种PIP播放的方法第一实施例流程图，本发明实施例通过获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息，计算焦点的非遮挡区域，然后通过与PIP小窗口的区域位置和坐标相比较，来调整PIP小窗口的位置。如图所示本发明实施例所述方法至少包括：

步骤S110，获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息。其中，所述用户界面的焦点区域信息包括焦点区域的顶点坐标位置和焦点区域大小，所述PIP小窗口的区域信息包括PIP小窗口的顶点坐标位置和区域大小。具体实现中，获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息，主要是通过所述的前端控制模块提供的前端应用焦点区域通知功能接口来完成，该功能接口可以控制前端应用获取当前UI（用户界面）页面的焦点区域，并将当前获取到的焦点区域的顶点坐标以及焦点区域大小提交到后台服务模块，以便PIP后台服务根据焦点区域信息以及设备屏幕分辨率信息共同计算出最佳的PIP小窗口位置。

其中，所述前端控制模块还提供了PIP后台服务的连接断开功能接口和PIP前端播放器实例注册功能接口，通过以上两个功能接口，可以使得前端应用和后台服务模块建立通信连接。其中，PIP后台服务的连接断开功能接口提供了前端应用与后台服务模块中PIP后台服务的调用通道，同时接口内部建立PIP后台服务的异步检测回调，使得前端应用可以随时获取PIP后台服务的运行状态。这样就保证在PIP后台服务停止运行（出错主动退出或者被Android内核强制kill）的情况下的有效数据保存，在PIP后台服务重启后恢复原始状态，最终保证了前端应用的不会因后台服务造成异常突出。

另外，PIP前端播放器实例（进程）注册功能接口用于注册播放器实例到后台服务模块。一方面，后台服务模块根据每一个注册信息产生与之对应的ID，并根据ID维护每个播放器实例的状态，防止了播放器实例的状态混乱，另一方面，后台服务模块将每个播放器实例对应的ID返回给前端应用，前端应用可以根据ID响应后台服务模块的指令（如窗口切换、窗口关闭等），同时每一个播放器实例对应一路视频播放，播放器实例ID保证播放器实例可以处于不同的前端应用，也可以处于同一前端应用，即用户可以通过同一个前端应用同时观看两路视频，也可以通过不同应用观看两路视频。

可选的，本发明实施例的前端控制模块的使用包括如下几个步骤：

第一，连接后台服务模块，建立后台服务运行状态监控的回调对象，如果连接成功，则获取到后台服务的代理对象，然后可以进行后续动作。如果失败，则尝试启动PIP后台服务，如果本地存储有历史记录，则尝试将信息全部重新注册到PIP后台服务。

第二，注册当前前端应用进程中有效的播放器实例，注册前需要保证注册信息的唯一性，如果注册信息已经在历史注册信息中存在，则返回。否则，将注册信息提交到PIP后台服务，并且将注册信息存储为本地历史记录。

第三，注册PIP窗口切换、窗口信息更新、窗口关闭等回调接口，成功后前端应用就可以等待控制事件，当有控制事件发生时，回调接口会被自动调用，前端应用就可以在回调发生后改变视频层的渲染窗口大小，根据回调事件的z-order值改变应用的前后台状态，关闭视频播放进程等动作。同时，前端应用也可以主动申请PIP切换，申请PIP小窗口强制关闭。

第四，当需要结束PIP功能时，去注册PIP窗口切换、窗口信息更新、窗口关闭等回调接口，并通过有效播放器实例ID去注册当前有效播放器实例。删除当前有播放器实例的本地历史记录。

第五，断开PIP后台服务，将后台服务代理对象置空。

进一步可选的，图2是本发明实现多路视频播放示意图。如图所示单独的视频层（Overlay层）保证了Android系统中视频后台播放的渲染内存，同时又通过图形层的浮动窗口设置的透明区域将后台的视频层呈现到前台，达到多路视频观看的效果。为了保证前端控制模块完成上述基本功能的运行环境，实现Android系统中后台视频播放以及视频屏幕渲染位置的自由移动，前端控制模块的设计包括以下几个要点：

第一，Android系统层的调整，使得整个系统中的视频渲染使用Overlay（覆盖）模式，即使用单独的视频层用于渲染，而不是Android系统本身所支持的图形层的视频渲染。由于同一时刻Android系统只允许一个应用程序处于前台，而且视频的渲染空间又与应用程序UI同属于图形层，这就造成一个现象：视频播放应用退出后，视频渲染内存也被系统释放，造成视频播放停止。如果为系统增加单独的视频层（Overlay）就可以保证视频播放进程即使处于系统后台，也不会因视频播放缺少渲染内存而退出，这样就实现了后台视频播放，从而使Android系统可以同一时刻播放多路视频。

第二，小窗口视频播放位置的自由移动调整，即后台视频播放进程的渲染内存可以自由调整大小和位置。这样视频在Overlay的渲染模式下，就可通过外部接口随时调整视频在视频层上位置大小，也就意味着后台视频播放的小窗口可以移动到设备（电视、平板电脑等）观看屏幕上的任意位置。同时，与PIP后台服务浮动窗口的调整结合，就可以增强PIP功能的整体灵活性。

第三，后台视频播放中视频层（Overlay层）不能被系统的图形层完全遮挡，灵活地设置透明区域，从而使得后台的视频层可以通过图形层上的透明区域呈现到前台。所以，需要修改Android framework中的SurfceFlinger模块，从而使得应用接口可以通过设置特定属性完成图形层完全透明区域的设置工作。

可选的，后台服务模块提供了创建和控制PIP浮动窗口功能，PIP浮动窗口用来实现在Android系统图形层透明区域的设置，从而将后台播放的视频层（Overlay）呈现到前台。通过移动调整PIP浮动窗口的位置大小，同时通知前端控制模块窗口属性将视频层（Overlay层）上的渲染区域设置为同样大小和位置，从而达到PIP小窗口的视频播放效果。同时通过创建和关闭浮动窗口，达到PIP小窗口的开启和关闭。

步骤S120，根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息。具体实现中，后台服务模块提供了PIP浮动窗口智能躲避计算的功能，可以通过该功能模块计算所述焦点的飞遮挡区域信息，计算方式如下：

设焦点区域为focusField，设其宽度为focusW,高度为focusH，左上顶点坐标为(focusX,focusY),则焦点区域顶点坐标（按左上，左下，右上，右下的顺序）信息如下：（focusX,focusY）,（focusX,focusY+focusH）,（focusX+focusW,focusY）,（focusX+focusW,y+focusH）；设整个屏幕区域为screenField，设其宽度为screenW高度为screenH，则整个屏幕的顶点坐标（按左上，左下，右上，右下的顺序）分别为(0,0),(0,screenH),(screenW,0),(screenW,screenH)；设PIP小窗口为flatField,左上顶点坐标为（flatX，flatY）大小为（flatW,flatH）,并且flatW<screenW,flatH<screenH。

那么非遮挡区域的位置信息计算方式大致如下：

(1)如果focusW==screenW并且focusH==screenH,那么返回，flatField不变

(2)如果focusW==screenW并且focusH<screenH

如果flatField没有遮挡focusField（即focusY>(flatY+flatH)或者flatY>(focusY+focusH)），则返回，flatField不变。

如果flatField遮挡focusField（即flatY<focusY<(flatY+flatH)或者flatY<focusY+focusH<(flatY+flatH)）,同时如果非遮挡区域无法容纳flatField(即focusY<flatH并且screenH–(focusY+focusH)<flatH)，那么返回，flatField不变；如果非遮挡区域可以容纳flatField，那么移动flatField到focusField上面区域/下面区域。

(3)如果focusW<screenW并且focusH==screenH

如果flatField没有遮挡focusField（即focusX>(flatX+flatW)或者flatX>(focusX+focusW)），则返回，flatField不变。

如果flatField遮挡focusField（即flatX<focusX<(flatX+flatW)或者flatX<focusX+focusW<(flatX+flatW)）,如果非遮挡区域无法容纳flatField（即focusX<flatW并且screenW–(focusX+focusW)<flatW），那么返回，flatField不变，如果非遮挡区域可以容纳flatField，那么移动flatField到focusField左面区域/右面区域。

(4)如果focusW<screenW并且focusH<screenH

如果flatField没有遮挡focusField（即flatY+flatH<focusY或者flatY>focusY+focusH或者flatX+flatW<focusX或者flatX>focusX+focusW）,则返回，flatField不变。

如果flatField遮挡focusField，如果非遮挡区域无法容纳flatField（即screenW-（focusX+focusW）<flatW并且focusX<flatW并且screenH-（focusY+focusH）<flatH并且focusY<flatH），则返回，flatField不变；如果非遮挡区域可以容纳flatField，则选择将flatField设置到离flatField现在位置最近的一块区域。

可选的，为了保证后台服务模块完成其基本功能的运行环境，响应系统底层硬件控制事件（如遥控器按键事件）向PIP前端控制模块发送事件通知的功能，后台服务模块的设计包括以下三个要点：

第一，PIP后台服务必须为独立的常驻后台的服务，并且可以随Android系统启动而启动。PIP后台服务作为独立的常驻后台的服务进程才能够对底层的硬件事件，以及前端控制模块的控制事件作出及时而迅速的响应，保证用户体验。同时，PIP后台服务随Android系统启动而启动，但是又不作为Android系统服务存在，即通过Android应用静态广播监听的方式，监听Android系统启动广播，从而达到启动PIP后台服务的目的，这样就方便开发。

第二，该PIP后台服务必须有足够高的优先级，并且可以自动重启。Android系统为保证系统稳定性和流畅性，会根据优先级关闭系统中进程从而来回收内存，所以在Android系统内存使用率高的情况下，PIP后台服务可能被系统kill。为保证PIP后台服务不会轻易被系统杀死，建立的PIP后台服务以前端服务（foreground service）模式运行，从而保证足够高的优先级。另外，即使PIP后台服务被系统杀死或者异常退出，也可以通过设置特殊的启动标志，使其可以自动重启。由于PIP后台服务重启时有延时，所以尽量避免PIP服务重启，才能保证PIP功能的随时响应，从而保证用户操作体验。

第三，该PIP后台服务可以随时监控前端播放器实例的运行状态。PIP后台服务通过随时监控前端播放器实例的运行状态，以便对前端播放器实例的异常退出作出正确及时的响应，如当处于PIP后台播放的视频应用异常退出时，PIP后台服务可以及时的将PIP浮动小窗口关闭，同时也可以避免因前端播放器实例的异常退出对PIP服务本身造成的影响。

步骤S130，根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。具体实现中，如果确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域后台服务模块，则后台服务模块通过前端控制模块提供的前端应用焦点区域通知功能接口，控制前端PIP播放器应用进程对PIP小窗口的位置进行调整，在进行调整之前，后台服务模块需要对PIP播放器应用进程进行检测。其中，所述后台服务模块还提供了PIP前端控制模块播放器实例运行状态监控功能，为避免因前端控制模块所控制的前端播放器实例异常退出，对整个PIP功能系统造成的影响，后台服务模块增加前台播放器实例运行状态监控，从而使得PIP后台服务可以及时更新管理对象的状态，及时地去除失效信息，避免某个前端播放器实例异常退出的影响蔓延，同时也可避免自身的异常退出最终造成整个PIP功能系统崩溃的结果。

图3是本发明另一实施例提供的一种PIP播放的方法的流程图，本发明实施例实现了接收遥控器发送的PIP功能键信息，修改PIP小窗口的属性的功能。本发明实施例所述方法至少包括：

步骤S310，获取遥控器发送的PIP功能键信号。具体实现中，事件控制模块可以接收响应遥控器按键发送的PIP功能键信号，例如可以通过设置长按PIP功能键发送修改PIP小窗口的属性信息，通过设置点击PIP功能键发送PIP切换窗口的信息。其中，底层硬件事件通过Android系统广播（Broadcast）或本地套接字（Local socket）方式发出，PIP事件控制模块接收到硬件事件后，然后转给PIP后台服务模块从而获取最终事件响应。

步骤S320，若获取到的所述PIP功能键信号为所述遥控器发送的窗口属性设置信号，则获取用户输入的修改PIP小窗口的属性信息，所述PIP小窗口的属性信息包括PIP小窗口的区域信息以及其他属性信息。其中，后台服务模块接收到事件控制模块的指令之后，通知前端应用获取用户输入的修改PIP小窗口的属性信息，并对前端播放器的应用进行监控，同时将获取到所述PIP小窗口的属性信息保存到本地。

其中，后台服务模块提供了属性记录功能，可以将前端控制模块提交的PIP小窗口属性修改保存到系统中，保证了系统重启后的PIP功能的同一体验，同时也可以避免每一个前端应用各自保存PIP小窗口属性数据造成的混乱。另外，在PIP前端控制模块中PIP小窗口调整功能可以申请自定义窗口属性，满足前端应用对PIP小窗口的个性设置。这样PIP小窗口属性的同一保存以及个性设置相结合，可以大大提高程序开发的灵活性，提高用户体验性。

步骤S330，根据获取到的所述用户输入的修改PIP小窗口的属性信息，通过PIP属性设置应用进程修改PIP小窗口的属性。具体实现中，后台服务模块检测到前端播放器应用进程的最新状态后，将获取到的所述修改小窗口的属性信息通过前端控制接口的PIP窗口调整接口递交到前端的播放器应用进程，根据所述修改PIP小窗口的属性信息更新PIP窗口和图像层的显示。

其中，前端控制模块提供了PIP窗口调整功能接口，可以使前端应用获取当前PIP窗口的详细属性，又可以使前端应用修改PIP窗口的属性，甚至随时关闭处于前台的PIP小窗口。灵活地读取写入PIP窗口的属性值，从而使得前端应用可以随时修改PIP小窗口在屏幕的呈现的效果（包括大小、位置、边框颜色等），使用户可以根据个人喜好定制不同视频观看体验，大大满足用户的个性需求。

可选的，如果事件控制模块接收到遥控器发送的是窗口切换的信号，可采用与修改PIP小窗口的属性相同的方式进行窗口切换，首先接收遥控器发送的PIP窗口切换信号，然后检测PIP播放器的应用进程的状态信息，最后根据检测到的最新的状态信息更新窗口和图形层显示。具体过程这里不再赘述。

请参考图4，图4是本发明实施例提供的一种PIP播放的终端的结构示意图，本发明实施例实现了焦点躲避的功能，如图所示PIP播放的终端至少包括：信息获取模块410、信息计算模420以及窗口调整模块440，所述终端包括区域确定模块430，其中：

信息获取模块410，用于获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息。其中，所述用户界面的焦点区域信息包括焦点区域的顶点坐标位置和焦点区域大小，所述PIP小窗口的区域信息包括PIP小窗口的顶点坐标位置和区域大小。具体的，获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息，主要是通过所述的前端控制模块提供的前端应用焦点区域通知功能接口来完成，该功能接口可以控制前端应用获取当前UI（用户界面）页面的焦点区域，并将当前获取到的焦点区域的顶点坐标以及焦点区域大小提交到后台服务模块，以便PIP后台服务根据焦点区域信息以及设备屏幕分辨率信息共同计算出最佳的PIP小窗口位置。

其中，所述前端控制模块还提供了PIP后台服务的连接断开功能接口和PIP前端播放器实例注册功能接口，通过以上两个功能接口，可以使得前端应用和后台服务模块建立通信连接。其中，PIP后台服务的连接断开功能接口提供了前端应用与后台服务模块中PIP后台服务的调用通道，同时接口内部建立PIP后台服务的异步检测回调，使得前端应用可以随时获取PIP后台服务的运行状态。这样就保证在PIP后台服务停止运行（出错主动退出或者被Android内核强制kill）的情况下的有效数据保存，在PIP后台服务重启后恢复原始状态，最终保证了前端应用的不会因后台服务造成异常突出。

另外，PIP前端播放器实例注册功能接口用于注册播放器实例到后台服务模块。一方面，后台服务模块根据每一个注册信息产生与之对应的ID，并根据ID维护每个播放器实例的状态，防止了播放器实例的状态混乱，另一方面，后台服务模块将每个播放器实例对应的ID返回给前端应用，前端应用可以根据ID响应后台服务模块的指令（如窗口切换、窗口关闭等），同时每一个播放器实例对应一路视频播放，播放器实例ID保证播放器实例可以处于不同的前端应用，也可以处于同一前端应用，即用户可以通过同一个前端应用同时观看两路视频，也可以通过不同应用观看两路视频。

可选的，本发明实施例的前端控制模块的使用包括如下几个步骤：

第一，连接后台服务模块，建立后台服务运行状态监控的回调对象，如果连接成功，则获取到后台服务的代理对象，然后可以进行后续动作。如果失败，则尝试启动PIP后台服务，如果本地存储有历史记录，则尝试将信息全部重新注册到PIP后台服务。

第二，注册当前前端应用进程中有效的播放器实例，注册前需要保证注册信息的唯一性，如果注册信息已经在历史注册信息中存在，则返回。否则，将注册信息提交到PIP后台服务，并且将注册信息存储为本地历史记录。

第三，注册PIP窗口切换、窗口信息更新、窗口关闭等回调接口，成功后前端应用就可以等待控制事件，当有控制事件发生时，回调接口会被自动调用，前端应用就可以在回调发生后改变视频层的渲染窗口大小，根据回调事件的z-order值改变应用的前后台状态，关闭视频播放进程等动作。同时，前端应用也可以主动申请PIP切换，申请PIP小窗口强制关闭。

第四，当需要结束PIP功能时，去注册PIP窗口切换、窗口信息更新、窗口关闭等回调接口，并通过有效播放器实例ID去注册当前有效播放器实例。删除当前有播放器实例的本地历史记录。

第五，断开PIP后台服务，将后台服务代理对象置空。

进一步可选的，图2是本发明实现多路视频播放示意图。如图所示单独的视频层（Overlay层）保证了Android系统中视频后台播放的渲染内存，同时又通过图形层的浮动窗口设置的透明区域将后台的视频层呈现到前台，达到多路视频观看的效果。为了保证前端控制模块完成上述基本功能的运行环境，实现Android系统中后台视频播放以及视频屏幕渲染位置的自由移动，前端控制模块的设计包括以下几个要点：

第一，Android系统层的调整，使得整个系统中的视频渲染使用Overlay（覆盖）模式，即使用单独的视频层用于渲染，而不是Android系统本身所支持的图形层的视频渲染。由于同一时刻Android系统只允许一个应用程序处于前台，而且视频的渲染空间又与应用程序UI同属于图形层，这就造成一个现象：视频播放应用退出后，视频渲染内存也被系统释放，造成视频播放停止。如果为系统增加单独的视频层（Overlay）就可以保证视频播放进程即使处于系统后台，也不会因视频播放缺少渲染内存而退出，这样就实现了后台视频播放，从而使Android系统可以同一时刻播放多路视频。

第二，小窗口视频播放位置的自由移动调整，即后台视频播放进程的渲染内存可以自由调整大小和位置。这样视频在Overlay的渲染模式下，就可通过外部接口随时调整视频在视频层上位置大小，也就意味着后台视频播放的小窗口可以移动到设备（电视、平板电脑等）观看屏幕上的任意位置。同时，与PIP后台服务浮动窗口的调整结合，就可以增强PIP功能的整体灵活性。

第三，后台视频播放中视频层（Overlay层）不能被系统的图形层完全遮挡，灵活地设置透明区域，从而使得后台的视频层可以通过图形层上的透明区域呈现到前台。所以，需要修改Android framework中的SurfceFlinger模块，从而使得应用接口可以通过设置特定属性完成图形层完全透明区域的设置工作。

可选的，后台服务模块提供了创建和控制PIP浮动窗口功能，PIP浮动窗口用来实现在Android系统图形层透明区域的设置，从而将后台播放的视频层（Overlay）呈现到前台。通过移动调整PIP浮动窗口的位置大小，同时通知前端控制模块窗口属性将视频层（Overlay层）上的渲染区域设置为同样大小和位置，从而达到PIP小窗口的视频播放效果。同时通过创建和关闭浮动窗口，达到PIP小窗口的开启和关闭。

信息计算模块420，用于根据信息获取模块410获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息。具体的，后台服务模块提供了PIP浮动窗口智能躲避计算的功能，可以通过该功能模块计算所述焦点的飞遮挡区域信息，计算方式如下：

设焦点区域为focusField，设其宽度为focusW,高度为focusH，左上顶点坐标为(focusX,focusY),则焦点区域顶点坐标（按左上，左下，右上，右下的顺序）信息如下：（focusX,focusY）,（focusX,focusY+focusH）,（focusX+focusW,focusY）,（focusX+focusW,y+focusH）；设整个屏幕区域为screenField，设其宽度为screenW高度为screenH，则整个屏幕的顶点坐标（按左上，左下，右上，右下的顺序）分别为(0,0),(0,screenH),(screenW,0),(screenW,screenH)；设PIP小窗口为flatField,左上顶点坐标为（flatX，flatY）大小为（flatW,flatH）,并且flatW<screenW,flatH<screenH。

那么非遮挡区域的位置信息计算方式大致如下：

(1)如果focusW==screenW并且focusH==screenH,那么返回，flatField不变

(2)如果focusW==screenW并且focusH<screenH

如果flatField没有遮挡focusField（即focusY>(flatY+flatH)或者flatY>(focusY+focusH)），则返回，flatField不变。

如果flatField遮挡focusField（即flatY<focusY<(flatY+flatH)或者flatY<focusY+focusH<(flatY+flatH)）,同时如果非遮挡区域无法容纳flatField(即focusY<flatH并且screenH–(focusY+focusH)<flatH)，那么返回，flatField不变；如果非遮挡区域可以容纳flatField，那么移动flatField到focusField上面区域/下面区域。

(3)如果focusW<screenW并且focusH==screenH

如果flatField没有遮挡focusField（即focusX>(flatX+flatW)或者flatX>(focusX+focusW)），则返回，flatField不变。

如果flatField遮挡focusField（即flatX<focusX<(flatX+flatW)或者flatX<focusX+focusW<(flatX+flatW)）,如果非遮挡区域无法容纳flatField（即focusX<flatW并且screenW–(focusX+focusW)<flatW），那么返回，flatField不变，如果非遮挡区域可以容纳flatField，那么移动flatField到focusField左面区域/右面区域。

(4)如果focusW<screenW并且focusH<screenH

如果flatField没有遮挡focusField（即flatY+flatH<focusY或者flatY>focusY+focusH或者flatX+flatW<focusX或者flatX>focusX+focusW）,则返回，flatField不变。

如果flatField遮挡focusField，如果非遮挡区域无法容纳flatField（即screenW-（focusX+focusW）<flatW并且focusX<flatW并且screenH-（focusY+focusH）<flatH并且focusY<flatH），则返回，flatField不变；如果非遮挡区域可以容纳flatField，则选择将flatField设置到离flatField现在位置最近的一块区域。

区域确定模块430，用于确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域。信息计算模块420在计算得到所述焦点的非遮挡区域之后，对焦点的非遮挡区域和PIP小窗口的区域分别作了详细比较，并确定了对应的小窗口调整区域，这里不再赘述。

可选的，为了保证后台服务模块完成其基本功能的运行环境，响应系统底层硬件控制事件（如遥控器按键事件）向PIP前端控制模块发送事件通知的功能，后台服务模块的设计包括以下三个要点：

第一，PIP后台服务必须为独立的常驻后台的服务，并且可以随Android系统启动而启动。PIP后台服务作为独立的常驻后台的服务进程才能够对底层的硬件事件，以及前端控制模块的控制事件作出及时而迅速的响应，保证用户体验。同时，PIP后台服务随Android系统启动而启动，但是又不作为Android系统服务存在，即通过Android应用静态广播监听的方式，监听Android系统启动广播，从而达到启动PIP后台服务的目的，这样就方便开发。

第二，该PIP后台服务必须有足够高的优先级，并且可以自动重启。Android系统为保证系统稳定性和流畅性，会根据优先级关闭系统中进程从而来回收内存，所以在Android系统内存使用率高的情况下，PIP后台服务可能被系统kill。为保证PIP后台服务不会轻易被系统杀死，建立的PIP后台服务以前端服务（foreground service）模式运行，从而保证足够高的优先级。另外，即使PIP后台服务被系统杀死或者异常退出，也可以通过设置特殊的启动标志，使其可以自动重启。由于PIP后台服务重启时有延时，所以尽量避免PIP服务重启，才能保证PIP功能的随时响应，从而保证用户操作体验。

第三，该PIP后台服务可以随时监控前端播放器实例的运行状态。PIP后台服务通过随时监控前端播放器实例的运行状态，以便对前端播放器实例的异常退出作出正确及时的响应，如当处于PIP后台播放的视频应用异常退出时，PIP后台服务可以及时的将PIP浮动小窗口关闭，同时也可以避免因前端播放器实例的异常退出对PIP服务本身造成的影响。

窗口调整模块440，用于根据信息计算模块420计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。具体的，如果区域确定模块430确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域后台服务模块，则后台服务模块通过前端控制模块提供的PIP功能接口，控制前端PIP播放应用进程对PIP小窗口的位置进行调整。其中，所述窗口调整模块还包括进程检测单元541以及位置调整单元542，其中：

进程检测单元541，用于对多个PIP播放器应用进程的状态进行检测。在调整PIP小窗口的位置之前，所述后台服务模块还提供了PIP前端控制模块播放器实例运行状态监控功能，为避免因前端控制模块所控制的前端播放器实例异常退出，对整个PIP功能系统造成的影响，后台服务模块增加前台播放器实例运行状态监控，从而使得PIP后台服务可以及时更新管理对象的状态，及时地去除失效信息，避免某个前端播放器实例异常退出的影响蔓延，同时也可避免自身的异常退出最终造成整个PIP功能系统崩溃的结果。

位置调整单元542，用于若进程检测单元541检测到有处于运行状态的PIP播放器应用进程，则通过所述处于运行状态的PIP播放器应用进程调整PIP小窗口的位置。

图6是本发明另一实施例提供的一种PIP播放的终端的结构示意图，本发明实施例实现了接收遥控器发送的PIP功能键信息，修改PIP小窗口的属性的功能。本发明所述终端至少还包括：信号获取模块610、属性信息获取模块620以及属性修改模块630，其中：

信号获取模块610，用于获取遥控器发送的PIP功能键信号。具体的，事件控制模块可以接收响应遥控器按键发送的PIP功能键信号，例如可以通过设置长按PIP功能键发送修改PIP小窗口的属性信息，可以通过设置点击PIP功能键发送PIP切换窗口的信息。其中，底层硬件事件通过Android系统广播（Broadcast）或本地套接字（Local socket）方式发出，PIP事件控制模块接收到硬件事件后，然后转给PIP后台服务模块从而获取最终事件响应。

属性信息获取模块620，用于若信号获取模块610获取到的所述PIP功能键信号为所述遥控器发送的窗口属性设置信号，则获取用户输入的修改PIP小窗口的属性信息，所述PIP小窗口的属性信息包括PIP小窗口的区域信息以及其他属性信息。其中，后台服务模块接收到事件控制模块的指令之后，通知前端应用获取用户输入的修改PIP小窗口的属性信息，并对前端播放器的应用进行监控，同时将获取到所述PIP小窗口的属性信息保存到本地。

其中，后台服务模块提供了属性记录功能，可以将前端控制模块提交的PIP小窗口属性修改保存到系统中，保证了系统重启后的PIP功能的同一体验，同时也可以避免每一个前端应用各自保存PIP小窗口属性数据造成的混乱。另外，在PIP前端控制模块中PIP小窗口调整功能可以申请自定义窗口属性，满足前端应用对PIP小窗口的个性设置。这样PIP小窗口属性的同一保存以及个性设置相结合，可以大大提高程序开发的灵活性，提高用户体验性。

属性修改模块630，用于根据获取到的所述用户输入的修改PIP小窗口的属性信息，通过PIP属性设置应用进程修改PIP小窗口的属性。具体的，后台服务模块检测到前端播放器应用进程的最新状态后，将获取到的所述修改小窗口的属性信息通过前端控制接口的PIP窗口调整接口递交到前端的播放器应用进程，根据所述修改PIP小窗口的属性信息更新PIP窗口和图像层的显示。

其中，前端控制模块提供了PIP窗口调整功能接口，可以使前端应用获取当前PIP窗口的详细属性，又可以使前端应用修改PIP窗口的属性，甚至随时关闭处于前台的PIP小窗口。灵活地读取写入PIP窗口的属性值，从而使得前端应用可以随时修改PIP小窗口在屏幕的呈现的效果（包括大小、位置、边框颜色等），使用户可以根据个人喜好定制不同视频观看体验，大大满足用户的个性需求。

可选的，如果事件控制模块接收到遥控器发送的是窗口切换的信号，可采用与修改PIP小窗口的属性相同的方式进行窗口切换，首先接收遥控器发送的PIP窗口切换信号，然后检测PIP播放器的应用进程的状态信息，最后根据检测到的最新的状态信息更新窗口和图形层显示。具体过程这里不再赘述。

本发明实施例提出了一种PIP播放的方法及终端，获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。具有智能焦点躲避、灵活设定PIP的属性和窗口切换快等优点，完善和提高了PIP播放功能的灵活性和操作性，提高了用户的使用体验。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种PIP播放的方法，其特征在于，所述方法包括：

获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；

根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；

根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。

2.如权利要求1所述的PIP播放的方法，其特征在于，所述用户界面的焦点区域信息包括焦点区域的顶点坐标位置和焦点区域大小，所述PIP小窗口的区域信息包括PIP小窗口的顶点坐标位置和区域大小。

3.如权利要求1所述的PIP播放的方法，其特征在于，所述根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置之前还包括：

确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域。

4.如权利要求1所述的PIP播放的方法，其特征在于，所述根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置还包括：

对多个PIP播放器应用进程的状态进行检测；

若检测到有处于运行状态的PIP播放器应用进程，则通过所述处于运行状态的PIP播放器应用进程调整PIP小窗口的位置。

5.如权利要求1所述的PIP播放的方法，其特征在于，所述方法还包括：

获取遥控器发送的PIP功能键信号；

若获取到的所述PIP功能键信号为所述遥控器发送的窗口属性设置信号，则获取用户输入的修改PIP小窗口的属性信息，所述PIP小窗口的属性信息包括PIP小窗口的区域信息以及其他属性信息；

根据获取到的所述用户输入的修改PIP小窗口的属性信息，通过PIP属性设置应用进程修改PIP小窗口的属性。

6.一种PIP（画中画）播放的终端，其特征在于，所述终端包括：

信息获取模块，用于获取用户界面的焦点区域信息、设备屏幕分辨率信息以及PIP小窗口的区域信息；

信息计算模块，用于根据获取到的所述用户界面的焦点区域信息和所述设备屏幕分辨率信息，计算焦点的非遮挡区域信息；

窗口调整模块，用于根据计算得到的所述焦点的非遮挡区域信息和获取到的所述PIP小窗口的区域信息，通过PIP播放器应用进程调整所述PIP小窗口的位置。

7.如权利要求6所述的PIP播放的终端，其特征在于，所述用户界面的焦点区域信息包括焦点区域的顶点坐标位置和焦点区域大小，所述PIP小窗口的区域信息包括PIP小窗口的顶点坐标位置和区域大小。

8.如权利要求6所述的PIP播放的终端，其特征在于，所述终端还包括：

区域确定模块，用于确定所述焦点的非遮挡区域能容纳所述PIP小窗口的区域。

9.如权利要求6所述的PIP播放的终端，其特征在于，所述窗口调整模块包括：

进程检测单元，用于对多个PIP播放器应用进程的状态进行检测；

位置调整单元，用于若检测到有处于运行状态的PIP播放器应用进程，则通过所述处于运行状态的PIP播放器应用进程调整PIP小窗口的位置。

10.如权利要求6所述的PIP播放的终端，其特征在于，所述终端还包括：

信号获取模块，用于获取遥控器发送的PIP功能键信号；

属性信息获取模块，用于若获取到的所述PIP功能键信号为所述遥控器发送的窗口属性设置信号，则获取用户输入的修改PIP小窗口的属性信息，所述PIP小窗口的属性信息包括PIP小窗口的区域信息以及其他属性信息；

属性修改模块，用于根据获取到的所述用户输入的修改PIP小窗口的属性信息，通过PIP属性设置应用进程修改PIP小窗口的属性。

Images