CN103513947A - 信息处理的方法及信息处理系统 - Google Patents

Abstract

本发明公开了一种信息处理的方法，通过虚拟显示单元接收生成的待显示数据，当所述电子设备接收到扩展指令时，控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单，并基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理。本发明还提供了一种信息处理系统，所述系统包括：显示数据生成单元，用于生成待显示的显示数据；虚拟显示单元，用于接收所述待显示的显示数据，在所述电子设备接收到扩展指令时，用于发送所述待显示的显示数据；第二显示单元，用于接收从所述虚拟显示单元发送的所述待显示的显示数据，并基于所述扩展指令，对所述显示数据进行第一处理。

Description

信息处理的方法及信息处理系统

技术领域

本发明涉及通信领域，尤其涉及一种信息处理的方法及信息处理系统。

背景技术

随着电子设备的日益发展，电子设备的功能也越来越多，所述电子设备的显示功能以及相应的扩展应用也丰富了许多，例如，现有现在Android系统的智能手机，一般来说支持的屏幕基本为主显示屏+HDMI，有的可能会支持副显示屏。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

其一、现有电子设备进行截屏的扩展应用时均是在主屏的基础上进行截取屏幕，不论是在上层直接截取屏幕还是截取framebuffer的方式，这些均是在去截取主屏的已经渲染好的屏幕数据，由于截取是已经渲染好的屏幕数据，导致截取的屏幕数据较大，需要的处理的数量量较多，从而影响了电子设备的正常运行并拖慢电子设备的显示。

其二、在电子设备上显示的屏幕数据变化很快时，截取的屏幕数据会出现延迟和撕裂等问题，而且截取的屏幕数据并一定是用户想要的截取的屏幕数据。

其三、通过当前电子设备在进行多屏扩展时，将需要扩展的其他电子设备通过物理数据线与所述当前电子设备相连才能进行多屏扩展，导致使用不方便。

发明内容

本申请实施例通过提供一种信息处理的方法及信息处理系统，通过虚拟一虚拟显示单元，可以接收到待生成的显示数据，并将所述待生成的显示数据传输到相应的扩展应用，实现了在对所述电子设备进行扩展应用时不会影响电子设备的正常运转，并且进行扩展应用的屏幕数据不会出现延迟和撕裂等问题。

本申请实施例提供了一种信息处理的方法，应用于电子设备中，所述电子设备具有第一显示单元，所述方法包括：

生成待显示的显示数据；

虚拟一虚拟显示单元；

将所述待显示的显示数据发送给所述第一显示单元与所述虚拟显示单元；

当所述电子设备接收到扩展指令时，控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单元；

基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理。

可选的，所述虚拟一虚拟显示单元，具体为：通过虚拟软件虚拟一虚拟显示单元，所述虚拟显示单元与所述电子设备的操作系统内核相连。

可选的，所述控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单元，具体包括：通过无线通信的方式将所述显示数据发送给第二显示单元。

可选的，所述第二显示单元为所述电子设备的一部分或另一电子设备的一部分。

可选的，所述基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理，具体包括：基于所述扩展指令，通过所述电子设备包含的第二显示单元将所述显示数据进行存储或转发。

可选的，所述基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理，具体包括：基于所述扩展指令，通过与所述电子设备连接的所述第二显示单元显示所述显示数据。

在上述方法的基础之上，本申请实施例还公开了一种信息处理系统，应用于电子设备中，所述电子设备具有第一显示单元，所述系统包括：

显示数据生成单元，用于生成待显示的显示数据；

虚拟显示单元，用于接收所述待显示的显示数据，在所述电子设备接收到扩展指令时，用于发送所述待显示的显示数据；

第二显示单元，用于接收从所述虚拟显示单元发送的所述待显示的显示数据，并基于所述扩展指令，对所述显示数据进行第一处理。

可选的，所述虚拟显示单元是通过虚拟软件虚拟的，所述虚拟显示单元与所述电子设备的操作系统内核相连。

可选的，所述虚拟显示单元通过无线通信方式来发送所述待显示的显示数据。

可选的，所述第二显示单元为所述电子设备的一部分或另一电子设备的一部分。

可选的，所述第二显示单元是基于所述扩展指令，用于通过所述电子设备包含的第二显示单元将所述显示数据进行存储或转发。

可选的，所述第二显示单元是基于所述扩展指令，用于通过与所述电子设备连接的所述第二显示单元显示所述显示数据。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

其一、由于本申请实施例是通过虚拟显示单元可以直接获取待生成的显示数据，再基于所述扩展指令，将所述待生成的显示数据传输给第二显示单元，由所述第二显示单元进行相应的操作，由于本申请实施例是可以对没有渲染的数据进行直接操作，处理的数据量就会减少，因此，在对所述显示数据进行扩展应用时，对所述电子设备的正常运行的影响会减小，提高所述电子设备运行的稳定性，还能确保扩展应用的屏幕数据清晰和完整。

其二、由于本申请实施例在所述第二显示单元为另一电子设备的一部分时，所述虚拟显示单元可以通过无线通信的方式将所述待显示的数据传输给所述第二显示单元，因此，可以有效解决在通过所述电子设备进行多频扩展应用时，只能通过物理数据线连接的问题，在通过所述电子设备进行多频扩展时，使用更加方便。

其三、由于本申请实施例是将所述虚拟显示单元与所述电子设备的操作系统内容相连，可以直接读取所述电子设备所有待生成的显示数据，因此，在进行截取屏幕的扩展应用时，可以直接从所述操作系统内核中直接读取需要截取的显示数据，促使截取的显示数据符合用户的需要，还能促使截取的显示数据与在所述电子设备上的显示数据完全相同，不会出现延迟和撕裂的效果。

附图说明

图1为本申请实施例中信息处理的方法的流程图；

图2为本申请实施例中第一显示单元上显示的屏幕略图；

图3为本申请实施例中加入了虚拟显示单元的高通平台的结构图；

图4为本申请实施例中信息处理系统的结构图。

具体实施例

本申请实施例通过提供一种信息处理的方法及信息处理系统，解决了现有对显示在电子设备上的显示数据进行扩展应用时，处理的数据量的较多，导致影响所述电子设备的正常运转，以及扩展应用的显示数据效果不好的问题，实现了在对所述显示数据进行扩展应用时，处理的数据量减少，确保了所述电子设备正常运转的稳定性，以及提高扩展应用的显示数据的清晰度和完整等效果。

本申请实施例的技术方案为解决上述区分存储问题，总体思路如下：

通过虚拟一虚拟显示单元，将所述虚拟显示单元与所述电子设备的操作系统内核相连，促使所述虚拟显示单元从所述操作系统内核中可以直接读取在所述电子设备上待显示的显示数据，再基于扩展指令，将所述待显示的显示数据传输给第二显示单元，以及所述第二显示单元对所述显示数据进行第一处理。

上述的所述虚拟显示单元，可以直接从所述操作系统内核中直接读取所述显示数据，在对所述显示数据进行扩展应用时，可以减少处理的数据量，提高了所述电子设备运行的稳定性，以及能够有效保证扩展应用的显示数据的与所述电子设备上显示的显示数据完全相同，提高了显示的效果。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本发明提供了一种信息处理的方法，应用于电子设备中，所述电子设备具有第一显示单元，如图1所示，所述方法包括：

S101、生成待显示的显示数据：

具体来讲，在需要在所述电子设备的第一显示单元显示一些图像时，，会通过所述电子设备的软件和/或硬件来生成构成这些图像的待显示的显示数据，然后将所述显示数据进行渲染后显示在所述第一显示单元上。

在具体实现过程中，如图2所示，为所述第一显示单元上显示的屏幕略图，每个应用程序可能对应着一个或者多个图形界面，而每个界面我们就称之为一个surface，或者说是window，在图2中可以看到4个surface，包括homesurface22、第一surface21为红色、第二surface23为绿色和第三surface25为蓝色，而两个button是home surface22里面的内容。所述电子设备通过下述方法来将上述图形显示在所述第一显示单元上：

其一、由于上述4个surface有重叠部分，其中，所述第一surface21和所述第三surface25之间的第一重叠部分20，所述第二surface23和所述第三surface25之间的第二重叠部分24，而且所述第二surface23的绿色覆盖了所述和所述第一surface21的红色，而所述第三surface25的蓝色又覆盖了绿色和红色以及下面的后就各个surface之间可能有重叠，比如说在上面的简略图中，绿色覆盖了蓝色，而红色又覆盖了绿色和蓝色以及下面的所述home surface22的底色，而且他们之间还具有一定的透明度，在所述显示屏幕上设置X轴、Y轴和Z轴，如此，通过屏幕平面的垂直方向还有一个Z轴可用来描述每个surface之间的上下覆盖关系，而这个在Z轴上的顺序，图形上有个专业术语叫Z-order。

其二、在根据每个surface的坐标位置来确定每个surface对应的位置以及大小，并利用所述电子设备中的一个结构来记录应用程序界面的位置，大小，以及一个buffer来记录需要显示的内容。所述surface实际我们可以把它理解成一个容器，这个容器记录着应用程序界面的控制信息，比如说大小啊，位置啊，而所述surface还有buffer来专门存储需要显示的内容。

通过上述方式可以获取每个surface的位置以及大小以及他们的之间的重叠关系，再将各个surface组合(compose/merge)成一个main Surface，最后将Main Surface的内容发送给FB/V4l2Output，这样屏幕上就能看到我们想要的效果。

在实际中对这些Surface进行合并（merge）可以采用两种方式，一种就是采用软件的形式来merge，还一种就是采用硬件的方式，软件的方式就是我们的SurfaceFlinger，而硬件的方式就是Overlay，其中，硬件merge内容相对简单，我们首先来看overlay（覆盖）。Overlay实现的方式有很多，但都需要硬件的支持。以IMX51为例子，当IPU向内核申请FB的时候它会申请3个FB，一个是主屏的，还一个是副屏的，还一个就是Overlay的。简单地来说，Overlay就是我们将硬件所能接受的格式数据和控制信息送到这个Overlay FrameBuffer，由硬件来负责merge Overlay buffer和主屏buffer中的内容。

一般来说现在的硬件都只支持一个或多个Overlay，主要用在视频播放以及camera preview上，因为视频内容的不断变化用硬件Merge比用软件Merge要有效率得多。

S102、虚拟一虚拟显示单元：

具体来讲，就是通过虚拟软件虚拟出一虚拟显示单元，并将所述虚拟显示单元与所述电子设备的操作系统内核相连，以便所述虚拟显示单元可以直接通过所述操作系统内核直接读取所述待显示的显示数据。

在具体实现过程中，现有的虚拟软件已经很成熟了，通过所述虚拟软件虚拟出一虚拟显示单元，可以独立出虚拟显示设备，并拥有独立的显示缓冲器（buffer）及处理办法，由于所述虚拟显示单元与所述操作系统内核相连，可以更加方便和快速的获取所述待显示的显示数据。

S103、将所述待显示的显示数据发送给所述第一显示单元与所述虚拟显示单元：

具体来讲，所述电子设备通过硬件和/或软件的方法生成了所述待显示的显示数据，将所述待显示的显示数据发送给所述第一显示单元，所述第一显示单元会对所述显示数据进行渲染，然后在显示在所述第一显示单元上；在将所述待显示的显示数据发送给所述第一显示单元的同时，所述待显示的显示数据会发送给所述虚拟显示单元。

在具体实现过程中，如图3所示，以高通平台的显示为例，显示总线（MMFTB）硬件支持的有DSI0主屏、DSI1副屏、TV和HDMI四路输出，在上述基础上通过虚拟软件虚拟一虚拟显示单元（virtual display）,所述virtual display与所述MM FTB相连，在所述MM FTB将显示数据传输到包括DSI0的四路输出的显示数据时，同时也将所述显示数据传输给所述virtual display，如此所述virtual display可以接收到所有待显示的显示数据。

S104、当所述电子设备接收到扩展指令时，控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单元：

具体来讲，当所述电子设备收到扩展指令时，控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单元，所述第二显示单元可以为所述电子设备的一部分，还可以为另一电子设备的一部分。

在具体实现过程中，在所述第二显示单元为另一电子设备的一部分时，所述虚拟显示单元可以通过无线通信的方式将所述待显示的显示数据发送给所述第二显示单元。比如：所述虚拟显示单元通过无线路由与所述第二显示单元进行通信，将所述待显示的显示数据传输给所述第二显示单元，当然所述虚拟显示单元还可以通过USB/UWB等其他方式来传输所述待显示的显示数据。由于所述虚拟显示单元可以通过无线通信的方式来传输所述待显示的显示数据，而无需通过物理数据线来传输所述待显示的显示数据，从而能够为用户提高方便。此外，在所述第二显示单元为另一电子设备的一部分时，通过所述虚拟显示单元将所述待显示的显示数据进行压缩后进行传输，以提高传输的效率，在所述第二显示单元接收到所述虚拟显示单元传输的数据后，需要对所述数据进行解压才能获取所述显示数据，为提高所述待显示的显示数据在数据传输过程的保密效果，所述虚拟显示单元在传输所述待显示的显示数据之前对其进行加密，只允许能够对所述显示数据进行解密的第二显示单元可以获取所述显示数据，用于保证所述显示数据的安全。

S105、基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理：

具体来讲，就是根据所述扩展指令，所述第二显示单元对所述显示数据进行第一处理。在所述第二显示单元为所述电子设备的一部分时，所述扩展指令一般为截屏的扩展应用，在所述电子设备接收到截屏的扩展指令时，通过所述虚拟显示单元将所述截取的显示数据传输给所述第二显示单元，所以第二显示单元将所述显示数据进行存储或转发。比如：在手机或者计算机上播放视频时，播放视频的所有显示数据都会存储在所述虚拟显示单元的独立的显示缓冲器中，在对播放视频的某一个画面进行截屏时，可以直接从所述独立的显示缓冲器中读取到所述画面的显示数据，将所述显示数据传输给所述第二显示单元，所述第二显示单元对所述显示数据进行渲染后进行保存或者转发给其他需要这个画面的客户端，可以保证截取的显示数据符合用户的需求，并且能够保证渲染所述显示数据后的图像的效果与原有画面的效果一样。

另外，在所述第二显示单元为另一电子设备的一部分时，基于所述扩展指令，通过与所述电子设备连接的所述第二显示单元显示所述显示数据。在具体实现中，在所述第二显示单元为另一电子设备的一部分时，所述扩展指令一般为多屏扩展，在进行多屏扩展，所述虚拟显示单元可以通过无线通信的方式将所述待显示的显示数据传输给所述第二显示单元，所述第二显示单元显示所述显示数据在，如此，就可以确保所述第一显示单元与所述第二显示单元上显示的图像完全相同，而且所述第二显示单元可以为多个，导致可以将更多的其他电子设备上显示与所述第一显示单元相同的图像，可以方便用户使用。

在上述方法的基础之上，本申请实施例还公开了一种信息处理系统，应用于电子设备中，所述电子设备具有第一显示单元，如图4所示，所述系统包括：

显示数据生成单元，用于生成待显示的显示数据；

虚拟显示单元，用于接收所述待显示的显示数据，在所述电子设备接收到扩展指令时，用于发送所述待显示的显示数据；

第二显示单元，用于接收从所述虚拟显示单元发送的所述待显示的显示数据，并基于所述扩展指令，对所述显示数据进行第一处理。

其中，所述第二显示单元可以为所述电子设备的一部分，在所述第二显示单元为所述电子设备的一部分时，所述第二显示单元用于将所述显示数据进行存储或转发；所述第二显示单元还可以为另一电子设备的一部分，在所述第二显示单元为另一电子设备的一部分时，通过与所述电子设备连接的所述第二显示单元显示所述显示数据。

此外，所述虚拟显示单元是通过虚拟软件虚拟的，所述虚拟显示单元与所述电子设备的操作系统内核相连，因此，可以从所述操作系统内核中直接读取所述待显示的显示数据，可以确保在所述第一显示单元上显示的显示数据与所述虚拟显示单元中获取的显示数据是完全相同的，在所述电子设备接收到所述扩展指令时，所述虚拟显示单元通过无线通信的方式来发送所述待显示的显示数据。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

其一、由于本申请实施例是通过虚拟显示单元可以直接获取待生成的显示数据，再基于所述扩展指令，将所述待生成的显示数据传输给第二显示单元，由所述第二显示单元进行相应的操作，由于本申请实施例是可以对没有渲染的数据进行直接操作，处理的数据量就会减少，因此，在对所述显示数据进行扩展应用时，对所述电子设备的正常运行的影响会减小，提高所述电子设备运行的稳定性，还能确保扩展应用的屏幕数据清晰和完整。

其二、由于本申请实施例在所述第二显示单元为另一电子设备的一部分时，所述虚拟显示单元可以通过无线通信的方式将所述待显示的数据传输给所述第二显示单元，因此，可以有效解决在通过所述电子设备进行多频扩展应用时，只能通过物理数据线连接的问题，在通过所述电子设备进行多频扩展时，使用更加方便。

其三、由于本申请实施例是将所述虚拟显示单元与所述电子设备的操作系统内容相连，可以直接读取所述电子设备所有待生成的显示数据，因此，在进行截取屏幕的扩展应用时，可以直接从所述操作系统内核中直接读取需要截取的显示数据，促使截取的显示数据符合用户的需要，还能促使截取的显示数据与在所述电子设备上的显示数据完全相同，不会出现延迟和撕裂的效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种信息处理的方法，应用于电子设备中，所述电子设备具有第一显示单元，其特征在于，所述方法包括：

生成待显示的显示数据；

虚拟一虚拟显示单元；

将所述待显示的显示数据发送给所述第一显示单元与所述虚拟显示单元；

当所述电子设备接收到扩展指令时，控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单元；

基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理。

2.如权利要求1所述的方法，其特征在于，所述虚拟一虚拟显示单元，具体为：

通过虚拟软件虚拟一虚拟显示单元，所述虚拟显示单元与所述电子设备的操作系统内核相连。

3.如权利要求1所述的方法，其特征在于，所述控制所述虚拟显示单元将所述待显示的显示数据发送给第二显示单元，具体包括：

通过无线通信的方式将所述显示数据发送给第二显示单元。

4.如权利要求1所述的方法，其特征在于，所述第二显示单元为所述电子设备的一部分或另一电子设备的一部分。

5.如权利要求4所述的方法，其特征在于，所述基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理，具体包括：

基于所述扩展指令，通过所述电子设备包含的第二显示单元将所述显示数据进行存储或转发。

6.如权利要求4所述的方法，其特征在于，所述基于所述扩展指令，所述第二显示单元对所述显示数据进行第一处理，具体包括：

基于所述扩展指令，通过与所述电子设备连接的所述第二显示单元显示所述显示数据。

7.一种信息处理系统，应用于电子设备中，所述电子设备具有第一显示单元，其特征在于，所述系统包括：

显示数据生成单元，用于生成待显示的显示数据；

虚拟显示单元，用于接收所述待显示的显示数据，在所述电子设备接收到扩展指令时，用于发送所述待显示的显示数据；

第二显示单元，用于接收从所述虚拟显示单元发送的所述待显示的显示数据，并基于所述扩展指令，对所述显示数据进行第一处理。

8.如权利要求7所述的系统，其特征在于，所述虚拟显示单元是通过虚拟软件虚拟的，所述虚拟显示单元与所述电子设备的操作系统内核相连。

9.如权利要求7所述的系统，其特征在于，所述虚拟显示单元通过无线通信方式来发送所述待显示的显示数据。

10.如权利要求7所述的系统，其特征在于，所述第二显示单元为所述电子设备的一部分或另一电子设备的一部分。

11.如权利要求10所述的系统，其特征在于，所述第二显示单元是基于所述扩展指令，用于通过所述电子设备包含的第二显示单元将所述显示数据进行存储或转发。

12.如权利要求10所述的系统，其特征在于，所述第二显示单元是基于所述扩展指令，用于通过与所述电子设备连接的所述第二显示单元显示所述显示数据。

Images