CN105472441A - 虚拟现实设备的图像处理方法及装置 - Google Patents

Abstract

本发明公开一种虚拟现实设备的图像处理方法，该虚拟现实设备具有N个显示区域，其中N为大于1的整数，第一显示区域对应于第一显示组件，其他显示区域分别对应于一个第二显示组件，该图像处理方法包括：第一显示组件获取图像数据，在第一显示区域输出所述图像数据；各个第二显示组件在第一显示组件的回调接口截取图像数据，分别在对应的显示区域输出截取到的图像数据。基于本发明公开的图像处理方法，能够实现虚拟现实设备中多个显示区域的同步显示，从而满足用户通过虚拟现实设备观看2D视频的需求。本发明还公开了虚拟现实设备的图像处理装置。

Description

虚拟现实设备的图像处理方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及虚拟现实设备的图像处理方法及装置。

背景技术

虚拟现实设备能够创造出一种逼真的虚拟的显示效果。目前出现的虚拟现实设备包括智能眼镜和虚拟现实头盔等。虚拟现实设备在运行过程中，与用户的左眼对应的显示区域以及与用户的右眼对应的显示区域分别显示不同的图像，人眼获取这种带有差异的信息后产生立体感，也可以认为虚拟现实设备能够向用户呈现3D效果的图像。

但是，用户在使用虚拟现实设备的过程中同样有观看2D影像的需求，而现在的虚拟现实设备的设计架构是不同的显示区域播放不同的视频源，因此现有的虚拟现实设备无法满足用户观看2D影像的需求。

发明内容

有鉴于此，本发明的目的在于提供一种虚拟现实设备的图像处理方法及装置，使得虚拟现实设备能够在播放2D影像时存在至少两个同步显示区域，以满足用户在虚拟现实设备观看2D影像的需求。

为实现上述目的，本发明提供如下技术方案：

第一方面，本发明公开一种虚拟现实设备的图像处理方法，所述虚拟现实设备具有N个显示区域，其中N为大于1的整数，第一显示区域对应于第一显示组件，其他显示区域分别对应于一个第二显示组件，所述图像处理方法包括：

所述第一显示组件获取图像数据，在所述第一显示区域输出所述图像数据；

各个所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，分别在对应的显示区域输出所述图像数据。

优选的，上述图像处理方法中，所述第一显示组件获取图像数据，具体为：

所述第一显示组件获取预先创建的MediaPlayer对象对视频文件进行解码得到的图像数据。

优选的，上述图像处理方法中，所述第一显示组件为TextureView组件，所述第二显示组件为ImageView组件。

优选的，上述图像处理方法中，所述第一显示组件获取图像数据，在所述第一显示区域输出所述图像数据，具体为：

确定所述TextureView组件中指向内存缓冲区的指针变量；

将所述TextureView组件中指向内存缓冲区的指针变量设置为所述MediaPlayer对象中指向内存缓冲区的指针变量；

所述MediaPlayer对象更新所述内存缓冲区的图像数据时，所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取所述内存缓冲区更新后的图像数据，在所述第一显示区域输出获取到的图像数据。

优选的，上述图像处理方法中，各个所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，具体为：

各个所述ImageView组件在所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取所述onSurfaceTextureUpdated函数从所述内存缓冲区获取到的图像数据。

第二方面，本发明公开一种虚拟现实设备的图像处理装置，所述虚拟现实设备具有N个显示区域，其中N为大于1的整数；

所述图像处理装置包括一个第一显示组件和N-1个第二显示组件；

所述第一显示组件对应于所述N个显示区域中的第一显示区域；

所述N-1个第二显示组件分别对应于所述N个显示区域中除所述第一显示区域之外的其他显示区域，各个第二显示组件对应于不同的显示区域；

所述第一显示组件用于获取图像数据，在所述第一显示区域输出获取到的图像数据；

所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，在对应的显示区域输出所述图像数据。

优选的，上述图像处理装置中，所述第一显示组件被配置为：获取预先创建的MediaPlayer对象对视频文件进行解码得到的图像数据，在所述第一显示区域输出获取到的图像数据。

优选的，上述图像处理装置中，所述第一显示组件为TextureView组件，所述第二显示组件为ImageView组件。

优选的，上述图像处理装置中，所述第一显示组件获取图像数据，在所述第一显示区域输出所述图像数据，具体为：

所述MediaPlayer对象更新所述内存缓冲区的图像数据时，所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取所述内存缓冲区更新后的图像数据，在所述第一显示区域输出获取到的图像数据；

其中，预先确定所述TextureView组件中指向内存缓冲区的指针变量，将所述TextureView组件中指向内存缓冲区的指针变量设置为所述MediaPlayer对象中指向内存缓冲区的指针变量。

优选的，上述图像处理装置中，各个所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，具体为：

各个所述ImageView组件在所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取所述onSurfaceTextureUpdated函数从所述内存缓冲区获取到的图像数据。

由此可见，本发明的有益效果为：

本发明公开的虚拟现实设备的图像处理方法，虚拟现实设备包括多个显示区域，其中第一显示区域对应于第一显示组件，其他的显示区域分别对应于一个第二显示组件，第一显示组件直接获取图像数据、并在第一显示区域输出，各个第二显示组件从第一显示组件的回调接口截取第一显示组件获取到的图像数据、并在相应的显示区域输出。由于第一显示组件和第二显示组件获取到的是同一帧图像的图像数据，并在虚拟现实设备的多个显示区域同时输出同一帧图像，因此能够实现虚拟现实设备中多个显示区域的同步显示，从而满足用户通过虚拟现实设备观看2D视频的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明公开的虚拟现实设备的一种图像处理方法的流程图；

图2为本发明公开的虚拟现实设备的另一种图像处理方法的流程图；

图3为本发明公开的虚拟现实设备的一种图像处理装置的结构示意图；

图4为本发明公开的虚拟现实设备的另一种图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开虚拟现实设备的图像处理方法及装置，以使得虚拟现实设备能够在播放2D影像时存在至少两个同步显示区域，满足用户在虚拟现实设备观看2D影像的需求。

参见图1，图1为本发明公开的虚拟现实设备的一种图像处理方法的流程图。其中，虚拟现实设备包括N个显示区域，N为大于1的整数。

虚拟现实设备中的N个显示区域可以为N个单独的显示屏。例如：智能眼镜的左镜片为一个显示区域，智能眼镜的右镜片为一个显示区域。

虚拟现实设备中的N个显示区域也可以为一个或多个显示屏上的N个不同区域。例如：智能头盔的显示面罩上，位于用户左眼前方的区域为一个显示区域，位于用户右眼前方的区域为另一个显示区域。

当然，虚拟现实设备中显示区域的数量并不限定于2。

虚拟现实设备的N个显示区域中的第一显示区域对应于第一显示组件，其他的显示区域分别对应于一个第二显示组件。需要说明的是，第一显示区域可以为N个显示区域中的任意一个。

该图像处理方法包括：

步骤S11：第一显示组件获取图像数据，在第一显示区域输出所述图像数据。

第一显示组件从视频源获取图像数据。第一显示组件执行一次获取图像数据的操作，能够获取到一帧图像的数据，并在第一显示区域显示该帧图像。

步骤S12：各个第二显示组件在第一显示组件的回调接口截取图像数据，分别在对应的显示区域输出所述图像数据。

各个第二显示组件在第一显示组件的回调接口截取第一显示组件从视频源获取到的图像数据，并在各自对应的显示区域输出截取到的图像数据。也就是说，第一显示组件和各个第二显示组件获取到的是同一帧图像的图像数据，之后在虚拟现实设备的N个显示区域输出同一帧图像，实现N个显示区域的同步显示。

本发明公开的虚拟现实设备的图像处理方法，虚拟现实设备包括多个显示区域，其中第一显示区域对应于第一显示组件，其他的显示区域分别对应于一个第二显示组件，第一显示组件直接获取图像数据、并在第一显示区域输出，各个第二显示组件从第一显示组件的回调接口截取第一显示组件获取到的图像数据、并在相应的显示区域输出。由于第一显示组件和第二显示组件获取到的是同一帧图像的图像数据，并在虚拟现实设备的多个显示区域同时输出同一帧图像，因此能够实现虚拟现实设备中多个显示区域的同步显示，从而满足用户通过虚拟现实设备观看2D视频的需求。

作为一种优选实施方式，第一显示组件获取图像数据，具体为：第一显示组件获取预先创建的MediaPlayer对象对视频文件进行解码得到的图像数据。

在虚拟现实设备中预先创建MediaPlayer对象，之后加载要播放的视频文件，调用MediaPlayer对象控制视频文件的播放。

实施中，第一显示组件优选采用TextureView组件。TextureView组件是一个全新的视角，允许显示内容流，比如视频或一个开放式绘图界面现场。TextureView组件表现得像一个普通的观点,而不是创造另一个窗口。

第二显示组件可以采用ImageView组件，ImageView组件可以从不同来源加载图像，可以用于任何布局的管理器。

当然，第二显示组件也可以采用其他具有图片浏览能力的显示组件，例如SurfaceView组件。

作为优选方式，本发明中的第一显示组件采用TextureView组件，第二显示组件采用ImageView组件。

参见图2，图2为本发明公开的虚拟现实设备的另一种图像处理方法的流程图。

其中，虚拟现实设备包括N个显示区域，N为大于1的整数。虚拟现实设备中的N个显示区域可以为N个单独的显示屏，也可以为一个或多个显示屏上的N个不同区域。

虚拟现实设备的N个显示区域中的第一显示区域对应于TextureView组件，其他的显示区域分别对应于一个ImageView组件。需要说明的是，第一显示区域可以为N个显示区域中的任意一个。

该图像处理方法包括：

步骤S21：确定TextureView组件中指向内存缓冲区的指针变量。

步骤S22：将TextureView组件中指向内存缓冲区的指针变量设置为MediaPlayer对象中指向内存缓冲区的指针变量。

步骤S23：MediaPlayer对象更新内存缓冲区的图像数据时，TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取内存缓冲区更新后的图像数据，在第一显示区域输出获取到的图像数据。

步骤S24：各个ImageView组件在TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取onSurfaceTextureUpdated函数从内存缓冲区获取到的图像数据，分别在对应的显示区域输出截取到的图像数据。

在创建TextureView组件和MediaPlayer对象之后，确定TextureView组件的Surface，之后将TextureView组件的Surface设置为MediaPlayer对象的Surface。Surface是原始图像缓冲区(rawbuffer)的一个句柄，可以理解为指向内存缓冲区的指针。

将TextureView组件的Surface设置为MediaPlayer对象的Surface，也就是将TextureView组件中指向内存缓冲区的指针变量设置为MediaPlayer对象中指向内存缓冲区的指针变量。

MediaPlayer对象解析视频文件产生图像数据后，就会将解析产生的图像数据传输至内存缓冲区，对内存缓冲区的数据进行更新。在内存缓冲区的数据每次更新的时候，TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取该内存缓冲区更新后的图像数据，并在第一显示区域输出获取到的图像数据。

同时，各个ImageView组件在TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取onSurfaceTextureUpdated函数从内存缓冲区获取到的图像数据，分别在对应的显示区域输出截取到的图像数据。

其中，ImageView组件截取到的图像数据具体为一帧图像的位图。

本发明图2所示的虚拟现实设备的图像处理方法，虚拟现实设备包括多个显示区域，其中第一显示区域对应于TextureView组件，其他的显示区域分别对应于一个ImageView组件，通过将TextureView组件中指向内存缓冲区的指针变量设置为MediaPlayer对象中指向内存缓冲区的指针变量，使得MediaPlayer对象更新内存缓冲区的数据时，TextureView组件通过SurfaceTextureListener回调接口获取内存缓冲区更新后的数据，并在第一显示区域输出，各个ImageView从TextureView组件的回调接口截取TextureView组件获取到的图像数据、并在相应的显示区域输出。由于TextureView组件和各个ImageView组件获取到的是同一帧图像的图像数据，并在虚拟现实设备的多个显示区域同时输出同一帧图像，因此能够实现虚拟现实设备中多个显示区域的同步显示，从而满足用户通过虚拟现实设备观看2D视频的需求。

本发明还公开一种虚拟现实设备的图像处理装置。

其中，虚拟现实设备包括N个显示区域，N为大于1的整数。虚拟现实设备中的N个显示区域可以为N个单独的显示屏，也可以为一个或多个显示屏上的N个不同区域。

该图像处理装置的结构如图3所示。

该图像处理装置包括一个第一显示组件100和N-1个第二显示组件，在图3中各个第二显示组件均以200标示。

其中：

第一显示组件100对应于虚拟现实设备的N个显示区域中的第一显示区域。第一显示组件100用于获取图像数据，在第一显示区域输出获取到的图像数据。

N-1个第二显示组件200分别对应于N个显示区域中除第一显示区域之外的其他显示区域，各个第二显示组件200对应于不同的显示区域。第二显示组件200在第一显示组件的回调接口截取图像数据，在对应的显示区域输出图像数据。

这里结合一个实例说明：

虚拟现实设备具有三个显示区域，分别记为显示区域1、显示区域2和显示区域3。相应的，图像处理装置包括一个第一显示组件和两个第二显示组件。其中，第一显示组件对应于显示区域1，一个第二显示组件对应于显示区域2，另一个第二显示组件对应于显示区域3。

第一显示组件获取图像数据，并在虚拟现实设备的显示区域1输出获取到的图像数据。

两个第二显示组件在第一显示组件的回调接口截取第一显示组件获取的图像数据，并在显示区域2和显示区域3输出截取到的图像数据。

本发明公开的虚拟现实设备的图像处理装置，包括一个第一显示组件和N-1个第二显示组件，其中N为虚拟现实设备中显示区域的数量，N为大于1的整数，第一显示组件对应于N个显示区域中的第一显示区域，各个第二显示组件分别对应于N个显示区域中的其他显示区域，第一显示组件直接获取图像数据、并在第一显示区域输出，各个第二显示组件从第一显示组件的回调接口截取第一显示组件获取到的图像数据、并在相应的显示区域输出。由于第一显示组件和第二显示组件获取到的是同一帧图像的图像数据，并在虚拟现实设备的多个显示区域同时输出同一帧图像，因此能够实现虚拟现实设备中多个显示区域的同步显示，从而满足用户通过虚拟现实设备观看2D视频的需求。

作为优选方式，本发明中的第一显示组件被配置为：获取预先创建的MediaPlayer对象对视频文件进行解码得到的图像数据，在第一显示区域输出获取到的图像数据。

在虚拟现实设备中预先创建MediaPlayer对象，之后加载要播放的视频文件，调用MediaPlayer对象控制视频文件的播放。

实施中，第一显示组件优选采用TextureView组件。第二显示组件可以采用ImageView组件，或者其他具有图片浏览能力的显示组件，例如SurfaceView组件。

作为优选方式，本发明中的第一显示组件采用TextureView组件，第二显示组件采用ImageView组件。图4为本发明公开的虚拟现实设备的另一种图像处理装置的结构示意图，包括一个TextureView组件和多个ImageView组件。

其中，TextureView组件获取图像数据，在第一显示区域输出图像数据，具体为：

MediaPlayer对象更新内存缓冲区的图像数据时，TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取内存缓冲区更新后的图像数据，在第一显示区域输出获取到的图像数据。

其中，预先确定TextureView组件中指向内存缓冲区的指针变量，将TextureView组件中指向内存缓冲区的指针变量设置为MediaPlayer对象中指向内存缓冲区的指针变量。

需要说明的是，将TextureView组件中指向内存缓冲区的指针变量设置为MediaPlayer对象中指向内存缓冲区的指针变量，也就是将TextureView组件的Surface设置为MediaPlayer对象的Surface。

各个ImageView组件在TextureView组件的回调接口截取图像数据，具体为：

各个ImageView组件在TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取onSurfaceTextureUpdated函数从内存缓冲区获取到的图像数据。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种虚拟现实设备的图像处理方法，其特征在于，所述虚拟现实设备具有N个显示区域，其中N为大于1的整数，第一显示区域对应于第一显示组件，其他显示区域分别对应于一个第二显示组件，所述图像处理方法包括：

所述第一显示组件获取图像数据，在所述第一显示区域输出所述图像数据；

各个所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，分别在对应的显示区域输出所述图像数据。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一显示组件获取图像数据，具体为：

所述第一显示组件获取预先创建的MediaPlayer对象对视频文件进行解码得到的图像数据。

3.根据权利要求2所述的图像处理方法，其特征在于，所述第一显示组件为TextureView组件，所述第二显示组件为ImageView组件。

4.根据权利要求3所述的图像处理方法，其特征在于，所述第一显示组件获取图像数据，在所述第一显示区域输出所述图像数据，具体为：

确定所述TextureView组件中指向内存缓冲区的指针变量；

将所述TextureView组件中指向内存缓冲区的指针变量设置为所述MediaPlayer对象中指向内存缓冲区的指针变量；

所述MediaPlayer对象更新所述内存缓冲区的图像数据时，所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取所述内存缓冲区更新后的图像数据，在所述第一显示区域输出获取到的图像数据。

5.根据权利要求4所述的图像处理方法，其特征在于，各个所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，具体为：

各个所述ImageView组件在所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取所述onSurfaceTextureUpdated函数从所述内存缓冲区获取到的图像数据。

6.一种虚拟现实设备的图像处理装置，其特征在于，所述虚拟现实设备具有N个显示区域，其中N为大于1的整数；

所述图像处理装置包括一个第一显示组件和N-1个第二显示组件；

所述第一显示组件对应于所述N个显示区域中的第一显示区域；

所述N-1个第二显示组件分别对应于所述N个显示区域中除所述第一显示区域之外的其他显示区域，各个第二显示组件对应于不同的显示区域；

所述第一显示组件用于获取图像数据，在所述第一显示区域输出获取到的图像数据；

所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，在对应的显示区域输出所述图像数据。

7.根据权利要求6所述的图像处理装置，其特征在于，所述第一显示组件被配置为：获取预先创建的MediaPlayer对象对视频文件进行解码得到的图像数据，在所述第一显示区域输出获取到的图像数据。

8.根据权利要求7所述的图像处理装置，其特征在于，所述第一显示组件为TextureView组件，所述第二显示组件为ImageView组件。

9.根据权利要求8所述的图像处理装置，其特征在于，所述第一显示组件获取图像数据，在所述第一显示区域输出所述图像数据，具体为：

所述MediaPlayer对象更新所述内存缓冲区的图像数据时，所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数获取所述内存缓冲区更新后的图像数据，在所述第一显示区域输出获取到的图像数据；

其中，预先确定所述TextureView组件中指向内存缓冲区的指针变量，将所述TextureView组件中指向内存缓冲区的指针变量设置为所述MediaPlayer对象中指向内存缓冲区的指针变量。

10.根据权利要求9所述的图像处理装置，其特征在于，各个所述第二显示组件在所述第一显示组件的回调接口截取所述图像数据，具体为：

各个所述ImageView组件在所述TextureView组件的SurfaceTextureListener回调接口中的onSurfaceTextureUpdated函数处，截取所述onSurfaceTextureUpdated函数从所述内存缓冲区获取到的图像数据。