CN107093209A - 图像处理方法、设备及虚拟现实设备 - Google Patents

Abstract

本发明公开了一种图像处理方法、设备及虚拟现实设备。该图像处理方法包括：获取初始图像的显示属性信息；根据显示属性信息，对初始图像进行处理得到符合预定显示属性的目标图像以供展示。根据本发明，可以使得不同来源的图像能够自动适配图像展示设备进行展示，有效避免图像展示出现错误。尤其适用于虚拟现实的场景图像展示。

Description

图像处理方法、设备及虚拟现实设备

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种图像处理方法、设备及虚拟现实设备。

背景技术

随着虚拟现实(VR)技术的逐步成熟，诸如虚拟现实头盔、虚拟现实眼镜等等各种虚拟现实设备陆续出现，可以在用户进行游戏、观看视频、场景互动时，通过呈现虚拟现实场景为用户提供犹如身临其境的虚拟现实体验。

因此虚拟现实场景的呈现，是影响用户可获取的虚拟现实体验的关键因素。目前在现有技术中，通常采用场景开发平台例如Unity3D来开发虚拟现实场景，Unity3D是一个全面整合的专业游戏引擎,由Unity Technologies开发,可以使得虚拟现实场景的开发者轻松开发创建虚拟现实场景，并且，Unity3D的编辑器还可以运行在多种操作系统下呈现虚拟现实场景，成为场景播放器。但虚拟现实场景呈现时，涉及的元素例如场景图像可能存在多种来源，就可能会存在与场景开发平台提供的播放器无法匹配，从而出现虚拟现实场景播放错误。例如，对于Windows平台提供的Direct3D(D3D)解码后的场景图像，通过Unity3D形成的场景播放器展示会出现错误，无法呈现对应的虚拟现实场景，影响用户的虚拟现实体验。

因此，发明人认为，有必要针对上述现有技术中存在的问题，进行改进。

发明内容

本发明的一个目的是提供一种用于图像处理的新技术方案。

根据本发明的第一方面，提供了一种图像处理方法，包括：

获取初始图像的显示属性信息，

其中，所述显示属性信息至少包括显示坐标系和颜色通道格式；

根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像以供展示，

其中，所述预定显示属性至少包括预定显示坐标系和预定颜色通道格式。

可选地，所述对初始图像处理得到目标图像的步骤包括：

将所述初始图像的显示坐标系转换为所述预定显示坐标系；以及

将所述初始图像的颜色通道格式转换为所述预定颜色通道格式。

进一步可选地，

所述显示属性信息还包括图像灰度值；

所述预定显示属性还包括预定图像灰度值；以及

所述对初始图像处理得到目标图像的步骤还包括：

所述初始图像的图像灰度值调整为预定图像灰度值。

可选地，上述图像处理方法还包括：

通过场景播放器获取图像解码设备输出的所述初始图像；

以及在通过场景播放器展示所述目标图像。

进一步可选地，

所述场景播放器是Unity3D；以及

所述图像解码设备是Direct3D。

根据本发明的第二方面，提送一种图像处理设备，包括：

属性获取单元，用于获取初始图像的显示属性信息，

其中，所述显示属性信息至少包括显示坐标系和颜色通道格式；

图像处理单元，用于根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像以供展示，

其中，所述预定显示属性至少包括预定显示坐标系和预定颜色通道格式。

可选地，所述图像处理单元包括：

用于将所述初始图像的显示坐标系转换为所述预定显示坐标系的装置；以及

用于将所述初始图像的颜色通道格式转换为所述预定颜色通道格式的装置。

进一步可选地，所述显示属性信息还包括图像灰度值；

所述预定显示属性还包括预定图像灰度值；以及

所述图像处理单元还包括：

用于将所述初始图像的图像灰度值调整为预定图像灰度值的装置。

可选地，上述图像处理设备还包括：

场景播放器，用于获取图像解码设备输出的所述初始图像以及展示所述目标图像。

根据本发明的第三方面，提供一种虚拟现实设备，至少包括如本发明的第二方面提供的图像处理设备。

本发明的发明人发现，在现有技术中，尚未存在一种图像处理方法、设备及虚拟现实设备，可以使得不同来源的图像能够自动适配图像展示设备进行展示，有效避免图像展示出现错误。因此，本发明所要实现的技术任务或者所要解决的技术问题是本领域技术人员从未想到的或者没有预期到的，故本发明是一种新的技术方案。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是显示可用于实现本发明的实施例的电子设备的硬件配置的例子的框图。

图2示出了本发明的实施例的图像处理方法的流程图。

图3示出了本发明的实施例的图像处理设备的框图。

图4示出了本发明的实施例的虚拟现实设备的框图。

图5是本发明的图像处理的例子的示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1是示出可以实现本发明的实施例的电子设备1000的硬件配置的框图。

电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑等，或者，还可以虚拟现实眼镜、虚拟现实头盔等虚拟现实产品。如图1所示，电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。

图1所示的电子设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本发明的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本发明实施例提供的任意一项的图像处理方法。本领域技术人员应当理解，尽管在图1中对电子设备1000示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，电子设备1000只涉及处理器1100和存储装置1200。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

<实施例>

在本实施例中，总体构思是提供一种图像处理方案，可以在虚拟现实的场景呈现时，对于场景图像进行处理使得能匹配场景播放器进行播放，避免出现播放错误，提升用户的虚拟现实体验。

<方法>

本实施例中提供一种图像处理方法，如图2所示，包括：

步骤S2100，获取初始图像的显示属性信息；

其中，所述显示属性信息是图像显示时涉及的属性信息，至少包括显示坐标系和颜色通道格式，所述显示坐标系是图像显示时所基于的坐标系(图像顶点的位置、坐标轴的刻度值、坐标轴的空间方法等)、颜色通道格式是图像显示是所基于的色彩空间中颜色通道变化以及叠加的格式，例如在RGB色彩空间中，是对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，但是颜色通道的先后是可能有各种形式的，例如RGB格式、RBG格式、GBR格式等等。

具体地，所述初始图像可以是虚拟现实场景中的场景图像，而虚拟现实场景中的场景图像可能存在多种来源，例如，可以是由场景播放器获取的图像解码设备输出的初始图像，其中，场景播放器可以是Unity3D，而图像解码设备是Direct3D,Direct3D是微软为提高3D游戏在Windows中的显示性能而开发的显示程序接口,目前已经升级至12版本，具有丰富的功能库，DirectX11作为Direct3D其中的一个版本，可以提供解码后的图像作为初始图像，以用于在虚拟现实技术中支持Unity3D在Window系统平台上呈现虚拟现实场景。

但是，在虚拟现实领域的现有技术中，不同来源的场景图像通过场景开发平台场景播放器播放时，会出现图像播放错误，例如，初始图像是Windows平台提供的D3D(Direct3D)解码后的场景图像，通过Unity3D形成的场景播放器展示会出现错误，导致无法呈现对应的虚拟现实场景，影响用户的虚拟现实体验。

发明人发现，这是由于初始图像的显示属性与场景播放器可支持的显示属性不一致导致的，例如，通过D3D解码后的场景图像的显示坐标系、颜色通道格式等，与Unity3D的场景播放器可支持播放的场景图像的显示坐标系、颜色通道格式不一致，导致通过Unity3D形成的场景播放器展示Direct3D解码的图像会出现错误。

因此，在步骤S2100获取初始图像的显示属性信息后，进入步骤S2200，

根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像以供展示；

其中，所述预定显示属性是预定的展示图像的播放设备支持展示的图像应具有的显示属性，至少包括预定显示坐标系和预定颜色通道格式。

预定显示属性与所述初始图像的显示属性信息存在不一致时，会导致预定的展示图像的播放设备展示图像出现错误。而在本实施例中，通过根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像，使得预定的播放设备展示的图像是符合预定属性的目标图像，避免展示出现错误。

具体的，所述步骤S2200包括：

将所述初始图像的显示坐标系转换为所述预定显示坐标系；以及

将所述初始图像的颜色通道格式转换为所述预定颜色通道格式。

例如，初始图像是Direct3D解码后的图像，显示坐标系中的坐标原点为图像左上角，颜色通道格式是RGB格式；

而预定的图像播放设备是Unity3D形成的场景播放器，预定显示属性中显示坐标系的坐标原点图像右上角，颜色通道格式为RBG格式；

将初始图像的坐标原点从图像左上角转换为图像右上角，同时记录中间转换的偏差值，对初始图像中所有的图像元素的坐标值都使用偏差值进行转换，使得初始图像的显示坐标系转换为预定显示坐标系；

将初始图像的颜色通道格式进行转换，使得将RGB格式转换为RBG格式；

通过坐标系转换以及颜色通道格式转换后，得到目标图像已经符合预定显示属性，通过Unity3D形成的场景播放器进行展示不会出现错误，使得可以呈现对应的虚拟现实场景，避免应用用户的虚拟现实体验。

而在另一个例子中，所述显示属性信息还包括图像灰度值；

所述预定显示属性还包括预定图像灰度值；以及

所述对初始图像处理得到目标图像的步骤还包括：

所述初始图像的图像灰度值调整为预定图像灰度值。

在本例中，预定图像灰度值是预定设置的使得图像展示效果更优的灰度值，通常可以根据工程经验或者实验仿真获取，也可以由用户预先设置。通过将初始图像的图像灰度值调整为预定图像灰度值，可以使得处理后的目标图像的展示效果更好，提升用户体验。

<设备>

在本实施中，还提供一种图像处理设备3000，如图3所示，包括属性获取单元3100、图像处理单元3200，可选地，还包括场景播放器3300，用于实施本实施例中提供的图像处理方法，在此不再赘述。

图像处理设备3000，包括：

属性获取单元3100，用于获取初始图像的显示属性信息，

其中，所述显示属性信息至少包括显示坐标系和颜色通道格式；

图像处理单元3200，用于根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像以供展示，

其中，所述预定显示属性至少包括预定显示坐标系和预定颜色通道格式。

可选地，所述图像处理单元3200包括：

用于将所述初始图像的显示坐标系转换为所述预定显示坐标系的装置；以及

用于将所述初始图像的颜色通道格式转换为所述预定颜色通道格式的装置。

可选地，所述显示属性信息还包括图像灰度值；

所述预定显示属性还包括预定图像灰度值；以及

所述图像处理单元3200还包括：

用于将所述初始图像的图像灰度值调整为预定图像灰度值的装置。

进一步可选地，所述图像处理设备3000还包括：

场景播放器3300，用于获取图像解码设备输出的所述初始图像以及展示所述目标图像。

在本实施例中，并不限制所述图像处理设备3000的具体实施形式，例如，所述图像处理设备3000可以是Unity3D开发形成，更具体地，图像处理单元3200可以是基于Unity3D提供的开发语言GLSL(基于OpenGL的OpenGL Shading Language)开发的shader(着色器)实现，此外也可以通过类似开发语言Cg(NVIDIA公司的C for Graphic)或者HLSL(基于DirectX的High Level Shading Language)开发的shader(着色器)实现。

此外，图像处理设备3000的实体设备形式，可以如图1所示的电子设备1000。

本领域技术人员应当明白，可以通过各种方式来实现图像处理设备3000。例如，可以通过指令配置处理器来实现图像处理设备3000。例如，可以将指令存储在ROM中，并且当启动设备时，将指令从ROM读取到可编程器件中来实现图像处理设备3000。例如，可以将实现图像处理设备3000固化到专用器件(例如ASIC)中。可以将实现图像处理设备3000分成相互独立的单元，或者可以将它们合并在一起实现。实现图像处理设备3000可以通过上述各种实现方式中的一种来实现，或者可以通过上述各种实现方式中的两种或更多种方式的组合来实现。

<产品>

在本实施例中，还提供一种虚拟现实设备4000，如图4所示，至少包括本实施例中提供的任意一项图像处理设备3000。具体地，所述虚拟现实设备4000可以是虚拟现实眼镜、虚拟现实头盔等。

此外，图像处理设备4000的实体设备形式，可以如图1所示的电子设备1000。

<例子>

以下将结合图5进一步说明本实施中提供的图像处理方案。

在本例中，初始图像是虚拟现实的场景图像，通过Window平台提供的Direct3D解码得到，场景图像通过Unity3D形成的场景播放器呈现，因此需要通过虚拟现实设备4000中包含的图像处理设备3000进行处理，具体地，图像处理设备3000中的图像处理单元3200，包括了可以实现坐标系转换的shader1、实现颜色通道格式转换的shader2、实现调整图像灰度值的shader3：

步骤S501，通过Unity3D获取Direct3D解码后的初始图像；

步骤S502，通过shader1将初始图像的显示坐标系转换为预定显示坐标系；

步骤S503，通过shader2将初始图像的颜色通道格式转换为颜色通道格式；

步骤S504，通过shader3将初始图像的图像灰度值调整为预定图像灰度值，从而得到目标图像；

步骤S505，通过Unity3D展示目标图像。

应当理解的是，本例中的步骤S502、503、504的顺序并不是一定的，可以根据实际实施需求任意调整，只要最终获取处理得到的目标图像即可。

以上已经结合附图描述了本发明的实施例，根据本实施例，提供一种图像处理方法、设备及虚拟现实设备，通过根据所获取的初始图像的显示属性信息，对初始图像进行处理得到符合预定显示属性的目标图像，可以使得不同来源的图像能够自动适配图像展示设备进行展示，有效避免图像展示出现错误。尤其适用于虚拟现实的场景图像展示，能有效避免实现场景图像展示错误，影响用户的虚拟现实体验。

本领域技术人员公知的是，随着诸如大规模集成电路技术的电子信息技术的发展和软件硬件化的趋势，要明确划分计算机系统软、硬件界限已经显得比较困难了。因为，任何操作可以软件来实现，也可以由硬件来实现。任何指令的执行可以由硬件完成，同样也可以由软件来完成。对于某一机器功能采用硬件实现方案还是软件实现方案，取决于价格、速度、可靠性、存储容量、变更周期等非技术性因素。因此，对于电子信息技术领域的普通技术人员来说，更为直接和清楚地描述一个技术方案的方式是描述该方案中的各个操作。在知道所要执行的操作的情况下，本领域技术人员可以基于对所述非技术性因素的考虑直接设计出期望的产品。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取初始图像的显示属性信息，

其中，所述显示属性信息至少包括显示坐标系和颜色通道格式；

根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像以供展示，

其中，所述预定显示属性至少包括预定显示坐标系和预定颜色通道格式。

2.根据权利要求1所述的方法，其特征在于，所述对初始图像处理得到目标图像的步骤包括：

将所述初始图像的显示坐标系转换为所述预定显示坐标系；以及

将所述初始图像的颜色通道格式转换为所述预定颜色通道格式。

3.根据权利要求2所述的方法，其特征在于，

所述显示属性信息还包括图像灰度值；

所述预定显示属性还包括预定图像灰度值；以及

所述对初始图像处理得到目标图像的步骤还包括：

所述初始图像的图像灰度值调整为预定图像灰度值。

4.根据权利要求1-3其中任意一项所述的方法，其特征在于，所述方法还包括：

通过场景播放器获取图像解码设备输出的所述初始图像；

以及在通过场景播放器展示所述目标图像。

5.根据权利要求4所述的方法，其特征在于，

所述场景播放器是Unity3D；以及

所述图像解码设备是Direct3D。

6.一种图像处理设备，其特征在于，包括：

属性获取单元，用于获取初始图像的显示属性信息，

其中，所述显示属性信息至少包括显示坐标系和颜色通道格式；

图像处理单元，用于根据所述显示属性信息，对所述初始图像进行处理得到符合预定显示属性的目标图像以供展示，

其中，所述预定显示属性至少包括预定显示坐标系和预定颜色通道格式。

7.根据权利要求6所述的设备，其特征在于，所述图像处理单元包括：

用于将所述初始图像的显示坐标系转换为所述预定显示坐标系的装置；以及

用于将所述初始图像的颜色通道格式转换为所述预定颜色通道格式的装置。

8.根据权利要求7所述的设备，其特征在于，

所述显示属性信息还包括图像灰度值；

所述预定显示属性还包括预定图像灰度值；以及

所述图像处理单元还包括：

用于将所述初始图像的图像灰度值调整为预定图像灰度值的装置。

9.根据权利要求6-8中任一项所述的设备，其特征在于，所述设备还包括：

场景播放器，用于获取图像解码设备输出的所述初始图像以及展示所述目标图像。

10.一种虚拟现实设备，其特征在于，

至少包括如权利要求7-9中任意一项所述的图像处理设备。