CN114268779B

CN114268779B - 图像数据处理方法、装置、设备及计算机可读存储介质

Info

Publication number: CN114268779B
Application number: CN202111491426.8A
Authority: CN
Inventors: 李蕾
Original assignee: Beijing Zitiao Network Technology Co Ltd
Current assignee: Beijing Zitiao Network Technology Co Ltd
Priority date: 2021-12-08
Filing date: 2021-12-08
Publication date: 2023-09-08
Anticipated expiration: 2041-12-08
Also published as: CN114268779A

Abstract

本申请公开了一种图像数据处理方法、装置、设备及计算机可读存储介质。其中，方法包括：获取待处理图像数据，待处理图像数据包括左眼图像数据与右眼图像数据；利用左眼图像数据与右眼图像数据确定组合图像；根据组合图像通过RPC协议向编码进程传输对应的指示信息，使得编码进程基于指示信息确定出待处理图像数据，并对待处理图像数据进行编码得到编码结果，其中，编码结果用于发送至头戴设备，供头戴设备展示相应的内容，可起到缩短左眼图像与右眼图像传输延时的作用。

Description

图像数据处理方法、装置、设备及计算机可读存储介质

技术领域

本申请属于通信技术领域，尤其涉及一种图像数据处理方法、装置、设备及计算机可读存储介质。

背景技术

虚拟现实VR技术是20世纪发展起来的一项全新的实用技术,随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。Steam VR是一个功能完整的360°房型空间虚拟现实体验，PC端安装游戏平台(如Steam VR平台)时，该游戏平台会同时发出针对左眼与右眼的图像数据流，针对左眼与右眼的图像数据流在PC端本地进行编码后，PC端将编码后的信息发送至VR的头戴设备，使头戴设备对接收到的左右眼视频流进行相应的解码并展示相应的视频流内容，供用户观看。

目前，左眼图像和右眼图像在PC端通过独立的线程分别推送各自的数据流，在PC端实现的图像获取进程与编码进程间的数据传送基于RPC(Remote Procedure Call，远程过程调用)通信协议，该传输方式导致左眼图像与右眼图像传输至头戴设备的时间差较大，时延较长。

发明内容

本申请实施例提供一种与现有技术不同的实现方案，以解决现有技术中左右眼图像的传输时延较长的技术问题。

第一方面，本申请提供一种图像数据处理方法，包括：获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；

利用所述左眼图像数据与所述右眼图像数据确定组合图像；

根据所述组合图像通过RPC协议向编码进程传输对应的指示信息，使得所述编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果，其中，所述编码结果用于发送至头戴设备，供所述头戴设备展示相应的内容。

第二方面，本申请还提供一种图像数据处理方法，包括：通过获取进程获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；利用所述左眼图像数据与所述右眼图像数据确定组合图像；根据所述组合图像通过RPC协议向编码进程传输对应的指示信息；通过编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果；通过通信模块将所述编码结果发送至头戴设备，供所述头戴设备根据所述编码结果展示相应的内容。

第三方面，本申请还提供一种图像数据处理装置，包括：获取模块，用于获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；确定模块，用于利用所述左眼图像数据与所述右眼图像数据确定组合图像；传输模块，用于根据所述组合图像通过RPC协议向编码进程传输对应的指示信息，使得所述编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果，其中，所述编码结果用于发送至头戴设备，供所述头戴设备展示相应的内容。

第四方面，本申请提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面、第二方面、第一方面各可能的实施方式，以及第二方面各可能的实施方式中的任一方法。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面、第二方面、第一方面各可能的实施方式，以及第二方面各可能的实施方式中的任一方法。

第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面、第二方面、第一方面各可能的实施方式，以及第二方面各可能的实施方式中的任一方法。

本申请通过获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；利用所述左眼图像数据与所述右眼图像数据确定组合图像；根据所述组合图像通过RPC协议向编码进程传输对应的指示信息，使得所述编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果，其中，所述编码结果用于发送至头戴设备，供所述头戴设备展示相应的内容的方案，可对左眼图像与右眼图像进行组合后，将组合图像相关的指示信息传输至另一进程，使另一进程可直接根据指示信息从对应的内存读取组合图像，并确定出左眼图像与右眼图像，缩短了左眼图像与右眼图像在进程间传输的传输时延，进而也减少了左眼图像与右眼图像传输至头戴设备的时间差，提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请一实施例提供的图像数据处理系统的结构示意图；

图2a为本申请一实施例提供的图像数据处理方法的流程示意图；

图2b为本申请一实施例提供的图像数据处理方法的场景性示意图；

图2c为本申请一实施例提供的图像数据处理方法的流程示意图；

图2d为本申请一实施例提供的图像数据处理方法的流程示意图；

图3为本申请一实施例提供的图像数据处理装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，下面对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

RPC协议是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议，RPC协议也可适用于进程间通信。

Direct3D(简称：D3D)是一套3D绘图编程接口，在Direct3D中的Direct3D11中，Resource主要可以分为Buffers和Textures两类。

句柄是一种智能指针，可用于访问内存。

发明人通过研究发现，在PC端左眼和右眼通过独立的线程分别推送各自的数据流的方式，主要依赖对Sleep函数的调用，其不同步的时间差在毫秒级别，发明人提出一种方案，以优化左右眼图像不同步的时间差。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请一示例性实施例提供的一种图像数据处理系统的结构示意图，该结构包括：数据处理设备11、头戴设备12，其中：

数据处理设备11，用于通过获取进程获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；利用所述左眼图像数据与所述右眼图像数据确定组合图像；根据所述组合图像通过RPC协议向编码进程传输对应的指示信息；通过编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果；通过通信模块将所述编码结果发送至头戴设备，供所述头戴设备根据所述编码结果展示相应的内容；

头戴设备12，用于获取所述编码结果，对所述编码结果进行解码，得到待展示的左眼图像数据与待展示的右眼图像数据；展示所述待展示的左眼图像数据与所述待展示的右眼图像数据。

具体地，前述数据处理设备11可以为PC、移动终端设备等。

可选地，左眼图像与右眼图像可以根据接收自手柄的指令确定。

进一步地，前述图像数据处理系统还可包括服务端设备10，服务端设备10可在接收到数据处理设备11的数据请求后，将左眼图像的相关数据与右眼图像的相关数据发送至数据处理设备11，使数据处理设备11确定出左眼图像与右眼图像。

本系统实施例中的各组成单元，如数据处理设备、头戴设备的程序执行原理及交互过程可参见如下各方法实施例的描述。

图2a为本申请一示例性实施例提供的一种图像数据处理方法的流程示意图，该方法的执行主体可以为前述数据处理设备，该方法至少包括以下步骤：

S201、获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；

S202、利用所述左眼图像数据与所述右眼图像数据确定组合图像；

S203、根据所述组合图像通过RPC协议向编码进程传输对应的指示信息，使得所述编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果，其中，所述编码结果用于发送至头戴设备，供所述头戴设备展示相应的内容。

具体地，前述步骤S201中，获取待处理图像数据包括：

S2011、获取左眼图像对应的第一待复制区域，与右眼图像对应的第二待复制区域；

S2012、基于所述第一待复制区域与所述第二待复制区域分别获取所述左眼图像数据与所述右眼图像数据。

具体地，第一待复制区域为左眼图像中的图像区域，第二待复制区域为右眼图像中的图像区域。

可选地，第一待复制区域由左眼图像的第一起始顶点信息与第一截止对角线顶点信息确定；具体地，对应的横坐标处于第一起始顶点信息的横坐标与第一截止对角线顶点信息的横坐标之间，对应的纵坐标处于第一起始顶点信息的纵坐标与第一截止对角线顶点信息的纵坐标之间的像素区域的总和为所述第一待复制区域。

相应地，第二待复制区域由右眼图像的第二起始顶点信息与第二截止对角线顶点信息确定；具体地，对应的横坐标处于第二起始顶点信息的横坐标与第二截止对角线顶点信息的横坐标之间，对应的纵坐标处于第二起始顶点信息的纵坐标与第二截止对角线顶点信息的纵坐标之间的像素区域的总和为所述第二待复制区域。

具体地，在获取左眼图像与右眼图像之前，针对左眼图像与右眼图像中的任一图像，可分别根据左眼图像与右眼图像创建图像纹理，实例化纹理图像的结构体成员属性，并使用DXGI接口创建设备对象，进而使用创建完成的设备对象调用Texture2D创建函数CreateTexture2D实现Texture2D的创建，并建立Texuture2D与其Resource的对应关系，以通过对Texture2D的操作实现对图像的操作。

进一步地，前述步骤S202中，利用所述左眼图像数据与所述右眼图像数据确定组合图像可具体包括以下步骤：

S2021、利用所述左眼图像的图像参数与所述右眼图像的图像参数创建待填充图像；

S2022、将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像。

在本申请的一些可选的实施例中，图像参数包括图像高度信息与图像宽度信息。

在本申请的另一些可选的实施例中，图像参数中可包含有图像的起始顶点信息与截止对角线顶点信息，图像高度信息与图像宽度信息可基于图像的的起始顶点信息与截止对角线顶点信息确定。

需要说明的是，本申请中涉及到的起始顶点信息与截止对角线顶点信息可以具体为二维坐标信息或三维坐标信息，对此，本申请不做限定。

其中，前述待填充图像可以为一空白图像，组合图像具体可以为：将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像后得到的组合图像。

可选地，可参见图2b所示，前述S201至S203可具体通过获取进程实现。

具体地，将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像的具体方式可以通过复制子资源区域的方式实现将左眼图像数据与右眼图像数据，作为待填充图像的子区域复制至待填充图像的资源中，得到组合图像。

进一步地，利用所述左眼图像的图像参数与所述右眼图像的图像参数创建待填充图像包括：

利用所述左眼图像的图像参数与所述右眼图像的图像参数确定目标高度信息与目标宽度信息；

基于所述目标高度信息与目标宽度信息创建所述待填充图像，具体地，可将目标高度信息作为待填充图像的图像高度信息，将目标宽度信息作为待填充图像的图像宽度信息。

在本申请的一些可选的实施例中，待填充图像的创建规则可以为水平规则，此时，利用所述左眼图像的图像参数与所述右眼图像的图像参数确定目标高度信息与目标宽度信息包括：

利用所述左眼图像的图像参数确定左眼图像的图像高度信息与图像宽度信息，以及利用所述右眼图像的图像参数确定右眼图像的图像高度信息与图像宽度信息；

根据所述左眼图像的图像高度信息与右眼图像的图像高度信息中的最大的高度信息确定目标高度信息；

基于左眼图像的图像宽度信息与右眼图像的图像宽度信息的和确定目标宽度信息。

具体地，目标高度信息可以为左眼图像的图像高度信息与右眼图像的图像高度信息中最大的高度信息，或者目标高度信息大于该最大的高度信息；目标宽度信息可以为左眼图像的图像宽度信息与右眼图像的图像宽度信息的和，或者目标宽度信息大于左眼图像的图像宽度信息与右眼图像的图像宽度信息的和。

在本申请的另一些可选的实施例中，待填充图像的创建规则可以为垂直规则，相应地，目标高度信息还可以为左眼图像的图像高度信息与右眼图像的图像高度信息的和，或者目标高度信息大于左眼图像的图像高度信息与右眼图像的图像高度信息的和；目标宽度信息可以为左眼图像的图像宽度信息与右眼图像的图像宽度信息中最宽的宽度信息，或者目标宽度信息大于该最宽的宽度信息。

可选地，本申请中涉及到的图像高度信息与图像宽度信息可以为对应的像素个数相同或相关。

进一步地，前述步骤S2022中，将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像包括以下步骤：

S1、获取所述待填充图像中的第一起始填充位置；

S2、利用所述左眼图像的图像参数与所述第一起始填充位置确定出所述待填充图像中的第二起始填充位置；

S3、基于所述第一起始填充位置，与所述第二起始填充位置分别将所述左眼图像数据与所述右眼图像数据填充(即复制)至所述待填充图像，得到所述组合图像。

具体地，第一起始填充位置为将左眼图像数据复制至所述待填充图像时，左眼图像的起始顶点对应的位置，第二起始填充位置为将右眼图像数据复制至所述待填充图像时，右眼图像的起始顶点对应的位置。

可选地，将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像后，左眼图像的起始顶点在待填充图像中的坐标与第一起始填充位置在待填充图像中的坐标相同，右眼图像的起始顶点在待填充图像中的坐标与第二起始填充位置在待填充图像中的坐标相同。

可选地，当前述目标高度信息为左眼图像的图像高度信息与右眼图像的图像高度信息中最大的高度信息，且目标宽度信息为左眼图像的图像宽度信息与右眼图像的图像宽度信息的和时，可利用所述第一起始填充位置对应的横坐标与左眼图像的图像宽度信息确定第二起始填充位置对应的横坐标。具体地，可将所述第一起始填充位置对应的横坐标与左眼图像的图像宽度信息的和作为第二起始填充位置对应的横坐标，第一起始填充位置对应的纵坐标可以与第二起始填充位置的纵坐标相同。

可选地，第一起始填充位置可以为待填充图像中的顶点坐标，如(0，0)或(0，0，0)。

可选地，若待填充图像中的顶点坐标为(0，0)或(0，0，0)，前述第二起始填充位置对应的横坐标，与待填充图像中的顶点坐标的横坐标的差的绝对值等于或大于左眼图像的图像宽度信息，且第二起始填充位置对应的横坐标与所述待填充图像的最大横坐标的差的绝对值等于或大于右眼左眼图像的图像宽度信息。其中，前述待填充图像中的坐标系可以为图像左上角为坐标中心，待填充图像中各像素对应的坐标都为正值。

例如：待填充图像的第一起始填充位置的坐标可以为(0,0,0),第二起始填充位置的坐标可以为(left_width,0,0)，其中，left_width可以为左眼图像的图像宽度信息。

进一步地，前述第一起始填充位置与第二起始填充位置也可以为预设的固定值，对此，本申请不做限定。

具体地，本申请的方案在基于所述第一起始填充位置，与所述第二起始填充位置分别将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像时，可具体基于所述第一起始填充位置，与所述第二起始填充位置分别将所述左眼图像数据与所述右眼图像数据复制于待填充图像中的指定区域。

其中，待填充图像中指定区域的指定可通过对typedef struct D3D11_BOX结构体的对象设置实现，可通过调用CopySubresourceRegion实现指定区域的复制，且在该函数中可以指定第一起始填充位置与第二起始填充位置对应的坐标。

进一步地，为了提高获取到的左眼图像数据与所述右眼图像数据的质量，所述方法还包括：

S01、获取原始左眼图像与原始右眼图像；

S02、按照预设规则对所述原始左眼图像以及所述原始右眼图像进行剪切，得到所述左眼图像与所述右眼图像。

其中，预设规则可以由相关人员设定，具体可以为将图像的边缘信息进行切除，图像具体的切除范围可以根据相关人员设定。

进一步地，参见图2b所示，前述指示信息可以为组合图像对应的句柄信息，当编码进程获取到组合图像对应的句柄信息后，可根据该句柄信息确定出组合图像的存储位置，获取组合图像，并对组合图像进行拆解，得到左眼图像数据与右眼图像数据；并将所述左眼图像数据与右眼图像数据传输至编码器进行编码，得到编码结果；其中，所述编码结果用于供目标设备发送至头戴设备，供所述头戴设备展示相应的内容，其中，目标设备可以为前述数据处理设备。

具体地，前述指示信息中还可包括任务提示信息，该任务提示信息包括前述第一起始填充位置、所述左眼图像的图像参数、右眼图像的图像参数、第二起始填充位置中的任一个或多个，使得编码进程根据任务提示信息从组合图像中拆解出左眼图像数据与右眼图像数据。编码进程在从组合图像中拆解出左眼图像数据与右眼图像数据时，可具体可依据所述第一起始填充位置与左眼图像的图像参数从组合图像中复制出左眼图像数据，依据所述第二起始填充位置与右眼图像的图像参数从组合图像中复制出右眼图像数据。

具体地，可根据第一起始填充位置与左眼图像的图像参数确定出左眼图像对应的起始顶点坐标(top1,left1)与截止对角线顶点坐标(bottom1,right1),从而确定出指定区域，根据第二起始填充位置与右眼图像的图像参数确定出右眼图像对应的起始顶点坐标(top2,left2)与截止对角线顶点坐标(bottom2,right2),从而确定出另一指定区域，实现对组合图像指定区域的拆解，具体可调用CopySubresourceRegion实现从组合纹理图像中的指定区域复制出左眼图像数据，以及从组合纹理图像中的另一指定区域的复制出右眼图像数据，该函数中可设定有第一起始填充位置与第二起始填充位置。其中，可具体指定typedef struct D3D11_BOX结构体的对象pRegion_left和pRegion_right，配置pRegion_left和pRegion_right各自对应的起始顶点坐标和截止对角线顶点坐标，实现对组合图像指定区域的截取。

在本申请的另一些可选的实施例中，左眼图像对应的起始顶点坐标(top1,left1)与截止对角线顶点坐标(bottom1,right1)，与右眼图像对应的起始顶点坐标(top2,left2)与截止对角线顶点坐标(bottom2,right2)，也可包含于指示信息中，使得编码进程直接可根据指示信息确定分别对应于左眼图像与右眼图像的两个指定区域。

可选地，左眼图像对应的起始顶点坐标为前述第一起始填充坐标，右眼图像对应的起始顶点坐标为前述第二起始填充坐标。

需要说明的是，将左眼图像数据与右眼图像数据的复制至待填充图像的复制顺序，以及从组合图像中复制出左眼图像数据以及右眼图像数据的复制顺序，本申请不做限定，并且，本申请中对图像的复制，依赖对资源的处理，且前述进程间的通信协议不限于RPC，为了防止粘包，也可设置sleep(ms)的等待时间，通过本申请的方案将左右眼整合到一起后在进行传输，会极大的消除由于通信等待导致的毫秒级时延。

以下结合具体场景对本方案进行进一步说明：

场景一、

具体可参见图2c所示，PC端通过进程1从Steam VR获取左眼的图像，以及右眼的图像，并将左眼与右眼的图像复制于同一空白图像，得到共享图像，获取共享图像的句柄，并基于RPC协议推送共享图像的句柄至进程2；进程2基于RPC协议拉取共享图像的句柄，并依据该共享图像的句柄获取共享图像，从共享图像的一指定区域复制出左眼的图像，以及从共享图像的另一指定区域复制出右眼的图像，将复制出的左眼的图像与右眼的图像传输至编码器，使得编码器对左眼的图像与右眼的图像进行编码得到编码结果，PC端进而将编码结果通过RTP协议(Real-time Transport Protocol，实时传输协议)发送至头盔，使所述头盔为用户展示相应的画面。其中，进程1为获取进程，进程2为编码进程。

场景二、

具体可参见图2d所示，左眼图像大小为700*600，右眼图像大小为700*600，PC端的获取进程创建一大小可容纳左眼图像和右眼图像的，大小为1400*600的空白图像，将左右眼的图像分别拷贝至空白图像中得到共享图像，获取共享图像的句柄，通过RPC通信协议将共享图像的句柄推送至编码进程，编码进程拉取共享图像的句柄后，从句柄指向的内存地址获取共享图像，并从共享图像中起始顶点坐标为(0,0)，截止对角线顶点坐标为(700,600)的指定区域复制出左眼图像，以及从共享图像中起始顶点坐标为(700,0)，截止对角线顶点坐标为(1400,600)的指定区域复制出右眼图像，即根据指定区域，将拆解(复制)出的图像复制至左眼和右眼各自的图像中。将之前分别以独立线程传输的左右眼图像先整合为一个共享的图像，再进行RPC协议的传输，图像之间拷贝耗时时延根据实测情况在200微秒左右，远小于RPC协议Sleep的最小单位毫秒级别。

需要说明的是，为了显示一张图像，必须以ID3D11Texture2D的方式显示，一个Texture2D类型的纹理与C++代码中的ID3D11Texture2D纹理相对应，本方案中则使用ID3D11Texture2D纹理。

进一步地，本申请还提供一种图像数据处理方法，该方法可具体包括：

获取接收自获取进程的指示信息；

利用所述指示信息确定组合图像；

对所述组合图像进行拆解，得到左眼图像数据与右眼图像数据；

将所述左眼图像数据与右眼图像数据传输至编码器进行编码，得到编码结果；其中，所述编码结果用于供目标设备发送至头戴设备，供所述头戴设备展示相应的内容。

本实施例对应的具体实施方式可参见前述内容，此处不再赘述。

进一步地，本申请还提供一种图像数据处理方法，可适用于前述数据处理设备，具体可包括以下步骤：

通过获取进程获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；利用所述左眼图像数据与所述右眼图像数据确定组合图像；根据所述组合图像通过RPC协议向编码进程传输对应的指示信息；

通过编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果；

通过通信模块将所述编码结果发送至头戴设备，供所述头戴设备根据所述编码结果展示相应的内容。

所述头戴设备根据所述编码结果展示相应的内容包括：对所述编码结果进行解码，得到待展示的左眼图像数据与待展示的右眼图像数据；展示所述待展示的左眼图像数据与所述待展示的右眼图像数据。

图3为本申请一示例性实施例提供的一种图像数据处理装置的结构示意图；其中，该装置包括：获取模块31、确定模块32及传输模块33，其中：

获取模块31，用于获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；

确定模块32，用于利用所述左眼图像数据与所述右眼图像数据确定组合图像；

传输模块33，用于根据所述组合图像通过RPC协议向编码进程传输对应的指示信息，使得所述编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果，其中，所述编码结果用于发送至头戴设备，供所述头戴设备展示相应的内容。

可选地，前述装置在用于获取待处理图像数据时，具体用于：

获取左眼图像对应的第一待复制区域，与右眼图像对应的第二待复制区域；

基于所述第一待复制区域与所述第二待复制区域分别获取所述左眼图像数据与所述右眼图像数据。

可选地，前述装置在用于利用所述左眼图像数据与所述右眼图像数据确定组合图像时，具体用于：

利用所述左眼图像的图像参数与所述右眼图像的图像参数创建待填充图像；

将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像。

可选地，前述装置在用于将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像时，具体用于：

获取所述待填充图像的第一起始填充位置；

利用所述左眼图像的图像参数与所述第一起始填充位置确定出所述待填充图像的第二起始填充位置；

基于所述第一起始填充位置，与所述第二起始填充位置分别将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像。

可选地，前述装置还用于：

获取原始左眼图像与原始右眼图像；

按照预设规则对所述原始左眼图像以及所述原始右眼图像进行剪切，得到所述左眼图像与所述右眼图像。

可选地，所述指示信息包括所述组合图像对应的句柄信息。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了上述方法实施例中的各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图4是本申请实施例提供的电子设备的示意性框图，该电子设备可包括：

存储器401和处理器402，该存储器401用于存储计算机程序，并将该程序代码传输给该处理器402。换言之，该处理器402可以从存储器401中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器402可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器402可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器401包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器401中，并由该处理器402执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图4所示，该电子设备还可包括：

收发器403，该收发器403可连接至该处理器402或存储器401。

其中，处理器402可以控制该收发器403与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器403可以包括发射机和接收机。收发器403还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

根据本申请的一个或多个实施例，提供一种图像数据处理方法，包括：获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；

利用所述左眼图像数据与所述右眼图像数据确定组合图像；

根据本申请的一个或多个实施例，获取待处理图像数据包括：

根据本申请的一个或多个实施例，利用所述左眼图像数据与所述右眼图像数据确定组合图像包括：

根据本申请的一个或多个实施例，将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像包括：

获取所述待填充图像的第一起始填充位置；

根据本申请的一个或多个实施例，所述方法还包括：

获取原始左眼图像与原始右眼图像；

根据本申请的一个或多个实施例，所述指示信息包括所述组合图像对应的句柄信息。

根据本申请的一个或多个实施例，提供一种图像数据处理方法，包括：

根据本申请的一个或多个实施例，所述头戴设备根据所述编码结果展示相应的内容包括：

对所述编码结果进行解码，得到待展示的左眼图像数据与待展示的右眼图像数据；

展示所述待展示的左眼图像数据与所述待展示的右眼图像数据。

根据本申请的一个或多个实施例，提供一种图像数据处理装置，包括：

获取模块，用于获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；

确定模块，用于利用所述左眼图像数据与所述右眼图像数据确定组合图像；

传输模块，用于根据所述组合图像通过RPC协议向编码进程传输对应的指示信息，使得所述编码进程基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果，其中，所述编码结果用于发送至头戴设备，供所述头戴设备展示相应的内容。

根据本申请的一个或多个实施例，前述装置在用于获取待处理图像数据时，具体用于：

根据本申请的一个或多个实施例，前述装置在用于利用所述左眼图像数据与所述右眼图像数据确定组合图像时，具体用于：

根据本申请的一个或多个实施例，前述装置在用于将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像时，具体用于：

获取所述待填充图像的第一起始填充位置；

根据本申请的一个或多个实施例，前述装置还用于：

获取原始左眼图像与原始右眼图像；

根据本申请的一个或多个实施例，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述各方法。

根据本申请的一个或多个实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述各方法。

获取单元，用于运行获取进程，用于获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；利用所述左眼图像数据与所述右眼图像数据确定组合图像；根据所述组合图像通过RPC协议向编码进程传输对应的指示信息；

发送单元，用于运行编码进程，具体用于基于所述指示信息确定出所述待处理图像数据，并对所述待处理图像数据进行编码得到编码结果；通过通信模块将所述编码结果发送至头戴设备，供所述头戴设备根据所述编码结果展示相应的内容。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims

1.一种图像数据处理方法，其特征在于，包括：

获取待处理图像数据，所述待处理图像数据包括左眼图像数据与右眼图像数据；

利用所述左眼图像数据与所述右眼图像数据确定组合图像；

2.根据权利要求1所述的方法，其特征在于，获取待处理图像数据包括：

3.根据权利要求1所述的方法，其特征在于，利用所述左眼图像数据与所述右眼图像数据确定组合图像包括：

4.根据权利要求3所述的方法，其特征在于，将所述左眼图像数据与所述右眼图像数据复制至所述待填充图像，得到所述组合图像包括：

获取所述待填充图像的第一起始填充位置；

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取原始左眼图像与原始右眼图像；

6.根据权利要求1所述的方法，其特征在于，所述指示信息包括所述组合图像对应的句柄信息。

7.一种图像数据处理方法，其特征在于，包括：

8.根据权利要求7所述的方法，其特征在于，所述头戴设备根据所述编码结果展示相应的内容包括：

9.一种图像数据处理装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6中任一项或权利要求7-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项或权利要求7-8中任一项所述的方法。