CN107465939B - 视频图像数据流的处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频图像数据流的处理方法及装置，其中，该方法包括：根据当前使用的图像处理环境创建三维模型的纹理索引，并获取三维模型的映射方式；按照三维模型所支持的数据格式对采集到的YUV格式的图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，二维表是在对YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；采用纹理索引将适配后的图像数据作为纹理数据加载至显存，并按照映射方式将纹理数据映射至三维模型。本发明解决了相关技术中无法实现YUV格式的图像数据在三维模型上进行流畅播放的技术问题。

Description

视频图像数据流的处理方法及装置

技术领域

本发明涉及视频播放领域，具体而言，涉及一种视频图像数据流的处理方法及装置。

背景技术

现有的将视频数据在三维模型上播放的方法中，通常是先从视频数据中获得图像；然后将连续的每帧图像调整为大小为2的若干次幂的视频图像，并将该图像转换成纹理；建立纹理的每个坐标和预先设定的三维图形的每个点坐标的映射关系；再根据该映射关系，将上述纹理的每个像素点的颜色映射到三维图形上；输出三维视频特效图像。

然而，在进行三维模型上播放时，通常只能实现部分格式的视频图像数据在三维模型上正常播放，因此该解决方案无法直接应用于大部分当前市场上监控摄像头录制的视频，尤其是对于高清的YUV格式的视频图像数据，即便在经过格式转换后能够在三维模型上直接进行播放，也会出现明显的卡顿，严重影响了用户的观看体验，

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种视频图像数据流的处理方法及装置，以至少解决相关技术中无法实现YUV格式的图像数据在三维模型上进行流畅播放的技术问题。

根据本发明实施例的一个方面，提供了一种视频图像数据流的处理方法，包括：根据当前使用的图像处理环境创建三维模型的纹理索引，并获取所述三维模型的映射方式；按照所述三维模型所支持的数据格式对采集到的YUV格式的图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，所述二维表是在对所述YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型。

进一步地，根据所述图像处理环境创建所述纹理索引包括：获取与所述图像处理环境对应的预设类型接口函数；采用所述预设类型接口函数创建所述纹理索引。

进一步地，按照所述三维模型所支持的数据格式对所述采集到的视频图像数据进行适配处理包括：获取所述三维模型的纹理支持的数据格式；判断所述YUV格式的图像数据所使用的数据格式与所述纹理支持的数据格式是否相同；如果所述YUV格式的图像数据所使用的数据格式与所述纹理支持的数据格式不同，采用预设算法将所述YUV格式的图像数据所使用的数据格式转换为所述纹理支持的数据格式；按照预设的三维模型的纹理大小对转换为所述纹理支持的数据格式的图像数据进行缩放处理，得到所述适配后的图像数据。

进一步地，采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型包括：采用所述纹理索引将所述适配后的图像数据加载至所述显存中，得到待映射的所述纹理数据；根据所述映射方式将所述纹理数据映射至所述三维模型。

进一步地，在按照所述映射方式将所述纹理数据映射至所述三维模型之后，还包括：按照以下方式之一对所述三维模型上的纹理进行更新：调用预设类型的接口函数对所述纹理进行更新；或者，启用预先配置的定时更新功能对所述纹理进行更新；或者，接收用户输入的更新操作指令，根据所述更新操作指令对所述纹理进行更新。

根据本发明实施例的另一方面，还提供了一种视频图像数据流的处理装置，包括：处理模块，用于根据当前使用的图像处理环境创建三维模型的纹理索引，并获取所述三维模型的映射方式；适配模块，用于按照所述三维模型所支持的数据格式对采集到的YUV格式的视频图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，所述二维表是在对所述YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；映射模块，用于采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型。

进一步地，所述处理模块包括：第一获取单元，用于获取与所述图像处理环境对应的预设类型接口函数；创建单元，用于采用所述预设类型接口函数创建所述纹理索引。

进一步地，所述适配模块包括：第二获取单元，用于获取所述三维模型的纹理支持的数据格式；判断单元，用于判断所述YUV格式的图像数据所使用的数据格式与所述纹理支持的数据格式是否相同；转换单元，用于在所述判断单元输出为否时，采用预设算法将所述YUV格式的图像数据所使用的数据格式转换为所述纹理支持的数据格式；缩放单元，用于按照预设的三维模型的纹理大小对转换为所述纹理支持的数据格式的图像数据进行缩放处理，得到所述适配后的图像数据。

进一步地，所述映射模块包括：加载单元，用于采用所述纹理索引将所述适配后的图像数据加载至所述显存中，得到待映射的所述纹理数据；映射单元，用于根据所述映射方式将所述纹理数据映射至所述三维模型。

进一步地，所述装置还包括：更新模块，用于按照以下方式之一对所述三维模型上的纹理进行更新：调用预设类型的接口函数对所述纹理进行更新；或者，启用预先配置的定时更新功能对所述纹理进行更新；或者，接收用户输入的更新操作指令，根据所述更新操作指令对所述纹理进行更新

在本发明实施例中，采用根据当前使用的图像处理环境创建三维模型的纹理索引，并获取所述三维模型的映射方式，然后按照所述三维模型所支持的数据格式对采集到的YUV格式的图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，所述二维表是在对所述YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的，最后采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型，通过根据当前使用的图像处理环境来得到纹理索引和三维模型的映射方式，达到了在不同的三维环境和播放平台都能对获取的高清视频数据流进行三维视频流畅播放的技术效果，通过按照所述三维模型的纹理设置方式对所述视频图像数据流进行适配处理，达到了一个三维模型纹理同时兼容多种不同格式的视频数据并能够根据实际应用对三维视频进行调整的效果，解决了相关技术中无法实现YUV格式的图像数据在三维模型上进行流畅播放的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频图像数据流的处理方法流程图；

图2是根据本发明实施例的视频图像数据流的处理装置结构框图；

图3是根据本发明实施例的视频图像数据流的处理装置可选结构框图一；

图4是根据本发明实施例的视频图像数据流的处理装置可选结构框图二；

图5是根据本发明实施例的视频图像数据流的处理装置可选结构框图三；

图6是根据本发明实施例的视频图像数据流的处理装置可选结构框图四；

图7是根据本发明可选实施例的三维模型视频播放的流程图；

图8是根据本发明可选实施例的视频纹理实现和映射的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种视频图像数据流的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的视频图像数据流的处理方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，根据当前使用的图像处理环境创建三维模型的纹理索引，并获取三维模型的映射方式；

可选地，图像处理环境为三维视频的播放环境或播放平台，在本实施例中，根据图像处理环境创建的纹理索引有两种：根据开放图形库(Open Graphics Library，简称为OpenGL，其定义了一个跨编程语言、跨应用平台的编程接口规格的图形程序接口)环境创建的GLuint类型的纹理索引，以及根据Direct3D 11(简称为D3D11，Windows中的为提高显示性能而开发的显示程序接口)环境创建的ID3D11Texture2D*类型的纹理索引。其他类型的纹理索引，例如，Unity3D通过GetNativeTexturePtr()取得的IntPtr类型的纹理索引，可以通过简单的赋值转换为其对应工作环境下的纹理索引，即转换为GLuint类型或ID3D11Texture2D*类型的纹理索引。在本实施例中，纹理索引用于将获取到的视频图像数据流转化为纹理数据，映射方式用于将纹理数据映射至三维模型，不同的图像处理环境使用的映射方式可以不同，在本实施例中，D3D11环境下使用UpdateSubresource的映射方式，OpenGL环境下使用glTexSubImage2D的映射方式。

步骤S104，按照三维模型所支持的数据格式对采集到的YUV格式的图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，二维表是在对YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；

可选的，三维模型的纹理类型不同，纹理对应的三维模型支持的数据格式也不同，在具体的三维视频播放过程中，为了使显示效果更加灵活和逼真，需要对视频数据流进行适配处理，为了提高视频数据的转换速度和效率，本发明通过查找二维表的方式获取适配后的图像数据，并且二维表是在对YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的。

作为本发明的一种实施方式，在适配处理过程中查找二维表的方法可采用完全查表法对视频数据的转换算法进行优化，以加快计算速度，提高视频数据的转换效率，从而使得本发明优选实施例中所提供的转换方式不但可以对普通视频数据流进行适配，同时还可以对高清视频数据流进行适配，进而解决了上述阻塞和丢帧的问题，其具体算法如下：

y＝(YUVdata[YPOS]>>2)；//Y的位置右移两位

u＝(YUVdata[UPOS]>>2)；//U的位置右移两位

v＝(YUVdata[VPOS]>>2)；//V的位置右移两位

r＝yv2r_table[y][v]；//r在表中的位置

g＝yig2g_table[y][uv2ig_table[u][v]]；//g在表中的位置

b＝yu2b_table[y][u]；//b在表中的位置

RGBdata[1]＝((r&0xF8)|(g>>5))；//r的低三位置0，g右移五位

RGBdata[0]＝(((g&0x1C)<<3)|(b>>3))；//g保留高三位，低五位清零

其中，YUVdata是YUV格式视频帧的源数据，RGBdata是RGB格式的目标数据，YPOS、UPOS、VPOS分别是Y、U、V有源数据中的位置，“>>n”表示右移n位，“<<n”表示左移n位，RGBdata[0]和RGBdata[1]为预先定义的两个数组，“r&0xF8”表示r的低3位置0，“g&0x1C”表示g的高三位保留而低五位清0，yv2r_table、yig2g_table、uv2ig_table、yu2b_table是四张6*6的二维表。

步骤S106，采用纹理索引将适配后的图像数据作为纹理数据加载至显存，并按照映射方式将纹理数据映射至三维模型。

根据当前使用的图像处理环境，使用该图像处理环境下对应的纹理索引先将适配后的视频图像数据流作为纹理数据加载至显存，纹理数据可以以纹理的形式映射在三维模型上，然后按照映射方式将纹理数据映射至三维模型，实现视频数据流在三维模型上的动态播放。

在本发明实施例中，采用根据当前使用的图像处理环境创建三维模型的纹理索引，并获取三维模型的映射方式，然后按照三维模型所支持的数据格式对采集到的YUV格式的图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，二维表是在对YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的，以加快计算速度，提高视频数据的转换效率，最后采用纹理索引将适配后的图像数据作为纹理数据加载至显存，并按照映射方式将纹理数据映射至三维模型，通过根据当前使用的图像处理环境来得到纹理索引和三维模型的映射方式，达到了在不同的三维环境和播放平台都能对获取的高清视频数据流进行三维视频流畅播放的技术效果，通过按照三维模型的纹理设置方式对视频图像数据流进行适配处理，达到了一个三维模型纹理同时兼容多种不同格式的视频数据并能够根据实际应用对三维视频进行调整的效果，解决了相关技术中无法实现YUV格式的图像数据在三维模型上进行流畅播放的技术问题。

在本实施例中的视频图像可以是各种格式和类型的视频图像，如高清视频图像，但不做限定。

在根据发明实施例的可选实施方式中，根据图像处理环境创建纹理索引包括：

步骤S11，获取与图像处理环境对应的预设类型接口函数；

在本实施例中，可以根据获取当前图像处理环境中的系统接口的类型，进而得到当前的图像处理环境，由于不同的系统接口所预设的调用视频数据的接口函数不同，可以通过获取当前系统接口所使用的接口函数来识别当前使用的图像处理环境。

在实际使用过程中，接口函数可以具体为：OpenGL环境下的GLuint类型的接口函数，D3D11环境下的ID3D11Texture2D*类型的接口函数等。

步骤S12，采用预设类型接口函数创建纹理索引。

在具体实施过程中，既可以在OpenGL环境下创建GLuint类型的纹理索引，也可以在D3D11环境下创建ID3D11Texture2D*类型的纹理索引，还可以在Unity3D环境下通过GetNativeTexturePtr()取得IntPtr类型的纹理索引。

在根据发明实施例的可选实施方式中，按照三维模型所支持的数据格式对采集到的视频图像数据流进行适配处理包括：

步骤S21，获取三维模型的纹理支持的数据格式；

在本发明实施例中，不同的三维模型的纹理能够兼容和支持的视频数据格式是唯一的或者有限的，在具体的实施过程中，可通过数据库提供的解码回调函数接口获取纹理支持的数据格式，在视频数据中，YUV(其为欧洲电视系统所采用的一种颜色编码方法，其中，“Y”表示明亮度，“U”和“V”表示色度)数据类型可以包括但不限于：YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等多种格式，若不经过转换，将其调整为纹理对应的第一数据格式，则无法直接作为模型纹理进行播放。

步骤S22，判断YUV格式的图像数据所使用的数据格式与纹理支持的数据格式是否相同；

步骤S23，如果YUV格式的图像数据所使用的数据格式与纹理支持的数据格式不同，采用预设算法将YUV格式的图像数据所使用的数据格式转换为纹理支持的数据格式；

在本实施例中，对于视频帧图像数据格式的转换算法，提供两种不同的实施方式，对于一般的视频帧图像数据，如，YUV2RGB(RGB是工业界的一种颜色标准，R、G、B分别代表红、绿、蓝三个通道的颜色)格式的视频帧图像数据的转换，可通过如下算法来实现：

R＝Y+1.4075*(V-128)

G＝Y+0.3455*(U-28)+0.7169*(V-128)

B＝Y+1.779*(U-128)

然而，对于部分高清视频帧图像数据，上述转换方式将无法满足，而如果继续采用上述转换方式进行视频数据转换处理，则容易造成阻塞和丢帧。故而，对于无法转换的高清视频数据，本实施例的可选实施方式采用完全查表法对转换算法进行了优化，加快了计算速度，提高了视频数据的转换效率，从而使得本发明优选实施例中所提供的转换方式不但可以对普通视频数据流进行适配，同时还可以对高清视频数据流进行适配，进而解决了上述阻塞和丢帧的问题，其具体算法如下：

y＝(YUVdata[YPOS]>>2)；//Y的位置右移两位

u＝(YUVdata[UPOS]>>2)；//U的位置右移两位

v＝(YUVdata[VPOS]>>2)；//V的位置右移两位

r＝yv2r_table[y][v]；//r在表中的位置

g＝yig2g_table[y][uv2ig_table[u][v]]；//g在表中的位置

b＝yu2b_table[y][u]；//b在表中的位置

RGBdata[1]＝((r&0xF8)|(g>>5))；//r的低三位置0，g右移五位

RGBdata[0]＝(((g&0x1C)<<3)|(b>>3))；//g保留高三位，低五位清零

其中，YUVdata是YUV格式视频帧的源数据，RGBdata是RGB格式的目标数据，YPOS、UPOS、VPOS分别是Y、U、V有源数据中的位置，“>>n”表示右移n位，“<<n”表示左移n位，RGBdata[0]和RGBdata[1]为预先定义的两个数组，“r&0xF8”表示r的低3位置0，“g&0x1C”表示g的高三位保留而低五位清0，yv2r_table、yig2g_table、uv2ig_table、yu2b_table是四张6*6的二维表。

步骤S24，按照预设的三维模型的纹理大小对转换为纹理支持的数据格式的图像数据进行缩放处理，得到适配后的图像数据。

不同的图像处理环境对纹理的大小有不同的要求，如OpenGL环境要求纹理的大小为2的次冥，即需要将数据流的每帧图像调整为大小为2的若干次幂的视频图像，并将该图像转换成纹理，当纹理的大小与视频分辨率的大小不符时，会导致纹理映射失败。本实施例在纹理映射前对视频数据进行缩放，得到适配后的视频图像数据流，具体可采用双线性内插值法来实现视频数据的缩放：对于一帧视频数据图像目的像素，像素值坐标为f(i,j)，对原坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中，i、j均为非负整数，u、v为[0,1)区间的浮点数，则这个像素值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：

f(i+u,j+v)＝(1-u)(1-v)*f(i,j)+(1-u)v*f(i,j+1)+u(1-v)*f(i+1,j)+uv*f(i+1,j+1)

具体可通过创建的纹理和视频数据图像的像素值来设置浮点值的取值大小，从而保证视频与模型纹理始终完全吻合，无须考虑视频数据源的分辨率大小的影响。

在根据发明实施例的可选实施方式中，采用纹理索引将适配后的视频图像数据流作为纹理数据加载至显存，并按照上述映射方式将纹理数据映射至三维模型包括：

步骤S31，采用纹理索引将适配后的视频图像数据流加载至显存中，得到待映射的纹理数据；

相关技术中，通常采用中央处理器对视频图像数据流进行处理和加载，而这样无疑会加大中央处理器的处理负担。为此，本实施例通过创建的纹理索引来管理显存中的纹理缓冲区域，将适配后的视频图像数据流加载至显存中，还可以开辟内存缓冲区用来管理不同的视频图像数据，例如，开辟一个存放无符号字符型的缓冲区域来存放不断更新的视频图像数据。

步骤S32，根据映射方式将纹理数据映射至三维模型。

在本实施例中，纹理实际上为图像，纹理映射是图形学中的一个基本技术，其目的是将图像贴到物体表面，为了让映射后的纹理看起来和真实的视频一样，在具体的映射过程中，可以将纹理映射到一个法线向量和Z轴平行的平面上。纹理映射的本质是图像的重采样，即建立空间三维点和图像平面像素点之间的映射关系，然后将图像中像素点的颜色赋给空间点，因此纹理映射的关键是建立映射关系。在本实施例的OpenGL平台中，可以实现到三维模型的纹理映射，只要为空间点设置对应的纹理坐标即可，因为OpenGL提供了丰富的纹理处理函数，并且这些函数都是固化在硬件当中，因此在生成特效时，利用纹理映射方式来缩放和对图像进行滤波等处理都能够达到很好的映射效率。

在本实施例的OpenGL平台的图像处理环境下，将视频数据转换为纹理，可以在此基础上加入丰富的三维效果，以实现三维视频的播放，如，根据一个随机运动的三维模型，将视频数据映射到三维模型上，其中，视频数据作为纹理被导入显存之后，在OpenGL的支持下，可以根据OpenGL环境下的特定类型函数所设定的映射方式将纹理映射至三维模型上，从而实现三维的效果，同时由于视频数据是实时更新的，因此，映射后纹理也会不断更新，从而将视频和三维技术很好地融合在一起，实现三维视频的播放效果。

在根据发明实施例的可选实施方式中，在按照映射方式将纹理数据映射至三维模型之后，三维模型上的纹理进行更新：更新方式可以但不限于：调用预设类型的接口函数对纹理进行更新、启用预先配置的定时更新功能对纹理进行更新、接收用户输入的更新操作指令，根据更新操作指令对纹理进行更新。

在上述可选实施方式中，在将视频图像数据流映射至三维模型之后还需要对三维模型上的纹理进行更新，以形成连续的视频播放效果，根据不同的图像处理环境，不同的三维平台，可采用不同的实现方案。对于本身自带视频纹理定时刷新功能的三维平台，对三维模型上的纹理进行更新时无需手动添加刷新指令，只需调用预设类型的接口函数对纹理进行更新，如，三维平台Unity3D，而对于其他的图像处理环境，如，ArcGIS平台，则需要启用预先配置的定时更新功能对纹理进行更新或接收用户输入的更新操作指令手动更新，具体可通过添加时钟，设置刷新周期来定时刷新三维模型。

根据本发明实施例的另一方面，还提供了一种视频图像数据流的处理装置，图2是根据本实施例的视频图像数据流的处理装置结构框图，如图2所示，该装置包括：处理模块20、适配模块22、映射模块24，具体如下：

处理模块20，用于根据当前使用的图像处理环境创建三维模型的纹理索引，并获取三维模型的映射方式；

可选地，图像处理环境为三维视频的播放环境或播放平台，在本实施例中，处理模块20根据当前使用的图像处理环境创建的纹理索引有两种：根据OpenGL环境创建的GLuint类型的纹理索引，以及根据D3D11环境创建的ID3D11Texture2D*类型的纹理索引。其他类型的纹理索引，例如，Unity3D通过GetNativeTexturePtr()取得的IntPtr类型的纹理索引，处理模块20都可以通过简单的赋值转换为其对应工作环境下的纹理索引，即转换为GLuint类型或ID3D11Texture2D*类型的纹理索引。在本实施例中，纹理索引用于将获取到的视频图像数据流转化为纹理数据，映射方式用于将纹理数据映射至三维模型，不同的图像处理环境使用的映射方式可以不同，在本实施例中，D3D11环境下使用UpdateSubresource的映射方式，OpenGL环境下使用glTexSubImage2D的映射方式；

适配模块22，与处理模块20耦合连接，用于按照三维模型所支持的数据格式对采集到的YUV格式的视频图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，二维表是在对YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；

可选的，三维模型的纹理类型不同，纹理对应的三维模型支持的数据格式也不同，在具体的三维视频播放过程中，为了使显示效果更加灵活和逼真，适配模块22需要对视频数据流进行适配处理。

映射模块24，与适配模块22耦合连接，用于采用纹理索引将适配后的视频图像数据流作为纹理数据加载至显存，并按照映射方式将纹理数据映射至三维模型。

根据当前使用的图像处理环境，使用该图像处理环境下对应的纹理索引先将适配后的视频图像数据流作为纹理数据记载至显存，纹理数据可以以纹理的形式映射在三维模型上，然后按照映射方式将纹理数据映射至三维模型，实现视频数据流在三维模型上的动态播放。

图3是根据本实施例的视频图像数据流的处理装置可选结构框图一，如图3所示，该装置除了包括图2所示的所有模块外，处理模块20包括：第一获取单元30、创建单元32，具体如下：

第一获取单元30，用于获取与图像处理环境对应的预设类型接口函数；

在本实施例中，第一获取单元30可以根据获取当前图像处理环境中的系统接口的类型，进而得到当前的图像处理环境，由于不同的系统接口所预设的调用视频数据的接口函数不同，可以通过获取当前系统接口所使用的接口函数来识别当前使用的图像处理环境。

在实际使用过程中，接口函数可以具体为：OpenGL环境下的GLuint类型的接口函数，D3D11环境下的ID3D11Texture2D*类型的接口函数等。

创建单元32，与第一获取单元30耦合连接，用于采用预设类型接口函数创建纹理索引。

在具体实施过程中，创建单元32既可以在OpenGL环境下创建GLuint类型的纹理索引，也可以在D3D11环境下创建ID3D11Texture2D*类型的纹理索引，还可以在Unity3D环境下通过GetNativeTexturePtr()取得IntPtr类型的纹理索引。

图4是根据本实施例的视频图像数据流的处理装置可选结构框图二，如图4所示，该装置除了包括图2所示的所有模块外，适配模块22包括：第二获取单元40、判断单元42、转换单元44、缩放单元46，具体如下：

第二获取单元40，用于获取三维模型的纹理支持的第一数据格式；

在本发明实施例中，不同的三维模型的纹理能够兼容和支持的视频数据格式是唯一的或者有限的，在具体的实施过程中，第二获取单元40可通过播放库提供的解码回调函数接口获取纹理支持的数据格式，在视频数据中，YUV数据类型可以包括但不限于：YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等多种格式，若不经过转换，将其调整为纹理对应的第一数据格式，则无法直接作为模型纹理进行播放。

判断单元42，用于判断YUV格式的图像数据所使用的数据格式与纹理支持的数据格式是否相同；

转换单元44，用于在判断单元输出为否时，采用预设算法将YUV格式的图像数据所使用的数据格式转换为纹理支持的数据格式；

在本实施例中，对于视频帧图像数据格式的转换算法，转换单元44可通过两种不同的实施方式来实现，对于一般的视频帧图像数据，如，YUV2RGB格式的视频帧图像数据的转换，转换单元44可通过如下算法来实现：

R＝Y+1.4075*(V-128)

G＝Y+0.3455*(U-28)+0.7169*(V-128)

B＝Y+1.779*(U-128)

然后，对于部分高清视频帧图像数据，上述转换方式将无法满足，如果继续采用上述转换方式进行视频数据转换处理，则容易造成阻塞和丢帧。对于无法转换的高清视频数据，本实施例的转换单元44采用完全查表法对转换算法进行了优化，加快了计算速度，提高了视频数据的转换效率，从而使得本发明优选实施例中所提供的转换方式不但可以对普通视频数据流进行适配，同时还可以对高清视频数据流进行适配，进而解决了上述阻塞和丢帧的问题，其具体算法如下：

y＝(YUVdata[YPOS]>>2)；

u＝(YUVdata[UPOS]>>2)；

v＝(YUVdata[VPOS]>>2)；

r＝yv2r_table[y][v]；

g＝yig2g_table[y][uv2ig_table[u][v]]；

b＝yu2b_table[y][u]；

RGBdata[1]＝((r&0xF8)|(g>>5))；

RGBdata[0]＝(((g&0x1C)<<3)|(b>>3))；

其中，YUVdata是YUV格式视频帧的源数据，RGBdata是RGB格式的目标数据，YPOS、UPOS、VPOS分别是Y、U、V有源数据中的位置，“>>n”表示右移n位，“<<n”表示左移n位，RGBdata[0]和RGBdata[1]为预先定义的两个数组，“r&0xF8”表示r的低3位置0，“g&0x1C”表示g的高三位保留而低五位清0，yv2r_table、yig2g_table、uv2ig_table、yu2b_table是四张6*6的二维表。

缩放单元46，用于按照预设的三维模型的纹理大小对转换为纹理支持的数据格式的图像数据进行缩放处理，得到适配后的图像数据。

不同的图像处理环境对纹理的大小有不同的要求，如OpenGL环境要求纹理的大小为2的次冥，即需要将数据流的每帧图像调整为大小为2的若干次幂的视频图像，并将该图像转换成纹理，当纹理的大小与视频分辨率的大小不符时，会导致纹理映射失败。本实施例的缩放单元46在纹理映射前对视频数据进行缩放，得到适配后的视频图像数据流，缩放单元46具体可采用双线性内插值法来实现视频数据的缩放：对于一帧视频数据图像目的像素，像素值坐标为f(i,j)，对原坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中i、j均为非负整数，u、v为[0,1)区间的浮点数，则这个像素值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：

f(i+u,j+v)＝(1-u)(1-v)*f(i,j)+(1-u)v*f(i,j+1)+u(1-v)*f(i+1,j)+uv*f(i+1,j+1)

具体可通过创建的纹理和视频数据图像的像素值来设置不同大小的浮点值，从而保证视频与模型纹理始终完全吻合，无须考虑视频数据源的分辨率大小的影响。

图5是根据本实施例的视频图像数据流的处理装置可选结构框图三，如图5所示，该装置除了包括图2所示的所有模块外，映射模块24包括：加载单元50、映射单元52，具体如下：

加载单元50，用于采用纹理索引将适配后的图像数据加载至显存中，得到待映射的纹理数据；

相关技术中，都是通过中央处理器对视频图像数据流进行处理和加载，而这样无疑会加大中央处理器的处理负担，本实施例的加载单元50通过创建的纹理索引来管理显存中的纹理缓冲区域，将适配后的视频图像数据流加载至显存中，还可以开辟内存缓冲区用来管理不同的视频图像数据，例如，开辟一个存放无符号字符型的缓冲区域来存放不断更新的视频图像数据。

映射单元52，用于根据映射方式将纹理数据映射至三维模型。

图6是根据本实施例的视频图像数据流的处理装置可选结构框图四，如图6所示，该装置除了包括图2所示的所有模块外，装置还包括：更新模块60,与映射模块24耦合连接，用于按照以下方式之一对三维模型上的纹理进行更新：调用预设类型的接口函数对纹理进行更新；启用预先配置的定时更新功能对纹理进行更新；接收用户输入的更新操作指令，根据更新操作指令对纹理进行更新。

在上述可选的实施方式中，在将视频图像数据流映射至三维模型之后还需要对三维模型上的纹理进行更新，以实现三维视频的连续播放，根据不同的图像处理环境，不同的三维平台，可采用不同的实现方案。对于本身自带视频纹理定时刷新功能的处理环境，对三维模型上的纹理进行更新时无需手动添加刷新指令，只需调用预设类型的接口函数对纹理进行更新，如，三维平台Unity3D，而对于其他的图像处理环境，如，ArcGIS平台，则需要启用预先配置的定时更新功能对纹理进行更新或接收用户输入的更新操作指令手动更新，具体可通过添加时钟，设置刷新周期来定时刷新三维模型。

下面结合本发明可选的实施例对本发明进行进一步的说明，图7是根据本发明可选实施例的三维模型视频播放的流程图，包括以下步骤：

S702，创建三维模型的纹理索引；

可选的，可通过创建的纹理索引把内存缓冲区中的图像数据引入显存，并对显存中的纹理缓冲区进行管理，从而降低CPU工作负荷，提高系统工作效率。

本实施例的纹理索引有两种：OpenGL环境中GLuint类型的纹理索引和D3D11环境中ID3D11Texture2D*类型的纹理索引。其他类型的纹理索引(如Unity3D通过GetNativeTexturePtr()取得的IntPtr类型)，都可以通过简单的赋值转换为其对应工作环境下的纹理索引，即GLuint类型或ID3D11Texture2D*类型的纹理索引。

S704，根据三维模型纹理索引将转换后的视频数据映射到对应的三维模型上。

S706，定时刷新三维模型纹理，实现视频帧不间断播放。

可选的，定时刷新的功能需要调用接口来实现，根据不同的三维平台，可采用不同的实现方案。如三维平台Unity3D，平台自带视频纹理定时刷新功能，在调用本实施例的接口时无需手动添加，来刷新三维模型纹理，平台ArcGIS则需要另外添加时钟，定时刷新模型三维模型纹理，实现视频帧不间断播放。

图8是根据本发明可选实施例的视频纹理实现和映射的流程图，以对步骤S704作进一步的说明，如图8所示，包括：

S802，获取视频帧数据；

在本实施例中，可采用首先初始化目标摄像机设备，登陆预览并设置回调数据流来获取视频帧数据。对于不同的数据数据源，可以根据三维摄像机模型对应的摄像机标识，用户通过摄像机提供的码流数据获取方式获取视频数据,可以但不限于采用：网络传输、USB传输。

S804，将获取的视频帧数据的格式转换为纹理对应的数据格式；

可选的，可通过优化的转换算法将其转换为纹理对应的数据格式。当前市场上使用广泛的监控摄像头的大部分为YUV数据类型，如：YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等格式，若不经过转换，无法直接作为模型纹理进行播放，考虑到对于部分高清视频数据而言，一般的转换方式无法满足，容易造成阻塞和丢帧。本实施例采用完全查表法对转换算法进行了优化。YUV2RGB转换的算法结构如下：

R＝Y+1.4075*(V-128)

G＝Y+0.3455*(U-28)+0.7169*(V-128)

B＝Y+1.779*(U-128)

为实现优化算法，转换的算法结构如下：

y＝(YUVdata[YPOS]>>2)；

u＝(YUVdata[UPOS]>>2)；

v＝(YUVdata[VPOS]>>2)；

r＝yv2r_table[y][v]；

g＝yig2g_table[y][uv2ig_table[u][v]]；

b＝yu2b_table[y][u]；

RGBdata[1]＝((r&0xF8)|(g>>5))；

RGBdata[0]＝(((g&0x1C)<<3)|(b>>3))；

其中，YUVdata是YUV格式视频帧的源数据，RGBdata是RGB格式的目标数据，YPOS、UPOS、VPOS分别是Y、U、V有源数据中的位置，“>>n”表示右移n位，“<<n”表示左移n位，RGBdata[0]和RGBdata[1]为预先定义的两个数组，“r&0xF8”表示r的低3位置0，“g&0x1C”表示g的高三位保留而低五位清0，yv2r_table、yig2g_table、uv2ig_table、yu2b_table是四张6*6的二维表。

S806，根据三维模型纹理的大小对格式转换后的视频帧数据进行缩放；

根据三维模型纹理大小，对S804得到的数据进行缩放，从而保证视频与模型纹理始终完全吻合，无须考虑视频分辨率大小的影响。OpenGL环境要求纹理的大小为2的次冥，与视频分辨率不符时，会纹理映射失败，因此本发明在纹理映射前采用双线性内插值法对视频帧数据进行缩放。对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中i、j均为非负整数，u、v为[0,1)区间的浮点数，则这个像素值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：

f(i+u,j+v)＝(1-u)(1-v)*f(i,j)+(1-u)v*f(i,j+1)+u(1-v)*f(i+1,j)+uv*f(i+1,j+1)

其中f(i,j)表示源图像(i,j)处的的像素值，依次类推。

S808，根据三维模型纹理索引将缩放得到的数据映射到对应的三维模型上。

根据三维模型纹理索引，将S806得到的数据引入显存，作为三维模型纹理映射到对应的三维模型上，具体的，D3D11环境下使用UpdateSubresource映射方式，OpenGL环境下使用glTexSubImage2D映射方式。

本实施例通过解析监控视频回调数据流，结合OpenGL和D3D11提供的显存缓冲区和纹理渲染技术，成功实现在三维模型上实时播放监控视频，增强了三维虚拟现实的真实体验效果。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频图像数据流的处理方法，其特征在于，包括：

根据当前使用的图像处理环境创建三维模型的纹理索引，并获取所述三维模型的映射方式；

按照所述三维模型所支持的数据格式对采集到的YUV格式的图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，所述二维表是在对所述YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；

采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型。

2.根据权利要求1所述的方法，其特征在于，根据所述图像处理环境创建所述纹理索引包括：

获取与所述图像处理环境对应的预设类型接口函数；

采用所述预设类型接口函数创建所述纹理索引。

3.根据权利要求1所述的方法，其特征在于，按照所述三维模型所支持的数据格式对所述采集到的视频图像数据进行适配处理包括：

获取所述三维模型的纹理支持的数据格式；

判断所述YUV格式的图像数据所使用的数据格式与所述纹理支持的数据格式是否相同；

如果所述YUV格式的图像数据所使用的数据格式与所述纹理支持的数据格式不同，采用预设算法将所述YUV格式的图像数据所使用的数据格式转换为所述纹理支持的数据格式；

按照预设的三维模型的纹理大小对转换为所述纹理支持的数据格式的图像数据进行缩放处理，得到所述适配后的图像数据。

4.根据权利要求1所述的方法，其特征在于，采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型包括：

采用所述纹理索引将所述适配后的图像数据加载至所述显存中，得到待映射的所述纹理数据；

根据所述映射方式将所述纹理数据映射至所述三维模型。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在按照所述映射方式将所述纹理数据映射至所述三维模型之后，还包括：

按照以下方式之一对所述三维模型上的纹理进行更新：

调用预设类型的接口函数对所述纹理进行更新；或者，

启用预先配置的定时更新功能对所述纹理进行更新；或者，

接收用户输入的更新操作指令，根据所述更新操作指令对所述纹理进行更新。

6.一种视频图像数据流的处理装置，其特征在于，包括：

处理模块，用于根据当前使用的图像处理环境创建三维模型的纹理索引，并获取所述三维模型的映射方式；

适配模块，用于按照所述三维模型所支持的数据格式对采集到的YUV格式的视频图像数据进行适配处理，其中，在适配处理过程中通过在二维表中查表的方式获取适配后的图像数据，所述二维表是在对所述YUV格式的图像数据中的YUV格式视频帧的源数据进行移位运算后得到的；

映射模块，用于采用所述纹理索引将所述适配后的图像数据作为纹理数据加载至显存，并按照所述映射方式将所述纹理数据映射至所述三维模型。

7.根据权利要求6所述的装置，其特征在于，所述处理模块包括：

第一获取单元，用于获取与所述图像处理环境对应的预设类型接口函数；

创建单元，用于采用所述预设类型接口函数创建所述纹理索引。

8.根据权利要求6所述的装置，其特征在于，所述适配模块包括：

第二获取单元，用于获取所述三维模型的纹理支持的数据格式；

判断单元，用于判断所述YUV格式的图像数据所使用的数据格式与所述纹理支持的数据格式是否相同；

转换单元，用于在所述判断单元输出为否时，采用预设算法将所述YUV格式的图像数据所使用的数据格式转换为所述纹理支持的数据格式；

缩放单元，用于按照预设的三维模型的纹理大小对转换为所述纹理支持的数据格式的图像数据进行缩放处理，得到所述适配后的图像数据。

9.根据权利要求6所述的装置，其特征在于，所述映射模块包括：

加载单元，用于采用所述纹理索引将所述适配后的图像数据加载至所述显存中，得到待映射的所述纹理数据；

映射单元，用于根据所述映射方式将所述纹理数据映射至所述三维模型。

10.根据权利要求6至9中任意一项所述的装置，其特征在于，所述装置还包括：

更新模块，用于按照以下方式之一对所述三维模型上的纹理进行更新：

调用预设类型的接口函数对所述纹理进行更新；或者，

启用预先配置的定时更新功能对所述纹理进行更新；或者，

接收用户输入的更新操作指令，根据所述更新操作指令对所述纹理进行更新。