CN109658488A - 一种虚实融合系统中通过可编程gpu加速解码摄像头视频流的方法 - Google Patents

Abstract

本发明公开一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，包括：获取原始YUV视频；将每帧YUV画面的像素流创建单通道纹理传输至GPU；绘制三维虚拟场景，判断当前像素是否属于摄像头画面；RGB像素与三维场景混合形成最终的虚实融合画面。本发明相对于传统在CPU上多线程解码YUV视频像素的方法，可以有效裁剪更多的无需采样的原始视频像素，同时基于更强并行解码能力的GPU，也使得解码效率得以大幅度提升。本发明算法明确，结果鲁棒，且该方法可以用于大型三维虚拟场景与实时监控融合应用中，与目前主流的摄像头厂家视频很好地结合在一起使用。

Description

一种虚实融合系统中通过可编程GPU加速解码摄像头视频流 的方法

技术领域

本发明涉及虚实融合系统中摄像头视频解码效率的优化，尤其是涉及一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法。

背景技术

随着“智慧城市”的高速发展，公共区域视频监控系统覆盖密度和建设质量都得到大幅度的提升。当前各类监控指挥中心最常用的解决方案就是监控视频墙，监控人员每看到视频画面需要在大脑中理解这个场景，从认知的角度来看，频繁地转移注意力会造成反馈时间加长和大脑的疲劳。通过对摄像头部署的环境进行三维建模，然后将二维画面的监控视频无缝融合进三维场景中。这样的由虚拟的三维环境配合现实监控视频的虚实结合系统，本质是一种增强现实，可有效提升用户对视频画面和空间感的认知，也便于观察跨视频事件的全局发展。

三维虚拟场景的绘制会对效率有较高的要求，而视频的传输、识别、解码、转码等操作也会给硬件带来非常大的压力。H.264作为当前视频压缩领域主流的编码标准，具有低带宽、高画质的压缩能力。相比于H.263 和MPEG-4，编码效率提高了大约50％。然而高压缩比却也带来了很高的算法复杂度以及很大的计算量，如果使用CPU进行解码，将会占用CPU大量的计算资源。

颜色是人类视觉系统中对光谱可见区域的感知结果，只会存在于人的大脑和眼睛中。最常见的颜色空间即为RGB编码。通过红绿蓝三种颜色，可以组合成各种各样的颜色，被广泛应用于计算机图形学、彩色电视等领域，也是视频虚拟融合系统中显卡输出最终需要的颜色。YUV同样是一种颜色空间。包含YUV三个分量，其中Y分量表示亮度，UV表示色调，描述图像的色彩以及饱和度，一般视频采集设备(如监控摄像头) 采集RGB的原始颜色后，采用YUV编码进行压缩后传输，可以大幅度降低视频流的传输量。随着视频设备硬件水平的不断提高，接入路数的增加，视频画面越来越清晰，分辨率越来越高。像素颜色的解码工作原则是可以并行计算的，现代GPU相对于CPU具有更多的计算单元，更适合并行计算。同时，为保证大场景的绘制效率，一般视频虚拟融合系统会配备一块高性能GPU。这样，基于GPU的可编程管线，面向原始视频YUV流进行高效的并行转换至RGB，就成为了一个具有现实意义的重要问题。

发明内容

本发明提供一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，着重解决了基于可编程GPU，将监控摄像头原始YUV编码的视频流数据，在绘制三维虚拟场景时，高效并行地进行解码至RGB像素；除去传输，解码全过程无需CPU参与。

为实现上述的发明目的，本发明采用的具体技术方案如下：

一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，包括以下步骤：

1)获取摄像机的原始视频流，将YUV格式的原始视频逐帧保存；

2)将每帧YUV画面的像素流构建成单通道纹理，生成对应的纹理信息；

3)绘制三维场景，在GPU片段着色器上判断当前绘制的像素是否属于摄像头画面所覆盖的区域；

4)若当前像素是摄像头画面覆盖区域，对步骤2)中像素对应的纹理信息进行采样，并将采样出来的YUV颜色解码成所需的RGB颜色；

5)将步骤4)中得到的RGB像素与绘制的三维场景混合叠加，完成最终的虚实融合画面。

在步骤1)中，在内存中申请与每帧YUV画面的像素空间大小一致的空间，将像素流以内存段拷贝的方法完全拷贝进所述的空间。

在所述的步骤2)中，每帧YUV画面对应一单通道纹理，纹理宽度为画面帧的宽度，长度为画面帧的长度的1.5倍。

在步骤3)中根据每个像素的深度值D，计算求当前像素对应的三维空间位置V，再将摄像头定标矩阵M与V相乘，得到在原始摄像机空间里的V所在的像素位置V’，以判断当前绘制的像素是否属于摄像头画面所覆盖的区域。

本发明中，在GPU片段着色器上对原始YUV纹理进行采样，同时将采样出来的颜色解码成所需的RGB，所述的步骤4)包括：

4.1)对记录YUV像素的单通道纹理的采样坐标进行换算。

4.2)根据采样坐标采样出Y、U、V通道的原始像素颜色，组成三维向量。

4.3)对上述三维向量进行矩阵乘法操作，换算出显示需要的RGB颜色。

作为优选的，在GPU的片段着色器上对YUV纹理进行采样时，先获取纹理头部的Y通道颜色值，再根据纹理采样坐标换算至纹理尾部的UV 空间，从而采样获得像素获取U和V通道颜色值。

本发明算法明确，结果鲁棒，且该方法可以用于大型三维虚拟场景与实时监控融合应用中，与目前主流的摄像头厂家视频很好地结合在一起使用。

相较于现有技术，本发明提出一种在绘制三维虚拟画面流水线中，将摄像头像素流画面在GPU上并行解码，并形成最终融合画面的方法。该方法相对于传统在CPU上多线程解码视频像素的方法，在所需解码像素的数量上得到了大幅度减少的同时，因为现代GPU计算单元远大于CPU，解码性能也得以大幅度提升。

附图说明

图1为本发明的技术方案流程图；

图2为本发明描述的虚实融合实验结果图。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。

本发明在视频虚拟融合系统中，通过可编程GPU加速解码摄像头视频流的算法流程如图1所示，其实现方法具体分为以下几步：

(1)获取原始YUV视频

由摄像机供应厂商提供的开发包(SDK)获取原始视频流，一般是基于YUV格式的。以海康品牌的摄像机为例，通过SDK中的回调函数，每当摄像头采集画面更新一帧时，在单独的获取像素线程中可以得到当前摄像机画面的YUV像素流。在内存中申请与该原始像素空间大小一致的空间，将像素流以内存段拷贝的方法完全拷贝进该空间。该空间保存了完整的原始视频画面和画面长宽，并每帧更新。

(2)创建单通道纹理传输至GPU

每帧更新原始像素之后，生成一个8位单通道的纹理，该纹理宽度为原始画面帧的宽度，长度为原始画面帧的长度的1.5倍。将上述空间内的像素内存作为纹理内容，提交至GPU。该步骤主要涉及三维绘制底层的图形接口，以OpenGL为例，每当采集摄像头完成1)中所述像素空间拷贝后，需调用glTexSubImage2D或等效函数，将该内存段内容更新至指向纹理，并上传至GPU。

(3)绘制三维虚拟场景，判断当前像素是否属于摄像头画面

在GPU的片段着色器(Fragment Shader)阶段，先绘制三维模型至窗口。根据每个像素上由深度值D，反求当前像素对应的三维空间位置V，再将摄像头定标矩阵M与V相乘，得到在原始摄像机空间里的V所在的像素位置V’，如果V’在原始摄像头的可见范围内(0<V’.x<1且0<V’.y<1)，则将当前位置的像素进行后续解码处理，否则说明当前像素位置并不在相机拍摄的画面中，仅需要已完成的三维绘制画面内容。通过这个步骤，我们将需要解码的计算量，完全由最终呈现的视口总像素内所被拍摄到的摄像头画面所决定，从而大大降低了潜在需要解码的像素个数。举例而言，以图2为例，图中彩色部分为摄像头拍摄画面，黑白部分为三维模型绘制画面。假定我们有三路1080p(1920*1080)高清摄像头，当前观察三维视口画面分辨率仅为720p(1280*720)，则需要采样解码的摄像头原始像素上限为1280*720个(该情况发生在图2中彩色区域完全覆盖黑白区域)，相对于传统方法需要完全解码3*1920*1080路原始视频，裁剪掉大量无需解码的原始像素，从而大幅度降低计算量。

(4)GPU片段着色器采样YUV纹理并解码成RGB

原始YUV像素的纹理是具有一定的压缩性的。以YUV420举例而言，所有Y通道占据了完整的字节空间，但每4个Y值共享1组UV值，这意味着YUV占据的空间仅为画面分辨率的1.5倍，组装成为(2)中描述的单通道纹理。随后在GPU片段着色器上对该纹理解码，运算公式是：

式中：最终计算出来的结果[r g b]^T即最终每个像素解码出来的RGB 颜色，而其中[y u v]^T为对应视频YUV颜色。该YUV颜色由GPU像素着色器，对同通道纹理里的不同位置进行采样获取。对分辨率(w，h)的纹理上任意位置(x，y)的像素，先采样获取纹理头部的(x，y)颜色值即为Y，再采样坐标纹理尾部的(x，h+y)和(x，1.25*h+y)颜色即为V和U，得到YUV颜色。最后，我们通过高效的矩阵乘法计算，将该向量值换算至RGB颜色。

由于GPU的片段着色器的设计原理就是完全并行化，并擅长纹理采样和矩阵运算。本发明也是考虑到这一点，设计了完整的流水线就是为了在当前采样和解码步骤中，发挥GPU可编程管线的计算优势，使得整体效率进一步提升。

(5)混合颜色成为最终画面

最后，在GPU的片段着色器尾声，我们将步骤3中绘制完成的三维成像画面，以及步骤4中采样并解码完成的视频画面，混合叠加呈现最终的虚实融合画面。如图2所示，为区别更明显，图中黑白部分为三维成像画面，其范围并不被摄像头拍摄范围覆盖(步骤3中的判定排除)。而彩色的部分则为多路原始视频最终解码成RGB像素，并叠加于三维成像画面之上。从最终画面可明确感知：实时监控画面已经与静态三维模型在空间上融为一体，可以有效提高观测者的感知能力。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，包括以下步骤：

1)获取摄像机的原始视频流，将YUV格式的原始视频逐帧保存；

2)将每帧YUV画面的像素流构建成单通道纹理，生成对应的纹理信息；

3)绘制三维场景，在GPU片段着色器上判断当前绘制的像素是否属于摄像头画面所覆盖的区域；

4)若当前像素是摄像头画面覆盖区域，对步骤2)中像素对应的纹理信息进行采样，并将采样出来的YUV颜色解码成所需的RGB颜色；

5)将步骤4)中得到的RGB像素与绘制的三维场景混合叠加，完成最终的虚实融合画面。

2.如权利要求1所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，在步骤1)中，在内存中申请与每帧YUV画面的像素空间大小一致的空间，将像素流以内存段拷贝的方法完全拷贝进所述的空间。

3.如权利要求1所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，在所述的步骤2)中，每帧YUV画面对应一单通道纹理，纹理宽度为画面帧的宽度，长度为画面帧的长度的1.5倍。

4.如权利要求1所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，在步骤3)中根据每个像素的深度值D，计算求当前像素对应的三维空间位置V，再将摄像头定标矩阵M与V相乘，得到在原始摄像机空间里的V所在的像素位置V’，以判断当前绘制的像素是否属于摄像头画面所覆盖的区域。

5.如权利要求1所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，所述的步骤4)包括：

4.1)对记录YUV像素的单通道纹理的采样坐标进行换算。

4.2)根据采样坐标采样出Y、U、V通道的原始像素颜色，组成三维向量。

4.3)对上述三维向量进行矩阵乘法操作，换算出显示需要的RGB颜色。

6.如权利要求5所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，在GPU的片段着色器上对YUV纹理进行采样时，先获取纹理头部的Y通道颜色值，再根据纹理采样坐标换算至纹理尾部的UV空间，从而采样获得像素获取U和V通道颜色值。