CN104836970A - 基于gpu实时视频处理的多投影融合方法和系统 - Google Patents

Abstract

本发明提供了一种基于GPU实时视频处理的多投影融合方法和系统。本发明通过设计并使用边缘融合和非线性几何校正并行算法，采用CPU、GPU协同运算的编程方式，可以有效提高算法的运行速度，减少了CPU资源的消耗，有效降低对CPU计算性能的依赖。提升硬件利用率和计算效率的同时，也为算法性能优化提供更多的空间，使得最终投影显示效果更加自然、流畅。借助于DirectShow的链路模型，增强系统对播放环境的适应能力，可以灵活的修改或者添加过滤器来完善系统功能，用户可以通过修改过滤器的参数来调整投影面的非线性几何校正和边缘融合效果。

Description

基于GPU实时视频处理的多投影融合方法和系统

技术领域

本发明涉及视频处理领域，尤其涉及一种基于GPU实时视频处理的多投影融合系统。

背景技术

多通道投影融合系统作为一种虚拟现实系统，利用多台投影机投射出无缝统一、高图像分辨率的完美影像和宽视角视觉场景，配合环绕立体音响系统，打造出一种沉浸式的、身临其境般的虚拟仿真环境。广泛应用于交通指挥监控、虚拟战场仿真、数字城市规划、博物馆、电影院、教育培训、旅游景区等大型场景仿真环境。多通道环幕投影系统远低于专业图形工作站的构建成本，且灵活易扩展。

针对视频文件的多投影融合，首先将视频文件在不同的PC终端，按照默认融合区域宽度进行分割，分割后的每一部分与投影仪一一对应；其次，对每一部分视频进行默认的bezier矫正和边缘亮度矫正，将投射出的影像拟合环幕并融合边缘亮度，完成环幕效果展示；第三，将各个客户端软件连接到服务控制端，由服务控制端统一管理各个客户端，如参数调节、时钟同步等。

目前，对视频文件的数据处理主要是通过CPU多线程处理方式，该方式可以提高CPU的利用率、加快数据处理速度，但是仅仅通过CPU多线程处理方式对算法的执行效率要求较高且降低了PC的实时响应能力。尤其是在处理高清视频文件的情况下，通过CPU多线程处理方式，不能达到视频文件实时处理要求。

发明内容

为了解决上述问题，本发明基于GPU实时视频处理的多投影融合方法，其特征在于，针对每一帧数据的处理包括以下步骤：

(1)源过滤器采集视频文件生成视频源数据和音频数据；

(2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数据；

(3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算；

(4)渲染过滤器对所述转换过滤器处理后的数据进行渲染，同时通过视频源数据的参考时钟对所述音频数据和所述视频矩阵数据进行同步操作。

优选的是所述视频文件经过解码后，转换为图像矩阵数据，所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池。

在上述任一方案中优选的是，所述视频矩阵数据每一帧为一个所述图像矩阵数据。

在上述任一方案中优选的是，其特征在于：在所述解码过滤器完成所述计算后生成处理后的数据，并将其送回所述解码过滤器的缓冲池。

在上述任一方案中优选的是，其特征在于：所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。

在上述任一方案中优选的是，所述算法包括边缘融合算法、非线性几何校正算法。

在上述任一方案中优选的是，所述边缘融合算法包括以下步骤，

(1)在所述边缘亮度融合过滤器的缓冲池中读所述视频矩阵数据，并记录当前图像矩阵 $\mathrm{MatA}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right]$ 的窗口大小，高度H，宽度W，所述视频矩阵数据默认最下面一行为初始行；

(2)初始化边缘融合函数的参数，公式1中参数a取值范围为0～1，即a∈[0,1]，p的取值范围为1～5中的整数，即p∈(1，2，3，4，5)

$f\left(x\right)=\left\{\begin{array}{cc}a{\left(2x\right)}^p& 0\≤x0.5\\ 1-(1-a){\left[2(1-x)\right]}^p& 0.5\≤x\≤1\end{array}\right.$     公式1；

(3)根据步骤(1)记录的窗口大小，设计矩阵MatB和融合带宽度Bw，保证所述矩阵MatB和所述图像矩阵MatA保持一致，根据公式2计算所述融合矩阵MatB，其中j∈[0,H]

$\mathrm{MatB}[i,j]=\left\{\begin{array}{cc}f(j/\mathrm{BW})& j\&le;\mathrm{Bw}\\ f((W-j)/\mathrm{BW})& j\&GreaterEqual;W-\mathrm{Bw}\\ 1& \mathrm{Bw}<j<W-\mathrm{Bw}\end{array}\right.$      公式2；

(4)将所述图像矩阵MatA与融合矩阵MatB的相应元素相乘，并赋值给所述图像矩阵MatA，形成图像矩阵MatA1，计算过程如公式

PV＝i+j*W

MatA[PV]＝MatA[PV]*MatB[PV]             公式3；

(5)将所述图像矩阵MatA1送至所述非线性几何校正过滤器的缓冲池中；

(6)每次参数调整后，会重新生成融合矩阵，将缓冲池中神谕的图像矩阵一次执行步骤(4)、(5)，直到处理完所述缓冲池中所有的视频矩阵数据或再次进行了参数调整。

在上述任一方案中优选的是，所述非线性几何校正算法包括以下步骤，

(1)在所述非线性几何校正过滤器的缓冲池中读取所述视频矩阵数据，并记录当前矩阵 $\mathrm{Mat}{A}^{\&prime;}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right]$ 的窗口大小，高度H1，宽度W1，所述视频矩阵数据默认最下面一行为初始行；

(2)根据步骤(1)记录的所述窗口大小，设计矩阵MatB’和MatC’，与所述矩阵MatC大小保持一致，初始化Bezier曲线参数，根据公示4生成一条Bezier三次曲线

B(h)＝P₀(1-h)³+3P₁h(1-h)²+3P₂h²(1-h)+P₃h³,h∈[0,1]       公式4；

(3)将矩阵MatB’的每一行，拟合步骤(2)生成的所述Bezier曲线参数，要求矩阵从下边缘到上边缘的次序，依次调整所述Bezier曲线的控制点,使得曲线不断接近直线；运算后，生成可用于并行运算的Bezier参数矩阵 $\mathrm{Mat}{B}^{\&prime;}=\left[\begin{array}{cccc}{B}_{30}& B_{31}& B_{32}& B_{33}\\ B_{20}& B_{21}& B_{22}& B_{23}\\ B_{10}& B_{11}& B_{12}& B_{13}\\ B_{00}& B_{01}& B_{02}& B_{03}\end{array}\right],$ 其中其中j表示矩阵的列索引；

(4)将矩阵MatA’的每一个元素进行如公式5的运算，其中i∈[0,W]，j∈[0,H]；然后将矩阵MatA’和MatB’进行并行运算

PV＝i+j*W

T＝PV-MatB'[PV]*W                  公式5；

T＞0？MatC'[PV]＝MatA'[T]:0

(5)将处理完后的图像矩阵MatC送回视频缓冲池相应的位置；

(6)每次参数调整后，会重新生成几何校正的参数矩阵，将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作，直到处理完整个视频或再次进行了参数调整。

在上述任一方案中优选的是，所述Bezier曲线的控制点如公式6，其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量，表示P1、P2点到由P0、P3连成直线的垂直距离，H表示图像矩阵的高度，i表示矩阵的行索引

$P_1^i=\mathrm{Vertical}-\mathrm{Vertical}/H*i$

$P_2^i=\mathrm{Vertical}\_R-\mathrm{Vertical}\_R/H*i$             公式6

本发明还提供一种基于GPU实时视频处理的多投影融合系统，采用DirectShow链路模型，其特征在于，包括：

源过滤器，用于对视频文件采集，生成视频源数据；

解码过滤器，用于音视频解码分流，形成视频矩阵数据和音频数据；

转换过滤器用于接收从其它过滤器中传送过来的数据，再经过处理，传递给下一个过滤器；

渲染过滤器，用于对所述转换过滤器处理后的数据进行渲染，同时通过参考时钟进行同步操作；

所述源过滤器、所述解码过滤器、所述转换过滤器、所述渲染过滤器依次连接。

优选的是，所述过滤器中包含至少一个缓冲池。

在上述任一方案中优选的是，所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。

在上述任一方案中优选的是，所述裁剪过滤器根据投影仪的个数和相邻关系，在保持图像宽纵比和边缘融合带的前提下，对每一帧图像裁剪分割。

在上述任一方案中优选的是，所述边缘亮度融合过滤器用于对每一个投影对应图像的边缘亮度调节，使得投影之后的相邻投影仪投射的图像没有较明显的边缘，实现平滑过渡。

在上述任一方案中优选的是，所述非线性几何校正过滤器用于实现曲线校正算法，使得投影后的图像与环幕相符合，达到最佳观赏效果。

本申请采用CPU与GPU组合的异构计算结构，利用GPU高速并行运算资源，进行视频帧图像的数据处理，有效降低了CPU运算压力，达到高清视频文件的实时处理要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是按照本发明的基于GPU实时视频处理的多投影融合系统的过滤器链路图；

图2是按照本发明的基于GPU实时视频处理的多投影融合系统的链路模型图；

图3是按照本发明的基于GPU实时视频处理的多投影融合方法的边缘融合算法流程图；

图4是按照本发明的基于GPU实时视频处理的多投影融合方法的原始投影效果图；

图5是按照本发明的基于GPU实时视频处理的多投影融合方法的校正后投影效果图；

图6是按照本发明的基于GPU实时视频处理的多投影融合方法的几何校正算法流程图；

图7是按照本发明的基于GPU实时视频处理的多投影融合方法的CPU、GPU消耗时间对比图；

图8是按照本发明的基于GPU实时视频处理的多投影融合方法的流程图；

图9是按照本发明的基于GPU实时视频处理的多投影融合系统的实现效果图。

具体实施方式

下面结合附图和优选的实施方式对本发明作进一步详细描述。权利要求中构成要件和实施例中具体实例之间的对应关系可以如下例证。这里的描述意图在于确认在实施例中描述了用来支持在权利要求中陈述的主题的具体实例，由于在实施例中描述了实例，不意味着该具体实例不表示构成要件。相反地，即使在此包含了具体实例作为对应一个构成要件的要素特征，也不意味着该具体实例不表示任何其它构成要件。

此外，这里的描述不意味着对应于实施例中陈述的具体实例的所有主题都在权利要求中引用了。换句话说，这里的描述不否认这种实体，即对应实施例包含的具体实例，但不包含在其任何一项权利要求中，即，能够在以后的修正被分案并申请、或增加的可能的发明的实体。

应当注意的是，“系统”在此意味着由两个或更多设备构成的处理。

为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。

设计DirectShow的链路模型。Directshow设计灵活、应用广泛，Directshow技术中最重要的一个概念就是过滤器，过滤器通常在多媒体中执行一个操作，过滤器大致分为三类：源过滤器，转换过滤器和渲染过滤器。

源过滤器主要负责数据获取，数据源既可以是文件，也可以是采集卡采集到的数据，然后把数据向下传；转换过滤器首先接收其它过滤器传来的数据，加工处理后传递给后面的过滤器。渲染过滤器负责把数据传递给显卡、声卡进行多媒体演示，或输出到文件进行存储。

根据视频数据处理要求，在链路上添加若干个转换过滤器，每个转换链路器执行特定功能，如图1所示。

假定链路中有N个功能模块，耗费的时间分别为T(1),T(2),...,T(N)，延迟计算如公式(1)。

帧间延迟T_FDT＝max(T(1),T(2),...,T(N))

缓冲延迟 $T_{\mathrm{CDT}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}T\left(i\right)---\left(1\right)$

链路工作时，帧间延时T_FDT为链路中处理速度最慢的过滤器耗费的时间。缓冲延时T_CDT反映了视频播放前的缓冲时间，是所有过滤器处理时间总和。

本申请中的转换过滤器采用CPU/GPU协同并行计算方式，CPU除管理GPU外，还负责一部分计算任务，与GPU共同完成计算。借助于DirectShow的链路模型，将特定功能的转换过滤器添加到DirectShow的链路模型，如图2所示。

基于GPU实时视频处理的多投影融合系统的多投影融合方法是针对针对每一帧数据的处理，步骤如下：

(1)源过滤器采集视频文件生成视频源数据；

(2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数据；

(3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算；

(4)渲染过滤器对所述转换过滤器处理后的数据进行渲染，同时通过视频源数据的参考时钟对音频数据和处理后的数据(视频矩阵数据)进行同步操作。

其中，所述视频文件经过解码后，转换为图像矩阵数据，所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池；所述视频矩阵数据每一帧为一个所述图像矩阵数据。

在所述解码过滤器完成所述计算后生成处理后的数据，并将其送回所述解码过滤器的缓冲池。所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。所述算法包括边缘融合算法、非线性几何校正算法。

其中，边缘融合算法的目的是调节视频缓存中融合区域图像的亮度，使融合后的图像亮度与正常图像一致。如公式(2)，将右通道融合区域的像素乘以f(x)，左通道融合区域的像素乘以1-f(x)。其中x对应为像素在融合带的位置，x＝1表示融合带的左边缘，x＝0表示融合带的右边缘，两个通道重叠像素值之和为1，即为原始画面的像素值。a为亮度调节系数，影响融合带中心位置的亮度，a∈[0,1]，当a＞0.5时，混合区域中心变亮，当a＜0.5时，混合区域中心变暗。p为渐变指数，控制曲线的弯曲程度。

$f\left(x\right)=\left\{\begin{array}{cc}a{\left(2x\right)}^p& 0\&le;x0.5\\ 1-(1-a){\left[2(1-x)\right]}^p& 0.5\&le;x\&le;1\end{array}\right.---\left(2\right)$

本申请通过添加一个专门的视频处理模块，完成边缘融合运算。首先根据需要融合图像的大小，利用融合算法设计可用于并行运算的融合矩阵，再利用GPU参与并行运算，达到高质量的融合效果。

处理流程如图3所示，具体步骤如下：

(1)在当前边缘融合链路的视频缓冲池中读取视频帧缓存，(视频缓存默认最下面一行为初始行)，读取并记录当前图像矩阵MatA的窗口大小，高度H，宽度W。

$\mathrm{MatA}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right]$

(2)初始化边缘融合函数参数，公式(2)中参数a、P的默认取值为0.25、2。

$f\left(x\right)=\left\{\begin{array}{cc}a{\left(2x\right)}^p& 0\&le;x0.5\\ 1-(1-a){\left[2(1-x)\right]}^p& 0.5\&le;x\&le;1\end{array}\right.---\left(2\right)$

(3)根据步骤(1)记录的窗口大小，设计矩阵MatB和融合带宽度Bw，保证矩阵MatB和当前图像矩阵保持一致，根据公式(3)计算融合矩阵，其中j∈[0,H]。

$\mathrm{MatB}[i,j]=\left\{\begin{array}{cc}f(j/\mathrm{BW})& j\&le;\mathrm{Bw}\\ f((W-j)/\mathrm{BW})& j\&GreaterEqual;W-\mathrm{Bw}\\ 1& \mathrm{Bw}<j<W-\mathrm{Bw}\end{array}\right.---\left(3\right)$

(4)对于矩阵MatA的每一个元素，i∈[0,W]，j∈[0,H]，根据在步骤(3)中计算出的融合矩阵MatB，将两个矩阵对应元素相乘的结果赋值给矩阵MatA，进行如公式(4)运算，每一个元素的运算都与其他元素的运算无关，满足并行运算要求，利用GPU并行运算资源，将矩阵MatA和MatB进行并行运算。

PV＝i+j*W

MatA[PV]＝MatA[PV]*MatB[PV]        (4)

(5)将处理完后的图像矩阵MatA送回视频缓冲池相应的位置。

(6)每次参数调整后，会重新生成融合矩阵，将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作，直到处理完整个视频或再次进行了参数调整。

多通道环幕投影系统，投影仪需要架在高处向下投影，投影画面产生形变，即非线性几何失真，如图4所示。

使用投影仪自带的光学校正功能，对失真图像进行有限的梯形校正，但是弧面失真需要通过对视频缓存进行几何校正。本申请通过添加一个专门的视频处理模块，来进行非线性几何失真校正，使得投影屏幕上的图像显示正常，如图5所示。

通过几何校正算法实现非线性几何失真校正的具体步骤如下：

(1)在当前链路的视频缓冲池中读取视频帧缓存，(视频缓存默认最下面一行为初始行)，读取并记录当前图像矩阵MatA的窗口大小，高度H，宽度W。

$\mathrm{MatA}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right]$

(2)根据步骤(1)记录的窗口大小，设计矩阵MatB和MatC，和当前图像矩阵保持一致，初始化Bezier曲线参数，生成一条Bezier三次曲线。

B(h)＝P₀(1-h)³+3P₁h(1-h)²+3P₂h²(1-h)+P₃h³,h∈[0,1]

(3)矩阵MatB的每一行，拟合步骤(2)生成的Bezier参数曲线，且要求按照矩阵从下边缘到上边缘的次序，依次调整Bezier曲线的控制点P1和P2，使得曲线不断接近直线。如公式(5)所示，其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量，表示P1、P2点到由P0、P3连成直线的垂直距离，H表示图像矩阵的高度，i表示矩阵的行索引。运算后，生成可用于并行运算的Bezier参数矩阵MatB。如公式(6)所示，其中j表示矩阵的列索引。

$P_1^i=\mathrm{Vertical}-\mathrm{Vertical}/H*i$

$P_2^i=\mathrm{Vertical}\_R-\mathrm{Vertical}\_R/H*i---\left(5\right)$

$\mathrm{Mat}B=\left[\begin{array}{cccc}{B}_{30}& B_{31}& B_{32}& B_{33}\\ B_{20}& B_{21}& B_{22}& B_{23}\\ B_{10}& B_{11}& B_{12}& B_{13}\\ B_{00}& B_{01}& B_{02}& B_{03}\end{array}\right]---\left(6\right)$

(4)对于矩阵MatA的每一个元素，进行如公式(7)运算，其中i∈[0,W]，j∈[0,H]。在每一个元素的运算都与其他元素的运算无关，满足并行运算要求，利用GPU并行运算资源，将矩阵MatA和MatB进行并行运算。

PV＝i+j*W

T＝PV-MatB[PV]*W            (7)

T＞0？MatC[PV]＝MatA[T]:0

(5)将处理完后的图像矩阵MatC送回视频缓冲池相应的位置。

(6)每次参数调整后，会重新生成几何校正的参数矩阵，将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作，直到处理完整个视频或再次进行了参数调整。

其中，三次方Bezier曲线的参数主要包括起始点p0、终点p3、两个曲线控制点p1、p2和步长h，控制点p1、p2控制曲线的弯曲程度，步长h控制图像的光滑程度，步长h越小，图像越光滑。

本申请采用基于Bezier参数的三次曲面并行计算方法，可根据需要实时调整控制点P1、P2，以便于调整曲线的弯曲弧度，使得非线性几何校正更加灵活。首先根据视频缓冲池中图像矩阵的大小，初始化Bezier曲线参数，然后设计矩阵MatB，要求MatB和视频缓冲池中单帧图像大小一致，将矩阵的每一行拟合贝赛尔曲线，生成可用于并行运算的Bezier参数矩阵，处理流程如图6。

链路模型中，包括DirectShow系统自带的源过滤器、解码过滤器、渲染过滤器，分别完成视频文件的采集、音视频解码分流、时钟同步渲染操作。插入的转换过滤器包括，裁剪过滤器、非线性几何校正过滤器、边缘亮度融合过滤器，以完成显示区域的调整、环幕几何校正、场景拼接的亮度融合操作，如图8所示。

在具体实现中，具体配置如下：系统PC机配置为I72180GHz CPU，4G内存，图形加速卡为NVIDIA GTX770，4G显存。投影系统由三台分辨率为1024*768的Panasonic投影仪组成和三台普通的计算机组成。三台投影仪根据环幕特点摆放，确保相邻投影仪的投影有一定重叠区域，且覆盖整个环幕。系统采用基于局域网的客户端-服务器模型，服务器控制端应用程序可通过局域网向各用户端发送控制指令，进行多投影显示的参数设置，系统展示效果如图9所示。

与CPU多线程处理方式相比，测试结果分析如下：

测试采用4K格式视频源采，分辨率为3840*2160，帧速率为29.970fps，数据速率为32.3mbps的视频文件，测试算法为几何校正算法，测试时间单位为毫秒，测试结果如下所示。

表1几何校正算法测试结果

对于非线性几何校正算法，具有较高的时间复杂度。在进行算法的测试的过程中，采用非线性几何校正算法进行测试，考虑在使用GPU和不使用GPU的情况下，记录算法的执行时间。在使用GPU资源计算时，首先应将图像数据从主存传输到显存，再利用GPU进行计算，因此，将传输时间T_trans和GPU计算时间T_gpu的和作为GPU计算所消耗的总时间T_{trans_gpu}，即T_{trans_gpu}＝T_trans+T_gpu。将CPU计算消耗时间T_cpu与GPU计算所消耗T_{trans_gpu}作对比，结果如图7所示。

从图7中可以看出，图像数据从主存到显存的传输时间要远大于GPU的计算时间，且随着视频文件分辨率的提升，传输消耗时间呈现超过指数阶的增长速度。

利用CPU计算资源，在分辨率为4096*2160时，算法处理一帧图像矩阵时间为47.48ms，视频文件不能正常播放，采用CPU、GPU协同编程的方法，处理时间压缩为12.51ms，满足流畅播放要求。采用CPU、GPU协同编程，在CPU较差的PC机中利用GPU的计算资源，保证了算法在系统允许的时间范围内完成运算，减少对CPU计算资源的消耗，保证视频播放的流畅性，提高了计算机运行的稳定性。

本申请通过设计并使用边缘融合和非线性几何校正并行算法，采用CPU、GPU协同运算的编程方式，可以有效提高算法的运行速度，减少了CPU资源的消耗，有效降低对CPU计算性能的依赖。提升硬件利用率和计算效率的同时，也为算法性能优化提供更多的空间，使得最终投影显示效果更加自然、流畅。借助于DirectShow的链路模型，增强系统对播放环境的适应能力，可以灵活的修改或者添加过滤器来完善系统功能，用户可以通过修改过滤器的参数来调整投影面的非线性几何校正和边缘融合效果。

Claims (10)

1.基于GPU实时视频处理的多投影融合方法，其特征在于，针对每一帧数据的处理包括以下步骤：

(1)源过滤器采集视频文件生成视频源数据和音频数据；

(2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数据；

(3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算；

(4)渲染过滤器对所述转换过滤器处理后的数据进行渲染，同时通过视频源数据的参考时钟对所述音频数据和所述视频矩阵数据进行同步操作。

2.如权利要求1所述的多投影融合方法，其特征在于：所述视频文件经过解码后，转换为图像矩阵数据，所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池。

3.如权利要求2所述的多投影融合方法，其特征在于：所述视频矩阵数据每一帧为一个所述图像矩阵数据。

4.如权利要求3所述的多投影融合方法，其特征在于：在所述解码过滤器完成所述计算后生成处理后的数据，并将其送回所述解码过滤器的缓冲池。

5.如权利要求1所述的多投影融合方法，其特征在于：所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。

6.如权利要求1所述的多投影融合方法，其特征在于：所述算法包括边缘融合算法、非线性几何校正算法。

7.如权利要求6所述的多投影融合方法，其特征在于：所述边缘融合算法包括以下步骤，

(1)在所述边缘亮度融合过滤器的缓冲池中读所述视频矩阵数据，并记录当前图像矩阵 $\mathrm{MatA}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right]$ 的窗口大小，高度H，宽度W，所述视频矩阵数据默认最下面一行为初始行；

(2)初始化边缘融合函数的参数，公式1中参数a取值范围为0～1，即a∈[0,1]，p的取值范围为1～5中的整数，即p∈(1，2，3，4，5)

$f\left(x\right)=\left\{\begin{array}{cc}a{\left(2x\right)}^p& 0\&le;x<0.5\\ 1-(1-a){\left[2(1-x)\right]}^p& 0.5\&le;x\&le;1\end{array}\right.$              公式1；

(3)根据步骤(1)记录的窗口大小，设计矩阵MatB和融合带宽度Bw，保证所述矩阵MatB和所述图像矩阵MatA保持一致，根据公式2计算所述融合矩阵MatB，其中j∈[0,H]

$\mathrm{MatB}[i,j]=\left\{\begin{array}{cc}f(j/\mathrm{BW})& j\&le;\mathrm{Bw}\\ f((W-j)/\mathrm{BW})& j\&GreaterEqual;W-\mathrm{Bw}\\ 1& \mathrm{Bw}<j<W-\mathrm{Bw}\end{array}\right.$               公式2；

(4)将所述图像矩阵MatA与融合矩阵MatB的相应元素相乘，并赋值给所述图像矩阵MatA，形成图像矩阵MatA₁，计算过程如公式

PV＝i+j*W

A                            公式3；

MatA[PV]＝MatA[PV]*MatB[PV]

(5)将所述图像矩阵MatA₁送至所述非线性几何校正过滤器的缓冲池中；

(6)每次参数调整后，会重新生成融合矩阵，将缓冲池中神谕的图像矩阵一次执行步骤(4)、(5)，直到处理完所述缓冲池中所有的视频矩阵数据或再次进行了参数调整。

8.如权利要求6所述的多投影融合方法，其特征在于：所述非线性几何校正算法包括以下步骤，

(1)在所述非线性几何校正过滤器的缓冲池中读取所述视频矩阵数据，并记录当前矩阵 ${\mathrm{MatA}}^{\&prime;}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right]$ 的窗口大小，高度H₁，宽度W₁，所述视频矩阵数据默认最下面一行为初始行；

(2)根据步骤(1)记录的所述窗口大小，设计矩阵MatB’和MatC’，与所述矩阵MatC大小保持一致，初始化Bezier曲线参数，根据公示4生成一条Bezier三次曲线

B(h)＝P₀(1-h)³+3P₁h(1-h)²+3P₂h²(1-h)+P₃h³,h∈[0,1]          公式4；

(3)将矩阵MatB’的每一行，拟合步骤(2)生成的所述Bezier曲线参数，要求矩阵从下边缘到上边缘的次序，依次调整所述Bezier曲线的控制点,使得曲线不断接近直线；运算后，生成可用于并行运算的Bezier参数矩阵 ${\mathrm{MatB}}^{\&prime;}=\left[\begin{array}{cccc}{a}_{30}& a_{31}& a_{32}& a_{33}\\ a_{20}& a_{21}& a_{22}& a_{23}\\ a_{10}& a_{11}& a_{12}& a_{13}\\ a_{00}& a_{01}& a_{02}& a_{03}\end{array}\right],$ 其中其中j表示矩阵的列索引；

(4)将矩阵MatA’的每一个元素进行如公式5的运算，其中i∈[0,W]，j∈[0,H]；然后将矩阵MatA’和MatB’进行并行运算

PV＝i+j*W

T＝PV-MatB'[PV]*W                      公式5；

T＞0？MatC'[PV]＝MatA'[T]:0

(5)将处理完后的图像矩阵MatC送回视频缓冲池相应的位置；

(6)每次参数调整后，会重新生成几何校正的参数矩阵，将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作，直到处理完整个视频或再次进行了参数调整。

9.如权利要求7所述的多投影融合方法，其特征在于：所述Bezier曲线的控制点如公式6，其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量，表示P1、P2点到由P0、P3连成直线的垂直距离，H表示图像矩阵的高度，i表示矩阵的行索引

$P_1^i=\mathrm{Vertical}-\mathrm{Vertical}/H*i$

$P_2^i=\mathrm{Vertical}\_R-\mathrm{Vertical}\_R/H*i$               公式6

10.基于GPU实时视频处理的多投影融合系统，采用DirectShow链路模型，其特征在于，包括：

源过滤器，用于对视频文件采集，生成视频源数据；

解码过滤器，用于音视频解码分流，形成视频矩阵数据和音频数据；

转换过滤器用于接收从其它过滤器中传送过来的数据，再经过处理，传递给下一个过滤器；

渲染过滤器，用于对所述转换过滤器处理后的数据进行渲染，同时通过参考时钟进行同步操作；

所述源过滤器、所述解码过滤器、所述转换过滤器、所述渲染过滤器依次连接。