CN104836970B - 基于gpu实时视频处理的多投影融合方法和系统 - Google Patents
基于gpu实时视频处理的多投影融合方法和系统 Download PDFInfo
- Publication number
- CN104836970B CN104836970B CN201510142218.5A CN201510142218A CN104836970B CN 104836970 B CN104836970 B CN 104836970B CN 201510142218 A CN201510142218 A CN 201510142218A CN 104836970 B CN104836970 B CN 104836970B
- Authority
- CN
- China
- Prior art keywords
- matrix
- filter
- video
- data
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于GPU实时视频处理的多投影融合方法和系统。本发明通过设计并使用边缘融合和非线性几何校正并行算法,采用CPU、GPU协同运算的编程方式,可以有效提高算法的运行速度,减少了CPU资源的消耗,有效降低对CPU计算性能的依赖。提升硬件利用率和计算效率的同时,也为算法性能优化提供更多的空间,使得最终投影显示效果更加自然、流畅。借助于DirectShow的链路模型,增强系统对播放环境的适应能力,可以灵活的修改或者添加过滤器来完善系统功能,用户可以通过修改过滤器的参数来调整投影面的非线性几何校正和边缘融合效果。
Description
技术领域
本发明涉及视频处理领域,尤其涉及一种基于GPU实时视频处理的多投影融合系统。
背景技术
多通道投影融合系统作为一种虚拟现实系统,利用多台投影机投射出无缝统一、高图像分辨率的完美影像和宽视角视觉场景,配合环绕立体音响系统,打造出一种沉浸式的、身临其境般的虚拟仿真环境。广泛应用于交通指挥监控、虚拟战场仿真、数字城市规划、博物馆、电影院、教育培训、旅游景区等大型场景仿真环境。多通道环幕投影系统远低于专业图形工作站的构建成本,且灵活易扩展。
针对视频文件的多投影融合,首先将视频文件在不同的PC终端,按照默认融合区域宽度进行分割,分割后的每一部分与投影仪一一对应;其次,对每一部分视频进行默认的bezier矫正和边缘亮度矫正,将投射出的影像拟合环幕并融合边缘亮度,完成环幕效果展示;第三,将各个客户端软件连接到服务控制端,由服务控制端统一管理各个客户端,如参数调节、时钟同步等。
目前,对视频文件的数据处理主要是通过CPU多线程处理方式,该方式可以提高CPU的利用率、加快数据处理速度,但是仅仅通过CPU多线程处理方式对算法的执行效率要求较高且降低了PC的实时响应能力。尤其是在处理高清视频文件的情况下,通过CPU多线程处理方式,不能达到视频文件实时处理要求。
发明内容
为了解决上述问题,本发明基于GPU实时视频处理的多投影融合方法,其特征在于,针对每一帧数据的处理包括以下步骤:
(1)源过滤器采集视频文件生成视频源数据和音频数据;
(2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数据;
(3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算;
(4)渲染过滤器对所述转换过滤器处理后的数据进行渲染,同时通过视频源数据的参考时钟对所述音频数据和所述视频矩阵数据进行同步操作。
优选的是所述视频文件经过解码后,转换为图像矩阵数据,所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池。
在上述任一方案中优选的是,所述视频矩阵数据每一帧为一个所述图像矩阵数据。
在上述任一方案中优选的是,其特征在于:在所述转换过滤器完成所述计算后生成处理后的数据,并将其送回所述转换过滤器的缓冲池。
在上述任一方案中优选的是,其特征在于:所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。
在上述任一方案中优选的是,所述算法包括边缘融合算法、非线性几何校正算法。
在上述任一方案中优选的是,所述边缘融合算法包括以下步骤,
(1)在所述边缘亮度融合过滤器的缓冲池中读所述视频矩阵数据,并记录当前图像矩阵的窗口大小,高度H,宽度W,所述视频矩阵数据默认最下面一行为初始行;
(2)初始化边缘融合函数的参数,公式1中参数a取值范围为0~1,即a∈[0,1],p的取值范围为1~5中的整数,即p∈(1,2,3,4,5)
(3)根据步骤(1)记录的窗口大小,设计矩阵MatB和融合带宽度Bw,保证所述矩阵MatB和所述图像矩阵MatA保持一致,根据公式2计算所述融合矩阵MatB,其中j∈[0,H)
(4)将所述图像矩阵MatA与融合矩阵MatB的相应元素相乘,并赋值给所述图像矩阵MatA,形成图像矩阵MatA1,计算过程如公式
(5)将所述图像矩阵MatA1送至所述非线性几何校正过滤器的缓冲池中;
(6)每次参数调整后,会重新生成融合矩阵,将缓冲池中剩余的图像矩阵一次执行步骤(4)、(5),直到处理完所述缓冲池中所有的视频矩阵数据或再次进行了参数调整。
在上述任一方案中优选的是,所述非线性几何校正算法包括以下步骤,
(1)在所述非线性几何校正过滤器的缓冲池中读取所述视频矩阵数据,并记录当前矩阵的窗口大小,高度H1,宽度W1,所述视频矩阵数据默认最下面一行为初始行;
(2)根据步骤(1)记录的所述窗口大小,设计矩阵MatB’和MatC’,与当前图像矩阵MatA’大小保持一致,初始化Bezier曲线参数,根据公示4生成一条Bezier三次曲线:
B(h)=P0(1-h)3+3P1h(1-h)2+3P2h2(1-h)+P3h3,h∈[0,1] 公式4;
(3)将矩阵MatB’的每一行,拟合步骤(2)生成的所述Bezier曲线参数,要求矩阵从下边缘到上边缘的次序,依次调整所述Bezier曲线的控制点,使得曲线不断接近直线;运算后,生成可用于并行运算的Bezier参数矩阵
其中其中j表示矩阵的列索引;
(4)将矩阵MatA’的每一个元素进行如公式5的运算,其中i∈[0,W),j∈[0,H);
然后将矩阵MatA’和MatB’进行并行运算:
(5)将处理完后的图像矩阵MatC’送回视频缓冲池相应的位置;
(6)每次参数调整后,会重新生成几何校正的参数矩阵,将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作,直到处理完整个视频或再次进行了参数调整。
在上述任一方案中优选的是,所述Bezier曲线的控制点如公式6,其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量,表示P1、P2点到由P0、P3连成直线的垂直距离,H表示图像矩阵的高度,i表示矩阵的行索引:
本发明还提供一种基于GPU实时视频处理的多投影融合系统,采用DirectShow链路模型,其特征在于,包括:
源过滤器,用于对视频文件采集,生成视频源数据;
解码过滤器,用于音视频解码分流,形成视频矩阵数据和音频数据;
转换过滤器用于接收从其它过滤器中传送过来的数据,再经过处理,传递给下一个过滤器;
渲染过滤器,用于对所述转换过滤器处理后的数据进行渲染,同时通过参考时钟进行同步操作;
所述源过滤器、所述解码过滤器、所述转换过滤器、所述渲染过滤器依次连接。
优选的是,所述过滤器中包含至少一个缓冲池。
在上述任一方案中优选的是,所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。
在上述任一方案中优选的是,所述裁剪过滤器根据投影仪的个数和相邻关系,在保持图像宽纵比和边缘融合带的前提下,对每一帧图像裁剪分割。
在上述任一方案中优选的是,所述边缘亮度融合过滤器用于对每一个投影对应图像的边缘亮度调节,使得投影之后的相邻投影仪投射的图像没有较明显的边缘,实现平滑过渡。
在上述任一方案中优选的是,所述非线性几何校正过滤器用于实现曲线校正算法,使得投影后的图像与环幕相符合,达到最佳观赏效果。
本申请采用CPU与GPU组合的异构计算结构,利用GPU高速并行运算资源,进行视频帧图像的数据处理,有效降低了CPU运算压力,达到高清视频文件的实时处理要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是按照本发明的基于GPU实时视频处理的多投影融合系统的过滤器链路图;
图2是按照本发明的基于GPU实时视频处理的多投影融合系统的链路模型图;
图3是按照本发明的基于GPU实时视频处理的多投影融合方法的边缘融合算法流程图;
图4是按照本发明的基于GPU实时视频处理的多投影融合方法的原始投影效果图;
图5是按照本发明的基于GPU实时视频处理的多投影融合方法的校正后投影效果图;
图6是按照本发明的基于GPU实时视频处理的多投影融合方法的几何校正算法流程图;
图7是按照本发明的基于GPU实时视频处理的多投影融合方法的CPU、GPU消耗时间对比图;
图8是按照本发明的基于GPU实时视频处理的多投影融合方法的流程图;
图9是按照本发明的基于GPU实时视频处理的多投影融合系统的实现效果图。
具体实施方式
为了进一步解释本发明的技术方案,下面通过具体实施例来对本发明进行详细阐述。
设计DirectShow的链路模型。Directshow设计灵活、应用广泛,Directshow技术中最重要的一个概念就是过滤器,过滤器通常在多媒体中执行一个操作,过滤器大致分为三类:源过滤器,转换过滤器和渲染过滤器。
源过滤器主要负责数据获取,数据源既可以是文件,也可以是采集卡采集到的数据,然后把数据向下传;转换过滤器首先接收其它过滤器传来的数据,加工处理后传递给后面的过滤器。渲染过滤器负责把数据传递给显卡、声卡进行多媒体演示,或输出到文件进行存储。
根据视频数据处理要求,在链路上添加若干个转换过滤器,每个转换链路器执行特定功能,如图1所示。
假定链路中有N个功能模块,耗费的时间分别为T(1),T(2),...,T(N),延迟计算如公式(1)。
帧间延迟TFDT=max(T(1),T(2),...,T(N))
缓冲延迟
链路工作时,帧间延时TFDT为链路中处理速度最慢的过滤器耗费的时间。缓冲延时TCDT反映了视频播放前的缓冲时间,是所有过滤器处理时间总和。
本申请中的转换过滤器采用CPU/GPU协同并行计算方式,CPU除管理GPU外,还负责一部分计算任务,与GPU共同完成计算。借助于DirectShow的链路模型,将特定功能的转换过滤器添加到DirectShow的链路模型,如图2所示。
基于GPU实时视频处理的多投影融合系统的多投影融合方法是针对针对每一帧数据的处理,步骤如下:
(1)源过滤器采集视频文件生成视频源数据;
(2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数据;
(3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算;
(4)渲染过滤器对所述转换过滤器处理后的数据进行渲染,同时通过视频源数据的参考时钟对音频数据和处理后的数据(视频矩阵数据)进行同步操作。
其中,所述视频文件经过解码后,转换为图像矩阵数据,所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池;所述视频矩阵数据每一帧为一个所述图像矩阵数据。
在所述转换过滤器完成所述计算后生成处理后的数据,并将其送回所述转换过滤器的缓冲池。所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。所述算法包括边缘融合算法、非线性几何校正算法。
其中,边缘融合算法的目的是调节视频缓存中融合区域图像的亮度,使融合后的图像亮度与正常图像一致。如公式(2),将右通道融合区域的像素乘以f(x),左通道融合区域的像素乘以1-f(x)。其中x对应为像素在融合带的位置,x=1表示融合带的左边缘,x=0表示融合带的右边缘,两个通道重叠像素值之和为1,即为原始画面的像素值。a为亮度调节系数,影响融合带中心位置的亮度,a∈[0,1],当a>0.5时,混合区域中心变亮,当a<0.5时,混合区域中心变暗。p为渐变指数,控制曲线的弯曲程度。
本申请通过添加一个专门的视频处理模块,完成边缘融合运算。首先根据需要融合图像的大小,利用融合算法设计可用于并行运算的融合矩阵,再利用GPU参与并行运算,达到高质量的融合效果。
处理流程如图3所示,具体步骤如下:
(1)在当前边缘融合链路的视频缓冲池中读取视频帧缓存,(视频缓存默认最下面一行为初始行),读取并记录当前图像矩阵MatA的窗口大小,高度H,宽度W。
(2)初始化边缘融合函数参数,公式(2)中参数a、P的默认取值为0.25、2。
(3)根据步骤(1)记录的窗口大小,设计矩阵MatB和融合带宽度Bw,保证矩阵MatB和当前图像矩阵保持一致,根据公式(3)计算融合矩阵,其中j∈[0,H)。
(4)对于矩阵MatA的每一个元素,i∈[0,W],j∈[0,H),根据在步骤(3)中计算出的融合矩阵MatB,将两个矩阵对应元素相乘的结果赋值给矩阵MatA,进行如公式(4)运算,每一个元素的运算都与其他元素的运算无关,满足并行运算要求,利用GPU并行运算资源,将矩阵MatA和MatB进行并行运算。
(5)将处理完后的图像矩阵MatA送回视频缓冲池相应的位置。
(6)每次参数调整后,会重新生成融合矩阵,将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作,直到处理完整个视频或再次进行了参数调整。
多通道环幕投影系统,投影仪需要架在高处向下投影,投影画面产生形变,即非线性几何失真,如图4所示。
使用投影仪自带的光学校正功能,对失真图像进行有限的梯形校正,但是弧面失真需要通过对视频缓存进行几何校正。本申请通过添加一个专门的视频处理模块,来进行非线性几何失真校正,使得投影屏幕上的图像显示正常,如图5所示。
通过几何校正算法实现非线性几何失真校正的具体步骤如下:
(1)在当前链路的视频缓冲池中读取视频帧缓存,(视频缓存默认最下面一行为初始行),读取并记录当前图像矩阵MatA的窗口大小,高度H,宽度W。
(2)根据步骤(1)记录的窗口大小,设计矩阵MatB和MatC,和当前图像矩阵保持一致,初始化Bezier曲线参数,生成一条Bezier三次曲线。
B(h)=P0(1-h)3+3P1h(1-h)2+3P2h2(1-h)+P3h3,h∈[0,1]
(3)矩阵MatB的每一行,拟合步骤(2)生成的Bezier参数曲线,且要求按照矩阵从下边缘到上边缘的次序,依次调整Bezier曲线的控制点P1和P2,使得曲线不断接近直线。如公式(5)所示,其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量,表示P1、P2点到由P0、P3连成直线的垂直距离,H表示图像矩阵的高度,i表示矩阵的行索引。运算后,生成可用于并行运算的Bezier参数矩阵MatB。如公式(6)所示,其中j表示矩阵的列索引。
(4)对于矩阵MatA的每一个元素,进行如公式(7)运算,其中i∈[0,W),j∈[0,H)。在每一个元素的运算都与其他元素的运算无关,满足并行运算要求,利用GPU并行运算资源,将矩阵MatA和MatB进行并行运算。
(5)将处理完后的图像矩阵MatC’送回视频缓冲池相应的位置。
(6)每次参数调整后,会重新生成几何校正的参数矩阵,将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作,直到处理完整个视频或再次进行了参数调整。
其中,三次方Bezier曲线的参数主要包括起始点p0、终点p3、两个曲线控制点p1、p2和步长h,控制点p1、p2控制曲线的弯曲程度,步长h控制图像的光滑程度,步长h越小,图像越光滑。
本申请采用基于Bezier参数的三次曲面并行计算方法,可根据需要实时调整控制点P1、P2,以便于调整曲线的弯曲弧度,使得非线性几何校正更加灵活。首先根据视频缓冲池中图像矩阵的大小,初始化Bezier曲线参数,然后设计矩阵MatB,要求MatB和视频缓冲池中单帧图像大小一致,将矩阵的每一行拟合贝赛尔曲线,生成可用于并行运算的Bezier参数矩阵,处理流程如图6。
链路模型中,包括DirectShow系统自带的源过滤器、解码过滤器、渲染过滤器,分别完成视频文件的采集、音视频解码分流、时钟同步渲染操作。插入的转换过滤器包括,裁剪过滤器、非线性几何校正过滤器、边缘亮度融合过滤器,以完成显示区域的调整、环幕几何校正、场景拼接的亮度融合操作,如图8所示。
在具体实现中,具体配置如下:系统PC机配置为I7 2180GHz CPU,4G内存,图形加速卡为NVIDIA GTX770,4G显存。投影系统由三台分辨率为1024*768的Panasonic投影仪组成和三台普通的计算机组成。三台投影仪根据环幕特点摆放,确保相邻投影仪的投影有一定重叠区域,且覆盖整个环幕。系统采用基于局域网的客户端-服务器模型,服务器控制端应用程序可通过局域网向各用户端发送控制指令,进行多投影显示的参数设置,系统展示效果如图9所示。
与CPU多线程处理方式相比,测试结果分析如下:
测试采用4K格式视频源采,分辨率为3840*2160,帧速率为29.970fps,数据速率为32.3mbps的视频文件,测试算法为几何校正算法,测试时间单位为毫秒,测试结果如下所示。
表1几何校正算法测试结果
对于非线性几何校正算法,具有较高的时间复杂度。在进行算法的测试的过程中,采用非线性几何校正算法进行测试,考虑在使用GPU和不使用GPU的情况下,记录算法的执行时间。在使用GPU资源计算时,首先应将图像数据从主存传输到显存,再利用GPU进行计算,因此,将传输时间Ttrans和GPU计算时间Tgpu的和作为GPU计算所消耗的总时间Ttrans_gpu,即Ttrans_gpu=Ttrans+Tgpu。将CPU计算消耗时间Tcpu与GPU计算所消耗Ttrans_gpu作对比,结果如图7所示。
从图7中可以看出,图像数据从主存到显存的传输时间要远大于GPU的计算时间,且随着视频文件分辨率的提升,传输消耗时间呈现超过指数阶的增长速度。
利用CPU计算资源,在分辨率为4096*2160时,算法处理一帧图像矩阵时间为47.48ms,视频文件不能正常播放,采用CPU、GPU协同编程的方法,处理时间压缩为12.51ms,满足流畅播放要求。采用CPU、GPU协同编程,在CPU较差的PC机中利用GPU的计算资源,保证了算法在系统允许的时间范围内完成运算,减少对CPU计算资源的消耗,保证视频播放的流畅性,提高了计算机运行的稳定性。
本申请通过设计并使用边缘融合和非线性几何校正并行算法,采用CPU、GPU协同运算的编程方式,可以有效提高算法的运行速度,减少了CPU资源的消耗,有效降低对CPU计算性能的依赖。提升硬件利用率和计算效率的同时,也为算法性能优化提供更多的空间,使得最终投影显示效果更加自然、流畅。借助于DirectShow的链路模型,增强系统对播放环境的适应能力,可以灵活的修改或者添加Filter来完善系统功能,用户可以通过修改filter的参数来调整投影面的非线性几何校正和边缘融合效果。
Claims (11)
1.基于GPU实时视频处理的多投影融合方法,其特征在于,针对每一帧数据的处理包括以下步骤:
(1)源过滤器采集视频文件生成视频源数据和音频数据;
(2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数据;
(3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算;
(4)渲染过滤器对所述转换过滤器处理后的数据进行渲染,同时通过视频源数据的参考时钟对所述音频数据和所述视频矩阵数据进行同步操作;
所述算法包括边缘融合算法、非线性几何校正算法;
所述非线性几何校正算法包括以下步骤,
(1)在所述非线性几何校正过滤器的缓冲池中读取所述视频矩阵数据,并记录当前矩阵的窗口大小,高度H1,宽度W1,所述视频矩阵数据默认最下面一行为初始行;
(2)根据步骤(1)记录的所述窗口大小,设计矩阵MatB’和MatC’,与当前图像矩阵MatA’大小保持一致,初始化Bezier曲线参数,根据公式4生成一条Bezier三次曲线
B(h)=P0(1-h)3+3P1h(1-h)2+3P2h2(1-h)+P3h3,h∈[0,1] 公式4;
(3)将矩阵MatB’的每一行,拟合步骤(2)生成的所述Bezier曲线参数,要求矩阵从下边缘到上边缘的次序,依次调整所述Bezier曲线的控制点,使得曲线不断接近直线;运算后,生成可用于并行运算的Bezier参数矩阵其中其中j表示矩阵的列索引;
(4)将矩阵MatA’的每一个元素进行如公式5的运算,其中i∈[0,W),j∈[0,H);然后将矩阵MatA’和MatB’进行并行运算
(5)将处理完后的图像矩阵MatC’送回视频缓冲池相应的位置;
(6)每次参数调整后,会重新生成几何校正的参数矩阵,将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作,直到处理完整个视频或再次进行了参数调整。
2.如权利要求1所述的多投影融合方法,其特征在于:所述视频文件经过解码后,转换为图像矩阵数据,所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池。
3.如权利要求2所述的多投影融合方法,其特征在于:所述视频矩阵数据每一帧为一个所述图像矩阵数据。
4.如权利要求3所述的多投影融合方法,其特征在于:在所述转换过滤器完成所述计算后生成处理后的数据,并将其送回所述转换过滤器的缓冲池。
5.如权利要求1所述的多投影融合方法,其特征在于:所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器。
6.如权利要求5所述的多投影融合方法,其特征在于:所述边缘融合算法包括以下步骤,
(1)在所述边缘亮度融合过滤器的缓冲池中读所述视频矩阵数据,并记录当前图像矩阵的窗口大小,高度H,宽度W,所述视频矩阵数据默认最下面一行为初始行;
(2)初始化边缘融合函数的参数,公式1中参数a取值范围为0~1,即a∈[0,1],p的取值范围为1~5中的整数,即p∈(1,2,3,4,5)
(3)根据步骤(1)记录的窗口大小,设计矩阵MatB和融合带宽度Bw,保证所述矩阵MatB和所述图像矩阵MatA保持一致,根据公式2计算所述融合矩阵MatB,其中j∈[0,H)
(4)将所述图像矩阵MatA与融合矩阵MatB的相应元素相乘,并赋值给所述图像矩阵MatA,形成图像矩阵MatA1,计算过程如公式
(5)将所述图像矩阵MatA1送至所述非线性几何校正过滤器的缓冲池中;
(6)每次参数调整后,会重新生成融合矩阵,将缓冲池中剩余的图像矩阵一次执行步骤(4)、(5),直到处理完所述缓冲池中所有的视频矩阵数据或再次进行了参数调整。
7.如权利要求1所述的多投影融合方法,其特征在于:所述Bezier曲线的控制点如公式6,其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量,表示P1、P2点到由P0、P3连成直线的垂直距离,H表示图像矩阵的高度,i表示矩阵的行索引:
8.基于GPU实时视频处理的多投影融合系统,采用DirectShow链路模型,其特征在于,包括:
源过滤器,用于对视频文件采集,生成视频源数据;
解码过滤器,用于音视频解码分流,形成视频矩阵数据和音频数据;
转换过滤器用于接收从其它过滤器中传送过来的数据,再经过处理,传递给下一个过滤器;
渲染过滤器,用于对所述转换过滤器处理后的数据进行渲染,同时通过参考时钟进行同步操作;
所述源过滤器、所述解码过滤器、所述转换过滤器、所述渲染过滤器依次连接;
所述转换过滤器包括裁剪过滤器、边缘亮度融合过滤器、非线性几何校正过滤器;
所述非线性几何校正过滤器用于实现曲线校正算法,使得投影后的图像与环幕相符合,达到最佳观赏效果;
所述非线性几何校正算法包括以下步骤,
(1)在所述非线性几何校正过滤器的缓冲池中读取所述视频矩阵数据,并记录当前矩阵的窗口大小,高度H1,宽度W1,所述视频矩阵数据默认最下面一行为初始行;
(2)根据步骤(1)记录的所述窗口大小,设计矩阵MatB’和MatC’,与当前图像矩阵MatA’大小保持一致,初始化Bezier曲线参数,根据公式4生成一条Bezier三次曲线
B(h)=P0(1-h)3+3P1h(1-h)2+3P2h2(1-h)+P3h3,h∈[0,1] 公式4;
(3)将矩阵MatB’的每一行,拟合步骤(2)生成的所述Bezier曲线参数,要求矩阵从下边缘到上边缘的次序,依次调整所述Bezier曲线的控制点,使得曲线不断接近直线;运算后,生成可用于并行运算的Bezier参数矩阵其中其中j表示矩阵的列索引;
(4)将矩阵MatA’的每一个元素进行如公式5的运算,其中i∈[0,W),j∈[0,H);然后将矩阵MatA’和MatB’进行并行运算
(5)将处理完后的图像矩阵MatC’送回视频缓冲池相应的位置;
(6)每次参数调整后,会重新生成几何校正的参数矩阵,将缓冲池中剩余的图像矩阵依次执行步骤(4)、(5)操作,直到处理完整个视频或再次进行了参数调整。
9.如权利要求8所述的实时视频处理的多投影融合系统,其特征在于:所述过滤器中包含至少一个缓冲池。
10.如权利要求9所述的实时视频处理的多投影融合系统,其特征在于:所述裁剪过滤器根据投影仪的个数和相邻关系,在保持图像宽纵比和边缘融合带的前提下,对每一帧图像裁剪分割。
11.如权利要求9所述的实时视频处理的多投影融合系统,其特征在于:所述边缘亮度融合过滤器用于对每一个投影对应图像的边缘亮度调节,使得投影之后的相邻投影仪投射的图像没有较明显的边缘,实现平滑过渡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510142218.5A CN104836970B (zh) | 2015-03-27 | 2015-03-27 | 基于gpu实时视频处理的多投影融合方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510142218.5A CN104836970B (zh) | 2015-03-27 | 2015-03-27 | 基于gpu实时视频处理的多投影融合方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104836970A CN104836970A (zh) | 2015-08-12 |
CN104836970B true CN104836970B (zh) | 2018-06-15 |
Family
ID=53814584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510142218.5A Expired - Fee Related CN104836970B (zh) | 2015-03-27 | 2015-03-27 | 基于gpu实时视频处理的多投影融合方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104836970B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897976B (zh) * | 2015-12-23 | 2019-09-24 | 中国人民解放军海军航空大学 | 基于gpu的单显卡三通道立体视景投影软件校正融合方法 |
CN108495106B (zh) * | 2018-04-19 | 2020-09-29 | 上海海事大学 | 一种港口起重机模拟器视景系统及其图像处理方法和系统 |
CN110377865A (zh) * | 2019-09-07 | 2019-10-25 | 上海飞来飞去新媒体展示设计有限公司 | 一种融合贝塞尔曲线的球幕融合边缘加权计算方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101123723A (zh) * | 2006-08-11 | 2008-02-13 | 北京大学 | 基于图形处理器的数字视频解码方法 |
CN101201809A (zh) * | 2006-12-13 | 2008-06-18 | 国际商业机器公司 | 高速前侧总线的物理接口结构 |
CN101354780A (zh) * | 2007-07-26 | 2009-01-28 | Lg电子株式会社 | 图形数据处理设备和方法 |
CN101526934A (zh) * | 2009-04-21 | 2009-09-09 | 浪潮电子信息产业股份有限公司 | 一种gpu与cpu复合处理器的组建方法 |
CN101551761A (zh) * | 2009-04-30 | 2009-10-07 | 浪潮电子信息产业股份有限公司 | 一种异构多处理器中共享流内存的方法 |
CN101587583A (zh) * | 2009-06-23 | 2009-11-25 | 长春理工大学 | 基于gpu集群的渲染农场 |
CN101664583A (zh) * | 2009-09-09 | 2010-03-10 | 深圳市海博科技有限公司 | 基于cuda的剂量计算优化方法和系统 |
CN101697226A (zh) * | 2009-10-23 | 2010-04-21 | 北京大学 | 新型异步流水线地形绘制方法 |
CN101706741A (zh) * | 2009-12-11 | 2010-05-12 | 中国人民解放军国防科学技术大学 | 一种基于负载平衡的cpu和gpu两级动态任务划分方法 |
CN101908035A (zh) * | 2010-07-30 | 2010-12-08 | 北京华傲精创科技开发有限公司 | 视频编解码方法、gpu及其与cpu的交互方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101017316A (zh) * | 2007-02-13 | 2007-08-15 | 上海水晶石信息技术有限公司 | 一种适用于不规则幕的多屏幕播放变形校正方法 |
CN104282014A (zh) * | 2013-07-13 | 2015-01-14 | 哈尔滨点石仿真科技有限公司 | 基于nurbs曲面的多通道几何校正与边缘融合方法 |
CN104202546B (zh) * | 2014-08-22 | 2017-09-12 | 湖南华凯文化创意股份有限公司 | Cave沉浸式虚拟显示系统与显示方法 |
-
2015
- 2015-03-27 CN CN201510142218.5A patent/CN104836970B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101123723A (zh) * | 2006-08-11 | 2008-02-13 | 北京大学 | 基于图形处理器的数字视频解码方法 |
CN101201809A (zh) * | 2006-12-13 | 2008-06-18 | 国际商业机器公司 | 高速前侧总线的物理接口结构 |
CN101354780A (zh) * | 2007-07-26 | 2009-01-28 | Lg电子株式会社 | 图形数据处理设备和方法 |
CN101526934A (zh) * | 2009-04-21 | 2009-09-09 | 浪潮电子信息产业股份有限公司 | 一种gpu与cpu复合处理器的组建方法 |
CN101551761A (zh) * | 2009-04-30 | 2009-10-07 | 浪潮电子信息产业股份有限公司 | 一种异构多处理器中共享流内存的方法 |
CN101587583A (zh) * | 2009-06-23 | 2009-11-25 | 长春理工大学 | 基于gpu集群的渲染农场 |
CN101664583A (zh) * | 2009-09-09 | 2010-03-10 | 深圳市海博科技有限公司 | 基于cuda的剂量计算优化方法和系统 |
CN101697226A (zh) * | 2009-10-23 | 2010-04-21 | 北京大学 | 新型异步流水线地形绘制方法 |
CN101706741A (zh) * | 2009-12-11 | 2010-05-12 | 中国人民解放军国防科学技术大学 | 一种基于负载平衡的cpu和gpu两级动态任务划分方法 |
CN101908035A (zh) * | 2010-07-30 | 2010-12-08 | 北京华傲精创科技开发有限公司 | 视频编解码方法、gpu及其与cpu的交互方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104836970A (zh) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10623609B1 (en) | Virtual video environment display systems | |
CN104836970B (zh) | 基于gpu实时视频处理的多投影融合方法和系统 | |
CN109164997A (zh) | 分布式画面渲染和画面播放控制方法、装置及设备 | |
CN206819048U (zh) | 一种球幕投影系统 | |
CN111683260A (zh) | 基于虚拟主播的节目视频生成方法、系统和存储介质 | |
CN104574496A (zh) | 一种计算光照图的静态阴影和动态阴影融合的方法及装置 | |
CN109901713A (zh) | 一种多人协同装配系统及方法 | |
CN112511896A (zh) | 一种视频渲染方法及装置 | |
CN114845136B (zh) | 视频合成方法、装置、设备和存储介质 | |
CN117456113B (zh) | 一种云端离线渲染交互应用实现方法及系统 | |
CN117390322A (zh) | 虚拟空间构建方法、装置、电子设备及非易失性存储介质 | |
CN105025281A (zh) | 大尺寸球幕超清影片播放及互动应用拼接融合方法 | |
JP4988042B2 (ja) | 立体画像の編集方法 | |
US8933990B2 (en) | Method for 3D visual mapping using 3D stereoscopic video content | |
CN110213640A (zh) | 虚拟物品的生成方法、装置及设备 | |
CN106951204B (zh) | 基于计算机集群可视化系统的图像同步方法 | |
CN107968954B (zh) | 在线直播系统 | |
CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
CN104284099A (zh) | 一种基于多通道输入大屏显示的方法及系统 | |
CN117115326A (zh) | 三维场景模型的渲染方法、装置及分布式渲染服务器 | |
KR100799304B1 (ko) | 비평면 디스플레이 환경에서 고해상도 동영상 투영 시스템및 방법 | |
CN112911260B (zh) | 一种多媒体展厅沙盘投影展示系统 | |
CN114168098A (zh) | 电子白板的数据同步方法、装置、设备和存储介质 | |
CN206452488U (zh) | 在线直播系统 | |
CN113823133A (zh) | 一种将虚拟现实技术与教育培训结合的数据交换系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180615 |
|
CF01 | Termination of patent right due to non-payment of annual fee |