CN103440117B - 视频图像处理的方法及系统 - Google Patents

Abstract

一种视频图像处理的方法及系统，其中方法包括步骤：通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令；通过总线将所述视频图像和视频图像处理指令发送至GPU显卡；通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理；将GPU显卡处理后的视频图像同步显示。本发明的视频图像处理技术，在具有良好调度的同时，提高处理速度，实时性好。

Description

视频图像处理的方法及系统

技术领域

本发明涉及视频处理领域，特别是涉及视频图像处理的方法及系统。

背景技术

视频图像处理技术在智能视频图像分析技术中得到广泛应用。例如一些户外监控系统往往只能在晴天下才能正常工作，在大雾、沙尘等恶劣天气或者低光照情况下图像对比度大大降低，人们无法从中得到有用信息。在出现大雾、大雨、沙尘等恶劣天气时，户外景物图像的对比度和颜色都会被改变或退化，图像中蕴含的许多特征都被覆盖或模糊，得到的是退化图像，对于各类监控都造成了极大的困难，因此，为了充分发挥监视视频的效能，往往就采用一些视频图像处理算法对监视的视频图像进行清晰化处理等。

传统技术中，一般是在摄像头采集前端通过嵌入式技术实现，由于摄像头采集前端嵌入式设备处理能力的限制，只能使用些简单的视频图像增强算法，效果有较大限制，同时也只能增强处理低于高清分辨率的视频。

目前，也有采用后端服务器方式实现视频处理的技术，这种技术中，在CPU通过获取到视频数据后，直接在CPU上运行视频图像处理算法对视频图像进行处理，这种技术虽然在一定程度上避免了前端嵌入式设备处理能力的限制问题，同时具有调度好的优点，但是当要处理多路视频时，运行视频图像处理算法就会占用较多的CPU资源，影响视频图像处理的实时性，而且由于CPU是串行工作指令方式，视频图像处理实时性较差。

发明内容

基于此，有必要针对实时性差的问题，提供一种视频图像处理的方法及系统。

一种视频图像处理的方法，包括步骤：

通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令；

通过总线将所述视频图像和视频图像处理指令发送至GPU显卡；

通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理；

将GPU显卡处理后的视频图像同步显示。

一种视频图像处理系统，包括：

判断模块，用于通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令；

发送模块，用于通过总线将所述视频图像和视频图像处理指令发送至GPU显卡；

处理模块，用于通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理；

显示模块，用于将GPU显卡处理后的视频图像同步显示。

上述视频图像处理的方法及系统，通过CPU获取视频图像，并对各路视频图像进行轮询判断，获得视频图像处理指令，通过GPU显卡以并行的方式接收并处理视频图像，在具有良好调度的同时，提高处理速度，实时性好。特别是在大屏幕显示装置中，比如拼接墙，由于需要处理的视频路数较多，采用本发明更能体现实时性好的优点。

附图说明

图1为本发明视频图像处理的方法实施例的流程示意图；

图2为本发明视频图像处理系统实施例的结构示意图。

具体实施方式

以下针对本发明视频图像处理的方法及系统的各实施例进行详细的描述。

如图1所示，为本发明视频图像处理的方法实施例的流程示意图，包括步骤：

步骤S101：通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据判断结果获得视频图像处理指令。

视频图像可以从采集卡中获取，比如RGB采集卡、Video采集卡等。采集卡可以有一块或多块。对各路视频图像进行轮训判断可以是对视频图像属性的判断，视频图像属性判断可以是亮度判断、画面模糊判断、画面是否有条纹、雪花、画面是否冻结等，还可以是降噪判断、锐化判断、色彩增强判断等。根据判断结果，获得相应的视频图像处理指令，比如提高亮度指令、去雪花指令、去冻结指令、色彩增强指令等。

步骤S102：通过总线将视频图像和视频图像处理指令发送至GPU显卡。

CPU与GPU显卡通过总线连接，总线可以为PCI-E总线。其中，GPU显卡可以有一块或多块。

步骤S103：通过GPU显卡以并行的方式接收视频图像处理指令和视频图像，根据视频图像处理指令，调用相应的视频图像处理算法对视频图像进行处理。

步骤S104：将GPU显卡处理后的视频图像同步显示。其中，同步显示可以通过同步播放的方式实现。

本发明的视频图像处理的方法，通过CPU获取视频图像，并对各路视频图像进行轮询判断，获得视频图像处理指令，通过GPU显卡以并行的方式接收并处理视频图像，由于每块GPU显卡可同时并行处理多路，比如4路。还可以有多个GPU显卡并行处理，因此在具有良好调度的同时，提高处理速度，实时性好。特别是在大屏幕显示装置中，比如拼接墙，由于需要处理的视频路数较多，采用本发明更能体现实时性好的优点。同时，本发明利用CPU和GPU的协同工作，实现一体化设计，成本低，经济实用。另一方面，对视频图像的处理，本方案不需要在每个显示单元里以嵌入式的方式增加视频处理单元，不会因为显示单元数量的增加导致成本的增加，也不会受嵌入式固有特性影响使处理能力受限，本方案在GPU中实现视频图像处理，处理能力好。并且本方案多路视频集中处理，资源利用率高。

在其中一个实施例中，图像处理指令可以是暗场增强指令，提高视频图像的亮度。具体步骤可以为：通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据判断结果获得视频图像处理指令步骤，包括步骤：通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均亮度，当平均亮度小于第一预设值时，获得暗场增强指令。

通过总线将视频图像和视频图像处理指令发送至GPU显卡包括步骤：通过总线将视频图像和暗场增强指令发送至GPU显卡。

通过GPU显卡以并行的方式接收视频图像处理指令和视频图像，根据视频图像处理指令，调用相应的视频图像处理算法对视频图像进行处理步骤，包括步骤：通过GPU显卡以并行的方式接收暗场增强指令和视频图像，根据暗场增强指令，调用暗场增强算法增强视频图像亮度。

本发明的视频图像处理判断运行配置在CPU上，视频图像增强算法运行配置在GPU显卡上。这种算法可以通过CUDA编程实现，也可以使用OpenCL编程移植到GPU上。

视频帧提取图像分析工作由Intel CPU负责处理，CPU轮询处理某路视频，提取某一帧，计算平均亮度。过程可以为：平均亮度GrayM=mean Gray(x,y)),Gray(x,y)为原视频某帧灰度图，如一幅分辨率为CIF=352*288的某帧图像，分别统计这幅图像的每个像素值并求和，再除于352*288就可得到平均亮度GrayM。当GrayM<100时，启动暗场增强算法，增强系数E=k/GrayM(1≤k≤GrayM)。当然，判断是否需要增强亮度处理的方法不限于这种判断方法，也可以采用其他方法。

视频暗场增强算法可以采用Retinex算法，暗场增强算法步骤：

1.读入原始图像I（x,y）,将其转换成double型变量，以方便后面的计算；

2.针对输入的尺度C确定高斯函数G（x,y）,使其满足

G(x，y)=λ·e^{-（x2+y2）/c2}，

并利用条件 $\&Integral;\&Integral;G(x,y)\mathrm{dxdy}=1,$

其中，在离散条件下积分转化为求和来确定参数λ的值。

3.将原始函数I（x,y）高斯函数G(x,y)代入公式求得Retinex的输出。其中r(x,y)为Retinex输出。

$r(x,y)=\log \left[R(x,y)\right]=\log \frac{I(x,y)}{L(x,y)}=\log \left[I(x,y)\right]-\log [I(x,y)*G(x,y)]$

4.将r(x,y)从频率域转换到空间域R(x,y)得到增强图像。

在其中一个实施例中，图像处理指令可以是去雾指令，在雾霾天气时，对视频图像进行去雾处理。具体步骤可以是：通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据判断结果获得视频图像处理指令步骤，包括步骤：通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均暗通道值，当平均暗通道值大于第二预设值时，获得去雾指令。

通过总线将视频图像和视频图像处理指令发送至GPU显卡包括步骤：通过总线将视频图像和去雾指令发送至GPU显卡。

通过GPU显卡以并行的方式接收视频图像处理指令和视频图像，根据视频图像处理指令，调用相应的视频图像处理算法对视频图像进行处理步骤，包括步骤：通过GPU显卡以并行的方式接收去雾指令和视频图像，根据去雾指令，调用去雾算法对视频图像进行去雾处理。

视频帧提取图像分析工作由Intel CPU负责处理，CPU轮询处理某路视频，提取某一帧，计算平均暗通道值。过程可以为：平均暗通道数DarkM=mean(DarkC(x,y)),DarkC(x,y)=min(R(x,y),G(x,y)B(x,y))，C(x,y)表示视频某帧其中一个像素点，R(x,y),G(x,y)B(x,y)表示像素C(x,y)的红、绿和蓝三颜色通道值。先选出每个像素点最小通道值，再将最小通道值进行求平均值，可以得到平均暗通道数。当DarkM>50时，启动去雾功能，去雾参数D与DarkM成正比。当然，判断是否需要去雾处理的方法不限于这种判断方法，也可以采用其他方法。去雾算法可以采用Dark channel算法。这种算法可以通过CUDA编程实现，也可以使用OpenCL编程移植到GPU上。

其中一个实施例中，通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据判断结果获得视频图像处理指令步骤之前，还包括步骤：通过预设采集卡采集视频图像，并将视频图像分割为分辨率为第三预设值的多路视频图像。比如，第三预设值可以为1080p。

采用本发明，每块GPU显卡可同时并行处理4路1080p30hz或1080i60hz的图像处理。而且通过预设采集卡（可以为RGB/Video采集卡），将高于第三预设值分辨率的超大视频进行分割，由GPU并行增强处理，多个GPU显卡同步驱动输出显示在大拼接墙上。从而实现对分辨率高的视频图像进行处理。比如在航天领域，高像素，高分辨率的视频图像用于监控城市的变化和规划城市的发展。然而对于超大画面（4k*2K=800万像素以上）的视频处理（特别是视频增强），目前的技术方法还不能很好地实现。而采用本发明方案则可实现对高分辨率的视频图像进行处理。其中，超大视频画面可以采用超高像素摄像机拍摄，也可以通过视频拼接方法将小分辨率视频拼接成一幅超大分辨率的视频画面。

在其中一个具体实例中，本方法的硬件平台采用基于PCI-E总线的通用PC架构，Intel CPU和微软视窗操作系统。比如CPU可配置Intel酷睿i5四核处理器，硬盘可配置2个500G,内存可配置4GB DDR3,GPU显卡可选用NvidaGTS680或AMD7970等，但本发明也适应其他显卡，硬件系统还需要配置支持PCI-E总线接口的预设RGB采集卡和预设Video采集卡，这里预设RGB/Video采集卡表示支持超大分辨率的采集和分割功能。一块显卡可支持4个单元，增强多屏拼接处理器系统最大可插9块显卡，支持36个单元。预设RGB采集卡、Video采集卡和显卡的个数根据项目的输入单元信号数量和显示单元数量灵活配置。如可配置1块预设RGB采集卡（比如，最大支持4路RGB信号）、1块预设Video采集卡（比如，最大支持16路CIF）和8块显卡（比如，Nvida GTS580显卡），支持32个显示单元。软件包括视频清晰度判别，视频增强处理和多显卡同步输出，定义一个统一的管理软件平台标准接口，将视频监控行业解决方案中的视频分析（含增强）管理平台和多屏处理器管理平台合二为一，将视频增强和视频显示功能合在一个设备系统中。增强实时性的同时降低了成本。

当判断需要启动视频流增强处理，则由CPU将该路视频信号通过PCI－E总线传递到GPU显卡，启动视频增强或去雾算法，经GPU显卡增强亮度或去雾处理后，交由GPU卡的多屏同步驱动程序由DVI输出到显示单元。否则，视频流通过PCI-E总线传输到GPU显存，直接调用GPU驱动程序将视频流通过DVI传输到拼接墙上。

当采集的视频画面分辨率大于1080P,将分割几个小于1080P的视频，由GPU并行处理。如采集的视频分辨率是4K*2K(4倍高清),则采集卡可将其分割为4个1080P视频帧，由一块GPU同时处理，或2块GPU卡分别处理。然后同步驱动拼接显示在大墙上，即可实现大分辨率的视频增强处理。

根据上述方法，本发明还提供一种视频图像处理系统，如图2所示，为本发明视频图像处理系统实施例的结构示意图，包括：

判断模块201，用于通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据判断结果获得视频图像处理指令；

发送模块202，用于通过总线将视频图像和视频图像处理指令发送至GPU显卡；

处理模块203，用于通过GPU显卡以并行的方式接收视频图像处理指令和视频图像，根据视频图像处理指令，调用相应的视频图像处理算法对视频图像进行处理；

显示模块204，用于将GPU显卡处理后的视频图像同步显示。

在其中一个实施例中，判断模块，用于通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均亮度，当平均亮度小于第一预设值时，获得暗场增强指令；

发送模块，用于通过总线将视频图像和暗场增强指令发送至GPU显卡；

处理模块，用于通过GPU显卡以并行的方式接收暗场增强指令和视频图像，根据暗场增强指令，调用暗场增强算法增强视频图像亮度。

在其中一个实施例中，判断模块，用于通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均暗通道值，当平均暗通道值大于第二预设值时，获得去雾指令；

发送模块，用于通过总线将视频图像和去雾指令发送至GPU显卡；

处理模块，用于通过GPU显卡以并行的方式接收去雾指令和视频图像，根据去雾指令，调用去雾算法对视频图像进行去雾处理。

在其中一个实施例中，还包括：

采集模块，用于通过预设采集卡采集视频图像，并将视频图像分割为分辨率为第三预设值的多路视频图像。

其中，在一个实施例中，预设采集卡可以至少包括一个解码模块、超高分辨率分割模块、帧缓存、PCI-E接口模块，超高分辨率分割模块分别与解码模块、帧缓存、PCI-E接口模块连接。解码模块对获取的视频图像进行解码，超高分辨率分割模块将解码后的视频图像进行分割并通过PCI-E传输至CPU。

本发明的视频图像处理系统与本发明的视频图像处理方法是一一对应的，上述视频图像处理方法实施例中的相关技术特征及其技术效果均适用于视频图像处理系统实施例中，在此不再赘述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种视频图像处理的方法，其特征在于，包括步骤：

通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令；

通过总线将所述视频图像和视频图像处理指令发送至GPU显卡；

通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理；

将GPU显卡处理后的视频图像同步显示。

2.根据权利要求1所述的视频图像处理的方法，其特征在于，

所述通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令步骤，包括步骤：通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均亮度，当所述平均亮度小于第一预设值时，获得暗场增强指令；

所述通过总线将所述视频图像和视频图像处理指令发送至GPU显卡包括步骤：通过总线将所述视频图像和暗场增强指令发送至GPU显卡；

所述通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理步骤，包括步骤：通过GPU显卡以并行的方式接收所述暗场增强指令和视频图像，根据所述暗场增强指令，调用暗场增强算法增强所述视频图像亮度。

3.根据权利要求1所述的视频图像处理的方法，其特征在于，

所述通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令步骤，包括步骤：通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均暗通道值，当所述平均暗通道值大于第二预设值时，获得去雾指令；

所述通过总线将所述视频图像和视频图像处理指令发送至GPU显卡包括步骤：通过总线将所述视频图像和去雾指令发送至GPU显卡；

所述通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理步骤，包括步骤：通过GPU显卡以并行的方式接收所述去雾指令和视频图像，根据所述去雾指令，调用去雾算法对所述视频图像进行去雾处理。

4.根据权利要求1至3任意一项所述的视频图像处理的方法，其特征在于，所述通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令步骤之前，还包括步骤：通过预设采集卡采集视频图像，并将所述视频图像分割为分辨率为第三预设值的多路视频图像。

5.一种视频图像处理系统，其特征在于，包括：

判断模块，用于通过CPU获取视频图像，并对各路视频图像进行轮询判断，并根据所述判断结果获得视频图像处理指令；

发送模块，用于通过总线将所述视频图像和视频图像处理指令发送至GPU显卡；

处理模块，用于通过GPU显卡以并行的方式接收所述视频图像处理指令和视频图像，根据所述视频图像处理指令，调用相应的视频图像处理算法对所述视频图像进行处理；

显示模块，用于将GPU显卡处理后的视频图像同步显示。

6.根据权利要求5所述的视频图像处理系统，其特征在于，

所述判断模块，用于通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均亮度，当所述平均亮度小于第一预设值时，获得暗场增强指令；

所述发送模块，用于通过总线将所述视频图像和暗场增强指令发送至GPU显卡；

所述处理模块，用于通过GPU显卡以并行的方式接收所述暗场增强指令和视频图像，根据所述暗场增强指令，调用暗场增强算法增强所述视频图像亮度。

7.根据权利要求5所述的视频图像处理系统，其特征在于，

所述判断模块，用于通过CPU获取视频图像，并对各路视频图像进行轮询，计算各路视频图像的平均暗通道值，当所述平均暗通道值大于第二预设值时，获得去雾指令；

所述发送模块，用于通过总线将所述视频图像和去雾指令发送至GPU显卡；

所述处理模块，用于通过GPU显卡以并行的方式接收所述去雾指令和视频图像，根据所述去雾指令，调用去雾算法对所述视频图像进行去雾处理。

8.根据权利要求5至7任意一项所述的视频图像处理系统，其特征在于，还包括：

采集模块，用于通过预设采集卡采集视频图像，并将所述视频图像分割为分辨率为第三预设值的多路视频图像。