CN103929599B - 一种基于fpga的数字视频图像实时缩放处理方法 - Google Patents

Abstract

一种基于FPGA的数字视频图像实时缩放处理方法,涉及一种图像处理方法。本发明是为了解决现有单核高分辨率视频缩放方法，对硬件性能要求高、功耗大的问题。本发明对接收的视频信号进行视频采集处理，获得数字视频信号，FPGA模块对数字视频信号根据终端显示器的个数m做一次分割处理，将数字视频信号分割成m路预处理多核缩放数据；根据视频信号的最高像素速率要求，分别选择缩放核类型和单个缩放模块中缩放核个数n；根据缩放核个数n，将每路预处理多核缩放数据分割成n等分，并将分割后的缩放数据发送至n个缩放核进行图像缩放；按照像素在帧内的先后顺序进行汇总合并，获得m路多核缩放数据并输出。本发明适用于图像处理。

Description

一种基于FPGA的数字视频图像实时缩放处理方法

技术领域

本发明涉及一种图像处理方法。

背景技术

随着视频显示技术和显示终端制造技术的不断发展，各类视频应用所要求的分辨率以及显示终端的尺寸都在不断提高，不但出现了1920*1080以及更高的分辨率，而且显示终端的尺寸也不断的突破制造工艺的极限，尤其是屏幕拼接技术和投影融合技术的出现更是进一步提高了显示终端的显示分辨率和尺寸。同时，现代化的媒体宣传、橱窗展示以及公众演示等应用使得分布式视频显示技术得以工程化。随着这类应用的日益推广，人们开始追求单个视频显示节点的高清以及更高分辨率的视频显示，甚至某些由屏幕拼接系统和投影融合系统构成的大型视频显示节点也被部署在分布式视频显示系统中，这大大提高了单个视频节点的视频数据吞吐量和运算量。

这些显示技术和需求，不仅包括如何以更大的屏幕来显示更高分辨率的视频信息，还包括如何将低(高)分辨率的视频信息实时的放大(缩小)显示到相应的高(低)分辨率显示屏幕上。由此不难看出，视频显示技术的发展已经不再仅仅受制于显示技术本身，而是在某些应用中更多的受制于所需视频信息的质量、实时性以及处理方式和处理芯片的运算能力。

目前，随着集成电路制造技术的不断发展，传统上以提高系统频率来提升性能为主要途径的技术遇到致命的瓶颈，即功耗与散热的问题。由于CMOS晶体管特征尺寸的缩小导致单位面积上晶体管数目的增加，加上时钟频率的提升，使得单位面积上晶体管漏电流不断增大。研究表明，处理器性能每提升l％，功耗将增加3％。如果按照这种趋势发展而不采取其他降低功耗的措施的话，在2015年，集成电路每平方厘米面积上的功耗密度将达到上千瓦，由此而导致的热量积聚将使得芯片根本无法工作。

发明内容

本发明是为了解决现有单核高分辨率视频缩放方法，对硬件性能要求高、功耗大的问题，提出了一种基于FPGA的数字视频图像实时缩放处理方法。

本发明所述一种基于FPGA的数字视频图像实时缩放处理方法，该方法的具体步骤为：

步骤一、对接收的视频信号进行视频采集处理，获得数字视频信号，并将获得的视频信号输入至FPGA模块；

步骤二、FPGA模块对接收的数字视频信号根据终端显示器的个数m做一次分割处理，将数字视频信号分割成m路预处理多核缩放数据；其中m≥1，m为整数；

步骤三、根据视频信号的最高像素速率要求，选择缩放核类型和单个缩放模块中缩放核个数n；n≥1，n为整数；

所述中缩放核个数n的确定方法为：

每个缩放模块中所需要的缩放核个数n为：

当缩放模块工作于放大模式时：

当缩放模块工作于缩小模式时

I_sdeal为每个缩放核的最高像素吞吐速率；fps为显示终端和输入视频的刷新率；

显示终端分辨率×fps为：放大模式下缩放模块需要处理的视频像素速率；

输入视频分辨率×fps为：缩小模式下缩放模块需要处理的视频像素速率；

步骤四、根据步骤三获得的缩放核个数n，将每路预处理多核缩放数据分割成n等分，并将分割后的缩放后的n分数据分别发送至n个缩放核进行图像缩放；

步骤五、将每个缩放核处理后的视频信号，按照像素在帧内的先后顺序进行汇总合并，获得m路多核缩放数据并输出，实现基于FPGA的数字视频图像实时缩放处理。

本发明采用多核并行处理方法，减小单核FPGA的计算量，在权衡运算速度的基础上，合理地增加FPGA的使用资源，可以实时输出，在硬件上可实现。针对缩放后数字视频图像分辨率的不同，本发明可自适应地调整缩放过程中所用的FPGA缩放核个数，同时对于显示终端所用的显示器或投影设备个数可配置，对于待放大或缩小视频图像分辨率的不同，本发明具有良好的普适性和可移植性，本发明有效地降低了对硬件性能或外部环境的依赖程度，降低了系统的功耗，且采用本发明所述方法，系统功耗与现有单核高分辨率视频缩放方法相比，同比降低了20％。

附图说明

图1为本发明所述的一种基于FPGA的数字视频图像实时缩放处理方法的流程图；

图2为具体实施方式四所述的实施例的原理框图；

图3为待运算点映射到原始图像中位置示意图；

图4为图像分割方法示意图；

图5为具体实施方式四和具体实施方式五分割效果图示意图；

图6为具体实施方式七分割效果图示意图。

具体实施方式

具体实施方式一、本实施方式所述一种基于FPGA的数字视频图像实时缩放处理方法，该方法的具体步骤为：

步骤一、对接收的视频信号进行视频采集处理，获得数字视频信号，并将获得的视频信号输入至FPGA模块；

步骤二、FPGA模块对接收的数字视频信号根据终端显示器的个数m做一次分割处理，将数字视频信号分割成m路预处理多核缩放数据；其中m≥1，m为整数；

步骤三、根据视频信号的最高像素速率要求，选择缩放核类型和单个缩放模块中缩放核个数n；n≥1，n为整数；

所述中缩放核个数n的确定方法为：

每个缩放模块中所需要的缩放核个数n为：

当缩放模块工作于放大模式时：

当缩放模块工作于缩小模式时

I_sdeal为每个缩放核的最高像素吞吐速率；fps为显示终端和输入视频的刷新率；

显示终端分辨率×fps为：放大模式下缩放模块需要处理的视频像素速率；

输入视频分辨率×fps为：缩小模式下缩放模块需要处理的视频像素速率；

步骤四、根据步骤三获得的缩放核个数n，将每路预处理多核缩放数据分割成n等分，并将分割后的缩放后的n分数据分别发送至n个缩放核进行图像缩放；

步骤五、将每个缩放核处理后的视频信号，按照像素在帧内的先后顺序进行汇总合并，获得m路多核缩放数据并输出，实现基于FPGA的数字视频图像实时缩放处理。

具体实施方式二、本实施方式是对具体实施方式一所述的一种基于FPGA的数字视频图像实时缩放处理方法的进一步说明，缩放核类型包括采用双线性插值缩放算法的缩放核和双三次插值缩放算法的缩放核。

具体实施方式三、本实施方式是对具体实施方式一所述的一种基于FPGA的数字视频图像实时缩放处理方法的进一步说明，步骤一所述的对接收的视频信号进行视频采集处理的方法为：

采用解码器对采集的数字视频信号进行解码；

或采用模数转换电路将采集的模拟视频信号转换成数字视频信号。

具体实施方式四、本实施方式是采用具体实施方式一所述的一种基于FPGA的数字视频图像实时缩放处理方法的具体实施例，本实施方式中：

显示器的终端分辨率为1920*1080，终端采用4个显示器；

具体实现步骤如下：

步骤A1、采集显卡接收的视频信号，通过解码器获得数字视频信号；

步骤A2、将数字视频信号输入FPGA模块进行第一次图像分割；

由终端采用4个显示器，将图像分为4路预处理多核缩放数据；

步骤A3、将每路预处理多核缩放数据分割成2路，并将分割后的数据采用双线性插值算法缩放核进行缩放，每一路经过双线性插值进行两倍放大，获得8路视频信号；最终分割效果图如图5所示；

本例中采用双线性插值放大，待运算点像素值与其周围一行(一列)相关，分割后图像的每一部分即为其均匀分割分界线各向外扩展一行(一列)，如图4所示；

步骤A4、将步骤A3获得8路数字视频信号经过显示驱动，即通过译码器到相应的四个显示器上显示，实现基于FPGA的数字视频图像实时缩放处理。

具体实施方式五、本实施方式是采用具体实施方式一所述的一种基于FPGA的数字视频图像实时缩放处理方法的具体实施例，本实施方式中：

显示器的终端分辨率为1920*1080，终端采用4个显示器；

具体实现步骤如下：

步骤B1、采集显卡接收的视频信号，通过解码器获得数字视频信号；

步骤B2、将数字视频信号输入FPGA模块进行第一次图像分割；

由终端采用4个显示器，将图像分为4路预处理多核缩放数据；

步骤B3、将每路预处理多核缩放数据再分割成2路；采用双三次插值算法缩放核进行缩放，每一路经过双线性插值进行两倍放大获得8路视频信号；最终效果如图5所示；图中实线为一次分割线，虚线为二次分割线；

采用双三次插值算法的缩放核放大，待运算点像素值与其周围两行(两列)相关，分 割后图像的每一路即为其均匀分割分界线各向外扩展两行(两列)；

步骤B4、将步骤B3获得的8路数字视频信号经过显示驱动，即通过译码器到相应的四个显示器上显示，实现基于FPGA的数字视频图像实时缩放处理。

具体实施方式六、本实施方式是采用具体实施方式一所述的一种基于FPGA的数字视频图像实时缩放处理方法的具体实施例，本实施方式中：

显示器的终端分辨率为1920*1080，终端采用1个显示器；

具体实现步骤如下：

步骤C1、采集显卡接收的视频信号，通过解码器获得数字视频信号；

步骤C2、将数字视频信号输入FPGA模块进行第一次图像分割；

由终端采用1个显示器，不需要对图像进行分割；

步骤C3、将每路预处理多核缩放数据分割成2路；采用双线性插值方法的缩放核进行缩小，每一路经过双线性插值进行二分之一倍缩小，获得2路视频信号；

采用双线性插值缩小，待运算点像素值与其周围一行(一列)相关，分割后图像的每一部分即为其均匀分割分界线各向外扩展一行(一列)，

步骤C4、将步骤C3获得的2路数字视频信号经过显示驱动，即通过译码器到显示器上显示，实现基于FPGA的数字视频图像实时缩放处理。

具体实施方式七、本实施方式是采用具体实施方式一所述的一种基于FPGA的数字视频图像实时缩放处理方法的具体实施例，

显示器的终端分辨率为1920*1080，终端采用9个显示器；

具体实现步骤如下：

步骤D1、采集显卡接收的视频信号，通过解码器获得数字视频信号；

步骤D2、将数字视频信号输入FPGA模块进行第一次图像分割；

由终端采用9个显示器，将图像分为9路预处理多核缩放数据；

步骤D3、将每一路预处理多核缩放数据再分割成2路，采用双线性插值方法的缩放核进行放大，每一路经过双线性插值进行三倍放大获得18路视频信号；最终效果如图6所示；图中实线为一次分割线，虚线为二次分割线；

采用双线性插值放大，待运算点像素值与其周围一行(一列)相关，分割后图像的每一部分即为其均匀分割分界线各向外扩展一行(一列)；

步骤D4、将步骤D3获得的18路视频信号经过显示驱动，即通过译码器到相应的九个显示器上显示，实现基于FPGA的数字视频图像实时缩放处理。

本发明旨在设计出一种能够满足数字视频图像在屏幕拼接技术和投影融合技术中的显示需求，并且在现有芯片的处理能力基础上，实时的将原始数字视频图像缩放到相应终端显示分辨率的一个或多个显示器，或者经过一个或多个投影设备投影到相应显示分辨率的投影屏上。

本发明采用性能适中、价格较便宜的非高端芯片，进行多核FPGA并行数字视频图像缩放处理，达到在不严格要求芯片性能和外部环境的条件下，权衡运算速度，合理地增加FPGA的使用资源，并且在硬件上可实现的目的。满足基于多核FPGA的并行数字图像实时缩放处理。

(1)减小单核运算量、易于在硬件上实现的多核处理技术

屏幕拼接技术和投影融合技术的出现进一步提高了显示终端的显示分辨率和尺寸。使得视频显示技术不仅仅受制于显示技术本身，更多的受制于所需视频信息的质量、实时性以及处理方式和处理芯片的运算能力。

本发明在现有芯片的处理能力基础上，采用性能适中、价格较便宜的非高端芯片，将原始数字视频图像分割，进行多核FPGA并行数字视频图像缩放处理，达到在不严格要求芯片性能和外部环境的条件下，权衡运算速度，合理地增加FPGA的使用资源，并且在硬件上可实现的目的。

(2)多核FPGA缩放算法中图像的分割方法

本发明将待缩放的图像进行分割，从而可以通过多核FPGA缩放算法进行并行缩放，达到在现有芯片处理能力的基础上，保证视频信息的质量和实时性的目的。

在缩放算法中，首先将待运算像素值的像素点映射到原始图像中，由原始图像中像素点的像素值计算待运算点的像素值；位置关系如图3所示。其中实心点表示原始图像中的像素点，空心点表示待运算的像素点。

本发明中图像分割方法与所采用的缩放算法相关。例如所采用的缩放算法中，待运算点的像素值仅与其周围四个原始像素点相关，即仅与其左右各一列、上下各一行相关时，在分割图像时采用如图4所示的分割方式，图中实线为分割线，虚线为均匀分割分界线，实心点表示原始图像中的像素点，即分割后的每一部分为均匀分割分界线各向外扩展一行或者一列的区域。从而保证每个分割后的图像在计算待运算点时所需的像素点像素值都存在，而不需要在处理时再次进行复制边缘，减小处理的复杂程度。

Claims (3)

1.一种基于FPGA的数字视频图像实时缩放处理方法，其特征在于，该方法的具体步骤为：

步骤一、对接收的视频信号进行视频采集处理，获得数字视频信号，并将获得的视频信号输入至FPGA模块；

步骤二、FPGA模块对接收的数字视频信号根据终端显示器的个数m做一次分割处理，将数字视频信号分割成m路预处理多核缩放数据；其中m≥1，m为整数；

步骤三、根据视频信号的最高像素速率要求，选择缩放核类型和单个缩放模块中缩放核个数n；n≥1，n为整数；

所述单个缩放模块中缩放核个数n的确定方法为：

每个缩放模块中所需要的缩放核个数n为：

当缩放模块工作于放大模式时：

当缩放模块工作于缩小模式时：

I_sdeal为每个缩放核的最高像素吞吐速率；fps为显示终端和输入视频的刷新率；

显示终端分辨率×fps为：放大模式下缩放模块需要处理的视频像素速率；

输入视频分辨率×fps为：缩小模式下缩放模块需要处理的视频像素速率；

步骤四、根据步骤三获得的缩放核个数n，将每路预处理多核缩放数据分割成n等分，并将分割后的缩放后的n分数据分别发送至n个缩放核进行图像缩放；

步骤五、将每个缩放核处理后的视频信号，按照像素在帧内的先后顺序进行汇总合并，获得m路多核缩放数据并输出，实现基于FPGA的数字视频图像实时缩放处理。

2.根据权利要求1所述的一种基于FPGA的数字视频图像实时缩放处理方法，其特征在于，缩放核类型包括采用双线性插值缩放算法的缩放核和双三次插值缩放算法的缩放核。

3.根据权利要求1所述的一种基于FPGA的数字视频图像实时缩放处理方法，其特征在于，步骤一所述的对接收的视频信号进行视频采集处理的方法为：

采用解码器对采集的数字视频信号进行解码；

或采用模数转换电路将采集的模拟视频信号转换成数字视频信号。