CN106934758B - 一种基于fpga的立体图像视频实时融合方法及系统 - Google Patents

Abstract

一种基于FPGA的立体图像视频实时融合方法，包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现。

Description

一种基于FPGA的立体图像视频实时融合方法及系统

技术邻域

本发明涉及显示技术领域，尤其涉及一种基于FPGA的立体图像视频实时融合方法及系统

背景技术

随着移动互联网的发展，便携式设备应用越来越广泛，而集裸眼3D技术和移动互联网技术于一体的便携式裸眼3D设备，具有广阔的市场前景和重要的经济价值。便携式设备搭载嵌入式系统拥有强大的数据处理能力移动互联网功能，与裸眼3D技术相结合提供全新的视觉体验。便携式裸眼3D设备是裸眼3D技术的重要应用，研究与便携式裸眼3D设备相符合的硬件电路结构和视频信号转换的逻辑具有重大意义。

FPGA(Field Programmable Gate Array)是一类高集成度的可编程逻辑器件，起源于美国的XILINX公司，该公司于1985年推出了世界上第一块FPGA芯片。FPGA技术结合了微电子技术、电路技术、EDA技术，使设计者可以集中精力进行所需逻辑功能的设计。与专用集成电路ASCI(Application Specific Integrated Circuit)相比，FPGA具有灵活性高、设计周期短、成本低、风险小等优势，因而得到了广泛应用。随着工艺的发展和市场需求的扩大，超大规模、高速、低功耗的新型FPGA不断推陈出新。新一代的FPGA甚至集成了中央处理器(CPU)或数字处理器(DSP)内核，在一片FPGA开发板上进行软硬件协同设计，为实现片上可编程系统提供了强大的硬件支持。

随着数字多媒体技术的不断发展,数字图像处理技术被广泛应用于航空航天、通信、医学及工业生产等领域中，新开发的产品在图像存储容量、图像质量、图像处理速度等方面有了新的要求。数字图像处理，一般是通过对像素的一些运算提高图像质量,在图像处理过程中,虽然处理算法简单,但参与运算的数据量大,数据需多次重复使用,因此,图像处理往往是图像处理系统中最为耗时的环节,对整个系统速度影响较大。在当前图像处理算法研究已经很成熟的背景下，提高图像处理的时效性有很大的应用前景。随着微电子技术的高速发展,FPGA为数字图像信号处理在算法、系统结构上带来了新的方法和思路。由于图像中的所有元素均可施以同样的操作,存在固有的并行性,非常适合于映射到FPGA架构中由硬件算法实现,使得图像的处理速度大大加快。对于数字图像处理，底层图像处理的数据量很大,要求处理速度快,但运算结果相对比较简单,以FPGA作为主要处理芯片的图像处理系统非常适合于对图像进行处理。

本申请人和发明人的CN201510439414提出一种基于FPGA的实时立体视频融合转换算法，基于串口通讯模块，FPGA主板的平台作为转换算法的基础；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入子卡即HDMI输入控制模块，HDMI输出控制模块即输出子卡，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；由PC(1)输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序；具体包括以下步骤：首先由PC(1)输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080；PC(1)输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡(2)的视频处理能力为1080P@60Hz；经过HDMI1.4输入子卡(2)的视频源进入FPGA主板(3)，在FPGA主板(3)内完成左右视图格式到立体格式视频的转换算法；

转换后的立体格式的视频源进入HDMI1.4输出子卡(4)，最后通过HDMI1.4输出子卡(4)的立体格式视频源在3D LCD(5)上显示，得到分辨率为1080P的立体图像；

HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置；HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；IIC接口控制模块用来产生符合IIC协议的时序；

FPGA主板内部HDMI输入控制模块完成3项功能：1)采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突；2)将左右格式图像的对应像素点融合成立体格式的像素点；3)生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM；

FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能1)以1080P@60Hz时序输出像素到HDMI输出接口；2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突；

FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制；

FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号；FPGA主板内部HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。

视频编解码芯片是需要使用的，因HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；IIC接口控制模块用来产生符合IIC协议的时序。

发明内容

本发明的主要目的是，提供了一种具备图像视频实时处理、集成度高的基于FPGA的立体图像视频实时融合方法及系统，该立体图像视频实时融合方法及系统克服了传统的立体图像视频处理硬件架构规模大、集成度低的问题，实现了不采用视频编解码芯片和SDRAM的情况下基于FPGA的图像视频信号解码、立体图像视频实时处理和图像视频信号编码。

为了实现上述目的，本发明提供的技术方案是，一种基于FPGA的立体图像视频实时融合方法，该方法包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；

所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现。

所述视频图像信号缓存和读取包括视频图像数据和时序信号缓存、FPGA内部RAM乒乓操作、视频图像数据寻址读取和视频图像时序顺序读取；所述视频图像数据和时序信号缓存是由FPGA内部多块RAM进行数据和时序缓存；所述视频图像数据和时序信号缓存采用FPGA内部两组RAM对视频图像数据和视频图像时序分离存储，同时FPGA内部每组RAM包含多块RAM来实现乒乓操作进行逐行存储；其中视频图像数据即为视频图像的RGB灰度值，视频图像时序包括视频图像的场同步信号、行同步信号和数据有效信号；所述逐行存储是为了方便后续视频图像数据逐行寻址读取和处理；所述FPGA内部RAM乒乓操作是通过输入数据选择单元和输出数据选择单元按节拍、相互配合的切换，将经过缓冲的数据流没有停顿地送到数据流运算处理模块进行运算与处理；

所述视频图像数据寻址读取是针对不同立体格式图像视频要求选择不同像素地址进行读取；

所述视频图像时序顺序读取是为了保证数据流输入和输出的动态平衡和时序的同步；所述视频图像时序顺序读取是利用输入视频图像信号的场同步信号上升沿锁定信号和行同步上升沿信号来触发顺序读取起始地址，从而实现视频图像时序逐行同步顺序读取；

所述视频图像信号实时处理包括立体融合模式配置和实时立体格式融合；所述立体融合模式配置是通过FPGA外设接口输入控制信号实现不同立体融合模式实时变换；所述实时立体格式融合是将视频图像信号进行实时寻址读取后再按照需要的格式排列融合。

所述视频图像信号发送包括视频图像信号编码和视频图像信号输出；所述视频图像信号编码采用FPGA内部逻辑实现不同格式视频图像信号的编码；所述视频图像信号输出采用不同格式的视频图像信号输出接口。

所述视频图像信号输入包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号。

所述视频图像时序顺序读取是利用输入视频图像信号的场同步信号上升沿锁定信号和行同步上升沿信号来触发顺序读取起始地址，从而实现视频图像时序逐行同步顺序读取；

所述视频图像数据寻址读取是采用视频图像时序顺序读取的数据有效信号上升沿来触发FPGA内部RAM中视频图像有效数据读取，从而实现视频图像数据准确逐行同步寻址读取。

所述视频图像信号实时处理包括立体融合模式配置和实时立体格式融合。所述立体融合模式配置是通过FPGA外设接口输入控制信号实现不同立体融合模式实时变换；所述实时立体格式融合是将视频图像信号进行实时寻址读取后再按照需要的格式排列融合。

所述立体融合模式配置采用FPGA外设接口输入信号配置，其中包括上位机串口配置、SPI接口配置、i²C接口配置等。所述实时立体格式融合是以左右格式两视点的二维视频图像进行实时左右视点像素读取并按照需要的格式排列融合。

所述视频图像信号发送包括视频图像信号编码和视频图像信号输出。所述视频图像信号编码采用FPGA内部逻辑实现不同格式视频图像信号的编码；所述视频图像信号输出采用不同格式的视频图像信号输出接口。

所述不同格式视频图像信号编码包括HDMI信号编码、VGA信号编码、DVI信号编码、LVDS信号编码、EDP信号编码、DP信号编码和MIPI信号编码。

有益效果，本发明在针对超高分辨率的视频图像信号进行实施时，能实时完成视频图像信号的解码、采集、存储、处理、编码，并能保持很好的时序同步和FPGA内部数据的吞吐量均衡。本发明中所述视频图像信号解码是基于FPGA的内部逻辑实现，有效的解决了专业集成芯片解码的需求，降低了系统开发成本。所述视频图像信号编码也是如此。所述视频图像信号缓存和读取采用FPGA内部两组RAM对视频图像信号逐行存储，提高了后续的视频图像逐行处理的效率，同时又突破了传统的SDRAM缓存，减小了硬件系统规模。

本发明所设计的视频图像数据和时序信号分离存储方法，即采用FPGA内部两组RAM对视频图像数据和视频图像时序进行分离存储，保证了输入视频图像信号的完整性，为视频图像信号实时处理提供了时序同步的保障。同时FPGA内部每组RAM包含多块RAM来实现乒乓操作逐行存储，提高了视频图像信号处理的效率和实时性。

附图说明

图1是说明本发明的基于FPGA的立体图像视频实时融合方法及系统的架构示意图；

图2是采用图1实施例图像视频实时融合的程序流程图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明提供一种基于FPGA的立体图像视频实时融合方法及系统，该方法及系统包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送。所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出。

通过上述实施方式，本发明所述视频图像信号获取包括视频图像信号输入和视频图像信号解码。所述视频图像信号输入用于连接外部信号源，包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号等；所述视频图像信号解码采用FPGA的内部逻辑实现,将各种格式信号解码出RGB灰度分量值、场同步信号、行同步信号和数据有效信号。

参照图1，所述视频图像数据和时序信号缓存，是将所述视频图像信号解码出的RGB灰度分量值、场同步信号、行同步信号和数据有效信号采用FPGA内部两组RAM分离存储，其中一组RAM存储视频图像RGB灰度分量值，另一组RAM存储视频图像场同步信号、行同步信号和数据有效信号；同时FPGA内部每组RAM包含多块RAM来实现乒乓操作逐行存储。这样可以实现当FPGA内部RAM在存储视频图像第二行像素时序信息时，同时FPGA读取RAM中第一行像素时序信息并进行实时的立体格式融合，这样依次交替处理。其中视频图像数据即为视频图像信号的RGB灰度分量值，视频图像时序包括视频图像信号的场同步信号、行同步信号和数据有效信号。所述逐行存储是为了方便后续视频图像数据逐行寻址读取和处理；

参照图1和图2，所述视频图像时序顺序读取是利用输入视频图像信号的场同步信号上升沿锁定信号和行同步上升沿信号来触发顺序读取起始地址，后面采用读取地址和存储地址同时递增，实现FPGA内部RAM存储和RAM读取并行执行，从而实现视频图像时序逐行同步顺序读取，其中场同步信号上升沿锁定信号是由场同步信号上升沿到来后一直处于高电平锁定；举例说明，假设输入视频图像信号为1024*768分辨率，刷新率60Hz，单个像素时钟为Pclk，根据VESA标准，那么行扫描总时间为即在FPGA内部RAM1中逐行存储视频图像时序信息是从场同步信号上升沿锁定信号有效和行同步上升沿信号有效开始存储到下一个行同步上升沿信号有效结束，接着另一块RAM2在RAM1结束存储时开始存储下一行视频图像时序信息，同时FPGA开始从RAM1中读取一行视频图像时序信息。存储和读取地址数量都为1344个，每个地址内数据位为3bit，包括图像场同步信号、行同步信号和数据有效信号各占1bit；

所述视频图像数据寻址读取，不同于视频图像时序顺序读取的过程，视频图像数据寻址读取是根据视频图像时序顺序读取地址来计算FPGA内部RAM中视频图像有效数据区域地址，从而实现视频图像数据准确逐行同步寻址读取。举例说明，假设输入视频图像信号为1024*768分辨率，刷新率60Hz。即在FPGA内部RAM3中逐行存储视频图像数据是从场同步信号上升沿锁定信号有效和数据有效上升沿信号有效开始存储到数据有效下降沿信号有效结束，接着另一块RAM4在RAM3结束存储后等待数据有效上升沿信号有效开始存储下一行视频图像数据信息，同时FPGA根据RAM1或RAM2中读取的视频图像时序信息判断数据有效信号上升沿有效时开始从RAM3中读取一行视频图像数据信息。存储和读取地址数量都为1024个，每个地址内数据位为24bit，包括RGB灰度分量值各占8bit；

参照图1，所述视频图像信号实时处理包括立体融合模式配置和实时立体格式融合。所述立体融合模式配置是通过FPGA外设接口输入控制信号实现不同立体融合模式实时变换；其中包括上位机串口配置、SPI接口配置或i²C接口配置等。所述实时立体格式融合是以左右格式两视点的二维视频图像进行实时左右视点像素读取并按照需要的格式排列融合。举例说明，假设输入视频图像信号为1024*768分辨率，刷新率60Hz。如果按照左右格式图像，即左视图分辨率为512*768，右视图分辨率也为512*768；一行1024个像素通过左右视图跳跃寻址读取单个像素值，通过流水线方式可以实现亚像素级的排列组合，假设通过寻址读取左视图亚像素为R1、G1、B1，右视图亚像素为R2、G2、B2；通过不同排列最多可以实现六种组合方式。这六种组合排列方式可以通过立体融合模式配置来选择。

所述视频图像信号发送包括视频图像信号编码和视频图像信号输出。所述视频图像信号编码采用FPGA内部逻辑实现不同格式视频图像信号的编码，其中包括HDMI信号编码、VGA信号编码、DVI信号编码、LVDS信号编码、EDP信号编码、DP信号编码和MIPI信号编码；所述视频图像信号输出采用不同格式的视频图像信号输出接口。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，对于本技术邻域的普通技术人员来说，在不脱离本发明所述方法的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (3)

1.一种基于FPGA的立体图像视频实时融合方法，其特征是，步骤如下：包括视频图像信号获取、视频图像信号缓存和读取、视频图像信号实时处理和视频图像信号发送；所述视频图像信号获取用于完成图像信号接入和采集；所述视频图像信号缓存和读取采用FPGA内部多块RAM乒乓操作进行数据和时序缓存和读取；所述视频图像信号实时处理是根据立体融合模式配置需求进行实时调整立体融合格式；所述视频图像信号发送是将处理过的视频图像信号进行编码并输出；

所述视频图像信号获取包括视频图像信号输入和视频图像信号解码；所述视频图像信号输入用于连接外部信号源；视频图像信号源包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号；所述视频图像信号解码采用FPGA的内部逻辑实现；

所述视频图像信号缓存和读取包括视频图像数据和时序信号缓存、FPGA内部RAM乒乓操作、视频图像数据寻址读取和视频图像时序顺序读取；所述视频图像数据和时序信号缓存是由FPGA内部多块RAM进行数据和时序缓存；所述视频图像数据和时序信号缓存采用FPGA内部两组RAM对视频图像数据和视频图像时序分离存储，同时FPGA内部每组RAM包含多块RAM来实现乒乓操作进行逐行存储；其中视频图像数据即为视频图像的RGB灰度值，视频图像时序包括视频图像的场同步信号、行同步信号和数据有效信号；所述逐行存储是为了方便后续视频图像数据逐行寻址读取和处理；所述FPGA内部RAM乒乓操作是通过输入数据选择单元和输出数据选择单元按节拍、相互配合的切换，将经过缓冲的数据流没有停顿地送到数据流运算处理模块进行运算与处理；

所述视频图像数据寻址读取是针对不同立体格式图像视频要求选择不同像素地址进行读取；

所述视频图像时序顺序读取是为了保证数据流输入和输出的动态平衡和时序的同步；所述视频图像时序顺序读取是利用输入视频图像信号的场同步信号上升沿锁定信号和行同步上升沿信号来触发顺序读取起始地址，从而实现视频图像时序逐行同步顺序读取；

所述视频图像信号实时处理包括立体融合模式配置和实时立体格式融合；所述立体融合模式配置是通过FPGA外设接口输入控制信号实现不同立体融合模式实时变换；所述实时立体格式融合是将视频图像信号进行实时寻址读取后再按照需要的格式排列融合；

所述视频图像信号发送包括视频图像信号编码和视频图像信号输出；所述视频图像信号编码采用FPGA内部逻辑实现不同格式视频图像信号的编码；所述视频图像信号输出采用不同格式的视频图像信号输出接口；

所述视频图像信号输入包括HDMI信号、VGA信号、DVI信号、LVDS信号、EDP信号、DP信号和MIPI信号。

2.根据权利要求1中所述的基于FPGA的立体图像视频实时融合方法，其特征在于，所述视频图像数据寻址读取是采用视频图像时序顺序读取的数据有效信号上升沿来触发FPGA内部RAM中视频图像有效数据读取，从而实现视频图像数据准确逐行同步寻址读取。

3.根据权利要求1中所述的基于FPGA的立体图像视频实时融合方法，其特征在于，所述立体融合模式配置采用FPGA外设接口输入信号配置，其中包括上位机串口配置、SPI接口配置、 I2C接口配置；所述实时立体格式融合是以左右格式两视点的二维视频图像进行实时左右视点像素读取并按照需要的格式排列融合。