CN101309430A

CN101309430A - 基于fpga的视频图像预处理器

Info

Publication number: CN101309430A
Application number: CNA2008100536530A
Authority: CN
Inventors: 权立伟
Original assignee: Tianjin Yaan Technology Electronic Co Ltd
Current assignee: Tianjin Yaan Technology Electronic Co Ltd
Priority date: 2008-06-26
Filing date: 2008-06-26
Publication date: 2008-11-19

Abstract

本发明涉及安全监控领域的一种基于FPGA的视频图像预处理器，其技术特点是：该视频图像预处理器由图像预处理模块及FIFO缓冲模块连接构成，图像预处理模块的输入端与视频图像数据及同步信号相连接，FIFO缓冲模块的输出端输出已处理的视频图像数据及DSP数据读取申请信号。本发明实现了200万以上高分辨率图像传感器视频图像数据的实时预处理功能，解决了DSP进行视频图像数据处理时存在的视频采集端口传输瓶颈问题，并具有实现简便、兼容性强、稳定性高、便于修改与升级的特点，可广泛应用于采用大像素图像传感器的视频监控系统。

Description

基于FPGA的视频图像预处理器

技术领域

本发明涉及安全监控领域，尤其是一种基于FPGA的视频图像预处理器。

背景技术

安全监控领域需要大量使用视频监控系统，视频监控系统中的摄像机对监控现场进行摄录，监控人员不用去现场巡逻便可从显示设备上看到监控现场的实际情况。普通监控摄像机虽然可以遍历全景360度视角的每个位置，但不能同时监控整个全景视场的情况，为了解决这一问题，越来越多的能够采集全景的摄录设备(如曲面全景反射镜、鱼眼镜头等)被应用于视频监控系统中，这种视频监控系统的原理为：通过全景摄录设备的特性将整个全景图像映射到某一指定平面内，然后使用CMOS/CCD图像传感器来获取图像信息，从而进行显示、摄录或其它处理。

为了更充分利用全景图像的信息，采集全景摄录的图像传感器一般选用200万以上像素的CMOS/CCD图像传感器，以获取更多全景图像细节。然而，图像传感器输出的原始数字图像存在色彩失真度高、图像清晰度低、噪音混杂严重以及格式特殊无法直接输出给显示设备或者摄录设备等缺点，因此要先对原始数字图像进行包括曝光调整、降噪滤波、白平衡、Bayer图像插值、RGB色彩校正、Gamma校正、RGB到YCC色彩空间转换、边缘增强、对比度增强以及错误色彩抑止等复杂的预处理过程以弥补其原有的诸多不足。

现有的视频监控系统通常使用DSP(数字信号处理器)对图像进行如全景图像切割、缩放、校正、视频压缩、分析等各种处理，但是，DSP的视频采集端口的吞吐能力是有限的，如有些DSP只能对分辨率较低的图像传感器的视频图像数据进行实时采集和处理；另外，在视频采集端口吞吐量允许的情况下，虽然能够完成图像采集任务，但是由于视频图像数据量大，要完成实时图像预处理等大数据量复杂运算，必然会导致DSP的资源大量消耗，可能很难再胜任后续的图像处理工作，因此，通常需要在进入DSP之前对采集的图像进行预处理，但是，现有带有预处理功能的图像传感器最大只能支持到200万像素，而专用的图像预处理器IC芯片也没有能够处理200万以上像素的产品。综上所述，现有视频图像处理技术存在以下一些问题：1.DSP设备因后续各种复杂视频处理任务，可能无法同时胜任200万以上像素的视频图像数据预处理任务；2.DSP视频采集端口存在传输瓶颈问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种能够对高分辨率图像传感器的视频图像数据进行实时预处理并解决DSP视频采集端口的传输瓶颈问题的基于FPGA的视频图像预处理器。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于FPGA的视频图像预处理器，其特征在于：由图像预处理模块及FIFO缓冲模块连接构成，图像预处理模块的输入端与视频图像数据及同步信号相连接，FIFO缓冲模块的输出端输出已处理的视频图像数据及DSP数据读取申请信号。

而且，所述的图像预处理模块由预处理流水线模块和同步信号处理模块连接构成，预处理流水线模块及同步信号处理模块的输入端分别与视频图像数据及同步信号相连接，预处理流水线模块及同步信号处理模块的输出端输出视频图像数据及同步信号。

而且，所述的预处理流水线模块由曝光调整处理模块、降噪滤波处理模块、白平衡处理模块、Bayer图像插值处理模块、RGB色彩校正处理模块、Gamma校正处理模块、RGB到YCC色彩空间转换处理模块、边缘增强处理模块、对比度增强处理模块以及错误色彩抑止处理模块顺序连接构成。

而且，所述的同步信号处理模块由移位寄存器构成，移位寄存器的时钟及数据输入端分别与工作时钟及同步信号相连接，移位寄存器的数据输出端输出同步信号。

而且，所述的FIFO缓冲模块由数据宽度调整模块、FIFO存储器和FIFO控制模块连接构成，数据宽度调整模块的输入端与图像预处理模块输出的视频图像数据和同步信号相连接，数据宽度调整模块的输出端与FIFO存储器相连接，FIFO存储器的一输出端与FIFO控制模块连接，FIFO存储器的另一输出端输出视频图像数据，FIFO控制模块的输出端输出DSP数据读取申请信号。

而且，所述的数据宽度调整模块由四个存储器及数据重组模块构成，四个存储器的时钟输入端和使能输入端分别与工作时钟及同步信号相连接，第四存储器的数据输入端与24位视频图像数据相连接，第四存储器的数据输出端与第三存储器的数据输入端相连接，第三存储器的数据输出端与第二存储器的数据输入端相连接，第二存储器的数据输出端与第一存储器的输入端相连接，四个存储器的数据输出端同时与数据重组模块相连接，数据重组模块的输出端输出64位视频图像数据。

而且，所述的FIFO控制模块由比较器构成，FIFO控制模块的两个输入端分别与FIFO存储器已使用数据量和预设缓冲数据量相连接，FIFO控制模块的输出端输出DSP数据读取申请信号。

本发明的优点和积极效果是：

1.本视频图像预处理器采用FPGA内部高速并行处理单元和内部集成存储器进行视频图像处理，利用FPGA处理速度快、资源丰富的优势，采用流水线方式的并行处理模式对视频图像数据进行预处理，实现了200万以上高分辨率数字视频图像的实时预处理，解决了当前市场上，因没有200万像素以上专用视频预处理芯片或带有预处理功能的图像传感器，而导致DSP需要完成视频图像预处理工作，因而消耗大量内部资源，无法完成后续各类处理工作的问题。

2.本视频图像预处理器通过FPGA内建的FIFO存储器与TI的C64x系列视频DSP的外部存储接口相连，采用PDT(外部设备传输)模式、64位数据总线、最高133MHz工作时钟与DSP进行视频图像数据传输，提高了了DSP视频图像数据采集的吞吐量，解决了DSP进行视频图像数据采集时存在的传输瓶颈问题。

3.本视频图像预处理器可以根据具体的预处理功能需求定制不同的IP核，对于视频图像预处理功能的修改和升级十分方便。

4.本视频图像预处理器采用FPGA可编程逻辑器件具有设计实现简便、兼容性强、稳定性高的特点，尤其是开发周期短和内部资源丰富等特点，非常适合于高性能低成本的视频处理应用。

5.本发明实现了200万以上高分辨率图像传感器视频图像数据的实时预处理功能，解决了DSP进行视频图像数据采集时存在的传输瓶颈问题，并具有实现简便、兼容性强、稳定性高、便于修改与升级的特点，可广泛应用于采用大像素图像传感器的视频监控系统。

附图说明

图1是本发明与图像传感器及DSP连接构成的视频图像处理系统方框图；

图2是本发明结构方框图；

图3是本发明图像预处理模块方框图；

图4是本发明同步信号处理模块方框图；

图5是本发明FIFO缓冲模块方框图；

图6是本发明数据宽度调整模块方框图；

图7是本发明FIFO控制模块方框图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于FPGA的视频图像预处理器在视频系统中的应用如图1所示，其前端与CMOS或CCD等图像传感器相连，其后端与数字信号处理器(DSP)相连接从而构成视频处理系统，在本实施例中，FPGA采用了Altera公司的CycloneII系列FPGA芯片，数字信号处理器(DSP)采用了TI的C64x系列DSP处理器。基于FPGA的视频图像预处理器能够对前端的图像传感器的视频图像数据进行预处理，并将预处理后的视频图像数据传送给DSP。

如图2所示，基于FPGA预处理器由图像预处理模块及FIFO缓冲模块连接构成，图像预处理模块的输入端与视频图像数据及同步信号相连接，图像预处理模块的输出端与FIFO缓冲模块相连接，FIFO缓冲模块的输出端输出已处理的视频图像数据及数据读取申请信号。其工作过程为：图像预处理模块接收来自图像传感器的视频图像数据，对其进行图像预处理后，将数据送入FIFO缓冲模块，FIFO缓冲模块根据预先设定的缓冲数据量，当到达预设值时向DSP发出DSP数据读取申请信号，该DSP数据读取申请信号为DMA事件触发信号，DSP收到该读取申请后，将FIFO缓冲模块中的视频图像数据通过外部存储接口读出。

如图3所示，图像预处理模块由预处理流水线模块和同步信号处理模块连接构成，预处理流水线模块及同步信号处理模块的输入端分别与视频图像数据及同步信号相连接，预处理流水线模块及同步信号处理模块的输出端输出预处理的视频图像数据及同步信号。由于图像预处理模块需要对高分辨率视频数据进行预处理操作，为了获得足够快的处理速度，预处理流水线模块通过流水线方式并行处理视频数据，预处理流水线模块由曝光调整处理模块、降噪滤波处理模块、白平衡处理模块、Bayer图像插值处理模块、RGB色彩校正处理模块、Gamma校正处理模块、RGB到YCC色彩空间转换处理模块、边缘增强处理模块、对比度增强处理模块以及错误色彩抑止处理模块顺序连接构成，这些单独构成的处理模块顺序安排在预处理流水线的某一级上。由于流水线是逐级进行的，因此在流水化运算过程中，会导致数据输出延迟，为了保证数据与同步信号的同步，同步信号处理模块根据预处理流水线的延迟时钟数，对同步信号进行相同的延迟，以保证后续模块正常工作，如图4所示，同步信号处理模块由移位寄存器构成，移位寄存器的时钟及数据输入端分别与工作时钟及同步信号相连接，移位寄存器的数据输出端输出同步信号。在图像预处理模块中，预处理流水线模块接收视频图像数据和同步信号，根据同步信号通过内部数十至上百级流水线，对输入的视频图像数据逐级进行预处理，最终将处理完成的视频图像数据输出；同步信号处理模块为保证视频图像数据与同步信号同步，根据预处理流水线所延迟的时间，对同步信号进行相同延迟并输出。

如图5所示，FIFO缓冲模块由数据宽度调整模块、FIFO存储器和FIFO控制模块连接构成，数据宽度调整模块的输入端与视频图像数据和同步信号相连接，数据宽度调整模块的输出端与FIFO存储器相连接，FIFO存储器一个输出端与FIFO控制模块连接，FIFO存储器的另一输出端与DSP视频图像数据相连接，FIFO控制模块的输出端输出DSP数据读取申请信号。如图6所示，数据宽度调整模块由四个存储器及数据重组模块构成，四个存储器的时钟输入端和使能输入端分别与工作时钟及同步信号相连接，第四存储器的数据输入端与24位视频图像数据相连接，第四存储器的数据输出端与第三存储器的数据输入端相连接，第三存储器的数据输出端与第二存储器的数据输入端相连接，第二存储器的数据输出端与第一存储器的输入端相连接，四个存储器的数据输出端同时与数据重组模块相连接，数据重组模块的输出端输出64位视频图像数据。如图7所示，FIFO控制模块由比较器构成，其两个输入端分别与FIFO存储器已使用数据量和预设缓冲数据量相连接，其输出端输出DSP数据读取申请信号。

FIFO缓冲模块的数据处理过程为：由于数字信号处理器(DSP)为TI的C64x系列DSP处理器，其外部存储接口宽度最大为64位，为了充分利用带宽，因此FIFO存储器与其设计为相同数据线宽度。而由图像预处理模块输出的数据，由于经过色彩空间转换后，为24位的YCbCr格式的数据，为了能够符合64位数据宽度，需要首先对YCbCr格式视频图像数据进行重组。另外，视频输出的数模转换多采用4:2:2格式的YCbCr数据作为输入，因此数据宽度调整模块首先对4:4:4的YCbCr数据进行重采样，由原来两个YCbCr的24位数据组成一个32位的YCbYCr的数据，从而完成由4:4:4到4:2:2的转换，然后将两个32位的YCbYCr数据组成一个64位数据送给FIFO存储器进行缓冲。如图6所示，通过存储器将四个时钟周期输入的YCbCr数据进行重新采样和组合，若24位YCbCr数据为由高到低位按照一个字节Cr一个字节Cb一个字节Y排列，那么4:4:4到4:2:2的转换为将第一个时钟周期输入的24位YCbCr数据(YCC1[23..0])和第二个时钟周期输入的24位YCbCr数据(YCC2[23..0])重组，取YCC1[23..0]的Y(YCC1[7..0])和Cb(YCC1[15..8])与YCC2[23..0]的Y(YCC2[7..0])和Cr(YCC2[23..16])，组成一个32位的YCbYCr数据，然后将两个32位YCbYCr拼为一个64位的数据。另外，在原来同步信号有效的时间里，由于数据重采样和重组需要占用时间，而使得原来3/4的有效时间不再输出有效数据，因此需要对有效同步信号进行调整。数据宽度调整模块根据原有视频同步信号和本身数据重组的工作过程，将有效信号分割为周期为4个有效时钟的短周期，在每个周期的最后一个有效时钟来临后，通知FIFO存储器缓存数据，从而完成有效数据同步的调整。另外，由于FIFO存储器缓冲的数据量是很小的，例如对一帧图像的一行进行缓冲。过多的缓冲会导致FPGA片上资源匮乏，因此需要在数据缓冲达到某一设定值时，及时通知DSP进行读取以避免FIFO溢出。使用Altera的FPGA设计软件，生成的FIFO可以输出其已使用数据量的信息。FIFO控制模块根据当前FIFO已使用的数据量与预先设定的数据量相比，当大于预设值时向DSP发出DSP数据读取申请信号。由于DSP通过外部存储器接口读取数据的速度非常快(133MHz时钟，数据宽度64位)，因此FIFO缓冲模块应在缓冲一次读取的全部数据后再申请读取。但在读取过程中还会有新的数据写入，所以FIFO的大小应比预设的数据量大。例如每次如果缓冲一行的500万像素(2608×1952)图像传感器的数据，则使用的数据量为2608/4×8＝5216字节，为了保证在DSP相应读取申请和读取过程中不丢失新的输入数据，应将FIFO大小设定为缓冲数据量的两倍，也就是10432字节。

本发明的工作过程为：基于FPGA的视频图像预处理器在开始工作后，其图像预处理模块根据图像传感器发送的同步信号及视频图像数据，对视频图像数据进行曝光调整、降噪滤波、白平衡、Bayer图像插值、RGB色彩校正、Gamma校正、RGB到YCC色彩空间转换、边缘增强、对比度增强以及错误色彩抑止流水预处理，使得图像达到更好的还原效果，降低噪音和失真，并执行适当的图像格式转换，以利于后续处理和显示使用，图像预处理模块将处理后的数据送入FIFO缓冲模块，FIFO缓冲模块使用FIFO存储器对数据进行缓冲，当缓冲数据达到预先设定的数据量时，FIFO缓冲模块向DSP发出DSP数据读取申请信号，DSP应答申请后，将数据通过外部存储器接口读出。由于DSP的外部存储接口提供一种PDT数据传输模式，通过将其数据总线置为高阻，同时通过外部存储接口控制SDRAM和FIFO，两者间进行直接数据传输。本发明中采用这种数据传输模式，通过向DSP发送DSP数据读取申请信号，外部存储器接口采用PDT模式直接将数据传给SDRAM，传输过程由DMA控制器控制，无需DSP内核干预，大大提高了执行效率。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims

1.一种基于FPGA的视频图像预处理器，其特征在于：由图像预处理模块及FIFO缓冲模块连接构成，图像预处理模块的输入端与视频图像数据及同步信号相连接，FIFO缓冲模块的输出端输出已处理的视频图像数据及DSP数据读取申请信号。

2.根据权利要求1所述的基于FPGA的视频图像预处理器，其特征在于：所述的图像预处理模块由预处理流水线模块和同步信号处理模块连接构成，预处理流水线模块及同步信号处理模块的输入端分别与视频图像数据及同步信号相连接，预处理流水线模块及同步信号处理模块的输出端输出视频图像数据及同步信号。

3.根据权利要求2所述的基于FPGA的视频图像预处理器，其特征在于：所述的预处理流水线模块由曝光调整处理模块、降噪滤波处理模块、白平衡处理模块、Bayer图像插值处理模块、RGB色彩校正处理模块、Gamma校正处理模块、RGB到YCC色彩空间转换处理模块、边缘增强处理模块、对比度增强处理模块以及错误色彩抑止处理模块顺序连接构成。

4.根据权利要求2所述的基于FPGA的视频图像预处理器，其特征在于：所述的同步信号处理模块由移位寄存器构成，移位寄存器的时钟及数据输入端分别与工作时钟及同步信号相连接，移位寄存器的数据输出端输出同步信号。

5.根据权利要求1所述的基于FPGA的视频图像预处理器，其特征在于：所述的FIFO缓冲模块由数据宽度调整模块、FIFO存储器和FIFO控制模块连接构成，数据宽度调整模块的输入端与图像预处理模块输出的视频图像数据和同步信号相连接，数据宽度调整模块的输出端与FIFO存储器相连接，FIFO存储器的一输出端与FIFO控制模块连接，FIFO存储器的另一输出端输出视频图像数据，FIFO控制模块的输出端输出DSP数据读取申请信号。

6、根据权利要求5所述的基于FPGA的视频图像预处理器，其特征在于：所述的数据宽度调整模块由四个存储器及数据重组模块构成，四个存储器的时钟输入端和使能输入端分别与工作时钟及同步信号相连接，第四存储器的数据输入端与24位视频图像数据相连接，第四存储器的数据输出端与第三存储器的数据输入端相连接，第三存储器的数据输出端与第二存储器的数据输入端相连接，第二存储器的数据输出端与第一存储器的输入端相连接，四个存储器的数据输出端同时与数据重组模块相连接，数据重组模块的输出端输出64位视频图像数据。

7、根据权利要求5所述的基于FPGA的视频图像预处理器，其特征在于：所述的FIFO控制模块由比较器构成，FIFO控制模块的两个输入端分别与FIFO存储器已使用数据量和预设缓冲数据量相连接，FIFO控制模块的输出端输出DSP数据读取申请信号。