CN103108162A

CN103108162A - 高清高帧率实时视频增透仪

Info

Publication number: CN103108162A
Application number: CN2013100364643A
Authority: CN
Inventors: 唐元华; 李莉; 李年
Original assignee: XI'AN TANGDU SCIENTIFIC AND EDUCATION INSTRUMENT DEVELOPMENT Co Ltd
Current assignee: XI'AN TANGDU SCIENTIFIC AND EDUCATION INSTRUMENT DEVELOPMENT Co Ltd
Priority date: 2013-01-31
Filing date: 2013-01-31
Publication date: 2013-05-15

Abstract

本发明公开了一种高清高帧率实时视频增透仪，视频信息源依次连接VGA接口、AD转换芯片、现场可编程门阵列、DA转换芯片、VGA接口、显示设备，SDRAM1芯片、SDRAM2芯片分别与现场可编程门阵列连接。本发明的有益效果是，该仪器主要以Retinex理论作为算法核心，FPGA以及外围电路作为算法实现的硬件平台，采用基于FPGA的流水技术，设计了一种高清视频处理的通路结构。在此基础上，实现了Retinex算法的硬件电路，并且完成了高清实时视频增透仪器。该仪器具有高清、高帧率、实时等特点，解决了视频处理中数据量大，传输速度慢等问题。性价比高，能够满足更多用户需要，具有很高的实用价值。

Description

高清高帧率实时视频增透仪

技术领域

本发明属于数字视频处理技术领域，涉及一种高清高帧率实时视频增透仪。

背景技术

视频增透仪器，目前主要是采用物理处理和电子处理两种方式，物理处理往往采用高端的透雾镜片。这种方案价格昂贵，增透能力有限，不适合更多的用户需求。电子处理大都采用DSP或者PC机，通过软件编程实现增强算法。这种方案处理速度很慢，为了保证视频处理的实时性，大都采用降低视频帧率，减小视频尺寸等方法实现。而且现有的视频增透仪器只能处理标清视频。随着半导体工艺的发展，图像传感器在分辨率上的性能得到了极大提高，原有的视频增透仪器已经完全不能解决高清视频的实时处理要求。因此如何实现高清视频实时处理是当前实际应用和研究迫切需要解决的难题。

随着大规模/超大规模集成电路以及现场可编程门阵列FPGA的发展，使基于各种硬件平台的数字图像处理更显优势。通过FPGA的流水技术，以空间换时间，可以达到高清视频实时处理的要求。

发明内容

本发明的目的是提供一种高清高帧率实时视频增透仪，使其能够对低照度环境下的高清视频信息进行实时增透处理，增透能力好，还解决了现有市场上增透设备应用面狭窄、视频处理数据量大、速度慢的问题。

本发明所采用的技术方案是，一种高清高帧率实时视频增透仪，视频信息源依次连接VGA接口、AD转换芯片、现场可编程门阵列、DA转换芯片、VGA接口、显示设备，SDRAM1芯片、SDRAM2芯片分别与现场可编程门阵列连接。

本发明的特征还在于，

现场可编程门阵列包括输入像素采集模块，AD转换芯片与输入像素采集模块连接，输入像素采集模块依次连接有数据预处理模块、乒乓切换模块、数据后处理模块、VGA输出控制模块，SDRAM1控制器、SDRAM2控制器的一端分别与乒乓切换模块连接，SDRAM1控制器的另一端与SDRAM1芯片连接，SDRAM2控制器的另一端与SDRAM2芯片连接，AD转换芯片采用AD9880型号，DA转换芯片采用ADV7125型号，SDRAM1芯片、SDRAM2芯片采用HY57V561620型号。

数据后处理模块包括接口电路，接口电路一端与乒乓切换模块连接，接口电路另一端分别连接R通道Retinex处理电路、G通道Retinex处理电路、B通道Retinex处理电路，R通道Retinex处理电路、G通道Retinex处理电路、B通道Retinex处理电路功能与结构相同。

接口电路由一组异步FIFO和控制电路构成。

R通道Retinex处理电路包括高斯滤波模块与FIFO存储器，高斯滤波模块与FIFO存储器的输入端与接口电路连接，高斯滤波模块输出端依次连接对数运算模块、减法模块、对比度调整模块，FIFO存储器输出端连接对数值查表模块，对数值查表模块与减法模块连接。

高斯滤波模块包括滑动窗口，滑动窗口依次与垂直滤波器、移位寄存器、水平滤波器连接。

垂直滤波器采用转置型FIR滤波器结构，水平滤波器采用并行FIR滤波器结构，滤波模板大小为11～161。

对比度调整模块包括依次连接的概率统计模块、移位寄存器、均值计算模块、输出控制模块。

概率统计模块包括RAM存储器，统计操作模块、结果计算模块分别与RAM存储器连接，其中，RAM存储器包括RAM1、RAM2，输入像素通过地址选择器分别和双端口RAM1、RAM2的A端口相连，结果计算模块分别和双端口RAM1、RAM2的B端口相连，有效数据使能信号通过一个触发器产生写使能信号，分别和双端口RAM1、RAM2的A端口相连，RAM存储器的输出和结果计算模块相连。

输出控制模块中，输入像素分别和最大值、最小值与比较器、除法器相连，比较器的输出分别和选择器的使能信号sel相连，除法器的输出和乘法器的输入相连，选择器的输出和触发器的输入相连。

本发明的有益效果是，该仪器主要以Retinex理论作为算法核心，FPGA以及外围电路作为算法实现的硬件平台，采用基于FPGA的流水技术，设计了一种高清视频处理的通路结构。在此基础上，实现了Retinex算法的硬件电路，并且完成了高清实时视频增透仪器。该仪器具有高清、高帧率、实时等特点，解决了视频处理中数据量大，传输速度慢等问题。性价比高，能够满足更多用户需要，解决社会实际问题，具有很高的实用价值。

附图说明

图1是本发明高清高帧率实时视频增透仪的结构示意图。

图2是本发明现场可编程门阵列的结构示意图。

图3是本发明数据后处理模块的结构示意图。

图4是本发明R通道Retinex处理电路的结构示意图。

图5是本发明高斯滤波模块的结构示意图。

图6是本发明对比度调整模块的结构示意图。

图7是本发明输出控制模块的结构示意图。

图8是本发明概率统计模块的结构示意图。

图9是本发明概率统计模块的模块化示意图。

图中，1.视频信息源，2.VGA接口，3.AD转换芯片，4.现场可编程门阵列，5.SDRAM1控制器，6.SDRAM2控制器，7.DA转换芯片，8.VGA接口，9.显示设备，10.输入像素采集模块，11.数据预处理模块，12.乒乓切换模块，13.数据后处理模块，14.VGA输出控制模块，15.接口电路，16.R通道Retinex处理电路，17.G通道Retinex处理电路，18.B通道Retinex处理电路，19.高斯滤波模块，20.对数运算模块，21.减法模块，22.对比度调整模块，23.FIFO存储器，24.对数值查表模块，25.滑动窗口，26.垂直滤波器，27.移位寄存器，28.水平滤波器，29.概率统计模块，30.移位寄存器，31.均值计算模块，32.输出控制模块，33.统计操作模块，34.结果计算模块，35.RAM存储器，36.SDRM1芯片，37.SDRM2芯片。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的高清高帧率实时视频增透仪的结构如图1所示，由视频输入，采集，预处理，存储，后处理，显示几部分组成。具体来说，视频信息源1依次连接VGA接口2、AD转换芯片3、现场可编程门阵列4（FPGA）、DA转换芯片7、VGA接口8、显示设备9，SDRM1芯片36、SDRM2芯片37分别与现场可编程门阵列4连接。

其中，AD转换芯片3采用AD9880型号，DA转换芯片7采用ADV7125型号，SDRAM1芯片36、SDRAM2芯片37采用HY57V561620型号。

现场可编程门阵列4的结构如图2所示，包括输入像素采集模块10，AD转换芯片3与输入像素采集模块10连接，输入像素采集模块10依次连接有数据预处理模块11、乒乓切换模块12、数据后处理模块13、VGA输出控制模块14，SDRAM1控制器5、SDRAM2控制器6的一端分别与乒乓切换模块12连接，SDRAM1控制器5的另一端连接SDRAM1芯片36，SDRAM2控制器6的另一端连接SDRAM2芯片37。

数据后处理模块13的结构如图3所示，包括接口电路15，接口电路15一端与乒乓切换模块12连接，接口电路15另一端分别连接R通道Retinex处理电路16、G通道Retinex处理电路17、B通道Retinex处理电路18。R通道Retinex处理电路16、G通道Retinex处理电路17、B通道Retinex处理电路18功能和结构完全相同。其中，接口电路15由一组异步FIFO和相应的控制电路构成。

以R通道Retinex处理电路16为例，结构如图4所示，包括高斯滤波模块19与FIFO存储器23（先进先出存储器），高斯滤波模块19与FIFO存储器23的输入端与接口电路15连接，高斯滤波模块19输出端依次连接对数运算模块20、减法模块21、对比度调整模块22，FIFO存储器23输出端连接对数值查表模块24，对数值查表模块24与减法模块21连接。

高斯滤波模块19的结构如图5所示，包括滑动窗口25，滑动窗口25依次与垂直滤波器26、移位寄存器27、水平滤波器28连接。

其中垂直滤波器26采用转置型FIR滤波器结构，水平滤波器28采用并行FIR滤波器结构。滤波模板大小一般为11～161，优选采用81×81。

对数运算模块实现采用CORDIC算法的流水结构，运算误差小于10_-4。

对比度调整模块22的结构如图6所示，概率统计模块29、移位寄存器30、均值计算模块31、输出控制模块32依次连接，输入数据输入概率统计模块29，帧起始信号分别输入移位寄存器30、均值计算模块31。

概率统计模块的结构如图8、图9所示，统计操作模块33、结果计算模块34分别与RAM存储器35连接。在图8中wren1、wren2表示写使能信号，adder1、adder2表示地址，q表示输出；D表示触发器；图8中输入像素通过地址选择器分别和双端口RAM1、RAM2的A端口相连，结果计算模块34分别和双端口RAM1、RAM2的B端口相连，有效数据使能信号通过一个D触发器产生写使能信号，分别和双端口RAM1、RAM2的A端口相连，RAM存储器的输出和结果计算模块34相连。

输出控制模块32的结构如图7所示，图7中输入像素分别和最大值、最小值与比较器、除法器相连，比较器的输出分别和选择器的使能信号sel相连，除法器的输出和乘法器的输入相连，选择器的输出和触发器D的输入相连。

本发明高清高帧率实时视频增透仪的工作过程是，视频信息源1通过VGA接口2输入，经过AD转换芯片3模数转换后送入现场可编程门阵列4（FPGA），现场可编程门阵列4对输入数据进行有效像素采集、预处理，然后存入存储器SDRAM1芯片36或SDRAM2芯片37，现场可编程门阵列4从SDRAM1芯片36或SDRAM2芯片37中读取有效像素按照窗口滑动的方式进行后处理，当后处理完成之后经过DA转换芯片7数模转换，通过VGA接口8输出至显示设备9进行显示。

其中，输入像素采集模块10主要完成A/D转换的控制；数据预处理模块11主要是对采集的有效像素进行中值滤波处理；乒乓切换模块12主要是对预处理后的像素按照一定的格式实时存储，并且控制两个SDRAM控制器读写的切换；数据后处理模块13主要完成视频信息的Retinex算法处理；VGA输出控制模块14主要完成对像素数据进行D/A转换的控制以及VGA显示设备控制。

接口电路15从当前的SDRAM中读取视频数据并写入接口电路15的异步FIFO中，于此同时，R、G、B三个通道上的Retinex处理电路可以异步地从FIFO中读取处理所需要的数据完成处理。

在Retinex处理电路中，输入像素首先进入高斯滤波模块19进行处理，然后在对数域，用原像素值减去该点对应的滤波结果值，最后进行对比度调整，输出处理后的像素。使用FIFO储存器23缓存每一行的原始像素，保证流水级数的同步；通过查表模块计算原始像素的对数值。采用4级流水结构实现（即高斯滤波模块、对数运算模块、减法模块、对比度调整模块），以行为单位处理并利用行消隐时间作为算法的流水开销。该方法使得视频的每一帧处理没有延时，达到了真正的高清实时效果。

高斯滤波模块19内，处理按照高斯函数的对称性和分解性，将二维高斯滤波分解为两个一维滤波器实现。假设滤波模板为n×n，则滑动窗口25的函数大小为n×n，首先输入滑动窗口中第1列像素的数据，对其进行垂直滤波，然后将滤波的结果写入移位寄存器27，最后对移位寄存器27里的数据进行水平滤波。经过一定时间的流水开销则输出最终像素的滤波结果。滑动窗口按照从左到右，从上到下的方式依次遍历每一帧图像。

对比度调整模块22采用线性对比度拉伸方法。首先输入像素通过概率统计模块29寻找到每一帧图像最大最小值，然后将每帧图像的最大最小值依次存入移位寄存器30中，通过对移位寄存器30中的值求和平均计算出最终运算中带入的最大最小值。输出控制模块32根据最大最小值，按照线性对比度拉伸方法，对输入的像素进行对比度调整，最终输出其结果，其中移位寄存器30中一共缓存32帧图像的最大最小值，在每一次帧起始信号有效时，移位寄存器右移一次，缓存中的数据更新一次。

概率统计模块29首先进行输入数据的统计操作，它以每一个输入数据为地址读出RAM存储器35中的数据，然后将该数据加一后再写入RAM存储器35中，以此一直进行下去直到一帧图像统计完成；当一帧图像统计完成后，开始根据统计结果计算这幅图像的最大最小值，这部分功能由结果计算模块34控制实现，具体如下所述：首先查找最大值，从0x0FF单元开始，依次递减的读出RAM存储器35中的数据，求其累积和，当其累积和达到像素数量的0.01时，这时对应得像素值即为最大值；接着查找最小值，从0x1FF单元开始依次递减的读出RAM存储器35中的数据，求其累积和，当其累积和达到像素数量的0.01时，这时对应得像素值即为最小值；最后一步是清除RAM存储器35中的历史数据，而后等待下一帧图像的开始。

后处理完成之后，输出像素经过DA转换芯片转换，变成模拟信号，通过VGA接口输出显示。

本发明已经在雾天情况下进行了测试，处理的视频分辨率为1024×1280，传输帧率为每秒60帧，FPGA工作频率为108MHZ。处理效果明显，视频信息的清晰度增强，对比度提高，达到了高清实时增透效果，可以满足社会生活实际需要，具有很高实用价值。

Claims

1.一种高清高帧率实时视频增透仪，其特征在于，视频信息源（1）依次连接VGA接口（2）、AD转换芯片（3）、现场可编程门阵列（4）、DA转换芯片（7）、VGA接口（8）、显示设备（9），SDRAM1芯片（36）、SDRAM2芯片（37）分别与现场可编程门阵列（4）连接。

2.根据权利要求1所述的高清高帧率实时视频增透仪，其特征在于，所述现场可编程门阵列（4）包括输入像素采集模块（10），所述AD转换芯片（3）与输入像素采集模块（10）连接，输入像素采集模块（10）依次连接有数据预处理模块（11）、乒乓切换模块（12）、数据后处理模块（13）、VGA输出控制模块（14），所述SDRAM1控制器（5）、SDRAM2控制器（6）的一端分别与乒乓切换模块（12）连接，SDRAM1控制器（5）的另一端与SDRAM1（36）芯片连接，SDRAM2控制器（6）的另一端与SDRAM2（37）芯片连接，所述AD转换芯片（3）采用AD9880型号，所述DA转换芯片（7）采用ADV7125型号，所述SDRAM1（36）芯片、SDRAM2（37）芯片采用HY57V561620型号。

3.根据权利要求2所述的高清高帧率实时视频增透仪，其特征在于，所述数据后处理模块（13）包括接口电路（15），接口电路（15）一端与所述乒乓切换模块（12）连接，接口电路（15）另一端分别连接R通道Retinex处理电路（16）、G通道Retinex处理电路（17）、B通道Retinex处理电路（18），所述R通道Retinex处理电路（16）、G通道Retinex处理电路（17）、B通道Retinex处理电路（18）功能与结构相同。

4.根据权利要求3所述的高清高帧率实时视频增透仪，其特征在于，所述接口电路（15）由一组异步FIFO和控制电路构成。

5.根据权利要求3所述的高清高帧率实时视频增透仪，其特征在于，所述R通道Retinex处理电路（16）包括高斯滤波模块（19）与FIFO存储器（23），所述高斯滤波模块（19）与FIFO存储器（23）的输入端与接口电路（15）连接，所述高斯滤波模块（19）输出端依次连接对数运算模块（20）、减法模块（21）、对比度调整模块（22），所述FIFO存储器（23）输出端连接对数值查表模块（24），对数值查表模块（24）与减法模块（21）连接。

6.根据权利要求5所述的高清高帧率实时视频增透仪，其特征在于，所述高斯滤波模块（19）包括滑动窗口（25），滑动窗口（25）依次与垂直滤波器（26）、移位寄存器（27）、水平滤波器（28）连接。

7.根据权利要求6所述的高清高帧率实时视频增透仪，其特征在于，所述垂直滤波器（26）采用转置型FIR滤波器结构，所述水平滤波器（28）采用并行FIR滤波器结构，滤波模板大小为11～161。

8.根据权利要求5所述的高清高帧率实时视频增透仪，其特征在于，所述对比度调整模块（22）包括依次连接的概率统计模块（29）、移位寄存器（30）、均值计算模块（31）、输出控制模块（32）。

9.根据权利要求8所述的高清高帧率实时视频增透仪，其特征在于，所述概率统计模块（29）包括RAM存储器（35），统计操作模块（33）、结果计算模块（34）分别与RAM存储器（35）连接，其中，RAM存储器（35）包括RAM1、RAM2，输入像素通过地址选择器分别和双端口RAM1、RAM2的A端口相连，结果计算模块（34）分别和双端口RAM1、RAM2的B端口相连，有效数据使能信号通过一个触发器产生写使能信号，分别和双端口RAM1、RAM2的A端口相连，RAM存储器（35）的输出和结果计算模块（34）相连。

10.根据权利要求8所述的高清高帧率实时视频增透仪，其特征在于，所述输出控制模块（32）中，输入像素分别和最大值、最小值与比较器、除法器相连，比较器的输出分别和选择器的使能信号sel相连，除法器的输出和乘法器的输入相连，选择器的输出和触发器的输入相连。