CN101527033A - 超分辨率重建和自动配准的工业ccd彩色成像系统 - Google Patents

Abstract

本发明公开了一种基于FPGA和DSP的超分辨率重建和自动配准的工业CCD彩色成像系统，该成像系统由硬件系统和软件系统组成：硬件系统包括：由一个彩色CCD摄像头和一个黑白CCD摄像头实时采集不同分辨率的视频采集模块，对模拟视频数字化及制式转换的模块，基于FPGA的视频预处理和自动和重建参数配准模块，以DSP为核心的自动配准和多孔小波融合重建算法实现模块，以太网通信接口模块组成；软件系统主要是实现1路低分辨率彩色视频和1路高分辨率黑白视频通过自动配准，然后采用多孔小波结合IHS的融合算法重建为所需的高分辨率彩色视频的融合算法。

Description

超分辨率重建和自动配准的工业CCD彩色成像系统

一、技术领域

本发明是一种通过采用数字信号处理技术突破现有硬件设备的局限性，为工业视频监视监测提供高分辨率的成像系统。属于视频监视、图像采集和数字信号处理领域。

二、背景技术

在工业视频监视监测应用中，高分辨率图像往往可以提供所需要的重要细节信息。为了获得高分辨率的图像，人们首先想到是提高硬件设备的性能。从20世纪七十年代开始，一批高精度的成像设备(CCD)和CMOS图像传感器被投入使用来获取高分辨率的数字图像，它们分别采用不同的硬件技术改变现有设备的性能。一种是采用增加传感器的数量来缩小像素的尺寸以便增加像素的密度。另一种是增大集成电路的尺寸以获得更多的图像信息。还有可以增加成像系统的焦距来提高分辨率。

但是通过这三种方法得到的高分辨率图像不仅价格昂贵，分辨率的提高倍数仍然受到硬件材料本身固有的物理特性的限制，加之现有的制造业技术基本已经可以做到发挥现有材料的最大物理特性。因此想要单纯依靠硬件的改进来提高图像的分辨率就需要更加高昂的投入，而且提高的尺度也非常有限。综上所述采用提高硬件性能来获得高分辨率图像的方法不能满足未来发展的需要的。

目前，一种采用信号处理技术来获得高分辨率的图像的方法已经成为这个领域研究的热点。这类方法主要思想是利用原有成像设备，采用信号处理技术对采集到的低分辨率图像进行软件处理得到分辨率更高的图像。其中信号处理技术的最大优点有两点；一个是低成本；二是该技术可以利用现有的普通成像设备。目前针对这个问题已经涌现出许多成熟的算法，而且伴随这类处理方法的一系列问题也进行了研究。

现有采用软件算法获得高分辨率图像的方法都是依靠高性能通用PC机通过添加一定的处理程序来完成图像的配准和重建操作的。获取高分辨率图像的软方法主要有两大类：一类是源于图像复原理论，针对多幅低分辨率的序列图像，将成像过程中变形、模糊、降采样和噪声用降质矩阵表示，采用通用的反问题求解法来求取高分辨图像，如凸集投影(POCS方法)、迭代反向投影方法(IBP方法)、非均匀插值法、统计复原方法、滤波方法等；另一类是源于信息融合理论，针对两类(或以上)不同类型的传感器获取的图像，利用信息融合的方法将两类(或以上)传感器关于同一目标或场景的图像数据根据某个算法进行适当的综合处理，产生一幅新的、满足某种需求的新图像，而这一图像是单传感器无法得到的。经融合处理后的图像可以更全面、更精确地反映研究对象，常用的图像融合方法主要有平均法、主成分变换法(PCA)、IHS变换法、金字塔分解法、小波变换法等。

考虑到本发明超分辨率获取是通过两类不同类型的工业CCD传感器获取的图像来重建高分辨率图像，因此本发明中图像的超分辨率获取采用DSP+FPGA硬件技术结合信息融合方法。在图像超分辨率融合重建中，参与运算的不只是一幅图像，而且重建算法的计算量较大，因此，单纯采用PC机很难满足工业应用的要求，而且成本较高、实时性和灵活性也较差。

与目前采用摄像机+通用PC机的方法不同，本发明采用FPGA可编程器件+DSP数字信号处理器件组成的嵌入式系统来代替通用PC机，并发明了高性能的自动配准和超分辨率重建的实时计算算法，很好地满足了工业视频监视监测应用的要求，且具有成本低、实时性好及模块化设计等优点，另外本文采用多孔小波结合IHS的融合算法可以在提高图像空间分辨率的同时，保持原彩色图像的光谱特性。

申请人2001年主持和承担的“综合监视监控技术与系统集成理论研究及其应用”获江苏省科技进步二等奖；2005年主持和承担的“计算智能与图像信息处理研究及其应用系统”获中国电子学会电子信息科学技术三等奖；出版专著2部，2001年《数字图像的智能信息处理》由国防工业出版社出版，独著；

2004《多媒体监视监控技术与系统》由国防工业出版社出版；2006年《信息与系统集成技术与应用》由科学出版社出版

近年来，申请人主持和承担的“综合监视监控技术与系统集成理论研究及其应用”获江苏省科技进步二等奖；2005年主持和承担的“计算智能与图像信息处理研究及其应用系统”获中国电子学会电子信息科学技术三等奖；出版专著2部，2001年《数字图像的智能信息处理》由国防工业出版社出版，独著；2004《多媒体监视监控技术与系统》由国防工业出版社出版；2006年《信息与系统集成技术与应用》由科学出版社出版，通过多年的研究和实践，申请人熟悉和掌握数字图像智能处理和监视监控领域的研究难点和重点。

申请人不仅在时间上取得了一些成果，结合博士研究生的培养，特别注重理论与方法的研究工作。近年来进行了；基于3S(GPS、GIS、RS)技术的多源、多尺度信息融合理论、方法，拓展信息处理的应用领域。取得的主要成果有″综合监视监控技术与系统集成研究及其应用″，2001获江苏省科技进步二等奖，国家发明专利：多源监测数据信息融合处理方法。在研项目有：国家自然科学基金″基于3S的水环境监测信息融合与仿真研究(编号：60374033)″、江苏省自然科学基″多尺度多源传感器水环境信息融合研究(编号：BK2002064)″。

开展了″“工业噪声背景下的监控图像预处理技术”、″极低码率下工业视频图像压缩编码技术″、″多媒体监视监控及数字视频系统集成技术″等研究，提出了十多种图象处理的智能新方法，有些已在实际中得到应用。发表论文20多篇，提出了十多种图象处理的智能新方法，有些已在实际中得到应用。2001年″计算智能与图像信息处理研究及其应用系统″项目通过江苏省科技厅鉴定。申请人提出了基于模糊积分的多源、多尺度遥感图像的超分辨率融合处理算法、基于PCA结合小波变换的多源、多尺度遥感图像的超分辨率融合处理、自适应模糊密度赋值的小波变换遥感图像融合算法和改进的基于小波变换的遥感图像融合方法。上述研究分别是国家自然科学基金、江苏省自然科学基金、国家863项目的资助下进行的，有的成果发表在国内外重要学术刊物上，部分成果应用于一些横向课题中。

三、发明内容

本发明设计了工业视频监视监测中需要的高分辨率工业CCD彩色成像系统。该系统可以在现有的普通CCD摄像头的基础上，通过FPGA可编程器件+DSP数字信号处理器件组成的嵌入式系统，并配有高性能的自动配准和超分辨率重建的实时计算算法，以得到更高分辨率彩色监视图像。

本发明采用FPGA可编程器件来实现图像信号的预处理，由于FPGA结构具有实现数据的并行处理，来自XILINX系列的最新产品还集成嵌入式高性能乘法器阵列，同时FPGA可配置为能够并行处理的多个操作的乘法累加(MAC)单元阵列，并且可以利用准确的MAC阵列编程来满足计算要求。这些优点对完成图像处理非常理想的。FPGA性能的提高还带来了实时性处理的优点，它的可编程能力还提供了优异的灵活性，支持算法的升级。采用具有强大快速运算能力的DSP数字信号处理芯片来完成运算结构复杂的自动配准和超分辨率重建运算。

本发明的技术解决方案：首先通过两个普通的CCD摄像头采集图像，一个是低分辨率彩色摄像头，另一个是高分辨率黑白摄像头。采用FPGA芯片和DSP芯片组成的嵌入式系统完成自动配准与超分辨率融合重建运算，FPGA芯片对视频图像进行采集和预处理，并控制视频图像信号处理过程。采用DSP芯片做图像配准与超分辨率重建运算操作。在FPGA芯片上外接了SRAM1存储器芯片和SRAM2两个存储器芯片，用来存储采集的视频图像信息。这两个存储芯片分别通过总线连接到FPGA和DSP芯片上，为FPGA和DSP芯片提供存储功能。在DSP芯片完成超分辨率重建运算后，并通过数据总线传送到以太网通信接口上去，最后本系统输出高分辨率的彩色图像。

四、附图说明

下面结合附图，详细说明本发明的实施例，其中：

附图1是本发明的硬件系统方框图；

附图2是本发明的工业CCD图像的自动配准原理框图；

附图3是本发明的系统工作流程图；

附图4是本发明的模拟视频信号转换模块电路图。

附图5，6是本发明的SRAM电路图；

附图7是本发明的DSP与FLASH的连接图；

五、具体实施方式

如图1所示，一种基于超分辨率重建和自动配准的工业CCD彩色成像系统，主要由由一个彩色CCD摄像头和一个黑白CCD摄像头实时采集不同低分辨率的视频采集模块，对模拟视频数字化及制式转换的模块，基于FPGA的视频预处理和自动和重建参数配准模块，以DSP为核心的的自动配准和重建算法实现模块，通过以太网通信接口模块组成。

所述的超分辨率重建和自动配准的工业CCD彩色成像系统，特征在于彩色CCD摄像头和黑白CCD摄像头型号为低分辨率，且具有不同的分辨率，SAA7113可编程视频信号处理器进行图像采集和格式转换，对图像信号放大，抗混叠滤波等功能，FPGA芯片选用处理图像信号的Virtex-II Pro系列的XC2VP100型号芯片。SRAM存储器型号为CY7C1049，作为缓存图像数据。DSP芯片型号为TMS320C6711A，具有2级高速缓存架构的浮点DSP，有标准的视频输入输出接口，运算能力(FOPS)为900MFOPS，数据程序空间为16M Bytes。该处理器完成超分辨率重建和自动配准成像算法。闪存存储器型号为AM29LV160D(2M×8bit/16bit)，用于存放DSP芯片要执行的程序，闪存芯片可由8位和16位两种选择，采用3.3V供电，完全兼容JEDEC标准，支持系统编程。以太网接口电路型号为由型号为TRL8019AS以太网通信接口芯片，该芯片采用全双工工作方式，内置16KB的SRAM用于收发缓冲，收发同时达到10Mb/s，具有32位I/O地址端口。

如图2所示，是本发明的系统工作流程图，也是本发明的核心，由图像配准模块，IHS变换模块、多孔小波融合重建模块、反IHS变换模块，MS是CCDa获取的彩色图像。PAN是CCDb获取的全色的高分辨率图像，I分量、H分量和S分量分别是指MS中的亮度、色度和饱和度分量，新的I分量是经过超分辨率重建后的亮度信息，彩色HR是重建的高分辨率彩色图像。

所述的超分辨率融合重建和自动配准的工业CCD彩色成像系统，特征在于图2的全部流程由图1中的FPGA和DSP共同完成，其中图2中图像配准模块是运动参数估计与配准操作，这里采用基于最大互信息的运动估计算法。考虑到CCD1的分辨率是768×582，CCD2的分辨率是1024×768，以CCD2的全色图像为参考图像，将CCD1的RGB格式的彩色图像MS配准到CCD2的全色图像PAN。

如图3所示，是本发明的自动配准原理框图，配准原理如下：

先对彩色图像MS进行图像变换，再与CCD2的全色图像进行比较，通过联合归一化直方图得到对应的互信息。对于两幅图像A和B，其互信息定义如下：

$\mathrm{MI}(A,B)=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{A,B}(i,j){\log }_2\frac{P_{A,B}(i,j)}{P_A\left(i\right)P_B\left(j\right)}$ ①

式中L图像的灰度级数

P_A，B(i，j)图像A和B灰度联合概率分布

P_A(i)为图像A的边缘概率分布

P_B(i)为图像B的边缘概率分布

其中P_A，B(i，j)、P_A(i)和P_B(i)可以由联合归一化直方图得到。

然后通过最优化搜索算法得到使互信息达到最大时的配准参数。图像的配准变换采用六参数的仿射变换。

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)$ ②

式中(x，y)表示参考图像的坐标，本专利中的参考图像指PAN图像。

(x′，y′)表示待配准图像的坐标，本专利中的待配准图像指MS图像。且成功匹配的收敛速度较慢。拟采用分层搜索算法可以较好地解决此问题，具体采用图像的离散小波变换，然后逐层求解互信息最大化，最后完成全图的配准。

配准完成后，接着是IHS变换器，将RGB彩色图像分解为I分量、H分量、S分量，重建模块首先对全色图像与I分量图像进行直方图匹配，得到新的全色图像，然后将新的全色图像与I分量图像进行多孔小波融合算法，得到新的强度分量图像I′，最后经过反变换模块，实现将I′分量、H分量、S分量进行反IHS变换，得到重建的高分辨率RGB图像。

如图4所示，一种基于超分辨率重建和自动配准的工业CCD彩色成像系统，前端模拟电视信号转换模块电路，它是连接CCD摄像头和FPGA的中间部分，对照图4，图像信号通过CVBS1经电阻R42，电容C98接入到SAA7113H芯片的图像信号的输入口“4”脚，“5”脚和“6”脚通过电容C99，C100接地。“37”脚和“8”脚直接接地；第“40”脚是该芯片的复位信号输入端，连接SAA7113H RST。第“18”脚VDDE1，“34”脚VDDE2，“29”脚VDDD1和“33”脚VDDDA接3.3V的电源位芯片供电；“10”脚到“42“脚对应的VDDA0~VDDA2通过电容组C101~C103，CT104~107与电感FERRITE-BEAK2组成的滤波器接地，“31”和“32”脚分别接在晶振Y1的两端，这两个管脚对应的是XTAL和XTAL1管脚，它们为芯片提供时钟频率信号。芯片上的XPO0～XPO7，RTS0，RTS1，TRCO，SCL，SDA等管脚是要连接到FPGA的信号输入端口上作为信号传输使用的，“17”管脚通过电阻R44连接到FPGA上。VSSA0~VSSA2管脚，VSSDE1，VSSDE2和VSSD1，VSSDA管脚直接接地。该芯片为FPGA提供YUV格式的数字图像信号。

图5和图6是连接在FPGA上的两片静态RAM。电路图相似，左侧的A0~A18端口是输入数据存放的地址，因此是单向的。它们接在FPGA数据地址输入端口，第“9”脚VCC管脚连接在5V的电源上为RAM芯片提供电源，右边I/O0～I/O7作为数据输入输出端口接在FPGA或者DSP的数据接收端。

图7中DSP芯片TMS320C6713的CEO连接到FLASHROM的CS端，W10脚AOE连接到闪存的OE端，AWE端连接到闪存的WE端，EA2~EA21连接到A0~A19上，ED0~ED15与FLASHROM的D0~D15连接。闪存上的CS端和RY/BY端经过一个逻辑或门连接到DSP的ARDY端。

本发明是采用传统成像设备和FPGA+DSP组成的超分辨率重系统为工业监测提供低成本高分辨率图像。本发明采用两个普通的工业CCD摄像头获取低分便率图像，通过电视信号转换芯片SAA7113H和FPGA做预处理，然后利用DSP芯片将处理好的图像重建，最终得到一幅高分辨率的彩色图像。本发明的优点：该发明设计避免了传统图像重建采用PC机处理速度慢和不灵活等缺点，充分利用DSP和FPGA芯片组合的快速，灵巧等特点代替PC机，可以达到重建的实时性要求，且具有易于扩展等优点。

Claims (2)

1.一种基于FPGA和DSP的超分辨率重建和自动配准的工业CCD彩色成像系统，其特征在于，该成像系统包括：

由一个彩色CCD摄像头和一个黑白CCD摄像头实时采集不同低分辨率的视频采集模块[1]，用于采集不同分辨率的模拟视频信息；

对模拟视频数字化及制式转换的模块[2]，完成图像采集和格式转换，对图像信号放大，抗混叠滤波等功能；

基于FPGA的视频预处理和自动和重建参数配准模块[3]，完成视频预处理和自动和重建参数配置；

以DSP为核心的的自动配准和融合重建算法实现模块[4]，完成图像的自动配准、多孔小波结合IHS变换的融合重建算法和整个系统管理；

以太网通信接口模块[5]，最终输出和传输高分辨率彩色视频；

软件系统是本发明的核心，由图像配准模块，IHS变换模块、多孔小波融合重建模块、反IHS变换模块，MS是CCD1获取的彩色图像，PAN是CCD2获取的全色的高分辨率图像，I分量、H分量和S分量分别是指MS中的亮度、色度和饱和度分量，新的I分量是经过超分辨率重建后的亮度信息，彩色HR是重建的高分辨率彩色图像，所述的超分辨率重建和自动配准的工业CCD彩色成像系统，特征在于图2的全部流程由图1中的FPGA和DSP共同完成，其中图2中图像配准模块是运动参数估计与配准操作，这里采用基于互相关的运动估计算法，考虑到CCD2的分辨率是768×582，CCD2的分辨率是1024×768，以CCD2的全色图像为参考图像，将CCD1的RGB格式的彩色图像MS配准到CCD2的全色图像PAN，接着是IHS变换器，将RGB彩色图像分解为I分量、H分量、S分量，融合重建模块首先对全色图像与I分量图像进行直方图匹配，得到新的全色图像，然后将新的全色图像和I分量图像进行基于多孔小波的融合算法，得到新的强度分量图像I′。最后经过IHS反变换模块，实现将分量、H分量最后经过反变换模块，实现将I′分量、H分量、S分量进行反IHS变换，得到重建的高分辨率RGB图像。

2.根据权利要求1所属的基于FPGA和DSP的超分辨率重建和自动配准的工业CCD彩色成像系统，其特征在于本发明所属的图像自动配准：首先对彩色图像MS进行图像变换，再与CCD2的全色图像进行比较，通过联合归一化直方图得到对应的互信息，再经Powell优化算法搜索得到互信息最大时的配准参数，最后根据仿射变换完成图像的配准。

Images