CN204761607U - 一种实时多源视频图像融合系统 - Google Patents

Abstract

本实用新型提供了一种实时多源视频图像融合系统，属于通信技术领域，在该图像融合系统中包括红外相机、可见光相机、紫外相机、第一解码芯片、第二解码芯片、第三解码芯片、FPGA芯片、第一DSP芯片、第二DSP芯片、第三DSP芯片、存储芯片、编码芯片以及显示器，其中，红外相机与第一解码芯片连接，可见光相机与第二解码芯片连接，紫外相机与第三解码芯片连接，第一解码芯片、第二解码芯片和第三解码芯片分别与FPGA芯片连接，编码芯片与FPGA芯片连接，编码芯片与显示器连接，FPGA芯片与存储芯片连接，FPGA芯片分别与第一DSP芯片、第二DSP芯片和第三DSP芯片连接，其使得融合后的视频图像的信息量更加丰富。

Description

一种实时多源视频图像融合系统

技术领域

本实用新型涉及通信技术领域，尤其涉及一种视频图像融合系统。

背景技术

随着科学技术的进步，人们对视频图像的要求越来越高，尤其是在医学、遥感、监控以及军事等领域，均要求视频图像所包含的信息越丰富越好。在这种情况下，传统的单一传感器无法满足这一要求。例如，可见光成像传感器在白天可以得到颜色及细节信息比较丰富的图像，然而在夜间却得不到理想的图像，红外成像传感器在夜间成像效果好但该类型的传感器分辨率不高并且只能得到灰度图像，没有丰富的颜色信息，可见，单一的成像传感器都无法提供信息量丰富的场景图像，因此我们需要图像融合技术来把多幅具有信息互补的图像融合成为一幅图像，便于后续的处理。

图像融合是把多个成像传感器所得到的多幅图像融合成为一幅图像的技术。由于视频图像融合的数据量很大，对硬件要求非常高；再有，目前的图像融合系统需要处理几路视频，其数据量非常大，且在对多幅图像进行图像融合前还需要对输入的视频图像进行配准，整个视频图像融合算法的复杂度比较高。这些都对实际的硬件系统提出了较高的要求。因此目前图像融合系统都采用台式计算机来完成，这样一来整个系统的成本比较高、体积比较大，而且还需要人来维护，不利于电子设备的小型化。

实用新型内容

针对上述问题，本实用新型中提供了一种实时多源视频图像融合系统，其在现有的视频图像融合系统的基础上增加了紫外相机，即有可见光、红外光和紫外光三路视频输入，使得融合后的视频图像的信息量更加丰富。

本实用新型提供的技术方案如下：

一种实时多源视频图像融合系统，所述实时多源视频图像融合系统中包括：用于在红外光的条件下获取第一视频图像的红外相机，用于在可见光条件下获取第二视频图像的可见光相机，用于在紫外光条件下获取第三视频图像的紫外相机，用于对所述第一视频图像进行解码的第一解码芯片，用于对所述第二视频图像进行解码的第二解码芯片，用于对所述第三视频图像进行解码的第三解码芯片，用于分别对解码后的第一视频图像、第二视频图像和第三视频图像进行预处理并对所述第一视频图像、所述第二视频图像和所述第三视频图像进行图像融合生成彩色视频图像的FPGA芯片，用于对经过FPGA(Field-ProgrammableGateArray，即现场可编程门阵列)芯片预处理后的第一视频图像进行图像融合处理的第一DSP(DigitalSignalProcessing，数字信号处理)芯片，用于对经过FPGA芯片预处理后的第二视频图像进行图像融合处理的第二DSP芯片，用于对经过FPGA芯片预处理后的第三视频图像进行图像融合处理的第三DSP芯片，用于对经过FPGA芯片预处理的第一视频图像、第二视频图像和第三视频图像以及经过FPGA芯片合成的彩色视频图像进行存储的存储芯片，用于对经过FPGA芯片合成的彩色视频图像进行编码的编码芯片以及用于对经过编码芯片编码的彩色视频图像进行显示的显示器；其中，所述红外相机的输出端与所述第一解码芯片的输入端连接，所述可见光相机的输出端与所述第二解码芯片的输入端连接，所述紫外相机的输出端与所述第三解码芯片的输入端连接，所述第一解码芯片、所述第二解码芯片和所述第三解码芯片的输出端分别与所述FPGA芯片的输入端连接，所述编码芯片的输入端与所述FPGA芯片的输出端连接，所述编码芯片的输出端与所述显示器的输入端连接，所述FPGA芯片与所述存储芯片连接实现双向通信，所述FPGA芯片分别与所述第一DSP芯片、第二DSP芯片和第三DSP芯片连接实现双向通信。

优选地，所述实时多源视频图像融合系统中还包括用于存储所述DSP芯片中使用的融合算法的FLASH芯片，所述FLASH芯片与所述FPGA芯片连接实现双向通信。

优选地，所述实时多源视频图像融合系统中包括两片所述存储芯片，每片所述存储芯片与所述FPGA芯片连接实现双向通信。

优选地，每片所述存储芯片为DDRIISDRAM芯片。

优选地，所述实时多源视频图像融合系统中还包括用于扩充所述存储芯片容量的CPLD(ComplexProgrammableLogicDevice，复杂可编程逻辑器件)芯片，所述CPLD芯片的输出端与每片所述存储芯片的输入端连接。

优选地，所述实时多源视频图像融合系统中还包括PCI(PeripheralComponentInterconnect，外设部件互连标准)接口，所述PCI接口与FPGA芯片连接。

通过本实用新型提供的实时多源视频图像融合系统，能够带来以下有益效果：

本实用新型提供的实时多源视频图像融合系统采用高端芯片(DSP芯片、FPGA芯片和DDRIISDRAM存储芯片)为支撑，同时采用硬件并行算法来实现数据信息的实时处理，实现了实时处理大量的数据的目的；其可用于城市路口的交通监控、智慧社区等领域，大大扩展了传统的视频图像融合系统的应用；

再有，与传统的视频图像融合系统相比，本实用新型提供的实时多源视频图像融合系统中增加了紫外相机，即同时有有可见光、红外光和紫外光三路视频输入，使得融合后的视频图像的信息量更加丰富；

另外，在本实用新型中，除相机外，整个硬件系统都集成到一块电路板上，与传统的基于台式计算机的视频图像融合系统相比不仅体积小而且重量轻；

最后，我们还在本实用新型中提供的实时多源视频图像融合系统中加入了PCI接口，通过该PCI接口可以将该系统插入到电脑主板上，用于硬件配置不高的视频监控系统的升级更新。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本实用新型中实时多源视频图像融合系统中第一实施例的结构示意图；

图2是本实用新型中实时多源视频图像融合系统中第二实施例的结构示意图；

图3是本实用新型中实时多源视频图像融合系统中第三实施例的结构示意图。

附图标记：

11-红外相机，12-可见光相机，13-紫外相机，21-第一解码芯片，

22-第二解码芯片，23-第三解码芯片，30-FPGA芯片，40-存储芯片，

41-第一存储芯片，42-第二存储芯片，51-第一DSP芯片，52-第二DSP芯片，

53-第三DSP芯片，60-编码芯片，70-显示器，80-FLASH芯片，

90-CPLD芯片。

具体实施方式

如图1所示为本实用新型提供的实时多源视频图像融合系统中第一具体实施例的结构示意图，从图中可以看出，该实时多源视频图像融合系统中包括：红外相机11、可见光相机12、紫外相机13、第一解码芯片21、第二解码芯片22、第三解码芯片23、FPGA芯片30、第一DSP芯片51、第二DSP芯片52、第三DSP芯片53、存储芯片40、编码芯片60以及显示器70，其中，红外相机11的输出端与第一解码芯片21的输入端连接，可见光相机12的输出端与第二解码芯片22的输入端连接，紫外相机13的输出端与第三解码芯片23输入端连接，第一解码芯片21、第二解码芯片22和第三解码芯片23输出端分别与FPGA芯片30的输入端连接，编码芯片60的输入端与FPGA芯片30的输出端连接，编码芯片60的输出端与显示器70的输入端连接，FPGA芯片30与存储芯片40连接实现双向通信，FPGA芯片30分别与第一DSP芯片51、第二DSP芯片52和第三DSP芯片53连接实现双向通信。

具体来说，红外相机11、可见光相机12和紫外相机13分别用于在红外光、可见光和紫外光的条件下获取第一视频图像、第二视频图像和第三视频图像。在具体实施例中，该可见光相机12可以使用工业监控相机，红外相机11可以使用型号为GoldeyeP-032的相机，紫外相机13可使用型号为CCD180-512-SFT的相机。当然，在本实用新型中，我们对红外相机11、可见光相机12和紫外相机13的具体型号均不作限定，只要其能实现本实用新型的目的，都包括在本实用新型的内容中。

第一解码芯片21与红外相机11连接，第二解码芯片22与可见光相机12连接，第三解码芯片23与紫外相机13连接，其中，第一解码芯片21从红外相机11中获取第一视频图像并对其进行解码，第二解码芯片22从可见光相机12中获取第二视频图像并对其进行解码，第三解码芯片23从紫外相机13中获取第三视频图像并对其进行解码。在具体实施例中，第一解码芯片21、第二解码芯片22和第三解码芯片23都可以使用型号为MB86H51的芯片。当然，在其他实施例中，还可以使用其他型号的第一解码芯片21、第二解码芯片22和第三解码芯片23实现对第一视频图像、第二视频图像和第三视频图像的解码，三个解码芯片也可以使用完全不同型号的解码芯片分别对三个视频图像进行解码，只要其能实现该目的，都包括在本实用新型的内容中。

FPGA芯片30，接收从第一解码芯片21、第二解码芯片22和第三解码芯片23中发送的解码后的第一视频图像、第二视频图像和第三视频图像并进行预处理，分别将第一视频图像、第二视频图像和第三视频图像分解为一帧一帧的图像，同时是用插值算法将上述解码后的第一视频图像、第二视频图像和第三视频图像插值为相同的分辨率，随后再将经过了预处理之后的第一视频图像、第二视频图像和第三解码芯片发送至存储芯片40中进行存储。另外，在本实用新型中，FPGA芯片30还用于对经过第一DSP芯片51、第二DSP芯片52和第三DSP芯片53融合处理后的第一视频图像、第二视频图像和第三视频图像进行图像融合生成彩色视频图像。在具体实施例中，这里的FPGA芯片30可以使用型号为StratixV5SGXEA7N2F45C2的芯片，当然，在这里我们同样对该FPGA芯片30的具体型号不做限定，只要能够实现上述目的的，都可以。另外，对于上述的插值算法，可以使用最近邻插值、双线性插值等插值算法，只要其能将解码后的第一视频图像、第二视频图像和第三视频图像插值为相同的分辨率都包括在本实用新型的内容中。

第一DSP芯片51、第二DSP芯片52和第三DSP芯片53，分别与FPGA芯片30连接并与其进行双向通信，其中，第一DSP芯片51从存储芯片40中读取经过预处理的第一视频图像、第二DSP芯片52从存储芯片40中读取经过预处理的第二视频图像以及第三DSP芯片53从存储芯片40中读取经过预处理的第三视频图像，进而分别对其进行融合处理，紧接着再分别将进行了融合处理的第一视频图像、第二视频图像和第三视频图像发送至FPGA芯片30中进行图像融合处理。具体来说，若是基于多分辨率的融合算法，则上面所说的第一DSP芯片51、第二DSP芯片52和第三DSP芯片53对第一视频图像、第二视频图像和第三视频图像进行的融合处理是指分别计算三个视频图像的多分辨率分析系数，如小波变换系数。在具体实施例中，这里的第一DSP芯片51、第二DSP芯片52和第三DSP芯片53都可以使用型号为C6748的DSP芯片实现上述目的，其是一种浮点高性能处理器，当然，也可以使用其他任何一款能够实现上述目的的芯片。

存储芯片40，与FPGA芯片30连接，用于存储经过FPGA芯片30预处理的第一视频图像、第二视频图像和第三视频图像、以及用于存储经过FPGA芯片30融合的彩色视频图像，具体来说，这里FPGA芯片30对三个视频图像进行融合的过程中，首先使用适当的融合规则对三组的多分辨率分析系数进行处理得到彩色视频图像的多分辨率分析系数，接下来再进行反变换得到彩色视频图像并保存到存储芯片40内部。在具体实施例中，该存储芯片40为64位的DDRIISDRAM芯片，当然，同样可以使用其他任何一款能够实现上述目的的芯片。

编码芯片60，与FPGA芯片30连接，用于解码经过FPGA芯片30融合之后的彩色视频图像，这样解码出来的彩色视频图像即能在显示器70中进行显示。在具体实施例中，可以使用型号为MB86H50的编码芯片60来实现目的，至于显示器70，可以选用LED显示器、液晶显示器等，只要能够实现本实用新型目的的，都包括在本实用新型的内容中。

如图2所示为本实用新型中实时多源视频图像融合系统中第二实施例的结构示意图，从该图中可以看出，在该系统各种还包括FLASH芯片80，且该FLASH芯片80与FPGA芯片30连接，在该FLASH芯片80中预先通过FPGA芯片存储了DSP芯片要使用的融合算法，当融合系统开机后，FLASH芯片80自动将该融合算法分别加载到第一DSP芯片51、第二DSP芯片52和第三DSP芯片53中。在该具体实施例中，可以使用芯片容量为256M的型号为K9F2G08U0B的芯片来实现上述目的，当然，同样可以使用其他任何一款能够实现上述目的的芯片，在这里我们不进行限定。

如图3所示为本实用新型中实时多源视频图像融合系统中第三实施例的结构示意图，从该图中可以看出，在本实施中，该系统中包括两片存储芯片，分别为图示中的第一存储芯片41和第二存储芯片42，且每片存储芯片分别与FPGA芯片30连接实现双向通信。在具体实施中，上述的第一存储芯片41和第二存储芯片42都为64位的DDRIISDRAM芯片。进一步来说，在本实施例中，我们为了扩充上述第一存储芯片41和第二存储芯片42的容量，我们在系统中设置了CPLD芯片90，其分别与上述第一存储芯片41和第二存储芯片42进行连接，将64位的存储芯片扩展为128位。

再有，实时多源视频图像融合系统中还包括PCI接口，PCI接口与FPGA芯片30连接，通过该PCI接口可以将该系统插入到电脑主板上，即电脑主板的输出端通过该PCI接口与FPGA芯片30的输入端连接，这样电脑主板可以通过该PCI接口将系统更新信息发送至FPGA芯片30中，实现对硬件配置不高的图像融合系统的升级更新。

作为一个完整的实施例，以下我们对实时多源视频图像系统的工作过程进行详细描述：系统首先通过红外相机11、可见光相机12和紫外相机13分别获取第一视频图像、第二视频图像和第三视频图像，随后将该第一视频图像、第二视频图像和第三视频图像分别发送至第一解码芯片21、第二解码芯片22和第三解码芯片23中进行解码，之后再将解码后的第一视频图像、第二视频图像和第三视频图像发送至FPGA芯片30中；FPGA芯片30对接收到的第一视频图像、第二视频图像和第三视频图像进行预处理之后，分别将第一视频图像、第二视频图像和第三视频图像转换为一帧一帧的图像，随即将预处理之后的第一视频图像、第二视频图像和第三视频图像发送至存储芯片40中进行存储。

当存储芯片40中存储完FPGA芯片30发送的一帧图像之后，第一DSP芯片51随即通过FPGA芯片30启动DMA(DirectMemoryAccess，直接内存访问)将存储芯片40中的第一视频图像读入第一DSP芯片51中、第二DSP芯片52随即通过FPGA芯片30启动DMA将存储芯片40中的第二视频图像读入第二DSP芯片52中以及第三DSP芯片53随即通过FPGA芯片30启动DMA将存储芯片40中的第一视频图像读入第三DSP芯片53中，这样三个DSP芯片随即分别对第一视频图像、第二视频图像和第三视频图像进行融合处理。当三个DSP芯片处理完当前帧图像后将处理结果反馈给FPGA芯片30，这样，FPGA芯片30随即将分别经过三个DSP芯片融合处理之后的第一视频图像、第二视频图像和第三视频图像进行融合生成彩色视频图像，在将生成的彩色视频图像发送至存储芯片40中进行存储。最后，当存储芯片40中存储的视频帧达到一定数量之后再将存储芯片40中存储的合成图像送入编码芯片60生成标准视频在显示器70输出。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。

Claims (6)

1.一种实时多源视频图像融合系统，其特征在于，所述实时多源视频图像融合系统中包括：用于在红外光的条件下获取第一视频图像的红外相机(11)，用于在可见光条件下获取第二视频图像的可见光相机(12)，用于在紫外光条件下获取第三视频图像的紫外相机(13)，用于对所述第一视频图像进行解码的第一解码芯片(21)，用于对所述第二视频图像进行解码的第二解码芯片(22)，用于对所述第三视频图像进行解码的第三解码芯片(23)，用于分别对解码后的第一视频图像、第二视频图像和第三视频图像进行预处理并对所述第一视频图像、所述第二视频图像和所述第三视频图像进行图像融合生成彩色视频图像的FPGA芯片(30)，用于对经过FPGA芯片(30)预处理后的第一视频图像进行图像融合处理的第一DSP芯片(51)，用于对经过FPGA芯片(30)预处理后的第二视频图像进行图像融合处理的第二DSP芯片(52)，用于对经过FPGA芯片(30)预处理后的第三视频图像进行图像融合处理的第三DSP芯片(53)，用于对经过FPGA芯片(30)预处理的第一视频图像、第二视频图像和第三视频图像以及经过FPGA芯片(30)合成的彩色视频图像进行存储的存储芯片(40)，用于对经过FPGA芯片(30)合成的彩色视频图像进行编码的编码芯片(60)以及用于对经过编码芯片(60)编码的彩色视频图像进行显示的显示器(70)；其中，所述红外相机(11)的输出端与所述第一解码芯片(21)的输入端连接，所述可见光相机(12)的输出端与所述第二解码芯片(22)的输入端连接，所述紫外相机(13)的输出端与所述第三解码芯片(23)的输入端连接，所述第一解码芯片(21)、所述第二解码芯片(22)和所述第三解码芯片(23)的输出端分别与所述FPGA芯片(30)的输入端连接，所述编码芯片(60)的输入端与所述FPGA芯片(30)的输出端连接，所述编码芯片(60)的输出端与所述显示器(70)的输入端连接，所述FPGA芯片(30)与所述存储芯片(40)连接实现双向通信，所述FPGA芯片(30)分别与所述第一DSP芯片(51)、第二DSP芯片(52)和第三DSP芯片(53)连接实现双向通信。

2.如权利要求1所述的实时多源视频图像融合系统，其特征在于：所述实时多源视频图像融合系统中还包括用于存储所述DSP芯片中使用的融合算法的FLASH芯片(80)，所述FLASH芯片(80)与所述FPGA芯片(30)连接实现双向通信。

3.如权利要求1或2所述的实时多源视频图像融合系统，其特征在于：所述实时多源视频图像融合系统中包括两片所述存储芯片，每片所述存储芯片与所述FPGA芯片(30)连接实现双向通信。

4.如权利要求3所述的实时多源视频图像融合系统，其特征在于：每片所述存储芯片为DDRIISDRAM芯片。

5.如权利要求4所述的实时多源视频图像融合系统，其特征在于：所述实时多源视频图像融合系统中还包括用于扩充所述存储芯片容量的CPLD芯片(90)，所述CPLD芯片(90)的输出端与每片所述存储芯片的输入端连接。

6.如权利要求1或2或4或5所述的实时多源视频图像融合系统，其特征在于：所述实时多源视频图像融合系统中还包括PCI接口，所述PCI接口与FPGA芯片(30)连接。