CN101510007A - 一种红外光图像与可见光图像实时摄取与自适应融合装置 - Google Patents

Abstract

一种红外光图像与可见光图像实时摄取与自适应融合装置，涉及图像的探测和融合。本发明半反半透镜安装在透镜位置调整装置上，半反半透镜和透镜位置调整装置组成分光系统，将目标及其环境光线分解为可见光和红外光；两个带有可见光滤光片和红外光滤光片的CCD分别实时获取目标的可见光图像和红外图像；计算机通过通讯线与图像采集卡相连，照度计探测到的光强度信号通过视频采集卡输入到计算机中，通过机械方式实现可见光图像和红外图像的完全配准，实现红外光图像与可见光图像实时摄取与自适应融合。

Description

一种红外光图像与可见光图像实时摄取与自适应融合装置

技术领域：

本发明涉及一种图像探测和融合的装置，可以实现红外光图像和可见光图像的自适应融合。

背景技术：

目前可见光摄像系统和红外光摄像系统，采用的是各自独立的探测显示记录系统，它们的前端探测器分别是可见光耦合器件(CCD)和红外焦平面探测器。

上述分离式摄像系统的工作流程如下：当可见光摄像系统对目标进行探测时，可见光探测系统对目标进行成像，从而获得可见光图像；当红外光摄像系统对目标进行探测时，红外光探测系统对目标进行成像，从而获得红外图像。计算机实现信号处理，对探测到的可见光图像和红外图像进行融合处理得到双波段信号的融合图像。

由于对同一目标采用的是两个独立的探测装置去采集，因此摄取的目标图像存在两个问题：(1)两个目标图像在位置上和探测角度上必定存在偏差；(2)目前的红外焦平面探测器获得的图像规格主要是120×160和240×320，而CCD的图像尺寸规格至少为640×480。这两个问题为两波段图像融合造成了一定的困难，也对图像的融合质量造成不良影响。另外，在红外图像摄取和红外图像与可见光图像融合时应该考虑可见光强度和以及目标红外图像像素灰度值的影响。

文献“红外与可见光图像融合的小型实时DSP平台实现”(光学技术，2008.34(1)：71-74)。综合利用并实时处理红外与可见光图像的互补优势信息，设计实现了一种新型的TMS320DM642——适合视频和图像处理的高性能定点DSP为核心的嵌入式硬件平台，可编程验证多种双波段图像融合算法。该方法的局限性在于它假设已经通过某种方式获得了已经配准的红外图像和可见光图像，另外图像融合算法没有考虑光照的影响，不具有自适应性。

中国专利CN1546960提出了“红外线热成像图像及可见光图像复合视频实时显控装置”。该发明公开了一种红外线热成像图像及可见光图像复合视频实时显控装置，包括计算机、红外线热像仪、视场角与之匹配的可见光摄像机；在计算机的接口插槽上接有视频扑捉卡，红外线热像仪和可见光摄像机固定在同一个云台上；在计算机内存储有控制、测温、图像处理和显示程序模块，其可遥控云台、红外线热像仪和可见光摄像机，使三者同步转动、后两者视场角匹配，并使热成像图像与可见光图像在计算机显示器上的坐标重合。该专利中体现的是红外线热成像图像及可见光图像复合视频，并非两种图像的自适应融合。

欧洲专利EP1801632(Method and device for visualizing the surroundings of a vehicle byfusing an infrared image and a visible image)运用红外图像和可见光图像的融合装置和方法用于车辆观测周围环境。这是一个适用面有限的发明专利，同时，该专利的可见光图像和红外图像的配准方法较复杂，图像融合算法也没有考虑光照的影响，不具有自适应性。

发明内容：

鉴于上述现有技术的不足，本发明提出了可以解决上述问题的红外光图像与可见光图像实时摄取与自适应融合装置，用半反半透镜从同一摄取目标的反射光线中分别获取其中的红外光与可见光，采用CCD分别获取可见光图像和红外图像，通过机械方式实现可见光图像和红外图像的完全配准。

本发明的具体内容如下：

本发明红外光图像与可见光图像实时摄取与自适应融合装置包括：照度计1，半反半透镜2，透镜位置调整装置3，可见光滤光片4，红外光滤光片9，第一CCD5和第二CCD10，前轨道6和后轨道11，第一存储器7和第二存储器12，第一显示器8和第二显示器13，视频采集卡14，计算机15。

本发明装置半反半透镜2安装在透镜位置调整装置3上，透镜位置调整装置3可调整半反半透镜与入射光的夹角，半反半透镜2和透镜位置调整装置3组成分光系统，将目标及其环境光线分解为可见光和红外光；可见光滤光片4安装在第一CCD5的镜头前，第一CCD5位于半反半透镜2的反射光区域，并置于前轨道6之上，红外光滤光片9安装在第二CCD10的镜头前，第二CCD10位于半反半透镜2的透光区域，并置于后轨道11之上，两个带有可见光滤光片4和红外光滤光片9的CCD分别实时获取目标的可见光图像和红外图像；在第一CCD5和第二CCD10的另一端，前轨道6位于分光系统的反射区，后轨道11位于分光系统的透射区，前轨道6和后轨道11相互垂直，前轨道6和后轨道11的中心点距透镜位置调整装置2的中心点的距离为30-40mm；计算机15通过通讯线与图像采集卡相连，照度计1探测到的光强度信号通过视频采集卡14输入到计算机中。

所述第一CCD5接受透过可见光滤光片4的可见光，通过串口将第一CCD5与第一存储器7相连接，并将其以数码形式存储在第一存储器7中，第一显示器8与第一CCD5采用并口连接，用以实时显示可见光图像。

所述第二CCD10接受透过红外光滤光片9的红外光，通过串口将第二CCD10与第二存储器12相连接，并将其以数码形式存储在第二存储器12中，第二显示器13与第二CCD10采用并口连接，用以实时显示红外光图像。

所述前轨道6和后轨道11的轨道长度都为40-50mm。

上述装置实现红外光图像与可见光图像实时摄取与自适应融合的过程如下：

半反半透镜2和透镜位置调整装置3组成分光系统，将目标的反射光线分解为可见光和红外光。目标的反射光线首先照射到照度计1和半反半透镜2上。在安装照度计1时，使照度计1能够接受到目标的反射光线，但不遮挡照到半反半透镜2上的目标反射光线，半反半透镜2反射可见光、透射红外光。可见光滤光片4安装在第一CCD5的镜头前，第一CCD5接收半反半透镜反射并经可见光滤光片4过滤的可见光，形成可见光图像。第二CCD10接收半反半透镜透射并经红外光滤光片9过滤的红外光，形成红外图像。前轨道6用于固定第一CCD5，调整第一CCD5的高度和前后位置，调整第一CCD5与半反半透镜2的反射光的夹角。后轨道11用于固定第二CCD10，调整第二CCD10的高度和前后位置，调整第二CCD10与半反半透镜2的透射光的夹角。分光系统和前轨道6，后轨道11从机械上保证了第一CCD5中形成的可见光图像和第二CCD10中形成的红外光图像是像素级完全匹配的。第一存储器7在第一CCD5的侧面；第二存储器12在第二CCD10的侧面。第一显示器8和第二显示器13并排安装在第一CCD5的一侧。图像采集卡14安装在第一显示器8和第二显示器13的下方，从而形成一个合理紧凑的排列格局。计算机通过通讯线与视频采集卡相连。照度计1探测到的光强度信号通过视频采集卡14输入到计算机中。视频采集卡14的作用是将第一CCD5和第二CCD10采集的可见光图像数据、红外图像数据和可见光照度值转换成计算机能接受和处理的数据信息，同时提供控制摄像机的参数。

将照度计1采集到的可见光照度值、第一存储器7中的可见光图像数据以及第二存储器12中的红外光图像数据同时通过视频采集卡14送入到计算机15中，在计算机15中进行可见光与红外光的融合处理。

本发明的优点是：(1)能够获得高度匹配的红外光图像与可见光图像，可以省去软件校准的步骤；(2)能够同时获取物体的可见光图像与红外光图像，具有实时性；(3)基于照度计的融合算法可以根据现场的可见光光照强度自动调节可见光图像与红外图像的融合比。即可见光光照强的时候降低融合图像中可见光的比例；可见光光照弱的时候增大融合图像中可见光的比例，能够得到较高质量的融合图像；(4)CCD调节结构简单方便，系统便于携带。

附图说明：

图1为红外与可见光光谱图像融合系统硬件结构。

图2为系统信息传递示意图。

具体实施方式：

参见图1：是本发明的红外光图像与可见光图像实时摄取与自适应融合装置结构示意图。目标及其环境光线首先照射到照度计1和半反半透镜2上。半反半透镜2的大小为100×100mm，厚度1.1mm。半反半透镜2安装在透镜位置调整装置3上组成分光系统。半反半透镜2反射可见光、透射红外光。可见光滤光片4安装在第一CCD5的镜头上，第一CCD5位于半反半透镜2的反射光区域，并置于前轨道6之上。第一CCD5接收半反半透镜反射并经可见光滤光片4过滤的可见光，形成可见光图像。红外光滤光片9安装在第二CCD10的镜头上，第二CCD10位于半反半透镜2的透光区域，并置于后轨道11之上。第二CCD10接收半反半透镜透射并经红外光滤光片9过滤的红外光，形成红外图像。分光系统和前轨道6，后轨道11从机械上保证了第一CCD5中形成的可见光图像和第二CCD10中形成的红外光图像是像素级完全匹配的。第一存储器7和第二存储器12分别存储可见光图像数据和红外光图像数据。第一显示器8和第二显示器13分别显示可见光图像和红外光图像。计算机15通过通讯线与图像采集卡14相连，接受照度计探测1探测到的光强度信号以及可见光图像数据和红外光图像数据，并完成图像的后端处理。

参见图2，是本发明的系统信息传递示意图。

目标物体的反射光中，波长小于690mn的可见光部分被半反半透镜2反射，到达可见光滤光片4。可见光滤光片4将外界的红外光过滤掉，从而使第一CCD5接收到较纯净的可见光。目标物体的反射光中，波长大于690mn的一小部分可见光及全部的红外光透射过半反半透镜2到达红外光滤光片9。红外滤光片9过滤掉其中的可见光，从而使第二CCD10接收到纯净的红外光。第一CCD5与第二CCD10将接受到的图像信号分别存入第一存储器7和第二存储器12。第一显示器8和第二显示器13分别显示第一存储器7和第二存储器12中的图片，同时视频采集卡14采集第一存储器7和第二存储器12中的图像信号并将其送入计算机15中进行处理。

以电烙铁的尖端高热部分为例，说明本发明的具体操作方式。

首先前期进行硬件部分的光学校准：使用前轨道6同时调整可见光滤光片4和第一CCD5的几何空间位置和角度。使用后轨道11同时调整红外光滤光片9和第二CCD10的几何空间位置和角度。半反半透镜2和透镜位置调整装置3共同组成一个分光装置，通过调整透镜位置调整装置3可以使半反半透镜2与入射光保持适当的角度。这个分光装置和前轨道6、后轨道11共同从硬件上保证所形成可见光图像和红外图像的完全匹配。

然后，将已加热的电烙铁的尖端放在本系统的取景窗前，此时本系统通过事先已校准完毕的分光系统，通过视频采集卡14将第一存储器7和第二存储器12得到的该物体的可将光图像和红外光图像传输给计算机15。同时此时照度计1也得到了当时环境的一个照度值，并输入到计算机中。

随后，计算机15根据指定的方法确定融合参数，包括：①人工给定融合度参数确定；②基于照度计的自适应融合参数确定；③基于红外图像的融合度融合参数确定；④基于照度计和红外图像的自适应变融合度融合参数确定。其中人工给定融合度参数是根据人为给定的可见光图像像素灰度值与红外光图像像素灰度值的比例；基于照度计的自适应融合参数是根据照度值的大小自动调定两种图像的融合参数；基于红外图像的融合度融合参数是根据形成的红外图像的各像素点的灰度值确定可见光图像和红外光图像对应像素的融合度参数；基于照度计和红外图像的自适应变融合度融合参数是同时根据照度值和红外光图像像素灰度值，来确定可见光图像和红外光图像对应像素的融合度参数。

最终，计算机内的融合程序通过用户指定的融合方式进行图像融合(该融合方式包括全局融合方式和特定区域融合方式两种)，并输出图像融合结果。如电烙铁尖端高热部分的红外图像和可见光图像，根据融合图像的不同用途和不同环境可以选择最佳融合方式。如要重点测量电烙铁尖端高温部分的温度分布情况和电烙铁所处的环境情况，可采用特定区域(电烙铁尖端高温部分)融合方式，即将红外图像中的电烙铁尖端高温部分这一特定区域和可见光图像的对应区域进行融合，该特定区域以外的区域仅采用可见光图像，则融合图像即可清晰显现电烙铁尖端高温部分的温度分布情况，又可以清楚显现电烙铁的周围环境。

实施例中，照度计1采用的是泰仕电子工业股份有限公司生产的TES1336A照度计；半反半透镜2采用的是从北京金吉奥梦科技有限公司定做的规格为100×100×1.1mm的镀膜半反半透镜，波长大于690nm的光能够通过半反半透镜2，其余波长的光被半反半透镜2反射；透镜位置调整装置3采用的是通用光学物理实验器件——二维干板架；可见光滤光片4采用的是索尼公司的F717相机专用的CCD前端的滤光片；红外光滤光片9采用的是F717相机镜头专用的红外滤光镜，可以过滤掉波长低于800nm的可见光；前轨道6包含第一CCD5的纵向调节滑轨及竖直调节部件；后轨道11包含第二CCD10纵向调节滑轨及竖直调节部件；第一CCD5和第二CCD10采用Sony公司的P22V0，2/3英寸CCD，其有效像素为640×480。第一存储器7和第二存储器12采用的是存储容量大于等于256K的普通存储器；液晶第一显示器8和第二显示器13采用的是CASIO的2英寸的液晶屏；图像采集卡14具有外触发模式，采用的是天敏公司的数字图像采集卡天敏SDK2500；计算机15采用的是最低配置为CPU奔腾III，内存512MB以上的普通笔记本。

在进行图像融合时考虑环境光照强度的影响，引入照度计来测量环境的光照强度，将所得照度数值反应到融合算法中。在融合算法中取环境光照强度Q(该数值从照度计中获得)的对数值作为光照的照度标准值并加入照度系数K，分别生成可见光像素比例系数A和红外光像素比例系数B，用于将可见光图像和红外光图像进行融合。具体地，融合算法可表示为Z(i，j)＝AgX(i，j)+BgY(i，j)，其中X(i，j)为可见光灰度值；Y(i，j)为对应的红外光灰度值；Z(i，j)为融合后图像该点灰度值； $A=\frac{K}{\mathrm{lgQ}}$ 表示可见光像素比例系数； $B=(1-\frac{K}{\mathrm{lgQ}})$ 表示红外光像素比例系数；Q表示环境光照强度，该数值从照度计中获得；K为一常数。经过融合算法计算后所得到的该点灰度值Z(i，j)即为考虑了环境光照强度的融合值。采用该算法进行图像融合能够在一定程度上减小环境光照强度对融合图像效果的影响。

Claims (4)

1、一种红外光图像与可见光图像实时摄取与自适应融合装置，其特征在于，半反半透镜(2)安装在透镜位置调整装置(3)上，半反半透镜(2)和透镜位置调整装置(3)组成分光系统，将目标及其环境光线分解为可见光和红外光；可见光滤光片(4)安装在第一CCD(5)的镜头前，第一CCD(5)位于半反半透镜(2)的反射光区域，并置于前轨道(6)之上，红外光滤光片(9)安装在第二CCD(10)的镜头前，第二CCD(10)位于半反半透镜(2)的透光区域，并置于后轨道(11)之上，两个带有可见光滤光片(4)和红外光滤光片(9)的CCD分别实时获取目标的可见光图像和红外图像；前轨道(6)位于分光系统的反射区，后轨道(11)位于分光系统的透射区，前轨道(6)和后轨道(11)相互垂直，前轨道(6)和后轨道(11)的中心点距透镜位置调整装置(2)的中心点的距离为30-40mm；计算机(15)通过通讯线与视频采集卡(14)相连，照度计(1)探测到的光强度信号通过视频采集卡(14)输入到计算机中。

2、如权利要求1所述的红外光图像与可见光图像实时摄取与自适应融合装置，其特征在于，所述第一CCD(5)接受透过可见光滤光片(4)的可见光，通过串口将可见光的第一CCD(5)与第一存储器(7)相连接，第一显示器(8)与第一CCD(5)采用并口连接，用以实时显示可见光图像。

3、如权利要求1所述的红外光图像与可见光图像实时摄取与自适应融合装置，其特征在于，所述第二CCD(10)接受透过红外光滤光片(9)的红外光，通过串口将第二CCD(10)与第二存储器(12)相连接，第二显示器(13)与第二CCD(10)采用并口连接，用以实时显示红外光图像。

4、如权利要求1所述的红外光图像与可见光图像实时摄取与自适应融合装置，其特征在于，所述前轨道(6)和后轨道(11)的轨道长度都为40-50mm。

Images