CN103024281A - 红外与可见光视频融合系统 - Google Patents

Abstract

本发明是关于一种视频融合系统，提出一种电脑串口控制云台的通信协议以及一种新的红外与可见光视频融合处理方法。分为云台控制部分，摄像头视频采集部分，视频融合部分，融合显示部分。采用vc++编写控制和显示界面，在视频图像的处理方面引入了opencv库，将最后的融合结果显示出来。云台的控制包括上下左右转动还有转速的控制，摄像头采集部分分为红外热像仪和可见光摄像头，分别采集两种视频信息，同时还可以通过控制界面控制摄像头的变焦等。采用一种新的可见光与红外图像配准方法，简单快速，增强了系统的实时性。由于红外图像和可见光图像具有良好的互补性，使得本发明具有很高的实用性，融合效果良好，应用广泛。

Description

红外与可见光视频融合系统

技术领域

本发明是一种视频融合系统，涉及图像处理领域，视频处理领域还有自动控制领域。具体涉及一种红外与可见光视频融合的方法和系统。

背景技术

不同传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以致于很难甚至无法独立获得对一幅场景的全面描述。为了满足实际中的需要，充分利用多传感器的图像信息，各种图像融合技术快速发展起来。视频融合是一种以图像融合为基础的技术，将不同传感器捕获的视频帧，对同一时段的同一背景图像采用图像融合的方式进行融合，并最终将融合后的图像帧以视频的形式读出，即为视频融合的过程。

可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不佳时的见光图像的对比度较低；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。单独使用可见光或红外图像均存在不足之处，当目标本身各部位温度变化较大或者背景热辐射特性较弱时，红外图像包含的目标或背景的细节信息较少，而可见光图像则可含丰富的细节信息；然而，在光线较暗或有少量烟、云、雾环境中，可见光图像质量较差，红外图像中的目标却依然清晰可辨。可见光图像和红外图像的融合就可以适应昼夜光线变换较大的情况，并具备一定的穿透能力，从而有效地综合和发掘各自的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。

图像融合作为一种综合处理多传感器图像数据的有效技术途径日益引起人们的重视，其应用范围已遍及军事、遥感、医学、安全监控等领域。视频融合也能在以上领域大有作为，视频的动态显示给人更直观的感觉，并能快速方便的发现背景中目标的变化，比静态图像显示的信息要丰富的多，因此也更具有优势。

视频融合以图像融合为基础，将摄像头采集的图像帧采取逐帧融合的方式进行融合，在各个领域有着广泛的应用，具有很高的实用价值和研究意义。目前的视频融合方法中存在计算效率低、实时性较差等问题。

发明内容

本发明提出一种视频融合的方法和装置，可以很方便的实现可见光与热图像视频的融合。提出一种电脑串口直接控制云台和摄像头转的技术方案，解决现有视频融合系统需要采集卡软件控制的弊端。整套装置不需要采集卡，采用电脑直接控制融合过程。本发明充分利用电脑的计算和显示能力，与同类发明相比尽可能减少了装置的数目和提高了融合及显示的速度。

本发明给出了一种具体的可见光与热图像视频融合方法。其特征在于直接将红外与可见光摄像头的输出连接电脑，减少中间环节，通过电脑的快速处理，加快了视频融合和输出显示的时间。将两个摄像头垂直固定在云台的同一位置上，采用有usb接口的摄像头，通过usb接口将两路视频直接输入电脑，云台控制的方式采用电脑串口输出数据控制，结构简单，实现方便。

云台采用有特制解码器的云台，通过电脑的串口，将控制信息传送给解码器，解码器解析控制信息，控制云台转动或者摄像头变焦。规定一种新的电脑与云台的通信协议。

系统控制界面采用vc++6.0编写，云台的运动控制及摄像头的变焦分别通过云台控制界面上的按钮来控制。很方便的实现云台的向上、向下、向左、向右控制及摄像头的变焦。规定一种电脑和云台的通信协议，其特征在于电脑对云台的直接串口控制过程中所采用的数据帧格式包括：帧头、标识码、控制字段、和校验码四个字段，其中帧头用于标记信息的开始：

标识码用于表示数据帧的类型，包括0x01H、0x02H两个值，当标识码为0x01H时表示云台转动控制，当标识码为0x02H时表示摄像头的聚焦控制；

控制字段用于表示不同标识码下对应的数据内容:当标识码为0x01H时，控制码为云台的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分别表示云台向上、向下、向左、向右和停止。当标识码为0x02H时，控制字段对应的是摄像头控制信息。

本发明给出了详细的数据帧格式，具体的控制在物理层上看就是电脑向云台发送相应的数据帧，然后云台做出响应动作。帧头、标识码、控制字段、和校验码都为一个字节。

红外和可见光摄像头的图像输入和显示均由opencv编写的代码进行控制，在vc++中安装和配置opencv工具，写代码的时候就可以轻松调用opencv的库函数来处理采集的图像帧。可以用代码来控制采集的视频帧的速率，摄像头的显示等。

整个系统的视频融合处理步骤为：

S1.同时采集一帧红外和可见光视频图像

S2.计算图像配准参数

S3.对输入的视频帧采用S2的配准参数进行逐帧配准，逐帧融合，对融合后的视频帧进行保存

S4.将保存的融合图像帧以动态视频的方式在显示界面中显出出来。

在本发明中，图像的配准对视频的融合效果起着重要的作用，本发明采用一种进行图像预处理、图像增强、特征点提取与匹配、采用仿射模型计算配准参数的方法求解配准参数的方法。具有很高的配准精度，充分消除由于噪声和配准精度对融合效果带来的影响。

S2具体步骤为：

S20.对采集到的两帧图像分别进行预处理，对红外图像进行二维傅立叶变化，再进行高斯高通滤波，增强红外图像的高频部分，突出图像中的目标，对见光图像先进行小波去噪，滤去可见光摄像头产生的随机噪声，再进行直方图增强，增强图像的背景信息。

S21.采用一种特征点标记的算法，标记增强后的红外和可见光图像的特征点，并进行特征点匹配。在经过S20后的红外和可见光图像中选择特别突出的特征点进行手动标记，电脑记录下可见光标记点在图像平面中特征点的坐标A0(x0，y0)，通过一定的模型计算出标记点在实体空间中的坐标A1(x1,y1,z1)；电脑同时记录下红外热图像在平面中特征点的坐标B0(x0’,y0’)，通过一定的模型计算出标记点在实体空间中的坐标B1(x1’,y1’,z1’)；设选定A1，寻址B1，若出现有一点B1使 $S_{\min }=|B1-A1|=\sqrt{{({x1}^{\′}-x1)}^2-{({y1}^{\′}-x1)}^{\text{2}}\text{-}{({z1}^{\′}-x1)}^2}\≤a+\mathrm{\λ},$ a为两摄像头镜头中心点的距离，λ为可变调节阈值，则认定此B1点与相应的A1点匹配，记录下保存此两点的平面坐标B0、A0作为一组匹配点；

S22.通过匹配成功的特征点，在仿射模型下求出图像配准的参数。

本发明中红外和可见光摄像头同轴固定在云台的垂直位置上，减少了配准的难度，步骤S2计算出的配准参数可以作为摄像头在某一位置本系统在图像帧融合过程中的一固定参数。当云台有转动时，重新通过步骤S2计算新的配准参数。

本发明采用一种用visual c++编写的融合控制界面对话框来控制融合的过程，包括融合开始的时间，融合图像保存的位置，融合图像每秒融合的帧数，融合方法的选择。其中融合方法包括，基于小波变换的图像融合，基于NSCT的图像融合。

本发明的融合控制系统是一种开放式的系统，可以拓展加入新的融合方法。

本发明在visual c++编程中引入opencv工具箱来联合编程，可以将对摄像头的读取过程简单化，提高整体的实现效果。充分发挥opencv的图像处理能力，在图像预处理和图像配准是实现快速运算，提高系统的实时性。

本发明编写的电脑制界面可以选择图像融合的方式，同时软件有默认的融合方式。点击按钮，视频融合开始，选择融合视频帧保存的位置，视频帧采用逐帧融合的方式，同时融合的结果将在融合控制界面中实时输出。

附图说明

本发明的附图说明如下：

图1是本发明的系统结构示意图；

图2是本发明红外与可见光视频帧的配准过程；

图3是本发明的红外与可见光视频融合处理流程；

图4是电脑串口与特制解码器的通信协议帧格式。

具体实施方式

下面祥述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

如图1所示系统包含两种摄像头，分别为红外热像仪和可见光摄像头，并通过usb接口直接与电脑相连。云台通过串口与电脑相连，电脑发送数据帧，实现云台的运动控制和摄像头的变焦。

本发明采用一种特制的云台解码器，接收电脑串口的信息后发送指令给云台，驱动云台电机的转动，或者将解码的指令发送摄像机，控制摄像机的变焦。

规定一种电脑串口与云台特制解码器的通信协议，其特征在于电脑对云台的直接串口控制过程中所采用的数据帧格式包括：帧头、标识码、控制字段、和校验码四个字段，其中帧头用于标记信息的开始：

标识码用于表示数据帧的类型，包括0x01H、0x02H两个值，当标识码为0x01H时表示云台转动控制，当标识码为0x02H时表示摄像头的聚焦控制；

控制字段用于表示不同标识码下对应的数据内容:当标识码为0x01H时，控制码为云台的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分别表示云台向上、向下、向左、向右和停止；当标识码为0x02H时，控制字段对应的是摄像头控制信息；帧头、标识码、控制字段、和校验码都为一个字节；

本协议的通信过程是单向的，即由电脑发送信息云台解码器接收，云台解码器无返回信息。

整个系统的视频融合处理步骤为：

S1.同时采集一帧红外和可见光视频图像

S2.计算图像配准参数

S3.对输入的视频帧采用S2的配准参数进行逐帧配准，逐帧融合，对融合后的视频帧进行保存

S4.将保存的融合图像帧以动态视频的方式在显示界面中显出出来。

在本发明中，图像的配准对视频的融合效果起着重要的作用，本发明采用一种进行图像预处理、图像增强、特征点提取与匹配、采用仿射模型计算配准参数的方法求解配准参数的方法。具有很高的配准精度，充分消除由于噪声和配准精度对融合效果带来的影响。

S2具体步骤为：

S20.对采集到的两帧图像分别进行预处理，对红外图像进行二维傅立叶变化，再进行高斯高通滤波，增强红外图像的高频部分，突出图像中的目标，对见光图像先进行小波去噪，滤去可见光摄像头产生的随机噪声，再进行直方图增强，增强图像的背景信息。

S21.采用一种特征点标记的算法，标记增强后的红外和可见光图像的特征点，并进行特征点匹配。在经过S20后的红外和可见光图像中选择特别突出的特征点进行手动标记，电脑记录下可见光标记点在图像平面中特征点的坐标A0(x0,y0)，通过一定的模型计算出标记点在实体空间中的坐标A1(x1,y1,z1)；电脑同时记录下红外热图像在平面中特征点的坐标B0(x0’,y0’)，通过一定的模型计算出标记点在实体空间中的坐标B1(x1’,y1’,z1’)；设选定A1，寻址B1，若出现有一点B1使 $S_{\min }=|B1-A1|=\sqrt{{({x1}^{\′}-x1)}^2-{({y1}^{\′}-x1)}^{\text{2}}\text{-}{({z1}^{\′}-x1)}^2}\≤a+\mathrm{\λ},$ a为两摄像头镜头中心点的距离，λ为可变调节阈值，则认定此B1点与相应的A1点匹配，记录下保存此两点的平面坐标B0、A0作为一组匹配点；

S22.通过匹配成功的特征点，在仿射模型下求出图像配准的参数。

本发明中红外和可见光摄像头同轴固定在云台的垂直位置上，减少了配准的难度，步骤S2计算出的配准参数可以作为摄像头在某一位置本系统在图像帧融合过程中的一固定参数。当云台有转动时，重新通过步骤S2计算新的配准参数。

在本发明的第一实施例中，该红外成像传感器采用北京欧万电子科技有限公司生产的PI400在线红外热像仪，支持USB2.0接口，它具有每秒响应80帧的速率，高热灵敏度，体积小，重量轻等优点，可远程实时监控，附有功能强大的pc软件开发包。

可见光成像传感器采用深圳市欣创腾电子有限公司生产的AC815摄像头，它是一种具有近红外CCD成像特性的高性能可见光成像传感器，摄像头支持USB2.0接口，硬件像素300万，最大帧数30帧/s，支持各种分辨率，可手动调节亮度、对比度、饱和度、清晰度和伽玛值。可见光传感器配备一个电动镜头，电动镜头的控制器通过RS232串行接口与解码器连接，通过该解码器输出可对该电动镜头进行缩放、变焦和光圈控制。

本发明的云台采用普天视公司生产的普天视301型云台。云台选用永久型重载磁同步电机，具有云台停保护功能，抗强风，装有高性能长寿命进口组件变速箱、金属齿轮，水平自动限位调节，铝合金材料模压铸造成型。旋转角度：水平最大350度，垂直最大正负60度。满足全方位的视角要求。

系统的控制界面采用vc++6.0编写，云台的运动控制及摄像头的变焦分别通过云台控制界面上的按钮来控制。很方便的实现云台的向上、向下、向左、向右控制及摄像头的变焦。规定一种电脑与云台的通信协议，给出了详细的数据帧格式，具体的控制在物理层上看就是电脑向云台发送相应的数据帧，然后云台做出响应动作。

在visual c++编程中引入opencv工具箱来联合编程，可以将对摄像头的读取过程简单化，提高整体的实现效果。充分发挥opencv的图像处理能力，在图像预处理和图像配准是实现快速运算，提高系统的实时性。

采用一种用visual c++编写的融合控制界面对话框来控制融合的过程，包括融合开始的时间，融合图像保存的位置，融合图像每秒融合的帧数，融合方法的选择。其中融合方法包括，基于小波变换的图像融合，基于NSCT的图像融合。

如图1所示可见光摄像头和红外热像仪分别采集图像帧，在进行预处理后进行配准，计算出配准的参数，并保存配准参数，之后每帧图像融合前都采用此参数进行配准，若摄像头有位置的变动，则要重新配置一次；选择融合算法，点击融合控制界面中的融合按钮，开始融合，保存融合后的图像序列到指定位置。对配准后的图像采取逐帧融合的方式，一边保存融合后的图像帧，一般读出视频帧。。

图像融合的控制过程同样通过软件的控制界面来控制，可以选择融合的帧率，融合的算法，还可以选择测试融合图像的客观评价指数。

本发明提出一种新的云台控制方法，规定出一种电脑串口和云台解码器的通信控制协议，操作简单，易于实现，有着很好的推广和应用前景。提出一种新的红外与可见光视频图像融合处理方法，满足一般视频融合的实时性要求，在遥感，远程监控，自动控制等领域有很高的实用价值。

尽管已经示出和描述了本发明的实施例，但本发明并不局限于前述的具体实施方式，在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (11)

1.一种红外与可见光视频融合系统，其特征在于包括特制解码器的云台（1），可见光视频图像采集模块（2），红外热像仪（3），电脑pc（4）；还包括：规定一种电脑串口和云台特制解码器的通信协议，采用一种新的红外与可见光视频融合处理流程。

2.权利要求1所述电脑串口与云台特制解码器的通信协议，其特征在于电脑对云台的直接串口控制过程中所采用的数据帧格式包括：帧头、标识码、控制字段、和校验码四个字段，其中帧头用于标记信息的开始：

标识码用于表示数据帧的类型，包括0x01H、0x02H两个值，当标识码为0x01H时表示云台转动控制，当标识码为0x02H时表示摄像头的聚焦控制；

控制字段用于表示不同标识码下对应的数据内容:当标识码为0x01H时，控制码为云台的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分别表示云台向上、向下、向左、向右和停止；当标识码为0x02H时，控制字段对应的是摄像头控制信息；帧头、标识码、控制字段、和校验码都为一个字节；

本协议的通信过程是单向的，即由电脑发送信息云台解码器接收，云台解码器无返回信息。

3.权利要求书1所述的一种新的红外与可见光视频融合处理流程，其特征在于：

S1、对图像进行预处理，计算配准参数；

S2、在控制软件界面中选择融合的算法；

S3、采用逐帧融合的方式进行视频帧图像融合，融合的图像保存在指定位置；

S4、融合后的图像一边保存，同时在pc的融合控制界面中显示。

4.权利要求3中S1的具体步骤为：

S10、通过两种摄像头分别采集一张可见光和红外热图像；

S11、对采集到的两帧图像分别进行预处理，对红外图像进行二维傅立叶变化，再进行高斯高通滤波，增强红外图像的高频部分，突出图像中的目标，对见光图像先进行小波去噪，滤去可见光摄像头产生的随机噪声，再进行直方图增强，增强图像的背景信息。

S12、采用一种特征点标记的算法，标记增强后的红外和可见光图像的特征点，并进行特征点匹配。在经过S20后的红外和可见光图像中选择特别突出的特征点进行手动标记，电脑记录下可见光标记点在图像平面中特征点的坐标A0(x0，y0)，通过一定的模型计算出标记点在实体空间中的坐标A1(x1,y1,z1)；电脑同时记录下红外热图像在平面中特征点的坐标B0(x0’,y0’)，通过一定的模型计算出标记点在实体空间中的坐标B1(x1’,y1’,z1’)；设选定A1，寻址B1，若出现有一点B1使 $S_{\min }=|B1-A1|=\sqrt{{({x1}^{\′}-x1)}^2-{({y1}^{\′}-x1)}^2-{({z1}^{\′}-x1)}^2}\≤a+\mathrm{\λ},$ a为两摄像头镜头中心点的距离，λ为可变调节阈值，则认定此B1点与相应的A1点匹配，记录下保存此两点的平面坐标B0、A0作为一组匹配点；

S13、通过匹配成功的特征点，在仿射模型下求出图像配准的参数。

5.权利要求3所述S2其特征在于可以在pc的融合控制软件中选择融合算法，包括小波分析的算法、非下采样contourlet变换算法。

6.权利要求1所述pc（4）上包含云台的控制界面，其特征在于在软件界面中有云台向上，云台向下，云台向左，云台向右，云台停止，转速增加，转速减小控制按钮，通过软件直接给特制的云台解码器发送数据，控制云台的上下左右转动和转动速度。

7.权利要求1所述可见光摄像头（2）与红外热像仪（3）分别采带usb接口的（如果没有usb口可以转接成usb口）设备，其特征在于直接连接上电脑的端口，减少中间环节。

8.权利要求1中电脑的控制界面含有摄像头的控制部分，其特征在于控制界面中用进度条的方式，采用鼠标拖动，控制红外热像仪和可见光摄像头的镜头大小。

9.权利要求1中红外热像仪（3）和可见光摄像头（2）垂直连接放置在云台（1）上，其特征在于固定红外热像仪和可见光摄像头的相距距离，且红外热像仪和可见光摄像头的连线正90度垂直于地面。

10.权利要求1中pc编写的融合控制界面，其特征在于具有设置融合前采集的热图像和可见光图像是同一尺寸的功能，这样降低了配准的难度。

11.权利要求3所述S4，其特征在于电脑将融合的图片保存在指定位置，同时用视频方式在融合控制界面中显示出来。

Images