CN106385530B - 一种双光谱摄像机 - Google Patents

Abstract

本发明公开了一种双光谱摄像机，包括红外成像模块，采集监控区域的热成像图像序列；可见光成像模块，采集监控区域的可见光图像序列；图像合成模块，用于在监控区域的热成像图像序列中识别目标区，将同一时刻的目标区的热成像图像序列和可见光图像序列进行数据融合，生成目标区的融合图像序列。由红外成像模块识别监控区域中可疑目标区，使得可见光成像模块实时跟随红外成像模块的识别结果，并与红外成像模块的监控视角保持一致。既能保证目标区域监控细节的清晰度，又能实现实时检测和跟踪。

Description

一种双光谱摄像机

技术领域

本发明涉及摄像机技术领域，具体地说，涉及一种双光谱摄像机。

背景技术

现有技术中的双光谱摄像机中设置独立的红外摄像单元和可见光摄像单元，其中，红外摄像单元和可见光摄像单元中分别采用各自独立的编码芯片进行视频编码，然后通过上位机完成红外图像和可见光图像的融合计算。

这种方案需要使用外置的上位机将两个图像传感器在同一时间获取的关于某个具体场景的图像或者图像序列信息加以综合，把两个图像融合来产生一个新的图像，从而使融合的图像更适应人眼感知或者计算机后续处理。这种系统结构复杂，难以实施，并且由于红外摄像单元和可见光摄像单元分离设置，难以保证热成像数据和可见光数据的同步。

因此，亟需一种能够在摄像机上完成红外图像和可见光图像的融合计算的双光谱摄像机。

发明内容

本发明的目的在于解决现有技术中在摄像机上不能完成红外图像和可见光图像的图像融合的技术缺陷。

本申请提供一种双光谱摄像机，包括：

红外成像模块，采集监控区域的热成像图像序列；

可见光成像模块，采集监控区域的可见光图像序列；

图像合成模块，用于在监控区域的热成像图像序列中识别目标区，将同一时刻的目标区的热成像图像序列和可见光图像序列进行数据融合，生成目标区的融合图像序列。

在一个实施例中，所述红外成像模块包括：

红外成像采集单元，采集监控区域的热成像图像信息；

并串转换单元，将所述热成像图像信息转换为串行的所述热成像图像序列。

在一个实施例中，所述红外成像模块还包括：

重复单元，对串行的所述热成像图像序列进行增强处理。

在一个实施例中，所述红外成像模块还包括：

红外成像驱动单元，根据所述热成像图像信息产生热成像变倍控制信号和热成像聚焦驱动信号；

其中，所述红外成像采集单元在采集热成像图像信息时，根据所述热成像变倍控制信号和热成像聚焦驱动信号分别进行变倍和聚焦操作。

在一个实施例中，所述可见光成像模块包括：

可见光成像采集单元，采集监控区域的可见光图像信息；

可见光成像驱动单元，根据所述可见光成像图像信息产生可见光变倍控制信号和可见光聚焦驱动信号；

其中，可见光成像采集单元在采集可见光图像信息时，根据所述可见光变倍控制信号和可见光聚焦驱动信号分别进行变倍和聚焦操作。

在一个实施例中，所述可见光成像模块还包括用于容纳所述可见光成像采集单元和可见光成像驱动单元的壳体，所述图像合成模块设置所述壳体中。

在一个实施例中，还包括云台模块，接收所述融合图像序列并转发。

在一个实施例中，所述图像合成模块包括：

区域划分单元，在监控区域的热成像图像序列中提取热成像图像特征，基于热成像图像特征在监控区域中识别目标区，确定目标区在监控区域的位置信息；

联动控制单元，基于目标区在监控区域的位置信息生成成像参数控制信号；

其中，所述可见光成像模块根据所述成像参数控制信号调整成像姿态，以跟随红外线成像模块来采集目标区的可见光图像序列。

在一个实施例中，所述图像合成模块还包括：

同步单元，用于产生同步信号；

图像融合单元，基于同步信号在目标区的热成像图像序列和可见光图像序列中分别提取在同一时刻的热成像图像帧和对应的可见光图像帧，对同一时刻的热成像图像帧和对应的可见光图像帧逐帧进行融合，得到目标区的融合图像序列。

在一个实施例中，所述图像合成模块包括：

现场可编程门阵列，将同一时刻的目标区的热成像图像序列和可见光图像序列合并，生成合并图像序列；

图像处理芯片，对所述合并图像序列进行数据融合，生成目标区的融合图像序列。

本申请的实施例由红外成像模块识别监控区域中可疑目标区，使得可见光成像模块实时跟随红外成像模块的识别结果，并与红外成像模块的监控视角保持一致。既能保证目标区域监控细节的清晰度，又能实现实时检测和跟踪。

与现有技术相比，本申请的实施例将图像合成模块设置在可见光摄像单元，可保证红外摄像单元中发热量较小，有利于保持热成像模块的温度稳定性。本实施例中热成像图像数据和可见光图像数据均采用非压缩的数据格式，由图像合成模块完成图像数据的编码、降噪等数据处理，可保证热成像图像数据和可见光图像数据的严格同步，产生最终的融合图像数据。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是实施例一的双光谱摄像机的结构示意图；

图2是实施例一的红外成像采集单元的结构示意图；

图3是实施例一的可见光成像采集单元的结构示意图；

图4是实施例一的红外成像驱动单元的数据处理过程的示意图；

图5是实施例一的图像合成模块的结构示意图；

图6a是实施例一的可见光成像图像的一个示例；

图6b是实施例一的热成像图像的一个示例；

图6c是实施例一的融合图像的一个示例；

图7是实施例二的双光谱摄像机的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

与基于PC机开发的智能视频监控应用相比，本发明实施例的双光谱摄像机能够实现基于主动视觉的运动目标检测、跟踪与图像融合处理，实现视频图像序列的实时处理。本发明的实施例可应用于交通管理、森林防护、客户行为分析和安全监控等多种智能监控场合，能够自动识别监控区域中的目标物体。

本发明实施例中的“双光谱”是指可见光波段和8～14mm长波红外波段。在低光照、恶劣天气等环境条件下，由于红外图像反应的是目标和背景向外界辐射能量的差异，红外摄像机具有观察距离远，观察“全天候”的优点，但是在视频细节上显示不够精细。因此，将可见光图像与红外图像进行融合，可以将可见光的高分辨率的视频细节融入到红外图像中，提高融合图像的视觉效果，及时发现监控画面中的异常情况。

实施例一

本实施例提供一种能够完成图像融合处理的双光谱摄像机，用于对监控区域进行实时监控。如图1所示，双光谱摄像机主要包括红外成像模块110、可见光成像模块120和图像合成模块130。其中，红外成像模块110采集监控区域的热成像图像序列，可见光成像模块120采集可见光图像序列。图像合成模块130与红外成像模块110连接，接收热成像图像序列，进而在监控区域的热成像图像序列中识别目标区；图像合成模块130还与可见光成像模块120连接，接收可见光图像序列，将同一时刻的目标区的热成像图像序列和可见光图像序列进行数据融合，生成目标区的融合图像序列。

其中，本发明实施例中的目标区表示监控区域中可疑目标的活动区域，例如，在高速公路监控系统中违章车辆的活动区域，或者在安防监控系统中非法闯入者的活动区域。

由于红外成像模块110和可见光成像模块120是基于两种成像机理，性能也各有差异。红外成像机制是通过获取监控区域的红外辐射，根据探测目标与背景之间的热辐射差异来识别目标，易于灵敏地发现探测目标。例如，在建筑场景或者高速公路上发现的行人等。但是红外成像模块对场景的亮度变化不敏感，成像清晰度较低，不利于人眼的判别。

而可见光成像模块120只对监控区域的反射光场具有敏感特性，而与监控区域的热对比度无关。因此，可先利用红外成像模块110发现、识别目标，确定目标区所在的准确位置，再利用可见光成像模块120跟随红外成像模块110进行聚焦，获取较高清晰度的图像以提供目标区的细节信息。

以下对红外成像模块110的结构进行说明。如图1所示，红外成像模块110主要包括红外成像采集单元112和并串转换单元114。红外成像采集单元112采集监控区域的热成像图像信息，并串转换单元114与红外成像采集单元112的图像信息输出端口连接，将热成像图像信息转换为串行的热成像图像序列，用于图像融合处理。

在一个优选的示例中，在并串转换单元114和图像合成模块130之间设置重复单元116。重复单元116接收并串转换单元114产生的串行的热成像图像序列，对其进行增强处理，再转发至图像合成模块130。

在一个优选的示例中，红外成像模块110还包括红外成像驱动单元118，其输入端与红外成像采集单元112的图像信息输出端口连接，其输出端与红外成像采集单元112的控制端连接。红外成像驱动单元118根据热成像图像信息产生聚焦驱动信号，在热成像采集单元112采集热成像图像信息时，根据聚焦驱动信号进行聚焦、变倍的操作。

图2为红外成像采集单元112的结构示意图。红外成像采集单元112包括红外成像变倍镜组201、红外成像聚焦镜组202、红外成像探测器203、红外成像变倍电机204和红外成像聚焦电机205。红外成像变倍电机204和红外成像聚焦电机205分别驱动红外成像变倍镜组201和红外成像聚焦镜组202进行变倍、聚焦，获取清晰的红外图像。红外成像探测器203将红外图像的热辐射信号转化为热成像图像信息，输入串转换单元114和红外成像驱动单元118。

图4为红外成像驱动单元118的数据处理过程的示意图。在红外成像的驱动过程的一个示例中，红外成像驱动单元118接收热成像图像信息，从热成像图像信息中统计每一像素点的灰度值，与预设的红外监控阈值比较来识别可疑目标所在的目标区。接下来，红外成像驱动单元118产生热成像变倍控制信号，用于驱动红外成像变倍镜组201进行变倍处理，将目标区放大到合理的显示倍数。红外成像驱动单元118还产生热成像聚焦控制信号，用于驱动红外成像聚焦镜组202寻找在变倍控制参数前提下的最佳清晰度图像。从而在采集红外图像的过程中，通过红外成像驱动单元118实现对红外成像采集单元112的自动控制。

图3为可见光成像采集单元122的结构示意图，其结构与红外成像采集单元112类似。可见光成像采集单元122包括可见光成像变倍镜组301、可见光成像聚焦镜组302、可见光成像探测器303、可见光成像变倍电机304和可见光成像聚焦电机305。可见光成像变倍电机304和可见光成像聚焦电机305分别驱动可见光成像变倍镜组301和可见光成像聚焦镜组302进行变倍、聚焦，获取清晰的可见光图像。可见光成像探测器303将可见光图像的信号转化为可见光成像图像信息，输入图像合并模块130和可见光成像驱动单元128。

其中，可见光成像驱动单元128根据可见光成像图像信息产生可见光变倍控制信号和可见光聚焦驱动信号，可见光成像采集单元122在采集可见光图像信息时，根据所述可见光变倍控制信号和可见光聚焦驱动信号分别进行变倍和聚焦操作。

需要说明的是，本实施例中通过图像合成模块130控制可见光成像模块120与红外线成像模块110进行联动，使得可见光成像模块120跟随红外线成像模块110识别到的目标区设置视场角度，调整到合理的成像姿态，采集目标区更清晰的可见光图像。

以下根据图5对图像合成模块130的结构进行说明。图像合成模块130包括区域划分单元501、联动控制单元502、同步单元503和图像融合单元504。

其中，区域划分单元501接收重复单元116处理的串行的热成像图像序列，在监控区域的热成像图像序列中提取热成像图像特征，基于热成像图像特征在监控区域中识别目标区，确定目标区在监控区域的位置信息。

联动控制单元502与区域划分单元501连接，基于目标区在监控区域的位置信息生成成像参数控制信号，用于调整可见光成像模块120的成像姿态，使得可见光成像模块120与红外线成像模块110观察的场景一致，以跟随红外线成像模块110来采集目标区的可见光图像序列。

具体来说，在联动控制过程中，联动控制单元502将成像参数控制信号转发至可见光成像驱动单元128，可见光成像驱动单元128基于成像参数控制信号中的视角调整信号调整成像姿态，该成像姿态例如可以为可见光成像模块120的俯仰角度，使得目标区的尽量保持在可见光图像的中心位置。进一步地，可见光成像驱动单元128产生的可见光变倍控制信号和可见光聚焦驱动信号，使得目标区在可见光图像中的显示面积尽量保持恒定。

在利用两个成像模块进行图像分析时，一个重要的条件是保证两个成像模块之间的时间同步性。即图像合成模块130处理的两个视频图像是在同一时刻内获取的，反应的是同一场景在同一时刻不同视角下的信息。若对两个成像模块获取的视频图像序列直接逐帧以静态图像融合的方法进行融合处理，需要保证每帧图像的严格时间同步。

为此，图像合成模块130中还设置有同步单元503用于产生同步信号。图像融合单元504基于同步信号在目标区的热成像图像序列和可见光图像序列中分别提取在同一时刻的热成像图像帧和对应的可见光图像帧，对同一时刻的热成像图像帧和对应的可见光图像帧逐帧进行融合，得到目标区的融合图像序列，从而将可见光的高分辨率的视频细节融入到红外图像中，提高融合图像的视觉效果。

图像合成模块130优选为TI的达芬奇平台DM8147，可对热成像图像帧和对应的可见光图像帧进行融合处理生成融合图像数据。具体地，DM8147可消除热成像数据和可见光图像数据中的冗余信息，进行图像特征提取、特征匹配等智能处理。

图6a和图6b分别为可见光成像图像和热成像图像的一个示例。图6b的热成像图像中能够显示出躲藏在暗处的人，但是背景环境的细节信息相对模糊，而图6a的可见光成像图像则能显示清晰的背景环境。图6c为图像合成模块130生成的融合图像，能够发挥可见光与红外线成像的优势，利用可见光图像的细节弥补热成像图像的缺陷。

考虑到双光谱摄像机工作过程中图像合成模块130完成大数据量的图像处理运算，会产生较多的热量，且由于红外成像模块110中的红外成像探测器203对热能非常敏感，可见光成像模块120还设置有用于容纳可见光成像采集单元122和可见光成像驱动单元128的壳体121，并将图像合成模块130设置壳体121中，保证红外成像模块110的热稳定性。

此外，可见光成像模块120中图像数据的时钟频率比红外成像模块110高很多，相对而言，可见光图像数据更不适合传输较远距离。而红外成像模块110分辨率较低，热成像图像数据的时钟频率较低。典型地，目前主流的热成像图像分辨率最大为640*512，像素时钟在20MHZ以内，串行化比特率为280Mbit/s(14bit每像素点)；而可见光图像主要为高清分辨率，以1920*1080分辨率为例，像素时钟74.25MHZ，串行化比特率为891Mbit/s。明显看出可见光图像数据时钟频率较高，不适于传输较远的距离。本实施例将图像合成模块130设置在壳体121中，可利用热成像图像数据适于传输较远距离的优势，有利于两种光谱图像数据传输的可靠性。

需要强调的是，由于热成像模块的热敏感度较高，为避免过多的数据处理，上文中热成像图像数据和可见光图像数据均为非压缩的原始图像数据，这样可以避免由于数据压缩产生的数据信息损失，确保图像处理的准确性。

再次回到图1，本实施例的双光谱摄像机还包括云台模块140。具体来说，云台模块140包括云台机身和转台部分(图1中未示出)。云台模块通过内部连线连接可见光成像模块120，并通过外设甩线连接至远程监控网络。

其中，云台模块140和可见光成像模块120之间的内部连线包括供电线、数据线、音频线和通讯线。云台模块140通过供电线向红外成像模块110和可见光成像模块120提供电源，通过数据线接收融合图像序列并转发至远程监控网络，以及通过音频线接收音频信号，还通过通讯线接收远程监控终端的控制指令。

实施例二

本实施例提供的双光谱摄像机的结构与实施例一基本相同。

如图7所示，区别在于红外成像模块110中的并串转换单元114采用现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)编程实现，将热成像图像信息转换为串行的低压差分信号(Low-Voltage Differential Signaling，简称LVDS)格式的热成像图像序列，重复芯片116采用LVDS重复芯片,可实现LVDS信号的增强处理。

重复芯片116通过LVDS接口线连接图像合成模块130。其中，图像合成模块130包括图像合并子模块131和图像处理芯片132。

图像合并子单元131优选采用FPGA实现，将同一时刻的目标区的热成像图像序列和可见光图像序列合并，生成合并图像序列，其具有两个输入端口。图像合并子模块的第一输入端口与可见光成像模块的数据输出端口连接，以接收可见光图像数据。图像合并子模块的第二输入端口通过LVDS接口线与重复芯片116的输出端连接，以接收增强的LVDS热成像数据信号。图像处理芯片132对合并图像序列进行数据融合，生成目标区的融合图像序列。

本实施例提供一种易于实现的双光谱图像融合方案，采用LVDS双绞线将热成像图像序列从红外成像模块110传输至可见光成像模块120，且图像合成模块130设置在可见光成像模块120的壳体121中。可保证红外成像模块110发热量较小，有利于保持热成像模块的温度稳定性。本实施例中热成像图像数据和可见光图像数据均采用非压缩的数据格式，由图像合成模块130完成图像数据的编码、压缩、降噪等数据处理，可保证热成像图像数据和可见光图像数据的严格同步，产生最终的融合图像数据。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种双光谱摄像机，其特征在于，包括：

红外成像模块，采集监控区域的热成像图像序列，所述热成像图像序列为非压缩的原始热成像图像序列；

可见光成像模块，采集监控区域的可见光图像序列，所述可见光图像序列为非压缩的原始可见光图像序列；

图像合成模块，用于在监控区域的热成像图像序列中识别目标区，将同一时刻的目标区的热成像图像序列和可见光图像序列进行数据融合，生成目标区的融合图像序列；

所述可见光成像模块还包括用于容纳所述可见光成像采集单元和可见光成像驱动单元的壳体，所述图像合成模块设置所述壳体中，所述红外成像模块在所述壳体外，以使所述红外成像模块保持热稳定性；

所述图像合成模块还包括：

同步单元，用于产生同步信号；

图像融合单元，基于同步信号在目标区的热成像图像序列和可见光图像序列中分别提取在同一时刻的热成像图像帧和对应的可见光图像帧，对同一时刻的热成像图像帧和对应的可见光图像帧逐帧进行融合，得到目标区的融合图像序列。

2.根据权利要求1所述的双光谱摄像机，其特征在于，所述红外成像模块包括：

红外成像采集单元，采集监控区域的热成像图像信息；

并串转换单元，将所述热成像图像信息转换为串行的所述热成像图像序列。

3.根据权利要求2所述的双光谱摄像机，其特征在于，所述红外成像模块还包括：

重复单元，对串行的所述热成像图像序列进行增强处理。

4.根据权利要求2所述的双光谱摄像机，其特征在于，所述红外成像模块还包括：

红外成像驱动单元，根据所述热成像图像信息产生热成像变倍控制信号和热成像聚焦驱动信号；

其中，所述红外成像采集单元在采集热成像图像信息时，根据所述热成像变倍控制信号和热成像聚焦驱动信号分别进行变倍和聚焦操作。

5.根据权利要求1所述的双光谱摄像机，其特征在于，所述可见光成像模块包括：

可见光成像采集单元，采集监控区域的可见光图像信息；

可见光成像驱动单元，根据所述可见光成像图像信息产生可见光变倍控制信号和可见光聚焦驱动信号；

其中，可见光成像采集单元在采集可见光图像信息时，根据所述可见光变倍控制信号和可见光聚焦驱动信号分别进行变倍和聚焦操作。

6.根据权利要求1所述的双光谱摄像机，其特征在于，还包括：

云台模块，接收所述融合图像序列并转发。

7.根据权利要求1-6中任一项所述的双光谱摄像机，其特征在于，所述图像合成模块包括：

区域划分单元，在监控区域的热成像图像序列中提取热成像图像特征，基于热成像图像特征在监控区域中识别目标区，确定目标区在监控区域的位置信息；

联动控制单元，基于目标区在监控区域的位置信息生成成像参数控制信号；

其中，所述可见光成像模块根据所述成像参数控制信号调整成像姿态，以跟随红外线成像模块来采集目标区的可见光图像序列。

8.根据权利要求1-6中任一项所述的双光谱摄像机，其特征在于，所述图像合成模块包括：

现场可编程门阵列，将同一时刻的目标区的热成像图像序列和可见光图像序列合并，生成合并图像序列；

图像处理芯片，对所述合并图像序列进行数据融合，生成目标区的融合图像序列。

Images