CN108174163A

CN108174163A - 一种基于红外热成像光电技术的360度全景广域安防系统

Info

Publication number: CN108174163A
Application number: CN201810030842.XA
Authority: CN
Inventors: 张乐庆
Original assignee: Shanghai Culvert Electronic Technology Co Ltd
Current assignee: Shanghai Culvert Electronic Technology Co Ltd
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2018-06-15

Abstract

本发明公开了一种基于红外热成像光电技术的360度全景广域安防系统，具体实施步骤如下：步骤一：采用全景融合算法实现了在一台设备上实现对最远半径达到数公里周围环境进行360度同时探测和确定目标；步骤二：对于融合的全景图像采用了视频稳像技术进行了处理；步骤三：对于在整体视频中探测到的移动目标进行了多移动目标跟踪的处理；步骤四：根据设备在安装点现场位置可以随时调用电子地图引擎，载入以安装点为参考坐标的动态瓦片电子地图。本发明不仅仅可以满足广域地面安防要求，同时也在一定程度上适合探测、定位和跟踪低空无人机，从而满足三维立体安防的需要。

Description

一种基于红外热成像光电技术的360度全景广域安防系统

技术领域

本发明涉及安防领域，具体是一种将红外热成像光电技术结合全景融合软件算法形成的综合安防系统。

背景技术

当前红外热成像光电技术已经成为安防领域的重要技术手段之一，主要应用在需要全天候远距离进行安防探测的环境下，如边海防、机场、油田、电厂和核电站等需要高等级安保需求的重要场所和行业中。但是由于红外热成像设备本身价格昂贵，如何尽可能以较低的成本来全面满足重要场所的高等级安保要求是当前行业用户需要面对的一个重要挑战。目前在国内红外热成像安防系统存在着以下技术和应用上的问题：

传统的红外热成像光电产品无法同时兼顾远距离探测和大角度覆盖的双重任务。

传统的红外热成像光电系统基本上是采用固定方向和探测角度的枪机安装，或者是将红外光电机芯+变焦镜头安装在可以旋转的云台上来实现摄像机的转动和变焦。这两种方式由于受镜头即时视场角和云台转动角度的限制，实时的探测角度非常有限，即无法做到在观测远处目标的时候又能够同时探测近处和周围环境。因此，为了尽可能无死角覆盖广域空旷的环境，往往需要安装数量众多的昂贵的红外光电探测设备。

数量众多的传统监控设备无法实现对于广域环境下整体区域的多目标的连续设防和对于多个移动目标的连续跟踪，因此也无助于帮助安保人员了解现场环境的整体安保状态。

当一个广域区域中部署了几十台甚至数百台传统监控设备时，安保人员能够得到的只是碎片化的信息，无法实时准确掌握当前区域的整体安保状态。而一台能够360度全景覆盖半径数公里区域的红外光电设备结合卫星地图等信息就可以准确提供所覆盖的广域区域的全局安全态势信息，以便安保人员及时做出准确的判断和决策。

发明内容

本发明的目的在于提供一种基于红外热成像光电技术的360度全景广域安防系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于红外热成像光电技术的360度全景广域安防系统，具体实施步骤如下：

步骤一：采用全景融合算法实现了在一台设备上实现对最远半径达到数公里周围环境进行360度同时探测和确定目标；

步骤二：对于融合的全景图像采用了视频稳像技术进行了处理；

步骤三：对于在整体视频中探测到的移动目标进行了多移动目标跟踪的处理；

步骤四：根据设备在安装点现场位置可以随时调用电子地图引擎，载入以安装点为参考坐标的动态瓦片电子地图。

作为本发明进一步的方案：系统以一套全景红外光电系统为基本单元，将各个基本单元在一个大系统中进行组合和统一设置和管理。

作为本发明再进一步的方案：系统动态载入包括百度地图、谷歌地图等在内的多种电子地图引擎，在某些没有卫星地图的区域根据需要加载和调用现有的图片地图信息，加载的是电子地图引擎，则在地图灵活缩放的同时，所设置的安装点信息和规划的防区位置信息相应成比例地进行同步缩放。

与现有技术相比，本发明的有益效果是：

1、能够实现采用1台系统实现全天候360度覆盖大区域范围，最远覆盖半径可以达到数公里（取决于所采用的红外热成像探测器的类型和所选择的镜头），从而大大降低了在广域环境下部署安保系统的复杂性，也便于日常使用中的维护和管理，从而有效降低了系统的整体成本。

2、可以将系统灵活机动地部署在各个不同的应用环境中（不仅能够实现固定部署，也能够将系统安装在车辆顶部进行移动部署），同时可随时根据当前的安装点来调用电子地图引擎，准确灵活地在背景地图上确定整个系统的安装位置和探测和布防区域。

3、全景红外光电安防系统可以不受日夜和气候条件的影响，满足全天候高等级的布防要求。

4、每套全景红外光电系统既可以独立工作，也可以作为大系统的基本组成单元，可以最终实现多套系统单元的有机组合和协同工作，以满足行业客户同一个项目中需要部署和管理多台全景红外光电系统的目的。

附图说明

图1：一个典型的全景多波段视频系统的逻辑结构图。

图2：如何生成输出全景的视频的主要软件算法模块。

图3：单应性矩阵的估算流程图。

图4：采用图像金字塔进行混合。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1-4，一种基于红外热成像光电技术的360度全景广域安防系统，具体实施步骤如下：

步骤二：对于融合的全景图像采用了视频稳像技术进行了处理，确保图像的可用性；

步骤三：对于在整体视频中探测到的移动目标进行了多移动目标跟踪的处理，以便满足安保人员对于复杂目标的判断和跟踪要求，使整体解决方案更加具有实用性；

步骤四：根据设备在安装点现场位置可以随时调用电子地图引擎，载入以安装点为参考坐标的动态瓦片电子地图，从而可以准确灵活地确定实际安装位置和进行防区设置，提高了系统灵活部署的方便性。

系统以一套全景红外光电系统为基本单元，将各个基本单元在一个大系统中进行组合和统一设置和管理，因此，本系统既可以做为一个独立的系统单独使用，也可以作为一个中间件平台被其它大型安防软件所调用，从而满足了行业客户大项目需要同时应用多套全景红外光电系统的需求。

系统动态载入包括百度地图、谷歌地图等在内的多种电子地图引擎，在某些没有卫星地图的区域也可以根据需要加载和调用现有的图片地图信息，如果加载的是电子地图引擎，则可以实现在地图灵活缩放的同时，所设置的安装点信息和规划的防区位置信息相应成比例地进行同步缩放。

本发明的工作原理是：

多波段传感器（电子光学和热成像传感器）安装在一个能够上下左右旋转的云台上，并连接到一个视频处理单元模块中。该视频处理单元模块与各个图像传感器互动，获取数据并产生镶嵌拼接图案。通过DVI接口传输到一个24英寸的触摸屏LCD显示器来显示。

本发明在软件上的技术关键点是我们提出并实现的全景融合算法。

全景融合图像的最终实现实现主要包括以下几个部分：全景融合算法、图像金字塔、图像注册和混合和色彩矫正。

a）全景融合算法模块描述

一个典型的将不同视频源产生的图像通过叠加进行图形镶嵌的过程

全景图像通过缝合并将图像所提供的必要信息进行混合。

图像拼接处理过程包括了侦测、当前的图像和参考图像的单应性矩阵（homography）的估算。被弯曲的图像随着估算的单应性矩阵然后混合在一起生成了无缝的画面。单应性矩阵估算的处理作为一个图像注册的参考并采用基于分层运动估算技术进行归档。图像融合过程同样包含了先前提到的基于金字塔的方法。

b）图像金字塔

拉普拉斯金字塔（The Laplacian pyramid）采用了图像注册和图像混合处理方法。基于金字塔的方法允许注册算法为大的运动连续帧之间做补偿，也允许补偿算法独立编辑频率的波段。一个经典的由粗到细的策略是视频拼接过程的核心。分层方法也保证了算法的计算效率。

拉普拉斯金字塔是由高斯金字塔衍生而来的。高斯金字塔是通过滤波的序列和采样步骤获得的。首先将低通滤波器应用于原始图像G0。滤波后的图像由高斯金字塔的第一级G1进行一次除以2的子采样。由于空间频率仅限于采样频率的一半，所以子采样过程可以一直进行下去。这个过程被重复N次计算后得到G2…GN。

拉普拉斯金字塔是通过获取高斯金字塔各层之间的差异得到的。这些通常被称为DoG（高斯差）。所以拉普拉斯0级是G0和G1的区别。拉普拉斯等级1是G1和G2之间的差异。其结果是一组带通图像，L0表示空间频率的上半部分（所有的精细的纹理细节），L1代表1 / 4和1 / 2的全部带宽之间的频率、L2代表之间的1 / 8和1 / 4的全带宽的频率，等等。

c）图像注册

图像配准的过程包括估计图像中每个像素的运动，然后将运动模型应用于这些像素以定义帧上的全局运动。可以只选择平移、旋转、平移+旋转、平移+缩放、平移+旋转+缩放或全仿射等模型。例如，平移只能补偿图像中的水平和垂直位移，而忽略其他运动，仿射模型将估计包括剪切影响在内的可能自由度的运动。

运动估计框架的基本组成部分是金字塔结构、运动估计、图像扭曲和粗精细化。我们的实现使用拉普拉斯金字塔，涉及简单的局部计算，并提供必要的空间频率分解。运动估计器根据模型变化，但在所有情况下，估计过程涉及SSD最小化，而不是离散搜索。我们在细化过程采用Gauss Newton最小化过程。SSD最小化背后的基本假设是强度恒常性适用于拉普拉斯金字塔图像。

d）混合和色彩矫正

图像拼接包括图像配准作为第一步。在图像配准后，利用不同图像金字塔级别的混合函数将帧拼接在一起。因为所拍摄的图像从来都不是理想的图像，所以图像拼接混合（即图像融合）是必需的。相机镜头模型引入了如扭曲的光学缺陷，图像和图像四周之间的曝光差异。图像融合是识别和纠正上述文物结合的图像映射到输出投影。这个过程也通过逐渐将一幅图像混合到另一幅图像中，减少或消除了图像之间接缝线的可见性，从而产生完美的图像。

混合的过程包括根据分配给两个图像的图像金字塔的混合权重进行合并。金字塔的每一个图像与另一个金字塔中的对应图像合并，最后折叠成最终的混合图像。拼接过程从一组给定的帧中实时生成一幅大型的无缝的单幅图像。

本发明在软件上的另外一个技术关键点是视频稳像算法以确保最终图像的可用性。

一旦帧被注册并且像素的运动是已知的，视频就可以稳定，也就是说，与先前的几个帧对齐就能够补偿任何摄像机运动。对帧进行数字扭曲以消除运动影响。由于稳定是在整个图像上完成的，所以它计算的运动是依据占主导地位的运动（主要是摄像机运动），独立于主运动的像素（物体）被假定属于独立运动的物体。

本发明在软件上的另外一个技术关键点是移动目标跟踪算法以确保最终图像的实用性，以方便安保人员的实际操作使用。

一旦视频帧相互注册，最简单的检测独立运动物体的方法就是从另一帧中减去一帧。所观察到的变化表明物体在场景中移动的位置。然而，由于噪声和光照变化等因素的影响，需要一些滤波来提取运动目标，以避免虚假检测。通常算法使用拉普拉斯算法表示图像。同时会计算注册框架和变化图像之间的改变，这些改变是通过改变图像的二值化阈值和使用连接成分分析计算的斑点图像来得到。一旦图像中检测到斑点（使用运动提示），它们就会随着时间被跟踪。使用空间约束匹配斑点，并利用卡尔曼滤波器跟踪时间。卡尔曼状态由目标位置、速度和形状组成。整个过程是在不同层次的拉普拉斯图像金字塔，使我们不仅捕捉大运动，但也增加了系统的可靠性。

在实现以上算法时，对于最佳执行算法的基本要求是：

所有算法假定车辆或平台是固定的。

拼接图像应具有良好的纹理内容（特征），使他们可以在图像的空间域注册。

对象应当占据一个可靠的运动目标检测与跟踪的最小像素数。

从摄像机捕获的连续两帧之间应该有足够的重叠（> 50%），以满足可靠的图像注册和配准要求。

捕获的图像不应该有运动模糊，这里的模糊是关于摄像机的帧率，视场角和镜头（云台）平移速度的函数。

本系统软件开发过程使用C/C++程序语言在实时Linux操作系统Ubuntu10.04使用QtGUI实现。开发过程遵循CMMIIII过程和文档标准。系统支持的一些主要的软件功能包括：

1、与传统摄像机和和中长波红外相机连接的实时视频采集接口。

2、视频预处理功能：如亮度增强、对比度增强、锐化、噪声的去除等。

3、与传统摄像机和和中长波红外相机变焦镜头控制接口。

4、用于离线操作的与存储的录像视频接口。

5、与云台转动的接口。

6、与触摸屏接口。

7、带有文本和图形注释的视频存档。

8、基于实时视频拼接生成图像内容。

9、运动目标检测和指示

10、GUI界面用于配置视频显示、配置参数等。

11、看门狗检测和恢复硬件、软件故障。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下做出各种变化。

Claims

1.一种基于红外热成像光电技术的360度全景广域安防系统其特征在于，具体实施步骤如下：

步骤一：系统采用全景融合算法实现了在一台设备上实现对最远半径达到数公里周围环境进行360度同时探测和确定目标；

2.根据权利要求1所述的基于红外热成像光电技术的360度全景广域安防系统，其特征在于，系统以一套全景红外光电系统为基本单元，将各个基本单元在一个大系统中进行组合和统一设置和管理。

3.根据权利要求1所述的基于红外热成像光电技术的360度全景广域安防系统，其特征在于，系统动态载入包括百度地图、谷歌地图等在内的多种电子地图引擎，在没有卫星地图的区域根据需要加载和调用现有的图片地图信息，加载的是电子地图引擎，则在地图灵活缩放的同时，所设置的安装点信息和规划的防区位置信息相应成比例地进行同步缩放。