CN106683039B - 一种生成火情态势图的系统 - Google Patents

Abstract

本发明公开了一种生成火情态势图的系统，涉及图像处理技术领域，为解决无法根据无人机遥感多光谱图像生成火情态势图的问题而发明，本发明的主要方法包括：输入判断模块，用于判断接收到的数据信息的数据类型；拍摄参数处理模块，用于根据拍摄参数，计算红外图像和可见光图像的每个像素点，与实际地势对应的映射关系；红外转换模块，用于根据透视投影变换模型，将红外图像转换成红外伪正摄图；可见光转换模块；红外正摄纠正模块，用于根据映射关系，纠正红外伪正摄图，得到红外正摄图；可见光正摄纠正模块；可视化模块，用于将红外正摄图和可见光正摄图进行融合，生成火情态势图。本发明主要应用于火情态势图生成的过程中。

Description

一种生成火情态势图的系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种生成火情态势图的系统。

背景技术

随着无人机在电力巡检领域的应用得到了越来越多的认可，利用无人机搭载进行输电线路山火应急特巡成为一种灾情监测的有效手段。无人机进行寻线山火监测时，为了能够直观的展示火场态势信息，需要充分利用火场不同光谱信息数据，进行后期处理形成可视化信息，也就是火情态势图，从而便于直观的掌握火场现场信息。

无人机拍摄回来的数据量庞大，图片极多，特别多光谱照片间的差别人工难以分辨，加上火情态势图的生成方法步骤繁琐，人工计算极其不便，且需要耗费大量时间，若出现计算错误生成的火情态势图就难以反映火场真实情况，则导致延误山火灾情的救援与监测。

无人机搭载可见光载荷获取的可见光图像，能够最直观的反应火场地物分布情况；红外相机能够反应火场红外光谱分布情况，通过计算还能够计算出火场地物温度分布情况；可见光和红外信息能够比较全面的反应火场基本情况。在可见光和红外数据完备的情况下，如何进行数据处理成为关键，不仅需要保证可视化效果，还需要提供比较精确的火场要素相关数据。但到目前为止，还没有利用无人机遥感多光谱图像生成火情态势图的研究。

发明内容

本发明的发明目的在于提供一种生成火情态势图的系统，能够解决无法根据无人机遥感多光谱图像生成火情态势图的问题。

根据本发明的实施例，提供了一种生成火情态势图的系统，包括：

输入判断模块，用于判断接收到的数据信息的数据类型，所述数据类型包括拍摄参数、红外图像和可见光图像，所述数据信息在同一拍摄时刻拍摄生成，所述红外图像和所述可见光图像的图像信息都包括每个像素点对应的地理坐标；

拍摄参数接口模块，用于将所述拍摄参数发送至拍摄参数处理模块；

红外接口模块，用于将所述红外图像发送至红外转换模块；

可见光接口模块，用于将所述可见光图像发送至可见光转换模块；

拍摄参数处理模块，用于根据所述拍摄参数，计算所述红外图像和所述可见光图像的每个像素点，与实际地势对应的映射关系；

红外转换模块，用于根据透视投影变换模型，将所述红外图像转换成红外伪正摄图；

可见光转换模块，用于根据透视投影变换模型，将所述可见光图像转换成可见光伪正摄图；

红外正摄纠正模块，用于根据所述映射关系，纠正所述红外伪正摄图，得到红外正摄图；

可见光正摄纠正模块，用于根据所述映射关系，纠正所述可见光伪正摄图，得到可见光正摄图；

可视化模块，用于将所述红外正摄图和所述可见光正摄图进行融合，生成火情态势图。

进一步地，所述系统还包括：

变换模型生成模块，用于在所述红外转换模块和所述可见光转换模块之前，根据所述数字高程模型DEM单点辅助定位算法，获取所述红外图像中的定位点的地理坐标，所述定位点是指能够确定所述红外图像地理区域的像素点，所述定位点的个数至少为两个；根据所述地理坐标，计算投影参数；根据所述投影参数，生成所述透视投影变换模型。

进一步地，所述拍摄参数处理模块，用于：

获取所述无人机姿态参数，所述姿态参数至少包括时间、经度、纬度、海拔高度、航迹角、俯仰角和侧滚角；

获取所述相机成像参数，所述相机成像参数至少包括元尺寸、分辨率、焦距、云台俯仰角和云台方位角；

根据所述无人机姿态参数和所述相机成像参数，计算所述红外图像的每个像素点，与所述实际地势的地理坐标对应关系；

根据数字高程模型DEM，所述无人机姿态参数和所述相机成像参数，计算所述红外图像的每个像素点，与所述实际地势的海拔高度对应关系；

根据所述地理坐标对应关系和所述海拔高度对应关系，确定所述红外图像与所述实际地势对应的所述映射关系。

进一步地，所述红外正摄纠正模块，用于：

根据所述映射关系，对所述红外伪正摄图进行逐点微分，生成所述红外正摄图；

进一步地，所述可见光正摄纠正模块，用于：

根据所述映射关系，对所述可见光伪正摄图进行逐点微分，生成所述可见光正摄图。

进一步地，所述可视化模块，用于：

获取所述红外图像中的温度信息；

根据所述温度信息，判断所述红外图像中的火场区域；

在所述红外正摄图中，标记所述火场区域，生成火场正摄图像；

按照所述实际地势的地势信息，将所述火场正摄图像和所述可见光正摄图像叠加成所述火情态势图。

进一步地，所述温度解算子模块，用于：

将所述红外图像中分解成短波红外图像、中波红外图像和长波红外图像；

分别解算所述短波图像的短波温度信息、所述中波红外图像的中波温度信息和所述长波红外图像的长波温度信息；

按照所述红外图像的每个像素点对应的地理坐标，将所述短波温度信息、中波温度信息、长波温度信息叠加，生成所述红外图像的温度信息。

由以上技术方案可知，本发明提供了一种生成火情态势图的系统，能够判断接收到的数据信息的数据类型，区分拍摄参数、红外图像和可见光图像，不同数据类型的数据分类处理，使得减少不同类型的数据之间的交互提高数据的可靠性。纠正由无人机姿态不同和成像参数不同造成的定位误差，得到正确的红外正摄图和可见光正摄图。红外正摄图能够穿过遮挡反映火源位置，而可见光图像只能看到周围环境，不能看清由于烟雾等遮挡因素的火源，所以将红外正摄图与可见光正摄图叠加融合，既能看到周围环境细节，又能明确火源位置，增加可视化效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据一优选实施例示出的一种生成火情态势图的系统组成框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种生成火情态势图的系统，如图1所示，包括：

输入判断模块101，用于判断接收到的数据信息的数据类型，所述数据类型包括拍摄参数、红外图像和可见光图像，所述数据信息在同一拍摄时刻拍摄生成，所述红外图像和所述可见光图像的图像信息都包括每个像素点对应的地理坐标；

拍摄参数接口模块102，用于将所述拍摄参数发送至拍摄参数处理模块；

红外接口模块103，用于将所述红外图像发送至红外转换模块；

可见光接口模块104，用于将所述可见光图像发送至可见光转换模块；

拍摄参数处理模块105，用于根据所述拍摄参数，计算所述红外图像和所述可见光图像的每个像素点，与实际地势对应的映射关系；

红外转换模块106，用于根据透视投影变换模型，将所述红外图像转换成红外伪正摄图；

可见光转换模块107，用于根据透视投影变换模型，将所述可见光图像转换成可见光伪正摄图；

红外正摄纠正模块108，用于根据所述映射关系，纠正所述红外伪正摄图，得到红外正摄图；

可见光正摄纠正模块109，用于根据所述映射关系，纠正所述可见光伪正摄图，得到可见光正摄图；

可视化模块110，用于将所述红外正摄图和所述可见光正摄图进行融合，生成火情态势图。

火灾是指在时间或空间上失去控制的燃烧。不同的时间点，火势的燃烧情况会发生较大的变化，所以拍摄火灾现场的图像时需要记录拍摄的时间信息。并且红外图像和可见光图像在同一拍摄时刻拍摄，以确保拍摄到的是同样的火势燃烧情况。红外图像和可见光图像的图像信息都包括每个像素点对应的地理坐标。通过地理坐标表示拍摄的红外图像和可见光图像的经纬度信息。经纬度信息是指图像中像素点对应的实际地理位置的经纬度信息。红外图像和可见光图像，是无人机拍摄的遥感图像。红外图像和可见光图像可以通WIFI传输，模拟信号传输，或者无线通信芯片传输，在本发明实施例中对从无人机获取红外图像和可见光图像的获取方式不做限定。红外图像和可见光图像由不同的遥感器获得，并且红外图像和可见光图像在同一拍摄时刻拍摄。红外图像和可见光图像的图像信息都包括每个像素点对应的地理坐标。地理坐标是红外图像和可见光图像的图像信息中的重要信息。由于存在地理坐标信息，才可能将平面图像转化为三维图像。

透视投影是为了获得接近真实三维物体的视觉效果，而在二维的纸或者画布平面上绘图或者渲染的一种方法。透视投影具有消失感、距离感、相同大小的形体呈现出有规律的变化等一系列的透视特性，能逼真地反映形体的空间形象。透视投影通常用于动画、视觉仿真以及其他具有真实性反映的方面。基本的透视投影模型由视点和视平面两部分构成。视点可以认为是观察者的位置，也就是观察三维世界的角度。

在透视投影变换模型中包括视点位置信息，以红外图像或可见光图像伪视平面，将二维的红外图像转换为三维的红外伪正摄图，将二维的可见光图像转换为三维的可见光伪正摄图。由于拍摄红外图像时无人机姿态和相机成像参数不能完全相同，所以根据透视投影变换模型直接得到的红外伪正摄图和可见光伪正摄图，与实际地势相比会存在较大的区别。

无人机的飞行角度、海拔高度的不同，同一时刻拍摄的相同区域的图像转换的伪正摄图不完全相同。相机成像参数包括相机焦距、分辨率等等，不同的相机成像参数统一时刻拍摄的相同区域的图像转换的伪正摄图也不完全相同。为了能够将拍摄的图像经投影透视变换后能够得到相同的图像，所以需要计算拍摄时刻无人机姿态参数和相机成像参数对拍摄的图像的影响。将拍摄时刻的无人机姿态参数和相机成像参数，与无人机和相机的标准拍摄情况相比，计算红外图像和可见光图像的每个像素点与实际地势对应的映射关系，实际地势的标准参数包括经度、纬度和海拔高度。

根据映射关系，纠正三维的红外伪正摄图和可见光伪正摄图，以使得等到的红外正摄图和可见光正摄图与实际地势的一致性更高。

根据红外正摄图和可见光正摄图相同的地理位置信息，将两种图进行融合叠加，生成图像内容叠加地理信息未变的火情态势图。

标记火场可以将火场位置高亮显示，可以将火场位置以区别于背景的颜色显示，还可以通过将火场位置边界用闪烁的线条圈出，在本发明实施例中对标记火场的标记方式不做限定。

上述方法是对单个无人机拍摄的红外图像和可见光图像的处理，而单个无人机通常不能拍摄到整个火场情况，所以由多个无人机共同拍摄。为了反映火场的整体情况，在根据每组红外图像和可见光图像生成火情态势图之后，将多个火情态势图进行拼接。在拼接时根据火情态势图中的地理坐标信息进行拼接，使得最后得到的整个火场的火情态势图中完整且不重复的包含整个火场所在的地域图像。

进一步地，所述系统还包括：

变换模型生成模块，用于在所述红外转换模块和所述可见光转换模块之前，根据所述数字高程模型DEM单点辅助定位算法，获取所述红外图像中的定位点的地理坐标，所述定位点是指能够确定所述红外图像地理区域的像素点，所述定位点的个数至少为两个；根据所述地理坐标，计算投影参数；根据所述投影参数，生成所述透视投影变换模型。

定位点是指能够确定红外图像地理区域的像素点，定位点的个数至少为两个。为了通过定位点确定红外图像拍摄的实际地理区域，所以需要确定红外图像的经纬度的边界值，所以至少需要选取包括最大经度、最小经度、最大纬度和最小纬度四个范围数据的两个定位点。定位点是红外图像中的像素点，该像素点能够确定红外图像地理区域。

DEM(Digital Elevation Model，数字高程模型)是通过有限的地形高程数据实现对地形曲面数字化模拟，即地形表面形态的数字化表达，是用一组有序数值阵列形式表示地面高程的一种实体地面模型。通过DEM单点辅助定位算法，获取红外图像中定位点的地理坐标。投影参数包括视点位置，视点与图像的距离等等。根据地理坐标和图像信息，计算的投影参数，能够使得红外图像经投影变换后能够与DEM相适应。透视投影变换模型是根据红外图像计算得到的，但是由于拍摄红外图像和可见光图像是同一时刻而且视角相同，所以两种图像的透视投影变换模型相同。透视投影变换模型也可以根据可见光图像计算得到，且与根据红外图像计算透视投影变换模型的方法类似。

进一步地，所述拍摄参数处理模块105，用于：

获取所述无人机姿态参数，所述姿态参数至少包括时间、经度、纬度、海拔高度、航迹角、俯仰角和侧滚角；

获取所述相机成像参数，所述相机成像参数至少包括元尺寸、分辨率、焦距、云台俯仰角和云台方位角；

根据所述无人机姿态参数和所述相机成像参数，计算所述红外图像的每个像素点，与所述实际地势的地理坐标对应关系；

根据数字高程模型DEM，所述无人机姿态参数和所述相机成像参数，计算所述红外图像的每个像素点，与所述实际地势的海拔高度对应关系；

根据所述地理坐标对应关系和所述海拔高度对应关系，确定所述红外图像与所述实际地势对应的所述映射关系。

进一步地，所述红外正摄纠正模块108，用于：

根据所述映射关系，对所述红外伪正摄图进行逐点微分，生成所述红外正摄图；

进一步地，所述可见光正摄纠正模块109，用于：

根据所述映射关系，对所述可见光伪正摄图进行逐点微分，生成所述可见光正摄图。

进一步地，所述可视化模块110，用于：

获取所述红外图像中的温度信息；

根据所述温度信息，判断所述红外图像中的火场区域；

在所述红外正摄图中，标记所述火场区域，生成火场正摄图像；

按照所述实际地势的地势信息，将所述火场正摄图像和所述可见光正摄图像叠加成所述火情态势图。

进一步地，所述温度解算子模块，用于：

将所述红外图像中分解成短波红外图像、中波红外图像和长波红外图像；

分别解算所述短波图像的短波温度信息、所述中波红外图像的中波温度信息和所述长波红外图像的长波温度信息；

按照所述红外图像的每个像素点对应的地理坐标，将所述短波温度信息、中波温度信息、长波温度信息叠加，生成所述红外图像的温度信息。

由以上技术方案可知，本发明提供了一种生成火情态势图的系统，能够判断接收到的数据信息的数据类型，区分拍摄参数、红外图像和可见光图像，不同数据类型的数据分类处理，使得减少不同类型的数据之间的交互提高数据的可靠性。纠正由无人机姿态不同和成像参数不同造成的定位误差，得到正确的红外正摄图和可见光正摄图。红外正摄图能够穿过遮挡反映火源位置，而可见光图像只能看到周围环境，不能看清由于烟雾等遮挡因素的火源，所以将红外正摄图与可见光正摄图叠加融合，既能看到周围环境细节，又能明确火源位置，增加可视化效果。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (5)

1.一种生成火情态势图的系统，其特征在于，所述系统包括：

输入判断模块，用于判断接收到的数据信息的数据类型，所述数据类型包括拍摄参数、红外图像和可见光图像，所述数据信息在同一拍摄时刻拍摄生成，所述红外图像和所述可见光图像的图像信息都包括每个像素点对应的地理坐标；

拍摄参数接口模块，用于将所述拍摄参数发送至拍摄参数处理模块；

红外接口模块，用于将所述红外图像发送至红外转换模块；

可见光接口模块，用于将所述可见光图像发送至可见光转换模块；

拍摄参数处理模块，用于根据所述拍摄参数，计算所述红外图像和所述可见光图像的每个像素点，与实际地势对应的映射关系；

红外转换模块，用于根据透视投影变换模型，将所述红外图像转换成红外伪正摄图；

可见光转换模块，用于根据透视投影变换模型，将所述可见光图像转换成可见光伪正摄图；

红外正摄纠正模块，用于根据所述映射关系，纠正所述红外伪正摄图，得到红外正摄图；

可见光正摄纠正模块，用于根据所述映射关系，纠正所述可见光伪正摄图，得到可见光正摄图；

温度解算子模块，用于将所述红外图像中分解成短波红外图像、中波红外图像和长波红外图像；以及，分别解算所述短波图像的短波温度信息、所述中波红外图像的中波温度信息和所述长波红外图像的长波温度信息；以及，按照所述红外图像的每个像素点对应的地理坐标，将所述短波温度信息、中波温度信息、长波温度信息叠加，生成所述红外图像的温度信息；

可视化模块，用于获取所述红外图像中的温度信息；以及，根据所述温度信息，判断所述红外图像中的火场区域；以及，在所述红外正摄图中，标记所述火场区域，生成火场正摄图像；以及，按照所述实际地势的地势信息，将所述火场正摄图像和所述可见光正摄图像叠加成所述火情态势图。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

变换模型生成模块，用于在所述红外转换模块和所述可见光转换模块之前，根据数字高程模型DEM单点辅助定位算法，获取所述红外图像中的定位点的地理坐标，所述定位点是指能够确定所述红外图像地理区域的像素点，所述定位点的个数至少为两个；根据所述地理坐标，计算投影参数；根据所述投影参数，生成所述透视投影变换模型。

3.根据权利要求1所述的系统，其特征在于，所述拍摄参数处理模块，用于：

获取无人机姿态参数，所述姿态参数至少包括时间、经度、纬度、海拔高度、航迹角、俯仰角和侧滚角；

获取相机成像参数，所述相机成像参数至少包括元尺寸、分辨率、焦距、云台俯仰角和云台方位角；

根据所述无人机姿态参数和所述相机成像参数，计算所述红外图像的每个像素点，与所述实际地势的地理坐标对应关系；

根据数字高程模型DEM，所述无人机姿态参数和所述相机成像参数，计算所述红外图像的每个像素点，与所述实际地势的海拔高度对应关系；

根据所述地理坐标对应关系和所述海拔高度对应关系，确定所述红外图像与所述实际地势对应的所述映射关系。

4.根据权利要求1所述的系统，其特征在于，所述红外正摄纠正模块，用于：

根据所述映射关系，对所述红外伪正摄图进行逐点微分，生成所述红外正摄图。

5.根据权利要求1所述的系统，其特征在于，所述可见光正摄纠正模块，用于：

根据所述映射关系，对所述可见光伪正摄图进行逐点微分，生成所述可见光正摄图。

Images