CN108416758B - 一种火场红外影像实时成图方法 - Google Patents
一种火场红外影像实时成图方法 Download PDFInfo
- Publication number
- CN108416758B CN108416758B CN201810135580.3A CN201810135580A CN108416758B CN 108416758 B CN108416758 B CN 108416758B CN 201810135580 A CN201810135580 A CN 201810135580A CN 108416758 B CN108416758 B CN 108416758B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- real
- processing
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000009825 accumulation Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012805 post-processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种火场红外影像实时成图方法，采用无人机对火场监测数据，通过数据链实时回传至地面站指挥中心，地面站控制软件通过解析配发相应数据至图像处理软件，处理软件经过处理后将处理结果实时显示到GIS平台。本发明在进行单片正射纠正时，并不是通过直接纠正后再进行图像切割，而是通过分解正射纠正过程，进而对重叠部分不进行处理，提高处理速度，保证整个处理流程的实时性；本发明不做图像匹配和后处理，单纯利用POS实时数据进行单片正射纠正，实时性能好；本发明的数据处理流程，不引进图像匹配造成的匹配误差，避免误差累积造成的长时间处理误差超限的情况出现，增强了数据处理对POS误差的容忍度和数据处理流程的鲁棒性。
Description
技术领域
本发明属于无人机遥感数据处理领域，尤其是涉及一种火场红外影像实时成图方法。
背景技术
随着无人机相关技术的快速发展和产业化进程速度加快，无人机系统的集成应用技术难度越来越低，市场规模也越来越大，应用领域不断扩张，伴随而来的就是针对不同领域的不同情况，提出了各种不同的数据处理需求，针对行业应用的无人机系统结合定制化的数据处理系统是无人机行业应用的关键一环。
本申请针对无人机系统在森林火灾监测领域的数据处理需求，着眼于山火灾害实时监测，结合无人机数据处理的特点，提出了一种利用数据链实时回传的图像数据，在正摄纠正后进行去重叠后的叠加显示方法，有效提高数据成图后的视觉效果的同时减少数据冗余。
现有的方法存在以下问题：
(1)现有的方法通过图像拼接的方法获取测区内的带有地理坐标数据影像，算法复杂度高，实时性差；
(2)现有的实时图像拼接方法需要做图像的特征匹配，但是红外图像，尤其是火场红外图像，特征点少，不便于做特征提取和匹配，尤其当整幅图像全部是火的情况下相邻图像之间更无法进行匹配；
(3)现有的火场监测数据处理方案采用传统的航拍数据采集和数据处理流程，对数据采集的要求较高，需求要规划航线和明确测区范围，这在实际森林防火应用中难以应对熟悉万变的火场变化和监测需求；
(4)由于相机成像原理，造成的图像边缘部分图像数据进行正射纠正时，对误差的容忍度低，造成纠正后图像边缘部分误差大，而且地物表现为侧视，视觉效果差。
发明内容
有鉴于此，本发明旨在提出一种火场红外影像实时成图方法，以解决上述背景技术中提到的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种火场红外影像实时成图方法，其特征在于：对采集的图像进行单张图像正射纠正并独立叠加显示，叠加显示时只保留和处理图像中间部分数据；
具体包括如下步骤：
(1)无人机对火场监测数据，通过数据链实时回传至地面站指挥中心；
(2)地面站控制软件对接收到的数据进行数据解析，获取图像拍摄时刻的POS信息和姿态信息；
(3)根据收到POS数据进行正射纠正预处理，计算出对应红外图像的正射影像范围；
(4)地面站控制软件主动缓存接收到的数据，等到接收到第三张图像后，第二张图像与前后图像之间的重叠率计算完毕；
(5)把计算的图像重叠率作为约束条件，开始对原始图像数据进行正射纠正处理，根据图像选择的图像去重叠方法进行切割，最终形成无重叠的单片纠正影像，实时加载到GIS平台进行实时显示。
进一步的，通过计算单片纠正后的图像成像范围，获得相邻两张图像的重叠情况，然后以两张图像中心连线的中垂线为分界线，对两张重叠图像进行有选择的纠正；
只纠正分界线临近一侧的像素，如果像素点离其中图像一的中心更近，则在图像一纠正时进行计算，在图像二计算时默认为空白，计算图像二纠正范围时，将中垂线向图像一方向移动多个单位像素，计算图像一纠正范围时将中垂线向图像二方向移动相同单位像素，从而保证图像整体连续无空缺。
进一步的，所述图像去重叠方法具体为通过计算单片纠正后的图像成像范围，获得相邻两张图像的重叠情况，然后以两张图像中心连线的中垂线为分界线，对两张重叠图像进行有选择的纠正，只纠正分界线临近一侧的像素。
相对于现有技术，本发明所述的一种火场红外影像实时成图方法具有以下优势：
1、本发明的去重叠方法，保证了图像的整体视觉效果基本符合正射效果。
2、本发明在进行单片正射纠正时，并不是通过直接纠正后再进行图像切割，而是通过分解正射纠正过程，分为两部分，进而对重叠部分不进行处理，提高处理速度，保证整个处理流程的实时性。
3、在整个处理流程上，本发明不做图像匹配和后处理，单纯利用POS实时数据进行单片正射纠正，实时性能好。
4、本发明的数据处理流程，不引进图像匹配造成的匹配误差，避免误差累积造成的长时间处理误差超限的情况出现，增强了数据处理对POS误差的容忍度和整个数据处理流程的鲁棒性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种火场红外影像实时成图方法示意图；
图2为本发明实施例所述的重叠图像去重叠方法的效果示意图；
图3为本发明实施例所述的重叠图像去重叠方法的示意图；
图4为本发明实施例所述的不作处理的图像重叠显示图；
图5为本发明实施例所述的抽帧重叠显示效果示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明提供了基于无人机的火场红外正射影像序列重叠显示方法。
具体实施方式和步骤如下：
无人机对火场监测数据，通过数据链实时回传至地面站指挥中心，地面站控制软件通过解析配发相应数据至图像处理软件，处理软件经过处理后将处理结果实时显示到GIS平台，具体过程如下：
步骤1：对接收到的数据进行数据解析，获取图像拍摄时刻的POS信息和姿态信息。
步骤2：根据收到POS数据进行正射纠正预处理，计算出对应红外图像的正射影像范围；
步骤3:软件主动缓存接收到的数据，等到接收到第三张图像后，第二张图像与前后图像之间的重叠率计算完毕；
步骤4：把计算的图像重叠率作为约束条件，开始对原始图像数据进行正射纠正处理，根据图像选择的图像去重叠方法进行切割，最终形成无重叠的单片纠正影像，实时加载到GIS平台进行实时显示；
步骤4中的去重叠方法具体如图2所示，具体实现方法是通过计算单片纠正后的图像成像范围，获得相邻两张图像的重叠情况，然后以两张图像中心连线的中垂线为分界线，对两张重叠图像进行有选择的纠正，即:只纠正分界线临近一侧的像素，如图3(a)所示：像素点P1离Image1(图像一)中心更近，则在Image1纠正时进行计算，在Image2计算时默认为空白(ArcGIS显示时为透明)；但是这样会有问题，因为精确的数值计算和二维离散分布的图像像素之间会有偏差，造成两张图像之间存在空隙，为了保证图像整体连续无空缺，采用图3(b)的方法进行计算，即:计算Image2(图像二)纠正范围时，将中垂线向Image1方向移动两个单位长度，同理计算Image1纠正范围时将中垂线向Image2方向移动2像素，这样保证局部很小的重叠，保证连续性又不影响整体效果。
一般的图像重叠显示方法在不做任何处理时的效果如图4所示；如果不做任何处理，单片纠正后的图像直接显示会造成每张图像只显示了图像的边缘部分，而一般的图像边缘部分的成像畸变大，成像视场角大，正射纠正后的地物误差也偏高，这就造成图像中成像质量差的部分被保留(显示)，而质量高的部分(图像中间部分)被覆盖隐藏；同时数据冗余会很多，而且处理速度相对较慢；那么为了减少数据冗余，往往会通过控制图像重叠率的办法来解决，通过抽帧处理减少图像重叠的方法能够减少数据冗余，图像重效果示意图如图5所示，图5中，我们可以看出，通过降低处理图像间的重叠率，能够有效减少数据冗余，但是重叠率保持多少比较合适的问题需要解决，同时容易发现，图像中畸变较大的边缘部分和畸变较小的中间部分同时被保留下来；但是，本文为了能够保证整体数据的正射视觉效果，去掉图像两边的边缘部分，只保留图像中间部分，就能最大程度的保证图像质量，去除由于边缘大视角造成的斜视。
本发明的无人机影像数据实时处理系统流程如图1所示。其关键在于图像切割的策略选择,有针对性的保留图像中间部分数据，剔除边缘误差较大的部分；通过缓存的图像信息，计算正射纠正参数并结合DEM计算出图像的重叠信息；最后根据已知的图像重叠参数和正射纠正参数进行有选择的正射纠正，只处理和保留图像中心部分数据，并显示到GIS平台；单张图像独立正射纠正的数据处理流程，避免相邻图像间匹配误差的累积，即使有个别图像的POS误差较大，也不会影响整体数据处理效果。
本发明无需进行特征点提取、图像配准、图像变换、数据融合和匀光匀色等操作。本发明简单易行，只做图像的单片纠正后，进行叠加显示，获取火场整体概略图的同时并不影响对火场态势的感知；针对火场红外图像特征点少，的特点，省略图像匹配过程，从而无需考虑不同情况下(晴天、阴天)下图像特征不稳定等情况；本发明摒弃以往的数据处理思维，结合实际应用需求，提出了一种单张图像正射纠正并独立叠加显示的数据处理方案，在实际使用过程中可以根据需求和实际火场情况对火场进行监测；在图像叠加显示时有针对性的提出了只保留图像中间部分数据的方法，提高了图像可视化效果的同时，降低了数据冗余，进一步提高数据处理速度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种火场红外影像实时成图方法，其特征在于：对采集的图像进行单张图像正射纠正并独立叠加显示，叠加显示时只保留和处理图像中间部分数据；
具体包括如下步骤：
(1)无人机对火场监测数据，通过数据链实时回传至地面站指挥中心；
(2)地面站控制软件对接收到的数据进行数据解析，获取图像拍摄时刻的POS信息和姿态信息；
(3)根据收到POS数据进行正射纠正预处理，计算出对应红外图像的正射影像范围；
(4)地面站控制软件主动缓存接收到的数据，等到接收到第三张图像后，第二张图像与前后图像之间的重叠率计算完毕；
(5)把计算的图像重叠率作为约束条件，开始对原始图像数据进行正射纠正处理，根据图像选择的图像去重叠方法进行切割，最终形成无重叠的单片纠正影像，实时加载到GIS平台进行实时显示；
所述图像去重叠方法具体为通过计算单片纠正后的图像成像范围，获得相邻两张图像的重叠情况，然后以两张图像中心连线的中垂线为分界线，对两张重叠图像进行有选择的纠正；
只纠正分界线临近一侧的像素，如果像素点离其中图像一的中心更近，则在图像一纠正时进行计算，在图像二计算时默认为空白，计算图像二纠正范围时，将中垂线向图像一方向移动多个单位像素，计算图像一纠正范围时将中垂线向图像二方向移动相同单位像素，从而保证图像整体连续无空缺。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810135580.3A CN108416758B (zh) | 2018-02-09 | 2018-02-09 | 一种火场红外影像实时成图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810135580.3A CN108416758B (zh) | 2018-02-09 | 2018-02-09 | 一种火场红外影像实时成图方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108416758A CN108416758A (zh) | 2018-08-17 |
| CN108416758B true CN108416758B (zh) | 2022-03-15 |
Family
ID=63128276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810135580.3A Active CN108416758B (zh) | 2018-02-09 | 2018-02-09 | 一种火场红外影像实时成图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108416758B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819926A (zh) * | 2012-08-24 | 2012-12-12 | 华南农业大学 | 一种基于无人机的火灾监测预警方法 |
| CN105528797A (zh) * | 2015-12-02 | 2016-04-27 | 深圳飞马机器人科技有限公司 | 一种光学影像色彩一致性自适应处理与快速镶嵌方法 |
| CN105865427A (zh) * | 2016-05-18 | 2016-08-17 | 三峡大学 | 一种基于小型无人机遥感的单体地质灾害应急调查方法 |
| CN106683039A (zh) * | 2016-11-21 | 2017-05-17 | 云南电网有限责任公司电力科学研究院 | 一种生成火情态势图的系统 |
| CN106991681A (zh) * | 2017-04-11 | 2017-07-28 | 福州大学 | 一种火灾边界矢量信息实时提取与可视化方法及系统 |
| CN107516068A (zh) * | 2017-07-26 | 2017-12-26 | 福州大学 | 一种从无人机高分辨率影像中提取单木树冠的方法 |
-
2018
- 2018-02-09 CN CN201810135580.3A patent/CN108416758B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819926A (zh) * | 2012-08-24 | 2012-12-12 | 华南农业大学 | 一种基于无人机的火灾监测预警方法 |
| CN105528797A (zh) * | 2015-12-02 | 2016-04-27 | 深圳飞马机器人科技有限公司 | 一种光学影像色彩一致性自适应处理与快速镶嵌方法 |
| CN105865427A (zh) * | 2016-05-18 | 2016-08-17 | 三峡大学 | 一种基于小型无人机遥感的单体地质灾害应急调查方法 |
| CN106683039A (zh) * | 2016-11-21 | 2017-05-17 | 云南电网有限责任公司电力科学研究院 | 一种生成火情态势图的系统 |
| CN106991681A (zh) * | 2017-04-11 | 2017-07-28 | 福州大学 | 一种火灾边界矢量信息实时提取与可视化方法及系统 |
| CN107516068A (zh) * | 2017-07-26 | 2017-12-26 | 福州大学 | 一种从无人机高分辨率影像中提取单木树冠的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Study On Disaster Monitoring Technology Of Mountain Fire Based On UAV Transmission Line Inspection;Wei Zhang et al;《Proceedings of 2017 IEEE International Conference on Unmanned Systems (ICUS)》;20171029;第400-403页 * |
| 卫星林火监测关键技术研究及应用前瞻;周汝良 等;《森林防火》;20170331(第1期);第22-25页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108416758A (zh) | 2018-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及系统 | |
| WO2021120406A1 (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| EP3041228A1 (en) | Camera calibration device, camera calibration system, and camera calibration method | |
| CN103414910B (zh) | 一种低失真的立体图像外极线校正方法 | |
| CN106204595A (zh) | 一种基于双目摄像机的机场场面三维全景监视方法 | |
| US8547375B2 (en) | Methods for transferring points of interest between images with non-parallel viewing directions | |
| WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
| US20240153122A1 (en) | Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle | |
| CN106875419A (zh) | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 | |
| CN111210481A (zh) | 多波段立体相机的深度估计加速方法 | |
| KR102081332B1 (ko) | 좌표별 정사영상 중첩방식을 통한 영상처리 오차 확인장치 | |
| CN112967344A (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN106203429A (zh) | 基于双目立体视觉复杂背景下的遮挡目标检测方法 | |
| CN111161154A (zh) | 一种无人机视频实时快速正射拼接系统及其拼接方法 | |
| CN111145362A (zh) | 一种机载综合视景系统虚实融合显示方法及系统 | |
| US11380111B2 (en) | Image colorization for vehicular camera images | |
| CN110706329A (zh) | 一种三维场景重构方法和装置 | |
| CN115239820A (zh) | 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法 | |
| CN105606123A (zh) | 一种低空航空摄影测量自动纠正数字地面高程模型的方法 | |
| CN112288637A (zh) | 无人机航拍图像快速拼接装置及快速拼接方法 | |
| CN105243653A (zh) | 一种基于动态匹配的无人机遥感影像快速拼接技术 | |
| CN115187737A (zh) | 一种基于激光与视觉融合的语义地图构建方法 | |
| CN102982524A (zh) | 玉米果穗有序图像的拼接方法 | |
| CN108416758B (zh) | 一种火场红外影像实时成图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |