CN112052801A - 基于Himawari-8的HSD数据火点实时监测自动分析系统 - Google Patents
基于Himawari-8的HSD数据火点实时监测自动分析系统 Download PDFInfo
- Publication number
- CN112052801A CN112052801A CN202010935341.3A CN202010935341A CN112052801A CN 112052801 A CN112052801 A CN 112052801A CN 202010935341 A CN202010935341 A CN 202010935341A CN 112052801 A CN112052801 A CN 112052801A
- Authority
- CN
- China
- Prior art keywords
- data
- fire point
- himapari
- pixel
- ephemeris
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 44
- 238000004458 analytical method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000005855 radiation Effects 0.000 claims abstract description 14
- 238000012952 Resampling Methods 0.000 claims abstract description 9
- 230000000977 initiatory effect Effects 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 59
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000208818 Helianthus Species 0.000 description 2
- 235000003222 Helianthus annuus Nutrition 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000004291 sulphur dioxide Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及数据自动化处理技术领域，尤其涉及遥感卫星数据的实时获取、批量校正处理及异常火点判别的一种基于Himawari‑8的HSD数据火点实时监测自动分析系统，步骤如下：1）获取Himawari‑8数据集；2）将数据集按波段号读取并拼接；3）将不同波段分辨率数据重采样；4）对步骤3）中的数据进行计算和处理：对数据进行处理和计算的阶段，处理技术点包括原始数据辐射定标、星历表栅格计算、基于GCP控制点的几何校正、校正后基准星历表的线性偏移微调、云量检测去除、亮温反演；5）等待下次任务发起。本申请的一种基于Himawari‑8的HSD数据火点实时监测自动分析系统具有数据处理快、校正精度高、有效减低云层的干扰和提高火点检测的准确性的优点。
Description
技术领域
本发明属于数据自动化处理技术领域，尤其涉及一种遥感卫星数据的实时获取、批量校正处理及异常火点判别的基于Himawari-8的HSD数据火点实时监测自动分析系统。
背景技术
目前，关于大范围地面火点遥感监测方法主要集中于高时间分辨率卫星数据源(Modis,Himawari等)下的定量对比分析研究，主要原理是根据着火点与周围正常点的热辐射强度或温度差异进行判断。其流程主要包括前期的数据源下载，中期数据的读取、定标、几何校正、亮温转换及后期火点识别算法分析等系列处理流程。由于灾害性监测在实际应用方面往往具有近于实时的结果发布要求，而传统基于人工辅助处理和信息判别的方法由于较为繁琐的数据处理和定量反演分析过程，信息滞后性方面较为明显，人工重复性冗余工作也较为突出，这给火点灾害监测的实际应用上带来较为明显的拖累。申请号“201811069553.7”的名为一种基于Himawari8的火点监测算法中公开了火点监测算法步骤，包括对采集的数据计算平均亮度温度，并进行反复的推演和计算修整，通过对疑似火点的二次审查来判断火点；此方法在收集数据时需要花费大量的人力，计算过程重复且复杂，对于数据时效性比较差。
发明内容
本发明的目的在于解决现有的遥感火点监测中数据处理和信息挖掘过程的快速时效性较慢的问题而提出一种基于Himawari-8的HSD数据火点实时监测自动分析系统，将传统的火点监测方法流程进行算法优化、集成和服务器后台自动化处理，实现监测平台具有集下载、更新、处理、校正和异常点定量分析判断等于一身的自动化处理功能，实时将分析结果和疑似火点区信息传送到监测窗口，从而提高火点监测遥感应用方面的实用性和时效性。
本发明采用的技术方案是这样实现的：
一种基于Himawari-8的HSD数据火点实时监测自动分析系统，系统分析包括如下步骤：
步骤1)、获取Himawari-8数据集：系统后台记录当前火点监测区时间，根据HSD格式的Himawari-8数据文件名编排标准及特点，获得对应时段的HSD格式数据集文件名列表，随之向指定数据服务地址发送请求，待请求通过后根据获得的列表寻找和下载对应数据集到指定地址；
步骤2)、将数据集按波段号读取并拼接：根据火点异常反演方法所用到的波段和步骤1)采集的波段数据集，自动化系统依次批量读取相应波段数据块，并对读取到的数据块进行拼接，得到拼接后波段数据；
步骤3)、将不同波段分辨率数据重采样：不同波段数据的分辨率不同，因此将步骤2)波段数据分辨率都在统一尺度下，方便后续的校正和反演计算，简化系统后续星历表栅格计算时系统整体的计算量；
步骤4)、对步骤3)中的数据进行计算和处理：对数据进行处理和计算的阶段，处理技术点包括原始数据辐射定标、星历表栅格计算、基于GCP控制点的几何校正、校正后基准星历表的线性偏移微调、云量检测去除、亮温反演；
步骤5)、等待下次任务发起：记录本轮当前任务结果及部分计算信息，待下一轮监测任务发起后重复步骤1)到4)，同时将本轮任务保存的信息带入步骤4)的疑似火点置信度判断方法中参与分析比对，得出疑似火点经纬度位置。
进一步的，在步骤4)中原始数据DN值辐射定标采用线性定标算法，
R(i，j)＝G×Pix(i，j)+C
其中：Pix(i，j)为原始数据(i，j)位置像元的DN值，该值没有物理意义，G为波谱响应增益系数，单位为W/(m2·sr·μm)，C为偏移系数，单位为W/(m2·sr·μm)R(i，j)为辐射定标后的该像元值，表示该像元的辐射亮度值，单位为W/(m2·sr·μm)，G和C均为常数，该值保存在.Dat文件中；
在具体定标过程中，系统自动抽取文件里的G和C常数值，而后将获得的波段数据中每个元素带入上述公式进行逐次扫描计算。
进一步的，在步骤4)中星历表栅格计算是对每个波段求取对应的星历表栅格数据，采用Himawari-8数据官方手册里提供的星历表计算方法，并在该方法的基础上，采用一种边角填充方法对圆盘数据外围边角的空隙像元进行补值。
进一步的，所述边角填充方法包括经度星历表填充和纬度星历表填充两个过程。
进一步的，在步骤4)中基于GCP控制点的几何校正为基于经纬度定位信息构建控制点网格的多项式几何校正方法，且在此基础上经过分析后进一步优化了校正的方案过程。
进一步的，在步骤4)中线性偏移微调是本系统在首次开发时对获得的校正数据带入ArcGis里叠加全球矢量数据后，进行手工配准获得纵向和横向偏移的具体值(δx,δy)，将此偏移值嵌入系统xml文件里，在系统下次任务循环时，将自动读取偏移值进行微调即可，不必再人工参与，确保了后续任务在校正过程后线性偏移值的稳定，实现了系统自动化统一处理的功能。
进一步的，在步骤4)中亮温反演是本系统自动将获得的亮温数据和近红外波段辐射亮度数据带入算法中进行云量检测和去除，之后采用较为成熟的MODIS/AVHRR火点检测算法进行疑似火点的判别，该算法主要根据火点像元与背景像元热辐射的对比情况进行判断，检测步骤包括(1)初步的待确认火点像元及背景像元的确定；(2)以初步待确认像元为中心，选取特定大小窗口进行待确认像元与背景像元的差异对比来进一步判断待确认像元为真实疑似像元的可能性；(3)回查历史任务监测结果，进一步判断疑似火点真实性。
本发明的有益效果在于：
1、将传统繁琐的数据获取、处理校正及反演分析流程进行算法集成和服务器后台自动化处理，形成一个疑似火点检测自动化处理分析系统，提高了传统遥感火点监测作业的时间效率和应用方面的实时性。
2、通过引入统一尺度标准和基准星历表参数构思，减少了后续处理的计算负担，解决了因海量遥感数据实时批量处理所带来的系统资源消耗和不同尺度标准下处理结果间的微小偏移问题。
3、在传统控制点校正和云量检测方法基础上，针对Himawari-8数据特点，优化采用了六控制点单元2次多项式校正格网的方法，相较一般的一次线性三角格网校正法一定程度提高了校正的精度；构建了基于热红外亮温和近红外辐射亮度数据的云归一化指数检测算法，有效踢出云的存在对后续疑似火点分析的干扰。
4、在传统火点监测方法基础上，利用不同时间伦次的任务发起优势，对当前任务的疑似火点分析结果与历史任务的分析结果进行比对来进一步判断火点疑似置信度，提高系统火点监测的准确性。
总之，本申请提供的一种基于Himawari-8的HSD数据火点实时监测自动分析系统具有数据处理快、校正精度高、有效减低云层的干扰和提高火点检测的准确性的优点。
附图说明
图1是本发明的系统流程图。
图2是本发明实施例中采集、下载数据的流程图。
图3是本发明实施例中的波段数据子块排列图。
图4是本发明实施例中的波段读取、拼接示意图。
图5是本发明实施例中的波段数据采样算法原理示意图。
图6是本发明实施例中的卫星全球数据示意图。
图7是本发明实施例中的几何校正示意图。
图8是本发明实施例中的GCP控制点格网图。
图9是本发明实施例中的线性偏移示意图。
图10是实施例中的HSD格式的B04近红外波段全球辐射亮度原始数据图。
图11是实施例中的测试数据校正结果示意图。
图12是实施例中手工线性微调配准后的示意图。
图13是实施例中的疑似火点信息图。
具体实施方式
本发明的核心是提供了一种基于Himawari-8的HSD数据火点实时监测自动分析系统。
下面结合附图对本发明的内容进行进一步的说明：
如图所示，
分析系统主要包括以下步骤:
1.寻址和下载Himawari-8数据集：
系统后台记录当前火点监测区时间，根据HSD格式的Himawari-8数据文件名编排标准及特点，获得对应时段的HSD格式数据集文件名列表，随之向指定数据服务地址发送请求，待请求通过后根据获得的列表寻找和下载对应数据集到指定地址；系统此步骤具体工作流程如图2所示。
2.按波段号分别读取和拼接数据子块，将不同波段分辨率数据重采样到统一尺度：
根据火点异常反演方法所用到的波段(04，07和14波段)和图2流程图所示下载的这三个波段数据集(每个波段有10个子块，共10*3＝30个子块数据集)，自动化系统依次批量读取相应波段数据块，并对读取到的数据块进行拼接，得到拼接后04，07和14波段数据。由于04波段数据分辨率为1km，07和04波段数据为2km，因此系统还将对04数据分辨率进行重采样到2km，目的是使三个波段数据分辨率都在2km的统一尺度下，方便后续的校正和反演计算，简化系统后续星历表栅格计算时系统整体的计算量。
2.1.此步骤里对波段的10个数据块进行拼接的原理如下：
原理:Himawari-8的HSD格式数据是赤道同步静止轨道的全球数据(数据范围为维度:N90°--S90°，经度：E60°--E220°)，每个波段的全球数据分成10个子块，子块排列格式如图3所示；系统对某波段数据依次进行读取和拼接的过程如图4所示。
2.2.此步骤里拼接后的B04波段数据进行重采样的原理，伪代码说明如下：
原理：由于BSD格式数据的B04波段分辨率为1km，数据尺度为11000*11000(经2.1步骤数据块拼接后)；而B07和B14波段分辨率为2km，数据尺度为5500*5500。由此可知B04里每个像元的尺度为B07和B14像元尺度的1/2，即B04数据每四个相邻的像元组成B07和B14一个像元尺度的尺度大小。故此重采样时，可通过求B04数据里四个相邻像元组的平均值作为尺度重采样后该位置一个像元的值，如图5所示；
因此，B04波段分辨率重采样方法可按照如下伪代码算法原理进行；
伪代码如下：
3.对2步骤里经数据拼接和重采样后的B04,B07,B14波段数据分别按照相应算法进行定标、校正、偏移微调及亮温反演等一系列处理：
此步骤为自动化检测系统的核心部分，主要是对原始数据进行处理和计算的阶段，主要处理技术点包括：原始数据辐射定标、星历表栅格计算、基于GCP控制点的几何校正、校正后基准星历表的线性偏移微调、云量检测去除、亮温反演等。
3.1.原始数据DN值辐射定标：
Himawari-8对数据进行辐射定标采用线性定标算法，公式如下：
R(i，j)＝G×Pix(i，j)+C
其中：Pix(i，j)为原始数据(i，j)位置像元的DN值，该值没有物理意义，G为波谱响应增益系数，单位为W/(m2·sr·μm)，C为偏移系数，单位为W/(m2·sr·μm)R(i，j)为辐射定标后的该像元值，表示该像元的辐射亮度值，单位为W/(m2·sr·μm)，G和C均为常数，该值保存在.Dat文件中；
在具体定标过程中，系统自动抽取文件里的G和C常数值，而后将2步骤获得的B04，B07和B14三个波段数据中每个元素带入上述公式进行逐次扫描计算。
3.2.星历表栅格数据计算生成：
上述步骤获得了B04，B07和B14三个波段的定标后数据(矩阵)，下面开始求取每个波段对应的星历表栅格数据；所谓星历表数据，指的是构建一个与波段尺度和分辨率相同的矩阵，矩阵中的每个元素表示对应位置下的波段数据里该位置像元的经度和维度坐标信息。计算该星历表栅格数据的目的是为后续基于GCP控制点的几何校正。这里本系统采用Himawari-8数据官方手册里提供的星历表计算方法，并在该方法的基础上，采用一种边角填充方法对圆盘数据外围边角的空隙像元进行补值。
3.2.1.Himawari-8提供的星历表数据经纬度信息的算法：
其中:
S1,S2,S3,Sxy为中间变量，其计算公式如下：
S1＝Rs-Sn*cos(x)*cos(y)
S2＝Sn*sin(x)*cos(y)
S3＝-Sn*sin(y)
其中:
Rs:卫星到地球中心的距离
Rpol:地球极半径
Req:地球赤道半径
pix_i,pix_j为波段数据像元的位置坐标(i，j)
其中:Rs,Rpol,Req,COFF,CFAC,LOFF,LFAC参数均在HSD格式数据.dat文件中保存
由于步骤2已将B04的分辨率和尺度调整到与B07和B14相同，因此B04波段对应的星历表数据将不再进行计算，自动化系统直接采用B07或B14计算得到的星历表即可。
3.2.2.圆盘数据外围边角的空隙像元补值：
由于地球静止轨道卫星的全球数据为一个圆盘形数据，因而每个5500*5500大小的波段数据中存在有四个边角为0值的区域，具体形式如图6所示；
由上述3.2.1获得的Himawari-8星历表栅格生成结果包括经度星历表生成结果和纬度星历表生成结果，这两个结果是为了后续进行GCP控制点采集来为B04、B07和B14波段数据的几何校正做准备。由于静止轨道卫星的全球数据为圆盘形数据(上图中黄色圆形部分)，而本自动化系统在进行GCP控制点采集过程中，采用了一种54*54的采样方式，即在经度和纬度星历表中以横向和纵向两个方向均匀采集54个控制点(横纵向控制点均为3的倍数)，那么如果当某些控制点采样到边角0值区域，则将会对后续的几何校正过程产生错误影响。为此，需要对边角区域进行经度和纬度补值填充。
填充方式分经度星历表填充和纬度星历表填充两个过程，下面主要简述下经度星历表的边角填充思想：
如图6所示，可以看到，需要填充的区域为圆形外的区域，而且方框不是圆形的最小外接框，如中间列距离方框的顶底存在空袭、中间行距离方框的左右也存在空隙。因此，填充方法如下：
以列为单位，设圆形的最左边边缘的列为C_L，圆形最右边边缘的列为C_R；圆形的中间的列为C_M；方框的顶部为Top，底部为Bottom；
遍历这个列，设某列为Ci:
如果Ci位于C_L和C_R之间：则Ci与圆的边缘必然相交有上下两点，设上面的交点为Top_A，下面的交点为Bot_B，则，Ci列中从交点Top_A到方框顶部Top之间的像元值的经度赋值为交点Top_A像元的经度，Ci列中从交点Bot_B到方框底部Bottom之间的元素的经度赋值为交点Bot_B的经度。
如果Ci位于C_L左侧或者C_R右侧，即与圆的边缘没有交点，则按照如下步骤：
首先，设中间行为R_M，则这个R_M与圆形必然相交有L_A,R_B两个点，则此行中L_A点距离方框左侧之间的像素根据等差数列进行填充：设方框最左侧的经度为60，圆形最左侧(即L_A点)经度为P，则R_M行中的Left--L_A中间的像素填充为从60-P之间的等差数列(经度)；
然后，R_B点距离方框右侧之间的像素也根据等差数列进行填充:设方框最右侧的经度为222，圆形最右侧(即R_B点)经度为Q，则R_M行中的R_B--Right中间的像素填充为从Q-222之间的等差数列作为经度；
完成后，位于C_L左侧和C_R右侧的Ci就与中间行存在了一个交点，设此交点为R，则此Ci列值全部填充为R的经度。
3.2.3遍历完毕，整个经度栅格的边角像元即填充完毕。
3.2.4算法伪代码简述如下：
纬度星历表栅格数据的填充思想与上述思想一致。
3.3.基于地理经纬度构建GCP控制点的几何校正：
原理:上述3.2.2中阐述了本系统通过在经纬度栅格星历表中沿着横向和纵向采集54*54个GCP控制点网的方式进行几何校正，此校正方式为基于经纬度定位信息构建控制点网格的多项式几何校正方法。本系统在此校正方法的基础上，分析后进一步优化了校正的方法过程，具体为：采用2*3为一组的控制点作为校正单元，然后构建二元二次多项式校正的方式构建输入像元与对应输出像元的映射方程来实现，具体算法如下(以B04波段数据的校正为例)；
如图7所示，本系统默认校正后的地理坐标系与校正前的地理坐标系相同，且校正后的像元分辨率与校正前的像元分辨率相同；即都为经纬度地理坐标系，分辨率为2km。
系统首先在B04波段数据中采集其左上角UL、右上角UR、左下角DL和右下角DR四个像元点的控制点信息，分别记录每个像元的像素坐标和地理坐标，即：[PUL(i,j,lat,lon),PUR(i,j,lat,lon),PDL(i,j,lat,lon),PDR(i,j,lat,lon)]
记录完成后，根据设定的几何校正后图像的分辨率和地理坐标系，计算校正后图像的范围，计算原理如下：
设P’wid，P’high分别为校正后图像的宽度和高度，P’ul为校正后图像的左上角像元，则
P‘ul＝Pref(lon,lat)＝(min(Pul_lon,Pur_lon,Pdl_lon,Pdr_lon),max(Pul_lat,Pur_lat,Pdl_lat,Pdr_lat))
其中，P’w，P‘h为校正后像元的横向和纵向分辨率尺度
则，几何校正后图像的仿射变换参数信息为：
Trans_P‘＝{Pref_lon,P’w,0,Pref_lat,-P‘h,0}
如图8所示，采集54*54的GCP控制点格网，计算微小格网组的六个角点在P’图像的像素坐标，图中A--F为单元控制点网格，上述1步骤已计算出几何校正后图像的仿射变换参数，可据此算出单元控制点网格中A--F点在几何校正输出图像里的像素坐标P’(i,j)：
设A--F点为Pa，Pb，Pc...Pf
则，Pm点的像素坐标和地理坐标为:
Pm(i,j)＝(mi，mj)
Pm(lon,lat)＝(mln，mlt)m∈{a,b,c...f}
Pm点在几何校正输出图像的像素坐标Pm'为:
至此，单元控制点网格A--F点几何校正前的像素坐标和地理坐标，以及几何校正后的像素坐标已求取完成，下面利用这六个点构造一个二元二次的多项式校正方程，通过解该方程组的12个系数，求得单元格网内的像素在校正前数据里的像素坐标位置映射，从而填补1步骤里获得的校正后图像内的0值像元，二元二次校正多项式如下：
可以看出此校正多项式共有12个未知系数，因此需要构建12个方程的方程组求解得到。
因此，系统将单元控制点网格中A--F点校正前和校正后的像元坐标分别带入上述方程，即求得此多项式方程的系数。然后，将每个单元控制点网格内的像元坐标Pm(i，j)分别带入上述方程，求得其校正后的映射位置坐标P‘m(i，j)，由于此位置坐标可能为非整数，故此系统采用双线性内插法换算得到像元的具体像素位置坐标(双线性内插法这里不在赘述)，然后将Pm点的像元灰度值赋值到P‘m处即可。
遍历所有网格内的像元(对于网格外的像元，则利用外层的单元网格映射方程求取映射位置，由于采用54*54格网等间距GCP点采样，则格网外围横向和纵向像元只有5500/(54-1+2)＝100个，而Himawari-8数据为圆盘数据，外围边缘形变较为明显，因此对于一般情况，外围像元也可以忽略不计算)直到波段数据所有像元映射完毕。
系统实现过程的伪代码简要叙述如下：
3.4.线性偏移微调
线性偏移的原因是经3.3步骤校正后影像数据相对于标准WGS84-Geographic坐标系下的全球矢量数据存在一定微小的线性偏移，这可能是算法或数据本身在计算时出现的系统或随机误差所致。为了确保系统能够达到自动化精确处理的效果，本系统在首次开发时对获得的校正数据带入ArcGis里叠加全球矢量数据后，进行手工配准获得纵向和横向偏移的具体值(δx,δy)，将此偏移值嵌入系统xml文件里，在系统下次任务循环时，将自动读取偏移值进行微调即可，不必再人工参与，如图9所示；
为了保证线性偏移值的稳定，本系统将第一次校正时所用的星历表栅格数据作为后续循环任务的统一星历表基准参考数据，在后续任务循环发起时，系统将通过基准星历表数据对当次任务计算获得的星历表进行修正调整，由于B04，B07和B14数据在前面步骤已经重采样到了统一尺度下，因此采用此方法确保了后续任务在校正过程后线性偏移值的稳定，实现了系统自动化统一处理的功能。
3.5.云量检测：
由于本系统选用的葵花数据中B04，B07和B14波段的中心波长为0.86、3.9和8.6um，它们在对高空中云的识别方面都有一定优势。因此，本系统采用这三个波段，在经上述处理步骤的基础上发明了如下算法模型进行云量检测，构建的模型如下：
其中，BT14和BT07分别为14波段和07波段的亮温反演结果；Brad04为04波段的地表辐射亮度值。计算结果数据中，像素越接近1，云量的概率越大，本系统经过分析后设定合适阈值进行云掩膜文件的输出，然后利用云掩膜文件对三个波段进行掩膜，去除云量的干扰。
3.6.亮温数据反演和疑似火点分析：
本系统的亮温反演过程主要针对热红外波段的B07和B14数据开展，主要目的是为上述3.5阐述的云量检测去除步骤和后续的火点疑似区域分析服务。亮温指的是同等波长范围中与绝对黑体辐射强度相等条件下的黑体的温度，由普朗克亮温方程即可得出亮温条件下物体的实际温度。
Himawari-8的HSD数据保存了热辐射波段数据亮温反演的普朗克方程参数信息，亮温反演方程如下：
其中，
为有效亮度温度
c0,c1,c2为Himawari-8的普朗克亮温所用到的传感器校正系数，该系数
保存在HSD格式文件中
I为辐射亮度，λ为某热辐射波段的中心波长
B07和B14亮温反演完成后，本系统自动将获得的亮温数据和B04近红外波段辐射亮度数据带入3.5的算法中进行云量检测和去除，之后采用较为成熟的MODIS/AVHRR火点检测算法进行疑似火点的判别，该算法主要根据火点像元与背景像元热辐射的对比情况进行判断。
其检测步骤如下：
(1)初步的待确认火点像元及背景像元的确定：设B07波段亮温为TB_07，B14波段亮温为TB_14，则满足如下条件的像元可初步认为是待确认火点像元:
TB07＞325And(TB07-TB14)＞20(白天)
TB07＞310And(TB07-TB14)＞10(夜晚)
背景像元:
TB07＜320And(TB07-TB11)＜20)(白天)
TB07＜305And(TB07-TB11)＜10)(夜晚)
(2)以初步待确认像元为中心，选取特定大小窗口进行待确认像元与背景像元的差异对比来进一步判断待确认像元为真实疑似像元的可能性：本系统默认选择9*9窗口大小进行判断，如果此窗口中包含的背景像元数目少于覆盖的总像元数的25％，则将窗口扩大到15*15，如果15*15不满足条件，则扩大至17*17，直至21*21。如果21*21不满足条件，则认为此确认像元为非火点像元。
窗口内待确认像元与背景像元的差异对比算法如下：设TB_07和TB_14波段的背景像元分别为TB_g07和TB_g14，则满足疑似真实火点像元的条件为：
其中:
μ(win(TBg07))表示窗口区域内所有背景像元的均值
δ(win(TBg07))表示窗口区域内所有背景像元的标准差
TBg07-TBg14表示窗口区域内背景像元07波段与14波段的亮温差
若计算结果不存在满足上述条件的像元，则认为此轮任务没有监测到疑似火点区；若计算结果存在满足上述条件的像元，设该像元火点置信度等级为B级。
(3)回查历史任务监测结果，进一步判断疑似火点真实性(此步骤为本系统在传统火点监测算法基础上的一个优化)：系统以(2)中检测出的疑似真实火点像元为对象，回查前几轮任务的检测结果，若疑似真实火点像元周边一定范围内在某个历史任务结果中存在有疑似真实火点像元，则进一步提高当前疑似真实火点的置信度等级，设为A级；
若疑似真实火点像元周边一定范围内在所有历史任务结果中都不存在疑似真实火点像元，则以其中某个历史任务的b04和b07波段亮温作为背景像元亮温，以当前疑似真实火点为窗口中心点，选取窗口重复(2)中的算法步骤，进一步判断检测结果:
若该像元满足(2)中的算法条件，则进一步提高当前疑似真实火点的置信度等级，设为A级；
若不满足(2)中的算法条件，则再随机选取某个历史任务亮温数据作为背景像元值，重复(2)中。若所有历史任务遍历完毕均不满足条件，则不增加此疑似真实火点的置信度等级(仍为B级)，同时结束历史任务的遍历；若在某次历史任务中满足了条件，则增加此真实火点置信度等级为A级，同时结束历史任务遍历。
4.等待下次任务发起：记录本轮当前任务结果及部分计算信息，待下一轮监测任务发起后重复1-3步骤，同时将本轮任务保存的信息带入步骤3的疑似火点置信度判断方法中参与分析比对，得出疑似火点位置经纬度定位。
具体使用时，步骤如下：
1、配置服务器运行环境：服务器运行操作系统为Linux，适配python3.0+版本环境和附属Skimage，GDAL，Anaconda3.5环境包；系统执行所需CPU配置为8核以上，运行内存最低为18G，云服务器采用32G；磁盘空间最低为500G，云服务器为1TB；数据库方面，选择系统高兼容性的开源数据库MYSQL。
2、测试系统程序，计算和保存基准星历表参数文件：将数据自动化处理程序模块和附属文件配置在服务器指定工程下，确定监测起始时间后寻找相应时间的Himawari-8标准HSD格式数据，手工批量下载波段4、7、11三个波段(每波段分为10个数据块，共30景数据)到指定地址下，运行自动化处理程序模块，载入批量数据进行自动化处理，获得基准星历表参数信息文件，配置文件作为附属文件放到指定地址下。
3、测试系统程序，计算和保存统一尺度标准下的校正偏移参数信息文件：打开ArcGis软件，将第一步测试数据获得的校正结果和全球标准地理投影坐标系附属数据文件载入，利用地理配准工具手工对校正结果的微小偏移进行配准，配准完成后保存配置信息，获得xml格式的偏移配准参数文件，将该配置文件作为附属文件放到指定地址下。
4、将数据自动化处理程序模块与数据寻址和下载模块进行连接：此系统中两个模块的连接通过专门编写的程序脚本进行自动连接。即通过运行该程序脚本，在程序提示下依次配置：工程下的数据寻址和下载模块地址与自动化处理模块地址、任务发起间隔时间、HSD文件集列表生成规则和上述2、3步生成的附属数据文件地址等信息，配置完成后提示连接完成即说明连接可用。
5、将配置好的两个模块与火点监测反演分析模块进行连接：此环节也是通过专门编写的程序脚本进行自动连接。即通过运行该程序脚本，在程序提示下依次配置：数据自动化处理程序模块地址和火点监测反演分析模块地址、背景亮温计算窗口大小、当前疑似火点与历史任务回查监测结果对比方式、疑似火点信息保存地址等；配置完成后提示连接完成即说明连接可用。
6、以上1-5测试与配置连接完成后，运行本系统。
如上述工作无误，系统将自动寻址和按照设置的任务发起间隔时间进行下载、自动处理和结果分析(所有过程不需人工操作)，每次分析结果和疑似火点将分别被保存到事先配置好的地址下，如某地点经系统多次任务监测对比其疑似火点置信度较高，则将该地点坐标显示在系统窗口中进行预警提示，如图13所示为2019年澳洲某地疑似火点信息提示，其中颜色深浅代表不同等级置信度。
根据上述的具体实施方式可见，本发明提供的一种基于Himawari-8的HSD数据火点实时监测自动分析系统具有数据处理快、校正精度高、有效减低云层的干扰和提高火点检测的准确性的优点。
Claims (7)
1.一种基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于，系统分析包括如下步骤：
步骤1)、获取Himawari-8数据集：系统后台记录当前火点监测区时间，根据HSD格式的Himawari-8数据文件名编排标准及特点，获得对应时段的HSD格式数据集文件名列表，随之向指定数据服务地址发送请求，待请求通过后根据获得的列表寻找和下载对应数据集到指定地址；
步骤2)、将数据集按波段号读取并拼接：根据火点异常反演方法所用到的波段和步骤1)采集的波段数据集，自动化系统依次批量读取相应波段数据块，并对读取到的数据块进行拼接，得到拼接后波段数据；
步骤3)、将不同波段分辨率数据重采样：不同波段数据的分辨率不同，因此将步骤2)波段数据分辨率都在统一尺度下，方便后续的校正和反演计算，简化系统后续星历表栅格计算时系统整体的计算量；
步骤4)、对步骤3)中的数据进行计算和处理：对数据进行处理和计算的阶段，处理技术点包括原始数据辐射定标、星历表栅格计算、基于GCP控制点的几何校正、校正后基准星历表的线性偏移微调、云量检测去除、亮温反演；
步骤5)、等待下次任务发起：记录本轮当前任务结果及部分计算信息，待下一轮监测任务发起后重复步骤1)到4)，同时将本轮任务保存的信息带入步骤4)的疑似火点置信度判断方法中参与分析比对，得出疑似火点经纬度位置。
2.根据权利要求1所述的基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于：在步骤4)中原始数据DN值辐射定标采用线性定标算法，
R(i，j)＝G×Pix(i，j)+C
其中：Pix(i，j)为原始数据(i，j)位置像元的DN值，该值没有物理意义，G为波谱响应增益系数，单位为，C为偏移系数，单位为W/(m2·sr·μm)R(i，j)为辐射定标后的该像W/(m2·sr·μm)元值，表示该像元的辐射亮度值，单位为W/(m2·sr·μm)，G和C均为常数，该值保存在.Dat文件中；
在具体定标过程中，系统自动抽取文件里的G和C常数值，而后将获得的波段数据中每个元素带入上述公式进行逐次扫描计算。
3.根据权利要求1所述的基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于：在步骤4)中星历表栅格计算是对每个波段求取对应的星历表栅格数据，采用Himawari-8数据官方手册里提供的星历表计算方法，并在该方法的基础上，采用一种边角填充方法对圆盘数据外围边角的空隙像元进行补值。
4.根据权利要求3所述的基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于：所述边角填充方法包括经度星历表填充和纬度星历表填充两个过程。
5.根据权利要求1所述的基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于：在步骤4)中基于GCP控制点的几何校正为基于经纬度定位信息构建控制点网格的多项式几何校正方法，且在此基础上经过分析后进一步优化了校正的方案过程。
6.根据权利要求1所述的基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于：在步骤4)中线性偏移微调是本系统在首次开发时对获得的校正数据带入ArcGis里叠加全球矢量数据后，进行手工配准获得纵向和横向偏移的具体值(δx,δy)，将此偏移值嵌入系统xml文件里，在系统下次任务循环时，将自动读取偏移值进行微调即可，不必再人工参与，确保了后续任务在校正过程后线性偏移值的稳定，实现了系统自动化统一处理的功能。
7.根据权利要求1所述的基于Himawari-8的HSD数据火点实时监测自动分析系统，其特征在于：在步骤4)中亮温反演是本系统自动将获得的亮温数据和近红外波段辐射亮度数据带入算法中进行云量检测和去除，之后采用较为成熟的MODIS/AVHRR火点检测算法进行疑似火点的判别，该算法主要根据火点像元与背景像元热辐射的对比情况进行判断，检测步骤包括(1)初步的待确认火点像元及背景像元的确定；(2)以初步待确认像元为中心，选取特定大小窗口进行待确认像元与背景像元的差异对比来进一步判断待确认像元为真实疑似像元的可能性；(3)回查历史任务监测结果，进一步判断疑似火点真实性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010935341.3A CN112052801B (zh) | 2020-09-08 | 2020-09-08 | 基于Himawari-8的HSD数据火点实时监测自动分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010935341.3A CN112052801B (zh) | 2020-09-08 | 2020-09-08 | 基于Himawari-8的HSD数据火点实时监测自动分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112052801A true CN112052801A (zh) | 2020-12-08 |
| CN112052801B CN112052801B (zh) | 2023-02-28 |
Family
ID=73610247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010935341.3A Active CN112052801B (zh) | 2020-09-08 | 2020-09-08 | 基于Himawari-8的HSD数据火点实时监测自动分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052801B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269175A (zh) * | 2021-07-21 | 2021-08-17 | 航天宏图信息技术股份有限公司 | 一种火情监测方法和装置 |
| CN113657275A (zh) * | 2021-08-16 | 2021-11-16 | 中国科学院空天信息创新研究院 | 一种林草火点自动检测方法 |
| CN116052012A (zh) * | 2022-12-21 | 2023-05-02 | 北京爱特拉斯信息科技有限公司 | 一种基于Himawari-8卫星数据的火点识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193093A (zh) * | 2010-03-15 | 2011-09-21 | 北京师范大学 | 环境小卫星hj森林或草原火灾小火点探测系统及其方法 |
| US20170154059A1 (en) * | 2015-11-27 | 2017-06-01 | Inventec (Pudong) Technology Corporation | Environment quality recording system and method, and indoor environment quality recording system |
| CN109214341A (zh) * | 2018-09-13 | 2019-01-15 | 青岛浩海网络科技股份有限公司 | 一种基于Himawari8的火点监测算法 |
| CN109785569A (zh) * | 2019-01-28 | 2019-05-21 | 中科光启空间信息技术有限公司 | 一种基于3s技术的森林火灾监测方法 |
| CN110333519A (zh) * | 2019-04-26 | 2019-10-15 | 云南电网有限责任公司电力科学研究院 | 基于高轨低轨卫星数据的输电线路山火监测方法及装置 |
| US20190331831A1 (en) * | 2018-04-26 | 2019-10-31 | Jiangsu Meteorological Observatory | Sea fog monitoring method based on multi-source satellite remote sensing data |
-
2020
- 2020-09-08 CN CN202010935341.3A patent/CN112052801B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193093A (zh) * | 2010-03-15 | 2011-09-21 | 北京师范大学 | 环境小卫星hj森林或草原火灾小火点探测系统及其方法 |
| US20170154059A1 (en) * | 2015-11-27 | 2017-06-01 | Inventec (Pudong) Technology Corporation | Environment quality recording system and method, and indoor environment quality recording system |
| US20190331831A1 (en) * | 2018-04-26 | 2019-10-31 | Jiangsu Meteorological Observatory | Sea fog monitoring method based on multi-source satellite remote sensing data |
| CN109214341A (zh) * | 2018-09-13 | 2019-01-15 | 青岛浩海网络科技股份有限公司 | 一种基于Himawari8的火点监测算法 |
| CN109785569A (zh) * | 2019-01-28 | 2019-05-21 | 中科光启空间信息技术有限公司 | 一种基于3s技术的森林火灾监测方法 |
| CN110333519A (zh) * | 2019-04-26 | 2019-10-15 | 云南电网有限责任公司电力科学研究院 | 基于高轨低轨卫星数据的输电线路山火监测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| ZIXI XIE 等: "A Spatiotemporal Contextual Model for Forest Fire Detection Using Himawari-8 Satellite Data", 《REMOTE SENS》 * |
| 曲卫平 等: " 全球环境监测卫星光谱图像可视化系统应用研究", 《光谱学与光谱分析》 * |
| 赵文化等: "基于Himawari-8静止卫星森林火灾识别技术研究", 《安全与环境学报》 * |
| 邹春辉: "卫星遥感火点自动监测系统设计与实现", 《知网硕士论文信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269175A (zh) * | 2021-07-21 | 2021-08-17 | 航天宏图信息技术股份有限公司 | 一种火情监测方法和装置 |
| CN113269175B (zh) * | 2021-07-21 | 2021-10-22 | 航天宏图信息技术股份有限公司 | 一种火情监测方法和装置 |
| CN113657275A (zh) * | 2021-08-16 | 2021-11-16 | 中国科学院空天信息创新研究院 | 一种林草火点自动检测方法 |
| CN116052012A (zh) * | 2022-12-21 | 2023-05-02 | 北京爱特拉斯信息科技有限公司 | 一种基于Himawari-8卫星数据的火点识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112052801B (zh) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112052801B (zh) | 基于Himawari-8的HSD数据火点实时监测自动分析系统 | |
| CN111931565B (zh) | 一种基于光伏电站uav的自主巡检与热斑识别方法及系统 | |
| Wan | MODIS land surface temperature products users’ guide | |
| CN113781342B (zh) | 一种海量多源光学遥感影像快速正射纠正管理方法 | |
| US20100207936A1 (en) | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment | |
| CN103728609A (zh) | 星载多光谱红外传感器交叉辐射定标方法 | |
| CN111914767B (zh) | 一种基于多源遥感数据的散乱污企业检测方法及系统 | |
| CN112557307B (zh) | 天空地一体化湖库水质监测融合数据方法 | |
| CN106887016A (zh) | 一种gf‑4卫星序列图像自动相对配准方法 | |
| CN111651411B (zh) | 一种复杂地形遥感土壤水分产品降尺度方法 | |
| CN113486975A (zh) | 遥感图像的地物分类方法、装置、设备及存储介质 | |
| CN113408111A (zh) | 大气可降水量反演方法及系统、电子设备和存储介质 | |
| CN112837604A (zh) | 确定地图中的目标点的地理坐标的方法和装置 | |
| CN116185616A (zh) | 一种fy-3d mersi l1b数据自动化再处理方法 | |
| Baltsavias | Integration of ortho-images in GIS | |
| CN113096129B (zh) | 高光谱卫星影像中的云量检测方法和装置 | |
| CN115357675A (zh) | 一种像控点标准化处理建设像控点数据库方法和系统 | |
| CN114494859B (zh) | 基于遥感数据的长时间序列积雪遥感数据集构建方法 | |
| KR102220151B1 (ko) | 항공 라이더 결측지역 보완 시스템 및 이를 이용한 보완방법, 상기 보완방법을 수행하는 프로그램 기록매체 | |
| CN116089546A (zh) | 一种台风云系识别方法、系统、终端以及存储介质 | |
| US11481998B2 (en) | Building footprint generation by using clean mask generation and received image data | |
| CN113435574A (zh) | 一种卷积神经网络土壤速效钾分析模型构建系统及方法 | |
| CN108563674B (zh) | 基于rs和gis的海域地理要素测量方法、系统及装置 | |
| CN116109712B (zh) | 望远镜指向天区背景天光的自动测量方法和测量设备 | |
| CN116912476B (zh) | 松材线虫病无人机遥感监测快速定位方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |