CN117113089A - 基于一氧化碳的甲烷数据补全方法、装置、设备及介质 - Google Patents

基于一氧化碳的甲烷数据补全方法、装置、设备及介质 Download PDF

Info

Publication number
CN117113089A
CN117113089A CN202311329469.5A CN202311329469A CN117113089A CN 117113089 A CN117113089 A CN 117113089A CN 202311329469 A CN202311329469 A CN 202311329469A CN 117113089 A CN117113089 A CN 117113089A
Authority
CN
China
Prior art keywords
data
methane
carbon monoxide
area
monitoring concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311329469.5A
Other languages
English (en)
Other versions
CN117113089B (zh
Inventor
朱丽娟
徐彬仁
李梦南
李怀瑞
王伟
邹克旭
田启明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingshi Ruida Technology Co ltd
Original Assignee
Beijing Yingshi Ruida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingshi Ruida Technology Co ltd filed Critical Beijing Yingshi Ruida Technology Co ltd
Priority to CN202311329469.5A priority Critical patent/CN117113089B/zh
Publication of CN117113089A publication Critical patent/CN117113089A/zh
Application granted granted Critical
Publication of CN117113089B publication Critical patent/CN117113089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种基于一氧化碳的甲烷数据补全方法、装置、设备及介质，涉及应对气候变化技术领域，其中，该方法包括：获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据；根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练机器学习组件得到的。该方案可以提高补全甲烷监测浓度数据的时效性、精度、适用于煤炭产区。

Description

基于一氧化碳的甲烷数据补全方法、装置、设备及介质
技术领域
本发明涉及应对气候变化技术领域，特别涉及一种基于一氧化碳数据的甲烷数据分区域补全方法、装置、计算机设备及存储介质。
背景技术
甲烷(CH4)被认为是第二大温室气体，排放后在大气中的滞留时间约为9.1年。由于CH4具有高效吸收红外线辐射的特点，以 100 年计，其全球变暖潜力是二氧化碳的34倍；同时CH4作为臭氧(O3)形成的重要化学前体物质，能够在太阳辐射条件下通过光化学反应产生O3，从而间接引发空气质量问题。截至2020年底，由于人为排放的增加，导致大气中的CH4浓度达到1889±2 ppb，相比于工业化前期增长了262%。
遥感观测具有监测周期短、覆盖范围广、无人为干扰等特点，是监测甲烷排放的有效技术手段。当前处于优势地位的是欧空局发射的Sentinal-5 Precursor（Sentinal-5P）卫星上携带的对流层监测仪器（TROPOMI），TROPOMI于2017年成功发射，提供每日覆盖全球、分辨率为7×7km2的甲烷观测数据。尽管TROPOMI每天至少覆盖整个地球表面一次，但其获取的实际有效的甲烷浓度监测数据受到云和气溶胶等多种因素的限制，实际获取的甲烷数据较为稀疏，大部分地区甲烷数据缺失严重。尽管TROPOMI对一氧化碳和二氧化氮的观测也会受到云和气溶胶的影响，但其有效数据空间覆盖率仍高于甲烷观测数据。
国内甲烷遥感监测数据的补全主要是基于单一来源的甲烷数据，对多时相的甲烷观测数据进行求平均或插值处理，以增加数据覆盖范围。例如，通过对2020年全年的甲烷数据求取均值，利用均值对2020年全年的甲烷观测数据进行补全，来获取较高的数据覆盖率，但仍不能完全覆盖所有区域。
此外，也有通过采用其它与CH4相关性较强的数据进行补全，如美国二叠纪盆地CH4反演案例，考虑到油气生产时将同时产生CH4和NO2，这主要是考虑到两种气体在油气生产过程中具体同源性，因此可以利用NO2对CH4进行建模和反演，补全CH4数据。
总体来说，目前针对甲烷反演研究较少，且主要存在以下的缺陷：
（1）以插值或者计算均值的方法，得到的补全的甲烷监测数据的时效性和精度无法满足需求。
对多时相的甲烷数据计算均值的方法，获取的结果在时间尺度上较长，常以月、季、年等形式提供甲烷监测的结果，无法满足甲烷实时监测的需求。而通过插值补全甲烷数据的方法，对于原始输入的CH4数据空间分布的均匀性有较高的要求，否则会导致插值的结果精度较低。
（2）以NO2数据为基础的补全方法适用范围有限。
二叠纪盆地案例中利用NO2数据方法反演补全甲烷数据，二叠纪盆地是美国石油和天然气产量最高的盆地，大量的石油和天燃气的生产是NO2排放的主要来源，不适用于其他等NO2来源复杂的区域，因此该方法的适用范围具有一定的局限性，而我国是全球产煤大国，煤炭是甲烷重要的人为排放源之一，即以NO2数据为基础的补全方法不适用于我国的甲烷数据补全。
发明内容
有鉴于此，本发明实施例提供了一种基于一氧化碳（CO）数据的甲烷数据分区域补全方法，以解决现有技术中甲烷数据的补全方案存在时效性低、精度低、不适用于煤炭产区的技术问题。该方法包括：
获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据；
根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个子区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练机器学习组件得到的。
本发明实施例还提供了一种基于CO数据的甲烷数据分区域补全装置，以解决现有技术中甲烷数据的补全方案存在时效性低、精度低、不适用于煤炭产区的技术问题。该装置包括：
数据获取模块，用于获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据；
数据补全模块，用于根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练得到的。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于CO数据的甲烷数据分区域补全方法，以解决现有技术中甲烷数据的补全方案存在时效性低、精度低、不适用于煤炭产区的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于CO数据的甲烷数据分区域补全方法的计算机程序，以解决现有技术中甲烷数据的补全方案存在时效性低、精度低、不适用于煤炭产区的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：提出了在甲烷和一氧化碳具有同源性的待监测区域，根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，在每个区域获取当前甲烷监测浓度数据和当前一氧化碳监测浓度数据，并根据所述当前一氧化碳监测浓度数据，通过补全模型，对所述当前甲烷监测浓度数据进行补全。实现了可以基于补全模型及时、实时的、分区域的进行当前甲烷监测浓度数据的补全，有利于提高补全甲烷监测浓度数据的时效性；同时，避免了通过插值补全方式对甲烷数据进行补全，补全模型对待补全的甲烷监测浓度数据的空间分布不做要求，避免了甲烷监测浓度数据的空间分布情况对补全的影响；提出了一种根据甲烷与一氧化碳的相关性程度区域进行补全的思路，有利于将全局分为与补全参数的高相关性区域与低相关性区域，进而基于相关性高的甲烷与一氧化碳作为样本数据训练的补全模型对各个分区进行甲烷数据补全，有利于提高补全的反演精度，通过补全算法也进一步增加了低相关性区域的甲烷数据的完整性，进而提高了全局甲烷监测浓度数据的精度和空间分布效果；此外，以一氧化碳监测浓度数据为基础数据对甲烷监测浓度数据进行补偿，该补全方式适用于煤炭产区等甲烷和一氧化碳具有同源性的区域，且甲烷和一氧化碳具备强关联性，有利于进一步提高甲烷和一氧化碳具有同源性的区域补全甲烷监测浓度数据的精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于CO数据的甲烷数据分区域补全方法的流程图；
图2是本发明实施例提供的一种煤矿区域CO观测值与CH4的相关性的示意图；
图3是本发明实施例提供的一种非煤矿区域CO观测值与CH4的相关性的示意图；
图4是本发明实施例提供的一种CH4原始观测数据的分布示意图；
图5是本发明实施例提供的一种补全后CH4浓度的分布示意图；
图6是本发明实施例提供的一种实施上述甲烷数据的补全方法的流程图；
图7是本发明实施例提供的一种计算机设备的结构框图；
图8是本发明实施例提供的一种基于CO数据的甲烷数据分区域补全装置的结构框图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请发明人发现，我国是全球产煤大国，煤炭是甲烷重要的人为排放源之一，据统计2018年我国因煤炭开采产生的CH4排放量达到了1987万吨。但是针对煤矿等CH4高排放场景或区域，CH4的补全方法还鲜有研究，已明显不满足目前我国对CH4重点排放区域的监测需求，因此，提出了上述基于CO数据的甲烷数据分区域补全方法，以实现对煤矿等CH4高排放场景或区域有针对性地提供完善的、有效的CH4补全方法。
在本发明实施例中，提供了一种基于CO数据的甲烷数据分区域补全方法，如图1所示，该方法包括：
步骤S101：获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据，具体的，所述待监测区域为甲烷和一氧化碳具有同源性的区域，即待监测区域在产生甲烷的同时，也产生一氧化碳；
步骤S102：根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练机器学习组件得到的。
由图1所示的流程可知，在本发明实施例中，实现了可以基于补全模型及时、实时的、分区域的进行当前甲烷监测浓度数据的补全，有利于提高补全甲烷监测浓度数据的时效性；同时，避免了通过插值补全方式对甲烷数据进行补全，补全模型对待补全的甲烷监测浓度数据的空间分布不做要求，避免了甲烷监测浓度数据的空间分布情况对补全的影响；提出了一种根据甲烷与一氧化碳的相关性程度区域进行补全的思路，有利于将全局分为与补全参数的高相关性区域与低相关性区域，进而基于相关性高的甲烷与一氧化碳作为样本数据训练的补全模型对各个分区进行甲烷数据补全，有利于提高补全的反演精度，通过补全算法也进一步增加了低相关性区域的甲烷数据的完整性，进而提高了全局甲烷监测浓度数据的精度和空间分布效果；此外，以一氧化碳监测浓度数据为基础数据对甲烷监测浓度数据进行补偿，该补全方式适用于煤炭产区等甲烷和一氧化碳具有同源性的区域，且甲烷和一氧化碳具备强关联性，有利于进一步提高甲烷和一氧化碳具有同源性的区域补全甲烷监测浓度数据的精度。
具体实施时，在基于一氧化碳对甲烷进行补全的过程，可以将待监测区域作为一个整体，构建补全模型来补全甲烷数据，但是，本申请发明人发现，待监测区域的全部数据都参与模型的构建和反演，未对数据进行区分，有些部分区域数据和相关参数之间的关联性较差，这些区域可能会降低高关联性区域的精度，进而影响整体数据反演的精度，导致反演结果精度较低；为了进一步提高补全甲烷的精度，还提出了将待监测区域根据甲烷与一氧化碳的相关性程度划分区域和分区域使用补全模型进行甲烷补全的方法，例如，依据煤矿的空间分布范围进行分区，分为煤矿区（即上述第一区域，也为高相关性区域）、非煤矿区（即上述第二区域，也为低相关性区域），并在不同区域分别构建补全模型，通过分区反演的思路借助机器学习的补全模型来补全甲烷浓度数据。相比于不划分区域的统一构建模型的思路，由于非矿区内CH4与CO数据的相关性较低，会降低整个反演模型的精度，而分区的方法则不存在这个问题，有利于提高补全的精度。例如，根据所述待监测区域中煤矿的分布情况，将所述待监测区域划分为至少一个第一区域和至少一个第二区域，其中，所述第一区域包括煤矿的分布点，所述第二区域未包括煤矿的分布点；
根据所述第一区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一区域的当前甲烷监测浓度数据进行补全；
根据所述第二区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二区域的当前甲烷监测浓度数据进行补全。
具体实施时，通过以下步骤实现对煤矿区域的甲烷补全，例如，所述根据所述第一区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一区域的当前甲烷监测浓度数据进行补全，包括：
针对所述第一区域中未检测到当前甲烷监测浓度数据的第一子区域，根据所述第一子区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一子区域的当前甲烷监测浓度数据进行补全，其中，所述第一补全模型是根据所述第一区域中指定区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练得到的，所述指定区域检测到当前甲烷监测浓度数据且当前甲烷监测浓度数据与当前一氧化碳监测浓度数据的相关性大于预设值。
具体实施时，第一区域中同时存在CH4、CO数据且CH4和CO数据的相关性程度大于预设值的区域即为上述指定区域，我们对其进行统计，分析矿区内CH4和CO数据相关性，如图2所示，相关性R2=0.6773，并利用机器学习算法对其建模，例如，可以采用分层贝叶斯算法来构建上述第一补全模型：
式中，Υ是指CH4和CO的函数关系，t是指日期；和/>分别指同一天CH4和CO拟合曲线的截距和斜率，/>是指标准差；/>和/>分别指CH4和CO数据的反演精度的标准差。在上述第一补全模型中可以实现通过以下线性关系来补全甲烷：
y=109.31ln（x）+1501.2
其中，y为补全后的甲烷数据，x为CO数据，109.31为通过上述贝叶斯算法建模得到的斜率，1501.2为通过上述分层贝叶斯算法建模得到的截距。
得到上述第一补全模型后，对第一区域中只有CO数据而没有CH4数据的区域（即上述第一子区域），即可根据第一子区域的当前CO数据采用上述第一补全模型进行反演得到补全后的CH4数据。
具体实施时，通过以下步骤实现对非煤矿区域的甲烷补全，例如，所述根据所述第二区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二区域的当前甲烷监测浓度数据进行补全，包括：
针对所述第二区域中未检测到当前甲烷监测浓度数据的第二子区域，根据所述第二子区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二子区域的当前甲烷监测浓度数据进行补全，其中，所述第二补全模型是通过所述第一补全模型的超参数传递，且以所述第一补全模型补全所述第一子区域的计算结果的后验作为先验得到的。
具体实施时，如图3所示，非煤矿区域（即上述第二区域）中CH4和CO数据的相关性如图3所示，相关性R2=0.0973，CH4与CO数据的相关性程度较低，为了进一步提高非煤矿区域的补全甲烷的精度，上述第二补全模型是通过所述第一补全模型的超参数传递，且以所述第一补全模型补全所述第一子区域的计算结果的后验作为先验得到的，即我们在对煤矿区域建模反演的基础上，利用机器学习中超参数传递的特点，以已经获取煤矿区域计算结果的后验并以此作为非煤矿区域的先验，最终依据分层贝叶斯算法得到非煤矿区域的补全算法（上述第二补全模型）：
式中，Υ是指CH4和CO的函数关系，和/>分别指CH4和CO拟合曲线的截距和斜率，/>是指标准差；/>和/>分别指矿区CH4和CO数据的反演精度的标准差，由矿区反演结果得到；N是CH4和CO数据对的数量，数据对指同一位置上既有CO数据又有CH4。在上述第二补全模型中可以实现通过以下线性关系来补全甲烷：
y=16092x+62.326
其中，y为补全后的甲烷数据，x为CO数据，16092为通过上述分层贝叶斯算法建模得到的斜率，62.326为通过上述分层贝叶斯算法建模得到的截距。
具体实施时，在构建上述第一补全模型的过程中，为了提高计算的便捷性、提高计算效率，将CH4与CO两种数据组合到同一个数据中，用不同的波段表示不同的数据类型，其中，第一波段为CH4数据，第二波段为CO数据。例如，根据所述第一区域中检测到当前甲烷监测浓度数据的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据进行训练得到所述第一补全模型之前，将所述历史甲烷监测浓度数据和所述历史一氧化碳监测浓度数据组合为同一个数据，在所述同一个数据中，所述历史甲烷监测浓度数据为第一波段数据，所述历史一氧化碳监测浓度数据为第二波段数据。
具体实施时，在将CH4与CO两种数据组合到同一个数据中之前，还可以将CH4与CO进行重采样，得到具有相同的空间分辨率的CH4与CO数据，例如，CH4数据的空间分辨率为5.5km×7 km，CO数据的空间分辨率为3.5 km×7 km，利用重采样将CH4与CO的空间分辨率统一为7km×7 km。
具体实施时，待监测区域中未经补全CH4原始观测数据的分布情况如图4所示，基于待监测区域中CO原始观测数据的分布情况，通过上述甲烷数据的补全方法，待监测区域中补全后CH4浓度数据的分布情况如图5所示，通过对比图4和图5可知，上述甲烷数据的补全方法能够有效提升待监测区域内部的CH4数据的空间覆盖率，可以弥补部分区域CH4监测数据的严重缺失的不足，以提高CH4数据空间监测的全面性。
具体实施时，以下结合图6来详细介绍实施上述甲烷数据的补全方法的过程，该过程包括以下步骤：
1、数据收集
Sentinel-5P 卫星是欧洲航天局(European Space Agency, ESA)于 2017 年 10月发射的专门用于监测全球大气污染物的单有效载荷卫星所搭载的对流层大气监测仪(Tropospheric Monitoring Instrument, TROPOMI)是当前最新的大气成分探测器之一。可以使用 Sentinel-5P 采集的CH4数据和CO数据。
2、格式转换
Sentinel-5P数据的存储格式为NetCDF (network Common Data Form)格式，一个NetCDF数据集包含维(dimensions)、变量(variables)和属性(attributes)三种描述类型，利用NetCDF可以对网格数据进行高效地存储、管理、获取和分发等操作。但是NetCDF不方便计算。因此，我们将CH4数据和CO数据转为图像tiff格式。
3、数据质量控制
在格式转换后，我们依据原始数据中的的质量控制波段（qa_value）数据，筛选数据质量，剔除质量较差的数据，例如，对于CH4数据和CO数据，我们的质量控制标准分别为0.5及0.75。即当CH4数据的qa_value值高于0.5、CO数据的qa_value值高于0.75时，CH4数据和CO数据为高质量数据，才可用于后续的计算。其中qa_value值来源于数据产品的属性描述中。
4、数据重采样
CH4数据和CO数据的空间分辨率不同，其中CH4数据的空间分辨率为5.5 km×7 km，CO数据的空间分辨率为3.5 km×7 km，最终，利用重采样将CH4数据和CO数据的空间分辨率统一为7km×7 km。
5、CH4与CO数据组合
CH4与CO数据具有相同的空间分辨率，均为7km×7 km，因此，为了便于计算，我们将两种数据组合到同一个数据中，用不同的波段表示不同的数据类型，其中，第一波段为CH4数据，第二波段为CO数据。
6、分区建模及计算
根据现有的矿区分布数据，对待监测区域进行划分，获取矿区（即上述第一区域）与非矿区（即上述第二区域）范围。并在第5步的基础上分别提取出矿区、非矿区的CH4、CO数据。
在矿区范围内：
（1）同时存在的CH4、CO数据的区域，对CH4、CO数据进行统计，分析矿区内CH4和CO数据相关性，并利用机器学习算法对CH4和CO数据建模，机器学习建模构造如下，可以采用分层贝叶斯算法（即上述上述第一补全模型）：
式中，t是指日期；和/>分别指同一天CH4和CO拟合曲线的截距和斜率，/>是指标准差；/>和/>分别指CH4和CO数据的反演精度的标准差。
在上述第一补全模型中可以实现通过以下线性关系来补全甲烷：
y=109.31ln（x）+1501.2
（2）对只有CO数据而没有CH4数据的区域（即上述第一子区域），根据CO数据，通过（1）中获取的模型进行反演，得到补全后的甲烷数据。
在非矿区范围内：
（1）对于只有CO数据而没有CH4数据的区域（即上述第二子区域），我们在对煤矿区域建模反演的基础上，我们利用机器学习中超参数传递的特点，以已经获取煤矿区域计算结果的后验并以此作为非煤矿区域的先验，最终依据分层贝叶斯算法得到非煤矿区域的补全算法（即上述第二补全模型）：
式中，和/>分别指CH4和CO拟合曲线的截距和斜率，/>是指标准差；/>和/>分别指矿区CH4和CO数据的反演精度的标准差，由矿区反演结果得到。在上述第二补全模型中可以实现通过以下线性关系来补全甲烷：
y=16092x+62.326。
具体的，从数据的获取时间上来说，以Sentinel-5P数据为例，Sentinel-5P的重访周期为1天，但是受到云、大气等多种因素的影响，对于同一区域来说，直接获取的卫星遥感CH4数据两期之间间隔时间不稳定，间隔时间长，通常来说大部分区域获取的CH4数据时间分辨率都会长于1天；而利用上述甲烷数据的补全方法对CH4数据补全后，可以获取逐日的CH4数据，显著提高了CH4数据获取的时效性，及时反映CH4数据的动态变化情况。
从数据覆盖的空间范围上来说，同一时期内不同区域获取的数据覆盖情况差异较大，尤其CH4监测在夏季受到降水的影响较大，部分区域甚至几乎完全没有CH4卫星遥感监测数据的分布，不利于对不同区域CH4的监测和分析，经过上述甲烷数据的补全方法能够有效提升区域内部的CH4数据空间覆盖率，弥补部分区域CH4监测数据的严重缺失的不足，提高CH4数据空间监测的全面性。
在本实施例中，提供了一种计算机设备，如图7所示，包括存储器701、处理器702及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的甲烷数据的补全方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的甲烷数据的补全方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种基于CO数据的甲烷数据分区域补全装置，如下面的实施例所述。由于基于CO数据的甲烷数据分区域补全装置解决问题的原理与基于CO数据的甲烷数据分区域补全方法相似，因此基于CO数据的甲烷数据分区域补全装置的实施可以参见基于CO数据的甲烷数据分区域补全方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是本发明实施例的基于一氧化碳（CO）数据的甲烷数据分区域补全装置的一种结构框图，如图8所示，该装置包括：
数据获取模块801，用于获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据；
数据补全模块802，用于根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练机器学习组件得到的。
在一个实施例中，所述数据补全模块，包括：
区域划分单元，用于根据所述待监测区域中煤矿的分布情况，将所述待监测区域划分为至少一个第一区域和至少一个第二区域，其中，所述第一区域包括煤矿的分布点，所述第二区域未包括煤矿的分布点；
第一补全单元，用于根据所述第一区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一区域的当前甲烷监测浓度数据进行补全；
第二补全单元，用于根据所述第二区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二区域的当前甲烷监测浓度数据进行补全。
在一个实施例中，第一补全单元，用于针对所述第一区域中未检测到当前甲烷监测浓度数据的第一子区域，根据所述第一子区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一子区域的当前甲烷监测浓度数据进行补全，其中，所述第一补全模型是根据所述第一区域中指定区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练得到的，所述指定区域检测到当前甲烷监测浓度数据且当前甲烷监测浓度数据与当前一氧化碳监测浓度数据的相关性程度大于预设值。
在一个实施例中，第二补全单元，用于针对所述第二区域中未检测到当前甲烷监测浓度数据的第二子区域，根据所述第二子区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二子区域的当前甲烷监测浓度数据进行补全，其中，所述第二补全模型是通过所述第一补全模型的超参数传递，且以所述第一补全模型补全所述第一子区域的计算结果的后验作为先验得到的。
在一个实施例中，所述装置还包括：
数据处理模块，用于根据所述第一区域中检测到当前甲烷监测浓度数据的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据进行训练得到所述第一补全模型之前，将所述历史甲烷监测浓度数据和所述历史一氧化碳监测浓度数据组合为同一个数据，在所述同一个数据中，所述历史甲烷监测浓度数据为第一波段数据，所述历史一氧化碳监测浓度数据为第二波段数据。
本发明实施例实现了如下技术效果：实现了可以基于补全模型及时、实时的进行当前甲烷监测浓度数据的补全，有利于提高补全甲烷监测浓度数据的时效性；同时，避免了通过插值补全方式对甲烷数据进行补全，补全模型对甲烷监测浓度数据的空间分布不做要求，避免了甲烷监测浓度数据的空间分布情况对补全的影响，进而有利于提高补全甲烷监测浓度数据的精度；此外，以一氧化碳监测浓度数据为基础数据对甲烷监测浓度数据进行补偿，该补全方式适用于煤炭产区等甲烷和一氧化碳具有同源性的区域，且甲烷和一氧化碳具备强关联性，有利于进一步提高甲烷和一氧化碳具有同源性的区域补全甲烷监测浓度数据的精度。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于一氧化碳数据的甲烷数据分区域补全方法，其特征在于，包括：
获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据；
根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练机器学习组件得到的。
2.如权利要求1所述的基于一氧化碳数据的甲烷数据分区域补全方法，其特征在于，所述根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，包括：
根据所述待监测区域中煤矿的分布情况，将所述待监测区域划分为至少一个第一区域和至少一个第二区域，其中，所述第一区域包括煤矿的分布点，所述第二区域未包括煤矿的分布点；
根据所述第一区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一区域的当前甲烷监测浓度数据进行补全；
根据所述第二区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二区域的当前甲烷监测浓度数据进行补全。
3.如权利要求2所述的基于一氧化碳数据的甲烷数据分区域补全方法，其特征在于，所述根据所述第一区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一区域的当前甲烷监测浓度数据进行补全，包括：
针对所述第一区域中未检测到当前甲烷监测浓度数据的第一子区域，根据所述第一子区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一子区域的当前甲烷监测浓度数据进行补全，其中，所述第一补全模型是根据所述第一区域中指定区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练得到的，所述指定区域检测到当前甲烷监测浓度数据且当前甲烷监测浓度数据与当前一氧化碳监测浓度数据的相关性程度大于预设值。
4.如权利要求3所述的基于一氧化碳数据的甲烷数据分区域补全方法，其特征在于，所述根据所述第二区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二区域的当前甲烷监测浓度数据进行补全，包括：
针对所述第二区域中未检测到当前甲烷监测浓度数据的第二子区域，根据所述第二子区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二子区域的当前甲烷监测浓度数据进行补全，其中，所述第二补全模型是通过所述第一补全模型的超参数传递，且以所述第一补全模型补全所述第一子区域的计算结果的后验作为先验得到的。
5.如权利要求4所述的基于一氧化碳数据的甲烷数据分区域补全方法，其特征在于，所述第一补全模型和所述第二补全模型均是通过分层贝叶斯算法实现的。
6.如权利要求3至5中任一项所述的基于一氧化碳数据的甲烷数据分区域补全方法，其特征在于，所述方法还包括：
根据所述第一区域中检测到当前甲烷监测浓度数据的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据进行训练得到所述第一补全模型之前，将所述历史甲烷监测浓度数据和所述历史一氧化碳监测浓度数据组合为同一个数据，在所述同一个数据中，所述历史甲烷监测浓度数据为第一波段数据，所述历史一氧化碳监测浓度数据为第二波段数据。
7.一种基于一氧化碳数据的甲烷数据分区域补全装置，其特征在于，包括：
数据获取模块，用于获取待监测区域的当前甲烷监测浓度数据和当前一氧化碳监测浓度数据；
数据补全模块，用于根据甲烷与一氧化碳的相关性程度，将所述待监测区域划分为不同的区域，根据每个区域的所述当前一氧化碳监测浓度数据，通过补全模型，对每个区域的所述当前甲烷监测浓度数据进行补全，其中，所述补全模型是通过所述待监测区域中甲烷与一氧化碳的相关性程度达到预设值的区域的历史甲烷监测浓度数据和历史一氧化碳监测浓度数据训练得到的。
8.如权利要求7所述的基于一氧化碳数据的甲烷数据分区域补全装置，其特征在于，所述数据补全模块，包括：
区域划分单元，用于根据所述待监测区域中煤矿的分布情况，将所述待监测区域划分为至少一个第一区域和至少一个第二区域，其中，所述第一区域包括煤矿的分布点，所述第二区域未包括煤矿的分布点；
第一补全单元，用于根据所述第一区域的当前一氧化碳监测浓度数据，通过第一补全模型，对所述第一区域的当前甲烷监测浓度数据进行补全；
第二补全单元，用于根据所述第二区域的当前一氧化碳监测浓度数据，通过第二补全模型，对所述第二区域的当前甲烷监测浓度数据进行补全。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的基于一氧化碳数据的甲烷数据分区域补全方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6中任一项所述的基于一氧化碳数据的甲烷数据分区域补全方法的计算机程序。
CN202311329469.5A 2023-10-16 2023-10-16 基于一氧化碳的甲烷数据补全方法、装置、设备及介质 Active CN117113089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311329469.5A CN117113089B (zh) 2023-10-16 2023-10-16 基于一氧化碳的甲烷数据补全方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311329469.5A CN117113089B (zh) 2023-10-16 2023-10-16 基于一氧化碳的甲烷数据补全方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117113089A true CN117113089A (zh) 2023-11-24
CN117113089B CN117113089B (zh) 2024-01-23

Family

ID=88805717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311329469.5A Active CN117113089B (zh) 2023-10-16 2023-10-16 基于一氧化碳的甲烷数据补全方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117113089B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477130A (zh) * 2009-01-20 2009-07-08 新奥科技发展有限公司 气体分析预处理系统
CN111310103A (zh) * 2020-02-27 2020-06-19 谢国宇 生态环境监测数据的稠密化处理方法
US20200340964A1 (en) * 2019-04-20 2020-10-29 Bacharach, Inc. Differential monitoring systems for carbon dioxide levels as well as methods of monitoring same
CN114330146A (zh) * 2022-03-02 2022-04-12 北京英视睿达科技股份有限公司 一种卫星气体数据补全方法和系统
WO2023056682A1 (zh) * 2021-10-09 2023-04-13 中国人民解放军国防科技大学 基于人工智能的臭氧层预报算法
CN116143074A (zh) * 2021-11-19 2023-05-23 中国石油天然气集团有限公司 一种用于煤炭地下粗煤气提纯分离的系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477130A (zh) * 2009-01-20 2009-07-08 新奥科技发展有限公司 气体分析预处理系统
US20200340964A1 (en) * 2019-04-20 2020-10-29 Bacharach, Inc. Differential monitoring systems for carbon dioxide levels as well as methods of monitoring same
CN111310103A (zh) * 2020-02-27 2020-06-19 谢国宇 生态环境监测数据的稠密化处理方法
WO2023056682A1 (zh) * 2021-10-09 2023-04-13 中国人民解放军国防科技大学 基于人工智能的臭氧层预报算法
CN116143074A (zh) * 2021-11-19 2023-05-23 中国石油天然气集团有限公司 一种用于煤炭地下粗煤气提纯分离的系统及方法
CN114330146A (zh) * 2022-03-02 2022-04-12 北京英视睿达科技股份有限公司 一种卫星气体数据补全方法和系统

Also Published As

Publication number Publication date
CN117113089B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
Hahmann et al. The making of the New European Wind Atlas–part 1: model sensitivity
Fischer et al. Observed heavy precipitation increase confirms theory and early models
Zhang et al. Future projections of offshore wind energy resources in China using CMIP6 simulations and a deep learning-based downscaling method
CN113297528A (zh) 一种基于多源大数据的no2高分辨率时空分布计算方法
Hember Spatially and temporally continuous estimates of annual total nitrogen deposition over North America, 1860–2013
Ying et al. Modeling air quality during the California Regional PM10/PM2. 5 Air Quality Study (CRPAQS) using the UCD/CIT source-oriented air quality model–Part I. Base case model results
Lu et al. Estimated global nitrogen deposition using NO2 column density
Barna et al. Modeling ozone formation and transport in the Cascadia region of the Pacific Northwest
Susini et al. Climate change impact on the offshore wind energy over the North Sea and the Irish Sea
Russell et al. Spatially modeling the effects of meteorological drivers of PM2. 5 in the Eastern United States via a local linear penalized quantile regression estimator
Rauniyar et al. The role of internal variability and external forcing on southwestern Australian rainfall: prospects for very wet or dry years
Zhao et al. Reconciling the bottom-up and top-down estimates of the methane chemical sink using multiple observations
Huang et al. A simplified multi-model statistical approach for predicting the effects of forest management on land surface temperature in Fennoscandia
Chevallier On the parallelization of atmospheric inversions of CO 2 surface fluxes within a variational framework
Keller et al. Description of the NASA GEOS composition forecast modeling system GEOS-CF v1. 0
Pinheiro et al. Are Cut-off Lows simulated better in CMIP6 compared to CMIP5?
Zhu et al. A pseudoproxy emulation of the PAGES 2k database using a hierarchy of proxy system models
Antonini et al. Identification of reliable locations for wind power generation through a global analysis of wind droughts
CN117113089B (zh) 基于一氧化碳的甲烷数据补全方法、装置、设备及介质
CN118132641A (zh) 基于大气污染数据空间网格划分方法、系统、设备及介质
Buch et al. SMLFire1. 0: a stochastic machine learning (SML) model for wildfire activity in the western United States
Erickson III et al. The seasonal cycle of atmospheric CO2: A study based on the NCAR Community Climate Model (CCM2)
Chen et al. Convection‐permitting ICON‐LAM simulations for renewable energy potential estimates over Southern Africa
Madaus et al. Hyper-local, efficient extreme heat projection and analysis using machine learning to augment a hybrid dynamical-statistical downscaling technique
Daines et al. Model-based projections and uncertainties of near-surface wind climate in western Canada

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant