CN112966656A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN112966656A
CN112966656A CN202110336917.9A CN202110336917A CN112966656A CN 112966656 A CN112966656 A CN 112966656A CN 202110336917 A CN202110336917 A CN 202110336917A CN 112966656 A CN112966656 A CN 112966656A
Authority
CN
China
Prior art keywords
observation data
observation
ice
classification result
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110336917.9A
Other languages
English (en)
Inventor
石立坚
王其茂
施英妮
曾韬
张茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL SATELLITE OCEAN APPLICATION SERVICE
Original Assignee
NATIONAL SATELLITE OCEAN APPLICATION SERVICE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL SATELLITE OCEAN APPLICATION SERVICE filed Critical NATIONAL SATELLITE OCEAN APPLICATION SERVICE
Priority to CN202110336917.9A priority Critical patent/CN112966656A/zh
Publication of CN112966656A publication Critical patent/CN112966656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种数据处理方法及装置。数据处理方法，包括：获取第一识别模型；所述第一识别模型为基于第一观测数据和所述第一观测数据对应的冰水分类结果建立的模型；所述第一观测数据为卫星前一日采集到的观测数据；获取第二观测数据；所述第二观测数据为所述卫星当日采集到的观测数据；根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果。该方法用以提高海冰识别的准确度、时效性和效率。

Description

数据处理方法及装置
技术领域
本申请涉及海洋监测技术领域，具体而言，涉及一种数据处理方法及装置。
背景技术
现有技术中，利用海洋卫星监测到的数据，可以对海冰进行识别，即识别出海洋中的海冰和海水。
在进行识别时，传统的方法需要利用外部数据(比如先验数据)作为输入，然后利用最大似然估计或贝叶斯方法等建立识别模型，该识别模型可用于对海冰进行识别。该种方法对外部数据的准确度要求较高，且外部数据的输入会降低时效性和效率；以及该识别模型并未考虑到观测数据的季节性变化，使得识别模型在不同季节不同月份的精度不一致，比如：若识别模型是基于冬天的数据构建的，则当其用于夏天的海冰进行识别时，准确度较差。
因此，现有的海冰识别方式的准确度、时效性和效率都较差。
发明内容
本申请实施例的目的在于提供一种数据处理方法及装置，用以提高海冰识别的准确度、时效性和效率。
第一方面，本申请实施例提供一种数据处理方法，包括：获取第一识别模型；所述第一识别模型为基于第一观测数据和所述第一观测数据对应的冰水分类结果建立的模型；所述第一观测数据为卫星前一日采集到的观测数据；获取第二观测数据；所述第二观测数据为所述卫星当日采集到的观测数据；根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果。
在本申请实施例中，与现有技术相比，一方面，构建识别模型的基础为卫星每日采集到的观测数据，不需要依靠大量的外部数据输入，可以提高识别的时效性和效率。另一方面，对于当日的冰水分类结果，其对应的识别模型为基于前一日的观测数据和冰水分类结果所构建的模型，充分考虑到季节变化对识别模型的精度的影响，季节变更时，识别模型也会对应变更，避免观测数据的季节性变更导致识别模型无法准确识别的问题，能够提高识别模型的准确度。
作为一种可能的实现方式，所述获取第一识别模型包括：获取第一观测数据和所述第一观测数据对应的冰水分类结果；对所述第一观测数据进行预处理，获得预处理后的第一观测数据；根据所述第一观测数据对应的冰水分类结果确定所述预处理后的第一观测数据对应的分类标签；所述分类标签包括海冰和海水；根据所述预处理后的第一观测数据对应的分类标签和所述预处理后的第一观测数据建立所述第一识别模型。
在本申请实施例中，先对第一观测数据进行预处理，然后确定预处理后的第一观测数据对应的分类标签，以及根据预处理后的第一观测数据和其对应的分类标签建立第一识别模型，实现第一识别模型的有效构建。
作为一种可能的实现方式，所述根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果，包括：对所述第二观测数据进行预处理，获得预处理后的第二观测数据；将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果。
在本申请实施例中，由于第一识别模型在建立时的数据是经过预处理的观测数据，因此，在应用第一识别模型时，先将第二观测数据进行预处理后再输入到第一识别模型中，提高冰水分类结果的准确性。
作为一种可能的实现方式，所述对所述第二观测数据进行预处理，获得预处理后的第二观测数据，包括：去除所述第二观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第二观测数据。
在本申请实施例中，通过去除陆地观测值，能够避免陆地观测值对冰水分类结果的影响；以及通过去除无效观测值，避免无效观测值对冰水分类结果的影响；进而提高冰水分类结果的准确性。
作为一种可能的实现方式，所述对所述第一观测数据进行预处理，获得预处理后的第一观测数据，包括：去除所述第一观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第一观测数据。
在本申请实施例中，通过去除陆地观测值，能够避免陆地观测值对第一识别模型的建立的影响；以及通过去除无效观测值，避免无效观测值对第一识别模型的建立的影响；进而提高第一识别模型的准确度。
作为一种可能的实现方式，在所述将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果之后，所述方法还包括：通过预设的海冰误判像素去除算法对所述冰水分类结果进行后处理，获得后处理后的冰水分类结果。
在本申请实施例中，在获得初始的分类结果之后，利用海冰误判像素去除算法进行后处理，可以避免海冰误判像素对于冰水分类结果的影响，最终获得的冰水分类结果准确度更高。
作为一种可能的实现方式，在所述将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果后，所述方法还包括：根据所述第二观测数据对应的冰水分类结果确定第三观测数据；所述第三观测数据为所述第二观测数据中冰水分类结果为海冰的观测数据；获取第二识别模型；所述第二识别模型为基于第四观测数据和所述第四观测数据对应的海冰类型分类结果建立的模型；所述第四观测数据为所述第一观测数据中冰水分类结果为海冰的观测数据；根据所述第二识别模型和所述第三观测数据确定所述第三观测数据对应的海冰类型分类结果。
在本申请实施例中，对于海冰类型的识别，构建识别模型的基础也为卫星每日采集到的观测数据，不需要依靠大量的外部数据输入，可以提高识别的时效性和效率。另一方面，对于当日的海冰分类结果，其对应的识别模型为基于前一日的海冰的观测数据和海冰分类结果所构建的模型，充分考虑到季节变化对识别模型的精度的影响，季节变更时，识别模型也会对应变更，避免观测数据的季节性变更导致识别模型无法准确识别的问题，能够提高识别模型的准确度。
作为一种可能的实现方式，所述获取第二识别模型包括：根据所述第一观测数据对应的冰水分类结果确定第四观测数据；获取所述第四观测数据对应的海冰类型分类结果；根据所述第四观测数据对应的海冰类型分类结果确定所述第四观测数据对应的分类标签；所述分类标签包括一年冰和多年冰；根据所述第四观测数据对应的分类标签和所述第四观测数据建立所述第二识别模型。
在本申请实施例中，先确定前一日的海冰的观测数据，然后基于前一日的海冰的观测数据和其海冰类型分类结果确定前一日的海冰的观测数据对应的分类标签，最后实现第二识别模型的有效建立。
作为一种可能的实现方式，所述卫星上装载有微波散射计和扫描微波辐射计；在所述获取第一观测数据之前，所述方法还包括：确定所述微波散射计和所述扫描微波辐射计分别对应的敏感参数；所述第一观测数据为所述敏感参数对应的观测数据；所述第二观测数据为所述敏感参数对应的观测数据。
在本申请实施例中，通过确定卫星上的荷载分别对应的敏感参数，观测数据为敏感参数对应的观测数据，使观测数据能够更好的用于冰水分类。
作为一种可能的实现方式，所述确定所述微波散射计和所述扫描微波辐射计分别对应的敏感参数，包括：确定所述微波散射计和所述扫描微波辐射计分别对应的观测参数的类间距；根据所述观测参数的类间距和预设的类间距值确定所述敏感参数。
在本申请实施例中，通过观测参数的类间距，对观测参数对于冰水分类结果的影响程度进行评估，实现敏感参数的有效确定。
第二方面，本申请实施例提供一种数据处理装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的数据处理方法的各个功能模块。
第三方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的数据处理方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的数据处理方法的流程图；
图2为本申请实施例提供的数据处理装置的结构示意图。
图标：200-数据处理装置；210-获取模块；220-处理模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
为了便于理解本申请实施例提供的技术方案，在对技术方案进行介绍之前，先对应用场景以及硬件运行环境进行介绍。
本申请实施例的技术方案可以应用于北极的冰水识别和海冰类型识别，当然，如果有其他海洋的海洋环境或者海洋条件与北极的相同或者类似，也可以采用本申请实施例的技术方案进行相应识别。
冰水识别，可以理解为对北极的海冰范围和海水范围进行划分，海冰范围内大部分都是冰，海水范围内大部分都是水。海冰类型识别，可以理解为对海冰范围内的冰的类型进行识别，包括一年冰、多年冰等。在本申请实施例提供的技术方案中，先进行冰水识别，在获得冰水识别结果之后，针对海冰范围，再进行海冰类型识别；如果冰水识别结果中没有海冰范围，则无需进行海冰类型识别。
本申请实施例的数据处理方法的数据基础为卫星每日监测到的数据，数据处理结果为相应的冰水分类结果或者海冰类型分类结果，因此，该数据处理方法的硬件运行环境可以是卫星，卫星在获得监测数据之后，确定出冰水分类结果或者海冰类型分类结果，再将其同步给监测端，比如：北极的监测端。该数据处理方法的硬件运行环境也可以是监测端，卫星在获得监测数据之后，将其同步给监测端，监测端基于监测数据确定冰水分类结果或者海冰类型分类结果。当然，硬件运行环境不限于这两种实施方式，在实际应用中，可以结合不同的应用场景合理变换该方法的硬件运行环境，在本申请实施例中不作限定。
在本申请实施例中涉及的卫星，可以是HY-2B(海洋二号B卫星)，该卫星为海洋动力环境探测卫星，可以实现高频次、大范围、大尺度的海洋动力环境监测。在HY-2B卫星上，搭载有微波散射计、雷达高度计和扫描微波辐射计等主要载荷，其中微波散射计和扫描微波辐射计两个载荷采集的数据，可以作为本申请实施例的数据基础。
基于上述应用场景和硬件运行环境的介绍，请参照图1，为本申请实施例提供的数据处理方法的流程图，该方法包括：
步骤110：获取第一识别模型。第一识别模型为基于第一观测数据和第一观测数据对应的冰水分类结果建立的模型；第一观测数据为卫星前一日采集到的观测数据。
步骤120：获取第二观测数据。第二观测数据为卫星当日采集到的观测数据。
步骤130：根据第一识别模型和第二观测数据确定第二观测数据对应的冰水分类结果。
在本申请实施例中，与现有技术相比，一方面，构建识别模型的基础为卫星每日采集到的观测数据，不需要依靠大量的外部数据输入，可以提高识别的时效性和效率。另一方面，对于当日的冰水分类结果，其对应的识别模型为基于前一日的观测数据和冰水分类结果所构建的模型，充分考虑到季节变化对识别模型的精度的影响，季节变更时，识别模型也会对应变更，避免观测数据的季节性变更导致识别模型无法准确识别的问题，能够提高识别模型的准确度。
在本申请实施例中，步骤110-步骤130可以理解为冰水识别的过程，接下来对各个步骤的详细实施方式进行介绍。
在步骤110中，第一识别模型为基于卫星前一日采集到的观测数据和该观测数据对应的冰水分类结果所建立的模型。该第一识别模型的建立时间可以是在前一日的观测数据采集完之后，也可以是当日需要进行冰水识别时。相当于第一识别模型可以是实时建立的，也可以是预先建立的。
在本申请实施例中，各个观测数据均为经过数据投影以及预处理之后的数据。为了研究北极海冰，已有成熟的数据投影以及预处理技术。该技术提出一个在高纬度海冰覆盖范围内有着较小变形的投影平面网格，该网格通过极地椭球投影方法(正轴等角割方位投影)进行投影，横切南北纬度70°无变形，更高纬度变形率6％；投影后北极平面栅格大小为448×304，空间分辨率为25km。利用该投影方法，将每天的卫星监测到的轨道数据进行投影并利用算术平均可获得每天的不同参数的北极观测数据。在实际应用时，该观测数据可通过图像的形式体现，该图像的附带信息为卫星上搭载的载荷的各个观测参数。
作为一种可选的实施方式，第一识别模型的建立过程包括：获取第一观测数据和第一观测数据对应的冰水分类结果；对第一观测数据进行预处理，获得预处理后的第一观测数据；根据第一观测数据对应的冰水分类结果确定预处理后的第一观测数据对应的分类标签；分类标签包括海冰和海水；根据预处理后的第一观测数据对应的分类标签和预处理后的第一观测数据建立第一识别模型。
在该建立过程中，第一观测数据和第一观测数据对应的冰水分类结果均为已知的信息，可以直接获取；其中，第一观测数据可以为多组观测数据，比如：前一日的不同时刻的观测数据；前一日的不同观测参数的观测数据。第一观测数据对应的冰水分类结果可以理解为前一日的观测数据对应的冰水分类结果，结合观测数据的介绍，该冰水分类结果可以直接在图像上标记，比如：观测数据对应的图像上的白色区域为海水、黑色区域为陆地或者无效观测数据、灰色区域为海冰。
如果直接基于第一观测数据和其对应的冰水分类结果建立模型，其中的不相关数据可能会对模型的准确度造成影响，因此，可以对第一观测数据进行预处理。作为一种可选的实施方式，预处理的过程包括：去除第一观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第一观测数据。
其中，陆地观测值可以利用陆地掩膜法去除；无效观测值可以利用观测数据范围去除，在预设的观测数据范围内的数据均去除。举例来说，后向散射系数的范围为-80～10，亮温小于300K。
在获得预处理后的第一观测数据之后，基于冰水分类结果，给观测数据设置相应的分类标签，分类标签包括海冰和海水两种，如果观测数据对应的分类结果为海冰，则其对应的分类标签为海冰；如果观测数据对应的分类结果为海水，则其对应的分类标签为海水。
在确定分类标签之后，为预处理后的第一观测数据设置相应的标签，然后基于预处理后的第一观测数据和设置的标签进行机器学习，建立第一识别模型。其中，机器学习的算法可以是支持向量机分类算法，也可以是其他分类算法，在本申请实施例中不作限定。关于机器学习构建分类模型的方法，属于本领域成熟的技术，在本申请实施例中不进行详细介绍。
在本申请实施例中，先对第一观测数据进行预处理，然后确定预处理后的第一观测数据对应的分类标签，以及根据预处理后的第一观测数据和其对应的分类标签建立第一识别模型，实现第一识别模型的有效构建。通过去除陆地观测值，能够避免陆地观测值对冰水分类结果的影响；以及通过去除无效观测值，避免无效观测值对冰水分类结果的影响；进而提高冰水分类结果的准确性。
在步骤110中获取到第一识别模型后，在步骤120中，获取第二观测数据。第二观测数据为卫星当日采集到的观测数据，即待识别(分类)的观测数据。在实际应用时，当日卫星每采集一次观测数据，便可以将其作为待识别的观测数据进行冰水分类；也可以每隔一个周期获取待识别的观测数据，基于周期内的观测数据进行冰水分类；或者其他实施方式，在本申请实施例中不作限定。
在本申请实施例中，每天的观测数据的识别模型均为基于前一日的观测数据和相应的分类结果所建立的模型。其中存在一个特殊情况，即首日的观测数据的分类结果的确定，对于该分类结果，可以利用现有技术的方法确定；首日之后的观测数据的分类结果的确定，均可以采用本申请实施例的技术方案。
在步骤130中，根据第一识别模型和第二观测数据确定第二观测数据对应的冰水分类结果。由于第一识别模型在建立时的数据是经过预处理的观测数据，因此，在应用第一识别模型时，也可以先将第二观测数据进行预处理后再输入到第一识别模型中。进而，作为一种可选的实施方式，步骤130包括：对第二观测数据进行预处理，获得预处理后的第二观测数据；将预处理后的第二观测数据输入到第一识别模型中，获得第二观测数据对应的冰水分类结果。
其中，第二观测数据的预处理过程与第一观测数据的预处理过程相同，可以包括：去除第二观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第二观测数据。该预处理过程中的具体实施方式，参照第一观测数据的预处理过程，在此不再重复介绍。
在步骤130中，最终可以获得当日的观测数据对应的冰水分类结果，在该冰水分类结果中，除了对海冰和海水进行划分，还可以对无效观测区域和陆地观测区域进行划分，具体可以利用预处理时的所去除的观测值实现划分，比如：陆地观测值对应的观测数据为陆地观测区域，无效观测值对应的区域为无效观测区域。
在本申请实施例中，不管是第一观测数据，还是第二观测数据，均可以是经过筛选的数据。可以理解，在卫星上搭载有多个载荷，包括但不限于：微波散射计和扫描微波辐射计，每个载荷对应至少一个参数，多个载荷对应多个参数，在本申请实施例中，可以利用多个参数的识别能力实现输入识别模型的数据的筛选。参数的识别能力，可以理解为参数对最终的识别结果的影响程度，影响程度越大，说明参数的识别能力越好；影响程度越低，说明参数的识别能力越差；可以通过类间距表征。
因此，在步骤110之前，该方法还包括：确定微波散射计和扫描微波辐射计分别对应的敏感参数；第一观测数据为敏感参数对应的观测数据；第二观测数据为敏感参数对应的观测数据。
作为一种可选的实施方式，确定敏感参数包括：确定微波散射计和扫描微波辐射计分别对应的观测参数的类间距；根据观测参数的类间距和预设的类间距值确定敏感参数。
其中，对于冰水识别来说，类间距可以定义为：
Figure BDA0002996382760000111
其中，
Figure BDA0002996382760000112
分别为海冰和海水观测参数的均值；
Figure BDA0002996382760000113
分别为海冰和海水观测参数的方差。DIW为海冰和海水两类样本之间的距离，该值越大，说明该观测参数的冰水识别能力越好，海冰范围提取效果越好；反之，则说明该观测参数的冰水识别信息提取能力较差。
预设的类间距值，可以根据需求的冰水识别能力进行设置，在本申请实施例中不作限定。
在本申请实施例中，参与评估的参数可以包括但不限于：微波散射计获取的H极化方式后向散射系数
Figure BDA0002996382760000114
V极化方式后向散射系数
Figure BDA0002996382760000115
H极化方式后向散射系数标准差(ΔσH)、V极化方式后向散射系数标准差(ΔσV)和后向散射系数极化比(σV/σH)5个参数；扫描微波辐射计获取的18.7V、18.7H、23.8V、37V、37H五个波段亮温和极化梯度比、光谱梯度比两个参数。
其中，极化梯度比(PR(18.7))、光谱梯度比(GR(37/18.7))分别定义为：PR(18.7)＝(Tb,18.7V-Tb,18.7H)/(Tb,18.7V+Tb,18.7H)，GR(37/18.7)＝(Tb,37V-Tb,18.7H)/(Tb,37V+Tb,18.7H)。
其中，Tb,18.7V为18.7V波段的亮温，Tb,18.7H为18.7H波段的亮温，Tb,37V为37V波段的亮温。
在本申请实施例中，最终可以利用微波散射计和扫描微波辐射计的观测数据进行冰水分类和海冰类型分类。微波散射计极化方式为HH和VV，工作频率为13.256GHz，后向散射系数测量精度为0.5dB，测量范围为-40dB到20dB；扫描微波辐射计为5个频率9个通道的微波辐射计，其中5个频率为6.6、10.7、18.7、23.8和37GHz，其中除了23.8GHz是V极化外，其余频率都是H和V双极化。
在本申请实施例中，最终选取的敏感参数可以为：
Figure BDA0002996382760000121
σV/σH，ΔσV，Tb,18.7V，Tb,18.7H，PR(18.7)。
在本申请实施例中，通过观测参数的类间距，对观测参数对于冰水分类结果的影响程度进行评估，实现敏感参数的有效确定。
在敏感参数确定之后，在获取观测数据时，仅需获取敏感参数对应的观测数据即可，其他与敏感参数无关的观测数据，无需获取。
在本申请实施例，第一识别模型所输出的冰水分类结果可以作为初始分类结果，基于该初始分类结果，还可以作进一步地处理。因此，作为一种可选的实施方式，在步骤130之后，该方法还包括：通过预设的海冰误判像素去除算法对冰水分类结果进行后处理，获得后处理后的冰水分类结果。
其中，海冰预判像素去除算法以及其对应的后处理包括但不限于：形态学中的腐蚀扩展方法去除噪声引起的海冰误判像素；气候态最大海冰范围掩膜去除开阔海域由于高风速等现象引起的海冰误判像素。
具体地，由于高风速引起海洋表面粗糙，后向散射信号增强，本身观测的开阔海水微波信号接近海冰，因此容易导致将开阔海水微波信号混淆于海冰，在进行分类时将开阔海水误判为海冰。同时，由于数据投影预处理时，部分网格单元会无观测值，成为一种无效参数噪声，不能判别是海水或海冰。
针对上述两种现象，首先利用形态学中的腐蚀扩展方法去除噪声引起的海冰误判像素，利用半径为2个像素的菱形结构对冰水分类初始结果进行腐蚀膨胀，可以部分消除一些像元较少的海冰误判区域。然后，利用气候态最大海冰范围掩膜去除开阔海域由于高风速等现象引起的较大海冰误判像素，如果海冰判别初始结果在气候态最大海冰范围之外，则判定为海水；经过上述两个步骤的后处理，得到最终的当日冰水分类结果。
在本申请实施例中，在获得初始的分类结果之后，利用海冰误判像素去除算法进行后处理，可以避免海冰误判像素对于冰水分类结果的影响，最终获得的冰水分类结果准确度更高。
通过前述实施例的介绍，可以获得较为准确的冰水分类结果，在获得冰水分类结果之后，可以基于冰水分类结果进行海冰类型的识别；如果在冰水分类结果中，没有海冰范围，则无需再进行海冰类型的识别；如果在冰水分类结果中，有海冰范围，则需再进行海冰类型的识别。
作为一种可选的实施方式，在步骤130之后，该方法还包括：根据第二观测数据对应的冰水分类结果确定第三观测数据；第三观测数据为第二观测数据中冰水分类结果为海冰的观测数据；获取第二识别模型；第二识别模型为基于第四观测数据和第四观测数据对应的海冰类型分类结果建立的模型；第四观测数据为第一观测数据中冰水分类结果为海冰的观测数据；根据第二识别模型和第三观测数据确定第三观测数据对应的海冰类型分类结果。
在该过程中，先根据当日的观测数据对应的冰水分类结果确定需要当日进行海冰类型分类的观测数据，即第三观测数据，此处可以基于后处理之后的冰水分类结果确定。
第二识别模型，为建立的识别模型；该识别模型与第一识别模型同理，可以实时建立，也可以预先建立。其建立过程可以包括：根据第一观测数据对应的冰水分类结果确定第四观测数据；获取第四观测数据对应的海冰类型分类结果；根据第四观测数据对应的海冰类型分类结果确定第四观测数据对应的分类标签；分类标签包括一年冰和多年冰；根据第四观测数据对应的分类标签和第四观测数据建立第二识别模型。
其中，先根据前一日的观测数据对应的冰水分类结果确定前一日的海冰的观测数据，即第四观测数据。由于前一日海冰的观测数据也会进行海冰类型的分类，因此，第四观测数据对应的海冰类型分类结果为已知的，可以直接获取。在确定第四观测数据对应的分类标签时，如果海冰类型分类结果为一年冰，则对应的分类标签也为一年冰；如果海冰类型分类结果为多年冰，则对应的分类标签也为多年冰。在确定之后，为观测数据设置相应的分类标签，然后利用机器学习算法进行机器学习，实现第二识别模型的建立，此部分可参照第一识别模型的机器学习的实施方式，在此不再重复介绍。
基于第二识别模型，将第三观测数据输入到该第二识别模型中，第二识别模型便可以输出海冰类型的分类结果。
在海冰类型的分类过程中，无需进行数据的预处理，也无需再进行数据的后处理，第二识别模型输出的海冰类型分类结果可作为最终的分类结果。
在本申请实施例中，对于第三观测数据和第四观测数据，可以为对海冰类型的识别能力较好的观测参数对应的观测数据。由于第三观测数据和第四观测数据分别为第一观测数据和第二观测数据中的数据，因此，在前述实施例中确定敏感参数时，除了考虑冰水识别能力，还可以考虑海冰类型识别能力。
即，除了确定表征冰水识别能力的类间距，还可以确定表征海冰类型能力的类间距，然后在确定敏感参数时，结合表征冰水识别能力的类间距和表征海冰类型识别能力的类间距确定，比如：将表征冰水识别能力的类间距和表征海冰类型识别能力的类间距均大于相应的预设的类间距的观测参数确定为敏感参数。其中，表征海冰类型识别能力的类间距的确定方式可以参照表征冰水识别能力的类间距的确定方式。
在获得每日的冰水分类结果或者海冰类型分类结果，可以将其进行存储，在需要时，可以随时查询或者进行其他应用。
采用本申请实施例所提供的技术方案，基于前一日的数据进行建模，在摆脱对外部数据的依赖、提高业务化运行时效性的同时；还考虑不同地物的微波辐射散射特性的时序变化，提高海冰范围(即冰水识别)和海冰类型信息提取的精度。算法输入数据除了微波散射计数据，还引入扫描微波辐射计数据，充分利用主被动微波遥感数据，考虑不同地物的微波辐射散射特性，可以进一步提高海冰信息提取的精度。
基于同一发明构思，请参照图2，本申请实施例中还提供一种数据处理装置，包括：获取模块210和处理模块220。
获取模块210，用于获取第一识别模型；所述第一识别模型为基于第一观测数据和所述第一观测数据对应的冰水分类结果建立的模型；所述第一观测数据为卫星前一日采集到的观测数据；获取第二观测数据；所述第二观测数据为所述卫星当日采集到的观测数据。处理模块220，用于根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果。
在本申请实施例中，获取模块210还用于获取第一观测数据和所述第一观测数据对应的冰水分类结果；处理模块220还用于：对所述第一观测数据进行预处理，获得预处理后的第一观测数据；根据所述第一观测数据对应的冰水分类结果确定所述预处理后的第一观测数据对应的分类标签；所述分类标签包括海冰和海水；根据所述预处理后的第一观测数据对应的分类标签和所述预处理后的第一观测数据建立所述第一识别模型。
在本申请实施例中，处理模块220还用于对所述第二观测数据进行预处理，获得预处理后的第二观测数据；将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果。
在本申请实施例中，处理模块220具体用于：去除所述第二观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第二观测数据。
在本申请实施例中，处理模块220具体还用于：去除所述第一观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第一观测数据。
在本申请实施例中，处理模块220还用于：通过预设的海冰误判像素去除算法对所述冰水分类结果进行后处理，获得后处理后的冰水分类结果。
在本申请实施例中，处理模块220还用于根据所述第二观测数据对应的冰水分类结果确定第三观测数据；所述第三观测数据为所述第二观测数据中冰水分类结果为海冰的观测数据；获取模块210还用于获取第二识别模型；所述第二识别模型为基于第四观测数据和所述第四观测数据对应的海冰类型分类结果建立的模型；所述第四观测数据为所述第一观测数据中冰水分类结果为海冰的观测数据；处理模块220还用于根据所述第二识别模型和所述第三观测数据确定所述第三观测数据对应的海冰类型分类结果。
在本申请实施例中，处理模块220具体用于：根据所述第一观测数据对应的冰水分类结果确定第四观测数据；获取模块210还用于获取所述第四观测数据对应的海冰类型分类结果；处理模块220具体还用于：根据所述第四观测数据对应的海冰类型分类结果确定所述第四观测数据对应的分类标签；所述分类标签包括一年冰和多年冰；根据所述第四观测数据对应的分类标签和所述第四观测数据建立所述第二识别模型。
在本申请实施例中，处理模块220还用于：确定所述微波散射计和所述扫描微波辐射计分别对应的敏感参数；所述第一观测数据为所述敏感参数对应的观测数据；所述第二观测数据为所述敏感参数对应的观测数据。
在本申请实施例中，处理模块220具体用于：确定所述微波散射计和所述扫描微波辐射计分别对应的观测参数的类间距；根据所述观测参数的类间距和预设的类间距值确定所述敏感参数。
数据处理装置200与前述实施例中的数据处理方法对应，因此，各个功能模块的实施方式参照前述实施例中的数据处理方法的各个步骤的实施方式，在此不再重复介绍。
基于同于发明构思，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行本申请实施例所述的数据处理方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取第一识别模型；所述第一识别模型为基于第一观测数据和所述第一观测数据对应的冰水分类结果建立的模型；所述第一观测数据为卫星前一日采集到的观测数据；
获取第二观测数据；所述第二观测数据为所述卫星当日采集到的观测数据；
根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果。
2.根据权利要求1所述的方法，其特征在于，所述获取第一识别模型包括：
获取第一观测数据和所述第一观测数据对应的冰水分类结果；
对所述第一观测数据进行预处理，获得预处理后的第一观测数据；
根据所述第一观测数据对应的冰水分类结果确定所述预处理后的第一观测数据对应的分类标签；所述分类标签包括海冰和海水；
根据所述预处理后的第一观测数据对应的分类标签和所述预处理后的第一观测数据建立所述第一识别模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果，包括：
对所述第二观测数据进行预处理，获得预处理后的第二观测数据；
将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果。
4.根据权利要求2所述的方法，其特征在于，所述对所述第一观测数据进行预处理，获得预处理后的第一观测数据，包括：
去除所述第一观测数据中的陆地观测值，以及根据预设的观测数据范围去除无效观测值，获得预处理后的第一观测数据。
5.根据权利要求1所述的方法，其特征在于，在所述将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果之后，所述方法还包括：
通过预设的海冰误判像素去除算法对所述冰水分类结果进行后处理，获得后处理后的冰水分类结果。
6.根据权利要求1所述的方法，其特征在于，在所述将所述预处理后的第二观测数据输入到所述第一识别模型中，获得所述第二观测数据对应的冰水分类结果后，所述方法还包括：
根据所述第二观测数据对应的冰水分类结果确定第三观测数据；所述第三观测数据为所述第二观测数据中冰水分类结果为海冰的观测数据；
获取第二识别模型；所述第二识别模型为基于第四观测数据和所述第四观测数据对应的海冰类型分类结果建立的模型；所述第四观测数据为所述第一观测数据中冰水分类结果为海冰的观测数据；
根据所述第二识别模型和所述第三观测数据确定所述第三观测数据对应的海冰类型分类结果。
7.根据权利要求6所述的方法，其特征在于，所述获取第二识别模型包括：
根据所述第一观测数据对应的冰水分类结果确定第四观测数据；
获取所述第四观测数据对应的海冰类型分类结果；
根据所述第四观测数据对应的海冰类型分类结果确定所述第四观测数据对应的分类标签；所述分类标签包括一年冰和多年冰；
根据所述第四观测数据对应的分类标签和所述第四观测数据建立所述第二识别模型。
8.根据权利要求1所述的方法，其特征在于，所述卫星上装载有微波散射计和扫描微波辐射计；在所述获取第一观测数据之前，所述方法还包括：
确定所述微波散射计和所述扫描微波辐射计分别对应的敏感参数；所述第一观测数据为所述敏感参数对应的观测数据；所述第二观测数据为所述敏感参数对应的观测数据。
9.根据权利要求8所述的方法，其特征在于，所述确定所述微波散射计和所述扫描微波辐射计分别对应的敏感参数，包括：
确定所述微波散射计和所述扫描微波辐射计分别对应的观测参数的类间距；
根据所述观测参数的类间距和预设的类间距值确定所述敏感参数。
10.一种数据处理装置，其特征在于，包括：
获取模块，用于获取第一识别模型；所述第一识别模型为基于第一观测数据和所述第一观测数据对应的冰水分类结果建立的模型；所述第一观测数据为卫星前一日采集到的观测数据；
所述获取模块还用于获取第二观测数据；所述第二观测数据为所述卫星当日采集到的观测数据；
处理模块，用于根据所述第一识别模型和所述第二观测数据确定所述第二观测数据对应的冰水分类结果。
CN202110336917.9A 2021-03-29 2021-03-29 数据处理方法及装置 Pending CN112966656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336917.9A CN112966656A (zh) 2021-03-29 2021-03-29 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336917.9A CN112966656A (zh) 2021-03-29 2021-03-29 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN112966656A true CN112966656A (zh) 2021-06-15

Family

ID=76279558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336917.9A Pending CN112966656A (zh) 2021-03-29 2021-03-29 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN112966656A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170895A (zh) * 2022-09-09 2022-10-11 威海经济技术开发区天智创新技术研究院 一种基于图像处理的海洋区域分类方法及装置
CN117368870A (zh) * 2023-12-08 2024-01-09 国家卫星海洋应用中心 一种微波散射计载荷特性评估方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104198052A (zh) * 2014-09-25 2014-12-10 国家卫星海洋应用中心 基于海洋二号卫星扫描微波辐射计的海冰密集度获取方法
CN107103280A (zh) * 2017-03-10 2017-08-29 中国科学院遥感与数字地球研究所 极地冰盖冻融探测方法
CN109117883A (zh) * 2018-08-13 2019-01-01 上海海洋大学 基于长短时记忆网络的sar影像海冰分类方法及系统
CN109447089A (zh) * 2018-10-16 2019-03-08 同济大学 基于超分技术的高分辨率北极海冰类型提取方法
CN110119000A (zh) * 2019-05-21 2019-08-13 中国水利水电科学研究院 一种区域蒸散发遥感动态监测预警系统
CN111832828A (zh) * 2020-07-17 2020-10-27 国家卫星气象中心(国家空间天气监测预警中心) 基于风云四号气象卫星的智能降水预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104198052A (zh) * 2014-09-25 2014-12-10 国家卫星海洋应用中心 基于海洋二号卫星扫描微波辐射计的海冰密集度获取方法
CN107103280A (zh) * 2017-03-10 2017-08-29 中国科学院遥感与数字地球研究所 极地冰盖冻融探测方法
CN109117883A (zh) * 2018-08-13 2019-01-01 上海海洋大学 基于长短时记忆网络的sar影像海冰分类方法及系统
CN109447089A (zh) * 2018-10-16 2019-03-08 同济大学 基于超分技术的高分辨率北极海冰类型提取方法
CN110119000A (zh) * 2019-05-21 2019-08-13 中国水利水电科学研究院 一种区域蒸散发遥感动态监测预警系统
CN111832828A (zh) * 2020-07-17 2020-10-27 国家卫星气象中心(国家空间天气监测预警中心) 基于风云四号气象卫星的智能降水预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张杰: "《海洋遥感探测技术与应用》", 30 September 2017 *
蒋伟兴: "《海洋动力环境卫星基础理论与工程应用》", 31 January 2014 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170895A (zh) * 2022-09-09 2022-10-11 威海经济技术开发区天智创新技术研究院 一种基于图像处理的海洋区域分类方法及装置
CN115170895B (zh) * 2022-09-09 2022-11-22 威海经济技术开发区天智创新技术研究院 一种基于图像处理的海洋区域分类方法及装置
CN117368870A (zh) * 2023-12-08 2024-01-09 国家卫星海洋应用中心 一种微波散射计载荷特性评估方法、装置及设备
CN117368870B (zh) * 2023-12-08 2024-02-09 国家卫星海洋应用中心 一种微波散射计载荷特性评估方法、装置及设备

Similar Documents

Publication Publication Date Title
Karvonen Baltic sea ice concentration estimation using SENTINEL-1 SAR and AMSR2 microwave radiometer data
Xu et al. Object‐based mapping of karst rocky desertification using a support vector machine
KR101258668B1 (ko) 한반도 통합형 기상 레이더 품질 관리 시스템 및 그 방법
JP7438655B2 (ja) 気象解析装置、気象解析方法、およびプログラム
Shi et al. Global statistical analysis of MISR aerosol data: a massive data product from NASA's Terra satellite
Kumar et al. Built-up and vegetation extraction and density mapping using WorldView-II
WO2019193702A1 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラムが格納された記録媒体
CN105069796B (zh) 基于小波散射网络的sar图像分割方法
US8401793B2 (en) High resolution wind measurements for offshore wind energy development
CN112966656A (zh) 数据处理方法及装置
Goodenough et al. Mapping fire scars using Radarsat-2 polarimetric SAR data
Ghasemi et al. Urban classification using preserved information of high dimensional textural features of Sentinel-1 images in Tabriz, Iran
CN112419197A (zh) 一种通用的单、多时相sar影像相干斑噪声去除方法
CN110516552B (zh) 一种基于时序曲线的多极化雷达图像分类方法及系统
CN116758049A (zh) 一种基于主被动卫星遥感的城市洪涝立体监测方法
CN116152678A (zh) 小样本条件下基于孪生神经网络的海洋承灾体识别方法
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN112989940B (zh) 基于高分三号卫星sar影像的筏式养殖区提取方法
CN110751201B (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
Wang et al. An automatic thresholding method for water body detection from SAR image
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN107748875A (zh) 一种基于多时相雷达图像纹理特征的震害建筑物识别方法
CN112766132A (zh) 一种基于哨兵1号数据的干盐滩提取方法
CN112101249A (zh) 一种基于深度卷积记忆网络的sar目标类型识别方法
Bürgmann Investigating the Separability of Slums in Mumbai based on RADARSAT Images using Object-based Image Analysis Methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination