CN109766937B - 一种掩星数据的质量控制方法、装置、设备及存储介质 - Google Patents

一种掩星数据的质量控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109766937B
CN109766937B CN201811621311.4A CN201811621311A CN109766937B CN 109766937 B CN109766937 B CN 109766937B CN 201811621311 A CN201811621311 A CN 201811621311A CN 109766937 B CN109766937 B CN 109766937B
Authority
CN
China
Prior art keywords
data
occultation
target
sounding
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811621311.4A
Other languages
English (en)
Other versions
CN109766937A (zh
Inventor
杨荣康
程凯琪
郭启云
李昌兴
张春泽
温凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Xunlian Technology Co ltd
CMA Meteorological Observation Centre
Original Assignee
Tianjin Xunlian Technology Co ltd
CMA Meteorological Observation Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Xunlian Technology Co ltd, CMA Meteorological Observation Centre filed Critical Tianjin Xunlian Technology Co ltd
Priority to CN201811621311.4A priority Critical patent/CN109766937B/zh
Publication of CN109766937A publication Critical patent/CN109766937A/zh
Application granted granted Critical
Publication of CN109766937B publication Critical patent/CN109766937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种掩星数据的质量控制方法、装置、设备及存储介质，包括：将匹配的掩星数据和对应的探空数据按气压层和区域划分，得到目标掩星数据和目标探空数据；基于目标掩星数据的双权重系数确定第一错误数据和第一可疑数据；将目标掩星数据中的第一错误数据去除，得到第一剩余数据，确定第一剩余数据与目标探空数据的偏差数据；基于偏差数据的双权重系数确定第二错误数据和第二可疑数据；将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据；确定第二剩余数据与目标探空数据的相关系数，基于相关系数，确定目标掩星数据中的正确数据。本发明实施例能够提高背景场数据的可靠性和对掩星数据的质量控制的准确性。

Description

一种掩星数据的质量控制方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种掩星数据的质量控制方法、装置、设备及存储介质。
背景技术
随着卫星产业的不断发展，掩星探测技术已经成为一种有效监测或者预报大气层变化的技术手段，对获取的掩星数据进行质量控制，得到其中的正确数据，是利用掩星探测技术进行大气层分析的重要步骤。
现有技术中，主要是利用传统标准差方法和双权重质量控制方法，基于掩星数据本身以及背景场数据，通过生成不同的判断依据，剔除掩星数据中的错误数据，实现对掩星数据的质量控制，其中，背景场数据是用于与掩星数据进行对比的基准数据，一般为预报模式场数据。
但是，由于预报模式场数据并非真实数据，将其作为背景场数据与掩星数据进行比较缺乏可靠性，且单纯根据某一判断依据剔除掩星数据中的错误数据，容易出现正确数据也被剔除的情况，降低对掩星数据的质量控制的准确性。
发明内容
本发明实施例提供一种掩星数据的质量控制方法、装置、设备及存储介质，以实现提高背景场数据的可靠性和对掩星数据的质量控制的准确性。
第一方面，本发明实施例提供了一种掩星数据的质量控制方法，包括：
将匹配的掩星数据以及与所述匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据；
将每个所述气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据；
确定所述目标掩星数据的双权重系数，并基于所述目标掩星数据的双权重系数确定所述目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据；
将所述目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定所述第一剩余数据与所述目标探空数据中的对应数据之间的偏差数据；
确定所述偏差数据的双权重系数，并基于所述偏差数据的双权重系数确定所述偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据；
将所述第一剩余数据中的所述第二错误数据对应的掩星数据去除，得到第二剩余数据；
确定所述第二剩余数据与目标探空数据的相关系数，并基于所述相关系数，确定所述目标掩星数据中的正确数据。
第二方面，本发明实施例还提供了一种掩星数据的质量控制装置，包括：
气压层划分模块，用于将匹配的掩星数据以及与所述匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据；
区域划分模块，用于将每个所述气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据；
第一数据确定模块，用于确定所述目标掩星数据的双权重系数，并基于所述目标掩星数据的双权重系数确定所述目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据；
偏差数据确定模块，用于将所述目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定所述第一剩余数据与所述目标探空数据中的对应数据之间的偏差数据；
第二数据确定模块，用于确定所述偏差数据的双权重系数，并基于所述偏差数据的双权重系数确定所述偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据；
第二剩余数据模块，用于将所述第一剩余数据中的所述第二错误数据对应的掩星数据去除，得到第二剩余数据；
正确数据确定模块，用于确定所述第二剩余数据与目标探空场数据的相关系数，并基于所述相关系数，确定所述目标掩星数据中的正确数据。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的掩星数据的质量控制方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的掩星数据的质量控制方法。
本发明通过对匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层和区域划分，确定目标掩星数据以及目标探空数据，并获取目标掩星数据中的第一错误数据和第一可疑数据，将目标掩星数据中的第一错误数据去除，得到第一剩余数据，通过确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据，获得偏差数据中的第二错误数据和第二可疑数据，并将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据，基于第二剩余数据与目标探空数据的相关系数，确定目标掩星数据中的正确数据，即本发明通过使用探空数据作为背景场数据，增加了背景场数据的真实性，且将不符合判断依据的数据划分为错误数据和可疑数据，将错误数据剔除，并对可疑数据进行进一步的判别，减少对数据的误判现象，解决了现有技术中，将预报模式场数据作为背景场数据与掩星数据进行比较缺乏可靠性，且单纯根据某一判断依据剔除掩星数据中的错误数据，导致部分正确数据也被剔除的问题，实现了提高背景场数据的可靠性和对掩星数据的质量控制的准确性的效果。
附图说明
图1是本发明实施例一提供的一种掩星数据的质量控制方法的流程图；
图2是本发明实施例二提供的一种掩星数据的质量控制方法的流程图；
图3a是本发明实施例三提供的一种掩星数据的质量控制方法的流程图；
图3b是本发明实施例三提供的4个气候区中目标掩星数据的双权重平均值随气压层变化的曲线；
图3c是本发明实施例三提供的4个气候区中目标掩星数据的双权重标准差随气压层变化的曲线；
图3d是本发明实施例三提供的温带大陆性气候区中第一错误数据和第一可疑数据随气压层变化的曲线；
图3e是本发明实施例三提供的亚热带季风气候区中第一错误数据和第一可疑数据随气压层变化的曲线；
图3f是本发明实施例三提供的温带季风气候区中第一错误数据和第一可疑数据随气压层变化的曲线；
图3g是本发明实施例三提供的高原山地气候区中第一错误数据和第一可疑数据随气压层变化的曲线；
图3h是本发明实施例三提供的4个气候区中偏差数据的双权重平均值随气压层变化的曲线；
图3i是本发明实施例三提供的4个气候区中偏差数据的双权重标准差随气压层变化的曲线；
图3j是本发明实施例三提供的温带大陆性气候区中第二错误数据和第二可疑数据随气压层变化的曲线；
图3k是本发明实施例三提供的亚热带季风气候区中第二错误数据和第二可疑数据随气压层变化的曲线；
图3l是本发明实施例三提供的温带季风气候区中第二错误数据和第二可疑数据随气压层变化的曲线；
图3m是本发明实施例三提供的高原山地气候区中第二错误数据和第二可疑数据随气压层变化的曲线；
图3n是本发明实施例三提供的4个气候区中第二剩余数据与目标探空数据中对应数据的相关系数随气压层变化的曲线；
图3o是本发明实施例三提供的温带大陆性气候区中目标掩星数据的正确数据与错误数据的散点分布图；
图3p是本发明实施例三提供的亚热带季风气候区中目标掩星数据的正确数据与错误数据的散点分布图；
图3q是本发明实施例三提供的温带季风气候区中目标掩星数据的正确数据与错误数据的散点分布图；
图3r是本发明实施例三提供的高原山地气候区中目标掩星数据的正确数据与错误数据的散点分布图；
图3s是本发明实施例三提供的温带大陆性气候区中不同相关系数随气压层变化的曲线对比图；
图3t是本发明实施例三提供的亚热带季风气候区中不同相关系数随气压层变化的曲线对比图；
图3u是本发明实施例三提供的温带季风气候区中不同相关系数随气压层变化的曲线对比图；
图3v是本发明实施例三提供的高原山地气候区中不同相关系数随气压层变化的曲线对比图；
图4是本发明实施例四提供的一种掩星数据的质量控制装置的结构示意图；
图5是本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种掩星数据的质量控制方法的流程图，本实施例可适用于对掩星数据进行质量控制的情况，该方法可以由掩星数据的质量控制装置来执行，该装置可以由硬件和/或软件构成，并一般可以集成在各种通用计算机设备中，具体包括如下步骤：
步骤110、将匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据。
其中，掩星数据是将掩星事件中获取的信号反演后得到的数据。一般的，掩星事件是指空间中原本两个直视可见的星体，被其他星体或物质所覆盖，导致一个星体发射的电波信号不能直接到达另一个星体的事件，典型的，掩星事件是指卫星发射的电波信号被地球大气层所遮掩，经过地球大气层和电离层折射后到达观测卫星的事件，掩星信号是观测卫星接受到的信号，用于观测反演大气层的温度、密度、气压和电离层电子密度剖面等。本实施例中，采用的是掩星数据是气象、电离层与气候观测星座(Constellation ObservingSystem for Meteorology，Ionosphere and Climate，COSMIC)掩星数据。
探空数据是在每天早8时和晚8时，通过气球携带探空仪探测得到的温度、气压、相对湿度和风向风速等气象基本要素数据。在本实施例中，将探空数据作为背景场数据。
匹配的掩星数据以及与匹配的掩星数据对应的探空数据分别是经过数据匹配后获取的掩星数据以及探空数据。在对掩星数据进行质量控制前，需要获取相互匹配的掩星数据以及探空数据作为输入数据，才可以保证掩星数据质量控制的准确性。
将掩星数据与探空数据相互匹配，以探空数据作为背景场数据，这样设置的好处是：探空数据属于真实的监测数据，其数据本身反映的真实的气象要素，相比现有技术中使用预报模式场数据(预估数据)的方式，使用探空数据作为背景场数据，为判别数据的质量提供的可靠的对比基准。例如，针对某地区第一次出现的异常天气，由于没有历史数据可依赖，导致基于历史数据获取的预报模式场数据与该地区掩星数据的差异较大，从而将该地区的掩星数据判别为错误数据，而当利用探空数据作为与掩星数据的对比基准时，由于探空数据是真实的数据，其反映的气象情况与掩星数据类似，则会认为该地区的掩星数据属于正确数据，可以用于气候分析，保证了对掩星数据进行质量判别的正确性。
气压层即为等压面。标准等压面是按照国际统一规定的气压值相等的各点所组成的面，其范围为1000hPa至5hPa，分为20层(1000hPa、850hPa、700hPa、600hPa、500hPa、400hPa、300hPa、250hPa、200hPa、150hPa、100hPa、70hPa、50hPa、40hPa、30hPa、20hPa、15hPa、10hPa、7hPa和5hPa)。在本实施例中，由于在一些标准等压面附近的数据资料较少，因此，忽略数据资料较少的等压面，得到本实施例中的15个气压层(925hPa、850hPa、700hPa、500hPa、400hPa、300hPa、250hPa、200hPa、150hPa、100hPa、70hPa、50hPa、30hPa、20hPa和10hPa)。当然，气压层的分层方式不限于上述15种，可以根据掩星数据在各个等压面的具体数据密度自定义设置。
在本实施例中，根据自定义的气压层分层规则，对匹配的掩星数据以及与匹配的掩星数据对应的探空数据进行分层，获取每个气压层对应的掩星数据以及探空数据。
这样设置的好处是：考虑到各个气压层由于气压不同，各种天气因素也会不同，将掩星数据以及探空数据按照气压层划分，针对每层的掩星数据以及探空数据根据不同的判别标准进行质量控制，使质量控制获得正确数据结果更加准确和可靠。
步骤120、将每个气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据。
在本实施例中，按照区域进行划分是指按照预设区域规则，对每个气压层对应的掩星数据以及探空数据进行数据划分，将掩星数据以及探空数据对应的监测区域(同一区域)划分为多个监测子区域，获取每个监测子区域对应的掩星数据以及探空数据。典型的，当监测区域为我国全部地区时，该预设区域规则可以为气候区域规则，根据我国全部地区包括的气候区(温带季风气候区、温带大陆性气候区、亚热带季风气候区、热带季风气候区以及高原山地气候区，其中，将热带季风气候区并入亚热带季风气候区中，成为一个气候区，即共有4个气候区)，确定在每个气压层对应的掩星数据中，每个气候区对应的掩星数据，作为目标掩星数据，也就是说，当在本实施例中使用15个气压层进行气压层划分，再利用气候区域规则进行区域划分后，获得的目标掩星数据以及目标探空数据分别为60(15×4)个数据集合。同样的，预设区域规则不限于上述气候区域规则，可以根据监测区域特点自定义设置规则。
在本实施例中，根据自定义的气压层分层规则，对获取的匹配的掩星数据以及与匹配的掩星数据对应的探空数据进行分层，获取每个气压层对应的探空数据，在根据自定义的区域划分规则，对分层后的掩星数据以及探空数据进行区域划分，获取每个区域对应的掩星数据以及探空数据，作为最终用于质量控制的目标掩星数据和目标探空数据。
这样设置的好处是:对掩星数据以及探空数据根据气压层划分属于对数据的横向划分，而对掩星数据以及探空数据根据区域划分属于对数据的纵向划分，通过不同的划分标准，在进行质量控制前，根据数据的特点细化采样数据，实现了对质量控制输入数据的预处理，保证了输入数据的质量，从而可以提高后续质量控制的结果的准确性。
步骤130、确定目标掩星数据的双权重系数，并基于目标掩星数据的双权重系数确定目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据。
其中，目标掩星数据的双权重系数是用于衡量目标掩星数据中采样数据离散程度的权重系数，第一错误数据和第一可疑数据是通过对目标掩星数据自身质量进行判别，基于目标掩星数据的双权重系数分别确定的错误数据和可疑数据，其中，第一可疑数据需要通过进一步判别才可以确定其是否为错误数据。
在本实施例中，通过利用目标掩星数据中的采样数据，计算出目标掩星数据的双权重系数，并基于目标掩星数据的双权重系数分别确定了目标掩星数据的第一错误数据和第一可疑数据。
这样设置的好处是：在对掩星数据的正确性进行判别的过程中，传统的判别方法是在判别中直接确定正确数据和错误数据，但是由于掩星数据中各个采样数据的个体差异性，很容易出现个别错误数据是正确数据的情况，例如，在我国南方部分地区，很少出现大雪天气，但是在2018年1月却突降大雪，对于该天气的突然变化，传统的掩星数据质量控制方法可能会将2018年1月的部分数据判别为错误数据，从而降低了对掩星数据的质量控制的准确性，相比而言，本实施例中，首先确定第一错误数据和第一可疑数据，在通过后续步骤对第一可疑数据进行进一步判别，减少了对掩星数据的误判情况，可以提高对掩星数据的质量控制的准确性。
步骤140、将目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据。
其中，第一剩余数据是包括通过目标掩星数据的双权重系数确定的第一可疑数据以及正确数据的数据。目标探空数据是用于进一步判别目标掩星数据的背景场数据，探空数据是在每天早8点和晚8点，通过气球携带探空仪探测得到的温度、气压、相对湿度和风向风速等气象基本要素数据。
在本实施例中，确定第一剩余数据，并计算第一剩余数据与目标探空数据中的对应数据之间的偏差数据，也就是计算第一剩余数据与背景场数据的偏差数据，从而实现进一步地对第一剩余数据中的掩星数据进行判别。
使用探空数据作为背景场数据的好处是：探空数据属于真实的监测数据，其数据本身反映的真实的气象要素，相比现有技术中使用预报模式场数据(预估数据)的方式，使用探空数据作为背景场数据，为判别第一剩余数据的质量提供的可靠的对比基准。例如，针对某地区第一次出现的异常天气，由于没有历史数据可依赖，导致基于历史数据获取的预报模式场数据与该地区掩星数据的差异较大，从而将该地区的掩星数据判别为错误数据，而当利用探空数据作为与掩星数据的对比基准时，由于探空数据是真实的数据，其反映的气象情况与掩星数据类似，则会认为该地区的掩星数据属于正确数据，可以用于气候分析，保证了对掩星数据进行质量判别的正确性。
步骤150、确定偏差数据的双权重系数，并基于偏差数据的双权重系数确定偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据。
其中，偏差数据的双权重系数是用于衡量第一剩余数据相对于目标探空数据的偏离程度的权重系数，第二错误数据和第二可疑数据是基于偏差数据的双权重系数分别确定的错误数据和可疑数据，其中，第二可疑数据对应的掩星数据还需要通过进一步判别才可以确定其是否为错误数据。
在本实施例中，通过利用第一剩余数据与目标探空数据中的对应数据之间的偏差数据，计算出偏差数据的双权重系数，并基于偏差数据的双权重系数分别确定了偏差数据的第二错误数据和第二可疑数据，从而确定了与第二错误数据和第二可疑数据对应的，目标掩星数据中的错误数据以及可疑数据。
这样设置的好处是：在基于掩星数据的自身质量，对数据进行判别后，通过计算掩星数据与背景场数据的偏差数据，对掩星数据进行进一步地判别，当所使用的背景场数据能足够反映真实的气象情况时，说明获取的第二错误数据和第二可疑数据是偏离真实气象数据较大的数据，需要剔除或者进一步判别，从而提高了在对掩星数据进行质量控制时，与背景场数据的关联程度，提高了质量控制的准确性。
步骤160、将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据。
其中，第二剩余数是经过上述两次判别后获取的包含第二可疑数据以及正确数据的数据。
步骤170、确定第二剩余数据与目标探空数据的相关系数，并基于相关系数，确定目标掩星数据中的正确数据。
其中，相关系数是用以反映采样数据之间相关关系密切程度的统计指标，相关系数|r|≤1，相关系数越大，说明第二剩余数据和目标探空数据的相关程度越大，说明第二剩余数据的质量越好。
在本实施例中，利用相关系数判别，可以确定第二可疑数据对应的掩星数据的数据质量，从而得到目标掩星数据中的全部正确数据。
本实施例的技术方案，通过对掩星数据按照气压层和区域划分，确定目标掩星数据，并获取目标掩星数据中的第一错误数据和第一可疑数据，将目标掩星数据中的第一错误数据去除，得到第一剩余数据，通过确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据，获得偏差数据中的第二错误数据和第二可疑数据，并将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据，基于第二剩余数据与目标探空数据的相关系数，确定目标掩星数据中的正确数据，即本实施例的技术方案通过使用探空数据作为背景场数据，增加了背景场数据的真实性，且将不符合判断依据的数据划分为错误数据和可疑数据，将错误数据剔除，并对可疑数据进行进一步的判别，减少对数据的误判现象，解决了现有技术中，将预报模式场数据作为背景场数据与掩星数据进行比较缺乏可靠性，且单纯根据某一判断依据剔除掩星数据中的错误数据，导致部分正确数据也被剔除的问题，实现了提高背景场数据的可靠性和对掩星数据的质量控制的准确性的效果。
实施例二
图2为本发明实施例二提供的一种掩星数据的质量控制方法的流程图，本实施例在上一实施例的基础上进一步细化，提供了基于相关系数，确定目标掩星数据中的正确数据的具体步骤，以及第一错误数据、第一可疑数据、第二错误数据和第二可疑数据的数据范围。下面结合图2对本发明实施例二提供的一种掩星数据的质量控制方法进行说明，包括以下步骤：
步骤210、将匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据。
步骤220、将每个气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据。
步骤230、确定目标掩星数据的双权重系数，并基于目标掩星数据的双权重系数确定目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据。
其中，第一错误数据为目标掩星数据中除
Figure BDA0001926923360000141
范围之外的掩星数据；第一可疑数据为目标掩星数据中在
Figure BDA0001926923360000142
和
Figure BDA0001926923360000143
范围内的掩星数据；
Figure BDA0001926923360000144
和BSD分别为目标掩星数据的双权重平均值和双权重标准差。
这样设置的原理是：在正态分布(x,y)中，σ代表正态分布的标准差，μ代表正态分布的平均值，x＝μ即为正态分布图像的对称轴，3σ原则为：数值分布在(μ-σ,μ+σ)中的概率为0.6826；数值分布在(μ-2σ,μ+2σ)中的概率为0.9544；数值分布在(μ-3σ,μ+3σ)中的概率为0.9974，可以认为，y的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％，属于小概率事件。而且，根据中心极限定理可知，在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的，也就是说，当目标掩星数据中的采样数据足够多时，我们可以认为其符合正态分布。
对应的，在本实施例中，基于3σ原则和中心极限定理，针对目标掩星数据的双权重平均值
Figure BDA0001926923360000151
和双权重标准差BSD，可以推断出在
Figure BDA0001926923360000152
范围内的掩星数据属于正确数据，将正确数据以外的掩星数据分为错误数据和可以数据，其中，第一错误数据为目标掩星数据中除
Figure BDA0001926923360000153
范围之外的掩星数据，第一可疑数据为目标掩星数据中在
Figure BDA0001926923360000154
和
Figure BDA0001926923360000155
范围内的掩星数据。
步骤240、将目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据。
步骤250、确定偏差数据的双权重系数，并基于偏差数据的双权重系数确定偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据。
其中，第二错误数据为偏差数据中除
Figure BDA0001926923360000156
范围之外的数据；第二可疑数据为偏差数据中在
Figure BDA0001926923360000157
和
Figure BDA0001926923360000158
范围内的数据；
Figure BDA0001926923360000159
和biasBSD分别为偏差数据的双权重平均值和双权重标准差。
第二错误数据和第二可疑数据的设置原理与第一错误数据和第一可疑数据的设置原理相同。
步骤260、将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据。
步骤270、确定第二剩余数据与目标探空数据的相关系数。
步骤280、判断相关系数是否小于预设相关系数阈值。
其中，预设相关系数阈值是通过数据统计计算出的可用于确定第二可疑数据是否为错误数据的阈值。
步骤290、若相关系数小于预设相关系数阈值，则第二可疑数据为错误数据，将第二剩余数据中的第二可疑数据对应的掩星数据去除，得到目标掩星数据的正确数据。
在本实施例中，当第二剩余数据与目标探空数据的相关系数小于预设相关系数阈值时，认为第二剩余数据中的采样数据与目标探空数据的相关程度不高，则将第二可疑数据确定为错误数据，并将第二剩余数据中的第二可疑数据对应的掩星数据去除，得到目标掩星数据中最终的正确数据。
步骤2100、若相关系数不小于预设相关系数阈值，则第二可疑数据为正确数据，将第二剩余数据作为目标掩星数据的正确数据。
在本实施例中，当第二剩余数据与目标探空数据的相关系数不小于预设相关系数阈值时，认为第二剩余数据中的采样数据与目标探空数据的相关程度较高，则将第二可疑数据确定为正确数据，并将第二剩余数据作为目标掩星数据中最终的正确数据。
本实施例的技术方案，一方面，利用概率论中的3σ原则和中心极限定理，确定目标掩星数据以及偏差数据中的正确数据，对小概率事件部分的数据进行划分，得到错误数据和可疑数据，从概率角度判别数据的正确性，可疑性以及错误性，从而提高对掩星数据的质量控制的准确性；另一方面，通过将预设相关系数阈值与第二剩余数据和目标探空数据的相关系数进行比较，通过判别结果确定第二可疑数据是否为错误数据，从而实现了对第二可疑数据的判别，保证了最终获取的目标掩星数据中的正确数据的质量，减少了对正确数据的误判，提高了质量控制的准确性。
可选的，基于如下公式确定目标掩星数据的双权重平均值：
Figure BDA0001926923360000171
基于如下公式确定目标掩星数据的双权重标准差：
Figure BDA0001926923360000172
其中，n为目标掩星数据中采样数据的个数，Oi为目标掩星数据中第i个采样数据，M为目标掩星数据中n个采样数据的中位数，
Figure BDA0001926923360000173
MAD为目标掩星数据中n个采样数据分别与M的差值绝对值组成的数组中的中位数,C＝7.5；
在本可选的技术方案中，提供了目标掩星数据的双权重平均值
Figure BDA0001926923360000174
和双权重标准差BSD的计算公式。其中，目标掩星数据是包含n个采样数据的样本集合，Oi为目标掩星数据中第i个采样数据，M为目标掩星数据中n个采样数据的中位数，wi为针对第i个采样数据的权重值，
Figure BDA0001926923360000175
MAD为目标掩星数据中n个采样数据分别与M的差值绝对值(|Oi-M|，i＝1...n)形成的数组中的中位数，C为“被测数据”的参数，采用1996年Lanzannte研究的双权重方法中的数值，C＝7.5。
基于如下公式确定偏差数据的双权重平均值：
Figure BDA0001926923360000181
基于如下公式确定偏差数据的双权重标准差：
Figure BDA0001926923360000182
其中，m为第一剩余数据中采样数据的个数，biasj＝Oj-Bj,Oj为第一剩余数据中的第j个采样数据，Bj为目标探空数据中与Oj对应的采样数据，biasM为m个偏差数据的中位数，
Figure BDA0001926923360000183
biasMAD为m个偏差数据分别与biasM的差值绝对值组成的数组中的中位数。
在本可选的技术方案中，提供了偏差数据的双权重平均值
Figure BDA0001926923360000184
和双权重标准差biasBSD的计算公式。其中，偏差数据的个数为m，第j个偏差数据为biasj＝Oj-Bj，Oj为第一剩余数据中的第j个采样数据，Bj为目标探空数据中与Oj对应的采样数据，biasM为m个偏差数据的中位数，biaswj为针对第j个偏差数据的权重值，
Figure BDA0001926923360000185
biasMAD为m个偏差数据分别与biasM的差值绝对值(|Oj-biasM|，j＝1...m)形成的数组中的中位数，C＝7.5。
本可选的技术方案，通过计算每个采样数据以及偏差数据的权重值，结合平均值以及标准差概念得到了目标掩星数据以及偏差数据的双权重系数，使基于该双权重系数计算出的错误数据以及可疑数据的数据范围更加准确，提高了对掩星数据的质量控制的准确性。
可选的，在将匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层进行划分之前，还包括：
获取预设时间长度内的掩星数据以及探空数据；
将掩星数据与探空数据进行匹配，获取匹配的掩星数据以及与匹配的掩星数据对应的探空数据。
在本可选的技术方案中，获取预设时间长度内的掩星数据以及探空数据。将掩星数据与探空数据进行匹配是指获取相互匹配的掩星数据以及探空数据，作为掩星数据质量控制的输入数据，例如，采用自适应的方式，获取掩星数据以及多个探空站的经纬度数据；其中，掩星数据包括多组采样数据，每组采样数据中包含经纬度数据；将每组采样数据中的经纬度数据确定的位置，作为目标位置，并将每个探空站的经纬度数据确定的位置，作为基准位置；针对每个基准位置，确定离基准位置预设距离范围内的至少一个目标位置，从至少一个目标位置对应的采样数据中选取至少一组预设时间段内的采样数据，并作为与探空站匹配的采样数据；其中，选取的每组采样数据与至少一个探空站匹配；汇总每个与探空站匹配的采样数据，将汇总的采样数据作为与探空站匹配的掩星数据；分别确定匹配的掩星数据中每组采样数据与匹配的至少一个探空站的探空数据之间的差值绝对值，将与匹配的掩星数据中每组采样数据的差值绝对值最小的探空数据，作为与匹配的掩星数据中每组采样数据对应的探空数据；汇总匹配的掩星数据中每组采样数据对应的探空数据，将汇总的探空数据作为与匹配的掩星数据对应的探空数据。
本可选的技术方案中，根据预设规则获取相互匹配的掩星数据和探空数据，可以提高探空数据与掩星数据的相似程度，从而为判别掩星数据提供了准确的判别依据。
实施例三
图3a为本发明实施例三提供的一种掩星数据的质量控制方法的流程图，本实施例是本发明一个优选的实施例。下面结合图3对本发明实施例三提供的一种掩星数据的质量控制方法进行说明，包括以下步骤：
步骤310、获取掩星数据以及多个探空站的经纬度数据；其中，掩星数据包括多组采样数据，每组采样数据中包含经纬度数据。
步骤320、将每组采样数据中的经纬度数据确定的位置，作为目标位置，并将每个探空站的经纬度数据确定的位置，作为基准位置。
步骤330、针对每个基准位置，确定离基准位置预设距离范围内的至少一个目标位置，从至少一个目标位置对应的采样数据中选取至少一组预设时间段内的采样数据，并作为与探空站匹配的采样数据；其中，选取的每组采样数据与至少一个探空站匹配。
步骤340、汇总每个与探空站匹配的采样数据，将汇总的采样数据作为与探空站匹配的掩星数据。
步骤350、分别确定匹配的掩星数据中每组采样数据与匹配的至少一个探空站的探空数据之间的差值绝对值，将与匹配的掩星数据中每组采样数据的差值绝对值最小的探空数据，作为与匹配的掩星数据中每组采样数据对应的探空数据。
步骤360、汇总匹配的掩星数据中每组采样数据对应的探空数据，将汇总的探空数据作为与匹配的掩星数据对应的探空数据。
步骤370、将匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据。
步骤380、将每个气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据。
步骤390、确定目标掩星数据的双权重系数，并基于目标掩星数据的双权重系数确定目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据。
步骤3100、将目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据。
步骤3110、确定偏差数据的双权重系数，并基于偏差数据的双权重系数确定偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据。
步骤3120、将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据。
步骤3130、确定第二剩余数据与目标探空数据的相关系数。
步骤3140、判断相关系数是否小于预设相关系数阈值。
步骤3150、若相关系数小于预设相关系数阈值，则第二可疑数据为错误数据，将第二剩余数据中的第二可疑数据对应的掩星数据去除，得到目标掩星数据的正确数据。
步骤3160、若相关系数不小于预设相关系数阈值，则第二可疑数据为正确数据，将第二剩余数据作为目标掩星数据的正确数据。
具体的，以对2017年9月1日至2018年8月31日的COSMIC掩星数据进行质量为例，说明本实施例的技术方案。获取2017年9月1日至2018年8月31日的全国COSMIC掩星数据，其中，掩星数据中每天平均有约500组采样数据，采样数据中包括温度监测值以及获取采样数据的位置信息，获取全国120个探空站在早8时获取的探空数据作为背景场数据。根据采样数据以及探空站的经纬度信息和时间信息，将每天约500组采样数据跟全国120个探空站在早8时的探空数据来进行匹配，具体匹配方法为：由于西部地区和北部地区探空站相对比较稀疏，所以在呼和浩特以南，西宁成都以东，澳门以北的区域选取离探空站位置100km以内的采样数据，其他的地方选取离探空站位置200km以内的采样数据，筛选与探空站的探测时间(08时)间隔在3小时以内的采样数据，即获取采样时间在05时至11时的采样数据，将所有与探空站经过空间和时间匹配的采样数据汇总，作为匹配的掩星数据，对于匹配的掩星数据中一组采样数据匹配到多个探空站的探空数据的情况，选取探空数据与采样数据差值绝对值最小的探空数据，作为与匹配的掩星数据中每组采样数据对应的探空数据，汇总匹配的掩星数据中每组采样数据对应的探空数据，将汇总的探空数据作为与匹配的掩星数据对应的探空数据。
对匹配的掩星数据以及与匹配的掩星数据对应的探空数据进行气压层以及区域划分，气压层划分采用15个气压层划分方法(925hPa、850hPa、700hPa、500hPa、400hPa、300hPa、250hPa、200hPa、150hPa、100hPa、70hPa、50hPa、30hPa、20hPa和10hPa)，区域划分采用气候区域划分方法(温带季风气候区、温带大陆性气候区、亚热带季风气候区、热带季风气候区以及高原山地气候区，其中，将热带季风气候区并入亚热带季风气候区中，成为一个气候区，即共有4个气候区)，获取60个掩星数据集合以及匹配的60个探空数据集合，针对每个掩星数据集合中的目标掩星数据以及匹配的目标探空数据，进行质量控制，获取目标掩星数据中的正确数据。
计算目标掩星数据的双权重平均值
Figure BDA0001926923360000231
和双权重标准差BSD，4个气候区中目标掩星数据的双权重平均值
Figure BDA0001926923360000232
随气压层变化的曲线如图3b所示(1代表温带大陆性气候区，2代表亚热带季风气候区，3代表温带季风气候区，4代表高原山地气候区)，4个气候区的目标掩星数据的双权重标准差BSD随气压层变化的曲线如图3c所示(图例同上)，可以看出，四个气候区之间温度的双权重平均值以及双权重标准差均存在明显的差异，由于亚热带季风气候区一年温差较小，数据相对来说比较集中，亚热带季风气候区的双权重标准差较小。而在温带季风气候区，冬季寒冷干燥，夏季高温多雨，四季分明，温度变化较大，因而双权重标准差也较大。
得到目标掩星数据中的第一错误数据为目标掩星数据中除
Figure BDA0001926923360000233
范围之外的掩星数据，第一可疑数据为目标掩星数据中在
Figure BDA0001926923360000234
和
Figure BDA0001926923360000235
范围内的掩星数据，4个气候区中第一错误数据和第一可疑数据随气压层变化的曲线如图3d至3g所示，其中，长虚线与短虚线范围内的数据为第一可疑数据，长虚线以外的数据为第一错误数据，实线为掩星数据的实际采样数据，可以看出，4个气候区之间存在差别，亚热带季风气候区由于其双权重标准差较小，正确数据的区间也较小。
将目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据，计算偏差数据的双权重平均值
Figure BDA0001926923360000241
和双权重标准差biasBSD，4个气候区中偏差数据的双权重平均值
Figure BDA0001926923360000242
随气压层变化的曲线如图3h所示(图例同上)，4个气候区中偏差数据的双权重标准差biasBSD随气压层变化的曲线如图3i所示(图例同上)，可以看出，除了高原山地气候区的双权重平均值较大之外，其他气候区的双权重平均值都较小，都在2℃以内，与探空数据之间的对应关系较好，而双权重标准差都在4以内。
得到偏差数据中第二错误数据为偏差数据中除
Figure BDA0001926923360000243
范围之外的数据，第二可疑数据为偏差数据中在
Figure BDA0001926923360000244
和
Figure BDA0001926923360000245
范围内的数据，4个气候区的第二错误数据和第二可疑数据随气压层变化的曲线如图3j至3m所示，其中，长虚线与短虚线范围内的数据为第二可疑数据，长虚线以外的数据为第二错误数据，实线为偏差数据的实际数据，可以看出，四个气候区的第二可疑数据和第二错误数据由于偏差数据的双权重平均值和双权重标准差不同而有所不同，温带大陆性气候区，亚热带季风气候区和温带季风气候区的正确数据的区间在低气压层较小，高气压层增大，而温带大陆气候区得正确数据的区间相比其他气候区要大一些。
将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据，确定第二剩余数据与目标探空数据的相关系数，4个气候区中第二剩余数据与目标探空数据中对应数据的相关系数随气压层变化的曲线如图3n所示(图例同上)。判断相关系数是否小于预设相关系数阈值0.85，若相关系数小于0.85，则第二可疑数据为错误数据，将第二剩余数据中的第二可疑数据对应的掩星数据去除，得到目标掩星数据的正确数据，若相关系数不小于0.85，则第二可疑数据为正确数据，将第二剩余数据作为目标掩星数据的正确数据。
经过上述质量控制后，得到4个气候区中目标掩星数据的正确数据与错误数据的散点分布图如图3o至3r所示(圆形散点为正确数据，五角星形散点为错误数据)，4个气候区中不同相关系数随气压层变化的曲线对比图如图3s至3v所示(before qc代表目标掩星数据与目标探空数据的相关系数随气压层变化的曲线，qc1代表第一剩余数据与目标探空数据中对应数据的相关系数随气压层变化的曲线，qc2代表正确掩星数据与目标探空数据中对应数据的相关系数随气压层变化的曲线)，可以看出，在进行质量控制之前，目标掩星数据与目标探空数据之间的相关性较差，经过计算第一错误数据以及第一可疑数据之后，第一剩余数据与目标探空数据中对应数据的相关系数有了明显的提高，大部分的相关系数都在0.8以上，然后再经过计第二剩余数据与目标探空数据中对应数据的相关系数之后，正确掩星数据与目标探空数据中对应数据的相关系数更进一步提高，质量控制有了很好的结果，说明本实施例中的技术方案既可以剔除掩星数据中的错误数据，又可以保证正确数据被保留，实现对掩星数据较好的质量控制，提高掩星数据的使用率，使掩星数据可以更好地应用到业务中去，提高气象科研水平，提高业务数值天气预报的准确性。
实施例四
图4为本发明实施例四提供的一种掩星数据的质量控制装置的结构示意图，如图4所示，所述掩星数据的质量控制装置包括：气压层划分模块410、区域划分模块420、第一数据确定模块430、偏差数据确定模块440、第二数据确定模块450、第二剩余数据确定模块460以及正确数据确定模块470，其中：
气压层划分模块410，用于将匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据；
区域划分模块420，用于将每个气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据；；
第一数据确定模块430，用于确定目标掩星数据的双权重系数，并基于目标掩星数据的双权重系数确定目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据；
偏差数据确定模块440，用于将目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据；
第二数据确定模块450，用于确定偏差数据的双权重系数，并基于偏差数据的双权重系数确定偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据；
第二剩余数据模块460，用于将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据；
正确数据确定模块470，用于确定第二剩余数据与目标探空场数据的相关系数，并基于相关系数，确定目标掩星数据中的正确数据。
本发明实施例提供了一种掩星数据的质量控制装置，通过对匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层和区域划分，确定目标掩星数据以及目标探空数据，并获取目标掩星数据中的第一错误数据和第一可疑数据，将目标掩星数据中的第一错误数据去除，得到第一剩余数据，通过确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据，获得偏差数据中的第二错误数据和第二可疑数据，并将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据，基于第二剩余数据与目标探空数据的相关系数，确定目标掩星数据中的正确数据，即本实施例的技术方案通过使用探空数据作为背景场数据，增加了背景场数据的真实性，且将不符合判断依据的数据划分为错误数据和可疑数据，将错误数据剔除，并对可疑数据进行进一步的判别，减少对数据的误判现象，解决了现有技术中，将预报模式场数据作为背景场数据与掩星数据进行比较缺乏可靠性，且单纯根据某一判断依据剔除掩星数据中的错误数据，导致部分正确数据也被剔除的问题，实现了提高背景场数据的可靠性和对掩星数据的质量控制的准确性的效果。
可选的，在气压层划分模块410之前，还包括：
数据获取模块，用于获取预设时间长度内的掩星数据以及探空数据；
数据匹配模块，用于将掩星数据与探空数据进行匹配，获取匹配的掩星数据以及与匹配的掩星数据对应的探空数据。
可选的，双权重系数包括：双权重平均值和双权重标准差；
第一错误数据为目标掩星数据中除
Figure BDA0001926923360000271
范围之外的掩星数据；
第一可疑数据为目标掩星数据中在
Figure BDA0001926923360000272
和
Figure BDA0001926923360000273
范围内的掩星数据；
第二错误数据为偏差数据中除
Figure BDA0001926923360000274
范围之外的数据；
第二可疑数据为偏差数据中在
Figure BDA0001926923360000281
和
Figure BDA0001926923360000282
范围内的数据；
其中，
Figure BDA0001926923360000283
和BSD分别为目标掩星数据的双权重平均值和双权重标准差；
Figure BDA0001926923360000284
和biasBSD分别为偏差数据的双权重平均值和双权重标准差。
可选的，基于如下公式确定目标掩星数据的双权重平均值：
Figure BDA0001926923360000285
基于如下公式确定目标掩星数据的双权重标准差：
Figure BDA0001926923360000286
其中，n为目标掩星数据中采样数据的个数，Oi为目标掩星数据中第i个采样数据，M为目标掩星数据中n个采样数据的中位数，
Figure BDA0001926923360000287
MAD为目标掩星数据中n个采样数据分别与M的差值绝对值组成的数组中的中位数,C＝7.5；
基于如下公式确定偏差数据的双权重平均值：
Figure BDA0001926923360000288
基于如下公式确定偏差数据的双权重标准差：
Figure BDA0001926923360000289
其中，m为第一剩余数据中采样数据的个数，biasj＝Oj-Bj,Oj为第一剩余数据中的第j个采样数据，Bj为目标探空数据中与Oj对应的采样数据，biasM为m个偏差数据的中位数，
Figure BDA0001926923360000291
biasMAD为m个偏差数据分别与biasM的差值绝对值组成的数组中的中位数。
可选的，正确数据确定模块480，包括：
第一正确数据确定单元，用于若相关系数小于预设相关系数阈值，则第二可疑数据为错误数据，将第二剩余数据中的第二可疑数据对应的掩星数据去除，得到目标掩星数据的正确数据；
第二正确数据确定单元，用于若相关系数不小于预设相关系数阈值，则第二可疑数据为正确数据，将第二剩余数据作为目标掩星数据的正确数据。
上述掩星数据的质量控制装置可执行本发明任意实施例所提供的掩星数据的质量控制方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图，如图5所示，该设备包括处理器50和存储器51；计算机设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50和存储器51可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种掩星数据的质量控制方法对应的程序指令/模块(例如，一种掩星数据的质量控制装置中的气压层划分模块410、区域划分模块420、第一数据确定模块430、偏差数据确定模块440、第二数据确定模块450、第二剩余数据确定模块460以及正确数据确定模块470)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的掩星数据的质量控制方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种掩星数据的质量控制方法，该方法包括：
将匹配的掩星数据以及与匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据；
将每个气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据；
确定目标掩星数据的双权重系数，并基于目标掩星数据的双权重系数确定目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据；
将目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定第一剩余数据与目标探空数据中的对应数据之间的偏差数据；
确定偏差数据的双权重系数，并基于偏差数据的双权重系数确定偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据；
将第一剩余数据中的第二错误数据对应的掩星数据去除，得到第二剩余数据；
确定第二剩余数据与目标探空场数据的相关系数，并基于相关系数，确定目标掩星数据中的正确数据。
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的掩星数据的质量控制方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种掩星数据的质量控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种掩星数据的质量控制方法，其特征在于，包括：
将匹配的掩星数据以及与所述匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据；
将每个所述气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据；
确定所述目标掩星数据的双权重系数，并基于所述目标掩星数据的双权重系数确定所述目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据；
将所述目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定所述第一剩余数据与所述目标探空数据中的对应数据之间的偏差数据；
确定所述偏差数据的双权重系数，并基于所述偏差数据的双权重系数确定所述偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据；
将所述第一剩余数据中的所述第二错误数据对应的掩星数据去除，得到第二剩余数据；
确定所述第二剩余数据与目标探空数据的相关系数，并基于所述相关系数，确定所述目标掩星数据中的正确数据。
2.根据权利要求1所述的方法，其特征在于，在所述将匹配的掩星数据以及与所述匹配的掩星数据对应的探空数据按照气压层进行划分之前，还包括：
获取预设时间长度内的掩星数据以及探空数据；
将所述掩星数据与所述探空数据进行匹配，获取所述匹配的掩星数据以及与所述匹配的掩星数据对应的探空数据。
3.根据权利要求1所述的方法，其特征在于，所述双权重系数包括：双权重平均值和双权重标准差；
所述第一错误数据为所述目标掩星数据中除
Figure FDA0001926923350000021
范围之外的掩星数据；
所述第一可疑数据为所述目标掩星数据中在
Figure FDA0001926923350000022
和
Figure FDA0001926923350000023
范围内的掩星数据；
所述第二错误数据为所述偏差数据中除
Figure FDA0001926923350000024
范围之外的数据；
所述第二可疑数据为所述偏差数据中在
Figure FDA0001926923350000025
和
Figure FDA0001926923350000026
范围内的数据；
其中，
Figure FDA0001926923350000027
和BSD分别为所述目标掩星数据的双权重平均值和双权重标准差；
Figure FDA0001926923350000028
和biasBSD分别为所述偏差数据的双权重平均值和双权重标准差。
4.根据权利要求3所述的方法，其特征在于,
基于如下公式确定所述目标掩星数据的双权重平均值：
Figure FDA0001926923350000029
基于如下公式确定所述目标掩星数据的双权重标准差：
Figure FDA00019269233500000210
其中，n为所述目标掩星数据中采样数据的个数，Oi为所述目标掩星数据中第i个采样数据，M为所述目标掩星数据中n个采样数据的中位数，
Figure FDA0001926923350000031
MAD为所述目标掩星数据中n个采样数据分别与M的差值绝对值组成的数组中的中位数,C＝7.5；
基于如下公式确定所述偏差数据的双权重平均值：
Figure FDA0001926923350000032
基于如下公式确定所述偏差数据的双权重标准差：
Figure FDA0001926923350000033
其中，m为所述第一剩余数据中采样数据的个数，biasj＝Oj-Bj,Oj为所述第一剩余数据中的第j个采样数据，Bj为所述目标探空数据中与Oj对应的采样数据，biasM为m个所述偏差数据的中位数，
Figure FDA0001926923350000034
biasMAD为m个所述偏差数据分别与biasM的差值绝对值组成的数组中的中位数。
5.根据权利要求1所述的方法，其特征在于，所述基于所述相关系数，确定所述目标掩星数据中的正确数据，包括：
若所述相关系数小于预设相关系数阈值，则所述第二可疑数据为错误数据，将所述第二剩余数据中的所述第二可疑数据对应的掩星数据去除，得到目标掩星数据的正确数据；
若所述相关系数不小于所述预设相关系数阈值，则所述第二可疑数据为正确数据，将所述第二剩余数据作为目标掩星数据的正确数据。
6.一种掩星数据的质量控制装置，其特征在于，包括：
气压层划分模块，用于将匹配的掩星数据以及与所述匹配的掩星数据对应的探空数据按照气压层进行划分，得到每个气压层对应的掩星数据以及探空数据；
区域划分模块，用于将每个所述气压层对应的掩星数据以及探空数据按照区域进行划分，得到每个区域对应的掩星数据以及探空数据，并分别作为目标掩星数据以及目标探空数据；
第一数据确定模块，用于确定所述目标掩星数据的双权重系数，并基于所述目标掩星数据的双权重系数确定所述目标掩星数据中的错误数据和可疑数据，并分别作为第一错误数据以及第一可疑数据；
偏差数据确定模块，用于将所述目标掩星数据中的第一错误数据去除，得到第一剩余数据，并确定所述第一剩余数据与所述目标探空数据中的对应数据之间的偏差数据；
第二数据确定模块，用于确定所述偏差数据的双权重系数，并基于所述偏差数据的双权重系数确定所述偏差数据中的错误数据和可疑数据，并分别作为第二错误数据以及第二可疑数据；
第二剩余数据模块，用于将所述第一剩余数据中的所述第二错误数据对应的掩星数据去除，得到第二剩余数据；
正确数据确定模块，用于确定所述第二剩余数据与目标探空场数据的相关系数，并基于所述相关系数，确定所述目标掩星数据中的正确数据。
7.根据权利要求6所述的装置，其特征在于，所述双权重系数包括：双权重平均值和双权重标准差；
所述第一错误数据为所述目标掩星数据中除
Figure FDA0001926923350000041
范围之外的掩星数据；
所述第一可疑数据为所述目标掩星数据中在
Figure FDA0001926923350000051
和
Figure FDA0001926923350000052
范围内的掩星数据；
所述第二错误数据为所述偏差数据中除
Figure FDA0001926923350000053
范围之外的数据；
所述第二可疑数据为所述偏差数据中在
Figure FDA0001926923350000054
和
Figure FDA0001926923350000055
范围内的数据；
其中，
Figure FDA0001926923350000056
和BSD分别为所述目标掩星数据的双权重平均值和双权重标准差；
Figure FDA0001926923350000057
和biasBSD分别为所述偏差数据的双权重平均值和双权重标准差。
8.根据权利要求7所述的装置，其特征在于，所述正确数据确定模块，包括：
第一正确数据确定单元，用于若所述相关系数小于预设相关系数阈值，则所述第二可疑数据为错误数据，将所述第二剩余数据中的所述第二可疑数据对应的掩星数据去除，得到目标掩星数据的正确数据；
第二正确数据确定单元，用于若所述相关系数不小于所述预设相关系数阈值，则所述第二可疑数据为正确数据，将所述第二剩余数据作为目标掩星数据的正确数据。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的掩星数据的质量控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的掩星数据的质量控制方法。
CN201811621311.4A 2018-12-28 2018-12-28 一种掩星数据的质量控制方法、装置、设备及存储介质 Active CN109766937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811621311.4A CN109766937B (zh) 2018-12-28 2018-12-28 一种掩星数据的质量控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811621311.4A CN109766937B (zh) 2018-12-28 2018-12-28 一种掩星数据的质量控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109766937A CN109766937A (zh) 2019-05-17
CN109766937B true CN109766937B (zh) 2020-07-10

Family

ID=66450469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811621311.4A Active CN109766937B (zh) 2018-12-28 2018-12-28 一种掩星数据的质量控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109766937B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531360B (zh) * 2019-08-28 2021-08-17 中船重工鹏力（南京）大气海洋信息系统有限公司 一种x波段天气雷达组网数据处理方法
CN111505742A (zh) * 2020-04-29 2020-08-07 中国科学院国家空间科学中心 一种gnss电离层掩星数据气候研究的参数网格化方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104729712A (zh) * 2015-03-30 2015-06-24 中国资源卫星应用中心 一种星载大气探测傅里叶变换光谱仪数据预处理方法
US9911303B2 (en) * 2012-04-20 2018-03-06 The United States Of America As Represented By The Secretary Of The Army System to evaluate airborne hazards
CN109059916A (zh) * 2018-09-30 2018-12-21 中国气象局气象探测中心 一种基于惯导的浮空器掩星预报方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911303B2 (en) * 2012-04-20 2018-03-06 The United States Of America As Represented By The Secretary Of The Army System to evaluate airborne hazards
CN104729712A (zh) * 2015-03-30 2015-06-24 中国资源卫星应用中心 一种星载大气探测傅里叶变换光谱仪数据预处理方法
CN109059916A (zh) * 2018-09-30 2018-12-21 中国气象局气象探测中心 一种基于惯导的浮空器掩星预报方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Handbook of Global Navigation Satellite Systems;Montenbruck O et al.;《Springer International Publishing AG》;20171231;第1120-1138页 *
L波段探空系统相对湿度的观测误差特征;唐南军;《中国优秀硕士学位论文全文数据库 基础科学辑》;20140215(第2期);A009-32 *

Also Published As

Publication number Publication date
CN109766937A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
Zhou et al. Forecasting different types of convective weather: A deep learning approach
Zongxing et al. Changes of daily climate extremes in southwestern China during 1961–2008
Mandement et al. Contribution of personal weather stations to the observation of deep-convection features near the ground
CN111401602A (zh) 基于神经网络的卫星以及地面降水测量值同化方法
CN109766937B (zh) 一种掩星数据的质量控制方法、装置、设备及存储介质
CN112232554A (zh) 一种基于bp神经网络的局域短临降水预报模型的构建方法
CN109740118B (zh) 一种质量控制方法、装置、设备及存储介质
Zhuge et al. Summertime convective initiation nowcasting over southeastern China based on Advanced Himawari Imager observations
Liu et al. Monitoring recent changes in snow cover in Central Asia using improved MODIS snow-cover products
Hochman et al. A new view of heat wave dynamics and predictability over the eastern Mediterranean
Zhang et al. Comprehensive evaluation of mainstream gridded precipitation datasets in the cold season across the Tibetan Plateau
Lucio-Eceiza et al. Quality control of surface wind observations in Northeastern North America. Part I: Data management issues
CN107403004B (zh) 一种基于地形数据的遥测雨量站点可疑数值检验方法
Punge et al. Characteristics of hail hazard in South Africa based on satellite detection of convective storms
CN114325874A (zh) 一种强对流天气个例库系统的建立方法
Iordanidou et al. Investigating the relationship of lightning activity and rainfall: A case study for Crete Island
CN109725370B (zh) 一种数据匹配方法、装置、设备及存储介质
Ziv et al. Flash floods prediction using precipitable water vapor derived from GPS tropospheric path delays over the eastern mediterranean
CN110968926B (zh) 一种基于改进背景误差协方差矩阵预测大气参数的方法
Alerskans et al. Optimizing spatial quality control for a dense network of meteorological stations
Han et al. Investigation of raindrop size distribution and its potential influential factors during warm season over China
Pegion et al. Understanding predictability of daily southeast US precipitation using explainable machine learning
CN114691661B (zh) 一种基于同化的云导风、温湿廓线预处理分析方法及系统
Bower et al. Quantifying heavy precipitation throughout the entire tropical cyclone life cycle
Lu et al. A methodology for multiobjective evaluation of precipitation products for extreme weather (in a data-scarce environment)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant