CN111611233B - 数据质量检测方法、装置及电子设备 - Google Patents
数据质量检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111611233B CN111611233B CN202010437946.XA CN202010437946A CN111611233B CN 111611233 B CN111611233 B CN 111611233B CN 202010437946 A CN202010437946 A CN 202010437946A CN 111611233 B CN111611233 B CN 111611233B
- Authority
- CN
- China
- Prior art keywords
- data
- wind vector
- wind
- data set
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 356
- 238000004458 analytical method Methods 0.000 claims description 74
- 238000007476 Maximum Likelihood Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 49
- 238000000034 method Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 238000007619 statistical method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000025518 detection of mechanical stimulus involved in sensory perception of wind Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本申请涉及海洋遥感测绘技术领域,具体而言,涉及一种数据质量检测方法、装置及电子设备。本申请实施例提供的数据质量检测方法,包括获取海洋动力环境探测卫星单轨探测获得的风矢量数据集;从风矢量数据集中,获取M个子数据集,M>0,且为整数;对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果。本申请实施例提供的数据质量检测方法、装置及电子设备,能够提高数据质量检测的准确性,同时,也提高了数据质量检测的效率。
Description
技术领域
本申请涉及海洋遥感测绘技术领域,具体而言,涉及一种数据质量检测方法、装置及电子设备。
背景技术
海面风场是影响海浪、海流、水团的活跃因子,是海洋动力学的基本参数,全球海洋风场的监测,对于沿海地区的防灾减灾、海洋环境保障,以及海洋相关科学研究的促进都具有重要意义,而微波散射计以其全天时、全天候、高时空分辨率、大覆盖范围等特点,已成为全球海面风场最为重要的观测手段。
微波散射计是一种经过定标的雷达,用于主动向海面发射电磁波,并接收经过海面调制的回波信号,而回波信号将由发射的电磁波以及海面特征共同决定。当海面的海浪波长与微波散射计发射的电磁波波长满足布拉格散射条件时,各波面产生的后向散射电磁波相位相同,从而产生共振,而回波能量将主要由产生共振的电磁波决定。在微波散射计的工作频率下,满足布拉格谐振条件的海面波为海表毛细波,由于海面毛细波的谱密度与海面上的风速直接相关,因此,通过微波散射计接收的回波信号可获取海面风场的信息,同时,通过对回波信号进行处理,可以获得仅与海面情况有关的归一化后向散射系数,而通过归一化的后向散射系数又可以进一步提取出海面风场,海面风场的数据提取过程称为风矢量反演。
以目前我国可业务化运行的微波散射计-海洋二号卫星微波散射计(HaiYang-2Scatterometer,HY2-SCAT)为例,风矢量反演过程中,其可获得的数据产品分为L1B级数据产品、L2A级数据产品、L2B级数据产品和L3级数据产品。其中,L2B产品数据文件以轨道为单位进行集合,也即,每个轨道对应的风矢量测量数据(以卫星下点轨迹为基准,在星下点轨迹的最南端进行切割,每个轨道包含卫星绕地球一整圈所获得的观测数据)构成一个L2B产品数据文件。L2B产品数据文件中的每条风矢量数据都可以通过风矢量单元的行、列号进行索引,而风矢量单元行的延伸方向与星下线相垂直,风矢量单元列的延伸方向与星下线方向相一致。L2B产品数据文件中最多给出4个风速、风向模糊解,并按似然估计值由高到低的顺序排列,同时,L2B产品数据文件中,还包括对每个风矢量单元是否受海冰污染、是否受陆地污染进行标志的风矢量数据。
但在数据产品的获取过程中,数据质量有可能会发生异常,导致数据数据质量有发生异常的原因主要包括:(1)微波散射计的载荷出现异常;(2)数据接收、预处理及处理过程中出现的异常;(3)辅助数据不能及时到位出现的异常;(4)降雨、降雪、冰雹等极端天气原因引起的异常。若这些异常数据如果不加以剔除或标记,则会导出错误的结论,最终,影响数据的使用效果。目前,微波散射计业务系统中缺乏可靠的数质量检测技术,而多是通过值班员观察风场分布图,或后向散射系数分布图等方式确定异常数据,对值班员的工作经验要求较高,无法保证数据质量检测的准确性,且数据质量的检测效率极低。
发明内容
本申请实施例的目的在于,提供一种数据质量检测方法、装置及电子设备,以解决上述问题。
第一方面,本申请实施例中提供的数据质量检测方法,包括:
获取海洋动力环境探测卫星单轨探测获得的风矢量数据集;
从风矢量数据集中,获取M个子数据集,M>0,且为整数;
对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果。
本申请实施例提供的数据质量检测方法,能够获取海洋动力环境探测卫星单轨探测获得的风矢量数据集,从风矢量数据集中,获取M个子数据集,对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果。显然,本申请实施例提供的数据质量检测方法,能够实现数据质量的自动化检测,相对于现有技术中,通过值班员观察风场分布图,或后向散射系数分布图等方式确定异常数据的方式而言,能够提高数据质量检测的准确性,同时,也提高了数据质量检测的效率。
结合第一方面,本申请实施例提供了第一方面的第一种可选的实施方式,从风矢量数据集中,获取M个子数据集,包括:
获取预设的N个目标检测项,N>0,且为整数;
针对N个目标检测项中的每个目标检测项,确定与目标检测项对应的至少一类功能数据类型;
对N个目标检测项中,每个目标检测项对应的至少一类功能数据类型进行整合,获得M类功能数据类型;
针对M类功能数据类型中的每类功能数据类型,从风矢量数据集中,获取与功能数据类型对应的子数据集,以获得M个子数据集。
结合第一方面的第一种可选的实施方式,本申请实施例还提供了第一方面的第二种可选的实施方式,对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果,包括:
针对N个目标检测项中的每个目标检测项,根据目标检测项对应的至少一类功能数据类型,从M个子数据集中,确定与目标检测项对应的至少一个子数据集,组成数据集组合;
对数据集组合中的每条风矢量数据进行分析,获得目标检测项的初步检测结果;
将N个目标检测项中,每个目标检测项的初步检测结果共同作为风矢量数据集的数据检测结果。
结合第一方面的第二种可选的实施方式,本申请实施例还提供了第一方面的第三种可选的实施方式,对数据集组合中的每条风矢量数据进行分析,获得目标检测项的初步检测结果,包括:
若数据集组合中仅包括一个子数据集,则针对子数据集中的每条风矢量数据,获取风矢量数据的标志位数据,并判断标志位数据的值是否为预设标准值;
根据子数据集中,标志位数据的值为预设标准值的风矢量数据条数,获得目标检测项的初步检测结果。
结合第一方面的第二种可选的实施方式,本申请实施例还提供了第一方面的第四种可选的实施方式,对数据集组合中的每条风矢量数据进行分析,获得目标检测项的初步检测结果,包括:
若数据集组合中包括多个子数据集,则将多个子数据集中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,以获得多个待分析数据组;
针对多个待分析数据组中的每个待分析数据组,判断待分析数据组中的风矢量数据是否满足预设取值要求;
根据多个待分析数据组中,风矢量数据满足预设取值要求的待分析数据组数量,获得目标检测项的初步检测结果。
结合第一方面的第一种可选的实施方式,本申请实施例还提供了第一方面的第五种可选的实施方式,数据质量检测方法,N个目标检测项包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析中的至少一者;
和/或,M类功能数据类型包括反演风速数据、反演风向数据、质量标志数据、模型风速数据、模型风向数据、模糊解选择序号、最大似然估计值和观测时间中的至少一者。
结合第一方面,本申请实施例还提供了第一方面的第六种可选的实施方式,数据质量检测方法,还包括:
获取海洋动力环境探测卫星在目标时段内,获得的风矢量数据集的集合数量;
判断集合数量为预设数值是否为预设数值;
若集合数量为预设数值,则判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集具备完整性;
若集合数量非预设数值,则判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集不具备完整性。
第二方面,本申请实施例还提供了一种数据质量检测装置,包括:
数据集获取模块,用于获取海洋动力环境探测卫星单轨探测获得的风矢量数据集;
子数据集获取模块,用于从所述风矢量数据集中,获取M个子数据集,M>0,且为整数;
检测结果获取模块,用于对所述M个子数据集中的每个子数据集进行分析,获得所述风矢量数据集的数据检测结果。
本申请实施例提供的数据质量检测装置具有与上述第一方面,或第一方面的任意一种可选的实施方式提供的数据质量检测方法相同的有益效果,此处不作赘述。
第三方面,本申请实施例还提供了一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器用于执行所述计算机程序,以实现上述第一方面,或第一方面的任意一种可选的实施方式提供的数据质量检测方法。
本申请实施例提供的电子设备具有与上述第一方面,或第一方面的任意一种可选的实施方式提供的数据质量检测方法相同的有益效果,此处不作赘述。
第四方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被执行时,实现上述第一方面,或第一方面的任意一种可选的实施方式所提供的数据质量检测方法。
本申请实施例提供的计算机可读存储介质具有与上述第一方面,或第一方面的任意一种可选的实施方式提供的数据质量检测方法相同的有益效果,此处不作赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的示意性结构框图。
图2为本申请实施例提供的一种数据质量检测方法的步骤流程图。
图3为本申请实施例提供的一种风矢量单元示意图。
图4为本申请实施例提供的一种数据质量检测装置的示意性结构框图。
附图标记:100-电子设备;110-处理器;120-存储器;200-数据质量检测装置;210-数据集获取模块;220-子数据集获取模块;230-检测结果获取模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。此外,应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本申请实施例提供的一种电子设备100的示意性结构框图。本申请实施例中,电子设备100可以是服务器,也可以是终端设备,例如,电脑、个人数字助理(Personal Digital Assistant,PAD)、移动上网设备(Mobile Internet Device,MID)等。
在结构上,电子设备100可以包括处理和存储器120。
处理器110和存储器120直接或间接地电性连接,以实现数据的传输或交互,例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。数据质量检测装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System,OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块,例如,数据质量检测装置所包括的软件功能模块及计算机程序等,以实现数据质量检测方法。
处理器110可以在接收到执行指令后,执行计算机程序。其中,处理器110可以是一种集成电路芯片,具有信号处理能力。处理器110也可以是通用处理器,例如,可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图,此外,通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory,EPROM),以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)。存储器120用于存储程序,处理器110在接收到执行指令后,执行该程序。
应当理解,图1所示的结构仅为示意,本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件,或是具有与图1所示不同的配置。此外,图1所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2,为本申请实施例提供的数据质量检测方法的流程示意图,该方法应用于图1所示的电子设备100。需要说明的是,本申请实施例提供的数据质量检测方法不以图2及以下所示的顺序为限制,以下结合图2对数据质量检测方法的具体流程及步骤进行描述。
步骤S100,获取海洋动力环境探测卫星单轨探测获得的风矢量数据集。
本申请实施例中,海洋动力环境探测卫星可以是,但不限于HY2-SCAT,此外,单轨探测获得的风矢量数据集可以理解为,以轨道为单位进行集合,也即,每个轨道对应的风矢量测量数据(以卫星下点轨迹为基准,在星下点轨迹的最南端进行切割,每个轨道包含卫星绕地球一整圈所获得的观测数据)构成的一个产品数据文件。
此外,海洋动力环境探测卫星通常以网格模型,以星下点轨迹为中心,以顺轨向及交轨向坐标来表示指定位置。请结合图3,具体以HY2-SCAT为例,其采用25km×25km的分辨率进行重采样,而坐标系的原点为HY2-SCAT轨道的边界,也即,纬度最南端星下点的对应点。由于HY2-SCAT的刈幅足够窄,因此,可忽略“经度”在刈幅边缘的压缩,将网格模型可视为严格的矩形网格,这样处理也可简化计算。本申请实施例中,为方便描述,可以将该网格坐标体系标中的每个25km×25km单元格,作为一个风矢量单元,最终,包括1624行76列风矢量单元,也即,(1624*76)个风矢量单元。基于此,可以理解的是,本申请实施例中,若风矢量数据集质量合格,则应当包括与(1624*76)个风矢量单元对应的风矢量数据。
步骤S200,从风矢量数据集中,获取M个子数据集,M>0,且为整数。
本申请实施例中,可以按照对应的功能数据类型,从风矢量数据集中,获取M个子数据集,基于此,对于步骤S200,本申请实施例中,作为一种可选的实施方式,其可以包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210,获取预设的N个目标检测项,N>0,且为整数。
本申请实施例中,N个目标检测项可以包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析中的至少一者。
步骤S220,针对N个目标检测项中的每个目标检测项,确定与目标检测项对应的至少一类功能数据类型。
以N的取值为13,13个目标检测项包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析为例,13个目标检测项中的每个目标检测项与功能数据类型的对应关系,可以通过表1表示。
表1
步骤S230,对N个目标检测项中,每个目标检测项对应的至少一类功能数据类型进行整合,获得M类功能数据类型。
同样,以N的取值为13,13个目标检测项包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析为例,由于,13个目标检测项中,存在对应有共同类型的功能数据类型,例如,海冰标志检测与陆地标志检测对应有共同类型的功能数据类型质量标志数据,因此,M的取值为8,最终,获得8类功能数据类型包括质量标志数据、反演风速数据、反演风向数据、模型风速数据、模型风向数据、模糊解选择序号、最大似然估计值和观测时间。
步骤S240,针对M类功能数据类型中的每类功能数据类型,从风矢量数据集中,获取与功能数据类型对应的子数据集,以获得M个子数据集。
再以N的取值为13,13个目标检测项包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析,M的取值为8,8类功能数据类型包括质量标志数据、反演风速数据、反演风向数据、模型风速数据、模型风向数据、模糊解选择序号、最大似然估计值和观测时间为例,执行步骤S240,可以获得8个子数据集,8类功能数据类型中的每类功能数据类型与子数据集的对应关系,可以通过表2表示。
表2
功能数据类型 | 子数据集 |
质量标志数据 | wvc_quality_flag |
反演风速数据 | wind_speed_selection |
反演风向数据 | wind_dir_selection |
模型风速数据 | model_speed |
模型风向数据 | model_dir |
模糊解选择序号 | wvc_selection |
最大似然估计值 | max_likelihood_est |
观测时间 | wvc_row_time |
需要说明的是,本申请实施例中,子数据集wvc_quality_flag、子数据集wind_speed_selection、子数据集wind_dir_selection、子数据集model_speed、子数据集model_dir、子数据集wvc_selection、子数据集wvc_selection中,均为1624行76列的数组,而子数据集wvc_row_time中为1624行1列的数组。
步骤S300,对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果。
本申请实施例中,可以分别对M个子数据集中的每个子数据集进行分析,获得M个初步检测结果,此后,将M个初步检测结果共同作为风矢量数据集的数据检测结果。此外,对于步骤S300,本申请实施例中,其可以包括步骤S310、步骤S320和步骤S330。
步骤S310,针对N个目标检测项中的每个目标检测项,根据目标检测项对应的至少一类功能数据类型,从M个子数据集中,确定与目标检测项对应的至少一个子数据集,组成数据集组合。
本申请实施例中,可以根据N个目标检测项中的每个目标检测项与功能数据类型的对应关系,以及M类功能数据类型中的每类功能数据类型与子数据集的对应关系,针对N个目标检测项中的每个目标检测项,根据目标检测项对应的至少一类功能数据类型,从M个子数据集中,确定与目标检测项对应的至少一个子数据集,组成数据集组合。
继续以N的取值为13,13个目标检测项包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析,M的取值为8,8类功能数据类型包括质量标志数据、反演风速数据、反演风向数据、模型风速数据、模型风向数据、模糊解选择序号、最大似然估计值和观测时间为例,执行步骤S310,获得13个目标检测项中每个目标检测项与数据集组合的对应关系,可以通过表3表示。
表3
步骤S320,对数据集组合中的每条风矢量数据进行分析,获得目标检测项的初步检测结果。
对于步骤S320,在实际实施时,针对仅包括一个子数据集的数据集组合和包括多个子数据集的数据集组合,可以采用不同的分析方式,基于此,本申请实施例中,步骤S320可以包括步骤S3211和步骤S3212,以获得仅包括一个子数据集的数据集组合对应目标检测项的初步检测结果,具体可以获得海冰标志检测和陆地标志检测的初步检测结果,步骤S320也可以包括步骤S3221、步骤S3222和步骤S3223,以获得包括多个子数据集的数据集组合对应目标检测项的初步检测结果,具体可以获得有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析和第一解为真解的占比检测的初步检测结果。
步骤S3211,若数据集组合中仅包括一个子数据集,则针对子数据集中的每条风矢量数据,获取风矢量数据的标志位数据,并判断标志位数据的值是否为预设标准值。
步骤S3212,根据子数据集中,标志位数据的值为预设标准值的风矢量数据条数,获得目标检测项的初步检测结果。
以下,分别对目标检测项为海冰标志检测和陆地标志检测时,获得对应初步检测结果的过程进行描述。
(一)目标检测项为海冰标志检测
数据集组合仅包括一个子数据集wvc_quality_flag,初始,可以标记被海冰标志的风矢量单元总数为N_ICE,赋初值为N_ICE=0,此后,遍历子数据集wvc_quality_flag集合,对子数据集wvc_quality_flag中的每个元素wvc_quality_flag(i,j),首先,将其值从十进制转换为二进制,记作Q_FALG,若Q_FALG的第14位(也即,海冰标志位)取值为1,则说明该元素对应的观测结果为受海冰影响,取N_ICE=N_ICE+1,否则,说明该元素对应的观测结果为未受海冰影响。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
数组遍历完成后,分析N_ICE取值,若N_ICE<N1,则认为海冰标记失效,并设置本轨风矢量数据集的海冰质量标志REV_FLAG_ICE=1,否则认为海冰标记有效,并设置本轨风矢量数据集的海冰质量标志REV_FLAG_ICE=0,此外,N1的取值可以为1000,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
(二)目标检测项为陆地标志检测
数据集组合仅包括一个子数据集wvc_quality_flag,初始,可以标记被陆地标志的风矢量单元总数为N_LAND,赋初值N_LAND=0,此后,遍历子数据集wvc_quality_flag,对子数据集wvc_quality_flag中的每个元素wvc_quality_flag(i,j),首先,将其值从十进制转换为二进制,记为Q_FALG,若Q_FALG第15位(也即,陆地标志位)取值为1,则说明该元素对应的观测结果为受陆地影响,取N_LAND=N_LAND+1,否则说明该元素对应的观测结果为未受陆地影响。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
数组遍历完成后,分析N_LAND取值,若N_LAND<N2,则认为陆地标记失效,并设置本轨风矢量数据集的陆地质量标志REV_FLAG_LAND=1,否则,认为陆地标记有效,并设置本轨风矢量数据集的陆地质量标志REV_FLAG_LAND=0,此外,N2的取值可以为1000,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
步骤S3221,若数据集组合中包括多个子数据集,则将多个子数据集中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,以获得多个待分析数据组。
步骤S3222,针对多个待分析数据组中的每个待分析数据组,判断待分析数据组中的风矢量数据是否满足预设取值要求。
步骤S3223,根据多个待分析数据组中,风矢量数据满足预设取值要求的待分析数据组数量,获得目标检测项的初步检测结果。
以下,分别对目标检测项为有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测时,获得对应初步检测结果的过程进行描述。
(三)、目标检测项为有效风矢量单元总量检测
数据集组合包括多个子数据集,也即,包括子数据集wind_speed_selection和子数据集wind_dir_selection,将子数据集wind_speed_selection和子数据集wind_dir_selection中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wind_speed_selection(i,j)和wind_dir_selection(i,j),此后,判断wind_speed_selection(i,j)和wind_dir_selection(i,j)中的风矢量数据是否满足预设取值要求,也即,判断wind_speed_selection(i,j)>0,且wind_speed_selection(i,j)<N3,以及wind_dir_selection(i,j)>0,且wind_dir_selection(i,j)<360是否成立,若wind_speed_selection(i,j)>0,且wind_speed_selection(i,j)<N3,以及wind_dir_selection(i,j)>0,且wind_dir_selection(i,j)<360成立,则认为该风矢量单元为有效风矢量单元。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置,此外,N3的取值可以为50,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
最后,获取多个待分析数据组中,风矢量数据满足预设取值要求的待分析数据组数量,记作N_WVC_GOOD,也即,获取所有有效风矢量单元的数量,记作N_WVC_GOOD,若N_WVC_GOOD<N4,则认为该轨数据失效,并设置本轨风矢量数据集的有效风矢量单元总量标志REV_WVC_FLAG=1,否则,设置本轨风矢量数据集的有效风矢量单元总量标志REV_WVC_FLAG=0,此外,N4的取值可以为10000,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
(四)、目标检测项为观测结果无效的风矢量单元比例检测
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集wind_dir_selection,将子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集wind_dir_selection中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)、wind_speed_selection(i,j)和wind_dir_selection(i,j),此后,判断wvc_quality_flag(i,j)、wind_speed_selection(i,j)和wind_dir_selection(i,j)中的风矢量数据是否满足预设取值要求,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则该组待分析数据组中,风矢量数据满足第一预设取值要求,同时,判断wind_speed_selection(i,j)>N5、wind_speed_selection(i,j)<0、wind_dir_selection(i,j)<0、wind_dir_selection(i,j)>N6中,是否至少一者成立,若wind_speed_selection(i,j)>N5、wind_speed_selection(i,j)<0、wind_dir_selection(i,j)<0、wind_dir_selection(i,j)>N6中,至少一者成立,则该组待分析数据组中,风矢量数据满足第二预设取值要求。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置,此外,N5的取值可以为50,N6的取值为360,但可以理解的是,其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
最后,获得多个待分析数据组中,风矢量数据满足第一预设取值要求的待分析数据组数量,记作N_WVC,同时,获得多个待分析数据组中,风矢量数据满足第二预设取值要求的待分析数据组数量,记作N_WVC_BAD,并计算观测结果无效的风矢量单元比例R_WVC_BAD=N_WVC_BAD/N_WVC,若R_WVC_BAD>N7,则认为该轨数据无效,并设置本轨风矢量数据集的观测结果无效的风矢量单元比例标志REV_FLAG_BADRATIO=1,否则,设置本轨风矢量数据集的观测结果无效的风矢量单元比例标志REV_FLAG_BADRATIO=0,此外,N7的取值可以为10%,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
(五)、目标检测项为数值预报风场匹配占比分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag、子数据集model_speed和子数据集model_dir,将子数据集wvc_quality_flag、子数据集model_speed和子数据集model_dir中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)、model_speed(i,j)和model_dir(i,j),此后,判断wvc_quality_flag(i,j)、model_speed(i,j)和model_dir(i,j)中的风矢量数据是否满足预设取值要求,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则该组待分析数据组中,风矢量数据满足第三预设取值要求,同时,判断model_speed(i,j)<N8、model_speed(i,j)>0、model_dir(i,j)>0、model_dir(i,j)<N9是否成立,若model_speed(i,j)<N8、model_speed(i,j)>0、model_dir(i,j)>0、model_dir(i,j)<N9成立,则该组待分析数据组中,风矢量数据满足第四预设取值要求。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置,此外,N8的取值可以为50,N9的取值为360,但可以理解的是,其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限制。
最后,获得多个待分析数据组中,风矢量数据满足第三预设取值要求的待分析数据组数量,记作N_WVC,同时,获得多个待分析数据组中,风矢量数据满足第四预设取值要求的待分析数据组数量,记作N_NWP_GOOD,并计算数值预报风场匹配占比N_NWP_GOOD/N_WVC,若N_NWP_GOOD/N_WVC<1,则认为该轨数据数值预报风场匹配失败,并设置本轨风矢量数据集的数值预报风场匹配标志REV_FLAG_NWP=1,否则,设置本轨风矢量数据集的数值预报风场匹配标志REV_FLAG_NWP=0。
(六)、目标检测项为第一解为真解的占比检测
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag和子数据集wvc_selection,将子数据集wvc_quality_flag和子数据集wvc_selection中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)和wvc_selection(i,j),此后,判断wvc_quality_flag(i,j)和wvc_selection(i,j)中的风矢量数据是否满足预设取值要求,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则该组待分析数据组中,风矢量数据满足第五预设取值要求,同时,判断wvc_selection(i,j)=1是否成立,若wvc_selection(i,j)=1成立,则该组待分析数据组中,风矢量数据满足第六预设取值要求。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,获得多个待分析数据组中,风矢量数据满足第五预设取值要求的待分析数据组数量,记作N_WVC,同时,获得多个待分析数据组中,风矢量数据满足第六预设取值要求的待分析数据组数量,记作N_FIRST_SOLUTION,并计算第一解为真解的占比N_FIRST_SOLUTION/N_WVC,若N_FIRST_SOLUTION/N_WVC<N10,则认为该轨数据无效,并设置本轨风矢量数据集的第一解为真解的占比标志REV_FLAG_FIRST_SOLUTION=1,否则,设置本轨风矢量数据集的第一解为真解的占比标志REV_FLAG_FIRST_SOLUTION=0。
进一步地,本申请实施例中,步骤S320也可以包括步骤S3231、步骤S3232和步骤S3233,以获得包括多个子数据集的数据集组合对应目标检测项的初步检测结果,具体可以获得目标检测项为风速偏差分析、风速标准差分析、风向偏差分析和风向标准差分析的初步检测结果。
步骤S3231,若数据集组合中包括多个子数据集,则将多个子数据集中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,以获得多个待分析数据组。
步骤S3232,针对多个待分析数据组中的每个待分析数据组,获取待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值的待分析数据组数量,作为第一数值。
步骤S3233,针对多个待分析数据组中的每个待分析数据组,按照预设计算逻辑,对待分析数据组中,其他风矢量数据进行计算,获得计算结果,并获取多个待分析数据组中,每个待分析数组对应计算结果的和,作为第二数值。
步骤S3234,根据第一数值和第二数值,获得目标检测项的初步检测结果。
以下,分别对目标检测项为风速偏差分析、风速标准差分析、为风向偏差分析、风向标准差分析时,获得对应初步检测结果的过程进行描述。
(七)、目标检测项为风速偏差分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集model_speed,将子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集model_speed中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)、wind_speed_selection(i,j)和model_speed(i,j),此后,判断待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值是否为预设标准值,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则判定待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值,接着,按照预设计算逻辑对待分析数据组中,其他风矢量数据进行计算,获得计算结果,预设计算逻辑可以为:abs(wind_speed_selection(i,j)-model_speed(i,j)。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,获取待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值的待分析数据组数量,作为第一数值,记作N_WVC,并获取多个待分析数据组中,每个待分析数组对应计算结果的和,作为第二数值,记作SPEED_BIAS_TEMP,再计算风速偏差SPEED_BIAS=SPEED_BIAS_TEMP/N_WVC,若SPEED_BIAS>N11,则设置本轨风矢量数据集的风速偏差标志REV_FLAG_SPEED_BIAS=1,否则,设置本轨风矢量数据集的风速偏差标志REV_FLAG_SPEED_BIAS=0,此外,N11的取值可以为1m/s,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
(八)、目标检测项为风速标准差分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集model_speed,将子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集model_speed中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)、wind_speed_selection(i,j)和model_speed(i,j),此后,判断待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值是否为预设标准值,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则判定待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值,接着,按照预设计算逻辑对待分析数据组中,其他风矢量数据进行计算,获得计算结果,预设计算逻辑可以为:(wind_speed_selection(i,j)-model_speed(i,j))^2。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,获取待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值的待分析数据组数量,作为第三数值,记作N_WVC,并获取多个待分析数据组中,每个待分析数组对应计算结果的和,作为第四数值,记作SPEED_STD_TEMP,再计算风速标准差SPEED_STD=sqrt(SPEED_STD_TEMP/N_WVC),若SPEED_STD>N12,则设置本轨风矢量数据集的风速标准差标志REV_FLAG_SPEED_STD=1,否则,设置本轨风矢量数据集的风速标准差标志REV_FLAG_SPEED_STD=0,此外,N12的取值可以为3m/s,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
(九)、目标检测项为风向偏差分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag、子数据集wind_dir_selection和子数据集model_dir,将子数据集wvc_quality_flag、子数据集wind_dir_selection和子数据集model_dir中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)、wind_dir_selection(i,j)和model_dir(i,j),此后,判断待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值是否为预设标准值,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则判定待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值,接着,按照预设计算逻辑对待分析数据组中,其他风矢量数据进行计算,获得计算结果,预设计算逻辑可以为:round((wind_dir_selection(i,j)-model_dir(i,j)),360)。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,获取待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值的待分析数据组数量,作为第五数值,记作N_WVC,并获取多个待分析数据组中,每个待分析数组对应计算结果的和,作为第六数值,记作DIR_BIAS_TEMP,再计算风向偏差DIR_BIAS=DIR_BIAS_TEMP/N_WVC,若DIR_BIAS>N13,则设置本轨风矢量数据集的风向偏差标志REV_FLAG_DIR_BIAS=1,否则,设置本轨风矢量数据集的风向偏差标志REV_FLAG_DIR_BIAS=0,此外,N13的取值可以为10°,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
(十)、目标检测项为风向标准差分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag、子数据集wind_dir_selection和子数据集model_dir,将子数据集wvc_quality_flag、子数据集wind_dir_selection和子数据集model_dir中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)、wind_dir_selection(i,j)和model_dir(i,j),此后,判断待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值是否为预设标准值,也即,将wvc_quality_flag(i,j)值从十进制转换为二进制,记Q_FALG,若Q_FALG的第14和15位均为0,则判定待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值,接着,按照预设计算逻辑对待分析数据组中,其他风矢量数据进行计算,获得计算结果,预设计算逻辑可以为:(round((wind_dir_selection(i,j)-model_dir(i,j)),360))^2。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,获取待分析数据组中,功能数据类型为质量标志数据的风矢量数据中,标志位数据的值为预设标准值的待分析数据组数量,作为第七数值,记作N_WVC,并获取多个待分析数据组中,每个待分析数组对应计算结果的和,作为第八数值,记作DIR_STD_TEMP,再计算风向偏差DIR_STD=sqrt(DIR_STD_TEMP/N_WVC),若DIR_STD>N14,则设置本轨风矢量数据集的风向标准差标志REV_FLAG_DIR_STD=1,否则,设置本轨风矢量数据集的风向标准差标志REV_FLAG_DIR_STD=0,此外,N14的取值可以为30°,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
进一步地,本申请实施例中,步骤S320也可以包括步骤S3241、步骤S3242,以获得包括多个子数据集的数据集组合对应目标检测项的初步检测结果,具体可以获得目标检测项为最大似然估计值分析和最大似然估计值均值分析的初步检测结果。
步骤S3241,若数据集组合中包括多个子数据集,则将多个子数据集中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,以获得多个待分析数据组。
步骤S3242,根据多个待分析数据组中,每个待分析数据组包括的风矢量数据,获得目标检测项的初步检测结果。
以下,分别对目标检测项为最大似然估计值分析和最大似然估计值均值分析时,获得对应初步检测结果的过程进行描述。
(十一)、目标检测项为最大似然估计值分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag和子数据集max_likelihood_est,将子数据集wvc_quality_flag和子数据集max_likelihood_est中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)和max_likelihood_est(i,j),此后,设置最大似然估计值的最大值为MLE_MAX,并赋初值为-10000,并遍历每组待分析数组,也即,针对每组待分析数据组wvc_quality_flag(i,j)和max_likelihood_est(i,j),首先,将wvc_quality_flag(i,j)值从十进制转换为二进制,记作Q_FALG,若Q_FALG第14与15位均为0,同时,若max_likelihood_est(i,j)>MLE_MAX,则更新MLE_MAX=max_likelihood_est(i,j)。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,若最大似然估计值MLE_MAX>N15,则设置本轨风矢量数据集的最大似然估计值标志REV_FLAG_MLE_MAX=1,否则,设置本轨风矢量数据集的最大似然估计值标志REV_FLAG_MLE_MAX=0,此外,N15的取值可以为500,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
(十二)、目标检测项为最大似然估计值均值分析
数据集组合包括多个子数据集,也即,包括子数据集wvc_quality_flag和子数据集max_likelihood_est,将子数据集wvc_quality_flag和子数据集max_likelihood_est中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,标记为wvc_quality_flag(i,j)和max_likelihood_est(i,j),此后,设置风矢量单元总数为N_WVC,并赋初值为0,以及设置最大似然估计值均值为MLE_MEAN,并赋初值为0,再遍历每组待分析数组,也即,针对每组待分析数据组wvc_quality_flag(i,j)和max_likelihood_est(i,j),首先,将wvc_quality_flag(i,j)值从十进制转换为二进制,记作Q_FALG,若Q_FALG第14与15位均为0,则更新N_WVC=N_WVC+1,同时,更新MLE_MEAN=MLE_MEAN+max_likelihood_est(i,j)。对于i和j,此处,0<i≤1624,且i为整数,0<j≤1624,且j为整数,而i和j的具体数值,用于表示风矢量数据的具体位置,也即,对应的风矢量单元的具体位置。
最后,计算最大似然估计值均值MLE_MEAN=MLE_MEAN/N_WVC,若MLE_MEAN>N16,则设置本轨风矢量数据集的最大似然估计值均值标志REV_FLAG_MLE_MEAN=1,否则,设置本轨风矢量数据集的最大似然估计值均值标志REV_FLAG_MLE_MEAN=0,此外,N16的取值可以为50,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
进一步地,对于目标检测项为风矢量数据的获取时间连续性分析的初步检测结果,可以通过以下方式获取。
(十三)、目标检测项为风矢量数据的获取时间连续性分析
数据集组合仅包括一个子数据集wvc_row_time,本申请实施例中,若子数据集wvc_row_time中,相邻的两个元素wvc_row_time(i)表征的时间差值大于预设时长阈值,则设置本轨风矢量数据集的获取时间连续性标志为1,否则,设置本轨风矢量数据集的获取时间连续性标志为0,此外,预设时长阈值可以为1min,但可以理解的是其具体数值可以通过对历史数据进行统计分析获得,本申请实施例对此不作具体限。
需要说明的是,本申请实施例中,对于步骤S320,本申请实施例中,最终是通过步骤S3211和步骤S3212,或是通过步骤S3221、步骤S3222和步骤S3223,再或是通过步骤S3231、步骤S3232、步骤S3233和步骤S3234,又或是通过步骤S3241和步骤S3242实现,具体可以根据数据集组合中,子数据集对应的功能数据类型确定的。例如,数据集组合中仅包括一个子数据集wvc_quality_flag时,步骤S320通过步骤S3211和步骤S3212实现,以分别获得目标检测项为海冰标志检测和陆地标志检测时,对应的初步检测结果。再例如,数据集组合中包括子数据集wvc_quality_flag、子数据集model_speed和子数据集model_dir时,步骤S320通过步骤S3221、步骤S3222和步骤S3223实现,以获得目标检测项为数值预报风场匹配占比分析时,对应的初步检测结果。又例如,数据集组合中包括子数据集wvc_quality_flag、子数据集wind_speed_selection和子数据集model_speed时,步骤S320通过步骤S3231、步骤S3232、步骤S3233和步骤S3234实现,以分别获得目标检测项为风速偏差分析和风速标准差分析时,对应的初步检测结果。
步骤S330,将N个目标检测项中,每个目标检测项的初步检测结果共同作为风矢量数据集的数据检测结果。
进一步地,本申请实施例提供的数据质量检测方法,还可以包括步骤S400、步骤S500、步骤S600或步骤S700。
步骤S400,获取海洋动力环境探测卫星在目标时段内,获得的风矢量数据集的集合数量。
步骤S500,判断集合数量为预设数值是否为预设数值。
步骤S600,若集合数量为预设数值,则判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集具备完整性。
步骤S700,若集合数量非预设数值,则判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集不具备完整性。
本申请实施例中,目标时段可以是某日,若目标时段为某日,则预设数值可以为13。本申请实施例中,若集合数量为预设数值,则判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集具备完整性,则设置目标时段内,海洋动力环境探测卫星获取风矢量数据集的完整性标志为1,否则,设置目标时段内,海洋动力环境探测卫星获取风矢量数据集的完整性标志为0。
基于与上述数据质量检测方法同样的发明构思,本申请实施例还提供了一种数据质量检测装置200。请参阅图4,本申请实施例提供的数据质量检测装置200包括数据集获取模块210、子数据集获取模块220和检测结果获取模块230。
数据集获取模块210,用于获取海洋动力环境探测卫星单轨探测获得的风矢量数据集。
关于数据集获取模块210的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S100的详细描述,也即,步骤S100可以由数据集获取模块210执行。
子数据集获取模块220,用于从风矢量数据集中,获取M个子数据集,M>0,且为整数。
关于子数据集获取模块220的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S200的详细描述,也即,步骤S200可以由子数据集获取模块220执行。
检测结果获取模块230,用于对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果。
关于检测结果获取模块230的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S300的详细描述,也即,步骤S300可以由检测结果获取模块230执行。
本申请实施例提供的数据质量检测装置200包括第一算法单元、第二算法单元、第三算法单元和第四算法单元。
第一算法单元,用于获取预设的N个目标检测项,N>0,且为整数。
关于第一算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S210的详细描述,也即,步骤S210可以由第一算法单元执行。
第二算法单元,用于针对N个目标检测项中的每个目标检测项,确定与目标检测项对应的至少一类功能数据类型。
关于第二算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S220的详细描述,也即,步骤S220可以由第二算法单元执行。
第三算法单元,用于对N个目标检测项中,每个目标检测项对应的至少一类功能数据类型进行整合,获得M类功能数据类型。
关于第三算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S230的详细描述,也即,步骤S230可以由第三算法单元执行。
第四算法单元,用于针对M类功能数据类型中的每类功能数据类型,从风矢量数据集中,获取与功能数据类型对应的子数据集,以获得M个子数据集。
关于第四算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S240的详细描述,也即,步骤S240可以由第四算法单元执行。
上述N个目标检测项可以包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析中的至少一者。
上述M类功能数据类型包括反演风速数据、反演风向数据、质量标志数据、模型风速数据、模型风向数据、模糊解选择序号、最大似然估计值和观测时间中的至少一者。
本申请实施例中,检测结果获取模块230可以包括第五算法单元、第六算法单元和第七算法单元。
第五算法单元,用于针对N个目标检测项中的每个目标检测项,根据目标检测项对应的至少一类功能数据类型,从M个子数据集中,确定与目标检测项对应的至少一个子数据集,组成数据集组合。
关于第五算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S310的详细描述,也即,步骤S310可以由第四算法单元执行。
第六算法单元,用于对数据集组合中的每条风矢量数据进行分析,获得目标检测项的初步检测结果。
关于第六算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S320的详细描述,也即,步骤S320可以由第六算法单元执行。
第七算法单元,用于将N个目标检测项中,每个目标检测项的初步检测结果共同作为风矢量数据集的数据检测结果。
关于第七算法单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S330的详细描述,也即,步骤S330可以由第七算法单元执行。
本申请实施例中,第六算法单元可以包括第一算法子单元和第二算法子单元。
第一算法子单元,用于若数据集组合中仅包括一个子数据集,则针对子数据集中的每条风矢量数据,获取风矢量数据的标志位数据,并判断标志位数据的值是否为预设标准值。
关于第一算法子单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S3311的详细描述,也即,步骤S3311可以由第一算法子单元执行。
第二算法子单元,用于根据子数据集中,标志位数据的值为预设标准值的风矢量数据条数,获得目标检测项的初步检测结果。
关于第二算法子单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S3312的详细描述,也即,步骤S3312可以由第二算法子单元执行。
本申请实施例中,第六算法单元也可以包括第四算法子单元、第三算法子单元和第五算法子单元。
第四算法子单元,用于若数据集组合中包括多个子数据集,则将多个子数据集中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,以获得多个待分析数据组。
关于第四算法子单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S3321的详细描述,也即,步骤S3321可以由第四算法子单元执行。
第三算法子单元,用于针对多个待分析数据组中的每个待分析数据组,判断待分析数据组中的风矢量数据是否满足预设取值要求。
关于第三算法子单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S3322的详细描述,也即,步骤S3322可以由第三算法子单元执行。
第五算法子单元,用于根据多个待分析数据组中,风矢量数据满足预设取值要求的待分析数据组数量,获得目标检测项的初步检测结果。
关于第五算法子单元的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S3323的详细描述,也即,步骤S3323可以由第五算法子单元执行。
本申请实施例提供的数据质量检测装置200还可以包括集合数量获取模块、判断模块、第一完整性获取模块和第二完整性获取模块。
集合数量获取模块,用于获取海洋动力环境探测卫星在目标时段内,获得的风矢量数据集的集合数量。
关于集合数量获取模块的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S400的详细描述,也即,步骤S400可以由集合数量获取模块执行。
判断模块,用于判断集合数量为预设数值是否为预设数值。
关于判断模块的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S500的详细描述,也即,步骤S500可以由判断模块执行。
第一完整性获取模块,用于当集合数量为预设数值时,判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集具备完整性。
关于第一完整性获取模块的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S600的详细描述,也即,步骤S600可以由第一完整性获取模块执行。
第二完整性获取模块,用于当集合数量非预设数值时,判定海洋动力环境探测卫星在目标时段内,获得的风矢量数据集不具备完整性。
关于第二完整性获取模块的描述具体可参考上述数据质量检测方法相关实施例中关于步骤S700的详细描述,也即,步骤S700可以由第二完整性获取模块执行。
此外,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被执行时,实现上述方法实施例提供的数据质量检测方法,具体可参见上述方法实施例,本申请实施例中对此不作赘述。
综上所述,本申请实施例提供的数据质量检测方法、装置及电子设备,能够获取海洋动力环境探测卫星单轨探测获得的风矢量数据集,从风矢量数据集中,获取M个子数据集,对M个子数据集中的每个子数据集进行分析,获得风矢量数据集的数据检测结果。显然,本申请实施例提供的数据质量检测方法,能够实现数据质量的自动化检测,相对于现有技术中,通过值班员观察风场分布图,或后向散射系数分布图等方式确定异常数据的方式而言,能够提高数据质量检测的准确性,同时,也提高了数据质量检测的效率。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。此外,在本申请每个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是每个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
此外,所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请每个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是,在本文中,诸如“第一”、“第二”、“第三”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
Claims (8)
1.一种数据质量检测方法,其特征在于,包括:
获取海洋动力环境探测卫星单轨探测获得的风矢量数据集;
从所述风矢量数据集中,获取M个子数据集,M>0,且为整数;
对所述M个子数据集中的每个子数据集进行分析,获得所述风矢量数据集的数据检测结果;
所述从所述风矢量数据集中,获取M个子数据集,包括:
获取预设的N个目标检测项,N>0,且为整数;
针对所述N个目标检测项中的每个目标检测项,确定与所述目标检测项对应的至少一类功能数据类型;
对所述N个目标检测项中,每个目标检测项对应的至少一类功能数据类型进行整合,获得M类功能数据类型;
针对所述M类功能数据类型中的每类功能数据类型,从所述风矢量数据集中,获取与所述功能数据类型对应的子数据集,以获得所述M个子数据集;
所述对所述M个子数据集中的每个子数据集进行分析,获得所述风矢量数据集的数据检测结果,包括:
针对所述N个目标检测项中的每个目标检测项,根据所述目标检测项对应的至少一类功能数据类型,从所述M个子数据集中,确定与所述目标检测项对应的至少一个子数据集,组成数据集组合;
对所述数据集组合中的每条风矢量数据进行分析,获得所述目标检测项的初步检测结果;
将所述N个目标检测项中,每个目标检测项的初步检测结果共同作为所述风矢量数据集的数据检测结果。
2.根据权利要求1所述的数据质量检测方法,其特征在于,所述对所述数据集组合中的每条风矢量数据进行分析,获得所述目标检测项的初步检测结果,包括:
若所述数据集组合中仅包括一个子数据集,则针对所述子数据集中的每条风矢量数据,获取所述风矢量数据的标志位数据,并判断所述标志位数据的值是否为预设标准值;
根据所述子数据集中,标志位数据的值为预设标准值的风矢量数据条数,获得所述目标检测项的初步检测结果。
3.根据权利要求1所述的数据质量检测方法,其特征在于,所述对所述数据集组合中的每条风矢量数据进行分析,获得所述目标检测项的初步检测结果,包括:
若所述数据集组合中包括多个子数据集,则将所述多个子数据集中,与同一风矢量单元对应的风矢量数据,组成待分析数据组,以获得多个待分析数据组;
针对所述多个待分析数据组中的每个待分析数据组,判断所述待分析数据组中的风矢量数据是否满足预设取值要求;
根据所述多个待分析数据组中,风矢量数据满足预设取值要求的待分析数据组数量,获得所述目标检测项的初步检测结果。
4.根据权利要求1所述的数据质量检测方法,其特征在于,所述N个目标检测项包括海冰标志检测、陆地标志检测、有效风矢量单元总量检测、观测结果无效的风矢量单元比例检测、数值预报风场匹配占比分析、第一解为真解的占比检测、风速偏差分析、风速标准差分析、风向偏差分析、风向标准差分析、最大似然估计值分析、最大似然估计值均值分析和风矢量数据的获取时间连续性分析中的至少一者;
和/或,所述M类功能数据类型包括反演风速数据、反演风向数据、质量标志数据、模型风速数据、模型风向数据、模糊解选择序号、最大似然估计值和观测时间中的至少一者。
5.根据权利要求1所述的数据质量检测方法,其特征在于,所述数据质量检测方法,还包括:
获取所述海洋动力环境探测卫星在目标时段内,获得的所述风矢量数据集的集合数量;
判断所述集合数量是否为预设数值;
若所述集合数量为所述预设数值,则判定所述海洋动力环境探测卫星在目标时段内,获得的风矢量数据集具备完整性;
若所述集合数量非所述预设数值,则判定所述海洋动力环境探测卫星在目标时段内,获得的风矢量数据集不具备完整性。
6.一种数据质量检测装置,其特征在于,包括:
数据集获取模块,用于获取海洋动力环境探测卫星单轨探测获得的风矢量数据集;
子数据集获取模块,用于从所述风矢量数据集中,获取M个子数据集,M>0,且为整数;
检测结果获取模块,用于对所述M个子数据集中的每个子数据集进行分析,获得所述风矢量数据集的数据检测结果;
所述子数据集获取模块具体用于:
获取预设的N个目标检测项,N>0,且为整数;
针对所述N个目标检测项中的每个目标检测项,确定与所述目标检测项对应的至少一类功能数据类型;
对所述N个目标检测项中,每个目标检测项对应的至少一类功能数据类型进行整合,获得M类功能数据类型;
针对所述M类功能数据类型中的每类功能数据类型,从所述风矢量数据集中,获取与所述功能数据类型对应的子数据集,以获得所述M个子数据集;
所述检测结果获取模块,具体用于:
针对所述N个目标检测项中的每个目标检测项,根据所述目标检测项对应的至少一类功能数据类型,从所述M个子数据集中,确定与所述目标检测项对应的至少一个子数据集,组成数据集组合;
对所述数据集组合中的每条风矢量数据进行分析,获得所述目标检测项的初步检测结果;
将所述N个目标检测项中,每个目标检测项的初步检测结果共同作为所述风矢量数据集的数据检测结果。
7.一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1~5中任意一项所述的数据质量检测方法。
8.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被执行时,实现权利要求1~5中任意一项所述的数据质量检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010437946.XA CN111611233B (zh) | 2020-05-21 | 2020-05-21 | 数据质量检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010437946.XA CN111611233B (zh) | 2020-05-21 | 2020-05-21 | 数据质量检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111611233A CN111611233A (zh) | 2020-09-01 |
CN111611233B true CN111611233B (zh) | 2021-01-26 |
Family
ID=72199889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010437946.XA Active CN111611233B (zh) | 2020-05-21 | 2020-05-21 | 数据质量检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111611233B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115525637B (zh) * | 2022-10-13 | 2024-04-26 | 华润电力技术研究院有限公司 | 一种风矢量观测数据质量控制与处理方法、系统及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105808604A (zh) * | 2014-12-31 | 2016-07-27 | 航天信息股份有限公司 | 数据合规管理方法及系统 |
CN107664778A (zh) * | 2017-08-24 | 2018-02-06 | 中国石油天然气股份有限公司 | 地震数据质量的确定方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8782087B2 (en) * | 2005-03-18 | 2014-07-15 | Beyondcore, Inc. | Analyzing large data sets to find deviation patterns |
-
2020
- 2020-05-21 CN CN202010437946.XA patent/CN111611233B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105808604A (zh) * | 2014-12-31 | 2016-07-27 | 航天信息股份有限公司 | 数据合规管理方法及系统 |
CN107664778A (zh) * | 2017-08-24 | 2018-02-06 | 中国石油天然气股份有限公司 | 地震数据质量的确定方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111611233A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Skidmore | Terrain position as mapped from a gridded digital elevation model | |
Jayawardena et al. | Noise reduction and prediction of hydrometeorological time series: dynamical systems approach vs. stochastic approach | |
Mitasova et al. | Raster-based analysis of coastal terrain dynamics from multitemporal lidar data | |
Van Niekerk et al. | Input variable selection for interpolating high-resolution climate surfaces for the Western Cape | |
KR102319145B1 (ko) | 고해상도 해양 데이터를 생성하기 위한 방법 및 이를 이용한 장치 | |
Irvem et al. | Evaluation of satellite and reanalysis precipitation products using GIS for all basins in Turkey | |
Zhang et al. | Spatial and temporal downscaling of TRMM precipitation with novel algorithms | |
CN111611233B (zh) | 数据质量检测方法、装置及电子设备 | |
CN116822185B (zh) | 基于hasm的日降水数据空间模拟方法和系统 | |
Bierman et al. | Bayesian image restoration models for combining expert knowledge on recording activity with species distribution data | |
Storage | Physical Oceanography Distributed Active Archive Center | |
Tran et al. | Improving hydrologic modeling using cloud-free modis flood maps | |
KR20210053562A (ko) | 글로벌 기후 자료의 품질 관리 방법 및 장치 | |
CN108052629B (zh) | 一种基于高精度dem数据的快速海陆判断方法 | |
Raquet et al. | Use of a Covariance Analysis Technique for Predicting Performance of Regional‐Area Differential Code and Carrier‐Phase Networks | |
CN112966656A (zh) | 数据处理方法及装置 | |
Tulowiecki et al. | Effects of positional error on modeling species distributions: a perspective using presettlement land survey records | |
CN112699204B (zh) | 空间匹配窗口的确定方法和装置 | |
So et al. | Spatial pattern of bias in areal rainfall estimations and its impact on hydrological modeling: a comparative analysis of estimating areal rainfall based on radar and weather station networks in South Korea | |
CN111611678B (zh) | 台风风向模糊解优化方法、装置、电子设备及存储介质 | |
CN113093183B (zh) | 阈值确定方法、海冰厚度反演方法、装置、设备及介质 | |
Gorjizade et al. | Evaluation and Comparison of High Spatial Resolution Gridded Precipitation by TRMM, ERA5, and PERSIANN-CCS Datasets on the Upstream of the Maroon Basin, Iran | |
Le Guillou et al. | Regional mapping of energetic short mesoscale ocean dynamics from altimetry: performances from real observations | |
Sudalaimuthu et al. | Development of linear regression model to predict ground elevation from satellite elevation–statistical approach | |
US7526379B2 (en) | Determining elevation values in a geocoding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210106 Address after: No.8 Dahui temple, Haidian District, Beijing 100080 Applicant after: NATIONAL SATELLITE OCEAN APPLICATION SERVICE Applicant after: Guangdong Provincial Laboratory of marine science and engineering of South China (Guangzhou) Address before: No.8 Dahui temple, Haidian District, Beijing 100080 Applicant before: NATIONAL SATELLITE OCEAN APPLICATION SERVICE |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |