CN110362724A - 一种数据过滤方法、装置、电子设备及可读存储介质 - Google Patents
一种数据过滤方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN110362724A CN110362724A CN201910665206.9A CN201910665206A CN110362724A CN 110362724 A CN110362724 A CN 110362724A CN 201910665206 A CN201910665206 A CN 201910665206A CN 110362724 A CN110362724 A CN 110362724A
- Authority
- CN
- China
- Prior art keywords
- surface temperature
- evaluation
- sea surface
- temperature measurement
- measurement result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiation Pyrometers (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本申请提供了一种数据过滤方法、装置、电子设备及可读存储介质，其中，该方法包括：获取目标观测区域内待过滤的海表温度测量结果；根据海表温度测量结果，确定海表温度测量结果的评价策略；评价策略包括多种评价方式；利用多种评价方式分别对海表温度测量结果进行评价，得到多个评价结果；根据多个评价结果，计算海表温度测量结果的综合评价值；根据综合评价值，对海表温度测量结果进行过滤。本申请实施例先通过多种评价方式对海表温度测量结果进行评价，在对海表温度测量结果的评价结果进行综合评价，避免了通过单一过滤方法直接过滤掉有效异常值的情况，从而减少了对有效异常数据错检、漏检的情况。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及一种数据过滤方法、装置、电子设备及可读存储介质。
背景技术
现有技术中需要对海表温度数据进行过滤，也就是对误差超过要求范围的异常数据剔除，可以提高海表温度数据的可信度。
目前的过滤方法包括：合理性检验、气候值检验、空间邻域一致性检验和交叉检验等方法，针对每种过滤方法，设置一定的阈值，将不符合阈值的海表温度数据去除，然而有些异常数据可能代表一些重要的海表现象。
发明内容
有鉴于此，本申请的目的在于提供一种数据过滤方法、装置、电子设备及可读存储介质，以减少对有效异常数据错检、漏检的情况。
第一方面，本申请实施例提供了一种数据过滤方法，包括：
获取目标观测区域内待过滤的海表温度测量结果；
根据所述海表温度测量结果，确定所述海表温度测量结果的评价策略；所述评价策略包括多种评价方式；
利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果；
根据所述多个评价结果，计算所述海表温度测量结果的综合评价值；
根据所述综合评价值，对所述海表温度测量结果进行过滤。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果，包括：
根据所述多种评价方式，分别对所述海表温度测量结果进行数字标识，得到多个评价值。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述根据所述多个评价结果，计算所述海表温度测量结果的综合评价值，包括：
对所述多个评价值取绝对值，并计算所述多个评价值的乘积，得到所述海表温度测量结果的第一综合评价值；
对所述多个评价值取绝对值，并计算大于预设评价值的评价值个数与评价值总个数的比值，得到所述海表温度测量结果的第二综合评价值。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述综合评价值，对所述海表温度测量结果进行过滤，包括：
根据所述第一综合评价值和所述第二综合评价值，确定过滤条件；
根据所述过滤条件，对所述海表温度测量结果进行过滤。
结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，所述评价方式包括：合理性评价、气候值评价、昼夜变化幅度评价、空间邻域一致性评价、时间邻域一致性评价、交叉评价和海陆边界评价。
结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，所述海表温度测量结果包括以下至少一种：红外数据、微波数据、实测数据和重构数据。
结合第一方面，本申请实施例提供了第一方面的第六种可能的实施方式，所述获取目标观测区域内待过滤的海表温度测量结果，包括：
获取至少一个卫星采集的目标观测区域内待过滤的海表温度测量结果。
第二方面，本申请实施例还提供一种数据过滤装置，包括：
获取模块，用于获取目标观测区域内待过滤的海表温度测量结果；
确定模块，用于根据所述海表温度测量结果，确定所述海表温度测量结果的评价策略；所述评价策略包括多种评价方式；
评价模块，用于利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果；
计算模块，用于根据所述多个评价结果，计算所述海表温度测量结果的综合评价值；
过滤模块，用于根据所述综合评价值，对所述海表温度测量结果进行过滤。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可能的实施方式中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面中任一种可能的实施方式中的步骤。
本申请实施例提供的一种数据过滤方法、装置、电子设备及可读存储介质，所述数据过滤方法包括：获取目标观测区域内待过滤的海表温度测量结果；根据海表温度测量结果，确定海表温度测量结果的评价策略；评价策略包括多种评价方式；利用多种评价方式分别对海表温度测量结果进行评价，得到多个评价结果；根据多个评价结果，计算海表温度测量结果的综合评价值；根据综合评价值，对海表温度测量结果进行过滤。本申请实施例先通过多种评价方式对海表温度测量结果进行评价，在对海表温度测量结果的评价结果进行综合评价，避免了通过单一过滤方法直接过滤掉有效异常值的情况，从而减少了对有效异常数据错检、漏检的情况。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种数据过滤方法的流程图；
图2示出了本申请实施例所提供的另一种数据过滤方法的流程图；
图3示出了本申请实施例所提供的另一种数据过滤方法的流程图；
图4示出了本申请实施例所提供的另一种数据过滤方法的流程图；
图5示出了本申请实施例所提供的另一种数据过滤方法的流程图；
图6示出了本申请实施例所提供的一种数据过滤装置的结构示意图；
图7示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前的海表温度数据的过滤方法存在阈值设置过窄导致错检或设置过宽导致漏检的情况，在大梯度或近岸海域这些情况尤其明显，如果把本身是有效的异常数据剔除掉，则可能导致错过这些重要的海洋现象。
基于此，本申请实施例提供了一种数据过滤方法，下面通过实施例进行描述。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种数据过滤方法进行详细介绍。如图1所示的一种数据过滤方法的流程示意图，所述数据过滤方法包括：
S101：获取目标观测区域内待过滤的海表温度测量结果。
S102：根据海表温度测量结果，确定海表温度测量结果的评价策略。
S103：利用多种评价方式分别对海表温度测量结果进行评价，得到多个评价结果。
S104：根据多个评价结果，计算海表温度测量结果的综合评价值。
S105：根据综合评价值，对海表温度测量结果进行过滤。
在步骤S101中，可以利用搭载在卫星上的遥感辐射计观测目标观测区域内的海表温度测量结果。本申请实施例提供的数据过滤方法适用于对至少一颗卫星获取的海表温度测量结果进行过滤。
进行观测的卫星种类、数量以及卫星观测的时间不同时，形成的海表温度测量结果均不同。
具体地，从数据的形式而言，海表温度测量结果可以是红外数据、微波数据、实测数据和重构数据，这是由于当进行观测的卫星种类不同以及进行观测的方式不同时，观测到的海表温度测量结果形式就不同。
在具体实施中，利用搭载在美国国家海洋和大气管理局(National Oceanic andAtmospheric Administration，简称NOAA)极轨系列卫星上的先进甚高分辨率辐射计(Advanced Very High Resolution Radiometer，简称AVHRR)、搭载在Terra卫星和Aqua卫星上的中分辨率成像光谱仪(Moderate Resolution Imaging Spectroradiometer，简称MODIS)，可以获取红外数据。
利用搭载在GCOM-W1卫星上的被动微波辐射计传感器(The Advanced MicrowScanning Radiometer 2，简称AMSR-2)、搭载在全球降雨观测(The Global PrecipitationMeasurement，简称GPM)卫星上的微波成像仪(The Global Precipitation MeasurementMicrowave Imager，简称GMI)以及搭载在Coriolis卫星上的星载全极化微波辐射计(WindSat)可以获取微波数据。
利用船测、浮标和基站数据，可以得到实测数据。
从数据的观测源数量而言，海表温度测量结果可以是多颗卫星获取的，即多源观测数据；也可以是单颗卫星获取的，即单源观测数据。这是由于进行观测的卫星数量不同，得到的不同的海表温度测量结果。
从数据的观测时长而言，海表温度测量结果可以是单天观测的，即单天观测数据；也可以是连续多天观测的，即连续观测数据。这是由于卫星的观测时长不同，得到的不同的海表温度测量结果。
因此，海表温度测量结果至少可以从一个方面进行描述，例如，对于多源观测数据，其数据的形式可能不相同，可以是红外数据，也可以是微波数据等；可以是单天观测数据，也可以是连续观测数据。
在步骤S102中，海表温度测量结果的评价策略包括多种评价方式。
根据海表温度测量结果，可以分别确定海表温度测量结果的评价方式。通过步骤S101可知，海表温度测量结果不同时，其评价方式也不同。
在具体实施中，评价方式可以包括：合理性评价、气候值评价、昼夜变化幅度评价、空间邻域一致性评价、时间邻域一致性评价、交叉评价和海陆边界评价。
为了在对海表温度测量结果进行评价时，降低漏检、错检的概率，因此通常可以通过多种评价方式对海表温度测量结果进行评价。例如，针对红外数据，可以通过合理性评价、气候值评价和空间邻域一致性评价的评价方式进行评价。
而某些评价方式仅仅可以针对某种海表温度测量结果进行评价。例如，交叉评价方式仅仅针对多源观测数据进行评价；时间邻域一致性仅仅针对连续观测数据进行评价。
在步骤S103中，针对每种评价方式，可以得到该评价方式评价海表温度测量结果后的评价结果。
评价方式之间相互独立，因此在对海表温度测量结果进行评价时，多种评价方式之间的顺序可以调换。
在一种可行的实施例中，多源单天海表温度测量结果可以按照图2所示的另一种数据过滤方法的流程图进行处理，如图2所示，海表温度测量结果为单天多源观测数据，可以先对海表温度测量结果依次进行合理性评价、气候值评价、昼夜变化辐射度评价、空间一致性评价、交叉评价和海陆边界评价。
在一种可行的实施例中，多源连续海表温度测量结果可以按照图3所示的另一种数据过滤方法的流程图进行处理，如图3所示，海表温度测量结果为连续多天多源观测数据，可以对海表温度测量结果依次进行合理性评价、气候值评价、昼夜变化辐射度评价、空间一致性评价、时间一致性评价、交叉评价和海陆边界评价。
在一种可行的实施例中，单源连续海表温度测量结果可以按照图4所示的另一种数据过滤方法的流程图进行处理，如图4所示，海表温度测量结果为连续多天单源观测数据，可以对海表温度测量结果依次进行合理性评价、气候值评价、昼夜变化辐射度评价、空间一致性评价、时间一致性评价和海陆边界评价。
在一种可行的实施例中，单源单天海表温度测量结果可以按照图5所示的另一种数据过滤方法的流程图进行处理，如图5所示，海表温度测量结果为单天单源观测数据，只对海表温度测量结果依次进行合理性评价、气候值评价、昼夜变化辐射度评价、空间一致性评价和海陆边界评价。
在具体实施中，可以设置标识规则，通过数字标识的方式对海表温度测量结果进行数字标识，得到海表温度测量结果的评价值。
具体地，在对海表温度测量结果进行合理性评价时，可以依据非观测数据(如陆地温度测量结果、海冰温度测量结果等)、需滤除的数据以及建议保留的数据对海表温度测量结果进行数字标识。即海表温度测量结果为非观测数据时，标识其评价值为0；海表温度测量结果为需滤除的数据时，标识其评价值为1；海表温度测量结果为建议保留的数据时，标识其评价值为2。
在对海表温度测量结果进行气候值评价时，从两个方面对海表温度测量结果进行数字标识。具体地，可以根据历史海表温度数据，计算目标观测区域内一年中每天海表温度的均值SSTmean和标准偏差SSTstd，以此为参考，根据历史经验设置SSTmean-3.5×SSTstd为海表温度测量结果的第一下限值，-2.5℃为海表温度测量结果的第二下限值；设置SSTmean+3.5×SSTstd为海表温度测量结果的第一上限值，2.5℃为海表温度测量结果的第二上限值。
第一方面：
当海表温度测量结果在(<SSTmean-3.5×SSTstd)范围内时，标识其评价值为-1；
当海表温度测量结果在(≥SSTmean-3.5×SSTstd&＜SSTmean-2.5×SSTstd)范围内时，标识其评价值为-2；
当海表温度测量结果在(≥SSTmean-2.5×SSTstd&＜SSTmean-1.5×SSTstd)范围内时，标识其评价值为-3；
当海表温度测量结果在(≥SSTmean-1.5×SSTstd&＜SSTmean-0.5×SSTstd)范围内时，标识其评价值为-4；
当海表温度测量结果在(≥SSTmean-0.5×SSTstd&≤SSTmean+0.5×SSTstd)范围内时，标识其评价值为5；
当海表温度测量结果在(>SSTmean+0.5×SSTstd&≤SSTmean+1.5×SSTstd)范围内时，标识其评价值为4；
当海表温度测量结果在(>SSTmean+1.5×SSTstd&≤SSTmean+2.5×SSTstd)范围内时，标识其评价值为3；
当海表温度测量结果在(>SSTmean+2.5×SSTstd&≤SSTmean+3.5×SSTstd)范围内时，标识其评价值为2；
当海表温度测量结果在(>SSTmean+3.5SSTstd)范围内时，标识其评价值为1。
第二方面：
当海表温度测量结果在(<-2.5℃)范围内时，标识其评价值为-1；
当海表温度测量结果在(≥-2.5℃&＜-1.5℃)范围内时，标识其评价值为-2；
当海表温度测量结果在(≥-1.5℃&＜-0.5℃)范围内时，标识其评价值为-3；
当海表温度测量结果在(≥-0.5℃&≤0.5℃)范围内时，标识其评价值为4；
当海表温度测量结果在(>0.5℃&≤1.5℃)范围内时，标识其评价值为3；
当海表温度测量结果在(>1.5℃&≤2.5℃)范围内时，标识其评价值为2；
当海表温度测量结果在(>2.5℃)范围内时，标识其评价值为1。
最后针对每个海表温度测量结果，将上述两个方面的评价值进行相乘，得到在对海表温度测量结果进行气候值评价时的最终评价值。
在对海表温度数据进行昼夜变化幅度评价时，可以根据历史海表温度数据，计算目标观测区域内一年中每天海表温度的均方根误差DVrmse。以此为参考，分别设(SSTmean-3.5×DVrmse)为海表温度测量结果的下限，(SSTmean+3.5×DVrmse)为海表温度测量结果的上限。
当海表温度测量结果在(<SSTmean-3.5×DVrmse)范围内时，标识其评价值为-1；
当海表温度测量结果在(≥SSTmean-3.5×DVrmse&＜SSTmean-2.5×DVrmse)范围内时，标识其评价值为-2；
当海表温度测量结果在(≥SSTmean-2.5×DVrmse&＜SSTmean-1.5×DVrmse)范围内时，标识其评价值为-3；
当海表温度测量结果在(≥SSTmean-1.5×DVrmse&＜SSTmean-0.5×DVrmse)范围内时，标识其评价值为-4；
当海表温度测量结果在(≥SSTmean-0.5×DVrmse&≤SSTmean+0.5×DVrmse)范围内时，标识其评价值为5；
当海表温度测量结果在(>SSTmean+0.5×DVrmse&≤SSTmean+1.5×DVrmse)范围内时，标识其评价值为4；
当海表温度测量结果在(>SSTmean+1.5×DVrmse&≤SSTmean+2.5×DVrmse)范围内时，标识其评价值为3；
当海表温度测量结果在(>SSTmean+2.5×DVrmse&≤SSTmean+3.5×DVrmse)范围内时，标识其评价值为2；
当海表温度测量结果在(>SSTmean+3.5×DVrmse)范围内时，标识其评价值为1。
在对海表温度测量结果进行空间邻域一致性评价时，从两个方面对海表温度测量结果进行数字标识。具体地，可以根据历史海表温度数据，计算目标观测区域内一年中每天海表温度的均方根误差SSTrmse，以此为参考，设置1×SSTrmse为海表温度测量结果的第一下限值，0.4℃为海表温度测量结果的第二下限值；设置4×SSTrmse为海表温度测量结果的第一上限值，1.2℃为海表温度测量结果的第二上限值。
第一方面：
当海表温度测量结果在(≤1×SSTrmse)范围内时，标识其评价值为5；
当海表温度测量结果在(>1×SSTrmse&≤2×SSTrmse)范围内时，标识其评价值为4；
当海表温度测量结果在(>2×SSTrmse&≤3×SSTrmse)范围内时，标识其评价值为3；
当海表温度测量结果在(>3×SSTrmse&≤4×SSTrmse)范围内时，标识其评价值为2；
当海表温度测量结果在(>4×SSTrmse)范围内时，标识其评价值为1。
第二方面：
当海表温度测量结果在(≤0.4℃)范围内时，标识其评价值为4；
当海表温度测量结果在(>0.4℃&≤0.8℃)范围内时，标识其评价值为3；
当海表温度测量结果在(>0.8℃&≤1.2℃)范围内时，标识其评价值为2；
当海表温度测量结果在(>1.2℃)范围内时，标识其评价值为1。
最后针对每个海表温度测量结果，将上述两个方面的评价值进行相乘，得到在对海表温度测量结果进行空间邻域一致性评价时的最终评价值。
在对海表温度测量数据进行时间邻域一致性评价时，可以根据历史海表温度数据，计算目标观测区域内一年中相邻两天内海表温度的均方根误差SSTrmse。以此为参考，分别设1×SSTrmse为海表温度测量结果的下限，4×SSTrmse为海表温度测量结果的上限。
当海表温度测量结果在(≤1×SSTrmse)范围内时，标识其评价值为5；
当海表温度测量结果在(>1×SSTrmse&≤2×SSTrmse)范围内时，标识其评价值为4；
当海表温度测量结果在(>2×SSTrmse&≤3×SSTrmse)范围内时，标识其评价值为3；
当海表温度测量结果在(>3×SSTrmse&≤4×SSTrmse)范围内时，标识其评价值为2；
当海表温度测量结果在(>4×SSTrmse)范围内时，标识其评价值为1。
在对海表温度测量数据进行交叉评价时，统计同一时间内，目标观测区域的多源观测数据，计算其均值SSTmean和标准偏差SSTstd。以此为参考，设置SSTmean-3.5×SSTstd为海表温度测量结果的第一下限值，-2.5℃为海表温度测量结果的第二下限值；设置SSTmean+3.5×SSTstd为海表温度测量结果的第一上限值，2.5℃为海表温度测量结果的第二上限值。
第一方面：
当海表温度测量结果在(<SSTmean-3.5×SSTstd)范围内时，标识其评价值为-1；
当海表温度测量结果在(≥SSTmean-3.5×SSTstd&＜SSTmean-2.5×SSTstd)范围内时，标识其评价值为-2；
当海表温度测量结果在(≥SSTmean-2.5×SSTstd&＜SSTmean-1.5×SSTstd)范围内时，标识其评价值为-3；
当海表温度测量结果在(≥SSTmean-1.5×SSTstd&＜SSTmean-0.5×SSTstd)范围内时，标识其评价值为-4；
当海表温度测量结果在(≥SSTmean-0.5×SSTstd&≤SSTmean+0.5×SSTstd)范围内时，标识其评价值为5；
当海表温度测量结果在(>SSTmean+0.5×SSTstd&≤SSTmean+1.5×SSTstd)范围内时，标识其评价值为4；
当海表温度测量结果在(>SSTmean+1.5×SSTstd&≤SSTmean+2.5×SSTstd)范围内时，标识其评价值为3；
当海表温度测量结果在(>SSTmean+2.5×SSTstd&≤SSTmean+3.5×SSTstd)范围内时，标识其评价值为2；
当海表温度测量结果在(>SSTmean+3.5SSTstd)范围内时，标识其评价值为1。
第二方面：
当海表温度测量结果在(<-2.5℃)范围内时，标识其评价值为-1；
当海表温度测量结果在(≥-2.5℃&＜-1.5℃)范围内时，标识其评价值为-2；
当海表温度测量结果在(≥-1.5℃&＜-0.5℃)范围内时，标识其评价值为-3；
当海表温度测量结果在(≥-0.5℃&≤0.5℃)范围内时，标识其评价值为4；
当海表温度测量结果在(>0.5℃&≤1.5℃)范围内时，标识其评价值为3；
当海表温度测量结果在(>1.5℃&≤2.5℃)范围内时，标识其评价值为2；
当海表温度测量结果在(>2.5℃)范围内时，标识其评价值为1。
最后针对每个海表温度测量结果，将上述两个方面的评价值进行相乘，得到在对海表温度测量结果进行交叉评价时的最终评价值。
在对海表温度测量数据进行海陆边界评价时，可以根据海表温度测量数据目标观测区域的海域范围对海表温度测量结果进行数字标识，即：
当海表温度测量结果在(≤50km)范围内时，标识其评价值为1；
当海表温度测量结果在(>50km&≤75km)范围内时，标识其评价值为2；
当海表温度测量结果在(>75km&≤100km)范围内时，标识其评价值为3；
当海表温度测量结果在(>100km)范围内时，标识其评价值为4。
在步骤S104中，针对每一颗卫星获取的海表温度观测数据，利用得到的多个评价值，计算出海表温度测量结果的综合评价值。
具体地，首先对得到的评价值取绝对值相乘，做归一化处理计算出海表温度测量结果的第一综合评价值；
然后对得到的评价值取绝对值，计算绝对值大于预设评价值的个数与总个数的比值，归一化处理后得到海表温度测量结果的第二综合评价值。
在步骤S105中，将第一综合评价值小于第一预设综合评价值和第二综合评价值大于第二预设综合评价值作为过滤条件，筛选出需要过滤的海表温度测量结果。
其中步骤S104中的预设评价值、步骤S105中的第一预设综合评价值和第二预设综合评价值均是根据经验得到的，通过上述过滤条件，可以保留住可能代表一些重要的海表现象异常数据，由于本申请实施例先通过多种评价方式对海表温度测量结果进行评价，在对海表温度测量结果的评价结果进行综合评价，避免了通过单一过滤方法直接过滤掉有效异常值的情况，从而减少了对有效异常数据错检、漏检的情况。
基于相同的技术构思，本申请实施例还提供一种数据过滤装置、电子设备、以及计算机存储介质等，具体可参见以下实施例。
图6是示出本申请的一些实施例的数据过滤装置的框图，该数据过滤装置实现的功能对应上述在终端设备上执行数据过滤方法的步骤。该装置可以理解为一个包括处理器的服务器的组件，该组件能够实现上述数据过滤方法，如图6所示，该数据过滤装置600可以包括：获取模块601、确定模块602、评价模块603、计算模块604和过滤模块605；
获取模块601，用于获取目标观测区域内待过滤的海表温度测量结果；
确定模块602，用于根据所述海表温度测量结果，确定所述海表温度测量结果的评价策略；所述评价策略包括多种评价方式；
评价模块603，用于利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果；
计算模块604，用于根据所述多个评价结果，计算所述海表温度测量结果的综合评价值；
过滤模块605，用于根据所述综合评价值，对所述海表温度测量结果进行过滤。
如图7所示，为本申请实施例所提供的一种电子设备700的结构示意图，该电子设备700包括：至少一个处理器701，至少一个网络接口504和至少一个用户接口703，存储器705，至少一个通信总线702。通信总线702用于实现这些组件之间的连接通信。用户接口703，包括显示器(例如，触摸屏)、键盘或者点击设备(例如，触感板或者触摸屏等)。
存储器705可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器705的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器705存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：
操作系统7051，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；
应用程序模块7052，包含各种应用程序，用于实现各种应用业务。
在本申请实施例中，通过调用存储器705存储的程序或指令，处理器701用于：
获取目标观测区域内待过滤的海表温度测量结果；
根据所述海表温度测量结果，确定所述海表温度测量结果的评价策略；所述评价策略包括多种评价方式；
利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果；
根据所述多个评价结果，计算所述海表温度测量结果的综合评价值；
根据所述综合评价值，对所述海表温度测量结果进行过滤。
本申请实施例所提供的进行数据过滤方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据过滤方法，其特征在于，包括：
获取目标观测区域内待过滤的海表温度测量结果；
根据所述海表温度测量结果，确定所述海表温度测量结果的评价策略；所述评价策略包括多种评价方式；
利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果；
根据所述多个评价结果，计算所述海表温度测量结果的综合评价值；
根据所述综合评价值，对所述海表温度测量结果进行过滤。
2.根据权利要求1所述的数据过滤方法，其特征在于，所述利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果，包括：
根据所述多种评价方式，分别对所述海表温度测量结果进行数字标识，得到多个评价值。
3.根据权利要求2所述的数据过滤方法，其特征在于，所述根据所述多个评价结果，计算所述海表温度测量结果的综合评价值，包括：
对所述多个评价值取绝对值，并计算所述多个评价值的乘积，得到所述海表温度测量结果的第一综合评价值；
对所述多个评价值取绝对值，并计算大于预设评价值的评价值个数与评价值总个数的比值，得到所述海表温度测量结果的第二综合评价值。
4.根据权利要求3所述的数据过滤方法，其特征在于，所述根据所述综合评价值，对所述海表温度测量结果进行过滤，包括：
根据所述第一综合评价值和所述第二综合评价值，确定过滤条件；
根据所述过滤条件，对所述海表温度测量结果进行过滤。
5.根据权利要求1所述的数据过滤方法，其特征在于，所述评价方式包括：合理性评价、气候值评价、昼夜变化幅度评价、空间邻域一致性评价、时间邻域一致性评价、交叉评价和海陆边界评价。
6.根据权利要求1所述的数据过滤方法，其特征在于，所述海表温度测量结果包括以下至少一种：红外数据、微波数据、实测数据和重构数据。
7.根据权利要求1所述的数据过滤方法，其特征在于，所述获取目标观测区域内待过滤的海表温度测量结果，包括：
获取至少一个卫星采集的目标观测区域内待过滤的海表温度测量结果。
8.一种数据过滤装置，其特征在于，包括：
获取模块，用于获取目标观测区域内待过滤的海表温度测量结果；
确定模块，用于根据所述海表温度测量结果，确定所述海表温度测量结果的评价策略；所述评价策略包括多种评价方式；
评价模块，用于利用所述多种评价方式分别对所述海表温度测量结果进行评价，得到多个评价结果；
计算模块，用于根据所述多个评价结果，计算所述海表温度测量结果的综合评价值；
过滤模块，用于根据所述综合评价值，对所述海表温度测量结果进行过滤。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的数据过滤方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据过滤方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665206.9A CN110362724B (zh) | 2019-07-23 | 2019-07-23 | 一种数据过滤方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665206.9A CN110362724B (zh) | 2019-07-23 | 2019-07-23 | 一种数据过滤方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110362724A true CN110362724A (zh) | 2019-10-22 |
| CN110362724B CN110362724B (zh) | 2022-12-06 |
Family
ID=68221280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910665206.9A Active CN110362724B (zh) | 2019-07-23 | 2019-07-23 | 一种数据过滤方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110362724B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744884A (zh) * | 2021-09-30 | 2021-12-03 | 西南政法大学 | 一种学生健康数据预警及干预方法、系统 |
| CN114564629A (zh) * | 2022-04-22 | 2022-05-31 | 国家海洋技术中心 | 异常数据处理方法、装置、计算机设备和存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030084289A1 (en) * | 2001-10-24 | 2003-05-01 | Kabushiki Kaisha Toshiba | Authentication method, apparatus, and system |
| US20050193027A1 (en) * | 2004-02-12 | 2005-09-01 | Kunio Hasegawa | Abnormality diagnosing method, condition appraisal apparatus, image forming apparatus, management apparatus and management system |
| JP2014002482A (ja) * | 2012-06-15 | 2014-01-09 | Nippon Telegr & Teleph Corp <Ntt> | 影響力予測装置、影響力予測方法、及びプログラム |
| CN105335486A (zh) * | 2015-10-15 | 2016-02-17 | 桂林电子科技大学 | 一种数据过滤方法及数据过滤装置 |
| CN106871877A (zh) * | 2017-02-13 | 2017-06-20 | 国家卫星海洋应用中心 | 海冰标识确定方法及装置 |
| CN107392466A (zh) * | 2017-07-21 | 2017-11-24 | 浙江群力电气有限公司 | 一种电网电能质量动态综合评价方法及装置 |
| CN107392324A (zh) * | 2017-07-03 | 2017-11-24 | 山东电力设备有限公司 | 变压器专业化检修综合管理系统 |
| CN107679703A (zh) * | 2017-09-08 | 2018-02-09 | 天津大学 | 一种海岸带生态安全评价方法 |
| CN108510147A (zh) * | 2018-01-23 | 2018-09-07 | 浙江工业大学 | 一种基于残差波动模型的电能质量综合评价方法 |
| CN108615101A (zh) * | 2016-12-09 | 2018-10-02 | 爱信诺征信有限公司 | 信用信息处理方法及装置 |
| CN109146274A (zh) * | 2018-08-09 | 2019-01-04 | 中海石油气电集团有限责任公司 | 一种基于熵权的燃气电厂综合状态评估方法 |
| CN109448754A (zh) * | 2018-09-07 | 2019-03-08 | 南京光辉互动网络科技股份有限公司 | 一种多维度演唱评分系统 |
| CN109767084A (zh) * | 2018-12-25 | 2019-05-17 | 江苏神彩科技股份有限公司 | 一种企业环境行为分析处理的方法及设备 |
| CN109801002A (zh) * | 2019-03-01 | 2019-05-24 | 国家电网有限公司 | 运维检修视角下的变压器供应商综合绩效评价方法 |
| CN109816196A (zh) * | 2018-12-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 预测模型的评价值计算方法、装置、设备及可读存储介质 |
-
2019
- 2019-07-23 CN CN201910665206.9A patent/CN110362724B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030084289A1 (en) * | 2001-10-24 | 2003-05-01 | Kabushiki Kaisha Toshiba | Authentication method, apparatus, and system |
| US20050193027A1 (en) * | 2004-02-12 | 2005-09-01 | Kunio Hasegawa | Abnormality diagnosing method, condition appraisal apparatus, image forming apparatus, management apparatus and management system |
| JP2014002482A (ja) * | 2012-06-15 | 2014-01-09 | Nippon Telegr & Teleph Corp <Ntt> | 影響力予測装置、影響力予測方法、及びプログラム |
| CN105335486A (zh) * | 2015-10-15 | 2016-02-17 | 桂林电子科技大学 | 一种数据过滤方法及数据过滤装置 |
| CN108615101A (zh) * | 2016-12-09 | 2018-10-02 | 爱信诺征信有限公司 | 信用信息处理方法及装置 |
| CN106871877A (zh) * | 2017-02-13 | 2017-06-20 | 国家卫星海洋应用中心 | 海冰标识确定方法及装置 |
| CN107392324A (zh) * | 2017-07-03 | 2017-11-24 | 山东电力设备有限公司 | 变压器专业化检修综合管理系统 |
| CN107392466A (zh) * | 2017-07-21 | 2017-11-24 | 浙江群力电气有限公司 | 一种电网电能质量动态综合评价方法及装置 |
| CN107679703A (zh) * | 2017-09-08 | 2018-02-09 | 天津大学 | 一种海岸带生态安全评价方法 |
| CN108510147A (zh) * | 2018-01-23 | 2018-09-07 | 浙江工业大学 | 一种基于残差波动模型的电能质量综合评价方法 |
| CN109146274A (zh) * | 2018-08-09 | 2019-01-04 | 中海石油气电集团有限责任公司 | 一种基于熵权的燃气电厂综合状态评估方法 |
| CN109448754A (zh) * | 2018-09-07 | 2019-03-08 | 南京光辉互动网络科技股份有限公司 | 一种多维度演唱评分系统 |
| CN109816196A (zh) * | 2018-12-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 预测模型的评价值计算方法、装置、设备及可读存储介质 |
| CN109767084A (zh) * | 2018-12-25 | 2019-05-17 | 江苏神彩科技股份有限公司 | 一种企业环境行为分析处理的方法及设备 |
| CN109801002A (zh) * | 2019-03-01 | 2019-05-24 | 国家电网有限公司 | 运维检修视角下的变压器供应商综合绩效评价方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIGUO ET AL.: "Comprehensive coal quality index for evaluation of coal agglomeration characteristics", 《FUEL》 * |
| 张文俊: "体育综合评价中误差存在的初步分析及处理", 《赤峰学院学报(自然科学版)》 * |
| 潘旭 等: "智能配电网多维数据质量评价方法", 《中国电机工程学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744884A (zh) * | 2021-09-30 | 2021-12-03 | 西南政法大学 | 一种学生健康数据预警及干预方法、系统 |
| CN114564629A (zh) * | 2022-04-22 | 2022-05-31 | 国家海洋技术中心 | 异常数据处理方法、装置、计算机设备和存储介质 |
| CN114564629B (zh) * | 2022-04-22 | 2022-08-16 | 国家海洋技术中心 | 异常数据处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110362724B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Steven et al. | eReefs: An operational information system for managing the Great Barrier Reef | |
| CN110377667B (zh) | 关联图谱展示方法、装置、计算机设备和存储介质 | |
| Vanzella et al. | High star cluster formation efficiency in the strongly lensed Sunburst Lyman-continuum galaxy at z= 2.37 | |
| Batista et al. | MOA-2009-BLG-387Lb: a massive planet orbiting an M dwarf | |
| Chand et al. | Shoreline change and sea level rise along coast of Bhitarkanika wildlife sanctuary, Orissa: An analytical approach of remote sensing and statistical techniques | |
| Horion et al. | JRC experience on the development of Drought Information Systems | |
| CN110362724A (zh) | 一种数据过滤方法、装置、电子设备及可读存储介质 | |
| Tan et al. | Evaluation of TMPA 3B43 and NCEP-CFSR precipitation products in drought monitoring over Singapore | |
| Zamani et al. | Atmospheric drought in Belgium-statistical analysis of precipitation deficit. | |
| Liu et al. | Multimodel uncertainty changes in simulated river flows induced by human impact parameterizations | |
| CN108734306A (zh) | 一种数据处理方法、装置、道路维护系统及存储介质 | |
| CN115004213A (zh) | 农作物类型和/或播种日期的估计 | |
| CN110058281A (zh) | 动态定位方法及装置 | |
| Cooley et al. | Detecting change in precipitation indices using observed (1977–2016) and modeled future climate data in Portland, Oregon, USA | |
| CN104598326A (zh) | 一种信息纠错方法和装置 | |
| CN106228596A (zh) | 三维激光点云生成方法及装置 | |
| CN111611731B (zh) | 卫星数据融合方法、装置及电子设备 | |
| CN105737806B (zh) | 基于星载微波辐射计反演海面盐度的方法和装置 | |
| CN112084865A (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| Rincón-Avalos et al. | Evaluation of satellite precipitation products over Mexico using Google Earth Engine | |
| Riggs et al. | Extending global river gauge records using satellite observations | |
| US11463658B2 (en) | Camera system | |
| Jesus et al. | Custom deployment of a Nowcast-forecast information system in coastal regions | |
| Araujo et al. | Calibration of FEST-EWB hydrological model using remote sensing data in a climate transition region in Brazil | |
| CN114494859B (zh) | 基于遥感数据的长时间序列积雪遥感数据集构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Wenjun Inventor after: Cheng Bin Inventor after: Li Chao Inventor after: Xia Dongdong Inventor after: Xi Meng Inventor before: Xi Meng Inventor before: Cheng Bin Inventor before: Li Chao Inventor before: Xia Dongdong Inventor before: Li Wenjun |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221115 Address after: No.42, Linghe street, Shahekou District, Dalian, Liaoning 116000 Applicant after: NATIONAL MARINE ENVIRONMENTAL MONITORING CENTER Applicant after: NATIONAL SATELLITE OCEAN APPLICATION SERVICE Address before: No.8 Dahui temple, Haidian District, Beijing 100080 Applicant before: NATIONAL SATELLITE OCEAN APPLICATION SERVICE |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |