CN110389947A - 一种黑名单生成方法、装置、设备及介质 - Google Patents
一种黑名单生成方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110389947A CN110389947A CN201910662443.XA CN201910662443A CN110389947A CN 110389947 A CN110389947 A CN 110389947A CN 201910662443 A CN201910662443 A CN 201910662443A CN 110389947 A CN110389947 A CN 110389947A
- Authority
- CN
- China
- Prior art keywords
- data
- observation
- target
- subsequence
- blacklist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种黑名单生成方法、装置、设备及介质。方法包括：根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，数据序列包括多个数据子序列，每一数据子序列与一个观测站点对应；获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据；当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。本发明实施例的技术方案能够提供生成包含观测站点的黑名单的理论判据，保证黑名单的准确性，进而保证观测数据的数据质量。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种黑名单生成方法、装置、设备及介质。
背景技术
随着观测资料的广泛应用，其质量的可靠性已经越来越受到关注，如何建立准确的黑名单检查制度，已经成为对观测资料进行质量监控的重要环节。目前，在观测数据的相关业务工作中，黑名单的生成基础通常为和观测资料质量相关的一系列先验信息，如已知质量较差或者观测仪器误差较大的观测站点，人为将其列入黑名单，从而实现防止将质量较差的观测数据应用于实际使用过程中的目的。
然而，仅依赖经验性的信息确定黑名单易导致黑名单中的观测站点不准确，使得过多观测资料被舍弃或者临时出现的质量较差的观测资料未加入黑名单中，即现有的黑名单检查制度缺乏准确的理论判据，无法对观测数据中的质量较差的数据进行有效的剔除，不能保证观测数据的数据质量。
发明内容
本发明实施例提供一种黑名单生成方法、装置、设备及介质，提供了生成包含观测站点的黑名单的理论判据，保证了黑名单的准确性，进而保证了观测数据的数据质量。
第一方面，本发明实施例提供了一种黑名单生成方法，包括：
根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，所述数据序列包括多个数据子序列，每一所述数据子序列与一个所述观测站点对应；
获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据所述目标观测数据子序列、所述目标背景场数据子序列以及所述观测偏差阈值，确定所述目标观测数据子序列中的无效观测数据；
当所述无效观测数据满足预设条件时，将所述目标观测站点添加至黑名单中。
第二方面，本发明实施例还提供了一种黑名单生成装置，包括：
观测偏差阈值确定模块，用于根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，所述数据序列包括多个数据子序列，每一所述数据子序列与一个所述观测站点对应；
无效观测数据确定模块，用于获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据所述目标观测数据子序列、所述目标背景场数据子序列以及所述观测偏差阈值，确定所述目标观测数据子序列中的无效观测数据；
黑名单确定模块，用于当所述无效观测数据满足预设条件时，将所述目标观测站点添加至黑名单中。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的黑名单生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的黑名单生成方法。
本发明实施例提供了一种黑名单生成方法、装置、设备及介质，通过利用历史观测数据序列以及历史背景场数据序列确定观测偏差阈值，再将该观测偏差阈值用于当前观测数据子序列的比对过程中，从而确定当前观测数据子序列中的无效观测数据，并根据无效观测数据的获取情况，判断是否将当前观测数据子序列对应的观测站点添加至黑名单中，即本发明实施例利用历史的数据生成判断标准，用于衡量当前数据的准确性，从而得到了确定包含观测站点的黑名单的量化判据。解决了现有技术中，仅依赖经验性的信息确定黑名单易导致黑名单中的观测站点不准确，进而导致过多观测资料被舍弃或者临时出现的质量较差的观测资料未加入黑名单中的问题，实现了提供生成包含观测站点的黑名单的理论判据，保证黑名单的准确性，进而保证观测数据的数据质量的效果。
附图说明
图1是本发明实施例一提供的一种黑名单生成方法的流程图；
图2是本发明实施例二提供的一种黑名单生成方法的流程图；
图3是本发明实施例三提供的一种黑名单生成方法的流程图；
图4是本发明实施例四提供的一种黑名单生成装置的结构示意图；
图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种黑名单生成方法的流程图，本实施例可适用于在对观测数据进行质量监控时，基于观测数据和对应的背景场数据确定包含观测站点的黑名单的情况，该方法可以由本发明实施例提供的黑名单生成装置来执行，该装置可采用软件和/或硬件的方式实现，并可以集成在电子设备中。
如图1所示，本实施例的方法具体包括：
步骤110、根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值。
其中，数据序列包括多个数据子序列，每一数据子序列与一个观测站点对应。
在本实施例中，预设时间段是在当前确定黑名单的时刻之前的历史时间段。
历史观测数据序列是在预设时间段内由各个观测站点产生的观测数据序列，可以理解为每个观测站点产生一个历史观测数据子序列，多个历史观测数据子序列组成本实施例中的历史观测数据序列，需要说明的是，之所以观测站点对应的数据可以为子序列，是由于针对每一观测要素，需要测试多个等压面上的数据，从而组成数据子序列。观测数据又称原始数据，是在自然未被控制的条件下观测得到的数据，观测数据能够客观反映观测环境的特点，在本实施例中，观测数据为气象领域中的数据，由多个观测站点检测产生，用以获取气象信息。典型的，在气象领域中，观测数据为探空观测数据，探空观测数据是通过对自由大气各气象要素进行直接或者间接观测得到的数据，一般的，探空观测过程是由气球携带探空仪器，上升至不同等压面完成的。
历史背景场数据序列是在预设时间段内，与各个观测站点产生的观测数据序列对应的预测数据序列。背景场数据是从模式预报场中获得的数据，通过输入相关数据，可以从模式预报场中获取未来某一时刻的气象要素数据。而模式预报场是根据大量观测数据进行模式计算得到的预报场，模式预报场有多种，其中，在国内以天气预报模式(The WeatherResearch and Forecasting Model，WRF)和全球数值预报系统(Global/RegionalAssimilation and Prediction Enhanced System，GRAPES)的应用最为广泛。与历史观测数据序列对应的，历史背景场数据序列也可以包含多个历史背景场数据子序列，每一历史背景场数据子序列与一个观测站点对应。
具体的，根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，可以是针对各个观测站点对应的历史观测数据子序列和历史背景场数据子序列计算观测偏差，再计算所有观测偏差的平均值，从而确定观测偏差阈值。由此，确定具有历史数据依据的理论偏差阈值。
步骤120、获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据。
在一个具体的场景中，设定预设时间段为当前观测时刻所在月份的上1个月，根据步骤110，利用上1个月内的多个观测站点的历史观测数据序列和历史背景场数据序列计算出观测偏差阈值。获取当前观测时刻的，目标观测站点产生的目标观测数据子序列，以及与目标观测数据子序列对应的目标背景场数据子序列，基于二者计算观测偏差，再将得到的观测偏差与观测偏差阈值比较，从而确定目标观测数据子序列中的无效观测数据。
步骤130、当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。
在本实施例中，当获得的目标观测数据子序列中的无效观测数据满足预设条件时，认为目标观测站点产生的观测数据的质量不符合规定，将目标观测站点添加至黑名单中。
预设条件可以是无效观测数据的数量、数值或者其他相关计算值达到设定阈值，此处不作限定。
优选的，在将目标观测站点添加至黑名单中之后，还包括：
当存在下一预设时间段时，重复执行确定观测偏差阈值的操作，以对观测偏差阈值进行更新；
利用更新的观测偏差阈值，判断是否将当前的目标观测站点添加至黑名单。
在本优选的实施方式中，提供了对观测偏差阈值进行更新，从而更新黑名单的方法。以本实施例中的具体场景为例，假设当前观测时刻处于2月，则根据1月得到的历史观测数据序列以及历史背景场数据序列计算出观测偏差阈值，以对2月内所有观测数据进行筛查，当进入3月时，可以以2月得到的历史观测数据序列以及历史背景场数据序列更新观测偏差阈值，从而以更新的观测偏差阈值对3月内所有观测数据进行筛查。由此，保证了得到的观测偏差阈值均是基于最近的预设时间段获得的，避免了长时间使用同一观测偏差阈值造成的无效观测数据误判现象。
本发明实施例提供了一种黑名单生成方法，通过利用历史观测数据序列以及历史背景场数据序列确定观测偏差阈值，再将该观测偏差阈值用于当前观测数据子序列的比对过程中，从而确定当前观测数据子序列中的无效观测数据，并根据无效观测数据的获取情况，判断是否将当前观测数据子序列对应的观测站点添加至黑名单中，即本发明实施例利用历史的数据生成判断标准，用于衡量当前数据的准确性，从而得到了确定包含观测站点的黑名单的量化判据。解决了现有技术中，仅依赖经验性的信息确定黑名单易导致黑名单中的观测站点不准确，进而导致过多观测资料被舍弃或者临时出现的质量较差的观测资料未加入黑名单中的问题，实现了提供生成包含观测站点的黑名单的理论判据，保证黑名单的准确性，进而保证观测数据的数据质量的效果。
实施例二
图2为本发明实施例二提供的一种黑名单生成方法的流程图，本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，可以包括：根据历史观测数据序列和历史背景场数据序列，确定历史观测场与历史背景场的平均均方根误差；基于平均均方根误差和预设的观测偏差系数，确定观测偏差阈值。
相应的，本发明实施例的方法包括：
步骤210、根据历史观测数据序列和历史背景场数据序列，确定历史观测场与历史背景场的平均均方根误差。
在本实施例中，假设在预设时间段内的任一观测时刻的背景场资料用x表示，历史探空观测数据用yi表示，则观测偏差为：
εi＝yi-H(x),i＝1,…,N
其中，H(x)为观测算子，包括背景变量和观测变量之间的物理变换和空间变换，这里的观测算子只需对背景场进行水平和垂直的空间插值。N为总样本量，也就是针对每一观测站点，历史观测数据子序列或者历史背景场数据子序列中的数据个数。
针对每一观测站点，历史观测场与历史背景场的均方根误差为：
则，可以计算出所有观测站点的平均均方根误差，用r表示。
步骤220、基于平均均方根误差和预设的观测偏差系数，确定观测偏差阈值。
其中，观测偏差系数是预先设置的，用于对无效观测数据进行限定的系数，该观测偏差系数一般根据多次试验确定，观测偏差阈值可以表示为在本实施例中，观测偏差系数α可以为3，观测偏差阈值可以为
步骤230、获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据。
需要说明的是，在本实施例中，数据序列包括一个观测要素在对应的多个等压面上的数据；观测要素包括：位势高度、温度、相对湿度、风向以及风速。
在常规气象业务中，较关注的等压面包括16层，分别为1000hPa、925hPa、850hPa、700hPa、500hPa、400hPa、300hPa、250hPa、200hPa、150hPa、100hPa、70hPa、50hPa、30hPa、20hPa以及10hPa。无论是在计算观测偏差阈值时，还是在计算无效观测数据时，都是针对每一观测要素进行的，也就是说，需要针对目标观测站点中的每一观测要素组成的目标观测数据子序列进行无效观测数据的筛选。
步骤240、当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。
本实施例的技术方案，提供了根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值的具体步骤，通过计算历史观测场与历史背景场的平均均方根误差，基于平均均方根误差和预设的观测偏差系数确定观测偏差阈值，由于均方根偏差对一组测量数据中的特大或特小误差反映非常敏感，因此，基于平均均方根误差和预设的观测偏差系数确定观测偏差阈值能够很好地反映出偏差的精密度，从而使得到的无效观测数据更加准确。
实施例三
图3为本发明实施例三提供的一种黑名单生成方法的流程图，本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据，可以包括：计算目标观测数据子序列中的每一观测数据与目标背景场数据子序列中对应的背景场数据之间的偏差；当偏差的绝对值大于或者等于观测偏差阈值时，将对应的观测数据记作无效观测数据。
相应的，本发明实施例的方法包括：
步骤310、根据历史观测数据序列和历史背景场数据序列，确定历史观测场与历史背景场的平均均方根误差。
在本实施例中，数据序列包括一个观测要素在对应的多个等压面上的数据；观测要素包括：位势高度、温度、相对湿度、风向以及风速。
在计算观测偏差阈值时，使用的历史观测数据序列以及历史背景场数据序列对应的不同观测要素的等压面层数可能会不同。典型的，在国际标准中，历史观测数据序列以及历史背景场数据序列对应的不同观测要素的等压面层数如下：
A、位势高度：1000～30hPa(14层)；
B、温度：1000～10hPa(16层)；
C、相对湿度：1000～100hPa(11层)；
D、风向：500～150hPa(6层)；
E、风速：1000～100hPa(11层)。
即基于上述等压面的层数确定数据序列，从而计算平均均方根误差。
步骤320、基于平均均方根误差和预设的观测偏差系数，确定观测偏差阈值。
步骤330、获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列。
步骤340、计算目标观测数据子序列中的每一观测数据与目标背景场数据子序列中对应的背景场数据之间的偏差。
在本实施例中，在计算目标观测数据子序列与目标背景场数据子序列的观测偏差时，是通过计算每一观测数据与对应的背景场数据之间的偏差实现的。
步骤350、当偏差的绝对值大于或者等于观测偏差阈值时，将对应的观测数据记作无效观测数据。
当观测数据与对应的背景场数据之间的偏差的绝对值大于或者等于观测偏差阈值时，说明该观测数据以较大程度偏离背景场数据，由此，可以将该观测数据定义为无效观测数据。
步骤360、当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。
具体的，无效观测数据满足预设条件，包括：
无效观测数据的数量在目标观测数据子序列中所占的比例满足预设条件；
在将目标观测站点添加至黑名单中之后，还包括：
对无效观测数据进行错误标注或者将无效观测数据从目标观测数据序列中剔除。
其中，无效观测数据的数量在目标观测数据子序列中所占的比例满足预设条件，是指无效观测数据占目标观测数据子序列中所有观测数据总数的比例大于等于预设比例阈值。典型的，预设比例阈值为20％，可以理解的，该预设比例阈值一般根据多次试验确定。
在本具体的实施方式中，在将目标观测站点添加至黑名单中，确定黑明单之后，还可以对目标观测数据子序列中的无效观测数据进行错误标注或者从目标观测数据序列中剔除，以保证最终保留的观测数据的正确性。
进一步的，在基于剔除后的观测数据确定下一预设时间段内的观测偏差阈值时，由于基础数据有正确性保障，使得得到的观测偏差阈值更加准确。
本实施例的技术方案，提供了根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据的具体步骤，通过计算目标观测数据子序列中每一观测数据与对应背景场数据之间的偏差，将偏差与观测偏差阈值比较，从而确定观测数据是否为无效观测数据，为确定无效观测数据提供了具体的理论依据，使获得的无效观测数据具有说服力。
实施例四
图4为本发明实施例四提供的一种黑名单生成装置的结构示意图，如图4所示，所述装置包括：观测偏差阈值确定模块410、无效观测数据确定模块420以及黑名单确定模块430，其中：
观测偏差阈值确定模块410，用于根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，数据序列包括多个数据子序列，每一数据子序列与一个观测站点对应；
无效观测数据确定模块420，用于获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据；
黑名单确定模块430，用于当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。
本发明实施例提供了一种黑名单生成装置，通过利用历史观测数据序列以及历史背景场数据序列确定观测偏差阈值，再将该观测偏差阈值用于当前观测数据子序列的比对过程中，从而确定当前观测数据子序列中的无效观测数据，并根据无效观测数据的获取情况，判断是否将当前观测数据子序列对应的观测站点添加至黑名单中，即本发明实施例利用历史的数据生成判断标准，用于衡量当前数据的准确性，从而得到了确定包含观测站点的黑名单的量化判据。解决了现有技术中，仅依赖经验性的信息确定黑名单易导致黑名单中的观测站点不准确，进而导致过多观测资料被舍弃或者临时出现的质量较差的观测资料未加入黑名单中的问题，实现了提供生成包含观测站点的黑名单的理论判据，保证黑名单的准确性，进而保证观测数据的数据质量的效果。
在上述各实施例的基础上，观测偏差阈值确定模块420，可以包括：
平均均方根误差确定单元，用于根据历史观测数据序列和历史背景场数据序列，确定历史观测场与历史背景场的平均均方根误差；
观测偏差阈值确定单元，用于基于平均均方根误差和预设的观测偏差系数，确定观测偏差阈值。
在上述各实施例的基础上，数据序列包括一个观测要素在对应的多个等压面上的数据；观测要素包括：位势高度、温度、相对湿度、风向以及风速。
在上述各实施例的基础上，无效观测数据确定模块420，可以包括：
偏差计算单元，用于计算目标观测数据子序列中的每一观测数据与目标背景场数据子序列中对应的背景场数据之间的偏差；
无效观测数据确定单元，用于当偏差的绝对值大于或者等于观测偏差阈值时，将对应的观测数据记作无效观测数据。
在上述各实施例的基础上，黑名单确定模块430，可以包括：
预设条件满足单元，用于无效观测数据的数量在目标观测数据子序列中所占的比例满足预设条件。
所述装置，还可以包括：
无效观测数据处理模块，用于在将目标观测站点添加至黑名单中之后，对无效观测数据进行错误标注或者将无效观测数据从目标观测数据序列中剔除。
在上述各实施例的基础上，所述装置，还可以包括：
观测偏差阈值更新模块，用于在将目标观测站点添加至黑名单中之后，当存在下一预设时间段时，重复执行确定观测偏差阈值的操作，以对观测偏差阈值进行更新；
黑名单更新模块，用于在将目标观测站点添加至黑名单中之后，利用更新的观测偏差阈值，判断是否将当前的目标观测站点添加至黑名单。
上述黑名单生成装置可执行本发明任意实施例所提供的黑名单生成方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种电子设备的结构示意图，如图5所示，该设备包括处理器50和存储器51；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50和存储器51可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种黑名单生成方法对应的程序指令/模块(例如，黑名单生成装置中的观测偏差阈值确定模块410、无效观测数据确定模块420以及黑名单确定模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的黑名单生成方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种黑名单生成方法，该方法包括：
根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，数据序列包括多个数据子序列，每一数据子序列与一个观测站点对应；
获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据；
当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的黑名单生成方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种黑名单生成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种黑名单生成方法，其特征在于，包括：
根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，所述数据序列包括多个数据子序列，每一所述数据子序列与一个所述观测站点对应；
获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据所述目标观测数据子序列、所述目标背景场数据子序列以及所述观测偏差阈值，确定所述目标观测数据子序列中的无效观测数据；
当所述无效观测数据满足预设条件时，将所述目标观测站点添加至黑名单中。
2.根据权利要求1所述的方法，其特征在于，所述根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，包括：
根据历史观测数据序列和历史背景场数据序列，确定历史观测场与历史背景场的平均均方根误差；
基于所述平均均方根误差和预设的观测偏差系数，确定所述观测偏差阈值。
3.根据权利要求1所述的方法，其特征在于，所述数据序列包括一个观测要素在对应的多个等压面上的数据；所述观测要素包括：位势高度、温度、相对湿度、风向以及风速。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标观测数据子序列、所述目标背景场数据子序列以及所述观测偏差阈值，确定所述目标观测数据子序列中的无效观测数据，包括：
计算所述目标观测数据子序列中的每一观测数据与所述目标背景场数据子序列中对应的背景场数据之间的偏差；
当所述偏差的绝对值大于或者等于所述观测偏差阈值时，将对应的观测数据记作所述无效观测数据。
5.根据权利要求1所述的方法，其特征在于，所述无效观测数据满足预设条件，包括：
所述无效观测数据的数量在所述目标观测数据子序列中所占的比例满足所述预设条件；
在所述将所述目标观测站点添加至黑名单中之后，还包括：
对所述无效观测数据进行错误标注或者将所述无效观测数据从所述目标观测数据序列中剔除。
6.根据权利要求1所述的方法，其特征在于，在所述将所述目标观测站点添加至黑名单中之后，还包括：
当存在下一所述预设时间段时，重复执行确定所述观测偏差阈值的操作，以对所述观测偏差阈值进行更新；
利用更新的所述观测偏差阈值，判断是否将当前的目标观测站点添加至所述黑名单。
7.一种黑名单生成装置，其特征在于，包括：
观测偏差阈值确定模块，用于根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，所述数据序列包括多个数据子序列，每一所述数据子序列与一个所述观测站点对应；
无效观测数据确定模块，用于获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据所述目标观测数据子序列、所述目标背景场数据子序列以及所述观测偏差阈值，确定所述目标观测数据子序列中的无效观测数据；
黑名单确定模块，用于当所述无效观测数据满足预设条件时，将所述目标观测站点添加至黑名单中。
8.根据权利要求7所述的装置，其特征在于，所述观测偏差阈值确定模块，包括：
平均均方根误差确定单元，用于根据历史观测数据序列和历史背景场数据序列，确定历史观测场与历史背景场的平均均方根误差；
观测偏差阈值确定单元，用于基于所述平均均方根误差和预设的观测偏差系数，确定所述观测偏差阈值。
9.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的黑名单生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的黑名单生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910662443.XA CN110389947A (zh) | 2019-07-22 | 2019-07-22 | 一种黑名单生成方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910662443.XA CN110389947A (zh) | 2019-07-22 | 2019-07-22 | 一种黑名单生成方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110389947A true CN110389947A (zh) | 2019-10-29 |
Family
ID=68286969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910662443.XA Pending CN110389947A (zh) | 2019-07-22 | 2019-07-22 | 一种黑名单生成方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110389947A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114333715A (zh) * | 2022-01-05 | 2022-04-12 | 一汽解放汽车有限公司 | 车辆背光亮度调节方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339568A (zh) * | 2015-07-08 | 2017-01-18 | 中国电力科学研究院 | 一种基于混合背景场的数值天气预报方法 |
| CN106874602A (zh) * | 2017-02-20 | 2017-06-20 | 北京华风超越科技有限公司 | 气象数据处理方法和装置 |
| CN108416031A (zh) * | 2018-03-12 | 2018-08-17 | 南京恩瑞特实业有限公司 | Nriet气象多源探测资料融合分析系统 |
| CN109783932A (zh) * | 2019-01-14 | 2019-05-21 | 哈尔滨工程大学 | 一种结合最优观测时间窗口的强耦合数据同化方法 |
| US20200032349A1 (en) * | 2017-03-20 | 2020-01-30 | Ontario Institute For Cancer Research (Oicr) | Cancer risk based on tumour clonality |
-
2019
- 2019-07-22 CN CN201910662443.XA patent/CN110389947A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339568A (zh) * | 2015-07-08 | 2017-01-18 | 中国电力科学研究院 | 一种基于混合背景场的数值天气预报方法 |
| CN106874602A (zh) * | 2017-02-20 | 2017-06-20 | 北京华风超越科技有限公司 | 气象数据处理方法和装置 |
| US20200032349A1 (en) * | 2017-03-20 | 2020-01-30 | Ontario Institute For Cancer Research (Oicr) | Cancer risk based on tumour clonality |
| CN108416031A (zh) * | 2018-03-12 | 2018-08-17 | 南京恩瑞特实业有限公司 | Nriet气象多源探测资料融合分析系统 |
| CN109783932A (zh) * | 2019-01-14 | 2019-05-21 | 哈尔滨工程大学 | 一种结合最优观测时间窗口的强耦合数据同化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 庄照荣等: "探空观测黑名单检查在变分同化系统中的应用", 《应用气象学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114333715A (zh) * | 2022-01-05 | 2022-04-12 | 一汽解放汽车有限公司 | 车辆背光亮度调节方法、装置、计算机设备和存储介质 |
| CN114333715B (zh) * | 2022-01-05 | 2023-08-18 | 一汽解放汽车有限公司 | 车辆背光亮度调节方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5940922B2 (ja) | 自然エネルギー量予測装置 | |
| CN110059894A (zh) | 设备状态评估方法、装置、系统及存储介质 | |
| EP4307172A1 (en) | Data interpolation method and apparatus and storage medium | |
| CN113570122A (zh) | 预测风速的方法、装置、计算机设备和存储介质 | |
| JP2020134300A (ja) | 予測方法、予測プログラム及び情報処理装置 | |
| CN106530841B (zh) | 机场延误预测方法及装置 | |
| CN108694472B (zh) | 预测误差极值分析方法、装置、计算机设备和存储介质 | |
| CN110389947A (zh) | 一种黑名单生成方法、装置、设备及介质 | |
| CN110210774A (zh) | 滑坡风险评价方法及系统 | |
| CN117629084A (zh) | 一种膜厚确定方法、装置、计算机设备和存储介质 | |
| CN117291576A (zh) | 一种基于工业场景数据趋势预测的方法、系统、计算机设备及存储介质 | |
| CN111985163A (zh) | 一种铷钟寿命预测方法及装置 | |
| CN116011345A (zh) | 绝缘子信息预测模型生成方法、装置、设备及介质 | |
| CN115035481A (zh) | 一种图像物距融合方法、装置、设备及存储介质 | |
| CN116596106A (zh) | 风电场站的功率预测方法、装置、电子设备及存储介质 | |
| CN115952921A (zh) | 一种光伏能源功率预测方法、装置、电子设备及存储介质 | |
| CN115453661A (zh) | 气象预报方法、装置、设备以及存储介质 | |
| CN115758717A (zh) | 模拟亮温偏差的估算方法、装置、电子设备及存储介质 | |
| CN115169592A (zh) | 能见度预测方法、装置、存储介质及计算机设备 | |
| JP2020149209A (ja) | 残差特性推定モデル作成方法および残差特性推定モデル作成システム | |
| CN115759820A (zh) | 一种光伏电站定损计算方法、系统及存储介质 | |
| CN114710397A (zh) | 服务链路的故障根因定位方法、装置、电子设备及介质 | |
| CN112836900A (zh) | 风电预测误差概率计算方法、装置及可读存储介质 | |
| JP2022002063A (ja) | 予測システムおよび予測方法 | |
| CN111988813A (zh) | 移动通信网络中弱覆盖小区的确定方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191029 |