CN113486134B - 降雨量异常检测方法、装置、计算机设备及存储介质 - Google Patents
降雨量异常检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113486134B CN113486134B CN202110818804.2A CN202110818804A CN113486134B CN 113486134 B CN113486134 B CN 113486134B CN 202110818804 A CN202110818804 A CN 202110818804A CN 113486134 B CN113486134 B CN 113486134B
- Authority
- CN
- China
- Prior art keywords
- rainfall
- index
- global
- data
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 claims abstract description 54
- 238000012360 testing method Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 21
- 241000588771 Morganella <proteobacterium> Species 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 17
- 241001466077 Salina Species 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Abstract
本发明实施例公开了降雨量异常检测方法、装置、计算机设备及存储介质。方法包括：当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测降雨量是否存在显著差异，筛选出异常值；当某个时间段内的降雨量存在异质性但不存在自相关性，对降雨量进行稀疏和密集划分，以得到两组数据；计算全局莫兰指数；判断全局莫兰指数是否显著；若不显著，则采用经典显著性测试检测降雨量是否存在显著差异，筛选出异常值；若显著，则对两组数据计算局部莫兰指数；当小于预设值时，挑选出异常值；当降雨量不存在异质性但存在自相关性时，对降雨量计算全局莫兰指数，判断全局莫兰指数是否显著。通过实施本发明实施例的方法可准确挑选出降雨量异常值。
Description
技术领域
本发明涉及降雨量检测方法，更具体地说是指降雨量异常检测方法、装置、计算机设备及存储介质。
背景技术
在进行地灾预警时，降雨数据的精确度对于准确预测滑坡的发生概率起着极为重要的作用，当前研究单元的降雨是通过对区域内的雨量站降雨进行插值得到的，当雨量站本身提供的降雨存在异常值时，会增大降雨插值的误差。
观察到某个小时2021061908的降雨分布：1000个站点中有30多个站点发生降雨0.1-9.2mm不等，其余皆为0，初判为正常数据。经计算，全局莫兰指数为0.42，说明该小时的降雨呈正相关，即降雨较大的临近几个站点大多降雨也较大，降雨较小的临近几个站点大多降雨也较小；但莫兰指数显著性检验p-value为0.01，小于0.05，即全局莫兰指数呈显著有效，即其局部可能出现异常状况，故对其进行局部莫兰指数计算，结果有若干个站点的局部莫兰指数p值小于0.05。经查看站点雨量分布图，该若干个站点呈现如下特点：小范围内周围站点皆有(无)降雨，但有一两个站点无(有)降雨，无(有)降雨站点p值呈现小于0.05。
考虑到气象站点分布属人为设定，它不同于省与省之间有邻边，其可按欧氏距离计算，而气象站点的分布因经济、地理、气象等因素，建造的位置有相对稀疏的也有相对密集的，较稀疏的站点所跨越的距离较远，中间地带若有降雨也会因没有气象站而无法显示，因此气象站降雨量未必与临近站点相关性就最高，故一律采用欧氏距离未必科学。
由此可见，现有对于降雨量异常值的检测存在未能挑选出异常值的问题，降雨量异常检测的准确率不高。
因此，有必要设计一种新的方法，实现可准确地挑选出降雨量的异常值。
发明内容
本发明的目的在于克服现有技术的缺陷，提供降雨量异常检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：降雨量异常检测方法，包括：
当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；
对两组数据计算全局莫兰指数；
判断所述全局莫兰指数是否显著；
若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；
当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；
当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
其进一步技术方案为：所述当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据，包括：
当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；
对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
其进一步技术方案为：所述对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据，包括：
对所述密度采用自然断点法确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
其进一步技术方案为：所述对两组数据计算局部莫兰指数，包括：
修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数。
其进一步技术方案为：所述修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数，包括：
对所述气象站数量进行网格搜索，以更改空间权重矩阵；
按照反距离权重计算相邻权重位置，并采用网格搜索方式确定距离；
根据所述空间权重矩阵以及相邻权重位置对两组数据计算局部莫兰指数。
其进一步技术方案为：所述采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值，包括：
采用经典显著性测试计算所述降雨量的p-value值，以检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
本发明还提供了降雨量异常检测装置，包括：
经典测试单元，用于当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
划分单元，用于当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；
全局指数计算单元，用于对两组数据计算全局莫兰指数；
全局指数判断单元，用于判断所述全局莫兰指数是否显著；
经典检测单元，用于若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
局部指数计算单元，用于若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；
异常值挑选单元，用于当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；
指数计算单元，用于当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
其进一步技术方案为：所述划分单元包括：
密度计算子单元，用于当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；
分割子单元，用于对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过当某个时间段内的降雨量不存在异质性与自相关性时，则采用经典显著性测试筛选异常值，当某个时间段内的降雨量存在异质性但不存在自相关性时，可进行数据划分，并依据全局莫兰指数使用经典显著性测试或局部莫兰指数筛选出异常值，当某个时间段内的降雨量不存在异质性但存在自相关性时，则无需划分，直接计算全局莫兰指数，并使用经典显著性测试或局部莫兰指数筛选出异常值，且对于局部莫兰指数计算时改变搜索范围，以提升检测准确率，实现可准确地挑选出降雨量的异常值。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的降雨量异常检测方法的应用场景示意图；
图2为本发明实施例提供的降雨量异常检测方法的流程示意图；
图3为本发明实施例提供的降雨量异常检测方法的子流程示意图；
图4为本发明实施例提供的降雨量异常检测方法的子流程示意图；
图5为本发明实施例提供的降雨量异常检测装置的示意性框图；
图6为本发明实施例提供的降雨量异常检测装置的划分单元的示意性框图；
图7为本发明实施例提供的降雨量异常检测装置的局部指数计算单元的示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的降雨量异常检测方法的应用场景示意图。图2为本发明实施例提供的降雨量异常检测方法的示意性流程图。该降雨量异常检测方法应用于服务器中。该服务器与终端以及雨量传感器进行数据交互，通过雨量传感器检测的降雨量进行异质性与自相关性的判定，并采用经典显著性测试、全局莫兰指数以及局部莫兰指数进行结合处理，当降雨量出现异常时，可准确筛选出异常值，反馈至终端。
图2是本发明实施例提供的降雨量异常检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S180。
S110、当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
在本实施例中，异常值是指局部降雨量与其他降雨量存在明显差异的数值。
在本实施例中，空间数据具备异质性和自相关性两个特性，这两个特性均可通过全局莫兰指数确定，全局指数可用来描述所有的空间单元在整个区域上与周边地区的平均关联程度；自相关性指代的是各个降雨量在空间上的位置关系，异质性指的是降雨量的属性值之间的差异。全局莫兰指数能够检测空间是否出现了集聚或异常值，但不显示具体集聚或异常的位置，如果全局有自相关出现，可继续做局部自相关。全局莫兰指数能够表示空间单元的相关性，其实就是用空间单元的邻接权重指数乘以空间单元间属性值的偏差。前者对应着各地区在空间上的位置关系，后者对应着各地区属性值之间的差异，两者作乘积，再求和，就得到了所有地区在整个空间上的相关性程度。只有当两个相邻空间单元同时大于或者小于空间单元均值时，莫兰指数才为正，当两空间单元偏离均值越大时，莫兰指数的值就越大。
当莫兰指数值分布在[－1,1]间，Moran's I大于0时，表示数据呈现空间正相关，即属性值越大(小)越容易聚集在一起；Moran's I为0时，空间呈随机性，局部区域可能会出现聚集现象，即存在局部相关；Moran's I小于0时，表示数据呈现空间负相关，即属性值越大(小)越不容易聚集在一起，空间差异较大。
在显著性为0.05水平下，当满足|Z|>1.96或P值小于0.05时，即可拒绝原假设H0：数据呈随机分布，认为莫兰指数显著有效。
当全局莫兰指数指出某个时间段内的降雨量并不存在异质性与自相关性时，即全局莫兰指数不显著时，此时通过采用经典显著性测试计算p-value值，以检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
因莫兰指数和经典显著性测试所设的假设不同，莫兰指数假设数据在自带两属性的前提下数据存在显著差异，而经典显著性检验是假设无地理相关的一般数据在随机前提下存在显著差异。经计算，经典显著性测试p-value可挑选出异常值。经典显著性测试p-value值的计算属于现有技术，此处不再赘述。S120、当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据。
在本实施例中，两组数据是指稀疏的降雨量数据和密集的降雨量数据，依据气象站点的降雨量稀疏和密集阈值来划分。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S122。
S121、当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度。
在本实施例中，二维核密度是指通过多维核密度估算方式计算的降雨量X轴和Y轴的密度；气象站点的密度指的是气象站点的降雨密度。
S122、对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
根据不同的降雨密度确定降雨稀疏的气象站点以及降雨稀疏的气象站点，从而确定稀疏的降雨量以及密集的降雨量。
在本实施例中，对所述密度采用自然断点法确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
S130、对两组数据计算全局莫兰指数。
根据降雨量数据计算全局莫兰指数，计算的过程属于现有技术，此处不再赘述。
S140、判断所述全局莫兰指数是否显著。
在本实施例中，全局莫兰指数的显著性表明了异常值的筛选是需要采用经典显著性测试还是局部莫兰指数。
在显著性即全局莫兰指数为0.05水平下，当满足|Z|>1.96或P值小于0.05时，即可拒绝原假设H0：数据呈随机分布，认为莫兰指数显著有效。
S150、若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
执行步骤S150后，可进入执行步骤S180。
在本实施例中，上述的步骤S150与步骤S110类似，在此不再赘述。
S160、若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数。
在本实施例中，修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数。以确保异常检测的准确率。
举个例子：观察到某个小时2021061908的降雨分布：1000个站点中有30多个站点发生降雨0.1-9.2mm不等，其余皆为0，初判为正常数据。经计算，全局莫兰指数为0.42，说明该小时的降雨呈正相关，即降雨较大的临近几个站点大多降雨也较大，降雨较小的临近几个站点大多降雨也较小；但莫兰指数显著性检验p-value为0.01，小于0.05，即全局莫兰指数呈显著有效，即其局部可能出现异常状况，故对其进行局部莫兰指数计算，结果有若干个站点的局部莫兰指数p值小于0.05。经查看站点雨量分布图，该若干个站点呈现如下特点：小范围内周围站点皆有(无)降雨，但有一两个站点无(有)降雨，无(有)降雨站点p值呈现小于0.05。
考虑到气象站点分布属人为设定，它不同于省与省之间有邻边，其可按欧氏距离计算，而气象站点的分布因经济、地理、气象等因素，建造的位置有相对稀疏的也有相对密集的，较稀疏的站点所跨越的距离较远，中间地带若有降雨也会因没有气象站而无法显示，因此气象站降雨量未必与临近站点相关性就最高，故一律采用欧氏距离未必科学。故可以改变气象站点的搜索范围，以提升降雨量异常检测的准确率。
在一实施例中，请参阅图4，上述的步骤S160可包括步骤S161～S163。
S161、对所述气象站数量进行网格搜索，以更改空间权重矩阵。
在本实施例中，将原本相邻气象站权重越高修改为对气象站数量进行网格搜索，可设为[4，8，16，24，64]，该网格的数值可依据实际情况而定，则空间权重矩阵发生改变：原权重矩阵为有降雨则相邻栅格权重皆为1，否则为0，则一个站点相邻的8个栅格站点为1，其余为0。
S162、按照反距离权重计算相邻权重位置，并采用网格搜索方式确定距离。
在本实施例中，现按反距离权重计算相邻权重位置，距离则按网格搜索。如上述例子，因无降雨站点附近几个站点皆有降雨，故判为异常，但扩大所搜范围后，不远处站点也有无降雨，则判断就会恢复为正常值，局部莫兰指数p值从小于0.05变为大于0.05，即该小时降雨数据正常。
S163、根据所述空间权重矩阵以及相邻权重位置对两组数据计算局部莫兰指数。
在本实施例中，可依据修改后的空间权重矩阵以及相邻权重位置按照现有的局部莫兰指数计算方式计算两组数据对应的局部莫兰指数，空间权重矩阵可用来描述事物间的关联程度。更新后的空间权重矩阵以及相邻权重位置可以提升降雨量异常检测的准确率。
S170、当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值。
其中，上述的预设值为0.05。
当局部莫兰指数小于预设值，则表明存在异常值，局部莫兰指数会显示出现异常值或集聚的具体区域，便可筛选出具体的异常值。
S180、当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述步骤S140。
当某个时间段内的降雨量不存在异质性但存在自相关性时，可参照现有的全局莫兰指数的计算方式计算降雨量的全局莫兰指数，并进行显著性判断，当出现异常值时，可以准确地筛选出具体的异常值。
上述的降雨量异常检测方法，通过当某个时间段内的降雨量不存在异质性与自相关性时，则采用经典显著性测试筛选异常值，当某个时间段内的降雨量存在异质性但不存在自相关性时，可进行数据划分，并依据全局莫兰指数使用经典显著性测试或局部莫兰指数筛选出异常值，当某个时间段内的降雨量不存在异质性但存在自相关性时，则无需划分，直接计算全局莫兰指数，并使用经典显著性测试或局部莫兰指数筛选出异常值，且对于局部莫兰指数计算时改变搜索范围，以提升检测准确率，实现可准确地挑选出降雨量的异常值。
图5是本发明实施例提供的一种降雨量异常检测装置300的示意性框图。如图5所示，对应于以上降雨量异常检测方法，本发明还提供一种降雨量异常检测装置300。该降雨量异常检测装置300包括用于执行上述降雨量异常检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该降雨量异常检测装置300包括经典测试单元301、划分单元302、全局指数计算单元303、全局指数判断单元304、经典检测单元305、局部指数计算单元306、异常值挑选单元307以及指数计算单元308。
经典测试单元301，用于当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；划分单元302，用于当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；全局指数计算单元303，用于对两组数据计算全局莫兰指数；全局指数判断单元304，用于判断所述全局莫兰指数是否显著；经典检测单元305，用于若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；局部指数计算单元306，用于若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；异常值挑选单元307，用于当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；指数计算单元308，用于当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
在一实施例中，如图6所示，所述划分单元302包括密度计算子单元3021以及分割子单元3022。
密度计算子单元3021，用于当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；分割子单元3022，用于对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
在一实施例中，所述分割子单元3022，用于对所述密度采用自然断点法确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
在一实施例中，所述局部指数计算单元306，用于修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数。
在一实施例中，所述经典检测单元305，用于采用经典显著性测试计算所述降雨量的p-value值，以检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
在一实施例中，如图7所示，所述局部指数计算单元306包括网格搜索子单元3061、权重计算子单元3062以及指数计算子单元3063。
网格搜索子单元3061，用于对所述气象站数量进行网格搜索，以更改空间权重矩阵；权重计算子单元3062，用于按照反距离权重计算相邻权重位置，并采用网格搜索方式确定距离；指数计算子单元3063，用于根据所述空间权重矩阵以及相邻权重位置对两组数据计算局部莫兰指数。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述降雨量异常检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述降雨量异常检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图8，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种降雨量异常检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种降雨量异常检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；对两组数据计算全局莫兰指数；判断所述全局莫兰指数是否显著；若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
在一实施例中，处理器502在实现所述当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据步骤时，具体实现如下步骤：
当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
在一实施例中，处理器502在实现所述对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据步骤时，具体实现如下步骤：
对所述密度采用自然断点法确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
在一实施例中，处理器502在实现所述对两组数据计算局部莫兰指数步骤时，具体实现如下步骤：
修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数。
在一实施例中，处理器502在实现所述修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数步骤时，具体实现如下步骤：
对所述气象站数量进行网格搜索，以更改空间权重矩阵；按照反距离权重计算相邻权重位置，并采用网格搜索方式确定距离；根据所述空间权重矩阵以及相邻权重位置对两组数据计算局部莫兰指数。
在一实施例中，处理器502在实现所述采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值步骤时，具体实现如下步骤：
采用经典显著性测试计算所述降雨量的p-value值，以检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；对两组数据计算全局莫兰指数；判断所述全局莫兰指数是否显著；若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
在一实施例中，所述处理器在执行所述计算机程序而实现所述当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据步骤时，具体实现如下步骤：
当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据步骤时，具体实现如下步骤：
对所述密度采用自然断点法确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对两组数据计算局部莫兰指数步骤时，具体实现如下步骤：
修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数步骤时，具体实现如下步骤：
对所述气象站数量进行网格搜索，以更改空间权重矩阵；按照反距离权重计算相邻权重位置，并采用网格搜索方式确定距离；根据所述空间权重矩阵以及相邻权重位置对两组数据计算局部莫兰指数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值步骤时，具体实现如下步骤：
采用经典显著性测试计算所述降雨量的p-value值，以检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.降雨量异常检测方法，其特征在于，包括：
当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；
对两组数据计算全局莫兰指数；
判断所述全局莫兰指数是否显著；
若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；
当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；
当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
2.根据权利要求1所述的降雨量异常检测方法，其特征在于，所述当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据，包括：
当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；
对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
3.根据权利要求2所述的降雨量异常检测方法，其特征在于，所述对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据，包括：
对所述密度采用自然断点法确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
4.根据权利要求1所述的降雨量异常检测方法，其特征在于，所述对两组数据计算局部莫兰指数，包括：
修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数。
5.根据权利要求4所述的降雨量异常检测方法，其特征在于，所述修改气象站的搜索范围，并根据所述搜索范围对两组数据计算局部莫兰指数，包括：
对所述气象站数量进行网格搜索，以更改空间权重矩阵；
按照反距离权重计算相邻权重位置，并采用网格搜索方式确定距离；
根据所述空间权重矩阵以及相邻权重位置对两组数据计算局部莫兰指数。
6.根据权利要求1所述的降雨量异常检测方法，其特征在于，所述采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值，包括：
采用经典显著性测试计算所述降雨量的p-value值，以检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值。
7.降雨量异常检测装置，其特征在于，包括：
经典测试单元，用于当某个时间段内的降雨量不存在异质性与自相关性时，采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
划分单元，用于当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量进行稀疏和密集划分，以得到两组数据；
全局指数计算单元，用于对两组数据计算全局莫兰指数；
全局指数判断单元，用于判断所述全局莫兰指数是否显著；
经典检测单元，用于若所述全局莫兰指数不显著，则采用经典显著性测试检测所述降雨量是否存在显著差异，且当所述降雨量存在显著差异时，筛选出异常值；
局部指数计算单元，用于若所述全局莫兰指数显著，则对两组数据计算局部莫兰指数；
异常值挑选单元，用于当所述局部莫兰指数小于预设值时，根据所述局部莫兰指数挑选出异常值；
指数计算单元，用于当某个时间段内的降雨量不存在异质性但存在自相关性时，对所述降雨量计算全局莫兰指数，并执行所述判断所述全局莫兰指数是否显著。
8.根据权利要求7所述的降雨量异常检测装置，其特征在于，所述划分单元包括：
密度计算子单元，用于当某个时间段内的降雨量存在异质性但不存在自相关性时，对所述降雨量估计二维核密度，并计算气象站点的密度；
分割子单元，用于对所述密度确定稀疏和密集站点的阈值分割点，并采用所述阈值分割点划分所述降雨量，以得到两组数据。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110818804.2A CN113486134B (zh) | 2021-07-20 | 2021-07-20 | 降雨量异常检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110818804.2A CN113486134B (zh) | 2021-07-20 | 2021-07-20 | 降雨量异常检测方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486134A CN113486134A (zh) | 2021-10-08 |
| CN113486134B true CN113486134B (zh) | 2023-12-19 |
Family
ID=77941475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110818804.2A Active CN113486134B (zh) | 2021-07-20 | 2021-07-20 | 降雨量异常检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486134B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114720665B (zh) * | 2022-06-10 | 2022-09-16 | 北京市农林科学院智能装备技术研究中心 | 测土配方施肥土壤全氮异常值检测方法及装置 |
| CN115203639B (zh) * | 2022-06-21 | 2023-03-10 | 中国长江三峡集团有限公司 | 一种基于矩阵运算的不规则网格面雨量计算方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598548A (zh) * | 2014-12-31 | 2015-05-06 | 北京农业智能装备技术研究中心 | 一种分析农产品价格空间关联性的方法及装置 |
| US10361802B1 (en) * | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
-
2021
- 2021-07-20 CN CN202110818804.2A patent/CN113486134B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10361802B1 (en) * | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| CN104598548A (zh) * | 2014-12-31 | 2015-05-06 | 北京农业智能装备技术研究中心 | 一种分析农产品价格空间关联性的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 《基于时空Moran‘s I 指数的全国降雨量自相关分析》;待侦勇等;《华中师范大学学报（自然科学版）》;第48卷(第6期);全文 * |
| 城市地表温度与NDVI空间相关性的尺度效应;江颖慧;焦利民;张博恩;;地理科学进展(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486134A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113486134B (zh) | 降雨量异常检测方法、装置、计算机设备及存储介质 | |
| CN108038040B (zh) | 计算机集群性能指标检测方法、电子设备及存储介质 | |
| US8468161B2 (en) | Determining a seasonal effect in temporal data | |
| CN108228722B (zh) | 破碎化区域采样点的地理空间分布均匀度检测方法 | |
| CN110688442A (zh) | 一种基于多层网格分块的电子地图点位聚合方法 | |
| US20130041625A1 (en) | Advanced Statistical Detection of Emerging Trends | |
| WO2017211150A1 (zh) | 指纹数据入库处理方法及装置 | |
| CN112102288A (zh) | 水体识别和水体变化检测方法、装置、设备及介质 | |
| CN112911627A (zh) | 无线网络性能检测方法、装置以及存储介质 | |
| KR20140083568A (ko) | 레퍼런스 셀 분할 평균 기법에 의한 ｃｆａｒ 검파 방법 및 이를 적용한 레이더 시스템 | |
| EP4004735A1 (en) | Confidence approximation-based dynamic thresholds for anomalous computing resource usage detection | |
| CN111122222A (zh) | 一种样本点位置确定方法及系统 | |
| CN109246728B (zh) | 一种覆盖异常小区识别方法和装置 | |
| CN116049146A (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
| CN105824853B (zh) | 聚类设备和方法 | |
| US20150058272A1 (en) | Event correlation detection system | |
| CN111258863B (zh) | 数据异常检测方法、装置、服务器和计算机可读存储介质 | |
| CN111200780B (zh) | 定位数据的异常检测方法、装置和计算机可读存储介质 | |
| CN108133234B (zh) | 基于稀疏子集选择算法的社区检测方法、装置及设备 | |
| CN114430530B (zh) | 空间划分方法、装置、设备、介质和程序产品 | |
| CN113434823B (zh) | 数据采集任务异常预警方法、装置、计算机设备和介质 | |
| CN114491408A (zh) | 设备放置的评估 | |
| WO2021011103A1 (en) | Smoothed seasonality-based dynamic thresholds for anomalous computing resource usage detection | |
| CN111553986A (zh) | 三角网的构建方法、构建装置和数字表面模型的生成方法 | |
| CN113268646B (zh) | 异常用户数据的确定方法、装置、服务器和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |