CN113344059B - 一种基于时间序列的空间分析异常检测方法 - Google Patents
一种基于时间序列的空间分析异常检测方法 Download PDFInfo
- Publication number
- CN113344059B CN113344059B CN202110600285.2A CN202110600285A CN113344059B CN 113344059 B CN113344059 B CN 113344059B CN 202110600285 A CN202110600285 A CN 202110600285A CN 113344059 B CN113344059 B CN 113344059B
- Authority
- CN
- China
- Prior art keywords
- time
- space analysis
- same
- log
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000012732 spatial analysis Methods 0.000 title claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 52
- 239000002689 soil Substances 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000005494 condensation Effects 0.000 claims 2
- 238000009833 condensation Methods 0.000 claims 2
- 230000004044 response Effects 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于时间序列的空间分析异常检测方法。该方法主要包括同一国土规划空间分析任务识别和国土规划空间分析异常检测两部分，可识别国土规划分析服务平台同一空间分析任务产生的操作，并能检测出引起图层分析服务性能下降的异常响应。本发明考虑不同图层在分析任务中的共现特点，能提高检测的准确性，可为国土规划空间分析服务平台运行维护提供参考，能够有效避免规模化并行服务中带来的性能下降处理不及时的问题，有助于维持国土规划空间分析服务性能的稳定性。
Description
技术领域
本发明属于国土规划空间分析异常检测领域，特别是涉及一种基于时间序列的空间分析异常检测方法。
背景技术
国土规划空间信息云平台采用分布式系统的管理方式，其规则和复杂性不断增加，使得日志量暴增。目前异常检测在现代大规模分布式系统的管理中起着重要作用，记录系统运行时信息的日志已广泛用于异常检测。在现代分布式系统全天候持续产生大量日志的背景下，基于自动日志分析的异常检测方法成为学术界和工业界具有实际重要性的研究课题。
如国土规划空间信息云平台这样的现代大规模服务系统，通过数千台机器来扩展构建分布式系统，扩展后分布式系统的高性能计算能够处理用户高并发的访问请求。与此同时，分布式系统下高并发用户访问请求产生的日志给基于日志的异常检测带来挑战。挑战主要集中在两方面：一是从原始日志数据集中识别出同一国土规划空间分析任务，二是基于国土规划空间分析日志的异常检测。
国土规划空间分析任务虽然可以通过空间分析任务号标识，但是无法区分用户前后多次对同一国土规划空间分析任务进行操作。因此考虑从国土规划空间分析日志数据之间的相关性入手解决上述问题，国土规划日志记录的是空间分析图层的分析返回结果，一次国土规划空间分析任务往往是对一个分析专题进行空间分析，因此同一专题下的不同图层很大概率会被同时分析，所以同一国土规划空间分析任务涉及的图层操作量之间相关性很强，因此可以通过不同图层操作量时间序列来辅助识别同一国土规划空间分析任务操作。
时间序列聚类是挖掘相似时间序列的有效方法，层次聚类采用自底向上的思想，只需要计算初始每对节点的相似度，按照相似度由高到低排序，逐步重新连接各结点。在时间序列聚类中，两段时间序列的长度可能并不相等，因此传统的时间序列聚类不能采用常用的欧式距离度量，为解决上述问题DynamicTimeWarping(DTW)被提出。DTW是一种衡量两个长度不同的时间序列相似度的方法，广泛应用在数据挖掘和信息检索等领域。
空间分析响应耗时是国土规划空间分析服务的重要性能评价指标，由于国土规划空间分析日志数据量巨大，很小比例的过长空间分析响应耗时也会造成大量用户的体验下降，因此有必要对空间分析响应耗时进行异常检测。在异常检测领域，Chandola等总结异常类别可以分为点异常、上下文异常和集体异常，国土规划空间分析异常既包括分析耗时前后差异过大的上下文异常，也包括分析耗时本身过长的点异常。对点异常的异常检测，Breunig等提出了一种局部异常因子，用于独立表示系统中某一组件的状态情况而不受到相关组件的影响。liu等提出一种孤立随机森林算法，这种方法采用下采样的方式将异常事件从所有的事件中隔离并提取识别，为大数据场景下的异常检测提供了线性时间复杂度的运算效率以及相对较低的内存需求。
发明内容
本发明针对现有技术的不足，提供一种基于时间序列的空间分析异常检测方法，实现了国土规划分析服务平台同一国土规划任务的识别，以及导致图层分析服务性能下降的异常响应的检测。该方法主要包括同一国土规划空间分析任务识别和国土规划空间分析异常检测两部分。同一国土规划空间分析任务识别部分，首先依据空间分析操作类型和图层两个维度，将图层分析日志原始数据集划分为各个特定操作类型和图层的子数据集，接着统计每个子数据集小时粒度的操作量时间序列，然后基于各操作量时间序列间的DTW距离矩阵，利用层次聚类方法，聚类并合并具有相似时间序列的子数据集，最后基于国土规划空间分析任务号和日志记录时间，提取同一规划空间分析项目“同一次操作”下的日志记录。国土规划空间分析异常检测部分主要基于图层分析日志记录的面积、耗时信息对国土规划空间分析异常操作进行识别和提取。
为了达到上述目的，本发明提供的技术方案是一种基于时间序列的空间分析异常检测方法，包括以下步骤：
步骤1，依据空间分析操作类型、具体的分析图层将图层分析日志原始数据集划分为特定操作类型和图层的子数据集，若子数据集为空，则不进行后续操作；
步骤2，统计步骤1划分得到的各个特定操作类型和图层子数据集的操作量时间序列；
步骤3，归一化步骤2中统计得到的每个操作量时间序列；
步骤4，计算步骤3归一化后的各个操作量时间序列间的DTW距离矩阵W；
步骤5，变换步骤4计算得到的操作量时间序列间的DTW距离矩阵为凝聚矩阵W′，凝聚矩阵W′是距离矩阵W的上三角矩阵的一维表示；
步骤6，基于步骤5得到的操作量时间序列间的DTW凝聚矩阵W′，用DTW距离替换聚类中各操作量时间序列之间的欧式距离衡量相似度，并基于Single-Link方法自底向上层次聚类操作量时间序列，聚类得到相似的特定操作类型和图层操作量时间序列；
步骤7，合并步骤6聚类得到的相似操作量时间序列对应的特定操作类型和图层子数据集；
步骤8，基于国土规划空间分析任务号，提取步骤7合并后数据集中同一国土规划空间分析项目的日志记录；
步骤9，提取步骤8中同一国土规划空间分析项目“同一次操作”下的日志记录；
步骤10，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值(α为经验值)，则判定该空间分析项目日志记录为异常操作；
步骤11，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α，则根据步骤9中同一国土规划空间分析项目“同一次操作”下的日志记录的返回面积、耗时信息判断其是否为异常操作。
而且，所述步骤3中归一化公式如下：
其中，X′为归一化后操作量时间序列值，X为原始操作量时间序列值，Xmin为最小操作量时间序列值，Xmax为最大操作量时间序列值。
而且，所述步骤4中DTW距离矩阵W的计算方式如下：假定任意两个时间序列LAi,Li(S,t)＝{Sii(t1),Sii(t2),…,Sii(ti)}和LAj,Lj(S,t)＝{Sjj(t1),Sjj(t2),…,Sjj(ti)}，S(t)表示时间t对应的时间序列值，Ai、Li表示第i个时间序列的操作类型和图层，若LAi,Li(S,t)有n个数据点，LAj,Lj(S,t)有m个数据点，计算两个序列各个点之间的距离，得到m×n的距离矩阵M：
DTW算法的目标就是在距离矩阵M中找出一条从矩阵左上角到右下角的路径，使得路径上的元素和最小。采用递归算法求最短路径长度，从矩阵左上角M(1,1)到任一点M(i,j)的最短路径长度为Lmin(i,j)，则有起始条件：
Lmin(1,1)＝M(1,1) (3)
递推规则：
Lmin(i,j)＝min{Lmin(i,j-1),Lmin(i-1,j),Lmin(i-1,j-1)}+M(i,j) (4)
最终Lmin(n,m)即为我们所求的DTW距离，对于任意两个时间序列均可求得一个DTW距离，如此对所有时间序列计算得到DTW距离矩阵W。
而且，所述步骤9中是将日志记录产生时间在同一分钟内的数据，作为同一国土规划空间分析项目“同一次操作”下的日志记录。
而且，所述步骤10中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值α，是指当一分钟内有多次访问操作时，若存在一次操作的耗时超过阈值α，就将“同一次操作”判定为异常操作。
而且，所述步骤11中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α，是指当一分钟内存在多次访问操作时，所有访问操作的耗时都小于等于α，若一分钟内某几次访问操作的空间分析面积相同，则比较两两访问操作的耗时差，并将耗时最短的操作访问对应的时间作为最小耗时，若出现耗时差大于最小耗时，则将“同一次操作”判定为异常操作。
与现有技术相比，本发明具有如下优点：依据空间分析操作类型和图层划分原始数据集为各个子数据集，并统计各个子数据集对应的操作量时间序列，基于操作量时间序列聚类结果合并子数据集，对合并后子数据集进行异常检测，异常检测考虑了不同图层在分析任务中的共现特点，能提高检测的准确性。面向国土规划空间分析应用领域，基于图层分析日志记录的面积、耗时信息对国土规划空间分析异常操作进行识别和提取，可为国土规划空间分析服务平台运行维护提供参考，有效避免规模化并行服务中带来的性能下降处理不及时的问题，有助于维持国土规划空间分析服务性能的稳定性。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明提供一种基于时间序列的空间分析异常检测方法，主要包括同一国土规划空间分析任务识别和国土规划空间分析异常检测两部分。同一国土规划空间分析任务识别部分，首先依据空间分析操作类型和图层两个维度，将图层分析日志原始数据集划分为各个特定操作类型和图层的子数据集，接着统计每个子数据集小时粒度的操作量时间序列，然后基于各操作量时间序列间的DTW距离矩阵，利用层次聚类方法，聚类并合并具有相似时间序列的子数据集，最后基于国土规划空间分析任务号和日志记录时间，提取同一规划空间分析项目同一次操作下的日志记录。国土规划空间分析异常检测部分主要基于图层分析日志记录的面积、耗时信息对国土规划空间分析异常操作进行识别和提取。
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明实施例的流程包括以下步骤：
步骤1，依据空间分析操作类型、具体的分析图层将图层分析日志原始数据集划分为特定操作类型和图层的子数据集，若子数据集为空，则不进行后续操作；
步骤2，统计步骤1划分得到的各个特定操作类型和图层子数据集的操作量时间序列；
步骤3，归一化步骤2中统计得到的每个操作量时间序列；
步骤4，计算步骤3归一化后的各个操作量时间序列间的DTW距离矩阵W；
步骤5，变换步骤4计算得到的操作量时间序列间的DTW距离矩阵为凝聚矩阵W′，凝聚矩阵W′是距离矩阵W的上三角矩阵的一维表示；
步骤6，基于步骤5得到的操作量时间序列间的DTW凝聚矩阵W′，用DTW距离替换聚类中各操作量时间序列之间的欧式距离衡量相似度，并基于Single-Link方法自底向上层次聚类操作量时间序列，聚类得到相似的特定操作类型和图层操作量时间序列；
步骤7，合并步骤6聚类得到的相似操作量时间序列对应的特定操作类型和图层子数据集；
步骤8，基于国土规划空间分析任务号，提取步骤7合并后数据集中同一国土规划空间分析项目的日志记录；
步骤9，提取步骤8中同一国土规划空间分析项目日志记录产生时间在同一分钟内的数据，得到同一国土规划空间分析项目“同一次操作”下的日志记录；
步骤10，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值α(即一分钟内有多次访问操作时，存在一次操作的耗时超过阈值α，α为经验值)，就将“同一次操作”判定为异常操作。
步骤11，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α(即一分钟内多次访问操作的耗时都小于等于α)，则进一步判断步骤10中同一国土规划空间分析项目“同一次操作”下的日志记录的国土规划空间分析面积，若空间分析面积相同，且访问操作的耗时相差大于最小耗时时，将其判定为空间分析异常操作。
下面结合具体实施例某国土规划空间信息云平台后台图层分析日志，进一步阐述本发明的技术方案，包括以下步骤：
步骤1，对于2019年4月4日至2020年7月9日某国土规划空间信息云平台后台图层分析日志，依据空间分析操作类型将图层分析日志原始数据集划分为入库、分析、查重三种操作类型子数据集。
步骤2，依据基本农田保护图斑、地质灾害危险程度分区、土地规划地类等85种分析图层将步骤1中划分得到的三种操作类型子数据集划分为各个特定操作类型和图层子数据集，若子数据集为空，则不进行后续操作。划分后的记录形式为{ACTION：..，TC：..，DF：..}，ACTION表示图层分析日志操作类型，TC表示图层，DF表示划分后子数据集。
步骤3，统计步骤2划分得到的各个特定操作类型和图层子数据集的操作量时间序列，各个特定操作类型和图层子数据集大小不同，统计得到的各操作量时间序列包含的数据点个数不相同。
步骤4，归一化步骤3中统计得到的每个操作量时间序列，所述归一化公式如下：
其中，X′为归一化后操作量时间序列值，X为原始操作量时间序列值，Xmin为最小操作量时间序列值，Xmax为最大操作量时间序列值。
步骤5，计算步骤4归一化后的各个操作量时间序列间的DTW距离矩阵W。假定任意两个时间序列LAi,Li(S,t)＝{Sii(t1),Sii(t2),…,Sii(ti)}和LAj,Lj(S,t)＝{Sjj(t1),Sjj(t2),…,Sjj(ti)}，S(t)表示时间t对应的时间序列值，Ai、Li表示第i个时间序列的操作类型和图层，若LAi,Li(S,t)有n个数据点，LAj,Lj(S,t)有m个数据点，计算两个序列各个点之间的距离，得到m×n的距离矩阵M：
DTW算法的目标就是在距离矩阵M中找出一条从矩阵左上角到右下角的路径，使得路径上的元素和最小。采用递归算法求最短路径长度，从矩阵左上角M(1,1)到任一点M(i,j)的最短路径长度为Lmin(i,j)，则有起始条件：
Lmin(1,1)＝M(1,1) (3)
递推规则：
Lmin(i,j)＝min{Lmin(i,j-1),Lmin(i-1,j),Lmin(i-1,j-1)}+M(i,j) (4)
最终Lmin(n,m)即为我们所求的DTW距离，对于任意两个时间序列均可求得一个DTW距离，如此对所有时间序列计算得到DTW距离矩阵W。
步骤6，变换步骤5计算得到的操作量时间序列间的DTW距离矩阵为凝聚矩阵W′，凝聚矩阵W′是距离矩阵W的上三角矩阵的一维表示。由于DTW距离矩阵是对称矩阵，随着数据量的增大占用的内存空间也增大，为了节省存储空间提高计算效率，此处将其变换为凝聚矩阵便于后续操作。
步骤7，基于步骤6得到的操作量时间序列间的DTW凝聚矩阵W′，用DTW距离替换聚类中各操作量时间序列之间的欧式距离衡量相似度，并基于Single-Link方法自底向上层次聚类操作量时间序列，聚类得到相似的特定操作类型和图层操作量时间序列。聚类后结果用{Ci＝[Sj]}表示，其中，Ci表示第i类操作量时间序列，i＝1,2,3,…；Sj表示编号为j的操作量时间序列，j表示时间序列的编号。
步骤8，合并步骤7聚类得到的相似操作量时间序列对应的特定操作类型和图层子数据集，合并后数据集用df表示，dfk表示合并后第k个数据集。
步骤9，基于国土规划空间分析任务号，提取步骤8合并后数据集中同一国土规划空间分析项目的日志记录。
步骤10，提取步骤9中同一国土规划空间分析项目日志记录产生时间在一分钟内的数据，得到同一国土规划空间分析项目“同一次操作”下的日志记录。
步骤11，若步骤10中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值α(即一分钟内有多次访问操作时，存在一次操作的耗时超过阈值α，α为经验值)，就将“同一次操作”判定为异常操作。
步骤12，若步骤10中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α(即一分钟内多次访问操作的耗时都小于等于α)，则进一步判断步骤10中同一国土规划空间分析项目“同一次操作”下的日志记录的国土规划空间分析面积，若空间分析面积相同，且访问操作的耗时相差大于最小耗时时，将其判定为空间分析异常操作。
此处是对一分钟内的几次访问操作日志记录的国土规划空间分析面积进行比较，如果某几次访问操作的空间分析面积相同，则比较两两访问操作的耗时差，并将耗时最短的操作访问对应的时间作为最小耗时，若出现耗时差大于最小耗时，则将“同一次操作”判定为异常操作。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.一种基于时间序列的空间分析异常检测方法，其特征在于，包括如下步骤：
步骤1，依据空间分析操作类型、具体的分析图层将图层分析日志原始数据集划分为特定操作类型和图层的子数据集，若子数据集为空，则不进行后续操作；
步骤2，统计步骤1划分得到的各个特定操作类型和图层子数据集的操作量时间序列；
步骤3，归一化步骤2中统计得到的每个操作量时间序列；
步骤4，计算步骤3归一化后的各个操作量时间序列间的DTW距离矩阵W；
步骤5，变换步骤4计算得到的操作量时间序列间的DTW距离矩阵为凝聚矩阵W′，凝聚矩阵W′是距离矩阵W的上三角矩阵的一维表示；DTW距离矩阵W的计算方式如下：
假定任意两个时间序列LAi,Li(S,t)＝{Sii(t1),Sii(t2),…,Sii(ti)}和LAj,Lj(S,t)＝{Sjj(t1),Sjj(t2),…,Sjj(ti)}，S(t)表示时间t对应的时间序列值，Ai、Li表示第i个时间序列的操作类型和图层，若LAi,Li(S,t)有n个数据点，LAj,Lj(S,t)有m个数据点，计算两个序列各个点之间的距离，得到m×n的距离矩阵M：
DTW算法的目标就是在距离矩阵M中找出一条从矩阵左上角到右下角的路径，使得路径上的元素和最小，采用递归算法求最短路径长度，从矩阵左上角M(1,1)到任一点M(i,j)的最短路径长度为Lmin(i,j)，则有起始条件：
Lmin(1,1)＝M(1,1) (3)
递推规则：
Lmin(i,j)＝min{Lmin(i,j-1),Lmin(i-1,j),Lmin(i-1,j-1)}+M(i,j) (4)
最终Lmin(n,m)即为我们所求的DTW距离，对于任意两个时间序列均可求得一个DTW距离，如此对所有时间序列计算得到DTW距离矩阵W；
步骤6，基于步骤5得到的操作量时间序列间的DTW凝聚矩阵W′，用DTW距离替换聚类中各操作量时间序列之间的欧式距离衡量相似度，并基于Single-Link方法自底向上层次聚类操作量时间序列，聚类得到相似的特定操作类型和图层操作量时间序列；
步骤7，合并步骤6聚类得到的相似操作量时间序列对应的特定操作类型和图层子数据集；
步骤8，基于国土规划空间分析任务号，提取步骤7合并后数据集中同一国土规划空间分析项目的日志记录；
步骤9，提取步骤8中同一国土规划空间分析项目“同一次操作”下的日志记录；
步骤10，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值α，α为经验值，则判定该空间分析项目日志记录为异常操作；其中将日志记录产生时间在同一分钟内的数据，作为同一国土规划空间分析项目“同一次操作”下的日志记录；
步骤11，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α，则根据步骤9中同一国土规划空间分析项目“同一次操作”下的日志记录的返回面积、耗时信息判断其是否为异常操作。
2.如权利要求1所述的一种基于时间序列的空间分析异常检测方法，其特征在于：所述步骤3中归一化公式如下：
其中，X′为归一化后操作量时间序列值，X为原始操作量时间序列值，Xmin为最小操作量时间序列值，Xmax为最大操作量时间序列值。
3.如权利要求1所述的一种基于时间序列的空间分析异常检测方法，其特征在于：所述步骤10中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值α，是指当一分钟内有多次访问操作时，若存在一次操作的耗时超过阈值α，就将“同一次操作”判定为异常操作。
4.如权利要求1所述的一种基于时间序列的空间分析异常检测方法，其特征在于：所述步骤11中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α，是指当一分钟内存在多次访问操作时，所有访问操作的耗时都小于等于α，若一分钟内某几次访问操作的空间分析面积相同，则比较两两访问操作的耗时差，并将耗时最短的操作访问对应的时间作为最小耗时，若出现耗时差大于最小耗时，则将“同一次操作”判定为异常操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110600285.2A CN113344059B (zh) | 2021-05-31 | 2021-05-31 | 一种基于时间序列的空间分析异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110600285.2A CN113344059B (zh) | 2021-05-31 | 2021-05-31 | 一种基于时间序列的空间分析异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344059A CN113344059A (zh) | 2021-09-03 |
| CN113344059B true CN113344059B (zh) | 2022-06-07 |
Family
ID=77472682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110600285.2A Active CN113344059B (zh) | 2021-05-31 | 2021-05-31 | 一种基于时间序列的空间分析异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344059B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784562A (zh) * | 2019-01-17 | 2019-05-21 | 中南大学 | 一种基于大数据时空聚类的智慧电网电力负荷预测方法 |
| CN110263111A (zh) * | 2019-05-31 | 2019-09-20 | 南京林业大学 | 基于先验知识的土地利用/覆被信息时空监测方法 |
| CN111459776A (zh) * | 2020-03-08 | 2020-07-28 | 苏州浪潮智能科技有限公司 | 一种基于动态时间规整的服务器日志异常判断方法与系统 |
| CN111858712A (zh) * | 2020-07-20 | 2020-10-30 | 上海仪电（集团）有限公司中央研究院 | 原位水质巡检数据时空分析与异常检测方法和系统 |
| CN111935136A (zh) * | 2020-08-07 | 2020-11-13 | 哈尔滨工业大学 | 基于dns数据分析的域名查询与解析异常检测系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2284769B1 (en) * | 2009-07-16 | 2013-01-02 | European Space Agency | Method and apparatus for analyzing time series data |
-
2021
- 2021-05-31 CN CN202110600285.2A patent/CN113344059B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784562A (zh) * | 2019-01-17 | 2019-05-21 | 中南大学 | 一种基于大数据时空聚类的智慧电网电力负荷预测方法 |
| CN110263111A (zh) * | 2019-05-31 | 2019-09-20 | 南京林业大学 | 基于先验知识的土地利用/覆被信息时空监测方法 |
| CN111459776A (zh) * | 2020-03-08 | 2020-07-28 | 苏州浪潮智能科技有限公司 | 一种基于动态时间规整的服务器日志异常判断方法与系统 |
| CN111858712A (zh) * | 2020-07-20 | 2020-10-30 | 上海仪电（集团）有限公司中央研究院 | 原位水质巡检数据时空分析与异常检测方法和系统 |
| CN111935136A (zh) * | 2020-08-07 | 2020-11-13 | 哈尔滨工业大学 | 基于dns数据分析的域名查询与解析异常检测系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 时间序列遥感技术支持的国土空间开发监测研究;孙越凡;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20180915(第09期);A008-33 * |
| 网络地理信息服务中用户空间访问聚集行为研究;陈文静，等;《地理信息科学》;20210125;第23卷(第1期);第93-103页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344059A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108595539B (zh) | 一种基于大数据的行迹相似对象识别方法与系统 | |
| CN103577440B (zh) | 一种非关系型数据库中的数据处理方法和装置 | |
| US8671111B2 (en) | Determination of rules by providing data records in columnar data structures | |
| CN107222472A (zh) | 一种Hadoop集群下的用户行为异常检测方法 | |
| CN110830946B (zh) | 混合型在线数据异常检测方法 | |
| CN111581662B (zh) | 轨迹隐私保护方法及存储介质 | |
| CN112307084A (zh) | 远程抄表异常监测方法、燃气表系统及燃气云平台 | |
| CN109726737B (zh) | 基于轨迹的异常行为检测方法及装置 | |
| CN103995828B (zh) | 一种云存储日志数据分析方法 | |
| CN112951311A (zh) | 一种基于变权重随机森林的硬盘故障预测方法及系统 | |
| CN114092729A (zh) | 基于聚类匿名化与差分隐私保护的异构用电数据发布方法 | |
| Park et al. | Cell trees: An adaptive synopsis structure for clustering multi-dimensional on-line data streams | |
| CN111612531B (zh) | 一种点击欺诈的检测方法及系统 | |
| Xu et al. | An improved LOF outlier detection algorithm | |
| CN111984629B (zh) | 多维场景下基于数据挖掘的台区线损率标准库构建方法 | |
| CN113344059B (zh) | 一种基于时间序列的空间分析异常检测方法 | |
| Li et al. | Partition KMNN‐DBSCAN Algorithm and Its Application in Extraction of Rail Damage Data | |
| CN103902739B (zh) | 数据库集群服务器数据分类方法 | |
| CN112749035B (zh) | 异常检测方法、装置及计算机可读介质 | |
| CN111309977A (zh) | 一种id时空轨迹匹配方法及装置 | |
| Kalliantzis et al. | Efficient Distributed Outlier Detection in Data Streams | |
| US20110078177A1 (en) | Database and Method for Evaluating Data Therefrom | |
| CN116132311A (zh) | 一种基于时间序列的网络安全态势感知方法 | |
| Li et al. | A novel approach to remote sensing image retrieval with multi-feature VP-tree indexing and online feature selection | |
| CN115640158A (zh) | 一种基于数据库的检测分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |