CN111831870B - 时空数据的异常检测方法、装置、电子设备和存储介质 - Google Patents

时空数据的异常检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111831870B
CN111831870B CN202010540286.8A CN202010540286A CN111831870B CN 111831870 B CN111831870 B CN 111831870B CN 202010540286 A CN202010540286 A CN 202010540286A CN 111831870 B CN111831870 B CN 111831870B
Authority
CN
China
Prior art keywords
data
time
space
features
spatiotemporal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010540286.8A
Other languages
English (en)
Other versions
CN111831870A (zh
Inventor
孟泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010540286.8A priority Critical patent/CN111831870B/zh
Publication of CN111831870A publication Critical patent/CN111831870A/zh
Application granted granted Critical
Publication of CN111831870B publication Critical patent/CN111831870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请公开了时空数据的异常检测方法、装置、电子设备和存储介质，涉及深度学习、云计算技术领域。具体实现方案为：获取时空数据的时空特征，根据时空特征得到输入的时空数据所对应的特征恢复数据，基于时空数据与特征恢复数据之间的差值，进行异常检测。由此，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。

Description

时空数据的异常检测方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及深度学习、云计算技术领域，尤其涉及一种时空数据的异常检测方法、装置、电子设备和存储介质。
背景技术
随着物联网设备、定位设备、智能手机等的普及，时空数据越来越常见，并且和人们的生活越来越相关。但是，因为设备故障、通讯错误、设备精度等问题，真实的时空数据往往包含着许多异常值。这些异常值对于后续的应用都有严重的影响。
可见，对时空数据进行异常检测是非常重要的。
发明内容
本申请提供一种用于提高检测准确性的时空数据异常检测的时空数据的异常检测方法、装置、电子设备和存储介质。
根据第一方面，提供了一种时空数据的异常检测方法，包括：
获取时空数据；
获取所述时空数据的时空特征；
根据所述时空数据的所述时空特征，生成所述输入的时空数据所对应的特征恢复数据；
获取所述时空数据和所述特征恢复数据之间的差值；以及
如果所述差值大于预设阈值，则判断所述时空数据异常。
本申请实施例的时空数据的异常检测方法，通过获取时空数据的时空特征，根据时空特征得到输入的时空数据所对应的特征恢复数据，基于时空数据与特征恢复数据之间的差值，进行异常检测。由此，由此，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
根据第二方面，提供了一种时空数据的异常检测装置，包括：
第一获取模块，用于获取时空数据；
第二获取模块，用于获取所述时空数据的时空特征；
生成模块，用于根据所述时空数据的所述时空特征，生成所述输入的时空数据所对应的特征恢复数据；
第三获取模块，用于获取所述时空数据和所述特征恢复数据之间的差值；以及
确定模块，用于如果所述差值大于预设阈值，则判断所述时空数据异常。
本申请实施例的时空数据的异常检测装置，通过获取时空数据的时空特征，根据时空特征得到输入的时空数据所对应的特征恢复数据，基于时空数据与特征恢复数据之间的差值，进行异常检测。由此，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的时空数据的异常检测方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的时空数据的异常检测方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述一方面实施例所述的时空数据的异常检测方法。
根据本申请的实施例，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种时空数据的异常检测方法的流程示意图；
图2为本申请实施例提供的另一种时空数据的异常检测方法的流程示意图；
图3为本申请实施例提供的一种利用4层卷积模块获取空间特征的示意图；
图4为本申请提供的深度残差网络的结构示意图；
图5为本申请实施例提供的一种获取特征恢复数据的整体模型示意图；
图6为本申请实施例提供的一种时空数据的异常检测装置的结构示意图；
图7为根据本申请实施例的时空数据的异常检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的时空数据的异常检测方法、装置、电子设备和存储介质。
本申请实施例的时空数据的异常检测方法，通过获取时空数据的时空特征，根据时空特征得到输入的时空数据所对应的特征恢复数据，基于时空数据与特征恢复数据之间的差值，进行异常检测。由此，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
图1为本申请实施例提供的一种时空数据的异常检测方法的流程示意图。
本申请实施例的时空数据的异常检测方法，可由本申请实施例提供的时空数据的异常检测装置执行，该装置可配置于电子设备中，以实现根据时空数据的时空特征进行异常检测。该时空数据的异常检测方法也可在云端运行。
如图1所示，该时空数据的异常检测方法包括：
步骤101，获取时空数据。
本实施例中，可以通过采集获取待检测的时空数据。比如，天气卫星云图数据，可以每隔预设时间，采集一次云图数据，所有采集时刻的云图数据为时空数据。或者，一天内每隔预设时间，比如2小时，采集一次某市各个辖区内的温度，那么采集的所有温度数据为时空数据。
因为时空数据具有空间特性和时间特性，比如时空数据为xT1、xT2、xT3、…、xTn,是从时间T1到Tn的数据。其中，xTi表示第Ti个时间的数据，xTi为一个二维或者三维数据，表示Ti这个时刻空间上每一个点的数据。
如天气卫星云图数据：将一个大的地理区域分成M*N个子区域。其中，M和N为正整数。每张卫星云图包含M*N个数据，其中每一个数据点表示对应子区域当时的气象数据。若每6分钟采集一次M*N个子区域的卫星云图数据，这样会产生一系列的云图数据，这些云图数据为时空数据。
步骤102，获取时空数据的时空特征。
因为时空数据具有空间特性和时间特性，那么可以获取时空数据的时空特征。其中，时空特征包括时间特征和空间特征，时间特征表示时空数据在时间维度上的特征，空间特征表示时空数据在空间特征上的特征。
在获取时空特征时，可以将时空数据输入至预先训练好的神经网络模型中，通过利用神经网络模型提取时空数据的时空特征。
本实施例中，时空特征不仅包含在时间维度上的特征和空间特征表示时空数据在空间特征上的特征，而且滤除了高维细节特征。
步骤103，根据时空数据的时空特征，生成输入的时空数据所对应的特征恢复数据。
本实施例中，神经网络模型在提取到时空特征后，再对时空特征进行解码恢复，生成与输入的时空数据对应的特征恢复数据。其中，特征恢复数据为根据时空特征恢复得到的时空数据，包括与每个时间点的数据对应的恢复数据。
步骤104，获取时空数据和特征恢复数据之间的差值。
本实施例中，可将时空数据与特征恢复数据作差，获得时空数据和特征恢复数据之间的差值。具体地，将时空数据中的每个数据与特征恢复数据中的对应的数据做差值，将所有差值的平均值，作为时空数据和特征恢复数据之间的差值。
步骤105，如果差值大于预设阈值，则判断时空数据异常。
在获取时空数据和特征恢复数据之间的差值后，将差值与预设的阈值进行比较。如果时空数据和特征恢复数据之间的差值大于预设阈值，认为该时空数据异常。如果时空数据和特征恢复数据之间的差值小于预设阈值，认为该时空数据正常。
本申请实施例的时空数据的异常检测方法，通过获取时空数据的时空特征，根据时空特征得到输入的时空数据所对应的特征恢复数据，基于时空数据与特征恢复数据之间的差值，进行异常检测。由此，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
由于时空数据具有空间特性和时间特性，基于此，在本申请的一个实施例中，时空数据包括多个时间点的空间数据，可以先获取每个时间点的空间特征，然后根据每个时间点的空间特征，获得时空特征。下面结合图2说明，图2为本申请实施例提供的另一种时空数据的异常检测方法的流程示意图。
如图2所示，该时空数据的异常检测方法包括：
步骤201，获取时空数据。
本实施例中，步骤201与上述步骤101类似，故在此不再赘述。
步骤202，获取时空数据之中多个时间点的空间特征。
本实施例中，时空数据包括同一空间的多个时间点的数据，也即包括多个时间点的空间数据，可以先获取时空数据中每个时间点的空间数据的空间特征。
具体地，可以将每个时间点的空间数据，输入至用于提取空间特征的神经网络模型中，以提取每个时间点的空间数据的空间特征。由此，可以获取时空数据中每个时间点的空间数据的空间特征。
步骤203，根据时空数据之中多个时间点的空间特征，生成多个时间点的时空特征。
上述获取的空间特征是每个时间点采集的空间数据的空间特征，由于时空数据在时间维度上也有特性，那么可以根据时空数据中多个时间点的空间特征，来获取多个时间点的时空特征。
具体地，可以将时空数据中所有时间点的空间特征，输入至用于提取时间特征的神经网络模型中，以利用神经网络模型，获取多个时间点的时空特征，即获取时空数据的时空特征。
步骤204，根据时空数据的时空特征，生成输入的时空数据所对应的特征恢复数据。
步骤205，获取时空数据和特征恢复数据之间的差值。
步骤206，如果差值大于预设阈值，则判断时空数据异常。
本实施例中，步骤204-步骤206与上述步骤103-105类似，故在此不再赘述。
本申请实施例中，时空数据包括多个时间点的空间数据，在获取时空数据的时空特征时，可先获取时空数据之中多个时间点的空间特征，然后根据时空数据之中多个时间点的空间特征，生成多个时间点的时空特征。由此，通过先获取多个时间点的空间数据的空间特征，然后根据每个时间点的空间特征，获取时空特征，从而实现了基于多个时间点的空间数据，获取时空特征。
在本申请的一个实施例中，上述获取时空数据之中多个时间点的空间特征时，可以利用CNN(Convolutional Neural Networks，卷积神经网络)编码模型获取多个时间点的空间特征。
本实施例中，分别将每个时间点的空间数据输入至CNN编码模型中，利用多层卷积模块提取每个时间点的空间特征。其中，CNN编码模型包括多层卷积模块，CNN编码模型中底层卷积模块用于学习局部细节特征，如局部的变化特征，顶层的卷积模块用于学习高层特征，比如时间整体的趋势周期性。
图3为本申请实施例提供的一种利用4层卷积模块获取空间特征的示意图。图3中是一个4层卷积模块，如310-340所示，分别为卷积模块1、卷积模块2、卷积模块3和卷积模块4。
如图3所示，将时间点t1的空间数据输入4层卷积模块中，首先卷积模块1提取时间点t1的空间数据的特征，然后将提取的特征输入至卷积模块2中，利用卷积模块2提取特征。卷积模块2将提取的特征再输入至卷积模块3中，利用卷积模块3提取特征。卷积模块3提取了特征后，将提取的特征输入至卷积模块4，卷积模块4提取的特征为时间点t1的空间数据的空间特征。
需要说明的是，图3所示的卷积模块的层数仅为示例，在实际应用中，CNN卷积模型中卷积模块的层数可以根据需要设置。
本实施例中，每层卷积模块可包括多个深度残差网络。其中，每个深度残差网络的结构如图4所示。图4为本申请提供的深度残差网络的结构示意图。
图4中，深度残差网络包括两个卷积层，卷积层1和卷积层2(如图4中410和450所示)，一个批标准化层420和一个丢弃层440，修正线性单元430。其中，丢弃层440用于防止过拟合，修正线性单元是一种常见的激活函数。
具体地，输入数据至卷积层1(如图4中410所示)，依次经过批标准化层420、修正线性单元430、丢弃层440、卷积层2(如图4中450所示)，并且输入数据通过最大池化层或者激活函数Identity(如图4中460所示)连接直接和卷积的输出合并，得到特征为该层卷积模块提取的特征。
深度残差网络通过“直连”的机制使得梯度可以快速传递，因此可以大大消除梯度消失问题，网络深度可以大大增加，从而可以学习到更多更加复杂的特征，提高了每个时间点的空间数据的空间特征的准确性。
本申请实施例中，在获取时空数据之中多个时间点的空间特征时，分别将多个时间点的空间数据输入至CNN编码模型中，利用CNN编码模型的多层卷积模块生成多个时间点的空间特征。由此，通过CNN编码模型，可以提取更深层特征，对于数据特性的描述更加准确。
由于时空数据存在着比较强的时间特性，在本申请的一个实施例中，在根据时空数据之中多个时间点的空间特征，生成多个时间点的时空特征时，可以利用GRU(GateRecurrent Unit，门循环控制单元)阵列，进行时间特征的学习。
本实施例中，将多个时间点的空间特征都输入至GRU阵列中，通过GRU阵列形成多个时间点的时空特征。GRU是LSTM(Long Short-Term Memory，长短期记忆网络)的一个变体，GRU相对于LSTM模型参数较少。
GRU阵列包括多个双向GRU单元，每个GRU单元主要包含两个门结构，重置门和更新门。其中，更新门用于控制前一时刻的状态信息被代入到当前状态的程度，更新门的值越大说明前一时刻的状态信息带入越多；重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多，前一状态的信息被写入的越少。
原始RNN(Recurrent Neural Network，循环神经网络)存在严重的梯度消失问题，而GRU单元通过两个门结构，减轻了梯度消失问题，可以消除原始RNN无法处理长时间序列的问题，适用性强。
本申请实施例中，在根据时空数据之中多个时间点的空间特征，生成多个时间点的时空特征时，将多个时间点的空间特征输入至GRU阵列，以形成多个时间点的时空特征。由此，通过GRU阵列学习时间特征，将时间点的空间特征输入至GRU阵列，从而学习到时空特征，并且在训练模型时，GRU可以减轻梯度消失问题。
在本申请的一个实施例中，上述GRU阵列中每个双向GRU获取其他时间点的空间特征和当前时间点的空间特征，并根据其他时间点的空间特征和当前时间点的空间特征，生成当前时间点的时空特征。
本实施例中，双向GRU获取的其他时间点的空间特征，包括按照时间从前往后的顺序，从第一个时间点到当前时间点的空间特征，和按照从后到前的顺序，从最后一个时间点到当前时间点的空间特征。双向GRU单元根据获取的空间特征，生成当前时间点的时空特征。
比如，时空数据包括t1、t2、t3、t4共个时间点的空间数据，对于时间点t2，对应的双向GRU可以获取当前时间点t2的空间特征，和时间点t1的空间特征，以及从时间点t4到t3的空间特征。
本申请实施例中，每个双向GRU单元可以获取其他时间点的空间特征和当前时间点的空间特征，并根据其他时间点的空间特征和当前时间点的空间特征，生成当前时间点的时空特征。由此，通过双向GRU单元可以学习到时空数据的在时间维度上的特征。
在具体实现时，在获取时空数据的空间特征时，可以根据CNN编码模型和GRU阵列获取时空数据的时空特征。下面结合图5进行说明，图5为本申请实施例提供的一种获取特征恢复数据的整体模型示意图。
图5中包括两种CNN和GRU阵列，其中，两种CNN中一种是CNN编码模型，另一种是CNN解码模型，GRU阵列包括多个双向GRU。其中，CNN解码模型与CNN编码模型结构类似，也包括多层卷积模块，不同的是CNN解码模型的输入为某时间点的时空特征，输出为该时间点的特征恢复数据。
图5中，将时空数据中各个时间点数据XT1、XT2、XT3、…、XTn输入至整体模型中，其中，CNN编码模型与CNN解码模型的数量相当，每个CNN编码模型对时间点的空间数据进行特征提取，获取每个时间点的空间特征，然后将每个时间点的空间特征输入至GRU阵列中，利用多个双向GRU生成每个时间点数据的时空特征，然后将每个时间点的时空特征输入至CNN解码模型中进行解码，获取各时间点的T1、T2、…、Tn的恢复数据YT1、YT2、YT3、…、YTn，即YT1、YT2、YT3、…、YTn为特征恢复数据。可见，特征恢复数据也为时空数据。
然后，计算时空数据与特征恢复数据的差值，判断差值是否大于预设阈值，如果大于预设阈值，则确定时空数据异常。
为了实现上述实施例，本申请实施例还提出一种时空数据的异常检测装置。图6为本申请实施例提供的一种时空数据的异常检测装置的结构示意图。
如图6所示，该时空数据的异常检测装置600包括：第一获取模块610、第二获取模块620、生成模块630、第三获取模块640、确定模块650。
第一获取模块610，用于获取时空数据；
第二获取模块620，用于获取时空数据的时空特征；
生成模块630，用于根据时空数据的时空特征，生成输入的时空数据所对应的特征恢复数据；
第三获取模块640，用于获取时空数据和特征恢复数据之间的差值；以及
确定模块650，用于如果差值大于预设阈值，则判断时空数据异常。
在本申请实施例一种可能的实现方式中，上述时空数据包括多个时间点的空间数据，上述第二获取模块620，包括：
获取单元，用于获取时空数据之中多个时间点的空间特征；以及
生成单元，用于根据时空数据之中多个时间点的空间特征，生成多个时间点的时空特征。
在本申请实施例一种可能的实现方式中，上述获取单元，用于：
分别将多个时间点的空间数据输入卷积神经网络CNN编码模型之中，以生成多个时间点的空间特征，其中，CNN编码模型包括多层卷积模块
在本申请实施例一种可能的实现方式中，上述生成单元，用于：
将多个时间点的空间特征输入至门循环控制单元GRU阵列，以形成多个时间点的时空特征，其中，GRU阵列包括多个双向GRU单元。
在本申请实施例一种可能的实现方式中，每个双向GRU单元用于获取其他时间点的空间特征和当前时间点的空间特征，并根据其他时间点的空间特征和当前时间点的空间特征，生成当前时间点的时空特征。
需要说明的是，前述时空数据的异常检测方法实施例的解释说明，也适用于该实施例的时空数据的异常检测装置，故在此不再赘述。
本申请实施例的时空数据的异常检测装置，通过获取时空数据的时空特征，根据时空特征得到输入的时空数据所对应的特征恢复数据，基于时空数据与特征恢复数据之间的差值，进行异常检测。由此，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的时空数据的异常检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的时空数据的异常检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的时空数据的异常检测方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的时空数据的异常检测方法对应的程序指令/模块(例如，附图6所示的第一获取模块610、第二获取模块620、生成模块630、第三获取模块640、确定模块650)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的时空数据的异常检测方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据时空数据的异常检测电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至时空数据的异常检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
时空数据的异常检测方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与时空数据的异常检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过根据时空数据的时空特征，生成特征恢复数据，由于时空特征滤除了时空数据的高维细节特征，根据特征恢复数据和时空数据可以方便的进行异常检测，并且时空特征考虑了时间维度和空间维度上的特征，提高了异常检测结果的准确性。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例所述的时空数据的异常检测方法。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种时空数据的异常检测方法，包括：
获取时空数据，所述时空数据为天气卫星云图数据；
获取所述时空数据的时空特征；
根据所述时空数据的所述时空特征，生成所述输入的时空数据所对应的特征恢复数据；
获取所述时空数据和所述特征恢复数据之间的差值；以及
如果所述差值大于预设阈值，则判断所述时空数据异常；
所述时空数据包括多个时间点的空间数据，所述获取所述时空数据的时空特征，包括：
分别将所述多个时间点的空间数据输入卷积神经网络CNN编码模型之中，以生成所述多个时间点的空间特征，其中，所述CNN编码模型包括多层卷积模块，每个所述卷积模块包括多个深度残差网络；以及
根据所述时空数据之中所述多个时间点的空间特征，生成所述多个时间点的时空特征；
所述根据所述时空数据之中所述多个时间点的空间特征，生成所述多个时间点的时空特征，包括：
将所述多个时间点的空间特征输入至门循环控制单元GRU阵列，以形成所述多个时间点的时空特征，其中，所述GRU阵列包括多个双向GRU单元。
2.如权利要求1所述的时空数据的异常检测方法，其中，每个双向GRU单元用于获取其他时间点的空间特征和当前时间点的空间特征，并根据所述其他时间点的空间特征和所述当前时间点的空间特征，生成当前时间点的时空特征。
3.一种时空数据的异常检测装置，包括：
第一获取模块，用于获取时空数据，所述时空数据为天气卫星云图数据；
第二获取模块，用于获取所述时空数据的时空特征；
生成模块，用于根据所述时空数据的所述时空特征，生成所述输入的时空数据所对应的特征恢复数据；
第三获取模块，用于获取所述时空数据和所述特征恢复数据之间的差值；以及
确定模块，用于如果所述差值大于预设阈值，则判断所述时空数据异常；
所述时空数据包括多个时间点的空间数据，所述第二获取模块，包括：
获取单元，用于获取所述时空数据之中多个时间点的空间特征；以及
生成单元，用于根据所述时空数据之中所述多个时间点的空间特征，生成所述多个时间点的时空特征；
所述获取单元，用于：
分别将所述多个时间点的空间数据输入卷积神经网络CNN编码模型之中，以生成所述多个时间点的空间特征，其中，所述CNN编码模型包括多层卷积模块，每个所述卷积模块包括多个深度残差网络；
所述生成单元，用于：
将所述多个时间点的空间特征输入至门循环控制单元GRU阵列，以形成所述多个时间点的时空特征，其中，所述GRU阵列包括多个双向GRU单元。
4.如权利要求3所述的时空数据的异常检测装置，其中，每个双向GRU单元用于获取其他时间点的空间特征和当前时间点的空间特征，并根据所述其他时间点的空间特征和所述当前时间点的空间特征，生成当前时间点的时空特征。
5.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的时空数据的异常检测方法。
6.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-2中任一项所述的时空数据的异常检测方法。
CN202010540286.8A 2020-06-12 2020-06-12 时空数据的异常检测方法、装置、电子设备和存储介质 Active CN111831870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540286.8A CN111831870B (zh) 2020-06-12 2020-06-12 时空数据的异常检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540286.8A CN111831870B (zh) 2020-06-12 2020-06-12 时空数据的异常检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111831870A CN111831870A (zh) 2020-10-27
CN111831870B true CN111831870B (zh) 2024-02-13

Family

ID=72898681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540286.8A Active CN111831870B (zh) 2020-06-12 2020-06-12 时空数据的异常检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111831870B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626493B (zh) * 2021-07-22 2022-03-15 北京东方通科技股份有限公司 一种时空数据多维查询方法及系统
CN115062706A (zh) * 2022-06-17 2022-09-16 中国电信股份有限公司 森林火灾监测方法及装置、存储介质、电子设备
CN117074627B (zh) * 2023-10-16 2024-01-09 三科智能(山东)集团有限公司 基于人工智能的医疗实验室空气质量监测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法
CN109711280A (zh) * 2018-12-10 2019-05-03 北京工业大学 一种基于ST-Unet的视频异常检测方法
CN110232082A (zh) * 2019-06-13 2019-09-13 中国科学院新疆理化技术研究所 面向连续时空加油数据的异常检测方法
CN110858288A (zh) * 2018-08-24 2020-03-03 中国移动通信集团浙江有限公司 一种异常行为的识别方法及装置
CN111160422A (zh) * 2019-12-13 2020-05-15 江苏大学 一种采用卷积神经网络和长短期记忆检测群养猪攻击行为的分析方法
CN111242351A (zh) * 2019-12-31 2020-06-05 上海师范大学 基于自编码器和gru神经网络的热带气旋轨迹预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771488B2 (en) * 2018-04-10 2020-09-08 Cisco Technology, Inc. Spatio-temporal anomaly detection in computer networks using graph convolutional recurrent neural networks (GCRNNs)
US11169514B2 (en) * 2018-08-27 2021-11-09 Nec Corporation Unsupervised anomaly detection, diagnosis, and correction in multivariate time series data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
CN110858288A (zh) * 2018-08-24 2020-03-03 中国移动通信集团浙江有限公司 一种异常行为的识别方法及装置
CN109711280A (zh) * 2018-12-10 2019-05-03 北京工业大学 一种基于ST-Unet的视频异常检测方法
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法
CN110232082A (zh) * 2019-06-13 2019-09-13 中国科学院新疆理化技术研究所 面向连续时空加油数据的异常检测方法
CN111160422A (zh) * 2019-12-13 2020-05-15 江苏大学 一种采用卷积神经网络和长短期记忆检测群养猪攻击行为的分析方法
CN111242351A (zh) * 2019-12-31 2020-06-05 上海师范大学 基于自编码器和gru神经网络的热带气旋轨迹预测方法

Also Published As

Publication number Publication date
CN111831870A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111831870B (zh) 时空数据的异常检测方法、装置、电子设备和存储介质
CN111523596B (zh) 目标识别模型训练方法、装置、设备以及存储介质
CN111523597B (zh) 目标识别模型训练方法、装置、设备以及存储介质
CN111046257B (zh) 一种会话推荐方法、装置以及电子设备
CN111275190B (zh) 神经网络模型的压缩方法及装置、图像处理方法及处理器
CN112270669B (zh) 人体3d关键点检测方法、模型训练方法及相关装置
CN111524166B (zh) 视频帧的处理方法和装置
CN111626119A (zh) 目标识别模型训练方法、装置、设备以及存储介质
CN111709874A (zh) 图像调整的方法、装置、电子设备及存储介质
CN111626956B (zh) 图像去模糊方法和装置
CN111738414A (zh) 推荐模型的生成、内容推荐方法、装置、设备和介质
CN112149741B (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
CN111860769A (zh) 预训练图神经网络的方法以及装置
CN111582375A (zh) 数据增强策略搜索方法、装置、设备以及存储介质
CN110852379B (zh) 用于目标物体识别的训练样本生成方法及装置
CN111753761B (zh) 模型生成方法、装置、电子设备及存储介质
CN111914994B (zh) 多层感知机的生成方法、装置、电子设备及存储介质
CN112184851B (zh) 图像编辑方法、网络训练方法、相关装置及电子设备
CN112241716B (zh) 训练样本的生成方法和装置
CN111598131B (zh) 图像处理方法、装置、电子设备及存储介质
CN111695516B (zh) 热力图的生成方法、装置及设备
CN111523467B (zh) 人脸跟踪方法和装置
CN112508964B (zh) 图像分割方法、装置、电子设备和存储介质
CN111488972B (zh) 数据迁移方法、装置、电子设备和存储介质
CN112528931B (zh) 用于生成位置预测信息的方法、装置以及自动驾驶车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant