CN114710369A - 一种异常数据检测方法、装置、计算机设备及存储介质 - Google Patents

一种异常数据检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114710369A
CN114710369A CN202210629647.5A CN202210629647A CN114710369A CN 114710369 A CN114710369 A CN 114710369A CN 202210629647 A CN202210629647 A CN 202210629647A CN 114710369 A CN114710369 A CN 114710369A
Authority
CN
China
Prior art keywords
data
uploading
time
abnormal
rtu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210629647.5A
Other languages
English (en)
Other versions
CN114710369B (zh
Inventor
李峰
王绍密
和希文
时伟强
李艳虎
水沝
夏国栋
石广军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yuntian Safety Technology Co ltd
Original Assignee
Shandong Yuntian Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yuntian Safety Technology Co ltd filed Critical Shandong Yuntian Safety Technology Co ltd
Priority to CN202210629647.5A priority Critical patent/CN114710369B/zh
Publication of CN114710369A publication Critical patent/CN114710369A/zh
Application granted granted Critical
Publication of CN114710369B publication Critical patent/CN114710369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40228—Modbus
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明涉及数据处理领域，尤其涉及一种异常数据检测方法、装置、计算机设备及存储介质。包括获取目标远程控制系统对应的RTU数据集合；提取数据上传列表中对应的上传时间序列；若Ai(j+1)‑Aij‑T0≥∆T，且（Ai(j+1)‑Aij‑T0）/（Aij‑Ai（j‑1）‑T0）>1时，确定上传时间Ai(j+1)为异常上传时间；将数据上传列表中异常上传时间对应的采集数据标记为异常数据。本发明通过上传时间来辨识出上传的采集数据是否为异常数据，并对异常数据进行标记。由此，可以实现对RTU上传的采集数据中的异常数据进行识别标记。

Description

一种异常数据检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种异常数据检测方法、装置、计算机设备及存储介质。
背景技术
Modbus协议为工业领域的一种主要的数据传输协议，由于其进行数据传输时采用明文发送，所以，传输的数据很容易受到网络攻击，存在很大安全隐患。由此，使得上传的数据中存在异常数据。但是，相关技术中对上传数据中的异常数据进行检测计算处理的效率较低，无法对上传的数据中的异常数据进行快速识别。
发明内容
有鉴于此，本发明提供一种异常数据检测方法、装置、计算机设备及存储介质，至少部分解决现有技术中存在的问题。
根据本发明的一个方面，提供了一种异常数据检测方法，包括：
获取目标远程控制系统对应的RTU数据集合U={B1,B2,…Bw}，其中，Bw为第w个RTU对应的数据上传列表；所述数据上传列表中包括对应的所述RTU进行每次数据上传时对应的上传时间及采集数据，所述RTU数据集合中对应的每一数据上传列表中的采集数据具有相同属性；
提取每一所述数据上传列表中对应的上传时间序列Ci=（Ai1,Ai2,…,Ain），Aij为第i个RTU对应的数据上传列表中第j个采集数据对应的上传时间；
若Ai(j+1)-Aij-T0≥∆T，且（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1时，确定上传时间Ai(j+1)为异常上传时间；
其中，T0为服务器对所述RTU数据集合中每一所述RTU轮询一次的设定时长；
∆T为变动阈值，所述变动阈值满足如下公式：ΔT=T0/n*δ；
其中，n为RTU数据集合中对应的RTU的数量；δ为常数，δ的取值范围为[0.8，1]；
将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为异常数据。
作为本发明的一种可能的实现方式，在所述确定上传时间Ai(j+1)为异常上传时间之后，所述方法还包括：
确定
Figure 810574DEST_PATH_IMAGE002
，K为Ai(j+1)前所述数据上传列表中缺失流量的个数；
根据所述上传时间Ai(j+1)或所述上传时间Aij以及所述预设轮询间隔T0，确定出每一所述缺失流量对应的填补时间；
将每一所述填补时间及对应的所述缺失流量插入至对应的所述数据上传列表中；
将所述数据上传列表中填补时间对应的缺失流量标记为异常数据。
作为本发明的一种可能的实现方式，在所述确定出每一所述缺失流量对应的填补时间之后，所述方法还包括：
将每一所述缺失流量赋值为异常填补值。
作为本发明的一种可能的实现方式，在所述提取每一所述数据上传列表中对应的上传时间序列之后，所述方法还包括：
若Ai(j+1)-Aij-T0＜∆T时，确定上传时间Ai(j+1)为正常上传时间。
作为本发明的一种可能的实现方式，在所述Ai(j+1)-Aij-T0＜∆T之后，所述确定上传时间Ai(j+1)为正常上传时间，包括：
若（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）≤1时，确定上传时间Ai(j+1)为正常上传时间。
作为本发明的一种可能的实现方式，所述将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为异常数据，包括：
将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为至少一种标记颜色；不同的所述标记颜色代表不同的异常情况。
作为本发明的一种可能的实现方式，所述异常填补值为空集。
根据本发明的第二个方面，还提供了一种异常数据检测装置，包括：
获取模块，用于获取目标远程控制系统对应的RTU数据集合U={B1,B2,…,Bw}，其中，Bw为第w个RTU对应的数据上传列表；所述数据上传列表中包括对应的所述RTU进行每次数据上传时对应的上传时间及采集数据，所述RTU数据集合中对应的每一数据上传列表中的采集数据具有相同属性；
提取模块，用于提取每一所述数据上传列表中对应的上传时间序列Ci=（Ai1,Ai2,…,Ain），Aij为第i个RTU对应的数据上传列表中第j个采集数据对应的上传时间；
异常确定模块，用于若Ai(j+1)-Aij-T0≥∆T，且（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1时，确定上传时间Ai(j+1)为异常上传时间；
其中，T0为服务器对所述RTU数据集合中每一所述RTU轮询一次的设定时长；
∆T为变动阈值，所述变动阈值满足如下公式：ΔT=T0/n*δ；
其中，n为RTU数据集合中对应的RTU的数量；δ为常数，δ的取值范围为[0.8，1]；
异常标记模块，用于将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为异常数据。
根据本申请的第三个方面，还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的异常数据检测方法。
根据本申请的第四个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的异常数据检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
现有的异常数据的识别手段，通常为将每一个上传的流量的内容解析出来后，再根据其上传的数据内容进行识别判断，该方式操作较为复杂，且费时费力。
本发明通过RTU上传采集数据时对应的上传时间特征来达到对异常数据的快速识别。由于，Modbus协议在进行对将RTU进行数据采集时，通常具有一个固定的采集周期，所以如果RTU上传的数据如果没有受到外界干扰时，则会基本按照一个固定的采集周期进行上传，也即以T0为周期进行上传。但是当遭受异常数据攻击时，通常由于异常数据要达到破坏网络内部设备的正常运行或窃取对应的数据内容的目的，所以，异常数据的数据量远大于RTU上传的正常的采集数据的数据量大小。由此，由于上传的数据量较大，所以会相应的导致异常数据对应的上传时间延后的情况，并且，当一个异常数据的数据量太大而需要切分成多个子异常数据进行上传时，为了保证异常数据的时效性，多个子异常数据会连续进行上传，由此，会导致多个相邻的RTU的采集数据的上传时间出现持续延后的情况。
本发明具体通过 Ai(j+1)-Aij-T0≥∆T，及（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1，来对上传时间序列中出现上传时间持续延后的异常数据进行快速筛选，进而辨识出异常数据，并对异常数据进行标记。由于，本发明无需对流量携带的具体内容进行解析与分析，由此，可以节省大量的时间及人力投入，进而实现对RTU上传的采集数据中的异常数据进行快速识别标记。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一实施例中一种异常数据检测方法的流程示意图；
图2为本发明一实施例中一种异常数据检测装置的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
根据本发明的一个方面，如图1所示，提供了一种异常数据检测方法，包括：
步骤S10：获取目标远程控制系统对应的RTU数据集合U={B1,B2,…,Bw}，其中，Bw为第w个RTU对应的数据上传列表；数据上传列表中包括对应的RTU进行每次数据上传时对应的上传时间及采集数据，RTU数据集合中对应的每一数据上传列表中的采集数据具有相同属性；
本实施例可以应用于基于Modbus协议通讯机制进行通信的流量监控系统，该流量监控系统包括：监控计算机、多个RTU以及多个传感器，监控计算机通过Modbus协议与多个RTU进行通信连接，同时每个RTU分别与多个传感器进行连接，通过RTU来采集并上传每个对应的传感器采集到的数据。其中，多个RTU均与采集同一类属性数据的传感器进行连接。如：一个流量监控系统中包括两个RTU，那么，这两个RTU均与采集温度数据的传感器进行连接。
另外，每一个流量监控系统还对应一个数据库，数据库中包含有对应的每一个RTU的RTU数据集合U={B1,B2,…,Bw}。
具体的，步骤S10：获取目标远程控制系统对应的RTU数据集合，可以通过目标远程控制系统对应的数据可中获取对应的RTU的数据上传列表，该数据上传列表中记录着RTU每次上传数据的时间以及对应的采集数据的大小。以其中一次上传数据时在数据上传列表中的记录内容进行举例，具体可以为：上传时间：2021/02/25/12：00：05；采集数据的大小：2kb。
步骤S20：提取每一数据上传列表中对应的上传时间序列Ci=（Ai1,Ai2,…,Ain），Aij为第i个RTU对应的数据上传列表中第j个采集数据对应的上传时间；
具体的，可以提取出对应的时间段内数据上传列表中的上传时间序列，通过对该上传时间序列进行分析，来对该时间段内RTU上传的数据进行异常检测。
步骤S30：若Ai(j+1)-Aij-T0≥∆T，且（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1时，确定上传时间Ai(j+1)为异常上传时间；
其中，T0为服务器对RTU数据集合中每一RTU轮询一次的设定时长；
∆T为变动阈值，变动阈值满足如下公式：ΔT=T0/n*δ；
其中，n为RTU数据集合中对应的RTU的数量；δ为常数，δ的取值范围为[0.8，1]；
本实施例中n的取值范围为（100-300），T0的取值范围为（100S-200S）。通常来说∆T随着n的增加而减少，但是∆T不能够小于RTU正常的延迟范围。由此可以避免将正常的上传时间误判为异常时间。
根据本步骤的中若Ai(j+1)-Aij-T0≥∆T时，表示Ai(j+1)与Aij之间的时间变动超过变动阈值，同时，Ai(j+1)与Aij还满足（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1，则表示Ai(j-1)、Aij与Ai(j+1)之间的间隔越来越大。由于，在某些异常因素的影响下，会导致对应的采集数据的上传时间出现后延的情况，由此使得异常上传时间可以满足（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1的条件。所以通过（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1，可以确定Ai(j+1)与Aij之前的间隔比Aij与Ai（j-1）之前的间隔大，也即Ai(j+1)存在上述的上传时间出现后延的情况，同时Ai(j+1)的后延情况导致了超出了设定的变动阈值，由此，可以进一步确定Ai(j+1)为异常上传时间。
通过本步骤将提取出来的上传时间序列中的异常上传时间确定出来。
步骤S40：将数据上传列表中异常上传时间对应的采集数据标记为异常数据。
根据本步骤将对应的上传列表中所有的异常上传时间对应的采集数据标记为异常数据，由此，实现对对应时间段内的流量的异常检测。
作为本发明一种可能的实施例，在步骤S30：确定上传时间Ai(j+1)为异常上传时间之后，方法还包括：
步骤S50：确定
Figure 952842DEST_PATH_IMAGE004
，K为Ai(j+1)前数据上传列表中缺失流量的个数；缺失 流量具体为：在数据上传列表中缺失的的采集数据。在实际的使用过程中，由于异常因素的 影响，会导致对应的上传时间的采集数据出现无法上传的情况，由此，在数据上传列表中不 会有缺失流量的相关记录。
例如：在数据上传列表中存在Aij为2021/02/25/12：00：00；Ai(j+1)为2021/02/25/12：15：00的情况，且T0为5min。
如果采集数据按照正常的情况进行上传，则在Aij与Aij+1之间还应该存在2021/02/25/12：05：00与2021/02/25/12：10：00两个上传时间。但是，由于异常因素的影响，使得2021/02/25/12：05：00与2021/02/25/12：10：00两个上传时间对应的采集数据无法上传，进而在数据上传列表中缺失与其对应的信息。2021/02/25/12：05：00与2021/02/25/12：10：00两个上传时间对应的采集数据为缺失流量。
通过本步骤中的
Figure 101538DEST_PATH_IMAGE006
，可以确定出Ai(j+1)前数据上传列表中缺失流量 的个数。
步骤S60：根据上传时间Ai(j+1)或上传时间Aij以及预设轮询间隔T0，确定出每一缺失流量对应的填补时间；
例如：当Ai(j+1)与Aij之间的缺失流量的个数为两个，则这两个缺失流量对应的填补时间分别为Aij+T0和Aij+2T0或者Ai（j+1）-T0和Ai（j+1）-2T0。
步骤S70：将每一填补时间及对应的缺失流量插入至对应的数据上传列表中；
根据每一个缺失流量对应的填补时间将其插入数据上传列表中对应的位置处。
步骤S80：将数据上传列表中填补时间对应的缺失流量标记为异常数据。
本实施例中可以将数据上传列表中的缺失流量查找到并补充至对应的位置处。由于，缺失流量同样是由于异常情况导致的，也属于异常数据的一种情况，所以通过本实施例也将数据上传列表中的缺失流量查找到，由此，可以保证对异常数据的检测结果更加全面准确。
作为本发明一种可能的实施例，在步骤S60：确定出每一缺失流量对应的填补时间之后，方法还包括：
步骤S61：将每一缺失流量赋值为异常填补值。
优选的，异常填补值可以为空集。由于空集对应的采集数据的大小为0kb，而其他正常上传的采集数据的大小均不为0kb，由此，可以通过数据上传列表中记录的采集数据的大小来直接确定哪一个数据为缺失流量，更加便于异常数据的辨认。
作为本发明一种可能的实施例，在步骤S20：提取每一数据上传列表中对应的上传时间序列之后，方法还包括：
步骤S21：若Ai(j+1)-Aij-T0＜∆T时，确定上传时间Ai(j+1)为正常上传时间。
本实施例中若Ai(j+1)-Aij-T0＜∆T，则表示Ai(j+1)与Aij之间的间隔小于变动阈值，进而可以确定Ai(j+1)没有受到其他的异常情况的影响而造成延迟，由此，确定上传时间Ai(j+1)为正常上传时间。
优选的，在Ai(j+1)-Aij-T0＜∆T之后，步骤S21：确定上传时间Ai(j+1)为正常上传时间，包括：
步骤S22：若（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）≤1时，确定上传时间Ai(j+1)为正常上传时间。
本实施例中通过（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）≤1，可以进一步确定Ai(j+1)与Aij之前的间隔小于或等于Aij与Ai（j-1）之前的间隔，由此，可以说明Ai(j+1)没有受到异常因素的影响而出现后延的情况，由此，可以进一步确定Ai(j+1)为正常上传时间。
作为本发明一种可能的实施例，步骤S40：将数据上传列表中异常上传时间对应的采集数据标记为异常数据，包括：
步骤S41：将数据上传列表中异常上传时间对应的采集数据标记为至少一种标记颜色；不同的标记颜色代表不同的异常情况。
本实施例中的通过提前设置不同的颜色来表示不同的异常情况，如红色表示为异常数据，黄色表示缺失流量，还可以通过不同颜色表示不同程度的异常，如Ai(j+1)-Aij-T0≥∆T时用绿色表示，Ai(j+1)-Aij-T0≥2∆T时用蓝色表示。
根据本发明的第二个方面，如图2所示，还提供了一种异常数据检测装置，包括：
获取模块，用于获取目标远程控制系统对应的RTU数据集合U={B1,B2,…,Bw}，其中，Bw为第w个RTU对应的数据上传列表；数据上传列表中包括对应的RTU进行每次数据上传时对应的上传时间及采集数据，RTU数据集合中对应的每一数据上传列表中的采集数据具有相同属性；
提取模块，用于提取每一数据上传列表中对应的上传时间序列Ci=（Ai1,Ai2,…,Ain），Aij为第i个RTU对应的数据上传列表中第j个采集数据对应的上传时间；
异常确定模块，用于若Aij-Ai(j-1)-T0≥∆T，且（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1时，确定上传时间Ai(j+1)为异常上传时间；
其中，T0为服务器对RTU数据集合中每一RTU轮询一次的设定时长；
∆T为变动阈值，变动阈值满足如下公式：ΔT=T0/n*δ；
其中，n为RTU数据集合中对应的RTU的数量；δ为常数，δ的取值范围为[0.8，1]；
异常标记模块，用于将数据上传列表中异常上传时间对应的采集数据标记为异常数据。
根据本申请的第三个方面，还提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的异常数据检测方法。
根据本申请的第四个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上的异常数据检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过Aij-Ai(j-1)-T0≥∆T，及（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1，来对上传时间序列中对应的采集数据的上传时间进行识别，进而通过上传时间来辨识出上传的采集数据是否为异常数据，并对异常数据进行标记。由此，可以实现对RTU上传的采集数据中的异常数据进行识别标记。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
根据本发明的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件（包括储存器和处理器）的总线。
其中，储存器存储有程序代码，程序代码可以被处理器执行，使得处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器（RAM）和/或高速缓存储存器，还可以进一步包括只读储存器（ROM）。
储存器还可以包括具有一组（至少一个）程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种异常数据检测方法，其特征在于，包括：
获取目标远程控制系统对应的RTU数据集合U={B1,B2,…,Bw}，其中，Bw为第w个RTU对应的数据上传列表；所述数据上传列表中包括对应的所述RTU进行每次数据上传时对应的上传时间及采集数据，所述RTU数据集合中对应的每一数据上传列表中的采集数据具有相同属性；
提取每一所述数据上传列表中对应的上传时间序列Ci=（Ai1,Ai2,…,Ain），Aij为第i个RTU对应的数据上传列表中第j个采集数据对应的上传时间；
若Ai(j+1)-Aij-T0≥∆T，且（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1时，确定上传时间Ai(j+1)为异常上传时间；
其中，T0为服务器对所述RTU数据集合中每一所述RTU轮询一次的设定时长；
∆T为变动阈值，所述变动阈值满足如下公式：ΔT=T0/n*δ；
其中，n为RTU数据集合中对应的RTU的数量；δ为常数，δ的取值范围为[0.8，1]；
将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为异常数据。
2.根据权利要求1所述的异常数据检测方法，其特征在于，在所述确定上传时间Ai(j+1)为异常上传时间之后，所述方法还包括：
确定
Figure 953150DEST_PATH_IMAGE002
，K为Ai(j+1)前所述数据上传列表中缺失流量的个数；
根据所述上传时间Ai(j+1)或所述上传时间Aij以及所述预设轮询间隔T0，确定出每一所述缺失流量对应的填补时间；
将每一所述填补时间及对应的所述缺失流量插入至对应的所述数据上传列表中；
将所述数据上传列表中填补时间对应的缺失流量标记为异常数据。
3.根据权利要求2所述的异常数据检测方法，其特征在于，在所述确定出每一所述缺失流量对应的填补时间之后，所述方法还包括：
将每一所述缺失流量赋值为异常填补值。
4.根据权利要求1所述的异常数据检测方法，其特征在于，在所述提取每一所述数据上传列表中对应的上传时间序列之后，所述方法还包括：
若Ai(j+1)-Aij-T0＜∆T时，确定上传时间Ai(j+1)为正常上传时间。
5.根据权利要求4所述的异常数据检测方法，其特征在于，在所述Ai(j+1)-Aij-T0＜∆T之后，所述确定上传时间Ai(j+1)为正常上传时间，包括：
若（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）≤1时，确定上传时间Ai(j+1)为正常上传时间。
6.根据权利要求1所述的异常数据检测方法，其特征在于，所述将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为异常数据，包括：
将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为至少一种标记颜色；不同的所述标记颜色代表不同的异常情况。
7.根据权利要求3所述的异常数据检测方法，其特征在于，所述异常填补值为空集。
8.一种异常数据检测装置，其特征在于，包括：
获取模块，用于获取目标远程控制系统对应的RTU数据集合U={B1,B2,…,Bw}，其中，Bw为第w个RTU对应的数据上传列表；所述数据上传列表中包括对应的所述RTU进行每次数据上传时对应的上传时间及采集数据，所述RTU数据集合中对应的每一数据上传列表中的采集数据具有相同属性；
提取模块，用于提取每一所述数据上传列表中对应的上传时间序列Ci=（Ai1,Ai2,…,Ain），Aij为第i个RTU对应的数据上传列表中第j个采集数据对应的上传时间；
异常确定模块，用于若Ai(j+1)-Aij-T0≥∆T，且（Ai(j+1)-Aij-T0）/（Aij-Ai（j-1）-T0）>1时，确定上传时间Ai(j+1)为异常上传时间；
其中，T0为服务器对所述RTU数据集合中每一所述RTU轮询一次的设定时长；
∆T为变动阈值，所述变动阈值满足如下公式：ΔT=T0/n*δ；
其中，n为RTU数据集合中对应的RTU的数量；δ为常数，δ的取值范围为[0.8，1]；
异常标记模块，用于将所述数据上传列表中所述异常上传时间对应的所述采集数据标记为异常数据。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的异常数据检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的异常数据检测方法。
CN202210629647.5A 2022-06-06 2022-06-06 一种异常数据检测方法、装置、计算机设备及存储介质 Active CN114710369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210629647.5A CN114710369B (zh) 2022-06-06 2022-06-06 一种异常数据检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210629647.5A CN114710369B (zh) 2022-06-06 2022-06-06 一种异常数据检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114710369A true CN114710369A (zh) 2022-07-05
CN114710369B CN114710369B (zh) 2022-08-16

Family

ID=82177829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210629647.5A Active CN114710369B (zh) 2022-06-06 2022-06-06 一种异常数据检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114710369B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115221471A (zh) * 2022-07-18 2022-10-21 山东云天安全技术有限公司 一种异常数据的识别方法、装置、存储介质及计算机设备
CN115238234B (zh) * 2022-07-18 2023-04-28 山东云天安全技术有限公司 一种异常数据确定方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129277B1 (en) * 2015-05-05 2018-11-13 F5 Networks, Inc. Methods for detecting malicious network traffic and devices thereof
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
CN110474862A (zh) * 2018-05-10 2019-11-19 中移(苏州)软件技术有限公司 一种网络流量异常检测方法及装置
CN110620701A (zh) * 2019-09-12 2019-12-27 北京百度网讯科技有限公司 数据流监控处理方法、装置、设备及存储介质
CN112634621A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 交通灯数据质量检测方法、装置、电子设备和介质
CN112685273A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异常检测方法、装置、计算机设备和存储介质
CN113377792A (zh) * 2021-06-10 2021-09-10 上海微盟企业发展有限公司 一种数据回写方法、装置、电子设备和存储介质
CN113422720A (zh) * 2021-06-22 2021-09-21 河北卓智电子技术有限公司 基于边缘计算网关的异常检测方法
CN113837324A (zh) * 2021-11-25 2021-12-24 四川瑞康智慧能源有限公司 电量数据监测方法、系统、存储介质和电子设备
CN114385869A (zh) * 2021-12-20 2022-04-22 珠海格力电器股份有限公司 检测数据异常的方法、装置、存储介质及计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129277B1 (en) * 2015-05-05 2018-11-13 F5 Networks, Inc. Methods for detecting malicious network traffic and devices thereof
CN110474862A (zh) * 2018-05-10 2019-11-19 中移(苏州)软件技术有限公司 一种网络流量异常检测方法及装置
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
CN110620701A (zh) * 2019-09-12 2019-12-27 北京百度网讯科技有限公司 数据流监控处理方法、装置、设备及存储介质
CN112634621A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 交通灯数据质量检测方法、装置、电子设备和介质
CN112685273A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异常检测方法、装置、计算机设备和存储介质
CN113377792A (zh) * 2021-06-10 2021-09-10 上海微盟企业发展有限公司 一种数据回写方法、装置、电子设备和存储介质
CN113422720A (zh) * 2021-06-22 2021-09-21 河北卓智电子技术有限公司 基于边缘计算网关的异常检测方法
CN113837324A (zh) * 2021-11-25 2021-12-24 四川瑞康智慧能源有限公司 电量数据监测方法、系统、存储介质和电子设备
CN114385869A (zh) * 2021-12-20 2022-04-22 珠海格力电器股份有限公司 检测数据异常的方法、装置、存储介质及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEI ZHANG: "Abnormal Detection Research Based on Outlier Mining", 《2018 11TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTATION TECHNOLOGY AND AUTOMATION (ICICTA)》 *
赖清等: "网络数据异常信息流量传输安全性检测仿真", 《计算机仿真》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115221471A (zh) * 2022-07-18 2022-10-21 山东云天安全技术有限公司 一种异常数据的识别方法、装置、存储介质及计算机设备
CN115221471B (zh) * 2022-07-18 2023-03-31 山东云天安全技术有限公司 一种异常数据的识别方法、装置、存储介质及计算机设备
CN115238234B (zh) * 2022-07-18 2023-04-28 山东云天安全技术有限公司 一种异常数据确定方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN114710369B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114710369B (zh) 一种异常数据检测方法、装置、计算机设备及存储介质
CN107302547B (zh) 一种web业务异常检测方法及装置
US20200106795A1 (en) Anomaly detection in computer networks
CN114944957B (zh) 一种异常数据检测方法、装置、计算机设备及存储介质
US7962611B2 (en) Methods, systems and computer program products for detecting flow-level network traffic anomalies via abstraction levels
JP6201614B2 (ja) ログ分析装置、方法およびプログラム
US9093841B2 (en) Power distribution network event correlation and analysis
JP4573179B2 (ja) 性能負荷異常検出システム、性能負荷異常検出方法、及びプログラム
US8977908B2 (en) Method and apparatus for detecting a suspect memory leak
KR102260417B1 (ko) 트래픽 탐지 방법 및 장치
JP6564799B2 (ja) 閾値決定装置、閾値決定方法及びプログラム
SG194695A1 (en) Fault sensing system for sensing fault in plurality of control systems
CN115190191B (zh) 基于协议解析的电网工业控制系统及控制方法
JP2019095822A (ja) パラメータ設定方法、データ分析装置、データ分析システム及びプログラム
WO2018122890A1 (ja) ログ分析方法、システムおよびプログラム
CN112639844A (zh) 控制系统以及控制方法
CN107682354A (zh) 一种网络病毒检测方法、装置及设备
KR102040371B1 (ko) 네트워크 공격 패턴 분석 및 방법
CN111131325A (zh) 一种数据协议异常识别系统及方法
KR102343139B1 (ko) 어노멀리 검출방법 및 그 장치
WO2023181241A1 (ja) 監視サーバ装置、システム、方法、及びプログラム
US8908486B2 (en) Method for extended diagnostic overlay control for tape storage devices
JP4668092B2 (ja) 学習能力評価装置、学習能力評価方法及び学習能力評価プログラム
CN111258845A (zh) 事件风暴的检测
CN110166421B (zh) 基于日志监控的入侵控制方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An abnormal data detection method, device, computer equipment and storage medium

Effective date of registration: 20221130

Granted publication date: 20220816

Pledgee: Zhejiang Commercial Bank Co.,Ltd. Jinan Branch

Pledgor: Shandong Yuntian Safety Technology Co.,Ltd.

Registration number: Y2022980024358