CN115186158A - 一种异常数据确定方法、电子设备及存储介质 - Google Patents
一种异常数据确定方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115186158A CN115186158A CN202210839495.1A CN202210839495A CN115186158A CN 115186158 A CN115186158 A CN 115186158A CN 202210839495 A CN202210839495 A CN 202210839495A CN 115186158 A CN115186158 A CN 115186158A
- Authority
- CN
- China
- Prior art keywords
- data
- data vector
- clustering
- vector
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 179
- 230000008569 process Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种异常数据确定方法、电子设备及存储介质,包括:对每一候选传感器的数据报文进行识别,将候选传感器中使用非标准协议的候选传感器确定为目标传感器;根据第一时间长度L,获取原始数据向量集A;遍历A且当aij小于预设数据阈值时,将aij设置为0,得到第一数据向量集B;根据B,得到第一数量集S;对B进行第一聚类处理,得到第一聚类结果V;根据V,得到数据均值集U;对B进行第二聚类处理,得到第二聚类结果;根据所述第二聚类结果,确定B中是否存在孤立数据向量;若存在,则根据所述孤立数据向量,从A中确定出异常数据向量。本申请能够仅根据使用非标准协议的RTU和传感器上传的数据本身,完成异常数据的确定。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种异常数据确定方法、电子设备及存储介质。
背景技术
IEC104是一种广泛应用于电力、城市轨道交通等行业的国际标准通信规约,其具有通信数据大、便于升级、实时性好、可靠性高等优点,管理系统通过IEC104协议将远程终端(RTU,Remote Terminal Unit)采集的监测数据发送至调度中心,以供控制人员进行使用。
但现在由于个性化的需求越来越多,很多的RTU在进行数据/数据包的上传时,会在IEC104的基础上进行修改,并使用这种修改后的非标准协议进行数据上传。由于调度中心获得的数据/数据包是采用非标准协议进行上传的,也就导致了无法采用IEC104对应的异常数据方法来确定使用非标准协议上传的数据/数据包中的异常数据。
发明内容
有鉴于此,本申请提供一种异常数据确定方法、电子设备及存储介质,至少部分解决现有技术中存在的问题。
根据本发明的一个方面,提供一种异常数据确定方法,包括:
步骤S100,对每一候选传感器的数据报文进行识别,以将若干候选传感器中使用非标准协议的候选传感器确定为目标传感器;其中,每一目标传感器均具有一个唯一对应的RTU,所述RTU用于将对应的目标传感器的采样数据进行上传;
步骤S200,根据第一时间长度L,获取原始数据向量集A={A1,A2,A3,...,Am},Ai=(ai1,ai2,ai3,...,ain(i));其中,i=1,2,...,m,Ai为第i个RTU对应的原始数据向量,m为RTU的数量,aij为第i个原始数据向量中第j个原始数据大小信息,j=1,2,...,n(i);n(i)为第i个原始数据向量中原始数据大小信息的数量;
步骤S300,遍历原始数据向量集A且当aij小于预设数据阈值时,将aij设置为0,以得到第一数据向量集B={B1,B2,B3,...,Bm},Bi=(bi1,bi2,bi3,...,bin(i));其中,Bi为遍历Ai后得到的第一数据向量,bij为Bi中第j个第一数据大小信息;
步骤S400,分别对每一第一数据向量中的不为0的第一数据大小信息进行计数,得到第一数量集S={s1,s2,s3,...,sm};其中,si为Bi中不为0的第一数据大小信息的数量;
步骤S500,根据第一数量集S对第一数据向量集B中的第一数据向量进行第一聚类处理,得到第一聚类结果V={V1,V2,V3,...,Vk},VX={VX1,VX2,VX3,...,VXc(X)},其中,X=1,2,...,k,k<m,VX为第X个第二数据向量集,k为所述第二数据向量集的数量,VXc(X)为第X个第二数据向量集中的第c(X)个第二数据向量,c(X)为第X个第二数据向量集中第二数据向量的数量;
步骤S600,分别根据每一第二数据向量集,得到数据均值集U={u1,u2,u3,...,uk},其中,uX为VX对应的数据均值;
步骤S700,根据均值向量集U对第一数据向量集B中的第一数据向量进行第二聚类处理,得到第二聚类结果;其中,第二聚类处理的聚类类别的数量为k,且使用uX作为第X个聚类类别的聚类初始值,聚类条件为相似度FXt小于相似度阈值λ,FXt为Bt与uX的相似度,Bt为B中第t个第一数据向量,t=1,2,...,m;
步骤S800,根据所述第二聚类结果,确定第一数据向量集B中是否存在孤立数据向量;若存在,则根据所述孤立数据向量,从原始数据向量集A中确定出异常数据向量。
在本申请的一种示例性实施例中,FXt=|[(∑n(t) y=1bty)/st]-uX|/uX,其中,bty为Bt中第y个第一数据大小信息,st为Bt中不为0的第一数据大小信息的数量。
在本申请的一种示例性实施例中,λ∈(0,0.3]。
在本申请的一种示例性实施例中,λ=0.15。
在本申请的一种示例性实施例中,uX=[∑c(X) g=1f(VXg)]/c(X),f(VXg)=(∑d(Xg) h= 1VXg h)/d(Xg),其中,f(VXg)为VXg的向量数据均值,d(Xg)为VXg中不为0的第二数据大小信息的数量。
在本申请的一种示例性实施例中,所述步骤S200之前,还包括:
步骤S110,确定每一RUT对应的数据上传周期,得到周期集Q={Q1,Q2,Q3,...,Qm},其中,Qi为第i个RTU对应的数据上传周期;
步骤S120,获取最大周期max(Q);
步骤S130,根据最大周期max(Q)确定第一时间长度L;其中,L大于等于max(Q)。
在本申请的一种示例性实施例中,L≥Z*max(Q),Z为大于1的正整数。
在本申请的一种示例性实施例中,Z=10。
根据本发明的一个方面,提供一种电子设备,包括处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行如上述任一项所述方法的步骤。
根据本发明的一个方面,提供一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行上述任一项所述方法的步骤。
本发明提供的异常数据确定方法,能够根据预设数据阈值从获取到的原始数据向量集确定出每一原始数据向量中的有效的原始数据大小信息的数量(即第一数据向量中不为0的第一数据大小信息的数量),得到第一数量集。然后根据第一数量集对第一数据向量集中的第一数据向量进行聚类,得到若干个第二数据向量集。其中,每一第二数据向量集中的第二数据向量内的不为0的第二数据大小信息的数量(可理解为原始数据向量中的有效的原始数据大小信息的数量)相近(数量差值小于阈值)。再分别根据每一第二数据向量集中的第二数据向量确定出每一第二数据向量集的均值,以此得到了第二聚类处理使用的聚类类别的数量k和每一聚类类别对应的聚类初始值,并进行第二聚类处理。从而将在第二聚类处理中无法完成聚类的第一数据向量确定为孤立数据向量,再根据原始数据向量集和第一数据向量集的对应关系,最终从原始数据向量集中确定出异常数据向量。由此,完成了仅根据使用非标准协议的RTU和传感器上传的数据本身,即可完成异常数据的确定,而并不用了解RTU和传感器使用的非标准协议的协议内容。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本实施例提供的异常数据确定方法所应用场景的结构示意框图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合;并且,基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
请参考图1,根据本发明的一个方面,提供一种异常数据确定方法,应用于上位机,该上位机可以服务器、PC等具有能够接收数据信息和一定处理能力的电子设备。上位机与多个RTU通讯连接,能够接收RTU上传的采样数据,该采样数据可以包括上传时间、原始采样数据(从对应传感器获取的传感器采集到的数据)、原始采样数据大小信息等。RTU被配置为每到一个数据上传周期(每一RTU具有自己对应的数据上传周期)的结束时刻上传一次采样数据。且在实际应用时,由于RTU会受到网络波动的影响,会在未到达本次数据上传周期的结束时刻时,也对上位机上传一个采样数据。本实施例中,采样数据可以为流量包。
所述方法具体包括以下步骤:
步骤S100,对每一候选传感器的数据报文进行识别,以将若干候选传感器中使用非标准协议的候选传感器确定为目标传感器;其中,每一目标传感器均具有一个唯一对应的RTU,所述RTU用于将对应的目标传感器的采样数据进行上传。其中,非标准协议指自定义的IEC104协议,即修改后的IEC104协议。目标传感器可以为温度传感器、湿度传感器和压力传感器等。
步骤S200,根据第一时间长度L,获取原始数据向量集A={A1,A2,A3,...,Am},Ai=(ai1,ai2,ai3,...,ain(i));其中,i=1,2,...,m,Ai为第i个RTU对应的原始数据向量,m为RTU的数量,aij为第i个原始数据向量中第j个原始数据大小信息,j=1,2,...,n(i);n(i)为第i个原始数据向量中原始数据大小信息的数量。原始数据向量可以根据对应的RTU在第一时间长度中上传的采样数据得到。同时,由于每一RTU的数据上传周期和开始工作时间的不同,且网络波动导致误上传的次数也不同,故而每个原始数据向量中的原始数据大小信息的数量也是不同的。因此,本实施例中,n()并不是一个设定好的处理函数,而是一个根据i值的变化,能够得到的唯一确定数值,i的取值不同,对应的n(i)的值可以不同。
步骤S300,遍历原始数据向量集A且当aij小于预设数据阈值时,将aij设置为0,以得到第一数据向量集B={B1,B2,B3,...,Bm},Bi=(bi1,bi2,bi3,...,bin(i));其中,Bi为遍历Ai后得到的第一数据向量,bij为Bi(B中第i个第一数据向量)中第j个第一数据大小信息。通过预设数据阈值,将A小中每一原始数据向量中小于预设数据阈值的原始数据大小信息置0,可以将原始数据向量中,由于网络波动使RTU上传的采集数据而产生的错误数据清除。避免了后续处理中,这些错误数据导致后续进行异常数据确定时的数据处理量变大,节省了计算资源。具体的,预设数据阈值可以通过对历史数据中被标记为是由于网络波动产生的数据大小信息中的均值或最大值,本实施例中采用的是最大值。预设数据阈值为0.8kb。
步骤S400,分别对每一第一数据向量中的不为0的第一数据大小信息进行计数,得到第一数量集S={s1,s2,s3,...,sm};其中,si为Bi中不为0的第一数据大小信息的数量,即si为Bi对应的第一数量。第一数量可以理解为原始数据向量中有效的数据的数量,即不是因为网络波动而产生的原始数据大小信息的数量。
步骤S500,根据第一数量集S对第一数据向量集B中的第一数据向量进行第一聚类处理,得到第一聚类结果V={V1,V2,V3,...,Vk},VX={VX1,VX2,VX3,...,VXc(X)},其中,X=1,2,...,k,k<m,VX为第X个第二数据向量集,k为所述第二数据向量集的数量,VXc(X)为第X个第二数据向量集中的第c(X)个第二数据向量,c(X)为第X个第二数据向量集中第二数据向量的数量。
根据每一第一数据向量中的不为0的第一数据大小信息的数量对B进行聚类,可以将采集周期相近、开始和结束时间相近和实际采样时间长度相近的第一数据向量聚类为一个第二数据向量集。即,不为0的第一数据大小信息的数量相似的第一数据向量,其对应的RTU所使用的数据上传周期可以是相同或相似的,或开始和结束时间是相同或相似的,也可以是实际采样时间长度是相同或相似的。具体的,聚类条件可以为任意两个第一数量的差值小于设定数量差值即可被聚类为一类,设定数量差值的取值为1-5,具体的,设定数量差值为2。聚类方法可以为现有的聚类方法。可以理解的是,第二数据向量集中的第二数据向量,实际还是第一数据向量集的第一数据向量,并未对任何第一数据向向量中的第一数据大小信息作出修改,仅是进行了重新“分类”。本实施例中采用不同的名字进行撰写,仅是为了方便进行区分。
步骤S600,分别根据每一第二数据向量集,得到数据均值集U={u1,u2,u3,...,uk},其中,uX为VX对应的数据均值。其中,uX=[∑c(X) g=1f(VXg)]/c(X),f(VXg)=(∑d(Xg) h= 1VXg h)/d(Xg),其中,f(VXg)为VXg的向量数据均值,d(Xg)为VXg中不为0的第二数据大小信息的数量。由于,在对B进行第一聚类处理时,使用的设定数量差值是大于0的,故而,同一第二数据向量集中的多个第二数据向量内的第二数据大小信息的数量有可能是存在差异的,即同一第二数据向量集中的多个第二数据向量的长度可能存在不同,这样就导致了无法直接直接得到多个第二数据向量的平均向量。故而,本实施例中,是通过f(VXg)=(∑d(Xg) h=1VXg h)/d(Xg)得到了每一第二数据向量的向量数据均值,再根据每一第二数据向量集对应的多个向量数据均值得到了每一第二数据向量集对应的数据均值。从而实现了在第二数据向量长度不同的情况下,也能得到对应的数据均值。
步骤S700,根据均值向量集U对第一数据向量集B中的第一数据向量进行第二聚类处理,得到第二聚类结果;其中,第二聚类处理的聚类类别的数量为k,且使用uX作为第X个聚类类别的聚类初始值,聚类条件为相似度FXt小于相似度阈值λ,FXt为Bt与uX的相似度,Bt为B中第t个第一数据向量,t=1,2,...,m。具体的,第二聚类处理可以为K-means聚类处理。其中,聚类类别的数量即为K-means聚类处理使用的“K值”,而u1,u2,u3,...,uk,则为k个聚类类别的聚类初始值。该聚类初始值实际是由B中的第二数据向量得到的,且K-means聚类针对的向量集也是B。以此,能够更加准确的实现对B中的第二数据向量的聚类。具体的,λ∈(0,0.3]。本实施例中,λ=0.15。
同时,FXt=|[(∑n(t) y=1bty)/st]-uX|/uX,其中,bty为Bt中第y个第一数据大小信息,st为Bt中不为0的第一数据大小信息的数量。实现了将每一第二数据向量的向量数据均值与每一聚类初始值进行相似度比较,且对应的FXt越小,说明越相似。以此实现对B中的第二数据向量的聚类。而本实施例中,不根据第一聚类处理确定出孤立数据向量的原因为,第一聚类处理的聚类依据为S,而S中的各个第一数量均为正整数,仅根据第一数量进行聚类只能较好的完成采集周期相近、开始和结束时间相近和实际采样时间长度相近的第一数据向量的聚类。故而,本实施例中,为了实现更加精准的异常数据的确定,采取了两次聚类。且能够通过第一聚类处理得到的第二聚类处理使用的聚类类别的数量和每一聚类类别的聚类初始值。使得通过第一聚类处理提高了第二聚类处理的聚类准确度。
步骤S800,根据所述第二聚类结果,确定第一数据向量集B中是否存在孤立数据向量;若存在,则根据所述孤立数据向量,从原始数据向量集A中确定出异常数据向量。
第二聚类结果可以采用聚类示意图或聚类集合的形式存在,孤立数据向量为没有被聚类为任意聚类类型的第一数据向量。即该孤立数据向量与每一第一数据向量的差异度都很大,可以说明这个孤立数据向量中存在异常的第一数据大小信息。最终根据原始数据向量集和第一数据向量集的对应关系,在A中确定出异常数据向量,并进行相应的标记。其中,对应关系为,A1与B1对应,A2与B2对应,以此类推,即Ai与Bi对应。
本实施例提供的异常数据确定方法,能够根据预设数据阈值从获取到的原始数据向量集确定出每一原始数据向量中的有效的原始数据大小信息的数量(即第一数据向量中不为0的第一数据大小信息的数量),得到第一数量集。然后根据第一数量集对第一数据向量集中的第一数据向量进行聚类,得到若干个第二数据向量集。其中,每一第二数据向量集中的第二数据向量内的不为0的第二数据大小信息的数量(可理解为原始数据向量中的有效的原始数据大小信息的数量)相近(数量差值小于阈值)。再分别根据每一第二数据向量集中的第二数据向量确定出每一第二数据向量集的均值,以此得到了第二聚类处理使用的聚类类别的数量k和每一聚类类别对应的聚类初始值,并进行第二聚类处理。从而将在第二聚类处理中无法完成聚类的第一数据向量确定为孤立数据向量,再根据原始数据向量集和第一数据向量集的对应关系,最终从原始数据向量集中确定出异常数据向量。由此,完成了仅根据使用非标准协议的RTU和传感器上传的数据本身,即可完成异常数据的确定,而并不用了解RTU和传感器使用的非标准协议的协议内容。
在本申请的一种示例性实施例中,所述步骤S200之前,还包括:
步骤S110,确定每一RUT对应的数据上传周期,得到周期集Q={Q1,Q2,Q3,...,Qm},其中,Qi为第i个RTU对应的数据上传周期;
步骤S120,获取最大周期max(Q);
步骤S130,根据最大周期max(Q)确定第一时间长度L;其中,L大于等于max(Q)。具体的,L≥Z*max(Q),Z为大于1的正整数。优选的,Z=10。L具有一个确定的开始时间Lstart和一个确定的结束时间,以此来获取每一RTU对应的原始数据向量。
为了保证A中的有效的数据的数量能够支持后续的异常数据确定,本实施例中,在确定L时,需要保证L大于max(Q),即保证每一原始数据向量中,至少具有一个有效的数据。而由于后续处理中,第一聚类处理的聚类条件与第一数量相关,第二聚类处理的聚类条件与第一数量和每一第一数据向量中第一数据大小信息的实际值相关。若一个原始数据向量中,仅具有一个有效的数据,可能会对最终的聚类结果产生影响,故而本实施例中,L≥10*max(Q),以保证每一原始数据向量中,至少包含10个有效的数据。
进一步的,在本申请的一种示例性实施例中,在步骤步骤S400之后,还可以包括:
确定每一RTU对应的原始数据向量中的首个原始数据大小信息的获取时间。并确定出多个获取时间中的最大获取时间Tstart max。
获取ZΔ=(Lstart-Tstart max)/max(Q),其中,ZΔ向上取整。
遍历S,若sα小于Z-ZΔ,则将sα对应的第一数据向量(即Bα)从B中删除。α的取值为1到m。
并将A中与Bα对应的原始数据向量确定为异常数据向量。由于L≥Z*max(Q),则说明若是正常的RTU,其对应的第一数据向量中,不为0的第一数据大小信息的数量至少为Z-ZΔ个。故而,若sα小于Z-ZΔ,则可以说明其对应的RUT发生了漏传数据的问题,则可直接将该RTU对应的原始数据向量确定为异常数据向量。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
根据本申请的这种实施方式的电子设备。电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于:上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。
其中,所述储存器存储有程序代码,所述程序代码可以被所述处理器执行,使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
储存器可以包括易失性储存器形式的可读介质,例如随机存取储存器(RAM)和/或高速缓存储存器,还可以进一步包括只读储存器(ROM)。
储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具,这样的程序模块包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种,包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备交互的设备通信,和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且,电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本申请的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种异常数据确定方法,其特征在于,包括:
步骤S100,对每一候选传感器的数据报文进行识别,以将若干候选传感器中使用非标准协议的候选传感器确定为目标传感器;其中,每一目标传感器均具有一个唯一对应的RTU,所述RTU用于将对应的目标传感器的采样数据进行上传;
步骤S200,根据第一时间长度L,获取原始数据向量集A={A1,A2,A3,...,Am},Ai=(ai1,ai2,ai3,...,ain(i));其中,i=1,2,...,m,Ai为第i个RTU对应的原始数据向量,m为RTU的数量,aij为第i个原始数据向量中第j个原始数据大小信息,j=1,2,...,n(i);n(i)为第i个原始数据向量中原始数据大小信息的数量;
步骤S300,遍历原始数据向量集A且当aij小于预设数据阈值时,将aij设置为0,以得到第一数据向量集B={B1,B2,B3,...,Bm},Bi=(bi1,bi2,bi3,...,bin(i));其中,Bi为遍历Ai后得到的第一数据向量,bij为Bi中第j个第一数据大小信息;
步骤S400,分别对每一第一数据向量中的不为0的第一数据大小信息进行计数,得到第一数量集S={s1,s2,s3,...,sm};其中,si为Bi中不为0的第一数据大小信息的数量;
步骤S500,根据第一数量集S对第一数据向量集B中的第一数据向量进行第一聚类处理,得到第一聚类结果V={V1,V2,V3,...,Vk},VX={VX1,VX2,VX3,...,VXc(X)},其中,X=1,2,...,k,k<m,VX为第X个第二数据向量集,k为所述第二数据向量集的数量,VXc(X)为第X个第二数据向量集中的第c(X)个第二数据向量,c(X)为第X个第二数据向量集中第二数据向量的数量;
步骤S600,分别根据每一第二数据向量集,得到数据均值集U={u1,u2,u3,...,uk},其中,uX为VX对应的数据均值;
步骤S700,根据均值向量集U对第一数据向量集B中的第一数据向量进行第二聚类处理,得到第二聚类结果;其中,第二聚类处理的聚类类别的数量为k,且使用uX作为第X个聚类类别的聚类初始值,聚类条件为相似度FXt小于相似度阈值λ,FXt为Bt与uX的相似度,Bt为B中第t个第一数据向量,t=1,2,...,m;
步骤S800,根据所述第二聚类结果,确定第一数据向量集B中是否存在孤立数据向量;若存在,则根据所述孤立数据向量,从原始数据向量集A中确定出异常数据向量。
2.根据权利要求1所述的异常数据确定方法,其特征在于,FXt=|[(∑n(t) y=1bty)/st]-uX|/uX,其中,bty为Bt中第y个第一数据大小信息,st为Bt中不为0的第一数据大小信息的数量。
3.根据权利要求1所述的异常数据确定方法,其特征在于,λ∈(0,0.3]。
4.根据权利要求3所述的异常数据确定方法,其特征在于,λ=0.15。
5.根据权利要求1所述的异常数据确定方法,其特征在于,
uX=[∑c(X) g=1f(VXg)]/c(X),f(VXg)=(∑d(Xg) h=1VXg h)/d(Xg),其中,f(VXg)为VXg的向量数据均值,d(Xg)为VXg中不为0的第二数据大小信息的数量。
6.根据权利要求1所述的异常数据确定方法,其特征在于,所述步骤S200之前,还包括:
步骤S110,确定每一RUT对应的数据上传周期,得到周期集Q={Q1,Q2,Q3,...,Qm},其中,Qi为第i个RTU对应的数据上传周期;
步骤S120,获取最大周期max(Q);
步骤S130,根据最大周期max(Q)确定第一时间长度L;其中,L大于等于max(Q)。
7.根据权利要求6所述的异常数据确定方法,其特征在于,L≥Z*max(Q),Z为大于1的正整数。
8.根据权利要求7所述的异常数据确定方法,其特征在于,Z=10。
9.一种电子设备,其特征在于,包括处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至8任一项所述方法的步骤。
10.一种非瞬时性计算机可读存储介质,其特征在于,所述非瞬时性计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210839495.1A CN115186158B (zh) | 2022-07-18 | 2022-07-18 | 一种异常数据确定方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210839495.1A CN115186158B (zh) | 2022-07-18 | 2022-07-18 | 一种异常数据确定方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115186158A true CN115186158A (zh) | 2022-10-14 |
CN115186158B CN115186158B (zh) | 2023-04-18 |
Family
ID=83519203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210839495.1A Active CN115186158B (zh) | 2022-07-18 | 2022-07-18 | 一种异常数据确定方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115186158B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112266A (zh) * | 2023-02-13 | 2023-05-12 | 山东云天安全技术有限公司 | 一种识别会话数据的方法、电子设备及存储介质 |
CN116112265A (zh) * | 2023-02-13 | 2023-05-12 | 山东云天安全技术有限公司 | 一种异常会话的确定方法、电子设备及存储介质 |
CN116170300A (zh) * | 2023-02-24 | 2023-05-26 | 山东云天安全技术有限公司 | 用于异常日志信息确定的数据处理方法、电子设备及介质 |
CN116192494A (zh) * | 2023-02-13 | 2023-05-30 | 山东云天安全技术有限公司 | 一种确定异常数据的方法、电子设备及存储介质 |
CN117034276A (zh) * | 2023-10-10 | 2023-11-10 | 北京安天网络安全技术有限公司 | 一种异常进程确定方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109787960A (zh) * | 2018-12-19 | 2019-05-21 | 中国平安人寿保险股份有限公司 | 异常流量数据识别方法、装置、介质及电子设备 |
CN111831704A (zh) * | 2020-05-21 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 异常数据的确定方法、装置、存储介质和电子设备 |
CN113239979A (zh) * | 2021-04-23 | 2021-08-10 | 广州市祺能电子科技有限公司 | 一种物联网传感器数据采集的方法及装置 |
CN114356989A (zh) * | 2021-12-29 | 2022-04-15 | 中国联合网络通信集团有限公司 | 审计异常数据检测方法及装置 |
US20220191113A1 (en) * | 2020-12-16 | 2022-06-16 | Korea Internet & Security Agency | Method and apparatus for monitoring abnormal iot device |
-
2022
- 2022-07-18 CN CN202210839495.1A patent/CN115186158B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109787960A (zh) * | 2018-12-19 | 2019-05-21 | 中国平安人寿保险股份有限公司 | 异常流量数据识别方法、装置、介质及电子设备 |
CN111831704A (zh) * | 2020-05-21 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 异常数据的确定方法、装置、存储介质和电子设备 |
US20220191113A1 (en) * | 2020-12-16 | 2022-06-16 | Korea Internet & Security Agency | Method and apparatus for monitoring abnormal iot device |
CN113239979A (zh) * | 2021-04-23 | 2021-08-10 | 广州市祺能电子科技有限公司 | 一种物联网传感器数据采集的方法及装置 |
CN114356989A (zh) * | 2021-12-29 | 2022-04-15 | 中国联合网络通信集团有限公司 | 审计异常数据检测方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112266A (zh) * | 2023-02-13 | 2023-05-12 | 山东云天安全技术有限公司 | 一种识别会话数据的方法、电子设备及存储介质 |
CN116112265A (zh) * | 2023-02-13 | 2023-05-12 | 山东云天安全技术有限公司 | 一种异常会话的确定方法、电子设备及存储介质 |
CN116192494A (zh) * | 2023-02-13 | 2023-05-30 | 山东云天安全技术有限公司 | 一种确定异常数据的方法、电子设备及存储介质 |
CN116112265B (zh) * | 2023-02-13 | 2023-07-28 | 山东云天安全技术有限公司 | 一种异常会话的确定方法、电子设备及存储介质 |
CN116112266B (zh) * | 2023-02-13 | 2023-09-01 | 山东云天安全技术有限公司 | 一种识别会话数据的方法、电子设备及存储介质 |
CN116192494B (zh) * | 2023-02-13 | 2023-10-20 | 山东云天安全技术有限公司 | 一种确定异常数据的方法、电子设备及存储介质 |
CN116170300A (zh) * | 2023-02-24 | 2023-05-26 | 山东云天安全技术有限公司 | 用于异常日志信息确定的数据处理方法、电子设备及介质 |
CN116170300B (zh) * | 2023-02-24 | 2024-01-23 | 山东云天安全技术有限公司 | 用于异常日志信息确定的数据处理方法、电子设备及介质 |
CN117034276A (zh) * | 2023-10-10 | 2023-11-10 | 北京安天网络安全技术有限公司 | 一种异常进程确定方法、装置、电子设备及存储介质 |
CN117034276B (zh) * | 2023-10-10 | 2023-12-15 | 北京安天网络安全技术有限公司 | 一种异常进程确定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115186158B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115186158B (zh) | 一种异常数据确定方法、电子设备及存储介质 | |
CN108829560B (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
CN111475370A (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
CN111949710B (zh) | 数据存储方法、装置、服务器及存储介质 | |
US20130218354A1 (en) | Power distribution network event correlation and analysis | |
CN109543891B (zh) | 容量预测模型的建立方法、设备及计算机可读存储介质 | |
CN109002424B (zh) | 文件格式转换方法、装置、计算机设备及存储介质 | |
CN110928561B (zh) | 车辆控制器软件版本管理方法、装置、车辆和存储介质 | |
WO2020237878A1 (zh) | 数据去重方法、装置、计算机设备以及存储介质 | |
CN109672722B (zh) | 数据部署方法及装置、计算机存储介质和电子设备 | |
KR20200110132A (ko) | 트래픽 탐지 방법 및 장치 | |
CN110990235A (zh) | 异构存储设备的性能数据管理方法、装置、设备及介质 | |
CN110347546B (zh) | 监控任务动态调整方法、装置、介质及电子设备 | |
CN115238234B (zh) | 一种异常数据确定方法、电子设备及存储介质 | |
CN109067649B (zh) | 节点处理方法及装置、存储介质和电子设备 | |
CN111443992A (zh) | docker镜像的差量导出方法、计算机存储介质及电子设备 | |
CN107797898B (zh) | 数据采集方法及其装置 | |
CN115883647A (zh) | 业务日志记录方法、系统、装置、终端、服务器及介质 | |
CN113127413B (zh) | 一种运营商数据处理方法、装置、服务器及存储介质 | |
CN114036121A (zh) | 一种日志文件处理方法、装置、系统、设备及存储介质 | |
CN114374745A (zh) | 一种协议格式的处理方法及系统 | |
CN113934595A (zh) | 数据分析方法及系统、存储介质及电子终端 | |
CN112671848A (zh) | 对消防设备进行数据采集的方法、装置及消防管理系统 | |
WO2021087662A1 (zh) | 内存分配方法、装置、终端及计算机可读存储介质 | |
CN111258879A (zh) | 一种基于页面采集的业务测试调度方法、装置及智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for determining abnormal data, electronic devices, and storage media Granted publication date: 20230418 Pledgee: Rizhao Bank Co.,Ltd. Jinan Branch Pledgor: Shandong Yuntian Safety Technology Co.,Ltd. Registration number: Y2024980008627 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |