CN112732983A - 基于人工智能的数据检测方法、装置、服务器及存储介质 - Google Patents
基于人工智能的数据检测方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN112732983A CN112732983A CN202011639634.3A CN202011639634A CN112732983A CN 112732983 A CN112732983 A CN 112732983A CN 202011639634 A CN202011639634 A CN 202011639634A CN 112732983 A CN112732983 A CN 112732983A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- data
- vector
- time
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请涉及人工智能,提供一种基于人工智能的数据检测方法、装置、服务器及存储介质,该方法包括:获取目标检测指标的当前时序数据;根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;将所述关联时序向量输入至所述第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;获取所述当前时序数据的下一时序的目标时序数据,通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。本申请能够提高异常数据的检测准确度。
Description
技术领域
本申请涉及人工智能中的智能决策的技术领域,尤其涉及一种基于人工智能的数据检测方法、装置、服务器及存储介质。
背景技术
随着计算机科学技术的不断发展,互联网中越来越多的应用运行于服务器上,会产生大量的运行数据。运行数据的异常波动有可能反应了应用或者服务器硬件的异常状态,因此服务器需要对运行数据进行实时监测,从而及时发现应用和服务器硬件的异常状态并进行告警。目前,可以通过异常检测模型负责监控服务器系统中关于应用和硬件等多个对象的指标,从而确定应用和硬件是否存在异常状态。然而,现有的异常检测模型仅是利用历史时序数据作为训练样本进行训练得到的,在对当前时序数据进行预测时容易发生数据偏离,导致异常预测的精准度下降,异常数据的检测效果不好。
发明内容
本申请的主要目的在于提供一种基于人工智能的数据检测方法、装置、服务器及存储介质,旨在提高异常数据的检测准确度。
第一方面,本申请提供一种基于人工智能的数据检测方法,应用于服务器,所述服务器存储有时序数据预测模型,所述时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型,所述方法包括:
获取目标检测指标的当前时序数据;
根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;
通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;
将所述关联时序向量输入至所述第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;
获取所述当前时序数据的下一时序的目标时序数据,通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。
第二方面,本申请还提供一种基于人工智能的数据检测装置,应用于服务器,所述服务器存储有时序数据预测模型,所述时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型,所述数据检测装置包括:
获取模块,用于获取目标检测指标的当前时序数据;
生成模块,用于根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;
关联模块,用于通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;
预测模块,用于将所述关联时序向量输入至所述第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;
所述获取模块,还用于获取所述当前时序数据的下一时序的目标时序数据;
检测模块,用于通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。
第三方面,本申请还提供一种服务器,所述服务器包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如上所述的基于人工智能的数据检测方法的步骤。
第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如上所述的基于人工智能的数据检测方法的步骤。
本申请提供一种基于人工智能的数据检测方法、装置、服务器及存储介质,本申请通过获取目标检测指标的当前时序数据,根据当前时序数据生成当前时序向量,并确定目标检测指标的历史时序数据的历史时序向量,再通过第一Transformer模型,将历史时序向量和当前时序向量进行关联,得到关联时序向量,然后将关联时序向量输入至第二Transformer模型,得到当前时序数据的下一时序的预测数据,最后获取当前时序数据的下一时序的目标时序数据,并通过预测数据和目标时序数据,对所述目标时序数据进行异常检测。通过Transformer模型对当前时序向量和历史时序向量进行处理,输出准确度更高的预测数据,极大提升了异常数据的检测准确度。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于人工智能的数据检测方法的步骤流程示意图;
图2为图1中的数据检测方法的子步骤流程示意图;
图3为实施本实施例提供的输出关联时序数据的一场景示意图;
图4为本申请实施例提供的一种基于人工智能的数据检测装置的示意性框图;
图5为图4中的数据检测装置的子模块的示意性框图;
图6为本申请实施例提供的一种服务器的结构示意性框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,虽然在装置示意图中进行了功能模块的划分,但是在某些情况下,可以以不同于装置示意图中的模块划分。
本申请实施例提供一种基于人工智能的数据检测方法、装置、服务器及存储介质。其中,该数据检测方法可应用于服务器中,该服务器可以为单台的服务器,也可以为由多台服务器组成的服务器集群。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请实施例提供的一种基于人工智能的数据检测方法的步骤流程示意图。
如图1所示,该数据检测方法包括步骤S101至步骤S105。
步骤S101、获取目标检测指标的当前时序数据。
当应用程序运行于服务器上时,服务器性能指标的异常波动可能反应了应用的异常状态,因此可以通过服务器性能指标的时序数据来检测异常。本实施例中的目标检测指标例如可以包括以下指标中的至少一种:CPU使用率、IO使用率、内存使用率、带宽使用率、网络入口流量、网络出口流量、访问量、访问耗时、下载量、新增用户数和活跃用户。其中,时序数据是指时间序列数据,例如为同一指标按时间顺序记录的数据列,时序数据可以是时期数,也可以时点数。当前时序数据包括当前时序内的目标检测指标的时间序列数据,当前时序可由用户灵活设置,例如,当前时序数据为1小时内记录的多个内存使用率的时间序列数据。
需要说明的是,本实施例中的当前时序数据可以是单个目标检测指标的时序数据,例如可以是CPU使用率的时间序列数据,或者可以是带宽使用率的时间序列数据;本实施例中的当前时序数据还可以是多个目标检测指标的时序数据,例如可以包括内存使用率和网络出口流量的时间序列数据。
在一实施例中,获取目标检测指标的当前时序数据,并获取目标检测指标的历史时序数据。同理,历史时序数据为预设时间段内的目标检测指标的时序数据,本实施例中的历史时序数据也可以是关于单个目标检测指标或者多个目标检测指标的时间序列数据,并可以根据实际情况进行设置。
进一步地,历史时序数据为长时序数据,当前时序数据为短时序数据。其中,历史时序数据对应的时间长度大于或等于第一预设时间长度,当前时序数据对应的时间长度小于或等于第二预设时间长度,历史时序数据对应的时间长度大于当前时序数据对应的时间长度,第一预设时间长度和第二预设时间长度可根据实际情况进行设置。例如,若历史时序数据为过去1周内记录的目标检测指标的时间序列数据,则该历史时序数据对应的时间长度为1周;若当前时序数据为当前1小时内记录的目标检测指标的时间序列数据,则该当前时序数据对应的时间长度为1小时。
需要说明的是,通过异常检测模型对时序数据进行异常检测时,目标检测指标往往与历史数据的分布相关联,采用短时序数据进行异常检测可能降低异常检测的精度,但是采用长时序数据进行异常检测会带来较大的计算量。因此,本实施例采用长时序数据的历史时序数据和短时序数据的当前时序数据来以预测下一时序,异常检测的精度较高,且长时序数据的历史时序数据能够以较低频率进行更新,从而节省计算量。
步骤S102、根据当前时序数据生成当前时序向量,并确定目标检测指标的历史时序数据的历史时序向量。
其中,将当前时序数据转化为当前时序向量,以及确定目标检测指标的历史时序数据的历史时序向量,历史时序向量可以是实时生成的,也可以从历史数据中直接获取,该历史数据记录有目标检测指标的历史时序数据转化为历史时序向量的过程信息和结果信息,因此历史时序向量可以复用而不必实时生成,从而节省计算量和提高异常检测效率。
在一实施例中,历史时序向量对应的时间长度大于或等于第一预设时间长度,当前时序向量对应的时间长度小于或等于第二预设时间长度。需要说明的是,采用长时序数据的历史时序数据生成的历史时序向量对应的时间长度大于或等于第一预设时间长度,而采用短时序数据的当前时序数据生成的当前时序向量对应的时间长度小于或等于第二预设时间长度,能够提高异常检测的准确度,且长时序数据的历史时序数据能够以较低频率进行更新,在较长一段时间内无需改变,从而节省计算量。
例如,若历史时序数据为过去1周内记录的目标检测指标的时间序列数据,则生成的历史时序向量对应的时间长度为1周;若当前时序数据为当前1小时内记录的目标检测指标的时间序列数据,则生成的当前时序向量对应的时间长度为1小时。
在一实施例中,如图2所示,确定目标检测指标的历史时序向量,包括:子步骤S1021至子步骤S1023。
子步骤S1021、获取目标检测指标的历史时序数据,并确定历史时序数据对应的第一时间信息。
其中,历史时序数据可以包括目标检测指标的多个检测数据,第一时间信息包括第一时序、第一时间区间、第一时间间隔和/或每个检测数据的第一时间点。第一时序为历史时序数据对应的时间长度,如第一时序为1周,即该历史时序数据包括1周范围内的目标检测指标的多个检测数据;第一时间区间为历史时序数据对应的时间长度的区间范围,如第一时间区间为(14日,21日),即该历史时序数据包括14日至21日内的目标检测指标的多个检测数据;第一时间间隔为历史时序数据中的每两个检测数据之间的采集时间间隔;第一时间点为历史时序数据中的每个检测数据对应的时间点,第一时序与第一时间间隔之间的比值为历史时序数据中的检测数据的数量。
在一实施例中,目标检测指标为k个,第一时间信息包括历史时序数据的m个时间点信息,k、m为大于等于1的正整数;其中,每个时间点信息对应一个检测数据,m个时间点信息表示历史时序数据中存在m个检测数据,每个目标检测指标对应一个时序数据,k个目标检测指标表示历史时序数据共存在k*m个检测数据。
子步骤S1022、根据历史时序数据和第一时间信息生成第一时序向量,并根据历史时序数据、第一时间信息和预设函数生成第一修正向量。
其中,预设函数包括正弦函数、余弦函数、或者正弦函数与余弦函数的组合函数,本实施例不做具体限定。例如,第一时序向量为k*m的矩阵向量,第一修正向量为e*m的矩阵向量。
在一实施例中,目标检测指标为k个,第一时间信息包括历史时序数据的m个时间点信息,k、m为大于等于1的正整数;根据历史时序数据和第一时间信息生成第一时序向量,包括:按照m个时间点信息,对k个目标检测指标的历史时序数据进行排列,以生成k*m的矩阵向量,并将矩阵向量作为第一时序向量。需要说明的是,历史时序数据可以包括目标检测指标的多个检测数据,每个时间点信息对应一个检测数据,m个时间点信息表示历史时序数据中存在m个检测数据,每个目标检测指标对应一个时序数据,k个目标检测指标表示历史时序数据共存在k*m个检测数据。按照m个时间点信息确定每个目标检测指标中的多个检测数据的排列顺序,并根据每个目标检测指标中的多个检测数据的排列顺序,对k个目标检测指标的历史时序数据进行排列,得到k*m个检测数据的矩阵向量,该k*m的矩阵向量即为第一时序向量,k代表矩阵向量的宽度或者长度。通过历史时序数据和第一时间信息,能够准确地生成历史时序数据的第一时序向量。
在一实施例中,根据历史时序数据、第一时间信息和预设函数生成第一修正向量,包括:获取预设函数,并将历史时序数据和第一时间信息代入至预设函数,得到历史时序数据的修正信息;根据历史时序数据和历史时序数据的修正信息,生成第一修正向量。其中,预设函数为包括时间特征参数的正弦函数、余弦函数、或者正弦函数与余弦函数的组合函数,例如预设函数为A cos(2πxt),其中A为预设系数,t为时间特征参数,x为设置的未知参数,可用于表征历史时序数据中的检测数据。需要说明的是,将历史时序数据和第一时间信息代入至预设函数,计算出不同时间点的检测数据的修正信息,并将不同时间点的检测数据的修正信息进行排列,得到第一修正向量,该第一修正向量用于修正第一时序向量,使得后续计算出的预测数据更加准确,也使得本申请实施例对异常检测的准确度更高。
示例性的,通过预设函数计算出的修正信息的数量为e,第一时间信息包括历史时序数据的m个时间点信息;按照m个时间点信息,对e个修正信息进行排列,以生成e*m的矩阵向量,并将该矩阵向量作为第一修正向量。其中,e代表矩阵向量的长度,m代表矩阵向量的宽度;或者,m代表矩阵向量的长度,e代表矩阵向量的宽度,本实施例不做具体限定。
子步骤S1023、拼接第一时序向量和第一修正向量,得到历史时序向量。
其中,拼接方法包括行拼接或者列拼接,可根据实际情况进行灵活运用和转置。例如,第一时序向量为k*m的矩阵向量,第一修正向量为e*m的矩阵向量,拼接得到(k+e)*m的矩阵向量,将该(k+e)*m的矩阵向量作为历史时序向量。或者,例如,第一时序向量为m*k的矩阵向量,第一修正向量为m*e的矩阵向量,拼接得到m*(k+e)的矩阵向量,将该m*(k+e)的矩阵向量作为历史时序向量。
在一实施例中,根据当前时序数据生成当前时序向量,包括:获取与当前时序数据对应的第二时间信息;根据当前时序数据和第二时间信息生成第二时序向量,根据当前时序数据、第二时间信息和预设函数生成第二修正向量;拼接第二时序向量和第二修正向量,得到当前时序向量。其中,当前时序数据可以包括目标检测指标的多个检测数据,第二时间信息包括第二时序、第二时间区间、第二时间间隔和/或每个检测数据的第二时间点。具体地,可参照前述生成历史时序向量的实施例,在此不再赘述。
示例性的,第二时序向量为k*n的矩阵向量,第二修正向量为e*n的矩阵向量,拼接得到(k+e)*n的矩阵向量,将该(k+e)*n的矩阵向量作为历史时序向量。
在一实施例中,从存储器中获取目标检测指标的历史时序数据的历史时序向量。需要说明的是,本申请实施例采用长时序数据的历史时序数据生成历史时序向量,历史生成的历史时序向量能够存储于存储器中,历史时序向量能够在很长一段时间(预设时间段)内复用,再次使用时能够直接通过存储器调用,无需频繁运算,节省了计算量。
步骤S103、通过第一Transformer模型,将历史时序向量和当前时序向量进行关联,得到关联时序向量。
其中,服务器存储有时序数据预测模型,该时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型。
在一实施例中,第一Transformer模型包括Transformer运算层和前馈神经网络层FNN;通过Transformer运算层,对历史时序向量和当前时序向量进行运算,得到关联时序数据;通过前馈神经网络层,对关联时序数据进行映射,得到关联时序向量。其中,Transformer运算层用于对历史时序向量和当前时序向量进行Transformer运算,前馈神经网络层FNN用于对Transformer运算层输出的运算结果进行全连接层映射,输出关联时序数据,以实现历史时序向量和当前时序向量中的各项目标检测指标的关联,两者关联后将覆盖当前时序数据与历史时序数据,以进行更准确地下一时序的预测,提高异常检测的准确度。
示例性的,通过Transformer运算层和前馈神经网络层FNN计算出历史时序向量history_window和当前时序向量current_window的关联时序序列(x3)。具体地,如图3所示,将历史时序向量history_window和当前时序向量current_window输入至第一Transformer模型,第一Transformer模型包括Transformer运算层和前馈神经网络层FNN。Transformer运算层对当前时序向量current_window进行Transformer运算得到x1,x1=Tranformer×S(history_window),×S表示经过了S层Transformer运算,并对当前时序向量S(current_window)进行Transformer运算得到x2,x2=Tranformer×S(current_window),;前馈神经网络层FNN对x1和x2进行全连接层映射,输出关联时序数据x3,x3=Densea out(attentionout*valueout),其中,前馈神经网络层FNN包括查询向量queryout、键向量keyout和值向量valueout,attentionout=softmax(queryout*keyout),valueout=Densev out(x1),keyout=Densek out(x1),queryout=Denseq out(x2),Dense表示全连接层,softmax是激活函数。
在一实施例中,第一Transformer时序模型可以为n个,n为大于等于2的正整数。若第一Transformer时序模型可以为n个,则输入的历史时序向量和当前时序向量将按照设置的层级,依次经由每个第一Transformer时序模型进行计算,直至第n个第一Transformer时序模型完成计算并输出,得到关联时序数据。
步骤S104、将关联时序向量输入至第二Transformer模型,得到当前时序数据的下一时序的预测数据。
其中,第二Transformer模型与前述的第一Transformer模型的结构一致,两者存在共性,也包括Transformer运算层和前馈神经网络层FNN,其区别在于模型参数不同。通过第二Transformer模型对关联时序向量进行处理,输出当前时序数据的下一时序的预测数据。通过第二Transformer模型和关联时序向量,将当前时序数据与历史时序数据中的相似时段关联,从而得到当前时序数据的下一时序的预测数据。
示例性的,将关联时序数据x3输入至第二Transformer时序模型,即将关联时序数据x3再经过一次Transformer运算,并通过前馈神经网络层FNN进行全连接层映射Dense,最终完成输出,得到当前时序数据的下一时序的预测数据
步骤S105、获取当前时序数据的下一时序的目标时序数据,通过预测数据和目标时序数据,对目标时序数据进行异常检测。
在得到当前时序数据的下一时序的预测数据之后,获取当前时序数据的下一时序的目标时序数据,其中,当前时序数据与第二时序相对应,第二时序为当前时序数据对应的时间长度,例如第二时序为1小时,即该当前时序数据包括1小时内的目标检测指标的多个检测数据。目标时序数据对应的时间长度与当前时序数据对应的时间长度相同,即目标时序数据与第二时序相对应,例如包括1小时内的目标检测指标的多个检测数据。目标时序数据是当前时序数据的下一时序的时序数据,因此,目标时序数据对应的时间区间是根据当前时序数据对应的第二时间区间加第二时序得到的,例如当二时序为1小时,当前时序数据对应的第二时间区间是(12时,13时),则目标时序数据对应的时间区间为(13时,14时)。
在一实施例中,将预测数据和目标时序数据进行对比,得到预测数据和目标时序数据之间的相对误差;根据该相对误差对目标时序数据进行异常检测,得到异常检测结果。其中,异常检测结果包括数据异常和数据正常。当预测数据和目标时序数据之间的相对误差大于或等于预设误差阈值,则异常检测结果为数据异常,当预测数据和目标时序数据之间的相对误差小于预设误差阈值,则异常检测结果为数据正常。本申请采用了当前时序数据和历史时序数据的关联时序向量对当前时序数据的下一时序的目标时序数据进行预测,预测数据能够适应目标检测指标自身随时间的变化趋势,提高了异常检测的准确率。
在一实施例中,当确定目标时序数据为异常数据时,可以进行告警。例如服务器可以播放异常数据警报音,或者,点亮异常数据警示灯,或者将相应的告警信息发送至相关负责人员等。该告警信息的通知方式包括但不限于微信、短信、邮件、企业级通信平台等。
上述实施例提供的基于人工智能的数据检测方法,通过获取目标检测指标的当前时序数据,根据当前时序数据生成当前时序向量,并确定目标检测指标的历史时序数据的历史时序向量,再通过第一Transformer模型,将历史时序向量和当前时序向量进行关联,得到关联时序向量,然后将关联时序向量输入至第二Transformer模型,得到当前时序数据的下一时序的预测数据,最后获取当前时序数据的下一时序的目标时序数据,并通过预测数据和目标时序数据,对目标时序数据进行异常检测。通过Transformer模型对当前时序向量和历史时序向量进行处理,输出准确度更高的预测数据,极大提升了异常数据的检测准确度。
在一实施例中,该数据检测方法还包括:获取多个样本数据,样本数据包括第一时序数据、第二时序数据和标注的时序数据,第一时序数据的采集时间晚于第二时序数据;根据第一时序数据生成第一时序向量,并根据第二时序数据生成第二时序向量;通过第一预设Transformer模型,对第一时序向量和第二时序向量进行关联,得到目标时序向量;将目标时序向量输入至第二预设Transformer模型,得到预测的时序数据;根据预测的时序数据和标注的时序数据,更新第一预设Transformer模型和第二预设Transformer模型的模型参数;继续对更新后的第一预设Transformer模型和第二预设Transformer模型进行迭代训练,直至第一预设Transformer模型和第二预设Transformer模型收敛,得到时序数据预测模型。通过第一时序数据和第二时序数据的关联时序向量训练得到时序数据预测模型,可以有效的提高模型训练的效果,训练好的时序数据预测模型可用于对异常数据的检测。
其中,第一时序数据的采集时间晚于第二时序数据,第一时序数据例如为当前时序数据,第二时序数据例如为历史时序数据。当前时序数据包括当前时序内的目标检测指标的时间序列数据,例如,当前时序数据为1小时内记录的多个内存使用率的时间序列数据。历史时序数据包括历史时序内的目标检测指标的时间序列数据,例如,历史时序数据为过去1周内记录的目标检测指标的时间序列数据。
在一实施例中,第二时序数据为长时序数据,第一时序数据为短时序数据。其中,第二时序数据对应的时间长度大于或等于第一预设时间长度,第一时序数据对应的时间长度小于或等于第二预设时间长度,第二时序数据对应的时间长度大于第一时序数据对应的时间长度,第一预设时间长度和第二预设时间长度可根据实际情况进行设置。需要说明的是,本实施例采用长时序数据的第二时序数据和短时序数据的第一时序数据来以预测下一时序,异常检测的精度较高,且长时序数据的第二时序数据能够以较低频率进行更新,从而节省计算量。
其中,将第一时序数据转化为第一时序向量,以及将第二时序数据转化为第二时序向量。第二时序向量可以由第二时序数据生成的,并存储于存储器的历史数据中,在后续使用时可以从历史数据中直接获取,因此第二时序向量可以复用而不必重复生成,从而节省计算量和提高模型训练效率。
在一实施例中,第二时序向量对应的时间长度大于或等于第一预设时间长度,第一时序向量对应的时间长度小于或等于第二预设时间长度。需要说明的是,采用长时序数据的第二时序数据生成的第二时序向量对应的时间长度大于或等于第一预设时间长度,而采用短时序数据的第一时序数据生成的第一时序向量对应的时间长度小于或等于第二预设时间长度,能够提高训练好的模型辅助进行数据异常检测的准确度,且长时序数据的第二时序数据能够以较低频率进行更新,在较长一段时间内无需改变,从而节省计算量。
在一实施例中,根据第二时序数据生成第二时序向量,包括:获取目标检测指标的第二时序数据,并确定第二时序数据对应的第一时间信息;根据第二时序数据和第一时间信息生成第一时序向量,并根据第二时序数据、第一时间信息和预设函数生成第一修正向量;拼接第一时序向量和第一修正向量,得到第二时序向量。具体地,可参阅前述数据检测方法的实施例中的对应过程,本实施例在此不再赘述。
在一实施例中,根据第一时序数据生成第一时序向量,包括:获取与第一时序数据对应的第二时间信息;根据第一时序数据和第二时间信息生成第二时序向量,根据第一时序数据、第二时间信息和预设函数生成第二修正向量;拼接第二时序向量和第二修正向量,得到第一时序向量。其中,第一时序数据可以包括目标检测指标的多个检测数据,第二时间信息包括第二时序、第二时间区间、第二时间间隔和/或每个检测数据的第二时间点。具体地,可参照前述数据检测方法中的生成历史时序向量的实施例,在此不再赘述。
其中,第一预设Transformer时序模型可以为一个或多个,第一预设Transformer模型包括Transformer运算层和前馈神经网络层FNN;通过Transformer运算层,对第二时序向量和第一时序向量进行运算,得到关联时序数据;通过前馈神经网络层,对关联时序数据进行映射,得到关联时序向量。其中,Transformer运算层用于对第二时序向量和第一时序向量进行Transformer运算,前馈神经网络层FNN用于对Transformer运算层输出的运算结果进行全连接层映射,输出关联时序数据,以实现第二时序向量和第一时序向量中的各项目标检测指标的关联,两者关联后将覆盖第一时序数据与第二时序数据,以进行更准确地下一时序的预测,提高异常检测的准确度。
其中,第二预设Transformer模型与前述的第一预设Transformer模型的结构一致,两者存在共性,也包括Transformer运算层和前馈神经网络层FNN,其区别在于模型参数不同。通过第二预设Transformer模型对关联时序向量进行处理,输出下一时序的预测的时序数据。通过第二Transformer模型和关联时序向量,将第一时序数据与第二时序数据中的相似时段关联,从而得到第一时序数据的下一时序的预测的时序数据。
其中,根据预测的时序数据和标注的时序数据,更新第一预设Transformer模型和第二预设Transformer模型的模型参数,继续对更新后的第一预设Transformer模型和第二预设Transformer模型进行迭代训练,直至第一预设Transformer模型和第二预设Transformer模型收敛,得到时序数据预测模型。通过第一时序数据和第二时序数据的关联时序向量训练得到时序数据预测模型,模型训练效果更好,对异常数据的检测精度更高。
在一实施例中,通过预测的时序数据和标注的时序数据,计算第一Transformer预设模型的第一损失函数和第二预设Transformer模型的第二模型参数;基于第一损失函数调整第一预设Transformer模型的模型参数,并基于第二损失函数调整第二预设Transformer模型的模型参数;对经过调整模型参数的第一预设Transformer模型和第二预设Transformer模型进行迭代训练;当确定训练的第一预设Transformer模型和第二预设Transformer模型处于收敛状态,得到时序数据预测模型。
在一实施例中,将第一预设Transformer模型和第二预设Transformer模型进行融合,得到目标Transformer模型;通过预测的时序数据和标注的时序数据,计算目标Transformer模型的损失函数,并基于损失函数确定目标Transformer模型的模型参数,根据模型参数对目标Transformer模型进行迭代训练,并确定训练的目标Transformer模型是否处于收敛状态;若确定训练的目标Transformer模型处于收敛状态,得到时序数据预测模型。其中,损失函数例如为MSE(mean-square error,均方误差)损失函数,并使用Adam优化算法对目标Transformer模型进行迭代训练。需要说明的是,训练完成的异常数据检测模型,便能够基于输入的第二时序数据与第一时序数据,进行下一窗口时序数据(第一时序数据的下一时序的目标时序数据)的预测。可以理解的是,也可以采用适应性梯度算法(AdaGrad)、均方根传播(RMSProp)对目标Transformer模型进行迭代训练,本申请不做具体限定。
请参照图4,图4为本申请实施例提供的一种基于人工智能的数据检测装置的示意性框图。
如图4所示,该基于人工智能的数据检测装置300包括:获取模块301、生成模块302、关联模块303、预测模块304和检测模块305。该数据检测装置300可应用于服务器,所述服务器存储有时序数据预测模型,所述时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型,其中:
获取模块301,用于获取目标检测指标的当前时序数据;
生成模块302,用于根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;
关联模块303,用于通过第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;
预测模块304,用于将所述关联时序向量输入至第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;
所述获取模块301,还用于获取所述当前时序数据的下一时序的目标时序数据;
检测模块305,用于通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。
在一个实施例中,所述历史时序向量对应的时间长度大于或等于第一预设时间长度,所述当前时序向量对应的时间长度小于或等于第二预设时间长度。
在一个实施例中,如图5所示,所述生成模块302包括:
获取子模块3021,用于获取所述目标检测指标的历史时序数据,并确定所述历史时序数据对应的第一时间信息;
生成子模块3022,用于根据所述历史时序数据和第一时间信息生成第一时序向量,并根据所述历史时序数据、第一时间信息和预设函数生成第一修正向量;
拼接子模块3023,用于拼接所述第一时序向量和第一修正向量,得到历史时序向量。
在一个实施例中,所述目标检测指标为k个,第一时间信息包括历史时序数据的m个时间点信息,k、m为大于等于1的正整数;生成模块302还用于:
按照所述m个时间点信息,对k个所述目标检测指标的历史时序数据进行排列,以生成k*m的矩阵向量,并将所述矩阵向量作为第一时序向量。
在一个实施例中,生成模块302还用于:
获取预设函数,并将所述历史时序数据和第一时间信息代入至所述预设函数,得到所述历史时序数据的修正信息;
根据所述历史时序数据和所述历史时序数据的修正信息,生成第一修正向量。
在一个实施例中,所述第一Transformer模型包括Transformer运算层和前馈神经网络层;关联模块303还用于:
通过所述Transformer运算层,对所述历史时序向量和当前时序向量进行运算,得到关联时序数据;
通过所述前馈神经网络层,对所述关联时序数据进行映射,得到关联时序向量。
在一个实施例中,该数据检测装置300还用于:
获取多个样本数据,所述样本数据包括第一时序数据、第二时序数据和标注的时序数据,所述第一时序数据的采集时间晚于所述第二时序数据;
根据所述第一时序数据生成第一时序向量,并根据所述第二时序数据生成第二时序向量;
通过第一预设Transformer模型,对所述第一时序向量和所述第二时序向量进行关联,得到目标时序向量;
将所述目标时序向量输入至第二预设Transformer模型,得到预测的时序数据;
根据所述预测的时序数据和所述标注的时序数据,更新所述第一预设Transformer模型和第二预设Transformer模型的模型参数;
继续对更新后的所述第一预设Transformer模型和第二预设Transformer模型进行迭代训练,直至所述第一预设Transformer模型和第二预设Transformer模型收敛,得到所述时序数据预测模型。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块及单元的具体工作过程,可以参考前述基于人工智能的数据检测方法实施例中的对应过程,在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图6所示的服务器上运行。
请参阅图6,图6为本申请实施例提供的一种服务器的结构示意性框图。该服务器存储有时序数据预测模型,所述时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型。
如图6所示,该服务器包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种基于人工智能的数据检测方法。
处理器用于提供计算和控制能力,支撑整个服务器的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种基于人工智能的数据检测方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取目标检测指标的当前时序数据;
根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;
通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;
将所述关联时序向量输入至所述第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;
获取所述当前时序数据的下一时序的目标时序数据,通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。
在一个实施例中,所述历史时序向量对应的时间长度大于或等于第一预设时间长度,所述当前时序向量对应的时间长度小于或等于第二预设时间长度。
在一个实施例中,所述处理器在实现所述确定所述目标检测指标的历史时序数据的历史时序向量时,用于实现:
获取所述目标检测指标的历史时序数据,并确定所述历史时序数据对应的第一时间信息;
根据所述历史时序数据和第一时间信息生成第一时序向量,并根据所述历史时序数据、第一时间信息和预设函数生成第一修正向量;
拼接所述第一时序向量和第一修正向量,得到历史时序向量。
在一个实施例中,所述目标检测指标为k个,第一时间信息包括历史时序数据的m个时间点信息,k、m为大于等于1的正整数;
所述处理器在实现所述根据所述历史时序数据和第一时间信息生成第一时序向量时,用于实现:
按照所述m个时间点信息,对k个所述目标检测指标的历史时序数据进行排列,以生成k*m的矩阵向量,并将所述矩阵向量作为第一时序向量。
在一个实施例中,所述处理器在实现所述根据所述历史时序数据、第一时间信息和预设函数生成第一修正向量时,用于实现:
获取预设函数,并将所述历史时序数据和第一时间信息代入至所述预设函数,得到所述历史时序数据的修正信息;
根据所述历史时序数据和所述历史时序数据的修正信息,生成第一修正向量。
在一个实施例中,所述第一Transformer模型包括Transformer运算层和前馈神经网络层;所述处理器在实现所述通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量时,用于实现:
通过所述Transformer运算层,对所述历史时序向量和当前时序向量进行运算,得到关联时序数据;
通过所述前馈神经网络层,对所述关联时序数据进行映射,得到关联时序向量。
在一个实施例中,所述处理器还用于实现:
获取多个样本数据,所述样本数据包括第一时序数据、第二时序数据和标注的时序数据,所述第一时序数据的采集时间晚于所述第二时序数据;
根据所述第一时序数据生成第一时序向量,并根据所述第二时序数据生成第二时序向量;
通过第一预设Transformer模型,对所述第一时序向量和所述第二时序向量进行关联,得到目标时序向量;
将所述目标时序向量输入至第二预设Transformer模型,得到预测的时序数据;
根据所述预测的时序数据和所述标注的时序数据,更新所述第一预设Transformer模型和第二预设Transformer模型的模型参数;
继续对更新后的所述第一预设Transformer模型和第二预设Transformer模型进行迭代训练,直至所述第一预设Transformer模型和第二预设Transformer模型收敛,得到所述时序数据预测模型。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述服务器的具体工作过程,可以参考前述基于人工智能的数据检测方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本申请基于人工智能的数据检测方法的各个实施例。
其中,所述计算机可读存储介质可以是前述实施例所述的服务器的内部存储单元,例如所述服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备,例如所述服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于人工智能的数据检测方法,其特征在于,应用于服务器,所述服务器存储有时序数据预测模型,所述时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型,所述方法包括:
获取目标检测指标的当前时序数据;
根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;
通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;
将所述关联时序向量输入至所述第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;
获取所述当前时序数据的下一时序的目标时序数据,通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。
2.如权利要求1所述的数据检测方法,其特征在于,所述历史时序向量对应的时间长度大于或等于第一预设时间长度,所述当前时序向量对应的时间长度小于或等于第二预设时间长度。
3.如权利要求1所述的数据检测方法,其特征在于,所述确定所述目标检测指标的历史时序数据的历史时序向量,包括:
获取所述目标检测指标的历史时序数据,并确定所述历史时序数据对应的第一时间信息;
根据所述历史时序数据和第一时间信息生成第一时序向量,并根据所述历史时序数据、第一时间信息和预设函数生成第一修正向量;
拼接所述第一时序向量和第一修正向量,得到历史时序向量。
4.如权利要求3所述的数据检测方法,其特征在于,所述目标检测指标为k个,第一时间信息包括历史时序数据的m个时间点信息,k、m为大于等于1的正整数;
所述根据所述历史时序数据和第一时间信息生成第一时序向量,包括:
按照所述m个时间点信息,对k个所述目标检测指标的历史时序数据进行排列,以生成k*m的矩阵向量,并将所述矩阵向量作为第一时序向量。
5.如权利要求3所述的数据检测方法,其特征在于,所述根据所述历史时序数据、第一时间信息和预设函数生成第一修正向量,包括:
获取预设函数,并将所述历史时序数据和第一时间信息代入至所述预设函数,得到所述历史时序数据的修正信息;
根据所述历史时序数据和所述历史时序数据的修正信息,生成第一修正向量。
6.如权利要求1-5中任一项所述的数据检测方法,其特征在于,所述第一Transformer模型包括Transformer运算层和前馈神经网络层;所述通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量,包括:
通过所述Transformer运算层,对所述历史时序向量和当前时序向量进行运算,得到关联时序数据;
通过所述前馈神经网络层,对所述关联时序数据进行映射,得到关联时序向量。
7.如权利要求1-5中任一项所述的数据检测方法,其特征在于,所述方法还包括:
获取多个样本数据,所述样本数据包括第一时序数据、第二时序数据和标注的时序数据,所述第一时序数据的采集时间晚于所述第二时序数据;
根据所述第一时序数据生成第一时序向量,并根据所述第二时序数据生成第二时序向量;
通过第一预设Transformer模型,对所述第一时序向量和所述第二时序向量进行关联,得到目标时序向量;
将所述目标时序向量输入至第二预设Transformer模型,得到预测的时序数据;
根据所述预测的时序数据和所述标注的时序数据,更新所述第一预设Transformer模型和第二预设Transformer模型的模型参数;
继续对更新后的所述第一预设Transformer模型和第二预设Transformer模型进行迭代训练,直至所述第一预设Transformer模型和第二预设Transformer模型收敛,得到所述时序数据预测模型。
8.一种基于人工智能的数据检测装置,其特征在于,应用于服务器,所述服务器存储有时序数据预测模型,所述时序数据预测模型包括预先训练好的第一Transformer模型和第二Transformer模型,所述数据检测装置包括:
获取模块,用于获取目标检测指标的当前时序数据;
生成模块,用于根据所述当前时序数据生成当前时序向量,并确定所述目标检测指标的历史时序数据的历史时序向量;
关联模块,用于通过所述第一Transformer模型,将所述历史时序向量和当前时序向量进行关联,得到关联时序向量;
预测模块,用于将所述关联时序向量输入至所述第二Transformer模型,得到所述当前时序数据的下一时序的预测数据;
所述获取模块,还用于获取所述当前时序数据的下一时序的目标时序数据;
检测模块,用于通过所述预测数据和目标时序数据,对所述目标时序数据进行异常检测。
9.一种服务器,其特征在于,所述服务器包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一项所述的基于人工智能的数据检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的基于人工智能的数据检测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011639634.3A CN112732983B (zh) | 2020-12-31 | 2020-12-31 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
PCT/CN2021/097410 WO2022142120A1 (zh) | 2020-12-31 | 2021-05-31 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011639634.3A CN112732983B (zh) | 2020-12-31 | 2020-12-31 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112732983A true CN112732983A (zh) | 2021-04-30 |
CN112732983B CN112732983B (zh) | 2023-09-12 |
Family
ID=75608975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011639634.3A Active CN112732983B (zh) | 2020-12-31 | 2020-12-31 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112732983B (zh) |
WO (1) | WO2022142120A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591958A (zh) * | 2021-07-21 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 融合物联网数据和信息网数据的方法、装置及设备 |
CN114510968A (zh) * | 2022-01-21 | 2022-05-17 | 石家庄铁道大学 | 一种基于Transformer的故障诊断方法 |
WO2022142120A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技(深圳)有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
CN116149896A (zh) * | 2023-03-27 | 2023-05-23 | 阿里巴巴(中国)有限公司 | 时序数据异常检测方法、存储介质和电子设备 |
CN117473514A (zh) * | 2023-12-28 | 2024-01-30 | 华东交通大学 | 一种工控系统的智能运维方法及系统 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115475900B (zh) * | 2022-09-19 | 2023-10-27 | 江兴(淮安)汽车部件有限公司 | 一种传动轴自动化精密锻造的方法和系统 |
CN115840875A (zh) * | 2022-11-10 | 2023-03-24 | 北京擎天信安科技有限公司 | 一种基于Anomaly Transformer的毫米波雷达异常信号检测方法及系统 |
CN115514679B (zh) * | 2022-11-11 | 2023-04-28 | 浙江万胜智能科技股份有限公司 | 一种基于通信模块的异常来源监测方法及系统 |
CN115545362B (zh) * | 2022-12-05 | 2023-04-07 | 南方电网数字电网研究院有限公司 | 一种人工智能与时序分解组合的新能源中期功率预测方法 |
CN116684878B (zh) * | 2023-07-10 | 2024-01-30 | 北京中科网芯科技有限公司 | 一种5g信息传输数据安全监测系统 |
CN116820896B (zh) * | 2023-08-30 | 2023-11-24 | 南京南瑞信息通信科技有限公司 | 一种基于物理信号的非侵入式工控终端异常检测方法 |
CN117216701B (zh) * | 2023-09-13 | 2024-03-15 | 华夏安信物联网技术有限公司 | 智慧桥梁监测预警方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104020754A (zh) * | 2014-05-16 | 2014-09-03 | 国家电网公司 | 一种变电站一次主设备状态监测信息接入调控系统的方法 |
CN109542740A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
CN109815980A (zh) * | 2018-12-18 | 2019-05-28 | 北京三快在线科技有限公司 | 用户类型的预测方法、装置、电子设备及可读存储介质 |
CN110377447A (zh) * | 2019-07-17 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 一种异常数据检测方法、装置及服务器 |
CN111178645A (zh) * | 2020-04-14 | 2020-05-19 | 深圳市朝阳辉电气设备有限公司 | 电力设备异常检测方法、装置、控制设备及存储介质 |
CN111242793A (zh) * | 2020-01-16 | 2020-06-05 | 上海金仕达卫宁软件科技有限公司 | 医保数据异常的检测方法和装置 |
US20200311894A1 (en) * | 2017-09-29 | 2020-10-01 | Nec Corporation | Anomaly detection apparatus, anomaly detection method, and computer-readable recording medium |
CN111784062A (zh) * | 2020-07-07 | 2020-10-16 | 上海携旅信息技术有限公司 | 点击概率预测方法、系统、电子设备和介质 |
CN112037001A (zh) * | 2020-09-03 | 2020-12-04 | 云账户技术(天津)有限公司 | 打款风险预测模型训练方法、打款风险预测方法及其装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180006900A1 (en) * | 2016-06-29 | 2018-01-04 | Microsoft Technology Licensing, Llc | Predictive anomaly detection in communication systems |
CN110059858A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 服务器资源预测方法、装置、计算机设备及存储介质 |
CN111130940A (zh) * | 2019-12-26 | 2020-05-08 | 众安信息技术服务有限公司 | 异常数据检测方法、装置及服务器 |
CN112732983B (zh) * | 2020-12-31 | 2023-09-12 | 平安科技(深圳)有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
-
2020
- 2020-12-31 CN CN202011639634.3A patent/CN112732983B/zh active Active
-
2021
- 2021-05-31 WO PCT/CN2021/097410 patent/WO2022142120A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104020754A (zh) * | 2014-05-16 | 2014-09-03 | 国家电网公司 | 一种变电站一次主设备状态监测信息接入调控系统的方法 |
CN109542740A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
US20200311894A1 (en) * | 2017-09-29 | 2020-10-01 | Nec Corporation | Anomaly detection apparatus, anomaly detection method, and computer-readable recording medium |
CN109815980A (zh) * | 2018-12-18 | 2019-05-28 | 北京三快在线科技有限公司 | 用户类型的预测方法、装置、电子设备及可读存储介质 |
CN110377447A (zh) * | 2019-07-17 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 一种异常数据检测方法、装置及服务器 |
CN111242793A (zh) * | 2020-01-16 | 2020-06-05 | 上海金仕达卫宁软件科技有限公司 | 医保数据异常的检测方法和装置 |
CN111178645A (zh) * | 2020-04-14 | 2020-05-19 | 深圳市朝阳辉电气设备有限公司 | 电力设备异常检测方法、装置、控制设备及存储介质 |
CN111784062A (zh) * | 2020-07-07 | 2020-10-16 | 上海携旅信息技术有限公司 | 点击概率预测方法、系统、电子设备和介质 |
CN112037001A (zh) * | 2020-09-03 | 2020-12-04 | 云账户技术(天津)有限公司 | 打款风险预测模型训练方法、打款风险预测方法及其装置 |
Non-Patent Citations (2)
Title |
---|
MICHAEL JURASOVIC ET AL: "Day Ahead Load Forecasting for the Modern Distribution Network - A Tasmanian Case Study", 《IEEE XPLORE》, pages 1 - 6 * |
李文: "时间序列预测与深度学习:文献综述与应用实例", 《计算机应用与软件》, vol. 37, no. 10, pages 64 - 84 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022142120A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技(深圳)有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
CN113591958A (zh) * | 2021-07-21 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 融合物联网数据和信息网数据的方法、装置及设备 |
CN113591958B (zh) * | 2021-07-21 | 2024-03-19 | 杭州海康威视数字技术股份有限公司 | 融合物联网数据和信息网数据的方法、装置及设备 |
CN114510968A (zh) * | 2022-01-21 | 2022-05-17 | 石家庄铁道大学 | 一种基于Transformer的故障诊断方法 |
CN116149896A (zh) * | 2023-03-27 | 2023-05-23 | 阿里巴巴(中国)有限公司 | 时序数据异常检测方法、存储介质和电子设备 |
CN116149896B (zh) * | 2023-03-27 | 2023-07-21 | 阿里巴巴(中国)有限公司 | 时序数据异常检测方法、存储介质和电子设备 |
CN117473514A (zh) * | 2023-12-28 | 2024-01-30 | 华东交通大学 | 一种工控系统的智能运维方法及系统 |
CN117473514B (zh) * | 2023-12-28 | 2024-03-15 | 华东交通大学 | 一种工控系统的智能运维方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112732983B (zh) | 2023-09-12 |
WO2022142120A1 (zh) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112732983B (zh) | 基于人工智能的数据检测方法、装置、服务器及存储介质 | |
CN110888788A (zh) | 异常检测方法、装置、计算机设备及存储介质 | |
US20190354836A1 (en) | Dynamic discovery of dependencies among time series data using neural networks | |
US20170082665A1 (en) | Detecting Non-Technical Losses in Electrical Networks Based on Multi-Layered Statistical Techniques from Smart Meter Data | |
CN112734128A (zh) | 一种基于优化rbf的7日电力负荷峰值预测方法 | |
CN111914516B (zh) | 一种网络数据预测序列生成方法、装置、设备及存储介质 | |
JP5413240B2 (ja) | イベント予測システムおよびイベント予測方法、ならびにコンピュータ・プログラム | |
CN112468312A (zh) | 一种网络流量预测方法及通信设备和存储介质 | |
CN116187552A (zh) | 异常检测方法、计算设备及计算机存储介质 | |
CN106598822A (zh) | 一种用于容量评估的异常数据检测方法及装置 | |
JP2021108121A (ja) | 様々な空間解像度および時間解像度の予報を組み合わせる方法、装置、及び、プログラム | |
US20220404235A1 (en) | Improving data monitoring and quality using ai and machine learning | |
CN113487086B (zh) | 设备剩余使用寿命预测方法、装置、计算机设备和介质 | |
CN112131274B (zh) | 时间序列异常点的检测方法、装置、设备及可读存储介质 | |
Fu et al. | SPC methods for nonstationary correlated count data with application to network surveillance | |
CN113962874A (zh) | 母线负荷模型的训练方法、装置、设备及存储介质 | |
Shen et al. | Approximate uncertain program | |
Fan et al. | Optimally maintaining a multi-state system with limited imperfect preventive repairs | |
CN116306030A (zh) | 考虑预测误差和波动分布的新能源预测动态场景生成方法 | |
CN109343952B (zh) | 贝叶斯网络确定方法、装置、存储介质和电子设备 | |
CN115952916A (zh) | 基于人工智能的风电功率预测误差修正方法、装置及设备 | |
Di Persio et al. | Markov switching model analysis of implied volatility for market indexes with applications to S&P 500 and dax | |
US11636377B1 (en) | Artificial intelligence system incorporating automatic model updates based on change point detection using time series decomposing and clustering | |
US20230038977A1 (en) | Apparatus and method for predicting anomalous events in a system | |
Ramesh et al. | Electrical power system state estimation meter placement—a comparative survey report |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |