CN110473084A - 一种异常检测方法和装置 - Google Patents
一种异常检测方法和装置 Download PDFInfo
- Publication number
- CN110473084A CN110473084A CN201910646499.6A CN201910646499A CN110473084A CN 110473084 A CN110473084 A CN 110473084A CN 201910646499 A CN201910646499 A CN 201910646499A CN 110473084 A CN110473084 A CN 110473084A
- Authority
- CN
- China
- Prior art keywords
- stroke count
- count sequence
- transaction stroke
- transaction
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明的实施例提供了一种异常检测方法和装置,涉及数据处理技术领域,解决了如何监测银行系统在办理不同银行业务时是否存在遗漏或者误报的问题。该方法包括,获取预设时间段内的第一交易笔数序列;根据第一交易笔数序列,确定第一交易笔数序列矩阵;根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;根据相似度函数、第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的相似度;根据相似度,确定满足预设条件时,则预设时间段存在异常。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种异常检测方法和装置。
背景技术
银行系统要求7*24小时不间断运行,后台产品众多,完全通过人工监控几乎是不可能的,因此非常有必要使用机器学习和数据挖掘技术进行自动化监测并预警。
传统监控方式是系统级监控,比如将交易失败率的阈值设置在5%或者是10%,属于统一规则设置;随着银行业务的扩展,不同业务的曲线也有截然不同的特征,容易产生遗漏或者误报。
由上述方案可知,如何监测银行系统在办理不同银行业务时是否存在遗漏或者误报成为了一个亟待解决的问题。
发明内容
本发明的实施例提供一种异常检测方法和装置,解决了如何监测银行系统在办理不同银行业务时是否存在遗漏或者误报的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明的实施例提供一种异常检测方法,包括:获取预设时间段内的第一交易笔数序列;其中,第一交易笔数序列包括至少一笔交易数,每个交易数对应一个时刻;根据第一交易笔数序列,确定第一交易笔数序列矩阵;根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;其中,变分自编码异常检测模型用于根据原始数据的分布,生成与原始数据相似的数据;根据相似度函数、第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的相似度;其中,相似度用于指示该时刻存在异常的概率,异常包括遗漏或者误报中的任一项;根据相似度,确定满足预设条件时,则预设时间段存在异常。
由上述方案可知,本发明的实施例提供的异常检测方法,通过变分自编码异常检测模型生成与第一交易笔数序列矩阵相似的第二交易笔数序列矩阵,并根据第一交易笔数序列矩阵和第二交易笔数序列矩阵确定该预设时间内是否存在异常;当根据第一交易笔数序列矩阵和第二交易笔数序列矩阵确定的相似度满足预设条件时,则预设时间段存在异常,从而可以大大的缩小人工查找异常的范围;同时无需人工实时监控交易数据,降低了运维的成本;因此,解决了如何监测银行系统在办理不同银行业务时是否存在遗漏或者误报的问题。
第二方面,本发明的实施例提供一种异常检测装置,包括:获取单元,用于获取预设时间段内的第一交易笔数序列;其中,第一交易笔数序列包括至少一笔交易数,每个交易数对应一个时刻;处理单元,用于根据获取单元获取的第一交易笔数序列,确定第一交易笔数序列矩阵;处理单元,还用于根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;其中,变分自编码异常检测模型用于根据原始数据的分布,生成与原始数据相似的数据;处理单元,还用于根据相似度函数、第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的相似度;其中,相似度用于指示该时刻存在异常的概率;处理单元,还用于根据相似度,确定满足预设条件时,则预设时间段存在异常。
第三方面,本发明的实施例提供一种异常检测装置,包括:通信接口、处理器、存储器、总线;存储器用于存储计算机执行指令,处理器与存储器通过总线连接,当异常检测装置运行时,处理器执行存储器存储的计算机执行指令,以使异常检测装置执行如上述第一方面提供的方法。
第四方面,本发明的实施例提供一种计算机存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上述第一方面提供的方法。
可以理解地,上述提供的任一种异常检测装置用于执行上文所提供的第一方面对应的方法,因此,其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果,此处不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例提供一种异常检测方法的网络架构图;
图2为本发明的实施例提供一种异常检测方法的流程示意图之一;
图3为本发明的实施例提供一种异常检测方法的流程示意图之二;
图4为本发明的实施例提供一种异常检测方法的流程示意图之三;
图5为本发明的实施例提供一种异常检测方法的流程示意图之四;
图6为本发明的实施例提供一种异常检测装置的结构示意图之一;
图7为本发明的实施例提供一种异常检测装置的结构示意图之二。
附图标记:
异常检测装置-10;
获取单元-101;处理单元-102。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于清楚描述本发明实施例的技术方案,在本发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本发明实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个网络是指两个或两个以上的网络。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系,例如A/B表示A或者B。
图1为本发明的实施例提供的异常检测方法的网络架构图,包括:生产系统模块、数据整合预处理模块、模型训练模块、变分自编码模块和异常判别及展示模块;其中,生产系统模块用于获取银行各交易渠道的交易数据,数据整合预处理模块用于对生产系统模块获取的实时交易数据和历史交易数据进行整合及预处理。其中,整合包括不同系统数据交叉印证,数据优选;预处理主要是数据清洗,数据校准和标准化处理。变分自编码模块用于根据模型训练模块中的训练器给出的训练数据训练编码器和解码器,从而形成变分自编码模型。模型训练模块包括训练器和预测器。其中训练器控制迭代次数,预测器根据数据整合预处理模块处理后的交易数据以及变分自编码模型生成预测数据;异常判别及展示模块包括异常检测模块和异常展示模块。其中异常检测模块通过比较生产系统获取的原始交易数据和模型训练模块生成的预测数据的相似度,判别是否异常;异常展示模块用于通过Web或者APP界面提示异常检测模块的检测结果。
在本公开中所用的一些术语具有其在业界普通和习惯的意义。另外,对一些术语在本说明书中出现时会加以解释。但理解在本文中特别使用的几个术语会有所帮助。当提到变分自编码器是指基于变分贝叶斯推断的生成式对抗网络算法模型;当提到变分贝叶斯是指用于贝叶斯估计和机器学习领域中近似计算复杂积分的技术;当提到生成式对抗网络是指一种针对复杂分布的无监督学习算法;当提到无监督学习是指不需要标记数据但是精度更低一些。
为了解决传统监控方式是系统级监控,比如将交易失败率的阈值设置在5%或者是10%,属于统一规则设置;随着银行业务的扩展,不同业务的曲线也有截然不同的特征,容易产生遗漏或者误报的问题,本发明的实施例提供的异常检测方法,利用真实样本数据对应的第一交易笔数序列确定第一交易笔数序列矩阵,从而变分自编码异常检测模型根据第一交易笔数序列矩阵中的真实样本数据的分布,确定模拟样本数据的分布,并根据该模拟样本数据的分布生成第二交易笔数序列矩阵,进一步通过判别根据变分自编码异常检测模型和第一交易笔数序列矩阵确定的相似度是否满足预设条件,从而判断出预设时间是否存在异常,解决了如何监测银行系统在办理不同银行业务时是否存在遗漏或者误报的问题,具体的实现过程如下:
实施例一
本发明的实施例提供一种异常检测方法,如图2所示包括:
S101、获取预设时间段内的第一交易笔数序列;其中,第一交易笔数序列包括至少一笔交易数,每个交易数对应一个时刻。
需要说明的是,在实际的应用中,获取预设时间段内的第一交易笔数序列前,还包括:
获取预设时间段内的交易数据,根据交易数据中每个时刻的交易笔数(如某一时刻同时办理了3种不同的业务,此时对应该时刻的交易笔数为3)。
具体的,获取预设时间段内的第一交易笔数序列时,可以根据每个交易数对应的时刻的先后顺序进行排列,从得到对应该预设时间段的第一交易笔数序列。
S102、根据第一交易笔数序列,确定第一交易笔数序列矩阵。
可选的,根据第一交易笔数序列,确定第一交易笔数序列矩阵,如图3所示包括:
S1020、根据第一交易笔数序列,确定归一化后的第二交易笔数序列。
需要说明的是,在得到预设时间段内的交易笔数序列时,此时可能仅根据办理业务的交易数进行统计;而在实际的应用中,为了统一对办理业务的交易数的统计标准,因此需要对第以交易笔数序列进行归一化处理,从而保证得到的第二交易笔数序列的一致性。
S1021、根据第二交易笔数序列,确定缺失数据填充后的第三交易笔数序列。
需要说明的是,在实际的应用中,存在不是每个时刻均在办理业务的情况;此时,得到的第二交易笔数序列并不是连续的序列,因此需要对得到的第一交易笔数序列进行缺失数据填充;具体的,可以将没有产生业务办理的时刻(即该时刻需要进行缺失数据填充)的交易数填写为0。
S1022。根据滑动窗口算法和第三交易笔数序列,确定第一交易笔数序列矩阵。
具体的,根据滑动窗口算法和第三交易笔数序列,确定第一交易笔数序列矩阵,包括:
对第三交易笔数序列使用长度为n的滑动窗口,构建变分自编码异常检测模型的输入(即第一交易笔数序列矩阵)Matrixbefore={x1,x2,…xi,…xm-n+1},其中xi表示从第i秒起长度为n的第三交易笔数序列,m表示异常检测的周期(单位为秒)。
S103、根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;其中,变分自编码异常检测模型用于根据原始数据的分布,生成与原始数据相似的数据。
需要说明的是,变分自编码异常检测模型是基于变分自编码(VariationalAutoencoder)构建的,主要思想还是希望学习隐层变量,并将其用来表示原始数据,但是它加另一个条件,即隐层变量能学习原始数据(第一交易笔数序列矩阵)的分布,并反过来生产一些和原始数据相似的数据(可用于图片修复,让图片按训练集的数据分布变化)。
可选的,根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定第二交易笔数序列矩阵,如图4所示包括:
S1030、根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定潜在特征向量。
S1031、根据变分自编码异常检测模型和潜在特征向量,确定第二交易笔数序列矩阵。
需要说明的是,在实际的应用中,需要训练变分自编码异常检测模型,训练的过程如下:
其中,变分自编码异常检测模型包括编码器和解码器。
首先,变分自编码异常检测模型中的编码器的输入是第一交易笔数序列矩阵,输出是编码得到的潜在特征向量,按照如下结构构建编码器:
第一层使用8个卷积核,max-pooling为(3,3),尺寸为(3,3),激活函数为PreLU。
第二层为Dropout层,比例为0.5。
第三层使用16个卷积核,max-pooling为(3,3),尺寸为(3,3),激活函数为PreLU。
第四层使用32个卷积核,max-pooling为(3,3),尺寸为(3,3),激活函数为PreLU。
第五层为全局池化层。
第六层为64个结点的全连接层,激活函数为PreLU。
第七层为高斯采样层。
其次,变分自编码异常检测模型中的解码器的输入是编码器编码得到的潜在特征向量,输出是第二交易笔数序列矩阵,按照如下结构构建解码器:
第一层为反卷积层,使用32个卷积核,尺寸为(9,1);
第二层为反卷积层,使用16个卷积核,尺寸为(7,1);
第三层为反卷积层,使用8个卷积核,尺寸为(7,1)。
然后,按照上述得到的编码器和解码器构建变分自编码异常检测模型,然后根据历史的交易数据,采用Adam算法对变分自编码异常检测模型进行迭代训练,从而得到训练好的变分自编码异常检测模型。
示例性的,学习率(表示控制迭代到最优解的速度)设置为,batch_size(表示单次训练的样本数)设置为4,迭代训练次数为10000次。
最后,将根据第一交易数序列生成的第一交易数序列矩阵输入到训练好的变分自编码异常检测模型中,输出即为理想的第二交易笔数序列矩阵。
S104、根据相似度函数、第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的相似度;其中,相似度用于指示该时刻存在异常的概率,异常包括遗漏或者误报中的任一项。
可选的,相似度函数包括余弦相似度;根据相似度函数、第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的相似度,如图5所示包括:
S1040、根据第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的余弦相似度。
第一交易笔数序列矩阵和第二交易笔数序列矩阵可分别表示为[x1;x2…xi…xn-1;xn],[y1;y2…yi…yn-1;yn],其中xi表示第一交易笔数序列矩阵的第i行数据,yi表示第二交易笔数序列矩阵的第i行数据。将矩阵展平成向量即[x1,x2…xi…xn-1,xn]和[y1,y2…yi…yn-1,yn],转化成两个一维向量求相似度,记为向量m和n,这里了使用余弦相似度,如下公式计算。
其中,X表示余弦相似度。
根据相似度,确定满足预设条件时,则预设时间段存在异常,如图5包括:
S1050、确定余弦相似度中的最大值小于预设阈值时,则预设时间段存在异常。
具体的,由于预设时间段内包含至少一个时刻,因此,根据第一交易笔数序列矩阵和第二交易笔数序列矩阵,可以确定出每个时刻的余弦相似度;然后,根据每个时刻的余弦相似度,确定最大的余弦相似度为该预设时间段的余弦相似度;具体的,预设时间段内包含的时刻越小,对应的余弦相似度的精确度越高。
S105、根据相似度,确定满足预设条件时,则预设时间段存在异常。
具体的,确定相似度小于预设阈值时,则预设时间段存在异常。
示例性的,预设阈值为0.39,即当相似度小于0.39时,认为该预设时间段存在异常。
由上述方案可知,本发明的实施例提供的异常检测方法,通过变分自编码异常检测模型生成与第一交易笔数序列矩阵相似的第二交易笔数序列矩阵,并根据第一交易笔数序列矩阵和第二交易笔数序列矩阵确定该预设时间内是否存在异常;当根据第一交易笔数序列矩阵和第二交易笔数序列矩阵确定的相似度满足预设条件时,则预设时间段存在异常,从而可以大大的缩小人工查找异常的范围;同时无需人工实时监控交易数据,降低了运维的成本;因此,解决了如何监测银行系统在办理不同银行业务时是否存在遗漏或者误报的问题。
实施例二
本发明的实施例提供一种异常检测装置10,如图6所示包括:
获取单元101,用于获取预设时间段内的第一交易笔数序列;其中,第一交易笔数序列包括至少一笔交易数,每个交易数对应一个时刻。
处理单元102,用于根据获取单元101获取的第一交易笔数序列,确定第一交易笔数序列矩阵。
处理单元,还用于根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;其中,变分自编码异常检测模型用于根据原始数据的分布,生成与原始数据相似的数据。
处理单元102,还用于根据相似度函数、第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的相似度;其中,相似度用于指示该时刻存在异常的概率。
处理单元102,还用于根据相似度,确定满足预设条件时,则预设时间段存在异常。
可选的,处理单元102,具体用于根据获取单元101获取的第一交易笔数序列,确定归一化后的第二交易笔数序列。
处理单元102,具体用于根据第二交易笔数序列,确定缺失数据填充后的第三交易笔数序列。
处理单元,具体用于根据滑动窗口算法和第三交易笔数序列,确定第一交易笔数序列矩阵。
可选的,处理单元102,具体用于根据变分自编码异常检测模型和第一交易笔数序列矩阵,确定潜在特征向量。
处理单元102,具体用于根据变分自编码异常检测模型和潜在特征向量,确定第二交易笔数序列矩阵。
可选的,相似度函数包括余弦相似度;处理单元102,具体用于根据第一交易笔数序列矩阵和第二交易笔数序列矩阵,确定每一时刻的余弦相似度。
处理单元102,具体用于确定余弦相似度中的最大值小于预设阈值时,则预设时间段存在异常。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,其作用在此不再赘述。
在采用集成的模块的情况下异常检测装置10包括:存储单元、处理单元以及获取单元。处理单元用于对异常检测装置的动作进行控制管理,例如,处理单元用于支持异常检测装置执行图2中的过程S101、S102、S103、S104和S105;获取单元用于支持异常检测装置与其他设备的信息交互。存储单元,用于存储异常检测装置的程序代码和数据。
其中,以处理单元为处理器,存储单元为存储器,获取单元为通信接口为例。其中,异常检测装置参照图7中所示,包括通信接口501、处理器502、存储器503和总线504,通信接口501、处理器502通过总线504与存储器503相连。
处理器502可以是一个通用中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
存储器503可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(Random Access Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器503用于存储执行本申请方案的应用程序代码,并由处理器502来控制执行。通信接口501用于与其他设备进行信息交互,例如与遥控器的信息交互。处理器502用于执行存储器503中存储的应用程序代码,从而实现本申请实施例中所述的方法。
此外,还提供一种计算存储媒体(或介质),包括在被执行时进行上述实施例中的异常检测装置执行的方法操作的指令。另外,还提供一种计算机程序产品,包括上述计算存储媒体(或介质)。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:read-only memory,英文简称:ROM)、随机存取存储器(英文全称:random access memory,英文简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解地,上述提供的任一种异常检测装置用于执行上文所提供的实施例一对应的方法,因此,其所能达到的有益效果可参考上文实施例一的方法以及下文具体实施方式中对应的方案的有益效果,此处不再赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种异常检测方法,其特征在于,包括:
获取预设时间段内的第一交易笔数序列;其中,所述第一交易笔数序列包括至少一笔交易数,每个交易数对应一个时刻;
根据所述第一交易笔数序列,确定第一交易笔数序列矩阵;
根据变分自编码异常检测模型和所述第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;其中,所述变分自编码异常检测模型用于根据原始数据的分布,生成与所述原始数据相似的数据;
根据相似度函数、所述第一交易笔数序列矩阵和所述第二交易笔数序列矩阵,确定每一时刻的相似度;其中,所述相似度用于指示该时刻存在异常的概率,所述异常包括遗漏或者误报中的任一项;
根据所述相似度,确定满足预设条件时,则所述预设时间段存在异常。
2.根据权利要求1所述的异常检测方法,其特征在于,根据所述第一交易笔数序列,确定第一交易笔数序列矩阵,包括:
根据所述第一交易笔数序列,确定归一化后的第二交易笔数序列;
根据所述第二交易笔数序列,确定缺失数据填充后的第三交易笔数序列;
根据滑动窗口算法和所述第三交易笔数序列,确定第一交易笔数序列矩阵。
3.根据权利要求1所述的异常检测方法,其特征在于,根据变分自编码异常检测模型和所述第一交易笔数序列矩阵,确定第二交易笔数序列矩阵,包括:
根据变分自编码异常检测模型和所述第一交易笔数序列矩阵,确定潜在特征向量;
根据变分自编码异常检测模型和所述潜在特征向量,确定第二交易笔数序列矩阵。
4.根据权利要求1所述的异常检测方法,其特征在于,所述相似度函数包括余弦相似度;
根据相似度函数、所述第一交易笔数序列矩阵和所述第二交易笔数序列矩阵,确定每一时刻的相似度,包括:
根据所述第一交易笔数序列矩阵和所述第二交易笔数序列矩阵,确定每一时刻的余弦相似度;
根据所述相似度,确定满足预设条件时,则所述预设时间段存在异常,包括:
确定所述余弦相似度中的最大值小于预设阈值时,则所述预设时间段存在异常。
5.一种异常检测装置,其特征在于,包括:
获取单元,用于获取预设时间段内的第一交易笔数序列;其中,所述第一交易笔数序列包括至少一笔交易数,每个交易数对应一个时刻;
处理单元,用于根据所述获取单元获取的所述第一交易笔数序列,确定第一交易笔数序列矩阵;
所述处理单元,还用于根据变分自编码异常检测模型和所述第一交易笔数序列矩阵,确定第二交易笔数序列矩阵;其中,所述变分自编码异常检测模型用于根据原始数据的分布,生成与所述原始数据相似的数据;
所述处理单元,还用于根据相似度函数、所述第一交易笔数序列矩阵和所述第二交易笔数序列矩阵,确定每一时刻的相似度;其中,所述相似度用于指示该时刻存在异常的概率;
所述处理单元,还用于根据所述相似度,确定满足预设条件时,则所述预设时间段存在异常。
6.根据权利要求5所述的异常检测装置,其特征在于,所述处理单元,具体用于根据所述获取单元获取的所述第一交易笔数序列,确定归一化后的第二交易笔数序列;
所述处理单元,具体用于根据所述第二交易笔数序列,确定缺失数据填充后的第三交易笔数序列;
所述处理单元,具体用于根据滑动窗口算法和所述第三交易笔数序列,确定第一交易笔数序列矩阵。
7.根据权利要求5所述的异常检测装置,其特征在于,所述处理单元,具体用于根据变分自编码异常检测模型和所述第一交易笔数序列矩阵,确定潜在特征向量;
所述处理单元,具体用于根据变分自编码异常检测模型和所述潜在特征向量,确定第二交易笔数序列矩阵。
8.根据权利要求5所述的异常检测装置,其特征在于,所述相似度函数包括余弦相似度;
所述处理单元,具体用于根据所述第一交易笔数序列矩阵和所述第二交易笔数序列矩阵,确定每一时刻的余弦相似度;
所述处理单元,具体用于确定所述余弦相似度中的最大值小于预设阈值时,则所述预设时间段存在异常。
9.一种计算机存储介质,其特征在于,包括指令,当其在计算机上运行时,使得计算机执行如上述权利要求1-4任一项所述的异常检测方法。
10.一种异常检测装置,其特征在于,包括:通信接口、处理器、存储器、总线;存储器用于存储计算机执行指令,处理器与存储器通过总线连接,当异常检测装置运行时,处理器执行存储器存储的计算机执行指令,以使异常检测装置执行如上述权利要求1-4任一项所述的异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910646499.6A CN110473084A (zh) | 2019-07-17 | 2019-07-17 | 一种异常检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910646499.6A CN110473084A (zh) | 2019-07-17 | 2019-07-17 | 一种异常检测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110473084A true CN110473084A (zh) | 2019-11-19 |
Family
ID=68509600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910646499.6A Pending CN110473084A (zh) | 2019-07-17 | 2019-07-17 | 一种异常检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110473084A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159790A (zh) * | 2021-05-19 | 2021-07-23 | 中国银行股份有限公司 | 一种异常交易识别方法和装置 |
CN113282876A (zh) * | 2021-07-20 | 2021-08-20 | 中国人民解放军国防科技大学 | 异常检测中一维时间序列数据生成方法、装置和设备 |
WO2021169361A1 (zh) * | 2020-09-18 | 2021-09-02 | 平安科技(深圳)有限公司 | 时间序列数据的检测方法、装置、计算机设备及存储介质 |
WO2023115856A1 (zh) * | 2021-12-21 | 2023-06-29 | 深圳前海微众银行股份有限公司 | 一种任务异常告警方法及装置 |
CN117372076A (zh) * | 2023-08-23 | 2024-01-09 | 广东烟草广州市有限公司 | 一种异常交易数据监控方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080091630A1 (en) * | 2006-05-31 | 2008-04-17 | Bonissone Piero P | System and method for defining normal operating regions and identifying anomalous behavior of units within a fleet, operating in a complex, dynamic environment |
CN106656637A (zh) * | 2017-02-24 | 2017-05-10 | 国网河南省电力公司电力科学研究院 | 一种异常检测方法及装置 |
CN107104973A (zh) * | 2017-05-09 | 2017-08-29 | 北京潘达互娱科技有限公司 | 用户行为的校验方法及装置 |
CN108431834A (zh) * | 2015-12-01 | 2018-08-21 | 首选网络株式会社 | 异常检测系统、异常检测方法、异常检测程序及学得模型的生成方法 |
CN108628281A (zh) * | 2017-03-23 | 2018-10-09 | 株式会社日立制作所 | 异常检测系统及异常检测方法 |
CN109842628A (zh) * | 2018-12-13 | 2019-06-04 | 成都亚信网络安全产业技术研究院有限公司 | 一种异常行为检测方法及装置 |
CN109948681A (zh) * | 2019-03-11 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 异常数据检测方法与装置 |
CN109978379A (zh) * | 2019-03-28 | 2019-07-05 | 北京百度网讯科技有限公司 | 时序数据异常检测方法、装置、计算机设备和存储介质 |
-
2019
- 2019-07-17 CN CN201910646499.6A patent/CN110473084A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080091630A1 (en) * | 2006-05-31 | 2008-04-17 | Bonissone Piero P | System and method for defining normal operating regions and identifying anomalous behavior of units within a fleet, operating in a complex, dynamic environment |
CN108431834A (zh) * | 2015-12-01 | 2018-08-21 | 首选网络株式会社 | 异常检测系统、异常检测方法、异常检测程序及学得模型的生成方法 |
CN106656637A (zh) * | 2017-02-24 | 2017-05-10 | 国网河南省电力公司电力科学研究院 | 一种异常检测方法及装置 |
CN108628281A (zh) * | 2017-03-23 | 2018-10-09 | 株式会社日立制作所 | 异常检测系统及异常检测方法 |
CN107104973A (zh) * | 2017-05-09 | 2017-08-29 | 北京潘达互娱科技有限公司 | 用户行为的校验方法及装置 |
CN109842628A (zh) * | 2018-12-13 | 2019-06-04 | 成都亚信网络安全产业技术研究院有限公司 | 一种异常行为检测方法及装置 |
CN109948681A (zh) * | 2019-03-11 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 异常数据检测方法与装置 |
CN109978379A (zh) * | 2019-03-28 | 2019-07-05 | 北京百度网讯科技有限公司 | 时序数据异常检测方法、装置、计算机设备和存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021169361A1 (zh) * | 2020-09-18 | 2021-09-02 | 平安科技(深圳)有限公司 | 时间序列数据的检测方法、装置、计算机设备及存储介质 |
CN113159790A (zh) * | 2021-05-19 | 2021-07-23 | 中国银行股份有限公司 | 一种异常交易识别方法和装置 |
CN113282876A (zh) * | 2021-07-20 | 2021-08-20 | 中国人民解放军国防科技大学 | 异常检测中一维时间序列数据生成方法、装置和设备 |
CN113282876B (zh) * | 2021-07-20 | 2021-10-01 | 中国人民解放军国防科技大学 | 异常检测中一维时间序列数据生成方法、装置和设备 |
WO2023115856A1 (zh) * | 2021-12-21 | 2023-06-29 | 深圳前海微众银行股份有限公司 | 一种任务异常告警方法及装置 |
CN117372076A (zh) * | 2023-08-23 | 2024-01-09 | 广东烟草广州市有限公司 | 一种异常交易数据监控方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473084A (zh) | 一种异常检测方法和装置 | |
CN107798235B (zh) | 基于one-hot编码机制的无监督异常访问检测方法及装置 | |
Balota et al. | Beyond mean response latency: Response time distributional analyses of semantic priming | |
CN109345260A (zh) | 一种欺诈检测模型训练方法和装置及欺诈检测方法和装置 | |
CN112990426A (zh) | 用于自动编码器产生的遗传算法和优化训练器的协作使用 | |
CN109447461B (zh) | 用户信用评估方法及装置、电子设备、存储介质 | |
CN114298443B (zh) | 基于健康状态指数的工业设备预测性维护方法、装置和电子设备 | |
CN109190834A (zh) | 基于神经网络的股票价格趋势预测方法及系统 | |
CN107729555B (zh) | 一种海量大数据分布式预测方法及系统 | |
CN110188834A (zh) | 一种电力通信网的故障诊断方法、装置及设备 | |
CN110581834A (zh) | 一种通信能力开放异常检测方法和装置 | |
CN107316106A (zh) | 基于动态阈值确定嵌入维的神经网络时间序列预测方法 | |
Abrahantes et al. | A solution to separation for clustered binary data | |
CN111709790B (zh) | 一种日前市场异常电价辨识方法、装置、设备和存储介质 | |
Lai et al. | Evaluate the fuzzy completion times in the fuzzy flow shop scheduling problems using the virus-evolutionary genetic algorithms | |
CN111949496B (zh) | 一种数据检测方法及装置 | |
CN115795042A (zh) | 基于路径和图上下文的知识图谱补全方法 | |
CN111198979A (zh) | 一种用于对输变电可靠性评估大数据进行清洗的方法及系统 | |
CN116910573B (zh) | 异常诊断模型的训练方法及装置、电子设备和存储介质 | |
CN117892921A (zh) | 基于大数据的智慧水务综合管理系统及方法 | |
CN113642727A (zh) | 神经网络模型的训练方法和多媒体信息的处理方法、装置 | |
Sims et al. | Predicting confusion from eye-tracking data with recurrent neural networks | |
Mourao et al. | Learning action effects in partially observable domains | |
CN110213239A (zh) | 可疑交易报文生成方法、装置及服务器 | |
CA3238545A1 (en) | Diagnosic method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191119 |