CN113221104B - 用户异常行为的检测方法及用户行为重构模型的训练方法 - Google Patents
用户异常行为的检测方法及用户行为重构模型的训练方法 Download PDFInfo
- Publication number
- CN113221104B CN113221104B CN202110518940.XA CN202110518940A CN113221104B CN 113221104 B CN113221104 B CN 113221104B CN 202110518940 A CN202110518940 A CN 202110518940A CN 113221104 B CN113221104 B CN 113221104B
- Authority
- CN
- China
- Prior art keywords
- user
- detected
- vector matrix
- behavior
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种用户异常行为的检测方法及用户行为重构模型的训练方法,涉及人工智能领域,具体为大数据处理和深度学习技术领域。该方案为:获取待检测用户的行为数据;根据行为数据,获取原始向量矩阵;将原始向量矩阵输入至用户行为重构模型中对原始向量矩阵进行重构,以得到重构向量矩阵;获取原始向量矩阵和重构向量矩阵之间的相似度,以根据相似度,确定重构误差;响应于重构误差大于重构误差阈值,则确定待检测用户的行为数据对应的用户行为为异常行为。由此,本公开基于重构向量矩阵和原始向量矩阵之间的重构误差,对待检测用户的行为数据的正常程度进行评估,提高了用户异常行为检测过程中的有效性、可靠性和鲁棒性。
Description
技术领域
本公开的实施例总体上涉及计算机技术领域,并且更具体地涉及人工智能领域,具体为大数据处理和深度学习技术领域。
背景技术
随着互联网和云业务的飞速发展,互联网已能够满足用户越来越多的获取信息和服务的需求。然而,与此同时,用户端(客户端)和服务端也都面临着越来越多的安全威胁。其中,针对网站或者服务端,如何检测用户异常行为,并及时针对存在的异常行为做出相应的处理措施,对于维护网络安全有着至关重要的作用。
相关技术中,用户异常行为检测通常无法检测出新出现的异常行为和用户可变的访问行为从而导致用户行为检测的检测结果不够准确。
因此,如何提高用户异常行为的检测过程中的有效性和可靠性,已成为了重要的研究方向之一。
发明内容
本公开提供了一种用户异常行为的检测方法及用户行为重构模型的训练方法。
根据第一方面,提供了一种用户异常行为的检测方法,包括:
获取待检测用户的行为数据;
根据所述待检测用户的行为数据,获取原始向量矩阵;
将所述原始向量矩阵输入至用户行为重构模型中对所述原始向量矩阵进行重构,以得到重构向量矩阵,其中,所述用户行为重构模型输出的所述重构向量矩阵为所述原始向量矩阵映射到正常行为的矩阵;
获取所述原始向量矩阵和所述重构向量矩阵之间的相似度,以根据所述相似度,确定重构误差;
响应于所述重构误差大于重构误差阈值,则确定所述待检测用户的行为数据对应的用户行为为异常行为。
根据第二方面,提供了一种用户行为重构模型的训练方法,包括:
获取已标注重构结果的待检测用户的样本行为数据;
根据所述已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵;
将所述原始训练向量矩阵输入至待训练的用户行为重构模型中对所述原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,所述用户行为重构模型输出的所述重构训练向量矩阵为所述原始训练向量矩阵映射到正常行为的矩阵;
根据所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的差异,调整待训练的所述用户行为重构模型中的模型参数,并返回所述获取已标注重构结果的待检测用户的样本行为数据步骤,直至所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的所述差异符合预设的训练结束条件,将最后一次调整所述模型参数后的待训练的所述用户行为重构模型确定为训练好的所述用户行为重构模型。
根据第三方面,提供了一种用户异常行为的检测装置,包括:
第一获取模块,用于获取待检测用户的行为数据;
第二获取模块,用于根据所述待检测用户的行为数据,获取原始向量矩阵;
第一确定模块,用于将所述原始向量矩阵输入至用户行为重构模型中对所述原始向量矩阵进行重构,以得到重构向量矩阵,其中,所述用户行为重构模型输出的所述重构向量矩阵为所述原始向量矩阵映射到正常行为的矩阵;
第二确定模块,用于获取所述原始向量矩阵和所述重构向量矩阵之间的相似度,并将所述相似度作为重构误差;
第三确定模块,用于响应于所述重构误差大于重构误差阈值,则确定所述待检测用户的行为数据对应的用户行为为异常行为。
根据第四方面,提供了一种用户行为重构模型的训练装置,包括:
第一获取模块,用于获取已标注重构结果的待检测用户的样本行为数据;
第二获取模块,用于根据所述已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵;
第一确定模块,用于将所述原始训练向量矩阵输入至待训练的用户行为重构模型中对所述原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,所述用户行为重构模型输出的所述重构训练向量矩阵为所述原始训练向量矩阵映射到正常行为的矩阵;
第二确定模块,用于根据所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的差异,调整待训练的所述用户行为重构模型中的模型参数,并返回所述获取已标注重构结果的待检测用户的样本行为数据步骤,直至所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的所述差异符合预设的训练结束条件,将最后一次调整所述模型参数后的待训练的所述用户行为重构模型确定为训练好的所述用户行为重构模型。
根据第五方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开第一方面所述的用户异常行为的检测方法或者本公开第二方面所述的用户行为重构模型的训练方法。
根据第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本公开第一方面所述的用户异常行为的检测方法或者本公开第二方面所述的用户行为重构模型的训练方法。
根据第七方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开第一方面所述的用户异常行为的检测方法的步骤或者本公开第二方面所述的用户行为重构模型的训练方法的步骤。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是一种原始向量矩阵的示意图;
图3是另一种原始向量矩阵的示意图;
图4是一种重构向量矩阵的示意图;
图5是根据本公开第二实施例的示意图;
图6是根据本公开第三实施例的示意图;
图7是根据本公开第四实施例的示意图;
图8是根据本公开第五实施例的示意图;
图9是一种数据采集和处理阶段的示意图;
图10是一种模型训练阶段的示意图;
图11是一种模型推理阶段的示意图;
图12是用来实现本公开实施例的用户异常行为的检测方法的用户异常行为的检测装置的框图;
图13是用来实现本公开实施例的用户异常行为的检测方法的用户异常行为的检测装置的框图;
图14是用来实现本公开实施例的用户行为重构模型的训练方法的用户行为重构模型的训练装置的框图;
图15是用来实现本公开实施例的用户行为重构模型的训练方法的用户行为重构模型的训练装置的框图;
图16是用来实现本公开实施例的用户异常行为的检测或者用户行为重构模型的训练的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
以下对本公开的方案涉及的技术领域进行简要说明:
计算机技术(Computer Technology),内容非常广泛,可粗略分为计算机系统技术、计算机器件技术、计算机部件技术和计算机组装技术等几个方面。计算机技术包括:运算方法的基本原理与运算器设计、指令系统、中央处理器(CPU)设计、流水线原理及其在CPU设计中的应用、存储体系、总线与输入输出。
大数据(Big Data),指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
AI(Artificial Intelligence,人工智能),是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术,也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
DL(Deep Learning,深度学习),是ML机器学习(Machine Learning,机器学习)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
下面参考附图描述本公开实施例的一种用户异常行为的检测方法及用户行为重构模型的训练方法。
图1是根据本公开第一实施例的示意图。其中,需要说明的是,本实施例的用户异常行为的检测方法的执行主体为用户异常行为的检测装置,用户异常行为的检测装置具体可以为硬件设备,或者硬件设备中的软件等。其中,硬件设备例如终端设备、服务器等。如图1所示,本实施例提出的用户异常行为的检测方法,包括如下步骤:
S101、获取待检测用户的行为数据。
需要说明的是,本公开中,可以对待检测用户针对任一单一网站的任意行为进行检测,主要分为正常行为和异常行为。其中,异常行为可以为网络攻击行为等行为。
其中,待检测用户的行为数据,可以为待检测用户的访问数据日志中记录的数据,例如,待检测用户的登录行为数据、待检测用户的业务操作行为数据等。
针对待检测用户的登录行为数据,可以为SSH(Secure Shell,安全外壳协议)日志、Telnet(远程终端协议)日志、FTP(File Transfer Protocol,文件传输协议)日志、SFTP(Secret File Transfer Protocol,安全文件传送协议)日志、数据库登录日志、业务应用登录日志、POP3(Post Office Protocol-Version 3,邮局协议版本3)登录日志等登陆行为数据。
针对待检测用户的业务操作行为数据,可以为关联4A(Authentication,Authorization,Accounting and Audit)系统、CRM(Customer Relationship Management,客户关系管理)系统等系统上获取的登录日志和操作日志等业务操作行为数据。
可选地,可以通过数据接口,获取待检测用户在一定时间范围内的行为数据。其中,一定时间范围可以为最近一个月、半年或者一年等。
进一步地,可以提取行为数据的关键字段,例如,用户IP地址、用户方位的API(Application Programming Interface,应用程序接口)及端口和访问时间等,并利用前述关键字段构成的数据信息,构建待检测用户的行为数据。
举例而言,可以通过数据接口,获取待检测用户甲,在最近一个月内,打开购物类网站的网站名称、打开时间和打开次数,并利用这些关键字段构成的数据信息,构建行为数据。
S102、根据待检测用户的行为数据,获取原始向量矩阵。
本公开实施例中,在获取到待检测用户的行为数据后,可以通过对待检测用户的行为数据进行向量化处理,获取待检测用户的行为数据对应的原始向量矩阵。
举例而言,获取到待检测用户的行为数据甲和行为数据乙,此种情况下,可以基于向量化处理,获取待检测用户的行为数据甲对应的原始向量矩阵为如图2所示的原始向量矩阵甲,行为数据乙对应的原始向量矩阵为如图3所示的原始向量矩阵乙。
需要说明的是,本公开中,在试图根据待检测用户的行为数据,获取原始向量矩阵之前,可以对行为数据进行预处理。
可选地,在获取到待检测用户的行为数据后,可以遍历该行为数据,滤除掉关键字段缺失和关键字段重复的行为数据,并根据滤除后的行为数据的关键字段,建立原始向量矩阵。
可选地,在获取到待检测用户的行为数据后,可以结合预先设定的安全规则,对攻击行为等非正常行为进行剔除,并根据剔除后的行为数据建立原始向量矩阵。其中,预先设定的安全规则可以根据实际情况进行设定。例如,可以设定预先设定的安全规则为1min内访问次数未超过10000次(阈值)。
S103、将原始向量矩阵输入至用户行为重构模型中对原始向量矩阵进行重构,以得到重构向量矩阵,其中,用户行为重构模型输出的重构向量矩阵为原始向量矩阵映射到正常行为的矩阵。
其中,用户行为重构模型为预先训练好的重构模型。
需要说明的是,用户行为重构模型,可以为基于深度神经网络的重构模型,通过大数据的训练,使得重构模型具有较强的序列分析能力。即言,通过用户行为重构模型,能够将原始向量矩阵映射到正常行为,从而得到重构向量矩阵。
本公开实施例中,在获取到原始向量矩阵后,可以将原始向量矩阵作为输入,输入至预先训练好的用户行为重构模型中,并将输出作为重构向量矩阵。
举例而言,针对图2中所示的原始向量矩阵甲,将原始向量矩阵甲作为输入,输入至用户行为重构模型中,可以得到如图4所示的重构向量矩阵甲。
S104、获取原始向量矩阵和重构向量矩阵之间的相似度,以根据相似度,确定重构误差。
举例而言,针对图2和图4中所示的原始向量矩阵甲和重构向量矩阵甲,获取到原始向量矩阵甲和重构向量矩阵甲之间的相似度为88.89%,此种情况下,重构误差即为11.11%。
S105、响应于重构误差大于重构误差阈值,则确定待检测用户的行为数据对应的用户行为为异常行为。
需要说明的是,本公开中,对于重构误差阈值的具体设定不作限定,可以根据实际情况进行设定。
可选地,可以针对不同业务类型,设定不同的重构误差阈值。
例如,针对安全性要求较高的教育类业务类型,可以设定重构误差阈值为5%;又例如,针对安全性要求较低的体育类业务类型,可以设定重构误差阈值为25%。
本公开实施例中,在获取到重构误差后,可以将重构误差与重构误差阈值进行比较,若重构误差大于重构误差阈值,说明该待检测用户的行为数据对应的用户行为与正常行为之间具有较大差异,则确定待检测用户的行为数据对应的用户行为为异常行为;若重构误差小于或者等于重构误差阈值,说明该待检测用户的行为数据对应的用户行为与正常行为之间具有差异较小,甚至并无差异,则确定待检测用户的行为数据对应的用户行为为正常行为。
根据本公开实施例的用户异常行为的检测方法,可以获取待检测用户的行为数据,并根据待检测用户的行为数据,获取原始向量矩阵,然后将原始向量矩阵输入至用户行为重构模型中对原始向量矩阵进行重构,以得到重构向量矩阵,并获取原始向量矩阵和重构向量矩阵之间的相似度,以根据相似度,确定重构误差,进而响应于重构误差大于重构误差阈值,则确定待检测用户的行为数据对应的用户行为为异常行为,以实现用户异常行为的检测。由此,本公开能够基于重构向量矩阵和原始向量矩阵之间的重构误差,对待检测用户的行为数据的正常程度进行评估,提高了用户异常行为检测过程中的有效性、可靠性和鲁棒性。
需要说明的是,本公开中,在试图根据待检测用户的行为数据,获取原始向量矩阵时,可以生成用户行为的待检测词汇表,并通过对待检测词汇表进行向量化处理,获取原始向量矩阵。
图5是根据本公开第二实施例的示意图。如图5所示,在上一实施例的基础上,本实施例提出的用户异常行为的检测方法,包括如下步骤:
S501、获取待检测用户的行为数据。
该步骤S501与上一实施例中的步骤S101相同,此处不再赘述。
上一实施例中的步骤S102具体可包括以下步骤S502~S504。
S502、根据待检测用户的行为数据产生的时间先后顺序,生成待检测用户的访问行为序列。
以用户打开网站甲的用户行为为例,通过数据接口,可以获取待检测用户甲,在最近一个月内,共打开网站甲5次,每次打开网站甲的用户行为分别对应于行为数据A~E,且打开时间分别为1月23日、1月15日、1月16日、1月19日和1月27日。此种情况下,根据待检测用户的行为数据产生的时间先后顺序,可以生成待检测用户甲的访问行为序列分别为行为数据B、行为数据C、行为数据D、行为数据E和行为数据A。
S503、根据待检测用户的访问行为序列,生成针对待检测用户的行为数据对应的用户行为的待检测词汇表。
作为一种可能的实现方式,如图6所示,在上述实施例的基础上,上述步骤S503中根据待检测用户的访问行为序列,生成针对待检测用户的行为数据对应的用户行为的待检测词汇表的具体过程,包括以下步骤:
S601、对待检测用户的访问行为序列进行筛选,以得到待检测用户的目标访问行为序列。
可选地,可以基于预先设定的时间窗口,对待检测用户的访问行为序列进行分窗处理,并将任一滑动窗口内的待检测用户的访问行为序列作为待检测用户的目标访问行为序列。
其中,时间窗口可以根据实际情况进行设定,例如,可以设定时间窗口为1小时。
需要说明的是,本公开中,为了进一步提高获取目标访问行为序列的效率,可以对在对待检测用户的访问行为序列进行分窗处理之前,对访问行为序列进行预处理。
举例而言,可以获取访问行为序列的长度,并将访问行为序列的长度与预先设定的长度阈值进行比较,若识别访问行为序列的长度超过长度阈值,说明该访问行为对应的用户行为显然为异常行为,则无需进一步检测;若识别访问行为序列的长度未超过长度阈值,说明该访问行为对应的用户行为可能为异常行为,也可能为正常行为,则可以执行步骤S601以进行进一步检测。
其中,长度阈值可以根据实际情况进行设定,例如,可以设定长度阈值为10000。
S602、根据待检测用户的目标访问行为序列,生成针对待检测用户的行为数据对应的用户行为的待检测词汇表。
本公开实施例中,在得到待检测用户的目标访问行为序列后,可以根据待检测用户的目标访问行为序列,生成针对待检测用户的行为数据对应的用户行为的待检测词汇表。
其中,待检测词汇表所包含的内容可以根据实际情况进行设定。
举例而言,可以设定待检测词汇表包含目标访问行为序列对应的所有网站的API序列,以及一个待定义的API序列,该待定义的API序列相当于便于后期进行扩展的预留序列。
S504、对待检测词汇表进行向量化处理,以获取原始向量矩阵。
本公开实施例中,在获取到待检测词汇表后,可以对待检测词汇表进行向量化处理,以获取原始向量矩阵作为用户行为重构模型的输入。
S505、将原始向量矩阵输入至用户行为重构模型中对原始向量矩阵进行重构,以得到重构向量矩阵,其中,用户行为重构模型输出的重构向量矩阵为原始向量矩阵映射到正常行为的矩阵。
S506、获取原始向量矩阵和重构向量矩阵之间的相似度,以根据相似度,确定重构误差。
S507、响应于重构误差大于重构误差阈值,则确定待检测用户的行为数据对应的用户行为为异常行为。
该步骤S505~S507与上一实施例中的步骤S103~S105相同,此处不再赘述。
需要说明的是,本公开提出的用户异常行为的检测方法中涉及的用户行为重构模型,是由本公开实施例提出的用户行为重构模型的训练方法训练得到的。
根据本公开实施例的用户异常行为的检测方法,可以根据待检测用户的行为数据产生的时间先后顺序,生成待检测用户的访问行为序列,并根据待检测用户的访问行为序列,生成针对待检测用户的行为数据对应的用户行为的待检测词汇表,进而对待检测词汇表进行向量化处理,以实现原始向量矩阵的获取。由此,本公开能够基于筛选、向量化处理等操作,获取原始向量矩阵,缩短了用户异常行为检测过程中的耗时,进一步提高了用户异常行为检测过程中的效率。
图7是根据本公开第四实施例的示意图。如图7所示,本实施例提出的用户行为重构模型的训练方法,包括如下步骤:
S701、获取已标注重构结果的待检测用户的样本行为数据。
其中,样本行为数据可以预先收集,样本行为数据的数量可预先设定,例如获取1000个样本行为数据。
本公开实施例中,可以进行预设时长内的样本行为数据积累,以获取样本行为数据。可选地,可以针对单一网站的用户访问数据日志进行记录,并在记录时长达到预设时长后,将日志数据进行整理,以形成正常用户行为对应的训练集,即已标注重构结果的待检测用户的样本行为数据。
S702、根据已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵。
本公开实施例中,在获取到样本行为数据后,可以通过对样本行为数据进行向量化处理,获取原始训练向量矩阵。
需要说明的是,本公开中,在试图根据已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵之前,可以对样本行为数据进行预处理。
可选地,在获取到样本行为数据后,可以遍历该样本行为数据,滤除掉关键字段缺失和关键字段重复的样本行为数据,并根据滤除后的样本行为数据的关键字段,建立原始训练向量矩阵。
可选地,在获取到样本行为数据后,可以结合预先设定的安全规则,对攻击行为等非正常行为进行剔除,并根据剔除后的样本行为数据建立原始训练向量矩阵。其中,预先设定的安全规则可以根据实际情况进行设定。例如,可以设定预先设定的安全规则为1min内访问次数未超过10000次(阈值)。
S703、将原始训练向量矩阵输入至待训练的用户行为重构模型中对原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,用户行为重构模型输出的重构训练向量矩阵为原始训练向量矩阵映射到正常行为的矩阵。
其中,待训练的用户行为重构模型,可以为基于Transformer模型的模型结构构建而成的一个基于深度神经网络的模型,包括Encoder(编码)模块和Decoder(解码)模块,每个模块又由多个Multi-head(多头)自注意力模块和前馈网络模块以及归一化和残差链接构成。
本公开实施例中,在获取到原始训练向量矩阵后,可以将原始训练向量矩阵输入至待训练的用户行为重构模型中对原始训练向量矩阵进行重构,输出为重构训练向量矩阵。
S704、根据原始训练向量矩阵对应的重构结果和原始训练向量矩阵对应的标注重构结果的差异,调整待训练的用户行为重构模型中的模型参数,并返回获取已标注重构结果的待检测用户的样本行为数据步骤,直至原始训练向量矩阵对应的重构结果和原始训练向量矩阵对应的标注重构结果的差异符合预设的训练结束条件,将最后一次调整模型参数后的待训练的用户行为重构模型确定为训练好的用户行为重构模型。
本公开实施例中,可以基于SGD(stochastic gradient descent,随机梯度下降)方法,通过多轮迭代更新优化待训练的用户行为重构模型,直到收敛。
根据本公开实施例的用户行为重构模型的训练方法,可以基于获取到的海量的、真实的用户正常行为对应的样本行为数据,对基于深度神经网络的用户行为重构模型进行训练,从而得到具有较强序列分析及重构能力的用户行为重构模型,为基于用户行为重构模型进行用户异常行为检测构建了良好的基础,进而确保了用户异常行为检测过程中的有效性、可靠性和鲁棒性。
需要说明的是,本公开中,在试图根据已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵时,可以生成样本词汇表,并通过对样本词汇表进行向量化处理,获取原始训练向量矩阵。
图8是根据本公开第五实施例的示意图。如图8所示,在上一实施例的基础上,本实施例提出的用户行为重构模型的训练方法,包括如下步骤:
S801、获取已标注重构结果的待检测用户的样本行为数据。
该步骤S801与上一实施例中的步骤S701相同,此处不再赘述。
上一实施例中的步骤S702具体可包括以下步骤S802~S804。
S802、根据已标注重构结果的待检测用户的样本行为数据,生成待检测用户的样本访问行为序列。
本公开实施例中,在获取到样本行为数据后,可以根据样本行为数据,生成待检测用户的样本访问行为序列。
S803、根据待检测用户的样本访问行为序列,生成针对待检测用户的样本行为对应的用户行为的样本词汇表。
作为一种可能的实现方式,可以对待检测用户的访问行为序列进行筛选,以得到待检测用户的目标访问行为序列。进一步地,可以根据待检测用户的目标访问行为序列,生成针对待检测用户的行为数据对应的用户行为的待检测词汇表。
S804、对样本词汇表进行向量化处理,以得到原始训练向量矩阵。
本公开实施例中,在获取到样本词汇表后,可以对样本词汇表进行向量化处理,以获取原始训练向量矩阵作为待训练的用户行为重构模型的输入。
S805、将原始训练向量矩阵输入至待训练的用户行为重构模型中对原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,用户行为重构模型输出的重构训练向量矩阵为原始训练向量矩阵映射到正常行为的矩阵。
S806、根据原始训练向量矩阵对应的重构结果和原始训练向量矩阵对应的标注重构结果的差异,调整待训练的用户行为重构模型中的模型参数,并返回获取已标注重构结果的待检测用户的样本行为数据步骤,直至原始训练向量矩阵对应的重构结果和原始训练向量矩阵对应的标注重构结果的差异符合预设的训练结束条件,将最后一次调整模型参数后的待训练的用户行为重构模型确定为训练好的用户行为重构模型。
根据本公开实施例的用户行为重构模型的训练方法,可以根据样本行为数据产生的时间先后顺序,生成样本访问行为序列,并根据样本访问行为序列,生成样本词汇表,进而对样本词汇表进行向量化处理,以实现原始训练向量矩阵的获取。由此,本公开能够基于筛选、向量化处理等操作,获取原始训练向量矩阵,缩短了用户行为重构模型训练过程中的耗时,提升了用户行为重构模型的训练效率。
需要说明的是,本公开提出的用户异常行为的检测方法,可以运用于多种场景中。
针对智能推荐应用场景,以向用户进行音乐推荐为例,在推荐音乐时,参考具有相似兴趣的参考用户的收听历史是至关重要的。举例而言,在试图为用户甲进行音乐推荐时,推荐依据为与用户甲具有相似兴趣的参考用户乙的收听历史中播放量排名前三位的音乐。然而,由于参考用户乙的收听历史中可能存在异常行为,因此可能会导致收听历史中播放量排名前三位的音乐的确定结果是不准确的。
此种情况下,根据本公开提出的用户异常行为的检测方法,可以获取参考用户乙的行为数据,并根据参考用户乙的行为数据,获取原始向量矩阵,然后将原始向量矩阵输入至用户行为重构模型中对原始向量矩阵进行重构,以得到重构向量矩阵,并获取原始向量矩阵和重构向量矩阵之间的相似度,以根据相似度,确定重构误差。
可选地,响应于重构误差小于或者等于重构误差阈值,则确定参考用户乙的行为数据对应的用户行为为正常行为,则可以将参考用户乙的收听历史中播放量排名前三位的音乐推荐给用户甲;可选地,响应于重构误差大于重构误差阈值,则确定参考用户乙的行为数据对应的用户行为为异常行为,则可以忽略参考用户乙的收听历史,进一步地对与用户甲具有相似兴趣的用户丙的收听历史进行分析。
由此,本公开能够基于重构向量矩阵和原始向量矩阵之间的重构误差,对参考用户的行为数据的正常程度进行评估,提高了为用户甲进行智能推荐过程中的有效性、可靠性和鲁棒性。进一步地,基于准确地推荐结果,能够更好地激发用户甲的收听兴趣。
综上所述,本公开中,用户异常行为的检测过程主要包括以下三个阶段:数据采集和处理阶段、模型训练阶段以及模型推理阶段。
如图9所示,通过数据的收集、抓取以及对数据进行预处理,实现了数据采集和处理。
如图10所示,通过模型构建、迭代优化,实现了模型训练。
如图11所示,通过将预处理后访问行为序列作为输入,输入至训练好的用户行为重构模型中进行模型推理。进一步地,通过模型的推理计算,返回与输入序列等长的预测/重构序列,通过计算预测序列和输入序列的相似度,得到本次检测结果,并通过检测结果判断用户的行为是否为正常访问行为。
由此,本公开针对相关技术中存在的无法准确建模用户行为模式、无法处理未知访问行为等问题,提出了基于深度神经网络的模型,并结合大数据进行训练得到的用户行为重构模型,基于模型更强的序列分析能力,达到了处理未知用户行为并且能够实时在线反馈该用户行为的检测结果的目的,提高了检测过程中的效率、有效性、可靠性和鲁棒性。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用,均符合相关法律法规的规定,且不违背公序良俗。本公开的意图是,应以使无意或未经授权的使用访问风险最小化的方式来管理和处理个人信息数据。通过限制数据收集并在不再需要时删除数据,从而将风险降到最低。需要说明的是,本公开中与人员有关的所有信息,均在人员知情且同意的情况下收集。
与上述几种实施例提供的用户异常行为的检测方法相对应,本公开的一个实施例还提供一种用户异常行为的检测装置,由于本公开实施例提供的用户异常行为的检测装置与上述几种实施例提供的用户异常行为的检测方法相对应,因此在用户异常行为的检测方法的实施方式也适用于本实施例提供的用户异常行为的检测装置,在本实施例中不再详细描述。
图12是根据本公开一个实施例的用户异常行为的检测装置的结构示意图。
如图12所示,该用户异常行为的检测装置1200,包括:第一获取模块1210、第二获取模块1220、第一确定模块1230、第二确定模块1240和第三确定模块1250。其中:
第一获取模块1210,用于获取待检测用户的行为数据;
第二获取模块1220,用于根据所述待检测用户的行为数据,获取原始向量矩阵;
第一确定模块1230,用于将所述原始向量矩阵输入至用户行为重构模型中对所述原始向量矩阵进行重构,以得到重构向量矩阵,其中,所述用户行为重构模型输出的所述重构向量矩阵为所述原始向量矩阵映射到正常行为的矩阵;
第二确定模块1240,用于获取所述原始向量矩阵和所述重构向量矩阵之间的相似度,以根据所述相似度,确定重构误差;
第三确定模块1250,用于响应于所述重构误差大于重构误差阈值,则确定所述待检测用户的行为数据对应的用户行为为异常行为。
图13是根据本公开另一个实施例的用户异常行为的检测装置的结构示意图。
如图13所示,该用户异常行为的检测装置1300,包括:第一获取模块1310、第二获取模块1320、第一确定模块1330、第二确定模块1340、第三确定模块1350和第四确定模块1360。
其中:第四确定模块1360,用于响应于所述重构误差小于或者等于所述重构误差阈值,则确定所述待检测用户的行为数据对应的所述用户行为正常行为。
其中,第二获取模块1320,包括:
第一生成子模块13201,用于根据所述待检测用户的行为数据产生的时间先后顺序,生成待检测用户的访问行为序列;
第二生成子模块13202,用于根据所述待检测用户的访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表;
获取子模块13203,用于对所述待检测词汇表进行向量化处理,以获取所述原始向量矩阵。
其中,第二生成子模块13202,包括:
确定单元132021,用于对所述待检测用户的访问行为序列进行筛选,以得到待检测用户的目标访问行为序列;
生成单元132022,用于根据所述待检测用户的目标访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表。
其中,确定单元132021,包括:
确定子单元1320211,用于对所述待检测用户的访问行为序列进行分窗处理,并将任一滑动窗口内的所述待检测用户的访问行为序列作为所述待检测用户的目标访问行为序列。
需要说明的是,第一获取模块1310、第一确定模块1330、第二确定模块1340、第三确定模块1350与第一获取模块1210、第一确定模块1230、第二确定模块1240、第三确定模块1250具有相同功能和结构。
根据本公开实施例的用户异常行为的检测装置,可以获取待检测用户的行为数据,并根据待检测用户的行为数据,获取原始向量矩阵,然后将原始向量矩阵输入至用户行为重构模型中对原始向量矩阵进行重构,以得到重构向量矩阵,并获取原始向量矩阵和重构向量矩阵之间的相似度,以根据相似度,确定重构误差,进而响应于重构误差大于重构误差阈值,则确定待检测用户的行为数据对应的用户行为为异常行为,以实现用户异常行为的检测。由此,本公开能够基于重构向量矩阵和原始向量矩阵之间的重构误差,对待检测用户的行为数据的正常程度进行评估,提高了用户异常行为检测过程中的有效性、可靠性和鲁棒性。
图14是根据本公开一个实施例的用户行为重构模型的训练装置的结构示意图。
如图14所示,该用户行为重构模型的训练装置1400,包括:第一获取模块1410、第二获取模块1420、第一确定模块1430和第二确定模块1440。其中:
第一获取模块1410,用于获取已标注重构结果的待检测用户的样本行为数据;
第二获取模块1420,用于根据所述已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵;
第一确定模块1430,用于将所述原始训练向量矩阵输入至待训练的用户行为重构模型中对所述原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,所述用户行为重构模型输出的所述重构训练向量矩阵为所述原始训练向量矩阵映射到正常行为的矩阵;
第二确定模块1440,用于根据所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的差异,调整待训练的所述用户行为重构模型中的模型参数,并返回所述获取已标注重构结果的待检测用户的样本行为数据步骤,直至所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的所述差异符合预设的训练结束条件,将最后一次调整所述模型参数后的待训练的所述用户行为重构模型确定为训练好的所述用户行为重构模型。
图15是根据本公开另一个实施例的用户异常行为的检测装置的结构示意图。
如图15所示,该用户行为重构模型的训练装置1500,包括:第一获取模块1510、第二获取模块1520、第一确定模块1530和第二确定模块1540。
其中,第二获取模块1520,包括:
第一生成子模块15201,用于根据所述已标注重构结果的待检测用户的样本行为数据,生成待检测用户的样本访问行为序列;
第二生成子模块15202,用于根据所述待检测用户的样本访问行为序列,生成针对所述待检测用户的样本行为对应的所述用户行为的样本词汇表;
确定子模块15203,用于对所述样本词汇表进行向量化处理,以得到所述原始训练向量矩阵。
需要说明的是,第一获取模块1510、第一确定模块1530和第二确定模块1540与第一获取模块1410、第一确定模块1430和第二确定模块1440。具有相同功能和结构。
根据本公开实施例的用户行为重构模型的训练装置,可以基于获取到的海量的、真实的用户正常行为对应的样本行为数据,对基于深度神经网络的用户行为重构模型进行训练,从而得到具有较强序列分析及重构能力的用户行为重构模型,为基于用户行为重构模型进行用户异常行为检测构建了良好的基础,进而确保了用户异常行为检测过程中的有效性、可靠性和鲁棒性。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图16示出了可以用来实施本公开的实施例的示例电子设备1600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图16所示,设备1600包括计算单元1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序,来执行各种适当的动作和处理。在RAM1603中,还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。
设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1607,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理,例如用户异常行为的检测方法或者用户行为重构模型的训练方法。例如,在一些实施例中,用户异常行为的检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时,可以执行上文描述的用户异常行为的检测方法或者用户行为重构模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元1601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行用户异常行为的检测方法或者用户行为重构模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程人物图像的修复装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网以及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(“Virtual Private Server”,或简称“VPS”)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
根据本公开实施例,本公开还提供了一种计算机产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开第一方面所述的用户异常行为的检测方法的步骤或者本公开第二方面所述的用户行为重构模型的训练方法的步骤。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (16)
1.一种用户异常行为的检测方法,包括:
获取待检测用户的行为数据;
根据所述待检测用户的行为数据,获取原始向量矩阵;
将所述原始向量矩阵输入至用户行为重构模型中对所述原始向量矩阵进行重构,以得到重构向量矩阵,其中,所述用户行为重构模型输出的所述重构向量矩阵为所述原始向量矩阵映射到正常行为的矩阵;
获取所述原始向量矩阵和所述重构向量矩阵之间的相似度,以根据所述相似度,确定重构误差;
响应于所述重构误差大于重构误差阈值,则确定所述待检测用户的行为数据对应的用户行为为异常行为。
2.根据权利要求1所述的检测方法,其中,还包括:
响应于所述重构误差小于或者等于所述重构误差阈值,则确定所述待检测用户的行为数据对应的所述用户行为正常行为。
3.根据权利要求1所述的检测方法,其中,所述根据所述待检测用户的行为数据,获取原始向量矩阵,包括:
根据所述待检测用户的行为数据产生的时间先后顺序,生成待检测用户的访问行为序列;
根据所述待检测用户的访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表;
对所述待检测词汇表进行向量化处理,以获取所述原始向量矩阵。
4.根据权利要求3所述的检测方法,其中,所述根据所述待检测用户的访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表,包括:
对所述待检测用户的访问行为序列进行筛选,以得到待检测用户的目标访问行为序列;
根据所述待检测用户的目标访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表。
5.根据权利要求4所述的检测方法,其中,所述对所述待检测用户的访问行为序列进行筛选,以得到待检测用户的目标访问行为序列,包括:
对所述待检测用户的访问行为序列进行分窗处理,并将任一滑动窗口内的所述待检测用户的访问行为序列作为所述待检测用户的目标访问行为序列。
6.根据权利要求1所述的检测方法,所述用户行为重构模型的训练过程,包括:
获取已标注重构结果的待检测用户的样本行为数据;
根据所述已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵;
将所述原始训练向量矩阵输入至待训练的用户行为重构模型中对所述原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,所述用户行为重构模型输出的所述重构训练向量矩阵为所述原始训练向量矩阵映射到正常行为的矩阵;
根据所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的差异,调整待训练的所述用户行为重构模型中的模型参数,并返回所述获取已标注重构结果的待检测用户的样本行为数据步骤,直至所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的所述差异符合预设的训练结束条件,将最后一次调整所述模型参数后的待训练的所述用户行为重构模型确定为训练好的所述用户行为重构模型。
7.根据权利要求6所述的检测方法,其中,所述根据所述已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵,包括:
根据所述已标注重构结果的待检测用户的样本行为数据,生成待检测用户的样本访问行为序列;
根据所述待检测用户的样本访问行为序列,生成针对所述待检测用户的样本行为对应的所述用户行为的样本词汇表;
对所述样本词汇表进行向量化处理,以得到所述原始训练向量矩阵。
8.一种用户异常行为的检测装置,包括:
第一获取模块,用于获取待检测用户的行为数据;
第二获取模块,用于根据所述待检测用户的行为数据,获取原始向量矩阵;
第一确定模块,用于将所述原始向量矩阵输入至用户行为重构模型中对所述原始向量矩阵进行重构,以得到重构向量矩阵,其中,所述用户行为重构模型输出的所述重构向量矩阵为所述原始向量矩阵映射到正常行为的矩阵;
第二确定模块,用于获取所述原始向量矩阵和所述重构向量矩阵之间的相似度,以根据所述相似度,确定重构误差;
第三确定模块,用于响应于所述重构误差大于重构误差阈值,则确定所述待检测用户的行为数据对应的用户行为为异常行为。
9.根据权利要求8所述的检测装置,其中,还包括:
第四确定模块,用于响应于所述重构误差小于或者等于所述重构误差阈值,则确定所述待检测用户的行为数据对应的所述用户行为正常行为。
10.根据权利要求8所述的检测装置,其中,所述第二获取模块,包括:
第一生成子模块,用于根据所述待检测用户的行为数据产生的时间先后顺序,生成待检测用户的访问行为序列;
第二生成子模块,用于根据所述待检测用户的访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表;
获取子模块,用于对所述待检测词汇表进行向量化处理,以获取所述原始向量矩阵。
11.根据权利要求10所述的检测装置,其中,所述第二生成子模块,包括:
确定单元,用于对所述待检测用户的访问行为序列进行筛选,以得到待检测用户的目标访问行为序列;
生成单元,用于根据所述待检测用户的目标访问行为序列,生成针对所述待检测用户的行为数据对应的所述用户行为的待检测词汇表。
12.根据权利要求11所述的检测装置,其中,所述确定单元,包括:
确定子单元,用于对所述待检测用户的访问行为序列进行分窗处理,并将任一滑动窗口内的所述待检测用户的访问行为序列作为所述待检测用户的目标访问行为序列。
13.根据权利要求8所述的检测装置,包括:
第一获取模块,用于获取已标注重构结果的待检测用户的样本行为数据;
第二获取模块,用于根据所述已标注重构结果的待检测用户的样本行为数据,获取原始训练向量矩阵;
第一确定模块,用于将所述原始训练向量矩阵输入至待训练的用户行为重构模型中对所述原始训练向量矩阵进行重构,以得到重构训练向量矩阵,其中,所述用户行为重构模型输出的所述重构训练向量矩阵为所述原始训练向量矩阵映射到正常行为的矩阵;
第二确定模块,用于根据所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的差异,调整待训练的所述用户行为重构模型中的模型参数,并返回所述获取已标注重构结果的待检测用户的样本行为数据步骤,直至所述原始训练向量矩阵对应的所述重构结果和所述原始训练向量矩阵对应的所述标注重构结果的所述差异符合预设的训练结束条件,将最后一次调整所述模型参数后的待训练的所述用户行为重构模型确定为训练好的所述用户行为重构模型。
14.根据权利要求13所述的检测装置,其中,所述第二获取模块,包括:
第一生成子模块,用于根据所述已标注重构结果的待检测用户的样本行为数据,生成待检测用户的样本访问行为序列;
第二生成子模块,用于根据所述待检测用户的样本访问行为序列,生成针对所述待检测用户的样本行为对应的所述用户行为的样本词汇表;
确定子模块,用于对所述样本词汇表进行向量化处理,以得到所述原始训练向量矩阵。
15.一种电子设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-7中任一所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110518940.XA CN113221104B (zh) | 2021-05-12 | 2021-05-12 | 用户异常行为的检测方法及用户行为重构模型的训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110518940.XA CN113221104B (zh) | 2021-05-12 | 2021-05-12 | 用户异常行为的检测方法及用户行为重构模型的训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113221104A CN113221104A (zh) | 2021-08-06 |
CN113221104B true CN113221104B (zh) | 2023-07-28 |
Family
ID=77095259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110518940.XA Active CN113221104B (zh) | 2021-05-12 | 2021-05-12 | 用户异常行为的检测方法及用户行为重构模型的训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113221104B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12118089B2 (en) | 2021-09-15 | 2024-10-15 | Nanotronics Imagiing, Inc. | Method, systems and apparatus for intelligently emulating factory control systems and simulating response data |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114037478A (zh) * | 2021-11-18 | 2022-02-11 | 北京明略软件系统有限公司 | 广告异常流量检测方法、系统、电子设备及可读存储介质 |
CN116248412B (zh) * | 2023-04-27 | 2023-08-22 | 中国人民解放军总医院 | 共享数据资源异常检测方法、系统、设备、存储器及产品 |
CN117421199B (zh) * | 2023-12-19 | 2024-04-02 | 湖南三湘银行股份有限公司 | 一种行为确定方法及系统 |
CN117744076B (zh) * | 2024-02-06 | 2024-04-16 | 江苏开博科技有限公司 | 一种银行数据库系统入侵检测方法及系统 |
CN118656764A (zh) * | 2024-08-19 | 2024-09-17 | 杭州广立微电子股份有限公司 | 半导体机台数据异常检测方法、装置及计算机设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781956A (zh) * | 2019-10-24 | 2020-02-11 | 精硕科技(北京)股份有限公司 | 一种目标检测的方法、装置、电子设备及可读存储介质 |
CN111030992A (zh) * | 2019-11-08 | 2020-04-17 | 厦门网宿有限公司 | 检测方法、服务器及计算机可读存储介质 |
CN111144375A (zh) * | 2019-12-31 | 2020-05-12 | 中国民用航空总局第二研究所 | 基于特征编码的异常行为检测方法、装置及电子设备 |
CN112149757A (zh) * | 2020-10-23 | 2020-12-29 | 新华三大数据技术有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
WO2021017261A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10430721B2 (en) * | 2015-07-27 | 2019-10-01 | Pivotal Software, Inc. | Classifying user behavior as anomalous |
-
2021
- 2021-05-12 CN CN202110518940.XA patent/CN113221104B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021017261A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
CN110781956A (zh) * | 2019-10-24 | 2020-02-11 | 精硕科技(北京)股份有限公司 | 一种目标检测的方法、装置、电子设备及可读存储介质 |
CN111030992A (zh) * | 2019-11-08 | 2020-04-17 | 厦门网宿有限公司 | 检测方法、服务器及计算机可读存储介质 |
CN111144375A (zh) * | 2019-12-31 | 2020-05-12 | 中国民用航空总局第二研究所 | 基于特征编码的异常行为检测方法、装置及电子设备 |
CN112149757A (zh) * | 2020-10-23 | 2020-12-29 | 新华三大数据技术有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12118089B2 (en) | 2021-09-15 | 2024-10-15 | Nanotronics Imagiing, Inc. | Method, systems and apparatus for intelligently emulating factory control systems and simulating response data |
Also Published As
Publication number | Publication date |
---|---|
CN113221104A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113221104B (zh) | 用户异常行为的检测方法及用户行为重构模型的训练方法 | |
CN108280757B (zh) | 用户信用评估方法及装置 | |
CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理系统 | |
WO2021068635A1 (zh) | 信息处理方法、装置及电子设备 | |
US20180253737A1 (en) | Dynamicall Evaluating Fraud Risk | |
CN112231592A (zh) | 基于图的网络社团发现方法、装置、设备以及存储介质 | |
US11222270B2 (en) | Using learned application flow to predict outcomes and identify trouble spots in network business transactions | |
CN114511756A (zh) | 基于遗传算法的攻击方法、装置及计算机程序产品 | |
CN114359993A (zh) | 模型训练方法、人脸识别方法、装置、设备、介质及产品 | |
CN113010785A (zh) | 用户推荐方法及设备 | |
CN110674497B (zh) | 一种恶意程序相似度计算的方法和装置 | |
CN115603955B (zh) | 异常访问对象识别方法、装置、设备和介质 | |
WO2023185125A1 (zh) | 产品资源的数据处理方法及装置、电子设备、存储介质 | |
US11030673B2 (en) | Using learned application flow to assist users in network business transaction based apps | |
CN110472680B (zh) | 目标分类方法、装置和计算机可读存储介质 | |
CN113508371B (zh) | 用于改进计算机标识的系统和方法 | |
CN113159937A (zh) | 识别风险的方法、装置和电子设备 | |
CN113706279A (zh) | 欺诈分析方法、装置、电子设备及存储介质 | |
CN112950222A (zh) | 资源处理异常检测方法、装置、电子设备及存储介质 | |
CN111429257A (zh) | 一种交易监控方法和装置 | |
CN111626887A (zh) | 一种社交关系评估方法及装置 | |
CN117172632B (zh) | 一种企业异常行为检测方法、装置、设备及存储介质 | |
CN114969543B (zh) | 推广方法、系统、电子设备和存储介质 | |
CN114565030B (zh) | 特征筛选方法、装置、电子设备和存储介质 | |
US20240111989A1 (en) | Systems and methods for predicting change points |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |