CN116991675A - 一种异常访问监控方法、装置、计算机设备及存储介质 - Google Patents
一种异常访问监控方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116991675A CN116991675A CN202311042868.3A CN202311042868A CN116991675A CN 116991675 A CN116991675 A CN 116991675A CN 202311042868 A CN202311042868 A CN 202311042868A CN 116991675 A CN116991675 A CN 116991675A
- Authority
- CN
- China
- Prior art keywords
- log data
- user access
- access log
- detection
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 154
- 230000005856 abnormality Effects 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 238000005096 rolling process Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
Abstract
本申请涉及大数据技术领域，特别是涉及一种异常访问监控方法、装置、计算机设备、存储介质和计算机程序产品。包括：获取用户访问日志数据，基于第一预设规则对用户访问日志数据进行前置异常检测；当用户访问日志数据通过前置异常检测后，根据与用户访问日志数据所匹配的数据类型，将用户访问日志数据分流至若干个分支检测流程，不同的分支检测流程与不同的第二预设规则对应；在分支检测流程中，基于第二预设规则以及时间窗口对用户访问日志数据进行滚动检测，得到分支检测结果；对分支检测结果为异常的用户访问日志数据对应的目标用户执行预设的异常处置措施。采用本方法能够提高对不同的访问情况进行异常监测，提高异常监测的效率和准确度。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种异常访问监控方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着互联网的快速发展，越来越多的网站和应用程序需要从互联网上获取数据。网络爬虫是一种自动化程序，可以帮助人们快速地收集和抓取互联网上的数据。然而，网络爬虫也会对互联网和用户产生一定的影响。网络爬虫可能会对服务器和网络造成负面影响。当网络爬虫抓取网站时，它会向服务器发送大量的请求，这可能会导致服务器崩溃或网络拥堵。这不仅会影响网站的正常运行，而且会影响其他用户的使用体验。此外，网络爬虫还可能会在网站上留下垃圾信息，从而影响用户的体验和搜索引擎的排名。其次，网络爬虫也可能会侵犯个人隐私。一些网站可能会包含个人信息，例如电话号码、电子邮件地址和家庭地址等。如果这些信息被网络爬虫收集，就会对个人隐私造成威胁。此外，网络爬虫还可能会收集用户的浏览历史和个人偏好等信息，从而侵犯用户的隐私。
总体而言，网络爬虫在互联网发展中扮演着重要的角色，但是也带来了一些负面影响。为了解决这些问题，保护公司重要数据不被爬取，需要采取一些措施来平衡网络爬虫的利弊，以确保公司收益正向的可持续发展。
相关技术中，在对异常的访问情况进行监测时，通常基于特定的分析判别逻辑，对用户的访问日志进行分析。
然而，目前的异常访问监测方法，存在如下的技术问题：
在异常访问监测中，依赖于特定的分析判别逻辑，但是用户的访问行为存在大量、不同的情况，少量的判别逻辑难以覆盖所有情况，导致异常判别的准确度以及效率较低，且检测能力单一，封禁效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高对不同的访问情况进行异常监测，提高异常监测的效率和准确度的一种异常访问监控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种异常访问监控方法。所述方法包括：
获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
在其中一个实施例中，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：
基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。
在其中一个实施例中，所述在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果包括：
根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；
应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
在其中一个实施例中，所述应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测包括：
基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；
应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
在其中一个实施例中，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：
对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
在其中一个实施例中，所述对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施包括：
根据所述分支检测结果确定所述目标用户的异常程度；
根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相应的目标异常处置措施。
第二方面，本申请还提供了一种异常访问监控装置。所述装置包括：
前置检测模块，用于获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
数据分流模块，用于当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
分支检测模块，用于在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
异常处置模块，用于对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
在其中一个实施例中，所述前置检测模块之前还包括：
数据过滤模块，用于基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。
在其中一个实施例中，所述分支检测模块包括：
窗口数据选取模块，用于根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；
模型检测模块，用于应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
在其中一个实施例中，所述模型检测模块包括：
模型匹配模块，用于基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；
模型应用模块，用于应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
在其中一个实施例中，所述前置检测模块之前还包括：
数据格式转换模块，用于对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
在其中一个实施例中，所述异常处置模块包括：
异常程度检测模块，用于根据所述分支检测结果确定所述目标用户的异常程度；
措施映射模块，用于根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相应的目标异常处置措施。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项实施例所述的一种异常访问监控方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种异常访问监控方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种异常访问监控方法中的步骤。
上述一种异常访问监控方法、装置、计算机设备、存储介质和计算机程序产品，通过独权中的技术特征进行推导，能够达到对应背景技术中的技术问题的有益效果：
在对用户访问行为的监控中，对用户访问日志数据进行获取，随后通过第一预设规则对用户访问日志数据进行前置异常检测，从而通过较为通用的校验逻辑，将用户访问日志数据中较为常规的异常情况判别出来，随后，通过对用户访问日志数据的分类情况，将用户访问日志数据分流至不同的分支检测流程中，从而得以将用户访问日志数据分流至不同时间窗口的细致化分析流程中。随后，通过对用户访问日志数据的细致化检测，实现风险感知，得到分支检测结果。最后，可以通过分支检测结果对目标用户执行预先设定的异常处置措施。在实施中，能够克服采用单一或较少类别的判别逻辑进行异常监测时，监测结果准确度较低，效率较低的问题。通过对用户的日志数据中多字段、不同时间窗口的细致化分析，实现了异常监测的实时性、智能型、优良性的增强。
附图说明
图1为一个实施例中一种异常访问监控方法的应用环境图；
图2为一个实施例中一种异常访问监控方法的第一流程示意图；
图3为另一个实施例中一种异常访问监控方法的第二流程示意图；
图4为另一个实施例中一种异常访问监控方法的第三流程示意图；
图5为另一个实施例中一种异常访问监控方法的第四流程示意图；
图6为另一个实施例中一种异常访问监控方法的第五流程示意图；
图7为另一个实施例中一种异常访问监控方法的第六流程示意图；
图8为一个实施例中一种异常访问监控装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
相关技术中，在对异常的访问情况进行监测时，通常基于特定的分析判别逻辑，对用户的访问日志进行分析。
然而，目前的异常访问监测方法，存在如下的技术问题：
在异常访问监测中，依赖于特定的分析判别逻辑，但是用户的访问行为存在大量、不同的情况，少量的判别逻辑难以覆盖所有情况，导致异常判别的准确度以及效率较低。
基于此，本申请实施例提供的一种异常访问监控方法，可以应用于如图1所示的应用环境中。其中，用户终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，用户终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种异常访问监控方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202：获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测。
其中，用户访问日志数据可以指在网络服务器或应用程序中记录用户访问网站或使用应用的行为的日志数据，日志数据可以记录用户的请求、响应、错误信息以及其他相关的元数据。日志数据可以包括：IP地址、时间戳、URL路径、请求参数、访问来源信息等。第一预设规则可以指预先制定的用于对用户访问日志数据中的异常情况进行检测的判别规则，第一预设规则可以针对用户访问日志数据进行前置异常检测，前置异常检测可以对为不同的访问场景中均存在的通用异常情况的检测。异常情况可能指非常规的访问情况，例如机器行为、超频访问、定向接口采集、持续访问、特殊业务场景校验等。具体地，机器行为可以表现为特殊的user_agent，例如是通过python、java等脚本代码实现爬虫，user_agent中将会带上http请求包名等；持续访问表现为正常用户只在工作时间访问，并不会持续性的24小时的，夜间连续访问等。定向接口采集，通过日志分析用户的接口请求占比，用户集中在单位时间内爬取单一或者某几个特殊url来获取实际数据；特殊业务场景校验则是结合实际的业务需求，例如导出、邮箱、下载等业务，单个账户是否在持续向多个邮箱多个字段的导出数据等。
示例性地，服务器可以在得到充分的授权和许可的前提下，获取用户访问日志数据。服务器可以搭建流处理框架，例如Flink集群，Flink集群可以由一个或多个Flink任务管理器组成，以及一个Flink作业管理器来协调任务的执行。随后，服务器可以将用户访问日志数据存储至Kafka消息队列中，从而通过Flink流处理框架，保证用户访问日志数据的大规模处理效率。随后，服务器可以基于第一预设规则对用户访问日志数据进行前置异常检测，前置异常检测可以包括对访问请求的IP信息、归属地、类别、IP风险等的校验。
步骤204：当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应。
其中，分支检测流程可以指对特定类别的用户访问日志数据进行异常检测的流程。第二预设规则可以指对特定类别的用户访问日志数据进行异常检测的判别规则。
示例性地，当用户访问日志数据通过前置异常检测后，可以表面用户访问日志数据中不存在常规的异常情况，为了对用户访问日志数据中特别场景中的异常情况进行检测，服务器可以根据用户访问日志数据所匹配的数据类型，将用户访问日志数据分流至若干个分支检测流程中进行异常检测。在分流处理中，用户访问日志数据与分支检测流程的关系可以是交叉的，即一组用户访问日志数据可能分发至多个分支检测流程，一个分支检测流程也可以用于检测多组用户访问日志数据。不同的分支检测流程之间的差异可能是时间窗口的数值不同，也可能是判别逻辑规则的差异，还可以是判别阈值上的差异。在分流处理中，服务器可以将用户访问日志数据进行单级多分支地分级，也可以进行多级多分支地分级。
步骤206：在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果。
其中，时间窗口可以指对用户访问日志数据的采样窗口。滚动检测可以指用于监测和检测数据流中的异常或突变的方法。它将数据流分为固定长度的时间窗口，并在每个时间窗口内进行数据分析和异常检测。在滚动检测中可以通过不断滚动时间窗口，以逐步更新数据并检测异常。每当一个新的时间窗口到来时，旧的时间窗口会被丢弃，新的数据会被添加到窗口中。在每个时间窗口内，可以应用各种统计方法、机器学习算法或规则来分析数据并检测异常。
示例性地，服务器可以在分支检测流程中，根据第二预设规则以及预先设定的时间窗口对用户访问日志数据进行滚动检测，从而得到对用户访问日志数据的分支检测结果。
步骤208：对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
其中，异常处置措施可以指对异常的访问情况的处理措施，例如运维侧的人机识别、提示信息、强登、登出重登、黑名单、慢库以及产品侧的引导付费、引导休息等。
示例性地，服务器可以对分支检测结果为异常的目标用户执行异常处置措施，从而实现异常情况的拦截处理，降低负面影响发生的可能性。
上述一种异常访问监控方法中，结合实施例中的技术特征进行合理推导，能够实现解决背景技术中所提出的技术问题的有益效果：
在对用户访问行为的监控中，对用户访问日志数据进行获取，随后通过第一预设规则对用户访问日志数据进行前置异常检测，从而通过较为通用的校验逻辑，将用户访问日志数据中较为常规的异常情况判别出来，随后，通过对用户访问日志数据的分类情况，将用户访问日志数据分流至不同的分支检测流程中，从而得以将用户访问日志数据分流至不同时间窗口的细致化分析流程中。随后，通过对用户访问日志数据的细致化检测，实现风险感知，得到分支检测结果。最后，可以通过分支检测结果对目标用户执行预先设定的异常处置措施。在实施中，能够克服采用单一或较少类别的判别逻辑进行异常监测时，监测结果准确度较低，效率较低的问题。通过对用户的日志数据中多字段、不同时间窗口的细致化分析，实现了异常监测的实时性、智能型、优良性的增强。
在一个实施例中，如图3所示，步骤202之前还包括：
步骤302：基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。
其中，第一权限列表可以指服务器授予特殊许可权限的用户信息的列表。第一权限列表可以指基于白名单创建的IP列表，也可以基于特殊url创建的url列表。
示例性地，服务器可以基于预设的第一权限列表对目标访问日志数据进行过滤，从而使得处于第一权限列表中的第一类别用户跳过异常检测流程。
本实施例中，在进行前置异常检测前，对日志数据进行过滤，使得白名单中的数据得以被摘出，能够减少进入检测流程的数据量，提高整体的访问监测效率。
在一个实施例中，如图4所示，步骤206包括：
步骤402：根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取。
示例性地，服务器可以根据第二预设规则对用户访问日志数据设定时间窗口，从而基于时间窗口对用户访问日志数据进行滚动选取。
步骤404：应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
示例性地，服务器可以应用预先训练的异常检测模型对滚动选取中时间窗口内的用户访问日志数据进行异常检测。
本实施例中，在进行日志数据的异常监测时，采用日志监测模型对数据中的异常情况进行监测的方案，能够利用模型提高监测的效率和准确度，同时能够适配更多的异常访问情况。
在一个实施例中，如图5所示，步骤404包括：
步骤502：基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型。
其中，第三预设规则可以指用于对用户访问日志数据进行分类的分类规则。
示例性地，服务器可以根据不同的异常类型预先训练得到若干个不同的异常检测模型。异常检测模型与用户访问日志数据之间可以呈交叉关系。互联网可以基于第三预设规则选取与用户访问日志数据相对应的目标异常检测模型。
步骤504：应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
示例性地，服务器可以应用目标异常检测模型对时间窗口内的用户访问日志数据进行异常检测。
本实施例中，在通过模型识别异常情况之前，通过数据类别将数据分配至不同的模型中，从而得以使用对应的模型对数据进行异常监测，从而得以使用不同的模型的监测结果进行相互验证和补充，能够提高异常监测的效率和准确度。
在一个实施例中，可以如图6所示，步骤202之前还包括：
步骤602：对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
示例性地，服务器可以对用户访问日志数据进行格式转换，以使用户访问日志数据由原始数据转换为目标格式。具体地，服务器可以将用户访问日志数据进行json转换。
本实施例中，在对日志数据进行监测之间，对日志数据的格式进行转化，将其转换至目标格式，能够利用目标格式的数据提高日志数据监测的效率。
在一个实施例中，如图7所示，步骤208包括：
步骤702：根据所述分支检测结果确定所述目标用户的异常程度。
示例性地，服务器可以根据分支检测结果确定目标用户的异常程度。
步骤704：根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相应的目标异常处置措施。
本实施例中，根据不同的异常程度，执行不同的处置措施的方案，能够提高对异常情况进行处理的准确度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的一种异常访问监控方法的一种异常访问监控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个一种异常访问监控装置实施例中的具体限定可以参见上文中对于一种异常访问监控方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种异常访问监控装置，包括：前置检测模块、数据分流模块、分支检测模块和异常处置模块，其中：
前置检测模块，用于获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
数据分流模块，用于当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
分支检测模块，用于在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
异常处置模块，用于对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
在其中一个实施例中，所述前置检测模块之前还包括：
数据过滤模块，用于基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。
在其中一个实施例中，所述分支检测模块包括：
窗口数据选取模块，用于根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；
模型检测模块，用于应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
在其中一个实施例中，所述模型检测模块包括：
模型匹配模块，用于基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；
模型应用模块，用于应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
在其中一个实施例中，所述前置检测模块之前还包括：
数据格式转换模块，用于对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
在其中一个实施例中，所述异常处置模块包括：
异常程度检测模块，用于根据所述分支检测结果确定所述目标用户的异常程度；
措施映射模块，用于根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相应的目标异常处置措施。
上述一种异常访问监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常访问监控方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种异常访问监控方法，其特征在于，所述方法包括：
获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
2.根据权利要求1所述的方法，其特征在于，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：
基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。
3.根据权利要求1所述的方法，其特征在于，所述在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果包括：
根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；
应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
4.根据权利要求3所述的方法，其特征在于，所述应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测包括：
基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；
应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：
对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
6.根据权利要求1所述的方法，其特征在于，所述对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施包括：
根据所述分支检测结果确定所述目标用户的异常程度；
根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相应的目标异常处置措施。
7.一种异常访问监控装置，其特征在于，所述装置包括：
前置检测模块，用于获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
数据分流模块，用于当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
分支检测模块，用于在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
异常处置模块，用于对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042868.3A CN116991675A (zh) | 2023-08-18 | 2023-08-18 | 一种异常访问监控方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042868.3A CN116991675A (zh) | 2023-08-18 | 2023-08-18 | 一种异常访问监控方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116991675A true CN116991675A (zh) | 2023-11-03 |
Family
ID=88528285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311042868.3A Pending CN116991675A (zh) | 2023-08-18 | 2023-08-18 | 一种异常访问监控方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116991675A (zh) |
-
2023
- 2023-08-18 CN CN202311042868.3A patent/CN116991675A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11196756B2 (en) | Identifying notable events based on execution of correlation searches | |
| US9601000B1 (en) | Data-driven alert prioritization | |
| US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
| US9479518B1 (en) | Low false positive behavioral fraud detection | |
| CN107579956B (zh) | 一种用户行为的检测方法和装置 | |
| CN106656536A (zh) | 一种用于处理服务调用信息的方法与设备 | |
| CN104246786A (zh) | 模式发现中的字段选择 | |
| US20210112101A1 (en) | Data set and algorithm validation, bias characterization, and valuation | |
| US11042525B2 (en) | Extracting and labeling custom information from log messages | |
| US20150051946A1 (en) | Weighting sentiment information | |
| US11074652B2 (en) | System and method for model-based prediction using a distributed computational graph workflow | |
| CN108306846B (zh) | 一种网络访问异常检测方法及系统 | |
| US11949702B1 (en) | Analysis and mitigation of network security risks | |
| US20130036127A1 (en) | Document registry system | |
| CN111371757B (zh) | 恶意通信检测方法、装置、计算机设备和存储介质 | |
| CN115001934A (zh) | 一种工控安全风险分析系统及方法 | |
| CN111858278A (zh) | 基于大数据处理的日志分析方法、系统及可读存储装置 | |
| RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
| CN117271177A (zh) | 基于链路数据的根因定位方法、装置、电子设备及存储介质 | |
| Lee et al. | Detecting anomaly teletraffic using stochastic self-similarity based on Hadoop | |
| CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
| CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
| CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
| WO2021055964A1 (en) | System and method for crowd-sourced refinement of natural phenomenon for risk management and contract validation | |
| CN115292272B (zh) | 企业级权限管理的方法、系统、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |