CN107508789B - 一种异常数据的识别方法和装置 - Google Patents

一种异常数据的识别方法和装置 Download PDF

Info

Publication number
CN107508789B
CN107508789B CN201710515872.5A CN201710515872A CN107508789B CN 107508789 B CN107508789 B CN 107508789B CN 201710515872 A CN201710515872 A CN 201710515872A CN 107508789 B CN107508789 B CN 107508789B
Authority
CN
China
Prior art keywords
abnormal
access
time
pki
url
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710515872.5A
Other languages
English (en)
Other versions
CN107508789A (zh
Inventor
薛岭
刁志刚
耿星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linkdood Technologies SdnBhd
Original Assignee
Linkdood Technologies SdnBhd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linkdood Technologies SdnBhd filed Critical Linkdood Technologies SdnBhd
Priority to CN201710515872.5A priority Critical patent/CN107508789B/zh
Publication of CN107508789A publication Critical patent/CN107508789A/zh
Application granted granted Critical
Publication of CN107508789B publication Critical patent/CN107508789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/006—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving public key infrastructure [PKI] trust models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种异常数据的识别方法和装置，该识别方法包括：收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间；获取每一等级PKI访问IP的起讫时间；根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间；根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问；统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值；根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。本发明能够识别对数据的异常访问行为，不仅解决了现在技术无法检查异常访问行为的问题，并且在检测用户访问URL的行为以及数据泄露问题上有着监控和预警功能。

Description

一种异常数据的识别方法和装置
技术领域
本发明涉及计算机技术领域，特别涉及一种异常数据的识别方法和装置。
背景技术
随着云计算、大数据快速发展，以大数据的收集、处理与分析技术为驱动，帮助企业实时、自动侦测已经发生或即将发生的数据安全存在的内部与外部安全威胁，提高安全事件处理的效率，最大限度的保护企业信息资产安全是未来发展趋势。
目前，数据安全管控的方法是：根据数据类别和密级对数据进行划分；根据数据划分结果对数据的加密、身份认证、访问控制、安全审计以及跟踪与取证分配相应的安全防护工具并进行安全防护。
但是现有的数据安全管控方法，数据分类分级主要应用于数据的细粒度保护中，但是对数据的异常访问很难识别。
发明内容
本发明实施例提供了一种异常数据的识别方法和装置，能够识别对数据的异常访问。
第一方面，本发明实施例提供了一种异常数据的识别方法，该方法包括：
收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间；
获取每一等级PKI访问IP的起讫时间；
根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间；
根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问；
统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值；
根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。
优选地，确定每一等级PKI通过IP访问URL的起讫时间，包括：
针对每一等级PKI，
当IP访问URL的起始时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[urlStartTime，min(urlEndtime，pkiEndTime)]；
当IP访问URL的终止时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[max(urlStarTime，pkiStartTime)，urlEndtime]；
其中，urlStartTime用于表征IP访问URL的起始时间；urlEndtime用于表征IP访问URL的终止时间；pkiStartTime用于表征PKI访问IP的起始时间；pkiEndTime用于表征PKI访问IP的终止时间；min(urlEndtime，pkiEndTime)用于表征选取urlEndtime和pkiEndTime两者中早的时间；[max(urlStarTime，pkiStartTime)用于表征选取urlStarTime和pkiStartTime中晚的时间。
优选地，根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问，包括：
筛选出任意两个不同等级PKI通过同一IP访问同一URL的开始时间的时间差小于两个不同等级PKI中低等级PKI通过IP访问URL的单次访问的预设正常时间的情况，确认该低等级PKI通过IP访问URL为潜在的异常访问。
优选地，统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值，包括：
当根据累计次数计算高度异常值时，利用公式
Figure BDA0001336571680000031
计算访问次数异常值；
其中，p1用于访问次数异常值；n用于表征预设时间段的总天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000032
用于表征预设时间段内每天异常访问的累计次数的平均次数；
根据访问次数异常值，确定在预设时间段内当天异常访问的累计次数处于
Figure BDA0001336571680000033
内的均为高度异常值；
当根据累计时间计算高度异常值时，利用公式
Figure BDA0001336571680000034
计算访问时间异常值；
其中，p2用于表征访问时间异常值；n用于表征预设时间段的总天数；xa用于表征在预设时间段内第a天异常访问的累计时间；
Figure BDA0001336571680000039
用于表征预设时间段内每天异常访问的累计时间的平均时间；
根据访问时间异常值，确定在预设时间段内当天异常访问的累计时间处于
Figure BDA0001336571680000035
内的均为高度异常值。
优选地，根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度，包括：
当根据累计次数计算异常程度时，利用公式
Figure BDA0001336571680000036
确定预设时间段内PKI通过IP访问URL的次数异常程度；
其中，D1用于表征根据累计次数获得的次数异常程度；n用于表征预设时间段的总天数；m用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000037
用于表征预设时间段内每天异常访问的累计次数的平均次数；lz用于表征在高度异常值的天数中第z天异常访问的累计次数；
当根据累计时间计算异常程度时，利用公式
Figure BDA0001336571680000038
确定预设时间段内PKI通过IP访问URL的时间异常程度；
其中，D2用于表征根据累计次数获得的时间异常程度；n用于表征预设时间段的总天数；t用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计时间；
Figure BDA0001336571680000041
用于表征预设时间段内每天异常访问的累计时间的平均时间；yc用于表征在高度异常值的天数中第c天异常访问的累计时间；
判断D1和D2的大小，将两者中数值大的作为预设时间段内PKI通过IP访问URL的异常程度。
第二方面，本发明实施例提供了一种异常数据的识别装置，该装置包括：采集单元、获取单元、对应单元、筛选单元、计算单元和确定单元，其中，
采集单元，用于收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间；
获取单元，用于获取每一等级PKI访问IP的起讫时间；
对应单元，用于根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间；
筛选单元，用于根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问；
计算单元，用于统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值；
确定单元，用于根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。
优选地，对应单元，具体用于针对每一等级PKI，
当IP访问URL的起始时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[urlStartTime，min(urlEndtime，pkiEndTime)]；
当IP访问URL的终止时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[max(urlStarTime，pkiStartTime)，urlEndtime]；
其中，urlStartTime用于表征IP访问URL的起始时间；urlEndtime用于表征IP访问URL的终止时间；pkiStartTime用于表征PKI访问IP的起始时间；pkiEndTime用于表征PKI访问IP的终止时间；min(urlEndtime，pkiEndTime)用于表征选取urlEndtime和pkiEndTime两者中早的时间；[max(urlStarTime，pkiStartTime)用于表征选取urlStarTime和pkiStartTime中晚的时间。
优选地，筛选单元，具体用于筛选出任意两个不同等级PKI通过同一IP访问同一URL的开始时间的时间差小于两个不同等级PKI中低等级PKI通过IP访问URL的单次访问的预设正常时间的情况，确认该低等级PKI通过IP访问URL为潜在的异常访问。
优选地，计算单元，包括：异常值子计算单元和高度异常值计算子单元，其中，
当根据累计次数计算高度异常值时，
异常值子计算单元，用于利用公式
Figure BDA0001336571680000051
计算访问次数异常值；
其中，p1用于访问次数异常值；n用于表征预设时间段的总天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000052
用于表征预设时间段内每天异常访问的累计次数的平均次数；
高度异常值计算子单元，用于根据访问次数异常值，确定在预设时间段内当天异常访问的累计次数处于
Figure BDA0001336571680000053
内的均为高度异常值；
当根据累计时间计算高度异常值时，
异常值子计算单元，用于利用公式
Figure BDA0001336571680000054
计算访问时间异常值；
其中，p2用于表征访问时间异常值；n用于表征预设时间段的总天数；xa用于表征在预设时间段内第a天异常访问的累计时间；
Figure BDA0001336571680000055
用于表征预设时间段内每天异常访问的累计时间的平均时间；
高度异常值计算子单元，用于根据访问时间异常值，确定在预设时间段内当天异常访问的累计时间处于
Figure BDA0001336571680000061
内的均为高度异常值。
优选地，确定单元，包括：处理子单元和判断子单元，其中，
处理子单元，用于当根据累计次数计算异常程度时，利用公式
Figure BDA0001336571680000062
确定预设时间段内PKI通过IP访问URL的次数异常程度；
其中，D1用于表征根据累计次数获得的次数异常程度；n用于表征预设时间段的总天数；m用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000063
用于表征预设时间段内每天异常访问的累计次数的平均次数；lz用于表征在高度异常值的天数中第z天异常访问的累计次数；
当根据累计时间计算异常程度时，利用公式
Figure BDA0001336571680000064
确定预设时间段内PKI通过IP访问URL的时间异常程度；
其中，D2用于表征根据累计次数获得的时间异常程度；n用于表征预设时间段的总天数；t用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计时间；
Figure BDA0001336571680000065
用于表征预设时间段内每天异常访问的累计时间的平均时间；yc用于表征在高度异常值的天数中第c天异常访问的累计时间；
判断子单元，用于判断D1和D2的大小，将两者中数值大的作为预设时间段内PKI通过IP访问URL的异常程度。
本发明实施例提供了一种异常数据的识别方法和装置，通过确定每一等级PKI通过IP访问URL的起讫时间，根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问，并确定预设时间段内PKI通过IP访问URL的异常程度。由于在一段时间内两个及以上不同等级的PKI相继通过同一IP访问同一URL的强度是比较稳定的，存在较大的波动的可能性很低，如果出现多次且波动很大，则有理由认为存在数据异常的可能性高，现在技术无法检查出这种异常访问行为，而本发明能够识别对数据的异常访问。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种异常数据的识别方法的流程图；
图2是本发明一个实施例提供的一种异常数据的识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种异常数据的识别方法，该方法可以包括以下步骤：
步骤101：收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间。
步骤102：获取每一等级PKI访问IP的起讫时间。
步骤103：根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间。
步骤104：根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问。
步骤105：统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值。
步骤106：根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。
在该实施例中，通过确定每一等级PKI通过IP访问URL的起讫时间，根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问，并确定预设时间段内PKI通过IP访问URL的异常程度。在较长一段时间内两个及以上不同等级的PKI相继通过同一IP访问同一URL的强度是比较稳定的，存在较大的波动的可能性很低，如果出现多次且波动很大，则有理由认为存在数据异常的可能性高，现在技术无法检查出这种异常访问行为，而本方法能够识别对数据的异常访问。
本发明实施例提供了一种异常数据的识别方法，该方法可以包括：
1)获取至少两个目标PKI的基础信息表。
2)获取PKI访问IP的使用明细数据，并且关联1，过滤出目标PKI的使用明细。
3)将目标PKI的使用明细关联PKI等级表，在目标PKI访问IP的使用明细记录中添加目标PKI的等级。
4)整理目标PKI访问IP的起讫时间。
5)获取IP访问URL明细，整理出IP访问URL的起讫时间。
在5中，可以将数据清理到URL只保留三级标题，并且过滤掉URL访问明细表中同一个终端与上一条访问记录时间间隔小于1S的记录，这样可以过滤掉同一个点击的多个后台操作记录，避免影响异常访问行为的识别。
6)将4和6通过IP关联，整理出目标PKI通过IP访问URL的起讫时间。
在6中，目标PKI通过IP访问URL的起讫时间计算方式：
如果IP访问URL的起始时间在目标PKI访问IP的起讫时间之间，则：目标PKI通过IP访问URL的起讫时间为：
[urlStartTime，min(urlEndtime，pkiEndTime)]
如果IP访问URL的终止时间在目标PKI访问IP的起讫时间之间，则：目标PKI通过IP访问URL的起讫时间为：
[max(urlStarTime，pkiStartTime)，urlEndtime]
其中：urlStartTime为IP访问URL的起始时间；urlEndtime为IP访问URL的终止时间；pkiStartTime为目标PKI访问IP的起始时间；pkiEndTime为目标PKI访问IP的终止时间。
7)通过IP关联，过滤出短时间内至少两个不同等级的目标PKI访问同一个URL的记录。
在7中，短时间的定义方式为：不同等级PKI通过同一个终端访问业务系统的开始时间之差小于低等级PKI单次访问业务系统的时间的一半。本实施例中，仅给出该定义方式，但不代表只有这一种。例如：短时间的定义方式还可以为：不同等级PKI通过同一个终端访问业务系统的开始时间之差小于低等级PKI单次访问业务系统的时间十分之四等其他定义方式。
8)计算符合7的低等级PKI每天通过IP访问URL的累计时间和累计次数。
在8中，仅在预设时间段内进行计算。例如：预设的时间段为2017年5月1日至2017年5月31日，则其他时间段不进行计算。
9)计算高度异常值。
在9中，计算过程为：
当根据累计次数计算高度异常值时，利用公式1计算访问次数异常值，其中，公式1为：
Figure BDA0001336571680000091
其中，p1用于访问次数异常值；n用于表征预设时间段的总天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000092
用于表征预设时间段内每天异常访问的累计次数的平均次数；
根据访问次数异常值，确定在预设时间段内当天异常访问的累计次数处于
Figure BDA0001336571680000101
内的均为高度异常值；
当根据累计时间计算高度异常值时，利用公式2计算访问时间异常值，其中，公式2为：
Figure BDA0001336571680000102
其中，p2用于表征访问时间异常值；n用于表征预设时间段的总天数；xa用于表征在预设时间段内第a天异常访问的累计时间；
Figure BDA0001336571680000103
用于表征预设时间段内每天异常访问的累计时间的平均时间；
根据访问时间异常值，确定在预设时间段内当天异常访问的累计时间处于
Figure BDA0001336571680000104
内的均为高度异常值。
值得说明的是，还可以使用其他计算方法获得高度异常值。
10)分别带入公式计算累计的访问时间的异常程度和次数的异常程度，将两者中的大者用来描述PKI通过IP访问URL的异常程度
在10中的具体计算过程为：当根据累计次数计算异常程度时，利用公式3确定预设时间段内PKI通过IP访问URL的次数异常程度，其中，公式3为：
Figure BDA0001336571680000105
其中，D1用于表征根据累计次数获得的次数异常程度；n用于表征预设时间段的总天数；m用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000106
用于表征预设时间段内每天异常访问的累计次数的平均次数；lz用于表征在高度异常值的天数中第z天异常访问的累计次数；
当根据累计时间计算异常程度时，利用公式4确定预设时间段内PKI通过IP访问URL的时间异常程度，其中，公式4为：
Figure BDA0001336571680000107
其中，D2用于表征根据累计次数获得的时间异常程度；n用于表征预设时间段的总天数；t用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计时间；
Figure BDA0001336571680000111
用于表征预设时间段内每天异常访问的累计时间的平均时间；yc用于表征在高度异常值的天数中第c天异常访问的累计时间；
判断D1和D2的大小，将两者中数值大的作为预设时间段内PKI通过IP访问URL的异常程度。
在该实施例中，PKI通过IP访问URL可以是系统中所有的IP，也可以是指定的特定IP；URL也可以是所有的URL，也可以是指定的特定URL。
如图2所示，本发明实施例提供了一种异常数据的识别装置，该装置可以包括：采集单元201、获取单元202、对应单元203、筛选单元204、计算单元205和确定单元206，其中，
采集单元201，用于收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间；
获取单元202，用于获取每一等级PKI访问IP的起讫时间；
对应单元203，用于根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间；
筛选单元204，用于根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问；
计算单元205，用于统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值；
确定单元206，用于根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。
在本发明一个实施例中，对应单元，具体用于针对每一等级PKI，
当IP访问URL的起始时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[urlStartTime，min(urlEndtime，pkiEndTime)]；
当IP访问URL的终止时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[max(urlStarTime，pkiStartTime)，urlEndtime]；
其中，urlStartTime用于表征IP访问URL的起始时间；urlEndtime用于表征IP访问URL的终止时间；pkiStartTime用于表征PKI访问IP的起始时间；pkiEndTime用于表征PKI访问IP的终止时间；min(urlEndtime，pkiEndTime)用于表征选取urlEndtime和pkiEndTime两者中早的时间；[max(urlStarTime，pkiStartTime)用于表征选取urlStarTime和pkiStartTime中晚的时间。
在本发明一个实施例中，筛选单元，具体用于筛选出任意两个不同等级PKI通过同一IP访问同一URL的开始时间的时间差小于两个不同等级PKI中低等级PKI通过IP访问URL的单次访问的预设正常时间的情况，确认该低等级PKI通过IP访问URL为潜在的异常访问。
在该实施例中，提供了一种确定潜在异常访问的方法，而不代表只有这一种方法。用户可通过系统需求自行设定其他方法。
在本发明一个实施例中，计算单元，包括：异常值子计算单元和高度异常值计算子单元，其中，
当根据累计次数计算高度异常值时，
异常值子计算单元，用于利用公式1计算访问次数异常值，其中，公式1为：
Figure BDA0001336571680000121
其中，p1用于访问次数异常值；n用于表征预设时间段的总天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000122
用于表征预设时间段内每天异常访问的累计次数的平均次数；
高度异常值计算子单元，用于根据访问次数异常值，确定在预设时间段内当天异常访问的累计次数处于
Figure BDA0001336571680000123
内的均为高度异常值；
当根据累计时间计算高度异常值时，
异常值子计算单元，用于利用公式2计算访问时间异常值，其中，公式2为：
Figure BDA0001336571680000131
其中，p2用于表征访问时间异常值；n用于表征预设时间段的总天数；xa用于表征在预设时间段内第a天异常访问的累计时间；
Figure BDA0001336571680000132
用于表征预设时间段内每天异常访问的累计时间的平均时间；
高度异常值计算子单元，用于根据访问时间异常值，确定在预设时间段内当天异常访问的累计时间处于
Figure BDA0001336571680000133
内的均为高度异常值。
在本发明一个实施例中，确定单元，包括：处理子单元和判断子单元，其中，
处理子单元，用于当根据累计次数计算异常程度时，利用公式3确定预设时间段内PKI通过IP访问URL的次数异常程度，其中，公式3为：
Figure BDA0001336571680000134
其中，D1用于表征根据累计次数获得的次数异常程度；n用于表征预设时间段的总天数；m用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure BDA0001336571680000135
用于表征预设时间段内每天异常访问的累计次数的平均次数；lz用于表征在高度异常值的天数中第z天异常访问的累计次数；
当根据累计时间计算异常程度时，利用公式4确定预设时间段内PKI通过IP访问URL的时间异常程度，其中，公式4为：
Figure BDA0001336571680000136
其中，D2用于表征根据累计次数获得的时间异常程度；n用于表征预设时间段的总天数；t用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计时间；
Figure BDA0001336571680000141
用于表征预设时间段内每天异常访问的累计时间的平均时间；yc用于表征在高度异常值的天数中第c天异常访问的累计时间；
判断子单元，用于判断D1和D2的大小，将两者中数值大的作为预设时间段内PKI通过IP访问URL的异常程度。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
综上，本发明的各实施例，至少具有如下有益效果：
1、在本发明的实施例中，通过确定每一等级PKI通过IP访问URL的起讫时间，根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问，并确定预设时间段内PKI通过IP访问URL的异常程度。由于在一段时间内两个及以上不同等级的PKI相继通过同一IP访问同一URL的强度是比较稳定的，存在较大的波动的可能性很低，如果出现多次且波动很大，则有理由认为存在数据异常的可能性高，现在技术无法检查出这种异常访问行为，而本发明能够识别对数据的异常访问。
2、在本发明的实施例中，在检测用户访问URL的行为以及数据泄露问题上有着监控和预警功能。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种异常数据的识别方法，其特征在于，该方法包括：
收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间；
获取每一等级PKI访问IP的起讫时间；
根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间；
根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问；包括：筛选出任意两个不同等级PKI通过同一IP访问同一URL的开始时间的时间差小于两个不同等级PKI中低等级PKI通过IP访问URL的单次访问的预设正常时间的情况，确认该低等级PKI通过IP访问URL为潜在的异常访问；
统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值；
根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。
2.根据权利要求1所述的异常数据的识别方法，其特征在于，确定每一等级PKI通过IP访问URL的起讫时间，包括：
针对每一等级PKI，
当IP访问URL的起始时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[urlStartTime，min(urlEndtime，pkiEndTime)]；
当IP访问URL的终止时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[max(urlStarTime，pkiStartTime)，urlEndtime]；
其中，urlStartTime用于表征IP访问URL的起始时间；urlEndtime用于表征IP访问URL的终止时间；pkiStartTime用于表征PKI访问IP的起始时间；pkiEndTime用于表征PKI访问IP的终止时间；min(urlEndtime，pkiEndTime)用于表征选取urlEndtime和pkiEndTime两者中早的时间；[max(urlStarTime，pkiStartTime)用于表征选取urlStarTime和pkiStartTime中晚的时间。
3.根据权利要求1所述的异常数据的识别方法，其特征在于，统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值，包括：
当根据累计次数计算高度异常值时，利用公式
Figure FDA0002371868360000021
计算访问次数异常值；
其中，p1用于访问次数异常值；n用于表征预设时间段的总天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure FDA0002371868360000022
用于表征预设时间段内每天异常访问的累计次数的平均次数；
根据访问次数异常值，确定在预设时间段内当天异常访问的累计次数处于
Figure FDA0002371868360000023
内的均为高度异常值；
当根据累计时间计算高度异常值时，利用公式
Figure FDA0002371868360000024
计算访问时间异常值；
其中，p2用于表征访问时间异常值；n用于表征预设时间段的总天数；xa用于表征在预设时间段内第a天异常访问的累计时间；
Figure FDA0002371868360000033
用于表征预设时间段内每天异常访问的累计时间的平均时间；
根据访问时间异常值，确定在预设时间段内当天异常访问的累计时间处于
Figure FDA0002371868360000026
内的均为高度异常值。
4.根据权利要求3所述的异常数据的识别方法，其特征在于，根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度，包括：
当根据累计次数计算异常程度时，利用公式
Figure FDA0002371868360000027
确定预设时间段内PKI通过IP访问URL的次数异常程度；
其中，D1用于表征根据累计次数获得的次数异常程度；n用于表征预设时间段的总天数；m用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure FDA0002371868360000031
用于表征预设时间段内每天异常访问的累计次数的平均次数；lz用于表征在高度异常值的天数中第z天异常访问的累计次数；
当根据累计时间计算异常程度时，利用公式
Figure FDA0002371868360000032
确定预设时间段内PKI通过IP访问URL的时间异常程度；
其中，D2用于表征根据累计次数获得的时间异常程度；n用于表征预设时间段的总天数；t用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计时间；
Figure FDA0002371868360000033
用于表征预设时间段内每天异常访问的累计时间的平均时间；yc用于表征在高度异常值的天数中第c天异常访问的累计时间；
判断D1和D2的大小，将两者中数值大的作为预设时间段内PKI通过IP访问URL的异常程度。
5.一种异常数据的识别装置，其特征在于，该装置包括：采集单元、获取单元、对应单元、筛选单元、计算单元和确定单元，其中，
采集单元，用于收集业务系统的全部数据，从全部数据中获取通过IP访问URL的起讫时间；
获取单元，用于获取每一等级PKI访问IP的起讫时间；
对应单元，用于根据通过IP访问URL的起讫时间和每一等级PKI访问IP的起讫时间，确定每一等级PKI通过IP访问URL的起讫时间；
筛选单元，用于根据每一等级PKI通过IP访问URL的起讫时间，筛选出潜在的异常访问；包括：筛选出任意两个不同等级PKI通过同一IP访问同一URL的开始时间的时间差小于两个不同等级PKI中低等级PKI通过IP访问URL的单次访问的预设正常时间的情况，确认该低等级PKI通过IP访问URL为潜在的异常访问；
计算单元，用于统计预设时间段内每天潜在的异常访问的累计次数和累计时间，并计算高度异常值；
确定单元，用于根据高度异常值，确定预设时间段内PKI通过IP访问URL的异常程度。
6.根据权利要求5所述的异常数据的识别装置，其特征在于，对应单元，具体用于针对每一等级PKI，
当IP访问URL的起始时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[urlStartTime，min(urlEndtime，pkiEndTime)]；
当IP访问URL的终止时间在PKI访问IP的起讫时间之间时，确定PKI通过IP访问URL的起讫时间为：[max(urlStarTime，pkiStartTime)，urlEndtime]；
其中，urlStartTime用于表征IP访问URL的起始时间；urlEndtime用于表征IP访问URL的终止时间；pkiStartTime用于表征PKI访问IP的起始时间；pkiEndTime用于表征PKI访问IP的终止时间；min(urlEndtime，pkiEndTime)用于表征选取urlEndtime和pkiEndTime两者中早的时间；[max(urlStarTime，pkiStartTime)用于表征选取urlStarTime和pkiStartTime中晚的时间。
7.根据权利要求5所述的异常数据的识别装置，其特征在于，计算单元，包括：异常值子计算单元和高度异常值计算子单元，其中，
当根据累计次数计算高度异常值时，异常值子计算单元，用于利用公式
Figure FDA0002371868360000041
计算访问次数异常值；
其中，p1用于访问次数异常值；n用于表征预设时间段的总天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure FDA0002371868360000042
用于表征预设时间段内每天异常访问的累计次数的平均次数；
高度异常值计算子单元，用于根据访问次数异常值，确定在预设时间段内当天异常访问的累计次数处于
Figure FDA0002371868360000043
内的均为高度异常值；
当根据累计时间计算高度异常值时，异常值子计算单元，用于利用公式
Figure FDA0002371868360000051
计算访问时间异常值；
其中，p2用于表征访问时间异常值；n用于表征预设时间段的总天数；xa用于表征在预设时间段内第a天异常访问的累计时间；
Figure FDA0002371868360000033
用于表征预设时间段内每天异常访问的累计时间的平均时间；
高度异常值计算子单元，用于根据访问时间异常值，确定在预设时间段内当天异常访问的累计时间处于
Figure FDA0002371868360000053
内的均为高度异常值。
8.根据权利要求7所述的异常数据的识别装置，其特征在于，确定单元，包括：处理子单元和判断子单元，其中，
处理子单元，用于当根据累计次数计算异常程度时，利用公式
Figure FDA0002371868360000054
Figure FDA0002371868360000055
确定预设时间段内PKI通过IP访问URL的次数异常程度；
其中，D1用于表征根据累计次数获得的次数异常程度；n用于表征预设时间段的总天数；m用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计次数；
Figure FDA0002371868360000056
用于表征预设时间段内每天异常访问的累计次数的平均次数；lz用于表征在高度异常值的天数中第z天异常访问的累计次数；
当根据累计时间计算异常程度时，利用公式
Figure FDA0002371868360000057
确定预设时间段内PKI通过IP访问URL的时间异常程度；
其中，D2用于表征根据累计次数获得的时间异常程度；n用于表征预设时间段的总天数；t用于表征预设时间段内为高度异常值的天数；xi用于表征在预设时间段内第i天异常访问的累计时间；
Figure FDA0002371868360000058
用于表征预设时间段内每天异常访问的累计时间的平均时间；yc用于表征在高度异常值的天数中第c天异常访问的累计时间；
判断子单元，用于判断D1和D2的大小，将两者中数值大的作为预设时间段内PKI通过IP访问URL的异常程度。
CN201710515872.5A 2017-06-29 2017-06-29 一种异常数据的识别方法和装置 Active CN107508789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710515872.5A CN107508789B (zh) 2017-06-29 2017-06-29 一种异常数据的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710515872.5A CN107508789B (zh) 2017-06-29 2017-06-29 一种异常数据的识别方法和装置

Publications (2)

Publication Number Publication Date
CN107508789A CN107508789A (zh) 2017-12-22
CN107508789B true CN107508789B (zh) 2020-04-07

Family

ID=60678577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710515872.5A Active CN107508789B (zh) 2017-06-29 2017-06-29 一种异常数据的识别方法和装置

Country Status (1)

Country Link
CN (1) CN107508789B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093510A (zh) * 2007-07-25 2007-12-26 北京搜狗科技发展有限公司 一种针对网页作弊的反作弊方法及系统
CN101232399A (zh) * 2008-02-18 2008-07-30 刘峰 网站异常访问分析方法
CN103297435A (zh) * 2013-06-06 2013-09-11 中国科学院信息工程研究所 一种基于web日志的异常访问行为检测方法与系统
CN103493460A (zh) * 2011-04-04 2014-01-01 邦提恩科斯公司 借助于终端来认证实体的方法和系统
CN103581155A (zh) * 2012-08-08 2014-02-12 贵州电网公司信息通信分公司 信息安全态势分析方法与系统
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN105790968A (zh) * 2014-12-18 2016-07-20 中国移动通信集团黑龙江有限公司 一种评估监测互联网业务异常变化情况的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001308841A (ja) * 2000-04-21 2001-11-02 Sony Corp 送信装置および送信方法、受信装置および受信方法、ならびに、送受信システムおよび送受信方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093510A (zh) * 2007-07-25 2007-12-26 北京搜狗科技发展有限公司 一种针对网页作弊的反作弊方法及系统
CN101232399A (zh) * 2008-02-18 2008-07-30 刘峰 网站异常访问分析方法
CN103493460A (zh) * 2011-04-04 2014-01-01 邦提恩科斯公司 借助于终端来认证实体的方法和系统
CN103581155A (zh) * 2012-08-08 2014-02-12 贵州电网公司信息通信分公司 信息安全态势分析方法与系统
CN103297435A (zh) * 2013-06-06 2013-09-11 中国科学院信息工程研究所 一种基于web日志的异常访问行为检测方法与系统
CN105790968A (zh) * 2014-12-18 2016-07-20 中国移动通信集团黑龙江有限公司 一种评估监测互联网业务异常变化情况的方法及装置
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于URL动态映射的HTTP_DDOS防御模型";李展歌等;《计算机应用与软件》;20150915;第32卷(第9期);全文 *
"基于海量WEB日志的网络恶意行为分析系统设计与实现";徐安林;《中国优秀硕士学位论文全文数据库信息科技辑》;20160315;全文 *
"应用层DDoS攻击检测算法研究及实现";徐川;《中国博士学位论文全文数据库》;20130215;全文 *

Also Published As

Publication number Publication date
CN107508789A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN108449327B (zh) 一种账号清理方法、装置、终端设备及存储介质
CN106295349B (zh) 账号被盗的风险识别方法、识别装置及防控系统
CN111178760B (zh) 风险监测方法、装置、终端设备及计算机可读存储介质
US20180075240A1 (en) Method and device for detecting a suspicious process by analyzing data flow characteristics of a computing device
CN110471821B (zh) 异常变更检测方法、服务器及计算机可读存储介质
US20050086529A1 (en) Detection of misuse or abuse of data by authorized access to database
CN109639504B (zh) 一种基于云平台的告警信息处理方法和装置
CN102713861A (zh) 操作管理装置、操作管理方法以及程序存储介质
CN104731816A (zh) 一种处理异常业务数据的方法和装置
CN109873832B (zh) 流量识别方法、装置、电子设备和存储介质
US20150106340A1 (en) System for automatically detecting abnormalities statistical data on usage, method therefor, and apparatus applied to same
CN112751711B (zh) 告警信息处理方法和装置、存储介质和电子设备
CN106612216A (zh) 网站访问异常的检测方法及装置
WO2012029500A1 (ja) 運用管理装置、運用管理方法、及びプログラム
CN109597746A (zh) 故障分析方法及装置
CN111163073A (zh) 流量数据处理方法和装置
CN107341095B (zh) 一种智能分析日志数据的方法及装置
CN109005156A (zh) 账号共用的确定方法及装置
CN110363381B (zh) 一种信息处理方法和装置
US10614225B2 (en) System and method for tracing data access and detecting abnormality in the same
CN109064211B (zh) 营销业务数据分析方法、装置及服务器
CN112700115A (zh) 一种针对销项发票的风险识别方法
KR20140081071A (ko) 실시간 보안수준 측정 관리 방법 및 시스템
CN107508789B (zh) 一种异常数据的识别方法和装置
Genga et al. Towards a systematic process-aware behavioral analysis for security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant