CN107046489A - 一种频次类实时统计模型系统及方法 - Google Patents

一种频次类实时统计模型系统及方法 Download PDF

Info

Publication number
CN107046489A
CN107046489A CN201710225408.2A CN201710225408A CN107046489A CN 107046489 A CN107046489 A CN 107046489A CN 201710225408 A CN201710225408 A CN 201710225408A CN 107046489 A CN107046489 A CN 107046489A
Authority
CN
China
Prior art keywords
data
frequency
current data
recorded
cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710225408.2A
Other languages
English (en)
Other versions
CN107046489B (zh
Inventor
崔宁
李超
王夷
鲁惊雷
文佳
王文博
张伟
汪刚
马建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd
Priority to CN201710225408.2A priority Critical patent/CN107046489B/zh
Publication of CN107046489A publication Critical patent/CN107046489A/zh
Application granted granted Critical
Publication of CN107046489B publication Critical patent/CN107046489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Abstract

本发明公开了一种频次类实时统计模型系统及方法，其中数据记录方法包括：在每一条数据记录入库时，确定当前数据记录的产生时间；分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。本技术方案解决了现有技术中对用户访问和操作日志的统计方法会有延迟较大，且存在统计遗漏等问题。

Description

一种频次类实时统计模型系统及方法
技术领域
本发明涉及数据统计领域，尤其涉及一种频次类实时统计模型系统及方法。
背景技术
随着互联网技术的发展和更新，基于网络的应用越来越多。企事业单位内部信息化程度越来越高，很多关键信息都存放在信息系统中，企业内部发生的频繁访问有可能是内部员工在盗取数据；互联网应用和网站越来越多，其中出现的频繁访问有可能是正常的用户使用，也有可能是黑客攻击。
例如，根据某个业务系统中的访问日志记录，员工A在5分钟内进行了1000次访问操作，正常情况下，不可有人达到如此高的操作频率，出现这个情况有可能是此员工正在通过第三方的插件或程序对系统进行数据盗取。
又例如，根据某网站的用户访问日志记录，某IP在1分钟内进行了100次登录操作，正常情况下不可能有人进行这样的操作，出现这个情况有可能是黑客程序正在暴力破解用户密码。
传统的解决方案是使用定时任务，定期对用户访问和操作日志进行统计，统计一分钟或5分钟内的操作数量，超过阀值进行告警。但是这样的解决方案有不少弊端，具体如下：
1、延迟较大，当发现超阀值时，实际可能已经过去了一段时间。
2、如果访问和操作日志采集来自多个系统，数据来源延迟时，统计数量会存在遗漏的情况。
3、如果为减少定时任务延迟性，可能会将定时任务执行周期调短，但是不管如何调短，仍然会存在跨周期超阀值而统计盲点的情况，比如：执行周期1分钟进行1次统计，设定阀值为1分钟100次操作，用户在3：31：59进行了60次操作，在3：32：01进行了60次操作，根据统计来看，每一个分钟片段都没有超阀值，但实际上用户是在3秒内进行了120次操作，类似此种情况，传统的统计任务无法识别。如果设定周期为1秒钟1次，则会存在大量的无用查询，增加数据库压力。
发明内容
本发明解决的问题是现有的对用户访问和操作日志的统计方法会有延迟较大，且存在统计遗漏等问题。
为解决上述问题，本发明实施例提供了一种数据记录处理方法，包括如下步骤：
在每一条数据记录入库时，确定当前数据记录的产生时间；
分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
可选的，数据记录处理方法还包括如下步骤：
在查询超阈值的频次计数时，遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数；
筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间，以确定频次计数超阈值的时间段。
可选的，所述当前数据记录的产生时间是当前数据记录的入库时间或者是早于当前数据记录的入库时间。
可选的，所述分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新包括：
将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1；
将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1。
可选的，各个以当前数据记录的产生时间为基准的频次周期的时长相等。
与现有技术相比，本发明技术方案具有以下有益效果：
在每一条数据记录入库时，同步更新以该条数据记录的产生时间为基准的向前频次周期和向后频次周期内的数据记录数，从而可以解决存在跨周期超阀值的统计盲点问题。
进一步，针对各条数据记录的入库时间和产生时间可能不一致(因延误导致)的问题，由于是以数据记录的产生时间为基准对前后两个频次周期内的数据记录数进行更新，因此对于延迟入库的数据记录，也不会出现遗漏统计的情况。
而在查询超阈值的频次计数时，只需要对各个频次周期内的数据记录数进行筛选就可以得到频次计数超阀值产生的时间段，无需对每个分片时间段再次进行统计。
附图说明
图1是本发明实施例的一种数据记录处理方法的具体实施方式的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
如图1所示的是本发明实施例的一种数据记录处理方法的具体实施方式的流程示意图。参考图1，数据记录处理方法包括如下步骤：
步骤S1：在每一条数据记录入库时，确定当前数据记录的产生时间；
步骤S2：分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
在本实施例中，以数据库作为存储介质以统计用户对业务系统或网站的访问记录数。
与现有技术不同，本发明实施例提供了一个频次类实时统计模型。在该模型中，对需要统计的频次周期设定一个向前计数字段和一个向后计数字段。其中，所述向前计数字段用于保存当前数据记录入库时，该数据记录的产生时间到向前推一个周期的时间分片内累计的数据记录数。所述向后计数字段用于保存当前数据记录入库时，该数据记录的产生时间到向后推一个周期的时间分片内累计的数据记录数。
如步骤S1所述，在每一条数据记录入库时，首先确定当前数据记录的产生时间。需要说明的是，在实际应用中，当前数据记录的产生时间与该当前数据记录的入库时间可能不同。如果数据记录入库存在延迟(例如数据记录来源于第三方系统等)，则当前数据记录的产生时间是要早于该当前数据记录的入库时间。如果数据记录在产生的同时入库，则当前数据记录的产生时间是该当前数据记录的入库时间。
如步骤S2所述，针对当前入库的该条数据记录，分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
具体来说，频次周期可以根据不同的应用场景设定不同的周期时长，例如1分钟、1个小时等。在本实施例中，针对各个时间基准的前后两个频次周期的时长都相等。
例如，当前数据记录的产生时间为12:10:02，频次周期为1分钟，则该当前数据记录的前一频次周期为12:09:02-12:10:02，该当前数据记录的后一频次周期为12:10:02-12:11:02。
在当前数据记录入库时，将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1，即在频次类实时统计模型中的当前数据记录的产生时间为基准的向前计数字段内的数据记录数加1。其中，该向前计数字段的初始值为前一个周期内的记录数。同时，将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1，即在频次类实时统计模型中的当前数据记录的产生时间为基准的向后计数字段内的数据记录数加1。其中，该向后计数字段的初始值为后一个周期内的记录数。
在本实施例中，由于在每一条数据记录入库时，同步更新以该条数据记录的产生时间为基准的向前频次周期和向后频次周期内的数据记录数，从而可以解决存在跨周期超阀值的统计盲点问题。进一步，由于是以数据记录的产生时间为基准对前后两个频次周期内的数据记录数进行更新，因此对于延迟入库的数据记录，也不会出现遗漏统计的情况。
进一步，在本实施例中，数据记录处理方法还包括如下步骤：
在查询超阈值的频次计数时，遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数；
筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间，以确定频次计数超阈值的时间段。
具体来说，在需要进行超阀值统计时，只需要对频次类实时统计模型中各个频次周期的向前计数字段和向后计数字段进行查询，过滤出超过阀值的数据记录数。在筛选出的这些数据记录数中，若是一个频次周期的向前计数字段超阀值，说明是从该频次周期对应的当前数据记录的产生时间到向前一个周期时间内，操作频次超阀值；若是一个频次周期的向后计数字段超阀值，说明是从该频次周期对应的当前数据记录的产生时间到向后一个周期时间内，操作频次超阀值。
综上所述，本技术方案解决了现有技术中对用户访问和操作日志的统计方法会有延迟较大，且存在统计遗漏等问题。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种数据记录处理方法，其特征在于，包括如下步骤：
在每一条数据记录入库时，确定当前数据记录的产生时间；
分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
2.如权利要求1所述的数据记录处理方法，其特征在于，还包括如下步骤：
在查询超阈值的频次计数时，遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数；
筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间，以确定频次计数超阈值的时间段。
3.如权利要求1所述的数据记录处理方法，其特征在于，所述当前数据记录的产生时间是当前数据记录的入库时间或者是早于当前数据记录的入库时间。
4.如权利要求1所述的数据记录处理方法，其特征在于，所述分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新包括：
将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1；
将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1。
5.如权利要求1所述的数据记录处理方法，其特征在于，各个以当前数据记录的产生时间为基准的频次周期的时长相等。
CN201710225408.2A 2017-04-07 2017-04-07 一种频次类实时统计模型系统及方法 Active CN107046489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710225408.2A CN107046489B (zh) 2017-04-07 2017-04-07 一种频次类实时统计模型系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710225408.2A CN107046489B (zh) 2017-04-07 2017-04-07 一种频次类实时统计模型系统及方法

Publications (2)

Publication Number Publication Date
CN107046489A true CN107046489A (zh) 2017-08-15
CN107046489B CN107046489B (zh) 2020-07-28

Family

ID=59545403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710225408.2A Active CN107046489B (zh) 2017-04-07 2017-04-07 一种频次类实时统计模型系统及方法

Country Status (1)

Country Link
CN (1) CN107046489B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401751A (zh) * 2020-03-18 2020-07-10 上海东普信息科技有限公司 分频次展示派件数据的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694696A (zh) * 2012-05-14 2012-09-26 中国科学院计算机网络信息中心 Dns服务器异常检测的方法及装置
CN104378361A (zh) * 2014-10-24 2015-02-25 苏州阔地网络科技有限公司 一种网络入侵检测方法及系统
US20150066832A1 (en) * 2013-08-30 2015-03-05 Internet Brands, Inc. System and Method of Semi-Automated Velocity-Based Social Network Moderation
CN104486298A (zh) * 2014-11-27 2015-04-01 小米科技有限责任公司 识别用户行为的方法及装置
CN104967629A (zh) * 2015-07-16 2015-10-07 网宿科技股份有限公司 网络攻击检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694696A (zh) * 2012-05-14 2012-09-26 中国科学院计算机网络信息中心 Dns服务器异常检测的方法及装置
US20150066832A1 (en) * 2013-08-30 2015-03-05 Internet Brands, Inc. System and Method of Semi-Automated Velocity-Based Social Network Moderation
CN104378361A (zh) * 2014-10-24 2015-02-25 苏州阔地网络科技有限公司 一种网络入侵检测方法及系统
CN104486298A (zh) * 2014-11-27 2015-04-01 小米科技有限责任公司 识别用户行为的方法及装置
CN104967629A (zh) * 2015-07-16 2015-10-07 网宿科技股份有限公司 网络攻击检测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401751A (zh) * 2020-03-18 2020-07-10 上海东普信息科技有限公司 分频次展示派件数据的方法及装置

Also Published As

Publication number Publication date
CN107046489B (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN104301413B (zh) 面向云数据库的一种Oracle分布式实时监控方法
EP3287910A1 (en) Data backup method and data processing system
US20100023867A1 (en) Systems and methods for filtering network diagnostic statistics
WO2019080918A1 (zh) 压减冗余告警的方法、网管设备及存储介质
CN102118275A (zh) 一种告警风暴的处理方法及处理装置
CN110362632A (zh) 一种数据同步方法、装置、设备及计算机可读存储介质
TW201638779A (zh) 一種對虛擬主機的資源管理的方法、裝置、系統及電子設備
CN104750703B (zh) 一种提高数据准确性的方法和装置
WO2015081715A1 (zh) 一种网站的在线用户统计方法和装置
CN113297183B (zh) 一种时间窗口的告警分析方法及装置
CN106992886A (zh) 一种基于分布式存储的日志分析方法及装置
CN108833133B (zh) 基于云计算网络的网络配置管理方法、装置和存储介质
WO2023109806A1 (zh) 物联网设备的活跃数据处理方法、装置及存储介质
KR20190063835A (ko) 인-메모리 데이터베이스의 실시간 데이터 변경 처리 시스템
CN104866296A (zh) 数据处理方法和装置
US20220131873A1 (en) Transaction Replacement Method, Device, and Storage Medium
CN107046489A (zh) 一种频次类实时统计模型系统及方法
CN104519010A (zh) 网络安全探针的部署方法和装置
SG11201809827RA (en) Method for conducting statistics on insurance type state information of policy, terminal device and storage medium
CN109117263A (zh) 一种用户终端内存释放的方法及装置
CN107169356B (zh) 统方分析方法及设备
CN110532293B (zh) 一种基于区块链技术的数据流生命周期管理方法及系统
WO2017080362A1 (zh) 数据管理方法及装置
CN106411638A (zh) 一种云监控系统中监控数据的处理方法及系统
CN100589417C (zh) 处理电信网管系统拓扑界面大量上报消息的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant