CN107046489A - 一种频次类实时统计模型系统及方法 - Google Patents
一种频次类实时统计模型系统及方法 Download PDFInfo
- Publication number
- CN107046489A CN107046489A CN201710225408.2A CN201710225408A CN107046489A CN 107046489 A CN107046489 A CN 107046489A CN 201710225408 A CN201710225408 A CN 201710225408A CN 107046489 A CN107046489 A CN 107046489A
- Authority
- CN
- China
- Prior art keywords
- data
- frequency
- current data
- recorded
- cycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种频次类实时统计模型系统及方法,其中数据记录方法包括:在每一条数据记录入库时,确定当前数据记录的产生时间;分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。本技术方案解决了现有技术中对用户访问和操作日志的统计方法会有延迟较大,且存在统计遗漏等问题。
Description
技术领域
本发明涉及数据统计领域,尤其涉及一种频次类实时统计模型系统及方法。
背景技术
随着互联网技术的发展和更新,基于网络的应用越来越多。企事业单位内部信息化程度越来越高,很多关键信息都存放在信息系统中,企业内部发生的频繁访问有可能是内部员工在盗取数据;互联网应用和网站越来越多,其中出现的频繁访问有可能是正常的用户使用,也有可能是黑客攻击。
例如,根据某个业务系统中的访问日志记录,员工A在5分钟内进行了1000次访问操作,正常情况下,不可有人达到如此高的操作频率,出现这个情况有可能是此员工正在通过第三方的插件或程序对系统进行数据盗取。
又例如,根据某网站的用户访问日志记录,某IP在1分钟内进行了100次登录操作,正常情况下不可能有人进行这样的操作,出现这个情况有可能是黑客程序正在暴力破解用户密码。
传统的解决方案是使用定时任务,定期对用户访问和操作日志进行统计,统计一分钟或5分钟内的操作数量,超过阀值进行告警。但是这样的解决方案有不少弊端,具体如下:
1、延迟较大,当发现超阀值时,实际可能已经过去了一段时间。
2、如果访问和操作日志采集来自多个系统,数据来源延迟时,统计数量会存在遗漏的情况。
3、如果为减少定时任务延迟性,可能会将定时任务执行周期调短,但是不管如何调短,仍然会存在跨周期超阀值而统计盲点的情况,比如:执行周期1分钟进行1次统计,设定阀值为1分钟100次操作,用户在3:31:59进行了60次操作,在3:32:01进行了60次操作,根据统计来看,每一个分钟片段都没有超阀值,但实际上用户是在3秒内进行了120次操作,类似此种情况,传统的统计任务无法识别。如果设定周期为1秒钟1次,则会存在大量的无用查询,增加数据库压力。
发明内容
本发明解决的问题是现有的对用户访问和操作日志的统计方法会有延迟较大,且存在统计遗漏等问题。
为解决上述问题,本发明实施例提供了一种数据记录处理方法,包括如下步骤:
在每一条数据记录入库时,确定当前数据记录的产生时间;
分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
可选的,数据记录处理方法还包括如下步骤:
在查询超阈值的频次计数时,遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数;
筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间,以确定频次计数超阈值的时间段。
可选的,所述当前数据记录的产生时间是当前数据记录的入库时间或者是早于当前数据记录的入库时间。
可选的,所述分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新包括:
将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1;
将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1。
可选的,各个以当前数据记录的产生时间为基准的频次周期的时长相等。
与现有技术相比,本发明技术方案具有以下有益效果:
在每一条数据记录入库时,同步更新以该条数据记录的产生时间为基准的向前频次周期和向后频次周期内的数据记录数,从而可以解决存在跨周期超阀值的统计盲点问题。
进一步,针对各条数据记录的入库时间和产生时间可能不一致(因延误导致)的问题,由于是以数据记录的产生时间为基准对前后两个频次周期内的数据记录数进行更新,因此对于延迟入库的数据记录,也不会出现遗漏统计的情况。
而在查询超阈值的频次计数时,只需要对各个频次周期内的数据记录数进行筛选就可以得到频次计数超阀值产生的时间段,无需对每个分片时间段再次进行统计。
附图说明
图1是本发明实施例的一种数据记录处理方法的具体实施方式的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
如图1所示的是本发明实施例的一种数据记录处理方法的具体实施方式的流程示意图。参考图1,数据记录处理方法包括如下步骤:
步骤S1:在每一条数据记录入库时,确定当前数据记录的产生时间;
步骤S2:分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
在本实施例中,以数据库作为存储介质以统计用户对业务系统或网站的访问记录数。
与现有技术不同,本发明实施例提供了一个频次类实时统计模型。在该模型中,对需要统计的频次周期设定一个向前计数字段和一个向后计数字段。其中,所述向前计数字段用于保存当前数据记录入库时,该数据记录的产生时间到向前推一个周期的时间分片内累计的数据记录数。所述向后计数字段用于保存当前数据记录入库时,该数据记录的产生时间到向后推一个周期的时间分片内累计的数据记录数。
如步骤S1所述,在每一条数据记录入库时,首先确定当前数据记录的产生时间。需要说明的是,在实际应用中,当前数据记录的产生时间与该当前数据记录的入库时间可能不同。如果数据记录入库存在延迟(例如数据记录来源于第三方系统等),则当前数据记录的产生时间是要早于该当前数据记录的入库时间。如果数据记录在产生的同时入库,则当前数据记录的产生时间是该当前数据记录的入库时间。
如步骤S2所述,针对当前入库的该条数据记录,分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
具体来说,频次周期可以根据不同的应用场景设定不同的周期时长,例如1分钟、1个小时等。在本实施例中,针对各个时间基准的前后两个频次周期的时长都相等。
例如,当前数据记录的产生时间为12:10:02,频次周期为1分钟,则该当前数据记录的前一频次周期为12:09:02-12:10:02,该当前数据记录的后一频次周期为12:10:02-12:11:02。
在当前数据记录入库时,将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1,即在频次类实时统计模型中的当前数据记录的产生时间为基准的向前计数字段内的数据记录数加1。其中,该向前计数字段的初始值为前一个周期内的记录数。同时,将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1,即在频次类实时统计模型中的当前数据记录的产生时间为基准的向后计数字段内的数据记录数加1。其中,该向后计数字段的初始值为后一个周期内的记录数。
在本实施例中,由于在每一条数据记录入库时,同步更新以该条数据记录的产生时间为基准的向前频次周期和向后频次周期内的数据记录数,从而可以解决存在跨周期超阀值的统计盲点问题。进一步,由于是以数据记录的产生时间为基准对前后两个频次周期内的数据记录数进行更新,因此对于延迟入库的数据记录,也不会出现遗漏统计的情况。
进一步,在本实施例中,数据记录处理方法还包括如下步骤:
在查询超阈值的频次计数时,遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数;
筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间,以确定频次计数超阈值的时间段。
具体来说,在需要进行超阀值统计时,只需要对频次类实时统计模型中各个频次周期的向前计数字段和向后计数字段进行查询,过滤出超过阀值的数据记录数。在筛选出的这些数据记录数中,若是一个频次周期的向前计数字段超阀值,说明是从该频次周期对应的当前数据记录的产生时间到向前一个周期时间内,操作频次超阀值;若是一个频次周期的向后计数字段超阀值,说明是从该频次周期对应的当前数据记录的产生时间到向后一个周期时间内,操作频次超阀值。
综上所述,本技术方案解决了现有技术中对用户访问和操作日志的统计方法会有延迟较大,且存在统计遗漏等问题。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (5)
1.一种数据记录处理方法,其特征在于,包括如下步骤:
在每一条数据记录入库时,确定当前数据记录的产生时间;
分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。
2.如权利要求1所述的数据记录处理方法,其特征在于,还包括如下步骤:
在查询超阈值的频次计数时,遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数;
筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间,以确定频次计数超阈值的时间段。
3.如权利要求1所述的数据记录处理方法,其特征在于,所述当前数据记录的产生时间是当前数据记录的入库时间或者是早于当前数据记录的入库时间。
4.如权利要求1所述的数据记录处理方法,其特征在于,所述分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新包括:
将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1;
将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1。
5.如权利要求1所述的数据记录处理方法,其特征在于,各个以当前数据记录的产生时间为基准的频次周期的时长相等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710225408.2A CN107046489B (zh) | 2017-04-07 | 2017-04-07 | 一种频次类实时统计模型系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710225408.2A CN107046489B (zh) | 2017-04-07 | 2017-04-07 | 一种频次类实时统计模型系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107046489A true CN107046489A (zh) | 2017-08-15 |
CN107046489B CN107046489B (zh) | 2020-07-28 |
Family
ID=59545403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710225408.2A Active CN107046489B (zh) | 2017-04-07 | 2017-04-07 | 一种频次类实时统计模型系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107046489B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401751A (zh) * | 2020-03-18 | 2020-07-10 | 上海东普信息科技有限公司 | 分频次展示派件数据的方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102694696A (zh) * | 2012-05-14 | 2012-09-26 | 中国科学院计算机网络信息中心 | Dns服务器异常检测的方法及装置 |
CN104378361A (zh) * | 2014-10-24 | 2015-02-25 | 苏州阔地网络科技有限公司 | 一种网络入侵检测方法及系统 |
US20150066832A1 (en) * | 2013-08-30 | 2015-03-05 | Internet Brands, Inc. | System and Method of Semi-Automated Velocity-Based Social Network Moderation |
CN104486298A (zh) * | 2014-11-27 | 2015-04-01 | 小米科技有限责任公司 | 识别用户行为的方法及装置 |
CN104967629A (zh) * | 2015-07-16 | 2015-10-07 | 网宿科技股份有限公司 | 网络攻击检测方法及装置 |
-
2017
- 2017-04-07 CN CN201710225408.2A patent/CN107046489B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102694696A (zh) * | 2012-05-14 | 2012-09-26 | 中国科学院计算机网络信息中心 | Dns服务器异常检测的方法及装置 |
US20150066832A1 (en) * | 2013-08-30 | 2015-03-05 | Internet Brands, Inc. | System and Method of Semi-Automated Velocity-Based Social Network Moderation |
CN104378361A (zh) * | 2014-10-24 | 2015-02-25 | 苏州阔地网络科技有限公司 | 一种网络入侵检测方法及系统 |
CN104486298A (zh) * | 2014-11-27 | 2015-04-01 | 小米科技有限责任公司 | 识别用户行为的方法及装置 |
CN104967629A (zh) * | 2015-07-16 | 2015-10-07 | 网宿科技股份有限公司 | 网络攻击检测方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401751A (zh) * | 2020-03-18 | 2020-07-10 | 上海东普信息科技有限公司 | 分频次展示派件数据的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107046489B (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103942210B (zh) | 海量日志信息的处理方法、装置与系统 | |
CN104301413B (zh) | 面向云数据库的一种Oracle分布式实时监控方法 | |
EP3287910A1 (en) | Data backup method and data processing system | |
WO2019080918A1 (zh) | 压减冗余告警的方法、网管设备及存储介质 | |
CN102118275A (zh) | 一种告警风暴的处理方法及处理装置 | |
CN110362632A (zh) | 一种数据同步方法、装置、设备及计算机可读存储介质 | |
CN113297183B (zh) | 一种时间窗口的告警分析方法及装置 | |
CN105373899A (zh) | 一种服务器资产管理的方法及装置 | |
TW201545065A (zh) | 應用程式的更新提示方法和裝置 | |
CN110389967B (zh) | 数据存储方法、装置、服务器及存储介质 | |
WO2015081715A1 (zh) | 一种网站的在线用户统计方法和装置 | |
CN106992886A (zh) | 一种基于分布式存储的日志分析方法及装置 | |
CN104866296A (zh) | 数据处理方法和装置 | |
CN108153747A (zh) | 一种并行数据清洗系统 | |
CN104717120A (zh) | 确定信息发送时间的方法和装置 | |
CN108833133B (zh) | 基于云计算网络的网络配置管理方法、装置和存储介质 | |
CN108153793A (zh) | 一种原始数据处理方法 | |
CN107040576A (zh) | 信息推送方法及装置、通讯系统 | |
CN104519010A (zh) | 网络安全探针的部署方法和装置 | |
CN111401874B (zh) | 一种自助交易系统监控方法及装置 | |
CN107046489A (zh) | 一种频次类实时统计模型系统及方法 | |
CN100589417C (zh) | 处理电信网管系统拓扑界面大量上报消息的系统和方法 | |
EP3816782B1 (en) | Data reconstruction method, apparatus and storage medium | |
WO2017080362A1 (zh) | 数据管理方法及装置 | |
CN106202509A (zh) | 一种日志信息的处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |