CN107562892A - 一种提高ssr违规日志统计性能的方法及装置 - Google Patents
一种提高ssr违规日志统计性能的方法及装置 Download PDFInfo
- Publication number
- CN107562892A CN107562892A CN201710795654.1A CN201710795654A CN107562892A CN 107562892 A CN107562892 A CN 107562892A CN 201710795654 A CN201710795654 A CN 201710795654A CN 107562892 A CN107562892 A CN 107562892A
- Authority
- CN
- China
- Prior art keywords
- statistics
- statistical result
- ssr
- begintime
- violation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明提供一种提高SSR违规日志统计性能的方法及装置,属于计算机安全技术领域。本方法基于MongoDB数据库写入违规日志数据并进行存储,在SSR统计违规日志时,使用缓存统计结果的观点提高统计性能,在缓存统计结果时,按照不同时间间隔长度的统计结果进行分段缓存,再根据客户设定的查询时间段,将相应时间段的缓存统计结果进行展示。在分段缓存时,分别按实时、按小时、按天统计上传的违规日志或统计结果的缓存。本发明SSR中大量的违规日志产生时,提高了统计的性能,提升了用户体验。
Description
技术领域
本发明涉及计算机安全技术领域,具体地说是一种提高SSR违规日志统计性能的方法及装置。
背景技术
随着SSR监控主机数量的不断增加,违规日志的数量也与日俱增。为了让用户能够更加直观的了解SSR所监控主机的安全实况,集中管理平台需要将各种违规日志按照用户的需求统计后展示给用户,以便警示用户。
以前的版本中,日志存放到MongoDB中,用户查看时直接从实时数据集合中提取符合条件的数据,这样当违规日志的数据量变大时,统计性能会较低,给客户造成不好的体验。
现有大多数提高MongoDB统计性能的方法有追加索引,调整数据库的某些参数等。但是,这些性能优化的方法,有的是以牺牲内存来换取的,有的则是配置起来非常复杂,最终不一定能达到性能优化的效果。
发明内容
本发明的技术任务是针对现有技术的不足,提供一种提高SSR违规日志统计性能的方法及装置。本技术是从实际的业务逻辑出发,提炼出一种利用缓存统计结果的观点来提高统计性能的方法,解决SSR中大量违规日志统计性能较低的问题。
术语说明:
SSR是浪潮的主机安全加固产品
MongoDB是一种非关系型数据库
集合realtime是在MongoDB中建立一个名字是realtime的集合
集合hour是在 MongoDB中建立一个名字是hour的集合
集合day是在MongoDB中建立一个名字是day的集合
本发明解决其技术问题所采用的技术方案是:
1、一种提高SSR违规日志统计性能的方法,基于MongoDB数据库写入违规日志数据并进行存储,在SSR统计违规日志时,使用缓存统计结果的观点提高统计性能,在缓存统计结果时,按照不同时间间隔长度的统计结果进行分段缓存,再根据客户设定的查询时间段,将相应时间段的缓存统计结果进行展示。
可选地,在分段缓存时,分别按实时、按小时、按天统计上传的违规日志或统计结果的缓存。
可选地,该方法包括步骤如下:
1)把统计结果分段缓存
a、建立集合realtime,实时统计上传的违规日志;
b、建立集合hour,把按小时统计结果缓存,即集中管理平台每隔一个小时,在整点时刻,会启动一个定时程序,按照指定的条件统计结果,并把统计结果保存,统计范围是以相邻两个整点的间隔为一个时间间隔,统计源是集合realtime;
c、建立集合day,把按天统计结果缓存,即集中管理平台到凌晨0点的时候,会启动一个定时程序,该程序会按照指定的条件统计结果,并把统计结果保存,统计范围是前一天00:00:01到今天的00:00:00,统计源是集合hour。
2)将缓存统计结果展示
用户输入的统计开始时间beginTime,统计结束时间endTime,当前时间的小时时间为currentHour,结合集合realtime、集合hour、集合day,将相应时间段的缓存统计结果进行展示。
可选地,情况S1、当用户仅输入beginTime时,直接查询集合realtime,按条件统计展示给用户。
可选地,情况S1分为以下情况,beginTime>=currentHour或beginTime<currentHour。
可选地,情况S2、当用户输入beginTime、endTime,且beginTime、endTime之间的时间跨度超过2小时但小于48小时时,缓存统计结果如下:
beginTime到beginTime下一个整点的统计对象是集合realtime,统计结果为A,
endTime到endTime上一个整点的统计对象是集合realtime,统计结果为B,
beginTime下一个整点到endTime上一个整点之间的统计对象是集合hour,统计结果为C,
最终统计结果=A+C+B。
可选地,情况S3、当用户输入beginTime、endTime,且beginTime、endTime之间的时间跨度超过48小时时,缓存统计结果如下:
beginTime到beginTime下一个零点的统计对象是集合hour,统计结果为A,
endTime到endTime上一个零点的统计对象是集合hour,统计结果为B,
beginTime下一个零点到endTime上一个零点之间的统计对象是集合day,统计结果为C,
最终统计结果=A+C+B。
2、一种提高SSR违规日志统计性能的装置,在SSR统计大量违规日志时,使用缓存统计结果的观点提高统计性能,包括:
输入模块,用于输入查询时间段;
查询模块,用于根据用户输入的查询时间段,查询所对应不同时间间隔长度的分段缓存数据库的数据信息;
处理模块,用于对不同时间间隔长度的分段缓存数据库的数据信息进行计算;
展示模块,用于将处理模块计算的的数据信息进行展示。
本发明的一种提高SSR违规日志统计性能的方法及装置,与现有技术相比所产生的有益效果是:
本发明基于MongoDB数据库写入违规日志数据并进行存储,在SSR统计违规日志时,使用缓存统计结果的观点提高统计性能,在缓存统计结果时,按照不同时间间隔长度的统计结果进行分段缓存,再根据客户设定的查询时间段,将相应时间段的缓存统计结果进行展示。在分段缓存时,分别按实时、按小时、按天统计上传的违规日志或统计结果的缓存。SSR中大量的违规日志产生时,提高了统计的性能,提升了用户体验。
附图说明
附图1是本发明场景2的结构图示;
附图2是本发明场景3的结构图示;
附图3是本发明场景4的结构图示;
附图4是本发明装置的结构示意图。
图中,1、输入模块,2、查询模块,3、处理模块,4、展示模块。
具体实施方式
下面结合附图1-4,对本发明的一种提高SSR违规日志统计性能的方法及装置作以下详细说明。
实施例一
本发明的一种提高SSR违规日志统计性能的方法,基于MongoDB数据库写入违规日志数据并进行存储,在SSR统计违规日志时,使用缓存统计结果的观点提高统计性能,在缓存统计结果时,按照不同时间间隔长度的统计结果进行分段缓存,再根据客户设定的查询时间段,将相应时间段的缓存统计结果进行展示。
本发明在分段缓存时,分别按实时、按小时、按天统计上传的违规日志或统计结果的缓存。
本发明方法包括步骤如下:
1)把统计结果分段缓存
a、建立集合realtime,实时统计上传的违规日志;
b、建立集合hour,把按小时统计结果缓存,即集中管理平台每隔一个小时,在整点时刻,会启动一个定时程序,按照指定的条件统计结果,并把统计结果保存,统计范围是以相邻两个整点的间隔为一个时间间隔,统计源是集合realtime;
c、建立集合day,把按天统计结果缓存,即集中管理平台到凌晨0点的时候,会启动一个定时程序,该程序会按照指定的条件统计结果,并把统计结果保存,统计范围是前一天00:00:01到今天的00:00:00,统计源是集合hour。
2)将缓存统计结果展示
用户输入的统计开始时间beginTime,统计结束时间endTime,当前时间的小时时间为currentHour,结合集合realtime、集合hour、集合day,将相应时间段的缓存统计结果进行展示。
场景1、用户仅输入beginTime,beginTime>=currentHour,解决方案=>直接查询集合realtime,按条件统计展示给用户。
场景2、beginTime<currentHour,附图1所示的场景下,直接统计集合realtime得到统计结果。
场景3、附图2所示的场景下,使用小时缓存统计结果(当检索范围跨度超过两小时但是小于48小时时)。
具体方案为:
beginTime到整6点的统计对象是集合realtime,统计结果为A
整9点到endTime的统计对象是集合realtime,统计结果为B
最终统计结果为=A+整7点时的统计结果+整8点时的统计结果+整9点时的统计结果+B。
场景4、附图3所示的场景下,使用天缓存统计结果(当检索范围跨度超过48小时时)。
具体统计方案为:
beginTime到[今日减2天零点]的统计对象是集合hour,统计结果为A
[今日零点]到endTime的统计对象是集合hour, 统计结果为C
最终统计结果为=A+[今日减1天零点]的统计结果+[今日零点]的统计结果+B。
实施例二
如附图4所示,一种提高SSR违规日志统计性能的装置,在SSR统计大量违规日志时,使用缓存统计结果的观点提高统计性能,包括:
输入模块1,用于输入查询时间段;
查询模块2,用于根据用户输入的查询时间段,查询所对应不同时间间隔长度的分段缓存数据库的数据信息;
处理模块3,用于对不同时间间隔长度的分段缓存数据库的数据信息进行计算;
展示模块4,用于将处理模块3计算的的数据信息进行展示。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (8)
1.一种提高SSR违规日志统计性能的方法,其特征在于,基于MongoDB数据库写入违规日志数据并进行存储,在SSR统计违规日志时,使用缓存统计结果的观点提高统计性能,在缓存统计结果时,按照不同时间间隔长度的统计结果进行分段缓存,再根据客户设定的查询时间段,将相应时间段的缓存统计结果进行展示。
2.根据权利要求1所述的一种提高SSR违规日志统计性能的方法,其特征在于,在分段缓存时,分别按实时、按小时、按天统计上传的违规日志或统计结果的缓存。
3.根据权利要求1或2所述的一种提高SSR违规日志统计性能的方法,其特征在于,该方法包括步骤如下:
1)把统计结果分段缓存
a、建立集合realtime,实时统计上传的违规日志;
b、建立集合hour,把按小时统计结果缓存,即集中管理平台每隔一个小时,在整点时刻,会启动一个定时程序,按照指定的条件统计结果,并把统计结果保存,统计范围是以相邻两个整点的间隔为一个时间间隔,统计源是集合realtime;
c、建立集合day,把按天统计结果缓存,即集中管理平台到凌晨0点的时候,会启动一个定时程序,该程序会按照指定的条件统计结果,并把统计结果保存,统计范围是前一天00:00:01到今天的00:00:00,统计源是集合hour;
2)将缓存统计结果展示
用户输入的统计开始时间beginTime,统计结束时间endTime,当前时间的小时时间为currentHour,结合集合realtime、集合hour、集合day,将相应时间段的缓存统计结果进行展示。
4.根据权利要求3所述的一种提高SSR违规日志统计性能的方法,其特征在于,情况S1、当用户仅输入beginTime时,直接查询集合realtime,按条件统计展示给用户。
5.根据权利要求4所述的一种提高SSR违规日志统计性能的方法,其特征在于,情况S1分为以下情况,beginTime>=currentHour或beginTime<currentHour。
6.根据权利要求4所述的一种提高SSR违规日志统计性能的方法,其特征在于,情况S2、当用户输入beginTime、endTime,且beginTime、endTime之间的时间跨度超过2小时但小于48小时时,缓存统计结果如下:
beginTime到beginTime下一个整点的统计对象是集合realtime,统计结果为A,
endTime到endTime上一个整点的统计对象是集合realtime,统计结果为B,
beginTime下一个整点到endTime上一个整点之间的统计对象是集合hour,统计结果为C,
最终统计结果=A+C+B。
7.根据权利要求4所述的一种提高SSR违规日志统计性能的方法,其特征在于,情况S3、当用户输入beginTime、endTime,且beginTime、endTime之间的时间跨度超过48小时时,缓存统计结果如下:
beginTime到beginTime下一个零点的统计对象是集合hour,统计结果为A,
endTime到endTime上一个零点的统计对象是集合hour,统计结果为B,
beginTime下一个零点到endTime上一个零点之间的统计对象是集合day,统计结果为C,
最终统计结果=A+C+B。
8.一种提高SSR违规日志统计性能的装置,其特征在于,基于权利要求1或2所述的一种提高SSR违规日志统计性能的方法,在SSR统计大量违规日志时,使用缓存统计结果的观点提高统计性能,包括:
输入模块,用于输入查询时间段;
查询模块,用于根据用户输入的查询时间段,查询所对应不同时间间隔长度的分段缓存数据库的数据信息;
处理模块,用于对不同时间间隔长度的分段缓存数据库的数据信息进行计算;
展示模块,用于将处理模块计算的的数据信息进行展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710795654.1A CN107562892A (zh) | 2017-09-06 | 2017-09-06 | 一种提高ssr违规日志统计性能的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710795654.1A CN107562892A (zh) | 2017-09-06 | 2017-09-06 | 一种提高ssr违规日志统计性能的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107562892A true CN107562892A (zh) | 2018-01-09 |
Family
ID=60979470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710795654.1A Pending CN107562892A (zh) | 2017-09-06 | 2017-09-06 | 一种提高ssr违规日志统计性能的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107562892A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110737673A (zh) * | 2018-07-19 | 2020-01-31 | 华为技术有限公司 | 一种数据处理的方法及系统 |
CN113760950A (zh) * | 2021-03-15 | 2021-12-07 | 北京京东振世信息技术有限公司 | 指标数据查询方法、装置、电子设备以及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1642097A (zh) * | 2004-01-02 | 2005-07-20 | 联想(北京)有限公司 | 日志统计方法和系统 |
CN101860448A (zh) * | 2009-04-08 | 2010-10-13 | 北京博越世纪科技有限公司 | 一项按周期统计用户浏览应急事件通知次数的技术 |
CN103425568A (zh) * | 2013-08-23 | 2013-12-04 | 新浪网技术(中国)有限公司 | 日志信息处理方法及装置 |
CN103793479A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 日志管理方法及系统 |
US20160378653A1 (en) * | 2015-06-25 | 2016-12-29 | Vmware, Inc. | Log-structured b-tree for handling random writes |
CN106294866A (zh) * | 2016-08-23 | 2017-01-04 | 北京奇虎科技有限公司 | 一种日志处理方法和装置 |
CN106897614A (zh) * | 2017-02-27 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种ssr上主动防御日志告警方法 |
-
2017
- 2017-09-06 CN CN201710795654.1A patent/CN107562892A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1642097A (zh) * | 2004-01-02 | 2005-07-20 | 联想(北京)有限公司 | 日志统计方法和系统 |
CN101860448A (zh) * | 2009-04-08 | 2010-10-13 | 北京博越世纪科技有限公司 | 一项按周期统计用户浏览应急事件通知次数的技术 |
CN103425568A (zh) * | 2013-08-23 | 2013-12-04 | 新浪网技术(中国)有限公司 | 日志信息处理方法及装置 |
CN103793479A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 日志管理方法及系统 |
US20160378653A1 (en) * | 2015-06-25 | 2016-12-29 | Vmware, Inc. | Log-structured b-tree for handling random writes |
CN106294866A (zh) * | 2016-08-23 | 2017-01-04 | 北京奇虎科技有限公司 | 一种日志处理方法和装置 |
CN106897614A (zh) * | 2017-02-27 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种ssr上主动防御日志告警方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110737673A (zh) * | 2018-07-19 | 2020-01-31 | 华为技术有限公司 | 一种数据处理的方法及系统 |
WO2020098579A1 (zh) * | 2018-07-19 | 2020-05-22 | 华为技术有限公司 | 一种数据处理的方法及系统 |
CN110737673B (zh) * | 2018-07-19 | 2022-04-12 | 华为云计算技术有限公司 | 一种数据处理的方法及系统 |
US11455323B2 (en) | 2018-07-19 | 2022-09-27 | Huawei Cloud Computing Technologies Co., Ltd. | Data processing method and system |
CN113760950A (zh) * | 2021-03-15 | 2021-12-07 | 北京京东振世信息技术有限公司 | 指标数据查询方法、装置、电子设备以及存储介质 |
CN113760950B (zh) * | 2021-03-15 | 2023-09-05 | 北京京东振世信息技术有限公司 | 指标数据查询方法、装置、电子设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105488231B (zh) | 一种基于自适应表维度划分的大数据处理方法 | |
CN105989129B (zh) | 实时数据统计方法和装置 | |
US9430519B1 (en) | Dynamically generating pre-aggregated datasets | |
CN106648446A (zh) | 一种用于时序数据的存储方法、装置及电子设备 | |
CN102663616A (zh) | 一种基于多触点归因模型的网络广告效果衡量方法和系统 | |
CN104156524A (zh) | 交通数据流的聚集查询方法及系统 | |
CN106897930A (zh) | 一种信用评估的方法及装置 | |
Cheng et al. | The Foxconn suicides and their media prominence: is the Werther Effect applicable in China? | |
CN107562892A (zh) | 一种提高ssr违规日志统计性能的方法及装置 | |
CN103336844B (zh) | 大数据rd分割方法 | |
CN105354313A (zh) | 一种利用大数据进行信用评估的方法 | |
CN102194015A (zh) | 检索信息热度统计方法 | |
CN106897386B (zh) | 一种大数据多维分析方法及系统 | |
CN106777387A (zh) | 一种基于HBase的物联网大数据存取方法 | |
CN107958298A (zh) | 一种基于聚类算法的物流网点的选取方法 | |
CN102346901A (zh) | 一种互联网药品交易主体信用评估系统及其方法 | |
CN108538360A (zh) | 一种基于时序数据库的集群式健身管理系统及实现方法 | |
CN106446968A (zh) | 基于fpga的烟叶自动分级系统 | |
CN105160005A (zh) | 一种基于Web浏览器的海量POI地图数据显示方法 | |
CN109873797A (zh) | 基于统计分析的会话视频业务QoE-QoS参数映射方法 | |
CN106775464B (zh) | 一种数据分层存储系统及方法 | |
CN107169260A (zh) | 基于时空轨迹异构多源数据共振系统及方法 | |
CN105183612B (zh) | 服务器可用内存异常增长及运行状况的评估方法 | |
CN106021245A (zh) | 数据的可视化方法和装置 | |
CN103500071B (zh) | 一种定量存储性能指标数据的方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |