CN103532754A - 一种通过高速内存、分布式处理海量日志的系统及方法 - Google Patents

一种通过高速内存、分布式处理海量日志的系统及方法 Download PDF

Info

Publication number
CN103532754A
CN103532754A CN201310475852.1A CN201310475852A CN103532754A CN 103532754 A CN103532754 A CN 103532754A CN 201310475852 A CN201310475852 A CN 201310475852A CN 103532754 A CN103532754 A CN 103532754A
Authority
CN
China
Prior art keywords
daily record
log
file
internal memory
speed internal
Prior art date
Application number
CN201310475852.1A
Other languages
English (en)
Other versions
CN103532754B (zh
Inventor
陈涛
谭立彦
李学春
张云生
王菲
Original Assignee
北京首信科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京首信科技股份有限公司 filed Critical 北京首信科技股份有限公司
Priority to CN201310475852.1A priority Critical patent/CN103532754B/zh
Publication of CN103532754A publication Critical patent/CN103532754A/zh
Application granted granted Critical
Publication of CN103532754B publication Critical patent/CN103532754B/zh

Links

Abstract

一种通过高速内存、分布式处理海量日志的系统和方法,该系统由多个日志产生设备和一个日志管理服务器所组成:日志产生设备散置于各个网元中,用于将各种原始日志进行格式归一化后,再缓存于高速内存组件,并周期地上传至日志管理服务器;日志产生设备设有三个部件:原始日志产生模块、日志预处理模块和高速内存组件。日志管理服务器负责将分布于各日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储,以供其他系统查询与分析日志。本发明能够高效、低成本、实时处理多种类型日志,可扩展性和可实施性均较好。与采用关系型数据库存储日志相比较,降低处理成本,还解决了大数据量的数据库瓶颈问题,提高了查询与分析日志的效率。

Description

一种通过高速内存、分布式处理海量日志的系统及方法
技术领域
[0001] 本发明涉及一种通信日志处理技术,确切地说,涉及一种通过高速内存、分布式处理海量日志的系统及方法,属于通信技术领域。
背景技术
[0002] 在电信运营商的业务网络中,为网络管理人员了解业务使用状况的通信业务日志,是一个不可或缺的部分。尤其随着网络的多元化、IP化和业务开放化等因素的不断演进与发展,电信设备面临的安全威胁也在不断增加,能够实时记录和分析用户业务使用情况的日志,在发现和定位网络问题中的作用也越发变得重要。而且,如今网络业务的拓展迅速、用户数量与日俱增,电信网络设备的类型与数量也在不断地增多,通信日志已经成为海量数据。况且,这些原始的海量日志是以日志文件的形式分散地存储于各个网络设备中,因此无论日志的存储还是分析都面临了更大的挑战。
[0003] 与本发明相关的一项发明专利申请《一种日志处理方法、设备和系统》(申请号:201010138020.7),通过设置配置文件信息,调用脚本对日志文件进行整理,生成业务项目对应的结构化数据。其优点是缩短了开发周期,但是实施过程仍需要以关系型数据库之类的结构化存储数据库作为最终存储日志的媒介,其硬件成本高昂,且大数据量下的数据库存在一定瓶颈。
[0004] 另一项与本发明相关的发明专利申请《日志处理系统、日志处理方法和日志存储子系统》(申请号:201010271815.5),是通过消息队列的形式对日志进行整理存储、独立于日志产生设备的存储系统,减少了对应用子系统的影响。但是,这种处理方式对于日志的归档备份,尤其在对外提供日志查询分析时,必须轮询消息队列,效率较低。
发明内容
[0005] 有鉴于此,本发明提供了一种通过高速内存、分布式处理海量日志的系统及方法,用于高效、低成本、实时地处理多种类型的日志,实现统一归档存储。本发明具有较高的可扩展性和可实施性,同时为电信运营商提高了日志查询与分析的效率。
[0006] 为了达到上述目的,本发明提供了一种通过高速内存、分布式处理海量日志的系统,其特征在于:所述系统是由多个日志产生设备和一个日志管理服务器所组成,其中:
[0007]日志产生设备,分散地配置在各个网元中,用于将各种原始日志进行格式归一化处理后,再缓存于高速内存组件,并周期地将其产生的关联索引文件上传至日志管理服务器;该日志产生设备设有下述三个部件:
[0008] 原始日志产生模块:用于为电信网络产生各种业务应用的原始日志;
[0009]日志预处理模块:负责读取配置文件,根据配置文件中的日志类型,从原始日志产生模块读取相应的原始日志,然后创建相应子进程,分别对不同类型的日志以“key,value”的形式进行格式归一化,同时将key写入关联索引文件并周期地以文件传输协议FTP(FileTransfer Protocol)的方式上传至日志管理服务器;[0010] 高速内存组件:用于缓存格式归一化预处理后的日志。
[0011]日志管理服务器,负责将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储,以供其他系统对日志进行查询、分析。
[0012] 为了达到上述目的,本发明还提供了一种通过高速内存、分布式处理海量日志的系统的工作方法,其特征在于:网络中各个网元的日志产生设备中的日志预处理模块根据配置文件中所配置的日志类型,创建不同的子进程,分别对所配置的多种原始日志进行“key, value”格式的归一化处理;然后,分发并缓存于网络中的各台日志产生设备的高速内存组件中,同时将key列表写入临时文件、即“关联索引文件”,并周期地以FTP的方式上传至日志管理服务器;日志管理服务器根据各个日志产生设备的日志预处理模块上传的关联索引文件,将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出归档,然后采用多层目录的方式进行存储,并对外提供接口,以供进行日志的查询与分析。
[0013] 本发明通过高速内存、分布式处理海量日志的系统及方法的优点是:本发明系统能够高效、低成本、实时地处理多种类型的日志,具备较高的可扩展性和可实施性。本发明的创新技术是:以高速内存组件对格式归一化后的日志进行缓存,可以提高日志的处理速度,实时性更强。而且,电信运营商进行业务拓展后,网络中日志类型或者网元设备数量的增加,都可以通过修改配置文件而灵活扩展该系统的功能。日志管理服务器能够周期、定时地将高速内存组件中的日志进行统一归档存储,相比于用关系型数据库而言,大大降低了日志处理的成本;而且,解决了大数据量下的数据库瓶颈问题。另外,归档日志采用多层目录方式存储,为电信运营商提高了查询与分析日志的效率,因此,本发明具有很好的推广应用前景。
附图说明
[0014] 图1是本发明通过高速内存、分布式处理海量日志的系统结构组成示意图。
[0015] 图2是本发明日志处理系统使用高速内存、分布式处理海量日志的操作步骤流程图。
具体实施方式
[0016] 为使本发明的目的、技术方案更加清楚,下面将结合附图对本发明进一步详细描述。
[0017] 参见图1,介绍本发明通过高速内存、分布式处理海量日志的系统结构组成:设有多个日志产生设备和一个日志管理服务器,其中:
[0018] 多个日志产生设备,分散地配置在各个网元中,用于将各种原始日志进行格式归一化处理后,再缓存于高速内存组件,并周期地将其产生的关联索引文件上传至日志管理服务器。该日志产生设备设有下述三个部件:
[0019] 原始日志产生模块:用于为电信网络产生各种业务应用的原始日志;
[0020]日志预处理模块:负责读取配置文件,根据配置文件中的日志类型,从原始日志产生模块读取相应的原始日志,然后创建相应子进程,分别对不同类型的日志以“key,value”的形式进行格式归一化,同时将key写入关联索引文件并周期地以FTP的方式上传至日志管理服务器;[0021] 高速内存组件:用于缓存格式归一化预处理后的日志。
[0022]日志管理服务器,负责将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储,以供其他系统对日志进行查询、分析。
[0023] 本发明还提供了一种针对本发明通过高速内存、分布式处理海量日志的系统的工作方法:网络中各个网元的日志产生设备中的日志预处理模块根据配置文件中所配置的日志类型,创建不同的子进程,分别对所配置的多种原始日志进行“key,value”格式的归一化处理;然后,分发并缓存于网络中的各台日志产生设备的高速内存组件中,同时将key列表写入临时文件、即“关联索引文件”,并周期地以FTP的方式上传至日志管理服务器;日志管理服务器根据各个日志产生设备的日志预处理模块上传的关联索引文件,将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出归档,然后采用多层目录的方式进行存储,并对外提供接口,以供进行日志的查询与分析。
[0024] 参见图2,介绍本发明方法的具体操作步骤:
[0025] 步骤1,日志产生设备中的日志预处理模块读取预设的配置文件,根据配置文件中配置的日志类型(包括移动通信网络中的认证日志和业务使用日志),创建相应的子进程,以便对该日志产生设备的原始日志产生模块中不同类型的原始日志进行处理。
[0026] 所述配置文件采用可扩展标记语言xml (Extensible Markup Language)格式,设有下述三类配置项信息:
[0027] A,高速内存组件的配置信息:高速内存组件的IP地址、端口及其内存容量。
[0028] B,日志类型的配置信息:原始日志类型、原始日志的存储目录。
[0029] C,关联索引文件的信息:关联索引文件的存储目录、上传的目的IP地址。
[0030] 步骤2,日志产生设备中日志预处理模块检查是否存在历史文件,如果存在,则根据历史记录查找日志文件进行处理;如果不存在,则检查配置文件中是否配置有初始时间,如果初始时间存在,则查找由初始时间开始的日志文件;如果初始时间不存在,则处理当前时间间隔的日志文件。
[0031 ] 所述历史文件用于在日志处理过程中,记录处理日志的位置;即每处理一条日志,就对历史文件进行更新,采用这种隐藏文件的形式记录日志处理的历史,能够有效防止人为的误删操作,提高安全性。
[0032] 历史文件的文件名格式与内容规定如下:
[0033] 文件名格式:.<日志类型>_history,
[0034] 内容:〈当前处理位置X当前处理文件名>。
[0035] 需要说明的是:隐藏文件格式是:“.AAAAUTH_hist0ry”,即在其文件名之前增设一个点”,这种以命名的文件在Iinux或unix服务器下为隐藏文件。
[0036] 步骤3,日志产生设备中日志预处理模块将要处理的各种类型的日志分别以“key,value”形式进行格式归一化处理后,再哈希取模分发并缓存于网络中的各台日志产生设备的闻速内存组件,以提闻日志存储的可罪性;同时将key列表与入关联索引文件。
[0037] 该步骤中的格式归一化后“key,value”的数据存储结构是以“用户名+时间+日志类型”为key,以原始日志内容组成的逗号分隔值csv (Comma Separated Value)格式为Value0
[0038] 所述高速内存组件的缓存是以负载均衡为原则,采用用户名哈希取模分发方式进行的;高速内存组件采用集群方式部署,且以主-备1:1方式配置,以确保工作可靠。且在日志处理过程中,实时监控各个高速内存组件的内存占用情况:当高速内存组件中日志占用达到其所配置内存的90%时,实时发送告警信号。
[0039] 所述关联索引文件用于记录缓存入高速内存组件的key列表,其文件名格式及内容如下:
[0040] 文件名格式:日志类型_〈日志处理进程绑定IP>.〈高速内存组件IP:端口>.<yyyymmddhhmm>.< 进程号 >
[0041] 内容:key,用户名。
[0042] 步骤4,日志产生设备中日志预处理模块按照设定时间周期(例如10分钟)或当关联索引文件中的记录达到设定数量(例如10万条)时,将关联索引文件以FTP形式上传至日志管理服务器,以供作为将格式归一化的日志导出的依据。
[0043] 步骤5,日志管理服务器根据上传的关联索引文件将超过缓存期限的日志由高速内存组件中导出后,归档存储。
[0044] 该步骤的具体操作内容是:日志管理服务器从关联索引文件中读取key,根据关联索引文件名中的高速内存组件的IP地址及其端口,从相应的高速内存组件中导出格式归一化后的日志,然后根据关联索引文件名中的日期、日志类型和用户名,采用多层目录的方式存储日志,以便提高查询效率。
[0045] 所述日志的多层目录结构如下:
[0046] 第一级目录:yearmmddhh
[0047] 第二级目录:认证日志:auth,业务使用日志:serv
[0048] 文件名称:XX.auth:用户名哈希计算后得到的序列号对应的认证日志
[0049] XX.serv:用户名哈希计算后得到的序列号对应的业务使用日志。
[0050] 本发明已经进行了多次实施试验,试验的结果是成功的,实现了发明目的。

Claims (10)

1.一种通过高速内存、分布式处理海量日志的系统,其特征在于:所述系统是由多个日志产生设备和一个日志管理服务器所组成,其中: 日志产生设备,分散地配置在各个网元中,用于将各种原始日志进行格式归一化处理后,再缓存于高速内存组件,并周期地将其产生的关联索引文件上传至日志管理服务器;该日志产生设备设有下述三个部件: 原始日志产生模块:用于为电信网络产生各种业务应用的原始日志; 日志预处理模块:负责读取配置文件,根据配置文件中的日志类型,从原始日志产生模块读取相应的原始日志,然后创建相应子进程,分别对不同类型的日志以“key,value”的形式进行格式归一化,同时将key写入关联索引文件并周期地以文件传输协议FTP的方式上传至日志管理服务器; 高速内存组件:用于缓存格式归一化预处理后的日志。 日志管理服务器,负责将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储,以供其他系统对日志进行查询、分析。
2.一种采用权利要求1所述的通过高速内存、分布式处理海量日志的系统的工作方法,其特征在于:网络中各个网元的日志产生设备中的日志预处理模块根据配置文件中所配置的日志类型,创建不同的子进程,分别对所配置的多种原始日志进行“key,value”格式的归一化处理;然后,分发并缓存于网络中的各台日志产生设备的高速内存组件中,同时将key列表写入临时文件、 即“关联索引文件”,并周期地以FTP的方式上传至日志管理服务器;日志管理服务器根据各个日志产生设备的日志预处理模块上传的关联索引文件,将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出归档,然后采用多层目录的方式进行存储,并对外提供接口,以供进行日志的查询与分析。
3.根据权利要求2所述的方法,其特征在于:该方法包括下列操作步骤: (O日志产生设备中的日志预处理模块读取预设的配置文件,根据配置文件中配置的日志类型,创建相应的子进程,以便对该日志产生设备的原始日志产生模块中不同类型的原始日志进行处理;所述日志类型包括移动通信网络中的认证日志和业务使用日志; (2)日志产生设备中日志预处理模块检查是否存在历史文件,如果存在,则根据历史记录查找日志文件进行处理;如果不存在,则检查配置文件中是否配置有初始时间,如果初始时间存在,则查找由初始时间开始的日志文件;如果初始时间不存在,则处理当前时间间隔的日志文件; (3)日志产生设备中日志预处理模块将要处理的各种类型的日志分别以“key,value”形式进行格式归一化处理后,再哈希取模分发并缓存于网络中的各台日志产生设备的高速内存组件,以提闻日志存储的可罪性;同时将key列表与入关联索引文件; (4)日志产生设备中日志预处理模块按照设定时间周期或当关联索引文件中的记录达到设定数量时,将关联索引文件以FTP形式上传至日志管理服务器,以供作为将格式归一化的日志导出的依据; (5)日志管理服务器根据上传的关联索引文件将超过缓存期限的日志由高速内存组件中导出后,归档存储。
4.根据权利要求3所述的方法,其特征在于:所述步骤(1)中的配置文件采用可扩展标记语言xml格式,设有下述三类配置项信息:高速内存组件的配置信息:高速内存组件的IP地址、端口及其内存容量; 日志类型的配置信息:原始日志类型、原始日志的存储目录; 关联索引文件的信息:关联索引文件的存储目录、上传的目的IP地址。
5.根据权利要求3所述的方法,其特征在于:所述步骤(2)中的历史文件用于在日志处理过程中,记录处理日志的位置;即每处理一条日志,就对历史文件进行更新,采用隐藏文件的形式记录日志处理的历史,以便有效防止人为的误删操作,提高安全性;所述历史文件的文件名格式与内容规定如下: 文件名格式:.<日志类型>_history, 内容:〈当前处理位置 >〈当前处理文件名>。
6.根据权利要求3所述的方法,其特征在于:所述步骤(3)中的格式归一化后“key,value”的数据存储结构是以“用户名+时间+日志类型”为key,以原始日志内容组成的逗号分隔值CSV格式为value。
7.根据权利要求3所述的方法,其特征在于:所述步骤(3)中的高速内存组件的缓存是以负载均衡为原则,采用用户名哈希取模分发方式进行的;高速内存组件采用集群部署方式,且以主-备1:1方式配置,以保证工作可靠;且在日志处理过程中,实时监控各个高速内存组件的内存占用情况:当高速内存组件中日志占用达到其所配置内存的90%时,实时发送告警信号。
8.根据权利要求3所述的方法,其特征在于:所述步骤(3)中的关联索引文件是用于记录缓存入高速内存组件的key列表,其文件名格式及内容如下: 文件名格式:日志类型_〈日志处理进程绑定IP>.〈高速内存组件IP:端口>.<yyyymmddhhmm>.< 进程号 > 内容:key,用户名。
9.根据权利要求3所述的方法,其特征在于:所述步骤(5)包括下列操作内容:日志管理服务器从关联索引文件中读取key,根据关联索引文件名中的高速内存组件的IP地址及其端口,从相应的高速内存组件中导出格式归一化后的日志,然后根据关联索引文件中的日期、日志类型和用户名,采用多层目录的方式存储日志,以便提高查询效率。
10.根据权利要求9所述的方法,其特征在于:所述日志的多层目录结构如下: 第一级目录:yearmmddhh 第二级目录:认证日志:auth,业务使用日志:serv 文件名称:XX.auth:用户名哈希计算后得到的序列号对应的认证日志 XX.serv:用户名哈希计算后得到的序列号对应的业务使用日志。
CN201310475852.1A 2013-10-12 2013-10-12 一种通过高速内存、分布式处理海量日志的系统及方法 CN103532754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310475852.1A CN103532754B (zh) 2013-10-12 2013-10-12 一种通过高速内存、分布式处理海量日志的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310475852.1A CN103532754B (zh) 2013-10-12 2013-10-12 一种通过高速内存、分布式处理海量日志的系统及方法

Publications (2)

Publication Number Publication Date
CN103532754A true CN103532754A (zh) 2014-01-22
CN103532754B CN103532754B (zh) 2016-08-17

Family

ID=49934455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310475852.1A CN103532754B (zh) 2013-10-12 2013-10-12 一种通过高速内存、分布式处理海量日志的系统及方法

Country Status (1)

Country Link
CN (1) CN103532754B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036034A (zh) * 2014-06-30 2014-09-10 百度在线网络技术(北京)有限公司 用于数据仓库的日志分析方法和装置
CN104283723A (zh) * 2014-10-31 2015-01-14 北京蓝汛通信技术有限责任公司 网络访问日志处理方法及装置
CN104378234A (zh) * 2014-11-19 2015-02-25 北京数迅科技有限公司 跨数据中心的数据传输处理方法及系统
CN104935469A (zh) * 2015-06-30 2015-09-23 浪潮(北京)电子信息产业有限公司 一种日志信息分布式存储方法及系统
CN104954810A (zh) * 2015-07-14 2015-09-30 电子科技大学 用于保证分布式视频流存储系统数据连续性的切换方法
CN104978256A (zh) * 2014-04-10 2015-10-14 阿里巴巴集团控股有限公司 一种日志输出方法和设备
CN105005611A (zh) * 2015-07-10 2015-10-28 中国海洋大学 一种文件管理系统及文件管理方法
CN105099735A (zh) * 2014-05-07 2015-11-25 中国移动通信集团福建有限公司 一种获取海量详细日志的方法及系统
CN105656706A (zh) * 2014-11-14 2016-06-08 北京通达无限科技有限公司 业务数据的处理方法及设备
CN105677552A (zh) * 2016-01-04 2016-06-15 杭州亚美利嘉科技有限公司 一种机器人日志管理方法及服务器
CN105703930A (zh) * 2014-11-26 2016-06-22 杭州迪普科技有限公司 基于应用的会话日志处理方法及装置
WO2016169145A1 (zh) * 2015-04-21 2016-10-27 中兴通讯股份有限公司 一种云终端日志处理方法、装置及系统
CN106156038A (zh) * 2015-03-26 2016-11-23 腾讯科技(深圳)有限公司 数据存储方法和装置
CN106202235A (zh) * 2016-06-28 2016-12-07 微梦创科网络科技(中国)有限公司 一种数据处理方法及装置
CN106301883A (zh) * 2015-06-26 2017-01-04 精工爱普生株式会社 网络系统、以及网络系统的控制方法
CN106341278A (zh) * 2016-10-28 2017-01-18 广州华多网络科技有限公司 日志上报方法、装置和终端设备
CN106528792A (zh) * 2016-11-10 2017-03-22 福州智永信息科技有限公司 基于多层缓存机制的大数据采集和高速处理方法及系统
CN106815124A (zh) * 2015-12-01 2017-06-09 北京国双科技有限公司 日志文件处理方法和装置
CN106844171A (zh) * 2016-12-27 2017-06-13 浪潮软件集团有限公司 一种海量运维的实现方法
CN107404497A (zh) * 2017-09-05 2017-11-28 成都知道创宇信息技术有限公司 一种在海量日志中检测WebShell的方法
CN107615260A (zh) * 2015-10-22 2018-01-19 甲骨文国际公司 用于在事务处理环境中提供分布式高速缓存的系统和方法
CN107870842A (zh) * 2016-09-28 2018-04-03 平安科技(深圳)有限公司 一种日志管理方法及系统
CN107979640A (zh) * 2017-11-21 2018-05-01 广东电网有限责任公司电力科学研究院 一种数据传输方法及装置
CN108121789A (zh) * 2017-12-19 2018-06-05 苏州精濑光电有限公司 一种日志管理方法及系统
CN108304545A (zh) * 2018-01-31 2018-07-20 杭州迪普科技股份有限公司 一种url日志存储方法及装置
CN108446203A (zh) * 2018-03-20 2018-08-24 万帮充电设备有限公司 服务器事务日志处理方法及装置
CN109376136A (zh) * 2018-10-19 2019-02-22 郑州云海信息技术有限公司 一种分布式日志处理系统、网络设备及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087210A (zh) * 2007-05-22 2007-12-12 网御神州科技(北京)有限公司 高性能的Syslog日志处理和存储方法
CN101958837A (zh) * 2010-09-30 2011-01-26 北京世纪互联工程技术服务有限公司 日志处理系统、日志处理方法、节点服务器和中心服务器
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087210A (zh) * 2007-05-22 2007-12-12 网御神州科技(北京)有限公司 高性能的Syslog日志处理和存储方法
CN101958837A (zh) * 2010-09-30 2011-01-26 北京世纪互联工程技术服务有限公司 日志处理系统、日志处理方法、节点服务器和中心服务器
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析系统及方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978256A (zh) * 2014-04-10 2015-10-14 阿里巴巴集团控股有限公司 一种日志输出方法和设备
CN105099735A (zh) * 2014-05-07 2015-11-25 中国移动通信集团福建有限公司 一种获取海量详细日志的方法及系统
CN105099735B (zh) * 2014-05-07 2018-05-22 中国移动通信集团福建有限公司 一种获取海量详细日志的方法及系统
CN104036034A (zh) * 2014-06-30 2014-09-10 百度在线网络技术(北京)有限公司 用于数据仓库的日志分析方法和装置
CN104283723B (zh) * 2014-10-31 2018-09-21 北京蓝汛通信技术有限责任公司 网络访问日志处理方法及装置
CN104283723A (zh) * 2014-10-31 2015-01-14 北京蓝汛通信技术有限责任公司 网络访问日志处理方法及装置
CN105656706A (zh) * 2014-11-14 2016-06-08 北京通达无限科技有限公司 业务数据的处理方法及设备
CN104378234A (zh) * 2014-11-19 2015-02-25 北京数迅科技有限公司 跨数据中心的数据传输处理方法及系统
CN104378234B (zh) * 2014-11-19 2018-09-07 北京数介科技有限公司 跨数据中心的数据传输处理方法及系统
CN105703930A (zh) * 2014-11-26 2016-06-22 杭州迪普科技有限公司 基于应用的会话日志处理方法及装置
CN106156038B (zh) * 2015-03-26 2019-11-29 腾讯科技(深圳)有限公司 数据存储方法和装置
CN106156038A (zh) * 2015-03-26 2016-11-23 腾讯科技(深圳)有限公司 数据存储方法和装置
WO2016169145A1 (zh) * 2015-04-21 2016-10-27 中兴通讯股份有限公司 一种云终端日志处理方法、装置及系统
CN106301883B (zh) * 2015-06-26 2019-09-03 精工爱普生株式会社 网络系统、以及网络系统的控制方法
CN106301883A (zh) * 2015-06-26 2017-01-04 精工爱普生株式会社 网络系统、以及网络系统的控制方法
CN104935469A (zh) * 2015-06-30 2015-09-23 浪潮(北京)电子信息产业有限公司 一种日志信息分布式存储方法及系统
CN105005611B (zh) * 2015-07-10 2018-11-30 中国海洋大学 一种文件管理系统及文件管理方法
CN105005611A (zh) * 2015-07-10 2015-10-28 中国海洋大学 一种文件管理系统及文件管理方法
CN104954810B (zh) * 2015-07-14 2018-04-24 电子科技大学 用于保证分布式视频流存储系统数据连续性的切换方法
CN104954810A (zh) * 2015-07-14 2015-09-30 电子科技大学 用于保证分布式视频流存储系统数据连续性的切换方法
CN107615260A (zh) * 2015-10-22 2018-01-19 甲骨文国际公司 用于在事务处理环境中提供分布式高速缓存的系统和方法
CN106815124A (zh) * 2015-12-01 2017-06-09 北京国双科技有限公司 日志文件处理方法和装置
CN105677552A (zh) * 2016-01-04 2016-06-15 杭州亚美利嘉科技有限公司 一种机器人日志管理方法及服务器
CN106202235B (zh) * 2016-06-28 2020-04-14 微梦创科网络科技(中国)有限公司 一种数据处理方法及装置
CN106202235A (zh) * 2016-06-28 2016-12-07 微梦创科网络科技(中国)有限公司 一种数据处理方法及装置
CN107870842A (zh) * 2016-09-28 2018-04-03 平安科技(深圳)有限公司 一种日志管理方法及系统
CN106341278A (zh) * 2016-10-28 2017-01-18 广州华多网络科技有限公司 日志上报方法、装置和终端设备
CN106528792A (zh) * 2016-11-10 2017-03-22 福州智永信息科技有限公司 基于多层缓存机制的大数据采集和高速处理方法及系统
CN106844171A (zh) * 2016-12-27 2017-06-13 浪潮软件集团有限公司 一种海量运维的实现方法
CN107404497A (zh) * 2017-09-05 2017-11-28 成都知道创宇信息技术有限公司 一种在海量日志中检测WebShell的方法
CN107979640B (zh) * 2017-11-21 2020-08-14 广东电网有限责任公司电力科学研究院 一种数据传输方法及装置
CN107979640A (zh) * 2017-11-21 2018-05-01 广东电网有限责任公司电力科学研究院 一种数据传输方法及装置
CN108121789B (zh) * 2017-12-19 2020-06-30 苏州精濑光电有限公司 一种日志管理方法及系统
CN108121789A (zh) * 2017-12-19 2018-06-05 苏州精濑光电有限公司 一种日志管理方法及系统
CN108304545A (zh) * 2018-01-31 2018-07-20 杭州迪普科技股份有限公司 一种url日志存储方法及装置
CN108446203A (zh) * 2018-03-20 2018-08-24 万帮充电设备有限公司 服务器事务日志处理方法及装置
CN109376136A (zh) * 2018-10-19 2019-02-22 郑州云海信息技术有限公司 一种分布式日志处理系统、网络设备及方法

Also Published As

Publication number Publication date
CN103532754B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
US10785033B2 (en) Method for storing an object on a plurality of storage nodes
US20170142143A1 (en) Identifying notable events based on execution of correlation searches
US10891297B2 (en) Method and system for implementing collection-wise processing in a log analytics system
US9773052B2 (en) Document reconstruction from events stored in a unified context-aware content archive
US10430480B2 (en) Enterprise data processing
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
US10528579B2 (en) Method, system, and apparatus for enterprise wide storage and retrieval of large amounts of data
US9420068B1 (en) Log streaming facilities for computing applications
CN102075542B (zh) 一种云计算数据安全支撑平台
Perdisci et al. Alarm clustering for intrusion detection systems in computer networks
CN102882985B (zh) 基于云存储的文件共享方法
CN102460391B (zh) 用于在应用传送结构中提供虚拟设备的系统和方法
US7668849B1 (en) Method and system for processing structured data and unstructured data
US8914856B1 (en) Synchronization of networked storage systems and third party systems
US8122111B2 (en) System and method for server configuration control and management
CN102169484B (zh) 虚拟化环境中综合的、相关的和动态的数据搜索
KR101431333B1 (ko) 클라우드 컴퓨팅에서 소셜리티 스토리지 서비스를 위한 데이터 페더레이션 시스템 및 그 방법
US9747340B2 (en) Method and system of using a local hosted cache and cryptographic hash functions to reduce network traffic
CN101997823B (zh) 一种分布式文件系统及其数据访问方法
CN101453378B (zh) 日志转储与审计的方法和系统
IL253831A (en) Event context management system
US8792385B2 (en) Method and device for auto-generating goose signal connection topology from substation level
CN105162878A (zh) 基于分布式存储的文件分发系统及方法
CN103595730B (zh) 一种密文云存储方法和系统
CN105930228B (zh) 数据备份方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant