CN103209087A - 分布式日志统计处理方法和系统 - Google Patents

分布式日志统计处理方法和系统 Download PDF

Info

Publication number
CN103209087A
CN103209087A CN2012100138262A CN201210013826A CN103209087A CN 103209087 A CN103209087 A CN 103209087A CN 2012100138262 A CN2012100138262 A CN 2012100138262A CN 201210013826 A CN201210013826 A CN 201210013826A CN 103209087 A CN103209087 A CN 103209087A
Authority
CN
China
Prior art keywords
rough estimates
log
log data
central server
estimates result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100138262A
Other languages
English (en)
Other versions
CN103209087B (zh
Inventor
黎文彦
孟岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201210013826.2A priority Critical patent/CN103209087B/zh
Publication of CN103209087A publication Critical patent/CN103209087A/zh
Application granted granted Critical
Publication of CN103209087B publication Critical patent/CN103209087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

一种分布式日志统计处理方法，包括以下步骤：获取日志产生端上的原始日志数据；统计处理所述获取的原始日志数据，得到初步统计结果；将所述初步统计结果发送至中心服务器；通过中心服务器合并初步统计结果。上述方法不但可节约传送海量原始日志数据花费的大量带宽和时间，而且还使中心服务器只需对初步统计结果进行简单的合并处理即可，节约了中心服务器处理庞大的原始日志数据所需的时间和系统资源，因而上述分布式日志处理方法提高了处理分布式日志的效率。此外，还提供一种分布式日志统计处理系统。

Description

分布式日志统计处理方法和系统
【技术领域】
本发明涉及网络技术，特别的涉及一种分布式日志统计处理方法和系统。
【背景技术】
随着互联网业务的发展，互联网业务每天产生的日志数据越来越庞大。统计处理用户访问互联网业务的操作日志以及互联网业务的运行日志，可获取用户行为数据和系统运营状况信息。
【发明内容】
基于此，有必要提供一种能提高日志处理效率的分布式日志统计处理方法。
一种分布式日志统计处理方法，包括以下步骤：
获取日志产生端上的原始日志数据；
统计处理所述获取的原始日志数据，得到初步统计结果；
将所述初步统计结果发送至中心服务器；
通过中心服务器合并初步统计结果。
优选的，所述统计处理所述获取的原始日志数据，得到初步统计结果的步骤包括：
在所述获取的原始日志数据中查找预设的关键字对应的原始日志数据，统计所述预设的关键字对应的原始日志数据，得到关键字相关的初步统计结果。
优选的，所述通过中心服务器合并初步统计结果的步骤包括：
通过中心服务器将初步统计结果按照所述关键字进行分类；
通过中心服务器按照关键字分类合并所述初步统计结果。
优选的，所述原始日志数据包括用户操作记录和/或系统运行数据。
基于此，还有必要提供一种能提高日志处理效率的分布式日志统计处理系统。
一种分布式日志统计处理系统，包括多个日志产生端、多个日志统计器、至少一个中心服务器，一个所述日志产生端至少与一个所述日志统计器相连，所述日志统计器与中心服务器相连，其中：
日志产生端用于记录并存储原始日志数据；
日志统计器用于获取日志产生端上的原始日志数据，统计处理所述获取的原始日志数据，得到初步统计结果，将所述初步统计结果发送至中心服务器；
中心服务器用于接收多个日志统计器发送的所述初步统计结果，进一步合并所述初步统计结果。
优选的，所述日志统计器包括日志获取模块、统计模块、通信模块，其中：
获取模块用于获取日志产生端上的原始日志数据；
统计模块用于统计处理所述获取的原始日志数据，得到初步统计结果；
通信模块用于将所述初步统计结果发送至中心服务器。
优选的，所述统计模块用于在所述获取的原始日志数据中查找预设的关键字对应的原始日志数据，统计所述预设的关键字对应的原始日志数据，得到关键字相关的初步统计结果。
优选的，所述中心服务器还用于将接收的多个日志统计器的初步统计结果按照所述关键字进行分类，并按照关键字分类合并所述初步统计结果。
优选的，所述日志产生端包括客户端，所述日志统计器集成或独立于所述客户端；或
所述日志产生端包括服务器，所述日志统计器集成或独立于所述服务器；或
所述日志产生端包括云服务系统，所述日志统计器集成或独立于所述云服务系统。
优选的，所述原始日志数据包括用户操作记录和/或系统运行数据。
上述分布式日志处理方法和系统，统计处理日志产生端上的原始日志数据，得到初步统计结果，将初步统计结果发送至中心服务器，并通过中心服务器合并初步统计结果。由于将日志产生端上的原始日志数据分别进行统计处理，相对于汇聚各日志产生端上的原始日志数据后再进行统计处理而言，可节省大量的时间，而且统计处理得到的初步统计结果比原始日志数据的数据量要小很多，因此不但可节约传送海量原始日志数据花费的大量带宽和时间，而且还使中心服务器只需对初步统计结果进行简单的合并处理即可，节约了处理庞大的原始日志数据所需的时间和系统资源，因而上述分布式日志处理方法和系统提高了处理分布式日志的效率。
【附图说明】
图1为一个实施例中的分布式日志处理方法的流程示意图；
图2为一个实施例中的分布式日志处理方法的原理图；
图3为一个实施例中的分布式日志处理系统的结构示意图；
图4为一个实施例中的日志统计器的结构示意图。
【具体实施方式】
如图1所示，在一个实施例中，一种分布式日志统计处理方法，包括以下步骤：
步骤S101，获取日志产生端上的原始日志数据。
在一个实施例中，原始日志数据包括用户操作记录和/或系统运行数据等。具体的，用户操作记录包括用户登录、点击、访问、编辑、上传、更新、下载、退出等记录，系统运行数据包括响应时长、错误报告等信息。例如，记录用户操作图片的原始日志数据如下：“2012-1-1，用户A，上传一张图片P1，耗时800毫秒”；“2012-1-2，用户A，更新一张图片P2，耗时1000毫秒”；“2012-1-3，用户A，删除一张图片P3，耗时500毫秒”。
具体的，可从提供业务服务的客户端、服务器或云服务系统等日志产生端上获取海量用户操作请求产生的海量原始日志数据。
步骤S102，统计处理获取的原始日志数据，得到初步统计结果。
在一个实施例中，可采用传统的线性回归、logistic回归、聚类、主成分分析、方差分析、时间序列分析等统计分析方法对原始日志数据进行统计处理，得到初步统计结果，在此不再赘述。
在另一个实施例中，可采用简单的关键字查找法统计分析原始日志数据。具体的，可在获取的原始日志数据中查找预设的关键字对应的原始日志数据，统计预设的关键字对应的原始日志数据，得到关键字相关的初步统计结果。
例如，可预先设置关键字为“upload”，查找包括关键字“upload”的原始日志数据，从查找得到的原始日志数据中统计上传次数、上传用户、上传的错误比例、上传耗时等等，得到上传相关的初步统计结果，以支持后续进一步进行用户行为的分析以及系统运营和负载情况的分析。
步骤S103，将初步统计结果发送至中心服务器。
将日志产生端上的海量的原始日志数据进行统计处理后得到的初步统计结果的数据量很小，因而只需要花费很少的带宽资源就可将初步统计结果发送至中心服务器。
步骤S104，通过中心服务器合并初步统计结果。
在一个实施例中，可采用传统的线性回归、logistic回归、聚类、主成分分析、方差分析、时间序列分析等统计分析方法对初步统计结果进行统计合并处理，得到最终统计结果，在此不再赘述。
在另一个实施例中，可通过中心服务器将上述初步统计结果按照关键字进行分类，并通过中心服务器按照关键字分类合并上述初步统计结果。
具体的，可建立与关键字对应的数据表，将同属于该关键字类别的初步统计结果插入同一张数据表中，进一步汇总该张数据表中的数据，得到综合统计结果。例如，将“上传”相关的初步统计结果分为一类，插入与“上传”对应的数据表中，进一步汇总与“上传”相关的初步统计结果。例如，汇总该张数据表中的“上传次数”，则将该数据表中“上传次数”字段的所有数据相加，得到总的上传次数。再例如，将“下载”相关的初步统计结果分为一类，插入与“下载”对应的数据表中，进一步汇总与“下载”相关的初步统计结果，等等。
下面结合图2来说明上述分布式日志统计处理方法的原理：
(1)海量的用户1向日志产生端2提交操作请求，日志产生端2产生海量的原始日志数据。
(2)日志产生端2记录并存储原始日志数据，日志产生端2包括提供业务服务的客户端、服务器或云服务系统等。
(3)日志统计器3获取日志产生端2上的原始日志数据，统计处理该原始日志数据，得到初步统计结果，并将初步统计结果发送至中心服务器4。
(4)中心服务器4接收多个日志统计器3发送的初步统计结果，并合并初步统计结果，得到综合统计结果。
如图3所示，在一个实施例中，一种分布式日志统计处理系统，包括多个日志产生端100、多个日志统计器200、至少一个中心服务器300，一个日志产生端100与至少一个日志统计器200相连，日志统计器200与中心服务器300相连，其中：
日志产生端100用于记录并存储原始日志数据。
在一个实施例中，原始日志数据包括用户操作记录和/或系统运行数据。具体的，用户操作记录包括用户登录、点击、访问、编辑、上传、更新、下载、退出等记录，系统运行数据包括响应时长、错误报告等信息。例如，记录用户操作图片的原始日志数据如下：“2012-1-1，用户A，上传一张图片P1，耗时800毫秒”；“2012-1-2，用户A，更新一张图片P2，耗时1000毫秒”；“2012-1-3，用户A，删除一张图片P3，耗时500毫秒”。
具体的，日志产生端100包括提供业务服务的客户端、服务器或云服务系统等。在一个实施例中，日志产生端100包括客户端(图中未示出)，日志统计器200集成或独立于所述客户端；在另一个实施例中，日志产生端100包括服务器(图中未示出)，日志统计器200集成或独立于所述服务器；在又一实施例中，日志产生端100包括云服务系统(图中未示出)，日志统计器200集成或独立于所述云服务系统。
日志统计器200用于获取日志产生端100上的原始日志数据，统计处理获取的原始日志数据，得到初步统计结果，进一步将初步统计结果发送至中心服务器300。
如图4所示，在一个实施例中，日志统计器200包括日志获取模块201、统计模块202、通信模块203，其中：
日志获取模块201用于获取日志产生端100上的原始日志数据。
统计模块202用于统计处理日志获取模块201获取的原始日志数据，得到初步统计结果。
在一个实施例中，统计模块202可采用传统的线性回归、logistic回归、聚类、主成分分析、方差分析、时间序列分析等统计分析方法对原始日志数据进行统计处理，得到初步统计结果，在此不再赘述。
在另一个实施例中，统计模块202可采用简单的关键字查找法统计分析原始日志数据。具体的，统计模块202可在获取的原始日志数据中查找预设的关键字对应的原始日志数据，统计预设的关键字对应的原始日志数据，得到关键字相关的初步统计结果。
例如，统计模块202可预先设置关键字为“upload”，查找包括关键字“upload”的原始日志数据，从查找得到的原始日志数据中统计上传次数、上传用户、上传的错误比例、上传耗时等等，得到上传相关的初步统计结果，以支持后续进一步进行用户行为的分析以及系统运营和负载情况的分析。
通信模块203用于将上述初步统计结果发送至中心服务器300。
将日志产生端100上的海量的原始日志数据进行统计处理后得到的初步统计结果的数据量很小，因而只需要花费很少的带宽资源就可将初步统计结果发送至中心服务器。
中心服务器300用于接收多个日志统计器200发送的初步统计结果，进一步合并所述初步统计结果。
在一个实施例中，中心服务器300可采用传统的线性回归、logistic回归、聚类、主成分分析、方差分析、时间序列分析等统计分析方法对初步统计结果进行统计合并处理，得到最终统计结果，在此不再赘述。
在另一个实施例中，中心服务器300可将上述初步统计结果按照关键字进行分类，并按照关键字分类合并上述初步统计结果。
具体的，中心服务器300可建立与关键字对应的数据表，将同属于该关键字类别的初步统计结果插入同一张数据表中，进一步汇总该张数据表中的数据，得到综合统计结果。例如，将“上传”相关的初步统计结果分为一类，插入与“上传”对应的数据表中，进一步汇总与“上传”相关的初步统计结果。例如，汇总该张数据表中的“上传次数”，则将该数据表中“上传次数”字段的所有数据相加，得到总的上传次数。再例如，将“下载”相关的初步统计结果分为一类，插入与“下载”对应的数据表中，进一步汇总与“下载”相关的初步统计结果，等等。
上述分布式日志处理方法和系统，统计处理日志产生端上的原始日志数据，得到初步统计结果，将初步统计结果发送至中心服务器，并通过中心服务器合并初步统计结果。由于将日志产生端上的原始日志数据分别进行统计处理，相对于汇聚各日志产生端上的原始日志数据后再进行统计处理而言，可节省大量的时间，而且统计处理得到的初步统计结果比原始日志数据的数据量要小很多，因此不但可节约传送海量原始日志数据花费的大量带宽和时间，而且还使中心服务器只需对初步统计结果进行简单的合并处理即可，节约了处理庞大的原始日志数据所需的时间和系统资源，因而上述分布式日志处理方法和系统提高了处理分布式日志的效率。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式日志统计处理方法，包括以下步骤：
获取日志产生端上的原始日志数据；
统计处理所述获取的原始日志数据，得到初步统计结果；
将所述初步统计结果发送至中心服务器；
通过中心服务器合并初步统计结果。
2.根据权利要求1所述的分布式日志统计处理方法，其特征在于，所述统计处理所述获取的原始日志数据，得到初步统计结果的步骤包括：
在所述获取的原始日志数据中查找预设的关键字对应的原始日志数据，统计所述预设的关键字对应的原始日志数据，得到关键字相关的初步统计结果。
3.根据权利要求2所述的分布式日志统计处理方法，其特征在于，所述通过中心服务器合并初步统计结果的步骤包括：
通过中心服务器将初步统计结果按照所述关键字进行分类；
通过中心服务器按照关键字分类合并所述初步统计结果。
4.根据权利要求1至3任意一项所述的分布式日志统计处理方法，其特征在于，所述原始日志数据包括用户操作记录和/或系统运行数据。
5.一种分布式日志统计处理系统，其特征在于，包括多个日志产生端、多个日志统计器、至少一个中心服务器，一个所述日志产生端与至少一个所述日志统计器相连，所述日志统计器与中心服务器相连，其中：
日志产生端用于记录并存储原始日志数据；
日志统计器用于获取日志产生端上的原始日志数据，统计处理所述获取的原始日志数据，得到初步统计结果，将所述初步统计结果发送至中心服务器；
中心服务器用于接收多个日志统计器发送的所述初步统计结果，进一步合并所述初步统计结果。
6.根据权利要求5所述的分布式日志统计处理系统，其特征在于，所述日志统计器包括日志获取模块、统计模块、通信模块，其中：
日志获取模块用于获取日志产生端上的原始日志数据；
统计模块用于统计处理所述获取的原始日志数据，得到初步统计结果；
通信模块用于将所述初步统计结果发送至中心服务器。
7.根据权利要求6所述的分布式日志统计处理系统，其特征在于，所述统计模块用于在所述获取的原始日志数据中查找预设的关键字对应的原始日志数据，统计所述预设的关键字对应的原始日志数据，得到关键字相关的初步统计结果。
8.根据权利要求7所述的分布式日志统计处理系统，其特征在于，所述中心服务器还用于将接收的多个日志统计器的初步统计结果按照所述关键字进行分类，并按照关键字分类合并所述初步统计结果。
9.根据权利要求5所述的分布式日志统计处理系统，其特征在于，所述日志产生端包括客户端，所述日志统计器集成或独立于所述客户端；或
所述日志产生端包括服务器，所述日志统计器集成或独立于所述服务器；或
所述日志产生端包括云服务系统，所述日志统计器集成或独立于所述云服务系统。
10.根据权利要求5至9任意一项所述的分布式日志统计处理系统，其特征在于，所述原始日志数据包括用户操作记录和/或系统运行数据。
CN201210013826.2A 2012-01-17 2012-01-17 分布式日志统计处理方法和系统 Active CN103209087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210013826.2A CN103209087B (zh) 2012-01-17 2012-01-17 分布式日志统计处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210013826.2A CN103209087B (zh) 2012-01-17 2012-01-17 分布式日志统计处理方法和系统

Publications (2)

Publication Number Publication Date
CN103209087A true CN103209087A (zh) 2013-07-17
CN103209087B CN103209087B (zh) 2015-12-16

Family

ID=48756179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210013826.2A Active CN103209087B (zh) 2012-01-17 2012-01-17 分布式日志统计处理方法和系统

Country Status (1)

Country Link
CN (1) CN103209087B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577307A (zh) * 2013-11-07 2014-02-12 浙江中烟工业有限责任公司 基于xml规则模型的防火墙日志自动提取与分析方法
CN103747042A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种信息获取方法和装置
CN104462606A (zh) * 2014-12-31 2015-03-25 中国科学院深圳先进技术研究院 一种基于日志数据确定诊断处理措施的方法
CN104951517A (zh) * 2015-05-29 2015-09-30 小米科技有限责任公司 行为日志统计方法及装置
CN104980750A (zh) * 2015-06-30 2015-10-14 北京奇艺世纪科技有限公司 一种视频转码日志的收集方法、装置及系统
CN105553690A (zh) * 2015-12-07 2016-05-04 北京奇虎科技有限公司 业务访问信息的统计方法、装置及系统
CN105634845A (zh) * 2014-10-30 2016-06-01 任子行网络技术股份有限公司 一种用于对海量dns日志进行多维统计分析的方法及系统
CN105653561A (zh) * 2014-12-02 2016-06-08 阿里巴巴集团控股有限公司 数据的处理方法及装置
CN105677687A (zh) * 2014-11-21 2016-06-15 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN106156258A (zh) * 2015-04-28 2016-11-23 腾讯科技（深圳）有限公司 一种在分布式存储系统中统计数据的方法、装置及系统
CN106656522A (zh) * 2015-10-28 2017-05-10 中国移动通信集团公司 跨数据中心的数据计算方法及系统
CN108228379A (zh) * 2018-01-24 2018-06-29 广东远峰汽车电子有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN108932241A (zh) * 2017-05-24 2018-12-04 腾讯科技（深圳）有限公司 日志数据统计方法、装置及节点
CN110795600A (zh) * 2019-11-05 2020-02-14 成都深思科技有限公司 一种分布式网络流量的聚合降维统计方法
CN110990335A (zh) * 2019-12-06 2020-04-10 深圳前海微众银行股份有限公司 日志归档方法、装置、设备及计算机可读存储介质
CN116301663A (zh) * 2023-05-12 2023-06-23 新华三技术有限公司 一种数据存储方法、装置及主机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642097A (zh) * 2004-01-02 2005-07-20 联想(北京)有限公司 日志统计方法和系统
US7558854B2 (en) * 2002-12-10 2009-07-07 Hitachi, Ltd. Access relaying apparatus
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558854B2 (en) * 2002-12-10 2009-07-07 Hitachi, Ltd. Access relaying apparatus
CN1642097A (zh) * 2004-01-02 2005-07-20 联想(北京)有限公司 日志统计方法和系统
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577307A (zh) * 2013-11-07 2014-02-12 浙江中烟工业有限责任公司 基于xml规则模型的防火墙日志自动提取与分析方法
CN103747042A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种信息获取方法和装置
CN105634845B (zh) * 2014-10-30 2019-01-22 任子行网络技术股份有限公司 一种用于对海量dns日志进行多维统计分析的方法及系统
CN105634845A (zh) * 2014-10-30 2016-06-01 任子行网络技术股份有限公司 一种用于对海量dns日志进行多维统计分析的方法及系统
CN105677687A (zh) * 2014-11-21 2016-06-15 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN105653561B (zh) * 2014-12-02 2019-11-15 阿里巴巴集团控股有限公司 数据的处理方法及装置
CN105653561A (zh) * 2014-12-02 2016-06-08 阿里巴巴集团控股有限公司 数据的处理方法及装置
CN104462606A (zh) * 2014-12-31 2015-03-25 中国科学院深圳先进技术研究院 一种基于日志数据确定诊断处理措施的方法
CN104462606B (zh) * 2014-12-31 2018-06-22 中国科学院深圳先进技术研究院 一种基于日志数据确定诊断处理措施的方法
CN106156258A (zh) * 2015-04-28 2016-11-23 腾讯科技（深圳）有限公司 一种在分布式存储系统中统计数据的方法、装置及系统
CN106156258B (zh) * 2015-04-28 2019-12-24 腾讯科技（深圳）有限公司 一种在分布式存储系统中统计数据的方法、装置及系统
CN104951517A (zh) * 2015-05-29 2015-09-30 小米科技有限责任公司 行为日志统计方法及装置
CN104980750B (zh) * 2015-06-30 2018-04-20 北京奇艺世纪科技有限公司 一种视频转码日志的收集方法、装置及系统
CN104980750A (zh) * 2015-06-30 2015-10-14 北京奇艺世纪科技有限公司 一种视频转码日志的收集方法、装置及系统
CN106656522A (zh) * 2015-10-28 2017-05-10 中国移动通信集团公司 跨数据中心的数据计算方法及系统
CN105553690A (zh) * 2015-12-07 2016-05-04 北京奇虎科技有限公司 业务访问信息的统计方法、装置及系统
CN108932241A (zh) * 2017-05-24 2018-12-04 腾讯科技（深圳）有限公司 日志数据统计方法、装置及节点
CN108932241B (zh) * 2017-05-24 2020-12-25 腾讯科技（深圳）有限公司 日志数据统计方法、装置及节点
CN108228379A (zh) * 2018-01-24 2018-06-29 广东远峰汽车电子有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN108228379B (zh) * 2018-01-24 2021-11-05 远峰科技股份有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN110795600A (zh) * 2019-11-05 2020-02-14 成都深思科技有限公司 一种分布式网络流量的聚合降维统计方法
CN110990335A (zh) * 2019-12-06 2020-04-10 深圳前海微众银行股份有限公司 日志归档方法、装置、设备及计算机可读存储介质
CN116301663A (zh) * 2023-05-12 2023-06-23 新华三技术有限公司 一种数据存储方法、装置及主机

Also Published As

Publication number Publication date
CN103209087B (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN103209087A (zh) 分布式日志统计处理方法和系统
WO2017166644A1 (zh) 一种数据采集方法和系统
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
US8706756B2 (en) Method, system and apparatus of hybrid federated search
US20150237113A1 (en) Method and system for file transmission
CN102375837B (zh) 数据采集系统和方法
CN103838867A (zh) 日志处理方法和装置
CN103761309A (zh) 一种运营数据处理方法及系统
CN102208991A (zh) 一种日志处理方法、设备和系统
US20120066204A1 (en) Providing lightweight multidimensional online data storage for web service usage reporting
CN112100265A (zh) 面向大数据架构与区块链的多源数据处理方法及装置
CN103248645A (zh) Bt离线数据下载系统及方法
CN103312544A (zh) 一种控制终端上报日志文件的方法、设备和系统
CN105515836A (zh) 日志处理方法、装置及服务器
CN112948492A (zh) 一种数据处理系统、方法、装置、电子设备及存储介质
CN102982112A (zh) 排行榜生成方法、日志生成方法和服务器
CN111143465A (zh) 一种数据中台的实现方法、装置以及电子设备
CN112181678A (zh) 业务数据的处理方法、装置和系统、存储介质、电子装置
CN102325143B (zh) 一种基于云平台的信息收集存储和加密检索系统
CN102724290B (zh) 一种获取目标客户群的方法、设备及系统
CN112506887B (zh) 车辆终端can总线数据处理方法及装置
CN106919566A (zh) 一种基于海量数据的查询统计方法及系统
Psallidas et al. Soc web: Efficient monitoring of social network activities
CN104104724A (zh) 用于客户端的操作方式的推送方法和通讯系统
CN104063456A (zh) 基于向量查询的自媒体传播图谱分析方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant