CN105824744A - 一种基于b2b平台的实时日志采集分析方法 - Google Patents
一种基于b2b平台的实时日志采集分析方法 Download PDFInfo
- Publication number
- CN105824744A CN105824744A CN201610158859.4A CN201610158859A CN105824744A CN 105824744 A CN105824744 A CN 105824744A CN 201610158859 A CN201610158859 A CN 201610158859A CN 105824744 A CN105824744 A CN 105824744A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- node
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种基于B2B平台的实时日志采集分析方法,1)将B2B平台中的访问日志、系统日志作为数据源,对数据源的数据进行实时采集,保存在寄存器中;2)通过日志解析器进行处理,按不同的格式进行解析;3)通过日志收集器进行收集日志数据;4)定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;5)通过分布式存储器缓存收集器的数据;6)通过分布式计算器处理数据;7)由分布式计算器处理结果输出至数据库,本发明提供的基于B2B平台的实时日志采集分析方法,在大数据并发实时采集、并行计算,实时分析具有显著的效果,并且在实时计算中具有明显优势。
Description
技术领域
本发明涉及一种基于B2B平台的实时日志采集分析方法。
背景技术
电子商务发展至今,已经积累了大量的用户访问,以及大量的系统日志信息,包括访问者、信息提供者等;而这类访客浏览的动作都记录在日志中,并且系统的异常与监控日志都记录在日志文件中,这一类日志往往是海量数据。
当用户使用搜索引擎访问到我们网站中时或者通过浏览器直接输入网址访问到我们网站中,用户在网站访问的所有动作,都将记录在服务器日志文件中,并且记录了用户从哪一个页面进来,并且下一个页面的路径,都将记录在服务器的日志文件中,以及用户在网站进行搜索的日志,都将记录在日志文件中。当用户在访问页面时,此时服务器如果产生异常信息,包括页面无响应,反馈信息错误等,都将记录在日志文件中;所以在这些海量的日志信息,我们需要从这些信息中提取出重要的信息记录,因此需要建立一个实时日志采集分析的方法,将这些日志信息进行切分,并发处理,并行计算,以及存储等,让这些日志信息最终可以高效的获取有价值的信息内容。
国内现有的分布式日志采集分析方法,特别是针对具备实时性的采集,以及在大数据并发计算中,再实时性以及大数据量的情况下,容易出现很多问题或者无法保证实时性,比如:
中国专利CN201310317960.6,给出了一种分布式日志采集服务器的实现方案,其利用分布式的方式完成海量曰志的采集,通过多台采集服务器进行采集,没有定义主从先后关系,并发采集会导致一份日志文件给多个采集器同时采集,可能导致一份数据产生多个拷贝,并且也没有任何关于实时性采集的特性。
中国专利CN201410061318.0,给出了一种分布式设备日志采集方法,其通过分布式日志处理框架采用中介者模式构建集成化数据中间层,形成集成数据中介管理服务,该数据中介服务采集设备日志进行分布式存储在各分布式存储点上并进行数据连接,若需增加分布式存储点时,采用分布式存储点动态扩展机制实现;构建集成化数据中间层,统一采集、格式化处理日志,集中对分布式数据存储点进行统一管理和调度等内容,在分布式存储方面提出与分布式数据进行连接,在分布式采集,以及实时性等效率是非常的低下,该方法是在存储中进行改善,并没有涉及到分布式采集以及计算的内容。
海量数据的分布式采集、海量数据的实时计算及存储,通过各节点的性能进行分发不同的任务与调度,也是B2B平台的实时日志采集分析的重要内容。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于B2B平台的实时日志采集分析方法,针对访问日志、系统日志进行实时采集,并进行计算,计算出有目的性的数据,并保存在数据库中。
本发明的技术方案:一种基于B2B平台的实时日志采集分析方法,包括如下步骤:
(1)将B2B平台中的访问日志、系统日志作为数据源,对数据源的数据进行实时采集,保存在寄存器中,对数据源的数据进行实时采集的方法为:
对访问日志,首先进行切割,将大将大于512M文件自动切割成小文件即低于512M的小文件;再对日志进行预处理;
在预处理中对日志进行分类,按网站的站点类型进行分类,再进行各站点数据实时增量采集,采集之后保存在寄存器中,供下一个处理器进行处理;
在预处理中需要对日志进行分类,首先监控日志文件夹下的所有文件,每一个节点只监听1024个以内文件,每一个文件在节点的都会有相应的标示,记录监听文件需要读取数据的位置,当每次文件有新的记录产生时,标示就会记录当前数据的所属位置,根据节点配置发送到不同的存储区域;
(2)通过日志解析器进行处理,按不同的格式进行解析;
具体解析规则为:根据时间段、日志类型、异常编码三个类型进行对日志的解析,对于日志异常信息的分析,将实际的处理方法和结果信息直接存放至寄存器中,同时将异常信息和处理方法建立对应的集合关系;
(3)通过日志收集器进行收集日志数据,具体收集规则为:
在集群中获取配置数据,集群机器由主机和各节点组成,按照一定的大小将文件存放于内存中,满足一定的条件之后再写入分布式存储器中或者输出至其他分析器中;
(5)通过分布式存储器缓存收集器的数据,具体缓存规则为:分布式存储器集群包含一个或多个服务器,每条缓存到分布式存储器集群的数据根据类别不同,分布存储在各个服务器中,将这些节点服务器进行分区;同一个分区中的数据都设置一个唯一的ID号;每条数据都存在一个状态,当该数据被往下成功分发后,这条数据将不会再次处理,避免了数据被多次重复处理的现象;
(6)通过分布式计算器处理数据,具体计算规则为:分布式计算器集群中有一个主控制器和多个运算节点;所有的处理任务首先提交到主控制器,由主控制器根据节点的性能进行分发任务;主控制器首先将任务提交的节点,将一个任务拆分成多个子任务,多个子任务在多个节点中进行计算,最后再进行整合;
(7)由分布式计算器处理结果输出至数据库,或其他应用服务器中。
步骤(5)中数据缓存通过若干台集群机器中的内存进行缓存数据,从而提高效率,当拥有多个数据来源和多个数据目的地时,为每一个来源和目的地配对地会自动创建一系列数据通过,保证数据的一致性;并且每一个系统获取数据和写入内存数据各一次;
步骤(3)中日志文件将会根据配置要求,保留一定的时间之后删除,通过这种方法,来释放磁盘空间,以及减少读取操作之后对文件内容改动的磁盘IO开支;
步骤(1)中将需要保留和需要删除的数据文件分别保存在不同的路径下,如果当前数据需要删除,会将他放入到存储层面,判断放入删除层和存储层是通过当前返回的表示,如果返回状态不为成功,那么将继续保留;
如果节点出现问题,会将节点上监听的日志文件夹下已经成功的日志文件自动移出,根据当前调度规则,进行重新启动;
日志将大于512M文件,进行自动分割文件,把符合条件的文件或文件夹压缩归档到指定目录,归档文件格式,按系统时间已经文件类型进行归档,在判断是否归档文件夹时,检测的是文件夹的最后修改时间;
所有的临时数据,被保存在内存中;在吞吐量方面提高性能,在通过一定大小之后刷入到磁盘进行临时存储,从而保证灾难性时数据不会丢失;
当临时被保存在磁盘文件时,能保存容量较大的文件并且发生宕机时,数据可恢复。
(1)中日志文件定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;每个节点都负责子类型日志中数据的读写操作,还可以配置动态配置需要备份的个数,每个子类型数据将会被备份到多台机器上,以提高可用性;
有益效果:克服现有方案实时性等效率不高,本发明通过各节点的性能进行分发不同的任务与调度,实现B2B平台的实时日志采集分析,针对访问日志、系统日志进行实时采集,并进行计算,计算出有目的性的数据,并保存在数据库中。本发明提供的基于B2B平台的实时日志采集分析方法,在大数据并发实时采集、并行计算,实时分析具有显著的效果,并且在实时计算中具有明显优势。
附图说明
图1为本发明方法的实施流程图。
具体实施方式
一种基于B2B平台的实时日志采集分析方法,包括如下步骤:
(1)将B2B平台中的访问日志、系统日志作为数据源,对数据源的数据进行实时采集,保存在寄存器中,对数据源的数据进行实时采集的方法为:
对访问日志,首先进行切割,将大文件自动切割成小文件;再对日志进行预处理;
在预处理中对日志进行分类,按网站的站点类型进行分类,再进行各站点数据实时增量采集,采集之后保存在寄存器中,供下一个处理器进行处理;
在预处理中需要对日志进行分类,首先监控日志文件夹下的所有文件,每一个节点只监听1024个文件,每一个文件在节点的都会有相应的标示,记录监听文件需要读取数据的位置,当每次文件有新的记录产生时,标示就会记录当前数据的所属位置,根据节点配置发送到不同的存储区域。
我们会将需要保留和需要删除的数据文件分别保存在不同的路径下,如果当前数据需要删除,我们会放他放入到存储层面,判断放入删除层和存储层是通过当前返回的表示,如果返回状态不为成功,那么将继续保留。
如果节点出现问题,我们会将节点上监听的日志文件夹下已经成功的日志文件自动移出,根据当前调度规则,进行重新启动;
日志文件较大的数据,进行自动分割文件,把符合条件的文件或文件夹压缩归档到指定目录,归档文件格式,按系统时间已经文件类型进行归档,在判断是否归档文件夹时,检测的是文件夹的最后修改时间。
所有的临时数据,被保存在内存中。在吞吐量方面可以提高很大性能,在通过一定大小之后刷入到磁盘进行临时存储,从而保证灾难性时数据不会丢失。
当临时被保存在磁盘文件时,可以保存容量较大的文件并且发生宕机时,数据可恢复。
(2)数据缓存通过若干台集群机器中的内存进行缓存数据,从而提高效率,当拥有多个数据来源和多个数据目的地时,为每一个来源和目的地配对地会自动创建一系列数据通过,保证数据的一致性。并且每一个系统获取数据和写入内存数据各一次。
(3)日志文件将会根据配置要求,保留一定的时间之后删除,通过这种方法,来释放磁盘空间,以及减少读取操作之后对文件内容改动的磁盘IO开支。
(4)定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上。每个节点都负责子类型日志中数据的读写操作,还可以配置动态配置需要备份的个数,每个子类型数据将会被备份到多台机器上,以提高可用性。
使用负载均衡来保持缓存与各节点数据的通讯,数据通过由类型定义的数据组直接通过网络发送到客户端,中间不经过任何路由节点,
使用点对点的方式进行通讯。
通过三种方式进行消息传输,
1、数据一次操作,只发送一次,无论是否发送成功,将不会重发数据。此时数据游标指向下一条数据,如果在消息处理过程中出现了异常,导致部分数据未能继续往下处理,当前立即停止所有数据的发送。
2、数据至少发送一次,当数据在发送时,将获取返回值再判断是否发送下一条数据。接收方接受数据,然后对数据进行处理,发送返回状态,游标进行增长。如果数据处理成功之后,在返回状态值的出现异常,那么当前游标不会指向下一条,此时将重新发送这条数据。
3、数据至发送一次,如果发生异常也不会停止,将继续发送下一条数据。
写入日志集群文件操作为两种:
a、当数据文件尺寸达到一定阀值时,目前我们配置中设置该阀值为500M,将会创建一个新的文件,当数据的条数达到阀值时将会触发数据自动写入集群操作。
b、通过上一次写入文件和当前时间差值进行写入日志集群操作。
(5)、通过分布式存储器缓存收集器的数据,定义源数据信息存储,根据元数据的变化,集群产生对应不同的动作。
当数据缓存集群服务器启动后,首先会向主机写入各节点服务器信息,同时当节点和主机断开连接时,此节点信息也会被删除。
数据存储格式:/ID/[0...N],每个配置文件中都需要指定一个数字类型的id号,节点服务器存储信息为ip:port。定义类型为一个字符型编号,将该字符型编号数据存储格式:/Type/name/[0...N]。
(6)、通过分布式计算器处理数据,由服务器主机来协调整个集群,每台服务器运行多个线程,但根据执行数据来进行并发计算,计算结果由其它分布式集群机器中的子线程进行汇总,每个线程提供一个消息单元,指定是否在一个特定的时间内被完全处理。包括当期线程和子线程全部被执行完毕,保证每个线程会被完整的执行。并且追踪由每个线程所产生的节点,监控该节点的结束时间。
通过对该线程超时的设置,当该超时区间时间内检测不到该线程是否执行成功,那么对该线程处理标记进行设置为失败,当在系统空闲状态时自动触发该线程重新启动。
(7)、由分布式计算器处理数据之后,将计算结果输出至数据库中存储,或进行其他分发至应用服务器中。
Claims (6)
1.一种基于B2B平台的实时日志采集分析方法,其特征是包括如下步骤:
(1)将B2B平台中的访问日志、系统日志作为数据源,对数据源的数据进行实时采集,保存在寄存器中,对数据源的数据进行实时采集的方法为:
对访问日志,首先进行切割,将大于512M文件自动切割成小文件、即低于512M的小文件;再对日志进行预处理;
在预处理中对日志进行分类,按网站的站点类型进行分类,再进行各站点数据实时增量采集,采集之后保存在寄存器中,供下一个处理器进行处理;
在预处理中需要对日志进行分类,首先监控日志文件夹下的所有文件,每一个节点只监听1024个以内文件,每一个文件在节点的都会有相应的标示,记录监听文件需要读取数据的位置,当每次文件有新的记录产生时,标示就会记录当前数据的所属位置,根据节点配置发送到不同的存储区域;
(2)通过日志解析器进行处理,按不同的格式进行解析;
具体解析规则为:根据时间段、日志类型、异常编码三个类型进行对日志的解析,对于日志异常信息的分析,将实际的处理方法和结果信息直接存放至寄存器中,同时将异常信息和处理方法建立对应的集合关系;
(3)通过日志收集器进行收集日志数据,具体收集规则为:
在集群中获取配置数据,集群机器由主机和各节点组成,按照一定的大小将文件存放于内存中,满足一定的条件之后再写入分布式存储器中或者输出至其他分析器中;
(4)定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;
(5)通过分布式存储器缓存收集器的数据,具体缓存规则为:分布式存储器集群包含一个或多个服务器,每条缓存到分布式存储器集群的数据根据类别不同,分布存储在各个服务器中,将这些节点服务器进行分区;同一个分区中的数据都设置一个唯一的ID号;每条数据都存在一个状态,当该数据被往下成功分发后,这条数据将不会再次处理,避免了数据被多次重复处理的现象;
(6)通过分布式计算器处理数据,具体计算规则为:分布式计算器集群中有一个主控制器和多个运算节点;所有的处理任务首先提交到主控制器,由主控制器根据节点的性能进行分发任务;主控制器首先将任务提交的节点,将一个任务拆分成多个子任务,多个子任务在多个节点中进行计算,最后再进行整合;
(7)由分布式计算器处理结果输出至数据库,或其他应用服务器中。
2.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是(5)中数据缓存通过若干台集群机器中的内存进行缓存数据,从而提高效率,当拥有多个数据来源和多个数据目的地时,为每一个来源和目的地配对地会自动创建一系列数据通过,保证数据的一致性;并且每一个系统获取数据和写入内存数据各一次;
(3)中日志文件将会根据配置要求,保留一定的时间之后删除,通过这种方法,来释放磁盘空间,以及减少读取操作之后对文件内容改动的磁盘IO开支。
3.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是(1)中将需要保留和需要删除的数据文件分别保存在不同的路径下,如果当前数据需要删除,会将他放入到存储层面,判断放入删除层和存储层是通过当前返回的表示,如果返回状态不为成功,那么将继续保留;
如果节点出现问题,会将节点上监听的日志文件夹下已经成功的日志文件自动移出,根据当前调度规则,进行重新启动;
日志文件将大于512M文件数据,进行自动分割文件,把符合条件的文件或文件夹压缩归档到指定目录,归档文件格式,按系统时间已经文件类型进行归档,在判断是否归档文件夹时,检测的是文件夹的最后修改时间;
所有的临时数据,被保存在内存中;在吞吐量方面提高性能,在通过一定大小之后刷入到磁盘进行临时存储,从而保证灾难性时数据不会丢失;
当临时被保存在磁盘文件时,能保存容量较大的文件并且发生宕机时,数据能恢复。
4.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是(1)中日志文件定义一个类型的多个子类型,被分布在集群中的多个服务器的节点上;每个节点都负责子类型日志中数据的读写操作,还可以动态配置需要备份的个数,每个子类型数据将会被备份到多台机器上。
5.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是使用负载均衡来保持缓存与各节点数据的通讯,数据通过由类型定义的数据组直接通过网络发送到客户端,中间不经过任何路由节点,使用点对点的方式进行通讯;通过三种方式进行消息传输,
1)数据一次操作,只发送一次,无论是否发送成功,将不会重发数据;此时数据游标指向下一条数据,如果在消息处理过程中出现了异常,导致部分数据未能继续往下处理,当前立即停止所有数据的发送;
2)数据至少发送一次,当数据在发送时,将获取返回值再判断是否发送下一条数据;接收方接受数据,然后对数据进行处理,发送返回状态,游标进行增长;如果数据处理成功之后,在返回状态值的出现异常,那么当前游标不会指向下一条,此时将重新发送这条数据;
3)数据至发送一次,如果发生异常也不会停止,将继续发送下一条数据。
6.根据权利要求要求1所述的基于B2B平台的实时日志采集分析方法,其特征是写入日志集群文件操作为两种:
a、当数据文件尺寸达到一定阀值时,目前配置中设置该阀值为500M,将会创建一个新的文件,当数据的条数达到阀值时将会触发数据自动写入集群操作;
b、通过上一次写入文件和当前时间差值进行写入日志集群操作;
定义源数据信息存储,根据元数据的变化,集群产生对应不同的动作;
当数据缓存集群服务器启动后,首先会向主机写入各节点服务器信息,同时当节点和主机断开连接时,此节点信息也会被删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610158859.4A CN105824744B (zh) | 2016-03-21 | 2016-03-21 | 一种基于b2b平台的实时日志采集分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610158859.4A CN105824744B (zh) | 2016-03-21 | 2016-03-21 | 一种基于b2b平台的实时日志采集分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105824744A true CN105824744A (zh) | 2016-08-03 |
CN105824744B CN105824744B (zh) | 2018-06-15 |
Family
ID=56525209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610158859.4A Active CN105824744B (zh) | 2016-03-21 | 2016-03-21 | 一种基于b2b平台的实时日志采集分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105824744B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326370A (zh) * | 2016-08-12 | 2017-01-11 | 德基网络科技南京有限公司 | 一种基于电子商务平台的大数据统计方法 |
CN106557281A (zh) * | 2016-10-28 | 2017-04-05 | 武汉斗鱼网络科技有限公司 | 一种服务器日志的自动处理方法和系统 |
CN106991177A (zh) * | 2017-04-06 | 2017-07-28 | 广东亿迅科技有限公司 | 一种分布式环境下实时日志的无损采集方法及其系统 |
CN107222564A (zh) * | 2017-07-04 | 2017-09-29 | 贵州数据宝网络科技有限公司 | 数据采集方法及装置 |
CN107480277A (zh) * | 2017-08-22 | 2017-12-15 | 北京京东尚科信息技术有限公司 | 用于网站日志采集的方法及装置 |
CN107526808A (zh) * | 2017-08-22 | 2017-12-29 | 中国联合网络通信集团有限公司 | 实时数据处理方法及装置 |
CN108038198A (zh) * | 2017-12-12 | 2018-05-15 | 泰康保险集团股份有限公司 | 日志处理方法、装置和电子设备 |
CN108063685A (zh) * | 2017-12-06 | 2018-05-22 | 迈普通信技术股份有限公司 | 日志分析方法及装置 |
CN108304305A (zh) * | 2018-01-11 | 2018-07-20 | 北京潘达互娱科技有限公司 | 日志文件读取的方法和设备 |
CN108664643A (zh) * | 2018-05-11 | 2018-10-16 | 重庆工商职业学院 | 一种采集数据的分布式存储系统及方法 |
CN108874639A (zh) * | 2018-03-27 | 2018-11-23 | 平安科技(深圳)有限公司 | 日志归档方法、电子装置及可读存储介质 |
CN109062774A (zh) * | 2018-06-21 | 2018-12-21 | 平安科技(深圳)有限公司 | 日志处理方法、装置及存储介质、服务器 |
CN109240882A (zh) * | 2018-08-30 | 2019-01-18 | 广发证券股份有限公司 | 一种金融数据一致性检测系统及方法 |
CN109408481A (zh) * | 2018-11-06 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 日志采集规则的更新方法、装置、电子设备及可读介质 |
CN109857623A (zh) * | 2018-12-13 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于日志文件的服务性能分析方法、装置及电子设备 |
CN109918349A (zh) * | 2019-02-25 | 2019-06-21 | 网易(杭州)网络有限公司 | 日志处理方法、装置、存储介质和电子装置 |
CN109960622A (zh) * | 2017-12-22 | 2019-07-02 | 南京欣网互联网络科技有限公司 | 一种基于大数据可视化监控平台的数据收集方法 |
CN110188118A (zh) * | 2019-04-25 | 2019-08-30 | 广州至真信息科技有限公司 | 一种数据同步方法、装置 |
CN110399272A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 日志处理设备、方法、电子设备及计算机可读存储介质 |
CN111159002A (zh) * | 2019-12-31 | 2020-05-15 | 山东有人信息技术有限公司 | 一种基于分组的数据边缘采集方法、边缘采集设备及系统 |
CN111209170A (zh) * | 2019-10-21 | 2020-05-29 | 江苏卓易信息科技股份有限公司 | 一种基于规则的用户行为日志采集、分析的方法和系统 |
CN111427903A (zh) * | 2020-03-27 | 2020-07-17 | 四川虹美智能科技有限公司 | 日志信息采集方法及装置 |
CN111694808A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及计算设备 |
CN112100148A (zh) * | 2020-07-31 | 2020-12-18 | 紫光云(南京)数字技术有限公司 | 一种打包日志的增量处理方法 |
CN112783849A (zh) * | 2021-01-29 | 2021-05-11 | 紫光云技术有限公司 | 一种生产环境日志导出系统及方法 |
CN113392079A (zh) * | 2021-06-18 | 2021-09-14 | 苏州浪潮智能科技有限公司 | 一种分布式存储集群日志存储优化方法、系统及终端 |
CN113810231A (zh) * | 2021-09-16 | 2021-12-17 | 杭州安恒信息技术股份有限公司 | 一种日志解析方法、系统、电子设备及存储介质 |
CN114598597A (zh) * | 2022-02-24 | 2022-06-07 | 烽台科技(北京)有限公司 | 多源日志解析方法、装置、计算机设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
US20140344622A1 (en) * | 2013-05-20 | 2014-11-20 | Vmware, Inc. | Scalable Log Analytics |
CN104683445A (zh) * | 2015-01-26 | 2015-06-03 | 北京邮电大学 | 分布式实时数据融合系统 |
US20150154288A1 (en) * | 2013-11-29 | 2015-06-04 | Konkuk University Industrial Cooperation Corp. | Method and system for processing log data |
CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
-
2016
- 2016-03-21 CN CN201610158859.4A patent/CN105824744B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140344622A1 (en) * | 2013-05-20 | 2014-11-20 | Vmware, Inc. | Scalable Log Analytics |
US20150154288A1 (en) * | 2013-11-29 | 2015-06-04 | Konkuk University Industrial Cooperation Corp. | Method and system for processing log data |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
CN104683445A (zh) * | 2015-01-26 | 2015-06-03 | 北京邮电大学 | 分布式实时数据融合系统 |
Non-Patent Citations (1)
Title |
---|
周秋彤: "实时分布式Web日志分析系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326370A (zh) * | 2016-08-12 | 2017-01-11 | 德基网络科技南京有限公司 | 一种基于电子商务平台的大数据统计方法 |
CN106557281A (zh) * | 2016-10-28 | 2017-04-05 | 武汉斗鱼网络科技有限公司 | 一种服务器日志的自动处理方法和系统 |
CN106991177A (zh) * | 2017-04-06 | 2017-07-28 | 广东亿迅科技有限公司 | 一种分布式环境下实时日志的无损采集方法及其系统 |
CN106991177B (zh) * | 2017-04-06 | 2020-11-13 | 广东亿迅科技有限公司 | 一种分布式环境下实时日志的无损采集方法及其系统 |
CN107222564A (zh) * | 2017-07-04 | 2017-09-29 | 贵州数据宝网络科技有限公司 | 数据采集方法及装置 |
CN107480277B (zh) * | 2017-08-22 | 2021-01-26 | 北京京东尚科信息技术有限公司 | 用于网站日志采集的方法及装置 |
CN107480277A (zh) * | 2017-08-22 | 2017-12-15 | 北京京东尚科信息技术有限公司 | 用于网站日志采集的方法及装置 |
CN107526808A (zh) * | 2017-08-22 | 2017-12-29 | 中国联合网络通信集团有限公司 | 实时数据处理方法及装置 |
CN107526808B (zh) * | 2017-08-22 | 2020-09-01 | 中国联合网络通信集团有限公司 | 实时数据处理方法及装置 |
CN108063685B (zh) * | 2017-12-06 | 2021-06-18 | 迈普通信技术股份有限公司 | 日志分析方法及装置 |
CN108063685A (zh) * | 2017-12-06 | 2018-05-22 | 迈普通信技术股份有限公司 | 日志分析方法及装置 |
CN108038198B (zh) * | 2017-12-12 | 2022-01-04 | 泰康保险集团股份有限公司 | 日志处理方法、装置和电子设备 |
CN108038198A (zh) * | 2017-12-12 | 2018-05-15 | 泰康保险集团股份有限公司 | 日志处理方法、装置和电子设备 |
CN109960622A (zh) * | 2017-12-22 | 2019-07-02 | 南京欣网互联网络科技有限公司 | 一种基于大数据可视化监控平台的数据收集方法 |
CN108304305A (zh) * | 2018-01-11 | 2018-07-20 | 北京潘达互娱科技有限公司 | 日志文件读取的方法和设备 |
WO2019184218A1 (zh) * | 2018-03-27 | 2019-10-03 | 平安科技(深圳)有限公司 | 日志归档方法、电子装置及可读存储介质 |
CN108874639A (zh) * | 2018-03-27 | 2018-11-23 | 平安科技(深圳)有限公司 | 日志归档方法、电子装置及可读存储介质 |
CN108664643A (zh) * | 2018-05-11 | 2018-10-16 | 重庆工商职业学院 | 一种采集数据的分布式存储系统及方法 |
CN109062774A (zh) * | 2018-06-21 | 2018-12-21 | 平安科技(深圳)有限公司 | 日志处理方法、装置及存储介质、服务器 |
CN109240882B (zh) * | 2018-08-30 | 2021-11-12 | 广发证券股份有限公司 | 一种金融数据一致性检测系统及方法 |
CN109240882A (zh) * | 2018-08-30 | 2019-01-18 | 广发证券股份有限公司 | 一种金融数据一致性检测系统及方法 |
CN109408481B (zh) * | 2018-11-06 | 2022-05-06 | 北京字节跳动网络技术有限公司 | 日志采集规则的更新方法、装置、电子设备及可读介质 |
CN109408481A (zh) * | 2018-11-06 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 日志采集规则的更新方法、装置、电子设备及可读介质 |
CN109857623A (zh) * | 2018-12-13 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于日志文件的服务性能分析方法、装置及电子设备 |
CN109918349B (zh) * | 2019-02-25 | 2021-05-25 | 网易(杭州)网络有限公司 | 日志处理方法、装置、存储介质和电子装置 |
CN109918349A (zh) * | 2019-02-25 | 2019-06-21 | 网易(杭州)网络有限公司 | 日志处理方法、装置、存储介质和电子装置 |
CN111694808A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及计算设备 |
CN111694808B (zh) * | 2019-03-15 | 2023-12-29 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及计算设备 |
CN110188118A (zh) * | 2019-04-25 | 2019-08-30 | 广州至真信息科技有限公司 | 一种数据同步方法、装置 |
CN110399272A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 日志处理设备、方法、电子设备及计算机可读存储介质 |
CN110399272B (zh) * | 2019-07-29 | 2022-02-18 | 中国工商银行股份有限公司 | 日志处理设备、方法、电子设备及计算机可读存储介质 |
CN111209170B (zh) * | 2019-10-21 | 2023-09-08 | 江苏卓易信息科技股份有限公司 | 一种基于规则的用户行为日志采集、分析的方法和系统 |
CN111209170A (zh) * | 2019-10-21 | 2020-05-29 | 江苏卓易信息科技股份有限公司 | 一种基于规则的用户行为日志采集、分析的方法和系统 |
CN111159002B (zh) * | 2019-12-31 | 2023-04-28 | 山东有人物联网股份有限公司 | 一种基于分组的数据边缘采集方法、边缘采集设备及系统 |
CN111159002A (zh) * | 2019-12-31 | 2020-05-15 | 山东有人信息技术有限公司 | 一种基于分组的数据边缘采集方法、边缘采集设备及系统 |
CN111427903A (zh) * | 2020-03-27 | 2020-07-17 | 四川虹美智能科技有限公司 | 日志信息采集方法及装置 |
CN111427903B (zh) * | 2020-03-27 | 2023-04-21 | 四川虹美智能科技有限公司 | 日志信息采集方法及装置 |
CN112100148A (zh) * | 2020-07-31 | 2020-12-18 | 紫光云(南京)数字技术有限公司 | 一种打包日志的增量处理方法 |
CN112783849A (zh) * | 2021-01-29 | 2021-05-11 | 紫光云技术有限公司 | 一种生产环境日志导出系统及方法 |
CN113392079A (zh) * | 2021-06-18 | 2021-09-14 | 苏州浪潮智能科技有限公司 | 一种分布式存储集群日志存储优化方法、系统及终端 |
CN113810231A (zh) * | 2021-09-16 | 2021-12-17 | 杭州安恒信息技术股份有限公司 | 一种日志解析方法、系统、电子设备及存储介质 |
CN113810231B (zh) * | 2021-09-16 | 2022-12-30 | 杭州安恒信息技术股份有限公司 | 一种日志解析方法、系统、电子设备及存储介质 |
CN114598597A (zh) * | 2022-02-24 | 2022-06-07 | 烽台科技(北京)有限公司 | 多源日志解析方法、装置、计算机设备及介质 |
CN114598597B (zh) * | 2022-02-24 | 2023-12-01 | 烽台科技(北京)有限公司 | 多源日志解析方法、装置、计算机设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105824744B (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105824744A (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
CN110209726B (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
CN109918349B (zh) | 日志处理方法、装置、存储介质和电子装置 | |
US20180137134A1 (en) | Data snapshot acquisition method and system | |
CN104090891B (zh) | 数据处理方法、装置及系统 | |
CN107809467B (zh) | 一种云环境下容器镜像数据的删减方法 | |
CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
CN102750326A (zh) | 一种基于精简策略的集群系统的日志管理优化方法 | |
CN112118174B (zh) | 软件定义数据网关 | |
CN102411533A (zh) | 一种集群存储系统的日志管理优化方法 | |
CN109710614A (zh) | 一种实时数据存储与查询的方法及装置 | |
CN103617287A (zh) | 一种分布式环境下的日志管理方法和装置 | |
CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN107943802A (zh) | 一种日志分析方法和系统 | |
CN106991177A (zh) | 一种分布式环境下实时日志的无损采集方法及其系统 | |
CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
CN113778810A (zh) | 一种日志收集方法、装置及系统 | |
CN110309206B (zh) | 订单信息采集方法及系统 | |
CN107577809A (zh) | 离线小文件处理方法及装置 | |
US9852031B2 (en) | Computer system and method of identifying a failure | |
CN106326400A (zh) | 基于多维数据集的数据处理系统 | |
CN116506300A (zh) | 一种网站流量数据统计方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |