CN107291928A - 一种日志存储系统和方法 - Google Patents
一种日志存储系统和方法 Download PDFInfo
- Publication number
- CN107291928A CN107291928A CN201710516992.7A CN201710516992A CN107291928A CN 107291928 A CN107291928 A CN 107291928A CN 201710516992 A CN201710516992 A CN 201710516992A CN 107291928 A CN107291928 A CN 107291928A
- Authority
- CN
- China
- Prior art keywords
- daily record
- node
- record data
- user
- operation behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000010354 integration Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 136
- 239000012634 fragment Substances 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 210000002230 centromere Anatomy 0.000 claims 1
- 230000006870 function Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种日志存储系统和方法，包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。能够防止云平台中的日志丢失。
Description
技术领域
本发明涉及云存储技术领域，具体而言，涉及一种日志存储系统和方法。
背景技术
随着云计算技术和互联网技术的发展，越来越多的企业将应用部署在云平台上。在云平台上，可以按需服务和动态分配资源，也就是说，部署在云平台之上的应用，其所占用的资源是可以随着实际需求动态变化的。
当部署在云平台之上的应用在低负载情况时，根据云平台的伸缩性特点，多余的计算机资源(如服务器、存储、应用软件、服务等)就会被释放，此时，存储在计算机资源上的各种日志也会丢失，如，记录用户对应用的使用情况的应用日志、记录系统运行情况的系统日志、记录系统安全相关的信息的安全日志等日志。而日志对于追踪应用使用情况、系统运行情况、以及系统安全情况有着至关重要的作用，因此，防止日志丢失就显示至关重要。
发明内容
有鉴于此，本发明的目的在于提供一种日志存储系统和方法，用于解决现有技术中在云平台中日志容易丢失的问题。
第一方面，本发明实施例提供一种日志存储系统，该系统包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；
所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；
所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。
可选地，所述中心节点还用于：在对日志数据进行整合之前，对所述多个应用节点的日志数据进行数据清洗；
所述中心节点，具体用于基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。
可选地，所述中心节点，具体用于针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。
可选地，所述中心节点具体用于针对识别的每个用户，根据以下步骤进行会话识别：
根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；
在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；
其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；
针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。
可选地，所述系统还包括：至少一个分片存储节点；
所述中心节点，具体用于将所述整合后的日志数据划分为多个日志数据片段，并提取每个日志数据片段对应的关键字信息；
按照预设分配原则将日志数据片段分别存储到对应的分片存储节点；并
每个日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储。
可选地，所述系统还包括：至少一个查询节点、至少一个路由节点、以及至少一个配置节点；
所述中心节点，具体用于将所述对应关系存储到所述配置节点；
所述查询节点，用于接收用户发送的日志数据查询请求，并将所述日志数据查询请求转发给对应的路由节点；
所述路由节点，用于从接收的查询请求中提取所查询日志数据对应的关键字信息；并根据提取的关键字信息查询配置节点，确定存储有对应日志数据片段的至少一个分片存储节点；以及从确定的分片存储节点中获取对应的日志数据片段；将获取的日志数据片段组合后发送给所述查询节点。
可选地，将所述至少一个分片存储节点作为主分片存储节点，为每个主分片存储节点设置至少一个从分片存储节点，
所述从分片存储节点，用于对所述主分片存储节点存储的内容进行备份；
所述路由节点，具体用于在根据提取的关键字信息查询配置节点之后，根据存储的路由信息，确定存储有对应日志数据片段的从分片存储节点中，路由最短的从分片存储节点；以及从路由最短的从分片存储节点中获取日志数据片段。
第二方面，本发明实施例提供一种日志存储方法，应用于包括多个应用节点和至少一个中心节点的日志存储系统；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；该方法包括：
所述应用节点通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；
所述中心节点对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。
可选地，在所述中心节点对接收的应用节点的日志数据进行整合之前，还包括：
所述中心节点对所述多个应用节点的日志数据进行数据清洗；
所述中心节点基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。
可选地，所述中心节点针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，包括：
所述中心节点根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；
在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；
其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；
针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。
本发明实施例的日志存储系统和方法，包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。本发明实施例提供的日志存储系统为每个应用节点部署日志收集进程，实时收集对应应用运行过程中产生的日志数据，并及时发送给中心节点，与现有云平台中日志数据存储相比，可有效防止主机在低负载运行的情况下，由于计算机资源被释放，导致日志数据丢失的情况。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一实施例提供的一种日志存储系统的第一种结构示意图；
图2为本发明一实施例提供的一种日志存储系统的第二种结构示意图；
图3为本发明一实施例提供的一种日志存储系统的第三种结构示意图；
图4为本发明又一实施例提供的一种日志存储方法的第一种流程示意图；
图5为本发明又一实施例提供的一种日志存储方法的第二种流程示意图；
图6为本发明又一实施例提供的一种日志存储方法的第三种流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例提供了一种日志存储系统，如图1所示，该日志存储系统包括：多个应用节点11和至少一个中心节点12。其中，每个应用节点11中部署有日志收集进程以及至少一个应用，每个中心节点12与至少一个应用节点11通信连接。
应用节点11，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点11建立通信连接的中心节点12；
中心节点12，用于对接收的应用节点11的日志数据进行整合，并将整合后的日志数据进行存储。
本发明实施例中，至少一个应用节点11可以部署在同一个应用服务器中，也可以部署在不同的应用服务器中，每个应用节点11中部署至少一个日志收集进程，例如，一个应用服务器中可以部署一个应用节点11，每个应用节点11中部署有一个日志收集进程；至少一个中心节点12可以部署在同一个中心服务器中，也可以部署在不同的中心服务器中，每个中心服务器部署的中心节点12的数目可视具体情况而定；其中，日志收集进程可作为一个后台运行的进程，负责实时监听并收集应用服务器中应用在运行过程中产生的日志数据，上述日志收集进程独立对日志数据进行监听和收集，对运行的应用没有影响。中心服务器主要用于接收应用节点11发送的日志数据并存储，该中心服务器与发送日志数据的应用服务器为不同的服务器。
另外，由于日志平台中主机或设备(如应用服务器、中心服务器等)的规模随时发生变化，因此，应用节点11会根据云平台的规模进行增加或减少，例如：在云平台中，当有新的主机或虚拟机被创建时，应用节点11会被部署在新的主机或虚拟机中，实现云平台中主机或虚拟机的弹性部署。
应用节点11收集的日志数据可以为分布式的异构日志，例如，远程过程调用(Remote Procedure Call，简称RPC)日志、文本(text)日志、syslog日志、Log4j日志等；中心节点12整合后的日志数据可以为如text日志、dfs日志、MongoDB日志等。
例如，在应用服务器中的应用为在线交易应用时，获取的用户登录日志数据包括如下字段：
| 字段 | 含义 |
| 117.36.22.200 | 用户当前登录的IP地址 |
| Username | 用户ID |
| 2017/2/15 | 请求时间 |
| location | 用户所在地址 |
| HTTP | 传输协议 |
| …… |
获取的订单日志数据包括如下字段：
| 字段 | 含义 |
| 117.36.22.200 | 用户当前登录的IP地址 |
| Username | 用户ID |
| 117.36.22.201 | 卖家IP |
| Username1 | 卖家ID |
| 2017/2/15 14:32:23 | 下单时间 |
| Item | 产品信息 |
| Payment | 付款方式 |
| …… |
本发明实施例提供的日志存储系统为每个应用节点部署日志收集进程，实时收集对应应用运行过程中产生的日志数据，并及时发送给中心节点，与现有云平台中日志数据存储相比，可有效防止主机在低负载运行的情况下，由于计算机资源被释放，导致日志数据丢失的情况。
进一步地，所述中心节点12还用于：在对日志数据进行整合之前，对所述多个应用节点11的日志数据进行数据清洗；
所述中心节点12，具体用于基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。
为了便于后续对日志数据的处理，可通过Map Reduce方法简单快速地对接收到的日志数据进行处理，如，在Map阶段进行数据清洗和用户识别，在Reduce阶段进行会话识别。
在Map阶段对日志数据进行数据清洗时，针对接收到的每个日志数据，中心节点12读取该日志数据中的每一条操作行为记录，如果中心节点12无法读取到当前的操作行为记录，则认为当前的操作行为记录没有任何意义，即该条操作行为记录为错误的日志数据。对于错误的日志数据，可以从接收到的日志数据中进行清除处理，当然，也可以不对读取到的错误的日志数据进行处理，可视实际情况而定。
对于进行数据清洗后的日志数据，将日志数据转化为健值形式，即<key，value>形式，Map阶段的处理描述如下：Map(key1，value1)->list<key2，value2>形式，其中，Key1为数字标识，标识该日志数据所在的位置；value1表示该位置存储的操作行为记录；Key2是用户指定的关键字；value2是数据清洗后的记录信息。例如：假设Key2被指定为用户名，则value2可以表征从日志数据中识别的具体的用户名信息。
进一步地，中心节点12，具体用于针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。
在对用户进行识别时，以从在线交易系统中获取的日志数据为例，将日志数据中记录有用户标识(ID)信息的用户，确定为注册用户，将日志数据中具有IP地址信息，而不具有用户ID信息的用户确定为非注册用户。其中，用户ID信息相同的用户为同一个注册用户，IP地址信息相同的用户为同一个非注册用户。
进一步地，为了便于后续对用户操作行为进行查询，可以以用户会话为单位对日志数据进行存储。中心节点12具体用于针对识别的每个用户，根据以下步骤进行会话识别：
根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；
在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；
其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；
针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。
以获取的在线交易应用的日志数据为例，以注册用户为例进行说明，根据排序后的各个注册用户的操作行为记录，针对每个注册用户，根据该注册用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序，如，按照时间由早到晚的顺序排序，或者按照时间由晚到早的顺序排序。在排序后的各条操作行为记录中，筛选出该注册用户的至少一条用户会话，上述用户会话可能包括一条操作行为记录的用户会话，也可能包括至少两条操作行为记录的用户会话。
以该注册用户对应的四条操作行为记录为例针对上述情况进行说明，将该注册用户的任意一条操作行为记录标记为A记录，与A记录相邻的前一条操作行为记录标记为B记录，与A记录相邻的后一条操作行为记录标记为C记录，与C记录相邻的后一条操作行为记录标记为D记录，计算A记录的操作时间和B记录的操作时间的差值，该差值标记为C1；计算A记录的操作时间和C记录的操作时间的差值，该差值标记为C2；计算C记录的操作时间和D记录的操作时间的差值，该差值标记为C3。
如果C1和C2均大于设定阈值，此时，将A记录确定为一条用户会话。
如果C1大于设定阈值、C2小于设定阈值、C3大于设定阈值，此时，将A记录和C记录确定为一条用户会话。
对大量的操作行为记录进行会话识别的情况与上述示例相同，对非注册用户的会话识别过程也与上述过程相同，不再进行过多叙述。
本发明一实施例提供了一种日志存储系统，如图2所示，该日志存储系统与图1提供的日志存储系统相比，还可以包括：至少一个分片存储节点13。
中心节点12，具体用于将所述整合后的日志数据划分为多个日志数据片段，并提取每个日志数据片段对应的关键字信息；
按照预设分配原则将日志数据片段分别存储到对应的分片存储节点；并
将每个日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储。
具体地，每个中心节点12与至少一个分片存储节点13通信连接，分片存储节点13一般部署在日志存储服务器中，每个日志存储服务器中可以部署一个分片存储节点13或部署多个分片存储节点13；关键字信息可以包括时间信息、产品信息、用户名称等，例如，以获取的在线交易应用的日志数据为例，关键字信息可以为提交订单的时间、购买商品的商品信息、购买用户的名称、卖家的名称等；分配原则可以为负载均衡原则等，即均匀的为每个分片存储节点分配日志数据片段，以保证多个分片存储节点负载均衡；对应关系可以为日志数据片段的关键字信息与分片存储节点13的标识信息的对应关系。
分布式存储方式与传统的存储方式相比，采用多个日志存储服务器，通过增加日志存储服务器来提高存储能力，实现方便、快速的存储，日志存储服务器中存储的日志数据片段对用户而言是透明的，存储提供路由服务器的访问接口，也方便用户访问和查询。
在将整合后的日志数据划分为多个日志数据片段时，可以基于设定的数据大小，将整合后的日志数据划分为多个日志数据片段；或者，基于设定的日志关联信息，将整合后的日志数据划分为多个日志数据片段；或者，基于设定的数据类型，将整合后的日志数据划分为多个日志数据片段。具体实施时，可以采用分布式文件存储的数据库(Mongo DB)，Mongo DB采用面向文档的数据模型，可以基于设定的数据大小和/或日志关联信息和/或数据类型在多台服务器间自动分割数据，大大减少了手动拆分数据带来的麻烦，使得每一个分片存储节点只负责数据的一部分，不需要使用功能强大的计算机设备就可以存储大量的数据
另外，采用Mongo DB可以均衡服务器集群中的数据和负载，对于分割后的数据文档重新排序；若需要更大的存储容量，可在服务器集群中添加新的服务器，不需要使用功能强大的计算机设备就可以处理更大的负载。
本发明一实施例提供了一种日志存储系统，如图3所示，该日志存储系统与图2提供的日志存储系统相比，该日志存储系统还包括至少一个查询节点14、至少一个路由节点15、以及至少一个配置节点16。
中心节点12，具体用于将所述对应关系存储到所述配置节点16；
查询节点14，用于接收用户发送的日志数据查询请求，并将所述日志数据查询请求转发给对应的路由节点15；
路由节点15，用于从接收的查询请求中提取所查询日志数据对应的关键字信息；并根据提取的关键字信息查询配置节点16，确定存储有对应日志数据片段的至少一个分片存储节点13；以及从确定的分片存储节点13中获取对应的日志数据片段；将获取的日志数据片段组合后发送给所述查询节点14。
具体地，查询节点14可以部署在查询服务器中，每个查询服务器可以部署至少一个查询节点14；路由节点15可以部署在路由服务器中，每个路由服务器可以部署至少一个路由节点15；配置节点16可以部署在配置服务器中，每个配置服务器可以部署至少一个配置节点16；数据查询请求可以为超文本传输协议(Http，Hyper Text Transfer Protocol)请求等；中心节点12中存储有配置节点信息；查询节点14中存储有路由节点信息；路由节点15中存储有配置节点信息。
在存储对应关系时，中心节点12根据配置节点信息，确定本次使用的配置节点16，并将本次确定的日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储在匹配的配置节点16中。
以获取的在线交易应用的订单日志数据为例，用户在查询订单时，可以通过提交订单时间进行查询，查询节点14接收到用户提交的日志数据查询请求后，将该日志数据查询请求发送给路由节点15。路由节点15根据接收到日志数据查询请求提取提交订单时间后，查询自身存储的路由信息，确定路由最近的配置节点16，根据提取的提交订单时间，以及该配置节点16中存储的对应关系，确定存储订单日志数据片段的至少一个分片存储节点。路由节点15从确定的各个分片存储节点中获取各个订单日志数据片段，将订单日志数据片段组合成一个完整的订单日志数据，发送给查询节点14。
进一步地，将所述至少一个分片存储节点作为主分片存储节点，为每个主分片存储节点设置至少一个从分片存储节点，
从分片存储节点，用于对所述主分片存储节点存储的内容进行备份；
路由节点15，具体用于在根据提取的关键字信息查询配置节点16之后，根据存储的路由信息，确定存储有对应日志数据片段的从分片存储节点中，路由最短的从分片存储节点；以及从路由最短的从分片存储节点中获取日志数据片段。
具体地，路由信息可以包括从分片存储节点与路由节点的网络路径信息等。
以获取的在线交易应用的订单日志数据为例，路由节点15在根据提取的关键字信息查询配置节点16之后，可能会确定多个存储有订单日志数据片段的从分片存储节点，基于预存的各个从分片存储节点与路由节点的网络路径信息，确定与路由节点的网路路径最短的从分片存储节点，从确定的从分片存储节点中获取订单日志数据片段。
本发明采用分片存储方式，可以实现读写分离，提高读取操作的吞吐率；从分片存储节点仅负责数据的读取，可缓解主分片存储节点的读写压力，提高日志存储系统的反应速度。进一步，在从路由最短的从分片存储节点读取数据，可减少网络延时，提高日志存储系统的性能。另外，为了提高该日志存储系统的可靠性，采用了冗余备份机制，在被使用的日志存储服务器宕机后，备份服务器启动并进行后续存储工作，为了保证备份服务器与日志存储服务器之间数据的一致性，志存储服务器和备份服务器之间需定时进行数据同步。
另外，本发明还可以采用日志分析节点利用Mongo DB的并行计算模型MapReduce进行日志分析。其中，日志分析节点可以部署在日志分析服务器中。
日志分析节点将传统单机处理模式无法解决的海量日志统计分析问题交给MongoDB处理。Mongo DB利用自身分布式集群节点的计算能力，在每一个集群节点上部署运行MapReduce程序，能够显著提高日志分析节点对日志的分析速度。
具体实施时，在Mongo DB中，每一个文档(如日志数据片段)都对应了一个或多个键，例如：用户标识(userid)键。根据一个或者几个键的组合对文档进行统计分析，得到统计结果。为提高日志数据的分析效率，可以统计所有文档的键信息，将统计结果聚合后存储至Mongo DB中，当需要分析某一种统计结果时，先读取文档的键信息，然后映射到具体的文档中。
由于Mongo DB的存储没有模式，无法确定每个文档中存在多少个键，可通过MapReduce方法找到集合中的键。
例如，在Map阶段，要得到文档中的每一个键信息，Map函数会调用emit函数返回要处理的值，其中，emit函数会传给Map Reduce一个键和一个值，本发明将为文档中每个键单独进行计数，因此，文档中的任何一个键都要调用一次emit函数。示例代码如下：
map＝function()
{
for(var key in this)
{
emit(key,{count:1})
}
}
其中，this是当前映射文档的引用。
上述操作就会生成多个{count：1}的文档，而其中每一个文档都与集合中的一个键相关联。然后将这些{count：1}文档传递给Reduce函数，Reduce函数中包括两个参数，第一个参数为emit函数返回的key值，第二个参数为{count：1}文档。示例代码如下：
reduce＝function(key,emits)
{
t＝0；
for(var t in emits)
{
t＝t+emits.count；
}
return{"count":t}
}
由于Reduce函数需要被反复调用，因此Reduce函数的返回值应当可以做为Reduce函数的第二个参数。例如，某个userid键被映射到了多个文档中时，{count：1，docid：1010}、{count：1，docid：1011}、{count：1，docid：1012}等，其中docid键用于区分这些文档。
Mongo DB调用reduce函数的示例代码如下：
输入命令：r1＝reduce{“x”，[{count：1，docid：1010}，{count：1，docid：1011}]}
结果显示：[count:2]
输入命令：r2＝reduce{“x”，[{count：1，docid：1010}]}
结果显示：[count:1]
输入命令：r2＝reduce{“userid”，[r1,r2]}
结果显示：[count:3]
本发明还包括应用交互节点，该应用交互节点位于相应的服务器中，用于为用户提供应用交互界面，使得用户可以在上述应用交互界面进行查询等操作，同时，上述应用交互节点也是用户与日志数据间的接口，可以进行日志查询、日志导出等操作。其中，应用交互节点采用模型－视图－控制器(model-view-controller，MVC)框架开发，MVC可以实现将业务逻辑和数据显式分离，将业务逻辑聚集到一个部件里面，使得应用交互界面和用户围绕数据的交互不需要重新编写业务逻辑就能够被改进和个性化定制，同时，也使应用易于维护和修改，有利软件工程化管理。由于运用MVC的应用程序的多个部件是相互独立的，在其中一个部件发生改变时不会影响其它部件。
本发明的应用交互节点是基于MVC框架的，可采用Codelgniter框架来开发应用交互节点。Codelgniter是一个简单快速的PHP MVC框架。它提供一套丰富的标准库以及简单的接口和逻辑结构，使得开发人员更快速地进行项目开发。
本发明又一实施例提供一种日志存储方法，应用与包括多个应用节点和至少一个中心节点的日志存储系统；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；如图4所示，包括如下步骤：
S401，应用节点通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点。
S402，中心节点对接收的S401应用节点的日志数据进行整合，并将整合后的日志数据进行存储。
本发明又一实施例提供一种日志存储方法，应用于还包括至少一个分片存储节点的日志存储系统，如图5所示，包括如下步骤：
S501，应用节点通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点。
S502，中心节点针对接收的日志数据，对所述多个应用节点的日志数据进行数据清洗。
S503，中心节点基于S502日志数据中的用户操作行为记录，进行用户识别。
可选地，中心节点针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。
S504，中心节点对针对S503识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。
可选地，在执行S504时，根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；
在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；
其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；
针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。
S505，中心节点对S504日志数据进行整合。
S506，中心节点对将S505整合后的日志数据划分为多个日志数据片段，并提取每个日志数据片段对应的关键字信息。
S507，中心节点按照预设分配原则，将日志数据片段分别存储到对应的分片存储节点；并将每个日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储。
本发明又一实施例提供一种日志存储方法，应用于还包括至少一个查询节点、至少一个路由节点、以及至少一个配置节点的日志存储系统，如图6所示，包括如下步骤：
S601，中心节点将S507对应关系存储到所述配置节点。
S602，查询节点接收用户发送的日志数据查询请求，并将所述日志数据查询请求转发给对应的路由节点。
S603，路由节点从接收的查询请求中提取所查询日志数据对应的关键字信息。
S604，路由节点根据S603提取的关键字信息查询配置节点，确定存储有对应日志数据片段的至少一个分片存储节点。
S605，路由节点从S604确定的分片存储节点中获取对应的日志数据片段。
可选地，在执行S605时，将所述至少一个分片存储节点作为主分片存储节点，为每个主分片存储节点设置至少一个从分片存储节点，
从分片存储节点对所述主分片存储节点存储的内容进行备份；
路由节点用于在根据提取的关键字信息查询配置节点之后，根据存储的路由信息，确定存储有对应日志数据片段的从分片存储节点中，路由最短的从分片存储节点；以及从路由最短的从分片存储节点中获取日志数据片段。
S606，路由节点将S605获取的日志数据片段组合后发送给所述查询节点。
关于应用节点、中心节点、分片存储节点、查询节点、路由节点、配置节点以及其他步骤的相关介绍其实现原理及产生的技术效果和前述日志存储系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的方法的具体工作过程，均可以参考上述系统实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种日志存储系统，其特征在于，该系统包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；
所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；
所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。
2.如权利要求1所述的系统，其特征在于，所述中心节点还用于：在对日志数据进行整合之前，对所述多个应用节点的日志数据进行数据清洗；
所述中心节点，具体用于基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。
3.如权利要求2所述的系统，其特征在于，所述中心节点，具体用于针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。
4.如权利要求2所述的系统，其特征在于，所述中心节点具体用于针对识别的每个用户，根据以下步骤进行会话识别：
根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；
在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；
其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；
针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。
5.如权利要求1-4中任一项所述的系统，其特征在于，所述系统还包括：至少一个分片存储节点；
所述中心节点，具体用于将所述整合后的日志数据划分为多个日志数据片段，并提取每个日志数据片段对应的关键字信息；
按照预设分配原则将日志数据片段分别存储到对应的分片存储节点；并
将每个日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储。
6.如权利要求5所述的系统，其特征在于，所述系统还包括：至少一个查询节点、至少一个路由节点、以及至少一个配置节点；
所述中心节点，具体用于将所述对应关系存储到所述配置节点；
所述查询节点，用于接收用户发送的日志数据查询请求，并将所述日志数据查询请求转发给对应的路由节点；
所述路由节点，用于从接收的查询请求中提取所查询日志数据对应的关键字信息；并根据提取的关键字信息查询配置节点，确定存储有对应日志数据片段的至少一个分片存储节点；以及从确定的分片存储节点中获取对应的日志数据片段；将获取的日志数据片段组合后发送给所述查询节点。
7.如权利要求6所述的系统，其特征在于，将所述至少一个分片存储节点作为主分片存储节点，为每个主分片存储节点设置至少一个从分片存储节点，
所述从分片存储节点，用于对所述主分片存储节点存储的内容进行备份；
所述路由节点，具体用于在根据提取的关键字信息查询配置节点之后，根据存储的路由信息，确定存储有对应日志数据片段的从分片存储节点中，路由最短的从分片存储节点；以及从路由最短的从分片存储节点中获取日志数据片段。
8.一种日志存储方法，其特征在于，应用于包括多个应用节点和至少一个中心节点的日志存储系统；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；该方法包括：
所述应用节点通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；
所述中心节点对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。
9.如权利要求8所述的方法，其特征在于，在所述中心节点对接收的应用节点的日志数据进行整合之前，还包括：
所述中心节点对所述多个应用节点的日志数据进行数据清洗；
所述中心节点基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。
10.如权利要求9所述的方法，其特征在于，所述中心节点针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，包括：
所述中心节点根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；
在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；
其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；
针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710516992.7A CN107291928B (zh) | 2017-06-29 | 2017-06-29 | 一种日志存储系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710516992.7A CN107291928B (zh) | 2017-06-29 | 2017-06-29 | 一种日志存储系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107291928A true CN107291928A (zh) | 2017-10-24 |
| CN107291928B CN107291928B (zh) | 2020-03-10 |
Family
ID=60098363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710516992.7A Active CN107291928B (zh) | 2017-06-29 | 2017-06-29 | 一种日志存储系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107291928B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153654A (zh) * | 2017-12-01 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种日志收集方法及装置 |
| CN108509648A (zh) * | 2018-04-13 | 2018-09-07 | 航天科技控股集团股份有限公司 | 一种基于记录仪平台的日志检索系统 |
| CN108520071A (zh) * | 2018-04-13 | 2018-09-11 | 航天科技控股集团股份有限公司 | 一种基于记录仪平台的日志检索系统及方法 |
| CN108712296A (zh) * | 2018-06-07 | 2018-10-26 | 郑州云海信息技术有限公司 | 一种基于分布式的日志监控装置及方法 |
| CN108959526A (zh) * | 2018-06-28 | 2018-12-07 | 郑州云海信息技术有限公司 | 日志管理方法以及日志管理装置 |
| CN109902070A (zh) * | 2019-01-22 | 2019-06-18 | 华中师范大学 | 一种面向WiFi日志数据的解析存储搜索方法 |
| CN110620722A (zh) * | 2018-06-20 | 2019-12-27 | 北京京东尚科信息技术有限公司 | 一种订单处理的方法和装置 |
| CN110716841A (zh) * | 2019-09-17 | 2020-01-21 | 香港乐蜜有限公司 | 监控数据收集方法、装置及设备 |
| CN111049684A (zh) * | 2019-12-12 | 2020-04-21 | 闻泰通讯股份有限公司 | 数据分析方法、装置、设备和存储介质 |
| CN111680016A (zh) * | 2020-05-28 | 2020-09-18 | 中国人民银行清算总中心 | 分布式服务器集群日志数据处理方法、装置及系统 |
| CN111694793A (zh) * | 2020-06-12 | 2020-09-22 | 北京金山云网络技术有限公司 | 一种日志存储方法、装置及日志查询方法、装置 |
| CN113312194A (zh) * | 2021-06-10 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务数据采集方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070220059A1 (en) * | 2006-03-20 | 2007-09-20 | Manyi Lu | Data processing node |
| CN101192227A (zh) * | 2006-11-30 | 2008-06-04 | 阿里巴巴公司 | 一种基于分布式计算网络的日志文件分析方法和系统 |
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和系统 |
| CN106899643A (zh) * | 2015-12-21 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种用户日志存储方法及设备 |
-
2017
- 2017-06-29 CN CN201710516992.7A patent/CN107291928B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070220059A1 (en) * | 2006-03-20 | 2007-09-20 | Manyi Lu | Data processing node |
| CN101192227A (zh) * | 2006-11-30 | 2008-06-04 | 阿里巴巴公司 | 一种基于分布式计算网络的日志文件分析方法和系统 |
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和系统 |
| CN106899643A (zh) * | 2015-12-21 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种用户日志存储方法及设备 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153654A (zh) * | 2017-12-01 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种日志收集方法及装置 |
| CN108153654B (zh) * | 2017-12-01 | 2021-01-22 | 北京奇艺世纪科技有限公司 | 一种日志收集方法及装置 |
| CN108509648A (zh) * | 2018-04-13 | 2018-09-07 | 航天科技控股集团股份有限公司 | 一种基于记录仪平台的日志检索系统 |
| CN108520071A (zh) * | 2018-04-13 | 2018-09-11 | 航天科技控股集团股份有限公司 | 一种基于记录仪平台的日志检索系统及方法 |
| CN108712296A (zh) * | 2018-06-07 | 2018-10-26 | 郑州云海信息技术有限公司 | 一种基于分布式的日志监控装置及方法 |
| CN110620722A (zh) * | 2018-06-20 | 2019-12-27 | 北京京东尚科信息技术有限公司 | 一种订单处理的方法和装置 |
| CN110620722B (zh) * | 2018-06-20 | 2022-09-30 | 北京京东尚科信息技术有限公司 | 一种订单处理的方法和装置 |
| CN108959526B (zh) * | 2018-06-28 | 2021-10-15 | 郑州云海信息技术有限公司 | 日志管理方法以及日志管理装置 |
| CN108959526A (zh) * | 2018-06-28 | 2018-12-07 | 郑州云海信息技术有限公司 | 日志管理方法以及日志管理装置 |
| CN109902070A (zh) * | 2019-01-22 | 2019-06-18 | 华中师范大学 | 一种面向WiFi日志数据的解析存储搜索方法 |
| CN109902070B (zh) * | 2019-01-22 | 2023-12-12 | 华中师范大学 | 一种面向WiFi日志数据的解析存储搜索方法 |
| CN110716841A (zh) * | 2019-09-17 | 2020-01-21 | 香港乐蜜有限公司 | 监控数据收集方法、装置及设备 |
| CN111049684A (zh) * | 2019-12-12 | 2020-04-21 | 闻泰通讯股份有限公司 | 数据分析方法、装置、设备和存储介质 |
| CN111680016A (zh) * | 2020-05-28 | 2020-09-18 | 中国人民银行清算总中心 | 分布式服务器集群日志数据处理方法、装置及系统 |
| CN111694793A (zh) * | 2020-06-12 | 2020-09-22 | 北京金山云网络技术有限公司 | 一种日志存储方法、装置及日志查询方法、装置 |
| CN113312194A (zh) * | 2021-06-10 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务数据采集方法及装置 |
| CN113312194B (zh) * | 2021-06-10 | 2024-01-23 | 中国民航信息网络股份有限公司 | 一种业务数据采集方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107291928B (zh) | 2020-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107291928A (zh) | 一种日志存储系统和方法 | |
| US11392612B2 (en) | Data processing method and device | |
| US8671097B2 (en) | Method and system for log file analysis based on distributed computing network | |
| CN107995169B (zh) | 一种基于微服务架构的手机游戏服务端框架系统 | |
| CN108459939A (zh) | 一种日志收集方法、装置、终端设备及存储介质 | |
| CN108365971A (zh) | 日志解析方法、设备及计算机可读介质 | |
| CN110347716A (zh) | 日志数据处理方法、装置、终端及存储介质 | |
| CN110347501A (zh) | 一种业务检测方法、装置、存储介质及电子设备 | |
| WO2020087082A1 (en) | Trace and span sampling and analysis for instrumented software | |
| CN103699618B (zh) | 数据报表的生成方法和系统 | |
| CN108600300A (zh) | 日志数据处理方法及装置 | |
| CN110289999B (zh) | 一种数据处理方法、系统及装置 | |
| CN105373746B (zh) | 一种分布式数据处理方法和装置 | |
| CN108563697A (zh) | 一种数据处理方法、装置和存储介质 | |
| CN106101290A (zh) | 一种服务器集群管理的方法及系统 | |
| CN108985954A (zh) | 一种建立各标识的关联关系的方法以及相关设备 | |
| CN111625552A (zh) | 数据收集方法、装置、设备和可读存储介质 | |
| CN106559498A (zh) | 风控数据收集平台及其收集方法 | |
| CN114443940A (zh) | 一种消息订阅方法、装置及设备 | |
| CN106534303A (zh) | 一种应用于对账系统的负载均衡方法和装置 | |
| CN114971714A (zh) | 一种基于大数据标签的精准客户运营方法和计算机设备 | |
| CN104965846A (zh) | MapReduce平台上的虚拟人建立方法 | |
| CN110119396A (zh) | 数据管理方法及相关产品 | |
| CN105095455B (zh) | 一种数据连接优化方法和数据运算系统 | |
| CN110417860A (zh) | 文件传输管理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 101-8, 1st floor, building 31, area 1, 188 South Fourth Ring Road West, Fengtai District, Beijing Patentee after: Guoxin Youyi Data Co.,Ltd. Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing Patentee before: SIC YOUE DATA Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A log storage system and method Effective date of registration: 20200930 Granted publication date: 20200310 Pledgee: Beijing Yizhuang International Financing Guarantee Co.,Ltd. Pledgor: Guoxin Youyi Data Co.,Ltd. Registration number: Y2020990001190 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20200310 Pledgee: Beijing Yizhuang International Financing Guarantee Co.,Ltd. Pledgor: Guoxin Youyi Data Co.,Ltd. Registration number: Y2020990001190 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |