CN110427306A - 一种大数据日志智能路由与存储系统及方法 - Google Patents

一种大数据日志智能路由与存储系统及方法 Download PDF

Info

Publication number
CN110427306A
CN110427306A CN201910738307.4A CN201910738307A CN110427306A CN 110427306 A CN110427306 A CN 110427306A CN 201910738307 A CN201910738307 A CN 201910738307A CN 110427306 A CN110427306 A CN 110427306A
Authority
CN
China
Prior art keywords
log
component
storage
routor
aggregate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910738307.4A
Other languages
English (en)
Inventor
匙凯
杨林
于富东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinlin Jlu Communication Design Institute Co Ltd
Original Assignee
Jinlin Jlu Communication Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinlin Jlu Communication Design Institute Co Ltd filed Critical Jinlin Jlu Communication Design Institute Co Ltd
Priority to CN201910738307.4A priority Critical patent/CN110427306A/zh
Publication of CN110427306A publication Critical patent/CN110427306A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种大数据日志智能路由与存储系统及方法，属于大数据日志管理技术领域，包括Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及Storage Adapter存储适配器组件，本发明通过在大数据平台上搭建包括Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及StorageAdapter存储适配器组件的日志管理架构，日志从汇聚到存储之间加入了用于判断日志类型的处理组件Processor，针对不同类型的日志文件存储到不同的存储介质内，实现多组件海量日志的高效汇聚、精简、分类和存储，降低运维的整体成本。

Description

一种大数据日志智能路由与存储系统及方法
技术领域
本发明属于大数据日志管理技术领域，具体涉及一种大数据日志智能路由与存储系统及方法。
背景技术
大数据平台往往组件众多，如批处理组件Spark，流处理组件Storm/sparkStreaming、消息组件Kafka、协调组件Zookeeper、离线运算组件Hadoop等，运行在每个组件上的大量的日志都需要有效的管理起来，以便于运维人员时刻掌握平台运行状况，以及遇到故障时的排错与优化，所以这种平台级的海量日志管理就对于效率、可靠性、低维护成本方面提出了较高的要求。
目前，针对于大数据日志的管理平台或方法一般包括如下几种：
(1)各个组件分别配置自身日志为某个目标路径，然后通过例如分布式的日志收集系统Flume或者本地文件的日志数据采集器Filebeat等汇聚组件实现各组件日志汇聚，然后存储在大空间磁盘或者海杜普分布式文件系统HDFS上。
(2)与(1)类似，唯一不同的是在日志汇聚的时候，进行了基于规则的过滤，让符合过滤规则的日志得以存储，不符合的则抛弃掉，如文件名满足“％hbase％”的就存储，不包含“hbase”的就舍弃掉。
现有大数据日志的管理平台或方法存在以下两个方面的不足：
①现有技术(1)中，日志管理平台或方法仅实现了全量日志的汇聚和存储，需要最大量的存储空间，同时占据了最大量的网络带宽资源，存储下来的数据在后续分析时同样面对着海量分析压力的问题。同时每个组件在将日志汇聚前，都维护着自己的日志本地路径，新版程序的发布极有可能变更了日志目录，那么则会出现日志丢失情况。
②相比技术(1)，不同的是现有技术(2)多了一个对于日志的过滤环节，有效的减少了日志的量，过滤掉了不想要的日志，节省了日志存储的空间，但是却需要人为设定规则、维护规则，工作量大；另一方面如果组件程序版本变更或者编码人员改变了文件名，原来的规则将不适用，极有可能造成日志的丢失。
发明内容
针对现有技术中大数据日志汇聚及存储过程中存在的问题，本发明的目的是提供一种大数据日志智能路由与存储系统及方法，能够实现大数据平台各组件海量日志的高效可靠汇聚、降低大数据平台各组件海量日志的过滤、分发以及存储的工作量，从而降低大数据平台各组件日志管理的人工成本。
本发明为上述目的采用的技术方案是：
本发明提出了一种大数据日志智能路由与存储系统，其特征在于，包括：Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及Storage Adapter存储适配器组件，
所述Routor文件分发路由组件包括协议适配器、文件名匹配器及关键字匹配器，Routor文件分发路由组件用于接收日志数据源，根据日志数据源的文件名或关键词初步判断日志类型，进行初步分组，并将初步分组后的日志发送给Processor处理组件；
Processor处理组件包括日志类型判定器，Processor处理组件用于对Routor文件分发路由组件向其传送的日志进行类型判定，判定该日志属于业务日志、错误日志或统计日志；
Aggregate聚合组件包括日志聚合器及目的地指定器，Aggregate聚合组件用于接收Processor处理组件发送的日志并进行聚合，日志聚合后，指定日志输出目的地，同时将日志发送到目的地；
Storage Adapter存储适配器组件包括HDFS存储适配器及Elasticsearch存储适配器，Storage Adapter存储适配器组件用于接收Aggregate聚合组件发送的数据并存储在Elasticsearch搜索服务器或HDFS海杜普分布式文件系统中。
进一步，所述Processor处理组件还包括业务类处理器、错误类处理器及统计类处理器，业务类处理器用于对业务日志进行裁剪，去掉注释部分；错误类处理器用于对错误日志创建索引ID，并配置错误日志索引ID存储路径；统计类处理器用于对统计日志创建索引ID，并配置统计日志索引ID存储路径。
本发明还提出了一种大数据日志智能路由与存储方法，其特征在于，该方法采用上述的系统，具体包括如下步骤：
步骤1：Routor文件分发路由组件接收日志数据源，Routor文件分发路由组件根据日志数据源的文件名或关键词初步判断日志类型，进行初步分组，并将初步分组后的日志发送给Processor处理组件，其中日志数据源配置路径为Routor文件分发路由路径；
步骤2：Processor处理组件接收Routor文件分发路由组件向其传送的日志并进行类型判定，判定该日志属于业务日志、错误日志或统计日志，并将判定后的日志传送给Aggregate聚合组件；
步骤3：Aggregate聚合组件接收Processor处理组件发送的日志并进行聚合，日志聚合后，指定日志输出目的地，同时将日志发送到目的地；
步骤4：Storage Adapter存储适配器组件接收Aggregate聚合组件发送的数据并存储在Elasticsearch搜索服务器或HDFS海杜普分布式文件系统中。
进一步，所述统计日志为每一行长度保持在相对固定的区间内的日志；所述错误日志为包含错误关键字的日志；所述业务日志为包含业务调试关键字的日志。
进一步，步骤4中Elasticsearch搜索服务器用于存储错误日志和统计日志，HDFS海杜普分布式文件系统用于存储业务日志。
通过上述设计方案，本发明可以带来如下有益效果：
1、本发明通过在大数据平台上搭建包括Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及Storage Adapter存储适配器组件的日志管理架构，日志从汇聚到存储之间加入了用于判断日志类型的处理组件Processor，针对不同类型的日志文件存储到不同的存储介质内，实现多组件海量日志的高效汇聚、精简、分类和存储，降低运维的整体成本。
2、本发明可实现多日志的全面收集，同时可以智能化的对日志进行分类，将各种类别的日志分发到指定的目的地，不需要人为的参与，提高了大数据平台日志管理的效率，且具有较好的兼容性，降低运维成本。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：
图1为根据本发明实施例所述的大数据日志智能路由与存储系统的结构框图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。本领域技术人员应当理解。下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。为了避免混淆本发明的实质，公知的方法和过程并没有详细的叙述。
请参阅图1，一种大数据日志智能路由与存储系统，包括Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及Storage Adapter存储适配器组件，
Routor文件分发路由组件，用于接收日志数据源，根据日志数据源的文件名或关键词初步判断日志类型，进行初步分组，并将初步分组后的日志发送给Processor处理组件；
Processor处理组件，用于对Routor文件分发路由组件向其传送的日志进行类型判定，判定该日志属于业务日志、错误日志或统计日志；
Aggregate聚合组件，用于接收Processor处理组件发送的日志并进行聚合，日志聚合后，指定日志输出目的地，同时将日志发送到目的地；
Storage Adapter存储适配器组件，用于接收Aggregate聚合组件发送的数据并存储在Elasticsearch搜索服务器或HDFS海杜普分布式文件系统中。
下面结合图1对Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及Storage Adapter存储适配器组件进行详细的阐述：
Routor文件分发路由组件包括协议适配器、文件名匹配器及关键字匹配器。
日志数据源(如ZooKeeper、Hive、Hadoop、Spark、HBase、Kafka、Storm等)配置路径为Routor文件分发路由路径，支持TCP/UDP/HTTP/FTP等协议方式。
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务,是谷歌Google的Chubby一个开源的实现，是海杜普Hadoop和Hbase的重要组件，Chubby是谷歌Google设计的提供粗粒度锁服务的文件系统，存储大量小文件。
Hive是基于海杜普Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的结构化查询语言SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，MapReduce是一种编程模型，大规模数据集的并行运算。
海杜普Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。
Spark是专为大规模数据处理而设计的快速通用的计算引擎。
HBase是一个分布式的、面向列的开源数据库。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
Storm是个实时的、分布式以及具备高容错的计算系统。
Routor文件分发路由组件接收日志数据源，经协议适配器筛选日志数据源是通过何种协议传过来的文件，如通过FTP协议传过来的日志文件，则经过文件名适配器进行分组，可以实现日志区分；如果通过其他协议传过来的日志消息，则经过关键字匹配器进行分组，经过提取日志内的关键字，同样实现组件日志分组的功能。
Processor处理组件包括日志类型判定器、业务类处理器、错误类处理器及统计类处理器；
日志类型判定器：用于判定日志属于业务日志、错误日志或统计日志，具体判定的方式如下：
A、日志每一行的长度保持在一个相对固定的区间内，例如一个日志文件或者一系列日志消息的字符长短绝大部分都处于一个相对稳定的区间，例如95％以上的日志行长度都为200，5％的日志行长度与200相差较大，则该日志属于统计日志；
B、不符合A的特征，但是里面包含大量的错误关键字，如“error错误、exception例外、failure故障、retry重试、cause原因、connection failed报错、大量at、unknow……”等关键字，则该日志属于错误日志；
C、不符合A和B的特征，但是里面的内容符合有“**.**.**.**…..”格式的，或者符合包含“begin开始、finish结束、ok、done、used……”等关键字，这些格式和关键字一般都是编码人员进行业务调试的时候常用的关键字，则该日志属于业务日志。
统计日志处理器，用于对统计日志创建索引ID，并配置统计日志索引ID存储路径，统计日志包含“分隔符”，通过统计每一行日志中所有字符出现的次数，那么所有行中某一字符出现的次数都相同，且在每一行内所有该相同字符之间距离不是1，即不相邻。那么该字符就可以确定是分隔符，则可以按照此分隔符，将一行文本进行分隔，即得到具有结构化特征的数据，后续可能进行具有结构化特征数据的存储和索引；
业务日志处理器，用于对业务日志进行裁剪，去掉注释部分，业务日志一般需要全量保留，但是我们需要进行剪裁，以提高有效信息的密度，剪裁方法可以依据如下：将正则符合“**.**.**.**”最后一个“.”以及前面的部分去掉，即保留最关键的位置信息即可，如此可以剪裁掉较多的低价值信息；
错误日志处理器用于对错误日志创建索引ID，并配置错误日志索引ID存储路径；错误日志用于故障发现和定位，需要全量保存，但是和统计日志一样，需要建模处理，便于结构化存储。建模方法：将多行连续以“at”开头情况下，第一个at行的前一行作为“errortitle”，“error title”所在行中去除时间字段作为“error time”，多连续“at”开头的行拼接在一起，作为“error cause”，同时在以上“error tile”、“error time”、“error cause”三个字段内均附加同一个事务ID，实现将同一条错误的三个属性串联起来，便于结构化索引和查询。
Aggregate聚合组件包括日志聚合器及目的地指定器；
日志聚合器：按照每间隔一定时间(如1分钟)将前续环节的日志消息或日志文件进行汇聚，避免过大的I/O输入/输出动作，造成磁盘的压力，以提高数据落地存储的效率；
目的地指定器：针对错误日志和统计日志，前续环境都进行了结构化建模，那么错误日志和统计日志进入Elasticsearch适配器；业务日志判定进入HDFS适配器；数据指定存储在不同的介质内，可以整体上兼顾到未来的使用场景，便于更高的服务于外部系统和用户。
Storage Adapter存储适配器组件包括HDFS存储适配器及Elasticsearch存储适配器，对HDFS和Elasticsearch兼容，用于接收Aggregate聚合组件发送的不同类型的数据通过对应的适配器进行存储，该Storage Adapter存储适配器组件实现HDFS以及Elasticsearch的协议兼容。
ElasticSearch是一个基于全文搜索引擎的搜索服务器，通常用于进行针对大量日志的高效索引，便于高效率查询，ELK框架的重要组成部分。
HDFS海杜普分布式文件系统，是海杜普hadoop平台中的一个最关键的组成部分，另一部分是mapreduce计算模块。
一种大数据日志智能路由与存储方法，包括如下步骤：
步骤1：Routor文件分发路由组件接收日志数据源，Routor文件分发路由组件根据日志数据源的文件名或关键词初步判断日志类型，进行初步分组，并将初步分组后的日志发送给Processor处理组件，其中日志数据源配置路径为Routor文件分发路由路径；
步骤2：Processor处理组件接收Routor文件分发路由组件向其传送的日志并进行类型判定，判定该日志属于业务日志、错误日志或统计日志，并将判定后的日志传送给Aggregate聚合组件；
所述统计日志为每一行长度保持在一个相对固定的区间内的日志；
所述错误日志为包含错误关键字的日志；
所述业务日志为包含业务调试关键字的日志；
步骤3：Aggregate聚合组件接收Processor处理组件发送的日志并进行聚合，日志聚合后，指定日志输出目的地，同时将日志发送到目的地；
步骤4：Storage Adapter存储适配器组件接收Aggregate聚合组件发送的数据并存储在Elasticsearch搜索服务器或HDFS海杜普分布式文件系统中。

Claims (5)

1.一种大数据日志智能路由与存储系统，其特征在于，包括：Routor文件分发路由组件、Processor处理组件、Aggregate聚合组件及Storage Adapter存储适配器组件，
所述Routor文件分发路由组件包括协议适配器、文件名匹配器及关键字匹配器，Routor文件分发路由组件用于接收日志数据源，根据日志数据源的文件名或关键词初步判断日志类型，进行初步分组，并将初步分组后的日志发送给Processor处理组件；
Processor处理组件包括日志类型判定器，Processor处理组件用于对Routor文件分发路由组件向其传送的日志进行类型判定，判定该日志属于业务日志、错误日志或统计日志；
Aggregate聚合组件包括日志聚合器及目的地指定器，Aggregate聚合组件用于接收Processor处理组件发送的日志并进行聚合，日志聚合后，指定日志输出目的地，同时将日志发送到目的地；
Storage Adapter存储适配器组件包括HDFS存储适配器及Elasticsearch存储适配器，Storage Adapter存储适配器组件用于接收Aggregate聚合组件发送的数据并存储在Elasticsearch搜索服务器或HDFS海杜普分布式文件系统中。
2.根据权利要求1所述的系统，其特征在于，所述Processor处理组件还包括业务类处理器、错误类处理器及统计类处理器，业务类处理器用于对业务日志进行裁剪，去掉注释部分；错误类处理器用于对错误日志创建索引ID，并配置错误日志索引ID存储路径；统计类处理器用于对统计日志创建索引ID，并配置统计日志索引ID存储路径。
3.一种大数据日志智能路由与存储方法，其特征在于，该方法采用权利要求1所述的系统，具体包括如下步骤：
步骤1：Routor文件分发路由组件接收日志数据源，Routor文件分发路由组件根据日志数据源的文件名或关键词初步判断日志类型，进行初步分组，并将初步分组后的日志发送给Processor处理组件，其中日志数据源配置路径为Routor文件分发路由路径；
步骤2：Processor处理组件接收Routor文件分发路由组件向其传送的日志并进行类型判定，判定该日志属于业务日志、错误日志或统计日志，并将判定后的日志传送给Aggregate聚合组件；
步骤3：Aggregate聚合组件接收Processor处理组件发送的日志并进行聚合，日志聚合后，指定日志输出目的地，同时将日志发送到目的地；
步骤4：Storage Adapter存储适配器组件接收Aggregate聚合组件发送的数据并存储在Elasticsearch搜索服务器或HDFS海杜普分布式文件系统中。
4.根据权利要求3所述的方法，其特征在于，所述统计日志为每一行长度保持在相对固定的区间内的日志；所述错误日志为包含错误关键字的日志；所述业务日志为包含业务调试关键字的日志。
5.根据权利要求3或4所述方法，其特征在于，步骤4中Elasticsearch搜索服务器用于存储错误日志和统计日志，HDFS海杜普分布式文件系统用于存储业务日志。
CN201910738307.4A 2019-08-12 2019-08-12 一种大数据日志智能路由与存储系统及方法 Pending CN110427306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910738307.4A CN110427306A (zh) 2019-08-12 2019-08-12 一种大数据日志智能路由与存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910738307.4A CN110427306A (zh) 2019-08-12 2019-08-12 一种大数据日志智能路由与存储系统及方法

Publications (1)

Publication Number Publication Date
CN110427306A true CN110427306A (zh) 2019-11-08

Family

ID=68413883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910738307.4A Pending CN110427306A (zh) 2019-08-12 2019-08-12 一种大数据日志智能路由与存储系统及方法

Country Status (1)

Country Link
CN (1) CN110427306A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420032A (zh) * 2021-07-20 2021-09-21 奇安信科技集团股份有限公司 一种日志的分类存储方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100083046A1 (en) * 2008-09-30 2010-04-01 Fujitsu Limited Log management method and apparatus, information processing apparatus with log management apparatus and storage medium
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机系统故障诊断方法及装置
CN107506422A (zh) * 2017-08-17 2017-12-22 北京理工大学 一种多数据源的分布式日志处理系统及方法
CN108334524A (zh) * 2017-01-20 2018-07-27 中移(苏州)软件技术有限公司 一种storm日志错误分析方法及装置
CN109460339A (zh) * 2018-10-16 2019-03-12 北京趣拿软件科技有限公司 日志的流式计算系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100083046A1 (en) * 2008-09-30 2010-04-01 Fujitsu Limited Log management method and apparatus, information processing apparatus with log management apparatus and storage medium
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机系统故障诊断方法及装置
CN108334524A (zh) * 2017-01-20 2018-07-27 中移(苏州)软件技术有限公司 一种storm日志错误分析方法及装置
CN107506422A (zh) * 2017-08-17 2017-12-22 北京理工大学 一种多数据源的分布式日志处理系统及方法
CN109460339A (zh) * 2018-10-16 2019-03-12 北京趣拿软件科技有限公司 日志的流式计算系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420032A (zh) * 2021-07-20 2021-09-21 奇安信科技集团股份有限公司 一种日志的分类存储方法及装置

Similar Documents

Publication Publication Date Title
CN111526060B (zh) 业务日志的处理方法及系统
CN111435344B (zh) 一种基于大数据的钻井提速影响因素分析模型
CN109542733A (zh) 一种高可靠的实时日志收集及可视化检索方法
CN106790718A (zh) 服务调用链路分析方法及系统
CN105005606B (zh) 基于MapReduce的XML数据查询方法和系统
CN108259371A (zh) 一种基于流处理的网络流量数据解析方法和装置
CN108667725A (zh) 一种基于多种接入及边缘计算的工业软网关以及实现方法
CN110502559A (zh) 一种可信安全跨域数据交换的数据总线及传输方法
CN105631026A (zh) 一种安全数据分析系统
CN112181955B (zh) 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法
CN104778188A (zh) 一种分布式设备日志采集方法
CN108108466A (zh) 一种分布式系统日志查询分析方法及装置
CN109977125A (zh) 一种基于网络安全的大数据安全分析平台系统
CN109815254A (zh) 基于大数据的跨地域任务调度方法及系统
CN107895046A (zh) 一种异构数据集成平台
CN114338746A (zh) 一种用于物联网设备数据收集的分析预警方法及系统
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN114398442B (zh) 一种基于数据驱动的情报处理系统
CN111404932A (zh) 一种医疗机构系统接入智慧医疗云服务平台的方法
CN107682395A (zh) 一种大数据云计算运行系统及方法
Li et al. The overview of big data storage and management
CN115665284A (zh) 基于分布式配置中心的报文处理方法、装置及计算机设备
CN115934856A (zh) 一种构造综合能源数据资产的方法和系统
CN110427306A (zh) 一种大数据日志智能路由与存储系统及方法
CN107426017A (zh) 一种通过采集交换机网络流量进行数据分析的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108