CN106850258A - 一种日志管理系统、方法及装置 - Google Patents

一种日志管理系统、方法及装置 Download PDF

Info

Publication number
CN106850258A
CN106850258A CN201611200120.1A CN201611200120A CN106850258A CN 106850258 A CN106850258 A CN 106850258A CN 201611200120 A CN201611200120 A CN 201611200120A CN 106850258 A CN106850258 A CN 106850258A
Authority
CN
China
Prior art keywords
data
daily record
record data
persistence
flume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611200120.1A
Other languages
English (en)
Inventor
肖力文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201611200120.1A priority Critical patent/CN106850258A/zh
Publication of CN106850258A publication Critical patent/CN106850258A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种日志管理方法、装置及系统。该方法包括：Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；Flume和Jstorm从所述Topic中读取日志数据；所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统；采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有Wal机制，保证日志不会丢失。

Description

一种日志管理系统、方法及装置
技术领域
本发明实施例涉及互联网的技术领域，尤其涉及一种日志管理系统、方法及装置。
背景技术
过去十年来，随着分布式系统的发展，日志数据管理起来更加复杂。如今，系统中可以容纳数以千计的服务器实例或者微服务容器，而所有这些实例或容器又会生成自己的日志数据。随着以云为基础的系统快速出现并占据主导地位，由机器所生成的日志数据呈爆炸性增长。
目前传统的收集日志方法，在后端生成日志后，通过scp命令上传、下载或通过rsync命令定时同步等方式收集汇总，然后通过机器脚本分析、或者人工观察统计、或者图形绘制等方式来分析，这种方法的实时性较差。而日志管理随之成为现代化IT运营中的重要任务，为包括调试、生产监控、性能监控、支持援助与故障查找之类的许多用例提供辅助支撑。处理这些日志需要特定的日志管理解决方案，一般而言，日志管理解决方案需要解决以下特征：
(1)低耦合：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；
(2)高吞吐：支持高吞吐、低延迟、近实时数据持久化操作和大量小文件的存储；
(3)具有高可扩展性：即：当系统操作量增加时，可以通过增加节点进行水平扩展；
(4)具有高可用：当节点出现故障时，日志能够被传送到其他节点上而不会丢失。
发明内容
本发明实施例的目的在于提出一种日志管理系统、方法及装置，旨在解决如何快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
为达此目的，本发明实施例采用以下技术方案：
第一方面，一种日志管理系统，所述系统包括：Kafka、Flume和Jstorm；
所述K afka，用于根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
所述Flume，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作；
所述Jstorm，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作。
第二方面，一种日志管理方法，所述方法包括：
Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
Flume和Jstorm从所述Topic中读取日志数据；
所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作；
优选地，所述根据不同的业务定义日志格式和Hbase表，包括：
根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；
根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写\读。
优选地，所述Flume读取所述日志数据并进行HDFS的数据持久化操作，包括：
从所述Flume中读取所述日志数据并传输到Hbase表中，未做ETL的数据需数据持久化操作到HDFS中。
优选地，所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作，包括：
所述JStorm从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；
从所述Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。
优选地，所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作之后，包括：
采用MapReduce进行分析提取数据持久化操作后的数据；
若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；
若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES全文数据库做查询支撑。
第三方面，一种日志管理装置，所述装置包括：
定义模块，用于根据不同的业务定义日志格式和Hbase表；
发送模块，用于根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
读取模块，用于从所述Topic中读取日志数据；
第一处理模块，用于读取所述日志数据并进行HDFS的数据持久化操作；
优选地，所述定义模块，具体用于：根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；
根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写\读。
优选地，所述第一处理模块，具体用于：
从Flume中读取所述日志数据并传输到Hbase表中，未做ETL的数据需数据持久化操作到HDFS中；
所述第一处理模块，还具体用于：
从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；从Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。
优选地，所述装置还包括：
第二处理模块，用于在所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作之后，采用MapReduce进行分析提取数据持久化操作后的数据；若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES全文数据库做查询支撑。
本发明实施例提供一种日志管理方法、装置及系统，Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；Flume和Jstorm从所述Topic中读取日志数据；所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统；当系统操作量增加时，可以通过增加节点进行水平扩展；采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有Wal机制，保证日志不会丢失。
附图说明
图1是本发明实施例提供的一种日志管理系统的结构示意图；
图2是本发明实施例提供的另一种日志管理系统的结构示意图；
图3是本发明实施例提供的一种日志管理方法的流程示意图；
图4是本发明实施例提供的另一种日志管理方法的流程示意图；
图5是本发明实施例提供的一种日志管理装置的功能模块示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
参考图1，图1是本发明实施例提供的一种日志管理系统的结构示意图。
如图1所示，所述日志管理系统包括：Kafka、Flume和Jstorm；
Kafka，用于根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster(Apache Kafka Cluster)的Topic中；
Flume，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作；
Jstorm，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作。
本发明实施例提供一种日志管理系统，所述Kafka，用于根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；所述Flume，用于从所述Topic中读取日志数据，读取所述日志数据并进行Hadoop分布式文件系统(Hadoop Distributed file system，HDFS)的数据持久化操作；所述Jstorm，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统；当系统操作量增加时，可以通过增加节点进行水平扩展；采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有预写日志(Write-Ahead Logging，WAL)机制，保证日志不会丢失。
参考图2，图2是本发明实施例提供的另一种日志管理系统的结构示意图。
如图2所示，所述日志管理系统包括：Kafka、Flume、Jstorm、HBASE、关系数据库管理系统(Relational Database Management System，RDBMS)、Sqoop、HDFS以及Zookeeper；
低耦合：该解决方案采用组件化的设计思想,由于采用的组件都为Apache、Cloudera等国际上知名开源机构。在业务系统与分析系统的整合上起到了解耦的作用。
高吞吐：因本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统。这两大系统都为现今业界公认的高吞吐系统，这样保证了不管是业务系统日志还是RPC服务日志在吞吐量上没有了后顾之忧。
具有高可扩展性：即当系统操作量增加时，可以通过增加节点进行水平扩展：不管是如何优秀的解决方案都有在设计之初考虑不足的地方，本发明为了保证系统的高扩展性，不管是业务方面还是性能方面的，都将与之考虑进来，在设计之初，考虑使用Flume与JStorm的原因不仅仅是为了高吞吐一点才采用这两种日志分析系统，如果系统吞吐量达到瓶颈时，那么仅仅需要扩展Flume与JStorm节点即可，如果当后期因业务的新增或改变，也可以通过增加不同的agent或者Topology来实现业务上的扩展性。而考虑到业务上存在复杂关系，本发明采用了Sql与Nosql两种存储方式来满足不同的查询业务。
具有高可用：本发明采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有Wal机制，保证日志不会丢失。
参考图3，图3是本发明实施例提供的一种日志管理方法的流程示意图。
如图3所示，所述日志管理方法包括：
步骤301，Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
具体的，依照本方案进行相关的组件安装
(Zookeeper-Hadoop-Hbase-Kafka-JStorm-Oracle、Mysql、-Sqoop)按照上述顺序安装。
优选地，所述根据不同的业务定义日志格式和Hbase表，包括：
根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；
根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写\读。
步骤302，Flume和Jstorm从所述Topic中读取日志数据；
步骤303，所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。
优选地，所述Flume读取所述日志数据并进行HDFS的数据持久化操作，包括：
从所述Flume中读取所述日志数据并传输到Hbase表中，未做ETL的数据需数据持久化操作到HDFS中。
优选地，所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作，包括：
所述JStorm从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；
从所述Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。
本发明实施例提供一种日志管理方法，Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；Flume和Jstorm从所述Topic中读取日志数据；所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统；当系统操作量增加时，可以通过增加节点进行水平扩展；采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有Wal机制，保证日志不会丢失。
参考图4，图4是本发明实施例提供的另一种日志管理方法的流程示意图。
如图4所示，所述日志管理方法包括：
步骤401，Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
步骤402，Flume和Jstorm从所述Topic中读取日志数据；
步骤403，所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作；
步骤404，采用MapReduce(映射/归纳)进行分析提取数据持久化操作后的数据；若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES全文数据库做查询支撑。
参考图5，图5是本发明实施例提供的一种日志管理装置的功能模块示意图。
如图5所示，所述装置包括：
定义模块501，用于根据不同的业务定义日志格式和Hbase表；
发送模块502，用于根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
读取模块503，用于从所述Topic中读取日志数据；
第一处理模块504，用于读取所述日志数据并进行HDFS的数据持久化操作；
优选地，所述定义模块501，具体用于：根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；
根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写\读。
优选地，所述第一处理模块504，具体用于：
从Flume中读取所述日志数据并传输到Hbase表中，未做抽取-转换-加载(Extract-Transform-Load，ETL)的数据需数据持久化操作到HDFS中；
所述第一处理模块504，还具体用于：
从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；从Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。
优选地，所述装置还包括：
第二处理模块，用于在所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作之后，采用MapReduce进行分析提取数据持久化操作后的数据；若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES(Elasticsearch)全文数据库做查询支撑。
本发明实施例提供一种日志管理装置，Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；Flume和Jstorm从所述Topic中读取日志数据；所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统；当系统操作量增加时，可以通过增加节点进行水平扩展；采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行，并且Flume与Kafka都有Wal机制，保证日志不会丢失。
以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理，而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式，这些方式都将落入本发明实施例的保护范围之内。

Claims (10)

1.一种日志管理系统，其特征在于，所述系统包括：Kafka、Flume和Jstorm；
所述K afka，用于根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
所述Flume，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作；
所述Jstorm，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作。
2.一种日志管理方法，其特征在于，所述方法包括：
Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
Flume和Jstorm从所述Topic中读取日志数据；
所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。
3.根据权利要求2所述的方法，其特征在于，所述根据不同的业务定义日志格式和Hbase表，包括：
根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；
根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写\读。
4.根据权利要求2所述的方法，其特征在于，所述Flume读取所述日志数据并进行HDFS的数据持久化操作，包括：
从所述Flume中读取所述日志数据并传输到Hbase表中，未做ETL的数据需数据持久化操作到HDFS中。
5.根据权利要求2所述的方法，其特征在于，所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作，包括：
所述JStorm从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；
从所述Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作之后，包括：
采用MapReduce进行分析提取数据持久化操作后的数据；
若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；
若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES全文数据库做查询支撑。
7.一种日志管理装置，其特征在于，所述装置包括：
定义模块，用于根据不同的业务定义日志格式和Hbase表；
发送模块，用于根据所述日志格式将日志数据发送到KafkaCluster的Topic中；
读取模块，用于从所述Topic中读取日志数据。
第一处理模块，用于读取所述日志数据并进行HDFS的数据持久化操作；
8.根据权利要求7所述的装置，其特征在于，所述定义模块，具体用于：根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；
根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写\读。
9.根据权利要求7所述的装置，其特征在于，所述第一处理模块，具体用于：
从Flume中读取所述日志数据并传输到Hbase表中，未做ETL的数据需数据持久化操作到HDFS中；
所述第一处理模块，还具体用于：
从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；从Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。
10.根据权利要求7至9任意一项所述的装置，其特征在于，所述装置还包括：
第二处理模块，用于在所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作之后，采用MapReduce进行分析提取数据持久化操作后的数据；若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES全文数据库做查询支撑。
CN201611200120.1A 2016-12-22 2016-12-22 一种日志管理系统、方法及装置 Pending CN106850258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611200120.1A CN106850258A (zh) 2016-12-22 2016-12-22 一种日志管理系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611200120.1A CN106850258A (zh) 2016-12-22 2016-12-22 一种日志管理系统、方法及装置

Publications (1)

Publication Number Publication Date
CN106850258A true CN106850258A (zh) 2017-06-13

Family

ID=59135332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611200120.1A Pending CN106850258A (zh) 2016-12-22 2016-12-22 一种日志管理系统、方法及装置

Country Status (1)

Country Link
CN (1) CN106850258A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108306980A (zh) * 2018-03-06 2018-07-20 北京工业大学 一种机务飞行保障大数据日志分析系统
CN108519987A (zh) * 2018-02-24 2018-09-11 国家计算机网络与信息安全管理中心 一种数据持久化方法和装置
CN108920948A (zh) * 2018-05-25 2018-11-30 众安信息技术服务有限公司 一种反欺诈流式计算装置及方法
CN109885453A (zh) * 2019-02-18 2019-06-14 国家计算机网络与信息安全管理中心 基于流数据处理的大数据平台监控系统
CN109902105A (zh) * 2019-02-28 2019-06-18 携程旅游网络技术（上海）有限公司 用于微服务架构的数据查询系统、方法、设备及存储介质
CN110019448A (zh) * 2017-09-26 2019-07-16 大唐移动通信设备有限公司 一种数据交互方法及装置
CN110493355A (zh) * 2019-09-11 2019-11-22 无锡华云数据技术服务有限公司 一种系统日志的下载方法及装置
CN110515912A (zh) * 2019-07-18 2019-11-29 湖南星汉数智科技有限公司 日志处理方法、装置、计算机装置及计算机可读存储介质
CN110677276A (zh) * 2019-09-09 2020-01-10 杭州玖欣物联科技有限公司 一种实现工业互联网数据处理支持多用户热部署的系统
CN110674143A (zh) * 2019-10-18 2020-01-10 长春理工大学 一种免耕机作业信息监测系统及方法
CN111654412A (zh) * 2020-05-15 2020-09-11 华青融天(北京)软件股份有限公司 数据采集传输方法、装置和电子设备
CN112286875A (zh) * 2020-10-23 2021-01-29 青岛以萨数据技术有限公司 用于处理实时数据流的系统框架及实时数据流处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608223A (zh) * 2016-01-12 2016-05-25 北京中交兴路车联网科技有限公司 针对kafka的Hbase数据库的入库方法和系统
CN105933169A (zh) * 2016-07-04 2016-09-07 江苏飞搏软件股份有限公司 一种高效鲁棒的大数据安全聚合系统与方法
US20160321308A1 (en) * 2015-05-01 2016-11-03 Ebay Inc. Constructing a data adaptor in an enterprise server data ingestion environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321308A1 (en) * 2015-05-01 2016-11-03 Ebay Inc. Constructing a data adaptor in an enterprise server data ingestion environment
CN105608223A (zh) * 2016-01-12 2016-05-25 北京中交兴路车联网科技有限公司 针对kafka的Hbase数据库的入库方法和系统
CN105933169A (zh) * 2016-07-04 2016-09-07 江苏飞搏软件股份有限公司 一种高效鲁棒的大数据安全聚合系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐小龙: "PaaS平台统一数据管理的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019448B (zh) * 2017-09-26 2021-12-28 大唐移动通信设备有限公司 一种数据交互方法及装置
CN110019448A (zh) * 2017-09-26 2019-07-16 大唐移动通信设备有限公司 一种数据交互方法及装置
CN108519987A (zh) * 2018-02-24 2018-09-11 国家计算机网络与信息安全管理中心 一种数据持久化方法和装置
CN108306980A (zh) * 2018-03-06 2018-07-20 北京工业大学 一种机务飞行保障大数据日志分析系统
CN108920948A (zh) * 2018-05-25 2018-11-30 众安信息技术服务有限公司 一种反欺诈流式计算装置及方法
CN109885453A (zh) * 2019-02-18 2019-06-14 国家计算机网络与信息安全管理中心 基于流数据处理的大数据平台监控系统
CN109885453B (zh) * 2019-02-18 2023-02-28 国家计算机网络与信息安全管理中心 基于流数据处理的大数据平台监控系统
CN109902105A (zh) * 2019-02-28 2019-06-18 携程旅游网络技术（上海）有限公司 用于微服务架构的数据查询系统、方法、设备及存储介质
CN110515912A (zh) * 2019-07-18 2019-11-29 湖南星汉数智科技有限公司 日志处理方法、装置、计算机装置及计算机可读存储介质
CN110677276A (zh) * 2019-09-09 2020-01-10 杭州玖欣物联科技有限公司 一种实现工业互联网数据处理支持多用户热部署的系统
CN110493355A (zh) * 2019-09-11 2019-11-22 无锡华云数据技术服务有限公司 一种系统日志的下载方法及装置
CN110674143A (zh) * 2019-10-18 2020-01-10 长春理工大学 一种免耕机作业信息监测系统及方法
CN111654412A (zh) * 2020-05-15 2020-09-11 华青融天(北京)软件股份有限公司 数据采集传输方法、装置和电子设备
CN111654412B (zh) * 2020-05-15 2022-02-01 华青融天(北京)软件股份有限公司 数据采集传输方法、装置和电子设备
CN112286875A (zh) * 2020-10-23 2021-01-29 青岛以萨数据技术有限公司 用于处理实时数据流的系统框架及实时数据流处理方法

Similar Documents

Publication Publication Date Title
CN106850258A (zh) 一种日志管理系统、方法及装置
CN108335075B (zh) 一种面向物流大数据的处理系统及方法
CN103312791B (zh) 物联网异构数据存储方法及系统
CN102262680B (zh) 一种基于海量数据存取需求的分布式数据库代理系统
EP3436984A1 (en) Managed function execution for processing data streams in real time
CN104036025A (zh) 一种基于分布式的海量日志采集系统
CN110633186A (zh) 用于电力计量微服务架构的日志监控系统及实现方法
CN106951552A (zh) 一种基于Hadoop的用户行为数据处理方法
CN109710731A (zh) 一种基于Flink的数据流多向处理系统
CN103914485A (zh) 一种远程收集和检索展示应用系统日志的系统及方法
CN111400326A (zh) 一种智慧城市数据管理系统及其方法
US10706062B2 (en) Method and system for exchanging data from a big data source to a big data target corresponding to components of the big data source
CN108021809A (zh) 一种数据处理方法及系统
Liang et al. Express supervision system based on NodeJS and MongoDB
CN103207920A (zh) 一种元数据并行采集系统
CN109977125A (zh) 一种基于网络安全的大数据安全分析平台系统
CN107895046A (zh) 一种异构数据集成平台
CN104317899A (zh) 一种大数据分析与处理系统及访问方法
Li et al. The overview of big data storage and management
CN108573029A (zh) 一种获取网络访问关系数据的方法、装置及存储介质
CN105138686A (zh) 一种用于多级存储数据的即时应用方法
CN103955461A (zh) 一种基于本体集合概念相似度的语义匹配方法
CN102945270A (zh) 并行化分布式网络舆情数据管理方法及系统
CN103942249A (zh) 一种基于本体集合语义匹配的信息服务调度系统
CN112150042A (zh) 一种基于“微应用微服务”架构的规划评审管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613