CN106709003A - 基于Hadoop的海量日志数据处理方法 - Google Patents
基于Hadoop的海量日志数据处理方法 Download PDFInfo
- Publication number
- CN106709003A CN106709003A CN201611203179.6A CN201611203179A CN106709003A CN 106709003 A CN106709003 A CN 106709003A CN 201611203179 A CN201611203179 A CN 201611203179A CN 106709003 A CN106709003 A CN 106709003A
- Authority
- CN
- China
- Prior art keywords
- distributed
- server
- data
- hadoop
- statistics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于Hadoop的海量日志数据处理方法，步骤包括在建立Hadoop分布式集群平台的基础上，针对目标应用系统服务器中的服务器软件访问日志、业务日志两种日志进行分类处理，依次经过日志数据采集、日志数据清洗（仅限服务器软件访问日志）、日志数据分析、日志数据存储、数据导出到HBase分布式数据库或Mysql数据库，然后基于Hadoop分布式集群平台的HBase分布式数据库或Mysql数据库响应用户的查询，当收到用户的查询请求时，对HBase分布式数据库中的实时性业务统计数据或Mysql数据库中的统计数据进行查询并显示查询结果。本发明能够从各个应用系统中收集日志数据，集中起来用于查询、统计和分析，提高应用系统日志的处理速度和效率。
Description
技术领域
本发明涉及计算机数据处理领域，具体涉及一种基于Hadoop的海量日志数据处理方法。
背景技术
现有的日志处理方式一般是采用EMC、IBM和ORACLE存储设备和数据库存储。当数据量到达日志系统处理的上限时，厂家推出新的软硬件供用户升级。而随着用户的增多日志总量在成指数上升，通过传统的改善硬件指标的方式来解决，从根本上不能解决问题。
现有的日志处理方式是集中式的，无法支持各个应用系统中的日志收集，另外，现有的日志处理方式无法对日志支持跨节点查询。
同时，日志数据不仅数据量庞大，且大多数是非结构化的数据，传统的关系型数据库很难通过添加信息条目的方式记录这种行为，以往的基础架构逐渐显得力不从心。
发明内容
本发明要解决的技术问题：针对现有的日志处理机制在对海量日志数据情况下所显露出来的缺点，提供一种能够从各个应用系统中收集日志数据，集中起来用于查询、统计和分析，提高应用系统日志的处理速度和效率的基于Hadoop的海量日志数据处理方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于Hadoop的海量日志数据处理方法，实施步骤包括：
1）建立Hadoop分布式集群平台，所述Hadoop分布式集群平台安装有分布式文件系统HDFS、非关系型数据库Redis、Mysql数据库、HBase分布式数据库、Kafka分布式消息缓存系统、REST接口以及Strom流式计算框架；将待进行海量日志处理的目标应用系统服务器和所述Hadoop分布式集群平台相连，并预先在目标应用系统服务器中部署用于定时上传服务器软件访问日志文件的SHELL脚本；
2）针对目标应用系统服务器中的服务器软件访问日志、业务日志两种日志，通过SHELL脚本定时上传推送服务器软件访问日志文件给Hadoop分布式集群平台，所述Hadoop分布式集群平台将服务器软件访问日志文件存储到分布式文件系统HDFS；所述Hadoop分布式集群平台通过REST接口接收目标应用系统服务器的业务日志，并将业务日志数据推送到Kafka分布式消息缓存系统的Kafka消息队列中进行缓存；
3）针对存储到分布式文件系统HDFS中的服务器软件访问日志文件，Hadoop分布式集群平台首先对服务器软件访问日志文件数据进行清洗转换，对清洗转换后的服务器软件访问日志文件数据进行统计分析得到统计数据，将统计数据存放在分布式文件系统HDFS中，然后将存放在分布式文件系统HDFS中存放的统计数据导出到Mysql数据库中；针对缓存到Kafka分布式消息缓存系统的Kafka消息队列中的业务日志数据，Hadoop分布式集群平台首先采用Strom流式计算框架对Kafka分布式消息缓存系统的Kafka消息队列中缓存的业务日志数据进行分析处理得到实时性业务统计数据，并将得到的实时性业务统计数据存放在非关系型数据库Redis中；然后将实时性业务统计数据通过分布式文件系统HDFS提供的 API来持久化存储数据到HBase分布式数据库中并建立主键和索引；
4）Hadoop分布式集群平台响应用户的查询，当收到用户的查询请求时，对HBase分布式数据库中的实时性业务统计数据或Mysql数据库中的统计数据进行查询并显示查询结果。
优选地，步骤1）中的Hadoop分布式集群平台包括Server1～Server7共七个服务器节点，服务器节点Server1为安装有分布式文件系统HDFS的HDFS服务器，服务器节点Server2为安装有HBase分布式数据库的HBase服务器，服务器节点Server3为安装有Kafka分布式消息缓存系统以及Strom流式计算框架的Kafka Strom服务器，服务器节点Server4为用于对HDFS服务器中清洗转换后的服务器软件访问日志文件数据进行统计分析的离线分析数据库，服务器节点Server5为安装有Mysql数据库和非关系型数据库Redis的数据库服务器，服务器节点Server6为用于接收上传服务器软件访问日志文件并进行备份的NFS服务器，服务器节点Server7为用于通过REST接口接收业务日志以及响应用户的查询并显示查询结果的接口服务器。
优选地，步骤3）中对服务器软件访问日志文件数据进行清洗转换具体是指使用MapReduce数据清洗算法进行清洗转换。
优选地，步骤3）中对清洗转换后的服务器软件访问日志文件数据进行统计分析得到的统计数据包括浏览量PV、独立IP数、被传输页面的总字节数、统计来源网站与跳出率、每个小时页面访问量中的至少一种。
本发明在建立Hadoop分布式集群平台的基础上，针对目标应用系统服务器中的服务器软件访问日志、业务日志两种日志进行分类处理，针对存储到分布式文件系统HDFS中的服务器软件访问日志文件，Hadoop分布式集群平台首先对服务器软件访问日志文件数据进行清洗转换，对清洗转换后的服务器软件访问日志文件数据进行统计分析得到统计数据，将统计数据存放在分布式文件系统HDFS中，然后将存放在分布式文件系统HDFS中存放的统计数据导出到Mysql数据库中；针对缓存到Kafka分布式消息缓存系统的Kafka消息队列中的业务日志数据，Hadoop分布式集群平台首先采用Strom流式计算框架对Kafka分布式消息缓存系统的Kafka消息队列中缓存的业务日志数据进行分析处理得到实时性业务统计数据，并将得到的实时性业务统计数据存放在非关系型数据库Redis中；然后将实时性业务统计数据通过分布式文件系统HDFS提供的 API 来持久化存储数据到HBase分布式数据库中并建立主键和索引；基于Hadoop分布式集群平台响应用户的查询，当收到用户的查询请求时，对HBase分布式数据库中的实时性业务统计数据或Mysql数据库中的统计数据进行查询并显示查询结果，使得本发明基于Hadoop的海量日志数据处理方法具有下述优点：1、可支持分布式的日志收集；2、可支持跨节点的日志查询；3、能统计网站各大关键指标数据，如浏览量PV、独立IP数、被传输页面的总字节数、统计来源网站与跳出率、每个小时页面访问量；4、为进一步数据挖掘提供有效途径，在此基础上开发数据监控、广告反馈、分类统计等功能。综上所述，本发明基于Hadoop的海量日志数据处理方法是一种可支持分布式日志管理、支持跨节点查询、能统计网站各打指标数据、为进一步数据挖掘提供有效途径的基于Hadoo的海量日志数据处理方法，本发明突破传统数据处理方式的瓶颈，使得海量数据的收集、存储、计算变得更加容易、更加高效。
附图说明
图1为本发明实施例方法的基本原理示意图。
图2为本发明实施例中建立的Hadoop分布式集群平台架构示意图。
具体实施方式
如图1所示，本实施例基于Hadoop的海量日志数据处理方法的实施步骤包括：
1）建立Hadoop分布式集群平台，Hadoop分布式集群平台安装有分布式文件系统HDFS、非关系型数据库Redis、Mysql数据库、HBase分布式数据库、Kafka分布式消息缓存系统、REST接口以及Strom流式计算框架；将待进行海量日志处理的目标应用系统服务器和Hadoop分布式集群平台相连，并预先在目标应用系统服务器中部署用于定时上传服务器软件访问日志文件的SHELL脚本；
2）针对目标应用系统服务器中的服务器软件访问日志、业务日志两种日志，通过SHELL脚本定时上传推送服务器软件访问日志文件给Hadoop分布式集群平台，Hadoop分布式集群平台将服务器软件访问日志文件存储到分布式文件系统HDFS；Hadoop分布式集群平台通过REST接口接收目标应用系统服务器的业务日志，并将业务日志数据推送到Kafka分布式消息缓存系统的Kafka消息队列中进行缓存；
3）针对存储到分布式文件系统HDFS中的服务器软件访问日志文件，Hadoop分布式集群平台首先对服务器软件访问日志文件数据进行清洗转换，对清洗转换后的服务器软件访问日志文件数据进行统计分析得到统计数据，将统计数据存放在分布式文件系统HDFS中，然后将存放在分布式文件系统HDFS中存放的统计数据导出到Mysql数据库中；针对缓存到Kafka分布式消息缓存系统的Kafka消息队列中的业务日志数据，Hadoop分布式集群平台首先采用Strom流式计算框架对Kafka分布式消息缓存系统的Kafka消息队列中缓存的业务日志数据进行分析处理得到实时性业务统计数据，并将得到的实时性业务统计数据存放在非关系型数据库Redis中；然后将实时性业务统计数据通过分布式文件系统HDFS提供的 API来持久化存储数据到HBase分布式数据库中并建立主键和索引（以便为数据展现提供高效的数据访问能力）；
4）Hadoop分布式集群平台响应用户的查询，当收到用户的查询请求时，对HBase分布式数据库中的实时性业务统计数据或Mysql数据库中的统计数据进行查询并显示查询结果。
本实施例方法在具体实现时包含了日志数据采集模块、日志数据清洗模块、日志数据分析模块、日志数据存储模块、数据导出模块和数据展现模块。本实施例中，日志数据采集模块使用REST架构和SHELL脚本；日志数据清洗模块使用MapReduce数据清洗算法；日志数据分析模块使用MapReduce分析算法和Strom流式计算框架，分析计算网站各大关键指标，如浏览量PV、独立IP数、被传输页面的总字节数、统计来源网站与跳出率、每个小时页面访问量，以供运营者决策；日志数据存储模块使用HBase框架；数据导出模块使用SQOOP框架，将得到的各个指标导出到集群外的关系型数据库Mysql中；数据展现模块使用ZooKeeper和HBase框架，Mysql关系型数据库实现海量数据的毫秒级查询。
其中针对服务器软件访问日志，需要使用日志数据采集模块、日志数据清洗模块、日志数据分析模块、日志数据存储模块、数据导出模块和数据展现模块；日志数据采集模块通过SHELL脚本定时上传推送服务器软件访问日志文件给Hadoop分布式集群平台，日志数据清洗模块对服务器软件访问日志文件数据进行清洗转换，日志数据分析模块对清洗转换后的服务器软件访问日志文件数据进行统计分析得到统计数据，日志数据存储模块将统计数据存放在分布式文件系统HDFS中，数据导出模块将存放在分布式文件系统HDFS中存放的统计数据导出到Mysql数据库中；数据展现模块基于Mysql数据库中的数据提供查询，并显示查询结果。针对业务日志，则需要使用日志数据采集模块、日志数据分析模块、日志数据存储模块、数据导出模块和数据展现模块；日志数据采集模块通过REST接口接收目标应用系统服务器的业务日志，并将业务日志数据推送到Kafka分布式消息缓存系统的Kafka消息队列中进行缓存，日志数据分析模块采用Strom流式计算框架对Kafka分布式消息缓存系统的Kafka消息队列中缓存的业务日志数据进行分析处理得到实时性业务统计数据，日志数据存储模块将得到的实时性业务统计数据存放在非关系型数据库Redis中，数据导出模块将实时性业务统计数据通过分布式文件系统HDFS提供的 API 来持久化存储数据到HBase分布式数据库中并建立主键和索引，数据展现模块基于HBase分布式数据库中的数据提供查询，并显示查询结果。
本实施例中，步骤3）中对服务器软件访问日志文件数据进行清洗转换具体是指使用MapReduce数据清洗算法进行清洗转换。本实施例中进行清洗转换时，具体步骤包括检查数据一致性，处理无效值和缺失值，清洗转换后的数据存放在分布式文件系统HDFS中。
本实施例中，步骤3）中对清洗转换后的服务器软件访问日志文件数据进行统计分析得到的统计数据包括浏览量PV、独立IP数、被传输页面的总字节数、统计来源网站与跳出率、每个小时页面访问量，此外也可以根据需要选择其中至少一种或者更多其他本实施例中未提及的统计数据，其原理与本实施例相同。
如图2所示，步骤1）中的Hadoop分布式集群平台包括Server1～Server7共七个服务器节点，服务器节点Server1为安装有分布式文件系统HDFS的HDFS服务器，服务器节点Server2为安装有HBase分布式数据库的HBase服务器，服务器节点Server3为安装有Kafka分布式消息缓存系统以及Strom流式计算框架的Kafka Strom服务器，服务器节点Server4为用于对HDFS服务器中清洗转换后的服务器软件访问日志文件数据进行统计分析的离线分析数据库，服务器节点Server5为安装有Mysql数据库和非关系型数据库Redis的数据库服务器，服务器节点Server6为用于接收上传服务器软件访问日志文件并进行备份的NFS服务器，服务器节点Server7为用于通过REST接口接收业务日志以及响应用户的查询并显示查询结果的接口服务器。本实施例中，
参见图2，本实施例中，目标应用系统服务器上运行了web服务器，目标应用系统服务器的web服务器会主动发送业务日志，同时每天通过SHELL脚本推送服务器软件日志到Hadoop分布式集群平台的NFS服务器。同时，目标应用系统服务器还基于web服务器对管理员提供查询管理日志服务，管理员可以通过该服务查询和管理日志；目标应用系统服务器还基于web服务器对网站用户提供访问登陆，登陆鉴权通过后普通用户访问业务系统可以查询业务日志详情、查询日志分析结果等。
本实施例中，针对Server1～Server7共七个服务器节点的进行配置的步骤如下：
S1）对Linux进行基础环境搭建，如修改Linux主机名、固定Linux机器IP、修改主机名和IP的映射关系、ssh免登陆、安装JDK，配置JDK环境变量等。
S2）搭建Hadoop分布式集群平台（包括Hadoop +zooekeeper集群）。
服务器节点Server1：安装软件jdk、hadoop，运行进程为NameNode、DFSZKFailoverController(zkfc)，其中NameNode为提供Hadoop的名称服务进程，DFSZKFailoverController进程为故障转移进程；本实施例中服务器节点Server1具有下述用途：1、为HBase分布式数据库做基础服务；2、为推送的服务器软件日志做存储。
服务器节点Server2：安装软件jdk、hadoop，运行进程为NameNode、DFSZKFailoverController(zkfc) ，其中NameNode为提供Hadoop集群的名称服务进程，DFSZKFailoverController进程为故障转移进程；本实施例中服务器节点Server2具有下述用途：为HBase分布式数据库存储业务日志。
服务器节点Server3：安装软件jdk、hadoop，运行进程为ResourceManager，其中ResourceManager为hadoop的管理服务进程；本实施例中服务器节点Server3具有下述用途：1、Kafka分布式消息缓存系统对业务日志做消息队列；2、Strom流式计算框架一方面存储业务日志到Hbase分布式数据库，另一方面对业务日志做实时计算分析。
服务器节点Server4：安装软件jdk、hadoop，运行进程为ResourceManager，其中ResourceManager为hadoop的管理服务进程；本实施例中服务器节点Server4具有下述用途：对存储在分布式文件系统HDFS和HBase数据库上的数据进行离线数据分析。
服务器节点Server5：安装软件jdk、hadoop、zookeeper，运行进程为DataNode、NodeManager、JournalNode、QuorumPeerMain，其中DataNode为hadoop的数据节点服务进程；NodeManager为节点管理进程，JournalNode为NameNode之间共享数据的进程，QuorumPeerMain为zooekeeper的服务进程；服务器节点Server5还包含有Memcached数据库和Mysql数据库Memcached数据库用于保存实时计算分析结果，Mysql数据库用于保存离线计算分析后的数据。
服务器节点Server6：安装软件jdk、hadoop、zookeeper，运行进程为DataNode、NodeManager、JournalNode、QuorumPeerMain，其中DataNode为hadoop的数据节点服务进程；NodeManager为节点管理进程，JournalNode为NameNode之间共享数据的进程，QuorumPeerMain为zooekeeper的服务进程；本实施例中服务器节点Server6具有下述用途：1、备份每天的服务器软件日志；2、接收业务系统推送的目标应用系统服务器的软件日志后，推送到分布式文件系统HDFS的集群上。
服务器节点Server7：安装软件jdk、hadoop、zookeeper，运行进程为DataNode、NodeManager、JournalNode、QuorumPeerMain，其中DataNode为hadoop的数据节点服务进程；NodeManager为节点管理进程，JournalNode为NameNode之间共享数据的进程，QuorumPeerMain为zooekeeper的服务进程；本实施例中服务器节点Server7具有下述用途：1、对业务系统请求鉴权。2、采用webservice+SDK发布接口，接收业务系统的请求（查询、存储）。
本实施例中，Hadoop集群由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。Hadoop集群的HDFS HA的采用QJM解决方案，在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode；同时，本实施例中还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换StandbyNameNode为standby状态；两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。
S3）在Hadoop集群上搭建所需的分布式数据框架HBase，得到HBase分布式数据库。首先启动ZooKeeper集群，然后启动Hadoop分布式集群， 最后在Master（元数据节点）上启动HBase集群。
S4）在Hadoop集群上搭建分布式Strom流式计算框架和Kafka分布式消息缓存系统。
S5）安装配置Mysql数据库、redis数据库，并且搭建SQOOP数据导出框架。
S6）搭建一个REST接口服务，供日志数据接收与分析结果的可视化展示功能。
S7）在分布式文件系统HDFS根目录下创建目标应用系统服务器对应的文件夹，通过REST接口服务与集群通过RPC（远程过程调用协议）通信交互，让业务日志推送到Kafka分布式消息缓存系统的kafka消息队列中，服务器软件访问日志同步到分布式文件系统HDFS中对应的目标应用系统服务器对应的文件夹下。
S8）对分布式文件系统HDFS中的服务器软件访问日志文件通过起送清洗模块进行数据清洗，清洗完毕后，使用数据统计分析模块对服务器软件访问日志进行网站各大关键指标的统计分析，如浏览量PV、独立IP数、被传输页面的总字节数、统计来源网站与跳出率、每个小时页面访问量；业务日志推送到Kafka分布式消息缓存系统的kafka消息队列中后，就可以通过实时流式计算Storm对kafka中业务日志进行业务日志数据统计分析，得到需要的实时性业务统计数据，将实时性业务统计数据存放在非关系型数据库Redis中。
S9）将业务日志数据通过分布式文件系统HDFS提供的 API 来持久化存储数据到HBase中，以便后续的业务日志数据查询与离线统计分析。使用数据导出模块（SQOOP服务）把分析汇总的数据导出到Mysql数据库中。配置完毕以后，即可通过REST接口服务将日志分析结果进行可视化展示，如以柱状图、饼状图、折线图等可视化形式在 Web 页面上展示。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于Hadoop的海量日志数据处理方法，其特征在于实施步骤包括：
1）建立Hadoop分布式集群平台，所述Hadoop分布式集群平台安装有分布式文件系统HDFS、非关系型数据库Redis、Mysql数据库、HBase分布式数据库、Kafka分布式消息缓存系统、REST接口以及Strom流式计算框架；将待进行海量日志处理的目标应用系统服务器和所述Hadoop分布式集群平台相连，并预先在目标应用系统服务器中部署用于定时上传服务器软件访问日志文件的SHELL脚本；
2）针对目标应用系统服务器中的服务器软件访问日志、业务日志两种日志，通过SHELL脚本定时上传推送服务器软件访问日志文件给Hadoop分布式集群平台，所述Hadoop分布式集群平台将服务器软件访问日志文件存储到分布式文件系统HDFS；所述Hadoop分布式集群平台通过REST接口接收目标应用系统服务器的业务日志，并将业务日志数据推送到Kafka分布式消息缓存系统的Kafka消息队列中进行缓存；
3）针对存储到分布式文件系统HDFS中的服务器软件访问日志文件，Hadoop分布式集群平台首先对服务器软件访问日志文件数据进行清洗转换，对清洗转换后的服务器软件访问日志文件数据进行统计分析得到统计数据，将统计数据存放在分布式文件系统HDFS中，然后将存放在分布式文件系统HDFS中存放的统计数据导出到Mysql数据库中；针对缓存到Kafka分布式消息缓存系统的Kafka消息队列中的业务日志数据，Hadoop分布式集群平台首先采用Strom流式计算框架对Kafka分布式消息缓存系统的Kafka消息队列中缓存的业务日志数据进行分析处理得到实时性业务统计数据，并将得到的实时性业务统计数据存放在非关系型数据库Redis中；然后将实时性业务统计数据通过分布式文件系统HDFS提供的 API来持久化存储数据到HBase分布式数据库中并建立主键和索引；
4）Hadoop分布式集群平台响应用户的查询，当收到用户的查询请求时，对HBase分布式数据库中的实时性业务统计数据或Mysql数据库中的统计数据进行查询并显示查询结果。
2.根据权利要求1所述的基于Hadoop的海量日志数据处理方法，其特征在于，步骤1）中的Hadoop分布式集群平台包括Server1～Server7共七个服务器节点，服务器节点Server1为安装有分布式文件系统HDFS的HDFS服务器，服务器节点Server2为安装有HBase分布式数据库的HBase服务器，服务器节点Server3为安装有Kafka分布式消息缓存系统以及Strom流式计算框架的Kafka Strom服务器，服务器节点Server4为用于对HDFS服务器中清洗转换后的服务器软件访问日志文件数据进行统计分析的离线分析数据库，服务器节点Server5为安装有Mysql数据库和非关系型数据库Redis的数据库服务器，服务器节点Server6为用于接收上传服务器软件访问日志文件并进行备份的NFS服务器，服务器节点Server7为用于通过REST接口接收业务日志以及响应用户的查询并显示查询结果的接口服务器。
3.根据权利要求1所述的基于Hadoop的海量日志数据处理方法，其特征在于，步骤3）中对服务器软件访问日志文件数据进行清洗转换具体是指使用MapReduce数据清洗算法进行清洗转换。
4.根据权利要求1所述的基于Hadoop的海量日志数据处理方法，其特征在于，步骤3）中对清洗转换后的服务器软件访问日志文件数据进行统计分析得到的统计数据包括浏览量PV、独立IP数、被传输页面的总字节数、统计来源网站与跳出率、每个小时页面访问量中的至少一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611203179.6A CN106709003A (zh) | 2016-12-23 | 2016-12-23 | 基于Hadoop的海量日志数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611203179.6A CN106709003A (zh) | 2016-12-23 | 2016-12-23 | 基于Hadoop的海量日志数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106709003A true CN106709003A (zh) | 2017-05-24 |
Family
ID=58903132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611203179.6A Pending CN106709003A (zh) | 2016-12-23 | 2016-12-23 | 基于Hadoop的海量日志数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709003A (zh) |
Cited By (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106992886A (zh) * | 2017-04-05 | 2017-07-28 | 国家电网公司 | 一种基于分布式存储的日志分析方法及装置 |
| CN107392325A (zh) * | 2017-07-10 | 2017-11-24 | 美的集团股份有限公司 | 数据处理方法、数据处理装置和计算机可读存储介质 |
| CN107463490A (zh) * | 2017-08-15 | 2017-12-12 | 四川长虹电器股份有限公司 | 一种应用于平台开发中的集群日志集中收集方法 |
| CN107508888A (zh) * | 2017-08-25 | 2017-12-22 | 同方(深圳)云计算技术股份有限公司 | 一种车联网服务平台 |
| CN107786565A (zh) * | 2017-11-02 | 2018-03-09 | 江苏物联网研究发展中心 | 一种分布式实时入侵检测方法及检测系统 |
| CN107784093A (zh) * | 2017-10-13 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种分布式的大数据处理系统 |
| CN107786641A (zh) * | 2017-09-30 | 2018-03-09 | 南威软件股份有限公司 | 一种分布式多系统用户行为日志的采集方法 |
| CN108170825A (zh) * | 2018-01-05 | 2018-06-15 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
| CN108304527A (zh) * | 2018-01-25 | 2018-07-20 | 杭州哲信信息技术有限公司 | 一种数据提取方法 |
| CN108519942A (zh) * | 2018-04-11 | 2018-09-11 | 车巴达（苏州）网络科技有限公司 | 一种日志分析系统 |
| CN108664549A (zh) * | 2018-03-29 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 一种大数据处理系统、方法和装置 |
| CN108737549A (zh) * | 2018-05-25 | 2018-11-02 | 江苏联盟信息工程有限公司 | 一种大数据量的日志分析方法及装置 |
| CN108875017A (zh) * | 2018-06-20 | 2018-11-23 | 山东浪潮商用系统有限公司 | 一种基于Sqoop技术的海量数据同步系统及方法 |
| CN108959369A (zh) * | 2018-05-22 | 2018-12-07 | 国网浙江省电力有限公司电力科学研究院 | 一种海量数据平台与大数据平台融合方法 |
| CN109033174A (zh) * | 2018-06-21 | 2018-12-18 | 北京国网信通埃森哲信息技术有限公司 | 一种电能质量数据清洗方法及装置 |
| CN109088782A (zh) * | 2018-11-01 | 2018-12-25 | 郑州云海信息技术有限公司 | 分布式系统的日志收集方法及装置 |
| CN109150998A (zh) * | 2018-08-01 | 2019-01-04 | 北京奇虎科技有限公司 | 基于云测试平台的日志文件处理系统及方法 |
| CN109241176A (zh) * | 2018-07-10 | 2019-01-18 | 北京亿赛通科技发展有限责任公司 | 一种基于网络环境下大数据的关联分析系统及方法 |
| CN109299044A (zh) * | 2018-07-20 | 2019-02-01 | 浙江工业大学 | 一种基于公司内部日志的安全可视化分析系统 |
| CN109344033A (zh) * | 2018-09-27 | 2019-02-15 | 浪潮软件股份有限公司 | 一种基于分布式架构的云日志采集方法 |
| CN109344180A (zh) * | 2018-08-21 | 2019-02-15 | 中国平安人寿保险股份有限公司 | 展示数据获取的方法、装置、计算机设备和存储介质 |
| CN109445949A (zh) * | 2018-12-07 | 2019-03-08 | 武汉轻工大学 | 一种数据采集系统和数据采集方法 |
| CN109660397A (zh) * | 2018-12-21 | 2019-04-19 | 北京百度网讯科技有限公司 | 用于采集日志的系统、方法和装置 |
| CN109800221A (zh) * | 2019-02-01 | 2019-05-24 | 浪潮软件集团有限公司 | 一种海量数据关联关系分析方法、装置及系统 |
| CN109933484A (zh) * | 2017-12-15 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 大数据集群准实时container资源分配监控分析方法 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN109947757A (zh) * | 2019-03-26 | 2019-06-28 | 上海德拓信息技术股份有限公司 | 一种海量数据实时清洗处理的系统和方法 |
| CN110032558A (zh) * | 2019-04-12 | 2019-07-19 | 重庆天蓬网络有限公司 | 一种数据同步方法、装置、系统及存储介质 |
| CN110098957A (zh) * | 2019-04-04 | 2019-08-06 | 北京市天元网络技术股份有限公司 | 基于网络日志的大数据分析系统 |
| CN110262951A (zh) * | 2019-06-10 | 2019-09-20 | 天翼电子商务有限公司 | 一种业务秒级监控方法及系统、存储介质及客户端 |
| CN110290179A (zh) * | 2019-05-31 | 2019-09-27 | 国网上海市电力公司 | 一种基于Hadoop的分布式移动基站数据存储系统 |
| CN110362456A (zh) * | 2018-04-10 | 2019-10-22 | 挖财网络技术有限公司 | 一种获取服务端性能数据的方法及装置 |
| CN110413586A (zh) * | 2019-08-05 | 2019-11-05 | 山东浪潮通软信息科技有限公司 | 分布式日志管理方法及系统 |
| CN110460876A (zh) * | 2019-08-15 | 2019-11-15 | 网易（杭州）网络有限公司 | 直播日志的处理方法、装置及电子设备 |
| CN110458678A (zh) * | 2019-08-08 | 2019-11-15 | 潍坊工程职业学院 | 一种基于hadoop校验的财务数据校验方法和系统 |
| CN110674080A (zh) * | 2019-09-23 | 2020-01-10 | 浪潮软件股份有限公司 | 一种基于NiFi的大数据量非结构文件采集方法及系统 |
| CN110716909A (zh) * | 2019-09-29 | 2020-01-21 | 广州餐道信息科技有限公司 | 一种基于数据分析管理的商用系统 |
| CN110716910A (zh) * | 2019-10-14 | 2020-01-21 | 中国建设银行股份有限公司 | 一种日志管理方法、装置、设备和存储介质 |
| CN110737648A (zh) * | 2019-09-17 | 2020-01-31 | 平安科技（深圳）有限公司 | 性能特征降维方法及装置、电子设备及存储介质 |
| CN110769064A (zh) * | 2019-10-29 | 2020-02-07 | 广州趣丸网络科技有限公司 | 一种用于离线推送消息的系统、方法和设备 |
| CN110825801A (zh) * | 2019-11-06 | 2020-02-21 | 卡斯柯信号(成都)有限公司 | 基于分布式架构的列车信号系统车载日志分析系统和方法 |
| CN110852537A (zh) * | 2018-07-26 | 2020-02-28 | 北京京东金融科技控股有限公司 | 服务质量检测方法和装置 |
| CN110928938A (zh) * | 2019-11-07 | 2020-03-27 | 中国电信集团工会上海市委员会 | 一种接口中间件系统 |
| CN110928851A (zh) * | 2019-10-12 | 2020-03-27 | 中国平安财产保险股份有限公司 | 处理日志信息的方法、装置、设备及存储介质 |
| CN111008182A (zh) * | 2019-11-07 | 2020-04-14 | 中国电信集团工会上海市委员会 | 一种可变字段日志型数据的查询方法及系统 |
| CN111046099A (zh) * | 2019-11-12 | 2020-04-21 | 上海麦克风文化传媒有限公司 | 一种热数据高性能存储架构 |
| CN111046022A (zh) * | 2019-12-04 | 2020-04-21 | 山西云时代技术有限公司 | 一种基于大数据技术的数据库审计方法 |
| CN111090646A (zh) * | 2019-10-21 | 2020-05-01 | 中国科学院信息工程研究所 | 一种电磁数据处理平台 |
| CN111125045A (zh) * | 2019-11-13 | 2020-05-08 | 量子云未来（北京）信息科技有限公司 | 一种轻量级etl处理平台 |
| CN111209258A (zh) * | 2019-12-31 | 2020-05-29 | 航天信息股份有限公司 | 税务端系统日志实时分析方法、设备、介质及系统 |
| CN111241135A (zh) * | 2019-12-31 | 2020-06-05 | 广州酷旅旅行社有限公司 | 一种商品搜索方法、装置、计算机设备和存储介质 |
| CN111258978A (zh) * | 2020-01-17 | 2020-06-09 | 广东小天才科技有限公司 | 一种数据存储的方法 |
| CN111258979A (zh) * | 2020-01-16 | 2020-06-09 | 山东大学 | 一种云防护日志系统及其工作方法 |
| CN111274215A (zh) * | 2020-01-08 | 2020-06-12 | 成都康赛信息技术有限公司 | 一种基于分布式的日志统一管理方法 |
| CN111400326A (zh) * | 2020-02-28 | 2020-07-10 | 深圳市赛为智能股份有限公司 | 一种智慧城市数据管理系统及其方法 |
| CN111611207A (zh) * | 2020-05-21 | 2020-09-01 | 四川虹美智能科技有限公司 | 状态数据处理方法、装置及计算机设备 |
| CN111897790A (zh) * | 2020-07-31 | 2020-11-06 | 平安普惠企业管理有限公司 | 风控日志采集方法、装置、电子设备及存储介质 |
| CN112153108A (zh) * | 2020-08-14 | 2020-12-29 | 中国科学院电子学研究所苏州研究院 | 一种面向微服务架构的消息传输系统及其方法 |
| CN112256523A (zh) * | 2020-09-23 | 2021-01-22 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
| CN112435074A (zh) * | 2020-12-07 | 2021-03-02 | 浙江大学 | 一种新零售实时数据追踪、反馈方法和系统 |
| CN111858274B (zh) * | 2020-07-02 | 2021-06-01 | 北京睿知图远科技有限公司 | 一种大数据评分系统稳定性监控方法 |
| CN113010483A (zh) * | 2020-11-20 | 2021-06-22 | 云智慧（北京）科技有限公司 | 一种海量日志管理方法和系统 |
| CN113129063A (zh) * | 2021-04-20 | 2021-07-16 | 国网江西省电力有限公司信息通信分公司 | 一种基于云平台和数据中台的电费计算发行方法及系统 |
| WO2021151315A1 (zh) * | 2020-06-29 | 2021-08-05 | 平安科技（深圳）有限公司 | 应用系统日志数据的处理方法、应用系统、设备及介质 |
| CN113222223A (zh) * | 2021-04-24 | 2021-08-06 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113312353A (zh) * | 2021-06-10 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种跟踪带日志的存储方法及系统 |
| CN113326003A (zh) * | 2021-05-25 | 2021-08-31 | 北京计算机技术及应用研究所 | 一种分布式存储系统元数据访问智能加速方法 |
| CN113377829A (zh) * | 2021-05-14 | 2021-09-10 | 中国民生银行股份有限公司 | 一种大数据统计方法和装置 |
| CN113423054A (zh) * | 2020-03-02 | 2021-09-21 | 中移物联网有限公司 | 一种终端定位方法、系统及计算机可读存储介质 |
| CN113434376A (zh) * | 2021-06-24 | 2021-09-24 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113849846A (zh) * | 2021-11-30 | 2021-12-28 | 山东捷瑞数字科技股份有限公司 | 一种多服务器网站的日志存储管理系统 |
| CN114218224A (zh) * | 2021-12-21 | 2022-03-22 | 北京云迹科技股份有限公司 | 一种机器人业务场景下的数据处理方法、装置和电子设备 |
| CN114328610A (zh) * | 2021-12-31 | 2022-04-12 | 浙江工业大学 | 基于HBase分布式存储系统的剧场数据精准查询方法 |
| CN114915808A (zh) * | 2021-12-06 | 2022-08-16 | 天翼数字生活科技有限公司 | 一种实现iptv广告第三方监播的系统及方法 |
| CN116431872A (zh) * | 2023-06-09 | 2023-07-14 | 智者四海（北京）技术有限公司 | 可观测系统及基于可观测系统的服务观测方法 |
| CN116644039A (zh) * | 2023-05-25 | 2023-08-25 | 安徽继远软件有限公司 | 一种基于大数据的在线能力运营日志自动采集分析的方法 |
| CN116910016A (zh) * | 2023-09-14 | 2023-10-20 | 交通运输部北海航海保障中心天津通信中心 | 一种ais数据处理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677842A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 基于Hadoop大数据处理技术的日志分析系统 |
-
2016
- 2016-12-23 CN CN201611203179.6A patent/CN106709003A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677842A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 基于Hadoop大数据处理技术的日志分析系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王劲: "经典大数据架构案例：酷狗音乐的大数据平台重构", 《HTTP://WWW.INFOQ.CN/ARTICLE/KUGOU-BIG-PLATFORM-RESTRUCTURE》 * |
Cited By (108)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106992886A (zh) * | 2017-04-05 | 2017-07-28 | 国家电网公司 | 一种基于分布式存储的日志分析方法及装置 |
| CN107392325A (zh) * | 2017-07-10 | 2017-11-24 | 美的集团股份有限公司 | 数据处理方法、数据处理装置和计算机可读存储介质 |
| CN107392325B (zh) * | 2017-07-10 | 2021-02-26 | 美的集团股份有限公司 | 数据处理方法、数据处理装置和计算机可读存储介质 |
| CN107463490B (zh) * | 2017-08-15 | 2020-06-30 | 四川长虹电器股份有限公司 | 一种应用于平台开发中的集群日志集中收集方法 |
| CN107463490A (zh) * | 2017-08-15 | 2017-12-12 | 四川长虹电器股份有限公司 | 一种应用于平台开发中的集群日志集中收集方法 |
| CN107508888A (zh) * | 2017-08-25 | 2017-12-22 | 同方(深圳)云计算技术股份有限公司 | 一种车联网服务平台 |
| CN107786641A (zh) * | 2017-09-30 | 2018-03-09 | 南威软件股份有限公司 | 一种分布式多系统用户行为日志的采集方法 |
| CN107784093A (zh) * | 2017-10-13 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种分布式的大数据处理系统 |
| CN107786565A (zh) * | 2017-11-02 | 2018-03-09 | 江苏物联网研究发展中心 | 一种分布式实时入侵检测方法及检测系统 |
| CN109933484A (zh) * | 2017-12-15 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 大数据集群准实时container资源分配监控分析方法 |
| CN108170825A (zh) * | 2018-01-05 | 2018-06-15 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
| CN108170825B (zh) * | 2018-01-05 | 2022-08-12 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
| CN108304527A (zh) * | 2018-01-25 | 2018-07-20 | 杭州哲信信息技术有限公司 | 一种数据提取方法 |
| CN108304527B (zh) * | 2018-01-25 | 2022-02-01 | 杭州哲信信息技术有限公司 | 一种数据提取方法 |
| CN108664549A (zh) * | 2018-03-29 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 一种大数据处理系统、方法和装置 |
| CN110362456A (zh) * | 2018-04-10 | 2019-10-22 | 挖财网络技术有限公司 | 一种获取服务端性能数据的方法及装置 |
| CN108519942A (zh) * | 2018-04-11 | 2018-09-11 | 车巴达（苏州）网络科技有限公司 | 一种日志分析系统 |
| CN108959369B (zh) * | 2018-05-22 | 2021-11-30 | 国网浙江省电力有限公司电力科学研究院 | 一种海量数据平台与大数据平台融合方法 |
| CN108959369A (zh) * | 2018-05-22 | 2018-12-07 | 国网浙江省电力有限公司电力科学研究院 | 一种海量数据平台与大数据平台融合方法 |
| CN108737549A (zh) * | 2018-05-25 | 2018-11-02 | 江苏联盟信息工程有限公司 | 一种大数据量的日志分析方法及装置 |
| CN108875017A (zh) * | 2018-06-20 | 2018-11-23 | 山东浪潮商用系统有限公司 | 一种基于Sqoop技术的海量数据同步系统及方法 |
| CN109033174A (zh) * | 2018-06-21 | 2018-12-18 | 北京国网信通埃森哲信息技术有限公司 | 一种电能质量数据清洗方法及装置 |
| CN109241176A (zh) * | 2018-07-10 | 2019-01-18 | 北京亿赛通科技发展有限责任公司 | 一种基于网络环境下大数据的关联分析系统及方法 |
| CN109299044A (zh) * | 2018-07-20 | 2019-02-01 | 浙江工业大学 | 一种基于公司内部日志的安全可视化分析系统 |
| CN110852537B (zh) * | 2018-07-26 | 2024-08-20 | 京东科技控股股份有限公司 | 服务质量检测方法和装置 |
| CN110852537A (zh) * | 2018-07-26 | 2020-02-28 | 北京京东金融科技控股有限公司 | 服务质量检测方法和装置 |
| CN109150998A (zh) * | 2018-08-01 | 2019-01-04 | 北京奇虎科技有限公司 | 基于云测试平台的日志文件处理系统及方法 |
| CN109344180A (zh) * | 2018-08-21 | 2019-02-15 | 中国平安人寿保险股份有限公司 | 展示数据获取的方法、装置、计算机设备和存储介质 |
| CN109344033A (zh) * | 2018-09-27 | 2019-02-15 | 浪潮软件股份有限公司 | 一种基于分布式架构的云日志采集方法 |
| CN109088782A (zh) * | 2018-11-01 | 2018-12-25 | 郑州云海信息技术有限公司 | 分布式系统的日志收集方法及装置 |
| CN109445949A (zh) * | 2018-12-07 | 2019-03-08 | 武汉轻工大学 | 一种数据采集系统和数据采集方法 |
| CN109660397B (zh) * | 2018-12-21 | 2022-02-15 | 北京百度网讯科技有限公司 | 用于采集日志的系统、方法和装置 |
| CN109660397A (zh) * | 2018-12-21 | 2019-04-19 | 北京百度网讯科技有限公司 | 用于采集日志的系统、方法和装置 |
| CN109800221A (zh) * | 2019-02-01 | 2019-05-24 | 浪潮软件集团有限公司 | 一种海量数据关联关系分析方法、装置及系统 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN109947757B (zh) * | 2019-03-26 | 2023-03-14 | 上海德拓信息技术股份有限公司 | 一种海量数据实时清洗处理的系统和方法 |
| CN109947757A (zh) * | 2019-03-26 | 2019-06-28 | 上海德拓信息技术股份有限公司 | 一种海量数据实时清洗处理的系统和方法 |
| CN110098957A (zh) * | 2019-04-04 | 2019-08-06 | 北京市天元网络技术股份有限公司 | 基于网络日志的大数据分析系统 |
| CN110032558A (zh) * | 2019-04-12 | 2019-07-19 | 重庆天蓬网络有限公司 | 一种数据同步方法、装置、系统及存储介质 |
| CN110290179A (zh) * | 2019-05-31 | 2019-09-27 | 国网上海市电力公司 | 一种基于Hadoop的分布式移动基站数据存储系统 |
| CN110262951A (zh) * | 2019-06-10 | 2019-09-20 | 天翼电子商务有限公司 | 一种业务秒级监控方法及系统、存储介质及客户端 |
| CN110413586B (zh) * | 2019-08-05 | 2023-09-22 | 浪潮通用软件有限公司 | 分布式日志管理方法及系统 |
| CN110413586A (zh) * | 2019-08-05 | 2019-11-05 | 山东浪潮通软信息科技有限公司 | 分布式日志管理方法及系统 |
| CN110458678A (zh) * | 2019-08-08 | 2019-11-15 | 潍坊工程职业学院 | 一种基于hadoop校验的财务数据校验方法和系统 |
| CN110460876A (zh) * | 2019-08-15 | 2019-11-15 | 网易（杭州）网络有限公司 | 直播日志的处理方法、装置及电子设备 |
| CN110737648B (zh) * | 2019-09-17 | 2024-05-07 | 平安科技（深圳）有限公司 | 性能特征降维方法及装置、电子设备及存储介质 |
| CN110737648A (zh) * | 2019-09-17 | 2020-01-31 | 平安科技（深圳）有限公司 | 性能特征降维方法及装置、电子设备及存储介质 |
| CN110674080B (zh) * | 2019-09-23 | 2023-04-28 | 浪潮软件股份有限公司 | 一种基于NiFi的大数据量非结构文件采集方法及系统 |
| CN110674080A (zh) * | 2019-09-23 | 2020-01-10 | 浪潮软件股份有限公司 | 一种基于NiFi的大数据量非结构文件采集方法及系统 |
| CN110716909A (zh) * | 2019-09-29 | 2020-01-21 | 广州餐道信息科技有限公司 | 一种基于数据分析管理的商用系统 |
| CN110928851A (zh) * | 2019-10-12 | 2020-03-27 | 中国平安财产保险股份有限公司 | 处理日志信息的方法、装置、设备及存储介质 |
| CN110716910B (zh) * | 2019-10-14 | 2022-10-14 | 中国建设银行股份有限公司 | 一种日志管理方法、装置、设备和存储介质 |
| CN110716910A (zh) * | 2019-10-14 | 2020-01-21 | 中国建设银行股份有限公司 | 一种日志管理方法、装置、设备和存储介质 |
| CN111090646B (zh) * | 2019-10-21 | 2023-07-28 | 中国科学院信息工程研究所 | 一种电磁数据处理平台 |
| CN111090646A (zh) * | 2019-10-21 | 2020-05-01 | 中国科学院信息工程研究所 | 一种电磁数据处理平台 |
| CN110769064B (zh) * | 2019-10-29 | 2023-02-24 | 广州趣丸网络科技有限公司 | 一种用于离线推送消息的系统、方法和设备 |
| CN110769064A (zh) * | 2019-10-29 | 2020-02-07 | 广州趣丸网络科技有限公司 | 一种用于离线推送消息的系统、方法和设备 |
| CN110825801B (zh) * | 2019-11-06 | 2023-03-10 | 卡斯柯信号(成都)有限公司 | 基于分布式架构的列车信号系统车载日志分析系统和方法 |
| CN110825801A (zh) * | 2019-11-06 | 2020-02-21 | 卡斯柯信号(成都)有限公司 | 基于分布式架构的列车信号系统车载日志分析系统和方法 |
| CN110928938B (zh) * | 2019-11-07 | 2022-12-13 | 中国电信集团工会上海市委员会 | 一种接口中间件系统 |
| CN111008182B (zh) * | 2019-11-07 | 2022-12-13 | 中国电信集团工会上海市委员会 | 一种可变字段日志型数据的查询方法及系统 |
| CN110928938A (zh) * | 2019-11-07 | 2020-03-27 | 中国电信集团工会上海市委员会 | 一种接口中间件系统 |
| CN111008182A (zh) * | 2019-11-07 | 2020-04-14 | 中国电信集团工会上海市委员会 | 一种可变字段日志型数据的查询方法及系统 |
| CN111046099A (zh) * | 2019-11-12 | 2020-04-21 | 上海麦克风文化传媒有限公司 | 一种热数据高性能存储架构 |
| CN111125045A (zh) * | 2019-11-13 | 2020-05-08 | 量子云未来（北京）信息科技有限公司 | 一种轻量级etl处理平台 |
| CN111125045B (zh) * | 2019-11-13 | 2024-01-23 | 合肥科拉斯特网络科技有限公司 | 一种轻量级etl处理平台 |
| CN111046022A (zh) * | 2019-12-04 | 2020-04-21 | 山西云时代技术有限公司 | 一种基于大数据技术的数据库审计方法 |
| CN111241135B (zh) * | 2019-12-31 | 2024-04-09 | 广州酷旅旅行社有限公司 | 一种商品搜索方法、装置、计算机设备和存储介质 |
| CN111241135A (zh) * | 2019-12-31 | 2020-06-05 | 广州酷旅旅行社有限公司 | 一种商品搜索方法、装置、计算机设备和存储介质 |
| CN111209258A (zh) * | 2019-12-31 | 2020-05-29 | 航天信息股份有限公司 | 税务端系统日志实时分析方法、设备、介质及系统 |
| CN111274215A (zh) * | 2020-01-08 | 2020-06-12 | 成都康赛信息技术有限公司 | 一种基于分布式的日志统一管理方法 |
| CN111258979B (zh) * | 2020-01-16 | 2022-04-15 | 山东大学 | 一种云防护日志系统及其工作方法 |
| CN111258979A (zh) * | 2020-01-16 | 2020-06-09 | 山东大学 | 一种云防护日志系统及其工作方法 |
| CN111258978B (zh) * | 2020-01-17 | 2024-04-19 | 广东小天才科技有限公司 | 一种数据存储的方法 |
| CN111258978A (zh) * | 2020-01-17 | 2020-06-09 | 广东小天才科技有限公司 | 一种数据存储的方法 |
| CN111400326B (zh) * | 2020-02-28 | 2023-09-12 | 深圳市赛为智能股份有限公司 | 一种智慧城市数据管理系统及其方法 |
| CN111400326A (zh) * | 2020-02-28 | 2020-07-10 | 深圳市赛为智能股份有限公司 | 一种智慧城市数据管理系统及其方法 |
| CN113423054A (zh) * | 2020-03-02 | 2021-09-21 | 中移物联网有限公司 | 一种终端定位方法、系统及计算机可读存储介质 |
| CN111611207A (zh) * | 2020-05-21 | 2020-09-01 | 四川虹美智能科技有限公司 | 状态数据处理方法、装置及计算机设备 |
| WO2021151315A1 (zh) * | 2020-06-29 | 2021-08-05 | 平安科技（深圳）有限公司 | 应用系统日志数据的处理方法、应用系统、设备及介质 |
| CN111858274B (zh) * | 2020-07-02 | 2021-06-01 | 北京睿知图远科技有限公司 | 一种大数据评分系统稳定性监控方法 |
| CN111897790A (zh) * | 2020-07-31 | 2020-11-06 | 平安普惠企业管理有限公司 | 风控日志采集方法、装置、电子设备及存储介质 |
| CN112153108A (zh) * | 2020-08-14 | 2020-12-29 | 中国科学院电子学研究所苏州研究院 | 一种面向微服务架构的消息传输系统及其方法 |
| CN112256523B (zh) * | 2020-09-23 | 2023-01-06 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
| CN112256523A (zh) * | 2020-09-23 | 2021-01-22 | 贝壳技术有限公司 | 业务数据处理方法及装置 |
| CN113010483A (zh) * | 2020-11-20 | 2021-06-22 | 云智慧（北京）科技有限公司 | 一种海量日志管理方法和系统 |
| CN112435074A (zh) * | 2020-12-07 | 2021-03-02 | 浙江大学 | 一种新零售实时数据追踪、反馈方法和系统 |
| CN113129063B (zh) * | 2021-04-20 | 2024-05-03 | 国网江西省电力有限公司信息通信分公司 | 一种基于云平台和数据中台的电费计算发行方法及系统 |
| CN113129063A (zh) * | 2021-04-20 | 2021-07-16 | 国网江西省电力有限公司信息通信分公司 | 一种基于云平台和数据中台的电费计算发行方法及系统 |
| CN113222223A (zh) * | 2021-04-24 | 2021-08-06 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113222223B (zh) * | 2021-04-24 | 2023-02-21 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113377829A (zh) * | 2021-05-14 | 2021-09-10 | 中国民生银行股份有限公司 | 一种大数据统计方法和装置 |
| CN113326003B (zh) * | 2021-05-25 | 2024-03-26 | 北京计算机技术及应用研究所 | 一种分布式存储系统元数据访问智能加速方法 |
| CN113326003A (zh) * | 2021-05-25 | 2021-08-31 | 北京计算机技术及应用研究所 | 一种分布式存储系统元数据访问智能加速方法 |
| CN113312353B (zh) * | 2021-06-10 | 2024-06-04 | 中国民航信息网络股份有限公司 | 一种跟踪带日志的存储方法及系统 |
| CN113312353A (zh) * | 2021-06-10 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种跟踪带日志的存储方法及系统 |
| CN113434376B (zh) * | 2021-06-24 | 2023-04-11 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113434376A (zh) * | 2021-06-24 | 2021-09-24 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113849846A (zh) * | 2021-11-30 | 2021-12-28 | 山东捷瑞数字科技股份有限公司 | 一种多服务器网站的日志存储管理系统 |
| CN114915808A (zh) * | 2021-12-06 | 2022-08-16 | 天翼数字生活科技有限公司 | 一种实现iptv广告第三方监播的系统及方法 |
| CN114218224A (zh) * | 2021-12-21 | 2022-03-22 | 北京云迹科技股份有限公司 | 一种机器人业务场景下的数据处理方法、装置和电子设备 |
| CN114328610A (zh) * | 2021-12-31 | 2022-04-12 | 浙江工业大学 | 基于HBase分布式存储系统的剧场数据精准查询方法 |
| CN116644039A (zh) * | 2023-05-25 | 2023-08-25 | 安徽继远软件有限公司 | 一种基于大数据的在线能力运营日志自动采集分析的方法 |
| CN116644039B (zh) * | 2023-05-25 | 2023-12-19 | 安徽继远软件有限公司 | 一种基于大数据的在线能力运营日志自动采集分析的方法 |
| CN116431872A (zh) * | 2023-06-09 | 2023-07-14 | 智者四海（北京）技术有限公司 | 可观测系统及基于可观测系统的服务观测方法 |
| CN116431872B (zh) * | 2023-06-09 | 2023-09-01 | 智者四海（北京）技术有限公司 | 可观测系统及基于可观测系统的服务观测方法 |
| CN116910016A (zh) * | 2023-09-14 | 2023-10-20 | 交通运输部北海航海保障中心天津通信中心 | 一种ais数据处理方法 |
| CN116910016B (zh) * | 2023-09-14 | 2024-06-11 | 交通运输部北海航海保障中心天津通信中心 | 一种ais数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709003A (zh) | 基于Hadoop的海量日志数据处理方法 | |
| US10944628B2 (en) | Network operation support system and network device management method | |
| CN109074377B (zh) | 用于实时处理数据流的受管理功能执行 | |
| CN104486445B (zh) | 一种基于云平台的分布式可扩展资源监控系统 | |
| CN107528870B (zh) | 一种数据采集方法及其设备 | |
| EP2563062B1 (en) | Long connection management apparatus and link resource management method for long connection communication | |
| CN110225074B (zh) | 一种基于设备地址域的通讯报文分发系统及分发方法 | |
| CN101207550B (zh) | 负载均衡系统及多种业务实现负载均衡的方法 | |
| CN104778188B (zh) | 一种分布式设备日志采集方法 | |
| CN106487574A (zh) | 自动化运行维护监测系统 | |
| CN110650038B (zh) | 面向多类监管对象的安全事件日志采集处理方法和系统 | |
| CN106815338A (zh) | 一种大数据的实时存储、处理和查询系统 | |
| CN104966006A (zh) | 基于云变平台的智能人脸识别系统 | |
| CN109739919B (zh) | 一种用于电力系统的前置机和采集系统 | |
| CN106651633A (zh) | 一种基于大数据技术的用电信息采集系统及其采集方法 | |
| CN108809701A (zh) | 一种数据中心智慧数据平台及其实现方法 | |
| CN112600891A (zh) | 一种基于信息物理融合的边云协同系统及工作方法 | |
| CN103152393A (zh) | 一种云计算的计费方法和计费系统 | |
| CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
| CN102932846A (zh) | 分布式异构传感网数据管理系统及其数据管理方法 | |
| CN103488793A (zh) | 一种基于信息检索的用户行为监控方法 | |
| CN113010565A (zh) | 基于服务器集群的服务器实时数据处理方法及系统 | |
| CN104486116A (zh) | 多维度查询流量数据的方法及系统 | |
| CN108182263A (zh) | 一种数据中心综合管理系统的数据存储方法 | |
| CN108924007A (zh) | 通信运营信息的大数据采集及存储系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170524 |
|
| RJ01 | Rejection of invention patent application after publication |