CN111177239A - 一种基于hdp大数据集群的统一日志处理方法及系统 - Google Patents

一种基于hdp大数据集群的统一日志处理方法及系统 Download PDF

Info

Publication number
CN111177239A
CN111177239A CN201911282200.XA CN201911282200A CN111177239A CN 111177239 A CN111177239 A CN 111177239A CN 201911282200 A CN201911282200 A CN 201911282200A CN 111177239 A CN111177239 A CN 111177239A
Authority
CN
China
Prior art keywords
log
service
logsearch
external
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911282200.XA
Other languages
English (en)
Other versions
CN111177239B (zh
Inventor
王杰斌
张皓
王煜
任俊龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201911282200.XA priority Critical patent/CN111177239B/zh
Publication of CN111177239A publication Critical patent/CN111177239A/zh
Application granted granted Critical
Publication of CN111177239B publication Critical patent/CN111177239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于HDP大数据集群的统一日志处理方法及系统，包括：利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件；对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；在LogSearch的Web页面对日志进行管理。本发明实现了将HDP大数据集群外部的日志采集到LogSearch，对日志进行统一管理，成本低，并且各种日志基本都能集成到LogSearch，适用性强。

Description

一种基于HDP大数据集群的统一日志处理方法及系统
技术领域
本发明涉及大数据技术领域，并且更具体地，涉及一种基于HDP大数据集群的统一日志处理方法及系统。
背景技术
大数据平台是一种集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等为一体的平台。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。被公认为行业大数据标准开源软件。几乎所有主流厂商围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务。基于HDP的大数据平台是目前最为流行的分布式计算框架。
对大数据平台的监控通常需要单独选用某种监控工具，并且需要自行设计监控图表。在传统的大数据平台维护中，查看日志是一个定位问题的最直接的方法。HDP大数据平台Ambari管理自带一个管理日志工具LogSearch，可以方便的用来排查大数据集群的问题。但是大数据集群也需要同其它很多系统对接，比如自身也需要关系型数据库支持有时候需要排查数据库日志，集群是装在操作系统上，有时需要排查操作系统做了哪些历史操作，哪些操作可能对集群产生影响。
因此，需要一个统一的日志管理平台，以方便的对日志进行管理。
发明内容
本发明提出一种基于HDP大数据集群的统一日志处理方法，以解决如何对不同平台的日志统一进行处理的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种基于HDP大数据集群的统一日志处理方法，所述方法包括：
利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件；
对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；
在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；
对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；
在LogSearch的Web页面对日志进行管理。
优选地，其中所述方法包括：
通过脚本、程序和工具的方式实时地采集外部系统的日志文件。
优选地，其中所述对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则，包括：
在LogSearchserver端按照LogSearch的日志采集监控规则，将所述新增的自定义服务的服务名，服务ID与LogSearch进行关联；
设置日志标识，并根据日志标识进行关联配置，配置每个日志标识对应的日志文件的信息、日志文件的路径和过滤转换规则。
优选地，其中所述在LogSearch的Web页面对日志进行管理，包括：
在LogSearch的Web页面查询新增的外部日志服务名及日志的字段信息，根据服务名和字段信息进行检索、查询和管理。
根据本发明的另一个方面，提供了一种基于HDP大数据集群的统一日志处理系统，所述系统包括：
日志采集模块，用于利用分别部署在待监控服务的至少一个主机上的LogFeeder，实时地采集外部系统的日志文件；
存储模块，用于对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；
自定义服务新增模块，用于在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；
关联配置模块，用于对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；
日志文件管理模块，用于在LogSearch的Web页面对日志进行管理。
优选地，其中所述日志采集模块，包括：
通过脚本、程序和工具的方式实时地采集外部系统的日志文件。
优选地，其中所述关联配置模块，对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则，包括：
在LogSearchserver端按照LogSearch的日志采集监控规则，将所述新增的自定义服务的服务名，服务ID与LogSearch进行关联；
设置日志标识，并根据日志标识进行关联配置，配置每个日志标识对应的日志文件的信息、日志文件的路径和过滤转换规则。
优选地，其中所述日志文件管理模块，在LogSearch的Web页面对日志进行管理，包括：
在LogSearch的Web页面查询新增的外部日志服务名及日志的字段信息，根据服务名和字段信息进行检索、查询和管理。
本发明提供了一种基于HDP大数据集群的统一日志处理方法及系统，实现了将HDP大数据集群外部的日志采集到LogSearch，实现大数据集群上对日志的统一管理，解决了现有系统日志分散在不同系统，排查问题或审计日志需在不同系统进行，日志关联查询不方便，或需要开发第三方系统来专门做统一日志管理，成本较高的问题；本发明以低成本易实现的方法实现了利用HDP大数据集群现有日志管理功能实现统一日志管理。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于HDP大数据集群的统一日志处理方法100的流程图；
图2为根据本发明实施方式的系统结构示意图；以及
图3为根据本发明实施方式的基于HDP大数据集群的统一日志处理系统300的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的基于HDP大数据集群的统一日志处理方法100的流程图。如图1所示，本发明实施方式提供的基于HDP大数据集群的统一日志处理方法，实现了将HDP大数据集群外部的日志采集到LogSearch，实现大数据集群上对日志的统一管理，解决了现有系统日志分散在不同系统，排查问题或审计日志需在不同系统进行，日志关联查询不方便，或需要开发第三方系统来专门做统一日志管理，成本较高的问题；本发明以低成本易实现的方法实现了利用HDP大数据集群现有日志管理功能实现统一日志管理。本发明实施方式提供的基于HDP大数据集群的统一日志处理方法100，从步骤101处开始，在步骤101利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件。
优选地，其中所述方法包括：通过脚本、程序和工具的方式实时地采集外部系统的日志文件。
图2为根据本发明实施方式的系统结构示意图。如图2所示，LogSearchServer是HDP大数据集群中Ambari大数据管理系统自带的一个管理日志工具，可以对HDP集群内部组件所产生的日志进行统一管理，比如日志查询、统计、审计等。本发明中依托LogSearchServer，实现与外部日志路径对接、外部日志的过滤转换，将外部日志装载到LogSearchServer内部存储区域，对外部日志，比如操作系统用户操作日志，数据库日志进行统一管理。
Ambari是HDP大数据集群的管理系统，LogSearch所管理的日志都是Ambari内部服务产生的日志，本发明中为了将外部日志进行管理，需将外部日志管理服务按照Ambari接口实现相应方法，对接到Ambari管理系统。
自定义日志服务模块，按照Ambari服务管理的接口，将要对接的外部日志的服务作为一个Ambari服务实现相应的安装、启动、停止等操作，Ambari会将该服务视同Ambari内部管理的服务进行统一管理及日志管理。
外部日志采集模块，主要是通过脚本、程序和工具的方式将外部日志，如Linux系统用户操作日志、数据库日志等实时采集并以文件形式存储到大数据集群节点的指定目录。
Log Feeder是LogSearch的客户端，分布在所监控服务的多个主机上，负责监控特定的日志文件并把解析过的日志发送到Solr，本发明通过配置和接口实现将LogSearch服务、自定义日志以及外部日志采集模块相关联，通过Log Feeder现有功能监控外部日志文件并把解析过的日志发送到Solr。
在本发明的实施方式中，利用LogSearch的客户端Log Feeder采集外部日志文件。其中，该过程主要是通过脚本或程序实时采集新增外部系统日志比如HDP集群用到的mysql日志，或大数据集群操作系统用户的所有操作日志。
在步骤102，对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中。
在本发明的实施方式中，将采集到的日志发送到大数据集群所在机器，建立相应文件目录，日志文件必须是在大数据集群机器的某一个或多个节点，并且该节点部署了LogFeeder。
在步骤103，在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务。
在本发明的实施方式中，在ambari中新增自定义服务，按照Ambari服务管理的接口，通过接口设计，将要对接的外部日志服务作为一个Ambari服务实现相应的安装、启动和停止，Ambari会将该服务视同Ambari内部管理的服务进行统一管理及日志管理。通过建立Ambari自定义日志服务，将外部日志作为Ambari的一个服务对待，为统一日志管理做好了基础。
在步骤104，对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则。
优选地，其中所述对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则，包括：
在LogSearchserver端按照LogSearch的日志采集监控规则，将所述新增的自定义服务的服务名，服务ID与LogSearch进行关联；
设置日志标识，并根据日志标识进行关联配置，配置每个日志标识对应的日志文件的信息、日志文件的路径和过滤转换规则。
在本发明的实施方式中，在LogSearchServer端按照LogSearch采集监控其它服务日志的规则，新增的自定义服务的服务名，服务ID与LogSearch进行关联，以配置logsearch关联新增的自定义服务。在配置LogSearch关联所采集日志的路径和日志过滤转换规则时，通过配置各个日志标识logid对应的日志的信息，日志路径和过滤转换规则，实现日志内容的过滤和转换。
在步骤105，在LogSearch的Web页面对日志进行管理。
优选地，其中所述在LogSearch的Web页面对日志进行管理，包括：
在LogSearch的Web页面查询新增的外部日志服务名及日志的字段信息，根据服务名和字段信息进行检索、查询和管理。
在本发明的实施方式中，用户可以在LogSearch的Web页面实现外部日志的查询审计等操作，在搜索项中可以发现有新增的外部日志服务名，及日志的各个字段，可以根据服务名和各个字段进行检索、查询、管理。
本发明实施方式实现了将HDP大数据集群外部的日志采集到LogSearch，实现大数据集群上对日志的统一管理，解决了现有系统日志分散在不同系统，排查问题或审计日志需在不同系统进行，日志关联查询不方便，或需要开发第三方系统来专门做统一日志管理，成本较高的问题。并且各种日志基本都能集成到LogSearch，适用性很强。
图3为根据本发明实施方式的基于HDP大数据集群的统一日志处理系统300的结构示意图。如图3所示，本发明实施方式提供的基于HDP大数据集群的统一日志处理系统300，包括：日志采集模块301、存储模块302、自定义服务新增模块303、关联配置模块304和日志文件管理模块305。
优选地，所述日志采集模块301，用于利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件。
优选地，其中所述日志采集模块301，包括：通过脚本、程序和工具的方式实时地采集外部系统的日志文件。
优选地，所述存储模块302，用于对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中。
优选地，所述自定义服务新增模块303，用于在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务。
优选地，所述关联配置模块304，用于对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则。
优选地，其中所述关联配置模块304，对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则，包括：
在LogSearchserver端按照LogSearch的日志采集监控规则，将所述新增的自定义服务的服务名，服务ID与LogSearch进行关联；
设置日志标识，并根据日志标识进行关联配置，配置每个日志标识对应的日志文件的信息、日志文件的路径和过滤转换规则。
优选地，所述日志文件管理模块305，用于在LogSearch的Web页面对日志进行管理。
优选地，其中所述日志文件管理模块305，在LogSearch的Web页面对日志进行管理，包括：
在LogSearch的Web页面查询新增的外部日志服务名及日志的字段信息，根据服务名和字段信息进行检索、查询和管理。
本发明的实施例的基于HDP大数据集群的统一日志处理系统300与本发明的另一个实施例的基于HDP大数据集群的统一日志处理方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于HDP大数据集群的统一日志处理方法，其特征在于，所述方法包括：
利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件；
对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；
在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；
对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；
在LogSearch的Web页面对日志进行管理。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
通过脚本、程序和工具的方式实时地采集外部系统的日志文件。
3.根据权利要求1所述的方法，其特征在于，所述对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则，包括：
在LogSearchserver端按照LogSearch的日志采集监控规则，将所述新增的自定义服务的服务名，服务ID与LogSearch进行关联；
设置日志标识，并根据日志标识进行关联配置，配置每个日志标识对应的日志文件的信息、日志文件的路径和过滤转换规则。
4.根据权利要求1所述的方法，其特征在于，所述在LogSearch的Web页面对日志进行管理，包括：
在LogSearch的Web页面查询新增的外部日志服务名及日志的字段信息，根据服务名和字段信息进行检索、查询和管理。
5.一种基于HDP大数据集群的统一日志处理系统，其特征在于，所述系统包括：
日志采集模块，用于利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件；
存储模块，用于对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；
自定义服务新增模块，用于在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；
关联配置模块，用于对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；
日志文件管理模块，用于在LogSearch的Web页面对日志进行管理。
6.根据权利要求5所述的系统，其特征在于，所述日志采集模块，包括：
通过脚本、程序和工具的方式实时地采集外部系统的日志文件。
7.根据权利要求5所述的系统，其特征在于，所述关联配置模块，对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则，包括：
在LogSearchserver端按照LogSearch的日志采集监控规则，将所述新增的自定义服务的服务名，服务ID与LogSearch进行关联；
设置日志标识，并根据日志标识进行关联配置，配置每个日志标识对应的日志文件的信息、日志文件的路径和过滤转换规则。
8.根据权利要求5所述的系统，其特征在于，所述日志文件管理模块，在LogSearch的Web页面对日志进行管理，包括：
在LogSearch的Web页面查询新增的外部日志服务名及日志的字段信息，根据服务名和字段信息进行检索、查询和管理。
CN201911282200.XA 2019-12-13 2019-12-13 一种基于hdp大数据集群的统一日志处理方法及系统 Active CN111177239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911282200.XA CN111177239B (zh) 2019-12-13 2019-12-13 一种基于hdp大数据集群的统一日志处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282200.XA CN111177239B (zh) 2019-12-13 2019-12-13 一种基于hdp大数据集群的统一日志处理方法及系统

Publications (2)

Publication Number Publication Date
CN111177239A true CN111177239A (zh) 2020-05-19
CN111177239B CN111177239B (zh) 2023-10-10

Family

ID=70656362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282200.XA Active CN111177239B (zh) 2019-12-13 2019-12-13 一种基于hdp大数据集群的统一日志处理方法及系统

Country Status (1)

Country Link
CN (1) CN111177239B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486777A (zh) * 2020-12-11 2021-03-12 深圳前瞻资讯股份有限公司 一种大数据服务程序日志处理方法及系统
CN115757041A (zh) * 2022-11-28 2023-03-07 安超云软件有限公司 可动态配置的多集群日志采集的方法及应用

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167912A1 (en) * 2003-02-20 2004-08-26 International Business Machines Corporation Unified logging service for distributed applications
US20080228832A1 (en) * 2007-03-12 2008-09-18 Microsoft Corporation Interfaces for high availability systems and log shipping
US20090043825A1 (en) * 2007-08-09 2009-02-12 Donald Alexander Bourne Log location discovery and management
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
US20150100887A1 (en) * 2013-10-04 2015-04-09 Verto Analytics Oy Metering user behaviour and engagement with user interface in terminal devices
US20160127465A1 (en) * 2014-10-31 2016-05-05 Bedrock Data, Inc. Cross-platform data synchronization
US20160294605A1 (en) * 2014-07-07 2016-10-06 Symphony Teleca Corporation Remote Embedded Device Update Platform Apparatuses, Methods and Systems
CN106682097A (zh) * 2016-12-01 2017-05-17 北京奇虎科技有限公司 一种处理日志数据的方法和装置
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统
CN110222119A (zh) * 2019-05-23 2019-09-10 武汉达梦数据库有限公司 一种异构数据库的数据转换同步方法、设备及存储介质
CN110413586A (zh) * 2019-08-05 2019-11-05 山东浪潮通软信息科技有限公司 分布式日志管理方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167912A1 (en) * 2003-02-20 2004-08-26 International Business Machines Corporation Unified logging service for distributed applications
US20080228832A1 (en) * 2007-03-12 2008-09-18 Microsoft Corporation Interfaces for high availability systems and log shipping
US20090043825A1 (en) * 2007-08-09 2009-02-12 Donald Alexander Bourne Log location discovery and management
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
US20150100887A1 (en) * 2013-10-04 2015-04-09 Verto Analytics Oy Metering user behaviour and engagement with user interface in terminal devices
US20160294605A1 (en) * 2014-07-07 2016-10-06 Symphony Teleca Corporation Remote Embedded Device Update Platform Apparatuses, Methods and Systems
US20160127465A1 (en) * 2014-10-31 2016-05-05 Bedrock Data, Inc. Cross-platform data synchronization
CN106682097A (zh) * 2016-12-01 2017-05-17 北京奇虎科技有限公司 一种处理日志数据的方法和装置
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统
CN110222119A (zh) * 2019-05-23 2019-09-10 武汉达梦数据库有限公司 一种异构数据库的数据转换同步方法、设备及存储介质
CN110413586A (zh) * 2019-08-05 2019-11-05 山东浪潮通软信息科技有限公司 分布式日志管理方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486777A (zh) * 2020-12-11 2021-03-12 深圳前瞻资讯股份有限公司 一种大数据服务程序日志处理方法及系统
CN115757041A (zh) * 2022-11-28 2023-03-07 安超云软件有限公司 可动态配置的多集群日志采集的方法及应用
CN115757041B (zh) * 2022-11-28 2023-11-21 安超云软件有限公司 可动态配置的多集群日志采集的方法及应用

Also Published As

Publication number Publication date
CN111177239B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN109542011B (zh) 一种多源异构监测数据的标准化采集系统
US9953066B2 (en) Automatically generating and reporting merged performance and capacity statistics
CN100451989C (zh) 软件测试系统及测试方法
CN101621405B (zh) 分布式管理监控系统及其监控方法、创建方法
CN114286358A (zh) 测试数据的处理方法、装置、系统及可读存储介质
JP6060312B2 (ja) データの編成及び高速検索
CN111177239B (zh) 一种基于hdp大数据集群的统一日志处理方法及系统
CN102209118A (zh) 一种分布式海量数据汇聚方法
US9558092B2 (en) Runtime-agnostic management of applications
CN104993957A (zh) 一种为使用Log4j的分布式应用提供云端日志服务的方法
WO2022142931A1 (zh) 一种网络设备的巡检方法、装置、设备和存储介质
CN105824837A (zh) 一种日志处理方法及装置
CN104636244A (zh) 一种java+mysql+shell打造的服务器监控方法
CN104461832B (zh) 一种监控应用服务器资源的方法及装置
CN1253030C (zh) 用于多供应商网络的无线网络优化
CN112126908B (zh) 镀膜控制系统及镀膜设备
CN110750582A (zh) 数据处理方法、装置和系统
CN108093075A (zh) 一种应用系统灰度发布的实现方法
CN114610378B (zh) 服务器环境配置方法、系统、存储介质及设备
KR20130137878A (ko) 오픈 소스 통합 관리 방법 및 그 서버
CN111708677B (zh) 一种云计算环境下的云硬盘使用量采集方法
CN101277226A (zh) 基于DU Meter的网络流量统计方法
CN105335145A (zh) 操作结果处理方法、装置及系统
US20120150898A1 (en) Dynamic Collection Of System Support Files In A Data Processing Environment
CN108449343B (zh) Ssh协议文本数据采集方法、采集器及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant