CN112866029B - 基于云平台的日志数据处理方法、装置以及服务端设备 - Google Patents
基于云平台的日志数据处理方法、装置以及服务端设备 Download PDFInfo
- Publication number
- CN112866029B CN112866029B CN202110150791.6A CN202110150791A CN112866029B CN 112866029 B CN112866029 B CN 112866029B CN 202110150791 A CN202110150791 A CN 202110150791A CN 112866029 B CN112866029 B CN 112866029B
- Authority
- CN
- China
- Prior art keywords
- log
- hash value
- processing
- cloud platform
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种基于云平台的日志数据处理方法、装置以及服务端设备,涉及数据处理技术领域,缓解了基于云平台的日志数据处理效率较低的技术问题。该方法包括:获取云平台的日志消息;基于日志消息进行哈希计算,得到哈希值;将哈希值传输至哈希值对应的指定通道;其中,每个通道对应一个哈希值范围;通过不同的通道分别对哈希值对应的日志数据进行处理,得到日志处理结果。
Description
技术领域
本申请涉及数据处理技术领域,尤其是涉及一种基于云平台的日志数据处理方法、装置以及服务端设备。
背景技术
随着物联网的快速发展,云平台技术得到了极大的推广和进步。企业为了提高生产效率,实现产业数字化转型等目的,会将企业设备的工况数据接入至云平台系统上,利用云平台或者开放接口获取处理后的数据。
但是,在整个数据链路过程中,会产生大量的日志数据,导致日志数据的处理和存储过程消耗了系统的大部分资源,云平台的日志数据处理效率较低。
发明内容
本申请的目的在于提供一种基于云平台的日志数据处理方法、装置以及服务端设备,以缓解基于云平台的日志数据处理效率较低的技术问题。
第一方面,本申请实施例提供了一种基于云平台的日志数据处理方法,所述方法包括:
获取所述云平台的日志消息;
基于所述日志消息进行哈希计算,得到哈希值;
将所述哈希值传输至所述哈希值对应的指定通道;其中,每个所述通道对应一个哈希值范围;
通过不同的所述通道分别对所述哈希值对应的日志数据进行处理,得到日志处理结果。
在一个可能的实现中,所述基于所述日志消息进行哈希计算,得到哈希值的步骤,包括:
对所述日志消息进行预设数据格式的解析,得到消息内容;
对所述消息内容进行哈希计算,得到初步哈希值以及日志服务实例个数;
对所述初步哈希值和所述日志服务实例个数进行取模运算,得到最终哈希值。
在一个可能的实现中,所述将所述哈希值传输至所述哈希值对应的指定通道的步骤,包括:
按照每个所述通道对应的所述哈希值范围,确定所述哈希值对应的指定通道;
将所述哈希值传输至所述指定通道。
在一个可能的实现中,所述通过不同的所述通道分别对所述哈希值对应的日志数据进行处理,得到日志处理结果的步骤,包括:
通过不同的所述通道,分别将所述哈希值传输至所述通道对应的日志处理服务;
利用不同的所述日志处理服务,分别对所述哈希值对应的日志数据进行处理,得到日志处理结果。
在一个可能的实现中,所述利用不同的所述日志处理服务,分别对所述哈希值对应的日志数据进行处理,得到日志处理结果的步骤,包括:
针对每个所述日志处理服务,对所述哈希值对应的日志数据进行分类归档、流式计算以及日志统计,得到日志处理结果。
在一个可能的实现中,所述方法还包括:
将多个所述日志处理服务对应的所述日志处理结果存储至数据库。
在一个可能的实现中,所述方法还包括:
接受客户端发送的日志检索请求;
根据所述日志检索请求,将所述数据库中的所述日志检索请求对应的所述日志处理结果反馈至所述客户端,以使所述客户端对所述日志处理结果进行展示。
第二方面,本申请实施例提供了一种基于云平台的日志数据处理装置,所述装置包括:
获取模块,用于获取所述云平台的日志消息;
计算模块,用于基于所述日志消息进行哈希计算,得到哈希值;
传输模块,用于将所述哈希值传输至所述哈希值对应的指定通道;其中,每个所述通道对应一个哈希值范围;
处理模块,用于通过不同的所述通道分别对所述哈希值对应的日志数据进行处理,得到日志处理结果。
第三方面,本申请实施例提供了一种服务端设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果:
本申请实施例提供了一种基于云平台的日志数据处理方法、装置以及服务端设备,能够获取云平台的日志消息,然后基于日志消息进行哈希计算,得到哈希值,并将哈希值传输至哈希值对应的指定通道,其中,每个通道对应一个哈希值范围,最终通过不同的通道分别对哈希值对应的日志数据进行处理,得到日志处理结果。本方案中,利用获取的日志消息计算得到对应的哈希值,并根据不同的哈希值范围所对应的指定通道分别对日志数据进行处理,能够将不同的日志数据处理过程拆分成多个部分来实现,提高了云平台的日志数据的处理效率,而且还提升了日志系统的稳定性和容错性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于云平台的日志数据处理方法的传统方案示意图;
图2为本申请实施例提供的一种基于云平台的日志数据处理方法的流程示意图;
图3为本申请实施例提供的一种基于云平台的日志数据处理方法示意图;
图4为本申请实施例提供的一种基于云平台的日志数据处理方法的一种云平台日志处理流程图;
图5为本申请实施例提供的一种基于云平台的日志数据处理方法的另一种云平台日志处理流程图;
图6为本申请实施例提供的一种基于云平台的日志数据处理装置的结构示意图;
图7示出了本申请实施例所提供的一种服务端设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,如图1所示,处理云平台日志数据常采用的一种方案是将日志处理作为云平台的一种功能,其中日志的收集、处理等过程都由云平台来提供,则会导致日志与云平台之间耦合严重,存在安全隐患问题,而且当日志数量较大时,日志的存储以及处理过程会占用大量的云平台资源,降低了云平台系统整体的稳定性和效率,性能瓶颈比较明显。另一种方案是云平台将内部各个服务、中间件、系统等产生的日志数据,直接转发到独立的日志收集服务,然后通过不断地优化日志收集服务的性能来提供日志处理能力,但是此方案无法支持服务的水平扩展,而且当遇到高并发数据时(如双十一整点抢购场景),利用日志服务并不能高效地动态调节系统资源,降低了系统的数据处理效率和稳定性,使云平台的日志数据处理效率较低。
基于此,本申请实施例提供了一种基于云平台的日志数据处理方法、装置以及服务端设备,通过该方法可以缓解基于云平台的日志数据处理效率较低的技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图2为本申请实施例提供的一种基于云平台的日志数据处理方法的流程示意图。如图2所示,该方法包括:
步骤S210,获取云平台的日志消息。
需要说明的是,当企业设备的工况数据接入云平台系统之后,会产生大量的日志消息,如报警日志、微服务运行日志、接口请求日志、工况上传日志等,通过云平台可以获取云平台的日志消息。例如,如图3和图4所示,可以获取来自云平台转发过来的日志消息。
步骤S220,基于日志消息进行哈希计算,得到哈希值。
例如,如图3所示,对日志消息进行哈希计算,并将计算得到的值与日志处理的实例个数进行取模运算,最终得到哈希值。
步骤S230,将哈希值传输至哈希值对应的指定通道。
其中,每个通道对应一个哈希值范围。例如,如图3所示,每个通道对应相应的哈希值范围,将哈希值转发至对应哈希值范围的指定通道中,增强了日志消息传输的独立性,提高了数据处理的精确性和效率。
步骤S240,通过不同的通道分别对哈希值对应的日志数据进行处理,得到日志处理结果。
例如,如图3所示,可以通过指定通道获取对应哈希值对应的日志数据,并对日志数据进行归档、统计、报警等处理,得到相应的日志处理结果。
本实施例中,利用获取的日志消息可以计算得到对应的哈希值,并利用不同哈希值范围所对应的指定通道分别对日志数据进行处理,最终得到日志处理结果,增强了日志数据处理过程的独立性,提高了云平台系统的稳定性和容错性,提高了对云平台的日志数据的处理效率。
下面对上述步骤进行详细介绍。
在一些实施例中,可以利用日志消息得到最终哈希值。作为一个示例,上述步骤S220可以包括如下步骤:
步骤a),对日志消息进行预设数据格式的解析,得到消息内容;
步骤b),对消息内容进行哈希计算,得到初步哈希值以及日志服务实例个数;
步骤c),对初步哈希值和日志服务实例个数进行取模运算,得到最终哈希值。
例如,如图3所示,可以获取云平台产生的日志消息如操作系统日志、网络守护进程日志、应用程序日志等,然后对日志消息按照预设数据格式进行处理,并标记其为类型ID(typeId)、日志级别ID(level)、日志创建时间(createTime)以及数据内容(data)。类型ID(typeId)和日志级别ID(level)会依据相应的字典进行对表查询,其中,类型ID(typeId)是用于区分日志消息的位置来源,日志级别ID(level)是用于区分日志消息的级别,可具体可分为ERROR、WARN、INFO、DEBUG。
又例如,如图4和图5所示,进一步通过json解析可以得到消息内容,然后对消息内容进行哈希计算,得到初步哈希值与日志服务实例个数,其中,日志服务的实例个数为N(N>=1),且每个日志服务都有唯一的服务ID(serverID),进而将初步哈希值和日志服务实例个数两者进行取模运算,得到最终哈希值。
通过将日志消息进行一定的解析,并对解析得到的消息内容进行计算处理得到最终哈希值,提高了处理日志数据的准确性,提升了日志系统对云平台资源的利用效率。
在一些实施例中,可以利用不同哈希值范围的指定通道来传输对应的哈希值。作为一个示例,上述步骤S230可以包括如下步骤:
步骤d),按照每个通道对应的哈希值范围,确定哈希值对应的指定通道;
步骤e),将哈希值传输至指定通道。
例如,如图3所示,首先设置每个通道对应的哈希值范围,并确定哈希值对应的指定通道,然后将此哈希值传输至指定通道。又例如,如图5所示,根据计算得到的哈希值找到对应的哈希值取值范围的指定通道,并确定当前日志服务的服务ID(serverID),然后将哈希值推送到此服务ID(serverID)对应的指定通道中。
通过设置不同哈希值范围的指定通道,能够灵活地调节整体系统的资源,提高了系统的稳定性和容错性。
在一些实施例中,可以利用不同的通道对应的日志处理服务可以得到对应的日志处理结果。作为一个示例,上述步骤S240可以包括如下步骤:
步骤f),通过不同的通道,分别将哈希值传输至通道对应的日志处理服务;
步骤g),利用不同的日志处理服务,分别对哈希值对应的日志数据进行处理,得到日志处理结果。
例如,如图3所示,日志处理服务负责监听对应的指定通道来获取对应的日志数据,并对日志数据进行归档、统计、报警等处理,而且每个通道有且仅有一个日志处理服务负责订阅,一旦启动,上述日志服务的实例则会订阅此指定通道,并通过该指定通道获取对应的日志消息。
又例如,日志处理服务可以配置报警机制,如果日志处理服务收到ERROR级别的日志消息,则会触发相应的报警机制,并通过短信、邮件、语音电话等方式进行报警提示,能够及时提醒用户处理问题。
通过不同的通道可以分别将不同的哈希值传输至通道相应的日志处理服务,能够及时对不同的日志数据进行处理,有利于帮助用户快速定位故障问题,提高了各个处理过程的独立性和稳定性。
基于此,可以针对不同的日志处理服务对哈希值对应的日志数据进行相应的处理。作为一个示例,上述步骤g)可以包括如下步骤:
步骤h),针对每个日志处理服务,对哈希值对应的日志数据进行分类归档、流式计算以及日志统计,得到日志处理结果。
需要说明的是,日志处理服务是通过订阅指定通道来解析获取消息内容,然后根据标记的类型ID(typeId)对日志数据进行分类归档,或者采用流式计算的方法来处理哈希值对应的日志数据,得到各种维度的统计数据结构。
通过不同的日志处理服务可以对哈希值对应的日志数据进行不同的计算处理,增强了处理日志数据的灵活性和多样性,提高了日志系统对云平台资源的利用效率。
在一些实施例中,可以利用数据库来存储日志处理结果。作为一个示例,该方法还包括如下步骤:
步骤i),将多个日志处理服务对应的日志处理结果存储至数据库。
需要说明的是,利用数据库可以负责存储多个日志处理服务对应的日志处理结果如日志原始数据以及分类归档、统计后的各种维度的日志数据等,而且每个日志处理服务都会连通对应的数据库。
通过数据库可以存储各种类型的日志处理结果,能够保证不同日志数据的一致性,提高了数据处理的效率和准确性。
基于此,还可以利用日志检索请求实时监测日志数据处理过程。作为一个示例,该方法还包括如下步骤:
步骤j),接受客户端发送的日志检索请求;
步骤k),根据日志检索请求,将数据库中的日志检索请求对应的日志处理结果反馈至客户端,以使客户端对日志处理结果进行展示。
例如,通过客户端来发送日志检索请求,然后将数据库中的日志检索请求对应的日志处理结果反馈至客户端,能够实现将日志处理结果进行可视化展示,以使用户可以利用交互界面进行日志检索,方便管理各类型的日志数据。
因此,用户可以利用云平台资源快速查找日志数据,及时排查云平台系统出现的故障问题,同时还可以根据日志统计数据,实时监控云平台的运行状况,提高了日志系统的稳定性和容错性。
图6提供了一种基于云平台的日志数据处理装置的结构示意图,如图6所示,基于云平台的日志数据处理装置600包括:
获取模块601,用于获取云平台的日志消息;
计算模块602,用于基于日志消息进行哈希计算,得到哈希值;
传输模块603,用于将哈希值传输至哈希值对应的指定通道;其中,每个通道对应一个哈希值范围;
处理模块604,用于通过不同的通道分别对哈希值对应的日志数据进行处理,得到日志处理结果。
在一些实施例中,计算模块602具体用于:
对日志消息进行预设数据格式的解析,得到消息内容;
对消息内容进行哈希计算,得到初步哈希值以及日志服务实例个数;
对初步哈希值和日志服务实例个数进行取模运算,得到最终哈希值。
在一些实施例中,传输模块603具体用于:
按照每个通道对应的哈希值范围,确定哈希值对应的指定通道;
将哈希值传输至指定通道。
在一些实施例中,处理模块604包括:
第一传输子模块,用于通过不同的通道,分别将哈希值传输至通道对应的日志处理服务;
第一处理子模块,用于利用不同的日志处理服务,分别对哈希值对应的日志数据进行处理,得到日志处理结果。
在一些实施例中,第一处理子模块具体用于:
针对每个日志处理服务,对哈希值对应的日志数据进行分类归档、流式计算以及日志统计,得到日志处理结果。
在一些实施例中,该装置还包括:
存储模块,用于将多个日志处理服务对应的日志处理结果存储至数据库。
在一些实施例中,该装置还包括:
接受模块,用于接受客户端发送的日志检索请求;
反馈模块,用于根据日志检索请求,将数据库中的日志检索请求对应的日志处理结果反馈至客户端,以使客户端对日志处理结果进行展示。
本申请实施例提供的基于云平台的日志数据处理装置,与上述实施例提供的基于云平台的日志数据处理方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本申请实施例提供的一种服务端设备,如图7所示,服务端设备700包括处理器702、存储器701,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图7,服务端设备还包括:总线703和通信接口704,处理器702、通信接口704和存储器701通过总线703连接;处理器702用于执行存储器701中存储的可执行模块,例如计算机程序。
其中,存储器701可能包含高速随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口704(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线703可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器701用于存储程序,所述处理器702在接收到执行指令后,执行所述程序,前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器702中,或者由处理器702实现。
处理器702可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器702可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701,处理器702读取存储器701中的信息,结合其硬件完成上述方法的步骤。
对应于上述基于云平台的日志数据处理方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述基于云平台的日志数据处理方法的步骤。
本申请实施例所提供的基于云平台的日志数据处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
再例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述基于云平台的日志数据处理方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于云平台的日志数据处理方法,其特征在于,所述方法包括:
获取所述云平台的日志消息;
对所述日志消息进行预设数据格式的解析,得到消息内容;
对所述消息内容进行哈希计算,得到初步哈希值以及日志服务实例个数;
对所述初步哈希值和所述日志服务实例个数进行取模运算,得到最终的哈希值;
按照每个通道对应的哈希值范围,确定所述哈希值对应的指定通道;将所述哈希值传输至所述指定通道;
通过不同的所述通道,分别将所述哈希值传输至所述通道对应的日志处理服务;
利用不同的所述日志处理服务,分别对所述哈希值对应的日志数据进行处理,得到日志处理结果,所述日志处理结果包括:原始的日志数据、分类归档、统计后的各种维度的统计数据。
2.根据权利要求1所述的基于云平台的日志数据处理方法,其特征在于,所述利用不同的所述日志处理服务,分别对所述哈希值对应的日志数据进行处理,得到日志处理结果的步骤,包括:
针对每个所述日志处理服务,对所述哈希值对应的日志数据进行分类归档、流式计算以及日志统计,得到日志处理结果。
3.根据权利要求1所述的基于云平台的日志数据处理方法,其特征在于,还包括:
将多个所述日志处理服务对应的所述日志处理结果存储至数据库。
4.根据权利要求3所述的基于云平台的日志数据处理方法,其特征在于,还包括:
接受客户端发送的日志检索请求;
根据所述日志检索请求,将所述数据库中的所述日志检索请求对应的所述日志处理结果反馈至所述客户端,以使所述客户端对所述日志处理结果进行展示。
5.一种基于云平台的日志数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取所述云平台的日志消息;
计算模块,用于对所述日志消息进行预设数据格式的解析,得到消息内容;对所述消息内容进行哈希计算,得到初步哈希值以及日志服务实例个数;对所述初步哈希值和所述日志服务实例个数进行取模运算,得到最终的哈希值;
传输模块,用于按照每个通道对应的哈希值范围,确定所述哈希值对应的指定通道;将所述哈希值传输至所述指定通道;
处理模块,用于通过不同的所述通道,分别将所述哈希值传输至所述通道对应的日志处理服务;利用不同的所述日志处理服务,分别对所述哈希值对应的日志数据进行处理,得到日志处理结果,所述日志处理结果包括:原始的日志数据、分类归档、统计后的各种维度的统计数据。
6.一种服务端设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110150791.6A CN112866029B (zh) | 2021-02-03 | 2021-02-03 | 基于云平台的日志数据处理方法、装置以及服务端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110150791.6A CN112866029B (zh) | 2021-02-03 | 2021-02-03 | 基于云平台的日志数据处理方法、装置以及服务端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112866029A CN112866029A (zh) | 2021-05-28 |
CN112866029B true CN112866029B (zh) | 2023-09-29 |
Family
ID=75987791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110150791.6A Active CN112866029B (zh) | 2021-02-03 | 2021-02-03 | 基于云平台的日志数据处理方法、装置以及服务端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112866029B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103532876A (zh) * | 2013-10-23 | 2014-01-22 | 中国科学院声学研究所 | 数据流的处理方法与系统 |
CN106294700A (zh) * | 2016-08-08 | 2017-01-04 | 无锡天脉聚源传媒科技有限公司 | 一种日志的存储与读取方法及装置 |
CN107819828A (zh) * | 2017-10-16 | 2018-03-20 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
CN108199982A (zh) * | 2018-01-03 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 报文处理方法、装置、存储介质和计算机设备 |
CN108228875A (zh) * | 2018-01-18 | 2018-06-29 | 北京奇安信科技有限公司 | 基于完美哈希的日志解析方法及装置 |
CN111629051A (zh) * | 2020-05-26 | 2020-09-04 | 北京邮电大学 | 一种用于工业互联网标识解析系统的性能优化方法及装置 |
CN111930700A (zh) * | 2020-07-13 | 2020-11-13 | 车智互联(北京)科技有限公司 | 一种分布式日志处理方法、服务器、系统和计算设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140092900A1 (en) * | 2012-09-28 | 2014-04-03 | James W. Kisela | Methods and apparatuses to split incoming data into sub-channels to allow parallel processing |
-
2021
- 2021-02-03 CN CN202110150791.6A patent/CN112866029B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103532876A (zh) * | 2013-10-23 | 2014-01-22 | 中国科学院声学研究所 | 数据流的处理方法与系统 |
CN106294700A (zh) * | 2016-08-08 | 2017-01-04 | 无锡天脉聚源传媒科技有限公司 | 一种日志的存储与读取方法及装置 |
CN107819828A (zh) * | 2017-10-16 | 2018-03-20 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
WO2019075978A1 (zh) * | 2017-10-16 | 2019-04-25 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
CN108199982A (zh) * | 2018-01-03 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 报文处理方法、装置、存储介质和计算机设备 |
CN108228875A (zh) * | 2018-01-18 | 2018-06-29 | 北京奇安信科技有限公司 | 基于完美哈希的日志解析方法及装置 |
CN111629051A (zh) * | 2020-05-26 | 2020-09-04 | 北京邮电大学 | 一种用于工业互联网标识解析系统的性能优化方法及装置 |
CN111930700A (zh) * | 2020-07-13 | 2020-11-13 | 车智互联(北京)科技有限公司 | 一种分布式日志处理方法、服务器、系统和计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112866029A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111049705B (zh) | 一种监控分布式存储系统的方法及装置 | |
CN110347716B (zh) | 日志数据处理方法、装置、终端设备及存储介质 | |
CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
CN111274095B (zh) | 日志数据处理方法、装置、设备及计算机可读存储介质 | |
CN111459782B (zh) | 监控业务系统的方法、装置、云平台系统和服务器 | |
CN109669795B (zh) | 崩溃信息处理方法及装置 | |
CN111611207B (zh) | 状态数据处理方法、装置及计算机设备 | |
CN112232881A (zh) | 一种数据检测方法、装置、电子设备及存储介质 | |
CN113596078A (zh) | 业务问题定位方法及装置 | |
CN109818808B (zh) | 故障诊断方法、装置和电子设备 | |
CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
CN112866029B (zh) | 基于云平台的日志数据处理方法、装置以及服务端设备 | |
CN110442439B (zh) | 任务进程处理方法、装置和计算机设备 | |
CN113312321A (zh) | 一种业务量的异常监测方法及相关设备 | |
CN110011845B (zh) | 日志采集方法及系统 | |
CN113220522A (zh) | 服务异常自动定位方法和装置 | |
CN114297061A (zh) | 软件项目故障定位方法、装置及电子设备 | |
CN114817162A (zh) | 数据流向的分析方法、装置及服务器 | |
CN112650649A (zh) | 报表监控方法、装置、计算机可读存储介质及电子设备 | |
CN113746920A (zh) | 一种数据转发方法、装置、电子设备及计算机可读存储介质 | |
CN112256731A (zh) | 数据展示方法、装置及电子设备 | |
CN112416874A (zh) | 一种监控数据采集方法、系统、设备及存储介质 | |
CN112261139A (zh) | 业务数据采集方法、装置以及电子设备 | |
CN111782479A (zh) | 日志处理方法、装置、电子设备及计算机可读存储介质 | |
CN109388546B (zh) | 处理应用程序的故障的方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |