CN106250405A - 一种海量信息处理系统 - Google Patents
一种海量信息处理系统 Download PDFInfo
- Publication number
- CN106250405A CN106250405A CN201610577667.7A CN201610577667A CN106250405A CN 106250405 A CN106250405 A CN 106250405A CN 201610577667 A CN201610577667 A CN 201610577667A CN 106250405 A CN106250405 A CN 106250405A
- Authority
- CN
- China
- Prior art keywords
- log information
- time
- real
- log
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
- H04L41/0622—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on time
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种海量信息处理系统,客户端对采集到的新增的日志信息进行过滤,能够减少传输日志信息时无效日志信息所占用的传输带宽,将实时性高的日志信息实时发送给服务器,将实时性低的日志信息延后发送给服务器,能够有效地缩短日志信息采集的周期,日志服务器将告警日志信息及时发送给告警处理装置,能够满足对日志信息中的告警信息及时输出的要求,并将非告警日志信息分别存储到不同的存储位置中,日志信息的类别与针对日志信息进行操作的操作类别相对应,使得日志操作平台在对日志信息进行操作的过程中,能够根据操作类别来判断出日志信息的存储位置,能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。
Description
技术领域
本发明涉及数据处理技术,尤其是涉及一种海量信息处理系统。
背景技术
对于业务支撑网运营管理系统来说,随着支撑网络和业务的复杂性和多元性逐渐加强,业务监控的粒度也越来越细,由此产生的服务日志信息量越来越多,特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过200G,而且这些业务服务日志分布在几十台服务器上。同时,业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。
目前,针对日志信息的采集方法主要有两种方式来实现:
采集方法一:集中处理服务器(或称为服务器)上的处理程序通过Telnet采集(即远程控制命令采集)分布在各个日志服务器上的日志信息,或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上;集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。
采集方法二:各个日志服务器(或称为客户端)对自身的日志数据进行净化处理,净化处理包括对日志信息的抽取、合并和保存等操作过程,并将净化处理后的日志数据上传到集中处理服务器,集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件,进行提炼处理。
现有技术针对日志信息的存储和操作通过以下两种方式来解决:
存储和操作方法一:当日志信息提炼完成后,根据需要的要素保持到磁盘关系型数据库,通过SQL语句进行统计分析、告警信息过滤采集,通过标准SQL提供对外的查询;
存储和操作方法二:当日志信息提炼后,保存到文件中,提供相关的通用接口,通过对文件全量的扫描,提供对外的统计处理服务。
从上述采集方法中可以看出,现有的日志信息采集方法存在以下缺陷:
采集方法一存在显著日志处理性能瓶颈,集中处理服务器采集到的各个日志服务器上的日志信息中包括大量无效的日志信息,传输这些无效的日志信息占用了大量的网络传输带宽,极大地影响了日志信息的采集速度和采集周期;更重要的是,随着业务日志达到一定规模,无效的日志信息对集中服务器处理压力就变得更为显著,这样就造成集中处理服务器上的处理逻辑越来越复杂,处理日志信息、输出日志信息中的告警信息的及时性得不到保证;
采集方法二虽然在日志服务器上先对日志进行净化,净化处理包括抽取、合并和保存等操作过程,这就使得净化处理延长了日志信息采集的周期,同样极大地影响了日志信息的采集速度;以及在后续集中服务器对日志信息的存储查询处理中,输出日志信息中的告警信息的及时性得不到保证。
从上述存储查询方法中可以看出,现有的存储操作方法存在以下缺陷:
存储和操作方法一:将提炼处理后的日志信息保存在磁盘关系型数据库(比如Oracle)中,通过SQL语句对其中的海量数据进行检索和查询,对于复杂的数据分析场景,往往需要对多张大表做笛卡尔集合后再关联查询,造成等待响应的时间过长,无法满足对日志信息中的告警信息及时输出的要求;
存储和操作方法二:处理后的数据保存在文件中,通常文件根据时间段来组织的。故后续的分析处理,一般会对一个文件全量进行扫描处理,显然查询和分析处理的效率比较低,也无法满足对日志信息中的告警信息及时输出的要求。
可见,现有的针对海量日志信息的采集处理和存储查询处理方法,存在采集周期过长、无效日志信息占用过多传输带宽的问题,对海量日志信息的查询和统计处理的处理时间长、效率低,无法满足对日志信息中的告警信息及时输出的要求的问题。
发明内容
本发明实施例提供一种海量日志信息的处理系统,包括:日志客户端、日志服务器和日志操作平台;日志客户端,用于采集日志客户端上新增的日志信息;按照预定的过滤规则对采集到的日志信息中的数据进行过滤;根据预定的日志信息和实时性等级的对应关系,在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识;根据日志信息中的实时性标识,将实时性标识所代表的高实时性的日志信息实时发送给日志服务器,将实时性标识所代表的低实时性的日志信息延后发送给日志服务器;日志服务器,用于接收来自日志客户端的日志信息;根据预定的告警规则,判断接收到的日志信息为告警日志信息的情况下,将告警日志信息发送给告警处理装置;根据非告警日志信息的类别和接收日志信息的时间,将非告警日志信息分别存储到关系型数据库、日志服务器的内存数据库或者文件系统,其中,日志信息的类别与针对日志信息进行操作的操作类别相对应,存储到关系型数据库中的日志信息为统计操作提供数据基础,存储到日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础,存储到文件系统中的日志信息为非实时的查询操作提供数据基础;日志操作平台,用于接收用户输入的操作请求;操作请求中包括操作类别,操作类别包括统计操作和查询操作,查询操作包括实时查询操作和非实时查询操作;根据操作类别判断操作请求所针对的日志信息的存储位置;其中,日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统;关系型数据库中存储针对统计操作的日志信息,日志服务器的内存数据库中存储针对实时查询操作的日志信息,文件系统中存储非实时查询操作的日志信息;根据确定的存储位置查找到操作请求所针对的日志信息,并对该日志信息执行与操作请求对应的操作。
根据本发明实施例的技术方案,在本发明实施例提供的用于日志信息采集的海量日志信息的处理方法中,日志客户端对采集到的新增的日志信息进行过滤,能够过滤掉采集到的日志信息中的无效日志信息,减少传输日志信息时无效日志信息所占用的传输带宽,并根据预定的日志信息和实时性等级的对应关系,在过滤后的日志信息中携带实时性标识,在将过滤后的日志信息发送给服务器的过程中,将实时性高的日志信息实时发送给服务器,将实时性低的日志信息延后发送给服务器,能够有效地缩短日志信息采集的周期;在本发明实施例提供的用于日志信息的存储的海量日志信息的处理方法中,日志服务器将告警日志信息及时发送给告警处理装置,能够快速地将告警信息发送给告警处理装置,能够满足对日志信息中的告警信息及时输出的要求,根据非告警日志信息的类别和接收日志信息的时间,将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统,并且,日志信息的类别与针对日志信息进行操作的操作类别相对应,使得日志操作平台在对日志信息进行操作的过程中,能够根据操作类别来判断出日志信息的存储位置,并且关系型数据库和内存数据库中对数据的读取速度较快,能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率,从而能够解决现有技术中针对海量日志信息的采集处理和存储查询处理方法,存在采集周期过长、无效日志信息占用过多传输带宽的问题,对海量日志信息的操作处理时间长、效率低,无法满足对日志信息中的告警信息及时输出的要求的问题。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例提供的海量日志信息的处理系统的结构原理框图。
具体实施方式
以下结合附图对本发明的实施例进行说明,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明。
图1示出了本发明实施例提供的海量日志信息的处理系统的结构,该系统包括:日志客户端91、日志服务器92和日志操作平台93;
日志客户端91,用于采集日志客户端91上新增的日志信息;按照预定的过滤规则对采集到的日志信息中的数据进行过滤;根据预定的日志信息和实时性等级的对应关系,在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识;根据日志信息中的实时性标识,将实时性标识所代表的高实时性的日志信息实时发送给日志服务器92,将实时性标识所代表的低实时性的日志信息延后发送给日志服务器92;
日志服务器92,用于接收来自日志客户端91的日志信息;根据预定的告警规则,判断接收到的日志信息为告警日志信息的情况下,将告警日志信息发送给告警处理装置;根据非告警日志信息的类别和接收日志信息的时间,将非告警日志信息分别存储到关系型数据库、日志服务器92的内存数据库或者文件系统,其中,日志信息的类别与针对日志信息进行操作的操作类别相对应,存储到关系型数据库中的日志信息为统计操作提供数据基础,存储到日志服务器92的内存数据库中的日志信息为实时的查询操作提供数据基础,存储到文件系统中的日志信息为非实时的查询操作提供数据基础;
日志操作平台93,用于接收用户输入的操作请求;操作请求中包括操作类别,操作类别包括统计操作和查询操作,查询操作包括实时查询操作和非实时查询操作;根据操作类别判断操作请求所针对的日志信息的存储位置;其中,日志信息的存储位置包括关系型数据库、日志服务器92的内存数据库或者文件系统;关系型数据库中存储针对统计操作的日志信息,日志服务器92的内存数据库中存储针对实时查询操作的日志信息,文件系统中存储非实时查询操作的日志信息;根据确定的存储位置查找到操作请求所针对的日志信息,并对该日志信息执行与操作请求对应的操作。
通过图1所示的系统,也能够快速有效地缩短对对日志数据操作处理的时间、提高操作处理效率,从而能够解决现有技术中针对海量日志信息操作处理方法,存在对海量日志信息的操作处理时间长、效率低的问题。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (1)
1.一种海量日志信息的处理系统,其特征在于,包括:日志客户端、日志服务器和日志操作平台;
所述日志客户端,用于采集所述日志客户端上新增的日志信息;按照预定的过滤规则对采集到的日志信息中的数据进行过滤;根据预定的日志信息和实时性等级的对应关系,在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识;根据日志信息中的实时性标识,将实时性标识所代表的高实时性的日志信息实时发送给日志服务器,将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器;
所述日志服务器,用于接收来自所述日志客户端的日志信息;根据预定的告警规则,判断接收到的日志信息为告警日志信息的情况下,将告警日志信息发送给告警处理装置;根据非告警日志信息的类别和接收日志信息的时间,将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统,其中,日志信息的类别与针对日志信息进行操作的操作类别相对应,存储到所述关系型数据库中的日志信息为统计操作提供数据基础,存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础,存储到所述文件系统中的日志信息为非实时的查询操作提供数据基础;
所述日志操作平台,用于接收用户输入的操作请求;操作请求中包括操作类别,操作类别包括统计操作和查询操作,所述查询操作包括实时查询操作和非实时查询操作;根据操作类别判断操作请求所针对的日志信息的存储位置;其中,日志信息的存储位置包括所述关系型数据库、所述日志服务器的内存数据库或者文件系统;所述关系型数据库中存储针对所述统计操作的日志信息,所述日志服务器的内存数据库中存储针对所述实时查询操作的日志信息,所述文件系统中存储非实时查询操作的日志信息;根据确定的存储位置查找到操作请求所针对的日志信息,并对该日志信息执行与操作请求对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610577667.7A CN106250405A (zh) | 2016-07-21 | 2016-07-21 | 一种海量信息处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610577667.7A CN106250405A (zh) | 2016-07-21 | 2016-07-21 | 一种海量信息处理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106250405A true CN106250405A (zh) | 2016-12-21 |
Family
ID=57613569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610577667.7A Pending CN106250405A (zh) | 2016-07-21 | 2016-07-21 | 一种海量信息处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106250405A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107612740A (zh) * | 2017-09-30 | 2018-01-19 | 武汉光谷信息技术股份有限公司 | 一种分布式环境下的日志监控系统及方法 |
CN109145194A (zh) * | 2017-06-27 | 2019-01-04 | 北京国双科技有限公司 | 用户行为数据的采集方法及装置 |
CN110569179A (zh) * | 2018-06-06 | 2019-12-13 | 富晋精密工业(晋城)有限公司 | 数据采集系统及数据采集方法 |
CN111209128A (zh) * | 2019-12-20 | 2020-05-29 | 翱捷科技(上海)有限公司 | 一种嵌入式系统及其日志管理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208991A (zh) * | 2010-03-29 | 2011-10-05 | 腾讯科技(深圳)有限公司 | 一种日志处理方法、设备和系统 |
US20120011121A1 (en) * | 2010-07-07 | 2012-01-12 | Alibaba Group Holding Limited | Data analysis using multiple systems |
CN103942210A (zh) * | 2013-01-21 | 2014-07-23 | 中国移动通信集团上海有限公司 | 海量日志信息的处理方法、装置与系统 |
-
2016
- 2016-07-21 CN CN201610577667.7A patent/CN106250405A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208991A (zh) * | 2010-03-29 | 2011-10-05 | 腾讯科技(深圳)有限公司 | 一种日志处理方法、设备和系统 |
US20120011121A1 (en) * | 2010-07-07 | 2012-01-12 | Alibaba Group Holding Limited | Data analysis using multiple systems |
CN103942210A (zh) * | 2013-01-21 | 2014-07-23 | 中国移动通信集团上海有限公司 | 海量日志信息的处理方法、装置与系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145194A (zh) * | 2017-06-27 | 2019-01-04 | 北京国双科技有限公司 | 用户行为数据的采集方法及装置 |
CN107612740A (zh) * | 2017-09-30 | 2018-01-19 | 武汉光谷信息技术股份有限公司 | 一种分布式环境下的日志监控系统及方法 |
CN110569179A (zh) * | 2018-06-06 | 2019-12-13 | 富晋精密工业(晋城)有限公司 | 数据采集系统及数据采集方法 |
CN111209128A (zh) * | 2019-12-20 | 2020-05-29 | 翱捷科技(上海)有限公司 | 一种嵌入式系统及其日志管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106250287A (zh) | 一种日志信息处理装置 | |
CN106169959A (zh) | 一种日志处理装置 | |
US9948715B1 (en) | Implementation of a web-scale data fabric | |
CN103942210B (zh) | 海量日志信息的处理方法、装置与系统 | |
CN105446991B (zh) | 数据存储方法、查询方法及设备 | |
CN102902775B (zh) | 互联网实时计算的方法和系统 | |
CN106250405A (zh) | 一种海量信息处理系统 | |
CN110663030A (zh) | 用于处理极端数据的边缘设备、系统和方法 | |
CN106250406A (zh) | 一种日志处理方法 | |
CN105468492A (zh) | 一种基于搜索引擎的数据监控方法和系统 | |
CN104077402A (zh) | 数据处理方法和数据处理系统 | |
CN106227644A (zh) | 一种海量信息处理装置 | |
CN105528447B (zh) | 一种对特定数据逐层边剔除边汇总的方法 | |
CN105378730A (zh) | 社交媒体分析与输出 | |
CN106776837A (zh) | 一种基于MongoDB的证券实时交易关联分析的方法 | |
CN102314916A (zh) | 一种视频处理方法和系统 | |
CN105278879A (zh) | 监控数据的处理方法及装置 | |
CN103310375A (zh) | 智慧天网行为审计分析系统 | |
CN106227797A (zh) | 一种海量日志信息的处理方法 | |
KARACAN et al. | A review on business intelligence and big data | |
CN106202509A (zh) | 一种日志信息的处理方法 | |
Gaurav et al. | An outline on big data and big data analytics | |
CN111240866B (zh) | 一种业务数据处理方法及装置 | |
KR101600275B1 (ko) | 실시간 빅 데이터 이벤트 처리 시스템 | |
CN111262838A (zh) | 一种网络安全智能分析方法、系统及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: No. 52 Kwun Tong Road in Liuzhou city of the Guangxi Zhuang Autonomous Region in 545005 Applicant after: LIUZHOU LONGHUI SCIENCE & TECHNOLOGY CO., LTD. Address before: 545005 the Guangxi Zhuang Autonomous Region Liuzhou Liunan District City Station Road No. 94, a new era of commercial port logistics warehousing center No. 5 Floor 4 No. 022 Applicant before: LIUZHOU LONGHUI SCIENCE & TECHNOLOGY CO., LTD. |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161221 |