CN202364244U - 分布式日志分析系统处理装置 - Google Patents
分布式日志分析系统处理装置 Download PDFInfo
- Publication number
- CN202364244U CN202364244U CN2011205238959U CN201120523895U CN202364244U CN 202364244 U CN202364244 U CN 202364244U CN 2011205238959 U CN2011205238959 U CN 2011205238959U CN 201120523895 U CN201120523895 U CN 201120523895U CN 202364244 U CN202364244 U CN 202364244U
- Authority
- CN
- China
- Prior art keywords
- distributed
- data processing
- server
- port
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 21
- 230000001419 dependent effect Effects 0.000 claims description 27
- 230000000712 assembly Effects 0.000 claims description 16
- 238000000429 assembly Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 abstract 1
- 230000002354 daily effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本实用新型涉及一种分布式日志分析系统处理装置，包括有日志服务器，其特点是：日志服务器的主数据处理端口，通过通讯线材连接分布式集群主机的主数据处理端口，分布式集群主机的从数据处理端口，通过通讯线材连接分布式集群从属服务器组的从数据处理端口。同时，从属服务器组的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口，日志服务器上设置有辅助对外开放接口组件。由此，依托于分布式集群从属服务器组的存在，将海量的数据文件分发到每个DataNode，每个DataNode只需计算处理少部分数据。同时，可依托实现同步的分布式计算来解决海量日志分析中时效，存储，计算的瓶颈。
Description
技术领域
本实用新型涉及一种处理装置，尤其涉及一种分布式日志分析系统处理装置。
背景技术
随着计算机的普及以及互联网的迅猛发展，公司上线的系统越来越多，随之产生的系统访问日志也是迅速增长，每天新增海量的系统日志。为了保护系统的安全，方便排查系统故障，监控系统运行状况，挖掘出日志中蕴藏的信息来改进用户体验，定期对产生的日志进行分析显得十分必要。管理员可以查看在某段时间内所发生的事件，也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大，不易读懂的特点，如果仅凭借管理员查看日志记录的手段，其中所蕴含的有用信息也难以发现。使用传统的技术对这些海量日志进行分析时无论在时效，存储和计算量上都遇到了瓶颈。
实用新型内容
本实用新型的目的就是为了解决现有技术中存在的上述问题，提供一种分布式日志分析系统处理装置。
本实用新型的目的通过以下技术方案来实现：
分布式日志分析系统处理装置，包括有日志服务器，其中：所述日志服务器的主数据处理端口，通过通讯线材连接分布式集群主机的主数据处理端口，所述分布式集群主机的从数据处理端口，通过通讯线材连接分布式集群从属服务器组的从数据处理端口，所述从属服务器组的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口，所述的日志服务器上设置有辅助对外开放接口组件。
进一步地，上述的分布式日志分析系统处理装置，其中：所述的分布式集群从属服务器组至少由四台分布式从属服务器组成，所述的从属服务器均设有独立的主数据处理端口与从数据处理端口，所述每个从属服务器的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口，所述每个从属服务器的从数据处理端口通过通讯线材连接日志服务器的从数据处理端口。
更进一步地，上述的分布式日志分析系统处理装置，其中：所述的辅助对外开放接口组件通过通讯线材连接有外接服务器。
本实用新型技术方案的优点主要体现在：依托于分布式集群从属服务器组的存在，将海量的数据文件分发到每个DataNode，每个DataNode只需计算处理少部分数据。并且，通过布式集群从属服务器组进行数据计算分析时平行处理的，可以线性扩展的，最大可以实现上千DataNode集群配置。同时，可依托实现同步的分布式计算来解决海量日志分析中时效，存储，计算的瓶颈。
附图说明
本实用新型的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本实用新型技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本实用新型要求保护的范围之内。这些附图当中，
图1是分布式日志分析系统处理装置的构造示意图。
具体实施方式
如图1所示的分布式日志分析系统处理装置，包括有日志服务器1，其与众不同之处在于：本实用新型所采用的日志服务器1的主数据处理端口，通过通讯线材6连接分布式集群主机2的主数据处理端口。与之对应的是，分布式集群主机2的从数据处理端口，通过通讯线材6连接分布式集群从属服务器组的从数据处理端口。并且，为了数据的名字结点和服务跟踪功能得以有效实现，从属服务器组的主数据处理端口通过通讯线材6连接日志服务器1的从数据处理端口。考虑到用于接收其他系统产生的日志数据和外接扩充的需要，在日志服务器1上设置有辅助对外开放接口组件4。
就本实用新型一较佳的实施方式来看，为了便于实现分布式日志分析，本实用新型所采用的分布式集群从属服务器组至少由四台分布式从属服务器3组成。考虑到可以提高处理能力，采用的从属服务器均设有独立的主数据处理端口与从数据处理端口。具体来说，每个从属服务器的主数据处理端口通过通讯线材6连接日志服务器1的从数据处理端口，每个从属服务器的从数据处理端口通过通讯线材6连接日志服务器1的从数据处理端口。由此，提升了每个从属服务器处理能力。
进一步来看，考虑到提高分布式日志分析的能力，辅助对外开放接口组件4通过通讯线材6连接有外接服务器5。
结合本实用新型的实际使用情况来看，分布式从属服务器3有数据节点和任务跟踪功能。同时，日志服务器1内部署有日志系统，能够将不同系统的日志数据保存为统一格式的日志文件，对日志数据进行预处理，便于将日志文件提交到分布式集群中。同样的，分布式集群主机2有名字结点和服务跟踪功能，提高处理功能。
通过上述的文字表述可以看出，采用本实用新型后，依托于分布式集群从属服务器组的存在，将海量的数据文件分发到每个DataNode，每个DataNode只需计算处理少部分数据。并且，通过布式集群从属服务器组进行数据计算分析时平行处理的，可以线性扩展的，最大可以实现上千DataNode集群配置。同时，可依托实现同步的分布式计算来解决海量日志分析中时效，存储，计算的瓶颈。
Claims (3)
1.分布式日志分析系统处理装置，包括有日志服务器，其特征在于：所述日志服务器的主数据处理端口，通过通讯线材连接分布式集群主机的主数据处理端口，所述分布式集群主机的从数据处理端口，通过通讯线材连接分布式集群从属服务器组的从数据处理端口，所述从属服务器组的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口，所述的日志服务器上设置有辅助对外开放接口组件。
2.根据权利要求1所述的分布式日志分析系统处理装置，其特征在于：所述的分布式集群从属服务器组至少由四台分布式从属服务器组成，所述的从属服务器均设有独立的主数据处理端口与从数据处理端口，所述每个从属服务器的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口，所述每个从属服务器的从数据处理端口通过通讯线材连接日志服务器的从数据处理端口。
3.根据权利要求1所述的分布式日志分析系统处理装置，其特征在于：所述的辅助对外开放接口组件通过通讯线材连接有外接服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011205238959U CN202364244U (zh) | 2011-12-15 | 2011-12-15 | 分布式日志分析系统处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011205238959U CN202364244U (zh) | 2011-12-15 | 2011-12-15 | 分布式日志分析系统处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN202364244U true CN202364244U (zh) | 2012-08-01 |
Family
ID=46575395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011205238959U Expired - Lifetime CN202364244U (zh) | 2011-12-15 | 2011-12-15 | 分布式日志分析系统处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN202364244U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102970158A (zh) * | 2012-11-05 | 2013-03-13 | 广东睿江科技有限公司 | 日志存储与处理的方法及日志服务器 |
| CN103023693A (zh) * | 2012-11-27 | 2013-04-03 | 北京小米科技有限责任公司 | 一种行为日志数据管理系统及方法 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
-
2011
- 2011-12-15 CN CN2011205238959U patent/CN202364244U/zh not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102970158A (zh) * | 2012-11-05 | 2013-03-13 | 广东睿江科技有限公司 | 日志存储与处理的方法及日志服务器 |
| CN103023693A (zh) * | 2012-11-27 | 2013-04-03 | 北京小米科技有限责任公司 | 一种行为日志数据管理系统及方法 |
| CN103023693B (zh) * | 2012-11-27 | 2015-12-23 | 小米科技有限责任公司 | 一种行为日志数据管理系统及方法 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103138989B (zh) * | 2013-02-25 | 2016-12-28 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104573122B (zh) | 一种从AIX平台向K‑UX平台迁移的Oracle数据库迁移工具 | |
| CN106651633A (zh) | 一种基于大数据技术的用电信息采集系统及其采集方法 | |
| CN106850258A (zh) | 一种日志管理系统、方法及装置 | |
| CN102932195B (zh) | 一种基于网络协议分析的业务分析监控方法及系统 | |
| CN206249316U (zh) | 一种基于云端的医院数据中心平台系统 | |
| CN102508908A (zh) | 一种下级财政业务数据的采集方法和系统 | |
| CN102262680A (zh) | 一种基于海量数据存取需求的分布式数据库代理系统 | |
| CN103309977B (zh) | 异构数据资源整合的方法 | |
| CN103207920A (zh) | 一种元数据并行采集系统 | |
| CN105138603A (zh) | 一种从HPUX平台向KUX平台迁移的Oracle数据库迁移工具 | |
| CN103678688B (zh) | 电力自动化通讯全过程报文快速存储及检索方法 | |
| CN105681474A (zh) | 一种基于企业级大数据平台支撑上层应用的系统架构 | |
| CN103646051A (zh) | 一种基于列存储的大数据并行处理系统及方法 | |
| CN104361031A (zh) | 一种政务大数据预处理系统及处理方法 | |
| KR101357135B1 (ko) | 로그 정보 수집 장치 | |
| CN108829704A (zh) | 一种大数据分布式挖掘分析服务技术 | |
| CN202364244U (zh) | 分布式日志分析系统处理装置 | |
| CN103034650B (zh) | 一种数据处理系统和方法 | |
| CN202068449U (zh) | 用于多级数据交换的数据交换平台 | |
| CN204046642U (zh) | 一种支持多协议的通信网关 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN107315743A (zh) | 一种基于适配器的大数据转换方法及系统 | |
| CN112100227A (zh) | 一种基于多级异构数据存储的大数据处理方法 | |
| CN103473848A (zh) | 一种基于高并发的网络发票查验构架及方法 | |
| CN204288199U (zh) | 打印设备打印口数据虚拟化系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: TONGCHENG NETWORK TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: SUZHOU TONGCHENG TRAVEL NETWORK TECHNOLOGY CO., LTD. Effective date: 20121217 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20121217 Address after: Xinghu Street Industrial Park of Suzhou city in Jiangsu province 215021 Creative Industry Park 5 Building No. 328 Patentee after: Tongcheng Network Technology Co., Ltd. Address before: Xinghu Street Industrial Park of Suzhou city in Jiangsu province 215021 Creative Industry Park 5 Building No. 328 Patentee before: Suzhou Tongcheng Travel Network Technology Co.,Ltd. |
|
| CX01 | Expiry of patent term |
Granted publication date: 20120801 |
|
| CX01 | Expiry of patent term |