CN107357804A - 互联网金融海量日志的分析系统及方法 - Google Patents

互联网金融海量日志的分析系统及方法 Download PDF

Info

Publication number
CN107357804A
CN107357804A CN201710373303.1A CN201710373303A CN107357804A CN 107357804 A CN107357804 A CN 107357804A CN 201710373303 A CN201710373303 A CN 201710373303A CN 107357804 A CN107357804 A CN 107357804A
Authority
CN
China
Prior art keywords
real
business
finance
module
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710373303.1A
Other languages
English (en)
Inventor
冯普超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai You And I Loan Internet Financial Information Service Co Ltd
Original Assignee
Shanghai You And I Loan Internet Financial Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai You And I Loan Internet Financial Information Service Co Ltd filed Critical Shanghai You And I Loan Internet Financial Information Service Co Ltd
Priority to CN201710373303.1A priority Critical patent/CN107357804A/zh
Publication of CN107357804A publication Critical patent/CN107357804A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种互联网金融海量日志的分析系统及分析方法，该分析系统包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。

Description

互联网金融海量日志的分析系统及方法
技术领域
本发明涉及互联网金融技术领域，具体来说，涉及一种互联网金融海量日志的分析系统及分析方法。
背景技术
现有的日志系统，部分是针对性能分析的，部分是针对数据处理的。而针对数据处理的，都是离线数据处理，很难做到实时监控，并且很难适应间歇性高并发的应用场景，尤其是针对互联网金融这种对数据一致性，时效性要求高的应用，如果不能及时针对线上故障做出响应，带来的影响就非常大。除此之外，现有的日志系统不能快速处理海量数据，导致问题发现的非常缓慢。
整体来说，现有的日志系统存在以下缺陷：
一、不能有效的应对间歇性的高并发情况。互联网应用因为时段、运营手段等原因，容易出现某个时段高并发情况，这个时候日志量会暴增，如果处理不好很容易出现宕机的情况。例如，突然的一些运营活动导致线上业务压力大、日志量井喷，很容使日志系统宕机；
二、实时性差。现有的日志系统很多都只是离线分析日志，或是准实时的分析日志，当出现线上问题时不能快速有效的响应；
三、处理的数据量有限。现有日志处理的数据量都比较有限，这导致不能保存足够长时间的日志，不利于问题排查。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述问题，本发明提出一种互联网金融海量日志的分析系统及分析方法，采用kafka作为日志传输工具，能够有效地解决高并发带来的风险；采用storm集群实时采集数据、分析结果，实现了海量日志实时分析。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种互联网金融海量日志的分析系统，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
在一个实施例中，还包括：存储模块，连接于处理模块；其中，存储模块包括redis存储单元，其中redis存储单元用于存储统计数据。
在一个实施例中，存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；其中，MySQL存储单元用于存储规则数据；以及Elasticsearch存储单元用于存储日志文本数据。
在一个实施例中，处理模块包括：报警控制单元，用于根据实时计算和分析的结果生成报警反馈。
在一个实施例中，还包括web展示模块，连接于存储模块，web展示模块实时动态展示监控数据。
根据本发明的另一方面，提供了一种互联网金融海量日志的分析方法，其特征在于，包括：
利用flume实时收集业务日志；
利用kafka技术对业务日志进行传输；
接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储统计数据。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储规则数据；以及存储日志文本数据。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：根据实时计算和分析的结果生成报警反馈。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：实时动态展示监控数据。
本发明通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的互联网金融海量日志的分析系统的示意图；
图2是根据本发明实施例的互联网金融海量日志的分析方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1，示出了根据本发明实施例的互联网金融海量日志的分析系统的示意图，根据本发明实施例的分析系统100包括：顺序连接的采集模块10、传输模块20、以及处理模块30；
其中，采集模块10利用flume实时收集业务日志；传输模块20利用kafka技术对业务日志进行传输，处理模块30接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
上述技术方案，通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。
具体地，flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。本发明的分析系统100通过flume实时收集分布在各个业务应用系统上的日志，实现了日志分布式实时收集；kafka是一种高吞吐量的分布式发布订阅消息系统，通过采用kafka作为日志传输工具，Kafka吞吐量大，且不易丢失日志，有效的解决了高并发带来的风险、提高了高并发的容灾性能；海量日志实时分析。上述storm可以是storm实时计算集群，通过采用storm集群能够实时采集数据、并实时分析数据。
在一个实施例中，如图1所示，分析系统100还包括：存储模块40，连接于处理模块30；存储模块40包括redis存储单元42，其中redis存储单元42用于存储统计数据。
其中，存储模块40还包括：MySQL存储单元41、以及Elasticsearch存储单元43；MySQL存储单元41用于存储规则数据；以及Elasticsearch存储单元43用于存储日志文本数据。
在一个实施例中，处理模块30包括：报警控制单元33，用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用系统的运行状态，对线上出现的问题能够及时生成报警反馈。即本发明的分析系统100能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。如图1所示，在一些可选的实施例中，处理模块30还可以具体包括：日志读取单元31、采样统计单元32、采样存储单元34、以及结果输出单元35。
在一个实施例中，分析系统100还包括web展示模块50，连接于存储模块40，web展示模块50实时动态展示监控数据。根据实际需求，可以通过该web展示模块50实时展示分析结果、监控数据等。
如图1所示，在一些可选的实施例中，web展示模块50可以包括：监控规则管理单元51、报警渠道管理单元52、性能参数动态展示单元53、报警对象管理单元54、报警历史展示单元55、业务异常动态展示单元56、关键词内容检索单元57。从而能够通过网站web进行相应的功能管理和内容展示。
下面结合图1所示，对本发明实施例的分析系统100的工作过程进行说明。采集模块10利用flume从各个线上应用系统(应用系统1，...，应用系统n)实时收集业务日志，然后传输模块20利用Kafka作为日志传输工具发送日志，Storm集群接收Kafka发送来的日志，并根据预定的监控规则进行实时计算。并将统计数据存储到redis存储单元42，满足一定条件存储到MySQL存储单元41，将日志的文本数据存储到Elasticsearch存储单元43中。最后通过web展示模块50在网站实时动态展示监控数据。
在一个可选的实施例中，本发明的分析系统100的软件环境是Linux操作系统；硬件环境是：包括多台由高速网络互连和计算机/服务器，以此可以实现分布式、可并行计算；编程语言为java。应当理解，本发明的分析系统100的软件环境、硬件环境及编程语言可以根据需要进行配置，本发明对此不做出限定。
如图2所示，根据本发明的实施例，还提供了一种互联网金融海量日志的分析方法200，包括以下步骤：
S210，利用flume实时收集业务日志；
S220，利用kafka技术对业务日志进行传输；
S230，接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
其中，在S230之后还可以包括步骤：S241，存储统计数据。
在一个实施例中，在S230之后还可以包括步骤：
S242，存储规则数据；以及
S243，存储日志文本数据。
在一个实施例中，在S230之后还可以包括步骤：S244，根据实时计算和分析的结果生成报警反馈。
在一个实施例中，在S230之后还可以包括步骤：S250，实时动态展示监控数据。
综上所述，本发明通过flume来实时收集业务日志，实现了对海量日志的实时收集；通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm集群实时采集数据，能够实时分析数据、实时展示分析结果、实时给出报警反馈。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种互联网金融海量日志的分析系统，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；
其中，所述采集模块利用flume实时收集业务日志；所述传输模块利用kafka技术对所述业务日志进行传输，所述处理模块接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。
2.根据权利要求1所述的互联网金融海量日志的分析系统，其特征在于，还包括：存储模块，连接于所述处理模块；
其中，所述存储模块包括redis存储单元，其中所述redis存储单元用于存储统计数据。
3.根据权利要求2所述的互联网金融海量日志的分析系统，其特征在于，所述存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；
其中，所述MySQL存储单元用于存储规则数据；以及
所述Elasticsearch存储单元用于存储日志文本数据。
4.根据权利要求1所述的互联网金融海量日志的分析系统，其特征在于，所述处理模块包括：
报警控制单元，用于根据实时计算和分析的结果生成报警反馈。
5.根据权利要求2所述的互联网金融海量日志的分析系统，其特征在于，还包括web展示模块，连接于所述存储模块，所述web展示模块实时动态展示所述监控数据。
6.一种互联网金融海量日志的分析方法，其特征在于，包括：
利用flume实时收集业务日志；
利用kafka技术对所述业务日志进行传输；
接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。
7.根据权利要求6所述的互联网金融海量日志的分析方法，其特征在于，在对所述业务日志进行实时计算和分析之后还包括：
存储统计数据。
8.根据权利要求7所述的互联网金融海量日志的分析方法，其特征在于，在对所述业务日志进行实时计算和分析之后还包括：
存储规则数据；以及
存储日志文本数据。
9.根据权利要求6所述的互联网金融海量日志的分析方法，其特征在于，在对所述业务日志进行实时计算和分析之后还包括：
根据实时计算和分析的结果生成报警反馈。
10.根据权利要求7所述的互联网金融海量日志的分析方法，其特征在于，在对所述业务日志进行实时计算和分析之后还包括：
实时动态展示所述监控数据。
CN201710373303.1A 2017-05-24 2017-05-24 互联网金融海量日志的分析系统及方法 Pending CN107357804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710373303.1A CN107357804A (zh) 2017-05-24 2017-05-24 互联网金融海量日志的分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710373303.1A CN107357804A (zh) 2017-05-24 2017-05-24 互联网金融海量日志的分析系统及方法

Publications (1)

Publication Number Publication Date
CN107357804A true CN107357804A (zh) 2017-11-17

Family

ID=60270795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710373303.1A Pending CN107357804A (zh) 2017-05-24 2017-05-24 互联网金融海量日志的分析系统及方法

Country Status (1)

Country Link
CN (1) CN107357804A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN109885483A (zh) * 2019-01-17 2019-06-14 珠海金山网络游戏科技有限公司 用于实时反馈游戏内运行状态的日志可视化方法和系统
CN112115112A (zh) * 2020-08-10 2020-12-22 上海金仕达软件科技有限公司 日志信息处理方法、装置及电子设备
CN112579394A (zh) * 2020-12-24 2021-03-30 罗婷 应用于互联网金融的日志处理系统、方法及计算机设备
CN112651840A (zh) * 2021-01-13 2021-04-13 李青 基于区块链和数字金融的业务数据日志处理方法及系统
CN113138891A (zh) * 2020-01-19 2021-07-20 上海臻客信息技术服务有限公司 一种基于日志的业务监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统
US20170085445A1 (en) * 2015-09-17 2017-03-23 Salesforce.Com, Inc. Simplified entity engagement automation
CN106599222A (zh) * 2016-12-19 2017-04-26 广州四三九九信息科技有限公司 一种流式并行处理日志的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
US20170085445A1 (en) * 2015-09-17 2017-03-23 Salesforce.Com, Inc. Simplified entity engagement automation
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统
CN106599222A (zh) * 2016-12-19 2017-04-26 广州四三九九信息科技有限公司 一种流式并行处理日志的方法和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN109885483A (zh) * 2019-01-17 2019-06-14 珠海金山网络游戏科技有限公司 用于实时反馈游戏内运行状态的日志可视化方法和系统
CN113138891A (zh) * 2020-01-19 2021-07-20 上海臻客信息技术服务有限公司 一种基于日志的业务监控系统
CN112115112A (zh) * 2020-08-10 2020-12-22 上海金仕达软件科技有限公司 日志信息处理方法、装置及电子设备
CN112579394A (zh) * 2020-12-24 2021-03-30 罗婷 应用于互联网金融的日志处理系统、方法及计算机设备
CN112651840A (zh) * 2021-01-13 2021-04-13 李青 基于区块链和数字金融的业务数据日志处理方法及系统
CN112651840B (zh) * 2021-01-13 2023-11-14 李青 基于区块链和数字金融的业务数据日志处理方法及系统

Similar Documents

Publication Publication Date Title
CN107357804A (zh) 互联网金融海量日志的分析系统及方法
CN108334556A (zh) 一种分析互联网金融海量日志的方法及系统
CN110457190B (zh) 一种基于区块链的全链路监控方法、装置及系统
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
US10116534B2 (en) Systems and methods for WebSphere MQ performance metrics analysis
CN105893628A (zh) 一种数据实时收集系统及方法
Dundar et al. A big data processing framework for self-healing internet of things applications
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN114039900A (zh) 一种高效网络数据包协议分析方法和系统
CN107656973A (zh) 一种应用于云审计系统的日志审计子系统
CN103914531A (zh) 数据的处理方法及装置
Samak et al. Scalable analysis of network measurements with Hadoop and Pig
US9037705B2 (en) Routing of performance data to dependent calculators
CN116257021A (zh) 一种工控系统智能网络安全态势监测预警平台
CN105468502A (zh) 一种日志收集的方法、装置和系统
CN111130882A (zh) 网络设备的监控系统及方法
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及系统
CN111049846A (zh) 数据处理方法和装置、电子设备及计算机可读存储介质
CN116506300A (zh) 一种网站流量数据统计方法和系统
CN115664992A (zh) 网络运行数据的处理方法、装置、电子设备及介质
Racka Apache Nifi As A Tool For Stream Processing Of Measurement Data
CN114328093A (zh) 一种基于Hadoop的监控方法、系统、存储介质及设备
CN111796993B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
Somasundaram Improving Real-Time Job Monitoring for Data Pipelines in The Context of Cloud Analytics
Song et al. ASTracer: An efficient tracing tool for HDFS with adaptive sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171117