CN107463648A - 基于分布式通信的数据分析方法及系统 - Google Patents

基于分布式通信的数据分析方法及系统 Download PDF

Info

Publication number
CN107463648A
CN107463648A CN201710618929.4A CN201710618929A CN107463648A CN 107463648 A CN107463648 A CN 107463648A CN 201710618929 A CN201710618929 A CN 201710618929A CN 107463648 A CN107463648 A CN 107463648A
Authority
CN
China
Prior art keywords
data
analysis
daily record
server
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710618929.4A
Other languages
English (en)
Inventor
刘睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Lelin Wireless Information Technology Co Ltd
Original Assignee
Suzhou Lelin Wireless Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Lelin Wireless Information Technology Co Ltd filed Critical Suzhou Lelin Wireless Information Technology Co Ltd
Priority to CN201710618929.4A priority Critical patent/CN107463648A/zh
Publication of CN107463648A publication Critical patent/CN107463648A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于分布式通信的数据分析方法及系统，其中基于分布式通信的数据分析方法包括以下步骤：初始数据流入时，在工作服务器上生成对应于该初始数据的日志；将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。上述基于分布式通信的数据分析方法利用将数据由工作服务器形成日志，并将该日志传输至上述分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。

Description

基于分布式通信的数据分析方法及系统
技术领域
本发明涉及通信领域，特别是涉及一种基于分布式通信的数据分析方法及系统。
背景技术
现如今互联网性能逐渐更新换代的今天。数据量成几何倍数逐年增长，基于数据的服务器质量判断，变得更加的细致化。同时也要求数据分析服务器的要求也十分的高，否则在这样的数据量下也无法挖掘价值。
一直以来单机游戏计费产生的数据量十分巨大，这些数据包含了用户行为数据，用户买点数据，运营商支付回调数据等等，少则一天单点几十万的请求数据，多则上百万的独立数据。根据现近的移动互联网趋势下的风向，单机游戏更偏向休闲模式，数据并发呈现不规则形式。这样，便对于服务器的质量考核十分的重要，目前市场上对于通道分析主要还是采用数据库存贮数据，进行取数据运算分析的方式。
上述采用数据库储存数据，并进行取数据的分析方式面对大数据量的时候，进行数据分析时，会出现服务器资源过度浪费，效能低下的问题。无法有效充分的利用资源完成大型数据的分析挖掘，甚至当服务器性能不足时，会使得服务器直接卡死。
发明内容
基于此，有必要针对上述当分析较大的数据时，服务器资源过度浪费，效能低下的问题，提供一种能够有效地利用服务器利用效率的基于分布式通信的数据分析方法及系统。
一种基于分布式通道的数据分析方法，包括以下步骤：
初始数据流入时，在工作服务器上生成对应于该初始数据的日志；
将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；
将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。
在其中一个优选实施方式中，在所述初始数据流入时，在工作服务器上生成对应于该初始数据的日志的步骤中，还包括以下步骤：
判断所述初始数据是否大于阈值时，生成对应于该初始数据的日志。
在其中一个优选实施方式中，在将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据的步骤中，所述对应于该初始数据的日志通过RPC通信传输至分析服务器。
在其中一个优选实施方式中，在将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据的步骤中，所述分析服务器对该日志进行数据分析及优化包括：
对日志进行数据解析、数据去重、数据概率计算。
在其中一个优选实施方式中，在将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执的步骤之前，包括：
对优化数据进行备份。
上述基于分布式通信的数据分析方法利用将数据由工作服务器形成日志，并将该日志传输至上述分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。
一种基于分布式通信的数据分析系统，包括：
日志生成模块，用于当初始数据流入时，在工作服务器上生成对应于该初始数据的日志；
日志分析模块，用于将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；
数据插入模块，用于将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。
在其中一个优选实施方式中，所述日志生成模块包括：
判断单元，用于判断所述初始数据是否大于阈值时，生成对应于该初始数据的日志。
在其中一个优选实施方式中，所述日志分析模块将对应于该初始数据的日志通过RPC通信传输至分析服务器。
在其中一个优选实施方式中，所述日志分析模块可对日志进行数据解析、数据去重、数据概率计算。
在其中一个优选实施方式中，所述基于分布式通信的数据分析系统还包括：
备份单元，用于对所述优化数据进行备份。
上述基于分布式通信的数据分析系统利用日志生成模块在工作服务器形成日志，并日志分析模块将该日志传输至分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。
附图说明
图1为本发明一优选实施方式中的基于分布式通信的数据分析方法的流程图；
图2为本发明另一优选实施方式中的基于分布式通信的数据分析系统的模块图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，本发明一优选实施方式中公开了一种基于分布式通道的数据分析方法，该基于分布式通道的数据分析方法包括以下步骤：
S10：初始数据流入时，在工作服务器上生成对应于该初始数据的日志；
具体地，在本步骤中，工作人员可以在该工作服务器上设置初始数据流入的阈值，若当前进入该工作服务器的初始数据小于该阈值时，不必生成对应该当前初始数据的日志，当前的工作服务器便对该当前的初始数据进行处理分析；若当前进入该工作服务器的初始数据大于工作人员所设定的阈值时，便会在工作服务器上生成对应于该初始数据的日志。
S20：将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；
当步骤S10的工作服务器生成日志后，本步骤中，将对应该初始数据的日志传输至分析服务器内，该分析服务器与上述工作服务器为两个不同的服务器。具体地，对应上述初始数据的日志可通过RPC(Remote Procedure Call Protocol，远程过程调用协议)通信传输至上述分析服务器内。
接着，该分析服务器对该初始数据进行数据分析及优化，以得到优化数据，具体地，首先分析服务器对该日志进行数据解析、得到数据解析的对应的数据源，接着，该分析服务器对数据源内的数据进行数据去重、数据概率计算等处理，这样便得到优化后的数据，然后，可对优化后的数据存入缓存，以便后续使用。
在本步骤中，还可以对优化后的数据进行备份，以便于后续工作人员的使用或查找。
S30：将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。
在本步骤中，对S20步骤中所得到优化数据插入到数据库中，并且，当优化数据完成插入后，向上述工作服务器发送回执，以使上述工作服务器得知分析服务器对上述初始服务器完成分析、优化处理。
本实施方式中的上述基于分布式通信的数据分析方法利用将数据由工作服务器形成日志，并将该日志传输至上述分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。
如图2所示，本发明另一优选实施方式公开了一种基于分布式通信的数据分析系统100，该基于分布式通信的数据分析系统100包括日志生成模块110、日志分析模块120及数据插入模块130。
其中，上述日志生成模块110用于当初始数据流入时，在工作服务器上生成对应于该初始数据的日志。
上述日志生成模块110还包括判断单元，该判断单元用于判断初始数据是否大于阈值时，生成对应于该初始数据的日志。详细地说，工作人员可以在该工作服务器上设置初始数据流入的阈值，若上述判断单元判断当前进入该工作服务器的初始数据小于该阈值时，那么则认定不必生成对应该当前初始数据的日志，当前的工作服务器便对该当前的初始数据进行处理分析；若上述判断单元判断当前进入该工作服务器的初始数据大于工作人员所设定的阈值时，那么该判断单元便会认定需要针对当前初始数据在工作服务器上生成对应于该初始数据的日志。
上述日志分析模块120用于将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据。
日志生成模块110生成日志后，该日志分析模块120将对应该初始数据的日志传输至分析服务器内，该分析服务器与上述工作服务器为两个不同的服务器。具体地，对应上述初始数据的日志可通过RPC(Remote Procedure Call Protocol，远程过程调用协议)通信传输至上述分析服务器内。
接着，该日志分析模块120在分析服务器内对该初始数据进行数据分析及优化，以得到优化数据，具体地，首先日志分析模块120在分析服务器对该日志进行数据解析、得到数据解析的对应的数据源，接着，该分析服务器对数据源内的数据进行数据去重、数据概率计算等处理，这样便得到优化后的数据，然后，可对优化后的数据存入缓存，以便后续使用。
该日志分析模块120还可以包括备份单元，该备份单元还可以对优化后的数据进行备份，以便于后续工作人员的使用或查找。
上述数据插入模块130用于将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。
在上述日志分析模块120得到优化数据后插入到数据库中，并且，当优化数据完成插入后，向上述工作服务器发送回执，以使上述工作服务器得知分析服务器对上述初始服务器完成分析、优化处理。
本实施方式中的上述基于分布式通信的数据分析系统利用日志生成模块110在工作服务器形成日志，并日志分析模块120将该日志传输至分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于分布式通道的数据分析方法，其特征在于，包括以下步骤：
初始数据流入时，在工作服务器上生成对应于该初始数据的日志；
将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；
将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。
2.根据权利要求1所述的基于分布式通道的数据分析方法，其特征在于，在所述初始数据流入时，在工作服务器上生成对应于该初始数据的日志的步骤中，还包括以下步骤：
判断所述初始数据是否大于阈值时，生成对应于该初始数据的日志。
3.根据权利要求1所述的基于分布式通道的数据分析方法，其特征在于，在将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据的步骤中，所述对应于该初始数据的日志通过RPC通信传输至分析服务器。
4.根据权利要求1所述的基于分布式通信的数据分析方法，其特征在于，在将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据的步骤中，所述分析服务器对该日志进行数据分析及优化包括：
对日志进行数据解析、数据去重、数据概率计算。
5.根据权利要求1所述的基于分布式通信的数据分析方法，其特征在于，在将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执的步骤之前，包括：
对优化数据进行备份。
6.一种基于分布式通信的数据分析系统，其特征在于，包括：
日志生成模块，用于当初始数据流入时，在工作服务器上生成对应于该初始数据的日志；
日志分析模块，用于将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；
数据插入模块，用于将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。
7.根据权利要求6所述的基于分布式通信的数据分析系统，其特征在于，所述日志生成模块包括：
判断单元，用于判断所述初始数据是否大于阈值时，生成对应于该初始数据的日志。
8.根据权利要求6所述的基于分布式通信的数据分析系统，其特征在于，所述日志分析模块将对应于该初始数据的日志通过RPC通信传输至分析服务器。
9.根据权利要求6所述的基于分布式通信的数据分析系统，其特征在于，所述日志分析模块可对日志进行数据解析、数据去重、数据概率计算。
10.根据权利要求6所述的基于分布式通信的数据分析系统，其特征在于，所述基于分布式通信的数据分析系统还包括：
备份单元，用于对所述优化数据进行备份。
CN201710618929.4A 2017-07-26 2017-07-26 基于分布式通信的数据分析方法及系统 Pending CN107463648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710618929.4A CN107463648A (zh) 2017-07-26 2017-07-26 基于分布式通信的数据分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710618929.4A CN107463648A (zh) 2017-07-26 2017-07-26 基于分布式通信的数据分析方法及系统

Publications (1)

Publication Number Publication Date
CN107463648A true CN107463648A (zh) 2017-12-12

Family

ID=60547290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710618929.4A Pending CN107463648A (zh) 2017-07-26 2017-07-26 基于分布式通信的数据分析方法及系统

Country Status (1)

Country Link
CN (1) CN107463648A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610174A (zh) * 2009-07-24 2009-12-23 深圳市永达电子股份有限公司 一种日志关联分析系统与方法
US20130031613A1 (en) * 2011-07-26 2013-01-31 Salesforce.Com, Inc. Secure access to customer log data in a multi-tenant environment
CN103347277A (zh) * 2013-06-18 2013-10-09 无锡清华信息科学与技术国家实验室物联网技术中心 一种生成无线传感器网络节点日志的装置及方法
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105721198A (zh) * 2016-01-20 2016-06-29 中国科学院信息工程研究所 一种视频监控系统日志安全审计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610174A (zh) * 2009-07-24 2009-12-23 深圳市永达电子股份有限公司 一种日志关联分析系统与方法
US20130031613A1 (en) * 2011-07-26 2013-01-31 Salesforce.Com, Inc. Secure access to customer log data in a multi-tenant environment
CN103347277A (zh) * 2013-06-18 2013-10-09 无锡清华信息科学与技术国家实验室物联网技术中心 一种生成无线传感器网络节点日志的装置及方法
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105721198A (zh) * 2016-01-20 2016-06-29 中国科学院信息工程研究所 一种视频监控系统日志安全审计方法

Similar Documents

Publication Publication Date Title
CN105281981B (zh) 网络服务的数据流量监控方法和装置
ATE477693T1 (de) Verkehrsüberwachungssystem für ein mobilfunknetz zur verkehrsanalyse mit einem hierarchischen ansatz
CN105955862A (zh) 一种异常问题的监测定位方法及装置
WO2007146367A3 (en) Management of composite software services
US9058323B2 (en) System for accessing a set of communication and transaction data associated with a user of interest sourced from multiple different network carriers and for enabling multiple analysts to independently and confidentially access the set of communication and transaction data
CN103678446B (zh) 基于数据视图和数据库表的改进的模式映射
CN106663130A (zh) 一种问答方法、系统和机器人
CN104461743A (zh) 资源和配置的自动生成装置和方法
CN109598385A (zh) 反洗钱联合学习方法、装置、设备、系统及存储介质
CN111931189B (zh) Api接口转用风险检测方法、装置和api服务系统
CN107329853A (zh) 数据库集群的备份方法、备份系统及电子设备
CN110162512A (zh) 一种日志检索方法、装置及存储介质
CN107622060A (zh) 订单跟踪分析方法及装置
CN106557370A (zh) 基于实时统计数据的计算资源动态调度平台
CN106445936A (zh) 一种数据处理方法及设备
CN107864187A (zh) 终端设备联机任务执行方法及服务器
CN105122239A (zh) 用于针对矢量化查询执行的自适应矢量大小选择的系统和方法
CN102629345A (zh) 链式沟通协作方法、装置及系统
CN109710623A (zh) 一种智能订单同步方法
CN103580951B (zh) 多个信息系统的输出比较方法、测试迁移辅助方法及系统
WO2005010658A3 (en) Logistics management method and system
CN107463648A (zh) 基于分布式通信的数据分析方法及系统
CN107888690A (zh) 响应时间的统计方法及系统
US8751643B2 (en) Correlating event streams from independent processes in a complex business system using metadata associated with the transport interconnections
CN104239423A (zh) 一种人脉关系距离获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171212

RJ01 Rejection of invention patent application after publication