CN104462811A - 网络游戏数据处理方法 - Google Patents

Abstract

本发明的一种网络游戏数据处理方法属于数据处理技术领域。该网络游戏数据处理方法包括如下步骤：S1，收集客户端的数据信息；S2，通过json化的文件格式封装收集的数据信息；S3，以http形式将封装后的数据信息传递给服务器；S4，服务器上的数据信息存储到数据库中后进行计算处理并存储计算结果，计算时分成离线和在线两部分，离线部分由hadoop计算完成，在线部分由java实现完成；S5，以图表方式将计算结果展示出来。该网络游戏数据处理方法提供了高效的网络游戏数据处理解决方案，为后期的网络游戏数据方案解决提供有益帮助。

Description

网络游戏数据处理方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种网络游戏数据处理方法。

背景技术

目前，在数据分析领域比较好的产品都处于移动互联网系统，比如友盟和talkingdata两家公司，前者已经被阿里巴巴收购，后者已经融资估值过1000万美元，他们都是针对移动产品，特别是移动游戏产品做数据采集，存储，分析，计算的数据处理公司，两家公司都有基于hadoop(apache基金会提供的开源技术大数据处理方案)的分析业务，友盟主要基于大数据计算，而talkingdata主要基于数据的线性分析和ABTest测试方法，通过数学回归来验证数据模型正确来指导产品改进。

上述产品或方法存在以下缺陷或不足：(1)海量数据的计算量解决的问题(收集数据越多，分析越准确，但是数据量过大，没法快速分析完成，解决问题时机错过)；(2)分析模型未量化，未标准化，分析依赖人工经验(分析点和分析方法以及数据量都没有标准可以参考，完全依赖过往分析经验)；(3)机器规模较大和效率较低(数据收集和存储都依赖大规模机房集群，而处理数据同样需要大量设备，造成数据较低，容易错过解决问题的最佳时机)。

发明内容

为了解决上述技术问题，本发明的目的是提供一种针对网络游戏数据收集分析处理的网络游戏数据处理方法，该方法具有运行效率高，为网络游戏产品的改进提供可靠的辅助支撑。

本发明的目的是通过以下技术方案实现的：

一种网络游戏数据处理方法，包括如下步骤：

S1，收集客户端的数据信息；

S2，通过json化的文件格式封装收集的数据信息；

S3，以http形式将封装后的数据信息传递给服务器；

S4，服务器上的数据信息存储到数据库中后进行计算处理并存储计算结果，计算时分成离线和在线两部分，离线部分由hadoop计算完成，在线部分由java实现完成；

S5，以图表方式将计算结果展示出来。

通过上述本发明的技术方案，本发明的网络游戏数据处理方法处理效率高，能为网络游戏产品的改进提供可靠的辅助支撑。

附图说明

图1为本发明网络游戏数据处理方法的流程框图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细说明：

如图1所示，一种网络游戏数据处理方法，用于对网络游戏产品的数据的收集和处理，其包括如下步骤：收集客户端的信息数据，通过json化的文件格式封装，以http形式传递给服务器后，存储到数据库中而后进行计算并存储计算结果，最终以图表方式展示出来，具体为：

S1，收集客户端的数据信息，收集游戏客户端的数据信息，其中，客户端信息的收集通过基于C++形式的客户端、通过json格式的javascript代码或者通过植入ios或者android的sdk三种方式中的任一种方式来实现。

所述的C++形式的客户端采用多进程协同工作的方法，该方法模拟了google的chrome浏览器的技术，每个操作步骤都是通过引导一个程序启动来执行，执行完后，在启动一个新的进程来操作下一步操作，以避免复杂进程或者复杂线程逻辑，同时可以满足多进程协同工作，由于每个进程占用内存较小，通过多个进程来操作，使得对当前运行的较大内存需求的软件没有内存限制影响，通过多进程协作，使得安全和监控及驻留客户端程序有很高的安全保证，可以保证数据迁移也可以通过进程间相互协调，当某一个进程异常时，还可以通过重新启动一个进程来传递错误信息，这比以往的客户端程序更为可靠。

S2，通过json化的文件格式封装收集的数据信息；

S3，以http形式将封装后的数据信息传递给服务器；

S4，服务器上的数据信息存储到数据库中后进行计算处理并存储计算结果，计算时分成离线和在线两部分，离线部分由hadoop计算完成，在线部分由java实现完成；

所述的服务器采用的是原始数据存储，直接将收集的数据原始保存，以json的格式化存储，先存储，再计算，存储与计算分离。

所述的服务器上的数据库原则不做删除和计算操作，只进行插入数据、存储以及必要的查询，查询计算的工作由java程序来完成。这样的设计使得计算量和存储可以分开由不同的设备来处理，可以分别提升自己需要的硬件配置。

所述的进行计算指的是计算一次，结果会长期保存，不会再重复计算，用存储还计算能力，计算结果是通过单独的插件来完成，只要安装插件到服务器就可以进行该插件相关的计算，并将计算结果存储回数据库，插件的计算能力可以由安装插件的设备来提供，数据库只需要提供读出和存储的能力。这样避免对单一设备的要求能力，插件的计算能力也可以单独提供或者不计算，或者分段计算，计算能力和bug处理都由插件来完成，对整体的框架没有影响。

所述的数据信息存储采用小型化的mongodb来实现，并且模拟了hadoop的三层存储查询计算机构，且存储数据格式采用了json化序列串。在后台海量计算的时候，依然是采用hadoop来计算，当计算量不满足的时候，以插件形态扩容增加设备来增加hadoop的计算能力。

所述的计算处理采用更小的数据单元分析，采用增量分析方式。

所述的计算处理采用的更小时间单位的增量计算代替全量计算，通过小的数据变化，来证明产品的品质。

S5，以图表方式将计算结果展示出来。

所述的计算结果展示是将计算结果整体发回需要展示的客户端，而转换成展示需要的计算时由客户端自己来完成的。此方法相对来说计算量还会稍多一些，主要是考虑到服务器框架的计算压力，把大量的计算分担给外部，由查询的单位来负责承担需要的计算部分，这样，服务器只要满足内存和带宽的吞吐能力即可，很容易扩展成分布式部署。

相对于现有技术，本发明的技术方案主要有3点不同：

1、数据模型相同，实现方式差别很大。两者都采用hadoop的数据模型结构，但是实际使用上，本发明采用更加小型化的mongodb来进行数据存储，并且模拟了hadoop的三层存储查询计算机构，且存储数据格式采用了Json化序列串，方便复杂解析。

2、本发明用更小的数据单元分析，用增量分析代替全量分析，重视数据变化。不同于现有技术(上述两家公司)采用的较大规模计算，本发明采用的更小时间单位(5分钟)的增量计算代替全量计算，通过小的数据变化，来证明产品的品质，从而提供产品改进意见，相对来说数据更加及时和富有变化。

3、本发明采用protal，更加注意系统环境，覆盖更广，产品更专业。本发明主要针对端游和移动，附带还有页游产品，而且本发明只针对游戏分析，在广度上产品范围更大。

本发明的有益技术效果：

1、主要解决在更短的时间内，分析得到问题结果或分析得到可以预测的问题发展趋势，当数据足够准确时要给出结果，当数据不足够多时，要尽量通过分析方法给出趋势可供预测，避免运营中因信息不足造成的更多损失；

2、相对于一般的数据分析系统，本发明的技术方案更加轻量，简单，更快的针对市场反馈问题(分钟级)，可以进行快速问题定位，通过产品的轻量化数据分析，可以较快定位问题区域，再通过复杂方法解决；

3、通过较为低廉的低配置设备解决集群大设备的成本问题，更好的利于陈旧设备再生产，降低分析成本。

本发明的技术方案主要针对游戏领域提供数据分析帮助，具体如下：

(1)在某游戏产品开服测试阶段，计划开放10组服务器，共计4.5-5w人，根据本发明设计系统的统计表示，在最先开服的阶段，外部玩家共计8w人左右，根据服务排队原则，可以多增开2组服务器，产品根据建议，在下午3点和下午6点分别增开了2组服务器，都是满载用户，收到较好的效益；

(2)在某游戏产品的夜间，突然发现多次登陆用户曲线有陡峭上升，影响大约2500人，根据该游戏服务器承载能力，大约是2个单体server出问题，及时通知客服发出公告，使得运维快速定位问题，在解决以后根据用户登录曲线恢复情况，快速计算出受影响用户和受影响时间，比原来需要4-24小时处理分析问题时间缩短到10分钟，并且解析影响结果更加清晰准确；

(3)在解决某产品内存泄漏导致崩溃问题上，通过tessar客户端的进程监控，准确的捕获了一批有问题的用户的具体的错误原因，使得一批半年内长期无法解决的客户端问题在通过tessar客户端多进程监控得到解决，正确的处理了问题，使得客户端崩溃率从每天4500多下降到1000左右，提高了用户体验度。Tessar产品对产品初期阶段，分析产品特性，产品缺陷，调优产品阶段有很高的可靠性和保证性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。囚此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种网络游戏数据处理方法，其特征在于，包括如下步骤：

S1，收集客户端的数据信息；

S2，通过json化的文件格式封装收集的数据信息；

S3，以http形式将封装后的数据信息传递给服务器；

S4，服务器上的数据信息存储到数据库中后进行计算处理并存储计算结果，计算时分成离线和在线两部分，离线部分由hadoop计算完成，在线部分由java实现完成；

S5，以图表方式将计算结果展示出来。

2.根据权利要求1所述的网络游戏数据处理方法，其特征在于，步骤S1中客户端信息的收集通过基于C++形式的客户端、通过json格式的javascript代码或者通过植入ios或者android的sdk来实现。

3.根据权利要求2所述的网络游戏数据处理方法，其特征在于，所述的C++形式的客户端采用多进程协同工作的方法，每个操作步骤都是通过引导一个程序启动来执行，执行完后，在启动一个新的进程来操作下一步操作。

4.根据权利要求1所述的网络游戏数据处理方法，其特征在于，所述的服务器采用的是原始数据存储，直接将收集的数据原始保存，以json的格式化存储，先存储，再计算，存储与计算分离。

5.根据权利要求1所述的网络游戏数据处理方法，其特征在于，所述的服务器上的数据库原则不做删除和计算操作，只进行插入数据、存储以及必要的查询，查询计算的工作由java程序来完成。

6.根据权利要求1所述的网络游戏数据处理方法，其特征在于，所述的进行计算指的是计算一次，结果会长期保存，不会再重复计算，计算结果是通过单独的插件来完成，只要安装插件到服务器就可以进行该插件相关的计算，并将计算结果存储回数据库，插件的计算能力可以由安装插件的设备来提供，数据库只需要提供读出和存储的能力。

7.根据权利要求1所述的网络游戏数据处理方法，其特征在于，步骤S5中所述的计算结果展示是将计算结果整体发回需要展展示的客户端，而转换成展示需要的计算时由客户端自己来完成的。

8.根据权利要求1所述的网络游戏数据处理方法，其特征在于，所述的数据信息存储采用小型化的mongodb来实现，并且模拟了hadoop的三层存储查询计算机构，且存储数据格式采用了json化序列串；在后台海量计算的时候，依然是采用hadoop来计算，当计算量不满足的时候，以插件形态扩容增加设备来增加hadoop的计算能力。

9.根据权利要求1所述的网络游戏数据处理方法，其特征在于，所述的计算处理采用更小的数据单元分析，采用增量分析方式。

10.根据权利要求9所述的网络游戏数据处理方法，其特征在于，所述的计算处理采用的更小时间单位的增量计算代替全量计算，通过小的数据变化，来证明产品的品质。