CN105426292A - 一种游戏日志实时处理系统及方法 - Google Patents

一种游戏日志实时处理系统及方法 Download PDF

Info

Publication number
CN105426292A
CN105426292A CN201510718948.5A CN201510718948A CN105426292A CN 105426292 A CN105426292 A CN 105426292A CN 201510718948 A CN201510718948 A CN 201510718948A CN 105426292 A CN105426292 A CN 105426292A
Authority
CN
China
Prior art keywords
data
time processing
games log
real time
log real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510718948.5A
Other languages
English (en)
Other versions
CN105426292B (zh
Inventor
陈创生
马海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201510718948.5A priority Critical patent/CN105426292B/zh
Publication of CN105426292A publication Critical patent/CN105426292A/zh
Application granted granted Critical
Publication of CN105426292B publication Critical patent/CN105426292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring

Abstract

本发明公开了一种游戏日志实时处理系统及方法，该游戏日志实时处理系统包括：数据获取模块，用于从分布式文件系统中以行级获取流数据，并将流数据存储在内存中；数据处理模块，用于对流数据进行处理，得到有效数据；以及指标统计模块，用于利用有效数据进行指标统计运算，得到指标统计结果。本系统保证了海量数据的实时处理，有利于对游戏的测试效果进行实时评测。

Description

一种游戏日志实时处理系统及方法
技术领域
本发明涉及一种游戏日志实时处理系统及方法。
背景技术
随着数据平台接入的游戏量越来越多，各个游戏的层次、级别、受关注度不同，以至于对日志解释、处理、统计、分析甚至于表现形式都有着不同的需求。每当一款对外测试的游戏上线和游戏日志数据接入后，一些关键的指标，包括运营、监控、计费等，对实时性的要求都是希望在“秒级”及时刷新，实时报告，实时监控。图1是现有技术的采用Hadoop方式进行指标统计的工作流程图，当接入一个新的游戏日志时，结合Python的脚本对HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)上面的游戏日志进行处理和拆分。最终根据配置字段(该字段的顺序与Hive目标表定义的字段顺序一致)方式，将HDFS上的日志文件按行拆分成符合Hive表的记录文件，加载入对应的表。然后通过Hive的计算对关心的指标进行统计与处理，最终导出到MySQL数据库，交由Web的数据系统进行图形的展现。这种基于Hadoop+Hive的MapReduce批处理的计算方式，但Hadoop方案在实际应用中存在如下一些问题：
(1)由于MapReduce是批处理的编程模型，每次的计算都至少是分钟级，无法满足时效性,其模型是针对大数据量进行分布式处理与计算，无法用在实时数据处理中。即使采取了各种技术优化手段，由原来处理频率是“天”到“小时”，再改良最终达到20-30分钟的处理速度；
(2)MapReduce的作业调度很大程度受到资源管理器的限制，系统繁忙的时候，会有比较大的延迟；
(3)从增量的数据文件到达，到最终计算出指标到展现，正常的情况下都得30分钟处理过程；
(4)多作业之间的协作通过依赖关系配置，受到外部调度系统的影响，并且容易受到堵塞；
(5)计算新增角色的数据通常都是依赖于日全量数据，计算时段的新增用户非常麻烦；
(6)每次MapReduce的计算过程都涉及到大量的IO，性能很难明显提高。
此外，另一种实现游戏实时日志处理过程的手段为实时计算框架(Storm)的topology，参见图2是现有技术的采用Storm方式进行指标统计的示意图，通过将Spout接入HDFS的数据文件，当发现有新增加的数据文件时，也是通过HadoopAPI将数据以Tuple的形式发送出来，从而进入到各个Bolt进行ETL(Extract-Transform-Load，抽取、转换、加载)的处理，以及最终的指标统计存储和导出，被目前业界认为是比较成熟的实时流行数据处理框架。
然而，Storm的方案还存在以下问题：
(1)需要将Storm部署到集群，带来一定的安装与运维成本；
(2)对Strom组件深入的掌握及开发过程会有一定的学习曲线和周期；
(3)需要投入SA人员进行调研和各种测试，时间上会受限于系统管理员；
(4)涉及到大数据角色或账号查重，需要批量缓存查重，当任务失败或异常情况退出时，为了使得计算框架自动重调时不丢失信息，会大大增加开发难度或发现问题的难度；由于Storm中的某个节点出现异常时都会自动重启，会导致内存中缓存的数据丢失；如果不经过缓冲，每一个数据的到达都直接与HBase进行交互，又将会带来一定的性能开销；
(5)数据存储在HDFS文件上，当并发读取分片时很难保证事务性；
(6)出现问题很难快速恢复生产，可控性不高；
(7)由于指标的需求变化很大，需要能够快速的开发、测试与部署升级。
综上所述，采用MapReduce+Hive的计算方式来统计指标无法满足对时效性的要求，可是使用Storm的技术方案来实现仍然存在未解决的诸多问题，另外其对内存的开销也有较高的要求，因此，需要根据具体的业务和数据特点以及实时性指标统计的要求，独立开发一套“游戏实时日志处理”系统，以最小的代价来完成数据的实时处理任务，也使得数据的扩展更加灵活与方便。
发明内容
本发明目的在于提出一种游戏日志实时处理系统及方法，以提高游戏日志处理的实时性。
为此，本发明提出一种游戏日志实时处理系统，包括：
数据获取模块，用于从分布式文件系统中以行级获取流数据，并将所述流数据存储在内存中；
数据处理模块，用于对所述流数据进行处理，得到有效数据；以及
指标统计模块，用于利用所述有效数据进行指标统计运算，得到指标统计结果。
优选地，所述游戏日志实时处理系统还包括NoSQL类型数据库，所述NoSQL类型数据库用于存储历史全量数据和/或实时处理过程的中间数据。
优选地，所述指标统计模块包括若干个指标组件；其中，每个指标组件包括：
计算单元，用于利用所述有效数据进行计算得到第一结果；
聚合单元，用于将属于特定维度的若干个第一结果进行聚合，得到当前周期的第二结果；以及
汇总单元，用于将所述当前周期的第二结果与当前周期之前的第二结果进行汇总，得到所述指标统计结果。
优选地，所述指标统计模块还包括调用单元，当满足所述内存的缓存触发条件时，所述调用单元将调用所述内存中的所述第一结果和/或所述第二结果，并将所述第一结果和/或第二结果写入NoSQL类型数据库中。
优选地，所述若干个指标组件为新增帐号指标组件、登录指标组件、实时在线指标组件和付费指标组件中的一种或多种。
优选地，所述数据获取模块包括：
分片获取单元，用于每隔扫描周期获取所述分布式文件系统中的文件分片；
分片合并单元，用于将所述文件分片根据文件标识进行合并，得到若干个完整文件；以及
检测判定单元，用于检测所述若干个完整文件中是否有未被处理过的文件，若有，则所述未被处理过的文件为本次扫描周期中的新增文件，并从所述新增文件中行级获取流数据。
优选地，所述数据获取模块还包括排序单元，所述排序单元用于对所述新增文件按到来的时间先后进行排序。
优选地，所述数据处理模块包括：
格式解析单元，用于将不同日志类型的数据进行解释得到具有统一日志类型的有效数据；
业务过滤单元，用于将不满足业务条件的数据进行过滤；以及
业务转换单元，用于根据不同业务的特点对数据的内容进行转换，得到具有一致性的有效数据。
优选地，所述数据处理模块还包括数据预处理子模块，所述数据预处理子模块，包括：
清洗单元，用于将数据与各类型日志约定的格式进行格式匹配，将不符合格式的数据进行清洗；
转换单元，用于将数据中的非法字段进行编码或剔除；以及
编解码单元，用于对加密数据进行解密或者对非UTF-8编码的字符进行统一编码。
优选地，还包括监控模块，所述监控模块用于对所述游戏日志实时处理系统的运行状况进行监控。
优选地，所述监控模块包括：
进程监控单元，用于监控所述游戏日志实时处理系统的进程是否存在；
日志监控单元，用于监控所述游戏日志实时处理系统是否有错误日志；以及
指标监控单元，用于通过计算得到的指标统计结果与小时作业或天作业的指标统计结果比对从而进行监控。
优选地，还包括运维模块，用于对所述游戏日志实时处理系统的运行状况进行维护。
优选地，所述运维模块包括：
初始化部署单元，用于在游戏日志实时处理系统启动之前进行基础信息的配置，并初始化数据；
运行控制单元，用于所述游戏日志实时处理系统运行过程的控制；以及
异常恢复单元，用于所述游戏日志实时处理系统出现异常时恢复场景。
优选地，所述初始化数据包括以下处理：
通过运行Hive脚本生成的MapReduce批处理程序，在所述NoSQL类型数据库中生成历史全量数据。
优选地，所述异常恢复单元在恢复场景包括以下处理：
在所述NoSQL类型数据库中对系统异常前已处理的文件进行批处理运算，得到系统异常前的统计指标结果；
从系统异常前未处理的文件继续运行。
优选地，所述数据处理模块和所述指标统计模块的运行进程为单进程多线程方式。
优选地，还包括结果展现模块，所述结果展现模块用于对所述指标统计结果进行展现。
优选地，所述NoSQL类型数据库为HBase数据库。
本发明还提出一种游戏日志实时处理方法，包括以下步骤：
数据获取步骤：从分布式文件系统中以行级获取流数据，并将所述流数据存储在内存中；
数据处理步骤：对所述流数据进行处理，得到有效数据；
指标统计步骤：利用所述有效数据进行指标统计运算，得到指标统计结果。
优选地，还包括以下步骤：将历史全量数据和/或中间数据存储于NoSQL类型数据库。
优选地，所述指标统计步骤包括以下步骤：
利用所述有效数据进行计算得到第一结果；
将属于特定维度的若干个第一结果进行聚合，得到当前周期的第二结果；
将所述当前周期的第二结果与当前周期之前的第二结果进行汇总，得到所述指标统计结果。
优选地，所述利用所述有效数据进行计算得到第一结果步骤中还包括：当满足所述内存的缓存触发条件时，将内存中的所述第一结果写入NoSQL类型数据库；
所述将属于特定维度的若干个第一结果进行聚合得到当前周期的第二结果步骤中还包括：当满足所述内存的缓存触发条件时，将内存中的所述第二结果写入NoSQL类型数据库。
优选地，所述指标统计步骤中的指标为新增帐号指标、登录指标、实时在线指标和付费指标中的一种或多种。
优选地，所述数据获取步骤包括以下步骤：
每隔扫描周期获取所述分布式文件系统中的文件分片；
将所述文件分片根据文件标识进行合并，得到若干个完整文件；
检测所述若干个完整文件中是否有未被处理过的文件，若有，则所述未被处理过的文件为本次扫描周期中的新增文件，并从所述新增文件中行级获取流数据。
优选地，所述数据获取步骤还包括对所述新增文件按到来的时间先后进行排序。
优选地，所述数据处理步骤包括以下步骤：
将不同日志类型的数据进行解释得到具有统一日志类型的有效数据；
将不满足业务条件的数据进行过滤；
根据不同业务的特点对数据的内容进行转换，得到具有一致性的有效数据。
优选地，所述数据处理步骤还包括对数据进行预处理子步骤，所述数据进行预处理子步骤包括以下步骤：
将数据与各类型日志约定的格式进行格式匹配，将不符合格式的数据进行清洗；
将数据中的非法字段进行编码或剔除；
对加密数据进行解密或者对非UTF-8编码的字符进行统一编码。
优选地，还包括结果展现步骤：对所述指标统计结果进行展现。
优选地，还包括监控步骤：对游戏日志实时处理系统的运行状况进行监控。
优选地，所述监控步骤包括以下步骤：
监控所述游戏日志实时处理系统的进程是否存在；
监控所述游戏日志实时处理系统是否有错误日志；
通过所述计算得到的指标统计结果与小时作业或天作业的指标统计结果比对从而进行监控。
优选地，还包括运维步骤：对游戏日志实时处理系统的运行状况进行维护。
优选地，所述运维步骤包括以下步骤：
在游戏日志实时处理系统启动之前进行基础信息的配置，并初始化数据；
对所述游戏日志实时处理系统的运行过程进行控制；
当所述游戏日志实时处理系统出现异常时恢复场景。
优选地，所述初始化数据包括以下处理：
通过运行Hive脚本生成的MapReduce批处理程序，在所述NoSQL类型数据库中生成历史全量数据。
优选地，所述异常时恢复场景包括以下处理：
在所述NoSQL类型数据库中对系统异常前已处理的文件进行批处理运算，得到系统异常前的统计指标结果；
从系统异常前未处理的文件继续运行。
优选地，所述数据处理步骤和所述指标统计步骤以单进程多线程方式进行。
优选地，所述NoSQL类型数据库为HBase数据库。
本游戏日志实时处理系统以流的形式输入输出数据，保证了海量数据的实时处理，有利于对游戏的测试效果进行实时评测，以及对运营情况、计费情况、实时在线、服务器的负载等指标进行实时了解。
附图说明
图1是现有技术的采用Hadoop方式进行指标统计的工作流程图；
图2是现有技术的采用Storm方式进行指标统计的示意图；
图3是本发明具体实施方式提供的一种游戏日志实时处理系统结构框；
图4是本发明具体实施方式提供的另一种游戏日志实时处理系统结构框；
图5是本图4所示游戏日志实时处理系统的运行视图；
图6是本发明具体实施方式提供的一种游戏日志实时处理方法流程图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参照以下附图，将描述非限制性和非排他性的实施例。
本发明提出了一种游戏日志实时处理系统1，参见图3是本发明具体实施方式提供的一种游戏日志实时处理系统结构框，包括：
数据获取模块10，用于从分布式文件系统(如HDFS)中以行级获取流数据，并将流数据存储在内存中，分布式文件系统用于存储游戏日志文件；
数据处理模块20，用于结合用户自定义的规则(如JEXL，JavaExpressionLanguage)、自定义的过滤器、映符表等工具对新增文件中的流数据进行过滤与转换处理，得到有效数据；以及
指标统计模块30，用于利用有效数据进行指标统计运算，得到指标统计结果。
进一步地，本游戏日志实时处理系统1还包括NoSQL类型数据库40，如HBase、memcachedb、BerkeleyDB、Redis、cassandra等数据库，用于存储历史全量数据和/或实时处理过程的中间数据。其中，历史全量数据指还未处理过的所有历史数据；如某游戏在试玩阶段产生了部分游戏日志文件，在游戏正式上线后，本游戏日志实时处理系统除了要对实时产生的游戏日志文件进行处理，还要对上线前产生的这部分游戏日志文件进行处理，上线前产生的这部分游戏日志文件中的数据为历史全量数据。通过内存实时处理和数据库存储的结合完成游戏数据统计与运营指标计算，有效提高了游戏实时数据处理效率。
本发明的一个实施例中，数据获取模块10包括分片获取单元101、分片合并单元102以及检测单元103；其中，
分片获取单元101，用于每隔特定的扫描周期获取分布式文件系统中存储的所有文件分片，针对不同的游戏日志数据，可配置不同的扫描周期；
分片合并单元102，用于将所有文件分片根据文件标识进行合并，得到若干个完整文件；
检测判定单元103，用于检测上述若干个完整文件中是否有未被处理过的文件，若有，则这些未被处理过的文件为本次扫描周期中新增文件，若否，则在本次扫描周期中没有新增文件。在本发明的实施例中，对已被处理过的文件利用MySQL主键表的主键进行登记管理，在判断文件是否被处理过时，通过在主键表查找该文件的主键是否存在来完成。
为确保事务调度的一致性，数据获取模块还包括排序单元104，用于对新增文件按到来的时间先后进行排序。
本发明的一个实施例中，数据处理模块20包括格式解析单元201、业务过滤单元202以及业务转换单元203。其中，
格式解析单元201，用于使用不同的日志解释器对不同格式的数据(如BSON格式、JSON格式、KEY-VALUE格式、XML格式等)进行解释，从而将不同格式的文本数据转换成具有统一格式的文本数据。
业务过滤单元202，用于按照业务的配置规则，对不满足业务条件的数据进行过滤，如将日期不满足条件的数据或是内服测试的数据进行过滤。
业务转换单元203，用于根据业务的特点，对数据内容的一致性进行转换，如将游戏日志中相同内容的不同表述转换为相同表述，举例来说，业务转换单元将游戏日志中的不同表述“广州”、“GZ”统一转换为“guangzhou”，或是将iOS、iOSPad、iOSiPhone不同平台统一转换为iOS平台，再或是将虚拟服务器转成物理服务器等。
本发明的一个实施例中，指标统计模块30包括若干个分别针对不同指标进行处理的指标统计组件，为了提高各组件加载的灵活度，各指标统计组件以插件化方式设计，通过参数配置实现组件或功能的更新或替换。其中，每个指标组件包括：计算单元301，用于对统计指标模块所关注数据进行计算并产生临时指标统计结果；聚合单元302，用于将属于同一维度的分散的若干指标统计结果聚合到一起，产生更大维度的指标统计结果；汇总单元303，用于将本周期的聚合后的指标统计结果与之前存储的指标统计结果汇总起来，产生最终的指标统计结果。例如计算区域在线人数，截止到3点已经存在库里面的数据为：
地区 在线人数
广东省 1000
广州市 200
深圳市 300
3点实时又来了部分数据，统计得到如下结果：
地区 在线人数
广州市 100
深圳市 200
聚合后得到：
地区 在线人数
广东省 300
广州市 100
深圳市 200
汇总后得到：
地区 在线人数
广东省 1300
广州市 300
深圳市 1000
在本发明的实施例中，对现有的一批统计指标进行梳理，按照指标的重要性、关注度以及优先级对指标进行划分和定义，列举每次迭代要进行开发的指标。本实施例开发的指标统计组件有新增帐号指标组件、登录指标组件、实时在线指标组件和付费指标组件等，这些指标统计组件对获取到的有效数据进行选择性处理，以达到对所关心指标的计算、聚合和汇总。其中，新增帐号指标组件用于统计游戏新增用户数；在判断某登录用户是否为新增用户时，首先，加载从游戏开服以来的历史全量用户信息到HBase数据库；然后，判断该登录用户信息是否存在于历史全量用户信息中，若存在，则认为是新增用户。登录指标组件用于统计特定周期中登录用户数；如统计当天登录用户数时，由于一个用户可能重复登录多次，因此需要对用户进行查重处理，以避免对同一用户的登录进行重复计算；查重处理包括：按用户唯一标识将当天的登录用户进行聚合、汇总，并以<当天，用户唯一标识>为主键保存在HBase数据库的日活跃用户表中，从而在计算当天登录用户数时，通过计算该主键即可算出指标值，通过RowKey起到查重的作用。
本实施例中的指标统计模块还包括调用单元304，用于调用内存和HBase数据库对指标统计结果进行分级存储。当指标统计模块30接收到有效数据后，首先在内存中进行指标统计运算得到第一结果，当满足内存的缓存触发条件时(如内存的缓存量超过预设的存储量或内存的缓存时间超过预设的时间周期)，调用单元304将第一结果写入HBase数据库；在内存中继续进行指标统计运算得到第二结果，最终将第一结果与第二结果进行汇总，得到指标统计结果。指标统计结果的分级存储充分利用了内存计算的高效性和HBase数据库计算的低延迟性，大大提高了数据处理速度，降低了数据管理成本，符合游戏日志数据的处理需求。
为提高数据的处理效率，数据处理模块20还包括数据预处理子模块200，用于根据特定的规则，将数据中缺陷、错误、无效、冗余的数据筛选剔除，并将筛选剔除后的数据输出至数据处理模块。本数据预处理子模块200包括清洗单元、转换单元和编解码单元。其中，
清洗单元2001，用于将游戏日志文件中的数据与各类型日志约定的格式进行格式匹配，如采用正则表达式抽取与校验，将不符合格式的数据进行清洗。
转换单元2002，用于将游戏日志文件中的数据中存在的一些非法字段进行剔除，如将控制字符、换行符、回车符等进行编码或清除。
编解码单元2003，用于对一些敏感的加密数据进行解密或者对非UTF-8的编码进行统一编码。
进一步地，本游戏日志实时处理系统1还包括监控模块50，用于对系统的运行状况进行监控与预警，以尽早发现系统的异常情况。本监控模块50包括进程监控单元501、日志监控单元502以及指标监控单元503；其中，进程监控单元501用于监控游戏日志实时处理系统的进程是否存在，日志监控单元502用于监控游戏日志实时处理系统是否有错误日志，指标监控单元503用于通过计算得到的指标统计结果与小时作业或天作业的指标统计结果比对从而完成监控，对进程异常情况用邮件形式通知到跟进的开发者，保证数据的稳定性以及修复的及时性。
进一步地，本游戏日志实时处理系统1还包括运维模块60，用于对系统的运行状况进行维护。本运维模块60包括初始化部署单元601、运行控制单元602和异常恢复单元603。其中，
初始化部署单元601，用于在游戏日志实时处理系统启动之前按照不同的游戏需求，进行基础信息的配置以及初始化数据的准备，包括：游戏日志处理相关配置(过滤器配置、转换器配置、解释器配置等)，日志处理系统资源配置(分配内存数、同时处理的任务数/线程数、数据库连接数等)，以及初始化数据配置(历史全量帐号信息、历史全量角色信息、关联用户的基础信息等)，可通过运行Hive脚本生成的MapReduce批处理程序，在HBase数据库中生成上述历史全量数据，以实现数据初始化的快速部署。
运行控制单元602，用于系统运行过程的控制，包括系统启动、停止、配置刷新、日志切换、输入路径切换、重跑数据、版本的升级等。
异常恢复单元603，用于在系统出现异常时快速恢复场景。本系统的设计遵循的是Fail-fast原则，即当系统出现异常或者错误时立即停止，但系统并不记录处理过程的状态。这样，可能会出现先前处理的数据或者内存数据丢失的情况。因此，当异常解决后，需要对系统停止前的场景进行快速恢复。在本发明的实施例中，通过Hive批处理程序计算累计的文件得到最新的指标，后续再从已经处理的文件继续运行。并且，当出现问题并且数据量累积到实时处理出现压力时，实现补跑或预跑，即将积压的文件通过批处理工具进行计算，得到对应的指标，或采用批处理工具在大量记录里面过滤关注的记录，通过部分过滤、转换以减少实时系统的计算量，以实现快速恢复的目的。本异常恢复单元将每一次的系统失败视为一种常态，通过强有力的辅助工具来简化核心处理系统的复杂度，以保证系统的稳定性与可用性。
本游戏日志实时处理系统还包括结果展现模块70，用于实时请求指标统计结果并对指标统计结果进行展现。一个实施例中，本结果展现模块70包括MySQL数据库和Web端；其中，MySQL数据库用于存储指标统计模块30输出的指标统计结果，Web端用于对MySQL数据库中存储的指标统计结果进行实时动画展现。
本游戏日志实时处理系统针对不同特点的数据源，选取不同的配置参数，制定不同的运行策略及性能参数，如不同扫描周期的设置、不同运行线程数的设置等，以达到数据从“发现”—>“处理”—>“推送”—>Web系统指标“展现”整个过程秒级处理的业务目标。
本游戏日志实时处理系统所包含的各个模块相互独立，以插件化的方式实现接入或撤出。通过各模块的协作作用，使得管理人员能够对不同游戏数据情况进行实时监视(如每日数据总量、数据上报的周期、每个周期的数据量)。参见图4是本发明具体实施方式提供的另一种游戏日志实时处理系统结构框，图5是图4所示游戏日志实时处理系统的运行视图，本系统充分考虑好各协作的组件的接口，对通用的处理过程进行良好的设计，并封装成系统稳定的框架部分。将变化的因素，如不同日志类型的解释模块、过滤组件、转换组件，不同的指标统计组件进行分离与解耦。规范接入组件的通讯协议及数据结构，以便当有新的组件加入时可通过增加配置的方式来进行替换或增加新的功能。
本系统对日志数据的处理方面有足够的灵活度，对各阶段处理有明确的定义与职责的划分，通过注册一些组件能够达到对ETL过程的不断扩展，并涉及到日志处理的整个生命周期。
通过这种方式开发出来的系统具有如下优点：
(1)减少对新技术学习成本及曲线，能够快速进入开发；
(2)对已有的技术组件有一定的沉淀，减少开发运维的风险及成本；
(3)框架自行开发，按照业务的特点高度定制，能够灵活的应对各种需求的变化并不断调整；
(4)方便后续的开发迭代及故障追踪；
(5)大大降低了运维的成本同时，更符合游戏数据特点。
根据游戏业务、数据特点以及实时性指标统计的要求，本发明提出的游戏日志实时处理系统可利用现有平台组件Hadoop、HBase、Hive以及MySQL来实现，要处理的游戏日志文件存储在Hadoop的分布式文件系统HDFS中。下面结合上述软件平台来具体说明上述游戏日志实时处理系统的工作流程，参见图6是本发明具体实施方式提供的一种游戏日志实时处理方法流程图，包括以下步骤：
数据获取步骤：从存储于HDFS的新增游戏日志文件中并行或并发地以行级读取流数据，并将流数据存储在内存中。具体地，包括以下步骤：
每隔特定的扫描周期(如10s)获取HDFS中存储的所有游戏日志文件分片；
将所有游戏日志文件分片根据文件标识进行合并，得到若干个完整游戏日志文件；
依次判断上述若干个完整游戏日志文件是否在MySQL主键表中登记过，若有游戏日志文件未被登记过，则这些未被登记过的游戏日志文件为本次扫描周期中的新增游戏日志文件；
对新增游戏日志文件按到来的时间先后进行排序，并向多个数据处理线程发送新增文件事件。
数据处理步骤：在一个进程中，多个数据处理线程对获取到的流数据进行并发处理得到有效数据。具体地，包括如下步骤：
对数据进行预处理，即将数据中缺陷、错误、冗余、无效的数据清洗过滤掉，包括以下处理：将数据与各类型日志约定的格式进行格式匹配，将不符合格式的数据进行清洗；将数据中的非法字段进行编码或剔除；对加密数据进行解密或者对非UTF-8编码的字符进行统一编码；
将不同日志类型的数据进行解释得到具有统一日志类型的有效数据；
将不满足业务条件的数据进行过滤；
根据不同业务的特点对数据的内容进行转换，得到具有一致性的有效数据。
指标统计步骤：利用经过数据处理步骤后的有效数据进行指标统计运算，得到指标统计结果。具体地，包括以下步骤：
利用有效数据在内存中进行指标统计运算得到第一结果；当满足内存的缓存触发条件时，将第一结果写入HBase数据库中进行存储；
将属于特定维度的若干个第一结果进行聚合，得到当前周期的第二结果；当满足内存的缓存触发条件时，将内存中的第二结果写入HBase数据库中进行存储；
将当前周期的第二结果与HBase数据库中存储的当前周期之前的第二结果进行汇总，得到指标统计结果。
进一步地，本游戏日志实时处理方法还包括：
结果展现步骤：将指标统计结果推送到前端MySQL数据库，由Web端进行实时展现。
监控步骤：对游戏日志实时处理系统的运行状况进行监控。具体地，包括以下步骤：
监控所述游戏日志实时处理系统的进程是否存在；
监控所述游戏日志实时处理系统是否有错误日志；
通过所述计算得到的指标统计结果与小时作业或天作业的指标统计结果比对从而进行监控。
运维步骤：对游戏日志实时处理系统的运行状况进行维护。具体地，包括以下步骤：
在游戏日志实时处理系统启动之前进行基础信息的配置，并初始化数据；
对所述游戏日志实时处理系统的运行过程进行控制；
当所述游戏日志实时处理系统出现异常时恢复场景。
其中，所述初始化数据包括以下处理：通过运行Hive脚本生成的MapReduce批处理程序，在所述NoSQL类型数据库中生成历史全量数据。所述异常时场景恢复包括以下处理：在所述NoSQL类型数据库中对系统异常前已处理的文件进行批处理运算，得到系统异常前的统计指标结果；从系统异常前未处理的文件继续运行。
本游戏日志实时处理系统利用Hadoop自带的API定期扫描存放数据源的目录，当发现有新增或上传的文件时，通过多线程的方式对数据进行行级抽取。对抽取的数据按照配置的规则对数据进行清洗、编解码、转换，将最终有效的一行数据记录分发给指标统计组件进行计算、聚合与汇总，并将结果导出到MySQL，供Web数据系统进行展现。本系统充分利用各平台组件的优势重新组合，以最小的代价来完成实时处理任务，也使得数据的扩展更加灵活与方便。由于Hadoop是一个分布式的系统，通常思路都是利用分布式多节点来计算数据，而非在单进程里面进行日志处理与指标统计分析。但像游戏这种业务特点，个数多，但每个游戏每天的数据量又不是特别大的情况下，各游戏由一个独立的JVM(Java虚拟机)来处理，一是提高开发效率，二是降低了开发难度，减少开发成本和运维成本。
本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。
尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (36)

1.一种游戏日志实时处理系统，其特征在于，包括：
数据获取模块，用于从分布式文件系统中以行级获取流数据，并将所述流数据存储在内存中；
数据处理模块，用于对所述流数据进行处理，得到有效数据；以及
指标统计模块，用于利用所述有效数据进行指标统计运算，得到指标统计结果。
2.如权利要求1所述的游戏日志实时处理系统，其特征在于，所述游戏日志实时处理系统还包括NoSQL类型数据库，所述NoSQL类型数据库用于存储历史全量数据和/或实时处理过程的中间数据。
3.如权利要求2所述的游戏日志实时处理系统，其特征在于，所述指标统计模块包括若干个指标组件；其中，每个指标组件包括：
计算单元，用于利用所述有效数据进行计算得到第一结果；
聚合单元，用于将属于特定维度的若干个第一结果进行聚合，得到当前周期的第二结果；以及
汇总单元，用于将所述当前周期的第二结果与当前周期之前的第二结果进行汇总，得到所述指标统计结果。
4.如权利要求3所述的游戏日志实时处理系统，其特征在于，所述指标统计模块还包括调用单元，当满足所述内存的缓存触发条件时，所述调用单元将调用所述内存中的所述第一结果和/或所述第二结果，并将所述第一结果和/或第二结果写入NoSQL类型数据库中。
5.如权利要求3所述的游戏日志实时处理系统，其特征在于，所述若干个指标组件为新增帐号指标组件、登录指标组件、实时在线指标组件和付费指标组件中的一种或多种。
6.如权利要求1所述的游戏日志实时处理系统，其特征在于，所述数据获取模块包括：
分片获取单元，用于每隔扫描周期获取所述分布式文件系统中的文件分片；
分片合并单元，用于将所述文件分片根据文件标识进行合并，得到若干个完整文件；以及
检测判定单元，用于检测所述若干个完整文件中是否有未被处理过的文件，若有，则所述未被处理过的文件为本次扫描周期中的新增文件，并从所述新增文件中行级获取流数据。
7.如权利要求6所述的游戏日志实时处理系统，其特征在于，所述数据获取模块还包括排序单元，所述排序单元用于对所述新增文件按到来的时间先后进行排序。
8.如权利要求1所述的游戏日志实时处理系统，其特征在于，所述数据处理模块包括：
格式解析单元，用于将不同日志类型的数据进行解释得到具有统一日志类型的有效数据；
业务过滤单元，用于将不满足业务条件的数据进行过滤；以及
业务转换单元，用于根据不同业务的特点对数据的内容进行转换，得到具有一致性的有效数据。
9.如权利要求1或8所述的游戏日志实时处理系统，其特征在于，所述数据处理模块还包括数据预处理子模块，所述数据预处理子模块，包括：
清洗单元，用于将数据与各类型日志约定的格式进行格式匹配，将不符合格式的数据进行清洗；
转换单元，用于将数据中的非法字段进行编码或剔除；以及
编解码单元，用于对加密数据进行解密或者对非UTF-8编码的字符进行统一编码。
10.如权利要求1所述的游戏日志实时处理系统，其特征在于，还包括监控模块，所述监控模块用于对所述游戏日志实时处理系统的运行状况进行监控。
11.如权利要求10所述的游戏日志实时处理系统，其特征在于，所述监控模块包括：
进程监控单元，用于监控所述游戏日志实时处理系统的进程是否存在；
日志监控单元，用于监控所述游戏日志实时处理系统是否有错误日志；以及
指标监控单元，用于通过计算得到的指标统计结果与小时作业或天作业的指标统计结果比对从而进行监控。
12.如权利要求2所述的游戏日志实时处理系统，其特征在于，还包括运维模块，用于对所述游戏日志实时处理系统的运行状况进行维护。
13.如权利要求12所述的游戏日志实时处理系统，其特征在于，所述运维模块包括：
初始化部署单元，用于在游戏日志实时处理系统启动之前进行基础信息的配置，并初始化数据；
运行控制单元，用于所述游戏日志实时处理系统运行过程的控制；以及
异常恢复单元，用于所述游戏日志实时处理系统出现异常时恢复场景。
14.如权利要求13所述的游戏日志实时处理系统，其特征在于，所述初始化数据包括以下处理：
通过运行Hive脚本生成的MapReduce批处理程序，在所述NoSQL类型数据库中生成历史全量数据。
15.如权利要求13所述的游戏日志实时处理系统，其特征在于，所述异常恢复单元在恢复场景包括以下处理：
在所述NoSQL类型数据库中对系统异常前已处理的文件进行批处理运算，得到系统异常前的统计指标结果；
从系统异常前未处理的文件继续运行。
16.如权利要求1所述的游戏日志实时处理系统，其特征在于，所述数据处理模块和所述指标统计模块的运行进程为单进程多线程方式。
17.如权利要求1所述的游戏日志实时处理系统，其特征在于，还包括结果展现模块，所述结果展现模块用于对所述指标统计结果进行展现。
18.如权利要求2所述的游戏日志实时处理系统，其特征在于，所述NoSQL类型数据库为HBase数据库。
19.一种游戏日志实时处理方法，其特征在于，包括以下步骤：
数据获取步骤：从分布式文件系统中以行级获取流数据，并将所述流数据存储在内存中；
数据处理步骤：对所述流数据进行处理，得到有效数据；
指标统计步骤：利用所述有效数据进行指标统计运算，得到指标统计结果。
20.如权利要求19所述的游戏日志实时处理方法，其特征在于，还包括以下步骤：将历史全量数据和/或中间数据存储于NoSQL类型数据库。
21.如权利要求20所述的游戏日志实时处理方法，其特征在于，所述指标统计步骤包括以下步骤：
利用所述有效数据进行计算得到第一结果；
将属于特定维度的若干个第一结果进行聚合，得到当前周期的第二结果；
将所述当前周期的第二结果与当前周期之前的第二结果进行汇总，得到所述指标统计结果。
22.如权利要求21所述的游戏日志实时处理方法，其特征在于，
所述利用所述有效数据进行计算得到第一结果步骤中还包括：当满足所述内存的缓存触发条件时，将内存中的所述第一结果写入NoSQL类型数据库；
所述将属于特定维度的若干个第一结果进行聚合得到当前周期的第二结果步骤中还包括：当满足所述内存的缓存触发条件时，将内存中的所述第二结果写入NoSQL类型数据库。
23.如权利要求19所述的游戏日志实时处理方法，其特征在于，所述指标统计步骤中的指标为新增帐号指标、登录指标、实时在线指标和付费指标中的一种或多种。
24.如权利要求19所述的游戏日志实时处理方法，其特征在于，所述数据获取步骤包括以下步骤：
每隔扫描周期获取所述分布式文件系统中的文件分片；
将所述文件分片根据文件标识进行合并，得到若干个完整文件；
检测所述若干个完整文件中是否有未被处理过的文件，若有，则所述未被处理过的文件为本次扫描周期中的新增文件，并从所述新增文件中行级获取流数据。
25.如权利要求24所述的游戏日志实时处理方法，其特征在于，所述数据获取步骤还包括对所述新增文件按到来的时间先后进行排序。
26.如权利要求19所述的游戏日志实时处理方法，其特征在于，所述数据处理步骤包括以下步骤：
将不同日志类型的数据进行解释得到具有统一日志类型的有效数据；
将不满足业务条件的数据进行过滤；
根据不同业务的特点对数据的内容进行转换，得到具有一致性的有效数据。
27.如权利要求19或26所述的游戏日志实时处理方法，其特征在于，所述数据处理步骤还包括对数据进行预处理子步骤，所述对数据进行预处理子步骤包括以下步骤：
将数据与各类型日志约定的格式进行格式匹配，将不符合格式的数据进行清洗；
将数据中的非法字段进行编码或剔除；
对加密数据进行解密或者对非UTF-8编码的字符进行统一编码。
28.如权利要求19所述的游戏日志实时处理方法，其特征在于，还包括结果展现步骤：对所述指标统计结果进行展现。
29.如权利要求19所述的游戏日志实时处理方法，其特征在于，还包括监控步骤：对游戏日志实时处理系统的运行状况进行监控。
30.如权利要求29所述的游戏日志实时处理方法，其特征在于，所述监控步骤包括以下步骤：
监控所述游戏日志实时处理系统的进程是否存在；
监控所述游戏日志实时处理系统是否有错误日志；
通过所述计算得到的指标统计结果与小时作业或天作业的指标统计结果比对从而进行监控。
31.如权利要求19所述的游戏日志实时处理方法，其特征在于，还包括运维步骤：对游戏日志实时处理系统的运行状况进行维护。
32.如权利要求31所述的游戏日志实时处理方法，其特征在于，所述运维步骤包括以下步骤：
在游戏日志实时处理系统启动之前进行基础信息的配置，并初始化数据；
对所述游戏日志实时处理系统的运行过程进行控制；
当所述游戏日志实时处理系统出现异常时恢复场景。
33.如权利要求32所述的游戏日志实时处理方法，其特征在于，所述初始化数据包括以下处理：
通过运行Hive脚本生成的MapReduce批处理程序，在所述NoSQL类型数据库中生成历史全量数据。
34.如权利要求32所述的游戏日志实时处理方法，其特征在于，所述异常时恢复场景包括以下处理：
在所述NoSQL类型数据库中对系统异常前已处理的文件进行批处理运算，得到系统异常前的统计指标结果；
从系统异常前未处理的文件继续运行。
35.如权利要求19所述的游戏日志实时处理方法，其特征在于，所述数据处理步骤和所述指标统计步骤以单进程多线程方式进行。
36.如权利要求20所述的游戏日志实时处理方法，其特征在于，所述NoSQL类型数据库为HBase数据库。
CN201510718948.5A 2015-10-29 2015-10-29 一种游戏日志实时处理系统及方法 Active CN105426292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510718948.5A CN105426292B (zh) 2015-10-29 2015-10-29 一种游戏日志实时处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510718948.5A CN105426292B (zh) 2015-10-29 2015-10-29 一种游戏日志实时处理系统及方法

Publications (2)

Publication Number Publication Date
CN105426292A true CN105426292A (zh) 2016-03-23
CN105426292B CN105426292B (zh) 2018-03-16

Family

ID=55504510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510718948.5A Active CN105426292B (zh) 2015-10-29 2015-10-29 一种游戏日志实时处理系统及方法

Country Status (1)

Country Link
CN (1) CN105426292B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
CN106326470A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 流式大数据的处理方法和装置
CN106599222A (zh) * 2016-12-19 2017-04-26 广州四三九九信息科技有限公司 一种流式并行处理日志的方法和设备
CN106708965A (zh) * 2016-12-01 2017-05-24 北京奇虎科技有限公司 一种数据的处理方法和装置
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107688535A (zh) * 2017-08-15 2018-02-13 武汉斗鱼网络科技有限公司 一种移动设备app性能数据显示方法及装置
CN107729375A (zh) * 2017-09-13 2018-02-23 微梦创科网络科技（中国）有限公司 一种日志数据排序的方法及装置
CN107943802A (zh) * 2016-10-12 2018-04-20 北京京东尚科信息技术有限公司 一种日志分析方法和系统
CN108205587A (zh) * 2017-12-28 2018-06-26 北京九章云极科技有限公司 一种日志监测方法及系统
CN108228379A (zh) * 2018-01-24 2018-06-29 广东远峰汽车电子有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN108268639A (zh) * 2018-01-18 2018-07-10 成都嗨翻屋文化传播有限公司 一种大数据环境下的指标计算方法
CN108320168A (zh) * 2017-01-16 2018-07-24 北京金山云网络技术有限公司 一种数据分析方法及装置
CN108509648A (zh) * 2018-04-13 2018-09-07 航天科技控股集团股份有限公司 一种基于记录仪平台的日志检索系统
CN108520071A (zh) * 2018-04-13 2018-09-11 航天科技控股集团股份有限公司 一种基于记录仪平台的日志检索系统及方法
CN108829747A (zh) * 2018-05-24 2018-11-16 新华三大数据技术有限公司 数据加载方法及装置
CN108959043A (zh) * 2017-05-24 2018-12-07 艺龙网信息技术（北京）有限公司 实时日志处理方法与装置
CN109635264A (zh) * 2018-11-29 2019-04-16 上海哔哩哔哩科技有限公司 游戏业务数据自动化统计方法、系统和存储介质
CN109885483A (zh) * 2019-01-17 2019-06-14 珠海金山网络游戏科技有限公司 用于实时反馈游戏内运行状态的日志可视化方法和系统
CN110032560A (zh) * 2018-11-06 2019-07-19 阿里巴巴集团控股有限公司 一种监控图表的生成方法和装置
CN111125161A (zh) * 2019-12-27 2020-05-08 中国移动通信集团江苏有限公司 数据的实时处理方法、装置、设备及存储介质
CN111258964A (zh) * 2018-12-03 2020-06-09 北京京东尚科信息技术有限公司 日志处理方法及装置、存储介质、电子设备
CN111813871A (zh) * 2020-06-30 2020-10-23 北京九章云极科技有限公司 一种数据实时处理系统及方法
CN112115019A (zh) * 2020-08-26 2020-12-22 上海汇付数据服务有限公司 用于应用程序的应用日志监控方法以及系统
CN112199596A (zh) * 2020-10-19 2021-01-08 杭州迪普科技股份有限公司 一种日志过滤处理的方法、装置、设备及介质
CN112569606A (zh) * 2020-12-24 2021-03-30 厦门极致互动网络技术股份有限公司 一种网络游戏行为日志的管理系统
CN112667578A (zh) * 2020-12-29 2021-04-16 广州市昊盟计算机科技有限公司 一种游戏日志数据实时处理方法
CN112732759A (zh) * 2020-12-31 2021-04-30 青岛海尔科技有限公司 数据处理方法及装置，存储介质及电子装置
CN112988858A (zh) * 2019-12-17 2021-06-18 北京达佳互联信息技术有限公司 数据处理方法、装置及设备和存储介质
CN113190426A (zh) * 2020-07-02 2021-07-30 北京睿知图远科技有限公司 一种大数据评分系统稳定性监控方法
CN113220442A (zh) * 2021-07-01 2021-08-06 北京轻松筹信息技术有限公司 数据调度方法、装置及电子设备
CN113608955A (zh) * 2021-06-30 2021-11-05 北京新氧科技有限公司 一种日志记录方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140143609A1 (en) * 2012-11-20 2014-05-22 Thomson Licensing Remotely controlled data logging
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105138615A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140143609A1 (en) * 2012-11-20 2014-05-22 Thomson Licensing Remotely controlled data logging
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105138615A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107229639B (zh) * 2016-03-24 2020-07-28 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
CN106326470A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 流式大数据的处理方法和装置
CN107943802A (zh) * 2016-10-12 2018-04-20 北京京东尚科信息技术有限公司 一种日志分析方法和系统
CN106708965A (zh) * 2016-12-01 2017-05-24 北京奇虎科技有限公司 一种数据的处理方法和装置
CN106599222A (zh) * 2016-12-19 2017-04-26 广州四三九九信息科技有限公司 一种流式并行处理日志的方法和设备
CN106599222B (zh) * 2016-12-19 2020-09-04 广州四三九九信息科技有限公司 一种流式并行处理日志的方法和设备
CN108320168A (zh) * 2017-01-16 2018-07-24 北京金山云网络技术有限公司 一种数据分析方法及装置
CN108320168B (zh) * 2017-01-16 2021-05-07 北京金山云网络技术有限公司 一种数据分析方法及装置
CN108959043A (zh) * 2017-05-24 2018-12-07 艺龙网信息技术（北京）有限公司 实时日志处理方法与装置
CN107688535A (zh) * 2017-08-15 2018-02-13 武汉斗鱼网络科技有限公司 一种移动设备app性能数据显示方法及装置
CN107729375A (zh) * 2017-09-13 2018-02-23 微梦创科网络科技（中国）有限公司 一种日志数据排序的方法及装置
CN108205587A (zh) * 2017-12-28 2018-06-26 北京九章云极科技有限公司 一种日志监测方法及系统
CN108268639A (zh) * 2018-01-18 2018-07-10 成都嗨翻屋文化传播有限公司 一种大数据环境下的指标计算方法
CN108268639B (zh) * 2018-01-18 2022-02-11 成都嗨翻屋科技有限公司 一种大数据环境下的指标计算方法
CN108228379B (zh) * 2018-01-24 2021-11-05 远峰科技股份有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN108228379A (zh) * 2018-01-24 2018-06-29 广东远峰汽车电子有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN108509648A (zh) * 2018-04-13 2018-09-07 航天科技控股集团股份有限公司 一种基于记录仪平台的日志检索系统
CN108520071A (zh) * 2018-04-13 2018-09-11 航天科技控股集团股份有限公司 一种基于记录仪平台的日志检索系统及方法
CN108829747A (zh) * 2018-05-24 2018-11-16 新华三大数据技术有限公司 数据加载方法及装置
CN110032560A (zh) * 2018-11-06 2019-07-19 阿里巴巴集团控股有限公司 一种监控图表的生成方法和装置
CN109635264A (zh) * 2018-11-29 2019-04-16 上海哔哩哔哩科技有限公司 游戏业务数据自动化统计方法、系统和存储介质
CN111258964A (zh) * 2018-12-03 2020-06-09 北京京东尚科信息技术有限公司 日志处理方法及装置、存储介质、电子设备
CN109885483A (zh) * 2019-01-17 2019-06-14 珠海金山网络游戏科技有限公司 用于实时反馈游戏内运行状态的日志可视化方法和系统
CN112988858A (zh) * 2019-12-17 2021-06-18 北京达佳互联信息技术有限公司 数据处理方法、装置及设备和存储介质
CN111125161B (zh) * 2019-12-27 2023-08-15 中国移动通信集团江苏有限公司 数据的实时处理方法、装置、设备及存储介质
CN111125161A (zh) * 2019-12-27 2020-05-08 中国移动通信集团江苏有限公司 数据的实时处理方法、装置、设备及存储介质
CN111813871B (zh) * 2020-06-30 2021-06-18 北京九章云极科技有限公司 一种数据实时处理系统及方法
CN111813871A (zh) * 2020-06-30 2020-10-23 北京九章云极科技有限公司 一种数据实时处理系统及方法
CN113190426B (zh) * 2020-07-02 2023-10-20 北京睿知图远科技有限公司 一种大数据评分系统稳定性监控方法
CN113190426A (zh) * 2020-07-02 2021-07-30 北京睿知图远科技有限公司 一种大数据评分系统稳定性监控方法
CN112115019A (zh) * 2020-08-26 2020-12-22 上海汇付数据服务有限公司 用于应用程序的应用日志监控方法以及系统
CN112199596B (zh) * 2020-10-19 2023-08-25 杭州迪普科技股份有限公司 一种日志过滤处理的方法、装置、设备及介质
CN112199596A (zh) * 2020-10-19 2021-01-08 杭州迪普科技股份有限公司 一种日志过滤处理的方法、装置、设备及介质
CN112569606A (zh) * 2020-12-24 2021-03-30 厦门极致互动网络技术股份有限公司 一种网络游戏行为日志的管理系统
CN112667578A (zh) * 2020-12-29 2021-04-16 广州市昊盟计算机科技有限公司 一种游戏日志数据实时处理方法
CN112732759A (zh) * 2020-12-31 2021-04-30 青岛海尔科技有限公司 数据处理方法及装置，存储介质及电子装置
CN112732759B (zh) * 2020-12-31 2023-02-03 青岛海尔科技有限公司 数据处理方法及装置，存储介质及电子装置
CN113608955A (zh) * 2021-06-30 2021-11-05 北京新氧科技有限公司 一种日志记录方法、装置、设备及存储介质
CN113608955B (zh) * 2021-06-30 2024-01-26 北京新氧科技有限公司 一种日志记录方法、装置、设备及存储介质
CN113220442B (zh) * 2021-07-01 2021-11-26 北京轻松筹信息技术有限公司 数据调度方法、装置及电子设备
CN113220442A (zh) * 2021-07-01 2021-08-06 北京轻松筹信息技术有限公司 数据调度方法、装置及电子设备

Also Published As

Publication number Publication date
CN105426292B (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN105426292A (zh) 一种游戏日志实时处理系统及方法
CN105224445B (zh) 分布式跟踪系统
US10606711B2 (en) Recovery strategy for a stream processing system
US20200319951A1 (en) Tuning Context-Aware Rule Engine for Anomaly Detection
JP2022160405A (ja) アラームログ圧縮方法、装置、およびシステム、並びに記憶媒体
US9424160B2 (en) Detection of data flow bottlenecks and disruptions based on operator timing profiles in a parallel processing environment
CN106599197B (zh) 数据采集交换引擎
CN103793284B (zh) 基于共同序列模式的、用于智能客户服务的分析系统和方法
CN109725899B (zh) 数据流式处理方法及装置
Isah et al. A scalable and robust framework for data stream ingestion
CN109284251A (zh) 日志管理方法、装置、计算机设备以及存储介质
US20120297393A1 (en) Data Collecting Method, Data Collecting Apparatus and Network Management Device
US20210097431A1 (en) Debugging and profiling of machine learning model training
US20190294519A1 (en) System and method for database replication benchmark testing using a pipeline-based microservices model
CN106354876A (zh) 一种数据处理系统和方法
CN107766147A (zh) 分布式的数据分析任务调度系统
CN105989163A (zh) 数据实时处理方法及系统
US10217073B2 (en) Monitoring transactions from distributed applications and using selective metrics
US9501377B2 (en) Generating and implementing data integration job execution design recommendations
CN110046073A (zh) 一种日志采集方法及装置、设备、存储介质
CN112395333B (zh) 用于排查数据异常的方法、装置、电子设备及存储介质
US8738768B2 (en) Multiple destinations for mainframe event monitoring
CN109117350A (zh) 自动监控计算机软硬件的告警方法、装置及服务器
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN107818106B (zh) 一种大数据离线计算数据质量校验方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant