CN109635264A - 游戏业务数据自动化统计方法、系统和存储介质 - Google Patents
游戏业务数据自动化统计方法、系统和存储介质 Download PDFInfo
- Publication number
- CN109635264A CN109635264A CN201811441118.2A CN201811441118A CN109635264A CN 109635264 A CN109635264 A CN 109635264A CN 201811441118 A CN201811441118 A CN 201811441118A CN 109635264 A CN109635264 A CN 109635264A
- Authority
- CN
- China
- Prior art keywords
- data
- game service
- real
- real time
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种游戏业务数据自动化统计方法、系统和存储介质，属于互联网技术领域。方法包括：实时数据统计步骤，将实时的游戏业务数据通过实时计算队列完成计算，并上报至本地数据库中；离线数据统计步骤，将离线的游戏业务数据进行离线数据自动化计算，并上报至本地数据库中；系统包括，实时数据统计模块，用于将实时的游戏业务数据通过实时计算队列完成计算后上报；离线数据统计模块，用于将离线的游戏业务数据进行离线数据自动化计后上报；本地数据库，用于接收并存储上报的数据；所述介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述游戏业务数据自动化统计方法。与现有技术相比，本发明具有高实时性以及高准确性等优点。
Description
技术领域
本发明涉及互联网技术领域，特别涉及游戏业务数据领域，具体是指一种游戏业务数据自动化统计方法、系统和存储介质。
背景技术
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，业务数据就是这个高科技时代的产物。业务数据具有很重要的价值，对大量消费者提供产品或服务的企业可以利用业务数据进行精准营销。
在业务数据的各应用场合中，游戏业务数据占据着十分重要的地位。网络游戏通过网络游戏运营商采用专业的游戏服务器进行管理和运营，使得网络游戏玩家在娱乐时让网络游戏的属性和数据进行存储和变化。随着网络游戏的飞速发展，网络游戏的虚拟性决定了游戏业务数据的获取具有十分重要的作用。
当前互联网游戏线上业务在进行数据统计时往往繁琐复杂，需要进行各处埋点上报，对业务的依赖性极强，并且更新风险高，对旧业务数据兼容性低。与此同时，数据统计业务上线需要依赖业务本身，但此类数据统计方式不适合敏捷开发。因此十分需要一种游戏业务数据统计方法，可以满足运营、市场、总监等需要关注业务数据的人员的需求，进行高实时、准确性的实时与离线数据查看分析，从而以数据驱动业务。
发明内容
本发明的目的是针对上述问题提供一种游戏业务数据自动化统计方法、系统和存储介质。
本发明的目的可以通过以下技术方案来实现：
一种游戏业务数据自动化统计方法，所述的方法包括以下步骤：
实时数据统计步骤，将实时的游戏业务数据镜像复制后，通过实时计算队列完成计算后，得到实时数据上报至本地数据库中，实现实时数据的自动化统计；
离线数据统计步骤，将离线的游戏业务数据镜像复制后，进行离线数据自动化计算，得到离线数据上报至本地数据库中，实现离线数据的自动化统计。
优选地，所述实时数据统计步骤具体包括以下步骤：
(A1)对实时的游戏业务数据镜像复制，得到实时游戏业务复制数据；
(A2)对所述的实时游戏业务复制数据通过分布式实时计算集群进行流式计算，将得到的流式计算结果传输至分布式数据库内；
(A3)在分布式数据库内对所述的流式计算结果进行比较，并将通过比较得到的结果作为实时数据，上报至本地数据库中，实现实时数据的自动化统计。
优选地，所述步骤(A2)具体包括以下步骤：
(A21)对所述的实时游戏业务复制数据按照类型进行过滤，得到实时游戏业务过滤数据，并分发至对应的分布式实时计算队列；
(A22)所述的分布式实时计算队列对所述的实时游戏业务过滤数据进行流式计算，得到流式计算结果；
(A23)将所述的流式计算结果传输至分布数据库内。
优选地，所步骤(A3)具体为：在分布式数据库内对所述的流式计算结果进行比较，寻找最大槽点，将最大槽点作为实时数据，上报至本地数据库中，实现实时数据的自动化统计。
优选地，所述实时数据统计步骤还包括：将本地数据库内所述的实时数据通过报表进行展示。
优选地，所述离线数据统计步骤具体包括以下步骤：
(B1)对离线的游戏业务数据镜像复制，得到离线游戏业务复制数据；
(B2)将所述的离线游戏业务复制数据上传至云端大数据仓库中，在云端大数据仓库内完成离线数据自动化计算，得到离线数据；
(B3)将所述的离线数据上报至本地数据库中，实现离线数据的自动化统计。
优选地，所述步骤(B2)具体包括以下步骤：
(B21)对所述的离线游戏业务复制数据按照类型进行过滤，得到离线游戏业务过滤数据并上传至云端大数据仓库中；
(B22)在云端大数据仓库中，对所述的离线游戏业务过滤数据进行离线数据自动化计算，得到离线数据。
优选地，所述步骤(B21)具体为：根据所述的离线游戏业务复制数据按照数据内的标记进行分类，删除无效数据，并将有效数据按照标记划分类别后，作为离线游戏业务过滤数据并行上传至云端大数据仓库中。
优选地，所述步骤(B22)具体包括以下步骤：
(B221)在云端大数据仓库内制定计算指标模板；
(B222)根据计算指标模板，根据所述的离线游戏业务过滤数据的相关参数自动生成与类别对应的任务；
(B223)根据任务的优先级和依赖关系生成任务树，在任务树内对所述的离线游戏业务过滤数据执行指标计算，得到离线数据。
优选地，所述相关参数包括：日期、游戏、渠道和区服。
优选地，所述离线数据统计步骤还包括：将本地数据库内所述的离线数据通过报表进行展示。
一种游戏业务数据自动化统计系统，所述的系统包括：
实时数据统计模块，用于将实时的游戏业务数据镜像复制后，通过实时计算队列完成计算后，得到实时数据进行上报；
离线数据统计模块，用于将离线的游戏业务数据镜像复制后，进行离线数据自动化计算，得到离线数据并上报；
本地数据库，用于接收并存储实时数据统计模块上报的实时数据和离线数据统计模块上报的离线数据。
优选地，所述实时数据统计模块包括：
实时游戏业务数据复制单元，用于镜像复制实时的游戏业务数据，得到实时游戏业务复制数据；
实时游戏业务数据过滤单元，用于对所述的实时游戏业务复制数据按照类型进行过滤，得到实时游戏业务过滤数据；
流式计算单元，用于对所述的实时游戏业务过滤数据进行流式计算，得到流式计算结果；
分布式数据库，用于储存所述的流式计算结果，并对所述的流式计算结果进行比较后寻找最大槽点上报至本地数据库中。
优选地，所述离线数据统计模块包括：
离线游戏业务数据复制单元，用于镜像复制离线的游戏业务数据，得到离线游戏业务复制数据；
云端大数据仓库，用于存储所述的离线游戏业务复制数据并进行离线数据自动化计算，得到离线数据上报至本地数据库中。
优选地，所述云端大数据仓库包括：
离线游戏业务数据过滤单元，用于对所述的离线游戏业务复制数据按照类型进行过滤，得到离线业务过滤数据；
离线数据自动化计算单元，用于对所述的离线业务过滤数据进行离线数据自动化计算，得到离线数据并上报至本地数据库中。
优选地，所述对所述的离线游戏业务复制数据按照类型进行过滤具体为：根据所述的离线游戏业务复制数据按照数据内的标记进行分类，删除无效数据，并将有效数据按照标记划分类别后，作为离线游戏业务过滤数据并行上传至离线数据自动化计算单元中。
优选地，所述对所述的离线业务过滤数据进行离线数据自动化计算具体为：在云端大数据仓库内制定计算指标模板；根据计算指标模板，根据所述的离线游戏业务过滤数据的相关参数自动生成与类别对应的任务；根据任务的优先级和依赖关系生成任务树，在任务树内对所述的离线游戏业务过滤数据执行指标计算，得到离线数据。
优选地，所述系统还包括报表页面展示模块，用于将本地数据库内存储的实时数据和离线数据通过报表页面进行展示。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述中任一项所述游戏业务数据自动化统计方法。
与现有技术相比，本发明具有以下有益效果：
(1)本发明提出的游戏业务数据自动化统计方法，通过实时数据统计步骤，可以保证获取的游戏业务数据的时效性，同时通过离线数据统计步骤，可以保证游戏业务数据获取的完整性和准确性，两个步骤相互结合，降低了业务数据获取对于业务本身的依赖性，提高了数据获取的实时性和准确性，适合敏捷开发。
(2)实时数据统计步骤通过镜像复制实时的游戏业务数据，并对复制后的数据通过分布式实时计算集群进行流式计算，并将计算结果通过分布式数据库进一步处理后上报至本地数据库，这样的操作无需再对业务数据本身进行埋点上报，降低了对业务的依赖性，同时分布式的流式计算速度快，因此进一步提高了实时数据统计的速度，增强了数据统计的实时性。
(3)离线数据统计步骤通过镜像复制离线的业务数据，并将其上传至云端大数据仓库进行离线数据自动化计算，利用云端大数据仓库对上传的业务数据生成任务树来进行处理，保证了离线的游戏业务数据的处理速度，进一步提高了数据的统计速度。
(4)实时数据和离线数据在传输到本地数据库后，都可以通过报表进行进一步展示，具有较好的直观效果，方便关注业务数据的人员进行监控操作，实用性好。
附图说明
图1为实时数据统计步骤的方法流程图；
图2为离线数据统计步骤的方法流程图；
图3为离线数据自动化计算过程的方法流程图；
图4为实时数据和离线数据同时展示时的曲线示意图；
图5为通过报表进行数据展示时的选项图；
图6为实施例1中进行实时数据统计过程的流程图；
图7为实施例1中进行离线数据统计时部分过程的流程图；
图8为实施例1中进行实时数据统计时部分过程的流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1和图2所示，为本发明游戏业务数据自动化统计方法中两个主要步骤的流程图。
在一种实施方式中，该游戏业务数据自动化统计方法，包括以下步骤：
实时数据统计步骤，将实时的游戏业务数据镜像复制后，通过实时计算队列完成计算后，得到实时数据上报至本地数据库中，实现实时数据的自动化统计；
离线数据统计步骤，将离线的游戏业务数据镜像复制后，进行离线数据自动化计算，得到离线数据上报至本地数据库中，实现离线数据的自动化统计。
其中，实时数据统计步骤具体包括以下步骤：
(A1)对实时的游戏业务数据镜像复制，得到实时游戏业务复制数据；
(A2)对所述的实时游戏业务复制数据通过分布式实时计算集群进行流式计算，将得到的流式计算结果传输至分布式数据库内：
(A21)对所述的实时游戏业务复制数据按照类型进行过滤，得到实时游戏业务过滤数据，并分发至对应的分布式实时计算队列；
(A22)所述的分布式实时计算队列对所述的实时游戏业务过滤数据进行流式计算，得到流式计算结果；
(A23)将所述的流式计算结果传输至分布数据库内；
(A3)在分布式数据库内对所述的流式计算结果进行比较，并将通过比较得到的结果作为实时数据，上报至本地数据库中，实现实时数据的自动化统计，具体为：在分布式数据库内对所述的流式计算结果进行比较，寻找最大槽点，将最大槽点作为实时数据，上报至本地数据库中，实现实时数据的自动化统计。
实时数据统计步骤除了上述过程以外，还包括：将本地数据库内所述的实时数据通过报表进行展示。
而离线数据统计步骤具体包括以下步骤：
(B1)对离线的游戏业务数据镜像复制，得到离线游戏业务复制数据；
(B2)将所述的离线游戏业务复制数据上传至云端大数据仓库中，在云端大数据仓库内完成离线数据自动化计算，得到离线数据，具体为：
(B21)对所述的离线游戏业务复制数据按照类型进行过滤，得到离线游戏业务过滤数据并上传至云端大数据仓库中，具体为：根据所述的离线游戏业务复制数据按照数据内的标记进行分类，删除无效数据，并将有效数据按照标记划分类别后，作为离线游戏业务过滤数据并行上传至云端大数据仓库中；
(B22)在云端大数据仓库中，对所述的离线游戏业务过滤数据进行离线数据自动化计算，得到离线数据，(B221)在云端大数据仓库内制定计算指标模板；
(B222)根据计算指标模板，根据所述的离线游戏业务过滤数据的相关参数(包括：日期、游戏、渠道和区服等)自动生成与类别对应的任务；
(B223)根据任务的优先级和依赖关系生成任务树，在任务树内对所述的离线游戏业务过滤数据执行指标计算，得到离线数据；
(B3)将所述的离线数据上报至本地数据库中，实现离线数据的自动化统计。
离线数据统计步骤除了上述过程以外，还包括：将本地数据库内所述的离线数据通过报表进行展示。
上述游戏业务数据自动化统计方法实际上是依据于游戏业务数据自动化统计系统来实现的，该系统主要包括：
实时数据统计模块，用于将实时的游戏业务数据镜像复制后，通过实时计算队列完成计算后，得到实时数据进行上报；
离线数据统计模块，用于将离线的游戏业务数据镜像复制后，进行离线数据自动化计算，得到离线数据并上报；
本地数据库，用于接收并存储实时数据统计模块上报的实时数据和离线数据统计模块上报的离线数据。
其中，实时数据统计模块包括：实时游戏业务数据复制单元，用于镜像复制实时的游戏业务数据，得到实时游戏业务复制数据；实时游戏业务数据过滤单元，用于对所述的实时游戏业务复制数据按照类型进行过滤，得到实时游戏业务过滤数据；流式计算单元，用于对所述的实时游戏业务过滤数据进行流式计算，得到流式计算结果；分布式数据库，用于储存所述的流式计算结果，并对所述的流式计算结果进行比较后寻找最大槽点上报至本地数据库中。
而离线数据统计模块则包括：离线游戏业务数据复制单元，用于镜像复制离线的游戏业务数据，得到离线游戏业务复制数据；云端大数据仓库，用于存储所述的离线游戏业务复制数据并进行离线数据自动化计算，得到离线数据上报至本地数据库中。其中的云端大数据仓库具体是由如下两个单元构成，即：离线游戏业务数据过滤单元，用于对所述的离线游戏业务复制数据按照类型进行过滤，得到离线业务过滤数据；离线数据自动化计算单元，用于对所述的离线业务过滤数据进行离线数据自动化计算，得到离线数据并上报至本地数据库中。
本实施例中，系统还包括了报表页面展示模块，用于将本地数据库内存储的实时数据和离线数据通过报表页面进行展示。
除上述方法和系统之外，本实施例中还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述中任一项游戏业务数据自动化统计方法。
在实际应用中，本发明游戏业务数据自动化统计方法的具体实现方式，通过以下实施例说明。
实施例1
为了解决现有游戏业务数据统计对于业务依赖性强且更新风险高的问题，本实施例中提出了一种游戏业务数据自动化统计方法，主要由两个步骤实现，一是实时数据统计步骤，另一个是离线数据统计步骤，通过这两个步骤的结合，可以即时高效的获取游戏业务数据，既保证了游戏业务数据统计的实时性，又保证了游戏业务数据统计的准确性。
如图6所示，为本实施例中实时数据统计步骤的流程图，从图中可以看出，本实施例中在进行实时数据统计时，首先通过镜像复制的方法将实时的游戏业务数据进行复制，之后通过SDK服务对复制后的数据按照类型进行过滤分发到相应的日志队列中，本实施例中的队列采用的是JStorm实时计算队列，在JStorm实时计算队列中的业务数据依照相应的类型，执行者对应的计算操作，从图中可以看出，本实施例中执行的计算操作有实时流水计算、实时注册计算和实时心跳计算，在Jstorm实时计算队列中计算完毕的业务数据，首先会进入HBASE中，如图8所示，进入HBASE中的业务数据会按照当前数据时间进行比较，寻找最大槽点，再将寻找到的结果反馈回JStorm实时计算队列中，最终JStorm实时计算队列会将这些数据上报至本地数据库中，完成实时数据统计。
而离线数据统计步骤的过程则与实时数据统计步骤的过程有着较大的区别，如图2所示，从图中可以看出，对于离线的游戏业务数据，在从日志数据库中镜像复制后，首先也是过滤分发，而这时的过滤分发则与实时数据统计步骤中的过滤分发有着部分区别，如图7所示，对于离线的游戏业务数据，在过滤时会丢弃掉部分无用数据，而将有用数据保留并上传至云端大数据仓库中，本实施例中上传到的云端大数据仓库是阿里云ODPS(Open DataProcessing Service)，在上传到阿里云ODPS后，ODPS会开始对数据进行相应的离线数据自动化计算，过程如图3所示，从图中可以看出，ODPS在进行离线自动化计算时，首先会制定计算指标模板，然后按照日期、游戏、渠道、区服等等相关参数来对ODPS内接收的数据分别自动生成相应的具体任务，在生成了这些任务之后，ODPS会将所有任务按照优先级以及依赖关系算法进行排列，生成一棵任务树，接着ODPS会根据任务树来依次执行对应的指标计算，在遍历了整棵树后，即完成了离线数据自动化计算，此时ODPS会将自动化计算的结果上报至本地数据库中，完成离线数据统计。
从上述描述中可以看出，无论是实时数据统计步骤还是离线数据统计步骤，最后的统计结果都会存储在本地数据库中，在工作人员需要对这些数据进行读取时，一方面可以自行调阅，另一方面这些数据也可以通过报表页面进行展示，如图4所示，通过展示，工作人员可以直观的看到游戏业务数据的走向，本实施例中对于实时数据和离线数据在展示过程中，还提供了相应的选择页面，工作人员可以根据需求，在选择页面上勾选想要查看的内容的选项，从而更加直观的监控游戏业务数据，选项图具体如图5所示。
实施例2
本实施例中游戏业务数据自动化统计方法的过程与实施例1中的基本相同，区别在于，本实施例中是同时对实时的游戏业务数据和离线的游戏业务数据进行镜像复制和过滤，在完成过滤后，通过过滤的实时的游戏业务数据进入相应的分布式实时计算集群来进行流式计算，而离线的游戏业务数据则进入对应的云端大数据仓库来进行离线数据自动化计算。除此之外，其余的控制过程和原理均与实施例1中完全相同。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以做出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (19)
1.一种游戏业务数据自动化统计方法，其特征在于，所述的方法包括以下步骤：
实时数据统计步骤，将实时的游戏业务数据镜像复制后，通过实时计算队列完成计算后，得到实时数据上报至本地数据库中，实现实时数据的自动化统计；
离线数据统计步骤，将离线的游戏业务数据镜像复制后，进行离线数据自动化计算，得到离线数据上报至本地数据库中，实现离线数据的自动化统计。
2.根据权利要求1所述游戏业务数据自动化统计方法，其特征在于，所述实时数据统计步骤具体包括以下步骤：
(A1)对实时的游戏业务数据镜像复制，得到实时游戏业务复制数据；
(A2)对所述的实时游戏业务复制数据通过分布式实时计算集群进行流式计算，将得到的流式计算结果传输至分布式数据库内；
(A3)在分布式数据库内对所述的流式计算结果进行比较，并将通过比较得到的结果作为实时数据，上报至本地数据库中，实现实时数据的自动化统计。
3.根据权利要求2所述游戏业务数据自动化统计方法，其特征在于，所述步骤(A2)具体包括以下步骤：
(A21)对所述的实时游戏业务复制数据按照类型进行过滤，得到实时游戏业务过滤数据，并分发至对应的分布式实时计算队列；
(A22)所述的分布式实时计算队列对所述的实时游戏业务过滤数据进行流式计算，得到流式计算结果；
(A23)将所述的流式计算结果传输至分布数据库内。
4.根据权利要求2所述游戏业务数据自动化统计方法，其特征在于，所步骤(A3)具体为：在分布式数据库内对所述的流式计算结果进行比较，寻找最大槽点，将最大槽点作为实时数据，上报至本地数据库中，实现实时数据的自动化统计。
5.根据权利要求2所述游戏业务数据自动化统计方法，其特征在于，所述实时数据统计步骤还包括：将本地数据库内所述的实时数据通过报表进行展示。
6.根据权利要求1所述游戏业务数据自动化统计方法，其特征在于，所述离线数据统计步骤具体包括以下步骤：
(B1)对离线的游戏业务数据镜像复制，得到离线游戏业务复制数据；
(B2)将所述的离线游戏业务复制数据上传至云端大数据仓库中，在云端大数据仓库内完成离线数据自动化计算，得到离线数据；
(B3)将所述的离线数据上报至本地数据库中，实现离线数据的自动化统计。
7.根据权利要求6所述游戏业务数据自动化统计方法，其特征在于，所述步骤(B2)具体包括以下步骤：
(B21)对所述的离线游戏业务复制数据按照类型进行过滤，得到离线游戏业务过滤数据并上传至云端大数据仓库中；
(B22)在云端大数据仓库中，对所述的离线游戏业务过滤数据进行离线数据自动化计算，得到离线数据。
8.根据权利要求7所述游戏业务数据自动化统计方法，其特征在于，所述步骤(B21)具体为：根据所述的离线游戏业务复制数据按照数据内的标记进行分类，删除无效数据，并将有效数据按照标记划分类别后，作为离线游戏业务过滤数据并行上传至云端大数据仓库中。
9.根据权利要求7所述游戏业务数据自动化统计方法，其特征在于，所述步骤(B22)具体包括以下步骤：
(B221)在云端大数据仓库内制定计算指标模板；
(B222)根据计算指标模板，根据所述的离线游戏业务过滤数据的相关参数自动生成与类别对应的任务；
(B223)根据任务的优先级和依赖关系生成任务树，在任务树内对所述的离线游戏业务过滤数据执行指标计算，得到离线数据。
10.根据权利要求9所述游戏业务数据自动化统计方法，其特征在于，所述相关参数包括：日期、游戏、渠道和区服。
11.根据权利要求6所述游戏业务数据自动化统计方法，其特征在于，所述离线数据统计步骤还包括：将本地数据库内所述的离线数据通过报表进行展示。
12.一种游戏业务数据自动化统计系统，其特征在于，所述的系统包括：
实时数据统计模块，用于将实时的游戏业务数据镜像复制后，通过实时计算队列完成计算后，得到实时数据进行上报；
离线数据统计模块，用于将离线的游戏业务数据镜像复制后，进行离线数据自动化计算，得到离线数据并上报；
本地数据库，用于接收并存储实时数据统计模块上报的实时数据和离线数据统计模块上报的离线数据。
13.根据权利要求12所述游戏业务数据自动化统计系统，其特征在于，所述实时数据统计模块包括：
实时游戏业务数据复制单元，用于镜像复制实时的游戏业务数据，得到实时游戏业务复制数据；
实时游戏业务数据过滤单元，用于对所述的实时游戏业务复制数据按照类型进行过滤，得到实时游戏业务过滤数据；
流式计算单元，用于对所述的实时游戏业务过滤数据进行流式计算，得到流式计算结果；
分布式数据库，用于储存所述的流式计算结果，并对所述的流式计算结果进行比较后寻找最大槽点上报至本地数据库中。
14.根据权利要求12所述游戏业务数据自动化统计系统，其特征在于，所述离线数据统计模块包括：
离线游戏业务数据复制单元，用于镜像复制离线的游戏业务数据，得到离线游戏业务复制数据；
云端大数据仓库，用于存储所述的离线游戏业务复制数据并进行离线数据自动化计算，得到离线数据上报至本地数据库中。
15.根据权利要求14所述游戏业务数据自动化统计系统，其特征在于，所述云端大数据仓库包括：
离线游戏业务数据过滤单元，用于对所述的离线游戏业务复制数据按照类型进行过滤，得到离线业务过滤数据；
离线数据自动化计算单元，用于对所述的离线业务过滤数据进行离线数据自动化计算，得到离线数据并上报至本地数据库中。
16.根据权利要求15所述游戏业务数据自动化统计系统，其特征在于，所述对所述的离线游戏业务复制数据按照类型进行过滤具体为：根据所述的离线游戏业务复制数据按照数据内的标记进行分类，删除无效数据，并将有效数据按照标记划分类别后，作为离线游戏业务过滤数据并行上传至离线数据自动化计算单元中。
17.根据权利要求15所述游戏业务数据自动化统计系统，其特征在于，所述对所述的离线业务过滤数据进行离线数据自动化计算具体为：在云端大数据仓库内制定计算指标模板；根据计算指标模板，根据所述的离线游戏业务过滤数据的相关参数自动生成与类别对应的任务；根据任务的优先级和依赖关系生成任务树，在任务树内对所述的离线游戏业务过滤数据执行指标计算，得到离线数据。
18.根据权利要求12所述游戏业务数据自动化统计系统，其特征在于，所述系统还包括报表页面展示模块，用于将本地数据库内存储的实时数据和离线数据通过报表页面进行展示。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至11中任一项所述游戏业务数据自动化统计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811441118.2A CN109635264A (zh) | 2018-11-29 | 2018-11-29 | 游戏业务数据自动化统计方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811441118.2A CN109635264A (zh) | 2018-11-29 | 2018-11-29 | 游戏业务数据自动化统计方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109635264A true CN109635264A (zh) | 2019-04-16 |
Family
ID=66069514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811441118.2A Pending CN109635264A (zh) | 2018-11-29 | 2018-11-29 | 游戏业务数据自动化统计方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635264A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309848A (zh) * | 2019-05-08 | 2019-10-08 | 重庆天蓬网络有限公司 | 离线数据与流式数据实时融合计算的方法 |
| CN111610928A (zh) * | 2020-04-27 | 2020-09-01 | 上海容易网电子商务股份有限公司 | 一种快速通用的埋点数据采集方法 |
| CN113407617A (zh) * | 2021-06-25 | 2021-09-17 | 交控科技股份有限公司 | 基于大数据技术的实时与离线业务统一处理方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426292A (zh) * | 2015-10-29 | 2016-03-23 | 网易（杭州）网络有限公司 | 一种游戏日志实时处理系统及方法 |
| CN107733694A (zh) * | 2017-09-25 | 2018-02-23 | 苏州耕耘无忧物联科技有限公司 | 面向物联网实时数据的自动分析方法 |
| CN108241722A (zh) * | 2016-12-23 | 2018-07-03 | 北京金山云网络技术有限公司 | 一种数据处理系统、方法及装置 |
| CN108289125A (zh) * | 2018-01-26 | 2018-07-17 | 华南理工大学 | 基于流式处理的tcp会话重组与统计数据提取方法 |
| CN108306980A (zh) * | 2018-03-06 | 2018-07-20 | 北京工业大学 | 一种机务飞行保障大数据日志分析系统 |
| CN108874908A (zh) * | 2018-05-28 | 2018-11-23 | 苏州玩友时代科技股份有限公司 | 一种实时游戏业务告警方法 |
-
2018
- 2018-11-29 CN CN201811441118.2A patent/CN109635264A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426292A (zh) * | 2015-10-29 | 2016-03-23 | 网易（杭州）网络有限公司 | 一种游戏日志实时处理系统及方法 |
| CN108241722A (zh) * | 2016-12-23 | 2018-07-03 | 北京金山云网络技术有限公司 | 一种数据处理系统、方法及装置 |
| CN107733694A (zh) * | 2017-09-25 | 2018-02-23 | 苏州耕耘无忧物联科技有限公司 | 面向物联网实时数据的自动分析方法 |
| CN108289125A (zh) * | 2018-01-26 | 2018-07-17 | 华南理工大学 | 基于流式处理的tcp会话重组与统计数据提取方法 |
| CN108306980A (zh) * | 2018-03-06 | 2018-07-20 | 北京工业大学 | 一种机务飞行保障大数据日志分析系统 |
| CN108874908A (zh) * | 2018-05-28 | 2018-11-23 | 苏州玩友时代科技股份有限公司 | 一种实时游戏业务告警方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309848A (zh) * | 2019-05-08 | 2019-10-08 | 重庆天蓬网络有限公司 | 离线数据与流式数据实时融合计算的方法 |
| CN111610928A (zh) * | 2020-04-27 | 2020-09-01 | 上海容易网电子商务股份有限公司 | 一种快速通用的埋点数据采集方法 |
| CN113407617A (zh) * | 2021-06-25 | 2021-09-17 | 交控科技股份有限公司 | 基于大数据技术的实时与离线业务统一处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10459940B2 (en) | Systems and methods for interest-driven data visualization systems utilized in interest-driven business intelligence systems | |
| US10817534B2 (en) | Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations | |
| CN104756106B (zh) | 表征数据存储系统中的数据源 | |
| CN105335814B (zh) | 在线大数据智能云审计方法及系统 | |
| US9934299B2 (en) | Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations | |
| CN109635264A (zh) | 游戏业务数据自动化统计方法、系统和存储介质 | |
| CN104933112A (zh) | 分布式互联网交易信息存储处理方法 | |
| US10223388B2 (en) | Avoid double counting of mapped database data | |
| CN105976109A (zh) | 一种基于大数据智能审计的方法及系统 | |
| CN107622103A (zh) | 管理数据查询 | |
| CN112767058A (zh) | AIOT DaaS数字孪生云平台 | |
| CN109191338B (zh) | 基于校园一卡通消费数据的学生行为预警方法 | |
| CN111291076A (zh) | 基于大数据的异常用水监测报警系统及其构建方法 | |
| CN108052542A (zh) | 一种基于presto的数据的多维数据的分析方法 | |
| CN107392736A (zh) | 一种数据处理方法、装置及设备 | |
| US7526473B2 (en) | Traversing a relational model with preferred paths | |
| CN115470195A (zh) | 一种融合维度模型的指标数据自动化计算方法及装置 | |
| CN113553360A (zh) | 多企业关系分析方法、装置、电子设备、存储介质和计算机程序 | |
| CN110737673A (zh) | 一种数据处理的方法及系统 | |
| WO2009006028A2 (en) | Explaining changes in measures thru data mining | |
| CN108306916A (zh) | 大数据多网融合科研一体机平台装置 | |
| CN114510462A (zh) | 软件研发效能的度量方法、平台、系统、设备和介质 | |
| CN114155578A (zh) | 人像聚类方法、装置、电子设备和存储介质 | |
| CN108595693A (zh) | 一种枸杞数据整理系统 | |
| CN111399838A (zh) | 一种基于SparkSQL和物化视图的数据建模方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191009 Address after: 201203 Shanghai City, Pudong New Area China (Shanghai) free trade zone 2277 Zuchongzhi Road No. 1 Lane 905, room 906 Applicant after: SHANGHAI HUANDIAN INFORMATION TECHNOLOGY CO., LTD. Address before: Room 1641, room 1945, Siping Road, Yangpu District, Shanghai Applicant before: Shanghai beep Technology Co., Ltd. |
|
| TA01 | Transfer of patent application right |