CN104133829B - 监控业务运行数据入库的方法和相关设备及系统 - Google Patents

监控业务运行数据入库的方法和相关设备及系统 Download PDF

Info

Publication number
CN104133829B
CN104133829B CN201310699871.2A CN201310699871A CN104133829B CN 104133829 B CN104133829 B CN 104133829B CN 201310699871 A CN201310699871 A CN 201310699871A CN 104133829 B CN104133829 B CN 104133829B
Authority
CN
China
Prior art keywords
data
service operation
storage quality
warehouse
operation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310699871.2A
Other languages
English (en)
Other versions
CN104133829A (zh
Inventor
周东祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310699871.2A priority Critical patent/CN104133829B/zh
Publication of CN104133829A publication Critical patent/CN104133829A/zh
Priority to TW103142900A priority patent/TW201525714A/zh
Priority to PCT/CN2015/072272 priority patent/WO2015090241A1/zh
Application granted granted Critical
Publication of CN104133829B publication Critical patent/CN104133829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了监控业务运行数据入库的方法和相关设备及系统。一种监控业务运行数据入库的方法包括:第一数据源服务器接收来自分布式业务服务器的业务运行数据;对接收到的业务运行数据进行本地化入库;监控本地化入库业务运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示入库质量指标的入库质量指标数据,以便于数据监控中心服务器在确定出入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。本发明实施例提供的技术方案有利于提高入库业务运行数据的质量。

Description

监控业务运行数据入库的方法和相关设备及系统
技术领域
本发明涉及计算机技术领域,具体涉及一种监控业务运行数据入库的方法和相关设备及系统。
背景技术
随着互联网技术的发展,基于互联网的应用越来越多,这些应用产生的业务运行数据也越来越多。例如,现有的很多互联网游戏产品,运行高峰期可能在分布式骨干网络中实时的产生大量的运行数据。例如,目前的一些大型多人在线游戏类型的个人计算机客户端游戏,每天就可能产生近TB级别的游戏运行数据。然而,基于如此大量的游戏运行数据的数据分析、数据挖掘和营销活动等相关的数据计算往往非常依赖集中式数据仓库,以保证分析广/深度和计算速度等。
本发明的发明人在研究和实践过程中发现,现有技术至少存在以下的技术问题:由于汇聚到集中式数据仓库的业务运行数据(例如游戏运行数据等)的质量好坏往往会对后续的数据分析、数据挖掘等等计算的结果产生较为关键的影响,而现有技术目前还未能提出一些可行有效的技术方案,来尽量提高或尽量保证汇聚到集中式数据仓库的大量业务运行数据(例如游戏运行数据等等)的质量。
发明内容
本发明实施例提供监控业务运行数据入库的方法和相关设备及系统,以期提高入库业务运行数据的质量。
本发明实施例一方面提供一种监控业务运行数据入库的方法,可包括:
第一数据源服务器接收来自分布式业务服务器的业务运行数据;
对接收到的所述业务运行数据进行本地化入库;
监控本地化入库所述业务运行数据的入库质量指标;
若所述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据,以便于所述数据监控中心服务器在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
本发明实施例另一方面提供一种监控业务运行数据入库的方法,包括:
数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据;
若所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,所述入库质量指标由所述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。
本发明实施例另一方面提供一种数据源服务器,包括:
接收单元,用于接收来自分布式业务服务器的业务运行数据;
入库单元,用于对接收到的所述业务运行数据进行本地化入库;
入库监控单元,用于监控本地化入库所述业务运行数据的入库质量指标;
处理单元,用于若所述入库监控单元监控出的入库质量指标符合预设的入库质量异常告警条件,执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据,以便于所述数据监控中心服务器在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
本发明实施例另一方面提供一种数据监控中心服务器,包括:
接收单元,用于接收来自第一数据源服务器的入库质量指标数据;
异常告警处理单元,用于若所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,所述入库质量指标由所述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。
本发明实施例另一方面提供一种通信系统,包括:
第一数据源服务器和多个分布式业务服务器;
其中,所述分布式业务服务器,用于向所述第一数据源服务器发送业务运行数据;
所述第一数据源服务器,用于接收来自分布式业务服务器的业务运行数据;对接收到的所述业务运行数据进行本地化入库;监控本地化入库所述业务运行数据的入库质量指标;若所述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据,以便于所述数据监控中心服务器在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
本发明实施例另一方面提供一种通信系统,包括:
数据监控中心服务器、第一数据源服务器和多个分布式业务服务器;
其中,所述分布式业务服务器,用于向所述第一数据源服务器发送业务运行数据;
所述第一数据源服务器,用于接收来自分布式业务服务器的业务运行数据;对接收到的所述业务运行数据进行本地化入库;监控本地化入库所述业务运行数据的入库质量指标;向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据;
所述数据监控中心服务器,用于在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
由上可见,本发明一些实施例的技术方案中,数据源服务器在接收来自分布式业务服务器的业务运行数据之后;对接收到的上述业务运行数据进行本地化入库;并监控本地化入库上述业务运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并根据数据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种监控业务运行数据入库的方法的流程示意图;
图2是本发明实施例提供的另一种监控业务运行数据入库的方法的流程示意图;
图3-a是本发明实施例提供的另一种监控业务运行数据入库的方法的流程示意图;
图3-b是本发明实施例提供的一种网络架构示意图;
图4-a是本发明实施例提供的另一种监控业务运行数据入库的方法的流程示意图;
图4-b是本发明实施例提供的另一种网络架构示意图;
图5-a是本发明实施例提供的一种数据源服务器的示意图;
图5-b是本发明实施例提供的另一种数据源服务器的示意图;
图6-a是本发明实施例提供的一种数据监控中心服务器的示意图;
图6-b是本发明实施例提供的另一种数据监控中心服务器的示意图;
图7是本发明实施例提供的另一种数据源服务器的示意图;
图8是本发明实施例提供的另一种数据监控中心服务器的示意图;
图9是本发明实施例提供的一种通信系统的示意图;
图10是本发明实施例提供的另一种通信系统的示意图。
具体实施方式
本发明实施例提供监控业务运行数据入库的方法和相关设备及系统,以期提高入库业务运行数据的质量。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明一种监控业务运行数据入库的方法的一个实施例,该监控业务运行数据入库的方法,可包括:第一数据源服务器接收来自分布式业务服务器的业务运行数据;对接收到的上述业务运行数据进行本地化入库;监控本地化入库上述业务运行数据的入库质量指标;若上述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
首先请参见图1,图1是本发明实施例提供的一种监控业务运行数据入库的方法的流程示意图。如图1所示,本发明实施例提供的一种监控业务运行数据入库的方法可包括以下内容:
101、第一数据源服务器接收来自分布式业务服务器的业务运行数据。
其中,第一数据源服务器可接收其管辖的多个分布式业务服务器的业务运行数据。可以理解的是,对于不同的业务场景,分布式业务服务器的产品名称可能各不相同,例如,对于游戏业务场景而言,分布式业务服务器即可称分布式游戏服务器,业务运行数据即游戏运行数据。其它场景可以此类推。
其中,本发明实施例中的第一数据源服务器可认为是网络中众多数据源服务器当中的任意一个。
本发明实施例方案例如可应用于业务运行大数据的入库监控,例如可应用于游戏运行大数据的入库监控。
其中,在本发明的一些可能的实施方式中,每条业务运行数据中还可以携带时间戳(如发送时间戳、产生发送时间戳等)、用于描述该业务运行数据的数据内容类型的数据内容类型信息、用于描述该业务运行数据的数据内容版本的数据内容版本信息。当然,业务运行数据还可携带发送该业务运行数据的自分布式业务服务器的标识信息(如网际协议地址、设备标识等),当然业务运行数据中也还可携带其它一些信息,此处不再一一举例。
102、第一数据源服务器对接收到的上述业务运行数据进行本地化入库。
在本发明的一些可能的实施方式中,第一数据源服务器可按照预设的入库协议(该预设的入库协议(可能涉及库表等)可以由数据监控中心服务器或大数据仓库或其它管理节点指定或下发给第一数据源服务器)对接收到的业务运行数据进行本地化入库。
103、第一数据源服务器可监控本地化入库上述业务运行数据的入库质量指标。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。当然,也还可监控本地化入库上述业务运行数据的其它入库质量指标。
其中,第一数据源服务器可以针对不同数据内容版本下的不同数据内容类型的业务运行数据的本地化入库过程进行监控。
举例来说,在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在时间维度上,第一数据源服务器可监控在每天之内、每小时之内或每10分钟之内或每分钟或每秒或每个其它时长之内,本地化入库业务运行数据的入库质量指标。
104、第一数据源服务器若上述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
在本发明的一些可能的实施方式中,业务运行数据入库质量异常事故告警处理可以包括:发出入库质量异常事故告警信号、生成入库质量异常事故告警日志、重启第一数据源服务器、重启业务运行数据入库应用和/或重装业务运行数据入库应用等等。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。其中,假设第一数据源服务器接收到100条业务运行数据,其中只入库了95条业务运行数据,则可得出对应的数据本地化入库完整度为95%,以此类推。假设第一数据源服务器入库了95条业务运行数据,其中正确入库了94条业务运行数据,则可得出对应的数据本地化入库完整度为94/95,以此类推。
在本发明的一些可能的实施方式中,预设的入库质量异常告警条件例如可以包括:数据本地化入库完整度小于第一阈值和/或数据本地化入库准确率小于第二阈值。其中,第一阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。第二阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。
在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明的一些可能的实施方式中,上述监控业务运行数据入库的方法还可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标;其中,若上述传输质量指标符合预设的传输质量异常告警条件,则执行业务运行数据传输质量异常事故告警处理;或,向上述数据监控中心服务器发送用于指示上述传输质量指标的传输质量指标数据,以便于上述数据监控中心服务器在确定出上述传输质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件之后,则可以执行业务运行数据传输质量异常事故告警处理。
在本发明的一些可能的实施方式中,上述监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标,可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。当然也还可监控网络传输上述分布式业务服务器发送的上述业务运行数据的其它传输质量指标。其中,业务运行数据的传输时延可根据该业务运行数据的生成时间戳和接收时间戳计算得到。业务运行数据的丢包率可根据业务运行数据的发送条数和接收条数计算得到。此外,每条业务运行数据中还可包含该业务运行数据的数据量、源地址、目的地址、数据内容类型信息和/或数据内容版本信息等等信息。
在本发明的一些可能的实施方式中,预设的传输质量异常告警条件例如可以包括:业务运行数据的传输时延大于第三阈值和/或业务运行数据的丢包率大于第四阈值。其中,第三阈值例如可等于0.1秒、1秒、2秒、3秒、5秒、8秒或其它的值或范围。第四阈值例如可等于10%、8%、5%、1%、0.5%、0.1%或其它的值或范围。
在本发明的一些可能的实施方式中,业务运行数据传输质量异常事故告警处理,可以包括:发出传输质量异常事故告警信号、生成传输质量异常事故告警日志、重配置分布式业务服务器和第一数据源服务器的路由路径,和/或重建分布式业务服务器和第一数据源服务器的数据传输通道等等。
在本发明一些可能的实施方式中,上述入库质量指标数据中还可携带有入库时间戳等时间信息。在本发明的一些可能的实施方式中,数据监控中心服务器可监控数据字典管理平台发布的数据字典变更事件;根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。进一步的,数据监控中心服务器若确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,则数据监控中心服务器可执行业务运行数据的数据字典异常事故告警处理。
可以看出,本实施例中,数据源服务器在接收来自分布式业务服务器的业务运行数据之后;对接收到的上述业务运行数据进行本地化入库;并监控本地化入库上述业务运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并根据数据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
本发明一种监控业务运行数据入库的方法的一个实施例,其中,该监控业务运行数据入库的方法,可包括:数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据;若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。
请参见图2,图2是本发明实施例提供的另一种监控业务运行数据入库的方法的流程示意图。如图2所示,本发明实施例提供的另一种监控业务运行数据入库的方法可包括以下内容:
201、数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。
其中,第一数据源服务器可接收其管辖的多个分布式业务服务器的业务运行数据。可以理解的是,对于不同的业务场景,分布式业务服务器的产品名称可能各不相同,例如,对于游戏业务场景而言,分布式业务服务器即可称分布式游戏服务器,其它场景可以此类推。其中,第一数据源服务器可认为是网络中众多数据源服务器当中的任意一个。
在本发明一些可能的实施方式中,在数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据之前,第一数据源服务器可接收来自分布式业务服务器的业务运行数据;对接收到的上述业务运行数据进行本地化入库;监控本地化入库上述业务运行数据的入库质量指标;若上述入库质量指标符合预设的入库质量异常告警条件,则向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据。
其中,在本发明的一些可能的实施方式中,每条业务运行数据中还可以携带时间戳(如发送时间戳、产生发送时间戳等)、用于描述该业务运行数据的数据内容类型的数据内容类型信息、用于描述该业务运行数据的数据内容版本的数据内容版本信息。当然,业务运行数据还可携带发送该业务运行数据的自分布式业务服务器的标识信息(如网际协议地址、设备标识等),当然业务运行数据中也还可携带其它一些信息,此处不再一一举例。
在本发明的一些可能的实施方式中,第一数据源服务器可按照预设的入库协议(该预设的入库协议(可能涉及库表等)可以由数据监控中心服务器或大数据仓库或其它管理节点指定或下发给第一数据源服务器)对接收到的业务运行数据进行本地化入库。
在本发明的一些可能的实施方式中,第一数据源服务器监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。当然,也还可监控本地化入库上述业务运行数据的其它入库质量指标。
其中,第一数据源服务器可以针对不同数据内容版本下的不同数据内容类型的业务运行数据的本地化入库过程进行监控。
举例来说,在本发明的一些可能的实施方式中,第一数据源服务器接收来自分布式业务服务器的业务运行数据,包括:第一数据源服务器接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在时间维度上,第一数据源服务器可监控在每天之内、每小时之内或每10分钟之内或每分钟或每秒或每个其它时长之内,本地化入库业务运行数据的入库质量指标。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。其中,假设第一数据源服务器接收到100条业务运行数据,其中只入库了95条业务运行数据,则可得出对应的数据本地化入库完整度为95%,以此类推。假设第一数据源服务器入库了95条业务运行数据,其中,正确入库了94条业务运行数据,则可得出对应的数据本地化入库完整度为94/95,以此类推。
在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
202、若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则数据监控中心服务器执行业务运行数据入库质量异常事故告警处理。
在本发明的一些可能的实施方式中,业务运行数据入库质量异常事故告警处理可以包括:发出入库质量异常事故告警信号、生成入库质量异常事故告警日志、重启第一数据源服务器、重启业务运行数据入库应用和/或重装业务运行数据入库应用等等。
在本发明的一些可能的实施方式中,预设的入库质量异常告警条件例如可以包括:数据本地化入库完整度小于第一阈值和/或数据本地化入库准确率小于第二阈值。其中,第一阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。第二阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。
在本发明的一些可能的实施方式中,上述入库质量指标包括数据本地化入库完整度和/或数据本地化入库准确率。
在本发明的一些可能的实施方式中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明的一些可能的实施方式中,上述监控业务运行数据入库的方法还可进一步包括:数据监控中心服务器接收来自第一数据源服务器的传输质量指标数据;若上述入库质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件,执行业务运行数据传输质量异常事故告警处理,其中,上述传输质量指标由上述第一数据源服务器监控网络传输上述分布式业务服务器发送的上述业务运行数据而得到。
在本发明的一些可能的实施方式中,第一数据源服务器监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标,可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。当然也还可监控网络传输上述分布式业务服务器发送的上述业务运行数据的其它传输质量指标。其中,业务运行数据的传输时延可根据该业务运行数据的生成时间戳和接收时间戳计算得到。业务运行数据的丢包率可根据业务运行数据的发送条数和接收条数计算得到。此外,每条业务运行数据中还可包含该业务运行数据的数据量、源地址、目的地址、数据内容类型信息和/或数据内容版本信息等等信息。
在本发明的一些可能的实施方式中,预设的传输质量异常告警条件例如可以包括:业务运行数据的传输时延大于第三阈值和/或业务运行数据的丢包率大于第四阈值。其中,第三阈值例如可等于0.1秒、1秒、2秒、3秒、5秒、8秒或其它的值或范围。第四阈值例如可等于10%、8%、5%、1%、0.5%、0.1%或其它的值或范围。
在本发明的一些可能的实施方式中,业务运行数据传输质量异常事故告警处理,可以包括:发出传输质量异常事故告警信号、生成传输质量异常事故告警日志、重配置分布式业务服务器和第一数据源服务器的路由路径,和/或重建分布式业务服务器和第一数据源服务器的数据传输通道等等。
在本发明一些可能的实施方式中,上述入库质量指标数据中还可携带有入库时间戳等时间信息。在本发明的一些可能的实施方式中,数据监控中心服务器可监控数据字典管理平台发布的数据字典变更事件;根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。进一步的,数据监控中心服务器若确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,则数据监控中心服务器可执行业务运行数据的数据字典异常事故告警处理。
可以看出,本实施例中,数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据;若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并向数据监控中心服务器上报指示的入库质量指标的入库质量指标数据,而数据监控中心服务器可根据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
为便于更好的理解和实施本发明实施例的上述方面,下面通过举例几个应用场景进行进一步介绍。
请参见图3-a和图3-b,图3-a是本发明实施例提供的另一种监控业务运行数据入库的方法的流程示意图。图3-b是本发明实施例提供的可用于一种监控业务运行数据入库的方法的网络架构图。如图3-a所示,本发明实施例提供的另一种监控业务运行数据入库的方法可包括以下内容:
301、数据源服务器S1接收来自分布式业务服务器的业务运行数据。
其中,数据源服务器S1可接收其管辖的多个分布式业务服务器的业务运行数据。可以理解的是,对于不同的业务场景,分布式业务服务器的产品名称可能各不相同,例如,对于游戏业务场景而言,分布式业务服务器即可称分布式游戏服务器,其它场景可以此类推。其中,数据源服务器S1可认为是网络中众多数据源服务器当中的任意一个。
其中,在本发明的一些可能的实施方式中,每条业务运行数据中还可以携带时间戳(如发送时间戳、产生发送时间戳等)、用于描述该业务运行数据的数据内容类型的数据内容类型信息、用于描述该业务运行数据的数据内容版本的数据内容版本信息。当然,业务运行数据还可携带发送该业务运行数据的自分布式业务服务器的标识信息(如网际协议地址、设备标识等),当然业务运行数据中也还可携带其它一些信息,此处不再一一举例。
302、数据源服务器S1监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标。
303、若上述传输质量指标符合预设的传输质量异常告警条件,则数据源服务器S1执行业务运行数据传输质量异常事故告警处理。
在本发明的一些可能的实施方式中,上述监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标,可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。当然也还可监控网络传输上述分布式业务服务器发送的上述业务运行数据的其它传输质量指标。其中,业务运行数据的传输时延可根据该业务运行数据的生成时间戳和接收时间戳计算得到。业务运行数据的丢包率可根据业务运行数据的发送条数和接收条数计算得到。此外,每条业务运行数据中还可包含该业务运行数据的数据量、源地址、目的地址、数据内容类型信息和/或数据内容版本信息等等信息。
在本发明的一些可能的实施方式中,预设的传输质量异常告警条件例如可以包括:业务运行数据的传输时延大于第三阈值和/或业务运行数据的丢包率大于第四阈值。其中,第三阈值例如可等于0.1秒、1秒、2秒、3秒、5秒、8秒或其它的值或范围。第四阈值例如可等于10%、8%、5%、1%、0.5%、0.1%或其它的值或范围。
在本发明的一些可能的实施方式中,上述业务运行数据传输质量异常事故告警处理可包括:发出传输质量异常事故告警信号、生成传输质量异常事故告警日志、重配置分布式业务服务器和数据源服务器S1的路由路径,和/或重建分布式业务服务器和数据源服务器S1的数据传输通道等等。
304、数据源服务器S1对接收到的上述业务运行数据进行本地化入库。
在本发明的一些可能的实施方式中,数据源服务器S1可按照预设的入库协议(该预设的入库协议(可能涉及库表等)可以由数据监控中心服务器或大数据仓库或其它管理节点指定或下发给数据源服务器S1)对接收到的业务运行数据进行本地化入库。
305、数据源服务器S1可监控本地化入库上述业务运行数据的入库质量指标。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。当然,也还可监控本地化入库上述业务运行数据的其它入库质量指标。
其中,数据源服务器S1可以针对不同数据内容版本下的不同数据内容类型的业务运行数据的本地化入库过程进行监控。
举例来说,在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在时间维度上,数据源服务器S1可监控在每天之内、每小时之内或每10分钟之内或每分钟或每秒或每个其它时长之内,本地化入库业务运行数据的入库质量指标。
306、数据源服务器S1若监控到上述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理。
可以理解,步骤302~303和步骤304~306之间没有必然的先后顺序。
在本发明的一些可能的实施方式中,业务运行数据入库质量异常事故告警处理可以包括:发出入库质量异常事故告警信号、生成入库质量异常事故告警日志、重启数据源服务器S1、重启业务运行数据入库应用和/或重装业务运行数据入库应用等等。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。其中,假设数据源服务器S1接收到100条业务运行数据,其中只入库了95条业务运行数据,则可得出对应的数据本地化入库完整度为95%,以此类推。假设数据源服务器S1入库了95条业务运行数据,其中正确入库了94条业务运行数据,则可得出对应的数据本地化入库完整度为94/95,以此类推。
在本发明的一些可能的实施方式中,预设的入库质量异常告警条件例如可以包括:数据本地化入库完整度小于第一阈值和/或数据本地化入库准确率小于第二阈值。其中,第一阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。第二阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。
在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明一些可能的实施方式中,上述入库质量指标中还可携带有入库时间戳等时间信息。在本发明的一些可能的实施方式中,数据源服务器S1可监控数据字典管理平台发布的数据字典变更事件;根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。进一步的,数据源服务器S1若确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,则数据源服务器S1可执行业务运行数据的数据字典异常事故告警处理。
可以看出,本实施例中,数据源服务器在接收来自分布式业务服务器的业务运行数据之后;对接收到的上述业务运行数据进行本地化入库;并监控本地化入库上述业务运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并根据数据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
请参见图4-a和图4-b,图4-a是本发明实施例提供的另一种监控业务运行数据入库的方法的流程示意图。图4-b是本发明实施例提供的可用于一种监控业务运行数据入库的方法的网络架构图。如图4-a所示,本发明实施例提供的另一种监控业务运行数据入库的方法可包括以下内容:
401、数据源服务器S1接收来自分布式业务服务器的业务运行数据。
其中,数据源服务器S1可接收其管辖的多个分布式业务服务器的业务运行数据。可以理解的是,对于不同的业务场景,分布式业务服务器的产品名称可能各不相同,例如,对于游戏业务场景而言,分布式业务服务器即可称分布式游戏服务器,其它场景可以此类推。其中,数据源服务器S1可认为是网络中众多数据源服务器当中的任意一个。
其中,在本发明的一些可能的实施方式中,每条业务运行数据中还可以携带时间戳(如发送时间戳、产生发送时间戳等)、用于描述该业务运行数据的数据内容类型的数据内容类型信息、用于描述该业务运行数据的数据内容版本的数据内容版本信息。当然,业务运行数据还可携带发送该业务运行数据的自分布式业务服务器的标识信息(如网际协议地址、设备标识等),当然业务运行数据中也还可携带其它一些信息,此处不再一一举例。
402、数据源服务器S1监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标。
403、数据源服务器S1向数据监控中心服务器发送用于指示上述传输质量指标的传输质量指标数据。
404、若上述传输质量指标符合预设的传输质量异常告警条件,则数据监控中心服务器执行业务运行数据传输质量异常事故告警处理。
在本发明的一些可能的实施方式中,上述监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标,可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。当然也还可监控网络传输上述分布式业务服务器发送的上述业务运行数据的其它传输质量指标。其中,业务运行数据的传输时延可根据该业务运行数据的生成时间戳和接收时间戳计算得到。业务运行数据的丢包率可根据业务运行数据的发送条数和接收条数计算得到。此外,每条业务运行数据中还可包含该业务运行数据的数据量、源地址、目的地址、数据内容类型信息和/或数据内容版本信息等等信息。
在本发明的一些可能的实施方式中,预设的传输质量异常告警条件例如可以包括:业务运行数据的传输时延大于第三阈值和/或业务运行数据的丢包率大于第四阈值。其中,第三阈值例如可等于0.1秒、1秒、2秒、3秒、5秒、8秒或其它的值或范围。第四阈值例如可等于10%、8%、5%、1%、0.5%、0.1%或其它的值或范围。
在本发明的一些可能的实施方式中,上述业务运行数据传输质量异常事故告警处理可包括:发出传输质量异常事故告警信号、生成传输质量异常事故告警日志、重配置分布式业务服务器和数据源服务器S1的路由路径,和/或重建分布式业务服务器和数据源服务器S1的数据传输通道等等。
405、数据源服务器S1对接收到的上述业务运行数据进行本地化入库。
在本发明的一些可能的实施方式中,数据源服务器S1可按照预设的入库协议(该预设的入库协议(可能涉及库表等)可以由数据监控中心服务器或大数据仓库或其它管理节点指定或下发给数据源服务器S1)对接收到的业务运行数据进行本地化入库。
406、数据源服务器S1监控本地化入库上述业务运行数据的入库质量指标。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。当然,也还可监控本地化入库上述业务运行数据的其它入库质量指标。
其中,数据源服务器S1可以针对不同数据内容版本下的不同数据内容类型的业务运行数据的本地化入库过程进行监控。
举例来说,在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在时间维度上,数据源服务器S1可监控在每天之内、每小时之内或每10分钟之内或每分钟或每秒或每个其它时长之内,本地化入库业务运行数据的入库质量指标。
407、数据源服务器S1向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据。
408、若上述入库质量指标符合预设的入库质量异常告警条件,则数据监控中心服务器执行业务运行数据入库质量异常事故告警处理。
在本发明的一些可能的实施方式中,业务运行数据入库质量异常事故告警处理可以包括:发出入库质量异常事故告警信号、生成入库质量异常事故告警日志、重启数据源服务器S1、重启业务运行数据入库应用和/或重装业务运行数据入库应用等等。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。其中,假设数据源服务器S1接收到100条业务运行数据,其中只入库了95条业务运行数据,则可得出对应的数据本地化入库完整度为95%,以此类推。假设数据源服务器S1入库了95条业务运行数据,其中正确入库了94条业务运行数据,则可得出对应的数据本地化入库完整度为94/95,以此类推。
在本发明的一些可能的实施方式中,预设的入库质量异常告警条件例如可以包括:数据本地化入库完整度小于第一阈值和/或数据本地化入库准确率小于第二阈值。其中,第一阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。第二阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。
在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明一些可能的实施方式中,上述入库质量指标数据中还可携带有入库时间戳等时间信息。在本发明的一些可能的实施方式中,数据监控中心服务器可监控数据字典管理平台发布的数据字典变更事件;根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。进一步的,数据监控中心服务器若确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,则数据监控中心服务器可执行业务运行数据的数据字典异常事故告警处理。
可以看出,本实施例中,数据源服务器在接收来自分布式业务服务器的业务运行数据之后;对接收到的上述业务运行数据进行本地化入库;并监控本地化入库上述业务运行数据的入库质量指标;向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并根据数据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
本发明实施例方案例如可应用于业务运行大数据的入库监控,例如可应用于游戏运行大数据的入库监控。
下面通过一个具体的游戏应用场景为例进行举例介绍。
某一个游戏的多个分布式的互联网数据中心(IDC,InternetDataCenter)网络节点中的分布式游戏服务器和数据源服务器可交互游戏运行数据。数据源服务器对游戏运行数据的入库进行相关监控,数据源服务器对接收到的游戏运行数据进行本地化入库;监控本地化入库游戏运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,则执行游戏运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行游戏运行数据入库质量异常事故告警处理。
下面简单介绍一下分布式网络游戏的数据源服务器的特点:
游戏大数据的数据源服务器可以部署分布在各个主要网络IDC节点,可基于网络IDC的分布式特点进行分布式部署。游戏大数据的数据源服务器与游戏服务器可在同一个网络IDC局域网络中就近部署,以防止跨网络可能带来的传输超时以及数据丢失风险。其中,游戏大数据的数据源服务器与游戏服务器分离部署,游戏服务器产生数据可以以异步的方式输入到就近的数据源服务器。游戏大数据的数据源服务器的种类可以多样。一般性的,可分为用于入库游戏帐号相关状态数据的数据源服务器、用于入库游戏付费收入数据的数据源服务器、用于入库游戏内玩家行为日志数据的数据源服务器等种类。游戏大数据的数据源服务器的数据存储介质是多样的,可以不是同一类型,存储介质例如是数据库和文件等。
游戏大数据的数据源服务器的元数据的数据地图中的IDC网络节点空间分布往往与游戏的运营相关。例如:新增网络游戏服务器大区就可以相应的增加与之就近的IDC的数据源服务器。同时,游戏服务器的大区的停止运营也可相应的下架与之就近的IDC的数据源服务器。类似的,对于游戏大数据的数据源服务器的元数据的数据字典中的数据表,数据表结构等数据协议变更空间分布往往与游戏的运营相关。例如新增网络游戏版本,相关服务器大区可相应的增加与之就近的IDC的数据源服务器。同时,游戏服务器的大区的停止运营也会相应的下架与之就近的IDC的数据源服务器。
游戏大数据的数据源服务器的元数据的数据字典的数据内容版本与游戏服务器的版本的正式、测试、灰度、体验等分类特点相关。例如:灰度服务器的内容版本要高于正式服务器的内容版本。
互联网行业里网络游戏的大数据通常具有如下一下独有特点:
数据量大、数据实时产生、网络分布节点多(元数据的数据地图)、网络就近异步落地、数据协议的标准不统一(元数据的数据字典不统一)、数据存贮介质多样(元数据的数据类型多样)、与游戏正常的运营紧密结合、数据内容分类多(如游戏状态数据(GAMEDB)、游戏日志数据(LOGDB)、支付数据等)。
针对上面的分布式网络游戏的数据源服务器特点,目前,还业界还没有统一的、标准化的、有效的监控方法。本发明实施例提出的方案可以应用于游戏分布式大数据的本地化入库监控,进而有利于尽量提高流转到集中大数据仓库的数据质量,提高其可用性和可靠性。
当然,其它大数据场景也可能具有类似特定。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关装置。
参见图5-a,本发明实施例提供一种数据源服务器500,可以包括:
接收单元510、入库单元520、入库监控单元530和处理单元540。
接收单元510,用于接收来自分布式业务服务器的业务运行数据。
入库单元520,用于对接收到的上述业务运行数据进行本地化入库。
其中,入库监控单元530,用于监控本地化入库上述业务运行数据的入库质量指标。
处理单元540,用于若入库监控单元530监控出的入库质量指标符合预设的入库质量异常告警条件,执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
在本发明的一些可能的实施方式中,入库监控单元530具体用于,监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。
在本发明的一些可能的实施方式中,接收单元510具体用于,接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
参见图5-b,在本发明的一些可能的实施方式中,数据源服务器500还可以包括:传输监控单元550,用于监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标。
其中,处理单元540还用于,若传输监控单元550监测出的传输质量指标符合预设的传输质量异常告警条件,则执行业务运行数据传输质量异常事故告警处理;或,向上述数据监控中心服务器发送用于指示上述传输质量指标的传输质量指标数据,以便于上述数据监控中心服务器在确定出上述传输质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件之后,则执行业务运行数据传输质量异常事故告警处理。
在本发明的一些可能的实施方式中,传输监控单元550可具体用于,监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。
可以理解的是,本实施例的数据源服务器500的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
可以看出,本实施例中,数据源服务器500在接收来自分布式业务服务器的业务运行数据之后;对接收到的上述业务运行数据进行本地化入库;并监控本地化入库上述业务运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并根据数据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
参见图6-a,本发明实施例提供一种数据监控中心服务器600可包括:
接收单元610和异常告警处理单元620。
接收单元610,用于接收来自第一数据源服务器的入库质量指标数据。
异常告警处理单元620,用于若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。
在本发明的一些可能的实施方式中,上述入库质量指标包括数据本地化入库完整度和/或数据本地化入库准确率。
在本发明的一些可能的实施方式中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明的一些可能的实施方式中,接收单元610还用于,接收来自第一数据源服务器的传输质量指标数据;
异常告警处理单元620还用于,若上述入库质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件,执行业务运行数据传输质量异常事故告警处理,其中,上述传输质量指标由上述第一数据源服务器监控网络传输上述分布式业务服务器发送的上述业务运行数据而得到。
在本发明的一些可能的实施方式中,上述传输质量指标包括传输时延和/或丢包率。
参见图6-b,在本发明的一些可能的实施方式中,上述数据监控中心服务器600还可包括:监控单元630和确定单元640。
监控单元630,用于监控数据字典管理平台发布的数据字典变更事件;
确定单元640,用于根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。
在本发明的一些可能的实施方式中,上述入库质量指标数据中携带有入库时间戳。异常告警处理单元620还用于,若上述确定单元确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若上述确定单元确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,执行业务运行数据的数据字典异常事故告警处理。
可以理解的是,本实施例的数据监控中心服务器600的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
可以看出,本实施例中,数据监控中心服务器600接收来自第一数据源服务器的入库质量指标数据;若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并向数据监控中心服务器上报指示的入库质量指标的入库质量指标数据,而数据监控中心服务器可根据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
参见图7,图7是本发明另一实施例提供的数据源服务器700的结构框图。
其中,数据源服务器700可以包括:至少一个处理器701,至少一个网络接口704或者其他用户接口703,存储器705,至少一个通信总线702。通信总线702用于实现这些组件之间的连接通信。其中,该数据源服务器700可选的包含用户接口703,包括:显示器(例如,触摸屏、LCD、CRT、全息成像(Holographic)或者投影(Projector)等)、点击设备(例如,鼠标,轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。
其中,存储器702可以包括只读存储器和随机存取存储器,并向处理器701提供指令和数据。存储器702中的一部分还可以包括非易失性随机存取存储器等等。
在一些实施方式中,存储器705存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统7051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务;
应用程序模块7052,包含各种应用程序,用于实现各种应用业务。
应用程序模块7052中包括但不限于接收单元510、入库单元520、入库监控单元530、处理单元540和/或传输监控单元550等。
在本发明的一些实施例中,通过调用存储器705存储的程序或指令,处理器701接收来自分布式业务服务器的业务运行数据;对接收到的上述业务运行数据进行本地化入库;监控本地化入库上述业务运行数据的入库质量指标;若上述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
其中,在本发明的一些可能的实施方式中,每条业务运行数据中还可以携带时间戳(如发送时间戳、产生发送时间戳等)、用于描述该业务运行数据的数据内容类型的数据内容类型信息、用于描述该业务运行数据的数据内容版本的数据内容版本信息。当然,业务运行数据还可携带发送该业务运行数据的自分布式业务服务器的标识信息(如网际协议地址、设备标识等),当然业务运行数据中也还可携带其它一些信息,此处不再一一举例。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。当然,也还可监控本地化入库上述业务运行数据的其它入库质量指标。
其中,处理器701可以针对不同数据内容版本下的不同数据内容类型的业务运行数据的本地化入库过程进行监控。
举例来说,在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在时间维度上,处理器701可监控在每天之内、每小时之内或每10分钟之内或每分钟或每秒或每个其它时长之内,本地化入库业务运行数据的入库质量指标。
在本发明的一些可能的实施方式中,业务运行数据入库质量异常事故告警处理可以包括:发出入库质量异常事故告警信号、生成入库质量异常事故告警日志、重启数据源服务器700、重启业务运行数据入库应用和/或重装业务运行数据入库应用等等。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。其中,假设处理器701接收到100条业务运行数据,其中只入库了95条业务运行数据,则可得出对应的数据本地化入库完整度为95%,以此类推。假设处理器701入库了95条业务运行数据,其中正确入库了94条业务运行数据,则可得出对应的数据本地化入库完整度为94/95,以此类推。
在本发明的一些可能的实施方式中,预设的入库质量异常告警条件例如可以包括:数据本地化入库完整度小于第一阈值和/或数据本地化入库准确率小于第二阈值。其中,第一阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。第二阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。
在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明的一些可能的实施方式中,处理器701监控业务运行数据入库的方法还可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标;其中,若上述传输质量指标符合预设的传输质量异常告警条件,则执行业务运行数据传输质量异常事故告警处理;或,向上述数据监控中心服务器发送用于指示上述传输质量指标的传输质量指标数据,以便于上述数据监控中心服务器在确定出上述传输质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件之后,则可以执行业务运行数据传输质量异常事故告警处理。
在本发明的一些可能的实施方式中,处理器701监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。当然也还可监控网络传输上述分布式业务服务器发送的上述业务运行数据的其它传输质量指标。其中,业务运行数据的传输时延可根据该业务运行数据的生成时间戳和接收时间戳计算得到。业务运行数据的丢包率可根据业务运行数据的发送条数和接收条数计算得到。此外,每条业务运行数据中还可包含该业务运行数据的数据量、源地址、目的地址、数据内容类型信息和/或数据内容版本信息等等信息。
在本发明的一些可能的实施方式中,预设的传输质量异常告警条件例如可以包括:业务运行数据的传输时延大于第三阈值和/或业务运行数据的丢包率大于第四阈值。其中,第三阈值例如可等于0.1秒、1秒、2秒、3秒、5秒、8秒或其它的值或范围。第四阈值例如可等于10%、8%、5%、1%、0.5%、0.1%或其它的值或范围。
在本发明的一些可能的实施方式中,业务运行数据传输质量异常事故告警处理,可以包括:发出传输质量异常事故告警信号、生成传输质量异常事故告警日志、重配置分布式业务服务器和数据源服务器700的路由路径,和/或重建分布式业务服务器和数据源服务器700的数据传输通道等等。
在本发明一些可能的实施方式中,上述入库质量指标数据中还可携带有入库时间戳等时间信息。在本发明的一些可能的实施方式中,数据监控中心服务器可监控数据字典管理平台发布的数据字典变更事件;根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。进一步的,数据监控中心服务器若确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,则数据监控中心服务器可执行业务运行数据的数据字典异常事故告警处理。
可以看出,本实施例中,数据源服务器700在接收来自分布式业务服务器的业务运行数据之后;对接收到的上述业务运行数据进行本地化入库;并监控本地化入库上述业务运行数据的入库质量指标;若入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并根据数据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
参见图8,图8是本发明另一实施例提供的数据监控中心服务器800的结构框图。
其中,数据监控中心服务器800可以包括:至少一个处理器801,至少一个网络接口804或者其他用户接口803,存储器805,至少一个通信总线802。通信总线802用于实现这些组件之间的连接通信。其中,该数据监控中心服务器800可选的包含用户接口803,包括:显示器(例如,触摸屏、LCD、CRT、全息成像(Holographic)或者投影(Projector)等)、点击设备(例如,鼠标,轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。
其中,存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供指令和数据。存储器802中的一部分还可以包括非易失性随机存取存储器等等。
在一些实施方式中,存储器805存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统8051,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务;
应用程序模块8052,包含各种应用程序,用于实现各种应用业务。
应用程序模块8052中包括但不限于监控单元630、确定单元640、接收单元610和/或异常告警处理单元620等。
在本发明实施例中,通过调用存储器805存储的程序或指令,处理器801接收来自第一数据源服务器的入库质量指标数据;若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。
其中,第一数据源服务器可接收其管辖的多个分布式业务服务器的业务运行数据。可以理解的是,对于不同的业务场景,分布式业务服务器的产品名称可能各不相同,例如,对于游戏业务场景而言,分布式业务服务器即可称分布式游戏服务器,其它场景可以此类推。其中,第一数据源服务器可认为是网络中众多数据源服务器当中的任意一个。
在本发明一些可能的实施方式中,在数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据之前,第一数据源服务器可接收来自分布式业务服务器的业务运行数据;对接收到的上述业务运行数据进行本地化入库;监控本地化入库上述业务运行数据的入库质量指标;若上述入库质量指标符合预设的入库质量异常告警条件,则向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据。
其中,在本发明的一些可能的实施方式中,每条业务运行数据中还可以携带时间戳(如发送时间戳、产生发送时间戳等)、用于描述该业务运行数据的数据内容类型的数据内容类型信息、用于描述该业务运行数据的数据内容版本的数据内容版本信息。当然,业务运行数据还可携带发送该业务运行数据的自分布式业务服务器的标识信息(如网际协议地址、设备标识等),当然业务运行数据中也还可携带其它一些信息,此处不再一一举例。
在本发明的一些可能的实施方式中,第一数据源服务器可按照预设的入库协议(该预设的入库协议(可能涉及库表等)可以由数据监控中心服务器或大数据仓库或其它管理节点指定或下发给第一数据源服务器)对接收到的业务运行数据进行本地化入库。
在本发明的一些可能的实施方式中,第一数据源服务器监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。当然,也还可监控本地化入库上述业务运行数据的其它入库质量指标。
其中,第一数据源服务器可以针对不同数据内容版本下的不同数据内容类型的业务运行数据的本地化入库过程进行监控。
举例来说,在本发明的一些可能的实施方式中,第一数据源服务器接收来自分布式业务服务器的业务运行数据,包括:第一数据源服务器接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在时间维度上,第一数据源服务器可监控在每天之内、每小时之内或每10分钟之内或每分钟或每秒或每个其它时长之内,本地化入库业务运行数据的入库质量指标。
在本发明的一些可能的实施方式中,上述监控本地化入库上述业务运行数据的入库质量指标,包括:监控本地化入库上述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率。其中,假设第一数据源服务器接收到100条业务运行数据,其中只入库了95条业务运行数据,则可得出对应的数据本地化入库完整度为95%,以此类推。假设第一数据源服务器入库了95条业务运行数据,其中,正确入库了94条业务运行数据,则可得出对应的数据本地化入库完整度为94/95,以此类推。
在本发明的一些可能的实施方式中,上述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明的一些可能的实施方式中,业务运行数据入库质量异常事故告警处理可以包括:发出入库质量异常事故告警信号、生成入库质量异常事故告警日志、重启第一数据源服务器、重启业务运行数据入库应用和/或重装业务运行数据入库应用等等。
在本发明的一些可能的实施方式中,预设的入库质量异常告警条件例如可以包括:数据本地化入库完整度小于第一阈值和/或数据本地化入库准确率小于第二阈值。其中,第一阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。第二阈值例如可等于90%、92%、95%、98%、99%或其它的值或范围。
在本发明的一些可能的实施方式中,上述入库质量指标包括数据本地化入库完整度和/或数据本地化入库准确率。
在本发明的一些可能的实施方式中,上述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
在本发明的一些可能的实施方式中,处理器801还可接收来自第一数据源服务器的传输质量指标数据;若上述入库质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件,执行业务运行数据传输质量异常事故告警处理,其中,上述传输质量指标由上述第一数据源服务器监控网络传输上述分布式业务服务器发送的上述业务运行数据而得到。
在本发明的一些可能的实施方式中,第一数据源服务器监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输质量指标,可包括:监控网络传输上述分布式业务服务器发送的上述业务运行数据的传输时延和/或丢包率。当然也还可监控网络传输上述分布式业务服务器发送的上述业务运行数据的其它传输质量指标。其中,业务运行数据的传输时延可根据该业务运行数据的生成时间戳和接收时间戳计算得到。业务运行数据的丢包率可根据业务运行数据的发送条数和接收条数计算得到。此外,每条业务运行数据中还可包含该业务运行数据的数据量、源地址、目的地址、数据内容类型信息和/或数据内容版本信息等等信息。
在本发明的一些可能的实施方式中,预设的传输质量异常告警条件例如可以包括:业务运行数据的传输时延大于第三阈值和/或业务运行数据的丢包率大于第四阈值。其中,第三阈值例如可等于0.1秒、1秒、2秒、3秒、5秒、8秒或其它的值或范围。第四阈值例如可等于10%、8%、5%、1%、0.5%、0.1%或其它的值或范围。
在本发明的一些可能的实施方式中,业务运行数据传输质量异常事故告警处理,可以包括:发出传输质量异常事故告警信号、生成传输质量异常事故告警日志、重配置分布式业务服务器和第一数据源服务器的路由路径,和/或重建分布式业务服务器和第一数据源服务器的数据传输通道等等。
在本发明一些可能的实施方式中,上述入库质量指标数据中还可携带有入库时间戳等时间信息。在本发明的一些可能的实施方式中,数据监控中心服务器可监控数据字典管理平台发布的数据字典变更事件;根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。进一步的,数据监控中心服务器若确定出的上述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的上述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,则数据监控中心服务器可执行业务运行数据的数据字典异常事故告警处理。
可以看出,本实施例中,数据监控中心服务器800接收来自第一数据源服务器的入库质量指标数据;若上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,上述入库质量指标由上述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到。由于数据源服务器监控本地化入库业务运行数据的过程以得到数据入库质量指标,并向数据监控中心服务器上报指示的入库质量指标的入库质量指标数据,而数据监控中心服务器可根据入库质量指标执行业务运行数据入库质量异常事故告警处理,这有利于提高本地化入库的业务运行数据的质量,进而有利于提高入库大数据仓库的业务运行数据的质量。
参见图9,本发明实施例还提供一种通信系统,可包括:
第一数据源服务器910和多个分布式业务服务器920;
其中,分布式业务服务器920,用于向上述第一数据源服务器发送业务运行数据;
第一数据源服务器910,用于接收来自分布式业务服务器910的业务运行数据;对接收到的上述业务运行数据进行本地化入库;监控本地化入库上述业务运行数据的入库质量指标;若上述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据,以便于上述数据监控中心服务器在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
其中,本实施例的第一数据源服务器910可如上述实施例提及的任意一种数据源服务器,分布式业务服务器920可如上述实施例提及的任意一种分布式业务服务器。
参见图10,本发明实施例还提供一种通信系统,可包括:
数据监控中心服务器1010、第一数据源服务器1020和多个分布式业务服务器1030;
其中,分布式业务服务器1030,用于向第一数据源服务器1020发送业务运行数据;
第一数据源服务器1020,用于接收来自分布式业务服务器的业务运行数据;对接收到的上述业务运行数据进行本地化入库;监控本地化入库上述业务运行数据的入库质量指标;向数据监控中心服务器发送用于指示上述入库质量指标的入库质量指标数据。
数据监控中心服务器1010,用于在确定出上述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理。
其中,本实施例的第一数据源服务器1020可如上述实施例提及的任意一种数据源服务器,分布式业务服务器1030可如上述实施例提及的任意一种分布式业务服务器,数据监控中心服务器1010可如上述实施例提及的任意一种数据监控中心服务器。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种监控业务运行数据入库的方法,其特征在于,包括:
第一数据源服务器接收来自分布式业务服务器的业务运行数据;
对接收到的所述业务运行数据进行本地化入库;
监控本地化入库所述业务运行数据的入库质量指标;
若所述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据,以便于所述数据监控中心服务器在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理;
所述监控本地化入库所述业务运行数据的入库质量指标,包括:监控本地化入库所述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率;
所述方法还包括:监控网络传输所述分布式业务服务器发送的所述业务运行数据的传输质量指标;其中,若所述传输质量指标符合预设的传输质量异常告警条件,则执行业务运行数据传输质量异常事故告警处理;或向所述数据监控中心服务器发送用于指示所述传输质量指标的传输质量指标数据,以便于所述数据监控中心服务器在确定出所述传输质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件之后,则执行业务运行数据传输质量异常事故告警处理。
2.根据权利要求1所述的方法,其特征在于,所述接收来自分布式业务服务器的业务运行数据,包括:接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,所述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
3.根据权利要求1所述的方法,其特征在于,
所述监控网络传输所述分布式业务服务器发送的所述业务运行数据的传输质量指标,包括:监控网络传输所述分布式业务服务器发送的所述业务运行数据的传输时延和/或丢包率。
4.一种监控业务运行数据入库的方法,其特征在于,包括:
数据监控中心服务器接收来自第一数据源服务器的入库质量指标数据;
若所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,所述入库质量指标由所述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到;
所述入库质量指标包括数据本地化入库完整度和/或数据本地化入库准确率;
所述方法还包括:
接收来自第一数据源服务器的传输质量指标数据;
若所述入库质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件,执行业务运行数据传输质量异常事故告警处理,其中,所述传输质量指标由所述第一数据源服务器监控网络传输所述分布式业务服务器发送的所述业务运行数据而得到。
5.根据权利要求4所述的方法,其特征在于,所述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
6.根据权利要求4所述的方法,其特征在于,所述传输质量指标包括传输时延和/或丢包率。
7.根据权利要求5所述的方法,其特征在于,
所述方法还包括:
监控数据字典管理平台发布的数据字典变更事件;
根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。
8.根据权利要求7所述的方法,其特征在于,
所述入库质量指标数据中携带有入库时间戳;
若所述确定出的所述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若确定出的所述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,执行业务运行数据的数据字典异常事故告警处理。
9.一种数据源服务器,其特征在于,包括:
接收单元,用于接收来自分布式业务服务器的业务运行数据;
入库单元,用于对接收到的所述业务运行数据进行本地化入库;
入库监控单元,用于监控本地化入库所述业务运行数据的入库质量指标;
处理单元,用于若所述入库监控单元监控出的入库质量指标符合预设的入库质量异常告警条件,执行业务运行数据入库质量异常事故告警处理;或向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据,以便于所述数据监控中心服务器在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理;
所述入库监控单元具体用于,监控本地化入库所述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率;
所述数据源服务器还包括:
传输监控单元,用于监控网络传输所述分布式业务服务器发送的所述业务运行数据的传输质量指标;
其中,所述处理单元还用于,若所述传输监控单元监测出的传输质量指标符合预设的传输质量异常告警条件,则执行业务运行数据传输质量异常事故告警处理;或,向所述数据监控中心服务器发送用于指示所述传输质量指标的传输质量指标数据,以便于所述数据监控中心服务器在确定出所述传输质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件之后,则执行业务运行数据传输质量异常事故告警处理。
10.根据权利要求9所述的数据源服务器,其特征在于,所述接收单元具体用于,接收来自分布式业务服务器的与第一数据内容类型和第一数据内容版本对应的业务运行数据;其中,所述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
11.一种数据监控中心服务器,其特征在于,包括:
接收单元,用于接收来自第一数据源服务器的入库质量指标数据;
异常告警处理单元,用于若所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理,其中,所述入库质量指标由所述第一数据源服务器监控本地化入库来自分布式业务服务器的业务运行数据而得到;
所述入库质量指标包括数据本地化入库完整度和/或数据本地化入库准确率;
所述接收单元还用于,接收来自第一数据源服务器的传输质量指标数据;
异常告警处理单元还用于,若所述入库质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件,执行业务运行数据传输质量异常事故告警处理,其中,所述传输质量指标由所述第一数据源服务器监控网络传输所述分布式业务服务器发送的所述业务运行数据而得到。
12.根据权利要求11所述的数据监控中心服务器,其特征在于,
所述入库质量指标为与第一数据内容类型和第一数据内容版本对应的入库质量指标。
13.根据权利要求12所述的数据监控中心服务器,其特征在于,
所述数据监控中心服务器还包括:
监控单元,用于监控数据字典管理平台发布的数据字典变更事件;
确定单元,用于根据监控到的数据字典变更事件确定各时段最新的数据内容版本和数据内容类型。
14.根据权利要求13所述的数据监控中心服务器,其特征在于,
所述入库质量指标数据中携带有入库时间戳;
异常告警处理单元还用于,若所述确定单元确定出的所述入库时间戳所属时段内最新的数据内容版本并非第一数据内容版本,和/或,若所述确定单元确定出的所述入库时间戳所属时段内最新的数据内容类型并非第一数据内容类型,执行业务运行数据的数据字典异常事故告警处理。
15.一种通信系统,其特征在于,包括:
第一数据源服务器和多个分布式业务服务器;
其中,所述分布式业务服务器,用于向所述第一数据源服务器发送业务运行数据;
所述第一数据源服务器,用于接收来自分布式业务服务器的业务运行数据;对接收到的所述业务运行数据进行本地化入库;监控本地化入库所述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率;若所述入库质量指标符合预设的入库质量异常告警条件,则执行业务运行数据入库质量异常事故告警处理;或者,向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据,以便于所述数据监控中心服务器在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理;
所述第一数据源服务器,还用于监控网络传输所述分布式业务服务器发送的所述业务运行数据的传输质量指标;若所述传输监控单元监测出的传输质量指标符合预设的传输质量异常告警条件,则执行业务运行数据传输质量异常事故告警处理;或,向所述数据监控中心服务器发送用于指示所述传输质量指标的传输质量指标数据,以便于所述数据监控中心服务器在确定出所述传输质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件之后,则执行业务运行数据传输质量异常事故告警处理。
16.一种通信系统,其特征在于,包括:
数据监控中心服务器、第一数据源服务器和多个分布式业务服务器;
其中,所述分布式业务服务器,用于向所述第一数据源服务器发送业务运行数据;
所述第一数据源服务器,用于接收来自分布式业务服务器的业务运行数据;对接收到的所述业务运行数据进行本地化入库;监控本地化入库所述业务运行数据的数据本地化入库完整度和/或数据本地化入库准确率;向数据监控中心服务器发送用于指示所述入库质量指标的入库质量指标数据;
所述数据监控中心服务器,用于在确定出所述入库质量指标数据所指示的入库质量指标符合预设的入库质量异常告警条件之后,执行业务运行数据入库质量异常事故告警处理;
所述数据监控中心服务器,还用于接收来自第一数据源服务器的传输质量指标数据;若所述入库质量指标数据所指示的传输质量指标符合预设的传输质量异常告警条件,执行业务运行数据传输质量异常事故告警处理,其中,所述传输质量指标由所述第一数据源服务器监控网络传输所述分布式业务服务器发送的所述业务运行数据而得到。
CN201310699871.2A 2013-12-18 2013-12-18 监控业务运行数据入库的方法和相关设备及系统 Active CN104133829B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310699871.2A CN104133829B (zh) 2013-12-18 2013-12-18 监控业务运行数据入库的方法和相关设备及系统
TW103142900A TW201525714A (zh) 2013-12-18 2014-12-09 監控業務運行資料入庫的方法、資料源伺服器、資料監控中心伺服器及通信系統
PCT/CN2015/072272 WO2015090241A1 (zh) 2013-12-18 2015-02-05 监控业务运行数据入库的方法和相关设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310699871.2A CN104133829B (zh) 2013-12-18 2013-12-18 监控业务运行数据入库的方法和相关设备及系统

Publications (2)

Publication Number Publication Date
CN104133829A CN104133829A (zh) 2014-11-05
CN104133829B true CN104133829B (zh) 2016-02-17

Family

ID=51806507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310699871.2A Active CN104133829B (zh) 2013-12-18 2013-12-18 监控业务运行数据入库的方法和相关设备及系统

Country Status (3)

Country Link
CN (1) CN104133829B (zh)
TW (1) TW201525714A (zh)
WO (1) WO2015090241A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133829B (zh) * 2013-12-18 2016-02-17 腾讯科技(深圳)有限公司 监控业务运行数据入库的方法和相关设备及系统
CN104135395B (zh) * 2014-03-10 2015-12-30 腾讯科技(深圳)有限公司 Idc网络中数据传输质量监控方法和系统
CN105069065A (zh) * 2015-07-29 2015-11-18 浪潮(北京)电子信息产业有限公司 一种文件监控方法及系统
CN109753401A (zh) * 2017-11-03 2019-05-14 中国电信股份有限公司 监控方法、采集端、管控端、监控系统及装置
CN109039819B (zh) * 2018-08-16 2019-12-17 深圳华锐金融技术股份有限公司 时延统计方法、装置、系统及存储介质
CN109542875B (zh) * 2018-11-20 2021-09-24 中国银行股份有限公司 一种配置文件的生成方法及装置
CN110457175B (zh) * 2019-07-08 2023-04-18 创新先进技术有限公司 业务数据处理方法、装置、电子设备及介质
CN113626417A (zh) 2020-05-08 2021-11-09 台达电子工业股份有限公司 数据齐备度分析系统和数据齐备度分析方法
TWI781400B (zh) * 2020-05-08 2022-10-21 台達電子工業股份有限公司 資料齊備度分析系統和資料齊備度分析方法
CN112396349A (zh) * 2020-12-07 2021-02-23 国网物资有限公司 一种基于业务实体的数据质量监控方法
CN114465871A (zh) * 2021-12-20 2022-05-10 中盈优创资讯科技有限公司 一种5g告警处理系统镜像化分布式上云实现方法及装置
CN116383083B (zh) * 2023-04-23 2024-01-12 中航信移动科技有限公司 基于多接口连接的异常数据源确定方法及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009582A (zh) * 2006-01-24 2007-08-01 北京畅通达通信技术有限公司 基于2m数据电路传输质量实时在线监测的方法与装置
CN101446914A (zh) * 2007-11-26 2009-06-03 阿里巴巴集团控股有限公司 一种数据库监控方法及装置
CN101478423A (zh) * 2008-12-12 2009-07-08 北京邮电大学 一种基于数据库的无刷新告警自动监测技术
CN101989283A (zh) * 2009-08-04 2011-03-23 中兴通讯股份有限公司 一种数据库性能的监控方法和装置
CN102332035A (zh) * 2011-07-26 2012-01-25 昆明理工大学 一种在线状态监测系统的数据存储与处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100589405C (zh) * 2007-04-30 2010-02-10 张宇飞 服务器实时监控智能报警系统及其运行方法
US8138940B2 (en) * 2009-05-01 2012-03-20 Cathy Horton Municipal operations monitoring and alert system
CN104133829B (zh) * 2013-12-18 2016-02-17 腾讯科技(深圳)有限公司 监控业务运行数据入库的方法和相关设备及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009582A (zh) * 2006-01-24 2007-08-01 北京畅通达通信技术有限公司 基于2m数据电路传输质量实时在线监测的方法与装置
CN101446914A (zh) * 2007-11-26 2009-06-03 阿里巴巴集团控股有限公司 一种数据库监控方法及装置
CN101478423A (zh) * 2008-12-12 2009-07-08 北京邮电大学 一种基于数据库的无刷新告警自动监测技术
CN101989283A (zh) * 2009-08-04 2011-03-23 中兴通讯股份有限公司 一种数据库性能的监控方法和装置
CN102332035A (zh) * 2011-07-26 2012-01-25 昆明理工大学 一种在线状态监测系统的数据存储与处理方法

Also Published As

Publication number Publication date
CN104133829A (zh) 2014-11-05
TW201525714A (zh) 2015-07-01
WO2015090241A1 (zh) 2015-06-25

Similar Documents

Publication Publication Date Title
CN104133829B (zh) 监控业务运行数据入库的方法和相关设备及系统
US10459827B1 (en) Machine-learning based anomaly detection for heterogenous data sources
US11457029B2 (en) Log analysis based on user activity volume
CN107645562A (zh) 数据传输处理方法、装置、设备及系统
CN106796540A (zh) 用于分布式计算的主动故障恢复模型
CN111444992B (zh) 基于信息码的用户信息查验方法及系统
US10169719B2 (en) User configurable message anomaly scoring to identify unusual activity in information technology systems
CN110912809B (zh) 信息分享链的生成方法及装置、电子设备、存储介质
CN110363407A (zh) 基于用户行为轨迹的欺诈风险评估方法及装置
CN112737800A (zh) 服务节点故障定位方法、调用链生成方法及服务器
US20200004785A1 (en) Automatic grouping based on user behavior
CN110113392A (zh) 一种监控app客户端埋点采集完整性的方法及设备
CN109408361A (zh) Monkey测试复原方法、装置、电子设备及计算机可读存储介质
JP7348243B2 (ja) 交通流監視測定システムのテスト方法、装置及び機器
CN109711849B (zh) 以太坊地址画像生成方法、装置、电子设备及存储介质
CN113485862B (zh) 业务故障的管理方法、装置、电子设备及存储介质
CN102594897B (zh) 智能分析系统及方法
CN109376137A (zh) 一种文件处理方法及装置
CN110222017A (zh) 实时数据的处理方法、装置、设备及计算机可读存储介质
CN111784453B (zh) 基于区块链的跨平台医药集采价格同步方法及相关装置
CN107220530B (zh) 基于用户业务行为分析的图灵测试方法及系统
CN113760689A (zh) 接口故障的报警方法、装置、设备及存储介质
CN105335362A (zh) 实时数据的处理方法及系统、即时处理系统
CN111445284B (zh) 一种定向标签的确定方法、装置、计算设备及存储介质
CN104283974A (zh) 数据拉取方法和相关设备及通信系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant