CN104135395A - Idc网络中数据传输质量监控方法和系统 - Google Patents

Idc网络中数据传输质量监控方法和系统 Download PDF

Info

Publication number
CN104135395A
CN104135395A CN201410086058.2A CN201410086058A CN104135395A CN 104135395 A CN104135395 A CN 104135395A CN 201410086058 A CN201410086058 A CN 201410086058A CN 104135395 A CN104135395 A CN 104135395A
Authority
CN
China
Prior art keywords
data
transmission
memory node
reception
idc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410086058.2A
Other languages
English (en)
Other versions
CN104135395B (zh
Inventor
周东祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410086058.2A priority Critical patent/CN104135395B/zh
Publication of CN104135395A publication Critical patent/CN104135395A/zh
Priority to PCT/CN2015/073202 priority patent/WO2015135417A1/en
Priority to US15/107,072 priority patent/US9917744B2/en
Application granted granted Critical
Publication of CN104135395B publication Critical patent/CN104135395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5019—Ensuring fulfilment of SLA
    • H04L41/5025—Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0847—Transmission error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0858—One way delays

Abstract

一种IDC网络中数据传输质量监控方法，包括以下步骤：监测IDC网络中应用服务节点发送的数据以及与所述应用服务节点对应的数据存储节点接收的数据；获取发送数据的指定的指标项以及接收数据的指定的指标项；根据所述发送数据的指标项以及所述接收数据的指标项计算所述发送数据和接收数据对应的数据传输质量指标；根据所述数据传输质量指标发起异常告警。上述可避免传输错误数据而导致网络带宽资源浪费，进一步防止根据错误数据进行数据计算而产生错误的数据计算结果，不但避免不必要的计算资源的占用，而且可防止根据错误的数据计算结果而产生失败的决策。此外，还提供一种IDC网络中数据传输质量监控系统。

Description

IDC网络中数据传输质量监控方法和系统
技术领域
本发明涉及网络技术领域，特别是涉及IDC网络中数据传输质量监控方法和系统。
背景技术
互联网数据中心（Internet Data Center）简称IDC，为集中式收集、存储、处理和发送数据的设备提供运行维护的设施基地。IDC中一般包括多个服务器，例如，提供应用服务的应用服务节点和存储数据的数据存储节点等等。
现有的互联网应用服务往往涉及到多个分别部署在不同区域的IDC。每一个IDC中的应用服务节点产生的运行数据首先传输到同一IDC中就近的数据存储节点中，以防止跨IDC网络可能带来的传输超时以及数据丢失风险；而现有的互联网应用服务（例如大型多人在线游戏）往往实时产生大量的运行数据，有些互联网应用服务的一个用户客户端一天就可以产生近TB级别的数据，为了保证对如此大数据量的数据进行后续统计分析和数据挖掘等等相关数据计算的计算速度，进一步再将各个IDC数据存储节点中的应用服务数据调度到数据仓库。
数据在传输过程中有可能存在数据丢失、数据传输错误等影响到数据质量的问题，而数据质量的好坏对数据计算结果的正确性有着关键性作用，错误的数据计算结果可能导致根据数据计算结果产生失败的决策。若在将数据从应用服务节点传输到数据存储节点的过程中产生数据传输问题，那么进一步将已经发生错误的数据传输到数据仓库，不但会浪费网络带宽资源，更会导致产生错误的计算结果。
发明内容
基于此，有必要提供一种可避免传输错误数据而导致网络带宽资源浪费的IDC网络中数据传输质量监控方法。
一种IDC网络中数据传输质量监控方法，包括以下步骤：
监测IDC网络中应用服务节点发送的数据以及与所述应用服务节点对应的数据存储节点接收的数据；
获取发送数据的指定的指标项以及接收数据的指定的指标项；
根据发送数据的指标项以及接收数据的指标项计算所述应用服务节点和对应的数据存储节点之间的数据传输质量指标；
根据所述数据传输质量指标发起异常告警。
此外，还有必要提供一种可避免传输错误数据而导致网络带宽资源浪费的IDC网络中数据传输质量监控系统。
一种IDC网络中数据传输质量监控系统，包括：
监测模块，用于监测IDC网络中应用服务节点发送的数据以及与所述应用服务节点对应的数据存储节点接收的数据；
指标项获取模块，用于获取发送数据的指定的指标项以及接收数据的指定的指标项；
质量指标计算模块，用于根据所述发送数据的指标项以及所述接收数据的指标项计算所述发送数据和接收数据对应的数据传输质量指标；
告警模块，用于根据所述数据传输质量指标发起异常告警。
上述IDC网络中数据传输质量监控方法和系统，监测IDC网络中应用服务节点发送的数据以及对应的数据存储节点接收的数据，获取发送数据的指定的指标项以及接收数据的指定的指标项，根据发送数据的指标项以及接收数据的指标项计算发送数据和接收数据对应的数据传输质量指标，并根据数据传输质量指标发起异常告警，若数据传输质量指标不合格而产生异常告警，表示应用服务节点发送的数据在传输到数据存储节点的过程中存在错误，则可不再继续将已经发生错误的数据传输到数据仓库，从而避免传输错误数据而导致网络带宽资源浪费，进一步防止根据错误数据进行数据计算而产生错误的数据计算结果，不但避免不必要的计算资源的占用，而且可防止根据错误的数据计算结果而产生失败的决策。
附图说明
图1为一个实施例中的IDC网络中数据传输质量监控方法的流程示意图；
图2为一个实施例中核对类型版本的步骤的流程示意图；
图3为一个实施例中分析数据量变化的步骤的流程示意图；
图4为一个实施例中将数据存储节点的接收数据进行本地入库及标记的步骤的流程示意图；
图5为一个实施例中的IDC网络中数据传输质量监控系统的结构示意图；
图6为另一实施例中的IDC网络中数据传输质量监控系统的结构示意图；
图7为一个实施例中数据本地入库标记模块的结构示意图；
图8为一个实施例中质量指标计算模块的结构示意图；
图9为IDC网络中的数据传输示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1所示，在一个实施例中，一种IDC网络中数据传输质量监控方法，包括以下步骤：
步骤S102，监测IDC网络中应用服务节点发送的数据以及与应用服务节点对应的数据存储节点接收的数据。
某一应用服务节点与某一数据存储节点之间互相收发数据，则该应用服务节点与该数据存储节点相对应。
在一个实施例中，可预先在应用服务节点和对应的数据存储节点上部署脚本，通过部署的脚本监控应用服务节点的网络收发端口发送的数据，以及通过部署的脚本监控数据存储节点的网络收发端口接收的数据。以下发送的数据简称发送数据，接收的数据简称接收数据。
步骤S104，获取发送数据的指定的指标项以及接收数据的指定的指标项。
可通过上述部署的脚本获取指定的指标项。进一步的，在一个实施例中，该脚本可通过网络收发端口将获取的指标项发送给指标计算服务器，以下的步骤S106和S108可由指标计算服务器执行。
在一个实施例中，所述发送数据的指标项包括所属应用服务节点地址、数据内容类型、数据内容版本、数据序列号、发送时间戳、数据条数和数据量中的一种或几种。所述接收数据的指标项包括所属数据存储节点地址、数据内容类型、数据内容版本、数据序列号、接收时间戳、数据条数和数据量中的一种或几种。发送数据和接收数据的指标项具体包括哪些内容可根据以下具体实施例的需要而定。例如，在某一个实施例中只需要用到数据条数，则可视为在该实施例中，指标项包括数据条数。在一个实施例中，数据内容类型分为游戏状态数据、游戏日志数据和支付数据等。
在一个实施例中，上述IDC网络中数据传输质量监控方法还包括步骤：监听最新的数据字典变更事件，若监听到该变更事件，则根据变更事件更新应用服务节点和数据存储节点上的本地数据字典。
可通过上述部署的脚本监听数据地图与数据字典管理平台发布的最新数据字典变更事件。从而保证应用服务节点和数据存储节点上的本地数据字典为最新的数据字典。进一步的，可从本地数据字典中获取发送数据和接收数据的数据内容类型和数据内容版本等。
步骤S106，根据发送数据的指标项以及接收数据的指标项计算发送数据和接收数据对应的数据传输质量指标。
步骤S108，根据数据传输质量指标发起异常告警。
在一个实施例中，步骤S106包括步骤：根据发送数据的数据条数与接收数据的数据条数计算得到数据传输完整度。
可计算接收数据的数据条数与发送数据的数据条数的比值作为数据传输完整度。
例如，有20个应用服务节点为某游戏提供服务并实时产生数据。每个应用服务节点单位时间内（例如1小时）产生的数据条数为2千万，应用服务节点将产生的数据发送到对应的数据存储节点，在传输过程中数据可能由于各种原因而导致丢失。若数据存储节点某一个小时段内接收到其中一个应用服务节点的数据条数为19999995，则该小时段内该应用服务节点到对应的数据存储节点之间的数据传输完整度为19999995/20000000=99.99%。其它应用服务节点到对应的数据存储节点之间的数据传输完整度可依此计算。
本实施例中，步骤S108可判断数据传输完整度是否低于预设的阈值，若是，则发起异常告警。
例如，当数据传输完整度低于90%时，可发起异常告警，提示相应时间段内相应的应用服务器到数据存储节点的数据传输完整度较低。
在一个实施例中，步骤S106包括步骤：根据发送数据的发送时间戳与接收数据的接收时间戳计算得到数据传输时延。
可计算接收数据的接收时间戳与发送数据的发送时间戳之间的差作为数据传输时延。
例如，应用服务节点的某一数据块（包括多条数据）的发送时间戳为20140307110601（2014年03月07日11时06分01秒），而对应的数据存储节点接收到该数据块的时间戳为20140307110705，则该数据块的在应用服务节点与对应的数据存储节点之间的数据传输时延为：20140307110705-20140307110601=1分零4秒。
本实施例中，步骤S108可判断数据传输时延是否高于预设的阈值，若是，则发起异常告警。
例如，当数据传输时延高于10分钟时，可发起异常告警，提示从某一服务节点传输到对应的数据存储节点的某一数据的传输时延过长。
指标计算服务器接收多个应用服务器上的发送数据的指标项以及多个数据存储节点上的接收数据的指标项。指标计算服务器可在所有发送数据与接收数据中，将所属应用服务节点地址与所属数据存储节点地址相对应、数据内容类型相同且数据序列号相同的发送数据和接收数据进行比较计算，得到上述数据传输完整度或数据传输时延。应用服务节点与数据存储节点之间互相收发数据，则该应用服务节点的地址与该数据存储节点的地址相对应。可预先存储应用服务节点地址与数据存储节点地址的对应关系。指标计算服务器可根据该对应关系获取某一所属应用服务节点地址对应的所属数据存储节点地址。
上述IDC网络中数据传输质量监控方法，监测IDC网络中应用服务节点发送的数据以及对应的数据存储节点接收的数据，获取发送数据的指定的指标项以及接收数据的指定的指标项，根据发送数据的指标项以及接收数据的指标项计算发送数据和接收数据对应的数据传输质量指标，并根据数据传输质量指标发起异常告警，若数据传输质量指标不合格而产生异常告警，表示应用服务节点发送的数据在传输到数据存储节点的过程中存在错误，则可不再继续将已经发生错误的数据传输到数据仓库，从而避免传输错误数据而导致网络带宽资源浪费，进一步防止根据错误数据进行数据计算而产生错误的数据计算结果，不但避免不必要的计算资源的占用，而且可防止根据错误的数据计算结果而产生失败的决策。
在一个实施例中，上述IDC网络中数据传输质量监控方法还包括核对类型版本的步骤，该步骤可由指标计算服务器执行，如图2所示，该步骤包括以下步骤：
步骤S202，核对发送数据的数据内容类型、数据内容版本和所属应用服务节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，若否，发起异常告警。
步骤S204，核对所述接收数据的数据内容类型、数据内容版本和所属数据存储节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，若否，发起异常告警。
在一个实施例中，最新的数据地图和数据字典存储于数据地图和数据字典管理平台。数据地图中存储了所属应用服务节点地址与数据内容类型之间的对应关系以及所属数据存储节点地址与数据内容类型之间的对应关系，用于表示各个应用服务节点上部署的数据内容类型以及各个数据存储节点上部署的数据内容类型；而数据字典中存储了数据内容类型与数据内容版本之间的对应关系，用于表示各个数据内容类型的最新的版本（数据内容版本）。
步骤S202可根据发送数据的所属应用服务节点地址在数据地图中查找对应的数据内容类型，并比较查找到的数据内容类型是否与发送数据的数据内容类型一致；并根据发送数据的数据内容类型在数据字典中查找对应的数据内容版本，比较查找到的数据内容版本是否与发送数据的数据内容版本是否一致。步骤S204的执行过程与步骤S202相对应，在此不再赘述。
一方面，互联网应用服务版本更新换代的速度非常快，相应地，数据字典中存储的最新数据内容类型与数据内容版本之间的对应关系更换也快；另一方面，数据存储节点随着应用服务节点的增减而增减，而且各个应用服务节点与数据存储节点上部署的数据内容类型也可能变化，相应地，数据地图中存储的数据内容类型与IDC节点地址之间的对应关系也可能经常变化。因此，核对发送数据与接收数据的数据内容类型、数据内容版本和对应IDC节点地址是否符合最新的数据地图和数据字典很有必要。本实施例中，若发送数据或接收数据的数据内容类型、数据内容版本和对应IDC节点地址不符合最新的数据地图和数据字典，则发起异常告警，进一步的可不再将不符合的数据传输到数据仓库，从而可避免传输错误数据而节省网络带宽资源。
在一个实施例中，上述IDC网络中数据传输质量监控方法还包括分析数据量变化的步骤，该步骤也可由指标计算服务器执行，如图3所示，该步骤包括以下步骤：
步骤S302，分析指定时间段内应用服务节点的发送数据的数据量，获得应用服务节点的发送数据量波动变化。
步骤S304，分析指定时间段内数据存储节点的接收数据的数据量，获得数据存储节点的接收数据量波动变化。
若某时间段内应用服务节点的发送数据或数据存储节点的接收数据的数据量波动变化大，则有可能存在异常问题，可进一步分析数据量波动变化大的原因，并根据原因判断是否进一步将对应的数据发送到数据仓库，从而避免传输存在异常的数据，节省网络带宽资源。
在一个实施例中，上述IDC网络中数据传输质量监控方法还包括将数据存储节点的接收数据进行本地入库及标记的步骤，该步骤可由数据存储节点执行，如图4所示，该步骤包括以下步骤：
步骤S402，检查数据存储节点上接收数据的数据内容类型、数据内容版本与数据存储节点上本地数据字典中的数据内容类型和数据内容版本之间的对应关系是否一致，得到一致与否结果。
步骤S404，解压数据存储节点的接收数据，将解压成功的数据在数据存储节点上进行本地入库存储，根据本地入库存储的数据条数和接收数据的数据条数计算接收数据的本地入库完整度。
可计算本地存储的数据条数和接收数据的数据条数的比值作为接收数据的本地入库完整度。
在一个实施例中，接收数据中的每一条数据包含标头以及多个属性值，标头与属性值之间以及各个属性值之间用竖线隔开。标头用于标记数据类型，也用于表示数据本地存储时要存入的数据表。
例如，以下两段数据分别表示两条数据。
tbrolelogout|575646464|454874848|2014-03-0510:12:23|2014-03-0510:12:23|美国队长|415|10.236.252.14|1|13
P2PTrade|15454515455|2014-03-0510:12:23|2014-03-0510:12:23|2564128|美国队长|154564654464|484545|战神|4545645645674|Item-12451|55011|1
其中，“tbrolelogout”和“P2PTrade”分别表示数据的标头，用于标记数据类型并表示数据本地存储时要存入的数据表，例如“tbrolelogout”表示玩家登录退出数据类型，并表示数据要存入表名为“tbrolelogout”的数据表，“P2PTrade”表示玩家交易数据类型，并表示数据要存入表名为“P2PTrade”的数据表。
在一个实施例中解压数据存储节点的接收数据后，需检查每一条数据是否准确。检查每一条数据是否准确的过程包括：
检查数据是否包含标头；
检查本地数据库中是否包含以标头命名的数据表；对于上述两条数据，即分别检查数据库中是否包含以“tbrolelogout”和“P2PTrade”命名的数据表；
检查数据所包含的中文属性值是否编码正确；例如检查上述两条数据中的“美国队长”是否编码正确；
检查数据所包含的属性值数量与标头对应的数据表的列数量是否一致；
以及检查数据的各个属性值的类型和格式是否与对应数据表的相应列的类型和格式相匹配，数据中的各个属性值按照排列的先后顺序依次与数据表中的各个列相对应。例如检查时间等具有特殊格式的属性值是否符合对应列的格式。
进一步的，将通过以上各项检查的数据存储到数据的标头对应的数据表中。最后，计算接收的某一数据块的本地入库完整度为：该块数据中成功存储到数据表的数据条数/该块数据表包含的数据条数×100%；或者计算在某一时间段内数据存储节点从某一应用服务节点接收的数据的本地入库完整度为：该段时间内从该应用服务节点接收的数据中成功存储到数据表的数据条数/该段时间内从该应用服务节点接收的数据条数×100%。
步骤S406，检验数据存储节点上本地入库存储的数据是否符合本地数据字典的数据定义，根据符合本地数据字典的数据定义的数据条数以及本地入库存储的数据条数计算所述数据存储节点上接收数据的本地入库准确率。
可检验数据的长度和字段定义等是否符合本地数据字典的数据定义。进一步的，可计算符合本地数据字典的数据定义的数据条数和本地入库存储的数据条数的比值作为接收数据的本地入库准确率。
步骤S408，将数据存储节点上本地入库存储的数据标记质量标签，该质量标签包括上述一致与否结果、本地入库完整度和本地入库准确率。
本实施例中，检查数据存储节点上接收数据的数据内容类型、数据内容版本是否与数据字典一致，并计算接收数据的本地入库完整度和本地入库准确率，进一步将对应的本地入库存储的数据标记包括一致与否结果、本地入库完整度和本地入库准确率的质量标签，进一步，可根据质量标签判断是否将数据存储节点上本地入库存储的数据传输到数据仓库，可避免传输质量不合格的数据，从而节省网络资源带宽，并有效地保证数据仓库中存储的数据的准确性，进一步保证数据计算结果的准确性。
在一个实施例中，上述IDC网络中数据传输质量监控方法还包括步骤：获取数据存储节点上本地入库存储的数据中符合本地数据字典的数据定义的数据条数；该步骤可由数据存储节点执行。进一步的数据存储节点可将该获取的数据条数发送给指标计算服务器。
本实施例中，步骤S106包括步骤：根据上述符合本地数据字典的数据定义的数据条数与上述接收数据的数据条数计算数据传输准确率。该步骤可由指标计算服务器执行。
可计算上述符合本地数据字典的数据定义的数据条数与上述接收数据的数据条数的比值作为数据传输准确率。
本实施例中，计算接收数据的数据传输准确率，可进一步根据数据传输准确率判断是否将接收传输到数据仓库，从而可避免将数据传输准确率低的接收数据传输到数据仓库，节约网络带宽资源。
如图5所示，在一个实施例中，一种IDC网络中数据传输质量监控系统，包括监测模块502、指标项获取模块504、质量指标计算模块506和告警模块508，监测模块502和指标项获取模块504可运行于应用服务节点和数据存储节点上，质量指标计算模块506和告警模块508可运行于指标计算服务器上。在一个实施例中，应用服务节点和与其相应的数据存储节点位于同一个IDC网络中，而指标计算服务器与应用服务节点以及数据存储节点位于不同的IDC网络。其中：
监测模块502用于监测IDC网络中应用服务节点发送的数据以及与应用服务节点对应的数据存储节点接收的数据。
应用服务节点与数据存储节点之间互相收发数据，则该应用服务节点与该数据存储节点相对应。
在一个实施例中，可预先在应用服务节点和对应的数据存储节点上部署脚本，监测模块502可通过部署的脚本监控应用服务节点的网络收发端口发送的数据，以及通过部署的脚本监控数据存储节点的网络收发端口接收的数据。以下发送的数据简称发送数据，接收的数据简称接收数据。
指标项获取模块504用于获取发送数据的指定的指标项以及接收数据的指定的指标项。
指标项获取模块504可通过上述部署的脚本获取指定的指标项。进一步的，在一个实施例中，上述IDC网络中数据传输质量监控系统还包括发送模块，该发送模块运行于应用服务节点和数据存储节点上，用于通过上述部署的脚本将获取的指标项通过网络收发端口发送给指标计算服务器。
在一个实施例中，所述发送数据的指标项包括所属应用服务节点地址、数据内容类型、数据内容版本、数据序列号、发送时间戳、数据条数和数据量中的一种或几种。所述接收数据的指标项包括所属数据存储节点地址、数据内容类型、数据内容版本、数据序列号、接收时间戳、数据条数和数据量中的一种或几种。发送数据和接收数据的指标项具体包括哪些内容可根据以下具体实施例的需要而定。例如，在某一个实施例中只需要用到数据条数，则可视为在该实施例中，指标项包括数据条数。在一个实施例中，数据内容类型分为游戏状态数据、游戏日志数据和支付数据等。
在一个实施例中，监测模块502还用于监听最新的数据字典变更事件，上述IDC网络中数据传输质量监控系统还包括数据字典更新模块，用于若监听到最新的数据字典变更事件，则根据变更事件更新应用服务节点和数据存储节点上的本地数据字典。监测模块502可通过上述部署的脚本监听数据地图与数据字典管理平台发布的最新数据字典变更事件。从而保证应用服务节点和数据存储节点上的本地数据字典为最新的数据字典。指标项获取模块504可从本地数据字典中获取发送数据和接收数据的数据内容类型和数据内容版本等。
质量指标计算模块506用于根据发送数据的指标项以及接收数据的指标项计算发送数据和接收数据对应的数据传输质量指标。
告警模块508用于根据数据传输质量指标发起异常告警。
在一个实施例中，质量指标计算模块506包括传输完整度计算模块，用于根据发送数据的数据条数与接收数据的数据条数计算得到数据传输完整度。
传输完整度计算模块可计算接收数据的数据条数与发送数据的数据条数的比值作为数据传输完整度。
本实施例中，告警模块508可判断数据传输完整度是否低于预设的阈值，若是，则发起异常告警。
在一个实施例中，质量指标计算模块506包括传输时延计算模块，用于根据发送数据的发送时间戳与接收数据的接收时间戳计算得到数据传输时延。
传输时延计算模块可计算接收数据的接收时间戳与发送数据的发送时间戳之间的差作为数据传输时延。
本实施例中，告警模块508可判断数据传输时延是否高于预设的阈值，若是，则发起异常告警。
指标计算服务器接收多个应用服务器上的发送数据的指标项以及多个数据存储节点上的接收数据的指标项。质量指标计算模块506可在所有发送数据与接收数据中，将所属应用服务节点地址与所属数据存储节点地址相对应、数据内容类型相同且数据序列号相同的发送数据和接收数据进行比较计算，得到上述数据传输完整度或数据传输时延。应用服务节点与数据存储节点之间互相收发数据，则该应用服务节点的地址与该数据存储节点的地址相对应。在一个实施例中，上述IDC网络中数据传输质量监控系统还包括数据地图管理模块，用于将应用服务节点地址与数据存储节点地址的对应关系存储至数据地图。质量指标计算模块50可根据该对应关系获取某一所属应用服务节点地址对应的所属数据存储节点地址。
上述IDC网络中数据传输质量监控系统，监测IDC网络中应用服务节点发送的数据以及对应的数据存储节点接收的数据，获取发送数据的指定的指标项以及接收数据的指定的指标项，根据发送数据的指标项以及接收数据的指标项计算发送数据和接收数据对应的数据传输质量指标，并根据数据传输质量指标发起异常告警，若数据传输质量指标不合格而产生异常告警，表示应用服务节点发送的数据在传输到数据存储节点的过程中存在错误，则可不再继续将已经发生错误的数据传输到数据仓库，从而避免传输错误数据而导致网络带宽资源浪费，进一步防止根据错误数据进行数据计算而产生错误的数据计算结果，不但避免不必要的计算资源的占用，而且可防止根据错误的数据计算结果而产生失败的决策。
在一个实施例中，上述IDC网络中数据传输质量监控系统还包括类型版本核对模块，可运行于指标计算服务器上，用于核对发送数据的数据内容类型、
数据内容版本和所属应用服务节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，得到第一一致与否结果。告警模块508还用于若第一一致与否结果为不一致，则发起异常告警。
类型版本核对模块还用于核对所述接收数据的数据内容类型、数据内容版本和所属数据存储节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，得到第二一致与否结果。
告警模块508还用于若第二一致与否结果为不一致，则发起异常告警。
在一个实施例中，最新的数据地图和数据字典存储于数据地图和数据字典管理平台。数据地图中存储了所属应用服务节点地址与数据内容类型之间的对应关系以及所属数据存储节点地址与数据内容类型之间的对应关系，用于表示各个应用服务节点上部署的数据内容类型以及各个数据存储节点上部署的数据内容类型；而数据字典中存储了数据内容类型与数据内容版本之间的对应关系，用于表示各个数据内容类型的最新的版本（数据内容版本）。
类型版本核对模块可根据发送数据的所属应用服务节点地址在数据地图中查找对应的数据内容类型，并比较查找到的数据内容类型是否与发送数据的数据内容类型一致；并根据发送数据的数据内容类型在数据字典中查找对应的数据内容版本，比较查找到的数据内容版本是否与发送数据的数据内容版本是否一致。依次类推，类型版本核对模块可相应地得到第二一致与否结果，在此不再赘述。
一方面，互联网应用服务版本更新换代的速度非常快，相应地，数据字典中存储的最新数据内容类型与数据内容版本之间的对应关系更换也快；另一方面，数据存储节点随着应用服务节点的增减而增减，而且各个应用服务节点与数据存储节点上部署的数据内容类型也可能变化，相应地，数据地图中存储的数据内容类型与IDC节点地址之间的对应关系也可能经常变化。因此，核对发送数据与接收数据的数据内容类型、数据内容版本和对应IDC节点地址是否符合最新的数据地图和数据字典很有必要。本实施例中，若发送数据或接收数据的数据内容类型、数据内容版本和对应IDC节点地址不符合最新的数据地图和数据字典，则发起异常告警，进一步的可不再将不符合的数据传输到数据仓库，从而可避免传输错误数据而节省网络带宽资源。
在一个实施例中，上述IDC网络中数据传输质量监控系统还包括数据量分析模块，数据量分析模块也可运行于指标计算服务器上，用于分析指定时间段内应用服务节点的发送数据的数据量，获得应用服务节点的发送数据量波动变化。
数据量分析模块还用于分析指定时间段内数据存储节点的接收数据的数据量，获得数据存储节点的接收数据量波动变化。
若某时间段内应用服务节点的发送数据或数据存储节点的接收数据的数据量波动变化大，则有可能存在异常问题，数据量分析模块可进一步分析数据量波动变化大的原因，并根据原因判断是否进一步将对应的数据发送到数据仓库，从而避免传输存在异常的数据，节省网络带宽资源。
在一个实施例中，上述IDC网络中数据传输质量监控系统还包括数据本地入库及标记模块，用于将数据存储节点的接收数据进行本地入库及标记。数据本地入库及标记模块包括类型版本检查模块、本地入库模块、入库完整度计算模块、入库准确率计算模块和标签标记模块。在一个实施例中，数据本地入库及标记模块可运行于数据存储节点上。其中：
类型版本检查模块用于检查数据存储节点上接收数据的数据内容类型、数据内容版本与数据存储节点上本地数据字典中的数据内容类型和数据内容版本之间的对应关系是否一致，得到第三一致与否结果。
本地入库模块用于解压数据存储节点的接收数据，将解压成功的数据在数据存储节点上进行本地入库存储。
入库完整度计算模块用于根据本地入库存储的数据条数和接收数据的数据条数计算接收数据的本地入库完整度。入库完整度计算模块可计算本地存储的数据条数和接收数据的数据条数的比值作为接收数据的本地入库完整度。
入库准确率计算模块用于检验数据存储节点上本地入库存储的数据是否符合本地数据字典的数据定义，根据符合本地数据字典的数据定义的数据条数以及本地入库存储的数据条数计算所述数据存储节点上接收数据的本地入库准确率。入库准确率计算模块可检验数据的长度和字段定义等是否符合本地数据字典的数据定义。进一步的，入库准确率计算模块可计算符合本地数据字典的数据定义的数据条数和本地入库存储的数据条数的比值作为接收数据的本地入库准确率。
标签标记模块用于将数据存储节点上本地入库存储的数据标记质量标签，该质量标签包括上述一致与否结果、本地入库完整度和本地入库准确率。
本实施例中，检查数据存储节点上接收数据的数据内容类型、数据内容版本是否与数据字典一致，并计算接收数据的本地入库完整度和本地入库准确率，进一步将对应的本地入库存储的数据标记包括一致与否结果、本地入库完整度和本地入库准确率的质量标签，进一步，可根据质量标签判断是否将数据存储节点上本地入库存储的数据传输到数据仓库，可避免传输质量不合格的数据，从而节省网络资源带宽，并有效地保证数据仓库中存储的数据的准确性，进一步保证数据计算结果的准确性。
在一个实施例中，上述IDC网络中数据传输质量监控系统还包括正确数据条数获取模块，用于获取数据存储节点上本地入库存储的数据中符合本地数据字典的数据定义的数据条数。正确数据条数获取模块可运行于数据存储节点上。数据存储节点上的发送模块可将该获取的数据条数发送给指标计算服务器。
本实施例中，质量指标计算模块506还包括传输准确率计算模块，用于根据上述符合本地数据字典的数据定义的数据条数与上述接收数据的数据条数计算数据传输准确率。
传输准确率计算模块可计算上述符合本地数据字典的数据定义的数据条数与上述接收数据的数据条数的比值作为数据传输准确率。
本实施例中，计算接收数据的数据传输准确率，可进一步根据数据传输准确率判断是否将接收传输到数据仓库，从而可避免将数据传输准确率低的接收数据传输到数据仓库，节约网络带宽资源。
图6为一个实施例中的IDC网络中数据传输质量监控系统的结构示意图，该IDC网络中数据传输质量监控系统包括监测模块502、指标项获取模块504、数据字典更新模块602、数据本地入库及标记模块604、正确数据条数获取模块606、质量指标计算模块506、告警模块508、类型版本核对模块608和数据量分析模块610。其中，监测模块502、指标项获取模块504、数据字典更新模块602运行于应用服务节点和数据存储节点上，数据本地入库及标记模块604和正确数据条数获取模块606运行于数据存储节点上，质量指标计算模块506、告警模块508、类型版本核对模块608和数据量分析模块610运行于指标计算服务器上。本实施例中的功能模块与上文中模块名称相对应的功能模块的功能相同，在此不再赘述。
图7为一个实施例中数据本地入库标记模块的结构示意图，该数据本地入库及标记模块604包括类型版本检查模块702、本地入库模块704、入库完整度计算模块706、入库准确率计算模块708和标签标记模块710。本实施例中的功能模块与上文中模块名称相对应的功能模块的功能相同，在此不再赘述。
图8为一个实施例中质量指标计算模块的结构示意图，该质量指标计算模块包括传输完整度计算模块802、传输时延计算模块804和传输准确率计算模块806。本实施例中的功能模块与上文中模块名称相对应的功能模块的功能相同，在此不再赘述。
图9为IDC网络中的数据传输示意图。图9中的游戏服务器即相当于上述的应用服务器，游戏数据源即相当于上述的数据存储节点。游戏服务器的网络I/O端口通过网络向游戏数据源发送游戏数据，游戏数据源的网络I/O端口接收游戏数据，并将游戏数据本地化入库到数据库中。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种IDC网络中数据传输质量监控方法，包括以下步骤：
监测IDC网络中应用服务节点发送的数据以及与所述应用服务节点对应的数据存储节点接收的数据；
获取发送数据的指定的指标项以及接收数据的指定的指标项；
根据所述发送数据的指标项以及所述接收数据的指标项计算所述发送数据和接收数据对应的数据传输质量指标；
根据所述数据传输质量指标发起异常告警。
2.根据权利要求1所述的IDC网络中数据传输质量监控方法，其特征在于，所述发送数据和接收数据的指标项包括数据条数；
所述根据发送数据的指标项以及接收数据的指标项计算所述应用服务节点和对应的数据存储节点之间的数据传输质量指标的步骤包括：
根据发送数据的数据条数与接收数据的数据条数计算得到数据传输完整度。
3.根据权利要求1所述的IDC网络中数据传输质量监控方法，其特征在于，所述发送数据的指标项包括发送时间戳，所述接收数据的指标项包括接收时间戳；
所述根据发送数据的指标项以及接收数据的指标项计算所述应用服务节点和对应的数据存储节点之间的数据传输质量指标的步骤包括：
根据发送数据的发送时间戳与接收数据的接收时间戳计算得到数据传输时延。
4.根据权利要求1所述的IDC网络中数据传输质量监控方法，其特征在于，所述发送数据的指标项包括数据内容类型、数据内容版本、所属应用服务节点地址；
所述方法还包括步骤：
核对所述发送数据的数据内容类型、数据内容版本和所属应用服务节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，若否，发起异常告警。
5.根据权利要求1所述的IDC网络中数据传输质量监控方法，其特征在于，所述接收数据的指标项包括数据内容类型、数据内容版本、所属数据存储节点地址；
所述方法还包括步骤：
核对所述接收数据的数据内容类型、数据内容版本和所属数据存储节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，若否，发起异常告警。
6.根据权利要求1所述的IDC网络中数据传输质量监控方法，其特征在于，所述发送数据和接收数据的指标项包括数据量；
所述方法还包括步骤：
分析指定时间段内应用服务节点的发送数据的数据量，获得应用服务节点的发送数据量波动变化；
分析指定时间段内数据存储节点的接收数据的数据量，获得数据存储节点的接收数据量波动变化。
7.根据权利要求1所述的IDC网络中数据传输质量监控方法，其特征在于，所述获取的接收数据的指标项包括数据条数、数据内容类型和数据内容版本；
所述方法还包括步骤：
检查所述数据存储节点上接收数据的数据内容类型、数据内容版本与所述数据存储节点上本地数据字典中的数据内容类型和数据内容版本之间的对应关系是否一致，得到第三一致与否结果；
解压所述数据存储节点的接收数据，将解压成功的数据在所述数据存储节点上进行本地入库存储，根据本地入库存储的数据条数和所述接收数据的数据条数计算所述接收数据的本地入库完整度；
检验所述数据存储节点上本地入库存储的数据是否符合本地数据字典的数据定义，根据符合本地数据字典的数据定义的数据条数以及本地入库存储的数据条数计算所述数据存储节点上接收数据的本地入库准确率。
8.根据权利要求7所述的IDC网络中数据传输质量监控方法，其特征在于，所述方法还包括步骤：
将所述数据存储节点上本地入库存储的数据标记质量标签，所述质量标签包括所述第三一致与否结果、本地入库完整度和本地入库准确率。
9.根据权利要求8所述的IDC网络中数据传输质量监控方法，其特征在于，所述方法还包括步骤：
获取所述数据存储节点上本地入库存储的数据中符合本地数据字典的数据定义的数据条数；
所述根据发送数据的指标项以及接收数据的指标项计算所述应用服务节点和对应的数据存储节点之间的数据传输质量指标的步骤包括：
根据所述符合本地数据字典的数据定义的数据条数与所述接收数据的数据条数计算数据传输准确率。
10.一种IDC网络中数据传输质量监控系统，其特征在于，包括：
监测模块，用于监测IDC网络中应用服务节点发送的数据以及与所述应用服务节点对应的数据存储节点接收的数据；
指标项获取模块，用于获取发送数据的指定的指标项以及接收数据的指定的指标项；
质量指标计算模块，用于根据所述发送数据的指标项以及所述接收数据的指标项计算计算所述发送数据和接收数据对应的数据传输质量指标；
告警模块，用于根据所述数据传输质量指标发起异常告警。
11.根据权利要求10所述的IDC网络中数据传输质量监控系统，其特征在于，所述发送数据和接收数据的指标项包括数据条数；
所述质量指标计算模块包括传输完整度计算模块，用于根据发送数据的数据条数与接收数据的数据条数计算得到数据传输完整度。
12.根据权利要求10所述的IDC网络中数据传输质量监控系统，其特征在于，所述发送数据的指标项包括发送时间戳，所述接收数据的指标项包括接收时间戳；
所述质量指标计算模块包括传输时延计算模块，用于根据发送数据的发送时间戳与接收数据的接收时间戳计算得到数据传输时延。
13.根据权利要求10所述的IDC网络中数据传输质量监控系统，其特征在于，所述发送数据的指标项包括数据内容类型、数据内容版本、所属应用服务节点地址；
所述系统还包括类型版本核对模块，用于核对所述发送数据的数据内容类型、数据内容版本和所属应用服务节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，得到第一一致与否结果；
所述告警模块还用于若所述第一一致与否结果为不一致，则发起异常告警。
14.根据权利要求13所述的IDC网络中数据传输质量监控系统，其特征在于，所述接收数据的指标项包括数据内容类型、数据内容版本、所属数据存储节点地址；
所述类型版本核对模块还用于核对所述接收数据的数据内容类型、数据内容版本和所属数据存储节点地址与最新的数据地图和数据字典存储的数据内容类型、数据内容版本和节点地址之间的对应关系是否一致，得到第二一致与否结果；
所述告警模块还用于若所述第二一致与否结果为不一致，则发起异常告警。
15.根据权利要求10所述的IDC网络中数据传输质量监控系统，其特征在于，所述发送数据和接收数据的指标项包括数据量；
所述系统还包括数据量分析模块，用于分析指定时间段内应用服务节点的发送数据的数据量，获得应用服务节点的发送数据量波动变化；
所述数据量分析模块还用于分析指定时间段内数据存储节点的接收数据的数据量，获得数据存储节点的接收数据量波动变化。
16.根据权利要求10所述的IDC网络中数据传输质量监控系统，其特征在于，所述获取的接收数据的指标项包括数据条数、数据内容类型和数据内容版本；
所述系统还包括：
类型版本检查模块，用于检查所述数据存储节点上接收数据的数据内容类型、数据内容版本与所述数据存储节点上本地数据字典中的数据内容类型和数据内容版本之间的对应关系是否一致，得到第三一致与否结果；
本地入库模块，用于解压所述数据存储节点的接收数据，将解压成功的数据在所述数据存储节点上进行本地入库存储；
入库完整度计算模块，用于根据本地入库存储的数据条数和所述接收数据的数据条数计算所述接收数据的本地入库完整度；
入库准确率计算模块，用于检验所述数据存储节点上本地入库存储的数据是否符合本地数据字典的数据定义，根据符合本地数据字典的数据定义的数据条数以及本地入库存储的数据条数计算所述数据存储节点上接收数据的本地入库准确率。
17.根据权利要求16所述的IDC网络中数据传输质量监控系统，其特征在于，所述系统还包括：
标签标记模块，用于将所述数据存储节点上本地入库存储的数据标记质量标签，所述质量标签包括所述第三一致与否结果、本地入库完整度和本地入库准确率。
18.根据权利要求17所述的IDC网络中数据传输质量监控系统，其特征在于，所述系统还包括正确数据条数获取模块，用于获取所述数据存储节点上本地入库存储的数据中符合本地数据字典的数据定义的数据条数；
所述质量指标计算模块还包括传输准确率计算模块，用于根据所述符合本地数据字典的数据定义的数据条数与所述接收数据的数据条数计算数据传输准确率。
CN201410086058.2A 2014-03-10 2014-03-10 Idc网络中数据传输质量监控方法和系统 Active CN104135395B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410086058.2A CN104135395B (zh) 2014-03-10 2014-03-10 Idc网络中数据传输质量监控方法和系统
PCT/CN2015/073202 WO2015135417A1 (en) 2014-03-10 2015-02-16 Method and system for monitoring quality of data transmission in idc network
US15/107,072 US9917744B2 (en) 2014-03-10 2015-02-16 Method and system for monitoring quality of data transmission in IDC network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410086058.2A CN104135395B (zh) 2014-03-10 2014-03-10 Idc网络中数据传输质量监控方法和系统

Publications (2)

Publication Number Publication Date
CN104135395A true CN104135395A (zh) 2014-11-05
CN104135395B CN104135395B (zh) 2015-12-30

Family

ID=51807924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410086058.2A Active CN104135395B (zh) 2014-03-10 2014-03-10 Idc网络中数据传输质量监控方法和系统

Country Status (3)

Country Link
US (1) US9917744B2 (zh)
CN (1) CN104135395B (zh)
WO (1) WO2015135417A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015135417A1 (en) * 2014-03-10 2015-09-17 Tencent Technology (Shenzhen) Company Limited Method and system for monitoring quality of data transmission in idc network
CN105592151A (zh) * 2015-12-18 2016-05-18 畅捷通信息技术股份有限公司 数据处理方法及数据处理装置
CN106844423A (zh) * 2016-12-09 2017-06-13 北京锐安科技有限公司 一种数据检测的方法及装置
CN107818106A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据离线计算数据质量校验方法和装置
CN108063696A (zh) * 2017-12-14 2018-05-22 北京云端智度科技有限公司 一种节点网络质量评估方法
CN108197199A (zh) * 2017-12-27 2018-06-22 珠海市君天电子科技有限公司 数据监控方法、装置、电子设备及计算机可读存储介质
CN108763291A (zh) * 2018-04-16 2018-11-06 北京奇艺世纪科技有限公司 一种数据管理方法、装置及电子设备
CN111106950A (zh) * 2019-11-25 2020-05-05 深圳市网心科技有限公司 反向代理服务质量监测方法、电子设备、系统及介质
CN111865707A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种传感器数据的传输时序监控方法及装置
CN112202895A (zh) * 2020-09-30 2021-01-08 北京达佳互联信息技术有限公司 监控指标数据的收集方法、系统、电子设备及存储介质
CN112241443A (zh) * 2019-07-16 2021-01-19 中国移动通信集团浙江有限公司 数据质量监测方法、装置、计算设备及计算机存储介质
CN112579352A (zh) * 2020-12-14 2021-03-30 广州信安数据有限公司 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统
CN112751722A (zh) * 2019-10-31 2021-05-04 上海哔哩哔哩科技有限公司 数据传输质量监控方法和系统
CN113821409A (zh) * 2021-09-23 2021-12-21 中国建设银行股份有限公司 一种监控数据传输的方法、装置、存储介质和设备
CN116866219A (zh) * 2023-08-31 2023-10-10 广州尚航信息科技股份有限公司 一种用于idc数据中心的网络数据监控方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058789A (ja) * 2015-09-14 2017-03-23 富士通株式会社 管理装置、管理方法および管理プログラム
CN111245842B (zh) * 2020-01-14 2021-02-05 深圳市恒悦创客空间有限公司 一种园区情报处理方法
CN111884878A (zh) * 2020-07-24 2020-11-03 樊馨 基于区块链的数据监控方法
CN114760191B (zh) * 2022-05-24 2023-09-19 咪咕文化科技有限公司 数据服务质量预警方法、系统、设备与可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065102A (zh) * 2011-01-05 2011-05-18 中国人民解放军国防科学技术大学 面向流媒体传输质量监控的监控信息压缩方法
CN103001829A (zh) * 2012-12-14 2013-03-27 大唐移动通信设备有限公司 一种网络数据传输的测试方法和装置
CN104133829A (zh) * 2013-12-18 2014-11-05 腾讯科技（深圳）有限公司 监控业务运行数据入库的方法和相关设备及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288105A (ja) 2001-03-26 2002-10-04 Hitachi Ltd ストレージエリアネットワークシステム、その運用方法、ストレージ、データ転送量監視装置
JP2008085906A (ja) * 2006-09-28 2008-04-10 Fujitsu Ltd パケット損失率算出システム
US9455896B2 (en) * 2007-07-23 2016-09-27 Verint Americas Inc. Dedicated network interface
CN101990239A (zh) 2009-07-30 2011-03-23 中兴通讯股份有限公司 提高数据传输可靠性的方法、系统及无线通信设备
JP5941853B2 (ja) * 2013-02-12 2016-06-29 株式会社日立製作所 パケット通信方法及び装置
US8619579B1 (en) * 2013-03-15 2013-12-31 Extrahop Networks, Inc. De-duplicating of packets in flows at layer 3
US20140307562A1 (en) * 2013-04-11 2014-10-16 IPLight Ltd. Packet loss counter
KR102059986B1 (ko) * 2013-05-31 2020-02-11 텔레콤 이탈리아 소시에떼 퍼 아찌오니 패킷-교환 통신 네트워크 링크의 성능 측정
WO2014199412A1 (ja) * 2013-06-12 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 出力データ提供サーバおよび出力データ提供方法
CN104135395B (zh) * 2014-03-10 2015-12-30 腾讯科技（深圳）有限公司 Idc网络中数据传输质量监控方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065102A (zh) * 2011-01-05 2011-05-18 中国人民解放军国防科学技术大学 面向流媒体传输质量监控的监控信息压缩方法
CN103001829A (zh) * 2012-12-14 2013-03-27 大唐移动通信设备有限公司 一种网络数据传输的测试方法和装置
CN104133829A (zh) * 2013-12-18 2014-11-05 腾讯科技（深圳）有限公司 监控业务运行数据入库的方法和相关设备及系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9917744B2 (en) 2014-03-10 2018-03-13 Tencent Technology (Shenzhen) Company Limited Method and system for monitoring quality of data transmission in IDC network
WO2015135417A1 (en) * 2014-03-10 2015-09-17 Tencent Technology (Shenzhen) Company Limited Method and system for monitoring quality of data transmission in idc network
CN105592151A (zh) * 2015-12-18 2016-05-18 畅捷通信息技术股份有限公司 数据处理方法及数据处理装置
CN107818106B (zh) * 2016-09-13 2021-11-16 腾讯科技（深圳）有限公司 一种大数据离线计算数据质量校验方法和装置
CN107818106A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据离线计算数据质量校验方法和装置
CN106844423A (zh) * 2016-12-09 2017-06-13 北京锐安科技有限公司 一种数据检测的方法及装置
CN108063696A (zh) * 2017-12-14 2018-05-22 北京云端智度科技有限公司 一种节点网络质量评估方法
CN108197199A (zh) * 2017-12-27 2018-06-22 珠海市君天电子科技有限公司 数据监控方法、装置、电子设备及计算机可读存储介质
CN108763291A (zh) * 2018-04-16 2018-11-06 北京奇艺世纪科技有限公司 一种数据管理方法、装置及电子设备
CN111865707B (zh) * 2019-04-27 2022-03-18 北京初速度科技有限公司 一种传感器数据的传输时序监控方法及装置
CN111865707A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种传感器数据的传输时序监控方法及装置
CN112241443B (zh) * 2019-07-16 2023-11-21 中国移动通信集团浙江有限公司 数据质量监测方法、装置、计算设备及计算机存储介质
CN112241443A (zh) * 2019-07-16 2021-01-19 中国移动通信集团浙江有限公司 数据质量监测方法、装置、计算设备及计算机存储介质
CN112751722A (zh) * 2019-10-31 2021-05-04 上海哔哩哔哩科技有限公司 数据传输质量监控方法和系统
CN112751722B (zh) * 2019-10-31 2022-12-23 上海哔哩哔哩科技有限公司 数据传输质量监控方法和系统
CN111106950B (zh) * 2019-11-25 2022-08-16 深圳市网心科技有限公司 反向代理服务质量监测方法、电子设备、系统及介质
CN111106950A (zh) * 2019-11-25 2020-05-05 深圳市网心科技有限公司 反向代理服务质量监测方法、电子设备、系统及介质
CN112202895A (zh) * 2020-09-30 2021-01-08 北京达佳互联信息技术有限公司 监控指标数据的收集方法、系统、电子设备及存储介质
CN112579352A (zh) * 2020-12-14 2021-03-30 广州信安数据有限公司 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统
CN113821409A (zh) * 2021-09-23 2021-12-21 中国建设银行股份有限公司 一种监控数据传输的方法、装置、存储介质和设备
CN116866219A (zh) * 2023-08-31 2023-10-10 广州尚航信息科技股份有限公司 一种用于idc数据中心的网络数据监控方法及系统
CN116866219B (zh) * 2023-08-31 2023-11-24 广州尚航信息科技股份有限公司 一种用于idc数据中心的网络数据监控方法及系统

Also Published As

Publication number Publication date
WO2015135417A1 (en) 2015-09-17
US9917744B2 (en) 2018-03-13
US20170244610A1 (en) 2017-08-24
CN104135395B (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
CN104135395B (zh) Idc网络中数据传输质量监控方法和系统
CN107071005A (zh) 一种数据同步方法及系统
CN104537102B (zh) 一种获取经纬度的正向地理编码服务方法及系统
CN108710681A (zh) 文件获取方法、装置、设备及存储介质
CN104011719A (zh) 消息跟踪和检查的方法和系统
CN111541986B (zh) 定位方法、装置、存储介质及处理器
CN111371845A (zh) 对车辆进行在途监控的方法、系统及存储介质
CN107945427A (zh) Atm、定位故障atm的系统及方法
CN104270277B (zh) 报警信息处理方法和报警信息处理装置
CN108877188B (zh) 一种环保数据并发采集及多网络发布方法和装置
CN105872118A (zh) Dns网络中节点服务器的检测方法及设备
CN105635155B (zh) 机器人终端中组成设备状态的检测方法和装置
US8897167B2 (en) Diversity monitoring for communication network circuits
US20160057012A1 (en) Method and apparatus for verifying and managing a client system network and network devices
CN104065592A (zh) 一种电报解析方法和装置
CN104038420A (zh) 一种路由计算方法和设备
CN109088779B (zh) 设备服务测试方法及无线电测试系统
CN114490303B (zh) 故障根因确定方法、装置和云设备
JP6334633B2 (ja) データ検索システムおよびデータ検索方法
CN112134734B (zh) 一种网络设备的配置方法及装置
CN104821898B (zh) 一种降低司法社区矫正管理系统越界误报率的方法
CN114138680A (zh) 数据构建、数据查询和测试方法、电子设备以及存储介质
CN114384508A (zh) 基于动静态参数正规化比对的多源航迹融合方法
CN105682218A (zh) 一种移动终端定位方法、装置及移动终端
CN102740390A (zh) 一种m2m系统及其通信方法、m2m平台和终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240103

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.