CN111262725B - 数据处理方法、装置、电子设备及可读存储介质 - Google Patents
数据处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111262725B CN111262725B CN202010015743.1A CN202010015743A CN111262725B CN 111262725 B CN111262725 B CN 111262725B CN 202010015743 A CN202010015743 A CN 202010015743A CN 111262725 B CN111262725 B CN 111262725B
- Authority
- CN
- China
- Prior art keywords
- data
- data link
- service
- calculating
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 156
- 238000012545 processing Methods 0.000 claims abstract description 142
- 230000008569 process Effects 0.000 claims abstract description 92
- 238000013480 data collection Methods 0.000 claims description 16
- 230000001771 impaired effect Effects 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 abstract description 29
- 238000012544 monitoring process Methods 0.000 abstract description 29
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001010 compromised effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
- H04L43/55—Testing of service level quality, e.g. simulating service usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Environmental & Geological Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开实施例公开了数据处理方法、装置、电子设备及可读存储介质，所述方法包括：获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于所述参数确定所述数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
Description
技术领域
本公开涉及计算机技术领域，具体涉及数据处理方法、装置、电子设备及可读存储介质。
背景技术
人们在生活和工作中遇到越来越多的信息技术(IT)服务。无论是服务提供方和受服务用户都非常关注IT服务的质量。受服务用户通过数据链路使用IT服务。数据链路指的是从数据采集、加工到存储的数据流动的节点和连接，数据链路的服务质量是IT服务的质量的重要方面。在相关技术中，难以确定数据链路的服务质量。
发明内容
为了解决相关技术中的问题，本公开实施例提供数据处理方法、装置、电子设备及可读存储介质。
第一方面，本公开实施例中提供了一种数据处理方法，包括：
获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
基于所述参数确定所述数据链路的服务质量。
结合第一方面，本公开在第一方面的第一种实现方式中，所述基于所述参数确定所述数据链路的服务质量，包括：
通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量；并且/或者
通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量。
结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：
获取与数据的所述数据处理过程相关的时间参数；
获取指定时间段内存储于数据库的数据集合。
结合第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，与数据的所述数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一。
结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述获取与数据的所述数据处理过程相关的时间参数，还包括：
根据所述数据采集开始的时间点和所述数据写入数据库之前的时间点计算所述数据在所述数据处理过程中的延迟值。
结合第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：
通过计算所述指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量。
结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述指定时间段还包括附加的预设延迟余量，并且所述第一预设阈值小于等于所述附加的预设延迟余量。
结合第一方面的第三种实现方式，本公开在第一方面的第七种实现方式中，所述通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：
获取指定时间段内存储于数据库的数据集合理论最大值；
获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；
基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
结合第一方面的第七种实现方式，本公开在第一方面的第八种实现方式中，所述基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量，包括：
通过计算所述数据集合与所述数据集合理论最大值减去所述第二缺失数据集合之差的比值作为所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
结合第一方面的第七种实现方式，本公开在第一方面的第九种实现方式中，所述获取指定时间段内存储于数据库的数据集合理论最大值，包括：
计算在所述数据采集开始的时间点存储于数据库的第一数据集合理论最大值；
计算在所述数据采集结束时间点存储于数据库的第二数据集合理论最大值；
根据所述第二数据集合理论最大值与所述第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值。
结合第一方面的第七种实现方式，本公开在第一方面的第十种实现方式中，所述获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合，包括：
计算在所述数据采集结束时间点采集到的第一数据数量；
计算在所述数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；
基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
结合第一方面的第十种实现方式，本公开在第一方面的第十一种实现方式中，所述基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，包括：
根据所述数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
结合第一方面，本公开在第一方面的第十二种实现方式中，还包括：
基于所述数据链路的服务质量生成服务等级协议。
第二方面，本公开实施例中提供了一种数据处理装置，包括：
获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
确定模块，被配置为基于所述参数确定所述数据链路的服务质量。
第三方面，本公开实施例中提供了一种服务等级协议生成方法，包括：
获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
基于所述参数确定所述数据链路的服务质量；
基于所述数据链路的服务质量生成服务等级协议。
结合第三方面，本公开在第三方面的第一种实现方式中，所述基于所述参数确定所述数据链路的服务质量，包括：
通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量；并且/或者
通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量。
结合第三方面的第一种实现方式，本公开在第三方面的第二种实现方式中，所述获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：
获取与数据的所述数据处理过程相关的时间参数；
获取指定时间段内存储于数据库的数据集合。
结合第三方面的第二种实现方式，本公开在第三方面的第三种实现方式中，与数据的所述数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一。
结合第三方面的第三种实现方式，本公开在第三方面的第四种实现方式中，所述获取与数据的所述数据处理过程相关的时间参数，还包括：
根据所述数据采集开始的时间点和所述数据写入数据库之前的时间点计算所述数据在所述数据处理过程中的延迟值。
结合第三方面的第四种实现方式，本公开在第三方面的第五种实现方式中，所述通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：
通过计算所述指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量。
结合第三方面的第五种实现方式，本公开在第三方面的第六种实现方式中，所述指定时间段还包括附加的预设延迟余量，并且所述第一预设阈值小于等于所述附加的预设延迟余量。
结合第三方面的第三种实现方式，本公开在第三方面的第七种实现方式中，所述通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：
获取指定时间段内存储于数据库的数据集合理论最大值；
获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；
基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
结合第三方面的第七种实现方式，本公开在第三方面的第八种实现方式中，所述基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量，包括：
通过计算所述数据集合与所述数据集合理论最大值减去所述第二缺失数据集合之差的比值作为所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
结合第三方面的第七种实现方式，本公开在第三方面的第九种实现方式中，所述获取指定时间段内存储于数据库的数据集合理论最大值，包括：
计算在所述数据采集开始的时间点存储于数据库的第一数据集合理论最大值；
计算在所述数据采集结束时间点存储于数据库的第二数据集合理论最大值；
根据所述第二数据集合理论最大值与所述第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值。
结合第三方面的第七种实现方式，本公开在第三方面的第十种实现方式中，所述获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合，包括：
计算在所述数据采集结束时间点采集到的第一数据数量；
计算在所述数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；
基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
结合第三方面的第十种实现方式，本公开在第三方面的第十一种实现方式中，所述基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，包括：
根据所述数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
第四方面，本公开实施例中提供了一种服务等级协议生成装置，包括：
获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
确定模块，被配置为基于所述参数确定所述数据链路的服务质量；
生成模块，被配置为基于所述数据链路的服务质量生成服务等级协议。
第五方面，本公开实施例中提供了一种电子设备，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种实现方式至第十二种实现方式、第三方面、第三方面的第一种实现方式至第十一种实现方式任一项所述的方法。
第六方面，本公开实施例中提供了一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面、第一方面的第一种实现方式至十二种实现方式、第三方面、第三方面的第一种实现方式至第十一种实现方式任一项所述的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于所述参数确定所述数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
根据本公开实施例提供的技术方案，通过所述基于所述参数确定所述数据链路的服务质量，包括：通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量；并且/或者通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过所述获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：获取与数据的所述数据处理过程相关的时间参数；获取指定时间段内存储于数据库的数据集合，可以根据参数全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过与数据的所述数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一，可以根据参数全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过所述获取与数据的所述数据处理过程相关的时间参数，还包括：根据所述数据采集开始的时间点和所述数据写入数据库之前的时间点计算所述数据在所述数据处理过程中的延迟值，可以根据参数全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过所述通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：通过计算所述指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量，给出了通过确定数据链路实时性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过所述指定时间段还包括附加的预设延迟余量，并且所述第一预设阈值小于等于所述附加的预设延迟余量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
根据本公开实施例提供的技术方案，通过所述通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：获取指定时间段内存储于数据库的数据集合理论最大值；获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量，给出了通过确定数据链路可靠性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过所述基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量，包括：通过计算所述数据集合与所述数据集合理论最大值减去所述第二缺失数据集合之差的比值作为所述数据链路的可靠性指标，以确定所述数据链路的服务质量，给出了通过确定数据链路可靠性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
根据本公开实施例提供的技术方案，通过所述获取指定时间段内存储于数据库的数据集合理论最大值，包括：计算在所述数据采集开始的时间点存储于数据库的第一数据集合理论最大值；计算在所述数据采集结束时间点存储于数据库的第二数据集合理论最大值；根据所述第二数据集合理论最大值与所述第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
根据本公开实施例提供的技术方案，通过所述获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合，包括：计算在所述数据采集结束时间点采集到的第一数据数量；计算在所述数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
根据本公开实施例提供的技术方案，通过所述基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，包括：根据所述数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
根据本公开实施例提供的技术方案，通过基于所述数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
根据本公开实施例提供的技术方案，通过获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；确定模块，被配置为基于所述参数确定所述数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于所述参数确定所述数据链路的服务质量；基于所述数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
根据本公开实施例提供的技术方案，通过获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；确定模块，被配置为基于所述参数确定所述数据链路的服务质量；生成模块，被配置为基于所述数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它标签、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的数据处理方法的流程图；
图2示出根据本公开一实施方式的数据处理方法中的步骤S110的一个示例的流程图；
图3示出根据本公开一实施方式的数据处理方法中通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量的一个示例的流程图；
图4示出图3所示的实施方式中的步骤S310的一个示例的流程图；
图5示出图3所示的实施方式中的步骤S320的一个示例的流程图；
图6示出根据本公开另一实施方式的数据处理方法的流程图；
图7示出根据本公开一实施方式的数据处理装置的结构框图；
图8示出根据本公开一实施方式的服务等级协议生成方法的流程图；
图9示出根据本公开一实施方式的服务等级协议生成装置的结构框图；
图10示出根据本公开一实施方式的服务等级协议生成方法的应用场景的示意图；
图11示出根据本公开一实施方式的电子设备的结构框图；
图12是适于用来实现根据本公开一实施方式的数据处理方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的标签、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他标签、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的标签可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于参数确定数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
图1示出根据本公开一实施方式的数据处理方法的流程图。如图1所示，数据处理方法包括以下步骤S110和S120：
在步骤S110中，获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数。
在步骤S120中，基于参数确定数据链路的服务质量。
在本公开的一个实施例中，数据链路指的是从数据采集、加工到存储的数据流动的节点和连接。
在本公开的一个实施例中，数据处理过程可以指的是对数据的采集、加工和存储的过程。在本公开的一个实施例中，数据的加工过程可以指的是数据的提取、转换、和装载的过程，即，数据的ETL(Extract,Transform,and Load)过程。
在本公开的一个实施例中，数据链路的服务质量可以体现在服务提供方和受服务用户之间签订的服务等级协议((Service Level Agreement,SLA)中。SLA是服务提供方与客户之间定义的正式承诺。其中可以记载服务提供方与受服务用户之间具体达成承诺的服务指标——质量、可用性、责任。SLA最常见的组成部分是以合同约定向客户提供的服务。
在本公开的一个实施例中，数据链路的服务质量可以是实例(Instance)级别的数据链路的服务质量。在本公开的一个实施例中，与数据链路的数据处理过程的实时性和/或可靠性相关的参数可以指的是某一实例的数据链路的数据处理过程的实时性和/或可靠性相关的参数。在本公开的一个实施例中，实例对数据进行采集、加工，并将数据存储到数据库中。
在本公开的一个实施例中，步骤S120包括：通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量；并且/或者通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于参数确定数据链路的服务质量，包括：通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量；并且/或者通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，数据链路整体的服务质量保证是整个IT服务项目中的关键一环。为用户提供服务等级协议(SLA)，给出与数据链路的服务质量相关的指标，对于整个IT服务产品可靠性的保证具有关键的意义。由于IT服务的复杂性，数据链路可能有不同的具体业务实现。在本公开的一个实施例中，为一条数据链路定义的服务等级协议可以推广到其他数据链路。
在本公开的一个实施例中，数据链路的实时性指标可以指示整条数据链路是否存在数据延迟的情况。在本公开的一个实施例中，数据链路的可靠性指标可以指示数据链路中的数据处理完整性。
在本公开的一个实施例中，数据链路的实时性指标和可靠性指标分别表示了数据链路的服务质量的不同方面，因此，数据链路的实时性指标和可靠性指标可以被分别确定用来确定数据链路的服务质量，也可以结合来确定数据链路的服务质量。
在本公开的一个实施例中，处于数据链路的数据处理过程的数据是时序数据。在本公开的一个实施例中，时序数据是指时间序列数据，即，带时间标签的数据。在本公开的一个实施例中，数据要被写入的数据库是时序数据库。
以下参照图2描述根据本公开一实施方式的数据处理方法中的步骤S110的一个示例。
图2示出根据本公开一实施方式的数据处理方法中的步骤S110的一个示例的流程图。在该实施方式中，步骤S110包括步骤S210和S220。
在步骤S210中，获取与数据的数据处理过程相关的时间参数。
在步骤S220中，获取指定时间段内存储于数据库的数据集合。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：获取与数据的数据处理过程相关的时间参数；获取指定时间段内存储于数据库的数据集合，可以根据参数全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，对于时序数据，可以获取与数据的数据处理过程相关的时间参数。
在本公开的一个实施例中，与数据的数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一。
根据本公开实施例提供的技术方案，通过与数据的数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一，可以根据参数全面、精确地衡量数据链路的服务质量。在本公开的一个实施例中，数据加工过程的开始时间点可以指的是数据的ETL开始时间点。在本公开的一个实施例中，数据加工过程的结束时间点可以指的是数据的ETL结束时间点。在本公开的一个实施例中，数据写入数据库之后，整条数据链路的数据处理完成，因此，数据写入数据库之前的时间点指的是数据即将写入数据库之前的时间点。
在本公开的一个实施例中，与数据的数据处理过程相关的时间参数可以包括数据链路的整个数据处理过程中的对数据的处理的各个时间点。
在本公开的一个实施例中，可以根据数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一来确定数据链路的实时性指标。
在本公开的一个实施例中，根据与数据的数据处理过程相关的时间参数可以定义单条数据的延迟值，即，数据写入数据库之前的时间点与数据采集开始的时间点之差。
在本公开的一个实施例中，步骤S210包括：根据数据采集开始的时间点和数据写入数据库之前的时间点计算数据在数据处理过程中的延迟值。
根据本公开实施例提供的技术方案，通过获取与数据的数据处理过程相关的时间参数，还包括：根据数据采集开始的时间点和数据写入数据库之前的时间点计算数据在数据处理过程中的延迟值，可以根据参数全面、精确地衡量数据链路的服务质量。
在一个示例中，在评估一个时间段的数据链路的实时性时，需要统计在这个时间段内的数据库(例如，时序数据库)内实际存储的数据的延迟值，并计算出延迟值等于延迟阈值的记录数。
在本公开的一个实施例中，与数据链路的数据处理过程的实时性和/或可靠性相关的参数还可以包括指定时间段内存储于数据库的数据集合。
在本公开的一个实施例中，通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在数据处理过程中的延迟值小于等于第一预设阈值，来计算数据链路的实时性指标，从而确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在数据处理过程中的延迟值小于等于第一预设阈值，来计算数据链路的实时性指标，从而确定数据链路的服务质量，给出了通过确定数据链路实时性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，指定时间段还包括附加的预设延迟余量，并且第一预设阈值小于等于附加的预设延迟余量。
根据本公开实施例提供的技术方案，通过指定时间段还包括附加的预设延迟余量，并且第一预设阈值小于等于附加的预设延迟余量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
在一个示例中，针对一条数据ts，记数据采集开始的时间点为tC0(ts)，记数据采集结束时间点tC1(ts)，数据加工过程的开始时间点tE0(ts)，数据加工过程的结束时间点tE1(ts)，以及数据写入数据库之前的时间点tW0(ts)。定义单条数据(时序数据)的延迟值tL(ts)为tW0(ts)-tC0(ts)。预设延迟阈值为TL，即，第一预设阈值。例如，延迟阈值TL可以为10秒。
在该示例中，在数据库中存储的各条数据组成的集合记为TS。根据以上定义，该数据链路在[t0,t1)时间段内、d秒聚合粒度的实时性指标SLA1(d,t0,t1)可以定义(表示)为以下式(1)：
关于该时间段实时性指标的取值和计算时间，可以以一个较短的固定时间间隔来计算。若计算[t0,t1)时间段的实时性指标数据，需要考虑到数据链路延迟问题，所以不能在t1时刻立即进行计算，而是需要留有一定的时间余地，即，作为前述预设延迟余量的延迟时间δ(例如，单位可以为毫秒)来计算。因此，实际上是在t1+δ时刻来计算实时性指标SLA1(d,t0,t1)。例如，可以约定t1-t0＝30000(毫秒)，δ＝30000(毫秒)。在这种情况下，t1+δ时刻之后才落库(在数据库中记录)的[t0,t1)时间段的数据，不会被统计在实时性指标SLA1(d,t0,t1)的分子中。只要满足TL≤δ，这样的做法就是合理的，因为t1+δ时刻之后才落库的[t0,t1)时间段的数据，在这种情况下其延迟值是超过预设延迟阈值TL的，因此是不会被统计计入分子的，所以不用等这样的数据到来，分子对应的集合就已经封闭了，不会再有新的元素(数据)进来。
因此，通过实时性指标SLA1(d,t0,t1)可以确定数据链路与实时性相关的服务质量。
以下参照图3描述根据本公开一实施方式的数据处理方法中通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量。
图3示出根据本公开一实施方式的数据处理方法中通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量的一个示例的流程图。如图3所示，通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量包括步骤S310、S320和S330。
在步骤S310中，获取指定时间段内存储于数据库的数据集合理论最大值。
在步骤S320中，获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合。
在步骤S330中，基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量，包括：获取指定时间段内存储于数据库的数据集合理论最大值；获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合；基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量，给出了通过确定数据链路可靠性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
可靠性指标用于衡量一个时间段内数据链路可靠性受损所导致的数据缺失的情况。计算数据链路的可靠性指标，除了需要获得在指定时间段内，在数据库中存储的各条数据组成的集合TS之外，还需要获得理论上在指定时间段内应该存储的数据条数，即，指定时间段内存储于数据库的数据集合理论最大值。
指定时间段内存储于数据库的数据集合理论最大值可以被计算出来。设指定时间段为[t0,t1)(时间段的起止时间单位可以是毫秒，一般情况下起止时间点可以取整到分钟)，那么理论上该时间段内应该存储的以d秒为粒度聚合的数据条数(指定时间段内存储于数据库的数据集合理论最大值)，可以记为n(d,t0,t1)，定义为
以下参照图4描述图3所示的实施方式中的步骤S310的一个示例。
图4示出图3所示的实施方式中的步骤S310的一个示例的流程图。在该实施方式中，步骤S310包括步骤S410、S420和S430
在步骤S410中，计算在数据采集开始的时间点存储于数据库的第一数据集合理论最大值。
在步骤S420中，计算在数据采集结束时间点存储于数据库的第二数据集合理论最大值。
在步骤S430中，根据第二数据集合理论最大值与第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值。
根据本公开实施例提供的技术方案，通过获取指定时间段内存储于数据库的数据集合理论最大值，包括：计算在数据采集开始的时间点存储于数据库的第一数据集合理论最大值；计算在数据采集结束时间点存储于数据库的第二数据集合理论最大值；根据第二数据集合理论最大值与第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
在本公开的一个实施例中，在数据采集开始的时间点存储于数据库的第一数据集合理论最大值为
在本公开的一个实施例中，在数据采集结束时间点存储于数据库的第二数据集合理论最大值
在本公开的一个实施例中，指定时间段内存储于数据库的数据集合理论最大值如下式(2)所示：
本领域技术人员可以理解，在式(2)中，t0和t1的单位为毫秒，d的单位为秒。
例如，如果数据是以5秒粒度聚合的，那么应该每5秒钟有一条数据，也就是每5000毫秒有一条数据。
表示向下取整。在此情况下，
可以被理解为，假设在时间标尺上，从时刻0开始，每5000毫秒标记一个刻度，那么这两个向下取整表达式的计算结果表示[t0,t1)时间段的两个端点在标尺上的整数刻度值。理论上两个端点之间(含端点、对齐到整数刻度)应该有多少个点，应该是两个端点的刻度值分别取整、求差后再加1。应该注意，由于指定时间段[t0,t1)包括t0，但是不包括t1，因此，在t0和t1分别取整到分钟，因此，在根据第二数据集合理论最大值与第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值时，在该示例中需要对结果加1。本领域技术人员可以理解，在其他情况下，在根据第二数据集合理论最大值与第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值时，可能不需要加1。因此，式(2)仅仅是本公开的实施方式中计算指定时间段内存储于数据库的数据集合理论最大值的计算方式的示例，而非限制。
在本公开的一个实施例中，还存在一些情况，虽然出现了数据缺失，但是不属于数据链路可靠性受损的情况。对于这些情况导致的数据缺失，不应该被统计在“应该被记录在数据链路可靠性受损导致的数据缺失的条数”，即，指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合中，而是应该作为缺失的数据集合中除第一缺失数据集合以外的第二数据集合中，将该第二缺失数据集合记为ε(d,t0,t1)。在计算数据链路的可靠性指标时，应该在指定时间段内存储于数据库的数据集合理论最大值n(d,t0,t1)的基础上减去第二缺失数据集合ε(d,t0,t1)。
在本公开的一个实施例中，可以将该数据链路在[t0,t1)时间段内、d秒聚合粒度的可靠性指标SLA2(d,t0,t1)定义(表示)为以下式(3)：
在本公开的一个实施例中，计算可靠性指标SLA2(d,t0,t1)的时间点同计算实时性指标SLA1(d,t0,t1)的时间点。
在本公开的一个实施例中，基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量，包括：通过计算数据集合与数据集合理论最大值减去第二缺失数据集合之差的比值作为数据链路的可靠性指标，以确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量，包括：通过计算数据集合与数据集合理论最大值减去第二缺失数据集合之差的比值作为数据链路的可靠性指标，以确定数据链路的服务质量，给出了通过确定数据链路可靠性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，关于第二缺失数据集合ε(d,t0,t1)的取值，需要考虑各种异常情形是否应该被判断为数据链路可靠性受损。对于一些虽然存在数据缺失，但不应被判定为数据链路可靠性受损的情况，就应该将对应的数据丢失量计入第二缺失数据集合ε(d,t0,t1)。即，指定时间段内存储于数据库的数据集合理论最大值n(d,t0,t1))中不应该包括第二缺失数据集合ε(d,t0,t1)，即，理论上指定时间段内数据库中不该存储有第二缺失数据集合ε(d,t0,t1)。
例如，在实例服务状态受损的情况下，采集端可能无法采集到数据链路的数据处理过程的实时性和/或可靠性相关的参数。这种情况虽然属于数据缺失，但却不是数据链路可靠性受损的情况。针对缺失的数据，采集端也会上报一条信息。这样，在数据链路可靠性指标计算的过程中，就不会将这种情况判定为数据链路可靠性受损。
再例如，采集端的采集时间间隔虽然设置为1秒，但是由于系统机制以及采集的固有时间所限，最终的上报数据的时间间隔很难完全精确地达到1秒。如果时间间隔超过1秒，则可能会造成某个时间点的数据缺失。这样的情形不应被判定为数据链路可靠性受损。另外，数据链路的数据处理过程的实时性和/或可靠性相关的参数的采集超时(例如超过1秒，小于10秒)，往往对应的情况是主机负载高，这时采集端就应该让位于用户业务，所以这时的采集慢也不应被判定为数据链路可靠性受损。
在本公开的一个示例中，综合上述情况，可以定义出对第二缺失数据集合ε(d,t0,t1)的贡献入以下式(4)所示：
在式(4)中，
表示在时间标尺上，从时刻0开始，当前这条数据的采集结束时间点对应的整数刻度。interval的含义是两条时间相邻的数据的对应的采集结束时间点的差值的绝对值，这个值可以是数据采集端随当前采集的数据一起上报的，即，作为与数据链路的数据处理过程的实时性和/或可靠性相关的参数之一。tC1(ts)和interval的单位是毫秒。tC1(ts)-interval表示在时间标尺上的上一条采集的数据的采集结束的时间点。
表示在时间标尺上，从时刻0开始，采集端上一次采集的采集结束时间点对应的整数刻度。
的逻辑是，求当前这条数据的采集结束时间点与当前这条数据的前一条数据的采集结束时间点(时间标尺上刻度取整)之间(不含端点)应该有多少条数据(实际上这些应该有的数据是没有采集上来的)。应该注意，interval是采集端报上来的时间差，不是通过落库的数据计算出来的时间差，所以这个间隔就是采集的间隔。因为采集的间隔导致的数据缺失，不认为是数据链路可靠性受损。
另外，当interval小于等于10000毫秒(小于等于第二阈值)时，按照上述逻辑处理，即，求
与0二者中的最大值，此时认为采集时间间隔导致的数据丢失不属于数据链路可靠性受损。但是当interval的值过大(大于第二阈值)，那么采集的时间间隔导致的数据丢失就认为是数据链路可靠性受损了，即，在此情况下缺失的数据计入第一缺失数据集合。因此，这里针对interval的两种情况，给出了不同的处理。在本公开的实施例中，可以根据数据链路的实际情况确定第二阈值。
并利用技术人员可以理解，以上根据式(4)确定第二缺失数据集合ε(d,t0,t1)的方案仅仅是示例。根据本公开的相关教导，并利用技术人员可以采用各种不同的方式来确定第二缺失数据集合ε(d,t0,t1)。
以下参照图5描述图3所示的实施方式中的步骤S320。
图5示出图3所示的实施方式中的步骤S320的一个示例的流程图。在该实施例中，步骤S320包括步骤S510、S520和S530。
在步骤S510中，计算在数据采集结束时间点采集到的第一数据数量。
在步骤S520中，计算在数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量。
在步骤S530中，基于第一数据数量与第二数据数量之差计算第二缺失数据集合。
根据本公开实施例提供的技术方案，通过获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合，包括：计算在数据采集结束时间点采集到的第一数据数量；计算在数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；基于第一数据数量与第二数据数量之差计算第二缺失数据集合，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
在本公开的一个实施例中，步骤S530包括：根据数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于第一数据数量与第二数据数量之差计算第二缺失数据集合。
根据本公开实施例提供的技术方案，通过基于第一数据数量与第二数据数量之差计算第二缺失数据集合，包括：根据数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于第一数据数量与第二数据数量之差计算第二缺失数据集合，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
以下参照图6描述根据本公开另一实施方式的数据处理方法。
图6示出根据本公开另一实施方式的数据处理方法的流程图。图6所示的实施方式处理包括图1所示的步骤S110和S120之外，还包括步骤S610。
在步骤S610中，基于数据链路的服务质量生成服务等级协议。
根据本公开实施例提供的技术方案，通过基于数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
在本公开的一个实施例中，可以提供服务等级协议的数据接口(API)，以供服务等级协议展示端和数据链路监控、报警、和运维等服务调用。服务等级协议展示端用于将数据链路的服务质量或服务等级协议展示给相关人员。
在本公开的一个实施例中，数据链路监控、报警、和运维等服务可以根据数据链路的服务质量来进行。例如，当对同一组采集数据，采用多数据链路进行数据处理时，可以根据数据链路的服务质量切换当前使用的数据链路。
以下参照图7描述根据本公开一实施方式的数据处理装置。
图7示出根据本公开一实施方式的数据处理装置700的结构框图。如图7所示，数据处理装置700包括获取模块710和确定模块720。
获取模块710被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数。
确定模块720被配置为基于参数确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；确定模块，被配置为基于参数确定数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
本领域技术人员可以理解，参照图7描述的技术方案的可以与参照图1至图6描述的实施例结合，从而具备参照图1至图6描述的实施例所实现的技术效果。具体内容可以参照以上根据图1至图6进行的描述，其具体内容在此不再赘述。
以下参照图8描述根据本公开一实施方式的服务等级协议生成方法。
图8示出根据本公开一实施方式的服务等级协议生成方法的流程图。如图8所示的实施方式包括步骤S810、S820和S8230。
在步骤S810中，获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数。
在步骤S820中，基于参数确定数据链路的服务质量。
在步骤S830中，基于数据链路的服务质量生成服务等级协议。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于参数确定数据链路的服务质量；基于数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
在本公开的一个实施例中，步骤S820包括：
通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量；并且/或者
通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于参数确定数据链路的服务质量，包括：通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量；并且/或者通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，步骤S810包括：
获取与数据的数据处理过程相关的时间参数；获取指定时间段内存储于数据库的数据集合。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：获取与数据的数据处理过程相关的时间参数；获取指定时间段内存储于数据库的数据集合，可以根据参数全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，与数据的数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一。
根据本公开实施例提供的技术方案，通过与数据的数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一，可以根据参数全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，获取与数据的数据处理过程相关的时间参数，还包括：
根据数据采集开始的时间点和数据写入数据库之前的时间点计算数据在数据处理过程中的延迟值。
根据本公开实施例提供的技术方案，通过获取与数据的数据处理过程相关的时间参数，还包括：根据数据采集开始的时间点和数据写入数据库之前的时间点计算数据在数据处理过程中的延迟值，可以根据参数全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量，包括：
通过计算指定时间段内存储于数据库的数据集合中有多少条数据在数据处理过程中的延迟值小于等于第一预设阈值，来计算数据链路的实时性指标，从而确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于参数计算数据链路的实时性指标来确定数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在数据处理过程中的延迟值小于等于第一预设阈值，来计算数据链路的实时性指标，从而确定数据链路的服务质量，给出了通过确定数据链路实时性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，指定时间段还包括附加的预设延迟余量，并且第一预设阈值小于等于附加的预设延迟余量。
根据本公开实施例提供的技术方案，通过指定时间段还包括附加的预设延迟余量，并且第一预设阈值小于等于附加的预设延迟余量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
在本公开的一个实施例中，通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量，包括：
获取指定时间段内存储于数据库的数据集合理论最大值；
获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合；
基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于参数计算数据链路的可靠性指标来确定数据链路的服务质量，包括：获取指定时间段内存储于数据库的数据集合理论最大值；获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合；基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量，给出了通过确定数据链路可靠性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量，包括：
通过计算数据集合与数据集合理论最大值减去第二缺失数据集合之差的比值作为数据链路的可靠性指标，以确定数据链路的服务质量。
根据本公开实施例提供的技术方案，通过基于数据集合、数据集合理论最大值和第二缺失数据集合，计算数据链路的可靠性指标，以确定数据链路的服务质量，包括：通过计算数据集合与数据集合理论最大值减去第二缺失数据集合之差的比值作为数据链路的可靠性指标，以确定数据链路的服务质量，给出了通过确定数据链路可靠性从而服务质量的方式，从而可以全面、精确地衡量数据链路的服务质量。
在本公开的一个实施例中，获取指定时间段内存储于数据库的数据集合理论最大值，包括：
计算在数据采集开始的时间点存储于数据库的第一数据集合理论最大值；
计算在数据采集结束时间点存储于数据库的第二数据集合理论最大值；
根据第二数据集合理论最大值与第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值。
根据本公开实施例提供的技术方案，通过获取指定时间段内存储于数据库的数据集合理论最大值，包括：计算在数据采集开始的时间点存储于数据库的第一数据集合理论最大值；计算在数据采集结束时间点存储于数据库的第二数据集合理论最大值；根据第二数据集合理论最大值与第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
在本公开的一个实施例中，获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合，包括：
计算在数据采集结束时间点采集到的第一数据数量；
计算在数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；
基于第一数据数量与第二数据数量之差计算第二缺失数据集合。
根据本公开实施例提供的技术方案，通过获取指定时间段内除数据链路可靠性受损而导致未被存储于数据库的第一缺失数据集合以外的未被存储于数据库的第二缺失数据集合，包括：计算在数据采集结束时间点采集到的第一数据数量；计算在数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；基于第一数据数量与第二数据数量之差计算第二缺失数据集合，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
在本公开的一个实施例中，基于第一数据数量与第二数据数量之差计算第二缺失数据集合，包括：
根据数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于第一数据数量与第二数据数量之差计算第二缺失数据集合。
根据本公开实施例提供的技术方案，通过基于第一数据数量与第二数据数量之差计算第二缺失数据集合，包括：根据数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于第一数据数量与第二数据数量之差计算第二缺失数据集合，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
本领域技术人员可以理解，参照图8描述的技术方案的可以与参照图1至图7描述的实施例结合，从而具备参照图1至图7描述的实施例所实现的技术效果。具体内容可以参照以上根据图1至图7进行的描述，其具体内容在此不再赘述。
以下参照图9描述根据本公开一实施方式的服务等级协议生成装置。
图9示出根据本公开一实施方式的服务等级协议生成装置900的结构框图。如图9所示，服务等级协议生成装置900包括获取模块910、确定模块920和生成模块930。
获取模块910被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数。
确定模块920被配置为基于参数确定数据链路的服务质量。
生成模块930被配置为基于数据链路的服务质量生成服务等级协议。
根据本公开实施例提供的技术方案，通过获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；确定模块，被配置为基于参数确定数据链路的服务质量；生成模块，被配置为基于数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
本领域技术人员可以理解，参照图9描述的技术方案的可以与参照图1至图8描述的实施例结合，从而具备参照图1至图8描述的实施例所实现的技术效果。具体内容可以参照以上根据图1至图8进行的描述，其具体内容在此不再赘述。
以下参照图10描述根据本公开一实施方式的服务等级协议生成方法的应用场景。
图10示出根据本公开一实施方式的服务等级协议生成方法的应用场景的示意图。
数据采集端用于采集数据以及与数据链路的数据处理过程的实时性和/或可靠性相关的参数。通过消息中间件传输采集到的数据。对数据执行流式ETL任务。将数据写入时序数据库。
方框中包括的部分为不公开实施方式实现的部分。
例如，以5分钟为周期，周期性计算包括可靠性指标的SLA和包括实时性指标的SLA，并将结果存放到存储SLA数据的时序数据库中。存储SLA数据，供应用程序接口(API)查询。
SLA数据接口供SLA展示端和链路监控、报警、主动运维服务调用。
SLA展示端将包括数据链路的服务质量的SLA数据展示给相关人员。
链路监控、报警、主动运维可以包括以下操作。例如，对于一组数据，数据链路上提供双管道来保障整个链路的高可用。管道可以被认为是针对一定范围内的数据采集的一条数据链路，双管道指的是同一组采集数据，有两条数据链路(用来保证高可用)。通过比较两个管道的SLA，判断使用哪一个管道的数据来对外服务。可以判断双管道的服务状态，并根据服务状态来切换当前使用的管道。SLA数据是判断服务状态的依据。
计算出的SLA数据的存储可以采用各种方案，如关系型数据库、大数据存储、日志服务。
本领域技术人员可以理解，参照图10描述的技术方案的可以与参照图1至图9描述的实施例结合，从而具备参照图1至图9描述的实施例所实现的技术效果。具体内容可以参照以上根据图1至图9进行的描述，其具体内容在此不再赘述。
前述实施例描述了数据处理装置和服务等级协议生成装置的内部功能和结构，在一个可能的设计中，前述数据处理装置和服务等级协议生成装置的结构可实现为电子设备，如图11中所示，该电子设备1100可以包括处理器1101以及存储器1102。
所述存储器1102用于存储支持数据处理装置执行上述任一实施例中数据处理方法的程序，所述处理器1101被配置为用于执行所述存储器1102中存储的程序。
所述存储器1102用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器1101执行以实现以下步骤：
获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
基于所述参数确定所述数据链路的服务质量。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于所述参数确定所述数据链路的服务质量，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。
其中，所述一条或多条计算机指令还被所述处理器1101执行以实现以下步骤：
获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
基于所述参数确定所述数据链路的服务质量；
基于所述数据链路的服务质量生成服务等级协议。
根据本公开实施例提供的技术方案，通过获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；基于所述参数确定所述数据链路的服务质量；基于所述数据链路的服务质量生成服务等级协议，给出了确定数据链路的服务质量的方式，从而可以全面衡量数据链路的服务质量。还可以根据数据链路的服务质量进行展示、链路监控、报警和运维等操作。而且，可以针对数据链路的服务质量生成服务质量生成服务等级协议。
所述处理器1101用于执行前述各方法步骤中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口，用于电子设备与其他设备或通信网络通信。
需要注意的是，本实施例中的处理器1101可以被实现为两个或两个以上的处理器。一部分处理器，例如，中央处理器，执行第一数据处理方式。另一部分处理器，例如，图形处理器，执行第二数据处理方式。
本公开示例性实施例还提供了一种计算机存储介质，用于储存所述数据处理装置所用的计算机软件指令，其包含用于执行上述任一实施例中的方法所涉及的程序，从而具备方法所带来的技术效果。
图12是适于用来实现根据本公开一实施方式的数据处理方法的计算机系统的结构示意图。
如图12所示，计算机系统1200包括第一处理器1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行上述附图所示的实施方式中的部分或全部处理。在RAM1203中，还存储有系统1200操作所需的各种程序和数据。第一处理器1201、ROM1202以及RAM1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
根据本公开的实施方式，计算机系统1200还可以包括第二处理器1212，用于根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行上述附图所示的实施方式中的部分或全部处理。
根据本公开的实施方式，第一处理器1201和第二处理器1212可以是CPU、GPU、FPGA、NPU、AI芯片等各种处理器。另外，图12所示的计算机系统的结构不限于包括第一处理器1201和第二处理器1212，还可以包括更多或更少的处理器。
特别地，根据本公开的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法，从而具备方法所带来的技术效果。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (23)
1.一种数据处理方法，其特征在于，包括：
获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
基于所述参数确定所述数据链路的服务质量；
其中，所述基于所述参数确定所述数据链路的服务质量，包括：
通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量；并且/或者
通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：获取所述指定时间段内存储于数据库的数据集合理论最大值；获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
2.根据权利要求1所述的方法，其特征在于，所述获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：
获取与数据的所述数据处理过程相关的时间参数；
获取指定时间段内存储于数据库的数据集合。
3.根据权利要求2所述的方法，其特征在于，与数据的所述数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一。
4.根据权利要求3所述的方法，其特征在于，所述获取与数据的所述数据处理过程相关的时间参数，还包括：
根据所述数据采集开始的时间点和所述数据写入数据库之前的时间点计算所述数据在所述数据处理过程中的延迟值。
5.根据权利要求1所述的方法，其特征在于，所述指定时间段还包括附加的预设延迟余量，并且所述第一预设阈值小于等于所述附加的预设延迟余量。
6.根据权利要求1所述的方法，其特征在于，所述基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量，包括：
通过计算所述数据集合与所述数据集合理论最大值减去所述第二缺失数据集合之差的比值作为所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
7.根据权利要求1所述的方法，其特征在于，所述获取指定时间段内存储于数据库的数据集合理论最大值，包括：
计算在所述数据采集开始的时间点存储于数据库的第一数据集合理论最大值；
计算在所述数据采集结束时间点存储于数据库的第二数据集合理论最大值；
根据所述第二数据集合理论最大值与所述第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值。
8.根据权利要求1所述的方法，其特征在于，所述获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合，包括：
计算在所述数据采集结束时间点采集到的第一数据数量；
计算在所述数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；
基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，包括：
根据所述数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
10.根据权利要求1所述的方法，其特征在于，还包括：
基于所述数据链路的服务质量生成服务等级协议。
11.一种数据处理装置，其特征在于，包括：
获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
确定模块，被配置为基于所述参数确定所述数据链路的服务质量；
其中，所述基于所述参数确定所述数据链路的服务质量，包括：
通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量；并且/或者
通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：获取所述指定时间段内存储于数据库的数据集合理论最大值；获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
12.一种服务等级协议生成方法，其特征在于，包括：
获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
基于所述参数确定所述数据链路的服务质量；
基于所述数据链路的服务质量生成服务等级协议；
其中，所述基于所述参数确定所述数据链路的服务质量，包括：
通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量；并且/或者
通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：获取所述指定时间段内存储于数据库的数据集合理论最大值；获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
13.根据权利要求12所述的方法，其特征在于，所述获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数，包括：
获取与数据的所述数据处理过程相关的时间参数；
获取指定时间段内存储于数据库的数据集合。
14.根据权利要求13所述的方法，其特征在于，与数据的所述数据处理过程相关的时间参数包括数据采集开始的时间点、数据采集结束时间点、数据加工过程的开始时间点、数据加工过程的结束时间点以及数据写入数据库之前的时间点中的至少之一。
15.根据权利要求14所述的方法，其特征在于，所述获取与数据的所述数据处理过程相关的时间参数，还包括：
根据所述数据采集开始的时间点和所述数据写入数据库之前的时间点计算所述数据在所述数据处理过程中的延迟值。
16.根据权利要求12所述的方法，其特征在于，所述指定时间段还包括附加的预设延迟余量，并且所述第一预设阈值小于等于所述附加的预设延迟余量。
17.根据权利要求12所述的方法，其特征在于，所述基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量，包括：
通过计算所述数据集合与所述数据集合理论最大值减去所述第二缺失数据集合之差的比值作为所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
18.根据权利要求12所述的方法，其特征在于，所述获取指定时间段内存储于数据库的数据集合理论最大值，包括：
计算在所述数据采集开始的时间点存储于数据库的第一数据集合理论最大值；
计算在所述数据采集结束时间点存储于数据库的第二数据集合理论最大值；
根据所述第二数据集合理论最大值与所述第一数据集合理论最大值之差来计算指定时间段内存储于数据库的数据集合理论最大值。
19.根据权利要求12所述的方法，其特征在于，所述获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合，包括：
计算在所述数据采集结束时间点采集到的第一数据数量；
计算在所述数据采集结束时间点采集到的数据的前一条数据的采集结束时间点采集到的第二数据数量；
基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
20.根据权利要求19所述的方法，其特征在于，所述基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合，包括：
根据所述数据采集结束时间点与前一数据采集结束时间点之间的时间差的绝对值小于等于第二预设阈值，基于所述第一数据数量与所述第二数据数量之差计算第二缺失数据集合。
21.一种服务等级协议生成装置，其特征在于，包括：
获取模块，被配置为获取与数据链路的数据处理过程的实时性和/或可靠性相关的参数；
确定模块，被配置为基于所述参数确定所述数据链路的服务质量；
生成模块，被配置为基于所述数据链路的服务质量生成服务等级协议；
其中，所述基于所述参数确定所述数据链路的服务质量，包括：
通过基于所述参数计算所述数据链路的实时性指标来确定所述数据链路的服务质量，包括：通过计算指定时间段内存储于数据库的数据集合中有多少条数据在所述数据处理过程中的延迟值小于等于第一预设阈值，来计算所述数据链路的实时性指标，从而确定所述数据链路的服务质量；并且/或者
通过基于所述参数计算所述数据链路的可靠性指标来确定所述数据链路的服务质量，包括：获取所述指定时间段内存储于数据库的数据集合理论最大值；获取所述指定时间段内除所述数据链路可靠性受损而导致未被存储于所述数据库的第一缺失数据集合以外的未被存储于所述数据库的第二缺失数据集合；基于所述数据集合、所述数据集合理论最大值和所述第二缺失数据集合，计算所述数据链路的可靠性指标，以确定所述数据链路的服务质量。
22.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-10、12-20任一项所述的方法。
23.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现如权利要求 1-10、12-20任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015743.1A CN111262725B (zh) | 2020-01-07 | 2020-01-07 | 数据处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015743.1A CN111262725B (zh) | 2020-01-07 | 2020-01-07 | 数据处理方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111262725A CN111262725A (zh) | 2020-06-09 |
| CN111262725B true CN111262725B (zh) | 2022-04-29 |
Family
ID=70954109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010015743.1A Active CN111262725B (zh) | 2020-01-07 | 2020-01-07 | 数据处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111262725B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105992282A (zh) * | 2015-03-02 | 2016-10-05 | 中国移动通信集团广东有限公司 | 一种调整服务质量参数的方法和装置 |
| CN110445667A (zh) * | 2019-05-29 | 2019-11-12 | 北京大米科技有限公司 | 一种链路延迟检测方法、装置、存储介质以及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE304261T1 (de) * | 2000-11-08 | 2005-09-15 | Infonet Services Corp A Califo | Verfahren und vorrichtung für automatische dienststufenübereinkommen |
-
2020
- 2020-01-07 CN CN202010015743.1A patent/CN111262725B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105992282A (zh) * | 2015-03-02 | 2016-10-05 | 中国移动通信集团广东有限公司 | 一种调整服务质量参数的方法和装置 |
| CN110445667A (zh) * | 2019-05-29 | 2019-11-12 | 北京大米科技有限公司 | 一种链路延迟检测方法、装置、存储介质以及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111262725A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6706321B2 (ja) | サービス呼び出し情報処理の方法及びデバイス | |
| US8015276B2 (en) | Method to identify performance and capacity bottlenecks of complex systems | |
| US7693982B2 (en) | Automated diagnosis and forecasting of service level objective states | |
| US7711987B2 (en) | System and method for problem determination using dependency graphs and run-time behavior models | |
| US10198340B2 (en) | Application performance monitoring | |
| US8051162B2 (en) | Data assurance in server consolidation | |
| US8132180B2 (en) | Systems, methods and computer programs for determining dependencies between logical components in a data processing system or network | |
| US8856312B2 (en) | Method and system for monitoring transaction based system | |
| US7568023B2 (en) | Method, system, and data structure for monitoring transaction performance in a managed computer network environment | |
| US8352867B2 (en) | Predictive monitoring dashboard | |
| US8631280B2 (en) | Method of measuring and diagnosing misbehaviors of software components and resources | |
| AU2017258970A1 (en) | Testing and improving performance of mobile application portfolios | |
| CN103081403A (zh) | 用于使用事件分析通信系统的操作的方法和装置 | |
| US20240039821A1 (en) | Mitigating failure in request handling | |
| US9600523B2 (en) | Efficient data collection mechanism in middleware runtime environment | |
| CN112988520B (zh) | 一种服务调用链路监控方法及装置 | |
| CN111262725B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN110673973A (zh) | 应用程序编程接口api的异常确定方法和装置 | |
| CN117130851B (zh) | 一种高性能计算集群运行效率评价方法及系统 | |
| CN112734227A (zh) | 一种大数据决策系统及方法 | |
| US9986450B2 (en) | Resource consumption estimation with out of norm determination in mobile devices | |
| CN116974805A (zh) | 根因确定方法、设备和存储介质 | |
| US11797366B1 (en) | Identifying a root cause of an error | |
| JP3353745B2 (ja) | 処理能力測定装置および処理能力測定方法 | |
| JP2012044373A (ja) | ネットワーク故障評価システム、ネットワーク故障評価方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |