CN111666191A - 数据质量监控方法、装置、电子设备及存储介质 - Google Patents

数据质量监控方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111666191A
CN111666191A CN202010517702.2A CN202010517702A CN111666191A CN 111666191 A CN111666191 A CN 111666191A CN 202010517702 A CN202010517702 A CN 202010517702A CN 111666191 A CN111666191 A CN 111666191A
Authority
CN
China
Prior art keywords
data
real
index
time
offline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010517702.2A
Other languages
English (en)
Other versions
CN111666191B (zh
Inventor
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202010517702.2A priority Critical patent/CN111666191B/zh
Publication of CN111666191A publication Critical patent/CN111666191A/zh
Application granted granted Critical
Publication of CN111666191B publication Critical patent/CN111666191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Abstract

本公开实施例公开了一种数据质量监控方法、装置、电子设备及存储介质，其中，方法包括：获取任务执行信息；对任务执行信息进行编码处理，得到离线指标健康度，离线指标健康度用于衡量离线数据同步任务是否存在异常；基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，预测信息用于指示实时数据仓库中数据指标的下一时间序列；将离线指标健康度、实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。本公开实施例可以有效监控数据仓库的数据质量和预知数据风险，并且通过可视化展示数据质量，有利于开发人员及时了解并解决问题。

Description

数据质量监控方法、装置、电子设备及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种数据质量监控方法、装置、电子设备及存储介质。
背景技术
互联网技术的迅猛发展，带给企业很多的数据资产，以房产交易为例，在整个房产交易过程中涉及诸如客户信息报备、带看房源、认购、签约、汇款、结清等多个交易节点，因此对应会产生很多房产交易数据，交易数据分为离线数据和实时数据，分别存储在离线数据仓库和实时数据仓库中。
离线数据仓库和实时数据仓库的存储方式和操作支持方式均不相同，导致实时数据仓库的指标不一定与离线数据仓库的指标一致，存在质量风险，因此需要监控实时数据仓库的准确性。相关技术中，数据监控方案可在程序研发过程中对节点、容器、数据库进行数值监控以发现问题并报警，然而由于报警通常通过日志或者异常详情等方式呈现，因此可读性较差，业务人员无法感知并理解，并且相关技术的数据监控方案，例如FAST，只能对现有问题进行发现(例如发现数据库当前存在空值)，但是不具备预知问题发生的能力，因此不能在数据问题发生之前将其解决，降低了用户的体验。
发明内容
本公开实施例所要解决的一个技术问题是：提供一种数据质量监控方法、装置、电子设备及存储介质。
根据本公开实施例的一个方面，提供一种数据质量监控方法，包括：
获取任务执行信息，所述任务执行信息用于指示离线数据同步任务的执行结果；
对所述任务执行信息进行编码处理，得到离线指标健康度，所述离线指标健康度用于衡量离线数据同步任务是否存在异常；
基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，所述指标准确度用于指示所述同期的实时数据的数据指标和离线数据的数据指标的取值比率，所述预测信息用于指示实时数据仓库中数据指标的下一时间序列；
将所述离线指标健康度、所述实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。
在本公开一实施方式中，所述基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度，包括：
对所述离线数据仓库和所述实时数据仓库中的同期数据进行抽取-转换-加载ETL处理，所述同期数据用于指示生成时间段相同的数据；
基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量；
计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量；
对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度。
在本公开又一实施方式中，所述对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度之后，还包括：
若所述指标准确度小于设定准确度阈值，则进行报警处理。
在本公开又一实施方式中，所述基于实时数据，计算实时数据仓库输出数据的预测信息，包括：
对所述实时数据仓库中的数据进行ETL处理；
基于ETL处理得到的结果，确定实时数据指标对应的已有时间序列，所述已有时间序列用于指示同一实时数据指标的数值按其发生的时间先后顺序排列而成的数列；
基于所述已有时间序列，使用设定回归算法计算所述实时数据仓库输出数据指标的下一时间序列，所述下一时间序列为预测信息。
在本公开又一实施方式中，所述获取任务执行信息，包括：
使用爬虫工具，按照设定时间定时获取所述任务执行信息。
在本公开又一实施方式中，所述将所述离线指标健康度进行可视化处理并展示，包括：
将所述离线指标健康度生成数据维度表；
基于所述数据维度表中记录的离线指标健康度，确定每一项数据指标的离线指标健康度，得到健康度分布信息；
将所述健康度分布信息以可视化方式进行展示。
在本公开又一实施方式中，所述对所述任务执行信息进行编码处理之后，还包括：
若离线数据同步任务存在异常，进行报警处理。
根据本公开实施例的又一方面，提供一种数据质量监控装置，包括：
获取模块，用于获取任务执行信息，所述任务执行信息用于指示离线数据同步任务的执行结果；
编码模块，用于对所述任务执行信息进行编码处理，得到离线指标健康度，所述离线指标健康度用于衡量离线数据同步任务是否存在异常；
计算模块，用于基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，所述指标准确度用于指示所述同期的实时数据的数据指标和离线数据的数据指标的取值比率，所述预测信息用于指示实时数据仓库中数据指标的下一时间序列；
展示模块，用于将所述离线指标健康度、所述实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。
在本公开一实施方式中，所述计算模块包括：
第一处理子模块，用于对所述离线数据仓库和所述实时数据仓库中的同期数据进行抽取-转换-加载ETL处理，所述同期数据用于指示生成时间段相同的数据；
第一计算子模块，用于基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量；
第二计算子模块，用于计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量；
统计子模块，用于对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度。
在本公开又一实施方式中，所述装置还包括：
第一报警模块，用于在所述指标准确度小于设定准确度阈值时，则进行报警处理。
在本公开又一实施方式中，所述计算模块包括：
第二处理子模块，用于对所述实时数据仓库中的数据进行ETL处理；
确定子模块，用于基于ETL处理得到的结果，确定实时数据指标对应的已有时间序列，所述已有时间序列用于指示同一实时数据指标的数值按其发生的时间先后顺序排列而成的数列；
第三计算子模块，用于基于所述已有时间序列，使用设定回归算法计算所述实时数据仓库输出数据指标的下一时间序列，所述下一时间序列为预测信息。
在本公开又一实施方式中，所述获取模块，具体用于使用爬虫工具，按照设定时间定时获取所述任务执行信息。
在本公开又一实施方式中，所述展示模块包括：
生成子模块，用于将所述离线指标健康度生成数据维度表；
第四计算子模块，用于基于所述数据维度表中记录的离线指标健康度，确定每一项数据指标的离线指标健康度，得到健康度分布信息；
展示子模块，用于将所述健康度分布信息以可视化方式进行展示。
在本公开又一实施方式中，所述装置还包括：
第二报警模块，用于在离线数据同步任务存在异常时，进行报警处理。
根据本公开实施例的再一方面，提供一种电子设备，该电子设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述数据质量监控方法。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述数据质量监控方法。
基于本公开上述实施例提供的数据质量监控方法、装置以及电子设备、存储介质，通过确定离线指标健康度可以确定离线数据仓库产出是否会异常，而通过计算实时数据仓库输出数据的指标准确度，以及对实时数据仓库中数据指标进行预测，可以确定实时数据仓库中的数据质量，并且确定出数据指标在下一时间序列的预测信息，进而达到预知潜在风险的目的。由此，本公开实施例可以有效监控数据仓库的数据质量和预知数据风险，并且通过可视化展示数据质量，达到让业务人员及数据开发人员在预知到潜在风险时及时解决问题。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开的数据质量监控方法的一个实施例的流程图；
图2A为本公开的数据质量监控方法的一个离线数据仓库监控实施例的流程图；
图2B为本公开的数据质量监控方法的一个任务执行信息抽象示意图；
图3为本公开的数据质量监控方法的一个实时数据仓库监控实施例的流程图；
图4为本公开的数据质量监控方法的又一个实时数据仓库监控实施例的流程图；
图5为本公开的数据质量监控装置的一个实施例的结构示意图；
图6为本公开的数据质量监控装置的又一个实施例的结构示意图；
图7为本公开一示意性实施例提供的电子设备的结构图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
本公开实施例提供的技术方案用于对房产交易的线上交易数据进行质量监控，房产交易数据分为离线数据和实时数据两种数据。
目前，离线数据存储在离线数据仓库，如Hive中(Hive是基于Hadoop的一个数据仓库工具)，而实时数据通常存储在实时数据仓库，如Clickhouse中(Clickhouse是一种面向联机分析处理的开源的面向列式存储的数据库管理系统)，因此实时数据和离线数据的存储方式不相同，离线数据仓库为按照一定的时间间隔周期性更新历史全量，实时数据仓库则是实时更新增量数据；此外，实时数据仓库为实时更新增量数据，但是对删除、更新等操作的支持不佳，因此实时数据仓库中可能会存在已取消签约的订单的订单数据，导致实时数据仓库中数据不一定与离线数据仓库中的数据一致，存在质量风险，因此需要监控实时数据仓库中数据的准确性。
示例性实施例
图1为本公开的数据质量监控方法的一个实施例的流程图；该数据质量监控方法可以应用在数据监控平台上，数据监控平台可以自动监控离线数据仓库和实时数据仓库中的数据质量，如图1所示，该数据质量监控方法包括以下步骤：
在步骤101中，获取任务执行信息。
在一实施例中，任务执行信息用于指示离线数据同步任务的执行结果，也即，将数据同步到离线数据仓库的结果。其中，要执行离线数据同步的数据通常有很多，而每一个数据的同步执行结果可以不同，在一实施例中，离线数据同步任务的执行结果可以为任务失败、任务正常、任务等待、任务进行中、任务初始化等。
在一实施例中，可以使用爬虫工具，如beautifulsoup4爬虫工具来爬取任务执行信息。
在步骤102中，对任务执行信息进行编码处理，得到离线指标健康度。
在一实施例中，离线指标健康度是离线数据同步任务状态编码的集合，用于衡量离线数据同步任务是否存在异常，可以通过对每一个离线数据同步任务的执行结果进行编码处理，得到离线指标健康度，其中，可将“任务进行中”编码处理得到delay，将“任务失败”编码处理得到fail，将“任务正常”编码处理得到normal，将“任务等待”编码处理得到delay，将“任务初始化”编码处理得到delay。
其中，对任务执行信息进行编码处理之后，可以将得到的离线指标健康度生成为数据维度表，对于数据维度表中记录的任务的异常情况(任务失败-fail、任务等待-delay、任务进行中-delay、任务初始化-delay)，可以进一步调用即时通讯机器人及时报警给开发人员并通知下游业务人员。
在步骤103中，基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息。
在一实施例中，由于实时数据仓库准确度需要以离线数据仓库作为基线，因此为了准确获取到实时数据仓库输出数据的指标准确度，需要分别调用离线数据仓库和实时数据仓库，抽取、转换、加载(Extract-Transform-Load，缩写为ETL)并且完成多个数据源中同期的实时数据和离线数据的获取。
本实施例中，实时数据和离线数据可包括各个系统(例如，不同城市的交易系统)中各个交易模块(如银行模块、运营模块、时效模块等)的交易相关数据。
在一实施例中，指标准确度指标准确度用于指示同期的实时数据的数据指标和离线数据的数据指标的取值比率，在ETL处理后，可利用数据挖掘算法和统计学习算法即可得到实时数据仓库输出数据的指标准确度，具体可参见图3所公开的实施例，这里不详述。
在一实施例中，预测信息用于指示实时数据仓库中数据指标的下一时间序列，通常由于房产交易的交易业务时间周期较长，每个交易环节，如批贷、放款等也需要经历较多时间才能办结，具有较强的时间惯性，如果能提前感知到问题的发生，开发人员则有很大概率在数据问题产生之前将潜在的问题解决。
具体在实现时，由于房产交易的办公效率通常具有周期性，可先确定交易数据的周期，不同的交易模块对应的交易数据的周期，可根据经验数据确定，例如，公积金批贷流程不能在周末办理，对应的交易数据指标在周末的值会为0，因此实时数据指标会在一周内具有周期性，然后可以基于所监控到的实时数据指标，确定出实时数据指标在一周内的时间序列，然后采用季节自回归综合移动平均(Seasonal Autoregressive IntegratedMoving Average，简称为SARIMA)数据挖掘算法作为典型的回归算法，基于监控到的实时数据指标所对应的已有时间序列，确定出实时数据指标的下一时间序列。
在步骤104中，将离线指标健康度、实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。
在一实施例中，可调用三维展示自定义地图(Echarts-GL)对离线指标健康度、实时数据仓库输出数据的指标准确度和预测信息进行可视化处理，并以联机分析处理(Online Analytical Processing，简称为OLAP)报表等方式展示离线指标健康度、实时数据仓库输出数据的指标准确度，以时间序列图的方式展示预测信息。
在一实施例中，还可以采用其他的可视化处理方法对上述要展示的数据进行可视化，本申请并不对可视化方法进行限定。
在一实施例中，在具体展示离线指标健康度、实时数据仓库输出数据的指标准确度和预测信息时，也可以采用文字、图表、列表、音频、动画等多种方式进行展示。图表的形式也可以有多种，如柱状图、折线图等，只要能够充分体现所监控数据的数据质量即可。
上述步骤101～104通过确定离线指标健康度可以确定离线数据仓库产出是否会异常，而通过计算实时数据仓库输出数据的指标准确度，以及对实时数据仓库中数据指标进行预测，可以确定实时数据仓库中的数据质量，并且确定出数据指标在下一时间序列的预测信息，进而达到预知潜在风险的目的。由此，本公开实施例可以有效监控数据仓库的数据质量和预知数据风险，并且通过可视化展示数据质量，达到让业务人员及数据开发人员在预知到潜在风险时及时解决问题。
为了更好地说明本申请的离线数据仓库的方案，下面用另一个实施例说明
图2A为本公开的数据质量监控方法的一个离线数据仓库监控实施例的流程图，图2B为本公开的数据质量监控方法的一个任务执行信息抽象示意图；本实施例以如何实现离线数据仓库的监控为例进行示例性说明，如图2A所示，包括如下步骤：
在步骤201中，使用爬虫工具，按照设定时间定时获取任务执行信息。
在一实施例中，可以设计CRONTAB定时模式，以便爬虫工具可以按照设定时间定时获取任务执行信息。
在一实施例中，设定时间可以由开发人员根据经验数据确定，例如每天的早上八点，或者每个工作日的早上八点等。
在步骤202中，对任务执行信息进行编码处理，得到离线指标健康度。
在一实施例中，离线指标健康度用于衡量离线数据同步任务是否存在异常，具体的编码处理过程可参见图2B，图2B中示意了如何对银行模块、运营模块、时效模块等数据模块下的任务执行信息进行编码，其中，可将“任务进行中”编码处理得到delay，将“任务失败”编码处理得到fail，将“任务正常”编码处理得到normal，将“任务等待”编码处理得到delay，将“任务初始化”编码处理得到delay，因此图2B所示意的离线数据同步任务的离线指标健康度为{delay，normal，delay，normal，normal，delay，normal，normal，fail}。需要说明的是，需要执行离线数据同步的任务通常有很多个，图2B只是一种编码示意。
在一实施例中，可以对来自多个数据源的任务执行信息均执行编码处理。
在步骤203中，将离线指标健康度生成数据维度表。
在一实施例中，通常需要执行离线数据同步的数据模块比较多，为了能够更加直观地展示每个数据模块的离线指标健康度，可以将编码得到的离线指标健康度生成为数据维度表。
步骤203之后，可以执行步骤206，实现在任务存在异常情况时，进行报警处理；还可以执行步骤204，确定健康度分布信息。
在步骤204中，基于数据维度表中记录的离线指标健康度，确定每一项数据指标的离线指标健康度，得到健康度分布信息。
在一实施例中，健康度分布信息用于指示每一个数据模块(也即每一个数据模块的数据指标)的离线指标健康度，例如图2B中，银行模块中离线数据同步异常的任务有1个，运营模块中离线数据同步异常的任务有1个，时效模块中离线数据同步异常的任务有2个。
在步骤205中，将健康度分布信息以可视化方式进行展示。
在一实施例中，以Echarts-GL作为高呈现力、可交互的可视化引擎，对离线指标健康度的分布进行可视化处理，然后以OLAP报表、雷达图等方式展现离线数据仓库的数据质量。
在一实施例中，对健康度分布信息的展示还可以采用文字、图表、列表、音频、动画等多种方式进行展示。
在步骤206中，若离线数据同步任务存在异常，进行报警处理。
在一实施例中，可调用即时通信机器人webhooks及时报警开发人员并通知下游业务人员，以便开发人员及时解决问题。
通过上述步骤201～步骤206，本实施例对离线数据同步任务的监控，得到离线指标健康度，实现了对离线数据仓库中的数据质量的监控，并且在离线数据同步任务存在异常时，能自动通过即时通信机器人的方式及时通知给开发人员，确保问题能够及时得到解决，优化了用户的体验。
图3为本公开的数据质量监控方法的一个实时数据仓库监控实施例的流程图，本实施例以如何实现实时数据仓库的监控为例进行示例性说明，如图3所示，包括如下步骤：
在步骤301中，对离线数据仓库和实时数据仓库中的同期数据进行ETL处理。
在一实施例中，同期数据用于指示生成时间段相同的数据，例如，由于实时数据仓库对delete删除操作的支持不佳，因此实时数据仓库中可能会存在已取消签约的订单的订单数据，例如，订单A原本已经签约，但是后来又取消了，但是订单A的订单数据也会记录在实时数据仓库中，但是在离线数据仓库中却不会记录已经取消的订单的订单数据，因此实时数据仓库中的数据与离线数据仓库中的数据的值可能并不一致，例如，生成时间为i的数据在离线数据仓库的值为ri，生成时间为i的数据在实时数据仓库的值为ψi，ri和ψi可以相同，也可以不相同。
在步骤302中，基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量，执行步骤304。
在一实施例中，某项数据指标在离线数据仓库中的值，可以理解为对应数据模块在离线数据仓库中的值，而离线数据的数据模块向量则为所有数据模块在离线数据仓库中的值形成的向量，例如，在生成时间为i的时间段每一项数据指标在离线数据仓库中的值分别为p1,…，pn则可以理解为P＝{p1,…，pn}为离线数据的数据模块向量。
在步骤303中，计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量，执行步骤304。
在一实施例中，某项数据指标在实时数据仓库中的值，可以理解为对应数据模块在实时数据仓库中的值，而实时数据的数据模块向量则为所有数据模块在实时数据仓库中的值形成的向量，例如，在生成时间为i的时间段，每一项数据指标实时数据仓库中的值分别为q1,…，qn则可以理解为Q＝{q1,…，qn}作为实时数据的数据模块向量。
在步骤304中，对离线数据的数据模块向量和实时数据的数据模块向量进行统计学习，得到指标准确度。
在一实施例中，由于房产交易数据中数据模块的数据指标中0值较多，因此本公开采用Janson-Shannon散度作为指标准确度的生成算法，Janson-Shannon散度算法是KL散度的变体，解决了KL散度算法非对称，以及单一指标量为0时存在无穷大的问题，假设以P＝{p1,…，pn}作为离线数据的数据模块向量，Q＝{q1,…，qn}作为实时数据的数据模块向量，如果以DKL(P||Q)为KL散度，DJS(P||Q)作为Janson-Shannon散度，则可以通过式(1-1)和式(1-2)计算出指标准确度：∣
Figure BDA0002530775460000131
Figure BDA0002530775460000141
式(1-2)中，DJS(P||Q)为对应的指标准确度。
步骤304之后，可以执行步骤305，实现对指标准确度以可视化方式进行展示；也可以在指标准确度小于设定准确度阈值时，执行步骤306，实现报警处理。
在步骤305中，将指标准确度以可视化方式进行展示。
在一实施例中，以Echarts-GL作为高呈现力、可交互的可视化引擎，对指标准确度进行可视化处理，然后以OLAP报表等方式展现实时数据仓库的指标准确度。
在一实施例中，对指标准确度的展示还可以采用文字、图表、列表、音频、动画等多种方式进行展示。
在步骤306中，若指标准确度小于设定准确度阈值，则进行报警处理。
在一实施例中，设定准确度阈值可以基于经验数据确定，也可以由开发人员设定。
通过上述步骤301～步骤306，本实施例对实时数据仓库的监控，得到指标准确度，实现了对实时数据仓库中的数据质量的监控，并且在实时数据仓库的指标准确度过小时，能自动通过即时通信机器人的方式及时通知给开发人员，确保问题能够及时得到解决，优化了用户的体验。
图4为本公开的数据质量监控方法的又一个实时数据仓库监控实施例的流程图，本实施例以如何实现实时数据仓库数据指标的预测为例进行示例性说明，如图4所示，包括如下步骤：
在步骤401中，对实时数据仓库中的数据进行ETL处理。
在一实施例中，在确定实时数据仓库中每一个数据指标的周期之后，可以获取实时数据仓库中每一个数据指标对应的已有时间序列。
在步骤402中，基于ETL处理得到的结果，确定实时数据指标对应的已有时间序列。
在一实施例中，已有时间序列用于指示同一实时数据指标的数值按其发生的时间先后顺序排列而成的数列。例如，公积金批贷流程不能在周末办理，对应的交易数据指标在周末的值会为0，因此实时数据指标会在一周内具有周期性，然后可以基于所监控到的实时数据指标，确定出实时数据指标在最近一周内的时间序列。
在一实施例中，可以确定每一个数据模块的实时数据指标对应的已有时间序列。
在步骤403中，基于已有时间序列，使用设定回归算法计算实时数据仓库输出数据指标的下一时间序列，下一时间序列为预测信息。
在一实施例中，对于每一个实时数据指标对应的已有时间序列，可以使用设定回归算法，如SARIMA算法计算实时数据仓库输出对应数据指标的下一时间序列。
具体实现时，SARIMA算法模型可以定义为SARIMA(p,q,d)(a,b,c,T)，其中，p为季节性自回归阶数，d为季节性差分阶数，q为季节性移动平均阶数。
其中，对时间序列进行一阶差分保证其平稳性d＝1，通过偏自相关系数确定p＝2，通过自相关系数确定q＝1，窗口长度T为7(7用于指示周期长度为7天)，而a、b、c可通过网格搜索获得。
由此可以计算得到实时数据仓库输出对应数据指标的下一时间序列。
在步骤404中，将预测信息以可视化方式进行展示。
在一实施例中，可调用echarts-gl对预测信息可视化处理，然后以时间序列图的方式展示预测信息。
通过步骤401～404，本实施例利用SARIMA算法作为实现方式，对指标的已有时间序列进行回归，并且确定出数据指标在下一时间序列的预测信息，通过可视化展示下一时间序列的预测信息，开发人员和业务人员可以根据经验识别风险，并敏捷地作出相应举措来解决可能潜在的问题。
与前述数据质量监控方法的实施例相对应，本公开还提供了数据质量监控装置对应的实施例。
图5为本公开的数据质量监控装置的一个实施例的结构示意图，该装置应用在数据监控平台上，如图5所示，该装置包括：
获取模块51，用于获取任务执行信息，任务执行信息用于指示离线数据同步任务的执行结果；
编码模块52，用于对任务执行信息进行编码处理，得到离线指标健康度，离线指标健康度用于衡量离线数据同步任务是否存在异常；
计算模块53，用于基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，指标准确度用于指示同期的实时数据的数据指标和离线数据的数据指标的取值比率，预测信息用于指示实时数据仓库中数据指标的下一时间序列；
展示模块54，用于将离线指标健康度、实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。
图6为本公开的数据质量监控装置的又一个实施例的结构示意图，如图6所示，在图5所示实施例的基础上，在一实施例中，计算模块53包括：
第一处理子模块531，用于对离线数据仓库和实时数据仓库中的同期数据进行抽取-转换-加载ETL处理，同期数据用于指示生成时间段相同的数据；
第一计算子模块532，用于基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量；
第二计算子模块533，用于计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量；
统计子模块534，用于对离线数据的数据模块向量和实时数据的数据模块向量进行统计学习，得到指标准确度。
在一实施例中，装置还包括：
第一报警模块55，用于在指标准确度小于设定准确度阈值时，则进行报警处理。
在一实施例中，计算模块53包括：
第二处理子模块535，用于对实时数据仓库中的数据进行ETL处理；
确定子模块536，用于基于ETL处理得到的结果，确定实时数据指标对应的已有时间序列，已有时间序列用于指示同一实时数据指标的数值按其发生的时间先后顺序排列而成的数列；
第三计算子模块537，用于基于已有时间序列，使用设定回归算法计算实时数据仓库输出数据指标的下一时间序列，下一时间序列为预测信息。
在一实施例中，获取模块51，具体用于使用爬虫工具，按照设定时间定时获取任务执行信息。
在一实施例中，展示模块54包括：
生成子模块541，用于将离线指标健康度生成数据维度表；
第四计算子模块542，用于基于数据维度表中记录的离线指标健康度，确定每一项数据指标的离线指标健康度，得到健康度分布信息；
展示子模块543，用于将健康度分布信息以可视化方式进行展示。
在一实施例中，装置还包括：
第二报警模块56，用于在离线数据同步任务存在异常时，进行报警处理。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
下面，参考图7来描述根据本公开实施例的电子设备，其中可以集成本公开实施例实现方法的装置。图7为本公开一示意性实施例提供的电子设备的结构图，如图7所示，电子设备7包括一个或多个处理器71、一个或多个计算机可读存储介质的存储器72，以及存储在存储器上并可在处理器上运行的计算机程序。在执行存储器72的程序时，可以实现上述数据质量监控方法。
具体的，在实际应用中，该电子设备还可以包括输入装置73、输出装置74等部件，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。本领域技术人员可以理解，图7中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者某些部件，或者不同的部件布置。其中：
处理器71可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，通过运行或执行存储在存储器72内的软件程序和/或模块，以及调用存储在存储器72内的数据，执行各种功能和处理数据，从而对该电子设备进行整体监控。
存储器72可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器71可以运行程序指令，以实现上文的本公开的各个实施例的声源定位方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
输入装置73可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆，光学或轨迹球信号输入。
输出装置74可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置74可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
电子设备还可以包括给各个部件供电的电源，可以通过电源管理系统与处理器71逻辑相连，从而通过电源管理系统实现管理充电、放电，以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
当然，为了简化，图7中仅示出了该电子设备7中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备7还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种数据质量监控方法，其特征在于，所述方法包括：
获取任务执行信息，所述任务执行信息用于指示离线数据同步任务的执行结果；
对所述任务执行信息进行编码处理，得到离线指标健康度，所述离线指标健康度用于衡量离线数据同步任务是否存在异常；
基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，所述指标准确度用于指示所述同期的实时数据的数据指标和离线数据的数据指标的取值比率，所述预测信息用于指示实时数据仓库中数据指标的下一时间序列；
将所述离线指标健康度、所述实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。
2.根据权利要求1所述的方法，其特征在于，所述基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度，包括：
对所述离线数据仓库和所述实时数据仓库中的同期数据进行抽取-转换-加载ETL处理，所述同期数据用于指示生成时间段相同的数据；
基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量；
计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量；
对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度。
3.根据权利要求2所述的方法，其特征在于，所述对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度之后，还包括：
若所述指标准确度小于设定准确度阈值，则进行报警处理。
4.根据权利要求1所述的方法，其特征在于，所述基于实时数据，计算实时数据仓库输出数据的预测信息，包括：
对所述实时数据仓库中的数据进行ETL处理；
基于ETL处理得到的结果，确定实时数据指标对应的已有时间序列，所述已有时间序列用于指示同一实时数据指标的数值按其发生的时间先后顺序排列而成的数列；
基于所述已有时间序列，使用设定回归算法计算所述实时数据仓库输出数据指标的下一时间序列，所述下一时间序列为预测信息。
5.根据权利要求1所述的方法，其特征在于，所述获取任务执行信息，包括：
使用爬虫工具，按照设定时间定时获取所述任务执行信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述离线指标健康度进行可视化处理并展示，包括：
将所述离线指标健康度生成数据维度表；
基于所述数据维度表中记录的离线指标健康度，确定每一项数据指标的离线指标健康度，得到健康度分布信息；
将所述健康度分布信息以可视化方式进行展示。
7.根据权利要求1所述的方法，其特征在于，所述对所述任务执行信息进行编码处理之后，还包括：
若离线数据同步任务存在异常，进行报警处理。
8.一种数据质量监控装置，其特征在于，所述装置包括：
获取模块，用于获取任务执行信息，所述任务执行信息用于指示离线数据同步任务的执行结果；
编码模块，用于对所述任务执行信息进行编码处理，得到离线指标健康度，所述离线指标健康度用于衡量离线数据同步任务是否存在异常；
计算模块，用于基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，所述指标准确度用于指示所述同期的实时数据的数据指标和离线数据的数据指标的取值比率，所述预测信息用于指示实时数据仓库中数据指标的下一时间序列；
展示模块，用于将所述离线指标健康度、所述实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-7任一所述的方法。
CN202010517702.2A 2020-06-09 2020-06-09 数据质量监控方法、装置、电子设备及存储介质 Active CN111666191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517702.2A CN111666191B (zh) 2020-06-09 2020-06-09 数据质量监控方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517702.2A CN111666191B (zh) 2020-06-09 2020-06-09 数据质量监控方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111666191A true CN111666191A (zh) 2020-09-15
CN111666191B CN111666191B (zh) 2023-09-29

Family

ID=72386207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517702.2A Active CN111666191B (zh) 2020-06-09 2020-06-09 数据质量监控方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111666191B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608724A (zh) * 2021-08-24 2021-11-05 上海德拓信息技术股份有限公司 一种基于模型缓存实现的离线仓库实时交互方法与系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139779B1 (en) * 2003-05-29 2006-11-21 Microsoft Corporation Method and system for developing extract transform load systems for data warehouses
US9489379B1 (en) * 2012-12-20 2016-11-08 Emc Corporation Predicting data unavailability and data loss events in large database systems
CN106909598A (zh) * 2016-07-01 2017-06-30 阿里巴巴集团控股有限公司 一种保障计算数据一致性的处理方法、装置及系统
CN107092522A (zh) * 2017-03-30 2017-08-25 阿里巴巴集团控股有限公司 实时数据的计算方法及装置
CN107330614A (zh) * 2017-06-29 2017-11-07 北京京东尚科信息技术有限公司 一种业务活动效果的实时评估方法和装置
CN107463633A (zh) * 2017-07-17 2017-12-12 中国航天系统科学与工程研究院 一种基于eemd‑神经网络的实时数据异常值检测方法
CN107730087A (zh) * 2017-09-20 2018-02-23 平安科技（深圳）有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
US20180232805A1 (en) * 2016-06-12 2018-08-16 Tencent Technology (Shenzhen) Company Limited User credit rating method and apparatus, and storage medium
CN108460521A (zh) * 2018-02-02 2018-08-28 广州供电局有限公司 审计对象的推荐方法和系统
CN109684321A (zh) * 2018-12-25 2019-04-26 江苏满运软件科技有限公司 数据质量管理方法、装置、电子设备、存储介质
CN109684422A (zh) * 2018-12-28 2019-04-26 河南城建学院 一种基于人工智能的大数据平台的单指标预测和预警方法
CN109829009A (zh) * 2018-12-28 2019-05-31 北京邮电大学 可配置的异构数据实时同步并可视化的系统及方法
CN110096491A (zh) * 2019-04-02 2019-08-06 南京信息职业技术学院 数据库性能指标预测方法及系统
CN110633306A (zh) * 2019-08-14 2019-12-31 中国平安人寿保险股份有限公司 业务数据处理方法、装置、计算机设备和存储介质
WO2020000202A1 (zh) * 2018-06-26 2020-01-02 深圳齐心集团股份有限公司 基于大数据的电商物流调度系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139779B1 (en) * 2003-05-29 2006-11-21 Microsoft Corporation Method and system for developing extract transform load systems for data warehouses
US9489379B1 (en) * 2012-12-20 2016-11-08 Emc Corporation Predicting data unavailability and data loss events in large database systems
US20180232805A1 (en) * 2016-06-12 2018-08-16 Tencent Technology (Shenzhen) Company Limited User credit rating method and apparatus, and storage medium
CN106909598A (zh) * 2016-07-01 2017-06-30 阿里巴巴集团控股有限公司 一种保障计算数据一致性的处理方法、装置及系统
CN107092522A (zh) * 2017-03-30 2017-08-25 阿里巴巴集团控股有限公司 实时数据的计算方法及装置
CN107330614A (zh) * 2017-06-29 2017-11-07 北京京东尚科信息技术有限公司 一种业务活动效果的实时评估方法和装置
CN107463633A (zh) * 2017-07-17 2017-12-12 中国航天系统科学与工程研究院 一种基于eemd‑神经网络的实时数据异常值检测方法
CN107730087A (zh) * 2017-09-20 2018-02-23 平安科技（深圳）有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
CN108460521A (zh) * 2018-02-02 2018-08-28 广州供电局有限公司 审计对象的推荐方法和系统
WO2020000202A1 (zh) * 2018-06-26 2020-01-02 深圳齐心集团股份有限公司 基于大数据的电商物流调度系统
CN109684321A (zh) * 2018-12-25 2019-04-26 江苏满运软件科技有限公司 数据质量管理方法、装置、电子设备、存储介质
CN109684422A (zh) * 2018-12-28 2019-04-26 河南城建学院 一种基于人工智能的大数据平台的单指标预测和预警方法
CN109829009A (zh) * 2018-12-28 2019-05-31 北京邮电大学 可配置的异构数据实时同步并可视化的系统及方法
CN110096491A (zh) * 2019-04-02 2019-08-06 南京信息职业技术学院 数据库性能指标预测方法及系统
CN110633306A (zh) * 2019-08-14 2019-12-31 中国平安人寿保险股份有限公司 业务数据处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608724A (zh) * 2021-08-24 2021-11-05 上海德拓信息技术股份有限公司 一种基于模型缓存实现的离线仓库实时交互方法与系统
CN113608724B (zh) * 2021-08-24 2023-12-15 上海德拓信息技术股份有限公司 一种基于模型缓存实现的离线仓库实时交互方法与系统

Also Published As

Publication number Publication date
CN111666191B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Byrne et al. How fast are semiconductor prices falling?
US20190228296A1 (en) Significant events identifier for outlier root cause investigation
CN111401777B (zh) 企业风险的评估方法、装置、终端设备及存储介质
US8392227B2 (en) Consistency checks for business process data using master data vectors
CN103370722B (zh) 通过小波和非线性动力学预测实际波动率的系统和方法
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN110310170A (zh) 订单处理方法、装置、电子设备及存储介质
CN112633542A (zh) 系统性能指标预测方法、装置、服务器及存储介质
CN111325587A (zh) 用于生成信息的方法和装置
CN114238058A (zh) 监控方法、装置、设备、介质和程序产品
US20110178948A1 (en) Method and system for business process oriented risk identification and qualification
JP2013105221A (ja) 保守部品配送支援システム，保守部品配送支援装置および保守部品配送支援プログラム
CN111666191B (zh) 数据质量监控方法、装置、电子设备及存储介质
CN113987086A (zh) 数据处理方法、数据处理装置、电子设备以及存储介质
Tian et al. Pricing barrier and American options under the SABR model on the graphics processing unit
US11651291B2 (en) Real-time predictions based on machine learning models
CN112785057A (zh) 基于指数平滑的件量预测方法、装置、设备及存储介质
CN111447193A (zh) 一种针对实时数据流进行异常检测的方法及装置
CN111340541A (zh) 酒店房型异常价格的预警方法、系统、设备和介质
CN116225848A (zh) 日志监测方法、装置、设备和介质
US11790278B2 (en) Determining rationale for a prediction of a machine learning based model
JP2015187773A (ja) データ解析装置、データ解析プログラム及びデータ解析方法
CN112581181A (zh) 申报价格的异常挖掘方法、装置、电子设备及可读介质
CN111444172A (zh) 数据监控方法、装置、介质及设备
CN111210110A (zh) 基于压力测试生成预防策略的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant