CN108197199B

CN108197199B - 数据监控方法、装置、电子设备及计算机可读存储介质

Info

Publication number: CN108197199B
Application number: CN201711450809.4A
Authority: CN
Inventors: 代林
Original assignee: Zhuhai Juntian Electronic Technology Co Ltd
Current assignee: Zhuhai Juntian Electronic Technology Co Ltd
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2021-10-29
Anticipated expiration: 2037-12-27
Also published as: CN108197199A

Abstract

本发明实施例提供了一种数据监控方法、装置、电子设备及计算机可读存储介质，该方法会确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；并确定目标数据抓取周期中从所得到的数据源中提取到目标数据库的数据量，作为第二数据量；再计算用以表征第一数据量与第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与第一数据量之间差异的第二差异值；当第二差异值大于第二预设阈值时，判定第一环节出现错误；当第一差异值大于第三预设阈值时，判定第二环节出现错误。本发明实施例提供的方案可以自动定位数据抓取过程中问题所出现的具体环节。

Description

数据监控方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据监控方法、装置、电子设备及计算机可读存储介质。

背景技术

广告、游戏等对象通常是在多渠道中投放的，渠道会产生针对对象的统计数据，如针对广告的点击量等。例如，对于某一公司而言，其下的某一广告可以在雅虎(一个互联网服务网站)以及facebook(脸书，一个社交网络服务网站)上进行投放，则雅虎的服务器上会产生该广告对应的统计数据，Facebook上也会产生该广告对应的统计数据；而对于该公司而言，需要将各个渠道上关于该广告的统计数据进行汇总。

为此，现有技术中，针对每一渠道，对象所对应数据的抓取过程包括如下两个环节：第一个环节，对该渠道针对对象的原始统计数据进行清洗后提取得到数据源，第二个环节，对所提取得到的上述数据源进行数据处理，例如格式转换，将数据处理后的数据源存放到预设的数据库中，以供查看和使用。

在数据抓取过程出现问题时，需要定位出问题出现的具体环节，进而便于针对具体环节解决问题。但是现有技术中，工作人员只能发现整个数据抓取过程出现问题，并不能定位出问题出现的具体环节。

发明内容

本发明实施例的目的在于提供一种数据监控方法、装置、电子设备及计算机可读存储介质，以实现在整个数据抓取过程出现问题时，定位出问题出现的具体环节。具体技术方案如下：

为达上述目的，第一方面，本发明实施例提供了一种数据监控方法，所述方法包括：

确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；

确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；

计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；

当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；

当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。

可选的，所述第一差异值为所述第一数据量与所述第二数据量的差值或差异百分比；

所述第二差异值为所述第一预设阈值与所述第一数据量的差值或差异百分比。

可选的，在所述判定第一环节出现错误的步骤之后，所述方法还包括：

依次对所述第一环节和所述第二环节进行数据回补；

在所述判定第二环节出现错误的步骤之后，所述方法还包括：

对所述第二环节进行数据回补。

可选的，所述方法还包括：

在判定出目标环节出现错误的情况下，生成表征所述目标环节出现错误的预警信息；

其中，当所述第一环节出现错误时，所述目标环节为所述第一环节；当所述第二环节出现错误时，所述目标环节为所述第二环节。

可选的，在所述生成表征所述目标环节出现错误的预警信息的步骤之后，所述方法还包括：

显示所述预警信息；

获得用户输入的针对所述目标环节的数据回补指令；

在所述目标环节为所述第一环节时，按照所述数据回补指令，对所述第一环节和所述第二环节依次进行数据回补；

在所述目标环节为所述第二环节时，按照所述数据回补指令，对所述第二环节进行数据回补。

可选的，所述显示所述预警信息的步骤，包括：

将所述预警信息发送给终端，以使得终端显示所述预警信息；

相应的，所述获得用户输入的针对所述目标环节的数据回补指令的步骤，包括：

接收用户通过终端输入并发送的针对所述目标环节的数据回补指令。

第二方面，本发明实施例提供了一种数据监控装置，所述装置包括：

第一确定模块，用于确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；

第二确定模块，用于确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；

计算模块，用于计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；

第一判定模块，用于当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；

第二判定模块，用于当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。

可选的，所述装置还包括：

第一回补模块，用于在判定出所述第一环节出现错误的情况下，依次对所述第一环节和所述第二环节进行数据回补；

第二回补模块，用于在判定出所述第二环节出现错误的情况下，对所述第二环节进行数据回补；

可选的，所述装置还包括：

生成模块，用于在判定出目标环节出现错误的情况下，生成表征所述目标环节出现错误的预警信息；

其中，当所述第一环节出现错误时，所述目标环节为所述第一环节；

当所述第二环节出现错误时，所述目标环节为所述第二环节。

可选的，所述装置还包括：

显示模块，用于在生成所述预警信息后，显示所述预警信息；

获得模块，用于获得用户输入的针对所述目标环节的数据回补指令；

第三回补模块，用于在所述目标环节为所述第一环节时，按照所述数据回补指令，对所述第一环节和所述第二环节依次进行数据回补；在所述目标环节为所述第二环节时，按照所述数据回补指令，对所述第二环节进行数据回补。

可选的，所述显示模块，具体用于：

相应的，所述获得模块，具体用于：

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一数据监控方法所述的方法步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据监控方法所述的方法步骤。

由以上可知，本发明实施例提供的方案中，会确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；并确定目标数据抓取周期中从所得到的数据源中提取到目标数据库的数据量，作为第二数据量；再计算用以表征第一数据量与第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与第一数据量之间差异的第二差异值；当第二差异值大于第二预设阈值时，判定第一环节出现错误；当第一差异值大于第三预设阈值时，判定第二环节出现错误；其中，第一环节为目标数据抓取周期中从目标渠道提取得到上述数据源的环节；第二环节为目标数据抓取周期中从所提取数据源向目标数据库提取数据的环节。与现有技术相比，本发明实施例提供的方案可以自动定位数据抓取过程中问题所出现的具体环节，以便于操作人员可以快速发现问题所出现的具体环节，并针对该该具体环节解决所出现的数据抓取问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种数据监控方法的流程示意图；

图2为本发明实施例涉及的表征数据抓取过程的折线图；

图3为本发明另一实施例提供的一种数据监控方法的流程示意图；

图4为本发明又一实施例提供的一种数据监控方法的流程示意图；

图5为本发明实施例涉及的显示有脚本执行情况的表格；

图6为本发明一实施例提供的一种数据监控装置的结构示意图；

图7为本发明另一实施例提供的一种数据监控装置的结构示意图；

图8为本发明又一实施例提供的一种数据监控装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面首先针对本发明涉及的技术术语进行简单介绍。

对象，本发明申请文件中涉及的对象可以是广告、游戏或其他应用程序等，而背景技术中所述的针对对象的统计数据，示例性的，如果该对象是广告，则相对应的统计数据可以是广告的展示量(impressions)、点击量(clicks)以及收益(revenue)等；如果该对象是游戏，则相对应的统计数据可以是游戏的点击量、收益等；如果该对象是其他的应用程序，则相对应的统计数据可以是应用程序的使用量、收益以及下载量等。

为了解决现有技术中在数据抓取过程出现问题时，无法定位问题所在的具体环节的问题，本发明实施例提供了一种数据监控方法、装置、电子设备及计算机可读存储介质。下面首先对本发明提供的一种数据监控方法进行详细介绍。

首先应当说明的是，本发明实施例提供的一种数据监控方法，可以应用于数据监控设备中，当然，本发明实施例在此并不限定数据监控设备的具体类型。

本发明实施例提供的一种数据监控方法，如图1所示，该方法包括：

S101：确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量。

对象所对应数据的抓取过程是存在一个个的抓取周期的，比如该数据抓取周期为24小时(一天)。当然，本发明实施例中的目标数据抓取周期，仅是为了方便说明具体操作而给定的名称，在实际应用中，根据业务需要，任何一个数据抓取周期都可以作为本发明实施例中的目标数据抓取周期。

类似的，前述目标渠道、目标对象、第一数据量均是为了方便说明具体操作而给定的名称；另外，除步骤S101外，本发明实施例中的其他步骤中，也存在与前述类似的为了方便说明具体操作而给定名称的限定，其都是为了表述方便，这里不再一一罗列。

如上背景技术所述，数据抓取过程包括的第一个环节是：对渠道中所记录对象的原始统计数据进行清洗后提取得到数据源，需要说明的是，这些提取出来的数据源通常可以存储在一个专用的数据库中，例如，预先设置一个数据源数据库，数据抓取过程中可以将提取得到的数据源存储在该数据源数据库中。

对于第一数据量的确定方法，如果在数据抓取过程中已统计有该第一数据量，则步骤S101可以为直接获得数据抓取过程中统计的第一数据量；如果在数据抓取过程中未统计该第一数据量，则步骤S101可以为数据监控设备统计该第一数据量。当然，本领域技术人员完全可以基于现有技术手段实现步骤S101，本发明实施例在此不再详细介绍。

S102：确定目标数据抓取周期中从所得到的数据源中提取到目标数据库的数据量，作为第二数据量。

上述目标数据库即为汇总有各个渠道的数据的数据库，数据抓取过程中，最终会将数据统计到该目标数据库中。

同样的，对于第二数据量的确定方法，如果在数据抓取过程中已统计有该第一数据量，则步骤S102可以为直接获得数据抓取过程中统计的第二数据量。

需要说明的是，步骤S101与步骤S102的执行顺序是不分先后的，相对于步骤S102，步骤S101可以在先执行，也可以在后执行，还可以与步骤S102一起执行，本发明实施例并不限定步骤S101与步骤S102的具体执行顺序。

另外，上述第一数据量以及第二数据量均为针对目标对象的统计数据，并且，该第一数据量与第二数据量的种类相同，可以是对象所对应的展示量、点击量以及收益等。例如，该目标对象为某一广告，第一数据量以及第二数据量的种类都是广告点击量，第一数据量表示目标数据抓取周期中针对该广告从目标渠道提取得到作为数据源的广告点击量，第二数据量表示目标数据抓取周期中针对该广告从所得到的数据源中提取到目标数据库的广告点击量。

S103：计算用以表征第一数据量与第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与第一数据量之间差异的第二差异值。

本领域技术人员公知的是，表征两个数值之间差异的差异值的种类较多，本发明实施例在此并不限定第一差异值以及第二差异值的具体种类。

作为本发明实施例的一种可选实现方式，上述第一差异值可以为第一数据量与第二数据量的差值或差异百分比；第二差异值可以为第一预设阈值与第一数据量的差值或差异百分比。

需要说明的是，对数值A和数值B，可以按照如下公式计算数值A和数值B的差异百分比C：

示例性的，如果第一数据量为1000，第二数据量为800，则当第一差异值为第一数据量与第二数据量的差值时，第一差异值可以为1000与800的差值200；而当第一差异值为第一数据量与第二数据量的差异百分比时，按照上述公式计算得到第一差异值为25％。

同理，如果第一预设阈值为1200，第一数据量为1000，则当第二差异值为第一预设阈值与第一数据量的差值时，第二差异值可以为1200与1000的差值200；而当第二差异值为第一预设阈值与第一数据量的差异百分比时，按照上述公式计算得到第二差异值为20％。

在本发明实施例中，该第一预设阈值可以为目标数据抓取周期的上一数据抓取周期中，从针对目标对象所提取的数据源中提取到目标数据库的数据量；例如，一个数据抓取周期为一天，当前的目标数据抓取周期为2017年11月10日，则上一数据抓取周期为2017年11月9日，若2017年11月9日从针对目标对象所提取的数据源中提取到目标数据库的数据量为1000，则该预设阈值可以为1000。

除此之外，该第一预设阈值还可以是工作人员根据经验所设置的，例如，工作在长期的工作中发现，每个数据抓取周期中，从针对目标对象所提取的数据源中提取到目标数据库的数据量大多都是在800左右，则该预设阈值可以设置为800。当然，本发明实施例中并不限定该第一预设阈值的取值范围。

S104：当第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，第一环节为目标数据抓取周期中从目标渠道提取得到上述数据源的环节。

第二差异值表征第一预设阈值与第一数据量的差异，可以理解，在数据抓取过程中，如果目标数据抓取周期中从目标渠道提取上述数据源的环节正常的，上述第一预设阈值与第一数据量之间的差异通常不会太大，相对的，如果第一预设阈值与第一数据量之间的差异过大，则表明上述第一环节出现问题。

故本发明实施例中可以设置第二预设阈值，当第二差异值大于第二预设阈值时，判定第一环节出现错误；当然，该第二预设阈值的数值大小可以根据实际需要所设定，本发明实施例在此不做限定。

示例性的，假设第二预设阈值为300，如果第二差异值为400，大于第二预设阈值，则数据监控设备可以判定该第一环节出现错误。

S105：当第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，第二环节为目标数据抓取周期中从所提取数据源向目标数据库提取数据的环节。

第一差异值表征第一数据量与第二数据量的差异，同样的，在数据抓取过程中，如果目标数据抓取周期中从所提取数据源向目标数据库提取数据的环节是正常的，上述第一数据量与第二数据量之间通常是相等的，当然，在实际应用中，二者可能会存在一些偏差，所以相对的，如果第一数据量与第二数据量之间的差异过大，则表明上述第二环节出现问题。

故本发明实施例中可以设置第三预设阈值，当第一差异值大于第三预设阈值时，判定第二环节出现错误；当然，该第三预设阈值的数值大小可以根据实际需要所设定，本发明实施例在此不做限定。

示例性的，假设第三预设阈值为100，如果第一差异值为200，大于第三预设阈值，则数据监控设备可以判定该第二环节出现错误。

在此需要说明的是，本发明实施例所提供的数据监控方法可以是针对目标对象，在每个数据抓取周期结束时，以该数据抓取周期作为目标数据抓取周期所进行的。

另外，该数据监控方法也可以是针对目标对象，在每个数据抓取周期结束时，该数据抓取周期的数据抓取出现问题时，以该数据抓取周期作为目标数据抓取周期所进行的；一种情况下，可以是在目标数据抓取周期结束后，工作人员发现目标数据抓取周期的数据抓取过程发现问题时，向数据监控设备发送执行上述数据监控方法的指令后，数据监控设备开始执行上述数据监控方法。

如例1，预设一个统计时长，并可以保证一个数据抓取周期的时长为该统计时长的整数倍，假设该统计时长为1小时，该数据抓取周期为24小时。在数据抓取周期中，每间隔一小时统计并记录下从数据抓取周期的开始时刻至当前时刻，所提取的数据源数量以及提取到目标数据库的数据量，然后在工作人员需要查看目标数据抓取周期中的数据抓取情况时，将目标数据抓取周期内多次统计的数据以折线图的形式体现出来，然后工作人员可以观察到数据抓取的整个过程，还可以根据目标数据抓取周期结束时提取到目标数据库的数据量，判断目标数据抓取周期的数据抓取过程是否存在问题，如果存在，则向数据监控设备输入执行上述数据监控方法的指令。

如图2所示，目标抓取周期为24小时(h)，上述统计时长为1小时，该折线图的纵坐标为数据量，如目标对象的点击量，横坐标为时间，折线1体现了目标数据抓取周期从目标渠道抓取数据源的抓取过程，折线2体现了目标数据抓取周期从数据源向目标数据库抓取数据的抓取过程，另外，图中的昨日数据量表示昨日抓取到目标数据库中的数据量，即目标数据抓取周期的上一数据抓取周期抓取到目标数据库中的数据量。对于工作人员而言，当目标数据抓取周期结束时，折线1对应的数据量明显低于昨日数据量时，则向数据监控设备输入执行上述数据监控方法的指令。

再如例2，假设数据抓取周期为24小时，目标数据抓取周期为2017年10月31日一整天，在目标数据抓取周期结束时，得到表1。表1中，脚本为执行数据抓取任务所需使用的程序文件，数据源表示目标数据抓取周期中从对应的渠道提取到的数据源的数据量，目标数据库表示目标数据抓取周期中提取到目标数据库的数据量；昨日数据表示目标数据抓取周期的上一数据抓取周期(2017年10月30日)中提取到目标数据库的数据量，数据源差异为目标数据库所对应值与数据源所对应值的差值，环比差异表示昨日数据所对应值与目标数据库所对应值的差值。

表1

脚本	时间	渠道	数据源	目标数据库	昨日数据	数据源差异	环比差异
								脚本1	2017-10-31	渠道1	16.97	16.97	25.00	0	8.03
脚本2	2017-10-31	渠道2	75.64	0.00	75.64	75.64	0
								脚本3	2017-10-31	渠道3	144386.91	144386.91	147235.73	0	2848.82
脚本4	2017-10-31	渠道4	66.80	66.80	47.19	0	-19.61
								脚本5	2017-10-31	渠道5	3736.06	3736.06	4055.34	0	319.28
脚本6	2017-10-31	渠道6	0.00	0.00	0.00	0	0
								脚本7	2017-10-31	渠道7	3736.06	3736.06	4052.53	0	316.47
脚本8	2017-10-31	渠道8	16463.73	16463.73	19497.51	0	3033.78

在表1中，当工作人员发现某一渠道对应的环比差异大于预设阈值时，可以输入针对该渠道执行上述数据监控方法的指令。例如，该预设阈值为3000，显然的，由表1可知，渠道8所对应的环比差异大于3000，则工作人员可以输入针对渠道8执行上述数据监控方法的指令。

可以理解，上述第一种情况下，数据监控方法是在获得工作人员输入的指令时开始执行的，而另一种情况下，该数据监控方法可以自动执行，即在目标对象所处的目标渠道中，当目标数据抓取周期结束时，可以计算前述第二数据量与上一数据抓取周期针对目标对像与目标渠道所提取数据量的差值，如果该差值大于某一预设阈值，则数据监控设备自动执行上述数据监控方法。

由上可知，本实施例提供的方案可以自动定位数据抓取过程中问题所出现的具体环节，以便于操作人员可以快速发现问题所出现的具体环节，并针对该该具体环节解决所出现的数据抓取问题。

在图1所示方法实施例的基础上，如图3所示，在上述判定第一环节出现错误(S104)的步骤之后，上述方法还可以包括：

S106：依次对第一环节和第二环节进行数据回补。

首先需要说明的是，数据回补可以是指数据提取后，数据没有提取完整或者所提取数据存在部分或全部丢失的情况时，通过数据回补将数据补充或恢复完整，数据回补的具体实现以及详细解释可参照现有技术，本发明实施例在此不做详细介绍。

如前所述，本发明实施例中的第一环节为目标数据抓取周期中从目标渠道提取得到上述数据源的环节，第二环节为目标数据抓取周期中从第一环节所提取到的数据源向目标数据库保存，进一步提取数据的环节，所以第一环节如果出现问题，导致第一环节提取的数据源不完整，则第二环节中提取到目标数据库中的数据也必然是不完整的，所以，当判定第一环节出现错误时，数据监控设备需要依次对第一环节和第二环节进行数据回补。

另一方面，在上述判定第二环节出现错误(S105)的步骤之后，上述方法还可以包括：

S107：对第二环节进行数据回补。

可以理解，只有第二环节出现问题时，第一环节所提取的数据源是完整的，所以此时不需要对第一环节进行数据回补，仅需要对第二环节进行数据回补。

在图1所示方法实施例的基础上，如图4所示，上述方法还可以包括：

S108：在判定出目标环节出现错误的情况下，生成表征目标环节出现错误的预警信息；

其中，当第一环节出现错误时，该目标环节为第一环节；当第二环节出现错误时，该目标环节为第二环节。

该预警信息可以是一段文字信息，例如“目标数据抓取周期中从目标渠道提取得到上述数据源出现问题”，本发明实例并不限定该预警信息的具体形式。另外，生成的预警信息可以直接发出，也可以保存在本地，以供工作人员查看，这都是合理可行的。

需要说明的是，数据监控设备在执行上述步骤S108的同时，还可以根据问题所出现的具体环节来对应执行上述图3所示方法实施例中的步骤S106或S107。示例性的，数据监控设备在判定出第一环节存在错误的情况下，生成表征第一环节出现错误的预警信息，以警示工作人员，同时，数据监控设备还执行上述步骤S106：依次对第一环节和第二环节进行数据回补；同样的，数据监控设备在判定出第二环节存在错误的情况下，生成表征第二环节出现错误的预警信息，以警示工作人员，同时，数据监控设备还执行上述步骤S107：对第二环节进行数据回补。

在本发明实施例中，作为与图3所示方法实施例并列的一种实现方式，在上述生成表征目标环节出现错误的预警信息(S108)的步骤之后，上述方法还可以包括a～d：

a：显示上述预警信息。

示例性的，该预警信息是一段文字信息“目标数据抓取周期中从目标渠道提取得到上述数据源出现问题”，则数据监控设备可以将该预警信息显示在自身的显示屏幕上，以使得工作人员可以看到该预警信息。

b：获得用户输入的针对目标环节的数据回补指令。

需要说明的是，在数据监控设备显示该预警信息后，工作人员可以手动向数据监控设备输入一个针对目标环节的数据回补指令，例如，数据监控设备的显示屏上可以显示如图5所示的表格，该表格中的每个脚本对应着不同对象的不同数据抓取环节，该表中的列“执行脚本”为可点击的执行按钮，该表中的列“更新时间”表示脚本被执行的各个时间点；其中，用户可以在图5中的输入框“Search”中输入脚本名称，以快速查到脚本；图5中的“说明”是指每个脚本的用途说明。

可以理解，通过图5所示的表格可以实现灵活的脚本执行方式，每个脚本除了在预设的更新时间进行执行时，只要工作人员点击脚本对应的执行按钮，该脚本就会被执行。所以当工作人员看到预警信息后，需要输入针对目标环节的数据回补指令时，可以点击该目标环节所对应脚本的执行按钮，完成上述数据回补指令的输入。

或者，数据监控设备在显示有上述预警信息的同时，还显示有一个询问是否针对目标环节进行数据回补的对话框，在该对话框中设置有两个虚拟按钮“是”和“否”，工作人员点击按钮“是”时，数据监控设备获得用户输入的针对目标环节的数据回补指令。

c：在目标环节为第一环节的情况下，按照该数据回补指令，对第一环节与第二环节依次进行数据回补；

d：在目标环节为第二环节的情况下，按照该数据回补指令，对第二环节进行数据回补。

步骤c和步骤d与图3所示方法实施例中的步骤S106和S107相同，步骤c和步骤d的具体内容和解释说明可参照图3所示方法实施例，本发明实施例在此不再详细介绍。

可以理解，上述步骤a中，预警信息可以是在数据监控设备自身的显示屏上显示的，而作为另一种实现方式，上述显示上述预警信息的步骤，可以包括：

将该预警信息发送给终端，以使得终端显示该预警信息。

相应的，上述获得用户输入的针对目标环节的数据回补指令的步骤，可以包括：

接收用户通过终端输入并发送的针对目标环节的数据回补指令。

在本实现方式中，数据监控设备还可以通信连接有终端，该终端可以是工作人员的个人手机、电脑等，数据监控设备可以将上述预警信息发送给终端，终端接收到预警信息后，可以显示该预警信息。

同样的，在终端显示该预警信息后，工作人员可以手动向终端输入一个针对目标环节的数据回补指令，或者还可以是，终端在显示有上述预警信息的同时，还显示有一个询问是否针对目标环节进行数据回补的对话框，在该对话框中设置有两个虚拟按钮“是”和“否”，工作人员点击按钮“是”时，终端获得用户输入的针对目标环节的数据回补指令；终端获得该数据回补指令后，可以将该数据回补指令发送给数据监控设备，使得数据监控设备获得该数据回补指令。

相应于图1所示方法实施例，如图6所示，本发明实施例提供了一种数据监控装置，所述装置包括：

第一确定模块110，用于确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；

第二确定模块120，用于确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；

计算模块130，用于计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；

第一判定模块140，用于当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；

第二判定模块150，用于当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。

可选的，所述第一差异值可以为所述第一数据量与所述第二数据量的差值或差异百分比；所述第二差异值可以为所述第一预设阈值与所述第一数据量的差值或差异百分比。

相应于图3所示方法实施例，如图7所示，所述装置还可以包括：

第一回补模块160，用于在判定出所述第一环节出现错误的情况下，依次对所述第一环节和所述第二环节进行数据回补；

第二回补模块170，用于在判定出所述第二环节出现错误的情况下，对所述第二环节进行数据回补；

相应于图4所示方法实施例，如图8所示，所述装置还可以包括：

生成模块180，用于在判定出目标环节出现错误的情况下，生成表征所述目标环节出现错误的预警信息；

在图8所示方法实施例的基础上，所述装置还可以包括：

可选的，所述显示模块，可以具体用于：

相应的，所述获得模块，具体用于：

本发明实施例还提供了一种电子设备，如图9所示，包括处理器201、通信接口202、存储器203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信，

存储器203，用于存放计算机程序；

处理器201，用于执行存储器203上所存放的程序时，实现如下步骤：

确定目标数据抓取周期中从所得到的数据源中提取到目标数据库的数据量，作为第二数据量；

计算用以表征第一数据量与第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与第一数据量之间差异的第二差异值；

当第二差异值大于第三预设阈值时，判定第一环节出现错误，其中，第一环节为目标数据抓取周期中从目标渠道提取得到上述数据源的环节；

当第一差异值大于第二预设阈值时，判定第二环节出现错误，其中，第二环节为目标数据抓取周期中从所提取数据源向目标数据库提取数据的环节。

关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1、3和4所示的方法实施例，在此不做赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据监控方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种数据监控方法，其特征在于，所述方法包括：

计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；所述第一预设阈值为所述目标数据抓取周期的上一数据抓取周期中，从所述数据源中提取到的目标数据库的数据量；

2.根据权利要求1所述的方法，其特征在于，所述第一差异值为所述第一数据量与所述第二数据量的差值或差异百分比；

3.根据权利要求1或2所述的方法，其特征在于，

在所述判定第一环节出现错误的步骤之后，所述方法还包括：

依次对所述第一环节和所述第二环节进行数据回补；

对所述第二环节进行数据回补。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，在所述生成表征所述目标环节出现错误的预警信息的步骤之后，所述方法还包括：

显示所述预警信息；

获得用户输入的针对所述目标环节的数据回补指令；

6.根据权利要求5所述的方法，其特征在于，所述显示所述预警信息的步骤，包括：

7.一种数据监控装置，其特征在于，所述装置包括：

计算模块，用于计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；所述第一预设阈值为所述目标数据抓取周期的上一数据抓取周期中，从所述数据源中提取到的目标数据库的数据量；

8.根据权利要求7所述的装置，其特征在于，所述第一差异值为所述第一数据量与所述第二数据量的差值或差异百分比；

9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

10.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

12.根据权利要求11所述的装置，其特征在于，

所述显示模块，具体用于：

相应的，所述获得模块，具体用于：

13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。