CN110532146A - 一种数据采集监控方法及装置 - Google Patents

Abstract

本发明提供了一种数据采集监控方法及装置，所述方法包括：接收数据采集任务的配置信息；根据所述配置信息启动所述数据采集任务；在所述数据采集任务出现异常后记录异常数据。所述方法可在数据采集任务出现异常时记录异常数据，进而可通过查询异常数据定位异常原因，无需对每个数据源采集过程日志进行排查，从而极大的减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

Description

一种数据采集监控方法及装置

技术领域

本发明涉及数据采集技术领域，具体而言，涉及一种数据采集监控方法及装置。

背景技术

数据采集通常有两种：一种是从数据源收集、识别和选取数据的过程；另一种是数字化、电子扫描系统的记录过程以及内容和属性的编码过程。针对前一种，数据采集系统在对数据源数据进行数据采集时，往往会出现数据源地址异常、数据源登录账户异常或数据源数据质量低于预期，导致应用效果受到影响，甚至出现错误。当出现这些问题时，往往需要对每个数据源采集过程日志进行排查，以定位异常原因，这种排查方法不仅耗时久，效率低，且无法快速定位，及时修复问题。

由此可见，人们亟需一种在数据采集出现异常时能快速定位异常原因的方法。

发明内容

本发明解决的问题是：现有数据采集方法无法在数据采集异常时快速定位异常原因。

为解决上述问题，本发明提供一种数据采集监控方法，包括：

接收数据采集任务的配置信息；

根据所述配置信息启动所述数据采集任务；

在所述数据采集任务出现异常后记录异常数据。

可选的，所述方法还包括：

对所述异常数据进行汇总、整理并输出。

可选的，在所述数据采集任务出现异常后记录异常数据，包括：

获取所述配置信息中的数据源地址；

判断所述数据源地址是否连通；

若否，则记录数据源连通异常信息。

可选的，判断所述数据源地址是否连通之后，在所述数据采集任务出现异常后记录异常数据，还包括：

若是则获取所述配置信息中的数据源账号；

判断所述数据源是否可采集；

若所述数据源不可采集，则记录数据源账号权限异常信息。

可选的，在所述数据采集任务出现异常后记录异常数据，还包括：

待所述数据采集任务完成后，记录数据采集结果数；

获取所述配置信息中的数据量预测值；

判断所述数据采集结果数与所述数据量预测值的差值是否超过差值阈值；

若所述差值超过所述差值阈值，则记录数据采集结果数异常信息。

可选的，所述方法还包括：

待所述数据采集任务结束后，根据所述异常数据向管理员发送采集异常告警。

可选的，所述方法还包括：

对数据采集结果和所述异常数据进行界面化展示。

可选的，所述异常告警的方式包括声音提示、界面弹窗、短信通知、邮件通知、语音电话。

相对于现有技术，本发明所述的数据采集监控方法具有以下优势：

所述数据采集监控方法可在数据采集任务出现异常时记录异常数据，进而可通过查询异常数据定位异常原因，无需对每个数据源采集过程日志进行排查，从而极大的减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

本发明的另一目的在于提出一种数据采集监控装置，以解决现有数据采集方法无法在数据采集异常时快速定位异常原因的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种数据采集监控装置，包括：

信息接收单元，所述信息接收单元用于接收数据采集任务的配置信息；

任务运行单元，所述任务运行单元用于根据所述配置信息启动所述数据采集任务；

信息记录单元，所述信息记录单元用于在所述数据采集任务出现异常后记录异常数据。

所述数据采集监控装置与上述数据采集监控方法相对于现有技术所具有的优势相同，在此不再赘述。

本发明的另一目的在于提出一种计算机可读存储介质，以解决现有数据采集方法无法在数据采集异常时快速定位异常原因的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现上述任意一种数据采集监控方法。

所述计算机可读存储介质与上述数据采集监控方法相对于现有技术所具有的优势相同，在此不再赘述。

附图说明

图1为本发明实施例所述的数据采集监控方法的流程图；

图2为本发明实施例所述的步骤S3的流程图；

图3为本发明实施例所述的数据采集监控方法的另一流程图；

图4为本发明实施例所述的数据采集监控装置的示意图；

图5为本发明实施例所述的信息记录单元的示意图；

图6为本发明实施例所述的数据采集监控装置的另一示意图；

图7为本发明实施例所述的数据采集监控记录表的示意图。

附图标记说明：

10-信息接收单元；20-任务运行单元；30-信息记录单元；301-获取模块； 302-判断模块；303-记录模块；40-信息输出单元；50-告警单元；60-展示单元。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

如图1所示，其为本实施例中数据采集监控方法的流程图，其中，所述方法包括：

步骤S1，接收数据采集任务的配置信息；

步骤S2，根据所述配置信息启动所述数据采集任务；

步骤S3，在所述数据采集任务出现异常后记录异常数据；

其中，所述配置信息至少包括数据源地址和数据采集频率。每个数据源地址对应一个数据源，数据采集任务启动后，若数据采集系统与数据源地址成功连接，则可对数据源地址对应的数据源数据进行采集；步骤S2中，根据配置信息中的数据采集频率启动数据采集任务，所述配置信息还用来判断数据采集任务是否异常。

本实施例所述的定位异常原因指的是定位出错的数据源及出错的节点。

其中，数据采集任务异常可包括数据源地址异常、数据源账号登录权限异常或数据源数据质量低于预期，若根据配置信息判断数据采集任务异常，则记录异常数据，所述异常数据包含异常信息代码、异常信息提示以及异常数据源的地址，维护人员只需查看异常数据即可找到数据采集任务异常的原因。

这样，本实施例可在数据采集任务出现异常时记录异常数据，进而可通过查询异常数据定位异常原因，无需对每个数据源采集过程日志进行排查，从而极大的减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

可选的，如图3所示，所述方法还包括：

步骤S4，对所述异常数据进行汇总、整理并输出。

本实施例优选异常数据汇总、整理并输出至数据采集监控记录表，如图7 所示。从而本实施例的异常数据只包括与异常原因相关的信息，大大少于数据采集日志记录的采集过程数据量，极大的减少了维护人员的数据排查量，有利于快速定位异常原因。

可选的，如图2所示，步骤S3包括：

步骤S30，获取所述配置信息中的数据源地址；

步骤S31，判断所述数据源地址是否连通；

步骤S32，若否，则记录数据源连通异常信息。

其中，当数据采集任务启动后，数据采集系统会尝试与数据源地址进行连接，若无法连通，则代表数据源连通异常，系统记录数据源连通异常信息，包括记录异常信息提示、异常信息代码及无法连通的数据源地址；若数据源地址可连通，则继续进行所述数据采集任务，直至完成。本实施例优选输出数据源连通异常信息至数据采集监控记录表。如图7所示，可由数据源连通异常信息得知异常原因：连通异常的数据源来自于黄山市，异常信息代码为 12505，异常信息提示为连接异常。

这样，本实施例可在数据采集任务出现数据源连通异常时记录数据源连通异常信息，进而可在数据源连通异常时定位出数据采集任务异常的原因为数据源连通异常，减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

可选的，如图2所示，步骤S31之后，步骤S3还包括：

步骤S33，若是则获取所述配置信息中的数据源账号；

步骤S34，判断所述数据源是否可采集；

步骤S35，若所述数据源不可采集，则记录数据源账号权限异常信息。

其中，所述配置信息至少包括数据源地址、数据采集频率及数据源账号，数据源账号用于获取采集对应数据源数据的权限。

本实施例中，若某一数据源连通正常，即数据采集系统与数据源地址成功连接，则通过数据源账号获取采集此数据源数据的权限，若无法获得权限，则代表此数据源不可采集，即数据源账号权限异常，记录数据源账号权限异常信息，包括记录异常信息提示、异常信息代码及无法登录的数据源地址；若数据源可采集，即数据源账号权限正常，则继续进行所述数据采集任务，直至完成。本实施例优选输出数据源账号权限异常信息至数据采集监控记录表。如图7所示，可由数据源账号权限异常信息得知异常原因：账号权限异常的数据源来自于黄山市和亳州市，异常信息代码分别为1004、1017，异常信息提示分别为登陆被拒绝、无效的用户名/口令；拒绝登录。

这样，本实施例还可在数据采集任务出现数据源账号权限异常时记录数据源账号权限异常信息，进而可在数据源账号权限异常时定位出数据采集任务异常的原因为数据源账号权限异常，减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

可选的，如图2所示，步骤S3还包括：

步骤S36，待所述数据采集任务完成后，记录数据采集结果数；

步骤S37，获取所述配置信息中的数据量预测值；

步骤S38，判断所述数据采集结果数与所述数据量预测值的差值是否超过差值阈值；

步骤S39，若所述差值超过所述差值阈值，则记录数据采集结果数异常信息。

其中，步骤S36可在步骤S31之后进行，也可在步骤S34之后进行。具体的，在对开放式的数据源进行数据采集时，无需获得权限，则步骤S36在步骤S31之后进行；在对封闭式的数据源进行数据采集时，需获得权限，则步骤S36在步骤S34之后进行。

其中，所述配置信息至少包括数据源地址、数据采集频率、数据量预测值、数据采集结果数与数据量预测值的差值阈值。

本实施例中，数据采集任务完成后，若数据采集结果数与数据量预测值的差值超过差值阈值，则代表数据采集结果数异常，记录数据采集结果数异常信息，包括记录异常信息提示、异常信息代码及数据量异常的数据源地址；若数据采集结果数正确，则结束所述数据采集任务。本实施例优选输出数据采集结果数异常信息至数据采集监控记录表。如图7所示，可由数据采集结果数异常信息得知异常原因：数据采集结果数异常的数据源来自于池州市，异常信息代码为0，异常信息提示为数据量异常(数据过少)。

这样，本实施例还可在数据采集任务出现数据采集结果数异常时记录数据采集结果数异常信息，进而可在数据采集结果数异常时定位出数据采集任务异常的原因为数据采集结果数异常，减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

需要说明的是，数据采集异常包括上述数据源连通异常、数据源账号权限异常以及数据采集结果数异常，默认数据采集任务的其他环节正常，这样本实施例通过判断上述三种异常状态，基本可以定位数据采集异常的所有原因，极大的提高了数据采集出错的排查效率。

可选的，如图3所示，所述方法还包括：

步骤S5，待所述数据采集任务结束后，根据所述异常数据向管理员发送采集异常告警。

其中，所述异常数据包括数据源不可连通、数据源不可采集、数据源预期值不达标等信息中的一种。

这样，本实施例可在数据采集任务出现异常时及时告警通知管理员，有利于管理员及时知晓数据采集异常的原因，便于及时修复问题。

可选的，所述异常告警的方式包括声音提示、界面弹窗、短信通知、邮件通知、语音电话。

这里，所述配置信息还包括告警通知方式。

这样，可通过多种方式向管理员告警，选择性多、告警效果更好。

可选的，如图3所示，所述方法还包括：

步骤S6，对数据采集结果和所述异常数据进行界面化展示。

其中，数据采集结果既包括上述数据采集结果数，还包括采集时间、采集市场以及数据源标识等。

本实施例记录数据采集结果至数据采集监控记录表，对数据采集监控记录表按数据源分类，对数据采集结果、异常数据进行界面化展示。

这样，本实施例可在数据采集任务出现异常时对异常数据进行界面化展示，便于直观的看出数据采集异常的原因，有利于进一步提高数据采集出错的排查效率；还可对数据采集结果进行界面化展示，有利于用户直观的获得数据采集结果。

可选的，所述界面化展示的形式包括网页列表展示、仪表盘展示、图形化展示。

这样，可通过多种方式对数据采集结果、异常数据进行界面化展示，选择性多，适用性广。

本实施例还提供一种数据采集监控装置，如图4所示，包括：

信息接收单元10，所述信息接收单元10用于接收数据采集任务的配置信息；

任务运行单元20，所述任务运行单元20用于根据所述配置信息启动所述数据采集任务；

信息记录单元30，所述信息记录单元30用于在所述数据采集任务出现异常后记录异常数据。

其中，所述配置信息至少包括数据源地址和数据采集频率。每个数据源地址对应一个数据源，数据采集任务启动后，若数据采集系统与数据源地址成功连接，则可对数据源地址对应的数据源数据进行采集；任务运行单元20 根据配置信息中的数据采集频率启动数据采集任务，所述配置信息还用来判断数据采集任务是否异常。

本实施例所述的定位异常原因指的是定位出错的数据源及出错的节点。

其中，数据采集任务异常可包括数据源地址异常、数据源账号登录权限异常或数据源数据质量低于预期，若根据配置信息判断数据采集任务异常，则记录异常数据，所述异常数据包含异常信息代码、异常信息提示以及异常数据源的地址，维护人员只需查看异常数据即可找到数据采集任务异常的原因。

这样，本实施例的数据采集监控装置可在数据采集任务出现异常时记录异常数据，进而可通过查询异常数据定位异常原因，无需对每个数据源采集过程日志进行排查，从而极大的减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

可选的，如图6所示，所述数据采集监控装置还包括：

信息输出单元40，所述信息输出单元40用于对所述异常数据进行汇总、整理并输出。

本实施例优选异常数据汇总、整理并输出至数据采集监控记录表，如图7 所示。

这样可极大的减少维护人员的数据排查量，有利于快速定位异常原因。

可选的，如图5所示，信息记录单元30包括：

获取模块301，所述获取模块301用于获取所述配置信息中的数据源地址；

判断模块302，所述判断模块302用于判断所述数据源地址是否连通；

记录模块303，所述记录模块303用于若所述数据源地址不可连通则记录数据源连通异常信息。

其中，当数据采集任务启动后，数据采集系统会尝试与数据源地址进行连接，若无法连通，则代表数据源连通异常，系统记录数据源连通异常信息，包括记录异常信息提示、异常信息代码及无法连通的数据源地址；若数据源地址可连通，则继续进行所述数据采集任务，直至完成。本实施例优选输出数据源连通异常信息至数据采集监控记录表。如图7所示，可由数据源连通异常信息得知异常原因：连通异常的数据源来自于黄山市，异常信息代码为 12505，异常信息提示为连接异常。

这样，本实施例的信息记录单元30可在数据采集任务出现数据源连通异常时记录数据源连通异常信息，进而可在数据源连通异常时定位出数据采集任务异常的原因为数据源连通异常，减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

可选的，所述获取模块301还用于若所述数据源地址连通则获取所述配置信息中的数据源账号；

所述判断模块302还用于判断所述数据源是否可采集；

所述记录模块303还用于若所述数据源不可采集则记录数据源账号权限异常信息。

其中，所述配置信息至少包括数据源地址、数据采集频率及数据源账号，数据源账号用于获取采集对应数据源数据的权限。

本实施例中，若某一数据源连通正常，即数据采集系统与数据源地址成功连接，则通过数据源账号获取采集此数据源数据的权限，若无法获得权限，则代表此数据源不可采集，即数据源账号权限异常，记录数据源账号权限异常信息，包括记录异常信息提示、异常信息代码及无法登录的数据源地址；若数据源可采集，即数据源账号权限正常，则继续进行所述数据采集任务，直至完成。本实施例优选输出数据源账号权限异常信息至数据采集监控记录表。如图7所示，可由数据源账号权限异常信息得知异常原因：账号权限异常的数据源来自于黄山市和亳州市，异常信息代码分别为1004、1017，异常信息提示分别为登陆被拒绝、无效的用户名/口令；拒绝登录。

这样，本实施例的信息记录单元30还可在数据采集任务出现数据源账号权限异常时记录数据源账号权限异常信息，进而可在数据源账号权限异常时定位出数据采集任务异常的原因为数据源账号权限异常，减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

可选的，所述记录模块303还用于待所述数据采集任务完成后，记录数据采集结果数；

所述获取模块301还用于获取所述配置信息中的数据量预测值；

所述判断模块302还用于判断所述数据采集结果数与所述数据量预测值的差值是否超过差值阈值；

所述记录模块303还用于若所述数据采集结果数与所述数据量预测值的差值超过差值阈值则记录数据采集结果数异常信息。

其中，所述配置信息至少包括数据源地址、数据采集频率、数据量预测值、数据采集结果数与数据量预测值的差值阈值。

本实施例中，数据采集任务完成后，若数据采集结果数与数据量预测值的差值超过差值阈值，则代表数据采集结果数异常，记录数据采集结果数异常信息，包括记录异常信息提示、异常信息代码及数据量异常的数据源地址；若数据采集结果数正确，则结束所述数据采集任务。本实施例优选输出数据采集结果数异常信息至数据采集监控记录表。如图7所示，可由数据采集结果数异常信息得知异常原因：数据采集结果数异常的数据源来自于池州市，异常信息代码为0，异常信息提示为数据量异常(数据过少)。

这样，本实施例的信息记录单元30还可在数据采集任务出现数据采集结果数异常时记录数据采集结果数异常信息，进而可在数据采集结果数异常时定位出数据采集任务异常的原因为数据采集结果数异常，减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

需要说明的是，数据采集异常包括上述数据源连通异常、数据源账号权限异常以及数据采集结果数异常，默认数据采集任务的其他环节正常，这样本实施例通过判断上述三种异常状态，基本可以定位数据采集异常的所有原因，极大的提高了数据采集出错的排查效率。

可选的，如图6所示，所述数据采集监控装置还包括：

告警单元50，所述告警单元50用于待所述数据采集任务结束后，根据所述异常数据向管理员发送采集异常告警。

其中，所述异常数据包括数据源不可连通、数据源不可采集、数据源预期值不达标等信息中的一种。

这样，本实施例的数据采集监控装置可在数据采集任务出现异常时及时告警通知管理员，有利于管理员及时知晓数据采集异常的原因，便于及时修复问题。

可选的，所述异常告警的方式包括声音提示、界面弹窗、短信通知、邮件通知、语音电话。

这里，所述配置信息还包括告警通知方式。

这样，可通过多种方式向管理员告警，选择性多、告警效果更好。

可选的，如图6所示，所述数据采集监控装置还包括：

展示单元60，所述展示单元60用于对数据采集结果和所述异常数据进行界面化展示。

其中，数据采集结果既包括上述数据采集结果数，还包括采集时间、采集市场以及数据源标识等。

本实施例记录数据采集结果至数据采集监控记录表，对数据采集监控记录表按数据源分类，对数据采集结果、异常数据进行界面化展示。

这样，本实施例的数据采集监控装置可在数据采集任务出现异常时对异常数据进行界面化展示，便于直观的看出数据采集异常的原因，有利于进一步提高数据采集出错的排查效率；还可对数据采集结果进行界面化展示，有利于用户直观的获得数据采集结果。

可选的，所述界面化展示的形式包括网页列表展示、仪表盘展示、图形化展示。

这样，可通过多种方式对数据采集结果、异常数据进行界面化展示，选择性多，适用性广。

本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现上述任意一种数据采集监控方法。

这样，本实施例的计算机可读存储介质可在数据采集任务出现异常时记录异常数据，进而可通过查询异常数据定位异常原因，无需对每个数据源采集过程日志进行排查，从而极大的减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种数据采集监控方法，其特征在于，包括：

步骤S1，接收数据采集任务的配置信息；

步骤S2，根据所述配置信息启动所述数据采集任务；

步骤S3，在所述数据采集任务出现异常后记录异常数据。

2.根据权利要求1所述的数据采集监控方法，其特征在于，还包括：

步骤S4，对所述异常数据进行汇总、整理并输出。

3.根据权利要求1所述的数据采集监控方法，其特征在于，步骤S3，在所述数据采集任务出现异常后记录异常数据，包括：

步骤S30，获取所述配置信息中的数据源地址；

步骤S31，判断所述数据源地址是否连通；

步骤S32，若否，则记录数据源连通异常信息。

4.根据权利要求3所述的数据采集监控方法，其特征在于，步骤S31，判断所述数据源地址是否连通之后，步骤S3，在所述数据采集任务出现异常后记录异常数据，还包括：

步骤S33，若是则获取所述配置信息中的数据源账号；

步骤S34，判断所述数据源是否可采集；

步骤S35，若所述数据源不可采集，则记录数据源账号权限异常信息。

5.根据权利要求3或4所述的数据采集监控方法，其特征在于，步骤S3，在所述数据采集任务出现异常后记录异常数据，还包括：

步骤S36，待所述数据采集任务完成后，记录数据采集结果数；

步骤S37，获取所述配置信息中的数据量预测值；

步骤S38，判断所述数据采集结果数与所述数据量预测值的差值是否超过差值阈值；

步骤S39，若所述差值超过所述差值阈值，则记录数据采集结果数异常信息。

6.根据权利要求2所述的数据采集监控方法，其特征在于，还包括：

步骤S5，待所述数据采集任务结束后，根据所述异常数据向管理员发送采集异常告警。

7.根据权利要求2或6所述的数据采集监控方法，其特征在于，还包括：

步骤S6，对数据采集结果和所述异常数据进行界面化展示。

8.根据权利要求6所述的数据采集监控方法，其特征在于，所述异常告警的方式包括声音提示、界面弹窗、短信通知、邮件通知、语音电话。

9.一种数据采集监控装置，其特征在于，包括：

信息接收单元(10)，所述信息接收单元(10)用于接收数据采集任务的配置信息；

任务运行单元(20)，所述任务运行单元(20)用于根据所述配置信息启动所述数据采集任务；

信息记录单元(30)，所述信息记录单元(30)用于在所述数据采集任务出现异常后记录异常数据。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-8任一项所述的方法。