CN111143325A - 一种数据采集的监测方法、监测装置及可读存储介质 - Google Patents

一种数据采集的监测方法、监测装置及可读存储介质 Download PDF

Info

Publication number
CN111143325A
CN111143325A CN201911336625.4A CN201911336625A CN111143325A CN 111143325 A CN111143325 A CN 111143325A CN 201911336625 A CN201911336625 A CN 201911336625A CN 111143325 A CN111143325 A CN 111143325A
Authority
CN
China
Prior art keywords
data acquisition
information
data
sequence
acquisition operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911336625.4A
Other languages
English (en)
Other versions
CN111143325B (zh
Inventor
陈茂强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201911336625.4A priority Critical patent/CN111143325B/zh
Publication of CN111143325A publication Critical patent/CN111143325A/zh
Application granted granted Critical
Publication of CN111143325B publication Critical patent/CN111143325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323Visualisation of programs or trace data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种数据采集的监测方法、监测装置及可读存储介质,所述监测方法包括:获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;基于每一个显示序列对应的数据采集作业信息,确定当前数据采集作业的作业进程信息,并在作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。这样,可以随时发现数据采集过程中的异常情况,有助于提高数据采集监测的准确性和时效性。

Description

一种数据采集的监测方法、监测装置及可读存储介质
技术领域
本申请涉及数据处理技术领域,尤其是涉及一种数据采集的监测方法、监测装置及可读存储介质。
背景技术
随着IT应用建设的发展,数据成为了最重要的资源,无论是业务系统、应用软件、数据中心或是云计算、物联网、移动互联网、大数据、智慧城市等,均是以数据资源为核心,依托发挥数据价值而存在和发展。由于传统IT业务系统很少跨部门、跨单位、跨层级的统一规划和建设,致业务系统处于分散、独立的状况,数据资源的一致性和互用性较差,基于这些问题需要建立数据汇聚系统将数据有机地采集起来。
现阶段,针对于数据的采集过程,都是直接有数据系统在后台直接进行数据的采集,针对于操作端来说,一般直观观察到的就是数据采集结果,对于采集失败的情况,需要根据数据采集失败的情况一一去排查故障原因,影响作业效率。
发明内容
有鉴于此,本申请的目的在于提供一种数据采集监测的方法、监测装置及可读存储介质,将数据采集作业中数据采集日志记录的信息通过显示界面上对应的显示序列进行显示,将数据采集过程可视化,可以随时发现数据采集过程中的异常情况,有助于提高数据采集监测的准确性和时效性。
本申请实施例提供了一种数据采集的监测方法,所述监测方法包括:
获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;
基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;
基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
进一步的,所述显示序列包括作业数据波动序列、作业结果序列、作业进程序列中的至少一种。
进一步的,当运行信息对应的显示序列包括作业数据波动序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据量以及在所述当前数据采集作业之前预设时间间隔内的多批历史数据采集作业中每一批历史数据采集作业对应的数据量;
基于每一批历史数据采集作业对应的数据量,确定预设时间间隔内数据采集作业的平均数据量;
基于所述平均数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的相对波动率,并基于所述历史数据采集作业中作业时间最接近当前数据采集作业的历史数据采集作业对应的数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的环比波动率;
将所述相对波动率以及所述环比波动率关联至所述作业数据波动序列中与所述当前数据采集作业对应的显示节点上。
进一步的,当运行信息对应的显示序列包括作业结果序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据接入量以及预设数据计划接入量;
基于所述数据接入量以及所述预设数据计划接入量,确定所述当前数据采集作业的作业完成进度;
将所述数据接入量、预设数据计划接入量以及作业完成进度加入所述当前数据采集作业对应的数据采集日志,并将所述数据采集日志中包含的全部信息关联至与所述当前数据采集作业对应的作业结果序列上。
进一步的,当运行信息对应的显示序列包括作业进程序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
确定当前数据采集作业对应的数据采集完成率、数据采集路径以及数据总量;
将所述数据采集完成率、数据采集路径以及数据总量关联至在与所述当前数据采集作业对应的作业进程序列上。
进一步的,当运行信息对应的显示模块包括作业进程模块时,通过以下步骤生成预警信息:
获取预设相对波动率区间以及环比波动率区间;
检测所述当前数据采集作业对应的相对波动率是否属于所述预设相对波动率区间以及检测所述当前数据采集作业对应的环比波动率是否属于所述预设环比波动率区间;
若所述当前数据采集作业对应的相对波动率不属于所述预设相对波动率区间和/或所述当前数据采集作业对应的环比波动率不属于所述预设环比波动率区间,生成作业预警信息,进行预警。
本申请实施例还提供了一种数据采集的监测装置,所述监测装置包括:
信息获取模块,用于获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;
序列信息确定模块,用于基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;
预警模块,用于基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
进一步的,所述显示序列包括作业数据波动序列、作业结果序列、作业进程序列中的至少一种。
进一步的,当运行信息对应的显示序列包括作业数据波动序列时,所述序列信息确定模块通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据量以及在所述当前数据采集作业之前预设时间间隔内的多批历史数据采集作业中每一批历史数据采集作业对应的数据量;
基于每一批历史数据采集作业对应的数据量,确定预设时间间隔内数据采集作业的平均数据量;
基于所述平均数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的相对波动率,并基于所述历史数据采集作业中作业时间最接近当前数据采集作业的历史数据采集作业对应的数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的环比波动率;
将所述相对波动率以及所述环比波动率关联至所述作业数据波动序列中与所述当前数据采集作业对应的显示节点上。
进一步的,当运行信息对应的显示序列包括作业结果序列时,所述序列信息确定模块通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据接入量以及预设数据计划接入量;
基于所述数据接入量以及所述预设数据计划接入量,确定所述当前数据采集作业的作业完成进度;
将所述数据接入量、预设数据计划接入量以及作业完成进度加入所述当前数据采集作业对应的数据采集日志,并将所述数据采集日志中包含的全部信息关联至与所述当前数据采集作业对应的作业结果序列上。
进一步的,当运行信息对应的显示序列包括作业进程序列时,所述序列信息确定模块通过以下步骤确定显示序列对应的数据采集作业信息:
确定当前数据采集作业对应的数据采集完成率、数据采集路径以及数据总量;
将所述数据采集完成率、数据采集路径以及数据总量关联至在与所述当前数据采集作业对应的作业进程序列上。
进一步的,当运行信息对应的显示序列包括作业进程序列时,所述预警模块通过以下步骤生成预警信息:
获取预设相对波动率区间以及环比波动率区间;
检测所述当前数据采集作业对应的相对波动率是否属于所述预设相对波动率区间以及检测所述当前数据采集作业对应的环比波动率是否属于所述预设环比波动率区间;
若所述当前数据采集作业对应的相对波动率不属于所述预设相对波动率区间和/或所述当前数据采集作业对应的环比波动率不属于所述预设环比波动率区间,生成作业预警信息,进行预警。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的数据采集的监测方法的步骤。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述的数据采集的监测方法的步骤。
本申请实施例提供的数据采集的监测方法、监测装置及可读存储介质,获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
这样,通过获取当前数据采集作业对应的数据采集日志,并将数据采集日志中记录的多条运行信息确定显示界面中的每一个对应的显示序列的显示内容,根据显示序列中的显示内容确定数据采集作业的作业信息,监测数据采集过程,当确定数据采集过程存在异常时,生成预警信息,提示操作人员注意。可以随时发现数据采集过程中的异常情况,有助于提高数据采集监测的准确性和时效性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为一种可能的应用场景下的系统结构图;
图2为本申请实施例所提供的一种数据采集的监测方法的流程图;
图3为本申请另一实施例提供的作业数据波动序列下显示序列对应的数据采集作业信息的确定方法的流程图;
图4为本申请实施例所提供的一种数据采集的监测装置的结构示意图;
图5为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可应用于数据处理技术领域,通过获取当前数据采集作业过程中的数据采集日志和数据采集日志中的多条运行信息,基于运行信息确定对应的显示界面上的显示序列的数据采集信息,根据每个显示序列上的数据采集信息确定出的作业信息与预设作业信息的差异,确定预警信息,可以实时在数据采集过程中监测数据采集情况,提高数据采集监测的准确率和及时率。请参阅图1,图1为一种可能的应用场景下的系统结构图。如图1中所示,所述系统包括目标数据库和监测装置,其中,所述目标数据库中数据的数据量、开始时间、结束时间、执行状态以及运行时间等指标参数组成数据采集日志;所述监测装置在获取到数据采集日志后,根据数据采集日志中每条运行信息确定显示界面中的显示序列要进行显示的数据采集作业信息,并根据数据采集作业信息分析得出作业进程信息,基于所述作业进程信息与预设作业进程信息,确定预警信息,提醒操作人员对数据采集过程进行调整。
经研究发现,现阶段,针对于数据的采集过程,都是直接有数据系统在后台直接进行数据的采集,针对于操作端来说,一般直观观察到的就是数据采集结果,对于采集失败的情况,需要根据数据采集失败的情况一一去排查故障原因,影响作业效率。
基于此,本申请实施例提供了一种数据采集的监测方法,获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业信息,并在所述数据采集作业信息与预设数据采集作业信息存在差异时,生成预警信息,提示操作人员。
这样,通过获取当前数据采集作业对应的数据采集日志,并将数据采集日志中记录的多条运行信息确定显示界面中的每一个对应的显示序列的显示内容,根据显示序列中的显示内容确定数据采集作业的作业信息,监测数据采集过程,当确定数据采集过程存在异常时,生成预警信息,提示操作人员注意。可以随时发现数据采集过程中的异常情况,有助于提高数据采集监测的准确性和时效性。
请参阅图2,图2为本申请实施例所提供的一种数据采集的监测方法的流程图。如图2中所示,本申请实施例提供的检测方法,包括:
步骤201、获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息。
该步骤中,在数据采集过程中会产生记录数据采集日志,获取数据采集作业对应的数据采集日志以及数据采集日志中记录的多条运行信息。
这里,数据日志中记录的包括当前数据采集作业的数据量,数据采集开始时间、数据采集结束时间、数据采集的执行状态等信息。这些数据都会和数据采集的目标数据库关联,在数据采集作业过程中将全部数据写入目标数据库中,此时,将示例数据写入MySQL。
其中,目标数据库是在配置采集作业时确定的,所述目标数据库表示数据采集的目的地,即,接收采集数据的数据库。
步骤202、基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息。
该步骤中,根据多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,即,每一条运行信息的显示位置,并根据每一条运行信息确定每一个显示序列对应的数据采集作业信息,即,每一个显示序列对应的显示内容。
其中,所述显示序列包括作业数据波动序列、作业结果序列、作业进程序列中的至少一种。所述作业数据波动序列用来显示当前数据采集作业采集的数据量与多批历史数据采集作业的数据量的比对结果;所述作业结果序列用来显示数据采集作业的数据接入量、当前接入量、总接入量、作业成功率失败率等作业结果数据;所述作业进程序列用来描述数据采集作业的数据流转链路、数据作业进度以及在排队等待进行数据采集的作业等信息。
这里,数据的显示界面的显示内容以及在显示界面包括的子显示界面以及每一个序列需要显示的内容都是在界面的UI设计时实现设置好的。对于运行信息中每一条运行信息中的属性信息指示的运行信息对应的数据,确定每一条数据信息关联的显示序列。
其中,对于显示界面中的显示序列可以包括目标管理页面,页面中提供了基于表级数据的管理功能。在数据采集作业运行成功后,可在目标管理中查看到该表的详细信息,点击详情按钮可查看表的数据结构、预览表结构、查看表的数据波动情况等。
步骤203、基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
该步骤中,根据显示页面上每一个显示序列对应的数据采集作业信息,确定所述数据采集作业的作业信息,并将当前数据采集作业的作业信息与预设作业信息进行对比,如果当前数据采集作业的作业信息与预设作业信息存在差异,并且差异很大,需要根据产生问题的显示序列生成对应的预警信息,提醒操作人员(数据工程师)介入查看数据采集的具体情况。
这里,作业进程信息可以包括数据采集总量、数据采集作业开始至数据统计时间为止,数据接入量以及数据采集作业本身是否正常进行等信息。
这里,预设作业进程信息可以是根据历史数据采集信息确定出来的,基于每一批数据采集的数据作业进程以及数据采集过程中每个节点的数据处理情况,确定当前批次数据采集作业每个采集节点上的对应的作业进度;也可以是根据本次数据采集的数量要求、时间要求由数据工程师结合实际采集过程对每一个数据采集节点上的数据的人为设定。
其中,生成的预警信息可以通过语音界面播放给操作人员或是在显示界面上设计添加一个预警子界面,在任意显示序列显示的作业信息异常时,弹出预警子界面,在所述预警子界面中显示错误信息的位置以及发现错误时的时间等信息,方便操作人员对数据采集出错环节的定位。
进一步的,当运行信息对应的显示序列包括作业结果序列时,通过以下步骤确定显示序列对应的数据采集作业信息:获取所述当前数据采集作业中的数据接入量以及预设数据计划接入量;基于所述数据接入量以及所述预设数据计划接入量,确定所述当前数据采集作业的作业完成进度;将所述数据接入量、预设数据计划接入量以及作业完成进度加入所述当前数据采集作业对应的数据采集日志,并将所述数据采集日志中包含的全部信息关联至与所述当前数据采集作业对应的作业结果序列上。
该步骤中,通过数据日志获取在当前统计时间上,数据已经接入目标数据库的数据量以及截至到当前统计时间计划接入目标数据库的数据量,根据两者的比值可以确定出数据采集作业的作业完成进度,将在当前统计时间上的数据接入量、预计数据接入量以及作业完成进度都反写入数据库中,同时加入到数据采集日志中,显示界面的作业结果序列从数据库中读取相关信息进行显示。
这里,对于数据的接入量分为两种情况一种是全部接入,即源数据库中包含多少条数据,目标数据库就要接入多少条,例如,源数据库中共包括100万条数据,那么在全部接入时,目标数据库就要接入100万条数据;另一种是部分接入,目标数据库在接收数据时,可能会设置至少一个筛选标准对源数据库中的数据进行筛选,这时,源数据库中的全部数据不一定全部接入目标数据库,针对于上述实施例,源数据库中共包括100万条数据,在接入目标数据库时,筛选条件是单批次采集的数据,那么,此时接入目标数据库的数据条数就要减半,变成50万条。基于上述情况,预设数据接入量需要按照需要进行调整,在保证符合数据接入条件的同时,也要保证预设数据接入量的设置的合理性。
这里,作业完成进度可以是以百分率的形式存在的,即当前数据接收量与预设数据计划接收量的比值,在计算完作业进度时,针对于百分率的数值可以考虑在显示界面上设置显示进度条,以此显示数据接入的作业进度。
其中,当数据接入是以数据表的形式接入数据库时,还可以统计得到接入的总数据表数、当前接入的数据表等数据,还可以通过作业名称、作业批次、运行状态、运行时间等条件查询出需要查看的作业信息,作业信息可以通过下拉菜单列表的形式展示,展现内容有作业名称、作业批次号、运行状态、运行时间、作业日志等信息,点击相应的日志按钮,可以查看相应的数据表的日志中记载的全部信息。
这里,针对于作业结果模块在运行失败时,会弹出运行失败的界面,操作人员通过点击作业重跑按钮选择立即重跑的数据采集作业或是设置一个时间进行数据采集作业的重跑,使数据采集作业失败的批次重新进行数据采集。
进一步的,当运行信息对应的显示序列包括作业进程序列时,通过以下步骤确定显示序列对应的数据采集作业信息:确定当前数据采集作业对应的数据采集完成率、数据采集路径以及数据总量;将所述数据采集完成率、数据采集路径以及数据总量关联至在与所述当前数据采集作业对应的作业进程序列上。
该步骤中,根据目标数据库的数据接入量确定数据接入量,根据在数据采集作业之前对本次数据采集作业的配置确定数据采集路径,数据采集完成率是通过数据接入完成量和数据总量的比值确定的。
其中,数据采集路径是显示数据的采集路线的,即数据从源数据库流转到目标数据库的情况,在显示界面显示时,可以将源数据库与目标数据库之间的路径进行显示,表示数据正在对应的源数据库和目标数据库中流转。在数据流转过程中,还需要对源数据库中和目标数据库中的数据是否正常进行判断,当数据在源数据库和/或目标数据库中是正常的,源数据库和/或目标数据库位置显示为绿色,当数据在源数据库和/或目标数据库中是异常的,源数据库和/或目标数据库位置显示为红色。在数据流转过程中数据链路之间可能会存在阻塞、中断等异常,还需要根据检测数据传输链路的异常与否,选择源数据库和目标数据库之间的路径的颜色,传输链路正常选择绿色,传输链路异常选择红色。对于正在进行数据传输的源数据库和目标数据库对应的圆点为闪烁状态,没有进行数据传输的源数据库和目标数据库对应的圆点为静止状态。
这里,作业进度可以通过饼图展示已完成的作业进度及未完成的作业进度;等待运行的作业通过列表展示等待作业的作业名称,并且在数据采集作业结束后,将结束的作业从列表中删除。
本申请实施例提供的数据采集的监测方法,获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
这样,通过获取当前数据采集作业对应的数据采集日志,并将数据采集日志中记录的多条运行信息确定显示界面中的每一个对应的显示序列的显示内容,根据显示序列中的显示内容确定数据采集作业的作业信息,监测数据采集过程,当确定数据采集过程存在异常时,生成预警信息,提示操作人员注意。可以随时发现数据采集过程中的异常情况,有助于提高数据采集监测的准确性和时效性。
请参阅图3,图3为本申请另一实施例提供的作业数据波动序列下显示序列对应的数据采集作业信息的确定方法的流程图。如图3中所示,当运行信息对应的显示序列包括作业数据波动序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
步骤301、获取所述当前数据采集作业中的数据量以及在所述当前数据采集作业之前预设时间间隔内的多批历史数据采集作业中每一批历史数据采集作业对应的数据量。
该步骤中,对于每一次数据采集作业,数据采集日志都记录了每一批次作业的数据采集量,在预设统计时间间隔内,通过每一批数据采集作业的数据采集日志获取多批历史数据采集作业中每一批数据采集作业采集的数据量以及当前正在进行数据采集作业采集的数据量。
其中,与预设时间间隔可以是统计数据采集作业情况的一个周期,可以是一天、半天或者几个小时等。
其中,所述数据量指的是一批数据采集作业中采集成功的数据数量,可以是指数据条数。
步骤302、基于每一批历史数据采集作业对应的数据量,确定预设时间间隔内数据采集作业的平均数据量。
该步骤中,根据步骤301获取的多批历史数据采集作业中每一批数据采集作业对应的数据量,加和多批历史作业的数据量除以在统计的历史数据采集作业的批次数得到预设时间间隔内数据采集作业的平均数据量。
这里,在计算平均数据量是基于历史数据采集批次的,不包含当前批次的数据采集作业,可以是历史30个批次数据的平均数。
步骤303、基于所述平均数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的相对波动率,并基于所述历史数据采集作业中作业时间最接近当前数据采集作业的历史数据采集作业对应的数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的环比波动率。
该步骤中,将本次数据采集作业采集到的数据量减去步骤302计算出的平均数据量,得到相差数;将本次数据采集作业采集到的数据量减去本次数据采集作业之前在采集时间上最接近本批次数据采集作业的历史数据采集作业的数据量得到环比差;本批次数据采集作业的数据量与平均数据量的商值乘以100%得到相对波动率;本批次数据采集作业的数据量与本次数据采集作业之前在采集时间上最接近本批次数据采集作业的历史数据采集作业的数据量的商值乘以100%得到环比波动率。
例如,本次数据采集作业的数据量为100万条,根据多批历史数据采集作业对应的多个数据量计算得知平均数据量为90万条,并获得采集时间距离本次数据采集作业的历史数据采集作业的数据量为98万条,由此可以计算得知相差数为10万,环比差为2万,相对波动率为111%,环比波动率为102%。
步骤304、将所述相对波动率以及所述环比波动率关联至所述作业数据波动序列中与所述当前数据采集作业对应的显示节点上。
该步骤中,在显示界面上可以通过波浪线图形将步骤303计算出的相对波动率以及所述环比波动率显示出来,每一批次数据采集作业在波浪线图形上都对应一个数据点,将相对波动率以及所述环比波动率关联至对应的数据点上。
这里,在进行数据显示时,在显示界面上将鼠标移动到波浪线图形上对应的数据点上时,会弹出显示窗口显示对应数据采集作业批次的相差数、环比数、相对波动率以及环比波动率等数据。
进一步的,当运行信息对应的显示序列包括作业进程序列时,通过以下步骤生成预警信息:获取预设相对波动率区间以及环比波动率区间;检测所述当前数据采集作业对应的相对波动率是否属于所述预设相对波动率区间以及检测所述当前数据采集作业对应的环比波动率是否属于所述预设环比波动率区间;若所述当前数据采集作业对应的相对波动率不属于所述预设相对波动率区间和/或所述当前数据采集作业对应的环比波动率不属于所述预设环比波动率区间,生成作业预警信息,进行预警。
该步骤中,获取预设的正常波动范围内的相对波动率范围以及环比波动率范围,检测步骤302计算出来的相对波动率是否处于预设相对波动率区间内以及检测步骤302计算出来的环比波动率是否处于预设环比波动率区间内,如果存在相对波动率不在预设相对波动率区间内以及环比波动率不在预设环比波动率区间内之一的情况,确定当前数据采集作业的数据量存在异常,针对当前批次数据采集作业,生成预警信息,提示操作人员查看数据采集过程,排除异常情况。
这里,相对波动率不在预设相对波动率区间内以及环比波动率不在预设环比波动率区间内包括:相对波动率小于相对波动率区间的起始相对波动率以及相对波动率大于相对波动率区间的终止相对波动率;环比波动率小于环比波动率区间的起始环比波动率以及环比波动率大于环比波动率区间的终止环比波动率。
本申请实施例提供的数据采集的监测方法,获取所述当前数据采集作业中的数据量以及在所述当前数据采集作业之前预设时间间隔内的多批历史数据采集作业中每一批历史数据采集作业对应的数据量;基于每一批历史数据采集作业对应的数据量,确定预设时间间隔内数据采集作业的平均数据量;基于所述平均数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的相对波动率,并基于所述历史数据采集作业中作业时间最接近当前数据采集作业的历史数据采集作业对应的数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的环比波动率;将所述相对波动率以及所述环比波动率关联至所述作业数据波动序列中与所述当前数据采集作业对应的显示节点上。
这样,在作业数据波动序列中,根据当前数据采集作业中的数据量以及预设时间间隔内多批历史数据采集作业对应的多个数据量,确定本次数据采集作业的相对波动率以及环比波动率,根据所述相对波动率以及所述环比波动率确定本次数据采集的波动情况,可以根据数据波动情况及时查看异常原因,有助于提高数据采集的准确率和异常定位处理的效率。
请参阅图4,图4为本申请实施例所提供的一种数据采集的监测装置的结构示意图。如图4中所示,所述监测装置400包括:
信息获取模块410,用于获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息。
序列信息确定模块420,用于基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息。
预警模块430,用于基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
进一步的,所述显示序列包括作业数据波动序列、作业结果序列、作业进程序列中的至少一种。
进一步的,当运行信息对应的显示序列包括作业数据波动序列时,所述序列信息确定模块420通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据量以及在所述当前数据采集作业之前预设时间间隔内的多批历史数据采集作业中每一批历史数据采集作业对应的数据量;
基于每一批历史数据采集作业对应的数据量,确定预设时间间隔内数据采集作业的平均数据量;
基于所述平均数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的相对波动率,并基于所述历史数据采集作业中作业时间最接近当前数据采集作业的历史数据采集作业对应的数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的环比波动率;
将所述相对波动率以及所述环比波动率关联至所述作业数据波动序列中与所述当前数据采集作业对应的显示节点上。
进一步的,当运行信息对应的显示序列包括作业结果序列时,所述序列信息确定模块420通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据接入量以及预设数据计划接入量;
基于所述数据接入量以及所述预设数据计划接入量,确定所述当前数据采集作业的作业完成进度;
将所述数据接入量、预设数据计划接入量以及作业完成进度加入所述当前数据采集作业对应的数据采集日志,并将所述数据采集日志中包含的全部信息关联至与所述当前数据采集作业对应的作业结果序列上。
进一步的,当运行信息对应的显示序列包括作业进程序列时,所述序列信息确定模块420通过以下步骤确定显示序列对应的数据采集作业信息:
确定当前数据采集作业对应的数据采集完成率、数据采集路径以及数据总量;
将所述数据采集完成率、数据采集路径以及数据总量关联至在与所述当前数据采集作业对应的作业进程序列上。
进一步的,当运行信息对应的显示序列包括作业进程序列时,所述预警模块430通过以下步骤生成预警信息:
获取预设相对波动率区间以及环比波动率区间;
检测所述当前数据采集作业对应的相对波动率是否属于所述预设相对波动率区间以及检测所述当前数据采集作业对应的环比波动率是否属于所述预设环比波动率区间;
若所述当前数据采集作业对应的相对波动率不属于所述预设相对波动率区间和/或所述当前数据采集作业对应的环比波动率不属于所述预设环比波动率区间,生成作业预警信息,进行预警。
本申请实施例提供的数据采集的监测装置,获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
这样,通过获取当前数据采集作业对应的数据采集日志,并将数据采集日志中记录的多条运行信息确定显示界面中的每一个对应的显示序列的显示内容,根据显示序列中的显示内容确定数据采集作业的作业信息,监测数据采集过程,当确定数据采集过程存在异常时,生成预警信息,提示操作人员注意。可以随时发现数据采集过程中的异常情况,有助于提高数据采集监测的准确性和时效性。
请参阅图5,图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示,所述电子设备500包括处理器510、存储器520和总线530。
所述存储器520存储有所述处理器510可执行的机器可读指令,当电子设备500运行时,所述处理器510与所述存储器520之间通过总线530通信,所述机器可读指令被所述处理器510执行时,可以执行如上述图2以及图3所示方法实施例中的数据采集的监测方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图2以及图3所示方法实施例中的数据采集的监测方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据采集的监测方法,其特征在于,所述监测方法包括:
获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;
基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;
基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
2.根据权利要求1所述的监测方法,其特征在于,所述显示序列包括作业数据波动序列、作业结果序列、作业进程序列中的至少一种。
3.根据权利要求2所述的监测方法,其特征在于,当运行信息对应的显示序列包括作业数据波动序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据量以及在所述当前数据采集作业之前预设时间间隔内的多批历史数据采集作业中每一批历史数据采集作业对应的数据量;
基于每一批历史数据采集作业对应的数据量,确定预设时间间隔内数据采集作业的平均数据量;
基于所述平均数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的相对波动率,并基于所述历史数据采集作业中作业时间最接近当前数据采集作业的历史数据采集作业对应的数据量以及所述当前数据采集作业中的数据量,确定所述当前数据采集作业对应的环比波动率;
将所述相对波动率以及所述环比波动率关联至所述作业数据波动序列中与所述当前数据采集作业对应的显示节点上。
4.根据权利要求2所述的监测方法,其特征在于,当运行信息对应的显示序列包括作业结果序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
获取所述当前数据采集作业中的数据接入量以及预设数据计划接入量;
基于所述数据接入量以及所述预设数据计划接入量,确定所述当前数据采集作业的作业完成进度;
将所述数据接入量、预设数据计划接入量以及作业完成进度加入所述当前数据采集作业对应的数据采集日志,并将所述数据采集日志中包含的全部信息关联至与所述当前数据采集作业对应的作业结果序列上。
5.根据权利要求2所述的监测方法,其特征在于,当运行信息对应的显示序列包括作业进程序列时,通过以下步骤确定显示序列对应的数据采集作业信息:
确定当前数据采集作业对应的数据采集完成率、数据采集路径以及数据总量;
将所述数据采集完成率、数据采集路径以及数据总量关联至在与所述当前数据采集作业对应的作业进程序列上。
6.根据权利要求2所述的监测方法,其特征在于,当运行信息对应的显示序列包括作业进程序列时,通过以下步骤生成预警信息:
获取预设相对波动率区间以及环比波动率区间;
检测所述当前数据采集作业对应的相对波动率是否属于所述预设相对波动率区间以及检测所述当前数据采集作业对应的环比波动率是否属于所述预设环比波动率区间;
若所述当前数据采集作业对应的相对波动率不属于所述预设相对波动率区间和/或所述当前数据采集作业对应的环比波动率不属于所述预设环比波动率区间,生成作业预警信息,进行预警。
7.一种数据采集的监测装置,其特征在于,所述监测装置包括:
信息获取模块,用于获取当前数据采集作业对应的数据采集日志,以及所述数据采集日志中的多条运行信息;
序列信息确定模块,用于基于所述多条运行信息,确定与每一条运行信息对应的显示界面中的显示序列,并基于对应的每一条运行信息确定每一个显示序列对应的数据采集作业信息;
预警模块,用于基于每一个显示序列对应的数据采集作业信息,确定所述当前数据采集作业的作业进程信息,并在所述作业进程信息与预设作业进程信息存在差异时,生成预警信息,提示操作人员。
8.根据权利要求7所述的监测装置,其特征在于,所述显示序列包括作业数据波动序列、作业结果序列、作业进程序列中的至少一种。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项所述的数据采集的监测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6中任一项所述的数据采集的监测方法的步骤。
CN201911336625.4A 2019-12-23 2019-12-23 一种数据采集的监测方法、监测装置及可读存储介质 Active CN111143325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336625.4A CN111143325B (zh) 2019-12-23 2019-12-23 一种数据采集的监测方法、监测装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336625.4A CN111143325B (zh) 2019-12-23 2019-12-23 一种数据采集的监测方法、监测装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111143325A true CN111143325A (zh) 2020-05-12
CN111143325B CN111143325B (zh) 2023-11-03

Family

ID=70519482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336625.4A Active CN111143325B (zh) 2019-12-23 2019-12-23 一种数据采集的监测方法、监测装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111143325B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363848A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 移动终端远程控制方法、装置、计算机设备和存储介质
CN113485885A (zh) * 2021-06-22 2021-10-08 浪潮卓数大数据产业发展有限公司 一种基于InfluxDB数据库的数据采集监控方法、设备及介质
CN114154962A (zh) * 2021-12-07 2022-03-08 中国建设银行股份有限公司 批处理监控方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017098599A1 (ja) * 2015-12-09 2017-06-15 株式会社島津製作所 分析情報管理システム
CN107015901A (zh) * 2016-01-28 2017-08-04 苏宁云商集团股份有限公司 一种日志分析方法及装置
US20190079821A1 (en) * 2017-09-13 2019-03-14 Tmaxsoft Co., Ltd Technique for Processing Fault Event of IT System
CN109818787A (zh) * 2019-01-21 2019-05-28 苏州科达科技股份有限公司 业务异常检测方法、装置及存储介质
CN110515792A (zh) * 2019-07-23 2019-11-29 平安科技(深圳)有限公司 基于web版任务管理平台的监控方法、装置以及计算机设备
CN110532146A (zh) * 2019-07-17 2019-12-03 安徽航天信息有限公司 一种数据采集监控方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017098599A1 (ja) * 2015-12-09 2017-06-15 株式会社島津製作所 分析情報管理システム
CN107015901A (zh) * 2016-01-28 2017-08-04 苏宁云商集团股份有限公司 一种日志分析方法及装置
US20190079821A1 (en) * 2017-09-13 2019-03-14 Tmaxsoft Co., Ltd Technique for Processing Fault Event of IT System
CN109818787A (zh) * 2019-01-21 2019-05-28 苏州科达科技股份有限公司 业务异常检测方法、装置及存储介质
CN110532146A (zh) * 2019-07-17 2019-12-03 安徽航天信息有限公司 一种数据采集监控方法及装置
CN110515792A (zh) * 2019-07-23 2019-11-29 平安科技(深圳)有限公司 基于web版任务管理平台的监控方法、装置以及计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363848A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 移动终端远程控制方法、装置、计算机设备和存储介质
CN112363848B (zh) * 2020-10-23 2024-07-19 岭东核电有限公司 移动终端远程控制方法、装置、计算机设备和存储介质
CN113485885A (zh) * 2021-06-22 2021-10-08 浪潮卓数大数据产业发展有限公司 一种基于InfluxDB数据库的数据采集监控方法、设备及介质
CN114154962A (zh) * 2021-12-07 2022-03-08 中国建设银行股份有限公司 批处理监控方法、装置及设备

Also Published As

Publication number Publication date
CN111143325B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US8352867B2 (en) Predictive monitoring dashboard
CN111143325B (zh) 一种数据采集的监测方法、监测装置及可读存储介质
CN109146381A (zh) 物流数据监控方法、装置、电子设备及计算机存储介质
CN109407984B (zh) 一种存储系统性能监测方法、装置和设备
WO2017104119A1 (ja) ログ分析システム、方法およびプログラム
AU2014201115A1 (en) Manufacturing quality inspection and analytics system
CN112817843A (zh) 项目管理方法和系统
JP5989194B1 (ja) テスト管理システムおよびプログラム
CN114303134A (zh) 用于维护视觉一致性的方法、装置和计算机可读介质
US20240045795A1 (en) Software testing with reliability metric
JP5017434B2 (ja) 情報処理装置およびプログラム
US8543552B2 (en) Detecting statistical variation from unclassified process log
CN114511235A (zh) 流程评估方法及系统
US9262731B1 (en) Service ticket analysis using an analytics device
CN114124743B (zh) 一种数据应用全链路检查规则执行方法及系统
US20090292742A1 (en) System, Method, and Computer Readable Media for Identifying a Log File Record in a Log File
JP6975086B2 (ja) 品質評価方法および品質評価装置
WO2020202433A1 (ja) 情報処理装置およびapi使用履歴表示プログラム
JP2009009342A (ja) 情報処理装置およびプログラム
CN111143216A (zh) 质量报告的生成方法、装置、设备及计算机可读存储介质
JP6798504B2 (ja) ログ分析システム、ログ分析方法及びプログラム
CN115718658A (zh) 一种时效优化方法及装置
CN110502404B (zh) 一种基于数据治理平台的预警处理方法及相关设备
JP2006311572A (ja) テレコミュニケーション・ネットワークの試験装置及び方法
KR102060643B1 (ko) 무기체계 소프트웨어 신뢰성 추정 방법, 무기체계 소프트웨어 신뢰성 관리 방법 및 장치, 이를 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant