CN111782901A - 数据采集方法以及装置 - Google Patents

数据采集方法以及装置 Download PDF

Info

Publication number
CN111782901A
CN111782901A CN202010843247.5A CN202010843247A CN111782901A CN 111782901 A CN111782901 A CN 111782901A CN 202010843247 A CN202010843247 A CN 202010843247A CN 111782901 A CN111782901 A CN 111782901A
Authority
CN
China
Prior art keywords
acquisition
item
target
collection
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010843247.5A
Other languages
English (en)
Other versions
CN111782901B (zh
Inventor
于晨晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010843247.5A priority Critical patent/CN111782901B/zh
Publication of CN111782901A publication Critical patent/CN111782901A/zh
Application granted granted Critical
Publication of CN111782901B publication Critical patent/CN111782901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书实施例提供数据采集方法以及装置，其中所述数据采集方法包括：在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，本方案可以应用于监管或者合规领域。

Description

数据采集方法以及装置
技术领域
本说明书实施例涉及合规数据管理领域，特别涉及数据采集方法以及装置。
背景技术
随着互联网的发展，线上业务越来越多元化，也越来越复杂化，针对业务的业务数据也越来越多样化，而不同的业务数据，对采集的要求也不同，目前针对大量不同的业务数据的采集缺乏规范性，因此需要提供更可靠的方案。
发明内容
有鉴于此，本说明书实施例提供了一种数据采集方法。本说明书一个或者多个实施例同时涉及一种数据采集装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
本说明书实施例的第一方面，提供了一种数据采集方法，包括：
在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
可选的，所述数据采集方法，还包括：
接收针对目标采集项的采集申请，其中，所述采集申请携带所述采集申请的申请时间、所述目标采集项的对应的目标采集频度以及目标采集时效；
基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期；
根据所述第一采集日期、所述目标采集频度以及所述目标采集时效，生成所述目标采集项对应的目标采集配置项；
将所述目标采集配置项添加至所述采集配置列表。
可选的，所述基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期，包括：
基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效，确定针对所述目标采集项的第一目标采集业务时间；
根据所述第一目标采集业务时间以及所述目标采集时效，确定所述第一采集日期。
可选的，所述根据所述第一目标采集业务时间以及所述目标采集时效，确定所述第一采集日期步骤执行之前，还包括：
调用所述目标采集项对应的目标采集任务，对所述目标采集项的目标业务数据进行采集，其中，所述目标业务数据的第二目标采集业务时间基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效进行确定。
可选的，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之前，还包括：
将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
相应的，所述对所述采集配置项对应的采集项的业务数据进行采集，包括：
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
通过执行所述选取的采集任务，对所述采集配置项对应的采集项的业务数据进行采集。
可选的，所述通过执行所述选取的采集任务，对所述采集配置项对应的采集项的业务数据进行采集，包括：
根据所述选取的采集任务对应的采集模式，确定所述采集模式对应的采集引擎；
通过调用所述采集引擎，对所述采集配置项对应的采集项的业务数据进行采集。
可选的，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之后，还包括：
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
可选的，所述在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务步骤执行之后，还包括：
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒。
可选的，所述在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项步骤执行之前，还包括：
创建针对所述预设时间节点的定时任务；
通过所述定时任务的计时器对所述预设时间节点进行监测。
可选的，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之后，还包括：
在采集成功的情况下，将采集获得的业务数据插入数据表进行存储；
接收针对所述数据表的查询指令；
基于所述查询指令携带的查询条件，对所述数据表中的业务数据进行获取并展示。
可选的，所述业务数据的采集业务时间，基于所述采集日期、所述采集频度以及所述采集项对应的采集时效进行确定；
或，所述采集业务时间，被配置在所述采集项对应的采集配置项中；
相应的，所述根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期，包括：
所述根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期以及下一采集业务时间；
所述基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，包括：
基于所述下一采集日期以及所述下一采集业务时间，对所述采集项对应的采集配置项中的所述采集日期以及所述采集业务时间进行更新。
本说明书实施例的第二方面，提供了一种数据采集装置，包括：
筛选模块，被配置为在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
采集模块，被配置为通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
确定模块，被配置为在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
更新模块，被配置为基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据采集方法的步骤。
本说明书提供一种数据采集方法，在监测到达预设时间节点的情况下，根据预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项，并通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集，实现了以一个时间节点作为出发点，对各种业务数据进行采集，且在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期，并基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，以便下一次对业务数据进行采集，实现了对业务数据规范化周期性地进行数据采集。
附图说明
图1是本说明书一个实施例提供的一种数据采集方法的处理流程图；
图2是本说明书一个实施例提供的一种应用于采集业务指标数据的数据采集方法的处理流程图；
图3是本说明书一个实施例提供的一种数据采集装置的示意图；
图4是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书中，提供了一种数据采集方法，本说明书一个或者多个实施例同时涉及一种数据采集装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
本说明书提供的一种数据采集方法实施例如下：
图1示出了根据本说明书一个实施例提供的一种数据采集方法的处理流程图，具体包括以下步骤：
步骤102，在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项。
实际应用中，由于业务的多元化以及复杂性，业务数据也越来越多样，而不同的业务数据通常存在不同的业务采集要求，为了更好地对多种业务数据进行规范化的采集，实现采集的标准化，本说明书实施例，按照业务数据的采集频度等采集信息，对业务数据进行规范化采集。
具体的，所述业务数据，包括游戏业务数据、交易业务数据、审批业务数据、业务指标数据等，在此不做限制，其中，所述业务指标数据，是指用于衡量或监管各个业务方面的指标数据，通过指标数据可以体现业务的好坏或者业务是否合规等，比如交易量、用户量等；所述采集频度，可以理解为对业务数据的采集周期，比如，日、周、月、季度、年等。
所述预设时间节点，是指预设的周期性的执行采集任务的时间点；监测到达预设时间节点的情况，是指监测到系统的当前时间到达预设时间节点的情况；而所述采集配置列表，用于存储采集配置项，通常一种业务数据对应一条采集配置项，采集配置项用于对采集业务数据的采集详情信息进行配置，具体的采集详情信息包括：采集项，采集日期，采集频度、采集时效等，在此不做限制。
具体实施时，根据预设时间节点，在采集配置列表中筛选采集配置项，是指在采集配置列表中，筛选出采集日期与预设时间点临近的采集配置项，比如采集日期为预设时间节点当天等。
以对业务指标数据的采集为例，预设时间节点为每天00：00，在监测到达00：00的情况下，此次预设时间节点00：00为2019/07/05日的00：00，则该预设时间节点对应的采集日期为2019/07/05日，在采集配置列表中筛选出了采集日期为2019/07/05日的100条采集配置项。
具体实施时，为了保障对业务数据采集的稳定性，以及对业务数据的采集时间进行统一规划，本说明书实施例提供的一种可选实施方式中，在筛选出至少一条采集配置项步骤执行之前，通过创建定时任务定时监测预设时间节点，具体通过如下方式实现：
创建针对所述预设时间节点的定时任务；
通过所述定时任务的计时器对所述预设时间节点进行监测。
实际应用中，为了避免对业务数据的采集占用大量的系统资源，导致其他应用程序的执行速度变慢，定时任务的预设时间节点，一般在应用程序的执行量较少的时间段内进行选取，比如：每天凌晨00：00，或凌晨01：00等，在此不做限制。
具体的，通过定时采集任务的计时器对预设时间节点进行监测，是指持续地监测预设时间节点，以便周期性地在预设时间节点进行数据采集，比如在每日、每周、每月、每季度、每年的某一时间点进行数据采集。
沿用上例，在针对每天的凌晨00：00进行监测之前，创建了针对每天凌晨00：00的定时任务，通过定时任务中的计时器对每天凌晨00：00进行监测。
步骤104，通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集。
具体实施时，在上述筛选出采集配置项的情况下，基于采集配置项生成针对采集项的采集任务，以便通过采集任务对采集项的业务数据进行采集，比如，针对筛选出的100条采集配置项，生成针对100条采集配置项对应的100个采集项的100个采集任务，而所述采集项，可以理解为一种业务数据。
可选的，所述业务数据的采集业务时间，基于所述采集日期、所述采集频度以及所述采集项对应的采集时效进行确定；
和/或，所述采集业务时间，被配置在所述采集项对应的采集配置项中；
实际应用中，由于业务数据是随着业务进行不断新增的，而周期性地对业务数据进行采集时，不需要每次采集全量的业务数据，只需要按照采集频度，采集一个采集周期内创建和/或更新的业务数据即可，具体的，所述采集业务时间，可以是采集任务所要采集的业务数据中，业务数据的创建和/或更新时间的最大业务时间和/或最小业务时间。
即，采集业务时间为最大业务时间的情况下，采集业务时间的计算方式如下：
其中，采集业务时间＝采集日期-采集时效，其中，采集业务时间截取采集频度的最后一个表示单位。
具体实施时，采集频度的最后一个表示单位，是指若采集频度为天，则采集频度的最后一个表示单位为天，采集频度为周，则采集频度(周)的最后一天作为表示单位，即其最后一表示单位为周的最后一天，采集频度为月，则采集频度的最后一个表示单位为月，采集频度为季，则采集频度(季)的最后一个月作为表示单位，即其最后一个表示单位为季度的最后一个月，采集频度为年，则采集频度的最后一个表示单位为年。
由于在采集业务数据时，无需在该采集周期的最后时间采集该周期的业务数据，可以保留一个采集缓冲期，即采集时效，比如，欲采集2019/06/30日的业务数据，但无需在2019/06/30日的24:00对该业务数据进行采集，可以为采集日期保留一个采集缓冲期，比如5天，则采集2019/06/30日的业务数据的采集日期为2019/06/30加5天，即采集日期为2019/07/05日。
进一步的，在确定采集项的采集日期、采集频度以及采集周期的基础上，则可计算获得欲采集的业务数据的采集业务时间，比如，针对采集项1，其采集频度为7天(即1周)，当前的采集日期为2019/07/05日，采集时效为5天，则可以确定当前采集日期2019/07/05日，所要采集的业务数据的最大业务时间为：2019/07/05-5天＝2019/06/30，最小业务时间为2019/07/05-5天-7天+1天＝2019/06/24；即针对采集项1，在采集日期2019/07/05日，所采集的业务数据的业务时间区间为[2019/06/24，2019/06/30]，表明要采集在2019/06/24和2019/06/30之间的时间段内新创建或更新的业务数据。
实际应用中，为了避免每次对采集项对应的采集业务时间进行计算，可以直接将采集业务时间配置在采集项对应的采集配置项中，以便采集任务直接获取并进行相应的采集。
实际应用中，由于生成的采集任务可能是多个，为了保障生成的采集任务有序地执行采集，本说明书实施例提供的一种可选实施方式中，在生成采集任务之后，将采集任务添加至采集任务列表，并通过任务状态对采集任务的执行情况进行标识，具体采用如下方式实现：
将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
相应的，所述通过执行所述采集任务，对所述采集项的业务数据进行采集，包括：
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
通过执行所述选取的采集任务，对所述采集配置项对应的采集项的业务数据进行采集。
具体实施时，将生成的采集任务添加至采集任务列表后，可以按照预设时间间隔，比如每隔5分钟，在采集任务列表中筛选出预设数量的，任务状态为初始状态的采集任务，并将选取出的采集任务的采集状态从初始状态更新为处理状态，并通过采集任务对业务数据进行采集，其中任务状态，包括：初始状态，处理状态、成功状态、失败状态等，在此不做限制。
沿用上例，在上述生成采集任务的基础上，将生成的100个采集任务添加至采集任务列表中，并将这100个采集任务的任务状态设置为初始状态；在预设时间间隔为5分钟，预设数量为20的情况下，每隔5分钟，在采集任务列表中选取20个采集任务，将这20个采集任务的任务状态从初始状态更新为处理状态，并依次执行这20个采集任务，对这20个采集任务对应的20个采集项的业务数据进行采集。
具体实施时，由于业务数据的多样性，其存储方式也是不同的，基于不同的存储方式，其采集方式也是不同的，通过对不同采集方式的配置，选取不同的采集方法，进一步规范了对多种业务数据进行采集的采集流程，本说明书实施例提供的一种可选实施方式中，针对不同存储方式的业务数据，采用不同的采集方式进行采集，具体采用如下方式实现：
根据所述选取的采集任务对应的采集模式，确定所述采集模式对应的采集引擎；
通过调用所述采集引擎，对所述采集配置项对应的采集项的业务数据进行采集。
实际应用中，由于业务数据的存储方式不同的，比如，以文件形式存储，或以数据库表的形式存储等，而不同的存储方式，需要采用不同的采集方法进行采集，本说明书实施例，通过对不同存储形式的业务数据配置相应的采集模式，再根据采集模式，选取对应的采集引擎进行数据采集，提升了数据采集效率，保障了数据采集的稳定性。
比如，采集任务A对应的采集模式为报表采集模式，则确定报表采集模式对应的采集引擎为报表采集引擎，通过调用报表采集引擎对采集任务A，对采集项1中业务时间区间为[2019/06/24，2019/06/30]的业务数据进行采集。
进一步的，在对业务数据进行采集的基础上，可能存在采集不成功的情况，本说明书实施例提供的一种可选实施方式中，通过对采集任务的采集时长进行监控，获得超时的采集任务，具体采用如下方式实现：
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
具体的，为了及时获知采集超时的采集任务，按照特定的时间间隔(即第二预设时间间隔)比如1小时，监测采集任务列表中采集任务的采集时长，超过预设采集时长的目标采集任务，即超时的采集任务。
实际应用中，采集时长，是采集任务的执行时长；预设采集时长，是指根据针对采集项的数据量以及采集经验，预先设置的最长的采集时长，若采集任务的采集时长超过预设的采集时长，则表明采集任务可能出现了异常，将该采集任务作为目标采集任务，若采集任务的采集时长未超过预设的采集时长，表明该采集任务为执行正常的采集任务。
比如，每隔1个小时，对采集任务列表中的采集任务进行监测，若针对采集任务B的预设采集时长为20分钟，而采集任务B的采集时长为35分钟，则采集任务B的采集时长超过预设采集时长，将采集任务B作为目标采集任务。
在上述监测出目标采集任务(即超时任务)的基础上，将其任务状态更新为初始状态，以便再次执行此目标采集任务，增加了采集任务执行的成功率，并针对超时的采集任务进行异常提醒，以便针对相关人员对异常情况进行查看，提高了采集任务执行的稳定性，本说明书实施例提供的一种可选实施方式中，所述在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务步骤执行之后，还包括：
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒。
实际应用中，在检测到目标采集任务的情况下，将目标采集任务的任务状态，从处理状态更新为初始状态，并将目标采集任务的执行次数加一，是为了针对目标采集任务进行再次执行。
其中，所述异常信息，是指目标采集任务的异常详情信息，包括：目标采集任务的任务名称/或标识、执行次数、采集时长等，在此不做限制，并根据异常信息，进行异常提醒，具体的异常提醒的方式是多种多样的，比如短信信息，通信程序提醒等，在此不做限制。
沿用上例，在检测到采集任务B为目标采集任务的情况下，将采集任务B的任务状态从处理状态更新为初始状态，而采集任务B的执行次数为一，将此执行次数加一，则采集任务B的执行次数为二次，并生成采集任务B的异常信息为：“采集任务B的第一次采集时长为30分钟，执行次数为二”，并向采集处理人员发送异常提醒为：“采集任务B的第一次采集时长为30分钟，当前的执行次数为二，请查看”。
步骤106，在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期。
在上述对业务数据进行采集的基础上，存在采集成功的情况，则在采集成功的情况下，根据采集项对应的采集频度，确定针对采集项的下一次的采集日期即下一采集日期，以及下一次针对采集项的业务数据的采集业务时间区间，以便对采集项对应的采集配置项进行更新，为下一次的采集做准备。
在业务数据的采集业务时间，被配置在所述采集项对应的采集配置项中的情况下，避免了每次针对业务数据计算采集业务时间，并增加采集效率，本说明书实施例提供的一种可选实施方式中，在数据采集之后，还需要确定下一采集业务时间，具体采用如下方式实现：
所述根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期以及下一采集业务时间。
具体的，下一采集时间＝采集日期+采集频度；
下一采集业务时间＝采集业务时间+采集频度。
沿用上例，当前的采集日期为2019/07/05，采集任务A针对采集项1采集成功的情况下，根据采集项1对应的采集频度为7天，采集业务时间为[2019/06/24，2019/06/30]，则将采集日期以及采集业务时间的两个时间端点分别加7天，确定针对采集项1的下一采集日期为2019/07/12，下一采集业务时间为[2019/06/31，2019/07/07]。
具体实施时，在对业务数据采集成功的情况下，需要对采集获得的业务数据进行存储，以便对采集的业务数据进行查看或使用，本说明书实施例提供的一种可选实施方式中，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之后，还包括：
在采集成功的情况下，将采集获得的业务数据插入数据表进行存储；
接收针对所述数据表的查询指令；
基于所述查询指令携带的查询条件，对所述数据表中的业务数据进行获取并展示。
实际应用中，所述数据表可以是一个也可以是多个，在此不做限制，若数据表为多个的情况下，则将业务数据插入对应的数据表进行存储，若数据表为一个的情况下，则将业务数据全部插入一个数据表进行存储。
以业务指标数据为例，由于业务指标数据的数据量不大，则将采集获得的不同的业务指标数据，存储与指标明细表中，并在接收到针对某一指标的查询指令时，可以根据查询指令中携带的指标名称或指标标识，在指标明细表中获取该指标名称或指标标识对应的业务指标数据进行展示。
步骤108，基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
具体的，在上述确定下一采集日期的基础上，对采集配置项中的所述采集日期进行更新，以便根据下一采集日期进行下一次数据采集。
在业务数据的采集业务时间，被配置在所述采集项对应的采集配置项中，并确定下一采集日期以及下一采集业务时间的情况下，为了避免每次针对业务数据计算采集业务时间，并为了增加采集效率，本说明书实施例提供的一种可选实施方式中，所述基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，具体采用如下方式实现：
基于所述下一采集日期以及所述下一采集业务时间，对所述采集项对应的采集配置项中的所述采集日期以及所述采集业务时间进行更新。
沿用上例，通过下一采集日期2019/07/12更新采集项1对应的采集配置项的采集日期2019/07/05，并通过下一采集业务时间[2019/07/01，2019/07/07]，更新该采集配置项中的采集业务时间[2019/06/23，2019/07/30]。
实际应用中，还存在重新上线一种业务数据或新增一种业务数据的情况，对于新增的这种业务数据，要对其进行采集时，需要建立针对这种业务数据的采集配置项，以实现以统一的入口对业务数据进行采集，并规范针对新增业务数据的采集，本说明书实施例提供的一种可选实施方式中，针对新增的采集需求，建立采集配置项，具体通过如下方式实现：
接收针对目标采集项的采集申请，其中，所述采集申请携带所述采集申请的申请时间、所述目标采集项的对应的目标采集频度以及目标采集时效；
基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期；
根据所述第一采集日期、所述目标采集频度以及所述目标采集时效，生成所述目标采集项对应的目标采集配置项；
将所述目标采集配置项添加至所述采集配置列表。
其中，所述目标采集项，与采集项类似，是指一种业务数据，针对此新上线的业务数据进行采集申请，采集申请中携带申请时间(也可以理解维申请日期)，以及目标采集频度和目标采集时效，实际应用中，目标采集频度以及目标采集时效，是根据目标采集项的业务数据的采集需求进行确定的，在此基础上结合申请时间，即可确定针对目标采集项的第一采集日期，即加入采集任务配置列表后第一次的采集日期；
并将目标采集项的第一采集日期，目标采集频度以及采集时效，作为目标采集项的采集详细信息，生成目标采集配置项，且将目标采集配置项添加至采集配置列表，以便在第一采集日期，生成相应的采集任务进行数据采集。
具体实施时，根据申请时间，采集频度以及采集时效，对目标采集项的第一采集日期进行规范，实现了对业务数据通过统一采集，本说明书实施例提供的一种可选实施方式中，所述基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期，具体采用如下方式实现：
基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效，确定针对所述目标采集项的第一目标采集业务时间；
根据所述第一目标采集业务时间以及所述目标采集时效，确定所述第一采集日期。
具体实施时，第一采集业务时间＝(申请时间-目标采集时效)所属目标采集频度最后一个表示单位-一个目标采集频度；
其中，将申请时间与目标采集时效之差，取值所述目标采集项所属的目标采集频度的最后一个表示单位，比如，目标采集频度为天，则目标采集频度的最后一个表示单位为天，目标采集频度为周，则目标采集频度(周)的最后一天作为表示单位，即其表示单位为周的最后一天，目标采集频度为月，则目标采集频度的最后一个表示单位为月，目标采集频度为季，则目标采集频度(季)的最后一个月作为表示单位，即其表示单位季度的最后一个月，目标采集频度为年，则目标采集频度的最后一个表示单位为年。
第一目标采集业务时间＝第一采集业务时间+一个目标采集频度；
第一采集日期＝第一目标采集业务时间(期末)+目标指标时效，其中，期末，表示对第一目标采集业务时间取值该时间的最后一天，比如第一目标采集业务时间为2019/06，取值期末，即表示取值2019年6月的最后一天，则第一目标采集业务时间的期末取值为2019/05/31。
具体的，第一采集业务时间，为针对目标采集项进行正常采集流程之后(即目标采集项对应的目标采集配置项加入采任务列表后)的上一次的采集业务时间；第一目标采集日期为针对目标采集项进行正常采集流程后(即目标采集项对应的目标采集配置项加入采任务列表后)的第一次的采集日期，所述第一采集日期为针对目标采集项进行正常采集流程后(即目标采集项对应的目标采集配置项加入采任务列表后)的采集业务时间。
需要说明的是，为了保障与上述方案调度逻辑的一致性，即执行采集任务的执行逻辑的一致性，通过上述计算方法，先计算第一采集业务时间，再通过第一采集业务时间加一个目标采集频度，计算获得第一目标采集业务时间。
比如，申请日期为2019/07/03，目标采集频度为月，目标采集时效为5天，则第一采集业务时间＝(2019/07/03-5天)所属目标采集频度(月)最后一个表示单位-1月＝(2019/06/28)所属目标采集频度(月)最后一个表示单位-1月＝2019/06-1月＝2019/05；
第一目标采集业务时间＝2019/05+1月＝2019/06；
第一采集日期＝2019/06(期末)+5天＝2019/06/30。
此外，还可以直接通过下述计算方法计算获得第一目标采集业务时间：
第一目标采集业务时间＝(申请时间-目标采集时效)所属目标采集频度最后一个表示单位，其中，将申请时间与目标采集时效之差，取值所述目标采集项所属的目标采集频度的最后一个表示单位。
比如，申请日期为2019/07/03，目标采集频度为月，目标采集时效为5天，则第一目标采集业务时间＝(2019/07/03-5天)所属目标采集频度(月)最后一个表示单位＝(2019/06/28)所属目标采集频度(月)最后一个表示单位＝2019/06；
第一采集日期＝2019/06(期末)+5天＝2019/06/30。
实际应用中，在重新上线一种业务数据的情况下，为了保障所采集的业务数据与之前采集的业务数据保持连贯性，在接收针对目标采集项的采集申请的当天，即刻调用采集任务进行一次数据采集，本说明书实施例提供的一种可选实施方式中，所述基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期步骤执行之前，还包括：
调用所述目标采集项对应的目标采集任务，对所述目标采集项的目标业务数据进行采集，其中，所述目标业务数据的第二目标采集业务时间基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效进行确定。
需要说明的是，在采集申请的申请时间当天进行的数据采集，是为了保障所采集的业务数据与之前采集的业务数据保持连贯性，而在不确定之前的采集的业务数据的截止日期，可以一次性向前采集针对目标采集项的一个采集频度或多个采集频度的业务数据，即目标业务数据。
比如，在申请时间向前采集一个采集频度的目标业务数据，可以采用如下方式，计算所述第二目标采集业务时间：
第二采集业务时间＝(申请时间-目标采集时效)所属目标采集频度最后一个表示单位-两个目标采集频度；
第二目标采集业务时间＝第二采集业务时间+一个目标采集频度；
此外，还可以通过如下方式进行计算：
第二目标采集业务时间＝(申请时间-目标采集时效)所属目标采集频度最后一个表示单位-一个目标采集频度；
具体的所述第二目标采集业务时间的计算方式，与上述计算第一目标采集业务时间具体实现类似，参考上述计算第一目标采集业务时间的具体实现即可，在此不再赘述。
其中，第二采集业务时间为针对目标采集项进行正常采集流程之前(即目标采集项对应的目标采集配置项加入采任务列表后)的上一次虚拟的采集业务时间；而第二目标采集业务时间为针对目标采集项进行正常采集流程之前(即目标采集项对应的目标采集配置项加入采任务列表后)的最后一次(也是第一次)的采集业务时间；第二目标采集业务时间表明目标采集任务采集的目标业务数据的业务时间区间，比如，计算获得的第二采集目标业务时间为2019/05，则表明采集目标业务数据的业务时间区间为[2019/05/01，2019/05/30]。
实际应用中，在接收针对目标采集项的采集申请之后，即在将目标采集项加入正常采集流程之前，先对目标采集项的目标业务数据进行一次采集，采集加入正常采集流程之后的上一采集业务时间的目标业务数据，以增加重新上线或新上线的业务数据的完整性，此外，对于重新上线的业务数据，也许此次采集的目标业务数据与其下线前采集的目标业务数据存在重合的部分，则使用新采集的目标业务数据对以前的重合部分的业务数据进行覆盖即可。
综上所述，本说明书提供一种数据采集方法，在监测到达预设时间节点的情况下，根据预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项，并通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集，实现了以一个时间节点作为出发点，对各种业务数据进行采集，且在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期，并基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，以便下一次对业务数据进行采集，实现了对业务数据规范化周期性地进行数据采集。
下述结合附图2，以本说明书提供的数据采集方法在采集业务指标数据中的应用为例，对所述数据采集方法进行进一步说明。其中，图2示出了本说明书一个实施例提供的一种应用于采集业务指标数据的数据采集方法的处理流程图，具体包括以下步骤：
步骤202，在监测到达预设时间节点的情况下，根据预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项。
实际应用中，为了对业务指标数据进行规范化，标准化的采集，使用统一的采集入口采集配置列表，进行数据采集。
具体的，所述业务指标数据，是指用于衡量或监管各个业务方面的指标数据，比如核心监管指标，通过这些核心监管指标数据可以监控业务的好坏或者业务的合规性等，比如交易量、用户量等。
步骤204，基于采集配置项生成采集任务。
步骤206，将生成的采集任务添加至采集任务列表，并将采集任务的任务状态置为初始状态。
步骤208，按照预设时间间隔，在采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态。
步骤210，将选取的采集任务的任务状态从初始状态更新为处理状态。
步骤212，通过执行选取的采集任务，对采集配置项对应的采集项的业务指标数据进行采集。
步骤214，在采集成功的情况下，根据采集项对应的采集频度，确定针对采集项的下一采集日期。
步骤216，基于下一采集日期，对采集项对应的采集配置项中的采集日期进行更新。
步骤218，将采集获得的业务指标数据插入指标明细表进行存储。
步骤220，接收针对目标采集项的采集申请，其中，采集申请携带采集申请的申请时间、目标采集项的对应的目标采集频度以及目标采集时效。
步骤222，调用目标采集项对应的目标采集任务，对目标采集项的目标业务数据进行采集。其中，目标业务数据的第二目标采集业务时间基于申请时间、目标采集频度以及目标采集时效进行确定。
步骤224，基于申请时间、目标采集频度以及目标采集时效，确定针对目标采集项的第一目标采集业务时间。
步骤226，根据第一目标采集业务时间以及目标采集时效，确定针对目标采集项的第一采集日期。
步骤228，根据第一采集日期、目标采集频度以及目标采集时效，生成目标采集项对应的目标采集配置项。
步骤230，将目标采集配置项添加至所述采集配置列表。
本说明书提供一种数据采集方法，在监测到达预设时间节点的情况下，根据预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项，并通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集，实现了以一个时间节点作为出发点，对各种业务指标数据进行采集，且在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期，并基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，以便下一次对业务指标数据进行采集，实现了对业务指标数据规范化周期性地进行数据采集。
本说明书提供的一种数据采集装置实施例如下：
与上述方法实施例相对应，本说明书还提供了数据采集装置实施例，图3示出了本说明书一个实施例提供的一种数据采集装置的示意图。如图3所示，该装置包括：
筛选模块302，被配置为在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
采集模块304，被配置为通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
确定模块306，被配置为在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
更新模块308，被配置为基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
可选的，所述数据采集装置，还包括：
接收模块，被配置为接收针对目标采集项的采集申请，其中，所述采集申请携带所述采集申请的申请时间、所述目标采集项的对应的目标采集频度以及目标采集时效；
确定日期模块，被配置为基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期；
生成配置项模块，被配置为根据所述第一采集日期、所述目标采集频度以及所述目标采集时效，生成所述目标采集项对应的目标采集配置项；
添加模块，被配置为将所述目标采集配置项添加至所述采集配置列表。
可选的，所述确定日期模块，包括：
确定上一日期子模块，被配置为基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效，确定针对所述目标采集项的第一目标采集业务时间；
确定目标日期子模块，被配置为根据所述第一目标采集业务时间以及所述目标采集时效，确定所述第一采集日期。
可选的，所述数据采集装置，还包括：
目标采集模块，被配置为调用所述目标采集项对应的目标采集任务，对所述目标采集项的目标业务数据进行采集，其中，所述目标业务数据的第二目标采集业务时间基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效进行确定。
可选的，所述数据采集装置，还包括：
任务添加模块，被配置为将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
相应的，所述采集模块304，包括：
选取子模块，被配置为按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
更新状态子模块，被配置为将所述选取的采集任务的任务状态从初始状态更新为处理状态；
第一采集子模块，被配置为通过执行所述选取的采集任务，对所述采集配置项对应的采集项的业务数据进行采集。
可选的，所述采集模块304，包括：
确定引擎子模块，被配置为根据所述选取的采集任务对应的采集模式，确定所述采集模式对应的采集引擎；
第二采集子模块，被配置为通过调用所述采集引擎，对所述采集配置项对应的采集项的业务数据进行采集。
可选的，所述数据采集装置，还包括：
检测任务模块，被配置为按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
可选的，所述数据采集装置，还包括：
更新状态模块，被配置为在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
生成信息模块，被配置为基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
发送提醒模块，被配置为根据所述异常信息，发送针对所述目标采集任务的异常提醒。
可选的，所述数据采集装置，还包括：
创建任务模块，被配置为创建针对所述预设时间节点的定时任务；
监测模块，被配置为通过所述定时任务的计时器对所述预设时间节点进行监测。
可选的，所述数据采集装置，还包括：
存储模块，被配置为在采集成功的情况下，将采集获得的业务数据插入数据表进行存储；
接收指令模块，被配置为接收针对所述数据表的查询指令；
展示模块，被配置为基于所述查询指令携带的查询条件，对所述数据表中的业务数据进行获取并展示。
可选的，所述业务数据的采集业务时间，基于所述采集日期、所述采集频度以及所述采集项对应的采集时效进行确定；
或，所述采集业务时间，被配置在所述采集项对应的采集配置项中；
相应的，所述确定模块306，还被配置为：
所述根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期以及下一采集业务时间；
所述更新模块308，还被配置为：
基于所述下一采集日期以及所述下一采集业务时间，对所述采集项对应的采集配置项中的所述采集日期以及所述采集业务时间进行更新。
上述为本实施例的一种数据采集装置的示意性方案。需要说明的是，该数据采集装置的技术方案与上述的数据采集方法的技术方案属于同一构思，数据采集装置的技术方案未详细描述的细节内容，均可以参见上述数据采集方法的技术方案的描述。
本说明书提供的一种计算设备实施例如下：
图4示出了根据本说明书一个实施例提供的一种计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接，数据库450用于保存数据。
计算设备400还包括接入设备440，接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备400还可以是移动式或静止式的服务器。
本说明书提供一种计算设备，包括存储器410、处理器420及存储在存储器上并可在处理器上运行的计算机指令，所述处理器420用于执行如下计算机可执行指令：
在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据采集方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据采集方法的技术方案的描述。
本说明书提供的一种计算机可读存储介质实施例如下：
本说明书提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据采集方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据采集方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种数据采集方法，包括：
在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
2.根据权利要求1所述的数据采集方法，还包括：
接收针对目标采集项的采集申请，其中，所述采集申请携带所述采集申请的申请时间、所述目标采集项的对应的目标采集频度以及目标采集时效；
基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期；
根据所述第一采集日期、所述目标采集频度以及所述目标采集时效，生成所述目标采集项对应的目标采集配置项；
将所述目标采集配置项添加至所述采集配置列表。
3.根据权利要求2所述的数据采集方法，所述基于所述申请时间、所述采集频度以及所述目标采集时效，确定针对所述目标采集项的第一采集日期，包括：
基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效，确定针对所述目标采集项的第一目标采集业务时间；
根据所述第一目标采集业务时间以及所述目标采集时效，确定所述第一采集日期。
4.根据权利要求2所述的数据采集方法，所述根据所述第一目标采集业务时间以及所述目标采集时效，确定所述第一采集日期步骤执行之前，还包括：
调用所述目标采集项对应的目标采集任务，对所述目标采集项的目标业务数据进行采集，其中，所述目标业务数据的第二目标采集业务时间基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效进行确定。
5.根据权利要求1所述的数据采集方法，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之前，还包括：
将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
相应的，所述对所述采集配置项对应的采集项的业务数据进行采集，包括：
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
通过执行所述选取的采集任务，对所述采集配置项对应的采集项的业务数据进行采集。
6.根据权利要求5所述的数据采集方法，所述通过执行所述选取的采集任务，对所述采集配置项对应的采集项的业务数据进行采集，包括：
根据所述选取的采集任务对应的采集模式，确定所述采集模式对应的采集引擎；
通过调用所述采集引擎，对所述采集配置项对应的采集项的业务数据进行采集。
7.根据权利要求5所述的数据采集方法，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之后，还包括：
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
8.根据权利要求7所述的数据采集方法，所述在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务步骤执行之后，还包括：
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒。
9.根据权利要求1所述的数据采集方法，所述在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项步骤执行之前，还包括：
创建针对所述预设时间节点的定时任务；
通过所述定时任务的计时器对所述预设时间节点进行监测。
10.根据权利要求1所述的数据采集方法，所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之后，还包括：
在采集成功的情况下，将采集获得的业务数据插入数据表进行存储；
接收针对所述数据表的查询指令；
基于所述查询指令携带的查询条件，对所述数据表中的业务数据进行获取并展示。
11.根据权利要求1所述的数据采集方法，所述业务数据的采集业务时间，基于所述采集日期、所述采集频度以及所述采集项对应的采集时效进行确定；
或，所述采集业务时间，被配置在所述采集项对应的采集配置项中；
相应的，所述根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期，包括：
所述根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期以及下一采集业务时间；
所述基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新，包括：
基于所述下一采集日期以及所述下一采集业务时间，对所述采集项对应的采集配置项中的所述采集日期以及所述采集业务时间进行更新。
12.一种数据采集装置，包括：
筛选模块，被配置为在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
采集模块，被配置为通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
确定模块，被配置为在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
更新模块，被配置为基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
13.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现下述方法：
在监测到达预设时间节点的情况下，根据所述预设时间节点对应的采集日期，在采集配置列表中筛选出至少一条采集配置项；
通过基于所述采集配置项生成的采集任务，对所述采集配置项对应的采集项的业务数据进行采集；
在采集成功的情况下，根据所述采集项对应的所述采集频度，确定针对所述采集项的下一采集日期；
基于所述下一采集日期，对所述采集项对应的采集配置项中的所述采集日期进行更新。
14.一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现权利要求1至11任意一项所述数据采集方法的步骤。
CN202010843247.5A 2020-08-20 2020-08-20 数据采集方法以及装置 Active CN111782901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010843247.5A CN111782901B (zh) 2020-08-20 2020-08-20 数据采集方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010843247.5A CN111782901B (zh) 2020-08-20 2020-08-20 数据采集方法以及装置

Publications (2)

Publication Number Publication Date
CN111782901A true CN111782901A (zh) 2020-10-16
CN111782901B CN111782901B (zh) 2024-08-09

Family

ID=72762506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010843247.5A Active CN111782901B (zh) 2020-08-20 2020-08-20 数据采集方法以及装置

Country Status (1)

Country Link
CN (1) CN111782901B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434209A (zh) * 2020-12-07 2021-03-02 广东电网有限责任公司佛山供电局 一种多渠道、快速的知识点收集系统
CN113327057A (zh) * 2021-06-23 2021-08-31 中国农业银行股份有限公司 处理商户信息的方法及装置
CN116578605A (zh) * 2023-04-19 2023-08-11 广东畅视科技有限公司 数据采集方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1326162A (zh) * 2000-05-30 2001-12-12 松下电器产业株式会社 数据采集设备与方法
CN106301913A (zh) * 2016-08-15 2017-01-04 努比亚技术有限公司 运维数据采集系统及运维数据采集方法
CN106528769A (zh) * 2016-11-04 2017-03-22 乐视控股（北京）有限公司 一种数据采集方法及装置
CN107302450A (zh) * 2017-06-13 2017-10-27 国网冀北电力有限公司信息通信分公司 一种数据采集任务变更方法及装置
CN109088908A (zh) * 2018-06-06 2018-12-25 武汉酷犬数据科技有限公司 一种面向网络的分布式通用数据采集方法和系统
US20190014016A1 (en) * 2017-07-04 2019-01-10 Fujitsu Limited Data acquisition device, data acquisition method and storage medium
CN109587264A (zh) * 2018-12-20 2019-04-05 新华三技术有限公司 数据监控方法、装置及云平台服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1326162A (zh) * 2000-05-30 2001-12-12 松下电器产业株式会社 数据采集设备与方法
CN106301913A (zh) * 2016-08-15 2017-01-04 努比亚技术有限公司 运维数据采集系统及运维数据采集方法
CN106528769A (zh) * 2016-11-04 2017-03-22 乐视控股（北京）有限公司 一种数据采集方法及装置
CN107302450A (zh) * 2017-06-13 2017-10-27 国网冀北电力有限公司信息通信分公司 一种数据采集任务变更方法及装置
US20190014016A1 (en) * 2017-07-04 2019-01-10 Fujitsu Limited Data acquisition device, data acquisition method and storage medium
CN109088908A (zh) * 2018-06-06 2018-12-25 武汉酷犬数据科技有限公司 一种面向网络的分布式通用数据采集方法和系统
CN109587264A (zh) * 2018-12-20 2019-04-05 新华三技术有限公司 数据监控方法、装置及云平台服务器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434209A (zh) * 2020-12-07 2021-03-02 广东电网有限责任公司佛山供电局 一种多渠道、快速的知识点收集系统
CN113327057A (zh) * 2021-06-23 2021-08-31 中国农业银行股份有限公司 处理商户信息的方法及装置
CN116578605A (zh) * 2023-04-19 2023-08-11 广东畅视科技有限公司 数据采集方法、装置、电子设备及存储介质
CN116578605B (zh) * 2023-04-19 2024-08-16 广东畅视科技有限公司 数据采集方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111782901B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
CN111782901B (zh) 数据采集方法以及装置
CN111966762B (zh) 指标采集方法以及装置
CN112311617A (zh) 一种配置化数据监控告警方法及系统
CN104283926B (zh) 一种数据同步方法、装置及服务器
CN111338814A (zh) 消息处理方法和装置、存储介质和电子装置
CN110032444B (zh) 一种分布式系统及分布式任务处理方法
CN112744115B (zh) 电动汽车的信息处理方法、装置及系统、处理器
CN111324511B (zh) 报警规则的生成方法、装置、电子设备及存储介质
CN114090366A (zh) 一种监控数据的方法、装置和系统
CN111767128A (zh) 执行定时任务的方法以及装置
CN112489236A (zh) 一种考勤数据处理方法、装置、服务器及存储介质
CN110262955B (zh) 基于pinpoint的应用性能监控工具
CN111784312B (zh) 提醒方法以及装置
CN102571424A (zh) 一种工程事件处理方法、装置和系统
CN105551206A (zh) 一种基于情绪的提醒方法和相关装置及提醒系统
CN116107913B (zh) 单节点服务器的测试控制方法、装置及系统
CN110969082A (zh) 一种时钟同步测试巡检方法和系统
CN116385008A (zh) 告警过滤、消息通知以及业务投放方法
CN116010388A (zh) 数据校验方法、数据采集服务端及数据校验系统
CN114661563B (zh) 基于流处理框架的数据处理方法以及系统
CN113949894B (zh) 直播相关时长记录方法及装置
CN113157586B (zh) 一种金融市场单元测试案例生成方法及装置
CN111191901B (zh) 基于区块链的业务处理方法以及装置
CN110728838B (zh) 抄表方法、装置和电力采集终端
CN114036179A (zh) 慢查询操作的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant