CN111966762B - 指标采集方法以及装置 - Google Patents

指标采集方法以及装置 Download PDF

Info

Publication number
CN111966762B
CN111966762B CN202010843235.2A CN202010843235A CN111966762B CN 111966762 B CN111966762 B CN 111966762B CN 202010843235 A CN202010843235 A CN 202010843235A CN 111966762 B CN111966762 B CN 111966762B
Authority
CN
China
Prior art keywords
acquisition
index
task
index data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010843235.2A
Other languages
English (en)
Other versions
CN111966762A (zh
Inventor
于晨晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010843235.2A priority Critical patent/CN111966762B/zh
Publication of CN111966762A publication Critical patent/CN111966762A/zh
Application granted granted Critical
Publication of CN111966762B publication Critical patent/CN111966762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书实施例提供指标采集方法以及装置，其中所述指标采集方法包括：在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储，本方案可以应用于监管或者合规领域。

Description

指标采集方法以及装置
技术领域
本说明书实施例涉及合规数据管理领域，特别涉及指标采集方法以及装置。
背景技术
随着互联网的发展，业务的发展越来越多元化，因此一个业务中通常包含多个子业务，而针对每个子业务有不同的指标数据，用于反映子业务的运营或合规情况，但为了对整个业务的运营或合规情况有清晰的了解，则需要综合采集每个子业务的指标数据，而每个子业务的指标数据的存储方式、存储位置等可能大相径庭，但目前对于指标数据的采集，大多是按需采集并加工，缺乏针对整个业务中的多种指标数据进行标准化的采集，因此需要提供更可靠的方案。
发明内容
有鉴于此，本说明书实施例提供了一种指标采集方法。本说明书一个或者多个实施例同时涉及一种指标采集装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
本说明书实施例的第一方面，提供了一种指标采集方法，包括：
在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
可选的，在所述采集模式为数仓模式的情况下，所述基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务步骤执行之后，还包括：
根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎；
通过所述数仓引擎，对指标明细表中数仓指标的数仓指标数据，基于所述采集任务的采集指标时间区间进行查询，获得中间数仓指标数据；
判断所述中间数仓指标数据是否为空；
若否，则将所述中间数仓指标数据的标记位设置为失效状态；
根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序；
基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态。
可选的，在所述采集模式为报表模式的情况下，所述通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集，包括：
根据所述采集任务对应的报表模式，确定所述报表模式对应的报表引擎；
所述报表引擎根据报表指标的报表字段以及采集指标时间，对所述报表指标的报表指标数据进行采集。
可选的，所述获得维度指标数据并存储步骤执行之后，还包括：
接收用户提交的查询指令；
根据所述查询指令中携带的指标标识以及维度信息，对指标明细表中存储的维度指标数据进行查询，获得查询结果。
可选的，所述获得维度指标数据并存储步骤执行之后，还包括：
通过定时任务，从指标明细表中获取预设时间区间的目标指标数据；
基于所述目标指标数据更新目标数据表。
可选的，所述通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集步骤执行之前，还包括：
将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
相应的，所述通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集，包括：
基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集。
可选的，所述对所述目标指标的指标数据进行采集步骤执行之后，还包括：
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
可选的，所述在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务步骤执行之后，还包括：
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒。
可选的，所述在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项步骤执行之前，还包括：
创建针对所述预设时间点的定时任务；
通过所述定时任务的计时器对所述预设时间点进行监测。
可选的，所述采集模式，包括下述至少一项：数仓采集模式、报表采集模式、数据表采集模式、文件采集模式。
本说明书实施例的第二方面，提供了一种指标采集装置，包括：
筛选模块，被配置为在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
生成模块，被配置为基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
采集模块，被配置为通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
映射模块，被配置为将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述指标采集方法的步骤。
本说明书提供一种指标采集方法，包括：在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储，通过统一的采集入口，对多种指标数据进行采集，并将采集获得的指标数据进行维度映射，避免了将指标数据按需加工重复建设，实现了对指标数据进行规范化的采集。
附图说明
图1是本说明书一个实施例提供的一种指标采集方法的处理流程图；
图2是本说明书一个实施例提供的一种针对数仓模式的指标采集方法的处理流程图；
图3是本说明书一个实施例提供的一种应用于多数据源场景的指标采集方法的处理流程图；
图4是本说明书一个实施例提供的一种指标采集装置的示意图；
图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书中，提供了一种指标采集方法，本说明书一个或者多个实施例同时涉及一种指标采集装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
本说明书提供的一种指标采集方法实施例如下：
图1示出了根据本说明书一个实施例提供的一种指标采集方法的处理流程图，具体包括以下步骤：
步骤102，在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项。
实际应用中，业务的发展越来越多元化，因此一个业务中通常包含多个子业务，而每个子业务存在不同的指标数据，用于反映子业务的运营情况，而为了对整个业务的运营有清晰的了解，需要对每个子业务的指标数据分别按照需求进行加工并采集，本说明书实施例，通过统一的采集入口，对指标数据进行采集，并将采集获得的指标数据进行维度映射，避免了将各个数据源的指标数据按需加工重复建设，实现了对指标数据进行规范化的采集。
其中，所述指标数据，是指用于衡量或监管各个业务运营情况或业务的合规性的数据，比如交易指标、用户指标、资源指标、合同指标等。实际应用中，一条指标数据，由业务主体，业务关键字段以及业务时间构成，比如，交易指标中，业务主体(即指标数值)为交易金额，业务关键字段为交易地区，业务时间为交易的创建或更新时间，则该交易指标用于衡量各个地区的交易金额的多少。
所述预设时间点，是指预设的周期性的执行采集任务的时间点；监测到达预设时间点的情况，是指监测到系统的当前时间到达预设时间点的情况；而所述采集配置列表，用于存储采集配置项，通常一种指标数据对应一条采集配置项，采集配置项用于对待采集的指标数据的采集详情信息进行配置。
具体实施时，根据预设时间点，在采集配置列表中筛选采集配置项，是指在采集配置列表中，筛选出采集时间或采集日期与预设时间点临近的采集配置项，比如采集日期为预设时间点当天的采集配置项，或者采集时间在预设时间点之后8个小时以内的采集配置项等，在此不做限制。
比如，预设时间点为2019/07/05 00：00，在监测到达2019/07/05 00：00的情况下，根据预设时间点2019/07/05 00：00，在采集配置列表中筛选出了采集日期为2019/07/05日的100条采集配置项。
具体实施时，为了保障对指标数据采集的稳定性，以及对指标数据的采集时间进行统一规划，本说明书实施例提供的一种可选实施方式中，在筛选出至少一条采集配置项步骤执行之前，通过创建定时任务定时监测预设时间点，还包括：
创建针对所述预设时间点的定时任务；
通过所述定时任务的计时器对所述预设时间点进行监测。
实际应用中，为了避免对指标数据的采集占用大量的系统资源，导致其他应用程序的执行速度变慢，定时任务的预设时间点，一般在应用程序的执行量较少的时间段内进行选取，比如：凌晨00：00，或凌晨01：00等，在此不做限制。
具体实施时，通过定时采集任务的计时器对预设时间点进行监测，预设时间点可以为周期性的时间节点，通过持续地监测这些时间节点，以便周期性地在时间节点进行数据采集，比如在每日、每周、每月、每季度、每年的某一时间点进行数据采集。
比如，在对凌晨00：00进行监测之前，创建了针对每天凌晨00：00的定时任务，通过定时任务中的计时器对每天凌晨00：00进行监测。
步骤104，基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务。
具体实施时，在上述筛选出采集配置项的情况下，基于采集配置项生成针对目标指标的采集任务，以便通过采集任务对目标指标的指标数据进行采集，比如，针对筛选出的100条采集配置项，生成针对100条采集配置项对应的100个目标指标的100个采集任务，而所述目标指标，可以理解为一种指标数据，与采集配置项相对应。
实际应用中，由于生成的采集任务可能是多个，为了保障生成的采集任务有序地执行采集，本说明书实施例提供的一种可选实施方式中，在生成采集任务之后，将采集任务添加至采集任务列表，并通过任务状态对采集任务的执行情况进行标识，具体采用如下方式实现：
将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
相应的，通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集，包括：
基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集。
具体实施时，将生成的采集任务添加至采集任务列表后，可以按照预设时间间隔，比如每隔5分钟，在采集任务列表中筛选出预设数量的，任务状态为初始状态的采集任务，并将选取出的采集任务的采集状态从初始状态更新为处理状态，并通过采集任务对指标数据进行采集，其中任务状态，包括：初始状态，处理状态、成功状态、失败状态等，在此不做限制。
沿用上例，在上述生成采集任务的基础上，将生成的100个采集任务添加至采集任务列表中，并将这100个采集任务的任务状态设置为初始状态；在预设时间间隔为5分钟，预设数量为20的情况下，每隔5分钟，在采集任务列表中选取20个采集任务，将这20个采集任务的任务状态从初始状态更新为处理状态，并依次执行这20个采集任务，对这20个采集任务对应的20个目标指标的指标数据进行采集。
步骤106，通过所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集。
具体实施时，由于不同的指标数据的存储方式不同，比如，以文件的形式存储，以报表的形式存储或以数据库表的形式存储等，而不同的存储方式，需要采用不同的采集方式进行采集，本说明书实施例，通过对不同存储形式的指标数据配置相应的采集模式，再根据采集模式，选取对应的采集引擎进行数据采集，提升了数据采集效率，保障了数据采集的稳定性；其中，采集引擎用于对指标数据进行采集。
可选的，所述采集模式，根据采集任务采集的数据源的存放方式不同，包括下述至少一项：数仓采集模式、报表采集模式、数据表采集模式、文件采集模式；实际应用中，文件采集模式，还可以按照不同的文件类型，分为不同的采集模式，比如excel文件对应excel采集模式、可扩展置标语言(Extensible Markup Language，XML)文件对应XML采集模式等，在此不做限制。
实际应用中，在采集成功的情况下，需要根据目标指标对应的采集频度，确定针对目标指标的下一次的采集日期即下一采集日期，并对目标指标对应的采集配置项进行更新，为下一次的采集做准备。
实际应用中，由于数仓指标数据是周期性地自动回流至指标明细表，因此针对数仓指标，其对应的数仓引擎进行数据采集的本质其实是进行数据的筛选，通过数仓引擎筛选出回流的时间最新的数仓指标数据作为采集到的数仓指标数据，实现了对数仓指标数据的管理，并规范化了指标数据的采集，本说明书实施例提供的一种可选实施方式中，在所述采集模式为数仓模式的情况下，所述基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务步骤执行之后，基于所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集，具体采用如下方式实现：
根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎；
通过所述数仓引擎，对指标明细表中数仓指标的数仓指标数据，基于所述采集任务的采集指标时间区间进行查询，获得中间数仓指标数据；
判断所述中间数仓指标数据是否为空；
若是，表明最新一个采集频度内的数仓指标数据还未同步至指标明细表，则增加所述采集任务的重试次数，并返回重新执行根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎步骤；
若否，表明最新一个采集频度内的数仓指标数据已经同步至指标明细表，则将所述中间数仓指标数据的标记位设置为失效状态；
根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序；
基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态。
具体的，数仓是数据仓库的缩写，则数据仓库的指标数据即为数仓指标数据；所述指标明细表，用于存放从各个数据源采集到的指标数据；所述采集指标时间区间，可以是采集任务所要采集的指标数据中，指标数据的创建和/或更新时间的最大时间和最小时间所组成的时间区间，比如[2019/06/24，2019/06/30]。
而所述指标时间是指指标数据的创建或更新时间；则根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序，基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，目的是在数仓指标数据中筛选出时间最新的指标数据作为目标数仓指标数据，以保障每个采集周期中指标明细表中有效的只有最新的数仓指标数据，避免了数仓指标数据的冗余和混乱。
所述标志位，是用来标识指标数据是否有效，只有标志位为有效的情况下，才能作为采集到的指标数据向外提供(即向外提供查询、展示等)。
实际应用中，在获得目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态之后，则将所述采集任务的采集状态从处理状态更新为成功状态。
需要说明的是，全量的数仓指标数据会周期性的同步至指标明细表，因此，数仓引擎不需要实质性的对数仓指标数据进行采集，而是将已经同步到指标明细表的数仓指标数据，筛选出各个指标(即指标名称)对应的时间最新的指标数据。
具体实施时，如图2所示，根据采集任务的采集模式为数仓模式，确定采集引擎为数仓引擎，通过数仓引擎，查询指标明细表中的中间指标数据(最新一个采集频度内的数仓指标数据)，并判断查询到中间指标数据是否为空，若否，表明最新一个采集频度内的数仓指标数据已经同步至指标明细表，则将同步到的该数仓指标数据的标记位设置位失效状态，并选择出最新指标日期的目标数仓指标数据，将其标记位设置为有效状态，并将采集任务的采集状态从处理状态更新为成功状态；若是，表明最新一个采集频度内的数仓指标数据还未同步至指标明细表，则增加对应的采集任务的重试次数，并返回重新执行该采集任务。
实际应用中，由于报表形式的指标数据作为一种主要的指标存储形式，在各个系统生成各种业务报表之后，可以通过报表模式对应的报表引擎对报表中包含的报表指标数据进行采集，本说明书实施例提供的一种可选实施方式中，在所述采集模式为报表模式的情况下，所述基于所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集，具体采用如下方式实现：
根据所述采集任务对应的报表模式，确定所述报表模式对应的报表引擎；
所述报表引擎根据报表指标的报表字段以及采集指标时间，对所述报表指标的报表指标数据进行采集。
具体的，所述报表字段，是指报表指标数据在报表中数据的存储字段，比如，地区字段、交易额字段等，在此不做限制，实际应用中，报表中可能存放了很多数据，但在采集过程中，可以指定报表指标对应的采集字段(即报表字段)，并对指定的采集字段以及采集指标时间进行采集，此外，还可以根据指定的报表字段中字段值以及采集指标进行采集，获得报表指标数据。
比如，采集任务A的采集模式为报表采集模式，则确定报表采集模式对应的采集引擎为报表采集引擎，通过调用报表采集引擎对报表指标中采集指标时间区间为[2019/06/24，2019/06/30]的交易金额字段、交易区域字段以及交易时间字段进行采集，获得报表指标数据。
进一步的，在对指标数据进行采集的基础上，可能存在采集不成功的情况，本说明书实施例提供的一种可选实施方式中，通过对采集任务的采集时长进行监控，获得超时的采集任务，具体采用如下方式实现：
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
具体的，为了及时获知采集超时的采集任务，按照特定的时间间隔(即第二预设时间间隔)比如1小时，监测采集任务列表中采集任务的采集时长，超过预设采集时长的目标采集任务，即超时的采集任务。
实际应用中，采集时长，是采集任务的执行时长；预设采集时长，是指根据针对目标指标的数据量以及采集经验，预先设置的最长的采集时长，若采集任务的采集时长超过预设的采集时长，则表明采集任务可能出现了异常，将该采集任务作为目标采集任务，若采集任务的采集时长未超过预设的采集时长，表明该采集任务为执行正常的采集任务。
比如，每隔1个小时，对采集任务列表中的采集任务进行监测，若针对采集任务B的预设采集时长为20分钟，而采集任务B的采集时长为35分钟，则采集任务B的采集时长超过预设采集时长，将采集任务B作为目标采集任务。
在上述监测出目标采集任务(即超时任务)的基础上，将其任务状态更新为初始状态，以便再次执行此目标采集任务，增加了采集任务执行的成功率，并针对超时的采集任务进行异常提醒，以便针对相关人员对异常情况进行查看，提高了采集任务执行的稳定性，本说明书实施例提供的一种可选实施方式中，所述在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务步骤执行之后，还包括：
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒。
实际应用中，在检测到目标采集任务的情况下，将目标采集任务的任务状态，从处理状态更新为初始状态，并将目标采集任务的执行次数加一，是为了针对目标采集任务进行再次执行。
其中，所述异常信息，是指目标采集任务的异常详情信息，包括：目标采集任务的任务名称/或标识、执行次数、采集时长等，在此不做限制，并根据异常信息，进行异常提醒，具体的异常提醒的方式是多种多样的，比如短信信息，通信程序提醒等，在此不做限制。
沿用上例，在检测到采集任务B为目标采集任务的情况下，将采集任务B的任务状态从处理状态更新为初始状态，而采集任务B的执行次数为一，将此执行次数加一，则采集任务B的执行次数为二次，并生成采集任务B的异常信息为：“采集任务B的第一次采集时长为30分钟，执行次数为二”，并向采集处理人员发送异常提醒为：“采集任务B的第一次采集时长为30分钟，当前的执行次数为二，请查看”。
步骤108，将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
其中，所述维度映射，是指将采集获得的指标数据按照多对一(将多条指标数据合并为一条指标数据)或一对多(将一条指标数据拆分为多条指标数据)的方式进行映射，映射成为指标明细表中的标准化的指标数据，即具有维度含义的维度指标数据，具体的，合并而成的指标数据可以理解为多维指标数据，而未进行合并的指标数据，可以理解为零维指标数据。
具体实施时，将采集获得的指标数据，按照预设字段映射关系进行映射，是指将采集到的指标数据，按照预设字段映射关系进行维度映射，其中，预设字段映射关系，是指指标数据中某一数据字段的取值，映射为多个字段值，或者将指标数据中多个数据字段的值映射为一个字段值，此外，还包括多对多的映射，在此不做限制。
比如，交易指标的业务关键字段为交易地区，若采集到的3条交易指标数据，其中，交易地区字段的值包括：北京地区、上海地区、深圳地区，北京地区对应的交易金额为300万，上海地区对应的交易金额为350万，深圳地区对应的交易金额为280万，将这三个字段值以及对应的交易金额，映射成为一个交易地区的数据的数组[北京地区，上海地区，深圳地区]，以及一个交易金额的数组[300万，350万，280万]，此外，还可以将上述三个字段值映射成为中国地区，而对应的交易金额映射为一个交易金额的数组：[[北京地区，300万]，[上海地区，350万]，[深圳地区，280万]]，具体实施时，还有其他的映射方式，在此不做限制。
在对指标数据进行维度映射的基础上，还需要将获得的维度指标数据在指标明细表(用于存储维度指标数据)中进行存储，以便对不同来源的指标数据进行查询并展示。
将维度指标数据在指标明细表中进行存储之后，可以基于用户在用户界面输入的查询参数，对指标明细表中的指标数据进行查询，并获得查询结果，实现了对指标数据的查看，本说明书实施例提供的一种可选实施方式中，所述获得维度指标数据并存储步骤执行之后，还包括：
接收用户提交的查询指令；
根据所述查询指令中携带的指标标识以及维度信息，对指标明细表中存储的维度指标数据进行查询，获得查询结果。
具体的，所述维度信息，用于表示对维度指标数据进行多维或零维查询；所述指标标识，可以具体的标识一种指标数据，表明该指标具体是什么指标，比如交易指标或资源指标等。
实际应用中，由于将维度指标数据在指标明细表中进行存储前，进行了维度映射，因此在用户对多维的维度指标数据进行查询时，可以指定其所要的查询结果是零维，还是多维，若维度信息为零维，则需要对合并成为的多维指标数据对应的指标数值进行运算从而形成零维的指标数据，比如上述交易指标中，中国地区的对应的交易金额为[[北京地区，300万]，[上海地区，350万]，[深圳地区，280万]]，若查询指令中携带的维度信息为多维，则将各个维度的数据按照之前合并的方式进行逆向拆分即可，若查询指令中携带的维度信息为零维，则将各个交易地区的交易金额相加，形成零维的维度信息，即中国地区对应的交易金额930万；若本就是针对零维的指标数据进行查询，则维度信息默认为零维，也无需对指标数据进行维度转换，直接返回查询结果即可。
本说明书实施例提供的一种可选实施方式中，所述获得维度指标数据并存储步骤执行之后，还包括：
通过定时任务，从指标明细表中获取预设时间区间的目标指标数据；
基于所述目标指标数据更新目标数据表。
实际应用中，由于指标明细表中的数据量太过庞大，而一些上游应用程序，需要对近期的维度指标数据进行使用或查看，为了避免对指标明细表的查询以及访问，造成查询效率低下的影响，可以按照实际需要或经验设置预设时间区间，并通过定时任务(每天即日切的方式)获取预设时间区间的目标指标数据(即近期的目标指标数据)，通过获取的这些近期的维度指标数据更新目标数据表，以便上游应用程序或者用户对近期的维度指标数据进行查询或使用时，可以直接查询数量较少的目标数据表，增加了查询效率。具体实施时，若所述目标指标数据为多维指标数据的情况下，可能涉及在对多维指标数据更新至目标数据表时，对所述目标数据表中对应的维值进行更新。
综上所述，现有采集方式在针对业务指标、监管指标的消费场景基本上都是按需加工，采集，缺乏指标数据标准化管理，而底层指标数据按需重复建设，指标数据缺乏复用，成本较高，并且指标加工周期长，无法满足日益增长的项目需求，而本方案通过针对不同的数据源，根据待采集指标所属主题(主体+业务关键词)，进行标准化指标数据采集加工建模，合并相同主题数据，屏蔽底层指标口径、维值概念的不一致，沉淀标准化主题指标口径，通过标准化基础指标的维度筛选聚合快速支撑上层灵活多变的指标消费场景，以使基础核心监管指标口径的标准化，屏蔽底层指标数据差异性，并沉淀一套标准化指标模型，快速支撑上层灵活多变的指标消费场景。
下述结合附图3，以本说明书提供的指标采集方法在多数据源场景中的应用为例，对所述指标采集方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种应用于多数据源场景的指标采集方法的处理流程图，具体包括以下步骤：
步骤302，在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项。
具体的，每个采集配置项对应不同的指标数据，而不同的指标数据可能以不同的方式存储于不同的位置；而指标数据，是指用于衡量或监管各个业务运营情况或业务的合规性的数据，比如交易指标、用户指标、资源指标、合同指标等。实际应用中，一条指标数据，由业务主体，业务关键字段以及业务时间构成，比如，交易指标中，业务主体(即指标数值)为交易金额、业务关键字段为交易地区，业务时间为交易的创建或更新时间，则该交易指标用于衡量各个地区的交易金额的多少。
步骤304，基于每条采集配置项，生成针对每条采集配置项对应的目标指标的采集任务。
步骤306，将生成的采集任务添加至采集任务列表，并将采集任务的任务状态置为初始状态。
步骤308，按照预设时间间隔，在采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态。
步骤310，将选取的采集任务的任务状态从初始状态更新为处理状态。
步骤312，基于选取的采集任务的采集模式确定的采集引擎，对目标指标的指标数据进行采集。
可选的，所述采集模式，包括下述至少一项：数仓采集模式、报表采集模式、数据表采集模式、文件采集模式。
步骤314，将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
步骤316，通过定时任务，从指标明细表中获取预设时间区间的目标指标数据。
步骤318，基于所述目标指标数据更新目标数据表。
步骤320，接收用户提交的查询指令。
步骤322，根据所述查询指令中携带的指标标识以及维度信息，对目标数据表中存储的维度指标数据进行查询，获得查询结果。
本说明书提供一种指标采集方法，包括：在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；基于所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储，通过统一的采集入口，对多种指标数据进行采集，并将采集获得的指标数据进行维度映射，避免了将各个指标数据按需加工重复建设，实现了对指标数据进行规范化的采集。
本说明书提供的一种指标采集装置实施例如下：
与上述方法实施例相对应，本说明书还提供了指标采集装置实施例，图4示出了本说明书一个实施例提供的一种指标采集装置的示意图。如图4所示，该装置包括：
筛选模块402，被配置为在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
生成模块404，被配置为基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
采集模块406，被配置为基于所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
映射模块408，被配置为将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
可选的，在所述采集模式为数仓模式的情况下，所述指标采集装置，还包括：
确定引擎模块，被配置为根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎；
查询数据模块，被配置为通过所述数仓引擎，对指标明细表中数仓指标的数仓指标数据，基于所述采集任务的采集指标时间区间进行查询，获得中间数仓指标数据；
判断模块，被配置为判断所述中间数仓指标数据是否为空；
若否，运行第一设置模块，所述第一设置模块，被配置为则将所述中间数仓指标数据的标记位设置为失效状态；
排序模块，被配置为根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序；
第二设置模块，被配置为基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态。
可选的，在所述采集模式为报表模式的情况下，所述采集模块406，包括：
确定引擎子模块，被配置为根据所述采集任务对应的报表模式，确定所述报表模式对应的报表引擎；
采集子模块，被配置为所述报表引擎根据报表指标的报表字段以及采集指标时间，对所述报表指标的报表指标数据进行采集。
可选的，所述指标采集装置，还包括：
接收指令模块，被配置为接收用户提交的查询指令；
查询结果模块，被配置为根据所述查询指令中携带的指标标识以及维度信息，对指标明细表中存储的维度指标数据进行查询，获得查询结果。
可选的，所述指标采集装置，还包括：
获取数据模块，被配置为通过定时任务，在所述指标明细表中获取预设时间区间的目标指标数据；
更新数据表模块，被配置为基于所述目标指标数据更新目标数据表。
可选的，所述指标采集装置，还包括：
添加模块，被配置为将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
选取模块，被配置为按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
第一更新状态模块，被配置为将所述选取的采集任务的任务状态从初始状态更新为处理状态；
相应的，所述采集模块406，还被配置为：基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集。
可选的，所述指标采集装置，还包括：
监测模块，被配置为按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
可选的，所述指标采集装置，还包括：
第二更新状态模块，被配置为在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
生成信息模块，被配置为基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
发送提醒模块，被配置为根据所述异常信息，发送针对所述目标采集任务的异常提醒。
可选的，所述指标采集装置，还包括：
创建任务模块，被配置为创建针对所述预设时间点的定时任务；
监测模块，被配置为通过所述定时任务的计时器对所述预设时间点进行监测。
可选的，所述采集模式，包括下述至少一项：数仓采集模式、报表采集模式、数据表采集模式、文件采集模式。
上述为本实施例的一种指标采集装置的示意性方案。需要说明的是，该指标采集装置的技术方案与上述的指标采集方法的技术方案属于同一构思，指标采集装置的技术方案未详细描述的细节内容，均可以参见上述指标采集方法的技术方案的描述。
本说明书提供的一种计算设备实施例如下：
图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。
计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
本说明书提供一种计算设备，包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机指令，所述处理器520用于执行如下计算机可执行指令：
在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
基于所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的指标采集方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述指标采集方法的技术方案的描述。
本说明书提供的一种计算机可读存储介质实施例如下：
本说明书提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
基于所述每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
基于所述采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的指标采集方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述指标采集方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种指标采集方法，包括：
在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
基于每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
将所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务；
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对所述目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒；
将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储，
其中，在所述采集模式为数仓模式的情况下，所述基于每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务步骤执行之后，还包括：
根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎；
通过所述数仓引擎，对指标明细表中数仓指标的数仓指标数据，基于所述采集任务的采集指标时间区间进行查询，获得中间数仓指标数据；
判断所述中间数仓指标数据是否为空；
若否，则将所述中间数仓指标数据的标记位设置为失效状态；
根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序；
基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态。
2.根据权利要求1所述的指标采集方法，在所述采集模式为报表模式的情况下，所述基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集，包括：
根据所述选取的采集任务对应的报表模式，确定所述报表模式对应的报表引擎；
所述报表引擎根据报表指标的报表字段以及采集指标时间，对所述报表指标的报表指标数据进行采集。
3.根据权利要求1所述的指标采集方法，所述获得维度指标数据并存储步骤执行之后，还包括：
接收用户提交的查询指令；
根据所述查询指令中携带的指标标识以及维度信息，对指标明细表中存储的维度指标数据进行查询，获得查询结果。
4.根据权利要求1所述的指标采集方法，所述获得维度指标数据并存储步骤执行之后，还包括：
通过定时任务，从指标明细表中获取预设时间区间的目标指标数据；
基于所述目标指标数据更新目标数据表。
5.根据权利要求1所述的指标采集方法，所述在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项步骤执行之前，还包括：
创建针对所述预设时间点的定时任务；
通过所述定时任务的计时器对所述预设时间点进行监测。
6.根据权利要求1所述的指标采集方法，所述采集模式，包括下述至少一项：数仓采集模式、报表采集模式、数据表采集模式、文件采集模式。
7.一种指标采集装置，包括：
筛选模块，被配置为在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
生成模块，被配置为基于每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
添加模块，被配置为将生成的所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
选取模块，被配置为按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
第一更新状态模块，被配置为将所述选取的采集任务的任务状态从初始状态更新为处理状态；
采集模块，被配置为基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
监测模块，被配置为按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务；
第二更新状态模块，被配置为在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
生成信息模块，被配置为基于所述采集时长以及所述执行次数，生成针对目标采集任务的异常信息；
发送提醒模块，被配置为根据所述异常信息，发送针对所述目标采集任务的异常提醒；
映射模块，被配置为将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储，
其中，在所述采集模式为数仓模式的情况下，所述基于每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务步骤执行之后，还包括：
根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎；
通过所述数仓引擎，对指标明细表中数仓指标的数仓指标数据，基于所述采集任务的采集指标时间区间进行查询，获得中间数仓指标数据；
判断所述中间数仓指标数据是否为空；
若否，则将所述中间数仓指标数据的标记位设置为失效状态；
根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序；
基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态。
8.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现下述方法：
在监测到达预设时间点的情况下，根据所述预设时间点，在采集配置列表中筛选出至少一条采集配置项；
基于每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务；
将所述采集任务添加至采集任务列表，并将所述采集任务的任务状态置为初始状态；
按照预设时间间隔，在所述采集任务列表中选取预设数量的采集任务，其中，选取的采集任务的任务状态为初始状态；
将所述选取的采集任务的任务状态从初始状态更新为处理状态；
基于所述选取的采集任务的采集模式确定的采集引擎，对所述目标指标的指标数据进行采集；
按照第二预设时间间隔，根据所述采集任务的采集时长，在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务；
在检测到所述目标采集任务的情况下，将所述目标采集任务的任务状态从所述处理状态更新为初始状态，并将所述目标采集任务的执行次数加一；
基于所述采集时长以及所述执行次数，生成针对所述目标采集任务的异常信息；
根据所述异常信息，发送针对所述目标采集任务的异常提醒；
将采集获得的指标数据按照预设字段映射关系进行维度映射，获得维度指标数据并存储，
其中，在所述采集模式为数仓模式的情况下，所述基于每条采集配置项，生成针对所述每条采集配置项的目标指标的采集任务步骤执行之后，还包括：
根据所述采集任务对应的数仓模式，确定所述数仓模式对应的数仓引擎；
通过所述数仓引擎，对指标明细表中数仓指标的数仓指标数据，基于所述采集任务的采集指标时间区间进行查询，获得中间数仓指标数据；
判断所述中间数仓指标数据是否为空；
若否，则将所述中间数仓指标数据的标记位设置为失效状态；
根据所述中间数仓指标数据的指标名称以及指标时间，将所述中间数仓指标数据按照所述指标时间从大到小进行排序；
基于排序结果，将各个指标名称对应的排在第一位的中间数仓指标数据作为目标数仓指标数据，并将所述目标数仓指标数据的标记位设置为有效状态。
9.一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现权利要求1至6任意一项所述指标采集方法的步骤。
CN202010843235.2A 2020-08-20 2020-08-20 指标采集方法以及装置 Active CN111966762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010843235.2A CN111966762B (zh) 2020-08-20 2020-08-20 指标采集方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010843235.2A CN111966762B (zh) 2020-08-20 2020-08-20 指标采集方法以及装置

Publications (2)

Publication Number Publication Date
CN111966762A CN111966762A (zh) 2020-11-20
CN111966762B true CN111966762B (zh) 2024-06-07

Family

ID=73388682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010843235.2A Active CN111966762B (zh) 2020-08-20 2020-08-20 指标采集方法以及装置

Country Status (1)

Country Link
CN (1) CN111966762B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347180B (zh) * 2020-12-04 2023-08-01 航天信息股份有限公司企业服务分公司 推送数据的方法及电子设备
CN112905631A (zh) * 2020-12-08 2021-06-04 江苏苏宁云计算有限公司 基于泛型指标的报表开发方法及装置
CN112990937B (zh) * 2021-05-10 2021-08-10 华锐分布式(北京)技术有限公司 资源数据采集方法、装置、计算机设备和存储介质
CN114153172B (zh) * 2021-12-08 2022-09-13 中山东菱威力电器有限公司 一种感应式冲水触发控制方法及装置
CN117435432B (zh) * 2023-10-30 2024-05-14 杭州云掣科技有限公司 分布式指标采集方法、组件、系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390045A (zh) * 2013-07-19 2013-11-13 北京京东尚科信息技术有限公司 一种用于监控系统的时间序列存储方法及装置
CN111130938A (zh) * 2019-12-25 2020-05-08 北京奇艺世纪科技有限公司 指标采集方法、装置、电子设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596573B2 (en) * 2003-06-11 2009-09-29 Oracle International Corporation System and method for automatic data mapping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390045A (zh) * 2013-07-19 2013-11-13 北京京东尚科信息技术有限公司 一种用于监控系统的时间序列存储方法及装置
CN111130938A (zh) * 2019-12-25 2020-05-08 北京奇艺世纪科技有限公司 指标采集方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Numerical estimates of local dimension by waiting time and quantitative recurrence;Carletti, T等;《PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS》;20160515;全文 *
基于数据仓库的指标体系研究;刘黎志;;计算机技术与发展;20070110(01);全文 *

Also Published As

Publication number Publication date
CN111966762A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111966762B (zh) 指标采集方法以及装置
CN107908631B (zh) 数据处理方法、装置、存储介质和计算机设备
CN109947746A (zh) 一种基于etl流程的数据质量管控方法和系统
US20160055044A1 (en) Fault analysis method, fault analysis system, and storage medium
CN111858274B (zh) 一种大数据评分系统稳定性监控方法
CN111782901B (zh) 数据采集方法以及装置
CN112035415B (zh) 针对用户访问数据的处理系统、方法、设备及存储介质
CN111352759A (zh) 一种告警根因的判定方法及装置
CN110502545B (zh) 数据存储方法、装置、设备及计算机可读存储介质
CN102609789A (zh) 图书馆信息监控与异常预测系统
CN109298929B (zh) 定时任务执行时间推荐方法、装置、设备和存储介质
CN111767128A (zh) 执行定时任务的方法以及装置
CN111061802B (zh) 一种电力数据管理处理方法、装置及存储介质
CN107871055B (zh) 一种数据分析方法和装置
CN114493701A (zh) 一种用户分群的方法和装置
CN106940710B (zh) 信息推送方法及装置
CN110336889B (zh) 一种数值天气预报模式运行智能监控平台和监控方法
CN113722141B (zh) 数据任务的延迟原因确定方法、装置、电子设备及介质
CN116108740A (zh) 一种电力设备的建模方法及装置
CN115495463A (zh) 一种数据处理方法、装置、智能设备及存储介质
CN113377604B (zh) 一种数据处理方法、装置、设备和存储介质
CN113918636A (zh) 一种基于etl的数据处理量分析方法
CN106372121A (zh) 服务器及数据处理方法
CN112000456A (zh) 一种任务调度方法、装置、设备及存储介质
CN114363149B (zh) 故障处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant