CN110837519A - 指标数据管理方法、装置、电子设备和机器可读存储介质 - Google Patents

指标数据管理方法、装置、电子设备和机器可读存储介质 Download PDF

Info

Publication number
CN110837519A
CN110837519A CN201911128964.3A CN201911128964A CN110837519A CN 110837519 A CN110837519 A CN 110837519A CN 201911128964 A CN201911128964 A CN 201911128964A CN 110837519 A CN110837519 A CN 110837519A
Authority
CN
China
Prior art keywords
data
processed
service
processing
index data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911128964.3A
Other languages
English (en)
Inventor
蒋静展
邹明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201911128964.3A priority Critical patent/CN110837519A/zh
Publication of CN110837519A publication Critical patent/CN110837519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供的指标数据管理方法、装置、电子设备和机器可读存储介质，通过获取待处理任务，可获得预先配置的与待处理任务对应的包含多个处理模板的业务文件，并从待处理数据中提取待处理任务所需的业务数据。按获得的处理模板对业务数据进行处理，得到待处理任务对应的指标数据。如此，可适应性地根据待处理任务对业务数据进行处理，得到指标数据，避免完全按照预设的指标项对获得的所有业务数据进行统一处理所存在的无针对性、缺乏灵活性等问题。

Description

指标数据管理方法、装置、电子设备和机器可读存储介质
技术领域
本申请涉及信息管理技术领域，具体而言，涉及一种指标数据管理方法、装置、电子设备和机器可读存储介质。
背景技术
为了对银行的业务进行管理，需要对例如信贷、现金收支以及银行其他事项的相关业务数据进行收集、整理、计算和分析，以构建一套指标系统。从而以全面掌握银行信贷资金流动、市场货币流通情况，为信贷计划和现金计划的编制、执行提供前提条件，并为银行自身开展业务活动、了解银行活动情况、指导工作等提供数据支持。
目前在对银行业务数据进行分析处理时，一般是先设置好所需的指标项，再按设置的指标项对业务数据进行统一提取、管理。现有的这种处理方式，对于业务数据的处理缺乏针对性，且灵活性不足，难以满足不同的数据处理需求。
发明内容
本申请的目的包括，例如，提供了一种指标数据管理方法、装置、电子设备和机器可读存储介质，其能够适应性地、灵活地根据需求对业务数据进行处理。
本申请的实施例可以这样实现：
第一方面，实施例提供一种指标数据管理方法，所述方法包括：
获取待处理数据、待处理任务以及预先配置的与所述待处理任务对应的业务文件，所述业务文件包含多个预先配置的处理模板；
从所述待处理数据中提取所述待处理任务所需的业务数据；
按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据。
在可选的实施方式中，所述从所述待处理数据中提取所述待处理任务所需的业务数据的步骤，包括：
按预设清洗策略对所述待处理数据进行清洗；
将清洗后的待处理数据的格式转换为预设统一格式；
从格式转换后的待处理数据中提取所述待处理任务所需的业务数据。
在可选的实施方式中，所述方法还包括：
获得预先创建的指标数据表的主键信息，所述主键信息用于标识所述指标数据表的各行数据；
基于所述主键信息获得所述指标数据对应的主键，所述主键用于标识所述指标数据；
查找到所述指标数据表中所述指标数据所属的数据字段；
按所述指标数据对应的主键以及查找到的数据字段将所述指标数据写入所述指标数据表。
在可选的实施方式中，所述业务数据包括流水数据，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
根据所述处理模板获得所述流水数据包含的数据项中，所述待处理任务所需的目标数据项；
从所述流水数据中提取预设时段内所述目标数据项对应的流水数据，以提取出的流水数据作为指标数据。
在可选的实施方式中，所述业务数据包括来自多个业务表的表数据，各所述业务表包含多个字段，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
针对每个所述业务表，根据所述处理模板获得所述业务表中包含的所述待处理任务所需的字段，将所述业务表中包含的所述字段下的表数据作为指标数据。
在可选的实施方式中，所述业务数据包括来自多个业务表的表数据，各所述业务表包含多个字段，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
针对每个所述业务表，根据所述处理模板获得所述业务表中包含的所述待处理任务所需的多个字段；
对所述业务表包含的所述多个字段下的表数据进行聚合操作，将聚合操作后得到的数据作为指标数据，其中，所述聚合操作包括求和操作、取平均值操作、取最大值操作和取最小值操作中的任意一种。
在可选的实施方式中，所述业务数据包括来自多个业务表的表数据，各所述业务表包含多个字段，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
针对所述多个业务表，按所述处理模板获得所述多个业务表各自包含的所述待处理任务所需的字段；
对所述多个业务表中相同字段下的表数据进行联合处理，将联合处理后得到的相同字段下的数据作为指标数据，其中，所述联合处理包括求和处理、取平均值处理、取最大值处理和取最小值处理中的任意一种。
第二方面，实施例提供一种指标数据管理装置，所述装置包括：
获取模块，用于获取待处理数据、待处理任务以及预先配置的与所述待处理任务对应的业务文件，所述业务文件包含多个预先配置的处理模板；
提取模块，用于从所述待处理数据中提取所述待处理任务所需的业务数据；
处理模块，用于按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据。
第三方面，实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施方式中任一项所述的指标数据管理方法。
第四方面，实施例提供一种机器可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项所述的指标数据管理方法。
本申请实施例的有益效果包括，例如：
本申请实施例提供的指标数据管理方法、装置、电子设备和机器可读存储介质，通过获取待处理任务，可获得预先配置的与待处理任务对应的包含多个处理模板的业务文件，并从待处理数据中提取待处理任务所需的业务数据。按获得的处理模板对业务数据进行处理，得到待处理任务对应的指标数据。如此，可适应性地根据待处理任务对业务数据进行处理，得到指标数据，避免完全按照预设的指标项对获得的所有业务数据进行统一处理所存在的无针对性、缺乏灵活性等问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构方框示意图；
图2为本申请实施例提供的指标数据管理方法的流程图；
图3为本申请实施例提供的获取业务数据的方法的流程图；
图4为本申请实施例提供的将指标数据写入指标数据表的方法的流程图；
图5为本申请实施例提供的指标数据管理装置的功能模块框图。
图标：10-电子设备；110-处理器；120-存储器；130-通信单元；140-指标数据管理装置；141-获取模块；142-提取模块；143-处理模块。
具体实施方式
目前，为了提取银行系统的各类指标数据，例如，信用评级指标、竞争力评价指标、业务考核指标、信贷风险评价指标、财务指标等。对于不同的业务指标需要分别通过不同的业务规则进行处理。现有的常用的指标提取方式主要流程包括，首先在获得原始数据的基础上，进行数据清洗，例如过滤不需要的数据、数据代码转换等清洗过程。再遍历提取每一个指标数据，每一个指标拥有一个业务规则。在业务规则下，分别遍历数据，将每一条对公客户或个人客户的指标数据计算出来。根据每一个指标的业务规则，计算出所有对公客户或个人客户的指标结果。最后，由于上述得到的指标结果比较分散，因此，将所有对公客户或个人客户的所有指标结果整理在一起，形成一个数据表。
上述目前所采用的对指标数据的提取及管理方式，对于业务数据的处理缺乏针对性，且灵活性不足，难以满足不同的数据处理需求。
基于上述研究，本申请实施例提供一种指标数据管理方案，通过获取待处理数据和待处理任务，并获得待处理任务对应的预先设置的业务文件。从待处理数据中获取待处理任务所需的业务数据，并利用业务文件中的各个处理模板对业务数据进行处理，得到待处理任务对应的指标数据。该指标数据管理方案，可适应性地根据待处理任务对业务数据进行处理，得到指标数据，避免完全按照预设的指标项对获得的所有业务数据进行统一处理，所存在的无针对性、缺乏灵活性等问题。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参照图1，图1是本申请实施例提供的电子设备10的结构方框示意图。在本申请实施例中，所述电子设备10可获取银行业务中的各种业务数据，并根据业务需求对业务数据进行处理，以得到所需的指标数据，并将指标数据集中存放至创建的指标数据表中。在本实施例中，所述电子设备10可以是，但不限于，个人电脑及服务器等。
在本实施例中，所述电子设备10包括指标数据管理装置140、存储器120、处理器110及通信单元130。所述存储器120、所述处理器110及所述通信单元130各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器120、所述处理器110及所述通信单元130这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中，所述存储器120可用于存储程序，所述处理器110在接收到执行指令后，可相应地执行所述程序。其中，所述存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
在本实施例中，所述处理器110可以是一种具有信号的处理能力的集成电路芯片。所述处理器110可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)及网络处理器(Network Processor，NP)等。通用处理器可以是微处理器或者该处理器110也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中，所述通信单元130用于通过网络建立所述电子设备10与其他设备之间的通信连接，并通过网络收发数据。
在本实施例中，所述指标数据管理装置140包括至少一个能够以软件或固件的形式存储于所述存储器120或固化在所述电子设备10的操作系统中的软件功能模块。所述处理器110可用于执行所述存储器120存储的可执行模块，例如所述指标数据管理装置140所包括软件功能模块及计算机程序等。所述电子设备10通过所述指标数据管理装置140实现基于待处理任务对待处理数据的处理，可根据任务需求对待处理数据实现针对性地、灵活地处理，以获得所需的指标数据。
可以理解的是，图1所示的方框示意图仅为电子设备10的一种结构组成示意图，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本申请中，为确保上述电子设备10能够实现基于待处理任务对待处理数据的处理，以达到根据任务需求对待处理数据的针对性地、灵活地处理，从而获得所需的指标数据，本申请通过提供应用于上述电子设备10的指标数据管理方法实现上述功能。下面对本申请提供的指标数据管理方法进行相应描述。
可选地，请参照图2，图2是本申请实施例提供的指标数据管理方法的流程示意图。在本申请实施例中，图2所示的指标数据管理方法的具体流程和步骤如下文所示。
步骤S210，获取待处理数据、待处理任务以及预先配置的与所述待处理任务对应的业务文件，所述业务文件包含多个预先配置的处理模板。
步骤S220，从所述待处理数据中提取所述待处理任务所需的业务数据。
步骤S230，按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据。
在对银行业务数据进行处理时，由于银行业务数据涉及到多个方面，往往数据量庞大，而对于不同的任务，可能所需不同的数据类型。例如，对于一个任务，则对应需要银行业务数据中的某个特定类型的数据，而除了该特定类型的数据之外的其他类型的数据，在处理该任务时则不需要。因此，在基于该任务从银行业务数据中进行指标数据的提取时，无需关注这些不需要的类型业务数据，避免对该任务的执行造成干扰。
本实施例中，在建立任务分类时，可简单地将对公客户和个人客户进行任务分类，或者在对公客户下，可以基于企业基本信息、企业外部负面信息、贷款信息、资产信息、行业相关信息、财务信息等进行任务分类。
本实施例中，预先基于不同的处理任务建立有对应的业务文件，该业务文件可为XML文件。而该业务文件中包含多个预先配置的处理模板，其中，各个处理模板包括对业务数据的处理规则，可用于对业务数据进行处理，得到该处理任务所需的指标数据。
其中，该待处理数据可以是银行业务中的流水数据，也可以是从其他途径获得的业务表的表数据，例如企业的相关信息等的表数据。在获得待处理数据的基础上，为了排除其他不需要的数据对任务执行的干扰，上述业务数据为从待处理数据中提取出的待处理任务所需的业务数据。请参阅图3，本实施例中，从待处理数据中提取待处理任务所需的业务数据的步骤，可通过以下过程实现：
步骤S310，按预设清洗策略对所述待处理数据进行清洗。
步骤S320，将清洗后的待处理数据的格式转换为预设统一格式。
步骤S330，从格式转换后的待处理数据中提取所述待处理任务所需的业务数据。
考虑到获取到的待处理数据中可能包含对于任务执行并无实际意义的信息，因此，可先对待处理数据进行清洗，以将这些无实际意义的信息滤除，这些无实际意义的信息可以通过预先配置或学习确定，例如去除一些预设类型的信息。可选地，所述预设清洗策略可以是去重策略，即将待处理数据中的重复数据进行滤除。预设清洗策略也可以是标号去除策略、虚词去除策略等。
由于不同的数据来源不同，其数据格式也多种多样。为了对各项数据进行规范管理，本实施例中，预先设置有数据的统一格式。例如，对于个人客户的性别信息项，有可能存在例如“男性”、“女性”、“男生”、“女生”、“先生”、“女士”等多种表示方式。而多样的表示方式不便于后续对信息的统一管理，因此，对于个人客户的性别信息项，可预先设置为统一格式“男”、“女”。
如此，可基于预先设置的预设统一格式，将待处理数据的格式转换为规范的统一格式。再从格式转换后的待处理数据中提取待处理任务所需的业务数据。
再根据基于待处理任务获得的处理模板对提取到的业务数据进行处理，得到待处理任务对应的指标数据，并将获得的指标数据写入指标数据表。
本实施例所提供的指标数据管理方案，可根据待处理任务获得处理模板，并根据待处理任务从待处理数据中获得所需的业务数据。再基于处理模板对获得的业务数据进行处理，从而得到指标数据。如此，可根据任务的需求，对待处理数据进行针对性地、灵活地处理，避免完全按照预先设置的指标项对待处理数据进行统一处理，所存在的适应性不强、灵活性不足的问题。
本实施例中，利用处理模板对业务数据进行处理得到指标数据时，其中，某些基础指标数据可通过简单的规则获得，例如企业基本信息、企业负面信息、贷款信息、行业相关信息、财务指标信息等银行标准数据。而有些指标数据则为需要由基础指标数据通过一定的变换、多个基础指标数据的组合得到的衍生指标数据。
获得的业务数据中可能包含流水数据，或者是来自多个业务表的表数据。例如，企业的转账信息、个人的转账信息等主要的财务数据，可能来自流水数据。而例如企业的其他相关信息，例如企业的股东信息、企业的发表专利的信息等可能来自业务表。
针对待处理数据中的流水数据，在按各处理模板对业务数据进行处理，以得到待处理任务对应的指标数据时，可通过以下方式实现：
根据所述处理模板获得所述流水数据包含的数据项中，所述待处理任务所需的目标数据项；
从所述流水数据中提取预设时段内所述目标数据项对应的流水数据，以提取出的流水数据作为指标数据。
流水数据中一般包含多个数据项信息，数据项可以是例如时间、资金来源、资金流向、财务金额、财务类型等。若待处理任务为统计某个企业的资金流向情况时，则流水数据中包含的资源流向、时间、财务类型等数据项将作为该待处理任务所需的目标数据项。
在执行该待处理任务时，则需要获得预设时段内的目标数据项对应的流水数据，该预设时段可以是一个月或一周等不限。而提取出的该预设时段内目标数据项对应的流水数据，即作为该待处理任务的指标数据。
本实施例中，对于业务数据中的流水数据进行指标数据提取时，一般不需要作过多的转换或聚合等操作，在业务数据为来自多个业务表的表数据时，则可能需要根据待处理任务对来自多个业务表的表数据进行聚合或联合等，以得到指标数据。
作为一种可能的实施方式，各个业务表包含多个字段，其中，业务表的一列可对应一个字段。若待处理任务所需的指标数据为简单的基础指标数据，则可基于各个业务表的单独的字段下的数据获得，而无需作多个字段的聚合，或者是多个业务表的联合处理等。
在这种情形下，可针对每个业务表，根据处理模板获得所述业务表中包含的所述待处理任务所需的字段，将业务表中包含的所述字段下的表数据作为指标数据。
例如，针对某个业务表，该业务表包含企业名称字段，在待处理任务需要获取企业名称作为指标数据时，则只需要通过查找的方式，获得该业务表的企业名称字段下的数据，作为指标数据即可。
作为另一种实施方式，在待处理任务所需的指标数据为需要对一个业务表中的多个字段下的信息进行综合处理后得到时，则需要对该多个字段下的信息进行聚合操作进而得到指标数据。
在此种情形下，针对每个业务表，根据处理模板获得所述业务表中包含的待处理任务所需的多个字段。再对业务表包含的多个字段下的表数据进行聚合操作，将聚合操作后得到的数据作为指标数据。其中，聚合操作包括求和操作、取平均值操作、取最大值操作和取最小值中的任意一种。
例如，在待处理任务需要获得某个企业的最大股东的信息时，而业务表中通过多个字段记录有该企业的各个股东的信息，则需要对该多个字段下各个股东的信息进行分析处理，以获得该企业的最大股东的信息，作为指标数据。
如此，通过对单一业务表中的多个字段下的数据进行聚合操作，则可在基础指标数据的基础上，通过如求和操作、取平均值操作、取最大值操作或取最小值操作等，得到衍生指标数据，便于指标数据的扩展。
此外，本实施例中，作为另一种可能的实施方式，在待处理任务所需的指标数据需要通过多个业务表中的表数据获取时，则需要将多个业务表进行联合，从获得指标数据。
此种情形下，针对多个业务表，按处理模板获得多个业务表各自包含的待处理任务所需的字段，再对多个业务表中相同字段下的表数据进行联合处理，将联合处理后得到的相同字段下的数据作为指标数据。其中，联合处理包含求和处理、取平均值处理、取最大值处理和取最小值处理中的任意一种。
例如，在待处理任务需要获得某个企业的一段时间内发表的专利数量时，而该企业在该一段时间内的相关信息分别记录在多个业务表中时。则需要分别获得各个业务表中包含的专利信息字段下的数据，并将从各个业务表中获得的数据进行求和处理。从而得到该企业在该一段时间内发表的专利数量，以作为指标数据。
通过以上过程，则无论是针对流水数据、来自业务表的表数据，均可以基于处理模板进行基础指标数据的提取，或者是在基础指标数据的基础上进行例如转换、聚合或联合处理等操作，得到衍生指标数据，有助于指标项的扩展。
请参阅图4，本实施例中，在获得指标数据后，需要将指标数据集中写入至指标数据表，利用指标数据表进行统一记录。本实施例所提供的指标数据管理方法还包括以下步骤：
步骤S410，获得预先创建的指标数据表的主键信息，所述主键信息用于标识所述指标数据表的各行数据。
步骤S420，基于所述主键信息获得所述指标数据对应的主键，所述主键用于标识所述指标数据。
步骤S430，查找到所述指标数据表中所述指标数据所属的数据字段。
步骤S440，按所述指标数据对应的主键以及查找到的数据字段将所述指标数据写入所述指标数据表。
本实施例中，预先创建的指标数据表包含多个数据字段，其中，指标数据表的每一列可对应一个数据字段。而指标数据表的主键信息为多个数据字段中的其中一个，可用于标识指标数据表中的各行数据。一般地，将例如企业名称、企业ID等数据字段作为主键信息。主键信息所在的数据字段可为指标数据表的第一列字段，以便于数据查找。当然，也可以是指标数据表的最后一列，对此本实施例不作具体限制。
例如，在主键信息为企业ID时，则在获得指标数据之后，需要获得至表皮数据所对应的主键，即指标数据所属企业的企业ID。并获得指标数据表中指标数据所属的数据字段。例如，在指标数据为企业最大股东时，则相应地获得指标数据表中企业最大股东的数据字段。
再根据指标数据对应的主键以及查找到的数据字段，定位到指标数据表的对应行、对应列，并将指标数据写入至指标数据表中定位出的行和列。
本实施例中，所述指标数据表可为hbase数据库表，在需要基于指标数据表中的信息进行例如预警分析、标签标记等处理时，为了便于数据分析，可根据指标数据表的表结构以及包含的数据信息等，构建hive表，从而将hbase数据库表中的信息映射至hive表中。基于hive表中的数据信息进行预警分析、标签标记等。
综上，本申请实施例提供的指标数据管理方案，可基于不同的任务需求进行指标数据的提取，准确、全面、系统的反映银行信贷、现金收支、客户信息等业务活动情况。从而优化银行的运作模式，解决各项风险产生的影响。
在本申请中，为确保所述电子设备10所包括的指标数据管理装置140能够正常实施，本申请通过对指标数据管理装置140进行功能模块划分的方式实现其功能。下面对本申请提供的指标数据管理装置140的具体组成进行相应描述。
可选地，请参照图5，图5是本申请实施例提供的指标数据管理装置140的功能模块示意图。在本申请实施例中，所述指标数据管理装置140包括获取模块141、提取模块142和处理模块143。
获取模块141，用于获取待处理数据、待处理任务以及预先配置的与所述待处理任务对应的业务文件，所述业务文件包含多个预先配置的处理模板。可以理解，该获取模块141可以用于执行上述步骤S210，关于该获取模块141的详细实现方式可以参照上述对步骤S210有关的内容。
提取模块142，用于从所述待处理数据中提取所述待处理任务所需的业务数据。可以理解，该提取模块142可以用于执行上述步骤S220，关于该提取模块142的详细实现方式可以参照上述对步骤S220有关的内容。
处理模块143，用于按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据。可以理解，该处理模块143可以用于执行上述步骤S230，关于该处理模块143的详细实现方式可以参照上述对步骤S230有关的内容。
需要说明的是，本申请实施例所提供的指标数据管理装置140，其基本原理及产生的技术效果与前述的指标数据管理方法相同，为简要描述，本实施例部分未提及之处，可参考上述的针对指标数据管理方法的相应描述内容。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的指标数据管理方法、装置、电子设备10和机器可读存储介质，通过获取待处理任务，可获得预先配置的与待处理任务对应的包含多个处理模板的业务文件，并从待处理数据中提取待处理任务所需的业务数据。按获得的处理模板对业务数据进行处理，得到待处理任务对应的指标数据，最后将得到的指标数据写入指标数据表中。如此，可适应性地根据待处理任务对业务数据进行处理，得到指标数据，避免完全按照预设的指标项对获得的所有业务数据进行统一处理所存在的无针对性、缺乏灵活性等问题。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种指标数据管理方法，其特征在于，所述方法包括：
获取待处理数据、待处理任务以及预先配置的与所述待处理任务对应的业务文件，所述业务文件包含多个预先配置的处理模板；
从所述待处理数据中提取所述待处理任务所需的业务数据；
按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据。
2.根据权利要求1所述的指标数据管理方法，其特征在于，所述从所述待处理数据中提取所述待处理任务所需的业务数据的步骤，包括：
按预设清洗策略对所述待处理数据进行清洗；
将清洗后的待处理数据的格式转换为预设统一格式；
从格式转换后的待处理数据中提取所述待处理任务所需的业务数据。
3.根据权利要求1所述的指标数据管理方法，其特征在于，所述方法还包括：
获得预先创建的指标数据表的主键信息，所述主键信息用于标识所述指标数据表的各行数据；
基于所述主键信息获得所述指标数据对应的主键，所述主键用于标识所述指标数据；
查找到所述指标数据表中所述指标数据所属的数据字段；
按所述指标数据对应的主键以及查找到的数据字段将所述指标数据写入所述指标数据表。
4.根据权利要求1所述的指标数据管理方法，其特征在于，所述业务数据包括流水数据，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
根据所述处理模板获得所述流水数据包含的数据项中，所述待处理任务所需的目标数据项；
从所述流水数据中提取预设时段内所述目标数据项对应的流水数据，以提取出的流水数据作为指标数据。
5.根据权利要求1所述的指标数据管理方法，其特征在于，所述业务数据包括来自多个业务表的表数据，各所述业务表包含多个字段，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
针对每个所述业务表，根据所述处理模板获得所述业务表中包含的所述待处理任务所需的字段，将所述业务表中包含的所述字段下的表数据作为指标数据。
6.根据权利要求1所述的指标数据管理方法，其特征在于，所述业务数据包括来自多个业务表的表数据，各所述业务表包含多个字段，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
针对每个所述业务表，根据所述处理模板获得所述业务表中包含的所述待处理任务所需的多个字段；
对所述业务表包含的所述多个字段下的表数据进行聚合操作，将聚合操作后得到的数据作为指标数据，其中，所述聚合操作包括求和操作、取平均值操作、取最大值操作和取最小值操作中的任意一种。
7.根据权利要求1所述的指标数据管理方法，其特征在于，所述业务数据包括来自多个业务表的表数据，各所述业务表包含多个字段，所述按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据的步骤，包括：
针对所述多个业务表，按所述处理模板获得所述多个业务表各自包含的所述待处理任务所需的字段；
对所述多个业务表中相同字段下的表数据进行联合处理，将联合处理后得到的相同字段下的数据作为指标数据，其中，所述联合处理包括求和处理、取平均值处理、取最大值处理和取最小值处理中的任意一种。
8.一种指标数据管理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理数据、待处理任务以及预先配置的与所述待处理任务对应的业务文件，所述业务文件包含多个预先配置的处理模板；
提取模块，用于从所述待处理数据中提取所述待处理任务所需的业务数据；
处理模块，用于按各所述处理模板对所述业务数据进行处理，以得到所述待处理任务对应的指标数据。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的指标数据管理方法。
10.一种机器可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的指标数据管理方法。
CN201911128964.3A 2019-11-18 2019-11-18 指标数据管理方法、装置、电子设备和机器可读存储介质 Pending CN110837519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911128964.3A CN110837519A (zh) 2019-11-18 2019-11-18 指标数据管理方法、装置、电子设备和机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911128964.3A CN110837519A (zh) 2019-11-18 2019-11-18 指标数据管理方法、装置、电子设备和机器可读存储介质

Publications (1)

Publication Number Publication Date
CN110837519A true CN110837519A (zh) 2020-02-25

Family

ID=69576739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911128964.3A Pending CN110837519A (zh) 2019-11-18 2019-11-18 指标数据管理方法、装置、电子设备和机器可读存储介质

Country Status (1)

Country Link
CN (1) CN110837519A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434195A (zh) * 2020-11-30 2021-03-02 天津狮拓信息技术有限公司 数据解析方法、装置、电子设备及计算机可读存储介质
CN112667485A (zh) * 2020-12-30 2021-04-16 新奥数能科技有限公司 平台数据节点显示方法、装置、电子设备和介质
CN112860709A (zh) * 2021-03-17 2021-05-28 网易（杭州）网络有限公司 业务指标查询方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942228A (zh) * 2013-01-23 2014-07-23 纽海信息技术（上海）有限公司 规则引擎、计算方法、业务系统及调用方法
CN106296399A (zh) * 2015-06-11 2017-01-04 交通银行股份有限公司 业务规则公式化的数据处理方法和系统
CN108428104A (zh) * 2018-01-03 2018-08-21 平安科技（深圳）有限公司 薪资计算方法、应用服务器及计算机可读存储介质
CN109377157A (zh) * 2018-09-14 2019-02-22 恒生电子股份有限公司 薪酬数据处理方法及装置、存储介质、电子设备
CN109684053A (zh) * 2018-11-05 2019-04-26 广东岭南通股份有限公司 大数据的任务调度方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942228A (zh) * 2013-01-23 2014-07-23 纽海信息技术（上海）有限公司 规则引擎、计算方法、业务系统及调用方法
CN106296399A (zh) * 2015-06-11 2017-01-04 交通银行股份有限公司 业务规则公式化的数据处理方法和系统
CN108428104A (zh) * 2018-01-03 2018-08-21 平安科技（深圳）有限公司 薪资计算方法、应用服务器及计算机可读存储介质
CN109377157A (zh) * 2018-09-14 2019-02-22 恒生电子股份有限公司 薪酬数据处理方法及装置、存储介质、电子设备
CN109684053A (zh) * 2018-11-05 2019-04-26 广东岭南通股份有限公司 大数据的任务调度方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434195A (zh) * 2020-11-30 2021-03-02 天津狮拓信息技术有限公司 数据解析方法、装置、电子设备及计算机可读存储介质
CN112667485A (zh) * 2020-12-30 2021-04-16 新奥数能科技有限公司 平台数据节点显示方法、装置、电子设备和介质
CN112860709A (zh) * 2021-03-17 2021-05-28 网易（杭州）网络有限公司 业务指标查询方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110837519A (zh) 指标数据管理方法、装置、电子设备和机器可读存储介质
Peters et al. Zenodo in the spotlight of traditional and new metrics
CN110443552B (zh) 一种产品主数据信息自动传输的方法及装置
CN107767070B (zh) 用于信息推广的方法及装置
WO2019041748A1 (zh) 一种保单数据处理方法、装置、电子设备及介质
CN112000656A (zh) 基于元数据的智能化数据清洗方法及装置
CN111210323A (zh) 一种企业税务风险监控方法及系统
US20140195391A1 (en) Accounting data generation apparatus, method, and server apparatus
CN113205402A (zh) 对账方法、装置、电子设备及计算机可读介质
CN102208061A (zh) 数据核销处理装置和数据核销处理方法
CN107729330B (zh) 获取数据集的方法和装置
US10157207B2 (en) System for supplemental data reporting utilizing data record properties
CN111242779B (zh) 金融数据特征选择和预测方法、装置、设备及存储介质
CN117474696A (zh) 佣金结算问题的诊断方法、系统、设备及存储介质
US20150242866A1 (en) Determination device, determination method, and computer-readable recording medium
CN111415096A (zh) 一种征信数据检查方法与系统
CN112905677A (zh) 数据处理方法及装置、业务处理系统和计算机设备
CN111160681A (zh) 基于用户收支数据评估用户收入级别的方法、装置及存储介质
US20150213098A1 (en) Business Rules Influenced Quasi-Cubes with Higher Diligence of Data Optimization
CN112053217B (zh) 财务估值报表的生成方法及装置
CN111026705B (zh) 建筑工程文件管理方法、系统及终端设备
US11379445B2 (en) System and method for analyzing and structuring data records
CN114064801A (zh) 基于知识图谱的区块链数据监管方法、系统及计算机设备
US10482483B2 (en) System for aggregating data record attributes for supplemental data reporting
CN111178028B (zh) 一种财务数据的清洗方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200225

WD01 Invention patent application deemed withdrawn after publication