CN114676177A - 一种金融指标的确定方法、装置、设备、介质及产品 - Google Patents
一种金融指标的确定方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN114676177A CN114676177A CN202210306380.6A CN202210306380A CN114676177A CN 114676177 A CN114676177 A CN 114676177A CN 202210306380 A CN202210306380 A CN 202210306380A CN 114676177 A CN114676177 A CN 114676177A
- Authority
- CN
- China
- Prior art keywords
- processing
- financial index
- determining
- financial
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 318
- 238000004590 computer program Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 239000000047 product Substances 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种金融指标的确定方法、装置、设备、介质及产品。本发明涉及大数据技术领域。所述方法由金融指标处理系统执行，金融指标处理系统包括主数据库和分布式处理集群；该方法包括：通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定金融指标的确定是否涉及复杂逻辑处理；若金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用基础模型数据进行指标确定，生成至少一个处理结果，并将至少一个处理结果装载至主数据库中；通过主数据库将至少一个处理结果进行汇总，并根据汇总结果确定金融指标。本方案可以在提高金融指标处理效率的同时，最大化节约计算资源，实现算力的灵活线性扩展。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种金融指标的确定方法、装置、设备、介质及产品。
背景技术
商业银行存在着诸多的金融指标处理任务，如净利息收入水平预测、利率风险经济资本等的计算。金融指标的确定通常需要对全行的各类产品交易数据进行聚集后，运用一系列复杂的金融公式进行计算。
目前，业界对于海量数据的复杂逻辑金融指标处理，通常采用如下步骤：(1)将全行各产品组件的合约、账户以及交易等信息归集，按照后续计量加工所需的要素聚合、衍生加工补充生成派生属性，生成基础模型数据表；(2)依靠SQL语句，对海量的基础模型数据进行逐笔复杂金融公式计算，并将结果存储到明细结果表中；(3)对明细结果进行各种业务情景的汇总和统计分析，如业务方案模拟测算、风险计量分析以及压力测试等，得到最终所需计量结果。
但是，现有方案中采用SQL脚本对数据库表进行操作，容易导致代码冗长、可读性差、逻辑性差、难以维护和扩展。同时，SQL脚本计算执行速度慢，不能响应，容易影响其他处理任务的执行，导致数据库整体负载过高。
发明内容
本发明提供了一种金融指标的确定方法、装置、设备、介质及产品，以解决金融指标处理过程中代码执行效率低下、可维护性差等问题，可以在提高金融指标处理效率的同时，最大化节约计算资源，实现算力的灵活线性扩展。
根据本发明的一方面，提供了一种金融指标的确定方法，所述方法由金融指标处理系统执行，所述金融指标处理系统包括主数据库和分布式处理集群；所述主数据库与所述分布式处理集群交互；所述方法包括：
通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理；
若所述金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用所述基础模型数据进行指标确定，生成至少一个处理结果，并将所述至少一个处理结果装载至所述主数据库中；
通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
根据本发明的另一方面，提供了一种金融指标的确定装置，该装置配置于金融指标处理系统执行，所诉金融指标处理系统包括主数据库和分布式处理集群；所述主数据库与所述分布式处理集群交互；所述装置包括：
数据生成及处理判断模块，用于通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理；
指标处理及装载模块，用于若所述金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用所述基础模型数据进行指标确定，生成至少一个处理结果，并将所述至少一个处理结果装载至所述主数据库中；
金融指标确定模块，用于通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的金融指标的确定方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的金融指标的确定方法。
根据本发明的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的金融指标的确定方法。
本发明实施例的技术方案，通过主数据库生成基础模型数据和实现金融指标中复杂逻辑处理的判断。在金融指标涉及复杂逻辑处理时，通过分布式处理集群进行指标确定，并通过主数据库实现处理结果的汇总和金融指标的确定。该技术方案可以解决金融指标处理过程中代码执行效率低下、可维护性差等问题，可以在提高金融指标处理效率的同时，最大化节约计算资源，实现算力的灵活线性扩展。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种金融指标的确定方法的流程图；
图2是根据本发明实施例二提供的一种金融指标的确定方法的流程图；
图3是根据本发明实施例三提供的一种金融指标的确定方法的流程图；
图4是根据本发明实施例四提供的一种金融指标的确定装置的结构示意图；
图5是实现本发明实施例的金融指标的确定方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
实施例一
图1为本发明实施例一提供了一种金融指标的确定方法的流程图，本实施例可适用于金融指标的确定场景，该方法可以由金融指标的确定装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备中。如图1所示，该方法包括：
S110、通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理。
本方案可以由金融指标处理系统执行，所述金融指标处理系统可以用于处理金融指标，例如银行的净利息收入水平、利率风险和经济资本等金融指标。以确定银行的金融指标为例，金融指标处理系统需要对全行的各类产品组件数据进行聚集，运用一系列复杂金融公式来完成金融指标的处理。与常规的数据批量处理相比，金融指标的处理存在如下特点：
(1)处理数据量巨大，参与计算的数据规模通常在十亿级以上；
(2)需要针对交易数据的业务特征逐笔进行处理，交易数据之间存在相互依赖、递归引用等复杂关系；
(3)需要运用大量金融公式，处理逻辑复杂，如拆分现金流等；
(4)逐笔处理之后，需要对处理明细进行汇总统计。
基于金融指标处理的上述特点，可以将金融指标处理系统分为主数据库和分布式处理集群两部分，所述主数据库与所述分布式处理集群可以进行交互。所述主数据库可以是Oracle数据库，也可以是MySQL数据库，还可以是大规模并行分析(AnalyticalMassively Parallel Processing Databases，Mpp)数据库。容易理解的，主数据库擅长通过数据库脚本对数据表进行简单的逻辑处理，例如SQL语句。因此，主数据库可将各产品组件数据收集起来，生成基础模型数据。其中，所述组件数据可以包括交易数据、属性数据等产品相关数据，所述基础模型数据可以是基于产品组件数据为配合金融指标的确定而生成的数据。所述基础模型数据可以包括原始的产品组件数据，也可以包括由原始的产品组件数据经过衍生、加工等处理之后得到的数据。
本方案中，可选的，所述通过主数据库根据预先获取的各产品组件数据，生成基础模型数据，包括：
通过主数据库将预先获取的各产品组件数据进行数据聚合，并根据金融指标的处理需求加工衍生指标，生成基础模型数据。
可以理解的，主数据库可以将不同数据源的产品组件数据进行聚合，以得到完整的产品数据。主数据库可以利用各产品数据，根据金融指标的处理需求对各产品数据进行加工，以得到衍生指标。例如假设产品数据为交易数据中的合同到期日，在做流动性风险计量时需要计算到期日距离当前日期的时间长度，所述时间长度可以认为是合同到期日的衍生指标。主数据库可以基于产品数据和衍生指标，为金融指标的确定准备必要的输入数据，生成基础模型数据，所述基础模型数据可以以数据表的形式生成。
上述方案可以依据金融指标的处理需要，生成基础模型数据，为金融指标的确定做好充分的数据准备，有利于提升金融指标的处理效率。
同时，根据金融指标的确定规则，主数据库可以判断金融指标的确定是否涉及复杂逻辑处理。主数据库可以为不同的运算方式设置复杂度计算规则，然后根据金融指标的确定规则中所包括的运算方式，基于复杂度计算规则确定金融指标的计算复杂度。接下来根据计算复杂度是否超过预设复杂度阈值来判断金融指标的确定是否涉及复杂逻辑处理。
具体的，所述根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理，包括：
若所述金融指标的确定规则中存在循环遍历、迭代、递归以及复杂度高于预设复杂度阈值的金融公式中的至少一种，则确定所述金融指标的确定涉及复杂逻辑处理。
主数据库也可以设置复杂逻辑运算集合，将逻辑复杂的运算方式放入所述复杂逻辑运算集合中。例如将循环遍历、迭代、递归以及复杂度高于预设复杂度阈值的金融公式放入所述复杂逻辑运算集合中。如果所述金融指标的确定规则中存在所述复杂逻辑运算集合中的一个或多个元素，则可以认为金融指标的确定涉及复杂逻辑处理。如果所述金融指标的确定规则不涉及所述复杂逻辑运算集合中的任何一个元素，则可以认为金融指标的确定不涉及复杂逻辑处理。
在本方案中，主数据库可以将金融指标的确定规则中的几种复杂逻辑运算识别筛选出来，将金融指标的确定根据是否涉及复杂逻辑处理分为两类，有利于依据逻辑复杂程度分配不同的计算资源，实现硬件资源的合理利用。
S120、若所述金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用所述基础模型数据进行指标确定，生成至少一个处理结果，并将所述至少一个处理结果装载至所述主数据库中。
如果金融指标的确定涉及复杂逻辑处理，主数据库可以将其分配给分布式处理集群来执行复杂逻辑处理。所述分布式处理集群通过包括多个处理节点，每个处理节点可以完成单独的逻辑处理，生成一个或多个处理结果。因此，分布式处理集群具有强大的计算力。分布式处理集群可以采用JAVA、C++以及Python等面向对象语言来设计指标处理代码，更容易实现复杂逻辑处理，尤其是循环遍历、迭代以及递归等运算。
在完成指标确定之后，分布式处理集群可以将各处理结果回写到主数据库中。具体的，分布式处理集群可以将各处理结果直接发送至主数据库。由于各个处理节点在处理任务和处理速率上存在差异，分布式处理集群也可以将处理任务已完成处理节点生成的处理结果以数据表的形式保存下来，待全部处理节点结束处理任务之后，再将全部处理结果发送至主数据库。
可选的，在确定所述金融指标是否涉及复杂逻辑处理之后，所述方法还包括：
若金融指标的确定不涉及复杂逻辑处理，则通过所述主数据库利用所述基础模型数据进行金融指标的确定。
如果金融指标的确定不涉及复杂逻辑处理，则主数据库可以通过数据库脚本，基于基础模型数据直接实现简单逻辑处理，进而完成金融指标的确定。
本方案可以为不同处理类型的金融指标合理分配计算资源，有利于实现计算资源的合理利用，进而提升处理效率。
S130、通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
主数据库可以将全部处理结果统计汇总，主数据库可以根据汇总结果直接得到金融指标，也可以对汇总结果进行简单逻辑处理得到金融指标。
在本方案中，可选的，所述通过分布式处理集群利用所述基础模型数据进行指标确定，包括：
通过分布式处理集群利用所述基础模型数据，基于Python工具，进行指标确定；
所述通过主数据库将所述至少一个处理结果进行汇总，包括：
通过主数据库采用SQL语句，将所述至少一个处理结果进行汇总。
该方案可以充分发挥主数据库和分布式处理集群各自的优势，实现高效的金融指标计算。
本技术方案，通过主数据库生成基础模型数据和实现金融指标中复杂逻辑处理的判断。在金融指标涉及复杂逻辑处理时，通过分布式处理集群进行指标确定，并通过主数据库实现处理结果的汇总和金融指标的确定。该技术方案可以解决金融指标处理过程中代码执行效率低下、可维护性差等问题，可以在提高金融指标处理效率的同时，最大化节约计算资源，实现算力的灵活线性扩展。
实施例二
图2为本发明实施例二提供的一种金融指标的确定方法的流程图，本实施例以上述实施例为基础进行细化。如图2所示，该方法包括：
S210、通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理。
在本方案中，所述分布式处理集群可以包括主控节点和至少一个处理节点，所述分布式处理集群还可以包括网络存储器。其中，所述主控节点可以是管理服务器，所述处理节点可以是计算服务器。
S220、若所述金融指标的确定涉及复杂逻辑处理，则通过主控节点收集各处理节点的计算资源使用信息，并根据预先设置的处理分配规则和所述计算资源使用信息，对所述基础模型数据进行分块，确定各分块数据与各处理节点的关联关系。
如果金融指标的确定涉及复杂逻辑处理，主控节点可以收集各处理节点的计算资源使用信息。所述计算资源使用信息可以包括处理器状态、内存状态、磁盘状态以及网络状态等信息，所述计算资源使用信息还可以根据上述状态信息进一步确定计算资源使用率，例如可以将处理器、内存等硬件的利用率作为计算资源使用率。主控节点还可以将处理器、内存等多个状态指标的利用率结合预设权重来算计算资源使用率。例如主控节点选用处理器和内存两个指标来计算计算资源使用率，其中，处理器利用率为80％，内存利用率为70％，处理器和内存的预设权重均为50％，则计算资源使用率可以通过80％×50％+70％×50％计算得到75％。
主控节点可以依据计算资源使用信息和处理任务的匹配情况，确定各处理任务可分配的处理节点，然后根据处理分配规则在可分配的处理节点中选择目标节点。假设分布式处理集群中存在4个处理节点，主控节点存在3个处理任务待分配。其中，处理任务1可分配至处理节点1、处理节点2和处理节点4，处理任务2只可分配至处理节点1，处理任务3可分配至处理节点1和处理节点3。处理分配规则可以是优先为处理任务和处理节点具有唯一匹配关系的处理节点分配处理任务，如果处理任务匹配多个处理节点，则按照可分配的处理节点编号依次分配。按照处理分配规则，主控节点可以将处理任务2分配至处理节点1执行，处理任务1分配至处理节点2，处理任务3分配至处理节点3。
可以理解的，主控节点可以根据处理任务的划分情况，对基础模型数据进行分块。根据处理任务与分块数据的关联关系，以及处理任务和处理节点的关联关系，主控节点可以确定各分块数据与各处理节点的关联关系。
S230、通过所述主控节点根据所述关联关系，向各处理节点发送处理指令。
主控节点可以根据处理任务向各处理节点发送对应的处理指令，以使各处理节点按照处理指令完成相应的处理任务。
S240、通过各处理节点在所述基础模型数据中读取关联的分块数据，根据所述处理指令进行指标确定，生成至少一个处理结果。
各处理节点可以在基础模型数据中读取与分配的处理任务相关的分块数据。依据处理指令对分块数据进行指标处理，并在处理结束之后生成处理结果。
在一个可行的方案中，在生成至少一个处理结果之后，所述方法还包括：
通过各处理节点将所述处理结果以文件形式存储至所述网络存储器。
各处理节点在完成处理任务之后，可以将处理结果以文件形式存储至网络存储器，以使处理节点可以继续执行其他任务。
本方案可以通过网络存储器存储各处理节点的处理结果，避免各处理节点对主数据库的频繁操作，有利于保证金融指标计算的可靠性。同时，该方案有利于实现负载均衡，提升分布式处理集群的处理效率。
S250、通过所述主控节点对各处理节点的处理任务进行原子性校验。
主控节点可以根据各处理节点的处理结果，对各处理任务进行原子性校验，以保证各处理任务执行完成，不存在任何执行故障。
S260、若所述原子性校验结果为处理任务执行完毕，则通过所述主控节点采用外部表将所述各处理结果装载至所述主数据库中。
如果对于各处理结果的原子性校验结果为处理任务执行完毕，主控节点可以通过外部表的方式将各处理结果装载到主数据库中。所述外部表可以是不存在于数据库中的表，不会对主数据库中内容造成影响，进而保证了金融指标计算的可靠性。
S270、通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
本技术方案，通过主数据库生成基础模型数据和实现金融指标中复杂逻辑处理的判断。在金融指标涉及复杂逻辑处理时，通过分布式处理集群进行指标处理，并通过主数据库实现处理结果的汇总和金融指标的确定。该技术方案可以解决金融指标处理过程中代码执行效率低下、可维护性差等问题，可以在保证金融指标计算可靠性的同时，提高金融指标处理效率，实现算力的灵活线性扩展。
实施例三
本实施例是以上述实施例为基础的一个具体实例。图3为本发明实施例三提供的一种金融指标的确定方法的流程图，如图3所示，该方法包括：
1.生成基础模型数据。
主数据库根据分布式计算、后续汇总应用加工的需要，设计数据模型，聚合来自各产品交易组件、合约组件以及账务核算组件等的数据，并加工衍生指标。
2.主控节点对计算源数据切块并标记，分配计算资源。
主控节点收集当前可以使用的处理节点资源，根据配置原则，对分块数据进行逻辑标记。
3.主控节点将处理指令下达给处理节点。
主控节点通知空闲处理节点开始计算。
4.各处理节点读取各自的计算源数据，开始分布式计算。
参与计算的节点，批量读取需要计算的源数据，记录该分块的执行状态，逐笔进行计算。
5.处理节点的结果数据以文件形式存储到NAS(Network Attached Storage，网络附属存储)。
处理节点将每次处理的结果先以文件形式暂存至NAS,避免对主数据库频繁更新。
6.主控节点将处理结果装载到主数据库。
主控节点对分布式事务进行原子性校验，确保所有处理任务都有效执行完毕，采用外部表的方式将处理结果明细装载到主数据库。
7.主数据库进行汇总计量分析。
主数据库根据后续需求，以明细结果数据为基础，进一步进行汇总分析和计量。
本技术方案，通过主数据库生成基础模型数据和实现金融指标中复杂逻辑处理的判断。在金融指标涉及复杂逻辑处理时，通过分布式处理集群进行指标计算，并通过主数据库实现处理结果的汇总和金融指标的确定。该技术方案可以解决金融指标处理过程中代码执行效率低下、可维护性差等问题，可以在保证金融指标计算可靠性的同时，提高金融指标处理效率，最大化节约计算资源。
实施例四
图4为本发明实施例四提供的一种金融指标的确定装置的结构示意图。如图4所示，该装置包括：
数据生成及确定判断模块410，用于通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理；
指标确定及装载模块420，用于若所述金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用所述基础模型数据进行指标确定，生成至少一个处理结果，并将所述至少一个处理结果装载至所述主数据库中；
金融指标确定模块430，用于通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
可选的，所述分布式处理集群包括主控节点和至少一个处理节点；
所述指标确定及装载模块420，包括：
关联关系确定单元，用于通过主控节点收集各处理节点的计算资源使用信息，并根据预先设置的确定分配规则和所述计算资源使用信息，对所述基础模型数据进行分块，确定各分块数据与各处理节点的关联关系；
处理指令发送单元，用于通过所述主控节点根据所述关联关系，向各处理节点发送处理指令；
指标确定单元，用于通过各处理节点在所述基础模型数据中读取关联的分块数据，根据所述处理指令进行指标确定。
在上述方案的基础上，可选的，所述分布式处理集群还包括网络存储器；
所述指标确定及装载模块420还用于：
通过各处理节点将所述处理结果以文件形式存储至所述网络存储器。
在一个可行的方案中，所述指标确定及装载模块420，具体用于：
通过所述主控节点对各处理节点的处理任务进行原子性校验；
若所述原子性校验结果为处理任务执行完毕，则通过所述主控节点采用外部表将所述各处理结果装载至所述主数据库中。
本方案中，可选的，所述指标确定及装载模块420，具体用于：
通过分布式处理集群利用所述基础模型数据，基于Python工具，进行指标确定；
所述金融指标确定模块430，具体用于：
通过主数据库采用SQL语句，将所述至少一个处理结果进行汇总。
可选的，所述数据生成及处理判断模块410，还用于：
若金融指标的确定不涉及复杂逻辑处理，则通过所述主数据库利用所述基础模型数据进行金融指标的确定。
本方案中，可选的，所述数据生成及处理判断模块410，包括：
基础模型数据生成单元，用于通过主数据库将预先获取的各产品组件数据进行数据聚合，并根据金融指标的处理需求加工衍生指标，生成基础模型数据。
可选的，所述数据生成及处理判断模块410，还包括：
复杂逻辑处理判断单元，用于若所述金融指标的确定规则中存在循环遍历、迭代、递归以及复杂度高于预设复杂度阈值的金融公式中的至少一种，则确定所述金融指标的确定涉及复杂逻辑处理。
本发明实施例所提供的金融指标的确定装置可执行本发明任意实施例所提供的金融指标的确定方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5示出了可以用来实施本发明的实施例的电子设备510的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备510包括至少一个处理器511，以及与至少一个处理器511通信连接的存储器，如只读存储器(ROM)512、随机访问存储器(RAM)513等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器511可以根据存储在只读存储器(ROM)512中的计算机程序或者从存储单元518加载到随机访问存储器(RAM)513中的计算机程序，来执行各种适当的动作和处理。在RAM 513中，还可存储电子设备510操作所需的各种程序和数据。处理器511、ROM 512以及RAM 513通过总线514彼此相连。输入/输出(I/O)接口515也连接至总线514。
电子设备510中的多个部件连接至I/O接口515，包括：输入单元516，例如键盘、鼠标等；输出单元517，例如各种类型的显示器、扬声器等；存储单元518，例如磁盘、光盘等；以及通信单元519，例如网卡、调制解调器、无线通信收发机等。通信单元519允许电子设备510通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器511可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器511的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器511执行上文所描述的各个方法和处理，例如金融指标的确定方法。
在一些实施例中，金融指标的确定方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元518。在一些实施例中，计算机程序的部分或者全部可以经由ROM 512和/或通信单元519而被载入和/或安装到电子设备510上。当计算机程序加载到RAM 513并由处理器511执行时，可以执行上文描述的金融指标的确定方法的一个或多个步骤。备选地，在其他实施例中，处理器511可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行金融指标的确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
实施例六
本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本申请任一实施例所提供的金融指标的确定方法。
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种金融指标的确定方法，其特征在于，所述方法由金融指标处理系统执行，其中，所述金融指标处理系统包括主数据库和分布式处理集群；所述主数据库与所述分布式处理集群交互；所述方法包括：
通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理；
若所述金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用所述基础模型数据进行指标确定，生成至少一个处理结果，并将所述至少一个处理结果装载至所述主数据库中；
通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
2.根据权利要求1所述的方法，其特征在于，所述分布式处理集群包括主控节点和至少一个处理节点；
所述通过分布式处理集群利用所述基础模型数据进行指标确定，包括：
通过主控节点收集各处理节点的计算资源使用信息，并根据预先设置的处理分配规则和所述计算资源使用信息，对所述基础模型数据进行分块，确定各分块数据与各处理节点的关联关系；
通过所述主控节点根据所述关联关系，向各处理节点发送处理指令；
通过各处理节点在所述基础模型数据中读取关联的分块数据，根据所述处理指令进行指标确定。
3.根据权利要求2所述的方法，其特征在于，所述分布式处理集群还包括网络存储器；
在生成至少一个处理结果之后，所述方法还包括：
通过各处理节点将所述处理结果以文件形式存储至所述网络存储器。
4.根据权利要求2所述的方法，其特征在于，所述将所述至少一个处理结果装载至所述主数据库中，包括：
通过所述主控节点对各处理节点的处理任务进行原子性校验；
若所述原子性校验结果为处理任务执行完毕，则通过所述主控节点采用外部表将所述各处理结果装载至所述主数据库中。
5.根据权利要求1所述的方法，其特征在于，所述通过分布式处理集群利用所述基础模型数据进行指标确定，包括：
通过分布式处理集群利用所述基础模型数据，基于Python工具，进行指标确定；
所述通过主数据库将所述至少一个处理结果进行汇总，包括：
通过主数据库采用SQL语句，将所述至少一个处理结果进行汇总。
6.根据权利要求1所述的方法，其特征在于，在确定所述金融指标是否涉及复杂逻辑处理之后，所述方法还包括：
若金融指标的确定不涉及复杂逻辑处理，则通过所述主数据库利用所述基础模型数据进行金融指标的确定。
7.根据权利要求1所述的方法，其特征在于，所述通过主数据库根据预先获取的各产品组件数据，生成基础模型数据，包括：
通过主数据库将预先获取的各产品组件数据进行数据聚合，并根据金融指标的处理需求加工衍生指标，生成基础模型数据。
8.根据权利要求1所述的方法，其特征在于，所述根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理，包括：
若所述金融指标的确定规则中存在循环遍历、迭代、递归以及复杂度高于预设复杂度阈值的金融公式中的至少一种，则确定所述金融指标的确定涉及复杂逻辑处理。
9.一种金融指标的确定装置，其特征在于，所述装置配置于金融指标处理系统执行，所诉金融指标处理系统包括主数据库和分布式处理集群；所述主数据库与所述分布式处理集群交互；所述装置包括：
数据生成及处理判断模块，用于通过主数据库根据预先获取的各产品组件数据，生成基础模型数据；并根据金融指标的确定规则，确定所述金融指标的确定是否涉及复杂逻辑处理；
指标确定及装载模块，用于若所述金融指标的确定涉及复杂逻辑处理，则通过分布式处理集群利用所述基础模型数据进行指标确定，生成至少一个处理结果，并将所述至少一个处理结果装载至所述主数据库中；
金融指标确定模块，用于通过主数据库将所述至少一个处理结果进行汇总，并根据所述汇总结果确定所述金融指标。
10.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的金融指标的确定方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的金融指标的确定方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的金融指标的确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210306380.6A CN114676177A (zh) | 2022-03-25 | 2022-03-25 | 一种金融指标的确定方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210306380.6A CN114676177A (zh) | 2022-03-25 | 2022-03-25 | 一种金融指标的确定方法、装置、设备、介质及产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114676177A true CN114676177A (zh) | 2022-06-28 |
Family
ID=82076103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210306380.6A Pending CN114676177A (zh) | 2022-03-25 | 2022-03-25 | 一种金融指标的确定方法、装置、设备、介质及产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114676177A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117764206A (zh) * | 2024-02-21 | 2024-03-26 | 卓世智星(天津)科技有限公司 | 一种多模型集成方法及系统 |
-
2022
- 2022-03-25 CN CN202210306380.6A patent/CN114676177A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117764206A (zh) * | 2024-02-21 | 2024-03-26 | 卓世智星(天津)科技有限公司 | 一种多模型集成方法及系统 |
| CN117764206B (zh) * | 2024-02-21 | 2024-05-07 | 卓世智星(天津)科技有限公司 | 一种多模型集成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
| CN114861039B (zh) | 一种搜索引擎的参数配置方法、装置、设备及存储介质 | |
| CN115408546A (zh) | 一种时序数据管理方法、装置、设备及存储介质 | |
| CN116431505A (zh) | 一种回归测试方法、装置、电子设备、存储介质及产品 | |
| CN114676177A (zh) | 一种金融指标的确定方法、装置、设备、介质及产品 | |
| CN115794744A (zh) | 一种日志展示方法、装置、设备和存储介质 | |
| CN115934550A (zh) | 一种测试方法、装置、电子设备及存储介质 | |
| CN115617549A (zh) | 线程解耦方法、装置、电子设备及存储介质 | |
| CN115801589A (zh) | 一种事件拓扑关系确定方法、装置、设备及存储介质 | |
| CN115509931A (zh) | 基于系统的性能测试方法、装置、电子设备及存储介质 | |
| CN115438007A (zh) | 一种文件合并方法、装置、电子设备及介质 | |
| CN114996930A (zh) | 一种建模方法、装置、电子设备及存储介质 | |
| CN115328918A (zh) | 一种柔性报表生成方法、装置、电子设备及存储介质 | |
| CN115080607A (zh) | 一种结构化查询语句的优化方法、装置、设备及存储介质 | |
| CN114661571A (zh) | 模型评测方法、装置、电子设备和存储介质 | |
| CN118567870B (zh) | 批量数据处理方法、装置、设备及存储介质 | |
| CN114598705B (zh) | 消息负载均衡方法、装置、设备和介质 | |
| CN115686862A (zh) | 一种容量数据处理方法、装置、设备及存储介质 | |
| CN115392733A (zh) | 配网规划项目工程量投资估算方法、装置、设备及存储介质 | |
| CN118536034A (zh) | 备件管理方法、装置、电子设备及可读介质 | |
| CN115271505A (zh) | 一种运维指标的统计方法、装置、平台及存储介质 | |
| CN116151607A (zh) | 数据处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN117349016A (zh) | 资源分配方法、装置、设备及介质 | |
| CN118607656A (zh) | 一种回归计算模型的参数确定方法、装置、设备及介质 | |
| CN115033823A (zh) | 用于处理数据的方法、装置、设备、介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |