CN117437064A - 处理金融数据的方法、装置、电子设备及计算机可读介质 - Google Patents
处理金融数据的方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN117437064A CN117437064A CN202311735524.0A CN202311735524A CN117437064A CN 117437064 A CN117437064 A CN 117437064A CN 202311735524 A CN202311735524 A CN 202311735524A CN 117437064 A CN117437064 A CN 117437064A
- Authority
- CN
- China
- Prior art keywords
- task
- mapping
- data
- reduction
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 188
- 230000009467 reduction Effects 0.000 claims abstract description 135
- 238000004364 calculation method Methods 0.000 claims abstract description 76
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000758 substrate Substances 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了一种处理金融数据的方法、装置、电子设备及计算机可读介质，涉及金融科技技术领域。该方法的一具体实施方式包括：能够针对金融指标的处理请求，获取金融指标对应的计算任务信息；其中计算任务信息包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个映射任务和多个归约任务分属于多个层级；进而针对每一个层级的映射任务，利用多个映射节点并行处理得到第一结果数据；并利用归约节点基于第一结果数据处理归约任务，得到金融指标对应的指标数据。本发明的实施例提高了处理金融数据的灵活性、扩展性，并提高了处理金融数据的效率。
Description
技术领域
本发明涉及金融科技技术领域，尤其涉及一种处理金融数据的方法、装置、电子设备及计算机可读介质。
背景技术
在金融领域中存在多种金融产品，金融产品往往是通过较为复杂的计算模型处理金融数据，计算出金融指标数据，并提供计算出的金融指标数据给金融产品的使用方。
现有的实现处理金融数据的计算模型的方法往往根据模型的需求，开发针对实现计算模型的业务逻辑代码；在计算模型越来越复杂的情况下，现有的方法存在开发效率较低，计算模型的扩展性和灵活性较差的问题。
发明内容
有鉴于此，本发明实施例提供一种处理金融数据的方法、装置、电子设备及计算机可读介质，能够针对金融指标的处理请求，获取金融指标对应的计算任务信息；其中计算任务信息包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个映射任务和多个归约任务分属于多个层级；进而针对每一个层级的映射任务，利用多个映射节点并行处理得到第一结果数据；并利用归约节点基于第一结果数据处理归约任务，得到金融指标对应的指标数据。本发明的实施例提高了处理金融数据的灵活性、扩展性，并提高了处理金融数据的效率。
为实现上述目的，根据本发明实施例的一个方面，提供了一种处理金融数据的方法，其特征在于，包括：接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务。
可选地，针对包括归约任务的第一目标层级，根据多个所述层级之间的依赖关系，确定第一目标层级对应的上一层级包括的多个映射任务。
可选地，所述处理金融数据的方法，包括针对包括映射任务的第二目标层级，获取所述第二目标层级包含的映射任务以及所述映射任务的业务代码的一个或多个入参；为一个或多个所述入参获取对应的参数数据，使得所述映射任务的业务代码基于所述参数数据运行业务代码处理所述映射任务指示的金融数据，并输出所述映射任务对应的所述第一结果数据。
可选地，所述处理金融数据的方法，进一步包括：根据所述第二目标层级包含的映射任务的数量，将所述映射任务指示的金融数据划分为多个数据块；将每一个所述数据块分配到一个所述映射任务中，通过所述映射任务运行的业务代码处理其分配到的数据块。
可选地，所述处理金融数据的方法，进一步包括：获取所述第二目标层级包括的各个映射任务运行的业务代码输出的结果数据，将各个所述结果数据组合成为所述第二目标层级的第一结果数据。
可选地，所述处理所述归约任务包括：根据所述第一目标层级对应的上一层级输出的第一结果数据，运行所述第一目标层级包括的归约任务对应的业务代码，得到所述第一目标层级对应的所述第二结果数据。
可选地，所述处理金融数据的方法，进一步包括：判断所述第一目标层级是否存在下一层级，如果存在，将所述第二结果数据输出给所述下一层级的映射任务对应的业务代码；否则，确定所述第二结果数据为所述金融指标对应的指标数据。
为实现上述目的，根据本发明实施例的第二方面，提供了一种处理金融数据的装置，其特征在于，包括：接收请求模块、执行任务模块和确定结果模块；其中，
所述接收请求模块，用于接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；
所述执行任务模块，用于利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据；利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的数据计算依赖关系，处理所述归约任务；
所述确定结果模块，用于根据所述归约任务输出的第二结果数据，计算出所述金融指标对应的指标数据。
可选地，所述处理金融数据的装置，用于针对包括归约任务的第一目标层级，根据多个所述层级之间的依赖关系，确定第一目标层级对应的上一层级包括的多个映射任务。
可选地，所述处理金融数据的装置，用于针对包括映射任务的第二目标层级，获取所述第二目标层级包含的映射任务以及所述映射任务的业务代码的一个或多个入参；为一个或多个所述入参获取对应的参数数据，使得所述映射任务的业务代码基于所述参数数据运行业务代码处理所述映射任务指示的金融数据，并输出所述映射任务对应的所述第一结果数据。
可选地，所述处理金融数据的装置，进一步用于根据所述第二目标层级包含的映射任务的数量，将所述映射任务指示的金融数据划分为多个数据块；将每一个所述数据块分配到一个所述映射任务中，通过所述映射任务运行的业务代码处理其分配到的数据块。
可选地，所述处理金融数据的装置，进一步用于获取所述第二目标层级包括的各个映射任务运行的业务代码输出的结果数据，将各个所述结果数据组合成为所述第二目标层级的第一结果数据。
可选地，所述处理金融数据的装置，用于处理所述归约任务包括：根据所述第一目标层级对应的上一层级输出的第一结果数据，运行所述第一目标层级包括的归约任务对应的业务代码，得到所述第一目标层级对应的所述第二结果数据。
可选地，所述处理金融数据的装置，进一步用于判断所述第一目标层级是否存在下一层级，如果存在，将所述第二结果数据输出给所述下一层级的映射任务对应的业务代码；否则，确定所述第二结果数据为所述金融指标对应的指标数据。
为实现上述目的，根据本发明实施例的第三方面，提供了一种处理金融数据的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述处理金融数据的方法中任一所述的方法。
为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述处理金融数据的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：能够针对金融指标的处理请求，获取金融指标对应的计算任务信息；其中计算任务信息包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个映射任务和多个归约任务分属于多个层级；进而针对每一个层级的映射任务，利用多个映射节点并行处理得到第一结果数据；并利用归约节点基于第一结果数据处理归约任务，得到金融指标对应的指标数据。本发明的实施例提高了处理金融数据的灵活性、扩展性，并提高了处理金融数据的效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明一个实施例提供的一种处理金融数据的方法的流程示意图；
图 2 是本发明一个实施例提供的一种处理金融数据的计算任务的结构示意图；
图3是本发明一个实施例提供的一种处理金融数据的装置的结构示意图；
图4 是本发明实施例可以应用于其中的示例性系统架构图；
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本发明的技术方案中，所涉及的用户个人信息的收集、使用、保存、共享和转移等处理，均符合相关法律法规的规定，且需要告知用户并获得用户的同意或授权，当适用时，对用户个人信息进行了去标识化和/或匿名化和/或加密的技术处理。
如图1所示，本发明实施例提供了一种处理金融数据的方法，该方法可以包括以下步骤：
步骤S101：接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务。
步骤S102：利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据。
步骤S103：利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的依赖关系，处理所述归约任务。
步骤S104：根据所述归约任务输出的第二结果数据，计算出所述金融指标对应的指标数据。
下面举例说明为计算金融指标确定计算任务的步骤：1）模型拆分：首先将计算金融指标所需的复杂金融模型分解为多个可并行的计算步骤，这些计算步骤包含的算法可以是模型的不同部分、不同时间点的计算或不同计算对象等。即每个计算步骤为独立的，可以独立运行计算任务。2）映射（Map）阶段：创建一种或多种映射（Map）任务的集合，每个任务负责执行一个子算法，对每个任务，将输入的参数数据划分成多个数据块，然后将每个数据块分发给不同的映射节点（Mapper节点）。每个Mapper节点独立执行子算法，输出计算结果数据（例如以键值对的格式）。3）归约（Reduce）阶段：创建一种或多种归约任务（Reduce任务），每个任务负责处理一个或多个Mapper节点输出的计算结果数据。归约（Reduce）节点获取映射节点的映射任务包含的子算法的计算结果、合并结果等数据，并将最终结果数据输出为金融指标的最终计算结果。
具体地，在本发明的实施例中，金融指标指待计算数据的指标，为计算出该指标对应的数值所需的金融模型通常包括多个计算步骤以及多种数据，例如：资产的风险价值、多种股票数据排序等；即计算所述金融指标需要多个计算任务，获取为该金融指标设置的计算任务信息。其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的依赖关系；其中映射任务例如为Map任务，归约任务例如为Reduce任务；映射任务与归约任务之间的依赖关系可以包含计算顺序依赖关系、数据输入输出依赖关系等。
进一步地，多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；针对包括归约任务的第一目标层级，根据多个所述层级之间的依赖关系，确定第一目标层级对应的上一层级包括的多个映射任务。
下面以图2所示的计算任务的结构示意图为例说明，如图2所示，第1层级包含多个映射任务（映射任务1~N），第2层级包含归约任务（归约任务1），第1层级包含多个映射任务（映射任务a~m），第4层级包含归约任务（归约任务2），根据第4层级包含归约任务确定出最终的指标数据。例如，根据计算一种金融指标所需的具体计算策略可以划分为多个层级的任务，如图2的结构示意图所示，多个映射任务和所述归约任务分属于多个层级（第1层级~第4层级）；映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；针对包括归约任务的第一目标层级（例如第2层级或第4层级），根据多个层级之间的依赖关系，确定第一目标层级对应的上一层级包括的多个映射任务。针对第2层级的归约任务，确定上一层级（第1层级）包括的多个映射任务与第2层级的归约任务的依赖关系。其中，归约任务的层级的上一层级包括映射任务。可以理解的是，一个层级的归约任务可以处理（获取）多个层级的映射任务得到的数据，即归约任务与映射任务具有数据计算依赖关系（数据处理顺序依赖关系，或者数据计算依赖关系等），例如，归约任务x可以获取映射任务Y得到的结果数据，同时获取映射任务Z得到的结果数据，其中，映射任务Y和映射任务Z之间不存在数据计算依赖关系。本发明对层级的数量，数据依赖关系包含的具体内容不做限定。
下面举例说明映射任务和归约任务之间的依赖关系，例如，存在针对一种金融数据指标排序的计算需求，待执行排序的金融数据为10000个，其数据存储格式为100*100矩阵，以下M1、M2均指100*100矩阵，通过排序计算所得到的预期结果是：矩阵中数据的大小从左到右越来越大，从上到下越来越大。
可见计算入参的参数为100*100的矩阵，其排序的计算任务包括：
1）将矩阵M1的“列+排序函数”作为第1层级包含的100个映射任务，处理对应的排序计算得到出针对列的排序结果；
2）利用第2层级的归约任务处理第1层级映射任务得到的列排序好的矩阵M2；
3）将M2的“行+排序函数”作为第3层级映射任务处理对应的排序计算得到对应的结果矩阵；
4）利用第4层级的归约任务获取并输出满足排序需求的结果矩阵。
在该实施例中，将矩阵M1的“列+排序函数”作为第1层级包含的100个映射任务处理对应的排序操作确定出针对列的排序结果（即第一结果数据），即为利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据；
利用第2层级的归约任务处理第1层级映射任务得到的列排序好的矩阵M2，即为利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的依赖关系，处理所述归约任务。
进一步地，针对包括映射任务的第二目标层级，获取所述第二目标层级包含的映射任务以及所述映射任务的业务代码的一个或多个入参；为一个或多个所述入参获取对应的参数数据，使得所述映射任务的业务代码基于所述参数数据运行业务代码处理所述映射任务指示的金融数据，并输出所述映射任务对应的所述第一结果数据。
例如：将矩阵M1的“列+排序函数”作为第1层级包含的100个映射任务处理对应的排序操作确定出针对列的排序结果，第1层级即为包括映射任务的第二目标层级，一个或多个入参对应的参数数据即为100*100矩阵中的一列数据；“针对列的排序结果”即为映射任务对应的所述第一结果数据。
其中，根据所述第二目标层级包含的映射任务的数量，将所述映射任务指示的金融数据划分为多个数据块；将每一个所述数据块分配到一个所述映射任务中，通过所述映射任务运行的业务代码处理其分配到的数据块。例如映射任务的数量为100，根据该数量100将参数数据数据划分为100个数据块（100个列的数据或者100个行的数据），然后将100个数据块分配给每个映射任务执行排序计算，即通过所述映射任务运行的业务代码处理其分配到的数据块。
进一步地，获取所述第二目标层级包括的各个映射任务运行的业务代码输出的结果数据，将各个所述结果数据组合成为所述第二目标层级的第一结果数据。例如，存在100个映射任务执行针对100*100矩阵中每一列的排序计算，在得到排序后的结果后，需要进行数据汇总（组合），以得到该层级的映射任务输出的包含已排序的各个列的矩阵（即第一结果数据）。
进一步地，所述处理所述归约任务包括：根据所述第一目标层级对应的上一层级输出的第一结果数据，运行所述第一目标层级包括的归约任务对应的业务代码，得到所述第一目标层级对应的所述第二结果数据。具体地，通过归约任务得到其输出的第二结果数据；其中，得到第二结果数据的方法可以为利用业务代码获取上一层级的映射任务得到的第一结果数据，或者利用业务代码包含的计算策略基于第一结果数据进一步执行预设算法所得到的。
进一步地，判断所述第一目标层级是否存在下一层级，如果存在，将所述第二结果数据输出给所述下一层级的映射任务对应的业务代码；否则，确定所述第二结果数据为所述金融指标对应的指标数据。具体地，针对包括归约任务的第一目标层级，判断其处理的结果数据（即第二结果数据）是否为最终结果（即金融指标对应的指标数据），如果不是，则将所述第二结果数据作为入参数据传递给下一层级的映射任务对应的业务代码，以继续执行计算任务。
下面利用组合资产的风险价值计算模型进一步举例说明本发明的步骤。
例如：计算组合资产的风险价值所需的历史数据（即入参以及入参对应的参数值）包括：资产列表List<BeanAssetData>(BeanAssetData里面包括历史价格列表，历史收益率列表等数据)、资产权重List、置信水平、最新组合价格；
针对组合资产的风险价值的计算例如包括以下计算步骤（计算任务）：
1）计算组合资产中的每个资产收益率的均值获得资产收益率均值列表；
2）计算每个资产收益率的均值以及资产权重的加权平均值（作为收益率期望数据）；
3）根据置信水平的逆正态分布的累积分布等数据，计算损失时对应的概率；
4）计算不同资产之间的协方差矩阵；
5）计算协方差矩阵的加权和数据；
6）根据协方差矩阵的加权和、损失时对应的概率、最新组合价格、收益率期望数据计算组合资产的风险价值；
在本发明的实施例中，可以针对组合资产的风险价值的计算任务1）-6）设置多个层级的计算任务，其中多个层级的计算任务包含利用映射节点并行执行的映射任务以及利用归约节点执行的归约任务。例如：
将计算任务1）、计算任务2）分别作为两个层级的映射任务（Map），将计算的结果数据加权平均值（即第一结果数据）缓存（缓存至流或者内存等）；
将计算任务4）作为映射任务（Map任务），将计算的结果数据协方差矩阵（即第一结果数据）缓存；
利用归约任务1（Reduce任务），获取基于计算任务1）和2）的结果数据得到各个资产的加权平均值，并获取计算任务4）的协方差矩阵。
将计算任务3）、计算任务5）分别作为两个层级的映射任务（Map任务），计算出损失时对应的概率、协方差矩阵的加权和；
利用归约任务2获取计算任务3）、计算任务5）得到的结果数据；
将计算任务6）作为映射任务，得到多个组合资产的风险价值对应的结果数据；
利用归约任务6获取计算任务6）得到的结果数据，并进一步基于多个组合资产的风险价值确定出最终的组合资产的风险价值。
由此可见，本发明的实施例通过将计算金融指标数据的多个计算步骤划分为多个层级的映射任务或者归约任务，使得映射任务可以由多个映射节点并行执行计算，并利用归约任务获取映射任务得到的计算结果进一步处理，通过多个层级的映射任务或者归约任务确定出金融指标的计算结果，提高了计算金融指标数据的灵活性、扩展性和计算效率。
如图3所示，本发明实施例提供了一种处理金融数据的装置300，包括：接收请求模块301、执行任务模块302和确定结果模块303；其中，
所述接收请求模块301，用于接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；
所述执行任务模块302，用于利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据；利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的数据计算依赖关系，处理所述归约任务；
所述确定结果模块303，用于根据所述归约任务输出的第二结果数据，计算出所述金融指标对应的指标数据。
本发明实施例还提供了一种处理金融数据的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。
图4示出了可以应用本发明实施例的处理金融数据的方法或处理金融数据的装置的示例性系统架构400。
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种客户端应用，例如金融产品客户端等。
终端设备401、402、403可以是具有显示屏并且支持各种客户端应用的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所使用的客户端应用提供支持的后台管理服务器。后台管理服务器可以对接收到的计算金融指标数据的请求进行处理，并将计算得到的金融指标对应的结果数据反馈给终端设备。
需要说明的是，本发明实施例所提供的处理金融数据的方法一般由服务器405执行，相应地，处理金融数据的装置一般设置于服务器405中。
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元（CPU）501，其可以根据存储在只读存储器（ROM）502中的程序或者从存储部分508加载到随机访问存储器（RAM）503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元（CPU）501执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收请求模块、执行任务模块和确定结果模块；其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收请求模块还可以被描述为“接收针对任一金融指标的处理请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据；利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的数据计算依赖关系，处理所述归约任务；根据所述归约任务输出的第二结果数据，计算出所述金融指标对应的指标数据。
本发明的实施例，能够针对金融指标的处理请求，获取金融指标对应的计算任务信息；其中计算任务信息包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个映射任务和多个归约任务分属于多个层级；进而针对每一个层级的映射任务，利用多个映射节点并行处理得到第一结果数据；并利用归约节点基于第一结果数据处理归约任务，得到金融指标对应的指标数据。本发明的实施例提高了处理金融数据的灵活性、扩展性，并提高了处理金融数据的效率。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种处理金融数据的方法，其特征在于，包括：
接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；
利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据；
利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的数据计算依赖关系，处理所述归约任务；
根据所述归约任务输出的第二结果数据，计算出所述金融指标对应的指标数据。
2.根据权利要求1所述的方法，其特征在于，
针对包括归约任务的第一目标层级，根据多个所述层级之间的依赖关系，确定第一目标层级对应的上一层级包括的多个映射任务。
3.根据权利要求1所述的方法，其特征在于，
针对包括映射任务的第二目标层级，获取所述第二目标层级包含的映射任务以及所述映射任务的业务代码的一个或多个入参；
为一个或多个所述入参获取对应的参数数据，使得所述映射任务的业务代码基于所述参数数据运行业务代码处理所述映射任务指示的金融数据，并输出所述映射任务对应的所述第一结果数据。
4.根据权利要求3所述的方法，其特征在于，进一步包括：
根据所述第二目标层级包含的映射任务的数量，将所述映射任务指示的金融数据划分为多个数据块；
将每一个所述数据块分配到一个所述映射任务中，通过所述映射任务运行的业务代码处理其分配到的数据块。
5.根据权利要求3所述的方法，其特征在于，进一步包括：
获取所述第二目标层级包括的各个映射任务运行的业务代码输出的结果数据，将各个所述结果数据组合成为所述第二目标层级的第一结果数据。
6.根据权利要求2所述的方法，其特征在于，
所述处理所述归约任务包括：
根据所述第一目标层级对应的上一层级输出的第一结果数据，运行所述第一目标层级包括的归约任务对应的业务代码，得到所述第一目标层级对应的所述第二结果数据。
7.根据权利要求6所述的方法，其特征在于，进一步包括：
判断所述第一目标层级是否存在下一层级，如果存在，将所述第二结果数据输出给所述下一层级的映射任务对应的业务代码；
否则，确定所述第二结果数据为所述金融指标对应的指标数据。
8.一种处理金融数据的装置，其特征在于，包括：接收请求模块、执行任务模块和确定结果模块；其中，
所述接收请求模块，用于接收针对任一金融指标的处理请求；获取所述金融指标对应的计算任务信息；其中，所述计算任务信息中包含映射任务、归约任务以及所述映射任务与归约任务之间的数据计算依赖关系；多个所述映射任务和多个所述归约任务分属于多个层级；所述映射任务与归约任务之间的数据计算依赖关系包括多个层级以及多个所述层级之间的依赖关系，其中，每一个所述层级包括有多个所述映射任务或者一个所述归约任务；
所述执行任务模块，用于利用多个映射节点并行处理所述映射任务，并获取所述映射任务输出的第一结果数据；利用归约节点、所述第一结果数据、所述映射任务与所述归约任务之间的数据计算依赖关系，处理所述归约任务；
所述确定结果模块，用于根据所述归约任务输出的第二结果数据，计算出所述金融指标对应的指标数据。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735524.0A CN117437064A (zh) | 2023-12-18 | 2023-12-18 | 处理金融数据的方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735524.0A CN117437064A (zh) | 2023-12-18 | 2023-12-18 | 处理金融数据的方法、装置、电子设备及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117437064A true CN117437064A (zh) | 2024-01-23 |
Family
ID=89550153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311735524.0A Pending CN117437064A (zh) | 2023-12-18 | 2023-12-18 | 处理金融数据的方法、装置、电子设备及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437064A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992372A (zh) * | 2017-12-29 | 2019-07-09 | 中国移动通信集团陕西有限公司 | 一种基于映射归约的数据处理方法及装置 |
| CN113344689A (zh) * | 2021-06-28 | 2021-09-03 | 中国农业银行股份有限公司 | 金融数据处理方法、装置和设备 |
| CN115809015A (zh) * | 2021-09-14 | 2023-03-17 | 华为技术有限公司 | 分布式系统中数据处理的方法以及相关系统 |
| CN116820535A (zh) * | 2023-06-26 | 2023-09-29 | 网易（杭州）网络有限公司 | 任务处理方法、装置、计算机可读存储介质和电子装置 |
| CN116954490A (zh) * | 2022-11-30 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、电子设备和存储介质 |
-
2023
- 2023-12-18 CN CN202311735524.0A patent/CN117437064A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992372A (zh) * | 2017-12-29 | 2019-07-09 | 中国移动通信集团陕西有限公司 | 一种基于映射归约的数据处理方法及装置 |
| CN113344689A (zh) * | 2021-06-28 | 2021-09-03 | 中国农业银行股份有限公司 | 金融数据处理方法、装置和设备 |
| CN115809015A (zh) * | 2021-09-14 | 2023-03-17 | 华为技术有限公司 | 分布式系统中数据处理的方法以及相关系统 |
| CN116954490A (zh) * | 2022-11-30 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN116820535A (zh) * | 2023-06-26 | 2023-09-29 | 网易（杭州）网络有限公司 | 任务处理方法、装置、计算机可读存储介质和电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2255286B1 (en) | Routing workloads and method thereof | |
| CN110852882B (zh) | 用于区块链网络的分组共识方法、装置、设备和介质 | |
| US20130283097A1 (en) | Dynamic network task distribution | |
| CN109542352B (zh) | 用于存储数据的方法和装置 | |
| US9471391B1 (en) | Aggregating resource requests | |
| CN107633358B (zh) | 设施选址及分配的方法和装置 | |
| CN111324471A (zh) | 服务调整方法、装置、设备及存储介质 | |
| CN110673959A (zh) | 用于处理任务的系统、方法和装置 | |
| CN110738436A (zh) | 一种确定可用库存的方法和装置 | |
| CN113610448A (zh) | 物品调度方法、装置、电子设备和计算机可读介质 | |
| CN111044062B (zh) | 路径规划、推荐方法和装置 | |
| CN111062572A (zh) | 任务分配的方法和装置 | |
| CN112182374B (zh) | 库存控制方法、装置、电子设备和计算机可读介质 | |
| CN114035895A (zh) | 一种基于虚拟服务计算能力的全局负载均衡方法和装置 | |
| CN114020469A (zh) | 基于边缘节点的多任务学习方法、装置、介质与设备 | |
| CN117437064A (zh) | 处理金融数据的方法、装置、电子设备及计算机可读介质 | |
| CN115170026A (zh) | 一种任务处理的方法和装置 | |
| CN115115313A (zh) | 一种订单时效管理方法和装置 | |
| CN113409081A (zh) | 一种信息处理方法和装置 | |
| CN115344359A (zh) | 算力资源分配方法、装置、计算机可读存储介质及设备 | |
| CN113919734A (zh) | 订单配送方法和装置 | |
| CN108683608B (zh) | 分配流量的方法和装置 | |
| CN113537893A (zh) | 订单处理方法、装置、设备和计算机可读介质 | |
| CN113127561A (zh) | 业务单号的生成方法、装置、电子设备和存储介质 | |
| CN111161067A (zh) | 一种交易路由的确定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |