CN108108452B - 金融数据存储及查询系统、金融数据存储及查询方法 - Google Patents
金融数据存储及查询系统、金融数据存储及查询方法 Download PDFInfo
- Publication number
- CN108108452B CN108108452B CN201711453093.3A CN201711453093A CN108108452B CN 108108452 B CN108108452 B CN 108108452B CN 201711453093 A CN201711453093 A CN 201711453093A CN 108108452 B CN108108452 B CN 108108452B
- Authority
- CN
- China
- Prior art keywords
- data
- request information
- finance
- financial
- financial business
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种金融数据存储及查询系统、金融数据存储及查询方法，该系统包括：金融数据翻译模块，将金融交易指令翻译成JSMY语言的金融交易指令；JSMY识别编译模块，用于识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架；数据使用优化模块，用于在存储时提供数据存储路径，在查询时找出对应缓存节点；金融业务实例组装模块，用于生成金融业务类实例；分布式缓存节点，用于对存储路径进行分析，将金融业务类实例转换为该存储版本，还用于根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址。本发明的系统和方法大大简化了用户数据存取的体验。
Description
技术领域
本发明涉及计算机软件技术领域，尤其涉及金融数据存储及查询系统、金融数据存储及查询方法。
背景技术
目前，金融数据库具有以下特殊性，由于金融产品对数据储存有较高的要求，因此，金融数据库的特殊性主要体现在几个方面：第一，除了远高于一般数据的准确性、可靠性要求之外，金融数据需要具备高度的可审计性，既变更历史的高效可追溯性；第二，绝大多数金融产品需要对其长期进行生命周期维护，尤其是相对复杂的金融产品，例如掉期，其产品特性会随时间的改变而发生改变，随交易流程、清算流程、起息付息操作而发生本质变化；第三，金融产品的多样性、复杂性和金融监管机构、金融管理系统对风险敞口报表、金融头寸报告的统一要求形成了一对矛盾，现有的数据库设计很难同时满足两方面的需求；第四，资本市场的高度电子化，交易的实时化进一步对金融数据存储提出了高实效性要求。
基于对数据的可靠性考虑，国内多数金融系统目前通常使用传统的关系式数据库作为金融核心数据的存储模式。
关系数据虽然可以解决数据的可靠性问题，但是纯技术层面的数据存储不具备金融知识，无法存储业务逻辑，无法存储产品知识。多数的业务逻辑分散在不同系统的代码中，使得查错纠错，系统整合异常困难。由于关系数据库仅关注当前数据的准确性和关联性，无法进行产品生命周期的全程维护。如果使用其他方法弥补关系数据库的缺陷，会大大增加数据库的复杂性，从而影响数据的可使用性，增加数据混乱的可能，影响核心数据的权威性。
从技术的角度看，金融业务对其核心数据库的要求存在以下三对矛盾：
1)业务数据的可靠性，要求数据库具备高度同步的事务管理，这也是目前绝大多数金融机构使用传统的SQL关系数据库作为其核心数据存储方法的原因。然而，金融前台业务的日益高速化、电子化又要求其核心数据库支持异步通讯，高速存取。这在技术路径选择上是两种相互矛盾的需求。
2)同样的，随着金融创新的不断崛起，市场需求不断迭代更新，金融产品的多样性、复杂性不断提高，数据之间的关系日趋复杂。而由于金融监管不断加强，要求金融机构提供全口径报告的时效要求越来越高。同时，金融机构自身市场化管理机制的完善，风险管理手段的提高，也要求核心数据库具备统一性、唯一性和权威性。一方面金融产品的独特性、复杂性要求数据库储存方法复杂多样，而量化管理又要求数据库具备简单、统一的数据格式。这两种同时存在的需求形成了建立合格金融核心数据库的第二对矛盾。
3)金融机构中后台核心数据库的唯一性和权威性要求数据储存方法具备非常高的可审计性。目前大多数数据库都采用关系数据库的日志的方法来完成数据审计。这对于简单业务或者简单产品来说，或许不失为一种可行的方法。但对于复杂的金融产品，例如固定收益类产品，尤其是场外产品，金融业务的正常变更涵盖整个产品的生命周期。其中最长的达50年之久。即使存储5年的系统日志作为审计凭据都非常耗时耗力。因此，用日志作为金融数据审计数据源基本不可行。而前台业务又要求数据存储高效化、实时化，海量日志读写将在很大程度上拖累前台数据的时效性。如果将前台数据库和中后台分隔开来，以便使用不同的数据存储方法满足不同的需求，将带来前后台数据维护的困难，同时也大大增加了操作风险。数据的可审计性和时效性构成了金融核心数据存储的又一对矛盾。
另外，中国金融市场虽然走过了高速发展的几十年，可是由于种种原因，服务于金融机构市场化管理的软件系统和国际同行比较依然存在相当的差距。金融核心数据存储机制技术的落后是主要原因之一。而国际上类似产品的引进有以下几个障碍：1)具有业务逻辑和资本市场产品知识的智能数据库通常代表金融机构的核心竞争力，很少有人愿意将其技术公开并商品化，与其他市场参与者共享；2)少数市场上存在的产品，经过自八十年代以来的历次进化，已经和其他交易、风险、报告、清算系统高度整合，很难离境移植。而中国监管机构又不允许金融核心数据离镜，使国内金融机构购买此类服务变得不现实。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的金融数据存储及查询系统、金融数据存储及查询方法。
根据本发明的一个方面，提供了一种金融数据存储及查询系统，包括：金融数据翻译模块，用于接收用户输入的金融交易数据，将金融交易数据分为金融交易指令和金融变更数据，并将金融交易指令翻译成JSMY语言的金融交易指令，连同金融变更数据一并发送至JSMY识别编译模块；JSMY识别编译模块，用于接收JSMY语言的金融交易指令和金融变更数据，识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架，并将数据请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块；数据使用优化模块，用于接收数据请求信息骨架和金融变更数据，当数据请求信息骨架为数据存储请求信息骨架时，根据数据请求信息骨架和金融变更数据提供数据存储路径，并将数据存储路径发送至金融业务实例组装模块，当数据请求信息骨架为数据查询请求信息骨架时，根据数据请求信息骨架找出对应缓存节点，并向该缓存节点发送数据查询请求信息骨架；金融业务实例组装模块，用于接收数据存储路径，还接收并根据预设的金融数据模型将数据存储请求信息骨架和金融变更数据生成金融业务类实例，将数据存储路径和金融业务类实例发送至分布式缓存节点；分布式缓存节点，用于接收存储路径和金融业务类实例，根据数据版本管理业务逻辑对存储路径进行分析，确定金融业务类实例的存储版本，将金融业务类实例转换为该存储版本并发送至永久存储转换模块，还用于根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址；永久存储转换模块，用于将金融业务类实例转换成为物理存储格式以将金融业务类实例存储在物理介质或数据库中。
永久存储转换模块还用于在缓存节点没找到相应的金融业务类实例版本时，接收数据查询请求信息骨架，将根据数据查询请求信息骨架查到的数据零件推送给金融业务实例组装模块组装成所需金融业务类实例版本以将其推送至缓存节点，缓存节点将所需金融业务类实例版本推送至指定地址。
所述金融数据存储及查询系统，还包括：数据完善修补模块，用于对数据请求信息骨架进行补充完善。
所述金融数据存储及查询系统，还包括：数据版本管理模块，用于根据时间拉链对存储版本进行修改置换；同步管理模块，用于接收分布式缓存节点发送的版本变更或创建情况，以对其他缓存节点进行数据推送。
数据使用优化模块根据数据订阅登记信息和资源配置分析数据请求信息骨架找出对应缓存节点。
根据本发明的另一个方面，提供了一种金融数据存储及查询方法，包括以下步骤：应用金融数据翻译模块接收用户输入的金融交易数据，将金融交易数据分为金融交易指令和金融变更数据，并将金融交易指令翻译成JSMY语言的金融交易指令，连同金融变更数据一并发送至JSMY识别编译模块；应用JSMY识别编译模块接收JSMY语言的金融交易指令和金融变更数据，识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架，并将数据请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块；应用数据使用优化模块接收数据请求信息骨架和金融变更数据，当数据请求信息骨架为数据存储请求信息骨架时，根据数据请求信息骨架和金融变更数据提供数据存储路径，并将数据存储路径发送至金融业务实例组装模块，当数据请求信息骨架为数据查询请求信息骨架时，根据数据请求信息骨架找出对应缓存节点，并向该缓存节点发送数据查询请求信息骨架；当数据请求信息骨架为数据存储请求信息骨架时，应用金融业务实例组装模块接收数据存储路径，还接收并根据预设的金融数据模型将数据存储请求信息骨架和金融变更数据生成金融业务类实例，将数据存储路径和金融业务类实例发送至分布式缓存节点；应用分布式缓存节点接收存储路径和金融业务类实例，根据数据版本管理业务逻辑对存储路径进行分析，确定金融业务类实例的存储版本，将金融业务类实例转换为该存储版本并发送至永久存储转换模块；应用永久存储转换模块将金融业务类实例转换成为物理存储格式以将金融业务类实例存储在物理介质或数据库中，当数据请求信息骨架为数据查询请求信息骨架时，应用分布式缓存节点根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址。
所述金融数据存储及查询方法，还包括：在缓存节点没找到相应的金融业务类实例版本时，应用永久存储转换模块接收数据查询请求信息骨架，将根据数据查询请求信息骨架查到的数据零件推送给金融业务实例组装模块组装成所需金融业务类实例版本以将其推送至缓存节点，缓存节点将所需金融业务类实例版本推送至指定地址。
所述金融数据存储及查询方法，还包括：应用数据完善修补模块对数据请求信息骨架进行补充完善。
所述金融数据存储及查询方法，还包括：根据时间拉链对存储版本进行修改置换；分布式缓存节点通知同步管理模块版本变更或创建情况；同步管理模块对其他缓存节点进行数据推送。
本发明与现有技术相比，具有以下优点：
1.本发明的金融数据存储及查询系统采用直接存储金融业务类实例的方式作为逻辑存储方法，大大简化了用户数据存取的体验，特别是对于复杂的固定收入类金融产品，例如贷款或者债券，用户无需知道其中多层数据结构和库表之间的复杂关联关系，使用简单的JSMY(金融数据模型语言)即可存储或者调用数据，同时，分布式逻辑缓存还允许用户异步实时使用数据，满足金融前台业务的要求。
2.本发明的金融数据存储及查询系统中，通过永久存储转换模块后端物理介质或数据库进行存储，解决金融业务核心数据的安全可靠性和权威性问题，同时也为和现存的业务系统共享数据提供了方法。
3.本发明的金融数据存储及查询系统中，缓存节点中的版本管理机制结合金融数据模型中的时间拉链设计，使数据具备了很强可审计性，是金融机构控制操作风险的有力的工具。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的金融数据存储及查询系统的结构示意图；
图2为本发明实施例的金融数据存储及查询方法的步骤图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明提出了一种新一代的金融数据存储及查询系统、金融数据存储及查询方法，用于建立合格的金融核心库(System of Records)，具备各类金融产品的自动生命状态纪录、一键式变更历史审计，同时支持分布式(包括远程)存储及统一数据接口查询。本发明的金融数据查询系统对不同产品提供统一、高效的查询方法，有利于大大简化跨产品、跨区域、跨币种、跨部门、跨流程的各类金融报告功能。本发明的金融数据存储方法和金融数据查询方法提出了结合金融产品类服务，分布式缓存和强可靠性长期储存一体化的设计，同时兼顾金融数据的高可靠性、准确性、超长期例如最长可达50年的数据有效要求和金融交易数据的超高例如毫秒级的实时性查询、存储、变更需求。本发明适合所有资本市场的参与建立高效可靠合格的金融核心库，同时为未来支持大数据、云计算应用场景打好基础。
图1为本发明实施例的金融数据存储及查询系统的结构示意图，如图1所示，本发明提供的金融数据存储及查询系统，包括：金融数据翻译模块，用于接收用户输入的金融交易数据，将金融交易数据分为金融交易指令和金融变更数据，并将金融交易指令翻译成JSMY语言的金融交易指令，连同金融变更数据一并发送至JSMY识别编译模块；JSMY识别编译模块，用于接收JSMY语言的金融交易指令和金融变更数据，识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架，并将数据请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块；数据使用优化模块，用于接收数据请求信息骨架和金融变更数据，当数据请求信息骨架为数据存储请求信息骨架时，根据数据请求信息骨架和金融变更数据提供数据存储路径，并将数据存储路径发送至金融业务实例组装模块，当数据请求信息骨架为数据查询请求信息骨架时，根据数据请求信息骨架找出对应缓存节点，并向该缓存节点发送数据查询请求信息骨架；金融业务实例组装模块，用于接收数据存储路径，还接收并根据预设的金融数据模型将数据存储请求信息骨架和金融变更数据生成金融业务类实例，将数据存储路径和金融业务类实例发送至分布式缓存节点；分布式缓存节点，用于接收存储路径和金融业务类实例，根据数据版本管理业务逻辑对存储路径进行分析，确定金融业务类实例的存储版本，将金融业务类实例转换为该存储版本并发送至永久存储转换模块，还用于根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址；永久存储转换模块，用于将金融业务类实例转换成为物理存储格式以将金融业务类实例存储在物理介质或数据库中。在这里，JSMY是金融数据模型语言，其为通过金融数据翻译模块将自然语言转换成的计算机能够识别的函数信息来源或其他数据库查询语言，例如SQL(Structured QueryLanguage，结构化查询语言)。
在分布式缓存节点和永久存储转换模块之间设置物理存储配置模块，用于负责将缓存中的金融业务类实例及动态数据包转换为传统的关系数据储存或者其他的数据库格式，用于根据用户现状和需求与其他系统对接，或直接用于实现数据的永久储存，即负责掌握硬件设备资源，配置物理存储方法。
永久存储转换模块还用于在缓存节点没找到相应的金融业务类实例版本时，接收数据查询请求信息骨架，将根据数据查询请求信息骨架查到的数据零件推送给金融业务实例组装模块组装成所需金融业务类实例版本以将其推送至缓存节点，缓存节点将所需金融业务类实例版本推送至指定地址。
所述金融数据存储及查询系统，还包括：数据完善修补模块，用于对数据请求信息骨架进行补充完善。例如，当用户输入自然语言“查询我昨天所交易的所有债券的起息日”时，金融数据翻译模块并将“查询”、“交易”、“债券”和“起息日”翻译成JSMY语言；JSMY识别编译模块识别出并将“查询”、“交易”、“债券”和“起息日”编译为数据请求信息骨架，并将数据请求信息骨架发送至金融业务实例组装模块，此时，数据完善修补模块将自然语言“查询我昨天所交易的所有债券的起息日”中的“我”、“昨天”和“所有”补充至数据请求信息骨架，其中，“所有”是指用户权限范围内的所有。
所述金融数据存储及查询系统，还包括：数据版本管理模块，用于根据时间拉链对存储版本进行修改置换；同步管理模块，用于接收分布式缓存节点发送的版本变更或创建情况，以对其他缓存节点进行数据推送。
所述金融数据存储及查询系统，还包括：数据订阅存储模块，用于负责记录用户的数据订阅需求，数据使用权限认证及查询结果推送地址，使得数据使用优化模块根据数据订阅登记信息和资源配置分析数据请求信息骨架找出对应缓存节点。
所述金融数据存储及查询系统，还包括：金融数据模型管理模块，用于向金融业务实例组装模块发送金融数据模型。
其中，金融数据翻译模块前置有数据管道前置端口和多个应用场景数据使用前置端口，均支持自动交易和手动电子交易。应用场景数据使用前置端口根据不同的应用场景，提供API、GUI或者指令形式的数据使用端口。数据管道前置端口：负责通常用于海量自动交易的订阅数据使用异步信息并整合、过滤此类信息，使之变为金融数据使用请求。
金融数据翻译模块为金融业务数据查询/存储/变更端口，提供统一的JMSY数据查询、存储、变更端口。
数据使用优化模块负责管理存储资源及信息需求分布。内设优化算法，将为数据的逻辑存储和物理存储提供最佳方案，为数据的逻辑和物理查询提供优化路径。
金融业务实例组装模块是一个工厂模块。它的功能主要是将物理存储中的数据零件根据用户预设的金融数据模型组装成金融类实例。
数据完善修补模块内设业务规则库、金融产品参考数据和市场约定规则，用于将业务流程中的简要数据摘要根据不同的场景加以修补完善，形成完备的金融业务类实例。
金融数据模型，用于预设金融数据模型，为金融业务类实例组装提供依据。逻辑存储直接存储金融业务类实例。
分布式缓存节点(多个)可以根据云计算的需要将数据推送到不同的计算节点，分布式缓存节点连接至数据版本管理模块。在多个缓存节点和允许多个缓存节点存储的情况下，数据同步管理模块负责缓存节点之间的数据同步。同步的频率、时效、规则可以预先设定。
永久存储转换模块用于连通现有的各类物理介质或数据库例如SQL类关系数据库，NOSQL类大数据分析数据库，KDB类高频数据库和时间序列分析类纵向数据库等。
本发明的金融数据存储及查询系统中，通过永久存储转换模块后端物理介质或数据库进行存储，解决金融业务核心数据的安全可靠性和权威性问题，同时也为和现存的业务系统共享数据提供了方法。
所述金融数据存储及查询系统支持单机、企业服务机群和互联网应用场景，能够同时处理同步和异步应用场景。
本发明的金融数据存储及查询系统分为逻辑存储、逻辑查询、物理存储和物理查询。其中，逻辑存储和物理存储在金融数据存储中相互配合，逻辑查询和物理查询在金融数据查询中相互配合。
本发明的金融数据存储及查询系统利用金融业务当日和隔日数据需求的差异，用分隔逻辑储存和物理储存的方法同时满足金融业务前台高频异步数据使用和中后台高可靠度同步数据使用的需求。由于是同一套数据的不同存储方法/路径，并且本发明的金融数据存储及查询系统并不带来额外的数据操作，因此并不增加操作风险。
本发明的金融数据存储及查询系统通过直接存储金融业务类实例的方式，解决金融产品复杂性和统一性矛盾。金融数据和业务流程的共同部分将被抽象成为统一的数据和操作端口，而复杂的产品个性、流程特性将由子类实例和不同的代理服务实例各自完成。这样的设计还让本发明的金融数据存储及查询系统具备非常强的可扩展性。新增的产品及流程不会改变核心的数据模型和储存模式，仅仅需要增添新子类和代理服务中心即可。采用直接存储金融业务类实例的方式作为逻辑存储方法，还大大简化了用户数据存取的体验，特别是对于复杂的固定收入类金融产品，例如贷款或者债券，用户无需知道其中多层数据结构和库表之间的复杂关联关系，使用简单的JSMY(金融数据模型语言)即可存储或者调用数据，同时，分布式逻辑缓存还允许用户异步实时使用数据，满足金融前台业务的要求。
本发明的金融数据存储及查询系统的分布式缓存节点连接至数据版本管理模块，将根据可预设的业务逻辑提供版本管理服务。用户可以通过时间拉链同时查询同一业务(交易)不同时期的历史版本而不影响系统效率，原则上可实现数据一键审计。
图2为本发明实施例的金融数据存储及查询方法的步骤图，如图2所示，本发明提供的金融数据存储及查询方法，包括以下步骤：
S21，应用金融数据翻译模块接收用户输入的金融交易数据，将金融交易数据分为金融交易指令和金融变更数据，并将金融交易指令翻译成JSMY语言的金融交易指令，连同金融变更数据一并发送至JSMY识别编译模块。
本发明实施例中，当金融交易数据为存储数据时，数据存储请求或者交易摘要通过金融数据翻译模块将金融交易数据分为金融交易存储指令和金融变更数据，并将金融交易存储指令翻译成JSMY语言的金融交易存储指令，连同金融变更数据一并发送至JSMY识别编译模块。当金融交易数据为查询数据时，数据查询请求或者交易摘要通过金融数据翻译模块将金融交易数据分为金融交易查询指令，并将金融交易查询指令翻译成JSMY语言的金融交易存储指令发送至JSMY识别编译模块。当然，用户也可以跳过S21和S22直接通过JSMY语言直接使用金融数据存储及查询系统。
S22，应用JSMY识别编译模块接收JSMY语言的金融交易指令和金融变更数据，识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架，并将数据请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块。
本发明实施例中，当金融交易数据为存储数据时，应用JSMY识别编译模块识别出并将JSMY语言的金融交易存储指令编译为数据存储请求信息骨架，并将数据存储请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块。当金融交易数据为查询数据时，应用JSMY识别编译模块识别出并将JSMY语言的金融交易查询指令编译为数据查询请求信息骨架，并将数据查询请求信息骨架发送至数据使用优化模块。
S23，应用数据使用优化模块接收数据请求信息骨架和金融变更数据，当数据请求信息骨架为数据存储请求信息骨架时，根据数据请求信息骨架和金融变更数据提供数据存储路径，并将数据存储路径发送至金融业务实例组装模块，当数据请求信息骨架为数据查询请求信息骨架时，根据数据请求信息骨架找出对应缓存节点，并向该缓存节点发送数据查询请求信息骨架。
本发明实施例中，当金融交易数据为存储数据时，数据使用优化器在接收到数据存储请求信息骨架之后，将根据不同的使用场景提供存储路径。例如，日中自动交易产生的证券交易需经过打包入库，而远期大额交则需单独入库。数据使用优化器外链数据订阅管理模块，将根据资源分布配置、用户位置、用途、实效要求对缓存和物理储存资源进行分配。同时，JSMY识别编译模块根据物理存储路径在数据存储请求信息骨架上打上标签。当金融交易数据为查询数据时，根据数据订阅登记信息和资源配置分析数据查询请求信息骨架，找出对应缓存节点，并向该缓存节点发送数据查询请求信息骨架。
当数据请求信息骨架为数据存储请求信息骨架时，该方法还包括：
S24，应用金融业务实例组装模块接收数据存储路径，还接收并根据预设的金融数据模型将数据存储请求信息骨架和金融变更数据生成金融业务类实例，将数据存储路径和金融业务类实例发送至分布式缓存节点。
S25，应用分布式缓存节点接收存储路径和金融业务类实例，根据数据版本管理业务逻辑对存储路径进行分析，确定金融业务类实例的存储版本，将金融业务类实例转换为该存储版本并发送至永久存储转换模块。
本发明实施例中，永久存储转换器负责根据需要将金融业务类实例转换成物理储存所需要的格式，存放到指定的物理介质或数据库。
S26，应用永久存储转换模块将金融业务类实例转换成为物理存储格式以将金融业务类实例存储在物理介质或数据库中；
当数据请求信息骨架为数据查询请求信息骨架时，该方法还包括：
S27，应用分布式缓存节点根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址。
本发明实施例中，缓存节点接收数据查询请求信息骨架，并将指令发送到数据版本管理模块根据查询时间要求进行版本分析。
所述金融数据存储及查询方法，还包括：在缓存节点没找到相应的金融业务类实例版本时，应用永久存储转换模块接收数据查询请求信息骨架，将根据数据查询请求信息骨架查到的数据零件推送给金融业务实例组装模块组装成所需金融业务类实例版本以将其推送至缓存节点，缓存节点将所需金融业务类实例版本推送至指定地址。
在步骤S21之前，应用数据管道前置端口和多个应用场景数据使用前置端口接收并将金融交易数据发送至金融数据翻译模块。
本发明实施例中，当金融交易数据为存储数据时，金融交易数据由不同的应用场景例如各类应用电子台账，交易生命周期自动/手动发生的修改例如到期、起息、提前还款等，或者通过直接连通到各类交易平台/撮合系统的数据管道而连接到金融数据存储及查询系统的前置端口。当金融交易数据为查询数据时，应用场景数据前置端口向金融数据存储及查询系统提出查询请求。
所述金融数据存储及查询方法，还包括：应用数据完善修补模块对数据请求信息骨架进行补充完善。这是因为由交易台账或者交易摘要产生的金融变更数据往往是不完整的，金融业务实例组装模块将根据预设的数据模型及规则库对其进行完善、修补。
所述金融数据存储及查询方法，还包括：根据时间拉链对存储版本进行修改置换；分布式缓存节点通知同步管理模块版本变更或创建情况；同步管理模块对其他缓存节点进行数据推送。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种金融数据存储及查询系统，其特征在于，包括：
金融数据翻译模块，用于接收用户输入的金融交易数据，将金融交易数据分为金融交易指令和金融变更数据，并将金融交易指令翻译成JSMY语言的金融交易指令，连同金融变更数据一并发送至JSMY识别编译模块；
JSMY识别编译模块，用于接收JSMY语言的金融交易指令和金融变更数据，识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架，并将数据请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块；
数据使用优化模块，用于接收数据请求信息骨架和金融变更数据，当数据请求信息骨架为数据存储请求信息骨架时，根据数据请求信息骨架和金融变更数据提供数据存储路径，并将数据存储路径发送至金融业务实例组装模块，当数据请求信息骨架为数据查询请求信息骨架时，根据数据请求信息骨架找出对应分布式缓存节点，并向该分布式缓存节点发送数据查询请求信息骨架；
金融业务实例组装模块，用于接收数据存储路径，还接收并根据预设的金融数据模型将数据存储请求信息骨架和金融变更数据生成金融业务类实例，将数据存储路径和金融业务类实例发送至分布式缓存节点；
分布式缓存节点，用于接收存储路径和金融业务类实例，根据数据版本管理业务逻辑对存储路径进行分析，确定金融业务类实例的存储版本，将金融业务类实例转换为该存储版本并发送至永久存储转换模块，还用于根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址；
永久存储转换模块，用于将金融业务类实例转换成为物理存储格式以将金融业务类实例存储在物理介质或数据库中；
其中，JSMY是金融数据模型语言，其为通过金融数据翻译模块将自然语言转换成的计算机能够识别的函数信息来源或其他数据库查询语言。
2.根据权利要求1所述的系统，其特征在于，永久存储转换模块还用于在分布式缓存节点没找到相应的金融业务类实例版本时，接收数据查询请求信息骨架，将根据数据查询请求信息骨架查到的数据零件推送给金融业务实例组装模块组装成所需金融业务类实例版本以将其推送至分布式缓存节点，分布式缓存节点将所需金融业务类实例版本推送至指定地址。
3.根据权利要求2所述的系统，其特征在于，还包括：
数据完善修补模块，用于对数据请求信息骨架进行补充完善。
4.根据权利要求3所述的系统，其特征在于，还包括：
数据版本管理模块，用于根据时间拉链对存储版本进行修改置换；
同步管理模块，用于接收分布式缓存节点发送的版本变更或创建情况，以对其他分布式缓存节点进行数据推送。
5.根据权利要求4所述的系统，其特征在于，数据使用优化模块根据数据订阅登记信息和资源配置分析数据请求信息骨架找出对应分布式缓存节点。
6.一种金融数据存储及查询方法，其特征在于，包括以下步骤：
应用金融数据翻译模块接收用户输入的金融交易数据，将金融交易数据分为金融交易指令和金融变更数据，并将金融交易指令翻译成JSMY语言的金融交易指令，连同金融变更数据一并发送至JSMY识别编译模块；
应用JSMY识别编译模块接收JSMY语言的金融交易指令和金融变更数据，识别出并将JSMY语言的金融交易指令编译为数据请求信息骨架，并将数据请求信息骨架和金融变更数据发送至数据使用优化模块和金融业务实例组装模块；
应用数据使用优化模块接收数据请求信息骨架和金融变更数据，当数据请求信息骨架为数据存储请求信息骨架时，根据数据请求信息骨架和金融变更数据提供数据存储路径，并将数据存储路径发送至金融业务实例组装模块，当数据请求信息骨架为数据查询请求信息骨架时，根据数据请求信息骨架找出对应分布式缓存节点，并向该分布式缓存节点发送数据查询请求信息骨架；
当数据请求信息骨架为数据存储请求信息骨架时，
应用金融业务实例组装模块接收数据存储路径，还接收并根据预设的金融数据模型将数据存储请求信息骨架和金融变更数据生成金融业务类实例，将数据存储路径和金融业务类实例发送至分布式缓存节点；
应用分布式缓存节点接收存储路径和金融业务类实例，根据数据版本管理业务逻辑对存储路径进行分析，确定金融业务类实例的存储版本，将金融业务类实例转换为该存储版本并发送至永久存储转换模块；
应用永久存储转换模块将金融业务类实例转换成为物理存储格式以将金融业务类实例存储在物理介质或数据库中，
当数据请求信息骨架为数据查询请求信息骨架时，
应用分布式缓存节点根据数据查询请求信息骨架查找相应的金融业务类实例版本，并在找到相应的金融业务类实例版本时将其推送至指定的地址；
其中，JSMY是金融数据模型语言，其为通过金融数据翻译模块将自然语言转换成的计算机能够识别的函数信息来源或其他数据库查询语言。
7.根据权利要求6所述的方法，其特征在于，还包括：在分布式缓存节点没找到相应的金融业务类实例版本时，应用永久存储转换模块接收数据查询请求信息骨架，将根据数据查询请求信息骨架查到的数据零件推送给金融业务实例组装模块组装成所需金融业务类实例版本以将其推送至分布式缓存节点，分布式缓存节点将所需金融业务类实例版本推送至指定地址。
8.根据权利要求7所述的方法，其特征在于，还包括：应用数据完善修补模块对数据请求信息骨架进行补充完善。
9.根据权利要求8所述的方法，其特征在于，还包括：根据时间拉链对存储版本进行修改置换；分布式缓存节点通知同步管理模块版本变更或创建情况；同步管理模块对其他分布式缓存节点进行数据推送。
10.根据权利要求9所述的方法，其特征在于，数据使用优化模块根据数据订阅登记信息和资源配置分析数据请求信息骨架找出对应分布式缓存节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711453093.3A CN108108452B (zh) | 2017-12-28 | 2017-12-28 | 金融数据存储及查询系统、金融数据存储及查询方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711453093.3A CN108108452B (zh) | 2017-12-28 | 2017-12-28 | 金融数据存储及查询系统、金融数据存储及查询方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108108452A CN108108452A (zh) | 2018-06-01 |
| CN108108452B true CN108108452B (zh) | 2019-03-01 |
Family
ID=62213677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711453093.3A Expired - Fee Related CN108108452B (zh) | 2017-12-28 | 2017-12-28 | 金融数据存储及查询系统、金融数据存储及查询方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108108452B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116610680B (zh) * | 2023-07-20 | 2023-10-13 | 上海富友支付服务股份有限公司 | 高频库和使用高频库的数据分级存储和查询方法和系统 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263063B (zh) * | 2019-06-27 | 2023-04-07 | 深圳前海微众银行股份有限公司 | 一种资产的查询方法及服务器 |
| CN110516195B (zh) * | 2019-08-22 | 2022-11-29 | 珠海得分金融科技有限公司 | 一种金融时间向量的积算方法及时间向量积算器 |
| CN110782242B (zh) * | 2019-10-23 | 2023-06-30 | 腾讯科技（深圳）有限公司 | 外币还款方法、装置、服务器及存储介质 |
| CN110889763B (zh) * | 2019-11-21 | 2023-05-23 | 云南经济管理学院 | 一种基于大数据的金融管理系统 |
| CN113934760B (zh) * | 2021-10-15 | 2022-06-17 | 珠海百丰网络科技有限公司 | 基于人工智能模型的金融数据识别与传输系统及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1371506A (zh) * | 1999-06-30 | 2002-09-25 | 艾伦·G·麦克诺顿 | 具有多个用户界面的自动交易执行系统 |
| CN105677812A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据查询方法及数据查询装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020169777A1 (en) * | 2001-03-15 | 2002-11-14 | Liviu Balajel | Database architecture and method |
-
2017
- 2017-12-28 CN CN201711453093.3A patent/CN108108452B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1371506A (zh) * | 1999-06-30 | 2002-09-25 | 艾伦·G·麦克诺顿 | 具有多个用户界面的自动交易执行系统 |
| CN105677812A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据查询方法及数据查询装置 |
Non-Patent Citations (2)
| Title |
|---|
| A distributed object framework for financial applications;Michael Duffy等;《Proceedings Second International Enterprise Distributed Object Computing》;20020806;第148-154页 |
| 基于Hadoop的空间矢量数据的分布式存储与查询研究;陈俊欣;《中国优秀硕士学位论文全文数据库信息科技辑》;20170215(第2期);第1-65页 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116610680B (zh) * | 2023-07-20 | 2023-10-13 | 上海富友支付服务股份有限公司 | 高频库和使用高频库的数据分级存储和查询方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108108452A (zh) | 2018-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108108452B (zh) | 金融数据存储及查询系统、金融数据存储及查询方法 | |
| CN101233497B (zh) | 收益管理系统和方法 | |
| CN107391653A (zh) | 一种分布式NewSQL数据库系统及图片数据储存方法 | |
| CN110390596A (zh) | 一种金融期货交易系统 | |
| CN109325734A (zh) | 一种财务机器人系统 | |
| CN103049482B (zh) | 一种分布式异构系统中数据融合存储的实现方法 | |
| CN107301205A (zh) | 一种大数据分布式实时查询方法及系统 | |
| CN110209668A (zh) | 基于流计算的维表关联方法、装置、设备及可读存储介质 | |
| CN111639121A (zh) | 一种构建客户画像的大数据平台及构建方法 | |
| Hou | Design and application of intelligent financial accounting model based on knowledge graph | |
| CN111427869A (zh) | 一种基于区块链的日志系统 | |
| CN109829003A (zh) | 数据库备份方法及装置 | |
| CN108765122A (zh) | 一种金融数据查询处理系统 | |
| CN116795816A (zh) | 一种基于流式处理的数仓建设方法和系统 | |
| Zhang | [Retracted] Intelligent Optimization of the Financial Sharing Path Based on Accounting Big Data | |
| TW201947492A (zh) | 運營資料匯流系統與方法 | |
| Ma et al. | Bank big data architecture based on massive parallel processing database | |
| CN101958893A (zh) | 前置业务服务器及其处理方法 | |
| CN109284276A (zh) | 一种基于大数据架构的数据库加速方法 | |
| CN114240641B (zh) | 一种信额流转方法及系统 | |
| Xiao | Data Processing Model of Bank Credit Evaluation System. | |
| Estupiñán | Analysis of Modern Blockchain Networks Using Graph Databases | |
| CN117350880B (zh) | 基于雪花算法的全链路对账方法、装置、设备及介质 | |
| Mohamed et al. | ENHANCING QUERY PROCESSING ON STOCK MARKET CLOUD-BASED DATABASE. | |
| JP2023071975A (ja) | 情報処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 519000 Creative Valley, 1889 Huandao East Road, Hengqin New District, Zhuhai City, Guangdong Province, 18, 110-157 (Centralized Office District) Applicant after: Zhuhai Score Finance Technology Co.,Ltd. Address before: 519000 Creative Valley, 1889 Huandao East Road, Hengqin New District, Zhuhai City, Guangdong Province, 18, 110-157 (Centralized Office District) Applicant before: ZHUHAI DETAFENTE FINANCE TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190301 |