CN110399419A

CN110399419A - 一种关系型模板内存数据库系统

Info

Publication number: CN110399419A
Application number: CN201910695883.5A
Authority: CN
Inventors: 张海荣; 李思昌
Original assignee: Shanghai Financial Futures Information Technology Co Ltd
Current assignee: Shanghai Financial Futures Information Technology Co Ltd
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2019-11-01
Anticipated expiration: 2039-07-30
Also published as: CN110399419B

Abstract

本发明公开了关系型模板内存数据库系统，实现与物理数据库表的映射，与网络传输协议的无缝整合，降低业务开发成本，降低数据存储方面带来的性能开销，降低系统时延。其技术方案为：系统包括模型关联模块、表结构关系模块、内存表结构处理模块、底层基础存储模块，模型关联模块，用于配置业务数据模型与网络数据模型的关系；表结构关系模块，用于通过模板化的抽象方式自动将业务数据模型注册到数据库底层的技术实现中；内存表结构处理模块，用于实现内存表的数据域与网络报文数据域的统一，以及网络数据代码与应用代码的解耦合；底层基础存储模块，提供多种存储容器实现表结构记录、外键、索引的存储，以及多种访问方式的数据存取接口。

Description

一种关系型模板内存数据库系统

技术领域

本发明涉及数据库技术，具体涉及可应用于金融期货领域的一种高容量、低延时的静态内存数据库技术。

背景技术

在金融期货市场，低延时、高容量的关系型数据存储需求较为迫切。体现在一方面要对复杂的金融业务处理场景进行关系建模，另一方面又要满足快速存取的需要。目前市场上存在两大类内存数据库产品，第一大类为Memcache、Redis之类的键值对数据库，该类数据库为一种分布式的内存对象缓存系统，独立于现有系统，提供统一的key-value访问方式，适合简单的数据存储服务，并不提供关系型的数据访问，且延时、容量均难以满足金融的低延时业务需求。第二大类为FASTDB、SQLLite等关系型内存数据库，其中FASTDB的性能较好，但随着数据量的增大，事物提交时性能下降较为明显，且跟网络报文无法转换。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种关系型模板内存数据库系统，一方面实现与物理数据库表的一一映射，一方面实现与网络传输协议的无缝整合，有效降低业务开发成本，并降低数据存储方面带来了性能开销，降低系统的时延。

本发明的技术方案为：本发明揭示了一种关系型模板内存数据库系统，包括模型关联模块、表结构关系模块、内存表结构处理模块、底层基础存储模块，其中：

模型关联模块，用于配置业务数据模型与网络数据模型的关系；

表结构关系模块，用于通过模板化的抽象方式自动将业务数据模型注册到数据库底层的技术实现中；

内存表结构处理模块，用于实现内存表的数据域与网络报文数据域的统一，以及网络数据代码与应用代码的解耦合；

底层基础存储模块，提供多种存储容器实现表结构记录、外键、索引的存储，以及多种访问方式的数据存取接口。

根据本发明的关系型模板内存数据库系统的一实施例，模型关联模块中，定义基础业务字段抽象的模板，以保存业务数据域的类型描述信息；定义业务数据域，以实现网络报文传输业务数据；通过模板内存数据库描述类的定义并使其继承自业务数据域，以实现网络数据域与内存数据库数据域的统一和无缝转换。

根据本发明的关系型模板内存数据库系统的一实施例，表结构关系模块中，通过基础的表结构模板定义类实现表的增删改查操作，通过带索引的模板定义类以实现额外提供了表结构索引的增删改查操作，通过基础的索引模板操作类以实现提供了单个索引级别的增删改查操作，还通过应用表结构定义和表结构对应的记录级别的数据域定义以实现多种类型表结构及表结构索引数据接口访问方式的统一。

根据本发明的关系型模板内存数据库系统的一实施例，内存表结构处理模块配置为：当数据库系统接收到网络数据报文时，解析出对应的网络应用层数据域，利用该网络应用层数据域直接更新对应的表结构数据，当内存表结构有对应记录被更新时触发相应的触发器操作。

根据本发明的关系型模板内存数据库系统的一实施例，底层基础存储模块提供的多种存储容器包括但不限于：唯一存储、哈希存储、二叉树存储、多维哈希存储、多维二叉树存储。

根据本发明的关系型模板内存数据库系统的一实施例，底层基础存储模块提供的多种访问方式包括但不限于：主键访问、外键普通访问、外键级联访问、单级索引访问、多级索引访问。

根据本发明的关系型模板内存数据库系统的一实施例，对于表结构记录，底层基础存储模块提供哈希存储和二叉树存储两种方式用于存储表结构记录。

根据本发明的关系型模板内存数据库系统的一实施例，对于外键，外键包括一对一、一对多、多对多的多种关系，通过中间映射表将多对多的关系降维成一对多的关系之后，提供唯一存储的方式用于表示一对一的关系，提供哈希存储的方式用于表示一对多的外键关系。

根据本发明的关系型模板内存数据库系统的一实施例，对于索引，索引包括唯一无序类型、唯一有序类型、不唯一无序类型、不唯一有序类型，提供哈希存储表示唯一无序类型、二叉树存储表示唯一有序类型、多维哈希存储表示不唯一无序类型、多维二叉树存储表示不唯一有序类型。

本发明对比现有技术有如下的有益效果：本发明提出的关系型模板内存数据库系统，通过设计合理的业务数据模型，能够有效的解决金融衍生品交易系统中网络应用报文与业务内存存储的一致性问题。同现有的内存数据库方法相比，本发明解决了网络应用报文与业务数据模型的一致性问题，实现了从网络报文到应用数据的零拷贝，支持数据报文的随机存取，可以大幅提升数据处理能力，同时，本发明采用模板元编程的方式，解决了应用接口层面的访问一致性问题，使得系统的业务复杂度大大降低。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的关系型模板内存数据库系统的实施例的原理图。

图2示出了本发明的关系型模板内存数据库系统的实施例中的业务数据模型与网络数据模型的关系示意图。

图3示出了本发明的关系型模板内存数据库系统的实施例中的表结构关系的示意图。

图4示出了本发明的关系型模板内存数据库系统中的内存表结构的处理流程图。

图5示出了本发明的关系型模板内存数据库系统中的底层基础存储类型的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的关系型模板内存数据库系统的实施例的原理。请参见图1，本实施例的数据库系统包括：包括模型关联模块、表结构关系模块、内存表结构处理模块、底层基础存储模块。

模型关联模块用于配置业务数据模型与网络数据模型的关系。表结构关系模块用于通过模板化的抽象方式自动将业务数据模型注册到数据库底层的技术实现中。内存表结构处理模块用于实现内存表的数据域与网络报文数据域的统一，以及网络数据代码与应用代码的解耦合。底层基础存储模块提供多种存储容器实现表结构记录、外键、索引的存储，以及多种访问方式的数据存取接口。

图2示出了关系型模板内存数据库系统中的业务数据模型与网络数据模型的关系，亦即模型关联模块的具体实现。其中field_template是基础的业务字段抽象的模板定义，保存了业务数据域的类型描述信息；instrument_field是具体的业务数据域，为网络报文传输的业务数据；record_tpl，foreign_key_tpl是定义的模板内存数据库描述类，通过继承自业务数据域(instrument_field)，实现了网络数据域与内存数据库数据域的统一。通过这种继承关系，可以将网络数据域与内存数据库表的数据域进行无缝转换。当应用收到一个网络报文时，直接将该应用报文插入内存数据库系统，同样的，也可以直接将内存数据库系统的表记录直接发布到网络，在此过程中，开发者完全是无感知的。

图3示出了关系型模板内存数据库系统中的表结构关系，亦即表结构关系模块的具体实现。其中table_tpl是基础的表结构模板定义类，用于实现表的增删改查操作。Table_with_index_tpl是带索引的模板定义类，该类继承自table_tpl，额外提供了表结构索引的增删改查操作。Index_key_tpl为基础的index的模板操作类，提供了单个index级别的增删改查操作。Index_key1为具体的模板实例化之后的代码。Instrument_table为具体的应用表结构定义，instrument_record为表结构对应的记录级别的数据域定义。这种模板化的抽象方式，使得关系型模板内存数据库系统会自动将业务数据模型注册到底层的技术实现中，用户只需要像使用C++标准库一样使用内存数据库即可。

图4示出了关系型模板内存数据库系统中的内存表结构常用处理流程，亦即内存表结构处理模块的具体实现。如图4所示，当接收到网络数据报文时，经过网络报文解析模块解析出对应的网络应用层数据域，利用该网络应用层数据域直接更新对应的表结构数据。当内存表结构有对应记录被更新时，会触发相应的触发器操作，在本步骤中，通常是通过在触发器回调中编写对该数据域的业务处理代码来实现。

通过上述流程的处理方式，实现了内存表的数据域与网络报文数据域的统一，并实现了网络数据代码与应用代码的解耦合。本实施例提供了三种触发器模式，分别为表结构增加记录Add_commit_trigger、表结构更新记录Update_commit_trigger、表结构删除记录Delete_commit_trigger。

图5示出了关系型模板内存数据库系统中的底层基础存储类型，亦即底层基础存储模块的具体实现。本实施例提供五种不同的存储容器，分别为：唯一存储(unique_storage)、哈希存储(hash_storage)、二叉树存储(btree_storage)、多维哈希存储(multi_hash_storage)、多维二叉树存储(multi_btree_storage)。

二叉树存储及多维二叉树存储是有序的存储结构。这五类存储分别用于基础的表结构记录、外键、索引的存储实现。在数据的存取接口方面，提供统一的主键访问、外键普通访问、外键级联访问、单级索引访问、多级索引访问。

对于表结构记录，基于表结构记录的唯一性特征，提供哈希存储和二叉树存储两种方式用于存储表结构记录。

对于外键，外键有一对一、一对多、多对多的多种关系，可以通过中间映射表将多对多的关系降维成一对多的关系之后，对于外键，提供唯一存储用于表示一对一的关系，哈希存储用于表示一对多的外键关系。

对于索引，由于存在排序与非排序、键值唯一与不唯一两个维度，因此索引包括唯一无序类型、唯一有序类型、不唯一无序类型、不唯一有序类型这四种类型。提供哈希存储、二叉树存储、多维哈希存储、多维二叉树存储四种不同的存储类型，具体为提供哈希存储表示唯一无序类型、二叉树存储表示唯一有序类型、多维哈希存储表示不唯一无序类型、多维二叉树存储表示不唯一有序类型。其中分级二叉树索引的引入主要是为了解决某种应用情况下，字段索取值范围较少导致的二叉树降级为链表，导致增删改查性能下降的问题。

下表表示性能指标测试时所使用的硬件机器资源。

表1

在表1所示的机器上，模板内存数据库吞吐量性能指标测试结果如表2。通过模拟一个较大的订单数据包(400字节)，对内存数据库进行压测，分别进行了10次压测，每次压测写入数据库一千万条记录，查询一千万次。经过测试，在400个字节的数据大小情况下，每秒可插入300W条记录，可查询出2000W条记录。

插入性能	300W qps/s
		查询性能	2000W qps/s

表2

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims

1.一种关系型模板内存数据库系统，其特征在于，包括模型关联模块、表结构关系模块、内存表结构处理模块、底层基础存储模块，其中：

2.根据权利要求1所述的关系型模板内存数据库系统，其特征在于，模型关联模块中，定义基础业务字段抽象的模板，以保存业务数据域的类型描述信息；定义业务数据域，以实现网络报文传输业务数据；通过模板内存数据库描述类的定义并使其继承自业务数据域，以实现网络数据域与内存数据库数据域的统一和无缝转换。

3.根据权利要求1所述的关系型模板内存数据库系统，其特征在于，表结构关系模块中，通过基础的表结构模板定义类实现表的增删改查操作，通过带索引的模板定义类以实现额外提供了表结构索引的增删改查操作，通过基础的索引模板操作类以实现提供了单个索引级别的增删改查操作，还通过应用表结构定义和表结构对应的记录级别的数据域定义以实现多种类型表结构及表结构索引数据接口访问方式的统一。

4.根据权利要求1所述的关系型模板内存数据库系统，其特征在于，内存表结构处理模块配置为：当数据库系统接收到网络数据报文时，解析出对应的网络应用层数据域，利用该网络应用层数据域直接更新对应的表结构数据，当内存表结构有对应记录被更新时触发相应的触发器操作。

5.根据权利要求1所述的关系型模板内存数据库系统，其特征在于，底层基础存储模块提供的多种存储容器包括但不限于：唯一存储、哈希存储、二叉树存储、多维哈希存储、多维二叉树存储。

6.根据权利要求1所述的关系型模板内存数据库系统，其特征在于，底层基础存储模块提供的多种访问方式包括但不限于：主键访问、外键普通访问、外键级联访问、单级索引访问、多级索引访问。

7.根据权利要求5所述的关系型模板内存数据库系统，其特征在于，对于表结构记录，底层基础存储模块提供哈希存储和二叉树存储两种方式用于存储表结构记录。

8.根据权利要求5所述的关系型模板内存数据库系统，其特征在于，对于外键，外键包括一对一、一对多、多对多的多种关系，通过中间映射表将多对多的关系降维成一对多的关系之后，提供唯一存储的方式用于表示一对一的关系，提供哈希存储的方式用于表示一对多的外键关系。

9.根据权利要求5所述的关系型模板内存数据库系统，其特征在于，对于索引，索引包括唯一无序类型、唯一有序类型、不唯一无序类型、不唯一有序类型，提供哈希存储表示唯一无序类型、二叉树存储表示唯一有序类型、多维哈希存储表示不唯一无序类型、多维二叉树存储表示不唯一有序类型。