CN101515295B

CN101515295B - 片上硬件数据库的高速缓冲器支持实现方法

Info

Publication number: CN101515295B
Application number: CN2009100971461A
Authority: CN
Inventors: 陈天洲; 蒋冠军; 王超; 缪良华; 汪达舟
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2009-03-23
Filing date: 2009-03-23
Publication date: 2010-12-01
Anticipated expiration: 2029-03-23
Also published as: CN101515295A

Abstract

本发明公开了一种片上硬件数据库的高速缓冲器支持实现方法。在片上硬件数据库处理器核和内存之间增加了高速缓冲器和缓冲器控制器。高速缓冲器缓存数据库处理器核访问内存的数据和指令，它与数据库处理器核和内存相连接。缓冲器控制器是一个控制逻辑，它控制高速缓冲器和数据库处理器核、高速缓冲器和内存的数据交换，它接受数据库处理器核发出的内存存取信号，控制高速缓冲器缓存和数据库处理器核存取高速缓冲器中的数据。片上硬件数据库的高速缓冲器支持有利于改变硬件数据库处理器核与内存速率的不匹配，使得数据库处理器核的数据处理和对内存的数据存取能够并行进行，进而提高处理器核的吞吐量和处理效率，实现整个片上硬件数据库的性能提升。

Description

片上硬件数据库的高速缓冲器支持实现方法

技术领域

本发明涉及片上硬件数据库处理器核与内存的数据通信技术，尤其涉及一种片上硬件数据库的高速缓冲器支持实现方法。

背景技术

数据库技术诞生以来，经历了不到半个世纪的时间，就形成了坚实的理论基础，成熟的商业产品和广泛的应用领域，研究者不断加入，成为了一个被广泛关注的研究领域。随着信息内容的不断增长、新技术的层出不穷，数据库技术面临着前所未有的挑战。

面对各种数据形式，人们提出了多样的数据模型(层次模型、网状模型、关系模型、面向对象模型、板结构化模型等)，也提出了许多新的数据库技术(XML数据管理、数据流管理、Web数据集成、数据挖掘等)。

随着电子银行、电子政府以及移动商务应用的增加，需要处理的移动数据也迅速增大，为了满足日益增长的数据处理需求和方便应用开发，对移动设备上的小型数据库管理系统的需求也越来越大。

各种各样的数据库技术中，数据库机(知识库机)、内存数据库、片上系统(SOC)技术共同构成本系统的技术基础。

数据库机(Database Machine)，是为了用硬件直接支持数据库管理所需的高级数据操作功能而英语的一种具有专用目的的计算机，是人们为了改善数据库系统性能和支持大规模高速信息处理而提出的一种专用计算机。它是将数据库技术、VLSI技术和计算机体系结构等研究结合而成的产物。数据库机可以作为知识库机的基础机构或基本模块，从而支持高效的知识处理。

传统基于磁盘的关系数据库系统(Oracle，DB2等为代表)，以下简称DRDB(Disk-Resident Databases)，由于主数据库常驻磁盘，事务处理往往涉及磁盘IO操作，其体系结构设计的优化目标是如何减少读写磁盘的次数，很难满足未来基于网络的应用系统对高性能数据访问能力的需求。内存数据库(MMDB：Main Memory Database)技术则为上述应用领域提供了一种很好的实时数据管理的解决方案。在一些性能测试中，MMDB相对DRDB可以获得30％-50％的性能提升。

SOC(System on Chip，片上系统)是指以嵌入式系统为核心，以IP复用技术为基础，集软、硬件于一体，并追求产品系统最大包容的集成芯片。狭义些理解，可以将它翻译为“系统集成芯片”，指在一个芯片上实现信号采集、转换、存储、处理和I/O等功能，包含嵌入软件及整个系统的全部内容；广义些理解，可以将它翻译为“系统芯片集成”，指一种芯片设计技术，可以实现从确定系统功能开始，到软硬件划分，并完成设计的整个过程。

片上的硬件数据库是基于SOC的，它在芯片上构建一个完整的数据库系统，完成数据库的所有操作。片上数据库处理器核具有专门针对数据库操作的指令集，能够使数据库操作高效快速的完成。目前的片上硬件数据库使用于较小的数据库系统，特别是一些嵌入式设备。片上硬件数据库具有两种存储方式，当数据库数据量非常小时，片上数据库可以直接存储数据在芯片的存储上，这种实现方式使得片上硬件数据库系统对数据的访问快速高效；当数据库数据量较大时，片上硬件数据库系统存储数据在系统内存中，此时内存的数据访问速度对整个硬件数据库系统影响严重。

当今内存的访问速度与处理器的处理速度不匹配是一个现实而不可避免的问题，解决这个问题的方法是设置层次型的存储方式。以现代的计算机体系结构为例，内存相对廉价且存储容量大，但是访问速度慢，而cache具有较快的访问速度，但是受成本和片上面积的制约，cache同时又分成多层cache结构，访问时间最短的是核内的寄存器，但它的容量大小更加受到片内资源的制约。

cache是目前解决内存访问速度和处理器处理速度不匹配的最好方法，cache把内存中的块映射到cache中，是对内存数据的一个部分拷贝，cache不需要操作系统干涉，由硬件自动完成。cache结构最初提出时在内存和通用处理器之间设置了一层cache，后来又有人提出了两层cache和三层cache结构，现在最为广泛应用的两层cache结构，在一些需要更高性能或者吞吐量大的系统中，如服务器，一般使用三层cache结构。由于cache对系统性能的影响非常巨大，有非常多的研究者从事cache的研究，这些研究主要是关于一些cache的替换策略，最终目的是为了提高cache的命中率，进而减少系统延时。cache的最初的替换策略有随机策略，轮转策略，最近最少使用策略等，这些策略相对设计简单，容易实现，但是为了改进cache的性能，现在的研究中有很多复杂的策略。与cache相对应的设置的是页表的快速缓冲器(TLB)，它是一个旁路的存放内存页表的部件，作用是加速页表查找，减少地址转换时间。

数据缓冲是解决交换数据的设备之间速度不匹配或者时间不同步的方法。在当今的计算机系统中有许多使用缓冲的例子，如键盘的缓冲，硬盘的缓冲，网卡的缓冲。缓冲的基本原理都是暂存数据，异步通信，但是缓冲的设计实现差别比较巨大，特定设备之间的缓冲设置一般都是根据设备特点而专门设置。

发明内容

为了解决内存与数据库处理器核速度的不匹配，使得整个片上系统具有更高的效率和更短的响应时间，提高系统的吞吐量，减少系统的等待时间。本发明的目的在于提供一种片上硬件数据库的高速缓冲器支持实现方法。

本发明解决技术其技术问题所采用的技术方案是：

1)在数据库处理器核和内存之间设置高速缓冲器：

高速缓冲器是连接片上硬件数据库处理器核和内存的桥梁，它被设置在片上硬件数据库处理器核和内存之间，具有比内存快的存取速度，能够匹配片上硬件数据库的数据库处理器核的数据处理速度，同时它与内存的连接具有比它与数据库处理器核大的带宽，片上硬件数据库处理器核和内存之间的所有数据交换要通过高速缓冲器；

2)缓冲器控制器内部设置两个循环队列：

控制器的内部具有两个循环队列，这两个队列分别是命令队列和数据缓冲队列，命令队列中存放的是数据库的操作命令，数据缓冲队列中存放的是相应命令的数据地址，这两个队列具有相同的单元数；

3)缓冲器控制器控制高速缓冲器工作：

高速缓冲器只是一个数据存储的部件，是缓冲器的控制部件，它控制高速缓冲器和数据库处理器核、高速缓冲器和内存的数据交换，它接受数据库处理器核的内存存取请求，并且通过自己的控制逻辑输出控制信号到高速缓冲器、内存和数据库处理器核来控制三者之间的数据交换；

4)数据库处理器核的工作流程：

整个片上硬件数据库的工作，就需要改变数据库处理器核原本的请求数据，处理数据和写回数据的方式，在添加高速缓冲器以后需要和高速缓冲器协同工作，就具有新的工作流程；

5)缓冲器控制器的工作流程：

缓冲器控制器需要协同数据库处理器核、高速缓冲器和内存的正常工作，因此它的工作具有复杂的过程性，这个过程能够有效的协同数据库处理器核完成对内存的数据请求，将所需要的数据从内存缓存到高速缓冲器或者从高速缓冲器中写入内存，缓冲器控制器内部具有许多不同部件，这些部件记录整个系统的状态信息，使得缓冲器控制器的工作可以准确完成。

本发明具有的有益的效果是：

本发明在片上硬件数据库处理器核与内存之间设置了一个高速缓冲器和一个缓冲器控制器，缓冲器控制器能够控制内存与数据库处理器核之间的数据交换，解决数据库处理器核与内存速度不匹配的问题。本发明最终能够使得整个片上系统具有更高的效率和更短的响应时间，提高系统的吞吐量，减少系统的等待时间。

附图说明

图1是高速缓冲器设置的体系结构。

图2是缓冲器控制器的内部结构。

图3是数据库处理器核的工作流程图。

图4是缓冲器控制器的工作流程图。

具体实施方式

片上硬件数据库的高速缓冲器支持在内存与处理器核之间设置了一个高速缓冲器，这个高速缓冲器由一个专门设计的缓冲器控制器控制其数据存取交换，高速缓冲器以及缓冲器控制器的具体实现如下：

(一)在数据库处理器核和内存之间设置高速缓冲器：

高速缓冲器是连接数据库处理器核和内存的桥梁，它被设置在数据库处理器核和内存之间，高速缓冲器、缓冲器控制器、数据库处理器核以及内存的结构框架如图1所示。首先高速缓冲器具有比内存快很多的存取速度，能够使得高速缓冲器中的数据存取和数据库处理器核的数据处理速度相匹配；其次高速缓冲器和内存的连接具有足够满足两者数据交换的带宽，这个带宽与高速缓冲器连接数据库处理器核的带宽比值一般小于或者等于内存的存取速度和高速缓冲器存取速度的比值。整个高速缓冲器的存储空间被划分成大小相等的若干单元，这些单元被用作循环队列存储数据，循环队列的头和尾分别由缓冲器控制器中的SREG和EREG寄存器指示。

关于高速缓冲器的分块是这样实现的，假设高速缓冲器总的存储空间大小为2^m Byte，而每一个被划分的单元的大小为2ⁿ Byte，那么整个高速缓冲器中有2^m-n个单元，单元也被称作块。高速缓冲器与内存数据交换的基本单位为块的大小，当数据库处理器核访问内存地址时，高速缓冲器就会读入内存中那个地址所在的2ⁿ Byte的块。分块的目的是为了能够让数据库处理器核和高速缓冲器、高速缓冲器和内存的数据交换同时进行。因为有了分块的结构以后，当某一个块的数据被读入高速缓冲器后，缓冲器控制器能够设置EMPTY信号去通知数据库处理器核数据已经准备就绪，可以执行，这样高速缓冲器在读入别的数据的同时，数据库处理器核能够并行的处理高速缓冲器中的数据，从而减少数据库处理器核的等待时间，提高整个系统的吞吐量，提高数据库指令的执行效率。

(二)缓冲器控制器内部设置两个循环队列：

缓冲器控制器的内部具有两个循环队列，这两个队列分别是命令队列(command queue，CQ)和数据缓冲队列(data buffer queue，DBQ)，两个队列的设置如图2所示。命令队列中存放的是数据库的操作命令，如select，update，create table等；数据缓冲队列中存放的是相应命令的数据存取地址。这两个队列具有相同的单元数并且顺序访问，且它们的访问原则是先进先出，也就是说在队列头的数据库命令总是被先执行的，这是由于缓冲器控制器在存取内存数据时总是把数据缓冲队列中队首所指向地址的数据先读入缓冲器。

(三)缓冲器控制器控制高速缓冲器工作：

缓冲器控制器是高速缓冲器的控制部件，是系统的核心部件，它控制高速缓冲器和数据库处理器核、高速缓冲器和内存的数据交换，它接受数据库处理器核的内存存取请求，并且通过自己的控制逻辑输出控制信号到高速缓冲器、内存和数据库处理器核来控制三者之间的数据交换。缓冲器控制器的内部结构如图2所示，下面详细介绍缓冲器控制器的设计。

DEAL模块是一个状态的存储模块，这个模块记录在缓冲器中，块是否被处理或者被修改，DEAL模块中的状态存储单元数与高速缓冲器中的块数具有相同的数量。数据库处理器核访问内存时候使用的是内存的物理地址，但是由于在内存和处理器核之间多了一层高速缓冲区，所以缓冲器控制器内部必须要有一个能够映射内存地址和高速缓冲器块地址的单元，这个单元被叫做地址管理单元(address management unit，AMU)。AMU内部存放一张高速缓冲器块地址与内存物理地址的映射表，作用就是转换内存的物理地址为高速缓冲器中块的地址。所有传送到AMU的物理地址总有相对应的缓冲器地址存在，这是因为处理器核接受到缓冲器控制器的数据就绪信号(EMPTY信号)才开始执行命令队列中的指令的。

AMU与数据缓冲队列(data buffer queue，DBQ)并无联系，前者是转换当前的数据库处理器核的内存访问地址到高速缓冲器地址，后者是根据数据库处理器核接受到的数据库操作指令，被设置成这条指令将要被访问到的地址。如果当前DBQ的队首地址不在高速缓冲器中，并且高速缓冲器中有空余的存储块，那么队首地址对应的内存会被缓存到高速缓冲器中，但是如果高速缓冲器没有空余的存储块，那么要等到数据库处理器核至少处理完一个高速缓冲器单元的数据，DBQ队首地址所指向的内存块才会被缓冲到高速缓冲器中。

registers模块是一些标志高速缓冲器及缓冲器控制器的状态信息的寄存器，其中较为重要的两个寄存器为SREG和EREG用来表示高速缓冲器的队首和队尾。

(四)数据库处理器核的工作流程：

整个片上硬件数据库需要正常的工作，就需要改变数据库处理器核原本的请求数据，处理数据和写回数据的方式，在添加高速缓冲器以后需要和高速缓冲器协同工作，就具有新的工作流程，工作流程图如图3所示。在计算机加电以后，数据库处理器核等待通用处理器传来的数据库命令，当通用处理器遇到一条数据库执行命令以后，它将命令发送给数据库处理器核。数据库处理器核总的完成一下工作：

第一步：数据库处理器核等待通用处理器发来的数据库操作命令，当没有命令传送的时候，跳转到第三步，否则进入第二步；

第二步：数据库处理器核翻译数据库操作命令并且执行，如果该命令所需要的数据不在缓冲区中，那么把当前指令的程序计数器值(program counter，PC)和相应的地址送入缓冲器控制器的命令队列(CQ)和数据缓冲队列(DBQ)。

第三步：检查EMPTY信号，确定所需要数据是否已在高速缓冲器中就绪，如果没有，那么跳转到第一步，否则进入第四步；

第四步：数据库处理器核执行CQ队首的指令，该指令的数据已经被缓存在高速缓冲器当中，数据库处理器核对高速缓冲器的数据访问通过缓冲器控制器中的AMU单元完成，当数据库处理器核有写内存操作的时候，DEAL模块中的相应标志会被置位，当高速缓冲器中一个数据块的数据被处理结束以后，跳转到第三步。

(五)缓冲器控制器的工作流程：

缓冲器控制器需要协同数据库处理器核、高速缓冲器和内存的正常工作，因此它的工作具有复杂的过程性，这个过程能够有效的协同数据库处理器核完成对内存的数据请求，将所需要的数据从内存缓存到高速缓冲器或者从高速缓冲器中写入内存，缓冲器控制器内部具有许多不同部件，这些部件记录整个系统的状态信息，使得缓冲器控制器的工作可以准确完成。图4是缓冲器控制器的流程图，它的工作过程如下：

第一步：如果数据缓冲队列(DBQ)是空的，那么跳转到第一步；

第二步：根据DBQ中的内容缓存内存中的数据到高速缓冲器中并且设置EMPTY信号，设置DEAL和AMU中相应内容，设置EREG：＝EREG+1。

第三步：比较EREG和SREG中的值，如果两者不相等，那么跳转到第五步；

第四步：如果进入到这一步，就说明高速缓冲器满了，这个时候需要把高速缓冲器中已经处理的数据写回到内存。这一步判断DEAL模块中被SREG所指向内容的值，如果标记为数据未被处理，则跳转到第四步等待数据被处理。

第五步：判断DEAL模块中被SREG所指向内容的值，如果标记为数据未被处理，跳转到第一步；

第六步：根据DEAL模块的标识，换出高速缓冲器中的数据，在换出的过程中，如果DEAL模块标识了数据被修改，那么需要被写回内存，否则直接丢弃该数据块中的数据。设置SREG为SREG+1。

第七步：比较SREG和EREG的值，如果不相等，那么跳转到第五步；

第八步：设置EMPTY，表示此时高速缓冲器空，跳转到第一步。

Claims

1.一种片上硬件数据库的高速缓冲器支持实现方法，其特征在于：

1)在数据库处理器核和内存之间设置高速缓冲器：

高速缓冲器是连接片上硬件数据库处理器核和内存的桥梁，它被设置在片上硬件数据库处理器核和内存之间，具有比内存快的存取速度，能够匹配片上硬件数据库的数据库处理器核的数据处理速度，同时高速缓冲器与内存的连接具有比高速缓冲器与数据库处理器核的连接更大的带宽，片上硬件数据库处理器核和内存之间的所有数据交换要通过高速缓冲器；

2)缓冲器控制器内部设置两个循环队列：

3)缓冲器控制器控制高速缓冲器工作：

高速缓冲器只是一个数据存储的部件，缓冲器控制器是高速缓冲器的控制部件，它控制高速缓冲器和数据库处理器核、高速缓冲器和内存的数据交换，它接受数据库处理器核的内存存取请求，并且通过自己的控制逻辑输出控制信号到高速缓冲器、内存和数据库处理器核来控制三者之间的数据交换；

4)数据库处理器核的工作流程：

数据库处理器核总的完成以下工作流程：

第二步：数据库处理器核翻译数据库操作命令并且执行，如果该命令所需要的数据不在缓冲区中，那么把当前指令的程序计数器值PC和相应的地址送入缓冲器控制器的命令队列CQ和数据缓冲队列DBQ；

第三步：检查标识高速缓冲器数据就绪的EMPTY信号，确定所需要数据是否已在高速缓冲器中就绪，如果没有，那么跳转到第一步，否则进入第四步；

第四步：数据库处理器核执行CQ队首的指令，该指令的数据已经被缓存在高速缓冲器当中，数据库处理器核对高速缓冲器的数据访问通过缓冲器控制器中的地址管理单元AMU完成，当数据库处理器核有写内存操作的时候，状态的存储模块DEAL中的相应标志会被置位，当高速缓冲器中一个数据块的数据被处理结束以后，跳转到第三步；

5)缓冲器控制器的工作流程：

缓冲器控制器需要协同数据库处理器核、高速缓冲器和内存的正常工作，因此它的工作具有复杂的过程性，这个过程能够有效的协同数据库处理器核完成对内存的数据请求，将所需要的数据从内存缓存到高速缓冲器或者从高速缓冲器中写入内存，缓冲器控制器内部具有许多不同部件，这些部件记录整个系统的状态信息，使得缓冲器控制器的工作可以准确完成；

缓冲器控制器包含地址管理单元AMU，数据缓冲队列DBQ，命令队列CQ，DEAL模块，SREG寄存器和EREG寄存器部件；它的工作过程如下：

第一步：如果数据缓冲队列DBQ是空的，则重复判断该数据缓冲队列是否为空，直到非空为止；

第二步：根据数据缓冲队列DBQ中的内容缓存内存中的数据到高速缓冲器中并且设置EMPTY信号，设置DEAL模块和地址管理单元AMU中相应内容，设置EREG寄存器的值加1；

第三步：比较EREG寄存器和SREG寄存器中的值，如果两者不相等，那么跳转到第五步；

第四步：如果进入到这一步，就说明高速缓冲器满了，这个时候需要把高速缓冲器中已经处理的数据写回到内存；这一步判断DEAL模块中被SREG寄存器所指向内容的值，如果标记为数据未被处理，则等待数据被处理，重复判断DEAL模块中被SREG寄存器所指向内容的值，直到数据被标记为处理为止；

第五步：判断DEAL模块中被SREG寄存器所指向内容的值，如果标记为数据未被处理，跳转到第一步；

第六步：根据DEAL模块的标识，换出高速缓冲器中的数据，在换出的过程中，如果DEAL模块标识了数据被修改，那么修改过的数据需要被写回内存，否则直接丢弃未修改的数据；设置EREG寄存器的值加1；

第七步：比较SREG寄存器和EREG寄存器的值，如果不相等，那么跳转到第五步；

第八步：设置EMPTY信号，表示此时高速缓冲器空，跳转到第一步。