CN103177127A - 基于光盘库的数据库存储系统及利用该系统的方法 - Google Patents

Abstract

一种基于光盘库的数据库存储系统，包括服务器、光盘库和磁盘存储器，所述数据库管理系统中包括字段结构生成模块，记录索引生成模块，存储空间分配模块，存储空间状态模块，记录链接模块，记录拆分模块，还包括光盘建库与录入模块，检索词存储模块，检索词索引生成模块。本发明实现了在一次性写入光盘或其他类型光盘上直接建立数据库，并将数据直接录入到光盘上的数据库；将全文索引数据文件单独存放在磁盘存储器或光盘上，对光盘库中光盘上的数据库进行全文检索达到秒级，调取光盘上的数据库文件中的原文件达到秒级，使光盘库中光盘上的数据库响应性能接近磁盘在线存储，有效解决了管理和访问大规模数据库光盘的技术问题。还包括数据处理方法。

Description

基于光盘库的数据库存储系统及利用该系统的方法

技术领域

本发明涉及一种数据库存储系统及方法，特别是涉及一种利用光盘库的数据库存储系统及方法。

背景技术

在现有技术中，数据库和数据库管理系统（简称DBMS）通常是建立在以不同拓扑形式组成的磁盘存储器上，以期获得高速响应性能。但由于数据库的用途不同，由此造成数据库的其他性能指标不突出甚至劣化。由于磁盘上内容可以实时改变，硬盘阵列在一些安全性要求比较高的环境下，不能使用。磁盘上的数据容易因磁盘物理损坏而丢失，因此需要配置备份系统实时或定期备份数据。实时备份系统同样会增加设备投资、电力消耗，而定期备份系统，往往是釆用增量备份，备份在磁带等存储设备中，备份后的数据无法直接被DBMS读取使用，备份还原周期长，还原时影响数据库系统的正常工作时间。

因此对于需长期保存的数据，以及属于归档保存的数据，均不适于采用磁盘存储器保存。如今各种格式的文件数据正在飞速增长，它们的存储和使用问题给数据库系统的软硬件结构设计提出了挑战。在申请号为CN201210431169.3，发明名称为“基于光盘的数据库存储系统及利用该系统的方法”的专利申请中，提供了一种利用数据库管理系统将磁盘存储器中数据库以原始数据库格式拆分到光盘的技术方案，数据库管理系统中的字段结构生成模块u1，记录索引生成模块u2，存储空间分配模块u3，存储空间状态模块u4，记录链接模块u5，记录拆分模块u6，光盘建库模块u7，库结构生成模块u8，记录合并模块u9，为各种应用对光盘上的数据库和数据进行访问和利用提供了解决途径，在此基础上，有可能形成完善的大规模存储在光盘上的数据库。

现有技术中存在一种光盘库及配套的光盘库管理系统可以作为大规模存储在光盘上的数据库的软硬件基础，光盘库管理系统对光盘库硬件进行操作，包括对机械手和光盘驱动器等的管理，对光盘的文件管理、光驱读写、数据传输等。通过光盘库管理系统可以看到光盘库的型号，光盘库中每个光盘槽的状况，例如：光盘的位置，光盘槽上是否有盘，光盘的种类，是CD光盘，还是DVD光盘，或是BD蓝光光盘，是一次性写入光盘还是可重写光盘，是空盘还是有内容的盘，光盘卷标（盘名），光盘被激活还是未被激活等状态参数。光盘库管理系统视光盘库为一个整体，与光盘库中装有光盘的数量无关。光盘库管理系统与操作系统的文件结构、目录结构等系统级数据结构无缝连接，使得光盘库在服务器上映射为一个盘符，相当于硬盘上的一个分区，例如E盘或Z盘。每个光盘的卷标（盘名）相当于硬盘上的一个文件夹。可以在Windows系统的资源管理器上看到光盘库所存光盘的卷标，卷标下的文件夹名和文件名，用Windows系统的使用方式对光盘进行检索读取。用户访问文件时并不需要知道盘片在光盘库中的具体位置。光盘库中光盘上的数据库路径是：光盘库盘符\光盘卷标\数据库。

发明内容

本发明的目的是要提供一种基于光盘库的数据库存储系统，解决大规模存储在光盘上的数据库无法进行统一管理和访问的技术问题。

本发明的另一个目的是要提供一种利用上述基于光盘库的数据库存储系统的方法，解决在光盘上直接建立数据库、将数据直接录入到光盘上的数据库，管理和访问大规模数据库光盘的技术问题。

本发明的基于光盘库的数据库存储系统，包括服务器、光盘库和磁盘存储器，所述服务器与所述光盘库间建立数据连接，所述服务器与所述磁盘存储器间建立数据连接，所述服务器上的操作系统中安装有数据库管理系统和光盘库管理系统，所述数据库管理系统用于响应数据请求，完成存储装置的数据库管理和数据管理，所述光盘库管理系统用于完成光盘库与操作系统数据结构的连接，所述数据库管理系统中包括字段结构生成模块，记录索引生成模块，存储空间分配模块，存储空间状态模块，记录链接模块，记录拆分模块，

其中：所述数据库管理系统中还包括光盘建库与录入模块，检索词存储模块，检索词索引生成模块，

光盘建库与录入模块，用于在光盘上直接建立数据库文件，并将数据直接录入到光盘上的数据库，并通过数据库管理系统生成对应记录的字段结构信息、索引信息，记录标准存储单元位置信息和空间信息，形成光盘上的数据库特征数据；

检索词存储模块，用于存储包含语义信息的检索词字库，检索词至少包括字、词和数字；

检索词索引生成模块，根据数据库中每一条记录的索引信息，建立与标记信息对应的记录的检索词索引数据，包括检索词出现的频率和在每一条记录中的位置，并写入数据库文件或数据库管理系统中。

所述数据库管理系统中还包括库结构生成模块，将数据库的结构信息形成数据库结构定义文件，数据库管理系统根据数据库结构定义文件在光盘库中光盘上建立相同库结构的数据库。

根据所述的基于光盘库的数据库存储系统在光盘上建立数据库，将磁盘上建立的数据库转移到光盘库中光盘的方法，包括以下步骤：

步骤11，数据库管理系统通过光盘库管理系统获取光盘库中光盘存储介质的容量参数；

步骤12，数据库管理系统根据光盘存储介质的容量通过记录拆分模块完成磁盘上的数据库的拆分，形成子数据库的标记信息；

步骤13，数据库管理系统通过光盘建库与录入模块在光盘库中的相应光盘上建立数据库文件；

步骤14，数据库管理系统通过字段结构生成模块向光盘库中各个光盘上的数据库文件中写入相应记录的字段结构信息；

步骤15，数据库管理系统通过记录索引生成模块向光盘库中各个光盘上的数据库文件中写入相应记录的索引信息；

步骤16，数据库管理系统通过存储空间分配模块向光盘库中各个光盘上的数据库文件中写入相应记录的标准存储单元位置信息；

步骤17，数据库管理系统通过存储空间状态模块记录标准存储单元的空间信息；

步骤18，数据库管理系统通过记录链接模块在光盘库中各个光盘上的数据库形成相应的数据库特征数据，完成数据库建立与存储；

步骤19，数据库管理系统通过检索词索引生成模块形成与各光盘上的数据库相应的检索词索引数据。

根据所述的基于光盘库的数据库存储系统在光盘库中光盘上直接建立数据库的方法，包括以下步骤：

步骤21，数据库管理系统通过光盘库管理系统获取光盘库中光盘存储介质的容量参数；

步骤22，数据库管理系统利用库结构生成模块在光盘存储介质上建立数据库文件；

步骤23，数据库管理系统利用光盘建库与录入模块向光盘存储介质上数据库文件中增加记录，数据库管理系统通过字段结构生成模块将写入相应记录的字段结构信息保留，通过记录索引生成模块将相应记录的索引信息保留，通过存储空间分配模块将相应记录的标准存储单元位置信息保留，通过存储空间状态模块将记录标准存储单元的空间信息保留，通过记录链接模块形成相应的数据库特征数据保留；

步骤24，重复步骤23，更新保留的数据库特征数据；

步骤25，当数据库达到光盘存储空间容量值时，数据库管理系统将保留的数据库特征数据写入光盘上的数据库，在光盘上完成数据库建立与记录存储；

步骤26，数据库管理系统通过检索词索引生成模块形成与光盘上的数据库相应的检索词索引数据；

步骤27，重复步骤21至26，直至完成数据存储。

所述与各光盘上的数据库相应的检索词索引数据，通过数据库管理系统将其存储在相应数据库的光盘存储介质上。

所述与各光盘上的数据库相应的检索词索引数据，通过数据库管理系统将其存储在磁盘存储器中。

本发明的基于光盘库的数据库存储系统，在一次性写入光盘或其他类型光盘上直接建立数据库，并将数据直接录入到光盘上的数据库中，将数据库文件和相应的全文索引数据文件分离开，使得全文索引数据文件可以单独存储在磁盘存储器上，对光盘库中光盘上的数据库进行全文检索速度达到秒级，调取光盘上的数据库文件中的原文件达到秒级。使光盘上的数据库的响应性能接近磁盘在线存储，已经达到实用的水平。在一些领域可以逐步替代磁盘阵列、磁盘和磁带库。在实现数据库的海量存储操作及其应用方法层面看，本发明视光盘存储等同于磁盘存储。

同时，简化了数据库备份的过程，可以将海量数据库拆分成多个子数据库分别存储到光盘上，同时利用光盘库将大量光盘集成到操作系统的文件管理中，在光盘上直接进行数据备份和数据管理。可以将保存在磁带库上，且需要长期保存的数据转储到光盘库中，将保存在磁盘阵列、磁盘上经常但不频繁使用的数据转储到光盘库中。

下面结合附图对本发明的实施例作进一步说明。

附图说明

图1为本发明基于光盘库的数据库存储系统的结构示意图；

图2为本发明基于光盘库的数据库存储系统实施例中数据库管理系统的结构示意图；

图3为利用基于光盘库的数据库存储系统进行数据处理的方法流程图一；

图4为利用基于光盘库的数据库存储系统进行数据处理的方法流程图二；

具体实施方式

如图1所示，本实施例中包括服务器100、光盘库200和磁盘存储器300，服务器100与光盘库200间通过传输链路实现数据连接，服务器100与磁盘存储器300间通过传输链路实现数据连接。服务器100上的操作系统中安装有数据库管理系统110和光盘库管理系统120。

光盘库200包括换盘器210（可以是机械手）、多个光盘驱动器220和多组光盘匣230，根据光盘匣中的光盘240规格配置相应类型的光盘驱动器。

如图2所示，数据库管理系统110包括字段结构生成模块u1，记录索引生成模块u2，存储空间分配模块u3，存储空间状态模块u4，记录链接模块u5，记录拆分模块u6，

还包括光盘建库与录入模块u7，用于在光盘上直接建立数据库文件，并将数据直接录入到光盘上的数据库，并通过数据库管理系统110生成对应记录的字段结构信息、索引信息，记录标准存储单元位置信息和空间信息，形成光盘上的数据库特征数据；

还包括检索词存储模块u11，用于存储包含语义信息的检索词字库，检索词包括但不限于字、词、数字、数据格式类型；

还包括检索词索引生成模块u12，根据数据库中每一条记录的索引信息，建立与标记信息对应的记录的检索词索引数据，包括检索词出现的频率和在每一条记录中的位置，并写入数据库文件或数据库管理系统110中；

还包括库结构生成模块u8，将数据库的结构信息形成数据库结构定义文件，数据库管理系统110根据数据库结构定义文件在光盘库200中光盘240上建立相同库结构的数据库250。

光盘上的数据库250也就是建立在光盘上的数据库，具体为标准的数据库文件。

本实施例中，可以利用数据库管理系统建立基于磁盘存储器300的磁盘上的数据库310，完成将信息数据形成数据库记录存储的高效处理，利用字段结构生成模块u1、记录索引生成模块u2、存储空间分配模块u3、存储空间状态模块u4、记录链接模块u5、记录拆分模块u6和光盘建库与录入模块u7，可以完成磁盘存储器300中磁盘上的数据库310的拆分，形成结构相同的若干个完整的子数据库，子数据库大小与相应光盘容量对应，利用光盘建库与录入模块u7通过光盘库管理系统120在光盘库200的光盘240上建立相应的数据库250，或利用库结构生成模块u8通过光盘库管理系统120在光盘库200的光盘240上建立相应的数据库结构，形成可增量添加记录的数据库250。

同时在磁盘存储器300上数据库形成的过程中，利用检索词存储模块u11中的检索词字库，通过检索词索引生成模块u12生成数据库中作为检索词的重要信息的位置索引。使得对光盘库200中数据库的信息检索，不再需要遍历所有光盘上的数据库记录内容就可以确定信息位置，弥补了基于光盘库的数据库相对磁盘存储器300上数据库数据信息检索响应时间很长的缺陷。

在上述实施例的一种具体构建中，数据库管理系统110采用TRIP系统和EfarmB软件，光盘库200采用Grundig光盘库，型号为GMS2105或GMS3560。GMS2105可放置105张光盘安装5个光驱，GMS3560可放置560张光盘安装6个光驱，光盘库管理系统120采用PoINT软件。

如图3所示，利用基于光盘库的数据库存储系统采用两步法在光盘上建立数据库的方法，步骤如下：

步骤11，数据库管理系统110通过光盘库管理系统120获取光盘库中光盘存储介质的容量参数；

步骤12，数据库管理系统110根据光盘存储介质的容量通过记录拆分模块u6完成磁盘上的数据库310的记录拆分（数据库拆分），形成子数据库的标记信息；

步骤13，数据库管理系统110通过光盘建库与录入模块u7在光盘库中的相应光盘上建立数据库文件；

步骤14，数据库管理系统110通过字段结构生成模块u1向光盘库中各个光盘上的数据库文件中写入相应记录的字段结构信息；

步骤15，数据库管理系统110通过记录索引生成模块u2向光盘库中各个光盘上的数据库文件中写入相应记录的索引信息；

步骤16，数据库管理系统110通过存储空间分配模块u3向光盘库中各个光盘上的数据库文件中写入相应记录的标准存储单元位置信息；

步骤17，数据库管理系统110通过存储空间状态模块u4记录标准存储单元的空间信息；

步骤18，数据库管理系统110通过记录链接模块u5在光盘库中各个光盘上的数据库形成相应的数据库特征数据，完成数据库建立与存储。

步骤19，数据库管理系统110通过检索词索引生成模块u12形成与各光盘上的数据库相应的检索词索引数据。

通过本方法可以通过光盘库完成现有海量数据形成的光盘上的数据库数据的统一管理，光盘上的数据库成为操作系统中文件结构的有机组成部分，使得数据库的拆分、数据的变化在光盘上可以实现。

对于与各光盘上的数据库相应的全文索引数据，既可以通过数据库管理系统110将其存储在相应数据库的光盘上，也可以存储在磁盘存储器中，提高数据检索性能。

如图4所示，利用基于光盘库的数据库存储系统直接在光盘上建立数据库的方法步骤如下：

步骤21，数据库管理系统110通过光盘库管理系统120获取光盘库中光盘存储介质的容量参数；

步骤22，数据库管理系统110利用库结构生成模块u8在光盘存储介质上建立数据库文件；

步骤23，数据库管理系统110利用光盘建库与录入模块u7向光盘存储介质上数据库文件中增加记录，数据库管理系统110通过字段结构生成模块u1将写入相应记录的字段结构信息保留，通过记录索引生成模块u2将相应记录的索引信息保留，通过存储空间分配模块u3将相应记录的标准存储单元位置信息保留，通过存储空间状态模块u4将记录标准存储单元的空间信息保留，通过记录链接模块u5形成相应的数据库特征数据保留；

步骤24，重复步骤23，更新保留的数据库特征数据；

步骤25，当数据库达到光盘存储空间容量值（指光盘容量或小于光盘容量的设定值）时，数据库管理系统110将保留的数据库特征数据写入光盘上的数据库，在光盘上完成数据库建立与记录存储；

步骤26，数据库管理系统110通过检索词索引生成模块u12形成与光盘上的数据库相应的检索词索引数据；

步骤27，重复步骤21至26，直至完成数据存储。

本方法可以通过光盘库直接在光盘上完成数据库建立和增加数据，使得基于光盘库的数据库存储系统可以用于数据安全性要求高，数据响应周期长的在线数据存储，部分替代在线磁盘存储设备。

对于与各光盘上的数据库相应的全文索引数据，既可以通过数据库管理系统110将其存储在相应数据库的光盘上，也可以存储在磁盘存储器中，提高数据检索性能。

利用基于光盘库的数据库存储系统在光盘上建立数据库的一种具体方法步骤如下：

步骤31、服务器与光盘库相连；

歩骤32、在服务器上安装数据库管理系统软件和光盘库管理软件；

步骤33、在配置文件中设置虚拟光盘库盘符，

MYCD=Z:\

其中MYCD是虚拟光盘库盘符，Z是光盘库盘符；

步骤34、利用光盘库管理软件在光盘上创建卷标“BD1”

步骤35、在光盘库中的光盘上创建数据库，执行指令“MYCD:BD1\databasel.BAF，MYCD:BD1\databasel.BIF”或“Z:BD1\databasel.BAF，Z:BD1\databasel.BIF”。

其中：BAF是存放原文件和从原文件中抽取出的全部文字信息的数据库主文件,BIF是供快速检索查找用的倒排文件（全文索引数据文件），BAF和BIF全部存储在光盘上。

步骤36、向光盘库中光盘上的数据库BAF主文件中录入数据，在数据库BIF倒排文件中进行倒排索引（建立全文索引数据）。

利用基于光盘库的数据库存储系统在光盘上建立数据库的另一种具体方法步骤如下：

步骤41、服务器与光盘库相连；

歩骤42、在服务器上安装数据库管理系统软件和光盘库管理软件；

步骤43、在配置文件中设置虚拟光盘库盘符，

MYCD=Z:\

其中MYCD是虚拟光盘库盘符，Z是光盘库盘符；

步骤44、利用光盘库管理软件在光盘上创建卷标“BD1”

步骤45、在光盘库中的光盘上创建数据库主文件，执行指令“MYCD:BD1\databasel.BAF”或“Z:\BD1\databasel.BAF”。

步骤46、在磁盘存储器上创建数据库倒排文件（全文索引数据文件），执行指令“D:\databasel.BIF”

步骤47、向光盘库中光盘上的数据库主文件中录入数据，在磁盘存储器上的数据库倒排文件中进行倒排索引（建立全文索引数据）。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于光盘库的数据库存储系统，包括服务器（100）、光盘库（200）和磁盘存储器（300），所述服务器（100）与所述光盘库（200）间建立数据连接，所述服务器（100）与所述磁盘存储器（300）间建立数据连接，所述服务器（100）上的操作系统中安装有数据库管理系统（110）和光盘库管理系统（120），所述数据库管理系统（110）用于响应数据请求，完成存储装置的数据库管理和数据管理，所述光盘库管理系统（120）用于完成光盘库（200）与操作系统数据结构的连接，所述数据库管理系统（110）中包括字段结构生成模块（u1），记录索引生成模块（u2），存储空间分配模块（u3），存储空间状态模块（u4），记录链接模块（u5），记录拆分模块（u6），

其特征在于：所述数据库管理系统（110）中还包括光盘建库与录入模块（u7），检索词存储模块（u11），检索词索引生成模块（u12），

光盘建库与录入模块（u7），用于在光盘上直接建立数据库文件，并将数据直接录入到光盘上的数据库，并通过数据库管理系统（110）生成对应记录的字段结构信息、索引信息，记录标准存储单元位置信息和空间信息，形成光盘上的数据库特征数据；

检索词存储模块（u11），用于存储包含语义信息的检索词字库，检索词至少包括字、词和数字；

检索词索引生成模块（u12），根据数据库中每一条记录的索引信息，建立与标记信息对应的记录的检索词索引数据，包括检索词出现的频率和在每一条记录中的位置，并写入数据库文件或数据库管理系统（110）中。

2.根据权利要求1所述的基于光盘库的数据库存储系统，其特征在于：所述数据库管理系统（110）中还包括库结构生成模块（u8），将数据库的结构信息形成数据库结构定义文件，数据库管理系统（110）根据数据库结构定义文件在光盘库（200）中光盘（240）上建立相同库结构的数据库（250）。

3.根据权利要求1或2任一所述的基于光盘库的数据库存储系统在光盘上建立数据库，将磁盘上建立的数据库转移到光盘库中光盘的方法，其特征在于包括以下步骤：

步骤11，数据库管理系统（110）通过光盘库管理系统（120）获取光盘库中光盘存储介质的容量参数；

步骤12，数据库管理系统（110）根据光盘存储介质的容量通过记录拆分模块（u6）完成磁盘上的数据库（310）拆分，形成子数据库的标记信息；

步骤13，数据库管理系统（110）通过光盘建库与录入模块（u7）在光盘库中的相应光盘上建立数据库文件；

步骤14，数据库管理系统（110）通过字段结构生成模块（u1）向光盘库中各个光盘上的数据库文件中写入相应记录的字段结构信息；

步骤15，数据库管理系统（110）通过记录索引生成模块（u2）向光盘库中各个光盘上的数据库文件中写入相应记录的索引信息；

步骤16，数据库管理系统（110）通过存储空间分配模块（u3）向光盘库中各个光盘上的数据库文件中写入相应记录的标准存储单元位置信息；

步骤17，数据库管理系统（110）通过存储空间状态模块（u4）记录标准存储单元的空间信息；

步骤18，数据库管理系统（110）通过记录链接模块（u5）在光盘库中各个光盘上的数据库（250）形成相应的数据库特征数据，完成数据库建立与存储；

步骤19，数据库管理系统（110）通过检索词索引生成模块（u12）形成与各光盘上的数据库（250）相应的检索词索引数据。

4.根据权利要求1或2任一所述的基于光盘库的数据库存储系统在光盘库中光盘上直接建立数据库的方法，其特征在于包括以下步骤：

步骤21，数据库管理系统（110）通过光盘库管理系统（120）获取光盘库中光盘存储介质的容量参数；

步骤22，数据库管理系统（110）利用库结构生成模块（u8）在光盘存储介质上建立数据库文件；

步骤23，数据库管理系统（110）利用光盘建库与录入模块（u7）向光盘存储介质上数据库文件中增加记录，数据库管理系统（110）通过字段结构生成模块（u1）将写入相应记录的字段结构信息保留，通过记录索引生成模块（u2）将相应记录的索引信息保留，通过存储空间分配模块（u3）将相应记录的标准存储单元位置信息保留，通过存储空间状态模块（u4）将记录标准存储单元的空间信息保留，通过记录链接模块（u5）形成相应的数据库特征数据保留；

步骤24，重复步骤23，更新保留的数据库特征数据；

步骤25，当数据库达到光盘存储空间容量值时，数据库管理系统（110）将保留的数据库特征数据写入光盘上的数据库（250），在光盘上完成数据库建立与记录存储；

步骤26，数据库管理系统（110）通过检索词索引生成模块（u12）形成与光盘上的数据库（250）相应的检索词索引数据；

步骤27，重复步骤21至26，直至完成数据存储。

5.根据权利要求3或4所述的基于光盘库的数据库存储系统在光盘上建立数据库的方法，其特征在于：所述与各光盘上的数据库（250）相应的检索词索引数据，通过数据库管理系统（110）将其存储在相应数据库的光盘存储介质上。

6.根据权利要求3或4所述的基于光盘库的数据库存储系统在光盘上建立数据库的方法，其特征在于：所述与各光盘上的数据库（250）相应的检索词索引数据，通过数据库管理系统（110）将其存储在磁盘存储器（300）中。

Images