CN104008207A - 基于光盘的数据库的数据外部存储系统及数据存储方法 - Google Patents
基于光盘的数据库的数据外部存储系统及数据存储方法 Download PDFInfo
- Publication number
- CN104008207A CN104008207A CN201410273449.5A CN201410273449A CN104008207A CN 104008207 A CN104008207 A CN 104008207A CN 201410273449 A CN201410273449 A CN 201410273449A CN 104008207 A CN104008207 A CN 104008207A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- record
- module
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
基于光盘的数据库的数据外部存储系统,包括服务器,与服务器数据连接的磁盘、光盘存储装置,服务器上设置数据库管理系统,外部存储管理系统,应用程序接口,扩展服务器,磁盘存储装置上设置磁盘数据库,数据库外部存储区,数据库中记录的部分字段数据对应存储在数据库外部存储区中,其中:数据库管理系统响应数据请求,完成存储装置中数据库管理和数据管理;外部存储管理系统响应数据请求,完成存储装置中数据库外部存储区管理和数据管理;应用程序接口用于获取数据库外部存储数据的信息,完成存储装置的数据库外部存储;扩展服务器用于建立数据库外部存储区,确定数据库外部存储数据在外部存储区中的位置。有利于提高数据库性能和数据可靠性。
Description
技术领域
本发明涉及一种数据存储系统及数据存储方法,特别是涉及一种数据库的数据外部存储系统及数据存储方法。
背景技术
随着互联网和信息技术的发展,数据呈几何级数增长。随处可见越积越多的各种格式的数据和电子文挡,信息社会跨入大数据时代。
要充分利用大数据,首先是要长期保存大数据,其次是以有效且快捷的方式从大数据中找到所需要的信息。保存、查找和利用大数据,涉及数据结构、数据格式、数据库、存储介质。数据包括结构化数据、半结构化数据和非结构化数据;数据格式成千上万种;数据库有关系型数据库和非结构化数据库;存储介质有磁(磁盘、磁带)、光(光盘)、电(固态硬盘、U盘等)。
对于需要长期保存的数据,均不适于采用磁存储和电存储保存。光盘可长期保存数据,存储量大、节能、环保、费用低、安全性高,但面临的问题是如何有效利用保存在光盘上的数据,也就是如何对光盘上的数据和文件内容进行全文检索;另一个问题是,尽管蓝光光盘的容量已达到25GB-100GB,但与磁存储和电存储的存储容量相比,仍有很大的差距,因此,需要用大量的光盘分散保存磁存储介质和电存储介质上的数据。管理大量的光盘需要专门的光盘存储装置。光盘存储装置主要有两种,用于近线存储的光盘库和用于离线存储的离线光盘柜。
在现有技术中,能够对在线存储的数据和文件内容进行全文检索,但难于对近线存储和离线存储的数据和文件内容进行全文检索。
在申请号为CN201210431169.3,发明名称为“基于光盘的数据库存储系统及利用该系统的方法”的专利申请中,提供了一种利用数据库管理系统将磁盘存储器中数据库以原始数据库格式拆分到光盘的技术方案。包括安装在服务器上的数据库管理系统,与服务器数据连接的磁盘存储装置和光盘存储装置,以及建立在磁盘存储装置上的磁盘数据库,数据库管理系统包括字段结构生成模块,记录索引生成模块,存储空间分配模块,存储空间状态模块,记录链接模块,记录拆分模块,光盘建库模块,库结构生成模块,记录合并模块。在申请号为CN201310136328.1,发明名称为“基于光盘库的数据库存储系统及利用该系统的方法”的专利申请中,提供了一种将数据库直接建立在光盘上的技术方案,将全文索引数据单独存放在磁盘存储器或光盘上,对光盘库中光盘上的数据库进行全文检索达到秒级,调取光盘上的数据库文件中的原文件达到秒级,使光盘库中光盘上的数据库响应性能接近磁盘在线存储,有效解决了管理和访问大规模数据库光盘的技术问题。包括服务器、光盘库和磁盘存储器,所述服务器与所述光盘库和所述磁盘存储器间建立数据连接,所述服务器上的操作系统中安装有数据库管理系统和光盘库管理系统,所述数据库管理系统中包括字段结构生成模块,记录索引生成模块,存储空间分配模块,存储空间状态模块,记录链接模块,记录拆分模块,光盘建库与录入模块,检索词存储模块,检索词索引生成模块,库结构生成模块。
以上这两种技术方案都是基于将各种格式的数据全部装入数据库,在保证数据库数据完整性的前提下,才能将数据库建立在光盘上。这两种方案都有局限性。在不能将全部数据装入数据库的情况下,不能采用上述两种方案。
发明内容
本发明的目的是提供一种基于光盘的数据库的数据外部存储方法,解决数据记录中全部字段数据必须全部写入数据库文件才能完成库文件数据记录的技术问题。
本发明的另一个目的是提供一种基于光盘的数据库的数据外部存储系统,解决数据记录中部分字段数据与数据库文件分离存储时无法同步操作的技术问题。
本发明基于光盘的数据库的数据外部存储系统,包括服务器,与服务器数据连接的磁盘存储装置和光盘存储装置,所述服务器上设置数据库管理系统,外部存储管理系统,应用程序接口,扩展服务器,磁盘存储装置和光盘存储装置上分别设置对应的数据库和数据库外部存储区,数据库中记录的部分字段数据对应存储在数据库外部存储区中,其中:
数据库管理系统用于响应数据请求,完成存储装置中数据库管理和数据管理;
外部存储管理系统用于响应数据请求,完成存储装置中数据库外部存储区管理和数据管理;
应用程序接口用于获取数据库外部存储数据的信息,完成存储装置的数据库外部存储;
扩展服务器用于建立数据库外部存储区,确定数据库外部存储数据在外部存储区中的位置。
所述数据库管理系统包括字段结构生成模块,记录索引生成模块,存储空间分配模块,存储空间状态模块,记录链接模块,记录拆分模块,光盘建库与录入模块,库结构生成模块,记录合并模块,外部存储结构生成模块,其中:
字段结构生成模块,读取数据库中每一条记录的字段结构信息,包括记录中各字段的数据类型、长度,并写入数据库文件或数据库管理系统中;
记录索引生成模块,记录数据库中每一条记录的索引信息,包括记录中各字段的修改时间、修改内容,并写入数据库文件或数据库管理系统中;
存储空间分配模块,记录为每一条记录所分配的标准存储单元在数据库文件中的位置信息,并写入数据库文件或数据库管理系统中;
存储空间状态模块,记录数据库文件中已分配标准存储单元中未使用的空间信息,并写入数据库文件或数据库管理系统中;
记录链接模块,将数据库中各记录的字段结构信息、索引信息、标准存储单元的位置信息和空间信息合并,形成数据库特征数据,并写入数据库文件或数据库管理系统中;
记录拆分模块,根据数据库管理系统指令进行数据库中记录拆分,数据拆分以记录为单位进行,读取数据库特征数据,确定记录中每个字段的数据位置和数据量,标记出符合指令参数的记录,并将标记信息写入数据库文件或数据库管理系统中;
光盘建库与录入模块,用于在光盘上建立数据库文件,并将数据直接录入到光盘上的数据库,并通过数据库管理系统生成对应记录的字段结构信息、索引信息,记录标准存储单元位置信息和空间信息,形成光盘上的数据库特征数据。
库结构生成模块,将数据库的库结构形成独立数据;数据库管理系统根据独立数据在光盘上建立相同库结构的子数据库。
记录合并模块,根据数据库管理系统指令,将光盘上子数据库中的记录合并到磁盘存储装置上的磁盘数据库中,并通过数据库管理系统生成对应记录的字段结构信息、索引信息,以及记录标准存储单元位置信息和空间信息,形成磁盘数据库的数据库特征数据。
外部存储结构生成模块;根据从应用程序接口接收到的数据库外部存储数据的信息,将外部存储数据的字段信息写入数据库文件或数据库管理系统中。
所述外部存储管理系统包括外部存储数据管理模块,用于根据应用程序接口指令,对外部存储字段进行配置,并对外部存储行为进行管理。
应用程序接口包括外部存储数据移出模块,外部存储数据存储模块,其中:
外部存储数据移出模块,根据应用程序接口指令,将外部存储数据从记录中移出;
外部存储数据存储模块,根据应用程序接口指令,将外部存储数据写入由扩展服务器指定的外部存储区中的子目录。
扩展服务器包括外部存储区建立模块,外部存储数据位置管理模块,其中:
外部存储区建立模块,根据扩展服务器指令,在磁盘存储器建立数据库外部存储区;
外部存储数据位置管理模块,记录为每一条记录的外部存储数据所分配的标准存储单元在磁盘存储器的外部存储区中的位置信息,并写入扩展服务器中。
所述扩展服务器还包括光盘外部存储区建立模块,外部存储数据光盘位置管理模块,外部存储数据合并模块,其中:
光盘外部存储区建立模块,根据扩展服务器指令,在光盘上建立相应子数据库的数据库外部存储区;
外部存储数据光盘位置管理模块,用于将外部存储区中与光盘容量匹配的外部存储数据写入扩展服务器上建立的数据库外部存储区的子目录下,并通过扩展服务器生成对应记录的外部存储数据的存储单元在光盘上的位置信息和空间信息;
外部存储数据合并模块,根据扩展服务器指令,将光盘上外部存储区子目录下的数据存储在磁盘存储装置上外部存储区子目录下。
根据权利所述的基于光盘的数据库的数据外部存储系统,完成数据库数据和数据库外部存储数据在磁盘存储装置中进行数据存储的主要步骤包括:
数据前向转移时:
数据库管理系统调用应用程序接口向扩展服务器发出建立外部存储区的请求,扩展服务器在存储装置上建立相应参数的外部存储区,相应参数中包括容量、目录结构、存储位置等物理拓扑信息;
数据库管理系统通过外部存储管理系统管理外部存储区中外部存储数据的字段信息;
数据库管理系统向数据库中写入被修改的不包含外部存储数据的记录;
数据库管理系统调用应用程序接口向相应数据库的外部存储区写入外部存储数据;
数据后向转移时:
数据库管理系统调用应用程序接口向扩展服务器发出字段信息的请求,扩展服务器返回外部存储区中相应数据库的字段信息;
数据库管理系统获得数据库中从记录中移出的外部存储数据的字段信息,将该字段的外部存储数据与数据库中的相应记录的字段粘贴,获得完整的记录;
数据库管理系统通过外部存储管理系统更新外部存储区中外部存储数据的字段信息。
在光盘上直接建立数据库和外部存储数据的主要步骤包括:
步骤110,数据库管理系统获取光盘存储介质的容量参数;
步骤115,通过库结构生成模块在光盘上建立数据库文件;
步骤120,通过光盘建立外部存储区模块在光盘上建立相应数据库的外部存储区;
步骤125,通过外部存储数据光盘位置管理模块在光盘上的外部存储区建立相应数据库的子目录;
步骤130,通过光盘建库与录入模块向光盘上数据库文件中增加记录;
步骤135,通过字段结构生成模块生成记录的字段结构信息;
步骤140,通过记录索引生成模块生成记录的索引信息;
步骤145,通过存储空间分配模块记录标准存储单元位置信息;
步骤150,通过存储空间状态模块记录标准存储单元的空间信息;
步骤155,通过外部存储数据移出模块获得从记录中移出的外部存储数据的信息;
步骤160,通过外部存储数据存储模块将相应记录的外部存储数据写入光盘上相应数据库的外部存储区子目录下;
步骤165,数据库管理系统通过外部存储结构生成模块读取外部存储数据的特征数据;
步骤170,重复步骤130至步骤165,更新保留数据库特征数据和外部存储数据的特征数据;
步骤175,当数据库和数据库外部存储数据达到光盘存储空间容量值时,数据库管理系统将保留的数据库特征数据和外部存储数据的特征数据写入光盘上的数据库,完成在光盘上建立数据库与存储记录,以及将相应记录的部分数据存储在数据库外部。
进行磁盘数据库与外部存储数据的光盘备份的主要步骤包括:
步骤210,数据库管理系统获取光盘存储介质的容量参数;
步骤215,通过记录拆分模块读取磁盘存储装置中磁盘数据库的数据库特征数据;
步骤220,通过外部存储结构生成模块读取磁盘存储装置外部存储数据的特征数据;
步骤225,计算各记录的容量,容量包括外部存储数据,确定各子数据库起始记录号和终止记录号,各子数据库的记录数量;
步骤230,通过外部存储数据位置管理模块获得磁盘存储装置外部存储区中外部存储数据的位置信息;
步骤235,通过外部存储数据移出模块获得从记录中移出的外部存储数据的信息;
步骤240,通过外部存储字段管理模块获得外部存储字段的配置信息;
步骤245,通过库结构生成模块在光盘上分别建立相同库结构的子数据库文件;
步骤250,通过光盘建立外部存储区模块,在光盘上分别建立相应子数据库的外部存储区;
步骤255,通过外部存储数据光盘位置管理模块,在光盘上的外部存储区分别建立相应子数据库的子目录;
步骤260,通过光盘建库与录入模块将各子数据库对应的起始记录号和终止记录号之间的记录顺序写入对应光盘上的子数据库文件中;
步骤265,通过字段结构生成模块向各子数据库文件中写入相应记录的字段结构信息;
步骤270,通过记录索引生成模块向各子数据库文件中写入相应记录的索引信息;
步骤275,通过存储空间分配模块向各子数据库文件中写入相应记录的标准存储单元位置信息;
步骤280,通过存储空间状态模块记录标准存储单元的空间信息;
步骤285,通过记录链接模块形成相应子数据库的数据库特征数据;
步骤290,通过外部存储数据存储模块将外部存储数据写入光盘上相应子数据库的外部存储区子目录下,完成数据库备份。
进行光盘上的数据库和数据库外部存储数据在磁盘上还原的主要步骤包括:
步骤310,数据库管理系统通过库结构生成模块在磁盘存储装置中建立磁盘数据库文件;
步骤315,数据库管理系统通过记录拆分模块读取各光盘上子数据库中数据库特征数据,确定记录的最小记录号和最大记录号,确定各子数据库记录容量、记录数量;
步骤320,数据库管理系统通过外部存储结构生成模块读取各光盘上相应子数据库的外部存储数据的容量。
步骤325,数据库管理系统通过记录合并模块,将各子数据库中的记录顺序写入磁盘存储装置中的数据库文件;
步骤330,通过字段结构生成模块生成记录的字段结构信息;
步骤335,通过记录索引生成模块生成记录的索引信息;
步骤340,通过存储空间分配模块记录标准存储单元位置信息;
步骤345,通过存储空间状态模块记录标准存储单元的空间信息;
步骤350,通过记录链接模块形成磁盘存储装置中数据库的数据库特征数据,完成数据库还原。
步骤355,扩展服务器通过外部存储区建立模块,在磁盘存储器建立数据库外部存储区;
步骤360,通过外部存储数据位置管理模块,在磁盘存储装置中的外部存储区建立相应数据库的数据外部存储的子目录;
步骤365,通过外部存储数据合并模块,将光盘上子数据库相应的外部存储区子目录下的数据存储到磁盘存储装置上相应数据库的外部存储区子目录下,完成数据库外部存储数据还原。
使用光盘上的数据库数据和数据库外部存储数据在磁盘上建立数据库和外部存储数据的主要步骤包括:
步骤410,数据库管理系统通过库结构生成模块在磁盘存储装置中建立磁盘数据库文件;
步骤415,数据库管理系统通过记录拆分模块读取各光盘上子数据库中数据库特征数据,确定记录的记录号和数据量,确定各子数据库记录容量;
步骤420,数据库管理系统通过外部存储结构生成模块读取各光盘上相应子数据库的外部存储数据的容量。
步骤425,数据库管理系统通过记录合并模块,将需要的记录从各子数据库中读取后,写入磁盘存储装置中的数据库文件;
步骤430,通过字段结构生成模块生成记录的字段结构信息;
步骤435,通过记录索引生成模块生成记录的索引信息;
步骤440,通过存储空间分配模块记录标准存储单元位置信息;
步骤445,通过存储空间状态模块记录标准存储单元的空间信息;
步骤450,通过记录链接模块形成磁盘存储装置中数据库的数据库特征数据,完成利用光盘上的数据库数据在磁盘存储装置中建立数据库;
步骤455,扩展服务器通过外部存储区建立模块,在磁盘存储器建立数据库外部存储区;
步骤460,通过外部存储数据位置管理模块,在磁盘存储装置中的外部存储区建立相应数据库的数据外部存储的子目录;
步骤465,通过外部存储数据合并模块,将光盘上子数据库相应的外部存储区子目录下的数据存储在磁盘上相应数据库的外部存储区子目录下,完成利用光盘上数据库外部存储数据在磁盘存储装置中建立数据库外部存储数据。
使用磁盘数据库数据和数据库外部存储数据在光盘上建立数据库和外部存储数据的主要步骤包括:
步骤510,数据库管理系统通过库结构生成模块在光盘上建立子数据库文件;
步骤515,数据库管理系统通过记录拆分模块读取磁盘存储装置中磁盘数据库的数据库特征数据;
步骤520,通过外部存储结构生成模块读取磁盘存储装置外部存储数据的特征数据;
步骤525,确定各记录的存储容量,包括相应记录的外部存储数据的容量;
步骤530,通过外部存储数据位置管理模块获得磁盘存储装置外部存储区中外部存储数据的位置信息;
步骤535,通过外部存储数据移出模块获得从记录中移出的外部存储数据的信息;
步骤540,通过外部存储字段管理模块获得外部存储字段的配置信息;
步骤545,数据库管理系统通过记录合并模块,将需要的记录从磁盘数据库中读取后,写入光盘上的数据库文件;
步骤550,通过字段结构生成模块生成记录的字段结构信息;
步骤555,通过记录索引生成模块生成记录的索引信息;
步骤560,通过存储空间分配模块记录标准存储单元位置信息;
步骤565,通过存储空间状态模块记录标准存储单元的空间信息;
步骤570,通过记录链接模块形成光盘上数据库的数据库特征数据,完成利用磁盘数据库的数据在光盘上建立数据库;
步骤575,通过光盘建立外部存储区模块,在光盘上分别建立相应子数据库的外部存储区;
步骤580,通过外部存储数据光盘位置管理模块,在光盘上的外部存储区分别建立相应子数据库的子目录;
步骤585,通过外部存储数据合并模块,将磁盘上数据库相应的外部存储区子目录下的数据存储在光盘上相应子数据库的外部存储区子目录下,完成利用磁盘上数据库外部存储数据在光盘上建立数据库外部存储数据。
本发明的基于光盘的数据库的数据外部存储方法,将记录中一部分字段的数据装入数据库,将记录中另一部分字段的数据存储在数据库外部并“粘贴”在数据库上,将数据库和存储在数据库外部的数据都建立在光盘上,并对光盘上的数据库内部和外部存储的数据进行统一管理,解决管理和访问大规模存储在光盘上的数据库外部数据的技术问题。
本发明的基于光盘的数据库的数据外部存储系统,使得复制数据库时自动复制数据库外部存储的数据,复制数据库中的单个记录时自动复制数据库外部存储的该记录的数据。
本发明的基于光盘的数据库的数据外部存储方法,按照数据的大小和类型将记录中一部分字段的数据装入数据库,将记录中另一部分字段的数据存储在数据库外部并“粘贴”在数据库上,使得存储在数据库外部的数据与数据库融为一体,完善和扩展了数据库管理和存储大容量数据的功能,保证了数据的完整性和安全性。基于数据库外部存储数据的特征存储在数据库中和数据库对数据库外部存储数据的“粘贴”功能,访问数据库既可访问数据库内部存储的数据,也可访问数据库外部存储的数据,复制数据库能够自动复制数据库外部存储的数据,复制数据库的单个记录能够自动复制该记录中存储在数据库外部的数据。
同时,基于光盘的数据库的数据外部存储系统,能够在光盘上建立数据库,并将“粘贴”在数据库外部的数据存储在同一张光盘上,实现了利用在光盘上建立数据库的方法大规模存储、管理和访问大容量数据,如视频、音频、影像、图像等。
基于光盘存储寿命长、节能、环保、安全性高,可以将保存磁带库上的大容量数据全部转储到光盘上,将保存在磁盘上经常但不频繁使用的大容量数据转储到光盘上。
下面结合附图对本发明的实施例作进一步说明。
附图说明
图1为本发明基于光盘的数据库的数据外部存储系统的一种结构示意图;
图2为本发明基于光盘的数据库的数据外部存储系统中数据库数据和数据库外部存储数据在各存储装置中进行存储的数据流向示意图;
图3为利用本发明基于光盘的数据库的数据外部存储系统完成数据库数据和数据库外部存储数据在磁盘存储装置中进行数据存储的流程示意图;
图4为利用本发明基于光盘的数据库的数据外部存储系统在光盘上直接建立数据库和外部存储数据的方法流程图;
图5为利用本发明基于光盘的数据库的数据外部存储系统进行磁盘数据库与外部存储数据的光盘备份的方法流程图;
图6为利用本发明基于光盘的数据库的数据外部存储系统进行光盘上的数据库和数据库外部存储数据在磁盘上还原的方法流程图;
图7为利用本发明基于光盘的数据库的数据外部存储系统使用光盘上的数据库数据和数据库外部存储数据在磁盘上建立数据库和外部存储数据的方法流程图;
图8为利用本发明基于光盘的数据库的数据外部存储系统使用磁盘数据库数据和数据库外部存储数据在光盘上建立数据库和外部存储数据的方法流程图。
具体实施方式
如图1所示,本实施例中,包括服务器server,与服务器数据连接的磁盘存储装置diskstorage和光盘存储装置optistorage,服务器server上设置数据库管理系统dm,外部存储管理系统es,应用程序接口ASE,扩展服务器ese,磁盘存储装置diskstorage上设置磁盘数据库db,数据库外部存储区esa,数据库db中每一条记录的部分字段数据对应存储在数据库外部存储区esa中,光盘存储装置optistorage中的光盘bd上设置光盘数据库db1,数据库外部存储区esa1,数据库db1中记录的部分字段数据对应存储在数据库外部存储区esa1中。
数据库管理系统dm用于响应数据请求,完成存储装置中数据库管理和数据管理;
外部存储管理系统es用于响应数据请求,完成存储装置中数据库外部存储区esa管理和数据管理;
应用程序接口ASE用于获取数据库外部存储数据的信息,完成存储装置的数据库外部存储;
扩展服务器ese用于建立数据库外部存储区esa,确定数据库外部存储数据在外部存储区esa中的位置。
数据库管理系统dm包括字段结构生成模块u1,记录索引生成模块u2,存储空间分配模块u3,存储空间状态模块u4,记录链接模块u5,记录拆分模块u6,光盘建库与录入模块u7,库结构生成模块u8,记录合并模块u9,外部存储结构生成模块u10,其中:
字段结构生成模块u1,读取数据库中每一条记录的字段结构信息,包括记录中各字段的数据类型、长度,并写入数据库文件或数据库管理系统dm中;
记录索引生成模块u2,记录数据库中每一条记录的索引信息,包括记录中各字段的修改时间、修改内容,并写入数据库文件或数据库管理系统dm中;
存储空间分配模块u3,记录为每一条记录所分配的标准存储单元在数据库文件中的位置信息,并写入数据库文件或数据库管理系统dm中;
存储空间状态模块u4,记录数据库文件中已分配标准存储单元中未使用的空间信息,并写入数据库文件或数据库管理系统dm中;
记录链接模块u5,将数据库中各记录的字段结构信息、索引信息、标准存储单元的位置信息和空间信息合并,形成数据库特征数据,并写入数据库文件或数据库管理系统dm中;
记录拆分模块u6,根据数据库管理系统dm指令进行数据库中记录拆分,数据拆分以记录为单位进行,读取数据库特征数据,确定记录中每个字段的数据位置和数据量,标记出符合指令参数的记录,并将标记信息写入数据库文件或数据库管理系统dm中;
光盘建库与录入模块u7,用于在光盘bd上建立数据库文件,并将数据直接录入到光盘bd上的数据库,并通过数据库管理系统dm生成对应记录的字段结构信息、索引信息,记录标准存储单元位置信息和空间信息,形成光盘上的数据库特征数据。
库结构生成模块u8,将数据库的库结构形成独立数据;数据库管理系统dm根据独立数据在光盘上建立相同库结构的子数据库db1。
记录合并模块u9,根据数据库管理系统dm指令,将光盘上子数据库db1中的记录合并到磁盘存储装置diskstorage上的磁盘数据库db中,并通过数据库管理系统dm生成对应记录的字段结构信息、索引信息,以及记录标准存储单元位置信息和空间信息,形成磁盘数据库db的数据库特征数据。
外部存储结构生成模块u10;根据从应用程序接口ASE接收到的数据库外部存储数据的信息,将外部存储数据的字段信息写入数据库文件或数据库管理系统dm中。
外部存储管理系统es包括外部存储数据管理模块u11,用于根据应用程序接口ASE指令,对外部存储字段进行配置,并对外部存储行为进行管理。
应用程序接口ASE包括外部存储数据移出模块u12,外部存储数据存储模块u13,其中:
外部存储数据移出模块u12,根据应用程序接口ASE指令,将外部存储数据从记录中移出;
外部存储数据存储模块u13,根据应用程序接口ASE指令,将外部存储数据写入由扩展服务器ese指定的外部存储区中的子目录。
扩展服务器ese包括外部存储区建立模块u14,外部存储数据位置管理模块u15,其中:
外部存储区建立模块u14,根据扩展服务器ese指令,在磁盘存储器建立数据库外部存储区;
外部存储数据位置管理模块u15,记录为每一条记录的外部存储数据所分配的标准存储单元在磁盘存储器的外部存储区中的位置信息,并写入扩展服务器ese中。
为了进一步在基于光盘的数据库应用中,在一系列光盘数据库上实现以上特征和效果,
扩展服务器ese还包括光盘外部存储区建立模块u16,外部存储数据光盘位置管理模块u17,外部存储数据合并模块u18,其中:
光盘外部存储区建立模块u16,根据扩展服务器ese指令,在光盘bd上建立相应子数据库db1的数据库外部存储区esa1;
外部存储数据光盘位置管理模块u17,用于将外部存储区中与光盘容量匹配的外部存储数据写入扩展服务器ese在光盘bd上建立的数据库外部存储区的子目录下,并通过扩展服务器ese生成对应记录的外部存储数据的存储单元在光盘bd上的位置信息和空间信息;
外部存储数据合并模块u18,根据扩展服务器ese指令,将光盘上外部存储区子目录下的数据存储在磁盘存储装置diskstorage上外部存储区子目录下。
如图2所示,通过数据库管理系统dm在磁盘存储装置diskstorage上设置的磁盘数据库db和数据库外部存储区esa,可以在实时接收大数据时,根据需要将一部分大尺寸类型数据作为数据库外部存储数据存储在数据库外部存储区esa,同时保证数据库db的完整性。
在需要将巨大容量的数据向光盘存储装置optistorage转移实现多响应级别的在线存储时,利用数据库管理系统dm可以将数据库拆分成若干个子数据库db1,并利用数据库管理系统dm中的光盘建库与录入模块u7、库结构生成模块u8在光盘bd上建立若干个光盘数据库(即子数据库)db1,同时利用光盘外部存储区建立模块u16,外部存储数据光盘位置管理模块u17,将各光盘数据库(即子数据库)db1对应的数据库外部存储数据存储在相应的光盘上,实现数据实时响应向低等级转移。
必要时利用数据库管理系统dm中的记录合并模块u9,将光盘上的子数据库或部分数据库数据转移到磁盘存储装置diskstorage上设置的磁盘数据库db中,并利用外部存储数据合并模块u18将相应数据库光盘上的外部存储数据转移到磁盘存储装置diskstorage上设置的外部存储区中,实现数据实时响应向高等级转移。
通过本发明的基于光盘的数据库的数据外部存储系统,可以实现对大数据数据库的高效数据管理,利用外部存储区存储高响应等级数据,同时利用外部存储区的高响应性能存储从数据库中分离出来的影响数据库响应性能的大尺寸数据或低利用率数据,使得数据库性能不再受数据库数据特征局限。进一步通过光盘数据库和响应光盘上的数据库外部存储区,实现了数据库数据响应等级的有效划分,使得磁盘数据库规模得到有效裁减,使得大数据备份与恢复能够与实时响应有机结合。
利用本发明的基于光盘的数据库的数据外部存储系统可以实现数据实时分级响应过程中各种有针对性的具体数据存储过程。
如图3所示,完成数据库数据和数据库外部存储数据在磁盘存储装置中进行数据存储的主要步骤包括:
数据前向转移时:
数据库管理系统dm调用应用程序接口ASE向扩展服务器ese发出建立外部存储区esa的请求,扩展服务器ese在存储装置上建立相应参数的外部存储区esa,相应参数中包括容量、目录结构、存储位置等物理拓扑信息;
数据库管理系统dm通过外部存储管理系统es管理外部存储区esa中外部存储数据的字段信息;
数据库管理系统dm向数据库中写入被修改的不包含外部存储数据的记录;
数据库管理系统dm调用应用程序接口ASE向相应数据库的外部存储区esa写入外部存储数据;
数据后向转移时:
数据库管理系统dm调用应用程序接口ASE向扩展服务器ese发出字段信息的请求,扩展服务器ese返回外部存储区esa中相应数据库的字段信息;
数据库管理系统dm获得数据库中从记录中移出的外部存储数据的字段信息,将该字段的外部存储数据与数据库中的相应记录的字段粘贴,获得完整的(数据库)记录;
数据库管理系统dm通过外部存储管理系统es更新外部存储区esa中外部存储数据的字段信息。
通过以上方法,可以有效的将数据库中一条记录中不适合数据库存储和管理的数据类型和数据从记录中分离出来,以更高效率的存储形式保存,既保证了记录的一致性和完整性,也满足了对数据库实时响应性能和数据库维护复杂性的需要。
如图4所示,在光盘上直接建立数据库和外部存储数据的主要步骤包括:
步骤110,数据库管理系统dm获取光盘存储介质的容量参数;
步骤115,通过库结构生成模块u8在光盘上建立数据库文件;
步骤120,通过光盘建立外部存储区模块u16在光盘上建立相应数据库的外部存储区;
步骤125,通过外部存储数据光盘位置管理模块u17在光盘上的外部存储区建立相应数据库的子目录;
步骤130,通过光盘建库与录入模块u7向光盘上数据库文件中增加记录;
步骤135,通过字段结构生成模块u1生成记录的字段结构信息;
步骤140,通过记录索引生成模块u2生成记录的索引信息;
步骤145,通过存储空间分配模块u3记录标准存储单元位置信息;
步骤150,通过存储空间状态模块u4记录标准存储单元的空间信息;
步骤155,通过外部存储数据移出模块u12获得从记录中移出的外部存储数据的信息;
步骤160,通过外部存储数据存储模块u13将相应记录的外部存储数据写入光盘上相应数据库的外部存储区子目录下;
步骤165,数据库管理系统通过外部存储结构生成模块u10读取外部存储数据的特征数据;
步骤170,重复步骤130至步骤165,更新保留数据库特征数据和外部存储数据的特征数据;
步骤175,当数据库和数据库外部存储数据达到光盘存储空间容量值时,数据库管理系统将保留的数据库特征数据和外部存储数据的特征数据写入光盘上的数据库,完成在光盘上建立数据库与存储记录,以及将相应记录的部分数据存储在数据库外部。
如图5所示,进行磁盘数据库与外部存储数据的光盘备份的主要步骤包括:
步骤210,数据库管理系统dm获取光盘存储介质的容量参数;
步骤215,通过记录拆分模块u6读取磁盘存储装置中磁盘数据库的数据库特征数据;
步骤220,通过外部存储结构生成模块u10读取磁盘存储装置外部存储数据的特征数据;
步骤225,计算各记录的容量,容量包括外部存储数据,确定各子数据库起始记录号和终止记录号,各子数据库的记录数量;
步骤230,通过外部存储数据位置管理模块u15获得磁盘存储装置外部存储区中外部存储数据的位置信息;
步骤235,通过外部存储数据移出模块u12获得从记录中移出的外部存储数据的信息;
步骤240,通过外部存储字段管理模块u11获得外部存储字段的配置信息;
步骤245,通过库结构生成模块u8在光盘上分别建立相同库结构的子数据库文件;
步骤250,通过光盘建立外部存储区模块u16,在光盘上分别建立相应子数据库的外部存储区;
步骤255,通过外部存储数据光盘位置管理模块u17,在光盘上的外部存储区分别建立相应子数据库的子目录;
步骤260,通过光盘建库与录入模块u7将各子数据库对应的起始记录号和终止记录号之间的记录顺序写入对应光盘上的子数据库文件中;
步骤265,通过字段结构生成模块u1向各子数据库文件中写入相应记录的字段结构信息;
步骤270,通过记录索引生成模块u2向各子数据库文件中写入相应记录的索引信息;
步骤275,通过存储空间分配模块u3向各子数据库文件中写入相应记录的标准存储单元位置信息;
步骤280,通过存储空间状态模块u4记录标准存储单元的空间信息;
步骤285,通过记录链接模块u5形成相应子数据库的数据库特征数据;
步骤290,通过外部存储数据存储模块u13将外部存储数据写入光盘上相应子数据库的外部存储区子目录下,完成数据库备份。
如图6所示,进行光盘上的数据库和数据库外部存储数据在磁盘上还原的主要步骤包括:
步骤310,数据库管理系统dm通过库结构生成模块u8在磁盘存储装置中建立磁盘数据库文件;
步骤315,数据库管理系统通过记录拆分模块u6读取各光盘上子数据库中数据库特征数据,确定记录的最小记录号和最大记录号,确定各子数据库记录容量、记录数量;
步骤320,数据库管理系统通过外部存储结构生成模块u10读取各光盘上相应子数据库的外部存储数据的容量。
步骤325,数据库管理系统通过记录合并模块u9,将各子数据库中的记录顺序写入磁盘存储装置中的数据库文件;
步骤330,通过字段结构生成模块u1生成记录的字段结构信息;
步骤335,通过记录索引生成模块u2生成记录的索引信息;
步骤340,通过存储空间分配模块u3记录标准存储单元位置信息;
步骤345,通过存储空间状态模块u4记录标准存储单元的空间信息;
步骤350,通过记录链接模块u5形成磁盘存储装置中数据库的数据库特征数据,完成数据库还原。
步骤355,扩展服务器通过外部存储区建立模块u14,在磁盘存储器建立数据库外部存储区;
步骤360,通过外部存储数据位置管理模块u15,在磁盘存储装置中的外部存储区建立相应数据库的数据外部存储的子目录;
步骤365,通过外部存储数据合并模块u18,将光盘上子数据库相应的外部存储区子目录下的数据存储到磁盘存储装置上相应数据库的外部存储区子目录下,完成数据库外部存储数据还原。
如图7所示,使用光盘上的数据库数据和数据库外部存储数据在磁盘上建立数据库和外部存储数据的主要步骤包括:
步骤410,数据库管理系统dm通过库结构生成模块u8在磁盘存储装置中建立磁盘数据库文件;
步骤415,数据库管理系统通过记录拆分模块u6读取各光盘上子数据库中数据库特征数据,确定记录的记录号和数据量,确定各子数据库记录容量;
步骤420,数据库管理系统通过外部存储结构生成模块u10读取各光盘上相应子数据库的外部存储数据的容量。
步骤425,数据库管理系统通过记录合并模块u9,将需要的记录从各子数据库中读取后,写入磁盘存储装置中的数据库文件;
步骤430,通过字段结构生成模块u1生成记录的字段结构信息;
步骤435,通过记录索引生成模块u2生成记录的索引信息;
步骤440,通过存储空间分配模块u3记录标准存储单元位置信息;
步骤445,通过存储空间状态模块u4记录标准存储单元的空间信息;
步骤450,通过记录链接模块u5形成磁盘存储装置中数据库的数据库特征数据,完成利用光盘上的数据库数据在磁盘存储装置中建立数据库;
步骤455,扩展服务器ese通过外部存储区建立模块u14,在磁盘存储器建立数据库外部存储区;
步骤460,通过外部存储数据位置管理模块u15,在磁盘存储装置中的外部存储区建立相应数据库的数据外部存储的子目录;
步骤465,通过外部存储数据合并模块u18,将光盘上子数据库相应的外部存储区子目录下的数据存储在磁盘上相应数据库的外部存储区子目录下,完成利用光盘上数据库外部存储数据在磁盘存储装置中建立数据库外部存储数据。
如图8所示,使用磁盘数据库数据和数据库外部存储数据在光盘上建立数据库和外部存储数据的主要步骤包括:
步骤510,数据库管理系统dm通过库结构生成模块u8在光盘上建立子数据库文件;
步骤515,数据库管理系统通过记录拆分模块u6读取磁盘存储装置中磁盘数据库的数据库特征数据;
步骤520,通过外部存储结构生成模块u10读取磁盘存储装置外部存储数据的特征数据;
步骤525,确定各记录的存储容量,包括相应记录的外部存储数据的容量;
步骤530,通过外部存储数据位置管理模块u15获得磁盘存储装置外部存储区中外部存储数据的位置信息;
步骤535,通过外部存储数据移出模块u12获得从记录中移出的外部存储数据的信息;
步骤540,通过外部存储字段管理模块u11获得外部存储字段的配置信息;
步骤545,数据库管理系统通过记录合并模块u9,将需要的记录从磁盘数据库中读取后,写入光盘上的数据库文件;
步骤550,通过字段结构生成模块u1生成记录的字段结构信息;
步骤555,通过记录索引生成模块u2生成记录的索引信息;
步骤560,通过存储空间分配模块u3记录标准存储单元位置信息;
步骤565,通过存储空间状态模块u4记录标准存储单元的空间信息;
步骤570,通过记录链接模块u5形成光盘上数据库的数据库特征数据,完成利用磁盘数据库的数据在光盘上建立数据库;
步骤575,通过光盘建立外部存储区模块u16,在光盘上分别建立相应子数据库的外部存储区;
步骤580,通过外部存储数据光盘位置管理模块u17,在光盘上的外部存储区分别建立相应子数据库的子目录;
步骤585,通过外部存储数据合并模块u18,将磁盘上数据库相应的外部存储区子目录下的数据存储在光盘上相应子数据库的外部存储区子目录下,完成利用磁盘上数据库外部存储数据在光盘上建立数据库外部存储数据。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种基于光盘的数据库的数据外部存储系统,包括服务器(server),与服务器数据连接的磁盘存储装置(diskstorage)和光盘存储装置(optistorage),其特征在于:所述服务器(server)上设置数据库管理系统(dm),外部存储管理系统(es),应用程序接口(ASE),扩展服务器(ese),磁盘存储装置(diskstorage)和光盘存储装置(optistorage)上分别设置对应的数据库(db、db1)和数据库外部存储区(esa、esa1),数据库(db、db1)中记录的部分字段数据对应存储在数据库外部存储区(esa、esa1)中,其中:
数据库管理系统(dm)用于响应数据请求,完成存储装置中数据库管理和数据管理;
外部存储管理系统(es)用于响应数据请求,完成存储装置中数据库外部存储区(esa、esa1)管理和数据管理;
应用程序接口(ASE)用于获取数据库外部存储数据的信息,完成存储装置的数据库外部存储;
扩展服务器(ese)用于建立数据库外部存储区(esa、esa1),确定数据库外部存储数据在外部存储区(esa、esa1)中的位置。
2.根据权利要求1所述的基于光盘的数据库的数据外部存储系统,其特征在于:所述数据库管理系统(dm)包括字段结构生成模块(u1),记录索引生成模块(u2),存储空间分配模块(u3),存储空间状态模块(u4),记录链接模块(u5),记录拆分模块(u6),光盘建库与录入模块(u7),库结构生成模块(u8),记录合并模块(u9),外部存储结构生成模块(u10),其中:
字段结构生成模块(u1),读取数据库中每一条记录的字段结构信息,包括记录中各字段的数据类型、长度,并写入数据库文件或数据库管理系统(dm)中;
记录索引生成模块(u2),记录数据库中每一条记录的索引信息,包括记录中各字段的修改时间、修改内容,并写入数据库文件或数据库管理系统(dm)中;
存储空间分配模块(u3),记录为每一条记录所分配的标准存储单元在数据库文件中的位置信息,并写入数据库文件或数据库管理系统(dm)中;
存储空间状态模块(u4),记录数据库文件中已分配标准存储单元中未使用的空间信息,并写入数据库文件或数据库管理系统(dm)中;
记录链接模块(u5),将数据库中各记录的字段结构信息、索引信息、标准存储单元的位置信息和空间信息合并,形成数据库特征数据,并写入数据库文件或数据库管理系统(dm)中;
记录拆分模块(u6),根据数据库管理系统(dm)指令进行数据库中记录拆分,数据拆分以记录为单位进行,读取数据库特征数据,确定记录中每个字段的数据位置和数据量,标记出符合指令参数的记录,并将标记信息写入数据库文件或数据库管理系统(dm)中;
光盘建库与录入模块(u7),用于在光盘(bd)上建立数据库文件,并将数据直接录入到光盘(bd)上的数据库,并通过数据库管理系统(dm)生成对应记录的字段结构信息、索引信息,记录标准存储单元位置信息和空间信息,形成光盘上的数据库特征数据。
库结构生成模块(u8),将数据库的库结构形成独立数据;数据库管理系统(dm)根据独立数据在光盘上建立相同库结构的子数据库(db1)。
记录合并模块(u9),根据数据库管理系统(dm)指令,将光盘上子数据库(db1)中的记录合并到磁盘存储装置(diskstorage)上的磁盘数据库(db)中,并通过数据库管理系统(dm)生成对应记录的字段结构信息、索引信息,以及记录标准存储单元位置信息和空间信息,形成磁盘数据库(db)的数据库特征数据。
外部存储结构生成模块(u10);根据从应用程序接口(ASE)接收到的数据库外部存储数据的信息,将外部存储数据的字段信息写入数据库文件或数据库管理系统(dm)中。
3.根据权利要求2所述的基于光盘的数据库的数据外部存储系统,其特征在于:所述外部存储管理系统(es)包括外部存储数据管理模块(u11),用于根据应用程序接口(ASE)指令,对外部存储字段进行配置,并对外部存储行为进行管理。
应用程序接口(ASE)包括外部存储数据移出模块(u12),外部存储数据存储模块(u13),其中:
外部存储数据移出模块(u12),根据应用程序接口(ASE)指令,将外部存储数据从记录中移出;
外部存储数据存储模块(u13),根据应用程序接口(ASE)指令,将外部存储数据写入由扩展服务器(ese)指定的外部存储区中的子目录。
扩展服务器(ese)包括外部存储区建立模块(u14),外部存储数据位置管理模块(u15),其中:
外部存储区建立模块(u14),根据扩展服务器(ese)指令,在磁盘存储器建立数据库外部存储区;
外部存储数据位置管理模块(u15),记录为每一条记录的外部存储数据所分配的标准存储单元在磁盘存储器的外部存储区中的位置信息,并写入扩展服务器(ese)中。
4.根据权利要求3所述的基于光盘的数据库的数据外部存储系统,其特征在于:所述扩展服务器(ese)还包括光盘外部存储区建立模块(u16),外部存储数据光盘位置管理模块(u17),外部存储数据合并模块(u18),其中:
光盘外部存储区建立模块(u16),根据扩展服务器(ese)指令,在光盘(bd)上建立相应子数据库(db1)的数据库外部存储区(esa1);
外部存储数据光盘位置管理模块(u17),用于将外部存储区中与光盘容量匹配的外部存储数据写入扩展服务器(ese)在光盘(bd)上建立的数据库外部存储区的子目录下,并通过扩展服务器(ese)生成对应记录的外部存储数据的存储单元在光盘(bd)上的位置信息和空间信息;
外部存储数据合并模块(u18),根据扩展服务器(ese)指令,将光盘上外部存储区子目录下的数据存储在磁盘存储装置(diskstorage)上外部存储区子目录下。
5.根据权利要求1至4任一所述的基于光盘的数据库的数据外部存储系统,完成数据库数据和数据库外部存储数据在磁盘存储装置中进行数据存储的主要步骤包括:
数据前向转移时:
数据库管理系统(dm)调用应用程序接口(ASE)向扩展服务器(ese)发出建立外部存储区(esa)的请求,扩展服务器(ese)在存储装置上建立相应参数的外部存储区(esa),相应参数中包括容量、目录结构、存储位置等物理拓扑信息;
数据库管理系统(dm)通过外部存储管理系统(es)管理外部存储区(esa)中外部存储数据的字段信息;
数据库管理系统(dm)向数据库中写入被修改的不包含外部存储数据的记录;
数据库管理系统(dm)调用应用程序接口(ASE)向相应数据库的外部存储区(esa)写入外部存储数据;
数据后向转移时:
数据库管理系统(dm)调用应用程序接口(ASE)向扩展服务器(ese)发出字段信息的请求,扩展服务器(ese)返回外部存储区(esa)中相应数据库的字段信息;
数据库管理系统(dm)获得数据库中从记录中移出的外部存储数据的字段信息,将该字段的外部存储数据与数据库中的相应记录的字段粘贴,获得完整的(数据库)记录;
数据库管理系统(dm)通过外部存储管理系统(es)更新外部存储区(esa)中外部存储数据的字段信息。
6.根据权利要求1至4任一所述的基于光盘的数据库的数据外部存储系统,在光盘上直接建立数据库和外部存储数据的主要步骤包括:
步骤110,数据库管理系统(dm)获取光盘存储介质的容量参数;
步骤115,通过库结构生成模块(u8)在光盘上建立数据库文件;
步骤120,通过光盘建立外部存储区模块(u16)在光盘上建立相应数据库的外部存储区;
步骤125,通过外部存储数据光盘位置管理模块(u17)在光盘上的外部存储区建立相应数据库的子目录;
步骤130,通过光盘建库与录入模块(u7)向光盘上数据库文件中增加记录;
步骤135,通过字段结构生成模块(u1)生成记录的字段结构信息;
步骤140,通过记录索引生成模块(u2)生成记录的索引信息;
步骤145,通过存储空间分配模块(u3)记录标准存储单元位置信息;
步骤150,通过存储空间状态模块(u4)记录标准存储单元的空间信息;
步骤155,通过外部存储数据移出模块(u12)获得从记录中移出的外部存储数据的信息;
步骤160,通过外部存储数据存储模块(u13)将相应记录的外部存储数据写入光盘上相应数据库的外部存储区子目录下;
步骤165,数据库管理系统通过外部存储结构生成模块(u10)读取外部存储数据的特征数据;
步骤170,重复步骤130至步骤165,更新保留数据库特征数据和外部存储数据的特征数据;
步骤175,当数据库和数据库外部存储数据达到光盘存储空间容量值时,数据库管理系统将保留的数据库特征数据和外部存储数据的特征数据写入光盘上的数据库,完成在光盘上建立数据库与存储记录,以及将相应记录的部分数据存储在数据库外部。
7.根据权利要求1至4任一所述的基于光盘的数据库的数据外部存储系统,进行磁盘数据库与外部存储数据的光盘备份的主要步骤包括:
步骤210,数据库管理系统(dm)获取光盘存储介质的容量参数;
步骤215,通过记录拆分模块(u6)读取磁盘存储装置中磁盘数据库的数据库特征数据;
步骤220,通过外部存储结构生成模块(u10)读取磁盘存储装置外部存储数据的特征数据;
步骤225,计算各记录的容量,容量包括外部存储数据,确定各子数据库起始记录号和终止记录号,各子数据库的记录数量;
步骤230,通过外部存储数据位置管理模块(u15)获得磁盘存储装置外部存储区中外部存储数据的位置信息;
步骤235,通过外部存储数据移出模块(u12)获得从记录中移出的外部存储数据的信息;
步骤240,通过外部存储字段管理模块(u11)获得外部存储字段的配置信息;
步骤245,通过库结构生成模块(u8)在光盘上分别建立相同库结构的子数据库文件;
步骤250,通过光盘建立外部存储区模块(u16),在光盘上分别建立相应子数据库的外部存储区;
步骤255,通过外部存储数据光盘位置管理模块(u17),在光盘上的外部存储区分别建立相应子数据库的子目录;
步骤260,通过光盘建库与录入模块(u7)将各子数据库对应的起始记录号和终止记录号之间的记录顺序写入对应光盘上的子数据库文件中;
步骤265,通过字段结构生成模块(u1)向各子数据库文件中写入相应记录的字段结构信息;
步骤270,通过记录索引生成模块(u2)向各子数据库文件中写入相应记录的索引信息;
步骤275,通过存储空间分配模块(u3)向各子数据库文件中写入相应记录的标准存储单元位置信息;
步骤280,通过存储空间状态模块(u4)记录标准存储单元的空间信息;
步骤285,通过记录链接模块(u5)形成相应子数据库的数据库特征数据;
步骤290,通过外部存储数据存储模块(u13)将外部存储数据写入光盘上相应子数据库的外部存储区子目录下,完成数据库备份。
8.根据权利要求1至4任一所述的基于光盘的数据库的数据外部存储系统,进行光盘上的数据库和数据库外部存储数据在磁盘上还原的主要步骤包括:
步骤310,数据库管理系统(dm)通过库结构生成模块(u8)在磁盘存储装置中建立磁盘数据库文件;
步骤315,数据库管理系统通过记录拆分模块(u6)读取各光盘上子数据库中数据库特征数据,确定记录的最小记录号和最大记录号,确定各子数据库记录容量、记录数量;
步骤320,数据库管理系统通过外部存储结构生成模块(u10)读取各光盘上相应子数据库的外部存储数据的容量。
步骤325,数据库管理系统通过记录合并模块(u9),将各子数据库中的记录顺序写入磁盘存储装置中的数据库文件;
步骤330,通过字段结构生成模块(u1)生成记录的字段结构信息;
步骤335,通过记录索引生成模块(u2)生成记录的索引信息;
步骤340,通过存储空间分配模块(u3)记录标准存储单元位置信息;
步骤345,通过存储空间状态模块(u4)记录标准存储单元的空间信息;
步骤350,通过记录链接模块(u5)形成磁盘存储装置中数据库的数据库特征数据,完成数据库还原。
步骤355,扩展服务器通过外部存储区建立模块(u14),在磁盘存储器建立数据库外部存储区;
步骤360,通过外部存储数据位置管理模块(u15),在磁盘存储装置中的外部存储区建立相应数据库的数据外部存储的子目录;
步骤365,通过外部存储数据合并模块(u18),将光盘上子数据库相应的外部存储区子目录下的数据存储到磁盘存储装置上相应数据库的外部存储区子目录下,完成数据库外部存储数据还原。
9.根据权利要求1至4任一所述的基于光盘的数据库的数据外部存储系统,使用光盘上的数据库数据和数据库外部存储数据在磁盘上建立数据库和外部存储数据的主要步骤包括:
步骤410,数据库管理系统(dm)通过库结构生成模块(u8)在磁盘存储装置中建立磁盘数据库文件;
步骤415,数据库管理系统通过记录拆分模块(u6)读取各光盘上子数据库中数据库特征数据,确定记录的记录号和数据量,确定各子数据库记录容量;
步骤420,数据库管理系统通过外部存储结构生成模块(u10)读取各光盘上相应子数据库的外部存储数据的容量。
步骤425,数据库管理系统通过记录合并模块(u9),将需要的记录从各子数据库中读取后,写入磁盘存储装置中的数据库文件;
步骤430,通过字段结构生成模块(u1)生成记录的字段结构信息;
步骤435,通过记录索引生成模块(u2)生成记录的索引信息;
步骤440,通过存储空间分配模块(u3)记录标准存储单元位置信息;
步骤445,通过存储空间状态模块(u4)记录标准存储单元的空间信息;
步骤450,通过记录链接模块(u5)形成磁盘存储装置中数据库的数据库特征数据,完成利用光盘上的数据库数据在磁盘存储装置中建立数据库;
步骤455,扩展服务器(ese)通过外部存储区建立模块(u14),在磁盘存储器建立数据库外部存储区;
步骤460,通过外部存储数据位置管理模块(u15),在磁盘存储装置中的外部存储区建立相应数据库的数据外部存储的子目录;
步骤465,通过外部存储数据合并模块(u18),将光盘上子数据库相应的外部存储区子目录下的数据存储在磁盘上相应数据库的外部存储区子目录下,完成利用光盘上数据库外部存储数据在磁盘存储装置中建立数据库外部存储数据。
10.根据权利要求1至4任一所述的基于光盘的数据库的数据外部存储系统,使用磁盘数据库数据和数据库外部存储数据在光盘上建立数据库和外部存储数据的主要步骤包括:
步骤510,数据库管理系统(dm)通过库结构生成模块(u8)在光盘上建立子数据库文件;
步骤515,数据库管理系统通过记录拆分模块(u6)读取磁盘存储装置中磁盘数据库的数据库特征数据;
步骤520,通过外部存储结构生成模块(u10)读取磁盘存储装置外部存储数据的特征数据;
步骤525,确定各记录的存储容量,包括相应记录的外部存储数据的容量;
步骤530,通过外部存储数据位置管理模块(u15)获得磁盘存储装置外部存储区中外部存储数据的位置信息;
步骤535,通过外部存储数据移出模块(u12)获得从记录中移出的外部存储数据的信息;
步骤540,通过外部存储字段管理模块(u11)获得外部存储字段的配置信息;
步骤545,数据库管理系统通过记录合并模块(u9),将需要的记录从磁盘数据库中读取后,写入光盘上的数据库文件;
步骤550,通过字段结构生成模块(u1)生成记录的字段结构信息;
步骤555,通过记录索引生成模块(u2)生成记录的索引信息;
步骤560,通过存储空间分配模块(u3)记录标准存储单元位置信息;
步骤565,通过存储空间状态模块(u4)记录标准存储单元的空间信息;
步骤570,通过记录链接模块(u5)形成光盘上数据库的数据库特征数据,完成利用磁盘数据库的数据在光盘上建立数据库;
步骤575,通过光盘建立外部存储区模块(u16),在光盘上分别建立相应子数据库的外部存储区;
步骤580,通过外部存储数据光盘位置管理模块(u17),在光盘上的外部存储区分别建立相应子数据库的子目录;
步骤585,通过外部存储数据合并模块(u18),将磁盘上数据库相应的外部存储区子目录下的数据存储在光盘上相应子数据库的外部存储区子目录下,完成利用磁盘上数据库外部存储数据在光盘上建立数据库外部存储数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410273449.5A CN104008207B (zh) | 2014-06-18 | 2014-06-18 | 基于光盘的数据库的数据外部存储系统及数据存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410273449.5A CN104008207B (zh) | 2014-06-18 | 2014-06-18 | 基于光盘的数据库的数据外部存储系统及数据存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104008207A true CN104008207A (zh) | 2014-08-27 |
CN104008207B CN104008207B (zh) | 2017-06-06 |
Family
ID=51368864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410273449.5A Active CN104008207B (zh) | 2014-06-18 | 2014-06-18 | 基于光盘的数据库的数据外部存储系统及数据存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104008207B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105843879A (zh) * | 2016-03-21 | 2016-08-10 | 刘春阳 | 基于光盘的异构类型数据库存储系统及利用该系统的方法 |
CN106055546A (zh) * | 2015-10-08 | 2016-10-26 | 北京慧存数据科技有限公司 | 基于Lucene的光盘库全文检索系统 |
CN106202340A (zh) * | 2016-07-04 | 2016-12-07 | 陶光毅 | 基于光盘的数据库双核存储系统及利用该系统的方法 |
CN107729412A (zh) * | 2017-09-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种基于外带通信的历史性能统计的方法及系统 |
CN108038168A (zh) * | 2017-12-07 | 2018-05-15 | 中国南方航空股份有限公司 | 数据外存储方法 |
CN108984624A (zh) * | 2018-06-15 | 2018-12-11 | 深圳市华傲数据技术有限公司 | 一种基于数据库管理的数据写入方法、介质及设备 |
CN109639766A (zh) * | 2018-11-19 | 2019-04-16 | 山东新海软件股份有限公司 | 一种基于云存储技术的存储箱 |
CN109634520A (zh) * | 2018-11-29 | 2019-04-16 | 南京航空航天大学 | 一种基于hdfs光盘库的存储系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050210041A1 (en) * | 2004-03-18 | 2005-09-22 | Hitachi, Ltd. | Management method for data retention |
CN102768672A (zh) * | 2012-06-12 | 2012-11-07 | 上海方正数字出版技术有限公司 | 一种磁盘空间管理方法和装置 |
CN102968460A (zh) * | 2012-11-01 | 2013-03-13 | 陶光毅 | 基于光盘的数据库存储系统及利用该系统的方法 |
CN103177127A (zh) * | 2013-04-18 | 2013-06-26 | 陶光毅 | 基于光盘库的数据库存储系统及利用该系统的方法 |
-
2014
- 2014-06-18 CN CN201410273449.5A patent/CN104008207B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050210041A1 (en) * | 2004-03-18 | 2005-09-22 | Hitachi, Ltd. | Management method for data retention |
CN102768672A (zh) * | 2012-06-12 | 2012-11-07 | 上海方正数字出版技术有限公司 | 一种磁盘空间管理方法和装置 |
CN102968460A (zh) * | 2012-11-01 | 2013-03-13 | 陶光毅 | 基于光盘的数据库存储系统及利用该系统的方法 |
CN103177127A (zh) * | 2013-04-18 | 2013-06-26 | 陶光毅 | 基于光盘库的数据库存储系统及利用该系统的方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055546A (zh) * | 2015-10-08 | 2016-10-26 | 北京慧存数据科技有限公司 | 基于Lucene的光盘库全文检索系统 |
CN105843879B (zh) * | 2016-03-21 | 2019-07-09 | 刘春阳 | 基于光盘的异构类型数据库存储系统及利用该系统的方法 |
WO2017161471A1 (zh) * | 2016-03-21 | 2017-09-28 | 刘春阳 | 基于光盘的异构类型数据库存储系统及利用该系统的方法 |
CN105843879A (zh) * | 2016-03-21 | 2016-08-10 | 刘春阳 | 基于光盘的异构类型数据库存储系统及利用该系统的方法 |
CN106202340A (zh) * | 2016-07-04 | 2016-12-07 | 陶光毅 | 基于光盘的数据库双核存储系统及利用该系统的方法 |
WO2018006577A1 (zh) * | 2016-07-04 | 2018-01-11 | 陶光毅 | 基于光盘的数据库双核存储系统及利用该系统的方法 |
CN106202340B (zh) * | 2016-07-04 | 2019-11-08 | 陶光毅 | 基于光盘的数据库双核存储系统及利用该系统的方法 |
CN107729412A (zh) * | 2017-09-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种基于外带通信的历史性能统计的方法及系统 |
CN108038168A (zh) * | 2017-12-07 | 2018-05-15 | 中国南方航空股份有限公司 | 数据外存储方法 |
CN108984624A (zh) * | 2018-06-15 | 2018-12-11 | 深圳市华傲数据技术有限公司 | 一种基于数据库管理的数据写入方法、介质及设备 |
CN109639766A (zh) * | 2018-11-19 | 2019-04-16 | 山东新海软件股份有限公司 | 一种基于云存储技术的存储箱 |
CN109634520A (zh) * | 2018-11-29 | 2019-04-16 | 南京航空航天大学 | 一种基于hdfs光盘库的存储系统 |
CN109634520B (zh) * | 2018-11-29 | 2021-12-07 | 南京航空航天大学 | 一种基于hdfs光盘库的存储系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104008207B (zh) | 2017-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104008207A (zh) | 基于光盘的数据库的数据外部存储系统及数据存储方法 | |
CN103177127B (zh) | 基于光盘库的数据库存储系统及利用该系统的方法 | |
CN103530290B (zh) | 数据库间的数据迁移方法和系统 | |
CN105144142A (zh) | 使用对象多个维度的信息存储对象 | |
US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
CN103229173B (zh) | 元数据管理方法及系统 | |
CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
CN104346357A (zh) | 一种嵌入式终端的文件存取方法及系统 | |
CN103745007A (zh) | 一种文件管理方法及装置 | |
CN104239438A (zh) | 基于分离存储的文件信息存储方法和文件信息读写方法 | |
CN111475102B (zh) | 一种基于蓝光的对象存储系统及其存储方法 | |
KR20150122533A (ko) | 세컨더리 인덱스 생성 방법 및 세컨더리 인덱스 저장 장치 | |
CN101002267B (zh) | 信息记录设备和方法 | |
CN102541982B (zh) | 一种组织和访问元数据文件日志的方法 | |
CN100543748C (zh) | 一种利用文件分配表进行文件寻道的方法及系统 | |
CN103544217A (zh) | 数据封存系统 | |
CN104133970A (zh) | 一种数据空间管理方法及装置 | |
CN103077187A (zh) | 日志管理方法和日志管理系统 | |
Komba et al. | Preservation and accessibility of audio-visual records in Tanzania’s television broadcasting companies | |
CN106202340B (zh) | 基于光盘的数据库双核存储系统及利用该系统的方法 | |
Iwata et al. | A simulation result of replicating data with another layout for reducing media exchange of cold storage | |
CN102289472A (zh) | 基于二维码的多媒体信息播放管理系统和方法 | |
CN201717979U (zh) | 一种硬盘录像机 | |
GB2548818A (en) | Indirection data strucures to manage file system metadata | |
CN103218462A (zh) | 一种数据处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |