CN102630319B - 管理装置 - Google Patents

管理装置 Download PDF

Info

Publication number
CN102630319B
CN102630319B CN200980161231.8A CN200980161231A CN102630319B CN 102630319 B CN102630319 B CN 102630319B CN 200980161231 A CN200980161231 A CN 200980161231A CN 102630319 B CN102630319 B CN 102630319B
Authority
CN
China
Prior art keywords
mentioned
write
page
section
storage part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980161231.8A
Other languages
English (en)
Other versions
CN102630319A (zh
Inventor
服部雅一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Publication of CN102630319A publication Critical patent/CN102630319A/zh
Application granted granted Critical
Publication of CN102630319B publication Critical patent/CN102630319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

管理装置(1)具备:流存储部(60),存储由多个页面构成的流;跟踪信息存储部(52),按每个流存储跟踪信息,该跟踪信息是将连续的页面的集合即区段与表示是向流存储部写入还是向暂时存储部(70)写入的写入规则建立了对应的信息,该暂时存储部暂时存储将被写入流存储部的页面;受理部(51),受理构成流的页面的写入请求;和管理部(54),参照受理了写入请求的页面所属的流的跟踪信息,在与页面所属的区段建立了对应的写入规则表示向流存储部写入的情况下,将页面向流存储部写入,在写入规则表示向暂时存储部写入的情况下,将页面向暂时存储部写入,并在规定的定时将写入到暂时存储部的页面以区段为单位向流存储部写入。

Description

管理装置
技术领域
本发明涉及管理装置。
背景技术
近年来,在数字家电等具备大规模贮存器(storage)的嵌入设备中,也利用了数据库管理系统。在这样的嵌入设备中,虽然主存储器的容量也增加,但其容量为数KB~数MB程度,只能在有限资源的范围内进行处理,登记性能、更新性能不太高。
作为应对主存储器的容量不足的技术,例如在专利文献1中公开了一种与利用了映射表的阴影页面(shadow page)方式有关的技术,该映射表用于记录DB文件、暂时保持页面单位的更新数据的暂时写入文件、以及暂时写入文件内的更新页面的列表。
现有技术文献
专利文献
专利文献1:日本专利第4104586号公报
发明内容
发明要解决的技术问题
但是,在上述那样的现有技术中,由于导致映射表的尺寸变大,所以不适合存储器的资源匮乏的环境。
本发明鉴于上述情况而提出,其目的在于,提供一种即使在存储器的资源匮乏的环境下,也能够提高登记性能、更新性能的管理装置。
用于解决问题的手段
本发明的管理装置具备:流存储部,存储由多个页面构成的流;跟踪信息存储部,按每个流存储跟踪信息,该跟踪信息是将连续的页面的集合即区段(extent)与表示是向上述流存储部写入还是向暂时存储部写入的写入规则建立了对应的信息,该暂时存储部暂时存储将被写入上述流存储部的页面;受理部,受理构成流的页面的写入请求;和管理部,参照受理了写入请求的上述页面所属的流的上述跟踪信息,在与上述页面所属的区段建立了对应的上述写入规则表示向上述流存储部写入的情况下,将上述页面向上述流存储部写入,在上述写入规则表示向上述暂时存储部写入的情况下,将上述页面向上述暂时存储部写入,并在规定的定时将写入到上述暂时存储部的上述页面以区段为单位向上述流存储部写入。
发明效果
根据本发明,起到即使在存储器的资源匮乏的环境下,也能够获得提高登记性能、更新性能的效果。
附图说明
图1是表示本实施方式的管理装置的构成例的图。
图2是表示主副流的逻辑构成例的图。
图3是表示主副流的物理构成例的图。
图4是表示页面的一个例子的图。
图5是表示没有在区段(extent)中配置页面时的页面读出例的图。
图6是表示在区段中配置了页面时的页面读出例的图。
图7是表示在区段中配置了页面时的页面写入例的图。
图8是表示跟踪信息的一个例子的图。
图9是表示本实施方式的写入处理例的流程图。
图10是表示本实施方式的读出处理例的流程图。
图11是本实施方式的写入处理的具体例的说明图。
具体实施方式
下面,参照附图对本发明的管理装置的实施方式详细进行说明。其中,在本实施方式中,对管理装置被嵌入到数字家电等嵌入设备的例子进行说明。
图1是表示本实施方式的管理装置1的构成的一个例子的框图。如图1所示,管理装置1具备:指示部10、事务(transaction)部20、流(stream)生成部30、缓冲器控制部40、区段处理部50、流存储部60、暂时存储部70和日志存储部80。
指示部10从未图示的上位层受理流数据的登记请求,对事务部20指示事务的开始、或对流生成部30指示流数据的登记。另外,指示部10在确认为流数据的登记正常结束时,对事务部20指示事务结束。
其中,事务是指针对数据库(在本实施方式中,是针对流存储部60、暂时存储部70以及日志存储部80等)的一个原子式的操作。这里,原子式意味着无法再分解,操作是指针对数据库的写入、读入。而且,在如本实施方式的管理装置1那样的数据库管理系统中,通常保持了被称为ACID(Atomicity:原子性、Consistency:一致性、Isolation:隔离性以及Durability:持久性)的特性。
另外,流数据是维持了数据间的时间序列的数据列,比方将数据产生的直线性流动称为流。这样的面向流的数据库例如在日本特开2007-226452号公报中被公开。
事务部20在被指示部10指示开始事务时,委托缓冲器控制部40写入表示事务的开始的开始日志。另外,事务部20在被指示部10指示结束事务时,委托缓冲器控制部40写入表示事务的结束的结束日志。
流生成部30在被指示部10指示流数据的登记时,对流数据进行解析,生成数据流、索引流等多个主副流。
图2是表示由流生成部30生成的主副流的逻辑构成例的图。在图2所示的例子中,主流A是数据流,含有作为实数据的记录。这里,记录是具有某种汇总的数据的列,由作为基本数据的列数据(column data)构成。例如,在管理装置1被应用于数字电视机等的情况下,记录相当于节目信息,列数据相当于作为节目信息的构成要素的播放日、广播站等。
另外,副流B、C是索引流,包括由列数据生成的语汇索引、数值索引等索引。而且,副流B、C所含的索引中包括主流A所含的任意一个记录的ID。由此,记录与索引被链接(link)。其中,副流B、C中含有的索引的前后关系、与被链接这些索引的记录的前后关系为相同的关系。即,如图2所示,表示记录与索引的链接的箭头不交叉。
图3是表示由流生成部30生成的主副流的物理构成例的图。如图3所示,在本实施方式中,流将流元(StreamMeta)信息作为根(root),从其链接出多个区段。区段是物理上连续的页面的列,在本实施方式中,区段的连续页面数为8页,各页面的尺寸为4KB。
图4是表示区段内的页面的一个例子的图。如图4所示,在页面中保存有记录等数据。其中,在数据长度可变的情况下,页面成为带时隙的数据结构。
返回到图3,流生成部30在生成数据库时,针对所有流首先分别准备一个区段。然后,流生成部30从区段的开头页面起依次保存数据。其中,流生成部30针对超越页面尺寸的长大数据,横跨连续的多个页面进行保存。然后,流生成部30在对区段的所有的页面保存了数据后,准备新的区段,反复向页面保存数据。
这样,在本实施方式中,由于在区段中配置页面,所以可以使连续页面成为一个汇总,能够削减用于存储个别页面的元数据的尺寸。另外,通过将页面群组化,可以将对硬盘等的多个I/O处理汇总为一个而实现效率化。
例如,在如图5所示那样没有在区段中配置页面的状况下,为了读取流A的页面的硬盘的盘头的移动量大,页面的读出十分花费时间。与此相对,在如图6所示那样在区段中配置了页面的状况下,为了读取流A的页面的盘头的移动量小,可缩短页面的读出时间。
不过,由于在数据登记时必须按每个流登记数据,所以如图7所示,在区段中配置了页面的状况下盘头的移动量大,导致页面的写入花费时间。
若如此在区段中配置页面,则由于页面在物理上连续,所以检索(读出)可实现高速化,但由于需要随机写入页面,所以登记(写入)速度低。此外,如果后述的缓冲器控制部40能够准备可保存流数量的区段的尺寸的缓冲器,则由于能够以区段为单位写入,所以可改善登记速度,但在如本实施方式的管理装置1那样的存储器的资源匮乏的环境下,无法采用该方法。
鉴于此,在本实施方式中,如后述那样,以追记的方式向暂时存储部70写入页面,并在规定的定时以区段为单位将页面转移到流存储部60。由此,即使在存储器少的环境下,也能够维持区段内块(block)的连续化,可以在维持检索速度的同时,使登记速度、一齐更新速度高速化。
返回到图1,流生成部30委托缓冲器控制部40以页面单位写入生成的主副流。
而且,流生成部30委托缓冲器控制部40写入与流数据的登记有关的一系列操作内容、即日志。另外,流生成部30为了同时执行控制,委托未图示的锁定管理部进行锁定确保、锁定释放。
缓冲器控制部40具备:对由流生成部30生成的主副流的页面暂时进行存储的流缓冲器42、和对由流生成部30建立的日志暂时进行存储的日志缓冲器44,对各缓冲器进行控制。例如,缓冲器控制部40按照WAL协议,一边协调流缓冲器42与日志缓冲器44,一边委托区段处理部50向流存储部60写入主副流、或向日志存储部80写入日志。其中,流缓冲器42、日志缓冲器44可以由DRAM(Dynamic Random Access Memory)等易失性存储器实现。
由于日志在事务的执行中由流生成部30逐个建立,所以缓冲器控制部40将这些日志依次追记到日志缓冲器44中。然后,当在日志缓冲器44中存留了接近于日志缓冲器44的尺寸的日志时,向日志存储部80强制写入。
另外,当在流缓冲器42中存留了接近于流缓冲器42的尺寸的页面时,缓冲器控制部40在向流缓冲器42读出新的页面时,从流缓冲器42进行页面的驱逐,对后述的区段处理部50请求驱逐页面的写入。页面的驱逐可以使用LRU(Least Recently Used)或MRU(Most Recently Used)等方法。
另外,缓冲器控制部40进行WAL(Write Ahead Logging:日志先行写入)。WAL是用于进行流缓冲器42与日志缓冲器44的同步的协议,在本实施方式中,是指在对流存储部60写入更新内容之前向日志存储部80写入更新内容这一协议。这样,如果保证了WAL,则通过与检查点(checkpoint)处理(对流存储部60的闪存(flash)处理)组合,能够实现故障恢复。
另外,缓冲器控制部40通过在对日志缓冲器44写入日志之后,向流缓冲器42写入页面而协调地动作。写入到流缓冲器42中的页面被随机写入到流存储部60,写入到日志缓冲器44的日志被以追记的方式写入到日志存储部80。通常,由于登记、更新具有局部性,所以能够在将页面保存到流缓冲器42的状态下,只将日志向日志存储部80追记写入,由于追记写入速度快,所以提高了登记、更新性能。
缓冲器控制部40为了同时执行控制而使用2PL(Two-Phase Locking:2相锁定)协议,在事务中参照数据,在更新时确保锁定,在事务的提交(commit)或撤回(roll back)结束时完全释放事务所保持的锁定。
区段处理部50具备:受理部51、跟踪信息存储部52、决定部53、管理部54、更新部55。
受理部51从缓冲器控制部40受理构成流的页面的写入请求。
跟踪信息存储部52按每个流存储将连续的页面的集合即区段、属于区段的页面中的写入完毕的写入页面数、写入规则、页面位置信息建立了对应的跟踪信息。图8是表示跟踪信息存储部52中存储的跟踪信息的一个例子的图。在图8所示的例子中,按流A~C的每一个,存储了将表示区段的区段NO、写入页面数、写入规则、以及属于区段的8个页面量的页面位置信息建立了对应的跟踪信息。其中,页面位置信息存储有属于区段的哪个页面已被更新,表示对暂时存储部70以及流存储部60的哪一个写入了该页面。
决定部53在受理了写入请求的页面所属的区段与跟踪信息的区段不一致的情况下,判定写入页面数、或者写入页面数相对于属于区段的所有页面数的比例是否超过阈值。然后,在超过阈值的情况下,决定部53将受理了写入请求的页面所属的区段的写入规则决定为向暂时存储部70写入,在未超过阈值的情况下,决定部53将受理了写入请求的页面所属的区段的写入规则决定为向流存储部60写入。
管理部54参照受理了写入请求的页面所属的流的跟踪信息,在与页面所属的区段对应的写入规则表示向流存储部60写入的情况下,将页面写入到流存储部60,在写入规则表示向暂时存储部70写入的情况下,将页面写入到暂时存储部70,并在规定的定时将写入到暂时存储部70的页面以区段为单位向流存储部60写入。
具体而言,管理部54参照受理了写入请求的页面所属的流的跟踪信息,在页面所属的区段与跟踪信息的区段不一致的情况下,将写入到暂时存储部70的多个页面以区段为单位向流存储部60写入。
其中,在向暂时存储部70写入的情况下,管理部54在最后尾追加页面,在向流存储部60写入的情况下,管理部54根据区段的编号与页面的编号计算流存储部60上的偏移量(offset),在计算出的位置写入页面。
更新部55将受理了写入请求的页面所属的流的跟踪信息的区段,更新成受理了写入请求的页面所属的区段,将跟踪信息的写入规则更新成由决定部53决定的写入规则,对写入页面数进行初始化。
另外,在进行页面向流存储部60的写入、或者页面向暂时存储部70的写入的情况下,更新部55对受理了写入请求的页面所属的流的跟踪信息的写入页面数递增(increment)。
流存储部60用于存储由多个页面构成的流,在本实施方式中作为数据库发挥功能。其中,流存储部60例如可以由HDD(Hard Disk Drive)、SSD(Solid State Drive)等实现。
暂时存储部70用于暂时存储对流存储部60写入的页面,例如可以由HDD(Hard Disk Drive)、SSD(Solid State Drive)、存储卡、光盘等实现。此外,也可以利用流存储部60、日志存储部80的一部分。
日志存储部80用于存储日志,在本实施方式中作为数据库发挥功能。其中,日志存储部80例如可以由HDD(Hard Disk Drive)、SSD(Solid StateDrive)等实现。
图9是表示在本实施方式的区段处理部50中进行的写入处理的步骤流程的一个例子的流程图。
在步骤S100中,受理部51从缓冲器控制部40受理页面写入请求。
在步骤S102中,管理部54从跟踪信息存储部52中参照被请求写入的页面所属的流的跟踪信息,确认被请求写入的页面所属的区段是否已经登记。然后,在区段未被登记的情况下(步骤S102中为否),进入到步骤S104,在登记了区段的情况下(步骤S102中为是),进入到步骤S112。
在步骤S104中,决定部53对请求被写入的页面所属的区段的写入规则进行决定。例如,决定部53根据将被请求写入的页面所属的流的跟踪信息中登记的页面数除以区段内的页面数而得到的值是否大于阈值,来决定写入规则。这样做的理由在于:如果区段内的页面几乎都被写入到暂时存储部70,则直接对暂时存储部70追记更为有利。其中,在本实施方式中,在大于阈值的情况下,决定部53将写入规则决定为对暂时存储部70的写入,在为阈值以下的情况下,决定部53将写入规则决定为对流存储部60的写入。
在步骤S106中,缓冲器控制部40受理来自管理部54的委托,对日志存储部80写入日志(WAL flash)。
在步骤S108中,管理部54从暂时存储部70中读出属于被请求写入的页面所属的流的跟踪信息中登记的区段的页面,并以区段为单位对流存储部60写入,然后移动区段。
在步骤S110中,更新部55对被请求写入的页面所属的流的跟踪信息进行更新。具体而言,更新部55将跟踪信息的区段NO更新为被请求写入的页面所属的区段的区段NO,将页面数更新为0,将写入规则更新为由步骤S104决定的写入规则,将页面位置信息更新为初始值(UNDEF)。
在步骤S112中,管理部54参照被请求写入的页面所属的流的跟踪信息,确认写入规则是否表示向暂时存储部70的写入。然后,在不表示向暂时存储部70写入的情况下(步骤S112中为否),进入到步骤S114,在表示了向暂时存储部70写入的情况下(步骤S112中为是),进入到步骤S120。
在步骤S114中,缓冲器控制部40受理来自管理部54的委托,对日志存储部80写入日志(WAL flash)。
在步骤S116中,管理部54将被请求写入的页面写入到流存储部60。具体而言,管理部54对流存储部60内的被请求写入的页面所属的区段的偏移量写入所请求写入的页面。
在步骤S118中,更新部55对被请求写入的页面所属的流的跟踪信息进行更新。具体而言,更新部55使页面数递增,对已被写入到流存储部60的页面的页面位置信息设定偏移量。
在步骤S120中,管理部54将被请求写入的页面写入到暂时存储部70。
在步骤S122中,更新部55对被请求写入的页面所属的流的跟踪信息进行更新。具体而言,更新部55使页面数递增,对已被写入到流存储部60的页面的页面位置信息设定偏移量。
图10是表示在本实施方式的区段处理部50中进行的读出处理的步骤流程的一个例子的流程图。
在步骤S200中,受理部51从缓冲器控制部40受理页面读出请求。
在步骤S202中,管理部54从跟踪信息存储部52中参照被请求读出的页面所属的流的跟踪信息,确认被请求读出的页面所属的区段是否已经登记。然后,在区段已被登记的情况下(步骤S202中为是),进入到步骤S204,在未登记区段的情况下(步骤S202中为否),进入到步骤S208。
在步骤S204中,管理部54参照被请求读出的页面所属的流的跟踪信息,确认写入规则是否表示向暂时存储部70写入。然后,在表示了向暂时存储部70写入的情况下(步骤S204中为是),进入到步骤S206,在没有表示向暂时存储部70写入的情况下(步骤S204中为否),进入到步骤S208。
在步骤S206中,管理部54从暂时存储部70读出被请求读出的页面。
在步骤S208中,管理部54从流存储部60读出被请求读出的页面。
图11是用于对在本实施方式的区段处理部50中进行的写入处理的具体例进行说明的图。在图11所示的例子中,表示了在流的一齐登记之后发生随机更新这一事务模式。其中,为了简化说明,这里仅对流A的写入处理进行说明。而且,t10时刻处的写入规则表示向流存储部60写入。
首先,在t10的时刻,受理部51从缓冲器控制部40受理属于区段10的页面0的页面写入请求。在t10的时刻,由于写入规则表示向流存储部60写入,所以管理部54对流存储部60内的属于区段10的页面0的偏移量写入被请求写入的页面。然后,更新部55使区段10的写入页面数递增。
接着,区段处理部50在t20的时刻对属于区段10的页面1,进行与在t10的时刻进行的处理同样的处理,在t30的时刻对属于区段10的页面2,进行与在t10的时刻进行的处理同样的处理。
接着,在t40的时刻,受理部51从缓冲器控制部40受理属于区段12的页面0的页面写入请求。在t40的时刻,由于流A的跟踪信息中登记有区段10、没有登记区段12,所以决定部53决定区段12的写入规则。这里,由于区段10的8个页面中的页面0、1、2被写入到流存储部60,所以相对于区段的所有页面的写入页面数变为3/8。这里,若将阈值的值设为0.3,则由于3/8>0.3,所以决定部53将区段12的写入规则决定为向暂时存储部70的写入,更新部55将区段12的写入规则更新为暂时存储部70。然后,管理部54向暂时存储部70写入被请求写入的页面,更新部55使区段12的写入页面数递增。
接着,在t50的时刻,受理部51从缓冲器控制部40受理属于区段12的页面1的页面写入请求。在t50的时刻,由于写入规则表示向暂时存储部70的写入,所以管理部54对暂时存储部70追记被请求写入的页面。然后,更新部55使区段12的写入页面数递增。
接着,区段处理部50在t60的时刻对属于区段12的页面2,机型与在t50的时刻进行的处理同样的处理,在t70的时刻对属于区段12的页面7进行与在t50的时刻进行的处理同样的处理。
接着,在t80的时刻,受理部51从缓冲器控制部40受理属于区段5的页面5的页面写入请求。在t80的时刻,由于流A的跟踪信息中登记了区段12、没有登记区段5,所以决定部53决定区段5的写入规则。这里,由于区段12的8个页面中的页面0、1、2、7已被写入到暂时存储部70,所以4/8>0.3,决定部53将区段5的写入规则决定为向暂时存储部70的写入。然后,管理部54将被写入到暂时存储部70的区段12的页面0、1、2、7以区段为单位向流存储部60写入,更新部55对暂时存储部70更新区段5的写入规则。然后,管理部54对暂时存储部70写入被请求写入的页面,更新部55使区段5的写入页面数递增。
接着,在t90的时刻,受理部51从缓冲器控制部40受理属于区段8的页面3的页面写入请求。在t90的时刻,由于流A的跟踪信息中登记有区段5、没有登记区段8,所以决定部53决定区段8的写入规则。这里,由于区段5的8个页面中的页面5已被写入到暂时存储部70,所以1/8<0.3,决定部53将区段5的写入规则决定为向流存储部60的写入。然后,管理部54将已经被写入到暂时存储部70的区段5的页面5以区段为单位向流存储部60写入,更新部55对流存储部60更新区段8的写入规则。然后,管理部54对流存储部60写入被请求写入的页面,更新部55使区段8的写入页面数递增。
接着,在t100的时刻,受理部51从缓冲器控制部40受理属于区段9的页面5的页面写入请求。在t100的时刻,由于流A的跟踪信息中登记有区段8、没有登记区段9,所以决定部53决定区段9的写入规则。这里,由于区段8的8个页面的中的页面3已被写入到流存储部60,所以1/8<0.3,决定部53将区段9的写入规则决定为向流存储部60的写入,更新部55将区段9的写入规则更新为流存储部60。然后,管理部54对流存储部60写入被请求写入的页面,更新部55使区段9的写入页面数递增。
这样,在图11所示的例子中,对在数据的一齐登记持续到t70之后,产生数据的随机更新这一事务模式进行了说明。通过如此一边以区段为单位管理与页面的写入有关的跟踪,一边决定下一区段的写入战略,能够追随(对应)于各种事务模式来实现最佳的登记处理、更新处理。
综上所述,在本实施方式中,当页面所属的区段与跟踪信息的区段不一致时,由于将已被写入到暂时存储部70的页面以区段为单位向流存储部60写入,所以即使在存储器少的环境下,也能够维持区段内块的连续化,在维持检索速度的同时,使登记速度、一齐更新速度高速化。
其中,本实施方式的管理装置具备CPU等控制装置、ROM、RAM等存储装置、HDD等外部存储装置、显示器等显示装置、按键开关等输入装置,成为利用了通常的计算机的硬件构成。
(变形例)
此外,本发明并不限定于上述实施方式,在实施阶段能够在不脱离其主旨的范围对构成要素进行变形而具体化。另外,可以通过上述实施方式中公开的多个构成要素的适当组合,来形成各种发明。例如,可以从实施方式中所示的所有构成要素删除几个构成要素。并且,也可以将不同实施方式中的构成要素适当地进行组合。
例如,在上述实施方式中说明了将管理装置嵌入到数字家电等嵌入设备的例子,但并不局限于此,也可以应用于客户端服务器型的管理系统。
另外,例如在上述实施方式中,根据写入页面数相对属于区段的所有页面数的比例是否超过阈值,来决定写入规则,但也可以根据写入页面数是否超过阈值来决定写入规则。
附图标记说明:
1  管理装置
10 指示部
20 事务部
30 流生成部
40  缓冲器控制部
42  流缓冲器
44  日志缓冲器
50  区段处理部
51  受理部
52  跟踪信息存储部
53  决定部
54  管理部
55  更新部
60  流存储部
70  暂时存储部
80  日志存储部

Claims (4)

1.一种管理装置,其特征在于,具备:
流存储部,存储由多个页面构成的流;
跟踪信息存储部,按每个流存储跟踪信息,该跟踪信息是将连续的页面的集合即区段、属于该区段的页面中的写入完毕的写入页面数、和表示是向上述流存储部写入还是向暂时存储部写入的写入规则建立了对应的信息,该暂时存储部暂时存储将被写入上述流存储部的页面;
受理部,受理构成流的页面的写入请求;
决定部,参照受理了写入请求的上述页面所属的流的上述跟踪信息,在上述页面所属的区段与上述跟踪信息的区段不一致的情况下,判定上述跟踪信息的上述写入页面数或者上述跟踪信息的上述写入页面数相对于属于上述跟踪信息的上述区段的所有页面数的比例是否超过阈值,在超过上述阈值的情况下,将受理了写入请求的上述页面所属的区段的上述写入规则决定为向上述暂时存储部写入,在没有超过上述阈值的情况下,将受理了写入请求的上述页面所属的区段的上述写入规则决定为向上述流存储部写入;
更新部,将受理了写入请求的上述页面所属的流的上述跟踪信息的上述区段更新成受理了写入请求的上述页面所属的区段,将上述跟踪信息的上述写入规则更新成由上述决定部决定的上述写入规则,对上述写入页面数进行初始化;和
管理部,参照受理了写入请求的上述页面所属的流的上述跟踪信息,在与上述页面所属的区段建立了对应的上述写入规则表示向上述流存储部写入的情况下,将上述页面向上述流存储部写入,在上述写入规则表示向上述暂时存储部写入的情况下,将上述页面向上述暂时存储部写入,并在规定的定时将写入到上述暂时存储部的上述页面以区段为单位向上述流存储部写入。
2.根据权利要求1所述的管理装置,其特征在于,
上述管理部参照受理了写入请求的上述页面所属的流的上述跟踪信息,在上述页面所属的区段与上述跟踪信息的区段不一致的情况下,将已写入到上述暂时存储部的多个上述页面以区段为单位向上述流存储部写入。
3.根据权利要求1所述的管理装置,其特征在于,
在进行了上述页面向上述流存储部的写入或者上述页面向上述暂时存储部的写入的情况下,上述更新部使受理了写入请求的上述页面所属的流的上述跟踪信息的上述写入页面数递增。
4.根据权利要求1所述的管理装置,其特征在于,还具备:
日志缓冲器,暂时保存表示上述页面向上述流存储部的写入内容以及上述页面向上述暂时存储部的写入内容的日志;和
缓冲器控制部,在进行了上述页面向上述流存储部的写入的情况下,将上述日志缓冲器中保存的上述日志向日志存储部写入。
CN200980161231.8A 2009-09-17 2009-09-17 管理装置 Active CN102630319B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/066280 WO2011033635A1 (ja) 2009-09-17 2009-09-17 管理装置

Publications (2)

Publication Number Publication Date
CN102630319A CN102630319A (zh) 2012-08-08
CN102630319B true CN102630319B (zh) 2015-03-25

Family

ID=43758261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980161231.8A Active CN102630319B (zh) 2009-09-17 2009-09-17 管理装置

Country Status (4)

Country Link
US (1) US8621163B2 (zh)
JP (1) JP5380542B2 (zh)
CN (1) CN102630319B (zh)
WO (1) WO2011033635A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720510A (zh) * 2002-12-09 2006-01-11 松下电器产业株式会社 接收装置、接收系统和接收方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3276642B2 (ja) * 1991-06-20 2002-04-22 富士通株式会社 順ファイルへのトランザクション同期アクセス方法
JP3127796B2 (ja) * 1994-10-07 2001-01-29 松下電器産業株式会社 情報記録再生装置
US6947956B2 (en) * 2002-06-06 2005-09-20 International Business Machines Corporation Method and apparatus for selective caching of transactions in a computer system
JP4104586B2 (ja) * 2004-09-30 2008-06-18 株式会社東芝 ファイル管理機能を備えたファイルシステム及びファイル管理方法
JP4378335B2 (ja) * 2005-09-09 2009-12-02 インターナショナル・ビジネス・マシーンズ・コーポレーション ディスクへのトランザクション・データ書き込みの方式を動的に切り替える装置、切り替える方法、及び切り替えるプログラム
JP5121146B2 (ja) 2006-02-22 2013-01-16 株式会社東芝 構造化文書管理装置、構造化文書管理プログラムおよび構造化文書管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720510A (zh) * 2002-12-09 2006-01-11 松下电器产业株式会社 接收装置、接收系统和接收方法

Also Published As

Publication number Publication date
US20120226883A1 (en) 2012-09-06
JPWO2011033635A1 (ja) 2013-02-07
JP5380542B2 (ja) 2014-01-08
CN102630319A (zh) 2012-08-08
WO2011033635A1 (ja) 2011-03-24
US8621163B2 (en) 2013-12-31

Similar Documents

Publication Publication Date Title
US20200349139A1 (en) Stream selection for multi-stream storage devices
US20200257669A1 (en) Kvs tree
US10706106B2 (en) Merge tree modifications for maintenance operations
US20200334295A1 (en) Merge tree garbage metrics
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
CN107423422B (zh) 基于网格的空间数据分布式存储及检索方法和系统
US10860561B2 (en) Method and apparatus for providing efficient indexing and computer program included in computer readable medium therefor
US11442961B2 (en) Active transaction list synchronization method and apparatus
US20100185807A1 (en) Data storage processing method, data searching method and devices thereof
CN107526550B (zh) 一种基于日志结构合并树的两阶段合并方法
US20160350302A1 (en) Dynamically splitting a range of a node in a distributed hash table
US20100114843A1 (en) Index Compression In Databases
CN111475508B (zh) 一种优化叶子节点合并操作的高效索引方法
CN104765575A (zh) 信息存储处理方法
US8380663B2 (en) Data integrity in a database environment through background synchronization
CN104408111A (zh) 一种删除重复数据的方法及装置
CN103106286A (zh) 元数据的管理方法和装置
CN104765574A (zh) 数据云端存储方法
CN111159176A (zh) 一种海量流数据的存储和读取的方法和系统
CN102253985B (zh) 一种文件系统数据的管理方法及系统
JP2023543004A (ja) ヒルベルト曲線に基づくr木インデックスのマージ更新方法、装置及び媒体
JP2012168781A (ja) 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法
CN104778100A (zh) 一种安全备份数据的方法
CN104424189B (zh) 基于云平台的定位解算方法和系统
Qian et al. Stabilizing and boosting I/O performance for file systems with journaling on NVMe SSD

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant