CN1902704A - 用于对盘式存储介质上的数据进行更新的方法和设备 - Google Patents

用于对盘式存储介质上的数据进行更新的方法和设备 Download PDF

Info

Publication number
CN1902704A
CN1902704A CNA2004800398460A CN200480039846A CN1902704A CN 1902704 A CN1902704 A CN 1902704A CN A2004800398460 A CNA2004800398460 A CN A2004800398460A CN 200480039846 A CN200480039846 A CN 200480039846A CN 1902704 A CN1902704 A CN 1902704A
Authority
CN
China
Prior art keywords
index
data
storage medium
disk storage
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800398460A
Other languages
English (en)
Other versions
CN1902704B (zh
Inventor
马尔科·温特
乌韦·汉森
沃尔夫刚·克劳斯伯格
斯特凡·库布施
迪特乌尔·郝佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1902704A publication Critical patent/CN1902704A/zh
Application granted granted Critical
Publication of CN1902704B publication Critical patent/CN1902704B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Automatic Disk Changers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

为了对支持盘式存储的动态数据库的应用进行优化,本发明提供了对盘式存储介质上的数据进行更新的方法、设备和存储介质。其中,用于对旧数据进行更新的新数据具备第二索引,该第二索引与所述新数据相关并为其产生(S3),并且所述第二索引作为与所述旧数据相关的所述第一索引(S1)的补充被储存在所述盘式存储介质上(S4)。这样可以减少对所述盘式存储介质的写访问操作次数。尤其对于光介质来说具有提高使用寿命的优势。

Description

用于对盘式存储介质上的数据进行更新的方法和设备
技术领域
本发明涉及对盘式存储介质上具有相关第一索引的第一数据进行更新的方法,通过在所述盘式存储介质上储存第二数据,由所述第二数据对所述第一数据中的数据进行更新,在所述盘式存储介质上创建并储存第二索引。本发明还涉及用于储存数据的相应设备以及相应的盘式存储介质。
背景技术
数据库系统(DBMS数据库管理系统)对数据进行访问。该数据通常储存在硬盘上。在很多情况下,所述数据还可以储存在ROM中,如用于移动无线电话的语音数据库T9就属于这种情况。另外,举例来说,在某情况下电话簿可以被储存在光盘例如CD-ROM或者DVD-ROM上。
然而,目前所要避免的是在光介质上储存动态数据库。其原因是光学介质读取头的跳跃时间很长,特别是在起始点和跳跃目的点间相隔很大的径向距离时,而且与硬盘相比光介质仅允许有限数目的重写周期。
在数据库中的数据常常具备用于优化搜索操作的索引。对索引进行访问可以有数个选择:
1 将所述索引装载到主存储器中(例如DRAM)并在主存储器中对该索引进行访问;
2 将该索引留在所述存储盘上并在需要的时候将其装载到所述主存储器中并使用,
3 在所述盘上对该索引进行搜索,
4 将该索引缓冲储存在硬盘上;在需要的时候将相应的索引装载到所述主存储器中并对其进行搜索,或者
5 将该索引缓冲储存在硬盘上;在需要的时候直接在硬盘上对相应的索引进行搜索。
第一种情况需要大量昂贵的主存储器。因此这种情况不太可行。第二种情况更加实际,特别是在有大量索引列表或者索引的情况下。第三种情况节省主存储器,但是也是最缓慢的情况。
第四种情况是一种替代方案,其中适当的索引列表被临时储存在硬盘上(如果有的话)以确保更快速的访问。类似的,第五种情况使得完全在所述硬盘上进行搜索成为可能。
相对于硬盘来说,对于可写入光盘有一些具体的限制:
-光盘需要非常长的时间从一个任意扇区跳转到另一任意扇区(达到1秒)。
-然而,对于扇区的持续读入与目前硬盘读入的数量级相仿。
-可能对一个扇区进行重写的次数是有限的(在1000到100000次之间,视介质类型而定)。
-光盘如DVD和蓝光采用“ECC”(错误校正码)对扇区进行保护。在这种情况下,16个(DVD)或者32个(蓝光)扇区被结合在一起形成一个块(ECC块)并且具备相应的附加码。这意味着只能对整个ECC块进行读和写,不论是要访问一个扇区的一个字节还是要访问整个ECC块。
因此本发明的目的是对盘式存储介质上的数据库的应用进行优化。
发明内容
本发明通过在盘式存储介质上更新具备相关第一索引的第一数据的方法实现上述目标,通过在所述盘式存储介质上储存能够更新所述第一数据中的数据的第二数据,创建第二索引并将所述第二索引储存在所述盘式存储介质上,其中所述第二索引仅与所述第二数据相关并且作为所述第一索引的补充被储存在所述盘式存储介质上。
本发明还提供了一种用于在盘式存储介质上储存数据的设备,所述设备具备一写入装置,该写入装置用于将第一和第二数据写入所述盘式存储介质并且将与所述第一数据相关的第一索引写入所述盘式存储介质,其中所述第二数据对所述第一数据中的数据进行更新,所述设备还包括用于创建所述第一索引的信号处理装置,该信号处理装置也可以用于创建仅与所述第二数据相关的第二索引,并且所述写入装置可以用于将所述第二索引作为所述第一索引的补充写入所述盘式存储介质。
上述目标还可以通过一种盘式存储介质实现,在该盘式存储介质上储存着第一数据,能够更新所述第一数据中的数据的第二数据,以及与所述第一数据相关的第一索引,还有仅与所述第二数据相关的第二索引,该第二索引作为所述第一索引的补充被储存在所述盘式存储介质上。
这同样提供了一种为在光介质上的动态数据库有效地实现动态索引的方法。有利地,所述动态数据库的索引并不是在每次变化后都发生替换,在变化较小的情况下仅根据所发生的变化对所述索引进行扩充。只有在发生一定水平的变更时才对所述索引进行完全替换。这样减少了对于光存储介质的写访问操作,意味着光盘使用寿命的延长。
优选地,所述盘式存储介质包括可重写光盘,如可写CD或DVD。这些都是可利用的具备高存储空间的低成本存储介质。
所述第二索引应被储存于沿径向尽可能靠近所述第一索引的位置。理想地,所述第二索引直接被写在紧邻所述第一索引的位置。然而如果在当时已经对存储盘进行了写入操作,所述第二数据或者被更新数据可能已经被置于所述第一索引之后。在这种情况下,所述第二索引应随后被写入下一个具有充足容量的空闲存储位置,这意味着从所述第一索引到所述第二索引的跳跃要尽可能小。这是因为在光盘上更短的跳跃比更长的跳跃执行的更快。由于在所述两个索引之间的小间隔或者二者以彼此紧邻的方式被写入的事实,使对所述索引的访问速度得到提高,这是因为在搜索操作中通常对两个索引都要进行搜索。不言而喻的是所述第二索引也可以被储存在所述第一索引之前,只要具备可以利用的存储空间。这种情况特别对某些仅要求对所述第二索引进行搜索以查询变化或者更新的搜索策略来说是有优势的。
另外,所述第二索引应该以非分段形式存储。这样做同样具有在进行读操作时避免跳跃,从而提高访问速度的优势。
通常在规律的时间间隔对数据进行更新。在具体情况中,这意味着所述第二数据被第三数据所更新。在这种情况下,对所述第二数据中的数据进行更新的所述第三数据可以储存在所述盘式存储介质上,并且与所述第二和第三数据相关的第三索引可以覆盖所述第二索引。这意味着所述第二索引被丢弃且创建并储存一个全新的变化索引。相对于将第三索引紧邻所述第二索引进行储存的策略,这样做的优势是仅需要采用两个索引,并且因此提高所述搜索速度。
如果所述第一数据中的数据变化非常普遍,那么为全部数据创建并且储存一个包括所述变化的新的全局索引可能更为有效。为了产生一个判断标准,可以引入一个识别数字从而对所述盘式存储介质的属性和/或所述盘式存储介质与所述第二或者第三数据关系的特征进行描述,并将所述识别数字与一可指定的阈值进行比较。所述比较结果随后可以被用来确定是否要创建第二或者第三索引或者一个与所述盘式存储介质上的全部数据相关的新的全局索引。这意味着如对存储器的要求,读入时间,重写周期数目等条件都将被考虑在内。
在某些情况下,将所述第二及第三索引的元素相结合是有益的,这样所述识别数字就不会达到所述指定的阈值。当两个索引中的一个非常小时这种情况尤为明显,并因为所述结合避免了所述读取头的跳跃。
优选地,所述阈值是可变的并且自动与所述盘式存储介质的状态相匹配。这样做可以对仍然能够进行的重写周期数目加以考虑。
附图说明
以下将结合附图对本发明进行更加详细的描述,附图概要示出了更新数据库的方法流程图。
具体实施方式
以下更加详细记载的实施例为本发明的优选实施例。
如前所述的五种索引处理情况并不绝对的要求所述索引以粘着的方式储存。然而,在每种情况并且特别在第三种情况下,所述可利用的索引至少应该以基本上粘着的方式储存在所述存储盘上。这样做是为了避免不必要的减缓从所述光盘上读入或者扫描所述索引列表。该原理同样适用于本发明所述的方法。
对数据的更新需要特殊的索引产生过程。当在所述光盘上已经有一个索引作为起始点,并且该索引以粘着方式储存在所述存储盘上(如附图中步骤S1所示)时,所述索引产生过程基本上如下进行。
所述(实际)数据库现在开始变化,例如,由于用户向所述数据库中加入了新的或者第二数据(如步骤S2所示)。这代表着有新的数据可以被加入到所述索引列表中。这将引起所述索引列表的变更。为了不必在此重新创建并且储存整个索引列表,仅对当前已经储存的列表进行修改(如步骤S3和S7所示)。因此在对所述索引进行下一个读访问操作的时候,所述旧索引列表(第一索引)被读取,且随后所述索引列表中的变化信息(第二索引)也被读取。
如果所述变化信息(第二索引)很少(例如<1MB),那么仅需再占用少量时间进行附加的读取。在此重要的是首先所述变化信息(第二索引)沿径向靠近所述旧索引列表(第一索引),并且该变化信息也以尽可能粘着的方式存储,从而降低在所述光介质上的跳跃次数。例如,对另一个索引变化进行储存(第三索引)可能仅涉及对前面一个索引变化(第二索引)进行替换,例如所述新的变化也包括了已经作出的变化。这样可以减少在读取所述索引列表及其变化时的跳跃次数。
通过确定一个识别数字(步骤S4)并且将其与一阈值进行比较(步骤S5),可以确定一点,在该点之后的变化会引起所述索引列表的彻底更新(S8)并且粘着的存储(尽可能粘着)。
当确定所述识别数字时(步骤S4),可能会引入下列标准,例如:
-全部变化(第二,第三索引等)对于存储器的要求,所述全部变化是对于各个索引列表来说已经作出并且是新的。
-全部变化(第二,第三索引等)的预计读入时间:分别是跳跃时间和所述变化扇区的读取时间以及扫描变化可能的时间。
-在所述存储盘上仍然可以利用的总的空闲存储器空间。
-目前已空闲的扇区已经被重写过的次数;也就是说这个次数越多所述阈值应该被设置的越高。
如果在步骤S5经过检测所述识别数字超过了所述阈值,则执行以下程序:
-所述识别数字是否有可能再次低于所述阈值,例如一个或多个已经存在的变化(第二索引)被结合到了所述新变化之中(第三索引)并且所述旧变化(第二索引)所占据的存储器被释放?如果是,选择此程序(在本图中未示出)。
如果没有找到使所述识别数字低于所述阈值的方法,则重新产生所述索引列表(步骤S6)并且将所述旧索引列表(第一索引)所占据的存储器与全部变化(第二和第三索引)所占据的存储器一起释放。其次,尽可能粘着的储存所述新的索引列表(步骤S7)。
所述阈值可以是一个固定的变量或者基于所述存储盘的状态以类似于所述识别数字的方式被确定。例如,所述识别数字可以评估所述索引的读入时间,而所述阈值可以根据所述介质已经被重写的次数,在所述存储盘上仍然可以利用的所述存储器空间以及所述存储盘的分段程度计算得出。作为选择,可以对重新储存所述索引列表以及仅储存一个变化的增益(对所述介质读入/重写时间上的节省)进行比较。
本发明还记载了一种方法,其中当要求通过储存变化索引对所述索引列表进行特殊存储的时候,对所述光盘进行写访问操作的次数可以被最小化。这样,可以显著提高光盘的使用寿命。在这种情况下,搜索速度的轻微减缓一般不会带来任何后果。

Claims (18)

1、一种用于在盘式存储介质上更新第一数据的方法,所述第一数据具有相关的第一索引,
-在所述盘式存储介质上储存第二数据(S7,S8),所述第二数据对所述第一数据中的数据进行更新,
-创建第二索引(S3)并且
-在所述盘式存储介质上储存所述第二索引(S7),
其中
-所述第二索引仅与所述第二数据相关,并且所述第二索引作为所述第一索引的补充被储存在所述盘式存储介质上。
2、如权利要求1所述的方法,其中所述盘式存储介质是存储周期数目有限的可重写光盘。
3、如权利要求1或2所述的方法,其中所述第二索引被储存在沿径向尽可能靠近所述第一索引的位置。
4、如前任一权利要求所述的方法,其中所述第二索引以非分段的形式存储。
5、如前任一权利要求所述的方法,其中对所述第二数据中的数据进行更新的第三数据被储存在所述盘式存储介质上,并且与所述第二和第三数据相关的第三索引覆盖所述第二索引。
6、如前任一权利要求所述的方法,其中确定了一识别数字(S4),该识别数字描述了所述盘式存储介质的属性和/或所述盘式存储介质与所述第二或第三数据的关系特征,并且将该识别数字与一个可指定的阈值相比较(S5),通过所述比较从而确定是否采用第二或者第三索引或者创建一个与所述盘式存储介质上所储存的全部数据相关的新的全局索引(S6)。
7、如权利要求6所述的方法,其中对所述第二和第三索引中的元素进行结合,从而使所述识别数字低于所述可指定阈值。
8、如权利要求6或7所述的方法,其中可指定的阈值由所述盘式存储介质的状态所决定。
9、用于在盘式存储介质上储存数据的设备,包括:
-写入装置,用于将第一数据和第二数据写入所述盘式存储介质(S7,S8),所述第二数据对所述第一数据中的数据进行更新,并且所述写入装置还用于将与所述第一数据相关的第一索引写入所述盘式存储介质,
-信号处理装置,用于创建所述第一索引,
其中
-所述信号处理装置还可以被用于创建仅与所述第二数据相关的第二索引(S3),并且
-所述写入装置也可以被用于将所述第二索引作为所述第一索引的补充写入所述盘式存储介质(S7)。
10、如权利要求9所述的设备,其中所述盘式存储介质是可重写光盘。
11、如权利要求9或10所述的设备,其中对所述第二数据中的数据进行更新的第三数据可以被储存在所述盘式存储介质上,并且与所述第二和第三数据相关的第三索引可以覆盖所述第二索引。
12、如权利要求9-11之一所述的设备,包括识别数字确定装置,用于确定描述所述盘式存储介质属性和/或所述盘式存储介质与所述第二或第三数据的关系特征的识别数字(S4),以及所述设备还包括一比较装置,用于将所述识别数字与可指定的阈值进行比较(S5),通过所述比较从而确定是否需要采用第二或者第三索引,或者创建与所述盘式存储介质上所有数据相关的新的全局索引(S6)。
13、如权利要求12所述的设备,其中所述信号处理装置还可以用于结合所述第二和第三索引中的元素,从而使所述识别数字低于所述可指定的阈值。
14、如权利要求12或13所述的设备,其中所述比较装置中的可指定阈值由所述盘式存储介质的状态所决定。
15、一种盘式存储介质包括
-在其上存储的第一数据,
-在其上存储的第二数据,所述第二数据对所述第一数据中的数据进行更新,以及
-在其上存储的第一索引,所述第一索引与所述第一数据相关,
其特征在于,
-仅与所述第二数据相关的第二索引,该第二索引作为所述第一索引的补充被储存在所述盘式存储介质上。
16、如权利要求15所述的盘式存储介质,其中所述盘式存储介质是可重写的光盘。
17、如权利要求15或16所述的盘式存储介质,其中所述第二索引储存在沿径向靠近或者紧邻所述第一索引的位置。
18、如权利要求15-17之一所述的盘式存储介质,其中所述第二索引以非分段的形式存储。
CN2004800398460A 2004-01-06 2004-11-22 用于对盘式存储介质上的数据进行更新的方法和设备 Expired - Fee Related CN1902704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004001207A DE102004001207A1 (de) 2004-01-06 2004-01-06 Verfahren und Vorrichtung zum Aktualisieren von Daten auf einem Plattenspeichermedium
DE102004001207.5 2004-01-06
PCT/EP2004/013241 WO2005069300A1 (en) 2004-01-06 2004-11-22 Method and apparatus for updating data on a disk storage medium

Publications (2)

Publication Number Publication Date
CN1902704A true CN1902704A (zh) 2007-01-24
CN1902704B CN1902704B (zh) 2012-01-04

Family

ID=34585358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800398460A Expired - Fee Related CN1902704B (zh) 2004-01-06 2004-11-22 用于对盘式存储介质上的数据进行更新的方法和设备

Country Status (8)

Country Link
US (1) US7543107B2 (zh)
EP (2) EP1553597A2 (zh)
JP (1) JP4701186B2 (zh)
CN (1) CN1902704B (zh)
DE (1) DE102004001207A1 (zh)
MY (1) MY140138A (zh)
TW (1) TWI370443B (zh)
WO (1) WO2005069300A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100433005C (zh) * 2005-11-28 2008-11-12 腾讯科技(深圳)有限公司 搜索系统索引切换的方法及搜索系统
US7779045B2 (en) * 2007-09-27 2010-08-17 Microsoft Corporation Lazy updates to indexes in a database

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827462A (en) * 1987-03-26 1989-05-02 International Business Machines Corporation Modular data storage directories for large-capacity data storage units
EP0935251B1 (en) * 1995-08-21 2007-01-03 Matsushita Electric Industrial Co., Ltd. Method for reproducing a multimedia optical disc which enables a title developer to coordinate the use of special reproduction functions
JPH1083658A (ja) * 1996-09-04 1998-03-31 Sony Corp 記録装置および記録媒体
US6222805B1 (en) * 1997-08-07 2001-04-24 Matsushita Electric Industrial Co., Ltd. Optical disk, reproduction apparatus, and reproduction method
JPH11120745A (ja) * 1997-10-14 1999-04-30 Sony Corp 書換型記録媒体のデータ管理方法
JP2000011607A (ja) * 1998-06-26 2000-01-14 Kenwood Corp 記録再生装置
CA2279119C (en) * 1999-07-29 2004-10-19 Ibm Canada Limited-Ibm Canada Limitee Heuristic-based conditional data indexing
JP2001111960A (ja) * 1999-10-12 2001-04-20 Sharp Corp データ記録方法及びデータ復旧方法
JP3957464B2 (ja) * 2000-06-06 2007-08-15 松下電器産業株式会社 データ更新装置
EP1486979B1 (en) * 2002-03-18 2012-06-13 Sharp Kabushiki Kaisha Data recording method and data recording device

Also Published As

Publication number Publication date
CN1902704B (zh) 2012-01-04
TW200523889A (en) 2005-07-16
DE102004001207A1 (de) 2005-07-28
US20070192535A1 (en) 2007-08-16
JP2007518203A (ja) 2007-07-05
EP1553597A2 (en) 2005-07-13
JP4701186B2 (ja) 2011-06-15
US7543107B2 (en) 2009-06-02
WO2005069300A1 (en) 2005-07-28
TWI370443B (en) 2012-08-11
EP1702330A1 (en) 2006-09-20
MY140138A (en) 2009-11-30

Similar Documents

Publication Publication Date Title
US7702844B2 (en) Address mapping method and mapping information managing method for flash memory, and flash memory using the same
CN112395212B (zh) 减少键值分离存储系统的垃圾回收和写放大的方法及系统
US20090138650A1 (en) Method and apparatus for managing firmware of an optical storage apparatus
US20030101327A1 (en) Flash memory management method
CN100347654C (zh) 数据管理方法和设备、分级存储设备
WO2008135412A1 (en) System and method of managing indexation of flash memory
JP2009510552A (ja) フラッシュメモリメディアにおけるデータ管理方法
CN101069179A (zh) 相关内容检索中的位置相似度阈值的调整
CN1834941A (zh) 具有闪存的半导体设备
CN114691041A (zh) 键值存储系统、垃圾回收方法
EP1160786A2 (en) Information recording medium, information recording method, information recording apparatus, information reproducing method, and information reproducing apparatus
CN113468080B (zh) 一种全闪元数据的缓存方法、系统及相关装置
CN1902704A (zh) 用于对盘式存储介质上的数据进行更新的方法和设备
CN113253932A (zh) 一种分布式存储系统的读写控制方法和系统
US6141251A (en) Non-volatile memory array having an index used in programming and erasing
CN113535711B (zh) 一种基于LSM-Tree的分层索引数据管理方法及系统
CN111221478A (zh) 数据写入、读取方法、装置、设备及机器可读存储介质
CN1741167A (zh) 确定光盘类型的方法和数据记录和/或再现设备
JP2007148965A (ja) フラッシュディスク装置のエラーブロック管理方法及び装置
KR100638638B1 (ko) 플래시 메모리의 제어 방법
CN100445994C (zh) 以两搜索步骤对数据库进行搜索的方法和设备
JPH0785603A (ja) 情報記録媒体
CN114398007B (zh) 一种基于LSM-tree的KV存储系统读性能的缓存优化方法
CN116955286B (zh) 一种文件搜索与分类管理方法、系统及装置
CN1845567A (zh) 一种语音增值业务数据信息处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120104

Termination date: 20161122

CF01 Termination of patent right due to non-payment of annual fee