JP2015172862A - データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム - Google Patents

データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム Download PDF

Info

Publication number
JP2015172862A
JP2015172862A JP2014048469A JP2014048469A JP2015172862A JP 2015172862 A JP2015172862 A JP 2015172862A JP 2014048469 A JP2014048469 A JP 2014048469A JP 2014048469 A JP2014048469 A JP 2014048469A JP 2015172862 A JP2015172862 A JP 2015172862A
Authority
JP
Japan
Prior art keywords
expiration date
data
data item
information processing
expiration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014048469A
Other languages
English (en)
Inventor
東紀 鄭
Dongki Jung
東紀 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014048469A priority Critical patent/JP2015172862A/ja
Publication of JP2015172862A publication Critical patent/JP2015172862A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 データの記憶のためのコストを、より削減する。【解決手段】 データアイテムのそれぞれに対するアクセス数と、そのデータアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいてそのデータアイテムのそれぞれの有効期限時刻を示す有効期限を更新するための手段と、その有効期限に基づいて、そのデータアイテムを有効期限満了データアイテムとして移動するための手段と、を含む。【選択図】 図1

Description

本発明は、データのライフサイクルを制御する技術に関する。
近年、さまざまなビジネス環境において、持続的にデータが増大している。このような場合、全てのデータを現用系のシステムで保持することは、データベースの性能、コスト面から難しい。換言すると、持続的にデータが増加する環境において、古いデータを現用系のシステムで持ち続けることは現実的ではないため、不要不急のデータを削除またはアーカイブ化する必要がある。
そのためには、残すデータと、廃棄或いはアーカイブ化するデータとを分別することが必要である。しかし、近年では、データが爆発的に増大しているため、人が直接判断してデータを分類することは難しい、という問題がある。
このような問題点を解決する技術として、例えば、キーバリューストアにおいて、データに有効期限を付与し、その有効期限が満了したデータを自動的に削除する技術がある。
また、特許文献1は、異種類のボリュームの特徴を活かしてストレージ装置の性能を向上させる技術を開示する。
特許文献1のストレージ装置は、以下の構成を備える。第1に、高速ボリュームが、低速ボリュームのデータの一部を記憶する。第2に、制御部が、高速ボリュームのデータの保存期間を付与する。第3に、データ消去部が、高速ボリュームから、保存期間の経過したデータを消去する。
更に、特許文献2は、ユーザが所望するデータを適切に提示することができるデータ記憶装置を開示する。
特許文献2のデータ記憶装置は、第1の記憶階層、第2の記憶階層、第3の記憶階層及びデータ移動処理部を有する。
第1の記憶階層は、短期記憶階層を構成し、新しく入力されたデータを記憶する。第3の記憶階層は、潜在記憶階層を構成し、使用頻度の低いデータを記憶する。第2の記憶階層は、第1の記憶階層と第3の記憶階層との間に位置し、中間的な長期記憶階層を構成する。
データ移動処理部は、所定の確認間隔でデータのアクセス回数を確認し、そのアクセス回数と閾値とを比較した結果に基づいて、第1の記憶階層から第2の記憶階層または第3の記憶階層へ、或いは第2の記憶階層から第3の記憶階層へ、そのデータを移動する。
特開2006−139552号公報 特開2007−257174号公報
しかしながら、持続的にデータが増加する環境においては、そのデータの記憶のためのコストをより削減することが求められる。
特許文献1に開示されたストレージ装置がデータに対して付与する保存期間は、予め与えられた固定値である。従って、ストレージ装置は、高速ボリュームに記憶される全てのデータに対して、最も長く保存する必要のあるデータを想定した場合の、その保存期間を付与する。
即ち、この技術を用いた場合、結果的に保存期間がより短くてもよいデータが、最も長く保存する必要のあるデータの場合と同じ期間、高速ボリュームに保持されてしまう。換言すると、この技術を用いた場合、高速ボリュームの資源(コスト)が無駄に消費される場合がある。
特許文献2に開示されたデータ記憶装置が使用する閾値のそれぞれは、第1の記憶階層の全てのデータ対して一律であり、また第2の記憶階層の全てのデータに対して一律である。従って、データ記憶装置は、第1の記憶階層の全てのデータに対して、最もアクセス回数の少ないデータを想定した場合のその閾値と、データのアクセス回数とを比較する。同じく、データ記憶装置は、第2の記憶階層の全てのデータに対して、最もアクセス回数の少ないデータを想定した場合のその閾値と、データのアクセス回数とを比較する。
即ち、この技術を用いた場合、アクセス回数がより多くても移動されるべきデータが、最も少ないアクセス回数で移動不用とされるデータの場合と同じ基準で、移動不用と判断されてしまう。換言すると、この技術を用いた場合、第1の記憶階層及び第2の記憶階層の資源(コスト)が無駄に消費される場合がある。
即ち、上述した先行技術文献に記載された技術においては、データの記憶のためのコストの削減が、十分でないという問題点がある。
本発明の目的は、上述した問題点を解決する情報処理装置、データライフサイクル制御方法及びそのためのプログラムを提供することにある。
本発明の一様態における情報処理装置は、データアイテムのそれぞれに対するアクセス数と、前記データアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいて前記データアイテムのそれぞれの有効期限時刻を示す有効期限を更新するための有効期限更新手段と、前記有効期限に基づいて、前記データアイテムを有効期限満了データアイテムとして移動するためのデータ移動手段と、を含む。
本発明の一様態におけるデータライフサイクル制御方法は、コンピュータが、データアイテムのそれぞれに対するアクセス数と、前記データアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいて前記データアイテムのそれぞれの有効期限時刻を示す有効期限を更新し、前記有効期限に基づいて、前記データアイテムを有効期限満了データアイテムとして移動する。
本発明の一様態におけるプログラムは、データアイテムのそれぞれに対するアクセス数と、前記データアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいて前記データアイテムのそれぞれの有効期限時刻を示す有効期限を更新し、前記有効期限に基づいて、前記データアイテムを有効期限満了データアイテムとして移動する処理をコンピュータに実行させる。
本発明は、データの記憶のためのコストを、より削減することが可能になるという効果がある。
図1は、本発明の第1の実施形態に係る情報処理装置の構成を示すブロック図である。 図2は、第1の実施形態に係る情報処理装置を含む情報処理システムの構成を示すブロック図である。 図3は、第1の実施形態における有効期限インデックスの一例を示す図である。 図4は、一般的なB−TREE構造の一例を示す図である。 図5は、第1の実施形態における有効期限インデックスの一例を示す図である。 図6は、第1の実施形態における参照頻度テーブルの一例を示す図である。 図7は、第1の実施形態における参照頻度テーブルの一例を示す図である。 図8は、第1の実施形態における有効期限更新ポリシーの一例を示す図である。 図9は、第1の実施形態に係る情報処理装置を実現するコンピュータのハードウェア構成を示すブロック図である。 図10は、第1の実施形態における情報処理装置の動作を示すフローチャートである。 図11は、第1の実施形態における情報処理装置の動作を示すフローチャートである。 図12は、第1の実施形態における情報処理装置の動作を示すフローチャートである。 図13は、第1の実施形態における有効期限時刻更新後の有効期限インデックスの一例を示す図である。 図14は、第1の実施形態における有効期限時刻更新後の有効期限インデックスの一例を示す図である。 図15は、第1の実施形態におけるデータアイテム移動後の有効期限インデックスの一例を示す図である。 図16は、第1の実施形態におけるデータアイテム移動後の有効期限インデックスの一例を示す図である。 図17は、本発明の第2の実施形態に係る情報処理システムの構成を示すブロック図である。
本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面及び明細書記載の各実施形態において、同様の構成要素には同様の符号を付与し、適宜説明を省略する。
<<<第1の実施形態>>>
図1は、本発明の第1の実施形態に係る情報処理装置100の構成を示すブロック図である。
図1に示すように、本実施形態に係る情報処理装置100は、有効期限更新部110と、データ移動部150と、を含む。尚、図1に示す各構成要素は、ハードウェア単位の回路でも、コンピュータ装置の機能単位に分割された構成要素でもよい。ここでは、図1に示す構成要素は、コンピュータ装置の機能単位に分割された構成要素として説明する。
図2は、本実施形態に係る情報処理装置100を含む、情報処理システム400の構成を示すブロック図である。
図2に示すように、情報処理システム400は、データベースシステム410とクライアント450とデータアーカイブ装置460とを備える。情報処理システム400においては、情報処理装置100は、データベースシステム410に搭載される。
次に、第一の実施形態における情報処理装置100が備える各構成要素について説明する。
===有効期限更新部110===
有効期限更新部110は、データアイテムのそれぞれに対するアクセス数と、そのデータアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいてそのデータアイテムのそれぞれの有効期限時刻を示す有効期限を更新する。ここで、そのデータアイテムは、例えばクライアント450が参照する、データベースシステム410に格納される、データの単位である。
有効期限更新部110は、例えば、有効期限インデックス(有効期限とも呼ばれる)120と参照頻度テーブル130と有効期限更新ポリシー140とを含む。
===有効期限インデックス120===
有効期限インデックス120は、データアイテムのそれぞれの有効期限を示す。
図3は、有効期限インデックス120の一例を示す図である。図3に示すように、有効期限インデックス120は、データアイテムの有効期限時刻とデータベースシステム410上のそのデータアイテムのPK(Primary Key)とを含むレコードを、含む。
即ち、有効期限インデックス120の各レコードに含まれるPKのそれぞれは、データベースシステム410上に格納されるデータアイテムのレコードの、それぞれへの参照である。ここでは、PKは、データベースシステム410上におけるデータアイテムのそれぞれの識別子(id(identifier))である。
有効期限時刻の初期値は、例えば、データベースシステム410へデータアイテムを登録するユーザによって、その登録時に指定されてよい。また、有効期限時刻の初期値は、有効期限更新部110によって、予め与えられたデータベースシステム410におけるスキーマごとの規定値に基づいて、設定されてよい。
また、図3に示すように、有効期限インデックス120は、特定のデータアイテム(item1、item2、item3及びitem4)を含むユーザデータのテーブルの、それぞれに対応する。その特定のデータアイテムは、図示しない情報で決定される任意のグループに属するデータアイテムである。
図3に示される有効期限インデックス120は、第1のグループに属するデータアイテムに対応する有効期限を示す。以後、その第1のグループに対応する情報であることを示す場合、第1のグループに対応するテーブルIDの「[tbl1]」を付加して、記載する。例えば、「ユーザデータ[tbl1]」や「有効期限インデックス120[tbl1]」、後述する「参照頻度テーブル130[tbl1]」などと記載する。
有効期限更新部110は、例えば、有効期限インデックス120[tbl1]を、有効期限時刻の値順にレコードをソートして保持する。例えば、有効期限更新部110は、有効期限インデックス120[tbl1]を、有効期限時刻をキーとするB−TREE(B木)構造として保持してよい。
図4は、一般的なB−TREE構造を示す図である。B−TREE構造は、周知の技術であるため、詳細な説明は省略する。尚、有効期限更新部110は、B−TREE構造に限らず、有効期限時刻をキーとしてソート可能な任意の構造で、有効期限インデックス120[tbl1]を保持してよい。
図5は、別のグループ(第2のグループ)に属するデータアイテムに対応する、有効期限インデックス120の一例を示す図である。以後、第2のグループに対応する情報は、テーブルIDの[tbl2]を付加して、例えば、「ユーザデータ[tbl2]」や「有効期限インデックス120[tbl2]」、後述する「参照頻度テーブル130[tbl2]」などと記載する。
===参照頻度テーブル130===
図6は、参照頻度テーブル130[tbl1]の一例を示す図である。図6に示すように、参照頻度テーブル130[tbl1]は、データアイテムのPKとそのデータアイテムの1日当たりの参照回数とを含むレコードを、含む。即ち、参照頻度テーブル130[tbl1]は、データアイテムのそれぞれが、一定の期間(ここでは、2日間)に参照された回数を保持する。
例えば、データベース制御部420は、ユーザデータ[tbl1]のあるレコードのデータアイテムが参照されたとき、そのデータアイテムのPKとそのデータアイテムが参照されたことを示す情報とを含むアクセスログ810を情報処理装置100に送信する。アクセスログ810を受信した場合、情報処理装置100の有効期限更新部110は、アクセスログ810に含まれるPKに対応する参照頻度テーブル130[tbl1]のレコードの、参照回数を更新(1加算)する。
更に、有効期限更新部110は、参照回数を更新する際に、参照したユーザ、参照された時刻及び登録からの経過時間(例えば、更新が実施された回数)などに基づいて、加算値に重みを付加して、加算してもよい。
また、図6に示すように、参照頻度テーブル130[tbl1]は、第1のグループに属するデータアイテムを含む、ユーザデータ[tbl1]に対応する。換言すると、参照頻度テーブル130[tbl1]は、第1のグループに対応して(ユーザデータ[tbl1]の単位で)管理される。そして、参照頻度を管理する期間(上述の一定の期間)は、参照頻度テーブル130によって異なる。
例えば、有効期限更新部110は、その期間の間隔で参照頻度テーブル130[tbl1]を参照し、有効期限を更新するか否かを判断し、参照頻度テーブル130[tbl1]の参照回数を初期化(0にクリア)する。
図7は、別のグループ(第2のグループ)に属するデータアイテムに対応する、参照頻度テーブル130[tbl2]の一例を示す図である。
参照頻度テーブル130は、データベース制御部420によって、保持され、参照回数を更新されてもよい。この場合、有効期限更新部110はアクセスログ810を受け取る必要はなく、データベース制御部420に保持されている参照頻度テーブル130を参照してよい。
===有効期限更新ポリシー140===
有効期限更新ポリシー140は、有効期限更新部110が有効期限インデックス120を更新する場合の、規則を示す。
図8は、有効期限更新ポリシー140の一例を示す図である。図8に示すように、有効期限更新ポリシー140は、テーブルIDと、そのテーブルIDに対応する条件とを含むレコードを、含む。
その条件は、例えば、有効期限更新部110が「有効期限を更新する」と判断する、上述の参照頻度を管理する期間における、参照回数の下限値と、更新する場合の延長時間とを含む。
有効期限更新部110は、有効期限を更新するか否かを判断する時点の現在時刻以前の有効期限時刻を含む、有効期限インデックス120のレコードについて、有効期限を更新するか否かを判断してよい。この場合、有効期限更新部110は、有効期限を更新するか否かを判断する時点の現在時刻より後の有効期限時刻を含む、有効期限インデックス120のレコードについて、有効期限時刻を更新するか否かを判断しない。そして、有効期限更新部110は、有効期限時刻を更新するか否かを判断しない場合、その有効期限時刻を更新しない。
換言すると、有効期限更新部110は、その時点で有効期限が満了しているデータアイテムについてのみ、有効期限を更新するか否かを判定してよい。この場合、有効期限更新部110は、ソートされた有効期限インデックス120の、その時点で有効期限が満了していない、レコードを検出した場合、以後のレコードについて有効期限を更新するか否かを判断する処理を実行する必要がない。また、その時点で有効期限が満了していない、レコード以後のレコードについて、有効期限を更新しない。即ち、有効期限更新部110の処理は、軽減される。
尚、上記の例に係わらず、有効期限更新部110は、有効期限インデックス120の全てのレコードについて、有効期限を更新するか否かを判断してよい。
===データ移動部150===
データ移動部150は、有効期限インデックス120に基づいて、データアイテムを有効期限満了データアイテムとして移動する。データ移動部150は、例えば、有効期限満了データアイテムをデータアーカイブ装置460へ移動する。そして、データ移動部150は、ユーザデータ記憶部430からそのデータアイテムを削除し、有効期限インデックス120から、そのデータアイテムに対応するレコードを削除する。尚、データ移動部150は、そのデータアイテムをデータアーカイブ装置460へ移動することなく、削除(そのデータアイテム及び有効期限インデックスのそのレコードの削減)のみを実行してもよい。
以上が、情報処理装置100の機能単位の各構成要素についての説明である。
次に、情報処理装置100のハードウェア単位の構成要素について説明する。
図9は、本実施形態における情報処理装置100を実現するコンピュータ700のハードウェア構成を示す図である。
図9に示すように、コンピュータ700は、CPU(Central Processing Unit)701、記憶部702、記憶装置703、入力部704、出力部705及び通信部706を含む。更に、コンピュータ700は、外部から供給される記録媒体(または記憶媒体)707を含む。例えば、記録媒体707は、情報を非一時的に記憶する不揮発性記録媒体(非一時的記録媒体)である。また、記録媒体707は、情報を信号として保持する、一時的記録媒体であってもよい。
CPU701は、オペレーティングシステム(不図示)を動作させて、コンピュータ700の全体の動作を制御する。例えば、CPU701は、記憶装置703に装着された記録媒体707から、そのプログラムやデータを読み込み、読み込んだそのプログラムやそのデータを記憶部702に書き込む。ここで、そのプログラムは、例えば、後述の図10に示すフローチャートの動作をコンピュータ700に実行させるためのプログラムである。
そして、CPU701は、その読み込んだプログラムに従って、またその読み込んだデータに基づいて、図1に示す有効期限更新部110及びデータ移動部150として各種の処理を実行する。
尚、CPU701は、通信網(不図示)に接続される外部コンピュータ(不図示)から、記憶部702にそのプログラムやそのデータをダウンロードしてもよい。
記憶部702は、そのプログラムやそのデータを記憶する。記憶部702は、有効期限インデックス120、有効期限更新ポリシー140を記憶してよい。
記憶装置703は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、記録媒体707を含む。記憶装置703(記録媒体707)は、そのプログラムをコンピュータ読み取り可能に記憶する。また、記憶装置703は、そのデータを記憶してもよい。記憶装置703は、有効期限インデックス120、参照頻度テーブル130及び有効期限更新ポリシー140を記憶してよい。
入力部704は、オペレータによる操作の入力や外部からの情報の入力を受け付ける。入力操作に用いられるデバイスは、例えば、マウスやキーボード、内蔵のキーボタン及びタッチパネルなどである。例えば、有効期限更新ポリシー140は、入力部704を介して、入力されてよい。
出力部705は、例えばディスプレイで実現される。出力部705は、例えばGUI(GRAPHICAL User Interface)による入力要求や出力などの確認をするために用いられる。
通信部706は、データベース制御部420やデータアーカイブ装置460とのインタフェースを実現する。通信部706は、有効期限更新部110及びデータ移動部150の一部として含まれる。
以上説明したように、図1に示す情報処理装置100の機能単位のブロックは、図9に示すハードウェア構成のコンピュータ700によって実現される。但し、コンピュータ700が備える各部の実現手段は、上記に限定されない。すなわち、コンピュータ700は、物理的に結合した1つの装置により実現されてもよいし、物理的に分離した2つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
尚、上述のプログラムのコードを記録した記録媒体707が、コンピュータ700に供給される場合、CPU701は、記録媒体707に格納されたそのプログラムのコードを読み出して実行してもよい。或いは、CPU701は、記録媒体707に格納されたそのプログラムのコードを、記憶部702、記憶装置703またはその両方に格納してもよい。すなわち、本実施形態は、コンピュータ700(CPU701)が実行するそのプログラム(ソフトウェア)を、一時的にまたは非一時的に、記憶する記録媒体707の実施形態を含む。尚、情報を非一時的に記憶する記憶媒体は、不揮発性記憶媒体とも呼ばれる。
以上が、本実施形態における情報処理装置100を実現するコンピュータ700の、ハードウェア単位の各構成要素についての説明である。
情報処理装置100とデータベース制御部420のハードウェア構成は共用であってもよい。即ち、情報処理装置100にデータベース制御部420が含まれてもよいし、データベース制御部420に情報処理装置100が含まれてもよい。また、ユーザデータ記憶部430が情報処理装置100に含まれてもよい。
次に本実施形態の動作について、図面を参照して詳細に説明する。
図13は、本実施形態の動作を示すフローチャートである。尚、このフローチャートによる処理は、前述したCPU701によるプログラム制御に基づいて、実行されてよい。また、処理のステップ名については、S601のように、記号で記載する。
情報処理装置100は、内蔵する計時手段(不図示)の時刻が所定の時刻に達したことを契機に、図10に示す動作を開始する。
本実施形態では、情報処理装置100は、1日おきの毎00:00に、データ移動部150を起動し、起動されたデータ移動部150は、有効期限更新部110を起動する。
ここで、現時点の時刻を2013/11/03 23:30であるとする。そして、次にデータ移動部150が起動される時刻は、2013/11/04 00:00であるものとする。
尚、情報処理装置100は、上記の例に係わらず、情報処理システム400の管理者の指示に基づいて、データ移動部150を起動してもよい。これは、例えば、ユーザデータ記憶部430の容量が圧迫、緊急にデータアイテムの移動を実行する必要が発生した場合に対応するものである。例えば、情報処理装置100は、図9に示す入力部704を介して操作者が入力した、その指示を取得してよい。また、情報処理装置100は、図9に示す通信部706を介して図示しない機器から、その指示を受信してもよい。
ユーザデータ[tbl1]は、2013/10/31から毎時23:00にひとつずつ、合計4つのレコード(即ち、データアイテム)を挿入(記録)されたものとする。ユーザデータ[tbl2]は2013/10/03 00:30に4つのレコード(即ち、データアイテム)を挿入(記録)されたものとする。
この場合、データアイテムのそれぞれが挿入される際に、データアイテムのそれぞれに対して既定の有効期限が適用される。その有効期限は、例えば、ユーザデータ[tbl1]に関しては「2日」、ユーザデータ[tbl2]に関しては「1箇月」であるとする。例えば、その有効期限は、図9に示す記憶部702或いは記憶装置703に、予め記憶されていてよい。また、有効期限更新部110は、図9に示す入力部704を介して操作者が入力した、有効期限を取得してもよい。また、有効期限更新部110は、図9に示す通信部706を介して図示しない機器から、有効期限を受信してもよい。また、有効期限更新部110は、図9に示す記憶装置703を介して、記録媒体707に記録された有効期限を取得してもよい。
この時点で、有効期限インデックス120[tbl1]及び有効期限インデックス120[tbl2]のそれぞれは、図3及び図5のそれぞれに示す状態である。これを、以下の動作の開始まえ(例えば、2013/11/03 23:30)の状態とする。
2013/11/04 00:00においてデータ移動部150は起動され、更に起動されたデータ移動部150が有効期限更新部110を起動し、図10に示すフローチャートの動作が開始される。
有効期限更新部110は、図8に示す有効期限更新ポリシー140と、図6に示す参照頻度テーブル130[tbl1]とに基づいて、有効期限インデックス120[tbl1]を更新する。同時に、有効期限更新部110は、図8に示す有効期限更新ポリシー140と、図7に示す参照頻度テーブル130[tbl2]とに基づいて、有効期限インデックス120[tbl2]を更新する(ステップS610)。
具体的には、有効期限更新部110は、図3に示す有効期限インデックス120[tbl1]に含まれる、PKが「1」及び「2」のレコードについて、その有効期限時刻を更新するか否かを判断する。即ち、有効期限更新部110は、図3に示す有効期限インデックス120[tbl1]に含まれる、2013/11/04 00:00以前の時刻を示す有効期限時刻を、更新するか否かを判断する。
ここでは、図8に示す有効期限更新ポリシー140のテーブルIDが「tbl1」のレコードの条件は、「参照が1日平均50回以上であれば2日延長」である。そして、図6に示す参照頻度テーブル130[tbl1]のPKが「1」のレコードの参照回数/2日が「100」である。従って、有効期限更新部110は、有効期限インデックス120[tbl1]のPKが「1」のレコードの有効期限時刻を更新(2日延長)する。また、図6に示す参照頻度テーブル130[tbl1]のPKが「2」のレコードの参照回数/2日が「10」である。従って、有効期限更新部110は、有効期限インデックス120[tbl1]のPKが「2」のレコードの有効期限時刻を延長しない。
結果として、有効期限インデックス120[tbl1]は、図13に示す状態となる。
更に、有効期限更新部110は、図5に示す有効期限インデックス120[tbl2]の、PKが「a」、「b」、「c」及び「d」のデータアイテムについて、その有効期限を更新するか否かを判断する。即ち、有効期限更新部110は、図5に示す有効期限インデックス120[tbl2]の、2013/11/04 00:00以前の時刻を示す有効期限を、更新するか否かを判断する。
ここでは、図8に示す有効期限更新ポリシー140のテーブルIDが「tbl2」のレコードの条件は、「参照回数が1箇月で1回以上であれば1箇月延長」である。そして、図7に示す参照頻度テーブル130[tbl2]のPKが「a」及び「b」のレコードの参照回数/月が「1」である。従って、有効期限更新部110は、有効期限インデックス120[tbl1]のPKが「a」及び「b」のレコードの有効期限時刻を更新(1箇月延長)する。また、図7に示す参照頻度テーブル130[tbl2]のPKが「c」及び「d」のレコードの参照回数/月が「0」である。従って、有効期限更新部110は、有効期限インデックス120[tbl1]のPKが「c」及び「d」のレコードの有効期限時刻を延長しない。
結果として、有効期限インデックス120[tbl2]は、図14に示す状態となる。
次に、データ移動部150は、図13に示す有効期限インデックス120[tbl1]及び図14に示す有効期限インデックス120「tbl2」に基づいて、データアイテムを移動する。同時に、データ移動部150は、データアイテムを移動させることに伴って、有効期限インデックス120[tbl1]及び有効期限インデックス120「tbl2」を更新する(ステップS620)。
具体的には、データ移動部150は、有効期限を満了している、図13のPKが「2」と図14のPKが「c」及び「d」とのレコードに対応するデータアイテムを移動する。
結果として、ユーザデータ「tbl1」及び有効期限インデックス120[tbl1]は、図15に示す状態となる。また、ユーザデータ「tbl2」及び有効期限インデックス120[tbl2]は、図16に示す状態となる。
図11は、ステップS610の詳細な動作の一例を示すフローチャートである。
有効期限更新部110は、有効期限インデックス120の先頭のレコードを取得する(ステップS611)。
次に、有効期限更新部110は、取得したレコードの有効期限時刻と現在時刻とを比較する(ステップS612)。
その有効期限時刻が現在時刻より先の場合(ステップS612でNO)、処理は終了する。
その有効期限時刻が現在時刻以前の場合(ステップS612でYES)、有効期限更新部110は、その取得したレコードに対応する(同じPKを含む)、参照頻度テーブル130のレコードの参照回数を取得する(ステップS613)。
次に、有効期限更新部110は、その取得した参照回数が、有効期限更新ポリシー140の条件に合致しているか否かを判定する(ステップS614)。
合致している場合(ステップS614でYES)、有効期限更新部110は、有効期限更新ポリシー140に基づいて、その有効期限時刻を更新する(ステップS615)。
合致していない場合(ステップS614でNO)、処理は、ステップS616へ進む。
次に、有効期限更新部110は、次のレコードがあるか否かを確認する(ステップS616)。
次のレコードがない場合(ステップS616でNO)、処理は終了する。
次のレコードがある場合(ステップS616でYES)、有効期限更新部110は、次のレコードを取得する(ステップS617)。次に、処理はステップS612へ戻る。
図12は、ステップS620の詳細な動作の一例を示すフローチャートである。
データ移動部150は、有効期限インデックス120の先頭のレコードを取得する(ステップS621)。
次に、有効期限更新部110は、取得したレコードの有効期限時刻と現在時刻とを比較する(ステップS622)。
その有効期限時刻が現在時刻より先の場合(ステップS622でNO)、処理は終了する。
その有効期限時刻が現在時刻以前の場合(ステップS622でYES)、データ移動部150は、その取得したレコードに対応する(同じPKを含む)、ユーザデータのレコードのデータアイテムを移動する(ステップS623)。
次に、データ移動部150は、その取得したレコードを有効期限インデックス120から削除する(ステップS624)。
次に、データ移動部150は、その取得したレコードに対応する(同じPKを含む)、参照頻度テーブル130のレコードを削除する(ステップS625)。
次に、データ移動部150は、次のレコードがあるか否かを確認する(ステップS626)。
次のレコードがない場合(ステップS626でNO)、処理は終了する。
次のレコードがある場合(ステップS626でYES)、有効期限更新部110は、次のレコードを取得する(ステップS627)。次に、処理はステップS622へ戻る。
上述した本実施形態における第1の効果は、データの記憶のためのコストを、より削減することが可能になる点である。具体的には、第1の効果は、データアイテムが所属するグループに応じてより好適に、古いデータアイテムが自動的にアーカイブされ、一方で、参照頻度が高いデータアイテムはデータベースシステム410に残される点である。
その理由は、以下のような構成を含むからである。即ち、第1に、有効期限更新部110が、データアイテムの参照回数とグループごとの条件を示す有効期限更新ポリシー140とに基づいて、データアイテムの有効期限時刻を示す有効期限を更新する。第2に、データ移動部150が、その有効期限に基づいて、データアイテムを有効期限満了データアイテムとして移動する。
上述した本実施形態における第2の効果は、有効期限インデックス120の更新時に、ユーザデータ記憶部430に負荷をかけないことが可能になる点である。
その理由は、有効期限インデックス120がユーザデータ記憶部430とは異なる記憶部702及び記憶装置703のいずれかに記憶されるからである。
上述した本実施形態における第3の効果は、移動対象のデータアイテムの検出を高速化し、データの記憶のためのコストを、より削減することが可能になる点である。
その理由は、以下の構成を含むからである。即ち、第1に、有効期限更新部110は、有効期限インデックス120を更新する際、有効期限が満了したデータアイテムの有効期限時刻だけを更新の対象とする。従って、有効期限更新部110は、ソートされている有効期限インデックス120を前方から(昇順に)検索するだけで、更新対象の有効期限時刻を全て確認する。このとき、有効期限時刻が更新されなかったデータアイテムは、結果的に、全て移動対象となる。即ち、有効期限更新部110は、有効期限インデックス120を、部分的に(有効期限が満了していないデータアイテムを検出するまで)、一回検索するだけで有効期限更新対象及び移動対象のデータアイテムを全て分別する。
上述した本実施形態における第4の効果は、ユーザデータ記憶部430の容量が圧迫されている場合に対応して、より高速にデータアイテムの移動を実行することが可能になる点である。
その理由は、第3の効果の理由と同じである。
<<<第2の実施形態>>>
次に、本発明の第2の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図17は、本発明の第2の実施形態に係る情報処理システム402の構成を示すブロック図である。
図17に示すように、本実施形態における情報処理システム402は、データベースシステム412、クライアント450及び低価格データベース装置462を備える。
===データベースシステム412===
データベースシステム412は、第1の実施形態のデータベースシステム410と比べて、データベース制御部420に替えてデータベース制御部422を、情報処理装置100に替えて情報処理装置200を含む点が異なる。
===データベース制御部422===
データベース制御部422は、クライアント450から参照を要求されたデータアイテムが、ユーザデータ記憶部430に存在しない場合、その要求を低価格データベース装置462へリダイレクションする。
===低価格データベース装置462===
低価格データベース装置462は、例えば、データベースシステム412に比べて、ユーザデータの記憶コストが低いデータベース装置である。
低価格データベース装置462は、データベースシステム412からリダイレクションされたその要求に基づいて、データアイテムをクライアント450に送信する。
===情報処理装置200===
情報処理装置200は、第1の実施形態の情報処理装置100に比べて、データ移動部150に替えてデータ移動部250を含む点が異なる。
===データ移動部250===
データ移動部250は、有効期限インデックス120に基づいて、ユーザデータ記憶部430に記憶されているデータアイテムを、有効期限満了データアイテムとして低価格データベース装置462へ移動する。その動作は、図2に示すデータ移動部150が、有効期限インデックス120に基づいて、ユーザデータ記憶部430に記憶されているデータアイテムを、有効期限満了データアイテムとしてデータアーカイブ装置460へ移動する動作と同様である。
更に、データ移動部250は、有効期限満了データアイテムのそれぞれに対するアクセス数と、復旧ポリシーとに基づいて、その有効期限満了データアイテムを、ユーザデータ記憶部430へデータアイテムとして移動(復旧)する。
データ移動部250は、例えば、低価格データベース装置462から有効期限満了データアイテムが参照されたことを示す情報を含むアクセスログ812を受信する。アクセスログ812を受信した場合、データ移動部250は、アクセスログ812に含まれるPKに対応する、復旧用参照頻度テーブルの、レコードの参照回数を更新する。
また、データ移動部250は、一定時間間隔ごとにその参照回数を更新し、最も近い一定期間の参照回数となるようにする。即ち、データ移動部250は、ある有効期限満了データアイテムに対する参照が減れば、その有効期限満了データアイテムに対応する参照回数を減少させる。
復旧ポリシーは、例えば、その有効期限満了データアイテムが所属するグループのそれぞれに対する、一定期間の参照回数の下限値を示す。
データ移動部250は、復旧用参照頻度テーブルの参照回数を復旧ポリシーに含まれる参照回数の下限値と比較する。次に、データ移動部250は、復旧用参照頻度テーブルの参照回数がその下限値以上である場合、その有効期限満了データアイテムをユーザデータ記憶部430へデータアイテムとして移動(復旧)する。
具体的には、データ移動部250は、例えば、クライアント450と同様のプロトコルを用いて、その有効期限満了データアイテムを新たなデータアイテムとしてデータベースシステム412へ登録する。同時に、データ移動部250は、低価格データベース装置462からその有効期限満了データアイテムを削除する。
上述した本実施形態における第1の効果は、第1の実施形態の効果に加えて、アーカイブ後のデータも参照することが可能になる点である。
その理由は、以下のような構成を含むからである。即ち、第1にデータ移動部250が有効期限満了データアイテムを低価格データベース装置462へ移動する。第2に、データベース制御部422は、クライアント450から参照を要求されたデータアイテムが、ユーザデータ記憶部430に存在しない場合、その要求を低価格データベース装置462へリダイレクションする。
上述した本実施形態における第2の効果は、データアイテムを参照される頻度により好適に、データベースシステム412または低価格データベース装置462に保持することが可能になる点である。
その理由は、データ移動部250が、有効期限満了データアイテムのそれぞれに対するアクセス数と、復旧ポリシーとに基づいて、その有効期限満了データアイテムを、ユーザデータ記憶部430へデータアイテムとして移動するからである。
以上の各実施形態で説明した各構成要素は、必ずしも個々に独立した存在である必要はない。例えば、複数個の任意のその構成要素が1個のモジュールとして実現されてよい。また、その構成要素の内の任意のひとつが複数のモジュールで実現されてもよい。また、その構成要素の内の任意のひとつがその構成要素の内の任意の他のひとつであってよい。また、その構成要素の内の任意のひとつの一部と、その構成要素の内の任意の他のひとつの一部とが重複してもよい。
以上説明した各実施形態における各構成要素及び各構成要素を実現するモジュールは、必要に応じ、可能であれば、ハードウェア的に実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、コンピュータ及びプログラムで実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、ハードウェア的なモジュールとコンピュータ及びプログラムとの混在により実現されてもよい。
そのプログラムは、例えば、磁気ディスクや半導体メモリなど、コンピュータが読み取り可能な非一時的記録媒体に記録され、コンピュータに提供される。そして、そのプログラムは、コンピュータの立ち上げ時などに、非一時的記録媒体からコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施形態における構成要素として機能させる。
また、以上説明した各実施形態では、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は内容的に支障のない範囲で変更することができる。
更に、以上説明した各実施形態では、複数の動作は個々に相違するタイミングで実行されることに限定されない。例えば、ある動作の実行中に他の動作が発生してよい。また、ある動作と他の動作との実行タイミングが部分的に乃至全部において重複してもよい。
更に、以上説明した各実施形態では、ある動作が他の動作の契機になるように記載しているが、その記載はある動作と他の動作との全ての関係を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の関係は内容的に支障のない範囲で変更することができる。また各構成要素の各動作の具体的な記載は、各構成要素の各動作を限定するものではない。このため、各構成要素の具体的な各動作は、各実施形態を実施する上で機能的、性能的、その他の特性に対して支障を来さない範囲内で変更されてよい。
以上、各実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえるさまざまな変更をすることができる。
100 情報処理装置
110 有効期限更新部
120 有効期限インデックス
130 参照頻度テーブル
140 有効期限更新ポリシー
150 データ移動部
200 情報処理装置
250 データ移動部
400 情報処理システム
402 情報処理システム
410 データベースシステム
412 データベースシステム
420 データベース制御部
422 データベース制御部
430 ユーザデータ記憶部
450 クライアント
460 データアーカイブ装置
462 低価格データベース装置
700 コンピュータ
701 CPU
702 記憶部
703 記憶装置
704 入力部
705 出力部
706 通信部
707 記録媒体
810 アクセスログ
812 アクセスログ

Claims (9)

  1. データアイテムのそれぞれに対するアクセス数と、前記データアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいて前記データアイテムのそれぞれの有効期限時刻を示す有効期限を更新するための有効期限更新手段と、
    前記有効期限に基づいて、前記データアイテムを有効期限満了データアイテムとして移動するためのデータ移動手段と、
    を含む情報処理装置。
  2. 前記有効期限更新手段は、前記有効期限を、前記有効期限時刻をキーとしてソートした構造で保持する
    ことを特徴とする請求項1記載の情報処理装置。
  3. 前記有効期限更新手段は、現在時刻以前の前記有効期限時刻について前記有効期限時刻を更新するか否かの判断をし、前記現在時刻より後の前記有効期限時刻について前記有効期限時刻を更新するか否かの判断をせず、前記判断をしない前記有効期限時刻を更新しない
    ことを特徴とする請求項2記載の情報処理装置。
  4. 前記有効期限へのアクセスが前記データアイテムのアクセスに対して影響を与えない、前記有効期限を記憶するための記憶手段を含む
    ことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記データ移動手段は、移動された前記有効期限満了データアイテムのそれぞれに対するアクセス数と、前記有効期限満了データアイテムが所属するグループのそれぞれに対する復旧ポリシーと、に基づいて前記有効期限満了データアイテムを前記データアイテムとして復旧する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 請求項1乃至5のいずれか1項に記載の情報処理装置と、
    データベースシステムと、
    アーカイブ装置と、を含む
    情報処理システム。
  7. 請求項1乃至5のいずれか1項に記載の情報処理装置と、
    第1のデータベースシステムと、
    第2のデータベースシステムと、を含む
    情報処理システム。
  8. コンピュータが、
    データアイテムのそれぞれに対するアクセス数と、前記データアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいて前記データアイテムのそれぞれの有効期限時刻を示す有効期限を更新し、
    前記有効期限に基づいて、前記データアイテムを有効期限満了データアイテムとして移動する
    データライフサイクル制御方法。
  9. データアイテムのそれぞれに対するアクセス数と、前記データアイテムが所属するグループのそれぞれに対する有効期限更新ポリシーと、に基づいて前記データアイテムのそれぞれの有効期限時刻を示す有効期限を更新し、
    前記有効期限に基づいて、前記データアイテムを有効期限満了データアイテムとして移動する処理をコンピュータに実行させる
    プログラム。
JP2014048469A 2014-03-12 2014-03-12 データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム Pending JP2015172862A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014048469A JP2015172862A (ja) 2014-03-12 2014-03-12 データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014048469A JP2015172862A (ja) 2014-03-12 2014-03-12 データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム

Publications (1)

Publication Number Publication Date
JP2015172862A true JP2015172862A (ja) 2015-10-01

Family

ID=54260148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014048469A Pending JP2015172862A (ja) 2014-03-12 2014-03-12 データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム

Country Status (1)

Country Link
JP (1) JP2015172862A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6181247B1 (ja) * 2016-07-01 2017-08-16 株式会社東芝 データベース管理装置、データベース管理方法、およびデータベース管理プログラム
JP2017204171A (ja) * 2016-05-12 2017-11-16 京セラドキュメントソリューションズ株式会社 電子機器およびファイル管理プログラム
JP2021033856A (ja) * 2019-08-28 2021-03-01 富士ゼロックス株式会社 情報処理装置、情報処理システム、及び情報処理プログラム
JP2022507846A (ja) * 2018-11-21 2022-01-18 グーグル エルエルシー 履歴セキュリティデータの記憶および構造化検索

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166971A (ja) * 1999-12-13 2001-06-22 Jisedai Joho Hoso System Kenkyusho:Kk 有効期限を持つ蓄積情報の管理方法と装置
JP2003122603A (ja) * 2001-10-12 2003-04-25 Fuji Xerox Co Ltd ドキュメント処理サーバ
JP2008077224A (ja) * 2006-09-19 2008-04-03 Ricoh Co Ltd ドキュメント管理システム、ドキュメント管理サーバ、ドキュメント管理方法、及び、プログラム
JP2008198172A (ja) * 2007-01-16 2008-08-28 Kyocera Mita Corp 画像形成システム
WO2010058790A1 (ja) * 2008-11-21 2010-05-27 日本電気株式会社 コンテンツ配信装置、コンテンツ配信制御方法、コンテンツ配信制御プログラム、キャッシュ制御装置
US20120221811A1 (en) * 2011-02-25 2012-08-30 Sparkes Andrew Retention management in a worm storage system
JP2013073393A (ja) * 2011-09-27 2013-04-22 Mizuho Information & Research Institute Inc ファイル管理システム、ファイル管理方法及びファイル管理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166971A (ja) * 1999-12-13 2001-06-22 Jisedai Joho Hoso System Kenkyusho:Kk 有効期限を持つ蓄積情報の管理方法と装置
JP2003122603A (ja) * 2001-10-12 2003-04-25 Fuji Xerox Co Ltd ドキュメント処理サーバ
JP2008077224A (ja) * 2006-09-19 2008-04-03 Ricoh Co Ltd ドキュメント管理システム、ドキュメント管理サーバ、ドキュメント管理方法、及び、プログラム
JP2008198172A (ja) * 2007-01-16 2008-08-28 Kyocera Mita Corp 画像形成システム
WO2010058790A1 (ja) * 2008-11-21 2010-05-27 日本電気株式会社 コンテンツ配信装置、コンテンツ配信制御方法、コンテンツ配信制御プログラム、キャッシュ制御装置
US20120221811A1 (en) * 2011-02-25 2012-08-30 Sparkes Andrew Retention management in a worm storage system
JP2013073393A (ja) * 2011-09-27 2013-04-22 Mizuho Information & Research Institute Inc ファイル管理システム、ファイル管理方法及びファイル管理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204171A (ja) * 2016-05-12 2017-11-16 京セラドキュメントソリューションズ株式会社 電子機器およびファイル管理プログラム
JP6181247B1 (ja) * 2016-07-01 2017-08-16 株式会社東芝 データベース管理装置、データベース管理方法、およびデータベース管理プログラム
JP2018005552A (ja) * 2016-07-01 2018-01-11 株式会社東芝 データベース管理装置、データベース管理方法、およびデータベース管理プログラム
JP2022507846A (ja) * 2018-11-21 2022-01-18 グーグル エルエルシー 履歴セキュリティデータの記憶および構造化検索
JP7133714B2 (ja) 2018-11-21 2022-09-08 グーグル エルエルシー 履歴セキュリティデータの記憶および構造化検索
JP7402943B2 (ja) 2018-11-21 2023-12-21 グーグル エルエルシー 履歴セキュリティデータの記憶および構造化検索
JP2021033856A (ja) * 2019-08-28 2021-03-01 富士ゼロックス株式会社 情報処理装置、情報処理システム、及び情報処理プログラム

Similar Documents

Publication Publication Date Title
US10579479B2 (en) Restoring data in a hierarchical storage management system
US9336224B2 (en) Systems and methods for providing increased scalability in deduplication storage systems
WO2016178923A1 (en) Data migration to a cloud computing system
US20120215820A1 (en) File storage system and storage control method
US11238011B2 (en) Intelligent method to index storage system files accounting for snapshots
KR20190050993A (ko) 이관 시스템 및 방법 업데이트
US11507277B2 (en) Key value store using progress verification
JP2015172862A (ja) データライフサイクルを制御する情報処理装置、データライフサイクル制御方法、及びそのためのプログラム
US11392545B1 (en) Tracking access pattern of inodes and pre-fetching inodes
US11275795B2 (en) System and method for in-place record content management
CN111684437B (zh) 按时间顺序排序的错位更新键-值存储系统
AU2019203190A1 (en) Digital project management office
CN115525631A (zh) 数据库数据迁移方法、装置、设备、存储介质
US11080239B2 (en) Key value store using generation markers
CN111159160A (zh) 一种版本回滚方法、装置、电子设备及存储介质
WO2018064319A9 (en) FOLLOW-UP OF INODES ACCESS SCHEMES AND INOX PREXTRACTION
CN106156038B (zh) 数据存储方法和装置
AU2018214032A1 (en) Systems and methods for maintaining group membership records
CN111767284B (zh) 数据处理方法、装置、存储介质和服务器
WO2017206302A1 (zh) 一种应用程序的运行方法和运行装置
US10635637B1 (en) Method to use previously-occupied inodes and associated data structures to improve file creation performance
WO2019199464A1 (en) Resumable merge sort
US10235293B2 (en) Tracking access pattern of inodes and pre-fetching inodes
CN103279575A (zh) 文件信息处理方法及装置
US9467452B2 (en) Transferring services in a networked environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180508