JP2020052852A - ストレージ及び情報処理システム。 - Google Patents

ストレージ及び情報処理システム。 Download PDF

Info

Publication number
JP2020052852A
JP2020052852A JP2018183046A JP2018183046A JP2020052852A JP 2020052852 A JP2020052852 A JP 2020052852A JP 2018183046 A JP2018183046 A JP 2018183046A JP 2018183046 A JP2018183046 A JP 2018183046A JP 2020052852 A JP2020052852 A JP 2020052852A
Authority
JP
Japan
Prior art keywords
data
metadata
storage medium
storage
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018183046A
Other languages
English (en)
Other versions
JP7310110B2 (ja
Inventor
賀洋 長谷部
Yoshihiro Hasebe
賀洋 長谷部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018183046A priority Critical patent/JP7310110B2/ja
Publication of JP2020052852A publication Critical patent/JP2020052852A/ja
Application granted granted Critical
Publication of JP7310110B2 publication Critical patent/JP7310110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】メタデータに対して効率良くアクセスすることができるストレージ及び情報処理システムを提供する。【解決手段】ストレージ1は、データを格納する記憶媒体2と、前記記憶媒体にデータを書き込む処理及び前記記憶媒体からデータを読み出す処理を行う複数のアクセス手段3、4と、前記複数のアクセス手段が、前記記憶媒体にデータを書きこんだ位置を示す位置情報を含む第1のメタデータを格納する第1の格納手段5と、前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する第2の格納手段6と、を含む。前記複数のアクセス手段は、前記第2のメタデータを用いて前記記憶媒体からデータを読み出す。【選択図】図1

Description

本願発明は、メタデータを用いてデータを管理するストレージ及びシステムに関する。
近年、SSD(solid state drive)や、HDD(hard disk drive)等のような記憶媒体を用いてデータを管理する手法が、主流になりつつある。このような記憶媒体を含むストレージ装置は、外部装置からの要求に対して、内蔵するアクセス手段及びメタデータを用いて、記憶媒体上のデータにアクセスを行う。
メタデータは、記憶媒体におけるデータの格納位置を示す位置情報を含む。具体的に、ストレージ装置におけるアクセス手段は、外部装置からデータの読み出し要求を受けると、メタデータに含まれる位置情報を参照し、記憶媒体上において当該データの格納位置を特定することで、記憶媒体からデータの読み出しを行っている。また、ストレージ装置におけるアクセス手段は、外部装置からデータの書き込み要求を受けると、記憶媒体上にデータを書き込み、当該データを書き込んだ位置を示す位置情報を、メタデータに書き込む。
なお、このようなストレージ装置は、ストレージ装置1つにつき、メタデータを1つ含むことが多い。
メタデータを用いてデータの管理を行う技術の1例として、特許文献1が挙げられる。特許文献1に記載のファイルシステムでは、ストレージ装置上の所定領域にメタデータを記憶させる。メタデータには、ファイルデータとファイルデータが格納された位置とを互いに関連付けたマップ情報及びその他諸々の情報が含められている。ストレージ装置にファイルデータを書き込む際は、まず、所定領域に格納されているメタデータ群を読み出し、メタデータ群を解析し、解析結果とファイルデータのサイズから、ファイルデータを書き込む位置を特定する。書き込む位置を特定すると、ファイルデータに関するメタデータを生成し、ストレージ装置の所定領域に、生成したメタデータを書き込む。この時、メタデータには、ファイルデータが実際にどの位置(ブロック)に記憶されるのかを表すマップ情報を含める。また、そのマップ情報に従って、ファイルデータをストレージ装置に書き込む。
また、メタデータの読み出しを高速化する技術の一例として、特許文献2が挙げられる。特許文献2に記載の技術は、各物理ボリュームに格納されている、ボリューム・グループ管理用のメタデータのうち、1つの物理ボリュームに一括化することが可能なメタデータを一括化し、当該一括化メタデータからメタデータの読み出しを行うことで、各物理ボリュームのメタデータ読み出しを高速化する。また、特許文献2に記載の技術では、一括化メタデータとして、元の物理ボリュームの先頭に配置されているメタデータ1〜nの複製を使用する。
特開2015―179328号公報 特開2004―265110号公報
ところで、メタデータを用いてデータの管理を行うストレージ装置では、リアルタイムで取得されたデータを記憶媒体に書き込みつつ、分析のために、記憶媒体から過去に書き込まれたデータを読み出す処理が行われる場合がある。このような処理では、複数のアクセス手段を平行して用いて、データの読み出しや書き込みが行われることが多い。複数のアクセス手段が1つのメタデータに対してデータを書き込む際は、書き込み競合によるデータ破壊を防ぐため、当該メタデータに対して排他制御等が行われる。
従って、特定のアクセス手段が、メタデータに位置情報を書き込んでいる間、他のアクセス手段は、当該メタデータに対してアクセスすることができない。
特許文献1及び特許文献2に記載の技術は、特定のアクセス手段が、マップ情報を含むメタデータにデータの書き込みを行っている場合、他のアクセス手段は当該メタデータに対してアクセスすることができなくなる。従って、特許文献1及び2に記載の技術では、メタデータに対して、効率良くアクセスすることができない。
本願発明は、上記課題を解決し、メタデータに対して効率良くアクセスすることができるストレージ及び情報処理システムを提供することができる。
本願発明のストレージは、データを格納する記憶媒体と、前記記憶媒体にデータを書き込む処理及び前記記憶媒体からデータを読み出す処理を行う複数のアクセス手段と、前記複数のアクセス手段が、前記記憶媒体にデータを書きこんだ位置を示す位置情報を含む第1のメタデータを格納する第1の格納手段と、前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する第2の格納手段と、を含み、前記複数のアクセス手段は、前記第2のメタデータを用いて前記記憶媒体からデータを読み出す。
本願発明の情報処理システムは、データを格納する記憶媒体と、前記記憶媒体にデータを書き込む第1のサーバと、前記記憶媒体からデータを読み出す第2のサーバと、前記第1のサーバは、前記第1のサーバが前記記憶媒体にデータを書き込んだ位置を示す位置情報を含む第1のメタデータを格納し、前記第2のサーバは、前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納し、当該第2のメタデータを用いて前記記憶媒体からデータを読み出す。
本願発明は、メタデータに対して効率良くアクセスすることができるストレージ及び情報処理システムを提供する
ストレージ1の構成を示す図である。 データを書き込む処理を示すフローチャートである。 データを読み出す処理を示すフローチャートである。 ストレージ装置10の構成を示す図である。 更新処理の動作を示すフローチャートである。 書き込み用メタデータ50の具体例を示す図である。 読み出し用メタデータ60の具体例を示す図である。 更新処理の概念図である。 ストレージ装置11の構成を示す図である。 ストレージ装置12の構成を示す図である。 本願発明を実現するコンピュータの1例を示す図である。
<第1の実施形態>
[構成]
本願発明の第1の実施形態を、図面を参照して説明する。図1は、第1の実施形態における、ストレージ1の構成を示す図である。
ストレージ1は、記憶媒体2、第1のアクセス手段3、第2のアクセス手段4、第1の格納手段5、及び第2の格納手段6を含む。ストレージ1は、気象予報、株価の動向分析、又は商品の売れ筋分析等のような、データを蓄積しつつ、過去に蓄積されたデータを分析する技術に適用することが可能である。
記憶媒体2は、データを格納する媒体である。具体的に、記憶媒体2は、データの書き込み及び読み出しが可能な媒体である。記憶媒体30の具体例として、SSD、HDD、フラッシュメモリ、SDカード、eMMc(embedded Multi Media Card)等が挙げられるが、本願発明はこれらに限定されない。
第1のアクセス手段3は、記憶媒体2及び第1の格納手段5にアクセスを行う手段である。第1のアクセス手段3は、外部装置からデータの書き込み要求を受けると、記憶媒体2に当該データを書き込む処理を行う。第1のアクセス手段3は、記憶媒体2にデータを書き込む際、記憶媒体2において既にデータが記憶されている位置とは異なる位置にデータを書き込む。第1のアクセス手段3が、記憶媒体2にデータを書き込む処理の詳細な説明については後述する。
第2のアクセス手段4は、記憶媒体2及び第2の格納手段6にアクセスを行う手段である。第2のアクセス手段4は、外部装置からデータの読み出し要求を受けると、記憶媒体2からデータを読み出す処理を行う。例えば、第1のアクセス手段3及び第2のアクセス手段4は、ストレージ1におけるプロセッサ等により構成される。しかし、第1のアクセス手段3及び第2のアクセス手段4は、外部装置及び記憶媒体と通信可能なものであれば、どのような構成でも構わない。
第1の格納手段5は、第1のアクセス手段3が記憶媒体2にデータを書き込んだ位置を示す位置情報を含む第1のメタデータを格納する。第1のアクセス手段3は、記憶媒体2にデータを書き込んだ場合、当該データを書き込んだ位置を示す位置情報を第1のメタデータに書き込む。メタデータとは、外部装置から要求されたデータの論理アドレスを、記憶媒体2における物理アドレスに変換する変換テーブルである。なお、位置情報の具体例については後述する。
第2の格納手段6は、記憶媒体2におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する。なお、第1の格納手段5及び第2の格納手段6は、メモリ等のように、メタデータを格納可能なものであれば、どのような構成でも構わない。第2のアクセス手段4は、記憶媒体2からデータを読み出す際、第2の格納手段6に格納された第2のメタデータを用いて、当該データが格納された位置を特定し、記憶媒体2から当該データを読み出す。なお、第1のメタデータが有する位置情報は、特定のタイミングで、第2のメタデータが有する位置情報に更新される。特定のタイミングの具体例については後述する。
[動作]
次に、本願発明の第1の実施形態における主な動作を説明する。
図2は、データを書き込む処理を示すフローチャートである。
第1のアクセス手段3は、外部装置からデータの書き込み要求を受けると(S1)、記憶媒体2に当該データを書き込む処理を行う(S2)。
第1のアクセス手段3は、記憶媒体2にデータを書き込んだ場合、当該データを書き込んだ位置を示す位置情報を第1のメタデータに書き込む(S3)。
図3は、データを読み出す処理を示すフローチャートである。
第2のアクセス手段4は、外部装置からデータの読み出し要求を受けると(S11)、第2の格納手段6に格納された第2のメタデータを用いて、当該データが格納された位置を特定する(S12)。
第2のアクセス手段4は、当該特定した位置を用いて、記憶媒体2から読み出し要求を受けたデータを読み出す(S13)。
これにより、第1の実施形態に係る本願発明は、メタデータに対して効率良くアクセスすることができる。
その理由は、ストレージ1が、データを格納する記憶媒体2と、記憶媒体2にデータを書き込む第1のアクセス手段3と、記憶媒体2からデータを読み出す第2のアクセス手段4と、第1のアクセス手段3が記憶媒体2にデータを書き込んだ位置を示す位置情報を含む第1のメタデータを格納する第1の格納手段5と、記憶媒体2におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する第2の格納手段6と、を含み、第2のアクセス手段4は、第2のメタデータを用いて記憶媒体2からデータを読み出すからである。
<第2の実施形態>
[構成]
本願発明の第2の実施形態を、図面を参照して説明する。図4は、第1の実施形態における、ストレージ装置10の構成を示す図である。
ストレージ装置10は、記憶媒体30、アクセス手段40、書き込み用メタデータ50、読み出し用メタデータ60、及び更新手段70を含む。
外部装置20は、アクセス手段40に対して、データの書き込み要求やデータの読み出し要求等を行う。データの書き込み要求及び読み出し要求は、当該データの容量及び当該データの位置を示す情報を含む。外部装置20は、ホストコンピュータ等の装置を含む。なお、外部装置20は、ストレージ装置10と通信可能な外部装置であるならば、どのような装置を用いても構わない。図4に記載のように、ストレージ装置10は、複数の外部装置20と接続可能である。
記憶媒体30は、データの書き込み及び読み出しが可能な媒体である。記憶媒体30の具体例として、SSD、HDD、フラッシュメモリ、SDカード、eMMc等が挙げられるが、本願発明はこれらに限定されない。また、記憶媒体30は、複数の媒体を組み合わせ、RAID(Redundant Allay of Inexpensive Disks)を構成しても良いし、1つの媒体を用いても良い。
アクセス手段40は、記憶媒体30と、書き込み用メタデータ50と、読み出し用メタデータ60とにアクセスし、データの書き込み又はデータの読み出しを行なう。
具体的に、アクセス手段40は、外部装置20からデータの書き込み要求を受けると、記憶媒体30にデータを書き込み、当該データを書き込んだ位置を示す位置情報を、書き込み用メタデータ50に書き込む。
なお、アクセス手段40が記憶媒体30にデータを書き込む際は、記憶媒体30において、既にデータが記憶されている位置とは異なる位置にデータを書き込む。具体的には、アクセス手段40が、特定の位置へデータを書き込む要求を受けた際、当該特定の位置にデータが既に書き込まれていた場合は上書きせず、当該特定の位置とは別の位置にデータを書き込む。もし、既に記憶媒体30に書き込まれたデータを上書きしてしまった際、読み出し用メタデータ60には、当該上書きされたデータではなく、当該上書きされる前のデータに関する位置情報が含まれる場合がある。つまり、記憶媒体30に上書きを行ってしまうと、読み出し用メタデータ60に含まれる位置情報と実際にデータが書き込まれた位置とで、位置情報の不整合が生じてしまい、データを読み出す際に不具合を生じるおそれがある。従って、アクセス手段40が、上記のようにデータを書き込む処理は、当該不整合を防ぐ点で有効である。なお、アクセス手段40は、最後に記憶媒体30に書き込みを行なった位置の続きから、データを書き込んでも良い。アクセス手段40は、当該位置を把握するために、メタデータを用いても良いし、最後に書き込みを行なった位置を別途記憶するメモリを用意し、当該メモリを用いても良い。しかし、アクセス手段40は、当該手法に限られず、既にデータが記憶されている位置とは異なる位置にデータを書き込めるのであれば、どのような方法を用いても良い。
なお、アクセス手段40が上書きをせずにデータを書き込むことで、記憶媒体30の容量が不足した場合は、媒体を新たに追加する。
上記のように、記憶媒体30に対して上書きを行わないストレージ装置10は、気象予報、株価の動向分析、又は商品の売れ筋分析等のような、データを蓄積しつつ、過去に蓄積されたデータを分析する技術に適用した場合に、特に効果を奏する。なぜなら、当該ストレージ装置10は、過去に蓄積したデータに対して上書きを行わないため、全てのデータを、記憶媒体30への格納時の状態のままで蓄積しているためである。
また、アクセス手段40は、外部装置20からデータの読み出し要求があった場合は、読み出し用メタデータ60にアクセスし、当該読み出し用メタデータ60に含まれる位置情報を参照し、読み出し要求に対応するデータの位置を特定する。アクセス手段40は、当該特定した位置を用いて、記憶媒体30から、読み出し要求に対応するデータを読み出す。
なお、図4では、ストレージ装置10が3つのアクセス手段40を含む構成を説明したが、本願発明はこれに限られない。例えば、ストレージ装置10は、2以上のアクセス手段40を含むことが可能である。
書き込み用メタデータ50は、アクセス手段40が記憶媒体30にデータを書き込んだ位置を示す位置情報を含む。なお、書き込み用メタデータ50は、バッファや、メモリ等のような、格納手段に格納されても良い。
読み出し用メタデータ60は、記憶媒体30におけるデータの格納位置を示す位置情報を含む。図4に記載のように、ストレージ装置10は、複数の読み出し用メタデータ60を含むことが可能である。図4では、一例として、2つの読み出し用メタデータ60が例示されているが、当該2つの読み出し用メタデータ60にそれぞれ含まれる位置情報は、同一のものである。なお、図4では、ストレージ装置10が2つの読み出し用メタデータ60を含む構成を説明したが、本願発明はこれに限られない。例えば、ストレージ装置10は、1以上の読み出し用メタデータ60を含むことが可能である。
読み出し用メタデータ60には、更新手段70及び外部装置20からデータの読み出し要求を受けたアクセス手段40のみが、アクセスすることが可能である。なお、読み出し用メタデータ60は、メモリ等の格納手段に格納されても良い。
更新手段70は、書き込み用メタデータ50及び読み出し用メタデータ60にアクセスし、読み出し用メタデータ60に含まれる位置情報を更新する処理を行う。具体的に、更新手段70は、特定のタイミングで、書き込み用メタデータ50にアクセスし、当該書き込み用メタデータ50に含まれる位置情報を用いて、読み出し用メタデータ60に含まれる位置情報を更新する(以後、更新処理と呼称する)。
なお、更新処理は、前回の更新時から、新たに書き込み用メタデータ50に書き込まれた位置情報を、差分として、読み出し用メタデータ60に追加する処理でも良いし、書き込み用メタデータ50に含まれる全ての位置情報を、読み出し用メタデータ60にコピーする処理でも良い。特定のタイミングとは、一定の時間間隔毎、特定の時間毎、又は外部装置20から読み出し要求を受けたタイミングを示す。更新手段70が行う更新処理の、詳細な説明については後述する。
[動作]
次に、本願発明の第2の実施形態における主な動作を説明する。
図5は、更新処理の動作を示すフローチャートである。
更新手段70は、特定のタイミングの場合(S21でYes)、書き込み用メタデータ50にアクセスする(S22)。
更新手段70は、書き込み用メタデータ50に含まれる位置情報を用いて、読み出し用メタデータ60を更新する(S23)。
[具体例]
第2の実施形態の主な具体例を、図4に記載の構成図を用いながら説明する。
本具体例では、主に、アクセス手段40が外部装置20からデータ書き込み要求を受けた場合の処理と、アクセス手段40が外部装置20からデータ読み出し要求を受けた場合の処理と、更新手段70が行う更新処理について説明する。
はじめに、アクセス手段40が外部装置20からデータの書き込み要求を受けた場合の処理について、具体例を用いて説明する。
アクセス手段40は、外部装置20からデータの書き込み要求を受けると、記憶媒体30にデータを書き込み、当該データを書き込んだ位置を示す位置情報を、書き込み用メタデータ50に書き込む。
図6に、アクセス手段40が、位置情報を書き込んだ書き込み用メタデータ50の具体例を示す。
書き込み用メタデータ50は、論理アドレス51と物理アドレス52とを含む。
論理アドレス51とは、外部装置20が書き込み要求を行った位置を示す情報である。
物理アドレス52とは、記憶媒体30に格納されたデータの格納位置を示す情報である。なお、論理アドレス51及び物理アドレス52は、アドレス及びデータ量を用いて位置の情報を表現しても良い。例えば、論理アドレス51は、アドレス「AA」からYYバイトという情報で、位置を表現しても良いし、当該情報に対応する物理アドレス52は、「Disc1、アドレス2からYYバイト」という情報で、位置の情報を表現しても良い。なお、論理アドレス51及び物理アドレス52は、位置の情報を表現するものであれば、どのような手法を用いても構わない。また、位置情報は、物理アドレス52の情報でも良いし、物理アドレス52及びデータ量の情報でも良い。
具体的に、アクセス手段40は、外部装置20から、アドレス「ZZ」からXXバイト書き込むというデータの書き込み要求を受け、記憶媒体30の「Disc3、アドレス1」XXバイト書き込んだ場合、論理アドレス51には「ZZ」を、物理アドレス52には「Disc3、アドレス1」を書き込む。
次に、アクセス手段40が外部装置20からデータ読み出し要求を受けた場合の処理について、具体例を用いて説明する。
アクセス手段40は、外部装置20からデータ読み出し要求を受けると、読み出し用メタデータ60にアクセスし、当該読み出し用メタデータ60に含まれる位置情報を参照し、読み出し要求に対応するデータの、記憶媒体30における位置を特定する。
図7に、読み出し用メタデータ60の具体例を示す。
読み出し用メタデータ60は、論理アドレス61と物理アドレス62とを含む。
論理アドレス61とは、外部装置20が読み出し要求を行うアドレスを示す情報である。
物理アドレス62とは、記憶媒体30に格納されたデータの格納位置を示すアドレスの情報である。なお、論理アドレス61及び物理アドレス62も、論理アドレス51及び物理アドレス52と同様に、アドレス及びデータ量を用いて位置の情報を表現しても良い。
具体的に、アクセス手段40は、外部装置20から、アドレス「AA」からYYバイト読み出す、というデータの読み出し要求を受けると、読み出し用メタデータ60の論理アドレス61及び物理アドレス62を参照する。アクセス手段40は、論理アドレス61及び物理アドレス62を参照した結果、アドレス「AA」に対応するデータは、記憶媒体30における「Disc1、アドレス2」という位置に格納されていることを特定する。アクセス手段40は、「Disc1、アドレス2」からYYバイト読み出し、当該データを外部装置20へ送信する。
次に、更新手段70が行う更新処理について、具体例を用いて説明する。
更新手段70は、書き込み用メタデータ50及び読み出し用メタデータ60にアクセスし、読み出し用メタデータ60に含まれる位置情報を更新する処理を行う。本具体例では、更新処理の一例として、前回の更新時から、新たに書き込み用メタデータ50に書き込まれた位置情報を、差分として、読み出し用メタデータ60に追加する処理について説明する。
図8に、更新処理の概念図を示す。図8に示す更新処理の概念図は、上半分に、書き込み用メタデータ50の概念図を示し、下半分に、読み出し用メタデータ60の概念図を示す。また、図8に示す概念図では、更新処理について、3つのステップを用いて説明する。図8に示す概念図において、上半分に記載のステップ1と下半分に記載のステップ1とは、同様の時刻を示す。
ステップ1では、書き込み用メタデータ50の概念図及び読み出し用メタデータ60の概念図が、同一の位置情報を含むことを示す。
ここで、ステップ2において、アクセス手段40が、書き込み用メタデータ50に対して、新たな位置情報を書き込んだとする。当該新たな位置情報を、新たな位置情報80と呼称する。ステップ2を参照すると、書き込み用メタデータ50の概念図に、新たな位置情報80が追加されたことがわかる。なお、ステップ2の時点では、読み出し用メタデータ60に対して、新たな位置情報80は追加されていない。従って、ステップ2の時点では、外部装置20から、新たな位置情報80に対応するデータの読み出し要求があったとしても、新たな位置情報80に対応するデータを読み出すことはできない。なお、ステップ2の時点であっても、新たな位置情報80以前のデータについては、読み出すことが可能である。
ステップ3では、更新手段70が更新処理を行い、新たな位置情報80が読み出し用メタデータ60に追加された具体例を示す。ステップ3に示す書き込み用メタデータ50の概念図及び読み出し用メタデータ60の概念図は、同一の位置情報を含むことを示す。
なお、アクセス手段40は、所望の位置情報を検索する際、新たな位置情報80から参照し、所望の位置情報が見つからない場合に、新たな位置情報80以外の位置情報を参照しても良い。
これにより、第2の実施形態に係る本願発明は、メタデータに対して効率良くアクセスすることができる。その理由は、書き込み用メタデータ50と読み出し用メタデータ60とを分けて管理することで、読み出し用メタデータ60において書き込み競合が発生するおそれが低下するからである。
また、第2の実施形態に係る本願発明は、更新手段70が更新処理を行い、読み出し用メタデータ60に含まれる位置情報をアップデートすることで、外部装置20は新しく記憶媒体30に記憶されたデータを読み出すことができる。なお、読み出し用メタデータ60に含まれる位置情報は、その性質上、すでに記憶媒体30へのデータの書き込みが終了しているデータの位置を示す。従って、読み出し用メタデータ60に含まれる位置情報を用いてデータの読み出しを行なった場合、記憶媒体30に書き込み中のデータを読み出すことはない。つまり、本願発明は、リアルタイムのデータを蓄積するような技術分野に適用したとしても、書き込等によりリアルタイムで値が変化してしまうようなデータを読み出すことを防ぐことができる。当該構成は、気象予報、過去の株価の動向分析、又は商品の売れ筋分析等のような、データを蓄積しつつも、過去に蓄積されたデータを分析する技術において、特に効果がある。
更に、第2の実施形態に係る本願発明は、アクセス手段40と、読み出し用メタデータ60とを複数含むため、効率的に、外部装置20からの読み出し要求に応えることができる。
なお、1つの読み出し用メタデータ60に対して、複数のアクセス手段40が、同時に位置情報の読み出しを行なった場合、メタデータを格納するメモリ等が有するバス(メタデータにアクセスする為の手段)の帯域が圧迫され、当該メタデータの読み出し性能が低下する可能性がある。しかし、第2の実施形態に係る本願発明は、読み出し用メタデータ60を複数含むため、当該メタデータの読み出し性能の低下を防ぐことができる。
なお、本具体例における書き込み用メタデータ50の説明として、読み出し用メタデータ60と同一の位置情報を含むと説明したが、本願発明はこれに限定されるわけではない。例えば、更新手段70は、書き込み用メタデータ50に含まれる位置情報を読み出し用メタデータ60に追加した後、当該追加した位置情報を書き込み用メタデータ50から削除しても良い。こうすることで、書き込み用メタデータ50の容量を削減することができる。
なお、本実施形態では、メタデータがストレージ装置10に含まれる実施形態を説明したが、本願発明はこれに限られない。例えば、書き込み用のメタデータ50を含むサーバと、読み出し用のメタデータ60を含む複数のサーバとが、単一の記憶媒体に接続された情報処理システムでも良い。この場合、各サーバ間は、ネットワークで接続され、記憶媒体に対しては、PCIe(Peripheral Component Interconnect−Express)等のような、高速なインターフェースで接続することで、実現可能である。
なお、ストレージ装置10は、更に、キャッシュを含んでも良い。例えば、外部装置20から読み出し要求を受けると、記憶媒体30からキャッシュへ対象のデータが送信され、当該キャッシュから、アクセス手段40へ対象のデータが送信されるという構成でも良い。
[プログラム]
本願発明におけるプログラムは、コンピュータに、本願発明の処理を実行させるプログラムである。このプログラムをコンピュータにインストールし、実行することによって、本願発明を実現することができる。
ここで、本願発明におけるプログラムを実行することによって、本願発明を実現するコンピュータについて図11を用いて説明する。
図11は、本願発明実現するコンピュータの一例を示すブロック図である。
図11に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
CPU111は、記憶装置113に格納された、本願発明におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本願発明におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本願発明におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113は、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、入力機器118との間のデータ伝送を仲介する。入力機器118とは、例えば、キーボード及びマウス並びにタッチパネル等が挙げられる。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、又はフレキシブルディスク(Flexible Disk)等の磁気記憶媒体が挙げられる。更に、記録媒体120の具体例としては、CD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体も挙げられる。
<第1の変形例>
本願発明の第2の実施形態における第1の変形例について、図面を用いて説明する。なお、第2の実施形態と同様の説明については省略する。
図9は、第1の変形例におけるストレージ装置11の構成を示す図である。
図9に示すとおり、第1の変形例におけるストレージ装置11は、第2の実施形態と異なり、読み出し用メタデータ60を1つ含む。
アクセス手段40は、外部装置20から読み出し要求を受けると、読み出し用メタデータ60に含まれる位置情報を参照し、記憶媒体30から、読み出し要求に対応するデータを読み出す。
メタデータに対してデータを書き込む際は、書き込み競合が発生するため、排他制御等が行われ、当該メタデータに対して効率良くアクセスをすることができないが、メタデータに対してデータを読み出す際は、競合は発生しないため、排他制御等は行われない。従って、第1の変形例におけるストレージ装置11は、読み出し用メタデータ60を1つ含む構成であっても、メタデータに対して効率良くアクセスすることができる。
なお、複数のアクセス手段40が、1つの読み出し用メタデータ60に対して同時に位置情報の読み出しを行なった場合、メタデータが有するバス(メタデータにアクセスする為の手段)の帯域が圧迫され、当該メタデータの読み出し性能が低下するおそれがある。従って、本願発明は、メタデータの読み出し性能が低下しない範囲で、読み出し用メタデータ60の個数を設定することが望ましい。
<第2の変形例>
本願発明の第2の実施形態における第2の変形例について、図面を用いて説明する。なお、第2の実施形態と同様の説明については省略する。
図10は、第2の変形例におけるストレージ装置12の構成を示す図である。
図10に示すとおり、第2の変形例におけるストレージ装置12は、アクセス手段40の代わりに、書き込み用アクセス手段200と、読み出し用アクセス手段220と、読み出し用アクセス手段240とを含む。また、第2の変形例におけるストレージ装置12は、書き込み用メタデータ50の代わりに、書き込み用メタデータ210を含む。更に、第2の変形例におけるストレージ装置12は、読み出し用メタデータ60の代わりに、読み出し用メタデータ230と、読み出し用メタデータ250とを含む。
書き込み用アクセス手段200は、外部装置20から書き込み要求を受けると、記憶媒体30にデータを書き込み、当該データを書き込んだ位置を示す位置情報を、書き込み用メタデータ210に書き込む。
読み出し用アクセス手段220は、外部装置20から読み出し要求を受けると、読み出し用メタデータ230に含まれる位置情報を参照し、記憶媒体30から、読み出し要求に対応するデータを読み出す。
読み出し用アクセス手段240は、外部装置20から読み出し要求を受けると、読み出し用メタデータ250に含まれる位置情報を参照し、記憶媒体30から、読み出し要求に対応するデータを読み出す。
このように、第2の変形例では、書き込み用メタデータにアクセスする手段と、読み出し用メタデータにアクセスする手段とが、それぞれ分けられて構成されている。また、アクセス手段とメタデータとが、用途に応じて、それぞれ組として構成されている。具体的に、第2の変形例では、書き込み用アクセス手段200及び書き込み用メタデータ210の組と、読み出し用アクセス手段220及び読み出し用メタデータ230の組と、読み出し用アクセス手段240及び読み出し用メタデータ250の組との3つの組で構成されている。なお、第2の変形例では、ストレージ装置12が3つの組を含む構成で説明したが、本願はこれに限られない。
このように、アクセス手段とメタデータとが、用途に応じて組として構成されているため、第2の変形例におけるストレージ装置12は、メタデータにアクセスするアクセス手段を1つに限定することができる。つまり、第2の変形例におけるストレージ装置12は、メタデータにアクセスするアクセス手段を1つに限定することにより、1つのメタデータに対して複数のアクセス手段がアクセスすることを防ぐことができる。
ここまで、本願発明を実施するための形態を説明してきたが、本願発明は上述した実施形態に限定されるものではない。例えば、本明細書で記載したフローチャートにおける処理の順序はあくまでも一例に過ぎず、本願発明を実施する際に矛盾のない範囲で変更する事が可能である。また、本明細書で記載した構成はあくまでも一例に過ぎず、本願発明を実施する際に矛盾のない範囲で構成を変更する事が可能である。即ち、本願発明は、本願発明を実施する際に矛盾のない範囲で当業者が理解し得る様々な態様を適用することができ、上記各実施形態の変形例や、その組合せ等も、本願発明の技術的範囲に含まれる。
[付記]
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
データを格納する記憶媒体と、
前記記憶媒体にデータを書き込む処理及び前記記憶媒体からデータを読み出す処理を行う複数のアクセス手段と、
前記複数のアクセス手段が、前記記憶媒体にデータを書きこんだ位置を示す位置情報を含む第1のメタデータを格納する第1の格納手段と、
前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する第2の格納手段と、を含み、
前記複数のアクセス手段は、前記第2のメタデータを用いて前記記憶媒体からデータを読み出す、
ストレージ。
(付記2)
前記複数のアクセス手段のうち、前記記憶媒体にデータを書き込むアクセス手段は、前記記憶媒体にデータを書きこんだ場合、当該記憶媒体にデータを書き込んだ位置を示す位置情報を、第1のメタデータに書き込む、
付記1に記載のストレージ。
(付記3)
前記複数のアクセス手段のうち、前記記憶媒体にデータを書き込むアクセス手段は、前記記憶媒体において、既にデータが記憶されている位置とは異なる位置にデータを書き込む、
付記1又は2に記載のストレージ。
(付記4)
前記第1のメタデータにおける位置情報を用いて、前記第2のメタデータに含まれる位置情報を更新する更新手段を更に含む、
付記1乃至3のいずれか1項に記載のストレージ。
(付記5)
前記更新手段は、前記第1のメタデータにおける位置情報を、前記第2のメタデータに含まれる位置情報にコピーする、
付記4に記載のストレージ。
(付記6)
前記更新手段は、前回の更新時から、前記第1のメタデータに新たに書き込まれた位置情報を、差分として、前記第2のメタデータに追加する、
付記4に記載のストレージ。
(付記7)
前記更新手段は、前記新たに書き込まれた位置情報を前記第2のメタデータ及び前記第3のメタデータに追加した場合、前記新たに書き込まれた位置情報を前記第1のメタデータから削除する、
付記6に記載のストレージ。
(付記8)
前記記憶媒体におけるデータの格納位置を示す位置情報を含む第3のメタデータを格納する第3の格納手段を更に含み、
前記複数のアクセス手段は、前記第2のメタデータ又は第3のメタデータを用いて前記記憶媒体からデータを読み出す、
付記1乃至7のいずれか1項に記載のストレージ。
(付記9)
付記1乃至8のいずれか1項に記載のストレージと、
1以上のコンピュータとを含み、
前記複数のアクセス手段のうち、第1のアクセス手段は、前記コンピュータからデータの書き込み要求を受けると、前記記憶媒体にデータを書き込み、
前記複数のアクセス手段のうち、第2のアクセス手段は、前記コンピュータからデータの読み出し要求を受けると、前記記憶媒体にデータを書き込む、
情報処理システム。
(付記10)
データを格納する記憶媒体と、
前記記憶媒体にデータを書き込む第1のサーバと、
前記記憶媒体からデータを読み出す第2のサーバと、
前記第1のサーバは、前記第1のサーバが前記記憶媒体にデータを書き込んだ位置を示す位置情報を含む第1のメタデータを格納し、
前記第2のサーバは、前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納し、当該第2のメタデータを用いて前記記憶媒体からデータを読み出す、
情報処理システム。
(付記11)
前記更新手段は、前記新たに書き込まれた位置情報を前記第2のメタデータ及び前記第3のメタデータに追加した場合、前記新たに書き込まれた位置情報を前記第1のメタデータから削除する、
付記7に記載のストレージ。
(付記12)
データを格納する記憶媒体と、
前記記憶媒体にデータを書き込む第1のアクセス手段と、
前記記憶媒体からデータを読み出す第2のアクセス手段と、
前記第1のアクセス手段が前記記憶媒体にデータを書き込んだ位置を示す位置情報を含む第1のメタデータを格納する第1の格納手段と、
前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する第2の格納手段と、を含み、
前記第2のアクセス手段は、前記第2のメタデータを用いて前記記憶媒体からデータを読み出す、
ストレージ。
1 ストレージ
2 記憶媒体
3 第1のアクセス手段
4 第2のアクセス手段
5 第1の格納手段
6 第2の格納手段
10 ストレージ装置
20 外部装置
30 記憶媒体
40 アクセス手段
50 書き込み用メタデータ
51 論理アドレス
52 物理アドレス
60 読み出し用メタデータ
61 論理アドレス
62 物理アドレス
70 更新手段
80 新たな位置情報
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
200 書き込み用アクセス手段
210 書き込み用メタデータ
220 読み出し用アクセス手段
230 読み出し用メタデータ
240 読み出し用アクセス手段
250 読み出し用メタデータ

Claims (10)

  1. データを格納する記憶媒体と、
    前記記憶媒体にデータを書き込む処理及び前記記憶媒体からデータを読み出す処理を行う複数のアクセス手段と、
    前記複数のアクセス手段が、前記記憶媒体にデータを書きこんだ位置を示す位置情報を含む第1のメタデータを格納する第1の格納手段と、
    前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納する第2の格納手段と、を含み、
    前記複数のアクセス手段は、前記第2のメタデータを用いて前記記憶媒体からデータを読み出す、
    ストレージ。
  2. 前記複数のアクセス手段のうち、前記記憶媒体にデータを書き込むアクセス手段は、前記記憶媒体にデータを書きこんだ場合、当該記憶媒体にデータを書き込んだ位置を示す位置情報を、第1のメタデータに書き込む、
    請求項1に記載のストレージ。
  3. 前記複数のアクセス手段のうち、前記記憶媒体にデータを書き込むアクセス手段は、前記記憶媒体において、既にデータが記憶されている位置とは異なる位置にデータを書き込む、
    請求項1又は2に記載のストレージ。
  4. 前記第1のメタデータにおける位置情報を用いて、前記第2のメタデータに含まれる位置情報を更新する更新手段を更に含む、
    請求項1乃至3のいずれか1項に記載のストレージ。
  5. 前記更新手段は、前記第1のメタデータにおける位置情報を、前記第2のメタデータに含まれる位置情報にコピーする、
    請求項4に記載のストレージ。
  6. 前記更新手段は、前回の更新時から、前記第1のメタデータに新たに書き込まれた位置情報を、差分として、前記第2のメタデータに追加する、
    請求項4に記載のストレージ。
  7. 前記更新手段は、前記新たに書き込まれた位置情報を前記第2のメタデータ及び前記第3のメタデータに追加した場合、前記新たに書き込まれた位置情報を前記第1のメタデータから削除する、
    請求項6に記載のストレージ。
  8. 前記記憶媒体におけるデータの格納位置を示す位置情報を含む第3のメタデータを格納する第3の格納手段を更に含み、
    前記複数のアクセス手段は、前記第2のメタデータ又は第3のメタデータを用いて前記記憶媒体からデータを読み出す、
    請求項1乃至7のいずれか1項に記載のストレージ。
  9. 請求項1乃至8のいずれか1項に記載のストレージと、
    1以上のコンピュータとを含み、
    前記複数のアクセス手段のうち、第1のアクセス手段は、前記コンピュータからデータの書き込み要求を受けると、前記記憶媒体にデータを書き込み、
    前記複数のアクセス手段のうち、第2のアクセス手段は、前記コンピュータからデータの読み出し要求を受けると、前記記憶媒体にデータを書き込む、
    情報処理システム。
  10. データを格納する記憶媒体と、
    前記記憶媒体にデータを書き込む第1のサーバと、
    前記記憶媒体からデータを読み出す第2のサーバと、
    前記第1のサーバは、前記第1のサーバが前記記憶媒体にデータを書き込んだ位置を示す位置情報を含む第1のメタデータを格納し、
    前記第2のサーバは、前記記憶媒体におけるデータの格納位置を示す位置情報を含む第2のメタデータを格納し、当該第2のメタデータを用いて前記記憶媒体からデータを読み出す、
    情報処理システム。
JP2018183046A 2018-09-28 2018-09-28 ストレージ及び情報処理システム。 Active JP7310110B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018183046A JP7310110B2 (ja) 2018-09-28 2018-09-28 ストレージ及び情報処理システム。

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018183046A JP7310110B2 (ja) 2018-09-28 2018-09-28 ストレージ及び情報処理システム。

Publications (2)

Publication Number Publication Date
JP2020052852A true JP2020052852A (ja) 2020-04-02
JP7310110B2 JP7310110B2 (ja) 2023-07-19

Family

ID=69997345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018183046A Active JP7310110B2 (ja) 2018-09-28 2018-09-28 ストレージ及び情報処理システム。

Country Status (1)

Country Link
JP (1) JP7310110B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01243143A (ja) * 1988-03-24 1989-09-27 Fujitsu Ltd 順編成ファイルシステムにおけるレコード追加方式
JPH03217972A (ja) * 1990-01-24 1991-09-25 Hitachi Ltd ファイル検索装置
JP2002149466A (ja) * 2000-11-14 2002-05-24 Hitachi Ltd ファイル共有システム
JP2004152136A (ja) * 2002-10-31 2004-05-27 Matsushita Electric Ind Co Ltd データ更新システム、データ更新システムの差分データ生成装置及びプログラム、並びに更新後ファイル復元装置及びプログラム
JP2006338461A (ja) * 2005-06-03 2006-12-14 Hitachi Ltd 電子的なファイルの記憶を制御するシステム及び方法
US20090271418A1 (en) * 2008-04-28 2009-10-29 Vmware, Inc. Computer file system with path lookup tables
JP2010009390A (ja) * 2008-06-27 2010-01-14 Aisin Aw Co Ltd ナビゲーション装置及びデータベース更新プログラム
JP2018018133A (ja) * 2016-07-25 2018-02-01 富士通株式会社 情報処理装置、ストリームストレージ制御プログラム、及びインデックスデータ参照方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01243143A (ja) * 1988-03-24 1989-09-27 Fujitsu Ltd 順編成ファイルシステムにおけるレコード追加方式
JPH03217972A (ja) * 1990-01-24 1991-09-25 Hitachi Ltd ファイル検索装置
JP2002149466A (ja) * 2000-11-14 2002-05-24 Hitachi Ltd ファイル共有システム
JP2004152136A (ja) * 2002-10-31 2004-05-27 Matsushita Electric Ind Co Ltd データ更新システム、データ更新システムの差分データ生成装置及びプログラム、並びに更新後ファイル復元装置及びプログラム
JP2006338461A (ja) * 2005-06-03 2006-12-14 Hitachi Ltd 電子的なファイルの記憶を制御するシステム及び方法
US20090271418A1 (en) * 2008-04-28 2009-10-29 Vmware, Inc. Computer file system with path lookup tables
JP2010009390A (ja) * 2008-06-27 2010-01-14 Aisin Aw Co Ltd ナビゲーション装置及びデータベース更新プログラム
JP2018018133A (ja) * 2016-07-25 2018-02-01 富士通株式会社 情報処理装置、ストリームストレージ制御プログラム、及びインデックスデータ参照方法

Also Published As

Publication number Publication date
JP7310110B2 (ja) 2023-07-19

Similar Documents

Publication Publication Date Title
US11099769B1 (en) Copying data without accessing the data
US10089012B1 (en) Zero on demand operations based on zeroed chunk tables of storage drive objects stored in main memory
US9996542B2 (en) Cache management in a computerized system
JP6304406B2 (ja) ストレージ装置、プログラム、情報処理方法
CN108459826B (zh) 一种处理io请求的方法及装置
US10176190B2 (en) Data integrity and loss resistance in high performance and high capacity storage deduplication
US20180307620A1 (en) Persistent memory for key-value storage
US8595451B2 (en) Managing a storage cache utilizing externally assigned cache priority tags
US7657572B2 (en) Selectively utilizing a plurality of disparate solid state storage locations
US20090132621A1 (en) Selecting storage location for file storage based on storage longevity and speed
US9116904B2 (en) File system operation on multi-tiered volume
US10496290B1 (en) Method and system for window-based churn handling in data cache
WO2014053094A1 (en) Management of data using inheritable attributes
US9778927B2 (en) Storage control device to control storage devices of a first type and a second type
US7899989B2 (en) Method and system for using a block allocation policy
US11099768B2 (en) Transitioning from an original device to a new device within a data storage array
US20070106868A1 (en) Method and system for latency-directed block allocation
JP2018106545A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US8151068B2 (en) Data copy management for faster reads
JP2019028954A (ja) ストレージ制御装置、プログラム、及び重複排除方法
CN101477447A (zh) 磁盘快照方法与装置
EP3264254A1 (en) System and method for a simulation of a block storage system on an object storage system
US11010091B2 (en) Multi-tier storage
US20230409217A1 (en) Contiguous data storage using group identifiers
US10430287B2 (en) Computer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210816

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230220

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230301

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151