JP2019204527A - 記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体 - Google Patents

記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2019204527A
JP2019204527A JP2019128721A JP2019128721A JP2019204527A JP 2019204527 A JP2019204527 A JP 2019204527A JP 2019128721 A JP2019128721 A JP 2019128721A JP 2019128721 A JP2019128721 A JP 2019128721A JP 2019204527 A JP2019204527 A JP 2019204527A
Authority
JP
Japan
Prior art keywords
storage device
data
position information
memory
update data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019128721A
Other languages
English (en)
Other versions
JP7215971B2 (ja
Inventor
井▲い▼ 馬
Jingwei Ma
井▲い▼ 馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2019204527A publication Critical patent/JP2019204527A/ja
Application granted granted Critical
Publication of JP7215971B2 publication Critical patent/JP7215971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0676Magnetic disk device

Abstract

【課題】記憶機器の処理性能を高める記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】記憶機器のデータ位置の処理方法は、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、履歴データ及びその対応する位置情報が記憶機器に対応して記憶されるステップ101と、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込むステップ102と、第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶するステップ103と、を含む。完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。【選択図】図1

Description

本願は、記憶技術の分野に関し、詳しく言えば、記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体に関する。
スペース管理は記憶システムの重要な部分であり、従来のスペース管理方式としては、スペース割り当て情報を記憶するために記憶システム内で専用の記憶領域を区画し、スペースマッピング関係が変更されると当該領域のスペース割り当て情報も変更される。
既存のスペース管理方式はランダム書き込みを導入し、記憶システムのIOを追加するので、記憶システムの全体的なスループットを低下させ、記憶システムの処理性能に影響を与える。
したがって、記憶スペースをどのように効果的に管理することは、解決すべき技術的課題である。
本願は、従来技術の処理性能が低いなどの欠陥を解決するために、記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体を提供する。
本願の第1態様にて提供される記憶機器のデータ位置の処理方法は、
機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、前記履歴データ及びその対応する位置情報が前記記憶機器に対応して記憶され、前記第1位置情報セットはデータ位置情報のセットを示すために用いられるステップと、
前記記憶機器に更新データが存在する場合、前記記憶機器における前記更新データに対応して記憶された更新データの位置情報を前記メモリに書き込むステップと、
前記第1位置情報セット及び前記更新データの位置情報に応じて、前記メモリ内に第2位置情報セットを生成し、且つ前記記憶機器に記憶するステップとを含む。
本願の第2の態様にて提供される記憶機器のデータ位置の処理装置は、
機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込むために用いられ、前記履歴データ及びその対応する位置情報が前記記憶機器に対応して記憶され、前記第1位置情報セットはデータ位置情報のセットを示す第1処理モジュールと、
前記記憶機器に更新データが存在する場合、前記記憶機器における前記更新データに対応して記憶された更新データの位置情報を前記メモリに書き込むための第2処理モジュールと、
前記第1位置情報セット及び前記更新データの位置情報に応じて、前記メモリ内に第2位置情報セットを生成し、且つ前記記憶機器に記憶するための生成モジュールとを含む。
本願の第3の態様にて提供されるコンピュータ機器は、少なくとも1つのプロセッサとストレージを含み、
前記ストレージにコンピュータプログラムが記憶されており、前記少なくとも1つのプロセッサは、前記ストレージに記憶されたコンピュータプログラムを実行して、上記第1態様に係る記憶機器のデータ位置の処理方法を実現する。
本願の第4の態様にて提供されるコンピュータ読み取り可能な記憶媒体は、コンピュータプログラムが記憶されており、前記コンピュータプログラムが実行されると上記第1態様に係る記憶機器のデータ位置の処理方法を実現する。
本願に係る記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体は、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らすことで再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させてしまっているという問題が解決される。
本願の実施形態又は従来技術の技術的解決手段についてより明確に説明するために、以下に実施形態又は従来技術の記述に対して必要な図面を用いて簡潔に説明を行う。当然ながら、以下に記載する図面は本願の実施形態の一部にすぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づき他の図面を想到し得る。これらの図面によって、本願の明確な実施形態を示し、後文でさらに詳しく説明する。これらの図面及び文字による説明はいずれかの方式によって本開示の構想の範囲を制限するためのものではなく、特定の実施形態を参照することにより当業者に本願の概念を説明するためのものである。
本願の一実施形態に係る記憶機器のデータ位置の処理方法のフローチャートである。 本願の別の実施形態に係るユーザ操作ログ及びスナップショットの対応関係の概略図である。 本願の一実施形態に係る記憶機器のデータ位置の処理装置の構造概略図である。 本願の一実施形態に係るコンピュータ機器の構造概略図である。
本願の実施形態の目的、技術的解決手段及び利点をさらに明確にするために、以下本願の実施形態の図面を参照しながら、本願の実施形態の技術的解決手段について説明する。当然ながら、記載された実施形態は本願の一部に実施形態にすぎず、全ての実施形態を示すものではない。本願の実施形態に基づき、当業者であれば創造的な労力を要さずに想到し得る他の実施形態は、いずれも本願の技術的範囲に属する。
まず本願に係る名詞について解釈する。「記憶機器」とは、磁気ディスク、データベース、ハードディスクなどのメモリに対してデータを永続的に記憶できるコンピュータの外部ストレージを指す。「位置情報セット」とは、ユーザデータが記憶されている記憶スペースの位置情報のセットを指し、位置情報はスペース割り当て情報とも呼ばれ、具体的には物理アドレス、論理アドレス及び物理アドレスと論理アドレスとのマッピング関係などの情報を含んでもよく、具体的には実際の需要に応じて設置されてもよい。「機器の再起動」とは、上記記憶機器を含むコンピュータ機器の再起動を指す。
また、用語「第1」、「第2」などは目的を記述するためのものであり、相対的な重要性を指示又は暗示するもの又は指示された技術的特徴の数を意図するものではない。以下の各実施形態の説明では、特に断りがない限り、用語「複数」は2つ以上である。
以下のこれらの具体的な実施形態は互いに組み合わせてもよく、同じ又は類似の概念又は過程についていくつかの実施形態では繰り返し説明しない。以下、図面を参照しながら、本発明の実施形態について説明する。
本願の実施形態に係る記憶機器のデータ位置の処理方法は、単一のコンピュータ機器の記憶機器のスペース管理に適用可能であり、また分散システムのデータ同期にも適用可能である。分散システムは、1つのマスタノード及び1つ又は複数のスレーブノードを含んでもよく、各ノードの記憶システムに記憶機器のデータ位置の処理装置(以下、装置と略称する)が設置されてもよい。マスタノードがユーザの操作コマンド(操作コマンドは操作タイプ及び操作のユーザデータを含んでもよく、操作タイプは書き込み、更新などを含む)を受信するとき、マスタノードの装置により、ユーザの操作コマンドに応じて、raft(ログ一致性)プロトコルにしたがって第1ログ(第1ログは今回の操作の操作時間及び操作のユーザデータを含んでもよい)を生成し、且つ各スレーブノード及びマスタノード自体に送信し、各ノード(マスタノード及び各スレーブノードを含む)が第1ログを受信した後、そのうちの1つのノードを例にとり、ノードの装置により、第1ログからユーザの操作コマンドを解析し、且つメモリからユーザデータのスペース割り当て情報を取得し、ユーザデータのスペース割り当て情報を第1ログに含まれる情報と共に第2のログに生成し、すなわち第2のログは、操作時間、ユーザデータのスペース割り当て情報及びユーザデータを含む。第2のログを記憶機器(例えば磁気ディスク)においてユーザデータのスペース割り当て情報に対応する領域に書き込むことができる。ユーザ操作ごとのログをリアルタイムで記憶機器に書き込んで記憶し、このようにして、記憶機器にユーザ操作ログをリアルタイムで記録する。スペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
<実施形態1>
本実施形態は記憶機器のデータ位置の処理方法を提供し、記憶機器のデータの位置情報に対して該当する処理を行うために用いられる。本実施形態の実行主体は記憶機器のデータ位置の処理装置であり、記憶機器のデータ位置の処理装置は記憶機器が含まれるコンピュータ機器に設置されてもよい。
図1は本実施形態に係る記憶機器のデータ位置の処理方法のフローチャートであり、記憶機器のデータ位置の処理方法は、ステップ101と、ステップ102と、ステップ103とを含む。
ステップ101において、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、履歴データ及びその対応する位置情報が記憶機器に対応して記憶され、第1位置情報セットはデータ位置情報のセットを示すために用いられる。
具体的には、機器の再起動とは、上記記憶機器を含むコンピュータ機器の再起動を指す。すなわちコンピュータ機器が故障、正常なシャットダウン、人為的な再起動要求などで再起動する必要がある場合である。再起動時、メモリに現在完全な位置情報、すなわち現在割り当てられたすべての記憶スペースのスペース割り当て情報を構築する必要があり、記憶機器に履歴データの第1位置情報セットを記憶している。選択的に、第1位置情報セットは、コンピュータ機器が正常に動作しているとき、特定のトリガメカニズム(例えば周期的)にしたがって、メモリにおける現在完全な位置情報に対してスナップショット又はバックアップなどの処理を実行することで取得され、且つ記憶機器に書き込まれるものであり得る。
コンピュータ機器が正常に動作しているとき、メモリに現在完全な位置情報が記憶されており、メモリにおけるスペース割り当て情報が動的に更新され、記憶機器のデータ位置の処理装置は粒度割り当てスペースを予め設定し、且つ新たに割り当てられたスペース割り当て情報をリアルタイムでメモリに記憶でき、これによりメモリにおけるスペース割り当て情報の完全性を保証する。したがって、新たなユーザが操作する場合、メモリから新たなユーザデータの記憶位置を取得でき、これにより新たなユーザデータを対応する記憶位置に書き込み、或いは、ユーザが既存データを読み取る場合、メモリからユーザが読み取るデータの記憶位置を取得でき、これにより対応する記憶位置でユーザが読み取るデータをユーザに読み取る。
再起動時、記憶機器のデータ位置の処理装置は記憶機器から第1位置情報セットをメモリに読み取ることができるが、再起動前にあるトリガメカニズムに到達したときに第1位置情報セットが生成されるので、生成後、更新データが記憶機器に記憶される可能性もあり、この部分の更新データの位置情報を第1位置情報セットから取得できないので、他の方式で更新データの位置情報を取得する必要がある。
履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
ステップ102において、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込む。
具体的には、再起動前にあるトリガメカニズムに到達したときに第1位置情報セットが生成されるので、生成後、更新データが記憶機器に記憶される可能性もあり、この部分の更新データの位置情報を第1位置情報セットから取得できないので、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込む。
選択的に、コンピュータ機器が正常に動作しているとき、ユーザのデータ操作ごとに、ユーザ操作ログが記録され、且つ記憶機器に記憶される。すなわちユーザ操作ログは上記履歴データを記憶機器に書き込む操作情報(具体的には操作時間情報、履歴データの位置情報及び履歴データを含んでもよい)を含み、また更新データを記憶機器に書き込む操作情報(具体的には操作時間情報、更新データの位置情報及び更新データを含んでもよい)をも含み、したがって、ログロールバック(又はログスキャンとも呼ばれる)によってユーザ操作ログから更新データの位置情報を取得できる。具体的なログロールバック方式は従来技術であり、本実施形態では繰り返し説明しない。
履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。
ステップ103において、第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。
具体的には、履歴データの第1位置情報セット及び更新データの位置情報を取得した後、第1位置情報セット及び更新データの位置情報に応じてメモリ内に第2位置情報セットを生成でき、すなわち完全な位置情報をメモリ内に構築し、後続のユーザ操作のために対応する記憶位置の位置情報を迅速に提供し、且つ第2位置情報セットを記憶機器に記憶でき、例えばスナップショット方式で記憶機器に記憶するか、又はバックアップ方式で記憶機器に記憶するなどがある。
本実施形態に係る記憶機器のデータ位置の処理方法は、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させていたという問題が解決される。
<実施形態2>
本実施形態は実施形態1に係る記憶機器のデータ位置の処理方法についてさらに補足説明する。
実施可能な形態として、上記実施形態1に加えて、選択的に、記憶機器のデータ位置の処理方法はさらに、設定時間に達するたびに、メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ記憶機器に記憶し、メモリにおける現在の既存の位置情報には現在の前回設定時間に達したときに生成した位置情報セットに含まれる位置情報及び現在の前回設定時間に達した後に更新した位置情報を含むステップを含んでもよい。
具体的には、記憶機器に記憶された第2位置情報セットを定期的に更新し、更新した位置情報セットを生成し、且つ記憶機器に記憶できる。すなわち位置情報セット更新のトリガメカニズムは時間である。具体的には、例えば5分間ごとに1回更新し、10分間ごとに1回更新するなどのように一定の時間間隔を設定でき、具体的な時間間隔は実際の需要に応じて設置されてもよく、本実施形態ではこれについて限定しない。設定時間に達するたびに、1回更新する。コンピュータ機器が正常に動作しているとき、メモリに現在完全な位置情報がリアルタイムで記憶されているので、メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ記憶機器に記憶できる。ただし、メモリにおける現在の既存の位置情報に現在の前回設定時間に達したときに生成した位置情報セットに含まれる位置情報及び現在の前回設定時間に達した後に更新した位置情報を含む。
選択的に、更新した位置情報セットについて、毎回生成した位置情報セットを記憶機器に記憶してもよい。
選択的に、記憶スペースを節約するために、最新更新した位置情報セットのみを記憶してもよく、すなわち更新した位置情報セットが生成されると、記憶機器に記憶された位置情報セットを更新した位置情報セットに置き換える。
例示的には、再起動時に第2位置情報セットを生成し、1回目に設定時間に達したとき、1回目に更新した位置情報セットを生成し、すると1回目に更新した位置情報セットを記憶機器に記憶して第2位置情報セットを削除するか、又は第2位置情報セットを直接カバーする。2回目に設定時間に達したとき、2回目に更新した位置情報セットを生成し、すると記憶スペースに2回目に更新した位置情報セットを記憶し、1回目に更新した位置情報セットを解放する。これに準じて類推して逐次更新する。
選択的に、再起動ごとに、今回の再起動前に最後に更新した位置情報セットはすなわち今回の再起動時に記憶機器から読み取ってメモリに書き込む必要がある第1位置情報セットである。このように往復して、逐次更新することで、スペース割り当て情報の完全性を保証する。
別の実施可能な形態として、上記実施形態1に加えて、選択的に、記憶機器のデータ位置の処理方法はさらに、記憶機器に新たなデータが書き込まれると、メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ記憶機器に記憶し、メモリにおける現在の既存の位置情報には新たなデータを書き込む前の位置情報及び新たなデータの位置情報を含むステップを含んでもよい。
具体的には、位置情報セット更新のトリガメカニズムは記憶機器に新たなデータが書き込まれることであり、更新した位置情報セットの具体的な生成過程は上記時間トリガメカニズムの生成過程と類似するので、ここでは説明を省略する。
選択的に、さらに具体的に書き込まれる新たなデータのサイズや書込み回数を設定し、これによってトリガメカニズムを限定してもよい。例えば記憶機器に新たなデータが書き込まれ、且つ書き込み回数が5回であると判断する場合、更新した位置情報セットを生成し、記憶機器に新たなデータが書き込まれ、且つ書き込まれた新たなデータのサイズが予め設定された閾値を超えると判断する場合、更新した位置情報セットを生成するなどのように、具体的に書き込まれた新たなデータのサイズ又は書き込み回数を設置することで、トリガメカニズムを限定してもよく、本実施形態ではこれについて限定しない。
さらに別の実施可能な形態として、上記実施形態1に加えて、選択的に、記憶機器のデータ位置の処理方法はさらに、履歴データを記憶機器に書き込む操作情報、及び更新データを記憶機器に書き込む操作情報を含むユーザ操作ログを記録するステップを含んでもよい。
具体的には、コンピュータ機器が正常に動作しているとき、ユーザデータ操作ごとに、ユーザ操作ログが記録され、且つ記憶機器に記憶される。すなわちユーザ操作ログは上記履歴データを記憶機器に書き込む操作情報(具体的には操作時間情報、履歴データの位置情報及び履歴データを含んでもよい)を含み、また更新データを記憶機器に書き込む操作情報(具体的には操作時間情報、更新データの位置情報及び更新データを含んでもよい)も含み、したがって、ログロールバック(又はログスキャンとも呼ばれる)によってユーザ操作ログから更新データの位置情報を取得できる。具体的なログロールバック方式は従来技術であり、本実施形態では繰り返し説明しない。
選択的に、更新データを記憶機器に書き込む操作情報は操作時間情報、更新データの位置情報及び更新データを含んでもよい。対応して、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込むステップは、ユーザ操作ログにおける、更新データを記憶機器に書き込む操作情報をスキャンし、更新データの位置情報をメモリに書き込むことを含んでもよい。
具体的には、第1位置情報セットの生成時間と操作時間情報との比較に基づき、どの時点の後のユーザ操作ログが更新データであるかを確定し、これによりスキャンすべきユーザ操作ログ部分を確定する。
選択的に、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込む前に、記憶機器のデータ位置の処理方法はさらに、記録した第1位置情報セットに対応するユーザ操作ログのログシーケンス番号に応じて、記憶機器に更新データが存在するか否かを判断するステップを含んでもよい。
具体的には、位置情報セット(第2位置情報セット及び更新した各位置情報セットを含む)を生成するたびに、位置情報セットに対応するユーザ操作ログのログシーケンス番号を記録し、すなわち後でログをスキャンして更新データの位置情報を取得する必要がある場合、ユーザ操作ログのどの部分がスキャンされたかを知るように、どのログシーケンス番号が開始する前の位置情報から位置情報セットを生成するかを記録し、すなわち位置情報セットに対応するログシーケンス番号によって履歴データと更新データを区別できる。ユーザ操作ログにおいて位置情報セットに対応するログシーケンス番号の後に新たなログを生成すると、新たなデータが記憶機器に書き込まれたことが証明される。
選択的に、第2位置情報セットを記憶機器に書き込むステップは、具体的には、第2位置情報セットをスナップショット方式で記憶機器に書き込み、すなわち第2位置情報をスナップショットし、且つスナップショットを記憶機器に書き込むことを含んでもよい。具体的にはスナップショットする具体的な操作は従来技術を採用してもよく、ここでは説明を省略する。
選択的に、毎回更新した位置情報セットについても、スナップショット方式で記憶機器に書き込んでもよいが、ここでは説明を省略する。
選択的に、さらにバックアップのような他の方式で各位置情報セットを記憶してもよい。すなわち定期的に、又は一定量の更新データが存在する時、現在の既存の位置情報をバックアップし、同様に従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決できる。
なお、本願の各実施形態では、履歴データと更新データが相対的であり、第1位置情報セットにとっては、第1位置情報セットの生成時刻を境界線とし、生成時刻の前にあるのは履歴データであり、生成時刻の後にあるのは更新データである。再起動時に取得した第1位置情報セットは、また再起動前に最後に生成した更新した位置情報セットであるため、位置情報セット(第2位置情報セット及び更新した位置情報セットを含む)を生成するたびに、すなわち位置情報セットと相対的である履歴データを生成し、その後に記憶機器に書き込まれたログ部分はすなわち更新データに対応するログである。
以下では、記憶機器を磁気ディスクとして例に挙げて説明する。コンピュータ機器が、例えば操作タイプが書き込み及び書き込み対象のユーザデータを含む書き込み操作コマンドのようなユーザの操作コマンドを受信した場合、コンピュータ機器の装置は書き込み操作コマンドを取得した後、raftプロトコルにしたがって今回の書き込み操作の操作時間情報及び書き込み対象のユーザデータを含む第1ログを生成し、装置はメモリから現在のスペース割り当て情報、すなわち書き込み対象のユーザデータに対応する目標位置情報を取得し、装置は書き込み対象のユーザデータに対応する位置情報を第1ログに含まれる操作時間情報及び書き込み対象のユーザデータと共に第2のログに生成し、目標位置情報に対応する記憶領域に書き込む。すなわちユーザデータの位置情報をユーザデータと共にユーザ操作ログとして記録して磁気ディスクに書き込む。上記過程により、ユーザデータが逐次書き込まれ、これにより磁気ディスク内のユーザ操作ログが逐次更新される。ユーザ操作ログを記録する過程では、並行して一定のトリガメカニズムにしたがって、例えば定期的に、メモリにおける現在の既存の位置情報を位置情報セット(例えば第2位置情報セット又は更新した位置情報セット)に生成し、且つスナップショット、バックアップなどの方式で位置情報セットを記憶してもよく、又はメモリにおける現在の既存の位置情報を定期的にスナップショットし、且つスナップショットを磁気ディスクに書き込んでもよい。且つスナップショットポイント(スナップショットする時刻)に対応するログシーケンス番号を記録し、すなわちユーザ操作ログにおいてどのログシーケンス番号前のユーザデータの位置情報がスナップショットされたかを記録する。このように記憶したスナップショット、すなわち磁気ディスクにある時刻が記憶された当時、記憶スペースが既に割り当てられたすべてのスペース割り当て情報を定期的に逐次更新する。N回目にスナップショットした後、様々な要因でコンピュータ機器を再起動する必要がある場合、メモリにおけるスペース割り当て情報が失われ、コンピュータ機器が再起動したとき、完全なスペース割り当て情報をメモリ内に再構築する必要があり、装置は磁気ディスクからN回目のスナップショットを読み取ることができ、すなわち上記第1位置情報セットを取得し、履歴データの位置情報を取得し、N回目にスナップショットした後、新たなユーザ操作がある可能性もあるので、装置はN回目のスナップショットに対応するログシーケンス番号に応じて、磁気ディスクに更新データが存在するか否かを判断でき、N回目のスナップショットに対応するログシーケンス番号の後に新たなログシーケンス番号、すなわち新たなログがある場合、磁気ディスクに更新データが存在すると確定し、装置はログをスキャンするか又はログをロールバックし、N回目のスナップショットに対応するログシーケンス番号部分までスキャン又はロールバックを停止し、これにより更新データの位置情報を取得することができる。
履歴データの位置情報及び更新データの位置情報を取得した後、この2つの部分の位置情報に応じて完全なスペース割り当て情報をメモリ内に再構築でき、すなわち第2位置情報セットを生成する。第2位置情報セットをスナップショットして磁気ディスクに書き込むことができる。且つ継続して上記過程により、ユーザ操作ログを磁気ディスクに記録しながら、メモリにおける既存の位置情報を定期的にスナップショットして磁気ディスクに書き込み、このように循環して操作し、以降の説明を省略する。
図2は、本実施形態に係るユーザ操作ログ及びスナップショットの対応関係の概略図である。ただし、時間はすなわち操作時間情報であり、位置はすなわち位置情報であり、データはすなわちユーザデータであり、図中ではそれぞれ略記している。スナップショットポイントがログシーケンス番号3の後であれば、スナップショットはログシーケンス番号1〜3に対応するユーザデータの位置情報をスナップショットすることを示し、スナップショットポイントがログシーケンス番号3に対応すると記録してもよい。当然ながら、他の方式で記録してもよく、ここでは例示的に説明するものであり、限定するものではない。ユーザ操作ログにはまた、操作のユーザ(ユーザ名、ユーザ番号など)、操作タイプ(書き込み、読み取りなど)などの他の情報も含むことができる。
ここでは例示的に説明するものであり、再起動から次の再起動までの過程について、更新した位置情報セット又は更新スナップショットを生成するトリガメカニズムは任意の実施可能なメカニズムであり得、具体的には実際の需要に応じて設置してもよい。位置情報セットの記憶方式について、スナップショット、バックアップなどの任意の実施可能な方式でもよい。
なお、本実施形態で実施可能な各形態は別々に実施されてもよく、又は矛盾がない場合には任意の組み合わせで組み合わせて実施されてもよく、本願はこれについて限定しない。
本実施形態に係る記憶機器のデータ位置の処理方法は、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
<実施形態3>
本実施形態は上記実施形態1の記憶機器のデータ位置の処理方法を実行するための記憶機器のデータ位置の処理装置を提供する。
図3は、本実施形態に係る記憶機器のデータ位置の処理装置の構造概略図である。記憶機器のデータ位置の処理装置30は、第1処理モジュール31と、第2処理モジュール32と、生成モジュール33とを含む。
ただし、第1処理モジュール31は、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込むために用いられ、履歴データ及びその対応する位置情報が記憶機器に対応して記憶され、第1位置情報セットはデータ位置情報のセットを示すために用いられる。第2処理モジュール32は、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込む。生成モジュール33は、第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。
本実施形態における装置について、各モジュールが操作を実行する具体的な方式は記憶機器のデータ位置の処理方法に関連する実施形態において詳細に述べられたので、ここでは詳細な説明を省略する。
本実施形態に係る記憶機器のデータ位置の処理装置によれば、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
<実施形態4>
本実施形態は上記実施形態2に係る記憶機器のデータ位置の処理方法を実行するように、上記実施形態3に係る装置についてさらに補足説明する。
実施可能な形態として、上記実施形態3に加えて、選択的に、生成モジュールは、さらに、設定時間に達するたびに、メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ記憶機器に記憶してもよく、メモリにおける現在の既存の位置情報には現在の前回設定時間に達したときに生成した位置情報セットに含まれる位置情報及び現在の前回設定時間に達した後に更新した位置情報を含んでもよい。
別の実施可能な形態として、上記実施形態3に加えて、選択的に、生成モジュールは、さらに、記憶機器に新たなデータが書き込まれると、メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ記憶機器に記憶するために用いられてもよく、メモリにおける現在の既存の位置情報には新たなデータを書き込む前の位置情報及び新たなデータの位置情報を含んでもよい。
さらに別の実施可能な形態として、上記実施形態3に加えて、選択的に、第2処理モジュールは、さらに、履歴データを記憶機器に書き込む操作情報、及び更新データを記憶機器に書き込む操作情報を含むユーザ操作ログを記録するために用いられる。
選択的に、更新データを記憶機器に書き込む操作情報は操作時間情報、更新データの位置情報及び更新データを含み、対応して、第2処理モジュールは、ユーザ操作ログにおける、更新データを記憶機器に書き込む操作情報をスキャンし、更新データの位置情報をメモリに書き込むために用いられる。
選択的に、第2処理モジュールは、さらに、記録した第1位置情報セットに対応するユーザ操作ログのログシーケンス番号に応じて、記憶機器に更新データが存在するか否かを判断するために用いられる。
選択的に、生成モジュールは、第2位置情報セットをスナップショットし、且つ記憶機器に書き込むために用いられる。
本実施形態における装置について、各モジュールが操作を実行する具体的な方式は、記憶機器のデータ位置の処理方法に関連する実施形態において詳細に述べられたので、ここでは詳細な説明を省略する。
なお、本実施形態で実施可能な各形態は別々に実施されてもよく、又は矛盾がない場合には任意の組み合わせで組み合わせて実施されてもよく、本願はこれについて限定しない。
本実施形態に係る記憶機器のデータ位置の処理装置によれば、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
<実施形態5>
本実施形態は上記実施形態に係る記憶機器のデータ位置の処理方法を実行するためのコンピュータ機器を提供する。
図4は、本実施形態に係るコンピュータ機器の構造概略図である。コンピュータ機器50は、少なくとも1つのプロセッサ51と、ストレージ52とを含む。
ストレージはコンピュータプログラムを記憶する。少なくとも1つのプロセッサは上記実施形態に係る記憶機器のデータ位置の処理方法を実現するようにストレージに記憶されたコンピュータプログラムを実行する。
本実施形態のコンピュータ機器によれば、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
<実施形態6>
本実施形態はコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが実行される時上記いずれかの実施形態に係る記憶機器のデータ位置の処理方法を実現する。
本実施形態のコンピュータ読み取り可能な記憶媒体によれば、機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、記憶機器に更新データが存在する場合、記憶機器における更新データに対応して記憶された更新データの位置情報をメモリに書き込み、且つ第1位置情報セット及び更新データの位置情報に応じて、メモリ内に第2位置情報セットを生成し、且つ記憶機器に記憶する。履歴データの第1位置情報セット及びログから取得した更新データの位置情報を組み合わせることによって、完全な位置情報をメモリ内に迅速に構築でき、スペース割り当て情報の完全性を保証するだけでなく、またIOを減らす上で再起動速度を高める。履歴データ及びその対応する位置情報を記憶機器に対応して記憶し、すなわちスペース割り当て情報をユーザデータと共にログに書き込んで記憶することで、IO回数を効果的に減らし、従来技術ではスペース割り当て情報とユーザデータを別々に記憶するので、追加のIOを導入しやすく、これにより記憶システムの性能を低下させるという問題を解決する。
本願によって提供されるいくつかの実施形態において、理解すべきは、指摘する装置及び方法は、他の形態でも実現できることである。例えば、以上で説明した装置の実施形態は単なる概略的なものであり、例えば、ユニットの区分は、単なる論理機能の区分であって、実際に実現する際には別の区分方式が可能であり、例えば複数のユニット又はアセンブリは結合し、又は他のシステムに集積でき、又はいくつかの特徴は無視してもよく、又は実行しないようにすることができる。また、表示又は討論する相互間の結合、又は直接結合、又は通信接続は、いくつかのインタフェース、装置、又はユニットの間接結合、又は通信によって接続でき、電気、機械、又は他の形式であってもよい。
分離部品として説明したユニットは、物理的に分離しても、或いは分離しなくてもよく、ユニットとして表示する部品は物理ユニットであっても、又は物理ユニットでなくてもよく、すなわち同一の場所に位置することができ、又は複数のネットワークユニットに配置することもできる。実際の必要に応じて、その一部又はすべてのユニットを選択して、本実施形態の手段の目的を実現することができる。
その他、本願の各実施形態における各機能ユニットは、同一の処理ユニットに集積することができ、各ユニットは独立して物理的に実在することもでき、2つ、或いは2つ以上のユニットを1つのユニットに集積することもできる。集積した上記ユニットは、ハードウェアの形式で実現でき、ハードウェアとソフトウェア機能ユニットを組み合わせる形式による実現も可能である。
集積したユニットは、ソフトウェア機能ユニットの形式で実現し、1つのコンピュータ読み取り可能な記憶媒体に記憶できる。上記ソフトウェア機能ユニットは1つの記憶媒体に記憶され、それは1台のコンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい)又はプロセッサ(processor)が、本願の各実施形態における記憶機器のデータ位置の処理方法のステップの一部を実行するための複数のコマンドを含む。前述した記憶媒体は、プログラムコードを記憶できるUディスク、モバイルハードディスク、読み出し専用メモリ(Read−Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクなどの各種の媒体を含む。
当業者であれば明らかに認識できるように、説明を容易且つ簡潔にするために、上記各機能モジュールの区分のみを例に説明しており、実際の応用において、必要に応じて上記機能の配分を異なる機能モジュールで達成することができ、すなわち装置の内部構造を異なる機能モジュールに区分し、それによって以上で説明されたすべて又は一部の機能を完了する。上記説明する装置の具体的な動作過程は、前述の記憶機器のデータ位置の処理方法の実施形態における対応する過程を参照することができ、ここでは説明を省略する。
最後に説明すべきこととして、以上の各実施形態は本願の実施形態の技術的解決手段の説明にすぎず、それを限定するものではない。前述した各実施形態を参照して本願の実施形態について詳細に説明したが、当業者には明らかなように、依然として前述した各実施形態に記載の技術的解決手段を変更し、又は技術的特徴の一部又はすべてについて等価の置換を行うことができる。これらの変更又は等価の置換は、対応する技術的解決手段の本質を本願の実施形態の技術的解決手段の範囲から逸脱させるものではない。

Claims (16)

  1. 記憶機器のデータ位置の処理方法であって、
    機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込み、前記履歴データ及びその対応する位置情報が前記記憶機器に対応して記憶され、前記第1位置情報セットはデータ位置情報のセットを示すために用いられるステップと、
    前記記憶機器に更新データが存在する場合、前記記憶機器における前記更新データに対応して記憶された更新データの位置情報を前記メモリに書き込むステップと、
    前記第1位置情報セット及び前記更新データの位置情報に応じて、前記メモリ内に第2位置情報セットを生成し、且つ前記記憶機器に記憶するステップとを含むことを特徴とする記憶機器のデータ位置の処理方法。
  2. 設定時間に達するたびに、前記メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ前記記憶機器に記憶し、前記メモリにおける現在の既存の位置情報には現在の前回設定時間に達したときに生成した位置情報セットに含まれる位置情報及び現在の前回設定時間に達した後に更新した位置情報を含むステップをさらに含むことを特徴とする請求項1に記載の記憶機器のデータ位置の処理方法。
  3. 前記記憶機器に新たなデータが書き込まれると、前記メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ前記記憶機器に記憶し、前記メモリにおける現在の既存の位置情報には新たなデータを書き込む前の位置情報及び前記新たなデータの位置情報を含むステップをさらに含むことを特徴とする請求項1に記載の記憶機器のデータ位置の処理方法。
  4. 前記履歴データを前記記憶機器に書き込む操作情報、及び前記更新データを前記記憶機器に書き込む操作情報を含むユーザ操作ログを記録するステップをさらに含むことを特徴とする請求項1〜請求項3のいずれか1項に記載の記憶機器のデータ位置の処理方法。
  5. 前記更新データを前記記憶機器に書き込む操作情報は操作時間情報、前記更新データの位置情報及び前記更新データを含み、
    これに対応して、前記記憶機器における前記更新データに対応して記憶された更新データの位置情報を前記メモリに書き込むステップは、
    前記ユーザ操作ログにおける、前記更新データを前記記憶機器に書き込む操作情報をスキャンし、前記更新データの位置情報を前記メモリに書き込むステップを含むことを特徴とする請求項4に記載の記憶機器のデータ位置の処理方法。
  6. 前記記憶機器における前記更新データに対応して記憶された更新データの位置情報を前記メモリに書き込む前に、
    記録した前記第1位置情報セットに対応する前記ユーザ操作ログのログシーケンス番号に応じて、前記記憶機器に更新データが存在するか否かを判断するステップをさらに含むことを特徴とする請求項5に記載の記憶機器のデータ位置の処理方法。
  7. 第2位置情報セットを前記記憶機器に記憶するステップは、
    前記第2位置情報セットをスナップショットし、且つ前記記憶機器に書き込むことを含むことを特徴とする請求項1に記載の記憶機器のデータ位置の処理方法。
  8. 機器の再起動時、記憶機器に記憶された履歴データの第1位置情報セットをメモリに書き込むために用いられ、前記履歴データ及びその対応する位置情報が前記記憶機器に対応して記憶され、前記第1位置情報セットはデータ位置情報のセットを示す第1処理モジュールと、
    前記記憶機器に更新データが存在する場合、前記記憶機器における前記更新データに対応して記憶された更新データの位置情報を前記メモリに書き込むための第2処理モジュールと、
    前記第1位置情報セット及び前記更新データの位置情報に応じて、前記メモリ内に第2位置情報セットを生成し、且つ前記記憶機器に記憶するための生成モジュールと、を含むことを特徴とする記憶機器のデータ位置の処理装置。
  9. 前記生成モジュールは、さらに、
    設定時間に達するたびに、前記メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ前記記憶機器に記憶するために用いられ、前記メモリにおける現在の既存の位置情報には現在の前回設定時間に達したときに生成した位置情報セットに含まれる位置情報及び現在の前回設定時間に達した後に更新した位置情報を含むことを特徴とする請求項8に記載の記憶機器のデータ位置の処理装置。
  10. 前記生成モジュールは、さらに、
    前記記憶機器に新たなデータが書き込まれると、前記メモリにおける現在の既存の位置情報に応じて、更新した位置情報セットを生成し、且つ前記記憶機器に記憶するために用いられ、前記メモリにおける現在の既存の位置情報には新たなデータを書き込む前の位置情報及び前記新たなデータの位置情報を含むことを特徴とする請求項8に記載の記憶機器のデータ位置の処理装置。
  11. 前記第2処理モジュールは、さらに、
    前記履歴データを前記記憶機器に書き込む操作情報、及び前記更新データを前記記憶機器に書き込む操作情報を含むユーザ操作ログを記録するために用いられることを特徴とする請求項8〜請求項10のいずれか1項に記載の記憶機器のデータ位置の処理装置。
  12. 前記更新データを前記記憶機器に書き込む操作情報は操作時間情報、前記更新データの位置情報及び前記更新データを含み、
    これに対応して、前記第2処理モジュールは、具体的には、
    前記ユーザ操作ログにおける、前記更新データを前記記憶機器に書き込む操作情報をスキャンし、前記更新データの位置情報を前記メモリに書き込むために用いられることを特徴とする請求項11に記載の記憶機器のデータ位置の処理装置。
  13. 前記第2処理モジュールは、さらに、
    記録した前記第1位置情報セットに対応する前記ユーザ操作ログのログシーケンス番号に応じて、前記記憶機器に更新データが存在するか否かを判断するために用いられることを特徴とする請求項11に記載の記憶機器のデータ位置の処理装置。
  14. 前記生成モジュールは、具体的には、
    前記第2位置情報セットをスナップショットし、且つ前記記憶機器に書き込むために用いられることを特徴とする請求項8に記載の記憶機器のデータ位置の処理装置。
  15. 少なくとも1つのプロセッサとストレージを含み、
    前記ストレージにコンピュータプログラムが記憶されており、前記少なくとも1つのプロセッサは、前記ストレージに記憶されたコンピュータプログラムを実行して、請求項1〜請求項7のいずれか1項に記載の記憶機器のデータ位置の処理方法を実現することを特徴とするコンピュータ機器。
  16. コンピュータプログラムが記憶されており、前記コンピュータプログラムが実行されると請求項1〜請求項7のいずれか1項に記載の記憶機器のデータ位置の処理方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2019128721A 2018-07-16 2019-07-10 記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体 Active JP7215971B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810779464.5 2018-07-16
CN201810779464.5A CN109117086B (zh) 2018-07-16 2018-07-16 存储设备数据位置的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2019204527A true JP2019204527A (ja) 2019-11-28
JP7215971B2 JP7215971B2 (ja) 2023-01-31

Family

ID=64862168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019128721A Active JP7215971B2 (ja) 2018-07-16 2019-07-10 記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体

Country Status (3)

Country Link
US (1) US10990312B2 (ja)
JP (1) JP7215971B2 (ja)
CN (1) CN109117086B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732679A (zh) * 2021-01-20 2021-04-30 维沃移动通信有限公司 数据迁移方法、装置、电子设备及可读存储介质
CN114063930B (zh) * 2021-11-25 2024-03-26 新华三大数据技术有限公司 一种非易失性内存介质数据更新方法和装置
CN115857826B (zh) * 2022-12-27 2023-09-22 铭派技术开发有限公司 一种船舶工控软件数据存储显示系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049418A (ja) * 1996-08-02 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ジャーナルデータの反映方法及び装置と、冗長構成形計算機システム
JP2004062759A (ja) * 2002-07-31 2004-02-26 Hitachi Ltd データベースログの管理方法、その装置およびそのプログラム
US6983295B1 (en) * 2002-10-24 2006-01-03 Unisys Corporation System and method for database recovery using a mirrored snapshot of an online database
JP2007200114A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd データベース回復方法及び計算機システム
JP2008033967A (ja) * 2007-10-15 2008-02-14 Hitachi Ltd 外部記憶装置及び外部記憶装置のデータ回復方法並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005050386A2 (en) * 2003-11-13 2005-06-02 Commvault Systems, Inc. System and method for performing a snapshot and for restoring data
US7849361B2 (en) * 2005-12-22 2010-12-07 Emc Corporation Methods and apparatus for multiple point in time data access
EP2118756A4 (en) * 2008-03-01 2010-12-15 Toshiba Kk MEMORY SYSTEM
US8200922B2 (en) * 2008-12-17 2012-06-12 Netapp, Inc. Storage system snapshot assisted by SSD technology
JP5376983B2 (ja) * 2009-02-12 2013-12-25 株式会社東芝 メモリシステム
US8306950B2 (en) * 2010-08-26 2012-11-06 International Business Machines Corporation Managing data access requests after persistent snapshots
CN102184145B (zh) * 2011-05-13 2013-04-17 杭州华三通信技术有限公司 重启数据不丢失方法及装置
US10318495B2 (en) * 2012-09-24 2019-06-11 Sandisk Technologies Llc Snapshots for a non-volatile device
CN104854566B (zh) * 2012-10-19 2018-05-04 慧与发展有限责任合伙企业 崩溃恢复的方法和系统
CN103514260B (zh) * 2013-08-13 2016-12-28 中国科学技术大学苏州研究院 内存日志文件系统及其实现方法
CN107665255B (zh) * 2017-09-30 2020-12-15 杭州时趣信息技术有限公司 键值数据库数据变更的方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049418A (ja) * 1996-08-02 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ジャーナルデータの反映方法及び装置と、冗長構成形計算機システム
JP2004062759A (ja) * 2002-07-31 2004-02-26 Hitachi Ltd データベースログの管理方法、その装置およびそのプログラム
US6983295B1 (en) * 2002-10-24 2006-01-03 Unisys Corporation System and method for database recovery using a mirrored snapshot of an online database
JP2007200114A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd データベース回復方法及び計算機システム
JP2008033967A (ja) * 2007-10-15 2008-02-14 Hitachi Ltd 外部記憶装置及び外部記憶装置のデータ回復方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐藤 孝治 外: "ログ構造化ファイルシステムNILFSの設計と実装", コンピュータシステム・シンポジウム論文集, vol. 第2008巻第12号, JPN6020038177, 5 November 2008 (2008-11-05), JP, pages 125 - 134, ISSN: 0004714546 *

Also Published As

Publication number Publication date
CN109117086A (zh) 2019-01-01
US20190317686A1 (en) 2019-10-17
JP7215971B2 (ja) 2023-01-31
CN109117086B (zh) 2021-09-21
US10990312B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
CN106407040B (zh) 一种远程数据复制方法及系统
KR101602312B1 (ko) 데이터 송신 방법, 데이터 수신 방법, 및 저장 장치
JP4324616B2 (ja) ストレージシステムにおけるデータ処理方法
US20190196728A1 (en) Distributed storage system-based data processing method and storage device
US20070276884A1 (en) Method and apparatus for managing backup data and journal
US20070277012A1 (en) Method and apparatus for managing backup data and journal
JP2019204527A (ja) 記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体
CN111880956B (zh) 一种数据同步方法和装置
JP2007241486A (ja) 記憶装置システム
CN107329704B (zh) 一种缓存镜像方法及控制器
US20170277439A1 (en) Techniques for Path Optimization in Storage Networks
CN109189326B (zh) 分布式集群的管理方法和装置
CN109726211B (zh) 一种分布式时序数据库
JPWO2015087509A1 (ja) 状態保存復元装置、状態保存復元方法、および、プログラム
CN108304144B (zh) 数据写入、读取方法与系统、数据读写系统
CN111966531B (zh) 数据快照方法、装置、计算机设备及存储介质
US20210223957A1 (en) Storage apparatus and storage control method
CN115955488B (zh) 基于副本冗余的分布式存储副本跨机房放置方法与装置
KR102123701B1 (ko) 네트워크 부트 시스템
JP6376626B2 (ja) データ格納方法、データストレージ装置、及びストレージデバイス
CN111752892A (zh) 分布式文件系统及其实现方法、管理系统、设备及介质
CN108271420B (zh) 管理文件的方法、文件系统和服务器系统
CN112346913B (zh) 数据恢复方法、装置、设备及存储介质
US20220413733A1 (en) mon service migration method, apparatus, and device, and readable storage medium
CN112988708A (zh) 版本更新方法及装置、计算机可读存储介质、处理器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211210

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211221

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220104

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220304

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220308

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220426

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220816

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221206

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230104

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230119

R150 Certificate of patent or registration of utility model

Ref document number: 7215971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150