JP2004326638A - Cache unification mechanism between nas devices - Google Patents

Cache unification mechanism between nas devices Download PDF

Info

Publication number
JP2004326638A
JP2004326638A JP2003123141A JP2003123141A JP2004326638A JP 2004326638 A JP2004326638 A JP 2004326638A JP 2003123141 A JP2003123141 A JP 2003123141A JP 2003123141 A JP2003123141 A JP 2003123141A JP 2004326638 A JP2004326638 A JP 2004326638A
Authority
JP
Japan
Prior art keywords
data
nas
cache
client
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003123141A
Other languages
Japanese (ja)
Inventor
健一 ▲筑▼地
Kenichi Tsukiji
Naoto Matsunami
直人 松並
Yusuke Nonaka
裕介 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003123141A priority Critical patent/JP2004326638A/en
Publication of JP2004326638A publication Critical patent/JP2004326638A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To eliminate the disadvantage that, conventionally, when a server carries out failover due to a fault before data from a client is reflected on an HDD, rewriting of the data from the client is required, that periodic fault detection is conducted between servers, and that much time is thus required for detection. <P>SOLUTION: The cache unification mechanism has DAFS in file access and unifies cache on a server to hold data, and comprises a means of executing rewriting the data on the server on the occurrence of a fault. Thus, even if the DAFS device is down by a fault before the data from the client is reflected on a HDD, an application does not detect an abnormality after failover is carried out and can ensure the consistency of the data. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、複数のNAS装置が1つのファイルシステムを共有するクラスタシステムにおいてクライアントからのファイルアクセスとファイルアクセス後の障害の発生に伴うフェイルオーバー実施後のデータ保障に関する。
【0002】
【従来の技術】
複数のNAS装置が1つのファイルシステムを共有するクラスタシステムでは、クライアントからファイルアクセスを行った時にファイルシステムのメタデータをサーバ間で共有し、データの整合性を保持している。NAS装置の障害は、NAS装置間で定期的に状態のチェックを行うことで検出している。障害発生によるフェイルオーバー時には、正常なNAS装置が障害の発生したNAS装置のネットワーク情報を引継ぐ事で継続してクライアントからのアクセスを可能にする(非特許文献1、非特許文献2)。
【0003】
【非特許文献1】
“クラスタ構成フェイルオーバーによる高可用性ソリューション”、〔online〕、ネットワークアプライアンス(Network Appliance)、〔2003年2月12日検索〕、インターネット<URL:http://www−jp.netapp.com/products/filer/clustered.html>
【非特許文献2】
“Linuxクラスタリングへの招待”、〔online〕、アットマーク・アイティ、〔2003年2月12日検索〕、インターネット<URL:http://www.atmarkit.co.jp/flinux/rensai/cluster02/cluster02.html>
【0004】
【発明が解決しようとする課題】
従来技術では、クライアントからNAS装置に対してファイルへの書込みを行い、そのデータをNAS装置上のメモリにキャッシュした場合、ファイルに対するメタデータの更新のみ行われる。その結果、NAS装置に障害が発生するとデータは失われる為、フェイルオーバー後に再度クライアントから同じファイルに対してデータの書込みが必要になる。
【0005】
また、NAS装置の状態を定期的にチェックし障害を検出する必要があり、そのための処理を実施しているため、NAS装置で発生した障害の検出に時間がかかりクライアントでの処理が停止する可能性が生じる。
【0006】
本発明の目的は、NAS装置間で実施するフェイルオーバー時間を低減すると同時にデータをNAS装置間で共有する、また、クライアント上で実施する処理への影響を低減させることで高速かつ影響の少ないフェイルオーバー処理を実現するものである。
【0007】
【課題を解決するための手段】
上記目的を達成するためにクライアントとNAS装置とのファイルのアクセスにDAFSプロトコルを使用し、クライアントからのデータをNAS装置上にキャッシュする際にNAS装置間で共有するためのNAS装置間キャッシュ一元化機構を有する。
【0008】
【発明の実施の形態】
図1は、本発明を適用したNASサーバの実施形態を示した図である。以下、xは任意の整数を表す。
【0009】
NASサーバ1は、DAFSサーバ10、ファイルシステム20及びDAFSサーバキャッシュ一元化機構100を有する。DAFSサーバ10はDAFSクライアントとDAFSプロトコルで接続されるプロトコルインタフェースである。ファイルシステム20はファイルをHDD上で管理するシステムである。DAFSサーバキャッシュ一元化機構100は、DAFSサーバ10が受領したデータなどをNASサーバ1間で共有する仕組みを有する。
【0010】
図2はキャッシュ一元化機構をVIアーキテクチャ200で関連付けた図である。NASサーバ1のメモリ30をVIアーキテクチャ200で関連付けデータを一元化する。データを受領したDAFSサーバ10はVIアーキテクチャ200によってマッピングされているDAFSサーバ10のメモリ30にデータをコピーする。
【0011】
図3はキャッシュ一元化方式をメモリ二重書きシステム300で実施した図である。データを受領したDAFSサーバ10はメモリ二重書きシステム300にデータ転送要求する事で両方のDAFSサーバ10のメモリ30にデータを転送する。
【0012】
図4はNASサーバ1間で共有メモリ400を実装した図である。共有メモリ400のあるエリアを両方のNASサーバ1で仮想メモリとして割り当て、データを受領する事で一元化を行う。
【0013】
図5はNASサーバ1間での管理情報を示した図である。MHには各NASサーバ1でのアドレス空間の識別子を示し、Validは有効/無効を示す。Validが有効の場合、メモリ30上にデータが存在する。
【0014】
図6はNASサーバ1間でのデータを共有する為のデータ書込み処理1001のシーケンスである。クライアントがデータを書込む為にNASサーバ1に書込み要求を実施するとNASサーバ1はそれを受信する為にクライアントから書込み要求1002を行う。クライアントから実際にデータが送信されるとNASサーバ1は、自NASサーバ1にデータを書込む為にメモリ書込み処理1003を行う。自NASサーバ1に書込まれたデータを共有するNASサーバ1にデータを送信する為に共有メモリデータ送信処理1004を行う。共有メモリをもつNASサーバ1からの完了を受領する為に完了報告受信1005を行う。完了報告を受けたNASサーバ1はクライアントにデータの書き込み要求の完了を報告する為にクライアントへ完了報告1006を行う。本来、受領したデータを受けたNASサーバ上に書込みが完了した時点でクライアントに報告する為、データを複数のNASサーバ間で共有できなかった事が可能にする点が従来方式と異なる点である。
【0015】
【発明の効果】
本発明によれば、クライアントからのデータをHDDに反映する前にDAFS装置が障害でダウンしてもフェイルオーバー実施後アプリケーションは異常を検出でずにデータの整合性を保障できる。
【図面の簡単な説明】
【図1】本発明を適用したシステムの実施形態の構成を示す図である。
【図2】本実施形態におけるVIアーキテクチャを使用した場合の構成を示す図である。
【図3】本実施形態におけるメモリ二重書きシステムを使用した場合の構成を示す図である。
【図4】本実施形態における共有メモリを使用した場合の構成を示す図である。
【図5】NAS装置間で共通して持つ情報を示す図である。
【図6】クライアントからデータを書込みした場合のNAS装置間で共有する処理を示したものである。
【符号の説明】
1…NASサーバ。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to file access from a client in a cluster system in which a plurality of NAS devices share one file system, and data security after a failover is performed due to occurrence of a failure after the file access.
[0002]
[Prior art]
In a cluster system in which a plurality of NAS devices share one file system, metadata of the file system is shared between servers when a file is accessed from a client, thereby maintaining data consistency. The failure of the NAS device is detected by periodically checking the status between the NAS devices. At the time of failover due to a failure, a normal NAS device takes over the network information of the failed NAS device to enable continuous access from a client (Non-Patent Documents 1 and 2).
[0003]
[Non-patent document 1]
"High Availability Solution by Cluster Configuration Failover", [online], Network Appliance, [Retrieved February 12, 2003], Internet <URL: http: // www-jp. netapp. com / products / filer / clustered. html>
[Non-patent document 2]
"Invitation to Linux Clustering", [online], Atmark IT, [searched February 12, 2003], Internet <URL: http: // www. atmarkit. co. jp / linux / rensai / cluster02 / cluster02. html>
[0004]
[Problems to be solved by the invention]
In the related art, when a client writes a file to a NAS device and caches the data in a memory on the NAS device, only the metadata of the file is updated. As a result, if a failure occurs in the NAS device, the data is lost. Therefore, after the failover, the client needs to write the data to the same file again.
[0005]
In addition, it is necessary to periodically check the status of the NAS device to detect a failure, and since processing for that is performed, it takes time to detect a failure that has occurred in the NAS device, and processing on the client may stop. Nature occurs.
[0006]
An object of the present invention is to reduce the failover time performed between NAS devices and at the same time to share data between the NAS devices, and to reduce the effect on processing performed on the client, thereby achieving a high-speed and less-failed failure. This is to realize over processing.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a cache unification mechanism between NAS devices for sharing files between NAS devices when using a DAFS protocol for accessing files between the client and the NAS device and caching data from the client on the NAS device. Having.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a diagram showing an embodiment of a NAS server to which the present invention is applied. Hereinafter, x represents an arbitrary integer.
[0009]
The NAS server 1 includes a DAFS server 10, a file system 20, and a DAFS server cache unification mechanism 100. The DAFS server 10 is a protocol interface connected to a DAFS client by the DAFS protocol. The file system 20 is a system for managing files on the HDD. The DAFS server cache unification mechanism 100 has a mechanism for sharing data and the like received by the DAFS server 10 between the NAS servers 1.
[0010]
FIG. 2 is a diagram in which the cache unification mechanism is associated with the VI architecture 200. The association data of the memory 30 of the NAS server 1 is unified by the VI architecture 200. The DAFS server 10 receiving the data copies the data to the memory 30 of the DAFS server 10 mapped by the VI architecture 200.
[0011]
FIG. 3 is a diagram in which the unified cache system is implemented in the memory dual writing system 300. The DAFS server 10 that has received the data transfers the data to the memory 30 of both DAFS servers 10 by requesting the dual memory writing system 300 to transfer the data.
[0012]
FIG. 4 is a diagram in which the shared memory 400 is mounted between the NAS servers 1. A certain area of the shared memory 400 is allocated as a virtual memory by both NAS servers 1, and the data is received so that the area is unified.
[0013]
FIG. 5 is a diagram showing management information between the NAS servers 1. MH indicates an identifier of an address space in each NAS server 1, and Valid indicates valid / invalid. When Valid is valid, data exists on the memory 30.
[0014]
FIG. 6 shows a sequence of a data writing process 1001 for sharing data between the NAS servers 1. When a client issues a write request to the NAS server 1 to write data, the NAS server 1 issues a write request 1002 from the client to receive it. When data is actually transmitted from the client, the NAS server 1 performs a memory write process 1003 to write data to the NAS server 1. A shared memory data transmission process 1004 is performed to transmit data written to the NAS server 1 to the NAS server 1 that shares the data. A completion report reception 1005 is performed to receive the completion from the NAS server 1 having the shared memory. The NAS server 1 that has received the completion report sends a completion report 1006 to the client to report the completion of the data write request to the client. The difference from the conventional method is that data is not shared among a plurality of NAS servers because the received data is reported to the client when writing is completed on the NAS server that received the data. .
[0015]
【The invention's effect】
According to the present invention, even if the DAFS device goes down due to a failure before the data from the client is reflected on the HDD, the application can detect the abnormality after the execution of the failover without fail detection and can guarantee data consistency.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of a system to which the present invention is applied.
FIG. 2 is a diagram illustrating a configuration when a VI architecture according to the present embodiment is used.
FIG. 3 is a diagram illustrating a configuration when a dual memory writing system according to the embodiment is used;
FIG. 4 is a diagram illustrating a configuration when a shared memory according to the present embodiment is used.
FIG. 5 is a diagram showing information shared by NAS devices.
FIG. 6 shows processing to be shared between NAS devices when data is written from a client.
[Explanation of symbols]
1. NAS server.

Claims (8)

複数のNAS装置間で共有するデータをキャッシュする能力を持つ機構。A mechanism that has the ability to cache data shared by multiple NAS devices. NASに対しファイルアクセスした時にDAFSプロトコルを使用し、その時にキャッシュを利用することを特徴とする請求項1記載の機構。2. The mechanism according to claim 1, wherein a DAFS protocol is used when a file is accessed to the NAS, and a cache is used at that time. 複数のNAS装置間でメモリとメモリを関連付けることを特徴とする請求項1記載の機構。The mechanism according to claim 1, wherein the memory is associated with the plurality of NAS devices. 複数のNAS装置間でメモリとメモリの関連付けをVIアーキテクチャを利用して行うことを特徴とする請求項1記載の機構。2. The mechanism according to claim 1, wherein the memory is associated between the plurality of NAS devices using a VI architecture. 複数のNAS装置間で関連付けられたメモリ間で同時に書込みを行うことを特徴とする請求項1記載の機構。The mechanism according to claim 1, wherein writing is performed simultaneously between memories associated with a plurality of NAS devices. NAS装置へ書込まれたデータを関連付けられたメモリとメモリの間でデータを移す手段を有することを特徴とする請求項1記載の機構。The mechanism of claim 1, further comprising means for transferring data written to the NAS device between associated memories. 前記キャッシュ一元化機構は、
あるNAS装置に障害が発生した場合にDAFSプロトコルによってフェイルオーバーを実現する手段を有することを特徴をする機構。
The cache unification mechanism includes:
A mechanism characterized by having means for realizing a failover by the DAFS protocol when a failure occurs in a certain NAS device.
更に前記キャッシュ一元化機構は、
フェイルオーバー後にフェイルオーバー先のNAS装置が書込みしたデータをファイルシステムに書込みする手段を有することを特徴をする機構。
Further, the cache unification mechanism includes:
A mechanism characterized by comprising means for writing data written by the failover destination NAS device to the file system after the failover.
JP2003123141A 2003-04-28 2003-04-28 Cache unification mechanism between nas devices Pending JP2004326638A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003123141A JP2004326638A (en) 2003-04-28 2003-04-28 Cache unification mechanism between nas devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003123141A JP2004326638A (en) 2003-04-28 2003-04-28 Cache unification mechanism between nas devices

Publications (1)

Publication Number Publication Date
JP2004326638A true JP2004326638A (en) 2004-11-18

Family

ID=33501113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003123141A Pending JP2004326638A (en) 2003-04-28 2003-04-28 Cache unification mechanism between nas devices

Country Status (1)

Country Link
JP (1) JP2004326638A (en)

Similar Documents

Publication Publication Date Title
US11588783B2 (en) Techniques for implementing IPV6-based distributed storage space
TWI431475B (en) Apparatus, system and method for memory mirroring and migration at home agent
JP3213766B2 (en) Replicate file update system
US9880753B2 (en) Write requests in a distributed storage system
US7941613B2 (en) Shared memory architecture
CN103119571B (en) For directory caching distribution and write strategy apparatus and method
US9830088B2 (en) Optimized read access to shared data via monitoring of mirroring operations
US10783121B2 (en) Techniques for optimizing data flows in hybrid cloud storage systems
JP4478321B2 (en) Storage system
US20100174863A1 (en) System for providing scalable in-memory caching for a distributed database
US9684597B1 (en) Distributed cache coherent shared memory controller integrated with a protocol offload network interface card
US10296485B2 (en) Remote direct memory access (RDMA) optimized high availability for in-memory data storage
US20150106468A1 (en) Storage system and data access method
US9910808B2 (en) Reflective memory bridge for external computing nodes
JP2006508459A (en) High-performance lock management for flash copy in n-way shared storage systems
JP2005535002A (en) Shared resource domain
US11762682B2 (en) Methods and systems for storing data in a distributed system using offload components with advanced data services
US20130297914A1 (en) Maintaining data coherence by using data domains
KR20230088215A (en) Distributed storage system
JP2004326638A (en) Cache unification mechanism between nas devices
US20080147933A1 (en) Dual-Channel Network Storage Management Device And Method
US10372638B2 (en) Interconnect agent
WO2019149031A1 (en) Data processing method and apparatus applied to node system
US8595457B1 (en) Method and system for replicating stored information
US6795902B2 (en) Inter-domain data transfer