JP2013228998A - メタデータサーバとデータサーバとの間でaclの一貫性を維持する方法および装置 - Google Patents

メタデータサーバとデータサーバとの間でaclの一貫性を維持する方法および装置 Download PDF

Info

Publication number
JP2013228998A
JP2013228998A JP2012248029A JP2012248029A JP2013228998A JP 2013228998 A JP2013228998 A JP 2013228998A JP 2012248029 A JP2012248029 A JP 2012248029A JP 2012248029 A JP2012248029 A JP 2012248029A JP 2013228998 A JP2013228998 A JP 2013228998A
Authority
JP
Japan
Prior art keywords
identification information
data
file
mds
client computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012248029A
Other languages
English (en)
Other versions
JP5859417B2 (ja
Inventor
Hideki Okita
英樹 沖田
Takahiro Nakano
隆裕 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2013228998A publication Critical patent/JP2013228998A/ja
Application granted granted Critical
Publication of JP5859417B2 publication Critical patent/JP5859417B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101Access control lists [ACL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】
データサーバアクセス制御リスト(DS ACL)情報を管理するメタデータサーバを提供する。
【解決手段】
このDS ACL情報の各エントリには、データサーバのアドレスと、データサーバ上のチャンクデータの識別アドレスまたは範囲アドレスと、メタデータサーバにより提供されるファイルツリーにおけるチャンクデータのファイルパスと、許可されたクライアントのアドレスとを含む。メタデータサーバは、チャンクデータのオリジナルファイルパスをメタデータサーバのレイアウト情報から読み出し、メタデータサーバのアクセス制御リストからのオリジナルファイルパスと部分的にマッチするディレクトリパスを含むエントリを読み出すことにより、チャンクデータについて許可されたクライアントのアドレスを決定できる。
【選択図】図1

Description

01 本発明は、ネットワークファイル共有システムに関わり、特に、共有ファイルをクライアントへ転送するための方法および装置に関する。
02 関連応用技術では、電子ファイルとして作成および保存されるビジネスデータおよび文書を共有するために、ネットワークファイルシステムが利用される。ネットワークファイルシステムは、クライアント‐サーバアーキテクチャを利用する。システムのクライアントが、ファイルサーバにリクエストを送り、そのリクエストに対する応答としてファイルデータを受け取る。クライアントが、受け取ったデータからファイルを構成する。
03 ネットワークファイルシステムの性能を向上させるために、関連技術では、分散ファイルシステムを用いてネットワークファイルシステムのアーキテクチャを拡張している。拡張されたアーキテクチャに関連する技術の実装には、分散ファイルデータを有するデータサーバ(DS:data server)と呼ばれる複数のファイルサーバと、分散ファイルデータの場所を管理するメタデータサーバ(MDS:meta‐data server)と呼ばれる管理サーバとが必要である。関連技術の実装では、クライアントが、複数ファイルサーバに対し、並行に複数のリクエストを送ることができる。この多重アクセスにより、ファイルサーバ数の増加に従ってファイルアクセスのスループットを向上することができる。
04 また、関連技術の実装では、ビジネスデータの共有を制御するために、ネットワークファイルシステムのセキュリティ要件を利用する。セキュリティ要件を満たすために、アクセス制御リスト(ACL:access control list)と呼ばれるセキュリティ機能を用いて、ネットワークファイルシステム上のデータへのアクセスの安全を図っている。ネットワークファイルシステムのACLは、データを特定のユーザ、ユーザグループ、またはIPアドレスセグメントへ送信するように、オペレータにより制御される。言い換えれば、ACLは、アクセスを制御するルールを定めたリストである。関連技術の実装例では、ACLがテーブルとして実装される。テーブルの各エントリは、ファイルパスとIPアドレスセグメントとを含む。ネットワークファイルシステムは、ACLの内容に従って、ファイルへの各ネットワークアクセスの許可ないし拒否を決定する。
34 関連技術のACL機能が分散ファイルシステムにおいて使用されるときには、必要なアクセス権を持たない悪意のユーザがシステムのデータにアクセスする可能性がある。その一つの理由は、パラレルネットワークファイルシステム(pNFS:parallel Network File System)等の分散ファイルシステムでは、制御パスとデータパスが分離されているからである。たとえ、システムのオペレータが許可されていないユーザによるアクセスを防ぐためにMDSのACLを構成しても、許可されていないユーザが、ファイルレイアウトpNFSシステム用ネットワークファイルシステム(NFS:Network File System)プロトコル、およびブロックレイアウトpNFSシステム用iSCSI/ファイバチャネル(FC:Fibre Channel)等のデータアクセスプロトコルを用いて、DSに記憶されたチャンクデータに直接アクセスすることが可能である。さらに、オペレータがDS上の各チャンクデータのアクセスに必要なACLルールを決定できないかもしれないため、DSのACL機能を用いて悪意のアクセスを防ぐことが困難となる。関連技術の実装においては、ディレクトリツリーおよびファイル名が、MDSとDSとの間で異なる可能性もある。
35 加えて、ブロックレイアウトを使用するpNFSシステムの関連技術では、クライアントアダプタの識別をiSCSIクオリファイドネーム(IQN:iSCSI Qualified Name)またはFCワールドワイドネーム(WWN:World Wide Name)で行うので、MDSのACLでDSへのアクセスを制御することはできない。その理由は、クライアントがデータアクセスリクエストのソースを識別するためにiSCSI(IQNを使用)またはFC(FC WWNを使用)を利用するが、これをMDS ACLではソースを追跡できないためである。
05 本発明の実施形態の態様は、複数のクライアントコンピュータと複数のデータサーバとに接続されたメタデータサーバを含み、該メタデータサーバは、複数の第一識別情報を含むグループと、複数のクライアントコンピュータの中から一つのクライアントコンピュータと関連した第二識別情報との間の関係を記憶するように構成されたメモリを有し、該クライアントコンピュータが、該グループに関係するデータにアクセスする許可を有し、該複数の第一識別情報の各々が、該複数のデータサーバの一つのデータサーバからのデータを含み、該複数の第一識別情報の各々のデータサーバが、該複数の第一識別情報の他のものと関連した該複数のデータサーバの他のものと異なり、該メタデータサーバは、該メモリ内の関係に基づいて、該関係を管理し、クライアントコンピュータからデータサーバへのアクセスを制御するコントローラとを含む。
06 本発明の実施形態の追加的態様は、複数のクライアントコンピュータと、複数のデータサーバと、該複数のクライアントコンピュータと該複数のデータサーバとに接続されたメタデータサーバとを有するシステムをさらに含む。該メタデータサーバは、複数の第一識別情報を含むグループと該複数のクライアントコンピュータの中から一つのクライアントコンピュータと関連した第二識別情報との間の関係を記憶するように構成されたメモリを有し、該クライアントコンピュータが、該グループに関係するデータにアクセスする許可を有し、該複数の第一識別情報の各々が、該複数のデータサーバの一つのデータサーバからのデータを含み、該複数の第一識別情報の各々のデータサーバが、該複数の第一識別情報の他のものと関連した該複数のデータサーバの他のものと異なり、該システムは、該メモリ内の関係に基づいて、該関係を管理し、クライアントコンピュータからデータサーバへのアクセスを制御するコントローラを含む。
07 本発明の実施形態の追加的態様は、メタデータサーバを稼働するための命令を記憶する不揮発性コンピュータ可読媒体を含む。該命令には、複数の第一識別情報を含むグループと、複数のクライアントコンピュータの中から一つのクライアントコンピュータに関連した第二識別情報との間の関係を管理するステップと、該クライアントコンピュータは該グループに関係するデータにアクセスする許可を有し、該複数の第一識別情報の各々が、該複数のデータサーバの一つのデータサーバからのデータを含み、該複数の第一識別情報の各々のデータサーバが、該複数の第一識別情報の他のものと関連した該複数のデータサーバの他のものと異なり、該メモリ内の関係に基づいてクライアントコンピュータからデータサーバへのアクセスを制御するステップを含む。
本発明のメタデータサーバによれば、分散ファイルシステムのデータサーバのアクセス制御リスト情報を管理することにより、データサーバ上に記憶されたデータへのアクセスを制御することができる。
08 これらの態様および/または他の態様は、以下の本発明の実施形態の説明を添付の図面に関連してみることでより容易に認められる。
09 図1は、本発明の実施形態による分散ネットワークファイルシステムの例を示す。 10 図2は、本発明の実施形態よるメッセージシーケンスの第一部分を示す。 11 図3は、本発明の実施形態による、図2に示されるメッセージシーケンスの第一部分に対応するメッセージシーケンスの第二部分を示す。 12 図4は、本発明の実施形態による別のメッセージシーケンスの第一部分を示す。 13 図5は、本発明の実施形態によるMDSのハードウェア構成を示す。 14 図6は、本発明の実施形態によるDS ACLエントリ情報の構成を示す。 15 図7は、本発明の実施形態によるDSに許可されたIPセグメント情報の構造の例を示す。 16 図8は、本発明の実施形態によるMDS ACL情報の構成を示す。 17 図9は、本発明の実施形態によるレイアウト情報の構成を示す。 18 図10は、本発明の実施形態によるデバイスグループ情報の構成を示す。 19 図11は、本発明の実施形態によるDS ACLの構成を示す。 19 図12は、本発明の実施形態によるDS ACLの構成を示す。 20 図13は、本発明の実施形態によるMDSのOPEN処理プログラムのフローチャートを示す。 21 図14は、本発明の実施形態によるMDSのLAYOUTGET処理プログラムのフローチャートを示す。 22 図15は、本発明の実施形態によるMDSのDS ACL作成プログラムのフローチャートを示す。 23 図16は、本発明の実施形態による、ブロック‐レイアウトケイパビリティを提供可能なメタデータサーバ(MDS)を有した分散ネットワークファイルシステムの例を示す。 24 図17は、本発明の実施形態によるMDSの構造の例を示す。 25 図18は、本発明の実施形態よるDS ACLエントリ情報の構造例を示す。 26 図19は、本発明の実施形態によるクライアントアダプタ情報の構造の例を示す。 27 図20は、本発明の実施形態によるレイアウト情報の例を示す。 28 図21は、本発明の実施形態によるDS ACLの構造例を示す。 29 図22は、本発明の実施形態によるDS ACL作成プログラムのフローチャートの例を示す。 30 図23は、本発明の実施形態による、ブロック‐レイアウトケイパビリティを提供可能なメタデータサーバ(MDS)を有する分散ネットワークファイルシステムの例を示す。 31 図24は、本発明の実施形態によるMDSのDS ACLエントリ情報の例を示す。 32 図25は、本発明の実施形態によるクライアントアダプタ情報の構造例を示す。 33 図26は、本発明の実施形態によるDS ACLの構造例を示す。
36 本明細書に記載する本発明の実施形態は、制御パスとデータパスとが分離されている場合に、分散ファイルシステムのデータサーバ上に記憶されたデータへの望ましくないアクセスを防止できる。本発明の実施形態の基本的実装には、様々な特徴を有するMDSを含む。そのような特徴の一つには、データサーバ(DS)の識別と、データサーバ(DS)上のデータの識別と、許可されたクライアントが存在する場合にはその識別とを行うエントリを含むDSアクセス制御リスト(ACL)の管理がある。MDSのレイアウト情報とMDSのACLとに基づいて、DS上の各チャンクデータとMDSのACLのエントリとの間の関係を決定することにより、エントリを生成できる。
37 本明細書に記載される本発明の実施形態は、様々な識別情報を利用して、許可されたクライアントコンピュータを特定のデータロケーションに配置することもできる。例えば、サーバ内に表されるデータにより編成される第一識別情報により、サーバのグループが編成される。第二識別情報は、グループに関係する複数のデータにアクセスする許可を有する複数のクライアントコンピュータの中から一つのクライアントコンピュータを特定することに利用される。これにより本発明の実施形態では、第一および第二識別情報に基づいて、クライアントおよびサーバの関係を管理できる。
38 本明細書に記載される本発明の実施形態は、二つのモードが動作する。第一モードは、複数のクライアントコンピュータからのアクセスを制御するように複数のデータサーバを動作させるオープン処理プログラムが動作可能なスタティックモードである。スタティックモードでは、アクセス可能なデータを示すためにファイルハンドルが実行される。第二モードは、許可されたクライアントの複数のクライアントコンピュータの識別情報からのアクセスを制御するように複数のデータサーバを構成するようレイアウト処理プログラムが動作可能なダイナミックモードである。ダイナミックモードでは、アクセス可能なデータを示すために、ストレージの特定のチャンク等のレイアウト情報が提供されうる。本発明の実施形態は、いずれのモードでも動作でき、構成(例えば、ファイルレイアウト対ブロックレイアウトなど)に応じてモードを切替えてもよい。以下で、更なる詳細を説明する。
39 第一実施形態‐NFSを用いたファイルレイアウト
40 第一実施形態では、NFSを用いたファイルレイアウトが利用される。第一実施形態によれば、メタデータサーバ(MDS)が、データサーバ(DS)のネットワークアドレスと、DS上のチャンクファイルのファイルハンドルと、オリジナルファイルパスと、チャンクファイルが送信されるインターネットプロトコル(IP:Internet Protocol)アドレスセグメントとのエントリを有する、DSアクセス制御リスト(ACL)情報を含む。MDSが、レイアウト情報およびデバイスグループ情報に従って、DS上のチャンクファイルのオリジナルファイルパスを読み出す。そしてMDSが、MDS ACLからファイルパスに対応する送信IPセグメントを読み出す。
41 図1は、本発明の実施形態による分散ネットワークファイルシステムを示す。この分散ネットワークファイルシステムは、ファイルレイアウトケイパビリティを提供できるメタデータサーバ(MDS)105を含む。
42 本発明の実施形態によれば、分散ネットワークファイルシステムには、複数のクライアント101〜104と、MDS105と、DSアクセス制御リスト(ACL)108および109をそれぞれ有する複数のデータサーバ(DS)106および107とを含む。これらの構成要素は、IPローカルエリアネットワーク(IP‐LAN:IP Local Area Network)114を介して互いに接続される。このIP‐LAN114においては、IPアドレス192.168.1.101、192.168.1.102、192.168.2.103、192.168.2.104、10.0.0.20、および10.0.20.11〜12が、クライアント101〜104、MDS105、ならびにDS106および107にそれぞれ割り当てられている。分散ネットワークファイルシステムは、ボリューム112および113をそれぞれ提供する、複数のストレージシステム110および111を更に含む。図1に示される例では、二つのストレージシステム110および111が、DS106および107にそれぞれ接続されている。
43 図2は、本発明の実施形態によるメッセージシーケンスの第一部分を示す。図2は、クライアントの一つ101と、MDS105と、DS106および107との間のメッセージシーケンスの例の第一部分を示す。図2の例では、MDS105がスタティックモードで働き、MDS105がDS ACL108および109をファイル作成時にセットする。
44 メッセージシーケンスの開始時には、2001、2002、2003、および2004に示すように、pNFSクライアント101がMDS105にEXCHANGE IDメッセージおよびGETATTRメッセージを送り、MDS105のケイパビリティ(例えば、クライアントID)を受け取る。2005で、pNFSがOPENメッセージも送り、ファイルパスが「/dir1/file1.dat」である新規ファイルを作成し、オープンする。
45 図2の例では、ファイルパス「/dir1/file1.dat」は、分散ファイルシステムにまだ存在しない。MDSがOPENメッセージを受け取ると、2006および2008のような追加処理で、MDSがDS106および107に、MDSのACLに記述されている許可されたIPアドレスからのアクセスだけを許可するよう、対応するACL108および109をアップデートさせるリクエストを送る。DS106および107は、2007および2009で肯定応答を送信する。ACLアップデートの完了後に、MDS105が、2010でpNFSクライアント101にOPENメッセージへの応答を送る。
46 上述のファイルオープンプロセスならびにDS ACL108および109のアップデートの後に、pNFSクライアント101が、上述の新規作成ファイルのファイルハンドル0x1を得るために、2011でMDS105にGETFHメッセージを送る。2012でMDS105が、pNFSクライアント101にファイルハンドル0x1を送信する。それからpNFSクライアント101が、新規ファイルのレイアウトデータを読み出すために、2013でMDS105にLAYOUTGETメッセージを送る。この図2の例では、2014で
MDS105が、デバイスID「nfsstr1」とファイルハンドルのセット「0x11および0x12」とを有するレイアウトを返す。2015で、pNFSクライアント101が、MDS105にGETDEVICEINFOメッセージを送ることにより、デバイスID「nfsstr1」に対応するネットワークアドレスを読み出す。2016でMDS105が、ネットワークアドレスのセット「10.0.20.11」および「10.0.20.12」
を、pNFSクライアント101に送信する。
47 図3は、本発明の実施形態による、図2に示されるメッセージシーケンスの第一部分に対応するメッセージシーケンスの第二部分を示す。
48 受け取ったネットワークアドレスに基づいて、pNFSクライアント101が、3001および3007でEXCHANGE IDメッセージを、3003および3009でPUTFHメッセージを、3005および3011でWRITEメッセージを、DS106および107に順に送り、新規ファイルのデータをボリューム112および113に書き込む。DS106および107は、3002および3008でEXCHANGE IDメッセージ、3004および3010でPUTFHメッセージ、3006および3012でWRITEメッセージに対する、その受領/回答をそれぞれ送る。
49 図4は、本発明の実施形態による、クライアントの一つ101と、MDS105と、DS106および107との間のメッセージシーケンスの例の第一部分を示す。具体的には、図4は、MDS105が「ダイナミックモード」で働くシーケンス例を示し、MDS105が、DS ACL108および109をレイアウト情報の読み出し時にセットする。
50 メッセージシーケンスの開始時には、4001でpNFSクライアント101がMDS105にEXCHANGEIDメッセージを、4003でGETATTRメッセージを送って、MDS105のケイパビリティをチェックする。MDSは、4002および4004でそれぞれメッセージに応答する。それからpNFSクライアント101が、新規ファイルを作成しオープンするために、4005でOPENメッセージを送る。図4の例では、新規ファイルのファイルパスは「/dir1/file1.dat」であり、MDSは、これを分散ファイルシステムにおいて記憶し、4006でOPENメッセージに応答する。それからpNFSクライアント101が、上述の新規作成ファイルのファイルハンドルを読み出すために、4007でMDS105にGETFHメッセージを送る。図4の例では、MDS105からpNFSクライアント101にファイルハンドル「0x1」が送信される。
51 上述のファイルオープンプロセスの後に、4009でpNFSクライアント101がMDS105にLAYOUTGETメッセージを送る。MDS105がLAYOUTGETメッセージを受け取ると、4010および4012で、MDS105がDS106および107に、MDS105のACLに記述される許可されたIPアドレスからのアクセスだけを許可するよう、対応するACL108および109をアップデートさせるリクエストを送る。DS106および107は、ACL108および109をアップデート後、MDS105に応答4011および4013をそれぞれ送信する。ACLアップデートの完了後、MDS105が、4014でpNFSクライアント101にLAYOUTGETメッセージに対する応答を送る。この例では、4014でMDS105が、デバイスID「nfsstr1」とファイルハンドルのセット(0x11、0x12)とを有するレイアウトを返す。pNFSクライアント101が、4015でMDS105にGETDEVICEINFOメッセージを送ることにより、デバイスID「nfsstr1」に対応するネットワークアドレスを読み出し、4016でネットワークアドレスのセット「10.0.20.11」および「10.0.20.12」を受け取る。
52 第一実施形態では、図4に示されるメッセージシーケンスの第二部分は、図3に示されるシーケンスと同様であるので、詳細な説明は省略する。
53 図5は、本発明の実施形態によるMDSのハードウェア構成を示す。
54 MDS105には、メモリ501と、CPU502と、I/O503と、ネットワークインターフェイスカード(NIC:network interface card)504と、内部ストレージ505とを含む。メモリ501は、DS ACLエントリ情報506とDSに許可されたIPセグメント情報507とを記憶する。メモリ501は、MDS ACL情報508と、レイアウト情報509と、デバイスグループ情報510も記憶する。メモリ501は、OPEN処理プログラム511と、LAYOUTGET処理プログラム512と、DS ACL作成プログラム513も記憶する。メモリ501は、TCP/IPプログラム515と、NFSサーバプログラム516と、pNFSサーバプログラム517とを有するOS514も記憶する
55 図6は、本発明の実施形態によるDS ACLエントリ情報の構成を示す。
56 図6に示すように、DS ACLエントリ情報506は、DSのネットワークアドレスと、DS(例えば106または107)内のチャンクファイルのファイルハンドルと、オリジナルファイルパスと、許可されたIPセグメントを示すIPアドレスとのセットを含むエントリを有するテーブルとして実装される。図6の例では、四つのエントリ601、602、603および604が、DS ACLエントリ情報506に記憶される。エントリ601、602、603および604のコンテンツは、二のファイル「/dir1/file1.dat」および「/dir2/file2.dat」のデータが、ネットワークアドレス10.0.20.11および10.0.20.12をそれぞれ有する二つのDSに記憶されることを示す。エントリ601、602、603および604は、二つのファイルのデータがIPセグメント「192.168.1.0/24」および「192.168.2.0/24」にそれぞれ送信されることも示す。
57 関連技術のMDSの実装とは異なり、本発明の実施形態のMDS105は、DS ACL108および109のエントリを管理する。各エントリが、DS106または107上のチャンクファイルの識別と、MDS105のファイルツリー上のファイルの識別と、チャンクファイルが送信されるIPセグメントとの間の対応を示す。
58 図7は、本発明の実施形態による、DSに許可されたIPセグメント情報の構造の例を示す。DSに許可されたIPセグメント情報507は、ディレクトリストリングと許可されたIPセグメントのIPアドレスとを含むエントリを有するテーブルとして実装される。この例では、エントリ701は、セグメント「192.168.101.0/24」のクライアントが、NFS、iSCSI、およびFC等のデータアクセスプロトコルを介してオリジナルデータがディレクトリ「/dir1」に記憶されるDS106および107上のチャンクファイルにアクセスするのを許可されていることを示す。エントリ702は、セグメント「192.168.102.0/24」のクライアントが、NFS、iSCSI、およびFC等のデータアクセスプロトコルを介してオリジナルデータがディレクトリ「/dir2」に記憶されるDS106および107上のチャンクファイルにアクセスするのを許可されていることを示す。
59 DSに許可されたIPセグメント情報507は、pNFSクライアント101、102、103および104の各々が、異なるIPセグメントに接続された少なくとも二つのNICを有するように使用される。IPセグメントの一つがMDS105へのメタデータアクセスに使用され、もう一つのIPセグメントがDS106および107へのデータアクセスに使用される。IP‐LAN114のデータトラフィックによる制御メッセージの消失ロスを防ぐために、このようなIPセグメントの分離を用いる。
60 図8は、本発明の実施形態によるMDS ACL情報の構成を示す。MDS ACL情報508は、ディレクトリパスのストリングと許可されたIPセグメントのIPアドレスとのセットを含むエントリを有するテーブルとして実装される。この例では、セグメント「192.168.1.0/24」のクライアントは、NFSを介してMDS105上のディレクトリ「/dir1」に関するレイアウト情報にアクセスすることが許可される。また、セグメント「192.168.2.0/24」のクライアントは、NFSを介してMDS105上のディレクトリ「/dir2」に関するレイアウト情報にアクセスすることが許可される。
61 DSに許可されたIPセグメント情報507は、MDS ACL508に類似した構成を有するが、MDS105は、DSに許可されたIPセグメント情報507とMDS ACL508との両方を用いて、MDS105への制御パスならびにDS106および107へのデータパスのセットのそれぞれの異なる許可されたIPセグメントを管理できる。
62 図9は、本発明の実施形態によるレイアウト情報の構成を示す。レイアウト情報509は、MDS105のファイルツリーにおけるファイルのエントリ901、902を有するテーブルとして実装される。エントリ901、902には、ファイルのファイル名と、ファイルのファイルハンドルと、ファイルのファイルオフセットと、ファイルの長さと、ファイルのレイアウトタイプと、デバイスIDと、DS106および107に記憶されたチャンクファイルのファイルハンドルのリストとを含む。
63 図9の例では、レイアウト情報509のエントリ901および902は、二つのファイル「/dir1/file1.dat」および「/dir2/file2.dat」のデータが、「nfsstr1」という名前のDSのグループに記憶されることを示す。第一エントリ901は、ファイル「/dir1/file1.dat」が、ファイルハンドル0x11および0x12をそれぞれ有する二つのチャンクファイルの形で複数のDSに分散されることを示す。同様に、第二エントリ902は、ファイル「/dir2/file2.dat」が、ファイルハンドル0x21および0x22を有する二つのチャンクファイルの形で複数のDSに分散されることを示す。
64 図10は、本発明の実施形態によるデバイスグループ情報の構成を示す。デバイスグループ情報510は、デバイスIDとDSネットワークアドレスのリストとを含むエントリを含むテーブルとして実装される。このエントリを用いて、「nfsstr1」等のデバイスIDとDS106および107等のDSのグループとの間の対応を管理する。図10の例では、エントリ1001は、デバイスID「nfsstr1」がDS「10.0.20.11」および「10.0.20.12」に対応することを示す。
65 図11および12は、本発明の実施形態によるDS ACLの構成を示す。具体的には、図11は、DS ACL108のテーブル構成の例を示し、各エントリがDS106内のファイルに対応する。エントリには、DS106内のチャンクファイルのファイルハンドルを含む。この例では、第一エントリ1101は、IPセグメント192.168.1.0/24のユーザが、DS106上のファイルハンドル0x11を持つファイルにアクセスするのを許可されることを示す。第二エントリ1102は、IPセグメント192.168.2.0/24のユーザが、DS106上のファイルハンドル0x21を持つファイルにアクセスするのを許可されることを示す。
66 同様に、図12は、DS ACL109のテーブル構成を示し、各エントリがDS107内のファイルに対応する。この例では、第一エントリ1201は、IPセグメント192.168.1.0/24のユーザが、DS107上のファイルハンドル0x12を持つファイルにアクセスするのを許可されることを示す。第二エントリ1202は、IPセグメント192.168.2.0/24のユーザが、DS107上のファイルハンドル0x22を持つファイルにアクセスするのを許可されることを示す。
67 図13は、本発明の実施形態によるMDS105のOPEN処理プログラム511のフローチャートを示す。MDS105が、pNFSクライアント101〜104からOPENメッセージを受け取ると、OPEN処理プログラム511が起動する。1301で、OPEN処理プログラム511がプロセスを開始する。1302では、MDS105が受け取ったOPENメッセージのコンテンツを分析し、メッセージからファイル名を抽出する。1303では、MDS105が、抽出されたファイル名のファイルがMDS105のファイルツリーに存在するかチェックする。ファイルが存在すれば、MDS105は1304へ進み、ファイルに割り当てられたファイルハンドルを読み出す。
68 ファイルが存在しなければ、MDS105は1305へ進み、MDS105のファイルツリー上に新規ファイルノードを作成し、新規ファイルに新規ファイルハンドルを割り当てる。1306では、MDS105が、MDS105の構成に従って、レイアウト情報509の新規ファイルのための新規エントリを作成する。1307では、レイアウト情報509のアップデート後に、MDS105がMDS ACL508のコンテンツをDS106および107に分散する時期を定義するACL分散モードについての構成状況をMDS105がチェックする。モードがダイナミックモード(「DYNAMIC」)に構成されている場合には、MDS105はDS ACL作成プログラムを起動しない。モードがスタティックモード(「STATIC」)に構成されている場合には、MDS105は1308へ進み、DS ACL作成プログラム513を呼び出す。
69 1309では、MDS105が、読み出されまたは新規に割り当てられたファイルハンドルを現在のNFSセッションにセットし、OPENメッセージへの応答をpNFSクライアントに送る。1310で、OPEN処理プログラム511のプロセスが終了する。
70 本発明の実施形態では、OPENメッセージは、ファイル名にファイルハンドルを代用する。本発明の実施形態によれば、1303では、MDS105が抽出したファイルハンドルが、MDS105においてファイルの有効なファイルハンドルとして使用されているかをチェックする。
71 図14は、本発明の実施形態によるMDS105のLAYOUTGET処理プログラム512のフローチャートを示す。プロセスの最初1401に、MDS105がpNFSクライアント101〜104からLAYOUTGETメッセージを受け取ると、LAYOUTGET処理プログラム512が起動される。
72 1402では、MDS105が、受け取ったLAYOUTGETメッセージのコンテンツを分析する。1403では、MDSが、現在のNFSセッションの現在のファイルハンドルに対応するレイアウト情報エントリを読み出す。例えば、レイアウト情報509のエントリ901が、そのファイルハンドルが図4のシーケンス4008でチェックされるよう、すなわち、現在のファイルハンドル0x1とマッチするように選択される。1404では、MDS105がACL分散モードの構成状態をチェックする。モードがダイナミックモード(「DYNAMIC」)に構成されている場合には、MDS105は1405へ進み、DS ACL作成プログラム513を呼び出す。モードがスタティックモード(「STATIC」)に構成されている場合には、MDS105はDS ACL作成プログラム513を起動しない。1406では、MDS105が、pNFSクライアントに指定ファイルのレイアウト情報を含む応答を送る。
73 図15は、本発明の実施形態によるMDS105のDS ACL作成プログラム513のフローチャートを示す。1501では、上述のOPEN処理プログラム511または上述のLAYOUTGET処理プログラム512から、DS ACL作成プログラム513が起動される。
74 1502では、MDS105が、現在のファイルハンドルに対応するファイルのファイルパスを読み出す。1503では、MDS105が、MDS ACL508から、そのディレクトリパスが上述の読み出されたファイルパスを含むエントリを読み出す。1504では、MDS105が、読み出されたACLエントリから許可されたIPセグメントを抽出する。
75 1505では、MDS105が、レイアウト情報509から、そのファイルハンドルが現在のファイルハンドルと同じであるエントリを読み出す。この例では、図2の2012または図4の4008でチェックされたときに、ファイルハンドルが現在のファイルハンドル0x1と同じであるので、図9の第一エントリ901が選択される。上述の読み出されたエントリ901から、MDS105が、デバイスIDとDS106および107のファイルハンドルのリストとを読み取る。この例では、デバイスIDは「nfsstr1」であり、リストのファイルハンドルは0x11および0x12である。
76 1507では、MDS105が、上述のリストの各ファイルハンドルで同じプロセスを行うループ処理を開始する。1508では、MDS105が、デバイスグループ情報510から、そのデバイスIDが上述の読み取られたデバイスIDと同じであることを示すエントリを読み出す。この例では、デバイスグループ情報510の第一エントリ1001が選択される。1509では、MDS105が、このエントリからネットワークアドレスのリストを抽出する。1510では、MDSが、このエントリのネットワークアドレスリストから抽出されたネットワークアドレスリストの中で、上述のDSファイルハンドルリストの中のDSファイルハンドルの順序と同じ順序を有するネットワークアドレスを選択する。この例では、DSファイルハンドル0x11の時にネットワークアドレス「10.0.20.11」が選択され、DSファイルハンドル0x12の時に「10.0.20.12」が選択される。
77 1511では、MDS105が、DS ACLエントリ情報506の新規エントリを作成する。この新規エントリには、1510で選択された上述のネットワークアドレスと、1507で選択された上述のDSファイルハンドルと、1502で読み出された上述のファイルパスと、1504で読み取られた上述の許可されたIPセグメントとを含む。
78 MDS105が、DSファイルハンドルの各々で1508〜1511のプロセスを繰り返してから、1512でループ処理を終わる。それからMDS105が、DS ACLエントリ情報506の対応するエントリに従って、DS106および107のDS ACL108および109を構成する。この例では、エントリ601および602を用いて、DS106のDS ACL108が構成される。また、エントリ603および604を用いて、DS107のDS ACL109が構成される。
79 第二実施形態‐iSCSIを使用したブロックレイアウト
80 第二実施形態においては、メタデータサーバ(MDS)が、iSCSIターゲットのボリュームIDと、データサーバ(DS)上のチャンクデータの開始位置と、チャンクデータの終了位置と、チャンクデータのオリジナルファイルパスと、iSCSI IQNのリストとのエントリを含むDSアクセス制御リスト(ACL)情報を有する。MDSは、MDSへのネットワークファイルシステム(NFS)プロトコルアクセスのためのクライアントのNICの一つ以上のIPアドレスと、クライアントのNICのiSCSI IQNとのエントリを有するクライアントアダプタ情報も有する。MDSが、レイアウト情報に従ってDS上のチャンクデータのオリジナルファイルパスを読み出す。それからMDSは、クライアントアダプタ情報およびMDS ACLに従ってファイルパスに対応する送信iSCSI IQNを読み出す。
81 図16は、本発明の実施形態による、ブロック‐レイアウトケイパビリティを提供可能なメタデータサーバ(MDS)を有する分散ネットワークファイルシステムの例を示す。
82 分散ネットワークファイルシステムは、iSCSIが使用できる複数のクライアント1601〜1604と、MDS1605と、iSCSIケイパビリティを有しDSとして働く複数のストレージシステム1606および1607とで構成される。これらのシステムの構成要素が、IPローカルエリアネットワーク(IP‐LAN)1612を介して互いに接続される。図16のIP‐LANの例1612では、IPアドレス192.168.1.101、192.168.1.102、192.168.2.103、192.168.2.104、10.0.0.20、10.0.20.11、および10.0.20.12が、クライアント1601〜1604、MDS1605、ならびにストレージシステム1606および1607にそれぞれ割り当てられる。ストレージシステム1606は、DS ACL1608およびボリューム1609を有する。ストレージシステム1607は、DS ACL1610およびボリューム1611を有する。
83 第二実施形態の上述の構成要素間のメッセージシーケンスは、図2〜4で記載した第一実施形態と同様であるため、明確として省略する。
84 図17は、本発明の実施形態によるMDS1605の構造の例を示す。図17の例では、MDS1605は、メモリ1701と、CPU1702と、I/O1703と、ネットワークインターフェイスカード(NIC)1704と、内部ストレージ1705とを含む。メモリ1701は、DS ACLエントリ情報1706およびクライアントアダプタ情報1707を記憶する。メモリ1701は、MDS ACL情報1708およびブロック‐レイアウトpNFSシステムのレイアウト情報1709も記憶する。メモリ1701は、OPEN処理プログラム1710と、LAYOUTGET処理プログラム1711と、DS ACL作成プログラム1712とも記憶する。メモリ1701は、TCP/IPプログラム1714と、NFSサーバプログラム1715と、pNFSサーバプログラム1716とを有するOS1713も記憶する。
85 図18は、本発明の実施形態によるDS ACLエントリ情報1706の構造例を示す。図18の例では、DS ACLエントリ情報1706は、ボリュームのボリュームIDと、ボリューム内のチャンクデータの範囲の開始アドレスおよび終了アドレスと、オリジナルファイルパスと、許可されたIQNのリストとを含むエントリを有するテーブルとして実装される。この例では、四つのエントリ1801〜1804が、DS ACLエントリ情報1706に記憶される。エントリ1801〜1804のコンテンツは、二つのファイル「/dir1/file1.dat」および「/dir2/file2.dat」のデータが、ボリュームID「vol1」および「vol2」をそれぞれ有する二つのボリュームに記憶されることを示す。エントリ1801〜1804は、二つのファイルのデータが、二つのiSCSIイニシエータのグループにそれぞれ送信されることも示す。第一グループは、エントリ1801および1803に示すように、IQN「iqn.2012‐01.com.hitachi.hal:adaptor.0001」および「iqn.2012‐01.com.hitachi.hal:adaptor.0002」を有する二つのiSCSIイニシエータを含む。第二グループは、エントリ1802および1804に示すように、IQN「iqn.2012‐01.com.hitachi.hal:adaptor.0003」および「iqn.2012‐01.com.hitachi.hal:adaptor.0004」を有する二つのiSCSIイニシエータを含む。
86 上述の第一実施形態と同様に、MDS1605は、DS ACL1608および1610のエントリを管理する。各エントリは、DS1606または1607上のチャンクデータの範囲と、MDS1605のファイルツリー上のファイルの識別と、チャンクデータにアクセスできるiSCSIイニシエータの識別のリストとの間の対応を示す。
87 図19は、本発明の実施形態によるクライアントアダプタ情報1707の構造の例を示す。図19の例では、クライアントアダプタ情報は、クライアントIPアドレスとIQNとを含むエントリ1901〜1904を有するテーブルとして実装される。各エントリは、エントリ内のIPアドレスおよびIQNを割り当てられたpNFSクライアントに対応する。この例では、図19のテーブルに従い四つのpNFSクライアント1601〜1604がiSCSIケイパビリティを有する。
88 MDS ACL1708の構造は、第一実施形態のMDS ACL508の構造と同じである。そのため、構造の詳細な説明は、省略する。
89 図20は、本発明の実施形態によるレイアウト情報1709の例を示す。図20の例では、レイアウト情報1709がテーブルとして実装される。レイアウト情報1709のエントリ2001〜2004の各々が、チャンクデータを対象とする。ファイルのレイアウトは、レイアウト情報1709において複数のエントリのセットとして記述される。例えば、エントリ2001および2002は、「/dir1/file1.dat」という名前のファイルおよびそれぞれのチャンクデータに対応する。
90 図21は、本発明の実施形態によるDS ACL1608および1610の構造例を示す。図21の例では、DS ACLがテーブルとして実装される。各エントリ2101、2102は、ボリューム1609および1611上のチャンクデータの範囲に対応する。図21の例では、チャンクデータのサイズは二つのボリューム1609および1611の間で同じである。そのため、DS ACL1608および1610のコンテンツは同じである。この例では、ボリューム1609および1611の最初の4500バイトは、「/dir1/file1.dat」という名前のファイルのものである。エントリ2101は、IQN「iqn.2012‐01.com.hitachi.hal:adaptor‐0001」および「iqn.2012‐01.com.hitachi.hal:adaptor‐0002」をそれぞれ有するpNFSクライアント101および102が、「/filel.dat」という名前のファイルのチャンクデータにアクセスできることを示す。
91 図22は、本発明の実施形態によるDS ACL作成プログラム1712のフローチャートの例を示す。2201で、OPEN処理プログラム1710またはLAYOUTGET処理プログラム1711から、このプログラムが起動される。
92 2202では、MDS1605が、現在のファイルハンドルに対応するファイルのファイルパスを読み出す。この例では、ファイルパス「/dir1/file1.dat」が、ファイルハンドル0x1に対応する。2203では、DS ACL作成プログラム1712が、上述の読み出されたファイルパスに対応するエントリをMDS ACL1708から読み出す。この例では、MDS ACL508の第一エントリ801が選択される。この選択されたエントリから、2204でMDS1605が、許可されたIPセグメントを読み取る。この例では、「192.168.1.0/24」が読み取られる。そして、クライアントアダプタ情報1707からMDS1605が、2205で、そのクライアントIPアドレスの値が上述の読み取ったIPセグメントに含まれるエントリを検索する。この例では、エントリ1901および1902が選択される。2206では、MDS1605が、これらの選択されたエントリからIQNを抽出し、IQNのリストを作成する。この例では、リストは二つのIQN「iqn.2012‐01.com.hitachi.hal:adapor‐0001」およびlqn.2012‐01.com.hitachi.hal:adapor‐0002」を含む。
93 2207では、MDS1605が、レイアウト情報1709から、現在のファイルハンドルと同じファイルハンドルを有するエントリを読み出す。この例では、エントリ2001および2002が、ファイルハンドル0x1を有するため、選択される。2208では、MDS1605が、レイアウト情報1709から選択されたエントリそれぞれにプロセスのセットを行うためのループ処理を開始する。このループ処理の2209では、MDS1605が、ボリュームID、長さ、およびストレージオフセットをエントリから読み取る。2210では、MDS1605が、範囲開始を上述の読み取ったストレージオフセットの値にセットする。2211では、MDS1605が、範囲終了を上述のストレージオフセットと上述の長さとの合計にセットする。2212では、MDS1605が、DS ACLエントリ情報1706の新規エントリを作成する。この新規エントリは、上述のボリュームIDと、上述の範囲開始と、上述の範囲終了と、オリジナルファイルパスと、上述のIQNのリストとを含む。新規エントリを作成後、MDS1605は、2213でレイアウト情報エントリに関するループ処理を終わる。2214では、MDS1605が、DS ACLエントリ情報1706の対応するエントリに従って、DS1606および1607のDS ACL1608および1610を構成する。2215でプログラムが終了する。
94 MDS1605が、DS上のチャンクデータの範囲とクライアント1601〜1604のIQNのリストとの間のマッピングを決定する。マッピングを決定および維持することにより、MDSは、異なる識別(IQNおよびIPアドレス)を利用する異なるプロトコル(iSCSIおよびNFS)でも、データパスと制御パスとの間のセキュリティ一貫性を維持できる。
95 第三実施形態‐FCを使用したブロックレイアウト
96 第三実施形態においては、メタデータサーバ(MDS)が、ファイバチャネル(FC)ストレージのボリュームIDと、データサーバ(DS)上のチャンクデータの開始位置と、チャンクデータの終了位置と、チャンクデータのオリジナルファイルパスと、FCワールドワイド名(WWN)のリストとのエントリを有するDSアクセス制御リスト(ACL)情報を管理する。MDSは、MDSへのネットワークファイルシステム(NFS)プロトコルアクセスのためのクライアントのNICの一つ以上のIPアドレスと、クライアントのホストバスアダプタ(HBA:Host Bus Adaptor)のFC WWNとのエントリを有するクライアントアダプタ情報も管理する。MDSが、レイアウト情報に従ってDS上のチャンクデータのオリジナルパスを読み出す。それからMDSが、クライアントアダプタ情報およびMDS ACLに従って、ファイルパスに対応する送信FC WWNを読み出す。
97 図23は、本発明の実施形態によるブロック‐レイアウトケイパビリティを提供するメタデータサーバ(MDS)を有する分散ネットワークファイルシステムの例を示す。このシステムは、FCケイパビリティを有する複数のクライアント2301〜2304と、MDS2305と、FCケイパビリティを有しDSとして動作する複数のストレージシステム2306および2307とを含む。これらの構成要素が、IPローカルエリアネットワーク(IP‐LAN)2312を介して互いに接続される。このIP‐LAN2312では、IPアドレス192.168.1.101、192.168.1.102、192.168.2.103、192.168.2.104、10.0.0.20、10.0.20.11、10.0.20.12が、クライアント2301〜2304、MDS2305、およびストレージシステム2306ならびに2307にそれぞれ割り当てられる。クライアント2301〜2304およびストレージシステム2306ならびに2307は、ファイバチャネルストレージエリアネットワーク(FC‐SAN:Fibre Channel Storage Area Network)2313を介して互いに接続される。ワールドワイドネーム(WWN)10:00:00:00:00:10:00:01、10:00:00:00:00:10:00:02、10:00:00:00:00:10:00:03、および10:00:00:00:00:10:00:04が、クライアント2301〜2304のホストバスアダプタ(HBA)に割り当てられる。ストレージシステム2306は、DS ACL2308およびボリューム2309を有する。ストレージシステム2307は、DS ACL2310およびボリューム2311を有する。
98 MDS2305の構造は、MDS1605の構造と同じである。
99 図24は、本発明の実施形態によるMDS2305のDS ACLエントリ情報1706の例を示す。図24の例では、DS ACLエントリ情報が、ボリュームIDと、ボリューム内のチャンクデータの範囲の開始アドレスならびに終了アドレスと、オリジナルファイルパスと、許可されたFC WWNのリストとのエントリを有するテーブルとして実装される。この例では、四つのエントリ2401〜2404が、DS ACL情報1706に記憶される。エントリは、二つのファイル「/dir1/file1.dat」(エントリ2401および2403に示される)および「/dir2/file2.dat」(エントリ2402および2404に示される)のデータが、ボリュームID「vol1」および「vol2」をそれぞれ有する二つのボリュームに記憶されることを示す。エントリは、二つのファイルのデータが二つのFC HBAのグループにそれぞれ送信されることを更に示す。第一グループは、エントリ2401および2402に示すように、FC WWN「10:00:00:00:00:10:00:01」および「10:00:00:00:00:10:00:02」を有する二つのFC HBAを含む。第二グループは、エントリ2403および2404に示すように、FC WWN「10:00:00:00:00:10:00:03」および「10:00:00:00:00:10:00:04」を有する二つのFC HBAを含む。
100 図25は、本発明の実施形態によるクライアントアダプタ情報1707の構造例を示す。図25の例では、クライアントアダプタ情報1707は、クライアントIPアドレスとFC WWNとのエントリを有するテーブルである。各エントリ2501〜2504が、エントリのIPアドレスおよびFC WWNを割り当てられたpNFSクライアントに対応する。この例では、それぞれのエントリ2501〜2504により示されるように、四つのpNFSクライアント2301〜2304の全てがFCケイパビリティを有する。
101 MDS ACL1708およびレイアウト情報1709は、上述の第二実施形態と同様に使用される。
102 図26は、本発明の実施形態によるDS ACL2308の一つの構造例を示す。図26の例では、DS ACL2308は、各エントリ2601〜2602がボリューム上のチャンクデータの範囲に対応するテーブルとして実装される。この例では、チャンクデータのサイズは、二つのボリューム2309と2311との間で同じである。そのため、DS ACL2308および2310のコンテンツは同じである。この例では、エントリ2601に記されるように、ボリューム2309および2311の最初の4500バイトは、「/dir1/file1.dat」という名前のファイルに使用される。エントリ2601は、FC WWN「10:00:00:00:00:10:00:01」および「10:00:00:00:00:10:00:02」をそれぞれ有するpNFSクライアント2301〜2304が、「/dir1/file1.dat」という名前のファイルのチャンクデータにアクセスできることを示す。
103 OPEN処理プログラム1710のフローチャートは、図13に示されるフローチャートと同じである。
104 LAYOUTGET処理プログラム1711のフローチャートは、図14に示されるフローチャートと同じである。
105 DS ACL作成プログラム1712のフローチャートは、図22に示されるフローチャートのIQNがFC WWNに置き換えられることを除いては、図22に示されるフローチャートと同じである。
106 いくつかの本発明の実施形態が図と共に記載されているが、これらの本発明の実施形態は、本明細書に記載される主題を当業者に伝えるために提供されるものである。本明細書に記載される主題が、記載された本発明の実施形態に限られることなく様々な形で具体化されうることが理解されなければならない。本明細書に記載される主題は、特に定義または記載された事項を伴わずに、あるいは記載されていない他のエレメントもしくは事項または異なるエレメントもしくは事項を伴って、実施されうる。当業者には当然のことながら、添付の特許請求の範囲およびその等価物において定義されるところの本明細書に記載される主題から逸脱することなく、これらの本発明の実施形態が変更されうる。例えば、上述のいくつかの実装はテーブルを利用するが、そのような実装はテーブルに限られない。当業者には周知の他の実装も、利用されうる(例えばアレイ、スタックなど)。
107 詳細な説明の一部は、コンピュータ内の動作のアルゴリズムおよび記号表現に関して示される。これらのアルゴリズム的説明および記号表現は、データ処理技術の当業者がその革新の本質を他の当業者に最も有効に伝えるために使用する手段である。アルゴリズムは、所望の最終状態または結果につながる一連の定義されたステップである。本発明の実施形態では、行われるステップは、具体的結果を達成するための具体的量の物理的操作を必要とする。
108 特に断りがない限り、考察から明らかな様に、記載の全体にわたり、「処理」、「演算」、「計算」、「決定」、「表示」などの用語を用いた考察には、コンピュータシステムのレジスタおよびメモリ内の物理的(電子的)量として表されるデータを、コンピュータシステムのメモリもしくはレジスタまたは他の情報ストレージ、送信もしくはディスプレイデバイス内の物理的量として同様に表される他のデータに操作および変換するコンピュータシステムまたは他の情報処理デバイスのアクションおよびプロセスを当然含む。
109 本発明の実施形態は、本明細書の動作を遂行する装置にも関する。この装置は、必要な目的のために特別に構築され、または、一つ以上のコンピュータプログラムにより選択的に作動または再構成される一つ以上の汎用コンピュータを含む。このようなコンピュータプログラムは、光ディスク、磁気ディスク、読み出し専用メモリ、ランダムアクセスメモリ、固体デバイスおよびドライブ、または電子情報の記憶に適した他の任意のタイプの媒体等であるがこれに限られない、非一時的コンピュータ可読媒体またはコンピュータ可読記憶媒体に記憶されうる。本明細書に示されるアルゴリズムおよびディスプレイは、いかなる特定のコンピュータまたは他の装置にも本質的に関係していない。
110 様々な汎用システムが、本明細書の教示によるプログラムおよびモジュールとともに用いられてよく、または、所望の方法ステップを遂行するためにより専門化された装置を構築することは便利であることが判明するであろう。加えて、本発明の実施形態は、いかなる特定のプログラミング言語に関しても記載していない。当然のことながら、本明細書に記載される本発明の教示を実装するために様々なプログラミング言語が使用可能である。プログラミング言語(単数または複数)の命令は、一つ以上の処理デバイス、例えば中央処理装置(CPU:central processing unit)、プロセッサ、またはコントローラにより実行できる。
111 当該技術分野で周知のように、上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアおよびハードウェアの何らかの組み合わせにより遂行できる。本発明の実施形態の様々な態様が、回路および論理デバイス(ハードウェア)を使用して実装できる一方で、他の態様は、プロセッサにより実行されればプロセッサに例示的実施形態を行うための方法を遂行させる、マシン可読媒体に記憶された命令(ソフトウェア)を使用して実装できる。さらに、いくつかの本発明の実施形態は、ハードウェアだけで遂行できるが、他の本発明の実施形態は、ソフトウェアだけで遂行されうる。さらに、記載される様々な機能は、単一ユニットで遂行することができ、または任意の数の方法でいくつかの構成要素全体に拡張できる。ソフトウェアにより遂行されるときには、コンピュータ可読媒体に記憶された命令に基づいて、汎用コンピュータ等のプロセッサにより方法が実行可能である。必要に応じて、命令は圧縮および/または暗号化されたフォーマットで媒体に格納可能である。
112 さらに、本明細書に開示される明細書および本発明の実践を考慮することにより、本発明の実施形態の他の実装が当業者に明らかとなるであろう。記載された実施形態の様々な態様および/または構成要素が、単独または任意の組み合わせで使用されうる。本明細書および諸例は単なる例示にすぎず、実施形態の真の範囲および精神は添付の特許請求の範囲により示されるものと考えられることが企図される。
101、102、103、104 クライアントコンピュータ
105 メタデータサーバ
106、107 データサーバ
108、109 DS ACL
110、111 ストレージシステム
112、113 ボリューム
114 IP−LAN
506 DS ACLエントリ
507 DSに許可されたIPセグメント情報
511 OPEN処理プログラム
512 LAYOUTGET処理プログラム
513 DS ACL作成プログラム
1601、1602、1603、1604 クライアントコンピュータ
1605 メタデータサーバ
1606、1607 ストレージシステム(DS)
1608、1610 DS ACL
1609、1611 ボリューム
1612 IP−LAN
1706 DS ACLエントリ
1707 クライアントアダプタ
1710 OPEN処理プログラム
1711 LAYOUTGET処理プログラム
1712 DS ACL作成プログラム
2301、2302、2303、2304 クライアントコンピュータ
2305 メタデータサーバ
2306、2307 ストレージシステム
2308、2310 DS ACL
2309、2311 ボリューム
2312 IP−LAN
2313 FC−LAN

Claims (20)

  1. 複数のクライアントコンピュータと複数のデータサーバとに接続されたメタデータサーバで、
    前記メタデータサーバは、
    複数の第一識別情報を含むグループと、前記複数のクライアントコンピュータの中から一つのクライアントコンピュータと関連した第二識別情報との関係の指示を記憶するように構成されたメモリを有し、
    前記クライアントコンピュータは、前記グループに関係するデータにアクセスする許可を有し、
    前記複数の第一識別情報の各々が、前記複数のデータサーバのそれぞれのデータサーバからのデータを含み、
    前記複数の第一識別情報の前記各々のデータサーバが、前記複数の第一識別情報の他のそれぞれのものと関連した前記複数のデータサーバの他のものと異なり、
    前記メモリ内の前記関係に基づいて、前記関係を管理し、前記クライアントコンピュータからの前記データサーバへのアクセスを制御するコントローラ
    を含む、メタデータサーバ。
  2. 前記第一識別情報が、前記データのファイルパス情報とファイル名情報とをさらに含み、
    前記第二識別情報が、少なくとも一つのインターネットプロトコル(IP)アドレスセグメントを含み、
    前記コントローラが、前記メモリ内の前記関係と前記クライアントコンピュータのアドレスセグメントとに基づいて、前記クライアントコンピュータからの前記アクセスを制御する、
    請求項1に記載のメタデータサーバ。
  3. 前記第一識別情報が、前記データのファイルパス情報とブロック情報とを含み、
    前記第二識別情報が、少なくとも一つのインターネット小型コンピュータシステムインターフェイス・クオリファイド・ネーム(IQN)を含み、
    前記コントローラが、前記メモリ内の前記関係と前記クライアントコンピュータの前記IQNとに基づいて、前記クライアントコンピュータからの前記アクセスを制御する、
    請求項1に記載のメタデータサーバ。
  4. 前記第一識別情報が、前記データのファイルパス情報とブロック情報とを含み、
    前記第二識別情報が、少なくとも一つのファイバチャネル(FC)ワールドワイドネーム(WWN)を含み、
    前記コントローラが、前記メモリ内の前記関係と前記クライアントコンピュータの前記FC−WWNとに基づいて、前記クライアントコンピュータからの前記アクセスを制御する、
    請求項1に記載のメタデータサーバ。
  5. 前記メモリは、
    第一モードで実行されたときに、前記第二識別情報に基づいて前記複数のクライアントコンピュータからのアクセスを制御するように前記複数のデータサーバを動作させ、ファイルハンドルを含む応答を生成するようさらに動作させるオープン処理プログラムをさらに記憶する、
    請求項1に記載のメタデータサーバ。
  6. 前記メモリは、
    第二モードで実行されたときに、前記第二識別情報に基づいて前記複数のクライアントコンピュータからのアクセスを制御するように前記複数のデータサーバを動作させ、レイアウト情報を含む応答を生成するようさらに動作させるレイアウト処理プログラムをさらに記憶する、
    請求項5に記載のメタデータサーバ。
  7. 前記コントローラが、前記第二モードから前記第一モードに、または前記第一モードから前記第二モードに、前記メタデータサーバのモードを変える、
    請求項6に記載のメタデータサーバ。
  8. 前記コントローラがファイル作成のリクエストに応答して、前記ファイルに基づいて前記第一識別情報をアップデートし、前記リクエストに基づいて前記第二識別情報をアップデートするように構成される、
    請求項1に記載のメタデータサーバ。
  9. 前記メタデータサーバが、パラレルネットワークファイルシステム(pNFS)に統合される、
    請求項1に記載のメタデータサーバ。
  10. 複数のクライアントコンピュータと、
    複数のデータサーバと、
    前記複数のクライアントコンピュータと前記複数のデータサーバとに接続されたメタデータサーバで構成されるシステムであって、
    前記システムは、
    複数の第一識別情報を含むグループと、前記複数のクライアントコンピュータの中から一つのクライアントコンピュータと関連した第二識別情報との間の関係の指示を記憶するように構成されたメモリを有し、
    前記クライアントコンピュータが、前記グループに関係するデータにアクセスする許可を有し、
    前記複数の第一識別情報の各々が、前記複数のデータサーバのそれぞれのデータサーバからのデータを含み、前記複数の第一識別情報の前記各々のデータサーバが、前記複数の第一識別情報の他のものと関連した前記複数のデータサーバの他のそれぞれのものと異なり、
    前記メモリ内の前記関係に基づいて、前記関係を管理し、前記クライアントコンピュータから前記データサーバへのアクセスを制御するコントローラを前記システムは有し、
    前記複数の第一識別情報の各々が、前記複数のデータサーバの中から一つのデータサーバのデータを含み、前記データサーバが、前記複数の第一識別情報の他のものの前記データサーバと異なるシステム。
  11. 前記第一識別情報が、前記データのファイルパス情報とファイル名情報とをさらに含み
    前記第二識別情報が、少なくとも一つのインターネットプロトコル(IP)アドレスセグメントを含み
    前記コントローラが、前記メモリ内の前記関係と前記クライアントコンピュータの前記IPアドレスセグメントとに基づいて、前記クライアントコンピュータからの前記アクセスを制御する、
    請求項10に記載のシステム。
  12. 前記第一識別情報が、前記データのファイルパス情報とブロック情報とを含み、
    前記第二識別情報が、少なくとも一つのインターネット小型コンピュータシステムインターフェイス・クオリファイド・ネーム(IQN)を含み、
    前記コントローラが、前記メモリ内の前記関係と前記クライアントコンピュータの前記IQNとに基づいて、前記クライアントコンピュータからの前記アクセスを制御する、
    請求項10に記載のシステム。
  13. 前記第一識別情報が、前記データのファイルパス情報とブロック情報とを含み、
    前記第二識別情報が、少なくとも一つのファイバチャネル(FC)ワールドワイドネーム(WWN)を含み、
    前記コントローラが、前記メモリ内の前記関係と前記クライアントコンピュータの前記FC−WWNとに基づいて、前記クライアントコンピュータからの前記アクセスを制御する、
    請求項10に記載のシステム。
  14. 前記メモリは、
    第一モードで実行されたときに、前記第二識別情報に基づいて前記複数のクライアントコンピュータからのアクセスを制御するように前記複数のデータサーバを動作させ、ファイルハンドルを含む応答を生成するようさらに動作させるオープン処理プログラムをさらに記憶する、
    請求項10に記載のシステム。
  15. 前記メモリは、
    第二モードで実行されたときに、前記第二識別情報に基づいて前記複数のクライアントコンピュータからのアクセスを制御するように前記複数のデータサーバを動作させ、レイアウト情報を含む応答を生成するようさらに動作させるレイアウト処理プログラムをさらに記憶する、
    請求項14に記載のシステム。
  16. 前記コントローラが、前記第二モードから前記第一モードに、または前記第一モードから前記第二モードに、前記メタデータサーバのモードを変える、
    請求項15に記載のシステム。
  17. 前記コントローラが、前記複数のクライアントの一つからのファイル作成のリクエストに応答して、前記ファイルに基づいて前記第一識別情報をアップデートし、前記リクエストに基づいて前記第二識別情報をアップデートするように構成される、
    請求項10に記載のシステム。
  18. 前記システムが、パラレルネットワークファイルシステム(pNFS)である、
    請求項10に記載のシステム。
  19. メタデータサーバを稼働するための命令を記憶する不揮発性コンピュータ可読媒体であり、
    前記命令が、
    複数の第一識別情報を含むグループと、前記複数のクライアントコンピュータの中から一つのクライアントコンピュータと関連した第二識別情報との間の関係の指示を管理するステップであり、
    前記クライアントコンピュータが、前記グループに関係するデータにアクセスする許可を有し、前記複数の第一識別情報の各々が、前記複数のデータサーバのそれぞれのデータサーバからのデータを含み、前記複数の第一識別情報の前記各々のデータサーバが、前記複数の第一識別情報の他のそれぞれのものと関連した前記複数のデータサーバの他のものと異なり、
    前記メモリ内の前記関係に基づいて、前記クライアントコンピュータから前記データサーバへのアクセスを制御する、ステップと
    を含む、不揮発性コンピュータ可読媒体。
  20. 前記第一識別情報が、前記データのファイルパス情報とファイル名情報とをさらに含み、
    前記第二識別情報が、少なくとも一つのインターネットプロトコル(IP)アドレスセグメントを含み、
    前記クライアントコンピュータからの前記アクセスを制御する前記ステップが、前記メモリ内の前記関係と前記クライアントコンピュータのアドレスセグメントとに基づく、
    請求項19に記載の不揮発性コンピュータ可読媒体。
JP2012248029A 2012-04-25 2012-11-12 メタデータサーバとデータサーバとの間でaclの一貫性を維持する方法および装置 Expired - Fee Related JP5859417B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/456,091 2012-04-25
US13/456,091 US9064106B2 (en) 2012-04-25 2012-04-25 Method and apparatus to keep consistency of ACLs among a meta data server and data servers

Publications (2)

Publication Number Publication Date
JP2013228998A true JP2013228998A (ja) 2013-11-07
JP5859417B2 JP5859417B2 (ja) 2016-02-10

Family

ID=47355828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012248029A Expired - Fee Related JP5859417B2 (ja) 2012-04-25 2012-11-12 メタデータサーバとデータサーバとの間でaclの一貫性を維持する方法および装置

Country Status (4)

Country Link
US (1) US9064106B2 (ja)
EP (1) EP2658205A1 (ja)
JP (1) JP5859417B2 (ja)
CN (1) CN103379118A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2385656B1 (en) * 2010-05-06 2012-12-12 Deutsche Telekom AG Method and system for controlling data communication within a network
US20150201016A1 (en) * 2014-01-14 2015-07-16 Amit Golander Methods and system for incorporating a direct attached storage to a network attached storage
CN107515879B (zh) * 2016-06-16 2021-03-19 伊姆西Ip控股有限责任公司 用于文档检索的方法和电子设备
US10469501B2 (en) * 2017-03-31 2019-11-05 Hewlett Packard Enterprise Development Lp Multi-protocol access control lists
CN107968825B (zh) * 2017-11-28 2021-06-29 新华三技术有限公司 一种报文转发控制方法及装置
CN108768948B (zh) * 2018-04-28 2021-04-16 努比亚技术有限公司 一种访问权限管理方法、服务器及计算机可读存储介质
CN110837647B (zh) * 2018-08-16 2022-11-08 迈普通信技术股份有限公司 管理访问控制列表的方法及装置
CN109582686B (zh) * 2018-12-13 2021-01-15 中山大学 分布式元数据管理一致性保证方法、装置、系统及应用
CN111597148B (zh) * 2020-05-14 2023-09-19 杭州果汁数据科技有限公司 用于分布式文件系统的分布式元数据管理方法
CN112689011B (zh) * 2020-12-24 2023-05-26 北京浪潮数据技术有限公司 一种基于nfs协议的业务传输方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010930A (ja) * 1998-06-24 2000-01-14 Hitachi Ltd ネットワークシステムでのアクセス制御方法
JP2003150419A (ja) * 2001-11-14 2003-05-23 Hitachi Ltd データベース管理システムの実行情報を取得する手段を有する記憶装置
JP2005215797A (ja) * 2004-01-27 2005-08-11 Nec Soft Okinawa Ltd 端末装置、サーバ、グループウェアシステム、グループウェア方法、および、グループウェアプログラム
JP2006011932A (ja) * 2004-06-28 2006-01-12 Hitachi Ltd ストレージ装置及びストレージ装置の排他制御方法
US20100153415A1 (en) * 2008-12-16 2010-06-17 Netapp, Inc. Method and Apparatus to Implement a Hierarchical Cache System with pNFS
JP2011065314A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd ファイル管理方法及びストレージシステム
JP2011232834A (ja) * 2010-04-23 2011-11-17 Fujitsu Ltd データ分散プログラム、データ復元プログラム、データ分散装置、データ復元装置、データ分散方法、およびデータ復元方法
JP2012003361A (ja) * 2010-06-15 2012-01-05 Chugoku Electric Power Co Inc:The コンテンツサーバ及びアクセス制御システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386546B1 (en) 2002-07-09 2008-06-10 Network Appliance, Inc. Metadirectory namespace and method for use of the same
JP4778970B2 (ja) * 2005-10-13 2011-09-21 株式会社エヌ・ティ・ティ・ドコモ 携帯端末、アクセス制御管理装置及びアクセス制御管理方法
US8255420B2 (en) * 2006-05-23 2012-08-28 Noryan Holding Corporation Distributed storage
WO2009032710A2 (en) * 2007-08-29 2009-03-12 Nirvanix, Inc. Filing system and method for data files stored in a distributed communications network
US8086585B1 (en) * 2008-09-30 2011-12-27 Emc Corporation Access control to block storage devices for a shared disk based file system
US7966383B2 (en) * 2009-03-27 2011-06-21 Business Objects Software Ltd. Client-server systems and methods for accessing metadata information across a network using proxies
US8473582B2 (en) * 2009-12-16 2013-06-25 International Business Machines Corporation Disconnected file operations in a scalable multi-node file system cache for a remote cluster file system
JP2011242826A (ja) * 2010-05-14 2011-12-01 Fujitsu Ltd ファイル管理システム及びファイル管理プログラム
US8719389B2 (en) * 2010-10-29 2014-05-06 Dell Products L.P. System and method for an access controller assisted boot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010930A (ja) * 1998-06-24 2000-01-14 Hitachi Ltd ネットワークシステムでのアクセス制御方法
JP2003150419A (ja) * 2001-11-14 2003-05-23 Hitachi Ltd データベース管理システムの実行情報を取得する手段を有する記憶装置
JP2005215797A (ja) * 2004-01-27 2005-08-11 Nec Soft Okinawa Ltd 端末装置、サーバ、グループウェアシステム、グループウェア方法、および、グループウェアプログラム
JP2006011932A (ja) * 2004-06-28 2006-01-12 Hitachi Ltd ストレージ装置及びストレージ装置の排他制御方法
US20100153415A1 (en) * 2008-12-16 2010-06-17 Netapp, Inc. Method and Apparatus to Implement a Hierarchical Cache System with pNFS
JP2011065314A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd ファイル管理方法及びストレージシステム
JP2011232834A (ja) * 2010-04-23 2011-11-17 Fujitsu Ltd データ分散プログラム、データ復元プログラム、データ分散装置、データ復元装置、データ分散方法、およびデータ復元方法
JP2012003361A (ja) * 2010-06-15 2012-01-05 Chugoku Electric Power Co Inc:The コンテンツサーバ及びアクセス制御システム

Also Published As

Publication number Publication date
US20130291066A1 (en) 2013-10-31
JP5859417B2 (ja) 2016-02-10
US9064106B2 (en) 2015-06-23
EP2658205A1 (en) 2013-10-30
CN103379118A (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
JP5859417B2 (ja) メタデータサーバとデータサーバとの間でaclの一貫性を維持する方法および装置
US10671289B2 (en) Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US9489395B2 (en) System and method for exposing cloud stored data to a content delivery network
JP4687382B2 (ja) ストレージシステムにおけるウイルスチェック方法
US7647461B2 (en) Method and apparatus for allocating resources among virtual filers on a filer
JP4567293B2 (ja) ファイルサーバ
US20090055901A1 (en) De-Centralization Of Group Administration Authority
US20080022120A1 (en) System, Method and Computer Program Product for Secure Access Control to a Storage Device
US20100169415A1 (en) Systems, methods, and apparatus for identifying accessible dispersed digital storage vaults utilizing a centralized registry
US20210209179A1 (en) System and methods for dynamic generation of object storage datasets from existing file datasets
WO2012114338A1 (en) Cloud storage arrangement and method of operating thereof
JP2004054721A (ja) ネットワークストレージ仮想化方法
US7194519B1 (en) System and method for administering a filer having a plurality of virtual filers
US8082261B1 (en) System and method for associating NIS attributes with CIFS clients
EP1741041A1 (en) Systems and methods for providing a proxy for a shared file system
KR101563292B1 (ko) 가상 세션 관리자를 이용한 클라우드 가상화 시스템 및 방법
JP2004334481A (ja) 仮想化情報管理装置
US20130110904A1 (en) Method and apparatus to forward shared file stored in block storages
JP6607044B2 (ja) サーバー装置、分散ファイルシステム、分散ファイルシステム制御方法、および、プログラム
JP4485875B2 (ja) ストレージ接続変更方法、ストレージ管理システム及びプログラム
JP7150551B2 (ja) 制御装置、ネットワーク構築システム、ネットワーク構築方法、及びプログラム
JP2022135641A (ja) I/oコマンド制御装置およびストレージシステム
CN113783970B (zh) 光纤通道标识的动态映射方法、装置、设备及其存储介质
US11797493B1 (en) Clustered file system for distributed data storage and access
JP2004334479A (ja) 複数の名前空間に対応したid変換システム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151216

R150 Certificate of patent or registration of utility model

Ref document number: 5859417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees