JP2016500883A - データ記憶装置 - Google Patents

データ記憶装置 Download PDF

Info

Publication number
JP2016500883A
JP2016500883A JP2015538343A JP2015538343A JP2016500883A JP 2016500883 A JP2016500883 A JP 2016500883A JP 2015538343 A JP2015538343 A JP 2015538343A JP 2015538343 A JP2015538343 A JP 2015538343A JP 2016500883 A JP2016500883 A JP 2016500883A
Authority
JP
Japan
Prior art keywords
cluster
data
control unit
systems
cluster system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015538343A
Other languages
English (en)
Other versions
JP6149205B2 (ja
Inventor
シュテフェン ヴェルナー,
シュテフェン ヴェルナー,
Original Assignee
フジツウ テクノロジー ソリューションズ インタレクチュアル プロパティ ゲーエムベーハー
フジツウ テクノロジー ソリューションズ インタレクチュアル プロパティ ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フジツウ テクノロジー ソリューションズ インタレクチュアル プロパティ ゲーエムベーハー, フジツウ テクノロジー ソリューションズ インタレクチュアル プロパティ ゲーエムベーハー filed Critical フジツウ テクノロジー ソリューションズ インタレクチュアル プロパティ ゲーエムベーハー
Publication of JP2016500883A publication Critical patent/JP2016500883A/ja
Application granted granted Critical
Publication of JP6149205B2 publication Critical patent/JP6149205B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84Using snapshots, i.e. a logical point-in-time copy of the data

Abstract

本発明は、少なくとも1つのデータ処理設備(13)からのデータをアーカイブする複数のクラスタシステム(11a、11b、11c)を有するコンピュータ配列(10)に関し、複数のクラスタシステム(11a、11b、11c)の各々はモジュラー設計である。クラスタシステム(11a、11b、11c)の各々は複数の構成部品コンピュータ(14a、14c)と、アーカイブされるべきデータをバッファに格納する少なくとも1つの大容量メモリシステム(12)と、個々のクラスタシステム(11a、11b、11c)の個々の構成部品コンピュータ(14a、14c)を制御するクラスタ制御部(17)と、を有する。コンピュータ配列は、複数のクラスタシステム(11a、11b、11c)をデータ志向型結合する少なくとも1つのデータ接続と、複数のクラスタシステム(11a、11b、11c)のクラスタ制御部(17)のクエリインタフェース(24)を介して状態データを問い合わせ及び複数のクラスタシステム(11a、11b、11c)のクラスタ制御部(17)の制御インタフェース(23)へワークオーダを送信する少なくとも1つの複合制御部(20)と、を更に有する。

Description

本発明は、少なくとも1つのデータ処理設備からのデータをアーカイブする複数のクラスタシステムを有するコンピュータ配列に関する。
少なくとも1つのデータ処理設備からのデータをアーカイブするクラスタシステムは従来知られている。例として、EP1234226B1は、Fujitsu Technologie Solutionsにより「CentricStor」という名称で販売されているデータ処理設備のためのテー部カセットを用いるバックアップ及びアーカイブシステムを開示する。「CentricStor」として知られているバックアップ及びアーカイブシステムのアーキテクチャは、図3に簡単な形式で概略的に示される。
図3に示すバックアップ及びアーカイブシステムは、1又は複数のホスト1と、1又は複数のカセットドライブ2と、に接続される。ホスト1からのデータは、データ入力において供給される。さらに、少なくとも1つのディスク記憶ユニット4を有するディスク記憶サブシステム3は、データ志向型結合ユニット5の部分として配置される。データ志向型結合ユニット5は、ホスト1及びカセットドライブ2に接続される。データ志向型結合ユニット5の中には、バックアップ及びアーカイブ動作のために必要なデータ志向型処理を取り扱う別個の機能ユニットがある。
第1の機能コンポーネントは、データ入力、カセットドライブ2、及びディスク記憶サブシステム3の間のデータフローを調整し及び制御する。第2の機能ユニットは、少なくとも1つのデータ入力で受信したデータのディスク記憶サブシステム3への送信を行う。一方、第3の機能コンポーネントは、ディスク記憶サブシステム3のバッファに格納されたデータを少なくとも1つのカセットドライブ2へ送信するために設けられる。
図3に示す例示的な実施形態では、第2及び第3の機能ユニットは、それぞれ少なくとも1つのCPUと主メモリを備えディスク記憶サブシステムに接続される2個の構成部品コンピュータ6により実現される。構成部品コンピュータ6のうちの幾つかは、データ転送を扱う目的でそれぞれホスト側にある少なくとも1つのホスト1に更に接続される。幾つかの他の構成部品コンピュータ6は、それぞれカセットドライブ側にあるカセットドライブ2に更に接続される。構成部品コンピュータ6の数は、様々な方法で選択できる。
他のソリューションと比べて、この種のバックアップ及びアーカイブシステムは、入力側でアーカイブされるべきデータの受け入れ及び出力側でアーカイブされるべきデータのバックアップに関して比較的大きな柔軟性を有する。しかしながら、図3に示すシステムの柔軟性でさえ、制限される。
特に、このようなクラスタシステムの更なる展開のための費用は、バックアップ及びアーカイブシステムに追加機能を統合する必要がある場合、大きく増大する。このような追加機能の例は、アーカイブされるべきデータをバックアップするための新しいホストインタフェース又は大容量機器のサポート、更なるディスクサブシステムのような追加内部コンポーネント又はサービス機能を実行する追加サービスコンポーネントの統合、又は例えばファイルサーバとして示されるバックアップ及びアーカイブシステムをリモートサイトから若しくは新しいプロトコルを用いて作動するための新しいユーザインタフェースの提供、である。
したがって、本発明の目的は、データをアーカイブするクラスタシステムを更に柔軟にするアーキテクチャを記載することである。望ましくは、新しい機能、ハードウェア、及びソフトウェアユニット及びインタフェースは、既存のクラスタシステムに介入することなく追加可能である。
本発明の一態様によると、これに関して、少なくとも1つのデータ処理設備からのデータをアーカイブする複数のクラスタシステムを有するコンピュータ配列が開示される。この配列では、複数のクラスタシステムの各々は、モジュラー設計であり、データ処理設備からアーカイブされるべきデータを受信する少なくとも1つの第1の構成部品コンピュータと、アーカイブされるべきデータをバッファに格納する少なくとも1つの大容量メモリシステムと、アーカイブされるべきデータを少なくとも1つの更なる大容量メモリ装置、特に磁気テープメモリ装置にバックアップする少なくとも1つの第2の構成部品コンピュータと、個々のクラスタシステムの個々の構成部品コンピュータを制御するクラスタ制御部と、を有する。コンピュータ配列は、複数のクラスタシステムをデータ志向型結合する少なくとも1つのデータ接続と、複数のクラスタシステムのクラスタ制御部のクエリインタフェースを介して状態データを問い合わせ及び複数のクラスタシステムのクラスタ制御部の制御インタフェースへワークオーダを送信する少なくとも1つの複合制御部と、を更に有する。
個々のクラスタシステムに問い合わせ制御するクエリインタフェース及び制御インタフェース、複数のクラスタシステム、及び少なくとも1つの複合制御部のデータ志向型結合のためのデータ接続の提供は、特に、共通のコンピュータ配列の中の異なるクラスタシステムの構成部品の柔軟な結合を可能にする。この場合、コンピュータ配列の機能及び性能は、更なる及び/又は他の種類の構成部品コンピュータを有する更なるクラスタシステム、及び他の機能ユニットを追加することにより、既に設置されている1又は複数のクラスタシステムに介入する必要を有しないで、補強できる。このようなアーキテクチャは、以下に詳述する多数の更なる利点を有する。
好適な実施形態によると、複合制御部は、ソフトウェアコンポーネントとして実施され、複数のクラスタシステムのうちの少なくとも1つのクラスタシステムの少なくとも1つの構成部品コンピュータは、該ソフトウェアコンポーネントを実行するよう設定される。例として、複合制御部は、クラスタ制御部と一緒に、相互接続されたクラスタシステムのうちの1つ、複数、又は全部のミドルウェアを形成する追加ソフトウェアコンポーネントであっても良い。
更なる実施形態によると、各クラスタシステムは、ミドルウェアを実行するよう設定され、各クラスタシステムは、コンピュータ配列の他のクラスタシステムのクエリインタフェースに問い合わせることができ、コンピュータ配列の他のクラスタシステムの制御インタフェースにワークオーダを送信できるようにする。このような実施形態は、とりわけ、例えばルールデータベースの所定のルールに従って、あるクラスタシステムから別のクラスタシステムへ、リソースの自動再配置又は転用を可能にする。
別の有利な実施形態によると、少なくとも1つの複合制御部は、複数のクラスタシステムを有するコンピュータ配列のオペレータ制御のためのユーザインタフェースを提供するよう設定され、ユーザインタフェースは、クラスタシステムの各々への状態要求からの結果に基づき、コンピュータ配列の全体状態を集めるよう設定される。この種の中央ユーザインタフェースは、管理者が複数のクラスタシステムに別個にアクセスする必要がなく、コンピュータ配列全体の簡易且つ統一的管理を可能にする。この場合、コンピュータ配列の全体状態が複合制御部又はクラスタシステムのうちの1つに格納される必要はない。
有利な実施形態によると、ユーザインタフェースは、個々のクラスタシステムの利用レベル及び/又は所定のルールデータベースに基づき、ユーザインタフェースを介して受信したワークオーダを実行するクラスタシステムを選択し、及び該ワークオーダを選択したクラスタシステムの制御インタフェースへ送信するよう更に設定される。この種の中央オーダ受理及び割り当ては、特に、個々のクラスタシステムの境界を跨ってコンピュータ配列全体の均一な利用を保証する。
更なる有利な実施形態によると、複合制御部は、クラスタ制御部のクエリインタフェースを用いて、個々のクラスタシステムの動作状態を監視するよう設定される。第1のクラスタシステムにおける動作障害の識別により促されると、該第1のクラスタシステムに関連付けられたワークオーダの実行を停止するための第1のオーダは、第1のクラスタシステムのクラスタ制御部の制御インタフェースへ送信される。停止されたワ―クオーダに関連付けられたバッファに格納されたデータを第1のクラスタシステムから少なくとも1つのデータ接続を介して第2のクラスタシステムへ送信するための第2のオーダは、第1及び/又は第2のクラスタシステムのクラスタ制御部の制御インタフェースへ送信される。停止されたワークオーダを実行するための第3のオーダは、第2のクラスタシステムのクラスタ制御部の制御インタフェースへ送信される。このようなコンピュータ配列及び複合制御部は、特に、複合制御部が個々のクラスタシステムの障害に柔軟に反応できるので、コンピュータ配列の信頼性を全体として向上させる。
可能な実施形態によると、複合制御部及び/又はクラスタ制御部は、全てのクラスタ制御部により共同で使用されるネットワークファイルシステムを用いて複数のクラスタシステムからアーカイブされるべきデータをバッファに格納する大容量メモリシステムのうちの全部を管理するよう更に設定される。この種の共同使用されるネットワークファイルシステムは、故障したクラスタシステムのほんの幾つかの構成部品コンピュータが正しく動作しない又はもはや動作しない場合でも、バッファに格納されたデータにアクセスできる。
更なる有利な実施形態によると、第1のクラスタシステムのクラスタ制御部は、所定のイベントが生じると、第1のクラスタシステムにおいてバッファに格納されたデータを、少なくとも1つのデータ接続を介して、第2のクラスタシステムへ送信するよう設定される。例として、複数のクラスタシステムのデータ志向型結合のための少なくとも1つのデータ接続は、第1のクラスタシステムの第2の構成部品コンピュータと第2のクラスタシステムの第1の構成部品コンピュータとの間のネットワーク接続を有し得る。この例では、第1のクラスタシステムのクラスタ制御部は、複合制御部により要求されると、第1のクラスタシステムにおいてバッファに格納されたデータを、ネットワーク接続を介して、第2のクラスタシステムへ送信するよう設定される。このような構成は、追加接続構造を設けることなく、ワークオーダをあるクラスタシステムから別のクラスタシステムへ送信することを可能にする。
本発明の更なる実施形態によると、複数のクラスタシステムのデータ志向型結合のための少なくとも1つのデータ接続は、複合制御部と複数のクラスタシステムのクラスタ制御部との間で状態クエリ及びワークオーダを交換するための少なくとも1つの制御ネットワークと、交換されたワークオーダに関連付けられたバッファに格納されたデータを複数のクラスタシステムの大容量メモリシステム間で交換するためのメモリネットワークと、を有する。このようなデータ志向型結合のためのデータ接続を制御ネットワークとメモリネットワークとに分離することは、メタデータ及びアーカイブされるべきデータを、これら2つのデータ種類の異なる要件に関して、分離することを可能にする。
本発明は、以下の図面を参照して異なる例示的な実施形態を用いて以下に詳細に記載される。
複合制御部を有するコンピュータ配列の概略図を示す。 例示的な一実施形態によるコンピュータ配列の概略図を示す。 従来技術によるモジュラクラスタシステムの概略図を示す。
図1は、複合制御部20によりコンピュータ配列10を制御する原理を概略的に示す。
図1では、第1のクラスタシステム11aは、第2のクラスタシステム11bと結合され、コンピュータ配列10を形成する。第1のクラスタシステム11aは、状態要求SRに応答するクエリインタフェース24を有する。状態要求SRの結果は、複合制御部20に供給される。複合制御部20は、とりわけ、コンピュータ配列10の制御のための基礎として、クラスタシステム11aへの状態要求SRの結果の継続的監視、及びそれに含まれる測定値の分析を行うルールデータベース26を有する。
例として、複合制御部20は、コンピュータ配列10のクラスタシステム11aと11bとの間でアーカイブオーダの分配を引き受ける。同様に、複合制御部は、コンピュータ配列10の全体利用レベルに対処するために、個々のクラスタシステム11a又は11b又はそれらの部分、特に個々の構成部品コンピュータを起動又は停止できる。ワークオーダの予定された構成変化及び割り当てに基づき、複合制御部20は、第2のクラスタシステム11bを制御する制御コマンドNC(node control、ノード制御)を制御インタフェース23へ送信する。
コンピュータ配列10の中で、ワークオーダは、柔軟に分配され、及び保留できる。第2のクラスタシステム11bが第1のクラスタシステム11aからのワークオーダを引き受ける場合、例えば、過剰に高い利用レベル又は第1のクラスタシステム11aにおける故障のため、共同で使用されるデータを送信する論理的又は物理的に別個の通信チャネルSDM(shared data move)が、関連するデータレコードをクラスタシステム11aからクラスタシステム11bへ送信するために用いられる。この場合の送信が複合制御部20、第1のクラスタシステム11a又は第2のクラスタシステム11bにより開始され及び/又は調整されるかは、使用されるネットワーク技術の個々の実装及び個々のコンポーネントの互いの間の結合に依存する。
データ志向型結合の可能な例は、クラスタシステム11a及び11b又はそれらのローカル制御部による共有メモリネットワーク及び/又は共有ネットワークファイルシステムの使用を有する。代替で、広域ネットワークを介して送信するために、図2を参照して後に詳述するように、個々のクラスタシステムの直接又は間接結合を使用することも可能である。
例として、送信の瞬間は、一方のクラスタシステム11aから他方のクラスタシステム11bへのデータの送信について自動又は手動で規定される制御時間により決定される。代替で、この瞬間は、関連するクラスタシステム11a及び11bの利用レベル又は通信チャネルSDMに基づき決定できる。
図2は、3個のクラスタシステム11a、11b及び11cを有するコンピュータ配列10の例示的な構成を示す。クラスタシステム11a〜11cの各々は、アーカイブされるべきデータをバッファに格納する中央大容量メモリシステム12を有する。さらに、クラスタシステム11a、11b、11cは、それぞれ、例えば図3を参照して前述したバックアップ及びアーカイブシステムに従って、第1の機能ユニットFE1のタスクを引き受ける専用ローカルクラスタ制御部17を有する。例示的な実施形態では、クラスタ制御部17は、個々のクラスタシステム11a〜11cの構成部品コンピュータ14aで実行するソフトウェアコンポーネントとして実装される。
例として、クラスタシステム11a及び11cは、それぞれ、図3を参照して既に前述したバックアップ及びアーカイブシステムである。クラスタシステム11a及び11cは、それぞれ、1又は複数の処理設備13のホスト1からアーカイブされるべきデータを受信する1又は複数の第2の機能ユニットFE2を有する。第2の機能ユニットFE2は、1又は複数の所謂フロントエンド構成部品コンピュータ14bにより提供される。さらに、クラスタシステム11a及び11cは、それぞれ大容量メモリシステム12からのバッファに格納されたデータを、クラスタシステム11a及び11cに接続される外部大容量メモリ機器、特に図2に示すテープドライブ15を起動してそれにバックアップする第3の機能ユニットFE3を提供する所謂バックエンド構成部品コンピュータ14cを有する。
クラスタシステム11bの設計は、クラスタシステム11a及び11cの設計と異なる。特に、クラスタシステム11bは、テープドライブに直接結合されない。代わりに、クラスタシステム11bは、内部大容量メモリシステム12に格納されたデータを複製する更なる機能ユニットFE4を有する。データを複製する機能ユニットFE4は、例えば更なる構成部品コンピュータ14dで実行される。
大容量メモリシステム12のバッファに格納されたデータの複製は、大容量メモリシステム12に比較的多数のデータを保持することを可能にする。特に、各場合に変化のみが追加で格納されるならば、異なるバージョンのバックアップされたデータレコードが、大容量メモリシステム12に保持できる。大容量メモリシステム12に格納されたデータがクラスタシステム11bの完全な故障又は破壊に対してもバックアップされることを保証するために、クラスタシステム11bは、広域ネットワーク16、例えばインターネット又は個々のクラスタシステム11a〜11cの異なるサイト間の専用線を介してクラスタシステム11cに結合される。この場合、クラスタシステム11bのバックエンド構成部品コンピュータ14dは、大容量メモリシステム12に保持された複製されたデータを、広域ネットワーク16を介してクラスタシステム11cのフロントエンド構成部品コンピュータ14aへ送信するために用いられる。
上述のように、図2に示したコンピュータ配列10の中に配置されるコンポーネント及びサブシステムは、既に、異なる種類のデータをアーカイブする多数の関心のある機能を可能にする。コンピュータ配列10の管理を更に簡単にするため、同時にそれに含まれるコンポーネントの使用の柔軟性を達成するために、コンピュータ配列10は、制御ネットワーク21を介して個々のクラスタシステム11a〜11cのクラスタ制御部17に接続される複合制御部20を更に有する。図2に示す例示的な構成では、遠隔に設定されたクラスタシステム11cのクラスタ制御部17は、この場合には広域ネットワーク16を介して複合制御部20に物理的に結合される。
複合制御部20は、とりわけ、ユーザインタフェース22を有する。ユーザインタフェース22を介して、コンピュータ配列10は、データ処理設備13のホスト10から制御され、構成され、及び監視され得る。この場合、複合制御部20は、図2に示すように、物理的に別個の機器として実現されても良い。代替で、複合制御部20は、クラスタシステム11a、11b、11cのうちの1又は複数の中の更なるソフトウェアコンポーネントとして、例えば構成部品コンピュータ14a〜14dのうちの1つで実行できる。
とりわけ複合制御部による監視、構成及び制御の目的で、個々のクラスタ制御部17は、それぞれ、制御インタフェース23及びクエリインタフェース24を有する。複合制御部20は、クラスタシステム11a〜11cの各々の個々の状態を問い合わせるために、クエリインタフェース24を使用できる。特に、クエリインタフェース24は、クラスタシステム11a〜11cが基本的に動作可能か否か、それらにインストールされた個々のコンポーネント、特に構成部品コンピュータ14a〜14d及び大容量メモリシステム12の利用レベルがどれだけ高いか、及びどんなタスクが個々の構成部品コンピュータ14a、14b、14c又は14dに割り当てられているか、を問い合わせるために使用できる。これらのデータに基づき、複合制御部20は、コンピュータ配列10の全体状態を解明でき、ユーザインタフェース22を用いて該全体状態をコンピュ―タ配列10のユーザに提示できる。
必要な場合には、ユーザは、ユーザインタフェース22を用いて、現在の構成、特に個々のワークオーダ及び/又は機能ユニットFE1〜FE4へのリソースの割り当てに対して変更を行うことができる。この場合、全ての各々のクラスタシステム11a、11b又は11cの構成は、望ましくは、それら個々のクラスタ制御部17によりローカルに格納され管理され、中央複合制御部20により単に結合され及び/又は転送される。
提示及び/又はユーザによる手動構成に加えて、収集されたデータは、データ処理設備13により新たに到着するアーカイブ要求の割り当てに関する決定を自動的に行うために用いることもできる。例として、ユーザインタフェース22により中央で受理されたタスクは、データ処理設備13のホスト1により、現在最低利用レベルを有するクラスタシステム11a、11b、又は11cのうちの1つへアーカイブのために転送できる。さらに、データ処理設備13のアプリケーションにより、例えば第1のクラスタシステム11aのクラスタ制御部17へ直接送信されたワークオーダは、複合制御部20によりクラスタシステム11aの待機リストから削除され、より低い利用レベルのクラスタシステム、例えばクラスタシステム11bに割り当てることができる。
ワークオーダに関連するデータが既にクラスタシステム11aの大容量メモリシステム12のバッファに格納されている場合、これらのデータは、クラスタシステム11aからクラスタシステム11bへ送信される必要がある。例示的な実施形態では、これは、別個のメモリネットワーク25により達成される。別個のメモリネットワーク25を介して、第1のクラスタシステム11a及び第2のクラスタシステム11bの大容量メモリシステム12が接続される。上述のように、第3のクラスタシステム11cは、同様に、広域ネットワーク16を介して間接的に、クラスタシステム11a及び11bに接続される。したがって、クラスタシステム11bからクラスタシステム11cへの更なるデータ再配置が可能である。
制御ネットワーク21、制御インタフェース23及びクエリインタフェース24を設け、特にクラスタシステム11a、11b及び11cの間のメモリネットワーク25並びに広域ネットワーク16を介したクラスタシステム11bと11cとの結合のような追加データ送信経路を設け、複合制御部20により受信されたタスクを考慮することは、コンピュータ配列10が統一システムとしてクラスタ制御部20により制御されることを可能にする。
制御ネットワーク21及びメモリネットワーク25の技術的実装は、上述のアーキテクチャにはあまり重要ではない。しかしながら、比較的大容量の連続データを送信するために用いられるメモリネットワーク25が大容量伝送帯域を提供する技術を用いて実装されることは有利である。例として、適切な技術は、IEEE標準ファミリ802.3に基づくGigabit Ethernet(登録商標)のような広帯域接続技術に基づく光ファイバチャネルプロトコルである。対称的に、制御ネットワーク21は、比較的小容量のデータのみを送信するために用いられる必要がある。しかしながら、個々のクラスタ制御部17を互いに及び複合制御部20と遅滞なく調整するために、比較的短い待ち時間を有するネットワーク技術がこのネットワークに用いられるべきである。例として、限られた数の加入者を有する従来のローカルエリアネットワークは、制御ネットワーク21に適する。適切なセグメント化、仮想化、又は優先順位付けは、サブネットワークが共有物理又は論理データネットワークの両方により実装できることを意味する。
図2に示されない更なる代替では、複合制御部20は、複合制御部20自体だけでなく個々のクラスタシステム11a、11b及び11cのクラスタ制御部17も有するミドルウェアの部分である。
記載のミドルウェアは、必要な場合にはコンピュータ配列10全体を制御する。ミドルウェアのタスクは、とりわけ、例えば隣接クラスタシステム11a、11b又は11cの故障又は個々の構成部品コンピュータ14a、14b、14c又は14dの故障のような、システムイベントの監視を有する。さらに、ミドルウェアは、個々のクラスタコンピュータで実行される処理を開始又は停止させ、或いは、クラスタシステム11a、11b又は11c若しくはコンピュータ配列10全体の構成を可能にする。この目的のため、ミドルウェアは、制御ネットワーク21を介してコンピュータ配列の全ての基本的部分に接続され、例えば大容量メモリシステム12のうちの1又は複数に格納された達成されるべきタスクに関するメタ情報のようなコンピュータ配列に格納された情報にアクセスする。
制御ネットワーク21は、クラスタシステム11a、11b、及び11cのミドルウェアコンポーネントを有効に相互接続する。したがって、相互監視及び制御が可能になる。本実施形態では、ミドルウェアは、先ず、隣接クラスタシステムからの要求に対してデータキャプチャセクションとして、次に、クラスタシステム内の動作要素として動作するが、隣接クラスタシステムに外部の影響を及ぼす制御部として動作する。
上述の及び同様のソリューションの利点は、クラスタシステム11a、11b又は11cの各々がコンピュータ配列10全体の制御を引き受けることができることである。特に、これは、個々のクラスタシステム11a、11b又は11cの及び単一の中央複合制御部20の障害に対して冗長性を提供する。
例えば記載のコンピュータ配列10で使用するルールデータベース26の関連するルールを含む3つのシナリオを以下に記載する。これらは多数の可能なシナリオのうちのほんの一部であることは言うまでもない。
シナリオ1:障害に続く、物理テープドライブの一時的再配置
通常動作では、クラスタシステム11は、任意の物理テープドライブ15をアドレスするために、構成部品コンピュータ14cの任意の機能ユニットFE3を使用できる。例として、クラスタシステム11aの各構成部品コンピュータ14cは、最初に、2個の関連するテープドライブ15を有することができる。記載のシナリオでは、クラスタシステム11aの第3の機能ユニットFE3の2個の物理テープドライブ15は完全に故障している。つまり、この機能ユニットFE3は、更なる物理テープドライブ15を有しないで更なるバックアップオーダを実行できない。しかしながら、機能ユニットFE3及び後者を実行するために用いられる構成部品コンピュータ14c自体は、動作可能状態のままである。
更なる物理テープドライブ、例えば更なる構成部品コンピュータ14cのテープドライブ15が第1のクラスタシステム11aの機能ユニットFE3に、適切なネットワーク、例えば光ファイバチャネル記憶装置ネットワークを介して接続される場合、機能ユニットFE3は、この更なるテープドライブ15にアクセスできる。この場合、特定の機能ユニットFE3がどの物理テープドライブ15にアクセスできるかに関する関連性は、クラスタシステム11aのミドルウェア、特に第1の機能ユニットFE1により制御される構成によって専ら決定される。クラスタシステム11aの第1の機能ユニットFE1は、割り当てられた物理テープドライブ15の数を知っている。
記載のシナリオでは、ルールデータベース26は、所定の機能ユニットFE3に割り当てられた全ての物理テープドライブ15が故障したとき、追加テープドライブ15を有し望ましくは同じクラスタシステム11aの中にある更なる機能ユニットFE3が捜し出される必要があるというルールを有する。次に、クラスタシステム11aの構成は変更され、依然として全体的に利用可能な機能物理テープドライブ15が、クラスタシステム11aの機能ユニットFE3に渡り可能な限り均等に分散されるようにする。その結果、1又は複数のテープドライブ15の故障は、第3の機能ユニットFE3により記録される。完全な自動化手段は、クラスタシステム11aの全ての機能ユニットFE3が完全に動作可能のままであることを保証する。つまり、クラスタシステム11aの第3の機能ユニットFE3は、より高いデータスループットを有する残りの物理テープドライブ15にバックアップできる。
記載のシナリオでは、均等化は単一のクラスタシステム11aの中で実行された。複数の接続されたクラスタシステムが存在するとき、均等化は、単一のクラスタシステムの境界を跨って、例えば隣接クラスタシステム11aと11bを再構成することにより、又は結合されたクラスタシステム11bと11cとの間で、ローカルリソース障害を補償するために、実行できる。
シナリオ2:過負荷のイベントにおけるオーダの一時的再配置
再び図2に示すコンピュータ配列10を参照する。しかしながら、この場合には、上述の例1と異なり、第1のクラスタシステム11aの物理テープドライブ15は故障していない。第1のクラスタシステム11aは、物理テープドライブ15へのバックアップデータレートに関する情報をMB/sで提供する測定値をキャプチャする。したがって、現在バックアップされる必要のあるデータの容量が、そのために利用可能な時間ウインドウに適合するか否かを計算することが可能である。
この目的のために、ルールデータベース26は、例えば以下のルールを有する。バックアップされるべきデータ容量がそのために提供される時間ウインドウ内でバックアップできないとき、第1の機能ユニットFE1は、クラスタシステム11aの個々の第3の機能ユニットFE3の利用レベルを比較する。そうする際に、最低負荷を有する第3の機能ユニットFE3が見付けられ、最高利用レベルを有する機能ユニットFE3も見付けられる。次に、シナリオ1を参照して上述したように、クラスタシステム11aの再構成は、低利用レベルを有する機能ユニットFE3から高利用レベルを有する機能ユニットFE3に、テープドライブ15を再配置する。
所定の制約を守るには不十分なので、入力データストリームは、場合によっては、コンピュータ配列10を再構成することにより、1又は複数のホスト1から別のクラスタシステム11b又は11cに迂回される。得られる結果は、バックアップ速度の増大により達成される負荷均等化である。
シナリオ3:時間ゾーンに従う割り当ての分散
ここで検討する初期状況は、異なる時間ゾーンで設定され動作される2つのクラスタシステム11a及び11cである。ユーザは、異なるサイトにおける個々のワークプロファイルを有する。例えば、ホスト1のための完全なバックアップは、各サイトにおける現地の夜間時間中に実行される必要がある。バックアップが2時間を要し、サイトが2時間の時差を有するベルリンとモスクワにあると仮定すると、基本的に、バックアップは、全てのサイトで同じ現地時間で同じバックエンド装置、例えば同じテープドライブ15により開始されるべきであると考えられる。バックアップがモスクワの現地時間22:00(ベルリン時間の20:00)に開始し2時間を要する場合、テープドライブ15及び関連する第3の機能ユニットFE3は、続いて第1のサイトからベルリンに移されることができる。これは、機能ユニットFE3を有するバックエンド及びテープドライブ15の不変の利用レベルを達成する。
この場合、ルールデータベース26は、テープドライブがモスクワの現地時間22:00にその場所にあるクラスタシステム11aにより構成されるというルールを有する。これは、第1のクラスタシステム11aに割り当てられている全ての物理テープドライブ15を巻き込む。したがって、つまり、ベルリンにおける22:00現地時間に、モスクワにおける24:00に、バックアップが終了している。次に、クラスタ制御部20は、コンピュータ配列10を再構成して、全てのテープドライブ15がベルリンにある第2のクラスタシステムに割り当てられるようにする。ベルリンにおけるバックアップは、次に、全能力をあげて実行できる。
その結果、物理テープドライブ15は、中断無く、4時間の間動作する。さらに、他の時間帯にある都市が利用可能である、又はバックアップウインドウが拡大される場合、達成できる効果は、物理テープドライブ15が中断無く動作することである。これは、高価な物理テープドライブ15への場合によっては非常に高いレベルの投資を良好に分散させる。
上述の例示的な実施形態及びシナリオは、知られているクラスタシステムと比べて、一連の利点を有するコンピュータ配列をもたらす。
第1に、複合制御部20の提供は、単一のユーザインタフェース22を用いるコンピュータ配列のオペレータ制御を可能にする。さらに、場合によっては更なるクラスタシステムの単なる追加により、新しい機能及び能力拡張の両方の観点でシステムの拡張が行われる。拡張性及び他のクラスタシステムへの個々の要求の再配置の機会は、コンピュータ配列10が実際に適宜拡張可能であることを意味する。クラスタシステム内の現行のスロット数のような予め存在している制限は、上述のアーキテクチャモデルに基づく多層の階層により克服される。したがって、コンピュータ配列10の実際に無限の拡張性が可能である。
さらに、特に、複合制御部とメモリネットワーク25の結合は、1つのクラスタシステム11aからを別のクラスタシステム11b又は11cへのリソースの手動若しくは自動再配置若しくは転用を可能にする。したがって、均一な負荷分散を保証できる。
最後に、クラスタシステム11aの故障がクラスタシステム11aに接続されたクラスタシステム11b又は11cがクラスタシステム11aのタスクを引き受けられることを促すので、コンピュータ配列10全体としての可用性は増大する。
1 ホスト
2 カセットドライブ
3 ディスクメモリサブシステム
4 ディスクメモリユニット
5 データ志向型結合ユニット
6 構成部品コンピュータ
10 コンピュータ配列
11a クラスタシステム
11b クラスタシステム
11c クラスタシステム
12 大容量メモリシステム
13 データ処理設備
14a クラスタ制御部の構成部品コンピュータ
14b フロントエンド構成部品コンピュータ
14c バックエンド構成部品コンピュータ
14d 冗長のための構成部品コンピュータ
15 テープドライブ
16 広域ネットワーク
17 クラスタ制御部
20 複合制御部
21 制御ネットワーク
22 ユーザインタフェース
23 制御インタフェース
24 クエリインタフェース
25 メモリネットワーク
26 ルールデータベース
SR 状態レポート
NC 制御コマンド
SDM 通信チャネル

Claims (11)

  1. 少なくとも1つのデータ処理設備からのデータをアーカイブする複数のクラスタシステムであって、前記複数のクラスタシステムの各々は、モジュール設計であり、アーカイブされるべきデータを前記データ処理設備から受信する少なくとも1つの第1の構成部品コンピュータと、前記アーカイブされるべきデータをバッファに格納する少なくとも1つの大容量メモリシステムと、前記アーカイブされるべきデータを少なくとも1つの更なる大容量メモリ装置、特に磁気メモリ装置にバックアップする第2の構成部品コンピュータと、個々のクラスタシステムの個々の構成部品コンピュータを制御するクラスタ制御部と、を有する、複数のクラスタシステムと、
    前記複数のクラスタシステムのデータ志向型結合のための少なくとも1つのデータ接続と、
    前記複数のクラスタシステムの前記クラスタ制御部のクエリインタフェースを介して状態データを問い合わせ、及び前記複数のクラスタシステムの前記クラスタ制御部の制御インタフェースへワークオーダを送信する、少なくとも1つの複合制御部と、
    を有するコンピュータ配列。
  2. 前記少なくとも1つの複合制御部は、ソフトウェアコンポーネントとして実施され、前記複数のクラスタシステムのうちの少なくとも1つのクラスタシステムの少なくとも1つの構成部品コンピュータは、前記ソフトウェアコンポーネントを実行するために設定される、請求項1に記載のコンピュータ配列。
  3. 少なくとも1つのクラスタシステムの前記少なくとも1つの複合制御部及び前記クラスタ制御部は、前記複数のクラスタシステムのうちの少なくとも1つのミドルウェアに統合される、請求項1又は2に記載のコンピュータ配列。
  4. 各クラスタシステムは前記ミドルウェアを実行するために設定され、各クラスタシステムは、前記コンピュータ配列の他のクラスタシステムの前記クエリインタフェースに問い合わせでき、及び前記コンピュータ配列の他のクラスタシステムの前記制御インタフェースへワークオーダを送信できるようにする、請求項3に記載のコンピュータ配列。
  5. 前記少なくとも1つの複合制御部は、前記複数のクラスタシステムを有する前記コンピュータ配列のオペレータ制御のためのユーザインタフェースを提供するよう設定され、前記ユーザインタフェースは、前記複数のクラスタシステムの前記クエリインタフェースへの状態要求からの結果に基づき、前記コンピュータ配列の全体状態を集めるよう設定される、請求項1乃至4のいずれか一項に記載のコンピュータ配列。
  6. 前記ユーザインタフェースは、前記個々のクラスタシステムの利用レベル及び/又は所定のルールデータベースに基づき、前記ユーザインタフェースを介して受信したワークオーダを実行するクラスタシステムを選択し、並びに、前記ワークオーダを前記の選択したクラスタシステムの前記制御インタフェースへ送信するよう更に設定される、請求項5に記載のコンピュータ配列。
  7. 前記複合制御部は、前記クラスタ制御部の前記クエリインタフェースを用いて前記個々のクラスタシステムの動作状態を監視し、第1のクラスタシステムにおける動作障害の識別により、前記第1のクラスタシステムに関連付けられたワークオーダの実行を停止するための第1のオーダを前記第1のクラスタシステムの前記クラスタ制御部の前記制御インタフェースへ送信するよう促され、前記の停止されたワークオーダに関連付けられたバッファに格納されたデータを前記第1のクラスタシステムから前記少なくとも1つのデータ接続を介して第2のクラスタシステムへ送信するための第2のオーダを、前記第1及び/又は第2のクラスタシステムの前記クラスタ制御部の前記制御インタフェースへ送信し、前記の停止されたワークオーダを実行するための第3のオーダを前記第2のクラスタシステムの前記クラスタ制御部の前記制御インタフェースへ送信する、よう更に設定される、請求項1乃至6のいずれか一項に記載のコンピュータ配列。
  8. 前記複合制御部及び/又は前記クラスタ制御部は、全ての制御部により共同で用いられるネットワークファイルシステムを用いて、前記複数のクラスタシステムからの前記アーカイブされるべきデータをバッファに格納するために、前記大容量メモリシステムの全部を管理するよう更に設定される、請求項1乃至7のいずれか一項に記載のコンピュータ配列。
  9. 第1のクラスタシステムの前記クラスタ制御部は、所定のイベントが生じると、前記第1のクラスタシステムにバッファに格納されたデータを、前記少なくとも1つのデータ接続を介して第2のクラスタシステムへ送信するよう設定される、請求項1乃至8のいずれか一項に記載のコンピュータ配列。
  10. 前記複数のクラスタシステムのデータ志向型結合のための前記少なくとも1つのデータ接続は、第1のクラスタシステムの前記第2の構成部品コンピュータと第2のクラスタシステムの前記第1の構成部品コンピュータとの間のネットワーク接続を有し、前記第1のクラスタシステムの前記クラスタ制御部は、前記複合制御部による要求により、前記第1のクラスタシステムにバッファに格納されたデータを前記ネットワーク接続を介して前記第2のクラスタシステムへ送信するよう設定される、請求項9に記載のコンピュータ配列。
  11. 前記複数のクラスタシステムのデータ志向型結合のための前記少なくとも1つのデータ接続は、前記複数のクラスタシステムの前記複合制御部及び/又は前記クラスタ制御部の間で状態クエリ及びワークオーダを交換するための少なくとも1つの制御ネットワークと、前記の交換されたワークオーダに関連付けられたバッファに格納されたデータを、前記複数のクラスタシステムの前記大容量メモリシステムの間で交換するメモリネットワークと、を有する、請求項1乃至10のいずれか一項に記載のコンピュータ配列。
JP2015538343A 2012-10-24 2013-09-06 データ記憶装置 Active JP6149205B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012110164.7 2012-10-24
DE102012110164.7A DE102012110164B4 (de) 2012-10-24 2012-10-24 Rechneranordnung
PCT/EP2013/068480 WO2014063856A1 (de) 2012-10-24 2013-09-06 Datenspeicheranordnung

Publications (2)

Publication Number Publication Date
JP2016500883A true JP2016500883A (ja) 2016-01-14
JP6149205B2 JP6149205B2 (ja) 2017-06-21

Family

ID=49212748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015538343A Active JP6149205B2 (ja) 2012-10-24 2013-09-06 データ記憶装置

Country Status (4)

Country Link
US (1) US10235369B2 (ja)
JP (1) JP6149205B2 (ja)
DE (1) DE102012110164B4 (ja)
WO (1) WO2014063856A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809379B2 (en) 2019-11-19 2023-11-07 International Business Machines Corporation Storage tiering for deduplicated storage environments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322292A (ja) * 1999-05-10 2000-11-24 Nec Corp クラスタ型データサーバシステム及びデータ格納方法
US20030158999A1 (en) * 2002-02-21 2003-08-21 International Business Machines Corporation Method and apparatus for maintaining cache coherency in a storage system
US20040128456A1 (en) * 2002-12-26 2004-07-01 Hitachi, Ltd. Storage system and data backup method for the same
EP1727033A1 (en) * 2005-05-24 2006-11-29 Hitachi, Ltd. Storage system and operation method of storage system
US20070124407A1 (en) * 2005-11-29 2007-05-31 Lsi Logic Corporation Systems and method for simple scale-out storage clusters
US20110029730A1 (en) * 2009-07-31 2011-02-03 Emc Corporation Data processing system using cache-aware multipath distribution of storage commands among caching storage controllers

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50009380D1 (de) 1999-11-30 2005-03-03 Fujitsu Siemens Computers Gmbh Backup- und archivierungssystem mittels bandkassetten für datenverarbeitungsanlagen
SE528570C2 (sv) 2004-04-08 2006-12-19 Abb Research Ltd Metod, anordning och system för att upprätta en trådlös förbindelse mellan en bärbar datoranordning med en första applikation till andra anordningar med hjälp av en andra applikation
US20060004786A1 (en) * 2004-06-07 2006-01-05 Taiwan Semiconductor Manufacturing Company Ltd. Design mechanism for semiconductor fab-wide data warehouse application
US8456191B2 (en) * 2006-06-21 2013-06-04 Element Cxi, Llc Data-driven integrated circuit architecture
US7702694B1 (en) * 2007-09-07 2010-04-20 Southern Company Services, Inc. System and method for organizing managing and accessing large quantities of data from non-homogenous data sources
US8327078B2 (en) * 2010-06-24 2012-12-04 International Business Machines Corporation Dynamic trailing edge latency absorption for fetch data forwarded from a shared data/control interface
KR101951473B1 (ko) 2012-10-15 2019-02-22 엘지전자 주식회사 이동 단말기

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322292A (ja) * 1999-05-10 2000-11-24 Nec Corp クラスタ型データサーバシステム及びデータ格納方法
US20030158999A1 (en) * 2002-02-21 2003-08-21 International Business Machines Corporation Method and apparatus for maintaining cache coherency in a storage system
US20040128456A1 (en) * 2002-12-26 2004-07-01 Hitachi, Ltd. Storage system and data backup method for the same
JP2004206496A (ja) * 2002-12-26 2004-07-22 Hitachi Ltd 記憶システム及びそのデータバックアップ方法
EP1727033A1 (en) * 2005-05-24 2006-11-29 Hitachi, Ltd. Storage system and operation method of storage system
US20070124407A1 (en) * 2005-11-29 2007-05-31 Lsi Logic Corporation Systems and method for simple scale-out storage clusters
US20110029730A1 (en) * 2009-07-31 2011-02-03 Emc Corporation Data processing system using cache-aware multipath distribution of storage commands among caching storage controllers

Also Published As

Publication number Publication date
JP6149205B2 (ja) 2017-06-21
US20150278230A1 (en) 2015-10-01
US10235369B2 (en) 2019-03-19
DE102012110164B4 (de) 2021-08-19
WO2014063856A1 (de) 2014-05-01
DE102012110164A1 (de) 2014-04-24

Similar Documents

Publication Publication Date Title
JP6317856B2 (ja) クラスタ間冗長構成におけるスムーズな制御部交代
US7620710B2 (en) System and method for performing multi-path storage operations
US7130970B2 (en) Dynamic storage device pooling in a computer system
US9104741B2 (en) Method and apparatus for seamless management for disaster recovery
EP2864885B1 (en) System and method for datacenters disaster recovery
US11474704B2 (en) Target path selection for storage controllers
US20060156055A1 (en) Storage network that includes an arbiter for managing access to storage resources
US20220413976A1 (en) Method and System for Maintaining Storage Device Failure Tolerance in a Composable Infrastructure
CN107924289A (zh) 计算机系统和访问控制方法
US20120047327A1 (en) Disk array device and control method for the same
JP6149205B2 (ja) データ記憶装置
WO2016151584A2 (en) Distributed large scale storage system
WO2019209625A1 (en) Methods for managing group objects with different service level objectives for an application and devices thereof
JP2010009476A (ja) コンピュータシステム
US8843713B2 (en) Storage system having data copy funtion and method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20161116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161116

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170317

R150 Certificate of patent or registration of utility model

Ref document number: 6149205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150