JP2007150409A - リモートコピー記憶装置システムおよびリモートコピー方法 - Google Patents

リモートコピー記憶装置システムおよびリモートコピー方法 Download PDF

Info

Publication number
JP2007150409A
JP2007150409A JP2005338333A JP2005338333A JP2007150409A JP 2007150409 A JP2007150409 A JP 2007150409A JP 2005338333 A JP2005338333 A JP 2005338333A JP 2005338333 A JP2005338333 A JP 2005338333A JP 2007150409 A JP2007150409 A JP 2007150409A
Authority
JP
Japan
Prior art keywords
storage device
center
remote
communication line
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005338333A
Other languages
English (en)
Other versions
JP4571576B2 (ja
Inventor
Kensuke Amagi
健介 天木
Kazuhiko Watanabe
和彦 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005338333A priority Critical patent/JP4571576B2/ja
Priority to US11/349,079 priority patent/US7954104B2/en
Publication of JP2007150409A publication Critical patent/JP2007150409A/ja
Application granted granted Critical
Publication of JP4571576B2 publication Critical patent/JP4571576B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0613Improving I/O performance in relation to throughput
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】通信回線が過負荷になるのを防止し、センタコンピュータにおける業務処理のスループットの低下を防止する。
【解決手段】センタコンピュータ10は、複数の業務処理を実行して、その結果をセンタ記憶装置20に書き込むとともに、同じデータを複数のリモート記憶装置30a,30bにリモートコピーする。このとき、センタコンピュータ10は、負荷計測部14,14a,14b,14cを介して通信回線5,6の負荷を取得し、その負荷が所定の閾値を超えた場合には、その通信回線を介したコピーデータの送信に関与する一部の業務処理の実行を停止する。そして、センタ記憶装置20、リモート記憶装置30a,30bがコピーデータの送信経路を他の経路に切り替えると、センタコンピュータ10は、先に停止した業務処理の実行を再開することによってリモートコピーを再開する。
【選択図】図3

Description

本発明は、センタ記憶装置に記憶する情報と同じ情報を複数のリモート記憶装置に記憶するリモートコピー記憶装置システム、センタコンピュータおよびリモートコピー方法に関する。
コンピュータとその通信ネットワークは、今や人間の経済活動を支えるための不可欠のインフラとなっている。そのため、インフラとしてのコンピュータに障害が発生すると、企業の経済活動のみならず一般の人々の社会生活にも大きな影響が及ぶことになる。このようなコンピュータの障害の中でも最も深刻な影響があるとされているものは、記憶装置に記憶されているデータの喪失である。コンピュータを構成するハードウェアやソフトウェアは、障害が生じても、正常なもので代替することが可能であるが、コンピュータの記憶装置に記憶されているデータは、いったん失われると元に戻すことができない。
そこで、地震など大規模な災害などによって記憶装置に記憶されているデータが失われるのを防ぐことを目的に、互いに離れた2箇所の拠点にそれぞれ記憶装置を設置し、その2箇所の拠点に設置された記憶装置間でデータを互いに複製して記憶するリモートコピー技術が実用化されている。そして、記憶装置の市場ニーズは、記憶装置を設置する拠点を3箇所以上にすることができるリモートコピー技術を求めている。
例えば、特開2003−122509号公報には、3箇所以上の拠点に設置された記憶装置間で、データ更新の順序性を確保した上で、常時、データを複製することが可能なリモートコピー技術が開示されている。そのリモート技術によれば、災害などによって、ある1つの記憶装置に障害が発生し、その記憶装置からデータが喪失されても、他の2つ以上の記憶装置に記憶されているデータに基づき、順序性を保証したデータを再構築することができる。
特開2003−122509号公報
しかしながら、特許文献1に開示された技術では、3つ以上の記憶装置間においてリモートコピーを行う場合、コピー元からコピー先へデータを送信するときに、その通信回線における通信負荷が過負荷になることへの配慮がなされていない。そのために、その通信回線における通信負荷が過負荷になったときには、コピー処理が遅延し、その遅延のためにコンピュータにおける業務処理の性能低下を招く問題があることが判明してきた。
すなわち、コピー先が複数になると、そのコピー先の数に比例して、コピー元から送信されるデータ量が増加することになる。その場合、コピー元の送信能力やコピー元とコピー先とをつなぐ通信回線の転送帯域が、そのリモートコピーのデータ送信によって消費され、元々備えているコピー元の送信能力や通信回線の転送帯域の余裕が小さくなってしまう。一方、コンピュータの業務処理によって記憶装置へ書き込まれるデータ量は、日時や季節により大きく変動することが多い。従って、リモートコピーのコピー先を複数にした場合には、コピー元から送信するデータ量が、コピー元の送信能力を超えたり、コピー元とコピー先とをつなぐ通信回線の転送帯域を超えたりする危険性、つまり、その通信回線が過負荷になる危険性が増大することになる。
現実に、コピー元から送信する送信データ量がコピー元の送信能力を超えたり、コピー元とコピー先とをつなぐ通信回線の転送帯域を超えたりした場合、つまり、コピー元とコピー先とをつなぐ通信回線の通信負荷が過負荷になった場合には、データの転送が大幅に遅延し、コンピュータ本来の業務処理の性能が低下したり、障害や災害が発生したときには、コピーするべきデータを喪失したりする。従って、通信回線の通信負荷が過負荷にならないようにする方策が必要であるが、特許文献1に開示された技術では、その方策は何ら示されていない。
以上の従来技術の問題に鑑み、本発明の目的は、センタ記憶装置に記憶する情報と同じ情報を複数のリモート記憶装置に記憶するリモートコピー記憶装置システムにおいて、コンピュータが実行する業務処理によるセンタ記憶装置への書き込みデータが増加しても、センタ記憶装置(コピー元)とリモート記憶装置(コピー先)とをつなぐ通信回線の通信負荷が過負荷になるのを防止し、さらには、前記コンピュータにおける業務処理のスループットの低下を防止することが可能なリモートコピー記憶装置システム、センタコンピュータおよびリモートコピー方法を提供することにある。
以上の目的を達成するために、本発明においては、リモートコピー記憶装置システムを、複数の業務処理を実行するセンタコンピュータと、前記センタコンピュータに接続され、前記センタコンピュータが前記業務処理を実行した結果得られる情報を記憶するセンタ記憶装置と、前記センタ記憶装置にそれぞれ通信回線を介して接続され、前記センタ記憶装置が送信するコピーデータをそれぞれ受信して記憶する複数のリモート記憶装置とを含むように構成し、前記センタコンピュータおよび前記センタ記憶装置の少なくとも一方は、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を計測する負荷計測手段を備えるものとした。そして、そのリモートコピー記憶装置システムにおいて、(1)前記センタコンピュータは、(1a)前記負荷計測手段を介して、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を取得し、(1b)前記取得した負荷情報が所定の閾値を超えた通信回線を経路切替対象通信回線として抽出し、(1c)前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出し、(1d)前記抽出した業務処理の実行を停止することによってその業務処理に係るリモートコピーを停止し、(1e)前記センタ記憶装置および前記リモート記憶装置に対して、前記停止した業務処理に係るコピーデータの送信経路を、前記経路切替対象通信回線と異なる他の通信回線に切り替える旨を指示する経路切替指示を通知し、(2)前記センタ記憶装置および前記リモート記憶装置は、それぞれ、前記経路切替指示の通知を受けると、前記コピーデータの送信経路を切り替える処理を行い、(3)前記センタコンピュータは、その後、前記停止した業務処理の実行を再開することによってリモートコピーを再開することを特徴とする。
以上のように、本発明によれば、前記センタコンピュータは、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷を監視し、過負荷になる恐れのある通信回線を検出する。そして、前記センタ記憶装置と前記複数のリモート記憶装置とに対し、その通信回線を使用して送信されている情報のうち一部の業務処理の情報についてその送信経路を切り替えることを指示する。その指示を受けたセンタ記憶装置およびリモート記憶装置は、その送信経路を前記の過負荷になる恐れのある通信回線を使用しない送信経路に切り替える。従って、その過負荷になる恐れのある通信回線は、通信負荷が軽減されるので、その通信回線が過負荷になることを防止することができる。また、その結果、通信回線が過負荷になることによるセンタコンピュータの処理性能の低下を防止することができる。
本発明により、リモートコピー記憶装置システムにおいて、センタ記憶装置とリモート記憶装置とをつなぐ通信回線の通信負荷が過負荷になるのを防止することができるようになり、その結果、コンピュータにおける業務処理の性能が低下するのを防止することできるようになる。
以下、本発明の実施形態について、適宜、図面を参照しながら詳しく説明する。
まず、図1および図2を参照して、本発明の実施形態に係るリモートコピー記憶装置システムの概略構成および通信回線の過負荷を防止する方法について説明する。図1は、本発明の実施形態に係るリモートコピー記憶装置システムの概略構成の例、および、通常状態におけるコピーデータの送信経路の例を示した図である。
図1に示すように、リモートコピー記憶装置システム1は、センタコンピュータ10およびセンタ記憶装置20が設置された業務センタ2と、リモート記憶装置30a,30bがそれぞれ設置された付近地データセンタ3および遠隔地データセンタ4とを含んで構成される。そして、センタ記憶装置20と付近地データセンタ3のリモート記憶装置30aとは通信回線5によって接続され、センタ記憶装置20と遠隔地データセンタ4のリモート記憶装置30bとは通信回線6によって接続される。また、付近地データセンタ3のリモート記憶装置30aと遠隔地データセンタ4のリモート記憶装置30bとは、通信回線7によって接続される。このとき、通信回線5,6,7は、好ましくは、それぞれが独立した光ファイバ回線などによって構成される。
ここで、付近地データセンタ3は、業務センタ2とそれほど遠く離れていない所(例えば、10km〜50km程度離れた所)に設けられ、遠隔地データセンタ4は、業務センタ2からかなり遠くに離れた所(例えば、100km以上離れた所)に設けられる。具体的には、業務センタ2を、例えば、東京の都心に設けたとすれば、付近地データセンタ3は、例えば、さいたま市に設けられ、遠隔地データセンタ4は、例えば、大阪市に設けられる。
次に、図1を参照してセンタコンピュータ10、センタ記憶装置20およびリモート記憶装置30a,30bの構成および機能について説明するが、ここでは、その概略構成および概略機能の説明にとどめ、詳しい構成および機能は、別途、図3および図4を用いて説明する。
センタコンピュータ10は、所定の業務を処理するために、業務A処理部100、業務B処理部200、業務C処理部300などのプログラムを備え、それらのプログラムを実行し、その結果として得られる情報をセンタ記憶装置20のハードディスク装置50に、それぞれ業務Aデータ51、業務Bデータ52、業務Cデータ53などのデータとして書き込む。なお、ここでいう業務処理とは、例えば、銀行のオンライン業務、銀行社員の給与計算業務などのように、全く異なるデータベースに基づきコンピュータによって処理される業務処理をいう。
また、センタコンピュータ10は、経路切替処理部800を備え、経路切替処理部800によってセンタ記憶装置20とリモート記憶装置30a,30bとをそれぞれ接続する通信回線5,6の通信負荷情報を取得する。そして、センタコンピュータ10は、その通信負荷情報が所定の閾値を超える通信回線5(または6)を検出し、その通信回線5(または6)を用いてセンタ記憶装置20から送信される情報の一部を別経路により送信するようにするための送信経路切替指示を、センタ記憶装置20とリモート記憶装置30a,30bとに対し出力する。ここで、別経路とは、リモート記憶装置30a,30b間を接続する通信回線7を指す。なお、この経路切替処理部800の詳しい処理フローについては、別途、図を用いて説明する。
センタ記憶装置20は、ハードディスク装置50を備え、センタコンピュータ10が業務A処理部100、業務B処理部200、業務C処理部300などのプログラムを実行した結果得られる情報を、それぞれ業務Aデータ51、業務Bデータ52、業務Cデータ53などのように記憶する。また、センタ記憶装置20は、ハードディスク装置50に記憶した情報と同じ情報(以下、コピーデータという)を通信回線5,6へ出力するためのポート22,23を備える。図1の例では、コピーデータは、ポート22から通信回線5へ出力されて、通信回線5を介してリモート記憶装置30aへ送信される。また、それと同じコピーデータが、ポート23から通信回線6へ出力されて、通信回線6を介してリモート記憶装置30bへ送信される。
リモート記憶装置30aは、ハードディスク装置50aを備え、さらに、ポート22a,23aを備える。リモート記憶装置30aは、センタ記憶装置20から通信回線5を介して送信されるコピーデータを、ポート22aを介して受信する。そして、その受信したコピーデータを、業務Aデータ51a、業務Bデータ52a、業務Cデータ53aなどのようにセンタコンピュータ10の業務処理に対応させてハードディスク装置50aに記憶する。
また、同様に、リモート記憶装置30bは、ハードディスク装置50bを備え、さらに、ポート22b,23bを備える。リモート記憶装置30bは、センタ記憶装置20から通信回線6を介して送信されるコピーデータを、ポート22bを介して受信する。そして、その受信したコピーデータを、業務Aデータ51b、業務Bデータ52b、業務Cデータ53bなどのようにセンタコンピュータ10の業務処理に対応するようにハードディスク装置50bに記憶する。
以上のように構成されたリモートコピー記憶装置システム1において、センタコンピュータ10が業務A処理部100、業務B処理部200、業務C処理部300などのプログラムを実行し、その実行結果をセンタ記憶装置20に書き込むと、そのコピーデータがリモート記憶装置30a,30bそれぞれのハードディスク装置50a,50bにも書き込まれる。このとき、センタコンピュータ10がセンタ記憶装置20および通信回線6,7を介してリモート記憶装置30a,30bのハードディスク装置50a,50bへコピーデータを書き込む方式、つまり、リモートコピーのデータ転送方式には、同期方式と非同期方式の2つがある。
同期方式においては、センタコンピュータ10は、記憶装置に対し書き込み命令を発行したとき、その記憶装置から書き込み完了の報告を待って次の命令を実行する。従って、センタコンピュータ10は、同期方式でリモートコピーを実行しているときには、センタ記憶装置20におけるハードディスク装置50へのデータの書き込みの完了を待つだけでなく、そのリモートコピー先のリモート記憶装置30a,30bにおけるハードディスク装置50a,50bへのデータ書き込みの完了をも待つ。
一方、非同期方式においては、センタコンピュータ10は、記憶装置に対し書き込み命令を発行したとき、その記憶装置から書き込み完了の報告を待たずに次の命令を実行する。この場合には、センタコンピュータ10の書き込み命令に対し、記憶装置における書き込み動作は、多少遅れてなされることになる。従って、センタコンピュータ10がリモート記憶装置30a,30bに対し、非同期方式でリモートコピーを実行しているときには、センタ記憶装置20のハードディスク装置50に記憶されているデータと、リモート記憶装置30a,30bのハードディスク装置50a,50bに記憶されているデータとの間には相違を生じる。
一般に、リモートコピーにおいては、付近地データセンタ3のリモート記憶装置30aに対しては、同期方式のデータ転送が行われ、遠隔地データセンタ4のリモート記憶装置30bに対しては、非同期方式のデータ転送が行われる。そこで、本実施形態においては、特に断らない限り、同様の方法によってデータ転送方式が行われるものとする。
ここまで説明したリモートコピー記憶装置システム1の構成は、特許文献1に開示された従来技術に準じたものとなっている。しかしながら、このような従来技術には、次の2つの問題があることを示しておく。
(1)センタ記憶装置20からリモート記憶装置30aへ同期方式で送信されるコピーデータ量が通信回線5の通信帯域を超えた場合には、データの送信に待ちが生じるために、リモート記憶装置30aにおける書き込み完了までの時間が長くなる。そのため、リモート記憶装置30aからセンタコンピュータ10へ通知する書き込み完了の報告が遅延する。その結果、センタコンピュータ10の待ち時間が長くなるので、センタコンピュータ10が業務A処理部100、業務B処理部200、業務C処理部300などを処理する能力が低下することになる。
(2)センタ記憶装置20からリモート記憶装置30bへ非同期方式で送信されるコピーデータ量が通信回線6の通信帯域を超えた場合にも、同様にリモート記憶装置30bにおける書き込み動作が遅延する。この場合には、センタコンピュータ10は、リモート記憶装置30bにおける書き込み動作の完了を待たずに次の命令を実行するので、センタコンピュータ10が記憶装置への書き込み命令を発行した時点、リモート記憶装置30bがコピーデータを受信した時点、ハードディスク装置50bへの書き込み動作が完了した時点などの間に大きな時間差を生じることになる。このようなとき、地震などの災害によってセンタコンピュータ10に障害が生じた場合には、センタコンピュータ10は、リモート記憶装置30bにおいてどの書き込み命令までのデータが実際にリモート記憶装置30bに書き込まれたかというような情報を保持していないので、場合によっては、障害の復旧が困難になることがある。
そこで、本実施形態においては、センタ記憶装置20のポート22,23にその通信負荷量を計測する負荷計測部(図1には図示せず、図3にて図示)を設け、その負荷計測部によりポート22,23で実際に行われているデータの入出力時間や入出力スループットを計測することにより、通信回線5,6の通信負荷量を計測する。そして、その通信負荷量が所定の閾値を超えたときには、その通信回線5,6を介して送信されるコピーデータの一部を、通信回線7を介して迂回送信するように、その送信経路を切り替える。
図2は、本発明の実施形態に係るリモートコピー記憶装置システムにおいて、コピーデータの一部を迂回送信するときの送信経路の例を示した図である。
図2に示すように、ポート22で通信負荷量が所定の閾値を超えたときには、業務Aデータ51および業務Bデータ52は、それ以前と同様に、ポート22、通信回線5、ポート22aを介してリモート記憶装置30aへ送信されるが、業務Cデータ53については、この経路による送信が停止される。このとき、一方では、業務Cデータ53は、ポート23、通信回線6、ポート23bを介してリモート記憶装置30bへ送信されている。そこで、リモート記憶装置30bは、その受信した業務Cデータ53をハードディスク装置50bへ書き込むとともに、ポート22b、通信回線7、ポート23aを介してリモート記憶装置30aへ送信する。すなわち、業務Cデータ53は、センタ記憶装置20からリモート記憶装置30bへ送信され、そのリモート記憶装置30bからリモート記憶装置30aへ送信される。
このようにして、リモート記憶装置30aは、そのハードディスク装置50aに業務Aデータ51a、業務Bデータ52a、業務Cデータ53aを記憶することができる。この場合には、ポート22および通信回線5における通信負荷が軽減されるので、センタコンピュータ10が業務処理100,200,300を処理する能力の低下を防止することができる。
同様に、ポート23で通信負荷量が所定の閾値を超えたときには、業務Aデータ51および業務Cデータ53は、それまでと同様に、ポート23、通信回線6、ポート23bを介してリモート記憶装置30bへ送信されるが、業務Bデータ52については、この経路による送信が停止される。このとき、一方では、業務Bデータ52は、ポート22、通信回線5、ポート22aを介してリモート記憶装置30aへ送信されている。そこで、リモート記憶装置30aは、その受信した業務Bデータ52をハードディスク装置50aへ書き込むとともに、ポート23a、通信回線7、ポート22bを介してリモート記憶装置30bへ送信する。すなわち、業務Bデータ52は、センタ記憶装置20からリモート記憶装置30aへ送信され、そのリモート記憶装置30aからリモート記憶装置30bへ送信される。
このようにして、リモート記憶装置30bは、そのハードディスク装置50bに業務Aデータ51b、業務Bデータ52b、業務Cデータ53bを記憶することができる。この場合には、ポート23および通信回線6における通信負荷が軽減されるので、業務Aデータ51および業務Cデータ53については、センタコンピュータ10による記憶装置への書き込み命令発行時点とハードディスク装置50bへの書き込み動作完了時点との時間差を短縮することができる。しかしながら、業務Bデータ52については、リモート記憶装置30aを余分に経由して送信されるので、その時間差はむしろ大きくなってしまう。この問題は、前記した従来技術の問題の(2)と同じ問題である。
そこで、本実施形態においては、各記憶装置20,30a,30bが、それぞれのハードディスク装置50,50a,50bに書き込んだデータについての履歴情報を記録するジャーナル(図1、図2には図示せず、図3にて図示)を備えるようにした。そして、そのジャーナルを用いることによって、センタコンピュータ10における業務処理を実行中であっても、そのコピーデータの順序性を損なうことなく、図2に示したようなコピーデータの転送経路の切り替えを行うことができるようにした。これは、同時に、コンピュータがいつ停止しても、各記憶装置20,30a,30b間でジャーナルの同期化を行うことができることを意味するので、障害からの復旧に際しても、データを喪失することなく業務処理を再開することができるようになる。なお、これらの詳細については後記する。
図3は、本発明の実施形態に係るリモートコピー記憶装置システムの詳細な構成を示した図である。以下、リモートコピー記憶装置システム1の詳細な説明を行う。ただし、図1および図2の説明と重複する説明については、その一部を省略する。
図3に示すように、リモートコピー記憶装置システム1は、センタコンピュータ10およびセンタ記憶装置20が設置された業務センタ2と、リモート記憶装置30a,30bがそれぞれ設置された付近地データセンタ3および遠隔地データセンタ4とを含んで構成される。
センタコンピュータ10は、CPU(Central Processing Unit)13、メモリ12、負荷計測部14、入出力IF(Interface)部15を含んで構成される。ここで、メモリ12は、コンピュータのいわゆる主記憶装置であり、半導体メモリなどによって構成される。そのメモリ12には、センタコンピュータ10が所定の業務を処理するための業務A処理部100、業務B処理部200、業務C処理部300などのプログラムが格納されている。さらに、メモリ12には、図2で概略を説明した経路切替処理部800のプログラムが格納され、加えて、その経路切替処理部800のプログラムを実行するときに使用される負荷管理テーブル400、装置管理テーブル500、業務プライオリティ管理テーブル600などが設けられる。
メモリ12に格納された業務A処理部100、業務B処理部200、業務C処理部300、経路切替処理部800などのプログラムは、CPU13によって実行され、所定の機能が実現される。経路切替処理部800によって実現される機能およびその処理の内容については後記する。
入出力IF部15は、通信回線8,9を介してセンタ記憶装置20や付近地データセンタ3のリモート記憶装置30aなどに接続され、それらの記憶装置20,30aに対して読み書きするデータを入出力するとともに、制御データなどを出力する。また、負荷計測部14は、入出力IF部15に付属するように設けられ、入出力IF部15における入出力動作の所要時間や単位時間当たりに行われる入出力動作の回数(入出力スループット)など入出力IF部15の入出力に係る負荷情報を計測する。
センタ記憶装置20は、制御CPU60、メモリ40、ハードディスク装置50、ポート21,22,23、負荷計測部14a,14b,14cなどを含んで構成される。ここで、メモリ40は、半導体メモリなどによって構成され、センタ記憶装置20自体を制御するプログラムのほか、コピー制御処理部41、入出力処理部42などのプログラムが格納される。これらのプログラムは、制御CPU60によって実行され、センタ記憶装置20に含まれる所定の機能が実現される。
ハードディスク装置50は、しばしば複数の(多数の)ハードディスクドライブで構成された大容量の記憶装置である。そのハードディスク装置50は、センタコンピュータ10が業務A処理部100、業務B処理部200、業務C処理部300などのプログラムを実行した結果のデータを、業務Aデータ51、業務Bデータ52、業務Cデータ53などのようにそれぞれのプログラムに対応させて記憶する。さらに、ハードディスク装置50は、業務Aデータ51、業務Bデータ52、業務Cデータ53などのデータが書き込まれたとき、その書き込みに係る履歴データをそれぞれジャーナルA54、ジャーナルB55、ジャーナルC56などのように記憶する。
ポート21,22,23は、センタコンピュータ10の入出力IF部15との通信回線8またはリモート記憶装置30a,30bとをつなぐ通信回線5,6に接続され、それらの通信回線8,5,6を介して、センタコンピュータ10、リモート記憶装置30a,30bとの間でデータの送受信を行う。また、負荷計測部14a,14b,14cは、ポート21,22,23それぞれに付属するように設けられ、それぞれのポート21,22,23における入出力動作のスループットなど入出力に係る負荷情報を計測する。
付近地データセンタ3に設置されたリモート記憶装置30aおよび遠隔地データセンタ4に設置されたリモート記憶装置30bについては、図3にその概略構成を示し、図4にその詳細構成を示す。図3から分かるように、リモート記憶装置30aとリモート記憶装置30bとは、その基本構成は同じである。また、センタ記憶装置20ともほとんど同じ構成であるが、リモート記憶装置30a,30bの場合には、ポート21a,22a,23a,21b,22b,23bに負荷計測部が付属しない。
図4は、本実施形態に係るリモート記憶装置の構成を示した図である。リモート記憶装置30aは、制御CPU60a、メモリ40a、ハードディスク装置50a、ポート21a,22a,23aなどを含んで構成される。ここで、メモリ40aは、半導体メモリなどによって構成され、リモート記憶装置30a自体を制御するプログラムのほか、コピー制御処理部41a、入出力処理部42aなどのプログラムが格納される。これらのプログラムは、制御CPU60aによって実行され、リモート記憶装置30aに含まれる所定の機能が実現される。
ハードディスク装置50aは、センタコンピュータ10が業務A処理部100、業務B処理部200、業務C処理部300などのプログラムを実行した結果得られ、センタ記憶装置20が送信するデータを、業務Aデータ51a、業務Bデータ52a、業務Cデータ53aなどのようにそのプログラムに対応させて記憶する。さらに、ハードディスク装置50aは、業務Aデータ51a、業務Bデータ52a、業務Cデータ53aなどのデータが書き込まれたとき、その書き込みに係る履歴データをそれぞれジャーナルA54a、ジャーナルB55a、ジャーナルC56aなどのように記憶する。
ポート21a,22a,23aは、センタコンピュータ10、センタ記憶装置20または他のリモート記憶装置30bとをつなぐ通信回線9,5,7などに接続され、それらの通信回線を介して、センタコンピュータ10、センタ記憶装置20、他のリモート記憶装置30bとの間でデータの送受信を行う。
なお、リモート記憶装置30bの構成は、基本的に、以上に説明したリモート記憶装置30aの構成と同じなので、その説明を省略する。
続いて、図5〜図11および図3を参照して、センタコンピュータ10の経路切替処理部800のプログラムによって実現される機能およびその処理フローの詳細について説明する。ここで、図5、図6および図7は、それぞれ、経路切替処理部800によって使用される負荷管理テーブル400、装置管理テーブル500および業務プライオリティ管理テーブル600の構成の例を示した図である。
図5に示すように、負荷管理テーブル400は、ハードウェア識別子、入出力時間、入出力スループット、転送帯域、業務識別子、コピータイプなどのフィールドによって構成される。
ここで、ハードウェア識別子は、負荷計測対象の装置にユニークに付された識別情報である。本実施形態では、負荷計測はセンタ記憶装置20の負荷計測部14a,14b,14cで行うほか、センタコンピュータ10の負荷計測部14でも行う。負荷計測を負荷計測部14a,14b,14cで行う場合には、その負荷計測対象の装置は、ポート21,22,23である。また、負荷計測を負荷計測部14で行う場合には、その負荷計測は、業務A処理部100、業務B処理部200、業務C処理部300など業務処理ごとに分けて行う。そこで、この場合には、各業務処理部100,200,300によるデータの格納先をそのハードウェア識別子に対応させる。
また、入出力時間は、入出力IF部15またはポート21,22,23における入出力動作の1回当たりの入出力所要時間である。入出力スループットは、入出力IF部15またはポート21,22,23における単位時間当たりの入出力実行回数である。転送帯域は、入出力IF部15またはポート21,22,23における単位時間当たりのデータ転送量である。これらの情報は、いずれもポート21,22,23に接続される通信回線8,5,6の通信負荷に直接に影響を受けるデータである。すなわち、通信回線8,5,6の通信負荷が大きくなると(通信回線が混雑すると)、入出力の所要時間は長くなり、入出力のスループットは低下し、転送帯域は小さくなる。そこで、本実施形態では、入出力時間、入出力スループット、転送帯域の少なくとも一つを含むデータによって、通信負荷を表わすものとする。ただし、入出力時間は大きいければ大きいほど、通信負荷も大きくなるが、入出力スループットおよび転送帯域は小さければ小さいほど通信負荷が大きくなる。なお、センタコンピュータ10は、所定時間ごとに(例えば、1秒とか1分ごとに)負荷計測部14,14a,14b,14cからこれらの情報を取得し、負荷管理テーブル400に格納する。
また、業務識別子は、ハードウェア識別子のフィールドで指定される装置が関与する業務処理を指示する情報である。また、コピータイプは、同じくその装置がどのようなコピーデータの転送(同期方式/非同期方式、付近地接続/遠隔地接続/別経路接続など)で使用されるかを示す情報である。なお、これら情報はオペレータなどによってあらかじめ設定される。
次に、図6に示すように、装置管理テーブル500は、ハードウェア識別子、ジャーナル識別子、付近地接続情報、遠隔地接続情報、別経路転送情報、状態情報などのフィールドによって構成される。
ここで、ハードウェア識別子は、図5で説明したハードウェア識別子と同じものである。ジャーナル識別子は、そのハードウェア識別子のフィールドで指定される装置が関与するジャーナルを指示する情報である。すなわち、ジャーナル識別子によって、どのデータのコピーが行われているか判断することができる。
また、付近地接続情報は、センタ記憶装置20が前記ハードウェア識別子のフィールドで指定される装置を介して、付近地データセンタ3のリモート記憶装置30aと接続されている状態を示す情報である。また、遠隔地接続情報は、センタ記憶装置20が前記ハードウェア識別子のフィールドで指定される装置を介して、遠隔地データセンタ4のリモート記憶装置30bと接続されている状態を示す情報である。また、別経路接続情報は、付近地データセンタ3のリモート記憶装置30aと遠隔地データセンタ4のリモート記憶装置30bとを接続する状態を示す情報である。なお、その接続状態としては、「転送中」「一時停止中」「未転送」「未接続」などがある。また、状態情報は、当該装置の稼働状態を示す情報で、装置は存在するが転送業務を停止している場合には、「無効」を表示する。
次に、図7に示すように、業務プライオリティ管理テーブル600は、業務プライオリティ、業務識別子、ハードウェア識別子、負荷上限値、負荷下限値、コピータイプなどのフィールドによって構成される。なお、このテーブルに格納する情報は、ユーザの指示に基づき、あらかじめオペレータなどによって設定されるものとする。
ここで、業務識別子は、業務A処理部100、業務B処理部200、業務C処理部300などの各業務処理を識別する情報である。業務プライオリティは、各業務処理の処理の優先度を示す情報である。図7の例では、「A」は優先度が高く、「C」は優先度が低いとしている。
負荷上限値は、通信負荷の上限の閾値であり、通信負荷がこの閾値を超えた場合には、通信負荷を減ずるために、コピータイプの状態を変更する。本実施形態では、ハードウェア識別子で指定される装置で転送される業務識別子で指定される業務のデータについて別経路で転送するように変更する。また、負荷下限値は、通信負荷の下限の閾値であり、通信負荷がこの閾値を超えて小さくなった場合には、いったん変更したコピータイプをもとに戻す。また、コピータイプのフィールドでは、コピータイプを変更する対象の部位を指定する。なお、通信負荷を入出力スループットまたは転送帯域で表現する場合には、小さい値が負荷上限値となり、大きい値が負荷下限値となる。
次に、図8および図9を参照して、ジャーナルの同期化について説明する。ここで、図8は、本実施形態に係る記憶装置におけるデータ書き込みの履歴情報であるジャーナルの構成の例を示した図である。
図8に示すように、ジャーナル700は、ジャーナル識別子701とジャーナルデータ702とによって構成される。ここで、ジャーナルデータ702のフィールドには、ハードディスク装置50,50a,50bへのデータ書き込みの履歴情報(ログ情報)が記録される。ジャーナル識別子701は、そのジャーナルデータ702をユニークに識別するための識別情報である。また、ジャーナル識別子701は、同一の記憶装置20,30a,30b内において、ハードディスク装置50,50a,50bへ書き込まれたデータの順序性を確保する情報でもある。従って、ジャーナル識別子701としては、通しの連続番号や年月日時分秒の情報など順序性を有する識別情報が用いられる。
なお、ジャーナル識別子701は、通常、センタコンピュータ10またはセンタ記憶装置20で順序性のある識別情報が付与され、その識別情報が付与されたジャーナル識別子701は、コピーデータに付してコピー元のセンタ記憶装置20からコピー先のリモート記憶装置30a,30bへ送信される。そして、異なる複数の記憶装置20,30a,30b間において、ジャーナルデータ702を同定するのに使用される。
ジャーナル700は、前記したように、各記憶装置20,30a,30bにおいて、業務処理100,200,300ごとに作成され、各々のハードディスク装置50a,50b,50cにジャーナルA54,54a,…、ジャーナルB54,54a,…、ジャーナルB54,54a,…、として記憶される(図3参照)。このとき、それぞれ記憶されるジャーナルデータの数は、多くても10〜20程度である。
ここで、コピーデータが付近地データセンタ3のリモート記憶装置30aへ同期方式で送信され、遠隔地データセンタ4のリモート記憶装置30bへ非同期方式で送信される場合を想定する。一般に、リモート記憶装置30bにおけるコピーデータのハードディスク装置50bへの書き込みが遅延する。従って、この場合には、ある時点を定めて両者のハードディスク装置50a,50bを比較すると、その内容は一致しない。そのため、災害などによるセンタコンピュータ10の突然の停止や、次に示すようなコピー経路変更のための業務処理の停止があった後に、その処理を再開するためには、ハードディスク装置50a,50bの内容を同期化しておく必要がある。ジャーナル700は、その同期化のために使用される。
図9は、本実施形態における記憶装置において、ある業務処理を一時停止したとき、各記憶装置に記憶されているジャーナルの状況の例を示した図である。図9に示すように、業務センタ2のセンタ記憶装置20とコピーデータが同期方式で送信される付近地データセンタ3のリモート記憶装置30aとの間では、その各々に記憶されているジャーナル901とジャーナル902とは一致している。すなわち、業務センタ2のジャーナル901と付近地データセンタ3のジャーナル902とは、いずれも、ジャーナル識別子が「n」から「m」までのジャーナルを有している。ここで、「n」は「m」よりも新しいことを示す識別情報であるとする。また、図9で、有効なジャーナルとは、各記憶装置20,30a,30bが有効な情報として記憶している状態にあるジャーナルである。
一方、業務センタ2のセンタ記憶装置20とコピーデータが非同期方式で送信される遠隔地データセンタ4のリモート記憶装置30bとの間では、その各々に記憶されているジャーナル901とジャーナル903とは一致していない。すなわち、業務センタ2のジャーナル901は、ジャーナル識別子が「n」から「m」までのジャーナルを有しているが、遠隔地データセンタ4のジャーナル903は、ジャーナル識別子が「q」から「p」までのジャーナルを有している。ここで、「q」は「p」よりも新しいことを示す識別情報であるとする。
このとき、「q」が「m」よりも新しいことを示す識別情報である場合(「q」と「m」とが同じである場合を含む)には、業務センタ2のジャーナル901と遠隔地データセンタ4のジャーナル903とは共通のジャーナルデータ702を有する。この場合には、業務センタ2のセンタ記憶装置20または付近地データセンタ3のリモート記憶装置30aから遠隔地データセンタ4のリモート記憶装置30bへ、ジャーナル識別子が「n」のジャーナルデータからジャーナル識別子が「q」より1つ新しいジャーナル識別子までのジャーナルデータを送信することにより、遠隔地データセンタ4のジャーナル903を業務センタ2のジャーナル901に同期化することができる。
一方、「q」が「m」よりも古いことを示す識別情報であった場合には、業務センタ2のジャーナル901と遠隔地データセンタ4のジャーナル903とは共通のジャーナルデータ702を有しない。この場合には、ジャーナル識別子が「m」のジャーナルデータとジャーナル識別子が「q」のジャーナルデータとの間のデータの連続性を保証することができないので、遠隔地データセンタ4のジャーナル903を業務センタ2のジャーナル901に同期化することはできない。
次に、図3、図10および図11を参照して、センタコンピュータ10がコピーデータの送信経路を切り替えることによって、大きな通信負荷がかかった通信経路の通信負荷を軽減する手順について説明する。ここで、図10は、本実施形態に係るセンタコンピュータ10における経路切替処理部800の処理フローの例を示した図である。
図10において、センタコンピュータ10は、所定の時間ごとに(例えば、1秒とか1分ごとに)、負荷計測部14,14a,14b,14cから負荷情報を取得し、その取得した負荷情報によって負荷管理テーブル400(図5参照)の情報を更新する(ステップS11)。このとき取得する負荷情報は、入出力IF部15、ポート21,22,23のそれぞれにおける入出力時間、入出力スループットおよび転送帯域の少なくとも1つを含む情報である。
次に、センタコンピュータ10は、負荷管理テーブル400と業務プライオリティ管理テーブル600とを参照して、負荷が上限値を超えたハードウェアを抽出する(ステップS12)。ここで、負荷は、負荷管理テーブル400における入出力時間、入出力スループットまたは転送帯域の計測データである。また、上限値は、業務プライオリティ管理テーブル600で指定される値である。また、ハードウェアとは、負荷管理テーブル400および業務プライオリティ管理テーブル600のハードウェア識別子によって指示される構成要素である。
次に、センタコンピュータ10は、業務プライオリティ管理テーブル600を参照して、ステップS12で抽出されたハードウェアが関与する業務処理のうち、最もプライオリティが低い業務処理を抽出する(ステップS13)。そして、抽出した業務処理の実行、つまり、そのリモートコピーを一時停止する(ステップS14)。
次に、センタコンピュータ10は、装置管理テーブル500を参照して、当該ハードウェア(ステップS13で抽出されたハードウェア)の当該業務処理(ステップS14で抽出された業務処理)について転送可能な別経路を抽出する(ステップS15)。本実施形態の場合には、別経路とは、センタ記憶装置20のポート21,22,23を経由しない経路であって、リモート記憶装置30a,30b同士をつなぐ経路を指す。装置管理テーブル500において、当該ハードウェアの別経路接続情報が「未転送」の場合には、別経路で転送可能であると判断する。なお、転送可能な別経路がない場合には、ステップS13に戻って次にプライオリティが低い業務処理を抽出して、ステップS14、ステップS15を実行する。
次に、センタコンピュータ10は、ステップS15で抽出された別経路のコピー元およびコピー先となるリモート記憶装置30a,30bから、当該業務処理(ステップS14で抽出された業務処理)に係るジャーナルを参照して、そのジャーナルを比較し、ジャーナルの同期化が可能な場合、そのジャーナルを同期化する(ステップS16)。この処理の詳細な処理フローについては、図11を参照してこの後に説明するが、その基本的な考え方については、図9を参照して説明した通りである。
センタコンピュータ10は、ステップS16でジャーナルの同期化を行った場合には、当該業務処理(ステップS13で抽出された業務処理)のリモートコピーの経路を別経路(ステップS15で抽出された別経路)に切り替え、ステップS14で一時停止していた業務処理についてのリモートコピーを再開する(ステップS17)。なお、ジャーナルの同期化を行うことができなかった場合には、リモートコピーの経路を切り替えることなく、その業務処理についてリモートコピーを再開する。
なお、以上の説明においては、センタコンピュータ10がリモートコピーの経路を別経路に切り替える(ステップS17)としているが、実際には、センタコンピュータ10は、センタ記憶装置20またはリモート記憶装置30a(または30b)に対し、切り替え後のコピー元およびコピー先となるリモート記憶装置30a(または30b)の情報と切り替え対象の業務処理の情報とを付して、リモートコピーの経路の経路切り替えを指示する通知を送信するだけでよい。すなわち、その経路切り替えを指示する通知を受信したセンタ記憶装置20またはリモート記憶装置30a(または30b)が、どの業務処理のコピーデータを、どのポートを使用し、どの通信回線を経由し、どのリモート記憶装置へ送信するかを決定し、その決定した経路に基づき、コピーデータを送信する。
また、同様に、ジャーナルの同期化(ステップS17)についても、センタコンピュータ10は、同期化の可否判定を行い、同期化が可能な場合に、同期化の対象となるセンタ記憶装置20またはリモート記憶装置30a(または30b)に対し、ジャーナルの同期化を指示する通知を送信するだけでよい。すなわち、ジャーナルの同期化を指示する通知を受信したセンタ記憶装置20またはリモート記憶装置30a(または30b)が、その相互間において同期化に必要なジャーナルデータの送受信を行い、両者のジャーナルを同期化する。
以上のようにして、センタコンピュータ10は、ポート21,22,23などで計測される通信負荷が所定の上限値(閾値)を超えた場合には、プライオリティが低い業務処理のデータについて、そのリモートコピーの経路を別経路に切り替えることができる。すなわち、そのプライオリティが低い業務処理のコピーデータの送信を別経路に切り替えることができるので、通信負荷が所定の上限値(閾値)を超えていた元の通信経路の通信負荷を軽減することができる。なお、通信経路が具体的にどのように変更されるかについては、図2を用いて説明したとおりである。
また、元の通信経路の通信負荷が業務プライオリティ管理テーブル600の負荷下限値を超えて軽減された場合には、前記した別経路に切り替えられていた業務処理のコピーデータの送信経路を元に戻すことができる。その処理フローは、図10に示した処理フローと似たものであるので、その説明を省略する。
図11は、本実施形態に係るセンタコンピュータ10における経路切替処理部800に含まれるジャーナルの同期化処理(ステップS16)の詳細な処理フローの例を示した図である。この処理フローの基本的な考え方は、図9の説明に基づく。本実施形態では、別経路とは、付近地データセンタ3のリモート記憶装置30aと遠隔地データセンタ4のリモート記憶装置30bとをつなぐ通信回線7を指す。そこで、図11の処理フローは、当初のリモートコピーが、付近地データセンタ3のリモート記憶装置30aへは同期方式で行われ、遠隔地データセンタ4のリモート記憶装置30bへは非同期方式で行われたことを前提として記載している。
図11において、センタコンピュータ10は、まず、付近地データセンタ3のリモート記憶装置30aから当該業務処理(図10ステップS13で抽出した業務処理)の業務データに係るジャーナルの最終のジャーナル識別子(ここでは、これを「m」と表記する)を取得する(ステップS21)。そして、同様に、遠隔地データセンタ4のリモート記憶装置30bから当該業務処理の業務データに係るジャーナルの最新のジャーナル識別子(ここでは、これを「q」と表記する)を取得する(ステップS22)。
次に、センタコンピュータ10は、ジャーナル識別子「m」とジャーナル識別子「q」との時間的な順序関係を比較し、ジャーナル識別子「q」がジャーナル識別子「m」と同じ、または、新しいものであるか否かを判定する(ステップS23)。その結果、ジャーナル識別子「q」がジャーナル識別子「m」と同じ、または、新しいものであった場合には(ステップS23でYes)、ジャーナルの同期化が可能であるので、センタコンピュータ10は、付近地データセンタ3のリモート記憶装置30aおよび遠隔地データセンタ4のリモート記憶装置30bに対し、ジャーナルの同期化を指示する通知を送信する。その通知を受信した付近地データセンタ3のリモート記憶装置30aは、遠隔地データセンタ4のリモート記憶装置30bが未受信のジャーナルデータを遠隔地データセンタ4のリモート記憶装置30bへ送信する(ステップS24)。遠隔地データセンタ4は、そのジャーナルデータを受信することによって、当該業務処理の業務データに係るジャーナルを付近地データセンタ3のものと同期化することができる。
一方、ジャーナル識別子「q」がジャーナル識別子「m」よりも古いものであった場合には(ステップS23でNo)、ジャーナルの同期化ができないことを示すエラー応答を返し(ステップS25)、処理を終了する。
以上、本実施形態によれば、センタ記憶装置20とリモート記憶装置30a,30bとをつなぐ通信回線の通信負荷が過負荷になる前に、リモートコピーが行われている途中であっても、そのコピーデータの順序性を損なうことなく、その間で行われるリモートコピーデータの送信の一部を別経路、つまり、リモート記憶装置30a,30b間の通信回線を介した経路による送信に切り替えることができる。従って、通信回線の過負荷によって生じるセンタコンピュータ10における業務処理の低下を防止することができる。
本発明の実施形態に係るリモートコピー記憶装置システムの概略構成の例、および、通常状態におけるコピーデータの送信経路の例を示した図である。 本発明の実施形態に係るリモートコピー記憶装置システムにおいて、コピーデータの一部を迂回送信するときの送信経路の例を示した図である。 本発明の実施形態に係るリモートコピー記憶装置システムの詳細な構成を示した図である。 本実施形態に係るリモート記憶装置の構成を示した図である。 本発明の実施形態に係るセンタコンピュータにおける負荷管理テーブルの構成の例を示した図である。 本発明の実施形態に係るセンタコンピュータにおける装置管理テーブル構成の例を示した図である。 本発明の実施形態に係るセンタコンピュータにおける業務プライオリティ管理テーブルの構成の例を示した図である。 本実施形態に係る記憶装置におけるデータ書き込みの履歴情報であるジャーナルの構成の例を示した図である。 本実施形態における記憶装置において、ある業務処理のリモートコピーを一時停止したとき、各記憶装置に記憶されているジャーナルの状況の例を示した図である。 本実施形態に係るセンタコンピュータにおける経路切替処理部の処理フローの例を示した図である。 本実施形態に係るセンタコンピュータにおける経路切替処理部に含まれるジャーナルの同期化処理の詳細な処理フローの例を示した図である。
符号の説明
1 リモートコピー記憶装置システム
2 業務センタ
3 付近地データセンタ
4 遠隔地データセンタ
5,6,7,8,9 通信回線
10 センタコンピュータ
12 メモリ
13 CPU
14,14a,14b,14c 負荷計測部
15 入出力IF部
20 センタ記憶装置
21,22,23,21a,22a,23a,21b,22b,23b ポート
30a,30b リモート記憶装置
40,40a メモリ
41,41a コピー制御処理部
42,42a 入出力処理部
42a 入出力処理部
50,50a,50b ハードディスク装置
100 業務A処理部
200 業務B処理部
300 業務C処理部
400 負荷管理テーブル
500 装置管理テーブル
600 業務プライオリティ管理テーブル
700 ジャーナル

Claims (11)

  1. 複数の業務処理を実行するセンタコンピュータと、
    前記センタコンピュータに接続され、前記センタコンピュータが前記業務処理を実行した結果得られる情報を記憶するセンタ記憶装置と、
    前記センタ記憶装置にそれぞれ通信回線を介して接続され、前記センタ記憶装置が送信するコピーデータをそれぞれ受信して記憶する複数のリモート記憶装置と
    を含んで構成されたリモートコピー記憶装置システムであって、
    前記センタコンピュータおよび前記センタ記憶装置の少なくとも一方は、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を計測する負荷計測手段を備え、
    前記センタコンピュータは、
    前記負荷計測手段を介して、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を取得し、
    前記取得した負荷情報が所定の閾値を超えた通信回線を経路切替対象通信回線として抽出し、
    前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出し、
    前記抽出した業務処理の実行を停止することによってその業務処理に係るリモートコピーを停止し、
    前記センタ記憶装置および前記リモート記憶装置に対して、前記停止した業務処理に係るコピーデータの送信経路を、前記経路切替対象通信回線と異なる他の通信回線に切り替える旨を指示する経路切替指示を通知し、
    前記センタ記憶装置および前記リモート記憶装置は、それぞれ、
    前記経路切替指示の通知を受けると、前記コピーデータの送信経路を切り替える処理を行い、
    前記センタコンピュータは、その後、
    前記停止した業務処理の実行を再開することによってリモートコピーを再開すること
    を特徴とするリモートコピー記憶装置システム。
  2. 前記センタ記憶装置および前記リモート記憶装置は、それぞれ自らに対する情報の書き込み動作についてその動作の履歴情報を記憶するジャーナルを、さらに、備え、
    前記センタコンピュータは、
    前記センタ記憶装置および前記リモート記憶装置に対し、前記経路切替指示を通知するに際しては、前記リモート記憶装置のジャーナルを前記センタ記憶装置のジャーナルに同期化させた後、前記経路切替指示を通知すること
    を特徴とする請求項1に記載のリモートコピー記憶装置システム。
  3. 前記センタコンピュータは、
    前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出するときには、その業務処理にあらかじめ設定された優先度が低い業務処理から順に抽出すること
    を特徴とする請求項1または請求項2に記載のリモートコピー記憶装置システム。
  4. 前記経路切替対象通信回線と異なる他の通信回線は、前記経路切替対象通信回線に接続された前記リモート記憶装置と、そのリモート記憶装置と異なる他のリモート記憶装置とをつなぐ通信回線であること
    を特徴とする請求項1ないし請求項3のいずれか1項に記載のリモートコピー記憶装置システム。
  5. 複数の業務処理を実行するセンタコンピュータと、
    前記センタコンピュータに接続され、前記センタコンピュータが前記業務処理を実行した結果得られる情報を記憶するセンタ記憶装置と、
    前記センタ記憶装置にそれぞれ通信回線を介して接続され、前記センタ記憶装置が送信するコピーデータをそれぞれ受信して記憶する複数のリモート記憶装置と
    を含んで構成されたリモートコピー記憶装置システムに用いられるセンタコンピュータであって、
    前記センタコンピュータおよび前記センタ記憶装置の少なくとも一方に備えられた通信回線の負荷情報を計測する負荷計測手段を介して、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を取得し、
    前記取得した負荷情報が所定の閾値を超えた通信回線を経路切替対象通信回線として抽出し、
    前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出し、
    前記抽出した業務処理の実行を停止することによってその業務処理に係るリモートコピーを停止し、
    前記センタ記憶装置および前記リモート記憶装置に対して、前記停止した業務処理に係るコピーデータの送信経路を、前記経路切替対象通信回線と異なる他の通信回線に切り替える旨を指示する経路切替指示を通知し、
    前記経路切替指示の通知を受けて、前記センタ記憶装置および前記リモート記憶装置が前記コピーデータの送信経路を切り替えた後、前記停止した業務処理の実行を再開することによってリモートコピーを再開すること
    を特徴とするセンタコンピュータ。
  6. 前記センタ記憶装置および前記リモート記憶装置は、それぞれ自らに対する情報の書き込み動作についてその動作の履歴情報を記憶するジャーナルを、さらに、備え、
    前記センタコンピュータは、
    前記センタ記憶装置および前記リモート記憶装置に対し、前記経路切替指示を通知するに際しては、前記リモート記憶装置のジャーナルを前記センタ記憶装置のジャーナルに同期化させた後、前記経路切替指示を通知すること
    を特徴とする請求項5に記載のセンタコンピュータ。
  7. 前記センタコンピュータは、
    前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出するときには、その業務処理にあらかじめ設定された優先度が低い業務処理から順に抽出すること
    を特徴とする請求項5または請求項7に記載のセンタコンピュータ。
  8. 複数の業務処理を実行するセンタコンピュータと、
    前記センタコンピュータに接続され、前記センタコンピュータが前記業務処理を実行した結果得られる情報を記憶するセンタ記憶装置と、
    前記センタ記憶装置にそれぞれ通信回線を介して接続され、前記センタ記憶装置が送信するコピーデータをそれぞれ受信して記憶する複数のリモート記憶装置と
    を含んで構成されたリモートコピー記憶装置システムにおけるリモートコピー方法であって、
    前記センタコンピュータおよび前記センタ記憶装置の少なくとも一方は、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を計測する負荷計測手段を備え、
    前記センタコンピュータは、
    前記負荷計測手段を介して、前記センタ記憶装置と前記複数のリモート記憶装置とをそれぞれ接続する通信回線の負荷情報を取得し、
    前記取得した負荷情報が所定の閾値を超えた通信回線を経路切替対象通信回線として抽出し、
    前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出し、
    前記抽出した業務処理の実行を停止することによってその業務処理に係るリモートコピーを停止し、
    前記センタ記憶装置および前記リモート記憶装置に対して、前記停止した業務処理に係るコピーデータの送信経路を、前記経路切替対象通信回線と異なる他の通信回線に切り替える旨を指示する経路切替指示を通知し、
    前記センタ記憶装置および前記リモート記憶装置は、それぞれ、
    前記経路切替指示の通知を受けると、前記コピーデータの送信経路を切り替え、
    前記センタコンピュータは、その後、
    前記停止した業務処理の実行を再開することによってリモートコピーを再開すること
    を特徴とするリモートコピー方法。
  9. 前記センタ記憶装置および前記リモート記憶装置は、それぞれ自らに対する情報の書き込み動作についてその動作の履歴情報を記憶するジャーナルを、さらに、備え、
    前記センタコンピュータは、
    前記センタ記憶装置および前記リモート記憶装置に対し、前記経路切替指示を通知するに際しては、前記リモート記憶装置のジャーナルを前記センタ記憶装置のジャーナルに同期化させた後、前記経路切替指示を通知すること
    を特徴とする請求項8に記載のリモートコピー方法。
  10. 前記センタコンピュータは、
    前記抽出した経路切替対象通信回線を介して送信されるコピーデータに関与する業務処理の中から一部の業務処理を抽出するときには、その業務処理にあらかじめ設定された優先度が低い業務処理から順に抽出すること
    を特徴とする請求項8または請求項9に記載のリモートコピー方法。
  11. 前記経路切替対象通信回線と異なる他の通信回線は、前記経路切替対象通信回線に接続された前記リモート記憶装置と、そのリモート記憶装置と異なる他のリモート記憶装置とをつなぐ通信回線であること
    を特徴とする請求項8ないし請求項10のいずれか1項に記載のリモートコピー方法。
JP2005338333A 2005-11-24 2005-11-24 リモートコピー記憶装置システムおよびリモートコピー方法 Expired - Fee Related JP4571576B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005338333A JP4571576B2 (ja) 2005-11-24 2005-11-24 リモートコピー記憶装置システムおよびリモートコピー方法
US11/349,079 US7954104B2 (en) 2005-11-24 2006-02-08 Remote copy storage device system and a remote copy method to prevent overload of communication lines in system using a plurality of remote storage sites

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005338333A JP4571576B2 (ja) 2005-11-24 2005-11-24 リモートコピー記憶装置システムおよびリモートコピー方法

Publications (2)

Publication Number Publication Date
JP2007150409A true JP2007150409A (ja) 2007-06-14
JP4571576B2 JP4571576B2 (ja) 2010-10-27

Family

ID=38054900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005338333A Expired - Fee Related JP4571576B2 (ja) 2005-11-24 2005-11-24 リモートコピー記憶装置システムおよびリモートコピー方法

Country Status (2)

Country Link
US (1) US7954104B2 (ja)
JP (1) JP4571576B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245612A (ja) * 2009-04-01 2010-10-28 Nec Corp データ処理装置、データ処理方法、及びプログラム
US8301854B2 (en) 2007-10-05 2012-10-30 Hitachi, Ltd. Storage system and virtualization method
JP2013089055A (ja) * 2011-10-19 2013-05-13 Hitachi Ltd データ通信制御方法及びデータ通信制御システム
JP2015156071A (ja) * 2014-02-20 2015-08-27 富士通株式会社 データ格納方法、ストレージシステム、プログラム及びストレージ装置
US9244721B2 (en) 2011-11-24 2016-01-26 Hitachi, Ltd. Computer system and divided job processing method and program
JP2016062535A (ja) * 2014-09-22 2016-04-25 富士通株式会社 情報処理システム、情報処理システムの制御方法及び制御プログラム
US9619171B2 (en) 2007-10-05 2017-04-11 Hitachi, Ltd. Storage system and virtualization method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2466579B (en) 2007-10-25 2012-12-26 Hewlett Packard Development Co Data processing apparatus and method of deduplicating data
US8140637B2 (en) * 2007-10-25 2012-03-20 Hewlett-Packard Development Company, L.P. Communicating chunks between devices
JP5374056B2 (ja) * 2008-02-26 2013-12-25 株式会社バッファロー データ管理方法
WO2010084522A1 (en) * 2009-01-20 2010-07-29 Hitachi, Ltd. Storage system and method for controlling the same
US8549124B2 (en) * 2009-05-27 2013-10-01 International Business Machines Corporation Network management discovery tool
WO2011026661A1 (en) 2009-09-03 2011-03-10 International Business Machines Corporation Shared-bandwidth multiple target remote copy
US20140164323A1 (en) * 2012-12-10 2014-06-12 Transparent Io, Inc. Synchronous/Asynchronous Storage System
JP7147805B2 (ja) * 2020-03-26 2022-10-05 株式会社安川電機 生産システム、データ送信方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122509A (ja) * 2001-08-08 2003-04-25 Hitachi Ltd リモートコピー制御方法、これを用いた記憶サブシステム、及び、これらを用いた広域データストレージシステム
JP2003131917A (ja) * 2001-10-25 2003-05-09 Hitachi Ltd 記憶装置システム
JP2003258903A (ja) * 2002-03-04 2003-09-12 Hitachi Ltd 通信路監視システム
JP2005122235A (ja) * 2003-10-14 2005-05-12 Hitachi Ltd 通信バッファ予約機能を備えるストレージ装置およびシステム
JP2005267167A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 負荷分散方法およびシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801921B2 (en) * 2000-09-08 2004-10-05 Hitachi, Ltd. Method and system for managing multiple database storage units
JP2004013367A (ja) * 2002-06-05 2004-01-15 Hitachi Ltd データ記憶サブシステム
JP4341897B2 (ja) * 2002-08-29 2009-10-14 株式会社日立製作所 記憶装置システム及びデータ複製方法
US7111136B2 (en) * 2003-06-26 2006-09-19 Hitachi, Ltd. Method and apparatus for backup and recovery system using storage based journaling
US7219201B2 (en) * 2003-09-17 2007-05-15 Hitachi, Ltd. Remote storage disk control device and method for controlling the same
JP4267421B2 (ja) * 2003-10-24 2009-05-27 株式会社日立製作所 リモートサイト及び/又はローカルサイトのストレージシステム及びリモートサイトストレージシステムのファイル参照方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122509A (ja) * 2001-08-08 2003-04-25 Hitachi Ltd リモートコピー制御方法、これを用いた記憶サブシステム、及び、これらを用いた広域データストレージシステム
JP2003131917A (ja) * 2001-10-25 2003-05-09 Hitachi Ltd 記憶装置システム
JP2003258903A (ja) * 2002-03-04 2003-09-12 Hitachi Ltd 通信路監視システム
JP2005122235A (ja) * 2003-10-14 2005-05-12 Hitachi Ltd 通信バッファ予約機能を備えるストレージ装置およびシステム
JP2005267167A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 負荷分散方法およびシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301854B2 (en) 2007-10-05 2012-10-30 Hitachi, Ltd. Storage system and virtualization method
US8683157B2 (en) 2007-10-05 2014-03-25 Hitachi, Ltd. Storage system and virtualization method
US9619171B2 (en) 2007-10-05 2017-04-11 Hitachi, Ltd. Storage system and virtualization method
JP2010245612A (ja) * 2009-04-01 2010-10-28 Nec Corp データ処理装置、データ処理方法、及びプログラム
JP2013089055A (ja) * 2011-10-19 2013-05-13 Hitachi Ltd データ通信制御方法及びデータ通信制御システム
US9244721B2 (en) 2011-11-24 2016-01-26 Hitachi, Ltd. Computer system and divided job processing method and program
JP2015156071A (ja) * 2014-02-20 2015-08-27 富士通株式会社 データ格納方法、ストレージシステム、プログラム及びストレージ装置
JP2016062535A (ja) * 2014-09-22 2016-04-25 富士通株式会社 情報処理システム、情報処理システムの制御方法及び制御プログラム

Also Published As

Publication number Publication date
US20070118840A1 (en) 2007-05-24
JP4571576B2 (ja) 2010-10-27
US7954104B2 (en) 2011-05-31

Similar Documents

Publication Publication Date Title
JP4571576B2 (ja) リモートコピー記憶装置システムおよびリモートコピー方法
JP5352115B2 (ja) ストレージシステム及びその監視条件変更方法
US7925633B2 (en) Disaster recovery system suitable for database system
US6816951B2 (en) Remote mirroring with write ordering sequence generators
JP4484618B2 (ja) ディザスタリカバリシステム、プログラム及びデータの複製方法
US9047020B2 (en) Storage system group including scale-out storage system and management method therefor
US20100042795A1 (en) Storage system, storage apparatus, and remote copy method
JP2005018510A (ja) データセンタシステム及びその制御方法
JP5286212B2 (ja) ストレージクラスタ環境でのリモートコピー制御方法及びシステム
US11321005B2 (en) Data backup system, relay site storage, data backup method, and control program for relay site storage
US10049021B2 (en) Redundant system and redundancy method
US8688939B2 (en) Storage system and storage subsystem
JP5282569B2 (ja) 管理装置、管理システム、管理方法及び管理プログラム
JP6056408B2 (ja) フォールトトレラントシステム
JP7164175B2 (ja) 分散ファイル装置、フェイルオーバ方法、プログラム及び記録媒体
JP2004272318A (ja) 系切り替えシステムおよびその処理方法並びにその処理プログラム
US10097450B2 (en) Relay device, configuration method, and recording medium
WO2014155654A1 (ja) 情報処理装置及び情報処理装置の交換支援システム並びに交換支援方法
US9652342B2 (en) Redundancy processing method and system, and information processing apparatus thereof
WO2024222707A1 (zh) 故障处理方法、装置、存储介质及电子设备
JP2005157462A (ja) 系切り替え方法及び情報処理システム
JP4193754B2 (ja) データ二重化方法とプログラム
JPWO2007116467A1 (ja) ボリューム管理装置およびボリューム管理方法
JP2010244209A (ja) 遠隔コピーシステムおよび遠隔コピー方法
US20170060478A1 (en) Storage system and data write method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100812

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees