JP2009211620A - 仮想環境複製方法とシステムおよびプログラム - Google Patents

Abstract

【課題】二重化した仮想環境における実行系から待機系への切り替え運用を効率良く高信頼に行うことを可能とする。
【解決手段】記録部２０は、複製元の仮想環境Ａ１６で実行された操作内容を制御データベース３０を介して操作情報テーブル４１に記録し、監視部２２は、物理サーバＢ１７におけるリソース使用状況を監視して、リソース使用量（負荷）が予め定められた閾値より高いか低いかを判定し、物理サーバＢ１７におけるリソース使用量（負荷）が予め定められた閾値より低い場合、再生部２１は、操作情報テーブル４１を検索して操作情報を読み出し、当該操作を複製先の仮想環境Ｂ１８に対して実行する。尚、再生部２１は、操作情報テーブル４１から読み出した操作情報が、フィルタテーブル４２において実行可となっていれば、当該操作を複製先の仮想環境Ｂ１８に対して実行する。
【選択図】図１

Description

本発明は、物理サーバ上に構成された仮想環境の複製技術に係り、特に、仮想環境を二重化し、実行系での障害発生時に待機系に切り替える運用を行う場合に好適な仮想環境の複製技術に関するものである。

仮想化技術の一つに、物理リソースを、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリなどの仮想リソースに変換し、物理サーバ上で複数の仮想的なサーバが独立して動作する仮想マシン技術がある。このような仮想マシン技術を利用している製品として、例えばＶＭｗａｒｅ（登録商標）社のＥＳＸ Ｓｅｒｖｅｒ（商標）やＭｉｃｒｏｓｏｆｔ（登録商標）社のＶｉｒｔｕａｌ Ｓｅｒｖｅｒ（登録商標）などが挙げられる。

こうした仮想マシン技術を利用した仮想環境においては、環境全体が少数のファイルから構成されているため、環境の保存が容易であることや、物理リソースが仮想リソースに変換されているため、仮想環境のリソースサイズの増減が容易であるという利点がある。

その反面、一台の物理サーバ上で複数台の仮想マシンが動作するため、リソース競合の可能性が常にあり、利用できるリソースが不足して仮想マシンの動作が不安定になる可能性もある。

これらの仮想環境や仮想環境が構成される物理サーバでの障害発生時に、障害が発生した仮想環境の代わりに、待機状態の仮想環境に接続をしてシステム運用を継続する対応を行う場合、ＶＭｗａｒｅ（登録商標）社のＶＭｏｔｉｏn（商標）機能などを利用して、オンラインまたはオフラインで仮想環境を異なる物理サーバ上へマイグレーションする技術や、事前に仮想環境を構成するファイルをバックアップしておき、異なる物理サーバ上で仮想環境の複製を展開する技術が考えられる。

また、操作履歴情報を収集して再現処理を行う既存技術として、操作履歴情報、障害発生状況情報、障害発生状況情報を収集し、障害解析の手段として利用する技術が開示されている。

しかし、仮想環境や仮想環境が構成される物理サーバでの障害発生時に、障害が発生した仮想環境の代わりに、待機状態の仮想環境に接続をしてシステム運用を継続する対応を行う場合、ＶＭｏｔｉｏn（商標）機能などを利用して仮想環境を異なる物理サーバ上へマイグレーションする方法では、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅa Ｎｅｔｗｏｒｋ）等の共有ストレージに構成ファイルを格納しておくため高価なＳＡＮストレージが必要なこと、ＳＡＮストレージが単一障害点になること、複製元の仮想環境が障害で停止した場合は複製ができないこと等が課題として挙げられる。

また、事前にバックアップを取得して異なる物理サーバ上に展開する技術では、構成ファイル自体を複製先にコピーするため、ネットワークトラフィックが多いことや、バックアップを取得した時点以降の変更が失われてしまうこと等が課題として挙げられる。

一方、特許文献１では、操作情報を保存しておき、ユーザの入力または障害発生状況に応じて障害解析動作を開始する一実施例が記載されているが、これを操作が完了するたびに、その都度、複製先に操作情報を適用することで、最新の複製環境を構築することは実現可能と考えられる。

しかし、この場合、操作情報を適用する待機系のリソース使用状況を考慮していないため、待機系が利用するリソースの競合が発生して、仮想環境の動作が不安定になる可能性がある。

特開平８−０５０５５５号公報

解決しようとする問題点は、従来の技術では、高価なストレージが必要となり、また、最新のバックアップを常に取得することが困難であり、さらに、複製先の仮想環境が利用するリソースの競合が発生して仮想環境の動作が不安定になることを回避できないため、最新の複製環境の保持を効率良く高信頼に行うことができない点である。

本発明の目的は、これら従来技術の課題を解決し、二重化した仮想環境における実行系から待機系への切り替え運用を効率良く高信頼に行うことを可能とすることである。

上記目的を達成するため、本発明では、複製元の仮想環境での操作を複製先の仮想環境に適用する際、複製先仮想環境が構成されている物理サーバのリソース使用状況を監視し、負荷が高い場合には一定時間待機し、負荷の低い時間帯にのみ実行することで、仮想環境が利用しているリソースの競合を回避しつつ、最新の複製環境を構成することを特徴とする。また、複製先に対する操作の適用の可否を、予め操作毎に可否が定められたテーブル情報（フィルタ情報）を参照して判断することで、複製先の仮想環境に反映させる情報を選択することが可能となり、完全に同一のハードウェアおよびソフトウェアの構成ではない環境への複製が可能となることを特徴とする。さらに、操作内容とフィルタ情報、および、複製先の仮想環境と物理環境の構成情報ファイルを照らし合わせ、フィルタ情報に対して、動的に変更を加えることで、高い精度を持ったフィルタ情報による操作情報の反映が可能となることを特徴とする。

本発明によれば、負荷が高い場合には一定時間待機することで、仮想環境が利用しているリソースの競合を回避しつつ、操作情報を都度複製先仮想環境へ適用して最新の複製環境を構成することが可能となる。また、適用する操作情報にフィルタをかけることにより、ハードウェア及びソフトウェアが完全に同一の構成でない環境への複製が可能となる。さらに、ネットワーク経由で操作情報を複製先に適用するので、従来のＳＡＮ等の共有ストレージを利用した技術に比べて、低価格でのディザスタリカバリ（Ｄｉｓａｓｔｅｒ Ｒｅｃｏｖｅｒｙ；被害を受けたシステムを復旧・修復するシステム・体制）を提供することが可能となる。

以下、図を用いて本発明を実施するための最良の形態例を説明する。図１は、本発明に係る仮想環境複製システムの構成例を示すブロック図であり、図２は、図１における操作情報テーブルの具体例を示す説明図、図３は、図１におけるフィルタテーブルの具体例を示す説明図、図４は、図１における障害事例テーブルの具体例を示す説明図、図５は、図１における構成情報ファイルの具体例を示す説明図、図６は、図１における仮想環境複製システムの本発明に係る仮想環境複製方法の第１の処理手順例を示すフローチャート、図７は、図１における仮想環境複製システムの本発明に係る仮想環境複製方法の第２の処理手順例を示すフローチャート、図８は、図１における仮想環境複製システムの本発明に係る仮想環境複製方法の第３の処理手順例を示すフローチャートである。

図１において、本発明に係る仮想環境複製システムは、記録部２０と再生部２１、監視部２２、制御データベース３０からなり、物理サーバ１０，１０ｂと同様に、ＣＰＵや主メモリ、表示装置、入力装置、外部記憶装置等を具備したコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理部の機能を実行する。

物理サーバＡ１０においては、ハードウェア１１と仮想マシンモニター１２上に、仮想マシン１３ａとゲストＯＳ１４ａおよびアプリケーション１５ａからなる仮想環境Ａ１６が設けられ、仮想マシン１３とゲストＯＳ１４およびアプリケーション１５からなる同様の仮想環境が設けられており、それぞれの仮想環境に関しての構成情報が構成情報ファイル１，２において登録・管理されている。

物理サーバＢ１７においても、物理サーバＡ１０と同様に、ハードウェア１１ｂと仮想マシンモニター１２ｂ上に、仮想マシン１３ｃとゲストＯＳ１４ｃおよびアプリケーション１５ｃからなる仮想環境Ｂ１８が設けられ、仮想マシン１３ｂとゲストＯＳ１４ｂおよびアプリケーション１５ｂからなる同様の仮想環境が設けられており、それぞれの仮想環境に関しての構成情報が構成情報ファイル１ｂ，２ｂにおいて登録・管理されている。

仮想環境複製システムにおける制御データベース３０は、操作情報テーブル４１とフィルタテーブル４２および障害事例テーブル４３を生成して、それぞれの情報の記録・削除・更新等の処理を行う。

図２においては、操作情報テーブル４１に記録される情報の例を示しており、操作情報テーブル４１は、複製元の仮想環境Ａ１６で行われた更新操作の情報を保持する。

図３においては、フィルタテーブル４２に記録される情報の例を示しており、図２における操作情報テーブル４２の各項目に関して、複製先の仮想環境Ｂ１８に対して当該操作情報を適用するか否かを示す条件情報を保持する。

図４においては、障害事例テーブル４３に記録される情報の例を示しており、項目として、障害事例と、その対処情報を保持する。

このような構成からなる本例の仮想環境複製システムでは、物理サーバＡ１０上に設けられた複製元の仮想環境Ａ１６において実行された操作を、この操作が実行される都度、物理サーバＢ１７上に設けられた複製先の仮想環境Ｂ１８に対して実行する際、まず、記録部２０により、複製元の仮想環境Ａ１６で実行された操作内容を制御データベース３０を介して操作情報テーブル４１に記録し、次に、監視部２２により、物理サーバＢ１７におけるリソース使用状況を監視して、リソース使用量（負荷）が予め定められた閾値より高いか低いかを判定し、そして、物理サーバＢ１７におけるリソース使用量（負荷）が予め定められた閾値より低い場合、再生部２１により、操作情報テーブル４１を検索して操作情報を読み出し、当該操作を複製先の仮想環境Ｂ１８に対して実行する。

また、再生部２１は、操作情報テーブル４１から読み出した操作情報が、フィルタテーブル４２において実行可となっていれば、当該操作を複製先の仮想環境Ｂ１８に対して実行する。

また、図５における構成情報ファイル５１は、物理サーバＡ１０および物理サーバＢ１７が保持する構成情報ファイル１，１ｂ，２，２ｂに記録される情報の例を示しており、仮想環境および物理環境のハードウェアやソフトウェア情報を保持している。

制御データベース３０では、図５に示す構成情報ファイル５１と、図２に示す操作情報テーブル４１およびフィルタテーブル４２のそれぞれに記録された情報を照らし合わせることで、フィルタテーブル４２における条件情報を動的に変更し、高い精度を持ったフィルタによる操作情報の反映を可能とする。

次に、図６を用いて、このような本例の仮想環境複製システムによる処理動作について説明する。

複製元の仮想環境Ａ１６での処理の実行中（ステップＳ１０１）に操作が行われると、その操作の分析を行い、更新操作であるかを判定する（ステップＳ１０２）。

操作が更新操作であると判定された場合は、当該操作情報を操作情報テーブル４１に保存し（ステップＳ１０３）、更新処理でないと判定した場合は、操作情報を記録することなく処理を終了する。

ステップＳ１０３での処理により当該操作情報を操作情報テーブル４１に保存した後、フィルタテーブル４２からフィルタ条件情報を取得し、操作情報がフィルタ対象であるか否かを判定する（ステップＳ１０４）。

条件に合致しない場合は、複製対象外に設定して処理を終了するが、条件が合致していれば、複製先の物理サーバＢ１０ｃにおける負荷を監視部２２により取得して、その負荷の状態を確認し、その負荷が予め定められた閾値以下か否かを判別する（ステップＳ１０５）。

ここでは、予めＣＰＵやメモリなどのリソースに対して高負荷と判断するための閾値を設定しておき、取得した負荷情報が閾値を超えている場合は、現時点では操作を適用せず、一定時間待機してから再度実行する（ステップＳ１０６）。

また、取得した負荷情報が閾値以下の場合は、ステップＳ１０３の処理において保存した操作を、複製先の仮想環境Ｂ１８に対して適用する（ステップＳ１０７）。

尚、ステップＳ１０４での処理での判定対象となる変更操作に関して、操作情報テーブル４１における操作情報とフィルタテーブル４２におけるフィルタ条件情報および構成情報ファイル５１における複製先の仮想環境と物理環境の情報とを照らし合わせ、限られた物理リソースを超過する変更を加えるような適切でない操作が行われる場合であれば、フィルタテーブル４２に動的に変更を加えて、適切なフィルタ情報へと更新する。

次に、図７を用いて、複製元の仮想環境Ａ１６が障害等で応答が無くなった場合の複製処理手順を説明する。

監視部２２が、複製元仮想環境Ａ１６の応答不能を検知すると（ステップＳ２０１）、再生部２１が、操作情報テーブル４１において、未適用の操作情報が記録されているか否かを判定する（ステップＳ２０２）。

未適用の操作情報が無い場合はそのまま処理を終了するが、未適用の操作情報があれば、この未適用の操作情報がフィルタ対象であるか否かを判定する（ステップＳ２０３）。条件に合致しない場合は、複製対象外に設定して処理を終了し、条件に合致すれば、操作情報テーブル４１に記録されている操作を、複製先の仮想環境Ｂ１８に適用する（ステップＳ２０４）。

このように、複製元の仮想環境Ａ１６において障害が発生した場合は、即座に複製先を最新の状態にする必要があるため、図６で説明したような、複製先の物理サーバＢ１７における負荷情報を確認せずに操作情報を適用する。

次に、図８を用いて、複製先の仮想環境Ｂ１８に対して操作を適用した際にエラーが発生した場合の処理手順を説明する。

再生部２１が、複製先の仮想環境Ｂ１８における複製エラーを検知すると（ステップＳ３０１）、発生した障害が障害事例テーブル４３に記録されているか検索する（ステップＳ３０２）。

発生した障害が障害事例テーブル４３に記録されていない場合は対処できないため、そのまま処理を終了するが、対処方法が記録されている場合は、操作情報テーブル４１を検索して、対象外に設定された操作情報の中に、その対処方法に関する操作が含まれているか否かを判別する（ステップＳ３０３）。

対象外の操作情報の中に、その対処方法に関する操作が含まれていない場合は、そのまま処理を終了するが、対象外の操作情報の中に、その対処方法に関する操作が含まれている場合は、対策となる、対象外に設定された操作を複製先仮想環境Ｂ１８に適用し、再度エラー終了した操作を適用する（ステップＳ３０４）。

以上、図１〜図８を用いて説明したように、本例では、第１のサーバコンピュータである物理サーバＡ１０上に設けられた複製元の仮想環境Ａ１６において実行された操作を、当該操作が実行される都度、第２のサーバコンピュータである物理サーバＢ１７上に設けられた複製先の仮想環境Ｂ１８に対して実行する際、記録部２０により、複製元の仮想環境Ａ１６で実行された操作内容を制御データベース３０を介して操作情報テーブル４１に記録し、監視部２２により、物理サーバＢ１７におけるリソース使用状況を監視して、リソース使用量が予め定められた閾値より高いか低いかを判定し、物理サーバＢ１７におけるリソース使用量が予め定められた閾値より低い場合、再生部２１により、操作情報テーブル４１を検索して操作情報を読み出し、当該操作を複製先の仮想環境Ｂ１８に対して実行する。

このように、複製先の仮想環境Ｂ１８が構成されている物理サーバＢ１７のリソース使用状況を監視し、負荷が高い場合には一定時間待機して負荷の低い時間帯に実行することで、仮想環境Ｂ１８が利用しているリソースの競合を回避しつつ、最新の複製環境を構成することが可能となる。

また、制御データベース３０において、予め、操作情報のそれぞれに対して再生部２１による実行の可否を定めた条件情報をフィルタテーブル４２として記録しておき、再生部２１では、操作情報テーブル４１から読み出した操作情報が、フィルタテーブル４２において実行可となっていれば、当該操作を複製先の仮想環境Ｂ１８に対して実行する。

このように、複製先に操作情報を反映させる際に、フィルタ情報が記録されているフィルタテーブルを参照し、反映させる情報を選択することにより、完全に同一のハードウェアおよびソフトウェアの構成ではない仮想環境への複製が可能となる。

また、監視部２２により、再生部２１により実行する操作が、物理サーバＢ１７における限られた物理リソースを超過する変更を加える操作のように、複製先の仮想環境Ｂ１８および物理サーバＢ１７の動作に不具合を発生させる不適切な操作であるか否かを判別し、不適切な操作であるとの判別結果であれば、制御データベース３０により、当該操作が実行不可となるようフィルタテーブル４２における条件情報を変更する。

このように、フィルタテーブル４２における条件情報に動的に変更を加えることで、高い精度を持ったフィルタによる操作情報の反映が可能となる。

また、監視部２２が、複製元の仮想環境Ａ１６における障害の発生を検知すると、この監視部２２による複製先の物理サーバＢ１７における負荷状況の判定処理を行うことなく、再生部２１による処理を実行する。

このことにより、複製元の仮想環境Ａ１６において障害が発生した場合には、即座に複製先を最新の状態にすることができる。

また、監視部２２が、複製先の仮想環境Ｂ１８における障害の発生による複製エラーを検知すると、再生部２１は、制御データベース３０を介して、操作情報テーブル４１に、発生した障害に対する対処方法を示す情報が含まれているか否かを判別し、含まれていれば、まず、当該情報に従って複製先の仮想環境Ｂ１８に対する操作を実行し、その後に、再度、複製先の仮想環境Ｂ１８において複製エラー終了した操作を実行する。

このようにして、複製先の仮想環境Ｂ１８における障害による複製エラーが発生しても、自動的に回復処理を行うことができる。

以上のように、本例によれば、負荷が高い場合には一定時間待機することで、仮想環境が利用しているリソースの競合を回避しつつ、操作情報を都度複製先仮想環境へ適用して最新の複製環境を構成することが可能となる。また、適用する操作情報にフィルタをかけることにより、ハードウェア及びソフトウェアが完全に同一の構成でない環境への複製が可能となる。さらに、ネットワーク経由で操作情報を複製先に適用するので、従来のＳＡＮ等の共有ストレージを利用した技術に比べて、低価格でのディザスタリカバリ（Ｄｉｓａｓｔｅｒ Ｒｅｃｏｖｅｒｙ；被害を受けたシステムを復旧・修復するシステム・体制）を提供することが可能となる。

このことにより、従来の技術の問題点、すなわち、従来技術では、高価なストレージが必要となり、また、最新のバックアップを常に取得することが困難であり、さらに、複製先の仮想環境が利用するリソースの競合が発生して仮想環境の動作が不安定になることを回避できないため、最新の複製環境の保持を効率良く高信頼に行うことができないとの問題点を解決し、二重化した仮想環境における実行系から待機系への切り替え運用を効率良く高信頼に行うことが可能となる。

尚、本発明は、図１〜図８を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、仮想環境複製システムを、物理サーバＡ１０や物理サーバＢ１７とは別のコンピュータ装置上に設けた構成としているが、物理サーバＡ１０もしくは物理サーバＢ１７のいずれかのコンピュータ装置上に設けた構成としても良い。

また、本例のコンピュータ構成例としても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

本発明に係る仮想環境複製システムの構成例を示すブロック図である。 図１における操作情報テーブルの具体例を示す説明図である。 図１におけるフィルタテーブルの具体例を示す説明図である。 図１における障害事例テーブルの具体例を示す説明図である。 図１における構成情報ファイルの具体例を示す説明図である。 図１における仮想環境複製システムの本発明に係る仮想環境複製方法の第１の処理手順例を示すフローチャートである。 図１における仮想環境複製システムの本発明に係る仮想環境複製方法の第２の処理手順例を示すフローチャートである。 図１における仮想環境複製システムの本発明に係る仮想環境複製方法の第３の処理手順例を示すフローチャートである。

符号の説明

１，１ｂ，２，２ｂ，５１：構成情報ファイル、１０：物理サーバＡ、１１，１１ｂ：ハードウェア、１２，１２ｂ：仮想マシンモニター、１３，１３ａ〜１３ｃ：仮想マシン、１４，１４ａ〜１４ｃ：ゲストOＳ、１５，１５ａ〜１５ｃ：アプリケーション、１６：仮想環境Ａ、１７：物理サーバＢ、１８：仮想環境Ｂ、２０：記録部、２１：再生部、２２：監視部、３０：制御データベース、４１：操作情報テーブル、４２：フィルタテーブル、４３：障害事例テーブル。

Claims (7)

1. プログラムされたコンピュータ処理により、第１のサーバコンピュータ上に設けられた複製元の仮想環境において実行された操作を、当該操作が実行される都度、第２のサーバコンピュータ上に設けられた複製先の仮想環境に対して実行する仮想環境複製方法であって、
   プログラムされたコンピュータの処理実行手順として、
   上記複製元の仮想環境で実行された操作内容を操作情報として記憶装置に記録する第１の手順と、
   上記第２のコンピュータにおけるリソース使用状況を監視し、リソース使用量が予め定められた閾値より高いか低いかを判定する第２の手順と、
   上記第２のコンピュータにおけるリソース使用量が予め定められた閾値より低い場合に、上記操作情報を記憶装置から読み出し、当該操作を上記複製先の仮想環境に対して実行する第３の手順と
   を含むことを特徴とする仮想環境複製方法。
2. 請求項１に記載の仮想環境複製方法であって、
   プログラムされたコンピュータの処理実行手順として、
   予め、上記操作情報のそれぞれに対して上記第３の手順による実行の可否を定めたフィルタ条件情報を記憶装置に記録する手順を含み、
   上記第３の手順では、上記記憶装置から読み出した操作情報が、上記フィルタ条件情報において実行可となっていれば、当該操作を複製先の仮想環境に対して実行することを特徴とする仮想環境複製方法。
3. 請求項２に記載の仮想環境複製方法であって、
   プログラムされたコンピュータの処理実行手順として、
   上記第３の手順で実行する操作が、上記第２のコンピュータの限られた物理リソースを超過する変更を加える操作を含む、上記複製先の仮想環境および上記第２のコンピュータの動作に不具合を発生させる不適切な操作であるか否かを判別する手順と、
   不適切な操作であるとの判別結果であれば、当該操作が実行不可となるよう上記フィルタ条件情報を変更する手順と
   を含むことを特徴とする仮想環境複製方法。
4. 請求項１から請求項３のいずれかに記載の仮想環境複製方法であって、
   プログラムされたコンピュータの処理実行手順として、
   上記複製元の仮想環境における障害の発生を検知する手順を含み、
   該手順により上記複製元の仮想環境における障害の発生を検知すると、上記第２の手順での判定処理を行うことなく上記第３の手順での処理を実行することを特徴とする仮想環境複製方法。
5. 請求項１から請求項４のいずれかに記載の仮想環境複製方法であって、
   プログラムされたコンピュータの処理実行手順として、
   上記複製先の仮想環境における障害の発生による複製エラーを検知する手順と、
   該手順により複製エラーを検知すると、上記発生した障害に対する対処方法を示す情報が、上記操作情報に含まれているか否かを判別する手順と、
   含まれていれば当該情報に従って上記複製先の仮想環境に対する操作を実行する手順と、
   該手順による対策操作の後に再度、上記複製先の仮想環境において複製エラー終了した操作を実行する手順と
   を含むことを特徴とする仮想環境複製方法。
6. プログラムされたコンピュータ処理により、第１のサーバコンピュータ上に設けられた複製元の仮想環境において実行された操作を、当該操作が実行される都度、第２のサーバコンピュータ上に設けられた複製先の仮想環境に対して実行する仮想環境複製システムであって、
   プログラムされたコンピュータの処理実行手段として、
   請求項１から請求項５のいずれかに記載の仮想環境複製方法における各手順を実行する手段を有することを特徴とする仮想環境複製システム。
7. コンピュータに、請求項１から請求項５のいずれかに記載の仮想環境複製方法における各手順を実行させるためのプログラム。

Images