JP2021135981A - データ連携システムおよび処理監視システム - Google Patents

Abstract

【課題】 連携の途中で処理が失敗したとしてもデータを連携することができるデータ連携システムおよび処理監視システムを提供する。【解決手段】 情報システムが保持しているデータを収集するデータ収集システムと、データ収集システムによって収集された、複数の情報システムが保持しているデータを蓄積するデータ蓄積システムとを備えるデータ連携システムは、データ連携システムにおけるデータに対する各段階の処理を監視するパイプライン・オーケストレーターを備え、パイプライン・オーケストレーターは、失敗した処理を検出した場合（Ｓ４０１）に、この処理を再実行させる（Ｓ４０４）ことを特徴とする。【選択図】 図１４

Description

本発明は、複数の情報システムが保持しているデータを収集して蓄積するデータ連携システムおよび処理監視システムに関する。

従来、外部の複数のシステムと連携する情報処理システムが知られている（例えば、特許文献１参照。）。

特開２０１６−００６６２４号公報

しかしながら、特許文献１には、複数の情報システムが保持しているデータを収集して蓄積するデータ連携システムにおいて、連携の途中で処理が失敗した場合の振る舞いについては記載されていない。

そこで、本発明は、連携の途中で処理が失敗したとしてもデータを連携することができるデータ連携システムおよび処理監視システムを提供することを目的とする。

本発明のデータ連携システムは、情報システムが保持しているデータを収集するデータ収集システムと、前記データ収集システムによって収集された、複数の前記情報システムが保持しているデータを蓄積するデータ蓄積システムとを備えるデータ連携システムであって、前記データ連携システムにおけるデータに対する各段階の処理を監視する処理監視システムを備え、前記処理監視システムは、失敗した前記処理を検出した場合に、この処理を再実行させることを特徴とする。

この構成により、本発明のデータ連携システムは、データ連携システム自身におけるデータに対する各段階の処理のうち、失敗した処理を検出した場合に、この処理を再実行させるので、連携の途中で処理が失敗したとしてもデータを連携することができる。

本発明のデータ連携システムは、前記データ蓄積システムに蓄積されているデータを利用するアプリケーション部を備え、前記処理監視システムは、前記データ蓄積システムに蓄積されているデータの最新化が前記アプリケーション部から要求された場合に、前記アプリケーション部から最新化が要求されたデータを収集する前記処理を前記データ収集システムに実行させても良い。

この構成により、本発明のデータ連携システムは、データ蓄積システムに蓄積されているデータの最新化がアプリケーション部から処理監視システムに要求された場合に、アプリケーション部から最新化が要求されたデータを収集する処理をデータ収集システムに実行させるので、データ蓄積システムに蓄積されているデータを容易に最新化することができる。

本発明の処理監視システムは、情報システムが保持しているデータを収集するデータ収集システムと、前記データ収集システムによって収集された、複数の前記情報システムが保持しているデータを蓄積するデータ蓄積システムとを備えるデータ連携システムにおけるデータに対する各段階の処理を監視する処理監視システムであって、前記処理監視システムは、失敗した前記処理を検出した場合に、この処理を再実行させることを特徴とする。

この構成により、本発明の処理監視システムは、データ連携システムにおけるデータに対する各段階の処理のうち、失敗した処理を検出した場合に、この処理を再実行させるので、データ連携システムによる連携の途中で処理が失敗したとしてもデータ連携システムによってデータを連携することができる。

本発明のデータ連携システムおよび処理監視システムは、連携の途中で処理が失敗したとしてもデータを連携することができる。

本発明の一実施の形態に係るシステムのブロック図である。 図１に示すデータ蓄積システムに備えられるパイプラインのブロック図である。 図１に示すパイプライン・オーケストレーターのブロック図である。 情報システムが保持しているデータがＰＯＳＴコネクターによって収集されてパイプラインに送信される場合の図１に示すシステムの動作の流れの一例を示す図である。 パイプラインにファイルを送信する場合の図４に示すＰＯＳＴコネクターの動作のフローチャートである。 情報システムが保持しているデータがＧＥＴコネクターによって収集されてパイプラインに渡される場合の図１に示すシステムの動作の流れの一例を示す図である。 情報システムが保持しているデータがＰＯＳＴエージェントによって収集されてパイプラインに送信される場合の図１に示すシステムの動作の流れの一例を示す図である。 パイプラインにファイルを送信する場合の図７に示すＰＯＳＴエージェントの動作のフローチャートである。 情報システムが保持しているデータがＧＥＴエージェントによって収集されてパイプラインに渡される場合の図１に示すシステムの動作の流れの一例を示す図である。 データ蓄積システムがデータを蓄積する場合の図１に示すデータ連携システムの動作の一部のシーケンス図である。 図１０に示す動作の続きの動作のシーケンス図である。 図１０に示すマスキング処理におけるマスキング処理部の動作のフローチャートである。 図１２に示す動作において使用されるデータ管理テーブルの一例を示す図である。 マスキング処理部がデータの処理を失敗した場合の図１に示すデータ連携システムの動作のシーケンス図である。 データ蓄積システムに蓄積されている特定の情報システムのデータの最新化をアプリケーション部が要求する場合の図１に示すデータ連携システムの動作のシーケンス図である。 特定の情報システムの構成の変更に応じて自身の構成を変更する場合の図１に示すデータ連携システムの動作のフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係るシステムの構成について説明する。

図１は、本実施の形態に係るシステム１０のブロック図である。

図１に示すように、システム１０は、データを生み出すデータソース部２０と、データソース部２０によって生み出されたデータを連携するデータ連携システム３０とを備えている。

データソース部２０は、データを生み出す情報システム２１を備えている。情報システム２１は、情報システム２１の構成や設定を保存する構成管理サーバー２１ａを備えている。データソース部２０は、情報システム２１以外にも、少なくとも１つの情報システムを備えていても良い。情報システムの例としては、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）、プリンター専用機などの画像形成装置を遠隔で管理する遠隔管理システムなどのＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）システムと、ＥＲＰ（Ｅｎｔｅｒｐｒｉｓｅ Ｒｅｓｏｕｒｃｅ Ｐｌａｎｎｉｎｇ）、生産管理システムなどの社内システムとが存在する。情報システムのそれぞれは、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。情報システムは、構造化データのファイルを保持しても良い。情報システムは、非構造化データのファイルを保持しても良い。情報システムは、構造化データのデータベースを保持しても良い。

データソース部２０は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをデータ連携システム３０の後述のパイプラインに送信するデータ収集システムとしてのＰＯＳＴコネクター２２を備えている。データソース部２０は、ＰＯＳＴコネクター２２と同様の構成のＰＯＳＴコネクターをＰＯＳＴコネクター２２以外に少なくとも１つ備えても良い。ＰＯＳＴコネクターは、ＰＯＳＴコネクター自身がファイルを取得する情報システムを構成するコンピューターによって構成されても良い。なお、ＰＯＳＴコネクターは、データ連携システム３０の構成でもある。

データソース部２０は、情報システムが保持している構造化データのデータベースから構造化データを取得して、取得した構造化データをデータ連携システム３０の後述のパイプラインに送信するデータ収集システムとしてのＰＯＳＴエージェント２３を備えている。データソース部２０は、ＰＯＳＴエージェント２３と同様の構成のＰＯＳＴエージェントをＰＯＳＴエージェント２３以外に少なくとも１つ備えても良い。ＰＯＳＴエージェントは、ＰＯＳＴエージェント自身が構造化データを取得する情報システムを構成するコンピューターによって構成されても良い。なお、ＰＯＳＴエージェントは、データ連携システム３０の構成でもある。

データソース部２０は、情報システムが保持しているデータに基づいて連携用の構造化データを生成するデータ収集システムとしてのＧＥＴ用エージェント２４を備えている。データソース部２０は、ＧＥＴ用エージェント２４と同様の構成のＧＥＴ用エージェントをＧＥＴ用エージェント２４以外に少なくとも１つ備えても良い。ＧＥＴ用エージェントは、連携用の構造化データの生成の元になったデータを保持している情報システムを構成するコンピューターによって構成されても良い。なお、ＧＥＴ用エージェントは、データ連携システム３０の構成でもある。

データ連携システム３０は、データソース部２０によって生み出されたデータを蓄積するデータ蓄積システム４０と、データ蓄積システム４０に蓄積されているデータを利用するアプリケーション部５０と、データ蓄積システム４０およびアプリケーション部５０に対する各種の制御を実行する制御サービス部６０とを備えている。

データ蓄積システム４０は、データソース部２０によって生み出されたデータを蓄積するパイプライン４１を備えている。データ蓄積システム４０は、パイプライン４１以外にも、少なくとも１つのパイプラインを備えていても良い。情報システムにおけるデータの構成が情報システム毎に異なる可能性があるので、データ蓄積システム４０は、基本的に、情報システム毎にパイプラインを備えている。パイプラインのそれぞれは、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

図２は、データ蓄積システム４０に備えられるパイプライン７０のブロック図である。

図２に示すように、パイプライン７０は、ＰＯＳＴコネクター、ＰＯＳＴエージェント、後述のＧＥＴコネクター、または、後述のＧＥＴエージェントから受け取ったデータを記憶する記憶領域を備える１次ストレージ７１と、１次ストレージ７１に記憶されたデータのうち、情報システムの利用者の個人情報などのプライバシーに関するデータに対してデータ変換処理としてマスキング処理を実行するデータ変換システムとしてのマスキング処理部７２と、マスキング処理部７２によってマスキング処理が実行されたデータを、後述のビッグデータ解析部４４（図１参照。）に転送するデータ転送処理を実行するデータ転送処理部７３と、ビッグデータ解析部４４への転送用のデータを蓄積する記憶領域を備える２次ストレージ７４とを備えている。なお、１次ストレージ７１が設けられる理由は、データの処理において、例えばマスキング処理の工程やデータ転送処理の工程など、１次ストレージ７１へのデータの記憶の工程より後の工程で処理が失敗した場合に、ネットワーク通信コストが高い、データソース部２０からデータ連携システム３０へのデータの再送信を行うことなく、１次ストレージ７１に記憶されているデータを使用して、失敗した処理を再実行することを可能にするためである。１次ストレージ７１および２次ストレージ７４は、それぞれ単なる記憶装置ではなく、後述する種々の処理を実行することができるシステムである。

図１に示すように、データ蓄積システム４０は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをパイプラインに連携するデータ収集システムとしてのＧＥＴコネクター４２を備えている。データ蓄積システム４０は、ＧＥＴコネクター４２と同様の構成のＧＥＴコネクターをＧＥＴコネクター４２以外に少なくとも１つ備えても良い。ＧＥＴコネクターは、ＧＥＴコネクター自身がファイルを連携するパイプラインを構成するコンピューターによって構成されても良い。

なお、システム１０は、構造化データまたは非構造化データのファイルがデータ蓄積システム４０側から取得されることに対応していない情報システムに対しては、データソース部２０にＰＯＳＴコネクターを備える。一方、システム１０は、構造化データまたは非構造化データのファイルがデータ蓄積システム４０側から取得されることに対応している情報システムに対しては、データ蓄積システム４０にＧＥＴコネクターを備える。

データ蓄積システム４０は、ＧＥＴ用エージェントによって生成された構造化データを取得して、取得した構造化データをパイプラインに連携するデータ収集システムとしてのＧＥＴエージェント４３を備えている。データ蓄積システム４０は、ＧＥＴエージェント４３と同様の構成のＧＥＴエージェントをＧＥＴエージェント４３以外に少なくとも１つ備えても良い。ＧＥＴエージェントは、ＧＥＴエージェント自身が構造化データを連携するパイプラインを構成するコンピューターによって構成されても良い。

なお、システム１０は、構造化データがデータ蓄積システム４０側から取得されることに対応していない情報システムに対しては、データソース部２０にＰＯＳＴエージェントを備える。一方、システム１０は、構造化データがデータ蓄積システム４０側から取得されることに対応している情報システムに対しては、データソース部２０にＧＥＴ用エージェントを備えるとともに、データ蓄積システム４０にＧＥＴエージェントを備える。

データ蓄積システム４０は、複数のパイプラインによって蓄積されたデータを、例えばＳＱＬなどのデータベース言語などのクエリー言語で検索や集計が可能な形態に変換するデータ変換処理として最終変換処理を実行するデータ変換システムとしてのビッグデータ解析部４４を備えている。ビッグデータ解析部４４は、最終変換処理を実行したデータに対して、アプリケーション部５０側からの検索要求や集計要求に応じて検索や集計を実行することも可能である。ビッグデータ解析部４４は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

最終変換処理は、複数の情報システムのデータを統合するデータ統合処理をデータ変換処理として含んでいても良い。アジアに配置されている多数の画像形成装置を遠隔で管理するためにアジアに配置されている遠隔管理システムと、ヨーロッパに配置されている多数の画像形成装置を遠隔で管理するためにヨーロッパに配置されている遠隔管理システムと、アメリカに配置されている多数の画像形成装置を遠隔で管理するためにアメリカに配置されている遠隔管理システムとをシステム１０が情報システムとして備えている場合、これら３つの遠隔管理システムは、それぞれ、遠隔管理システム自身が管理している画像形成装置を管理するデバイス管理テーブルを備えている。デバイス管理テーブルは、画像形成装置毎に付与したＩＤに対応付けて、画像形成装置の各種の情報を示す情報である。ここで、３つの遠隔管理システムがそれぞれ独自にデバイス管理テーブルを備えているので、３つの遠隔管理システムのデバイス管理テーブル間においては、別々の画像形成装置に同一のＩＤが付与されている可能性がある。そこで、ビッグデータ解析部４４は、３つの遠隔管理システムのデバイス管理テーブルを統合して１つのデバイス管理テーブルを生成する場合に、画像形成装置のＩＤを重複が生じないように付与し直す。

アプリケーション部５０は、ビッグデータ解析部４４によって管理されているデータを利用して、例えばデータの表示や、データの分析など、利用者によって指示された特定の動作を実行するアプリケーションサービス５１を備えている。アプリケーション部５０は、アプリケーションサービス５１以外にも、少なくとも１つのアプリケーションサービスを備えていても良い。アプリケーションサービスのそれぞれは、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

アプリケーション部５０は、ビッグデータ解析部４４によって管理されているデータを利用して特定の動作を実行するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供するＡＰＩプラットフォーム５２を備えている。ＡＰＩプラットフォーム５２は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。例えば、ＡＰＩプラットフォーム５２によって提供されるＡＰＩとしては、画像形成装置のトナーなどの消耗品の残量が特定の量以下である場合に消耗品を発注する、システム１０の外部の消耗品発注システムに、遠隔管理システムによって画像形成装置から収集された消耗品の残量のデータを送信するＡＰＩと、画像形成装置の故障を予測する、システム１０の外部の故障予測システムに、遠隔管理システムによって画像形成装置から収集された各種のデータを送信するＡＰＩとが存在する。

制御サービス部６０は、データソース部２０、データ蓄積システム４０およびアプリケーション部５０におけるデータに対する各段階の処理を監視する処理監視システムとしてのパイプライン・オーケストレーター６１を備えている。パイプライン・オーケストレーター６１は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

図３は、パイプライン・オーケストレーター６１のブロック図である。

図３に示すように、パイプライン・オーケストレーター６１は、パイプライン・オーケストレーター６１の動作のトリガーを処理するトリガー処理部８１と、パイプライン・オーケストレーター６１の動作のシナリオを複数記憶しているアクション記述部８２と、パイプライン・オーケストレーター６１の動作を実行するアクション処理部８３とを備えている。

図１に示すように、制御サービス部６０は、データ蓄積システム４０の構成や設定を保存し、必要に応じて自動的にデプロイを実行する構成管理サーバー６２を備えている。構成管理サーバー６２は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。構成管理サーバー６２は、データ連携システム３０の構成を変更する構成変更システムを構成している。

制御サービス部６０は、情報システムの構成管理サーバーに接続し、情報システムにおけるデータベースや非構造化データに関する構成の変更、すなわち、情報システムにおけるデータの構成の変更を検出するための情報を収集する構成管理ゲートウェイ６３を備えている。構成管理ゲートウェイ６３は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

制御サービス部６０は、情報システムなどの各システム間を連携するために必要な鍵情報や接続文字列などのセキュリティー情報を暗号化して保管するＫｅｙ管理サービス６４を備えている。Ｋｅｙ管理サービス６４は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

制御サービス部６０は、データ蓄積システム４０やアプリケーション部５０からの要求を受け付ける管理ＡＰＩ６５を備えている。管理ＡＰＩ６５は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

制御サービス部６０は、アプリケーション部５０のアプリケーションサービスの認証認可を実行する認証認可サービス６６を備えている。認証認可サービス６６は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。認証認可サービス６６は、例えば、データ蓄積システム４０に蓄積されている情報システムのデータの最新化を要求することをアプリケーションサービスが許可されているか否かを確認することができる。

次に、システム１０の動作について説明する。

まず、情報システム２１が保持しているデータがＰＯＳＴコネクター２２によって収集されてパイプライン４１に送信される場合のシステム１０の動作について説明する。

図４は、情報システム２１が保持しているデータがＰＯＳＴコネクター２２によって収集されてパイプライン４１に送信される場合のシステム１０の動作の流れの一例を示す図である。

図４に示す例においては、情報システム２１は、生産管理システム１００である。

図４に示すように、生産管理システム１００は、生産管理を実行する生産管理サーバー１０１と、構造化データまたは非構造化データのファイルを記憶するためのストレージ１０２とを備えている。

生産管理サーバー１０１は、バッチ処理によって構造化データまたは非構造化データのファイルをストレージ１０２に記憶させるバックアップを実行する（Ｓ２０１）。

生産管理サーバー１０１は、Ｓ２０１の処理の後、Ｓ２０１においてストレージ１０２に記憶させたファイルをパイプラインに転送することをＰＯＳＴコネクター２２に対して指示する（Ｓ２０２）。ここで、生産管理サーバー１０１は、Ｓ２０１においてストレージ１０２に記憶させたファイルの識別情報をＳ２０２における指示に含める。

ＰＯＳＴコネクター２２は、Ｓ２０２における指示を受けると、Ｓ２０２における指示に含まれている識別情報によって特定されるファイルをストレージ１０２から取得する（Ｓ２０３）。

ＰＯＳＴコネクター２２は、Ｓ２０３の処理の後、Ｓ２０３において取得したファイルを、ＰＯＳＴコネクター２２自身が対応付けられているパイプライン４１に送信する（Ｓ２０４）。

図５は、パイプライン４１にファイルを送信する場合のＰＯＳＴコネクター２２の動作のフローチャートである。

図５に示すように、ＰＯＳＴコネクター２２は、パイプライン４１にファイルを送信する今回のトランザクションに識別情報としてのトランザクションＩＤを付与する（Ｓ２２１）。ここで、トランザクションＩＤは、例えば数値であり、ＰＯＳＴコネクター２２において新たなトランザクションが発生する度にインクリメントされる。

ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータが特定の処理単位より大きいか否かを判断する（Ｓ２２２）。ここで、特定の処理単位は、例えば特定の数のファイルである。

ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータが特定の処理単位より大きいとＳ２２２において判断すると、今回のトランザクションの対象のデータを特定の処理単位毎に分割する（Ｓ２２３）。

ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータが特定の処理単位以下であるとＳ２２２において判断するか、Ｓ２２３の処理が終了すると、処理単位のデータ毎に識別情報としての処理ＩＤを付与する（Ｓ２２４）。ここで、処理ＩＤは、例えば数値であり、同一のトランザクションにおいて、ＰＯＳＴコネクター２２において特定の処理単位のデータが新たに発生する度にインクリメントされる。

ＰＯＳＴコネクター２２は、Ｓ２２４の処理の後、今回のトランザクションの対象のデータを処理単位毎にパイプライン４１に送信することを開始する（Ｓ２２５）。

次いで、ＰＯＳＴコネクター２２は、特定の単位時間当たりにパイプライン４１に送信したファイルの数が特定の数を超えたか否かを判断する（Ｓ２２６）。

ＰＯＳＴコネクター２２は、特定の単位時間当たりにパイプライン４１に送信したファイルの数が特定の数を超えていないとＳ２２６において判断すると、今回のトランザクションの対象のデータをパイプライン４１に送信することが完了したか否かを判断する（Ｓ２２７）。

ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータをパイプライン４１に送信することが完了していないとＳ２２７において判断すると、Ｓ２２６の処理を実行する。

ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータをパイプライン４１に送信することが完了したとＳ２２７において判断すると、図５に示す動作を終了する。

ＰＯＳＴコネクター２２は、特定の単位時間当たりにパイプライン４１に送信したファイルの数が特定の数を超えたとＳ２２６において判断すると、パイプライン４１のスケールアウトと、パイプライン４１による並列処理の開始とをパイプライン・オーケストレーター６１に指示する（Ｓ２２８）。したがって、パイプライン・オーケストレーター６１は、Ｓ２２７における指示に従って、パイプライン４１を特定の状態までスケールアウトするとともに、並列処理の開始をパイプライン４１に指示する。

次いで、ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータをパイプライン４１に送信することが完了したと判断するまで、今回のトランザクションの対象のデータをパイプライン４１に送信することが完了したか否かを判断する（Ｓ２２９）。

ＰＯＳＴコネクター２２は、今回のトランザクションの対象のデータをパイプライン４１に送信することが完了したとＳ２２９において判断すると、パイプライン４１のスケールインと、パイプライン４１による並列処理の終了とをパイプライン・オーケストレーター６１に指示する（Ｓ２３０）。したがって、パイプライン・オーケストレーター６１は、Ｓ２３０における指示に従って、パイプライン４１を元の状態までスケールインするとともに、並列処理の終了をパイプライン４１に指示する。

ＰＯＳＴコネクター２２は、Ｓ２３０の処理の後、図５に示す動作を終了する。

次に、情報システムが保持しているデータがＧＥＴコネクター４２によって収集されてパイプラインに渡される場合のシステム１０の動作について説明する。

図６は、情報システムが保持しているデータがＧＥＴコネクター４２によって収集されてパイプラインに渡される場合のシステム１０の動作の流れの一例を示す図である。

図６に示す例においては、情報システムは、画像形成装置の遠隔管理システム１２０である。図６に示す例は、画像形成装置の各種のセンサーの出力値を含むセンサー情報を含むメンテナンスレポートの取得を利用者が遠隔管理システム１２０に指示する場合の動作の例である。

図６に示すように、遠隔管理システム１２０は、利用者からの指示を受け付けるための利用者通信サーバー１２１と、利用者からの指示に応じた処理を実行するバックエンド処理サーバー１２２と、画像形成装置に各種のコマンドを送信するコマンドサーバー１２３と、画像形成装置からデータを受信するためのデバイス通信サーバー１２４と、遠隔管理システム１２０の管理の対象の画像形成装置の各種のデータを記憶するデータベース１２５と、構造化データまたは非構造化データのファイルを記憶するためのストレージ１２６とを備えている。遠隔管理システム１２０は、画像形成装置１３０を含む多数の画像形成装置を管理している。データベース１２５は、遠隔管理システム１２０の管理の対象の画像形成装置について、画像形成装置の識別情報としてのデバイスＩＤを記憶している。

遠隔管理システム１２０の利用者は、画像形成装置１３０のメンテナンスレポートの取得の指示を遠隔管理システム１２０に送信することができる。この指示には、メンテナンスレポートの取得先の画像形成装置１３０のデバイスＩＤが含まれている。遠隔管理システム１２０の利用者通信サーバー１２１は、メンテナンスレポートの取得の指示を受信すると、受信した指示をバックエンド処理サーバー１２２に送信する（Ｓ２５１）。

バックエンド処理サーバー１２２は、Ｓ２５１において利用者通信サーバー１２１によって送信された、メンテナンスレポートの取得の指示を受信すると、メンテナンスレポートを取得するためのメンテナンスレポート取得コマンドの送信の要求をコマンドサーバー１２３に送信する（Ｓ２５２）。この要求には、メンテナンスレポートの取得の指示に含まれていたデバイスＩＤが含まれている。

コマンドサーバー１２３は、Ｓ２５２においてバックエンド処理サーバー１２２によって送信された、メンテナンスレポート取得コマンドの送信の要求を受信すると、この要求に含まれているデバイスＩＤによって特定される画像形成装置１３０にメンテナンスレポート取得コマンドを送信する（Ｓ２５３）。

画像形成装置１３０は、Ｓ２５３においてコマンドサーバー１２３によって送信されたメンテナンスレポート取得コマンドを受信すると、画像形成装置１３０自身のメンテナンスレポートを遠隔管理システム１２０に送信する（Ｓ２５４）。ここで、画像形成装置１３０は、画像形成装置１３０自身のデバイスＩＤをメンテナンスレポートに含める。

遠隔管理システム１２０のデバイス通信サーバー１２４は、Ｓ２５４において画像形成装置１３０によって送信されたメンテナンスレポートを受信すると、受信したメンテナンスレポートに含まれるデバイスＩＤがデータベース１２５に含まれるか否かを判断する（Ｓ２５５）。

デバイス通信サーバー１２４は、受信したメンテナンスレポートに含まれるデバイスＩＤがデータベース１２５に含まれることをＳ２５５において判断すると、受信したメンテナンスレポートをストレージ１２６に記憶させる（Ｓ２５６）。

データ連携システム３０のＧＥＴコネクター４２は、特定の画像形成装置のメンテナンスレポートのファイルに関して、ＧＥＴコネクター４２自身が対応付けられている情報システムである遠隔管理システム１２０のストレージ１２６を定期的に検索する（Ｓ２５７）。

ＧＥＴコネクター４２は、特定の画像形成装置１３０のメンテナンスレポートのファイルがストレージ１２６に存在することを確認すると、このファイルをストレージ１２６から取得する（Ｓ２５８）。

ＧＥＴコネクター４２は、Ｓ２５８の処理の後、Ｓ２５８において取得したファイルを、ＧＥＴコネクター４２自身が対応付けられているパイプラインに渡す（Ｓ２５９）。

なお、ＧＥＴコネクター４２は、パイプラインにファイルを渡す場合、図５に示す動作と同様の動作を実行する。すなわち、ＧＥＴコネクター４２は、今回のトランザクションにトランザクションＩＤを付与する。また、ＧＥＴコネクター４２は、今回のトランザクションの対象のデータが特定の処理単位より大きい場合に、今回のトランザクションの対象のデータを特定の処理単位毎に分割する。また、ＧＥＴコネクター４２は、処理単位のデータ毎に処理ＩＤを付与する。また、ＧＥＴコネクター４２は、特定の単位時間当たりにパイプラインに渡したファイルの数が特定の数を超えた場合に、パイプラインのスケールアウトと、パイプラインによる並列処理の開始とをパイプライン・オーケストレーター６１に指示し、その後、今回のトランザクションの対象のデータをパイプラインに渡すことが完了したときに、パイプラインのスケールインと、パイプラインによる並列処理の終了とをパイプライン・オーケストレーター６１に指示する。

次に、情報システムが保持しているデータがＰＯＳＴエージェント２３によって収集されてパイプラインに送信される場合のシステム１０の動作について説明する。

図７は、情報システムが保持しているデータがＰＯＳＴエージェント２３によって収集されてパイプラインに送信される場合のシステム１０の動作の流れの一例を示す図である。

図７に示す例においては、情報システムは、図６に示す例と同様に、画像形成装置の遠隔管理システム１２０である。データベース１２５は、遠隔管理システム１２０の管理の対象の画像形成装置に発生したイベントを示すイベント情報を記憶する。図７に示す例は、遠隔管理システム１２０の管理の対象の画像形成装置１３０が画像形成装置１３０自身に発生したイベントを示すイベント情報を遠隔管理システム１２０に送信する場合のシステム１０の動作の例である。

画像形成装置１３０は、エラーなどのイベントが画像形成装置１３０自身に発生した場合、画像形成装置１３０自身に発生したイベントを示すイベント情報を遠隔管理システム１２０のデバイス通信サーバー１２４に送信する（Ｓ２７１）。例えば、画像形成装置１３０に発生するエラーとしては、画像形成装置１３０の内部に紙が詰まったことを示す紙詰まりと、画像形成装置１３０のカバーが開状態であることを示すカバーオープンとが存在する。

遠隔管理システム１２０のデバイス通信サーバー１２４は、Ｓ２７１において画像形成装置１３０によって送信されたイベント情報を受信すると、受信したイベント情報でデータベース１２５を更新する（Ｓ２７２）。

ＰＯＳＴエージェント２３は、データベース１２５に記憶されているイベント情報が変更されているか否かを特定のタイミングで確認する（Ｓ２７３）。Ｓ２７３における確認は、例えば、データベース１２５の定期的なバックアップの際に実行されても良いし、データベース１２５の変更をデータベース１２５自身が検出した場合に実行されても良いし、データベース１２５の変更のためのＡＰＩが遠隔管理システム１２０においてコールされた場合に実行されても良い。

ＰＯＳＴエージェント２３は、Ｓ２７３における確認の結果、データベース１２５におけるイベント情報の変更を検出すると、このイベント情報の変更の内容を示すデータをデータベース１２５から取得する（Ｓ２７４）。

ＰＯＳＴエージェント２３は、Ｓ２７４の処理の後、Ｓ２７４において取得したデータを、ＰＯＳＴエージェント２３自身が対応付けられている、データ連携システム３０のパイプラインに送信する（Ｓ２７５）。

図８は、パイプラインにファイルを送信する場合のＰＯＳＴエージェント２３の動作のフローチャートである。

図８に示すように、ＰＯＳＴエージェント２３は、パイプラインにファイルを送信する今回のトランザクションにトランザクションＩＤを付与する（Ｓ２９１）。ここで、トランザクションＩＤは、例えば数値であり、ＰＯＳＴエージェント２３において新たなトランザクションが発生する度にインクリメントされる。

ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータが特定の処理単位より大きいか否かを判断する（Ｓ２９２）。ここで、特定の処理単位は、例えば特定の数のテーブルである。

ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータが特定の処理単位より大きいとＳ２９２において判断すると、今回のトランザクションの対象のデータを特定の処理単位毎に分割する（Ｓ２９３）。

ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータが特定の処理単位以下であるとＳ２９２において判断するか、Ｓ２９３の処理が終了すると、処理単位のデータ毎に識別情報としての処理ＩＤを付与する（Ｓ２９４）。ここで、処理ＩＤは、例えば数値であり、同一のトランザクションにおいて、ＰＯＳＴエージェント２３において特定の処理単位のデータが新たに発生する度にインクリメントされる。

ＰＯＳＴエージェント２３は、Ｓ２９４の処理の後、今回のトランザクションの対象のデータを処理単位毎にパイプラインに送信することを開始する（Ｓ２９５）。

次いで、ＰＯＳＴエージェント２３は、特定の単位時間当たりにパイプラインに送信したデータ量が特定の量を超えたか否かを判断する（Ｓ２９６）。

ＰＯＳＴエージェント２３は、特定の単位時間当たりにパイプラインに送信したデータ量が特定の量を超えていないとＳ２９６において判断すると、今回のトランザクションの対象のデータをパイプラインに送信することが完了したか否かを判断する（Ｓ２９７）。

ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータをパイプラインに送信することが完了していないとＳ２９７において判断すると、Ｓ２９６の処理を実行する。

ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータをパイプラインに送信することが完了したとＳ２９７において判断すると、図８に示す動作を終了する。

ＰＯＳＴエージェント２３は、特定の単位時間当たりにパイプラインに送信したデータ量が特定の量を超えたとＳ２９６において判断すると、パイプラインのスケールアウトと、パイプラインによる並列処理の開始とをパイプライン・オーケストレーター６１に指示する（Ｓ２９８）。したがって、パイプライン・オーケストレーター６１は、Ｓ２９７における指示に従って、パイプラインを特定の状態までスケールアウトするとともに、並列処理の開始をパイプラインに指示する。

次いで、ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータをパイプラインに送信することが完了したと判断するまで、今回のトランザクションの対象のデータをパイプラインに送信することが完了したか否かを判断する（Ｓ２９９）。

ＰＯＳＴエージェント２３は、今回のトランザクションの対象のデータをパイプラインに送信することが完了したとＳ２９９において判断すると、パイプラインのスケールインと、パイプラインによる並列処理の終了とをパイプライン・オーケストレーター６１に指示する（Ｓ３００）。したがって、パイプライン・オーケストレーター６１は、Ｓ３００における指示に従って、パイプラインを元の状態までスケールインするとともに、並列処理の終了をパイプラインに指示する。

ＰＯＳＴエージェント２３は、Ｓ３００の処理の後、図８に示す動作を終了する。

次に、情報システムが保持しているデータがＧＥＴエージェント４３によって収集されてパイプラインに渡される場合のシステム１０の動作について説明する。

図９は、情報システムが保持しているデータがＧＥＴエージェント４３によって収集されてパイプラインに渡される場合のシステム１０の動作の流れの一例を示す図である。

図９に示す例においては、情報システムは、図４に示す例と同様に、生産管理システム１００である。

図９に示すように、生産管理システム１００のＧＥＴ用エージェント２４は、ストレージ１０２に記憶されているデータに基づいて連携用の構造化データを特定のタイミングで生成する（Ｓ３２１）。

データ連携システム３０のＧＥＴエージェント４３は、ＧＥＴエージェント４３自身が対応付けられている情報システムである生産管理システム１００のＧＥＴ用エージェント２４に連携用の構造化データの有無を定期的に問い合わせる（Ｓ３２２）。

ＧＥＴエージェント４３は、連携用の構造化データがＧＥＴ用エージェント２４に存在することを確認すると、この構造化データをＧＥＴ用エージェント２４から取得する（Ｓ３２３）。

ＧＥＴエージェント４３は、Ｓ３２３の処理の後、Ｓ３２３において取得した構造化データを、ＧＥＴエージェント４３自身が対応付けられているパイプラインに渡す（Ｓ３２４）。

なお、ＧＥＴエージェント４３は、パイプラインにファイルを渡す場合、図８に示す動作と同様の動作を実行する。すなわち、ＧＥＴエージェント４３は、今回のトランザクションにトランザクションＩＤを付与する。また、ＧＥＴエージェント４３は、今回のトランザクションの対象のデータが特定の処理単位より大きい場合に、今回のトランザクションの対象のデータを特定の処理単位毎に分割する。また、ＧＥＴエージェント４３は、処理単位のデータ毎に処理ＩＤを付与する。また、ＧＥＴエージェント４３は、特定の単位時間当たりにパイプラインに渡したデータ量が特定の量を超えた場合に、パイプラインのスケールアウトと、パイプラインによる並列処理の開始とをパイプライン・オーケストレーター６１に指示し、その後、今回のトランザクションの対象のデータをパイプラインに渡すことが完了したときに、パイプラインのスケールインと、パイプラインによる並列処理の終了とをパイプライン・オーケストレーター６１に指示する。

次に、データ蓄積システム４０がデータを蓄積する場合のデータ連携システム３０の動作について説明する。

図１０は、データ蓄積システム４０がデータを蓄積する場合のデータ連携システム３０の動作の一部のシーケンス図である。

図１０に示すように、パイプライン７０の１次ストレージ７１は、データ収集システム、すなわち、ＰＯＳＴコネクター、ＰＯＳＴエージェント、ＧＥＴコネクターまたはＧＥＴエージェントから特定の処理単位のデータを受け取ると、受け取ったデータを記憶する（Ｓ３４１）。次いで、１次ストレージ７１は、データの記憶の完了を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ３４２）。

パイプライン・オーケストレーター６１のトリガー処理部８１は、Ｓ３４２において１次ストレージ７１によって通知されたイベントを受け取ると、このイベントの内容を解析して、このイベントに対応するシナリオ、すなわち、マスキング処理のシナリオをアクション記述部８２から呼び出して（Ｓ３４３）、Ｓ３４３において呼び出したシナリオをアクション処理部８３に通知する（Ｓ３４４）。したがって、アクション処理部８３は、Ｓ３４４において通知されたシナリオに基づいた処理の実行、すなわち、Ｓ３４１において１次ストレージ７１に記憶されたデータに対するマスキング処理の実行をパイプライン７０のマスキング処理部７２に指示する（Ｓ３４５）。

マスキング処理部７２は、Ｓ３４５における指示を受けると、Ｓ３４１において１次ストレージ７１に記憶されたデータに対してマスキング処理を実行する。すなわち、マスキング処理部７２は、まず、Ｓ３４１において１次ストレージ７１に記憶されたデータを１次ストレージ７１から取得する（Ｓ３４６）。次いで、マスキング処理部７２は、Ｓ３４６において取得したデータに対してマスキング処理を実行する（Ｓ３４７）。次いで、マスキング処理部７２は、Ｓ３４７においてマスキング処理を実行したデータをデータ転送処理部７３に渡す（Ｓ３４８）。そして、マスキング処理部７２は、マスキング処理の完了を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ３４９）。

パイプライン・オーケストレーター６１のトリガー処理部８１は、Ｓ３４９においてマスキング処理部７２によって通知されたイベントを受け取ると、このイベントの内容を解析して、このイベントに対応するシナリオ、すなわち、データ転送処理のシナリオをアクション記述部８２から呼び出して（Ｓ３５０）、Ｓ３５０において呼び出したシナリオをアクション処理部８３に通知する（Ｓ３５１）。したがって、アクション処理部８３は、Ｓ３５１において通知されたシナリオに基づいた処理の実行、すなわち、Ｓ３４７においてマスキング処理が実行されたデータに対するデータ転送処理の実行をパイプライン７０のデータ転送処理部７３に指示する（Ｓ３５２）。

図１１は、図１０に示す動作の続きの動作のシーケンス図である。

図１１に示すように、データ転送処理部７３は、Ｓ３５２における指示を受けると、マスキング処理部７２によってマスキング処理が実行されたデータに対してデータ転送処理を実行する。すなわち、データ転送処理部７３は、まず、Ｓ３４８においてマスキング処理部７２から渡されたデータをビッグデータ解析部４４への転送用のデータとして２次ストレージ７４に蓄積する（Ｓ３５３）。次いで、データ転送処理部７３は、Ｓ３５３において２次ストレージ７４に蓄積したデータを２次ストレージ７４経由でビッグデータ解析部４４に転送する（Ｓ３５４）。そして、データ転送処理部７３は、データ転送処理の完了を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ３５５）。

パイプライン・オーケストレーター６１のトリガー処理部８１は、Ｓ３５５においてデータ転送処理部７３によって通知されたイベントを受け取ると、このイベントの内容を解析して、このイベントに対応するシナリオ、すなわち、最終変換処理のシナリオをアクション記述部８２から呼び出して（Ｓ３５６）、Ｓ３５６において呼び出したシナリオをアクション処理部８３に通知する（Ｓ３５７）。したがって、アクション処理部８３は、Ｓ３５７において通知されたシナリオに基づいた処理の実行、すなわち、Ｓ３５４において２次ストレージ７４に蓄積されたデータに対する最終変換処理の実行をビッグデータ解析部４４に指示する（Ｓ３５８）。

ビッグデータ解析部４４は、Ｓ３５８における指示を受けると、データ転送処理部７３によって転送されてきたデータに対して最終変換処理を実行する。すなわち、ビッグデータ解析部４４は、まず、Ｓ３５４においてデータ転送処理部７３から転送されてきたデータを特定のクエリー言語で検索や集計が可能な形態に変換する（Ｓ３５９）。そして、ビッグデータ解析部４４は、最終変換処理の完了を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ３６０）。

次に、Ｓ３４７のマスキング処理におけるマスキング処理部７２の動作について説明する。

図１２は、マスキング処理におけるマスキング処理部７２の動作のフローチャートである。

マスキング処理部７２は、処理単位のデータ毎に図１２に示す動作を実行する。

図１２に示すように、マスキング処理部７２は、今回のマスキング処理の対象のデータに関してマスキング処理が実行中であることを示す情報を、連携の対象のデータの処理の履歴を管理するデータ管理情報としてのデータ管理テーブル９０（図１３参照。）に書き込む（Ｓ３８１）。

図１３は、図１２に示す動作において使用されるデータ管理テーブル９０の一例を示す図である。

図１３に示すデータ管理テーブル９０は、トランザクションＩＤと、処理ＩＤと、トランザクションＩＤおよび処理ＩＤの組み合わせによって識別されるデータが記憶されているストレージを示すストレージ種別と、トランザクションＩＤおよび処理ＩＤの組み合わせによって識別されるデータがストレージに格納されている場合のファイルの名称を示す格納名と、データ管理テーブル９０に情報が記憶された日時を示す最終更新日時と、トランザクションＩＤおよび処理ＩＤの組み合わせによって識別されるデータに対する処理の名称を示す処理名と、処理名によって示される処理の状態を示す処理状態とを含んでいる。

ストレージ種別には、１次ストレージと、２次ストレージとが存在する。

処理名には、マスキング処理を示すＭａｓｋｉｎｇと、データ転送処理を示すＴｒａｎｓｆｅｒとが存在する。Ｓ３８１においては、Ｍａｓｋｉｎｇが書き込まれる。

処理状態には、処理名によって示される処理が実行中であることを示すＰｒｏｃｅｓｓｉｎｇと、処理名によって示される処理が正常に終了したことを示すＣｏｍｐｌｅｔｅｄと、処理名によって示される処理が失敗したことを示すＥｒｒｏｒとが存在する。Ｓ３８１においては、Ｐｒｏｃｅｓｓｉｎｇが書き込まれる。

図１２に示すように、マスキング処理部７２は、Ｓ３８１の処理の後、対象のデータに対してマスキング処理を開始する（Ｓ３８２）。

次いで、マスキング処理部７２は、Ｓ３８２において開始したマスキング処理の失敗、すなわち、データの変換の失敗を検知したか否かを判断する（Ｓ３８３）。

マスキング処理部７２は、マスキング処理の失敗を検知していないとＳ３８３において判断すると、Ｓ３８２において開始したマスキング処理が終了したか否かを判断する（Ｓ３８４）。

マスキング処理部７２は、マスキング処理が終了していないとＳ３８４において判断すると、Ｓ３８３の処理を実行する。

マスキング処理部７２は、マスキング処理の失敗を検知したとＳ３８３において判断すると、マスキング処理の失敗を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ３８５）。このイベントには、対象のデータのトランザクションＩＤおよび処理ＩＤが含まれている。

次いで、マスキング処理部７２は、今回のマスキング処理の対象のデータに関してマスキング処理が失敗したことを示す情報をデータ管理テーブル９０に書き込み（Ｓ３８６）、図１２に示す動作を終了する。Ｓ３８６において書き込まれる情報における「処理名」、「処理状態」は、それぞれ、「Ｍａｓｋｉｎｇ」、「Ｅｒｒｏｒ」である。

マスキング処理部７２は、マスキング処理が終了したとＳ３８４において判断すると、今回のマスキング処理の対象のデータに関してマスキング処理が正常に終了したことを示す情報をデータ管理テーブル９０に書き込み（Ｓ３８７）、図１２に示す動作を終了する。Ｓ３８７において書き込まれる情報における「処理名」、「処理状態」は、それぞれ、「Ｍａｓｋｉｎｇ」、「Ｃｏｍｐｌｅｔｅｄ」である。

以上においては、Ｓ３４７のマスキング処理におけるマスキング処理部７２の動作について説明しているが、Ｓ３５４のデータ転送処理におけるデータ転送処理部７３の動作や、Ｓ３５９の最終変換処理におけるビッグデータ解析部４４の動作についても同様である。

次に、マスキング処理部７２がデータの処理を失敗した場合のデータ連携システム３０の動作について説明する。

図１４は、マスキング処理部７２がデータの処理を失敗した場合のデータ連携システム３０の動作のシーケンス図である。

マスキング処理部７２は、図１０に示す動作の実行中にマスキング処理が失敗すると、図１４に示すように、マスキング処理の失敗を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ４０１）。Ｓ４０１の通知は、Ｓ３８５（図１２参照。）の通知に対応する。

パイプライン・オーケストレーター６１のトリガー処理部８１は、Ｓ４０１においてマスキング処理部７２によって通知されたイベントを受け取ると、このイベントの内容を解析して、このイベントに対応するシナリオ、すなわち、マスキング処理の再実行のシナリオをアクション記述部８２から呼び出して（Ｓ４０２）、Ｓ４０２において呼び出したシナリオをアクション処理部８３に通知する（Ｓ４０３）。したがって、アクション処理部８３は、Ｓ４０３において通知されたシナリオに基づいた処理の実行、すなわち、Ｓ３４１において１次ストレージ７１に記憶されたデータに対するマスキング処理の実行をパイプライン７０のマスキング処理部７２に指示する（Ｓ４０４）。ここで、アクション処理部８３は、Ｓ４０１においてマスキング処理部７２によって通知されたイベントに含まれるトランザクションＩＤおよび処理ＩＤの組み合わせで特定されるデータに対してデータ管理テーブル９０に含まれる情報のうち、最終更新日時が最新である情報を特定し、特定した情報における処理状態がＣｏｍｐｌｅｔｅｄではない、すなわち、ＰｒｏｃｅｓｓｉｎｇまたはＥｒｒｏｒである場合に、このデータに対するマスキング処理の実行をパイプライン７０のマスキング処理部７２に指示する。

Ｓ４０４の処理の後は、図１０に示すＳ３４６の処理以降の処理が実行される。

以上においては、マスキング処理部７２がデータの処理を失敗した場合のデータ連携システム３０の動作について説明しているが、データ転送処理部７３やビッグデータ解析部４４など、データ蓄積システム４０におけるマスキング処理部７２以外の構成がデータの処理を失敗した場合や、データ収集システムなど、データ連携システム３０におけるデータ蓄積システム４０以外の構成がデータの処理を失敗した場合についても、データ連携システム３０は、同様の仕組みによって処理を再実行させることができる。

なお、１次ストレージ７１に記憶されたデータは、頻繁に利用されるものではない。したがって、１次ストレージ７１は、１次ストレージ７１自身に記憶してから特定の期間を経過したデータをパイプライン外の特定の記憶領域に移動させても良い。１次ストレージ７１は、データをパイプライン外の特定の記憶領域に移動させる場合、データを圧縮してから移動させても良い。１次ストレージ７１は、データをパイプライン外の特定の記憶領域に移動させた後、パイプライン外の特定の記憶領域に移動させたデータのトランザクションＩＤおよび処理ＩＤの組み合わせをパイプライン・オーケストレーター６１に通知する。パイプライン・オーケストレーター６１は、パイプライン外の特定の記憶領域に移動されたデータに対するマスキング処理の実行をパイプライン７０のマスキング処理部７２に指示する場合、このデータを１次ストレージ７１に復元することを１次ストレージ７１に指示する。したがって、１次ストレージ７１は、パイプライン・オーケストレーター６１から指定されたデータをパイプライン外の特定の記憶領域から取得して、１次ストレージ７１自身に記憶する。ここで、１次ストレージ７１は、パイプライン・オーケストレーター６１から指定されたデータが圧縮されている場合には、このデータを伸長してから１次ストレージ７１自身に記憶する。

以上においては、１次ストレージ７１に記憶されたデータについて説明しているが、２次ストレージ７４に記憶されたデータについても同様である。すなわち、２次ストレージ７４は、２次ストレージ７４自身に記憶してから特定の期間を経過したデータをパイプライン外の特定の記憶領域に移動させても良く、パイプライン外の特定の記憶領域に移動させたデータをパイプライン・オーケストレーター６１の指示に応じて２次ストレージ７４自身に復元する。また、２次ストレージ７４は、データをパイプライン外の特定の記憶領域に移動させる場合、データを圧縮してから移動させても良い。

次に、データ蓄積システム４０に蓄積されている特定の情報システムのデータの最新化をアプリケーション部５０が要求する場合のデータ連携システム３０の動作について説明する。

図１５は、データ蓄積システム４０に蓄積されている特定の情報システム（以下、図１５に示す動作の説明において「対象情報システム」という。）のデータの最新化をアプリケーション部５０が要求する場合のデータ連携システム３０の動作のシーケンス図である。

なお、データ蓄積システム４０に蓄積されている対象情報システムのデータの最新化をアプリケーション部５０が要求する場合としては、例えば、アプリケーション部５０のアプリケーションサービスの利用者の指示に応じて、データ蓄積システム４０に蓄積されている対象情報システムのデータの最新化を、このアプリケーションサービスが要求する場合などが存在する。

図１５に示すように、アプリケーション部５０は、データ蓄積システム４０に蓄積されている対象情報システムのデータの最新化を管理ＡＰＩ６５に要求する（Ｓ４２１）。

管理ＡＰＩ６５は、Ｓ４２１における要求を受けると、受けた要求を示すイベントをパイプライン・オーケストレーター６１に通知する（Ｓ４２２）。

パイプライン・オーケストレーター６１のトリガー処理部８１は、Ｓ４２２において管理ＡＰＩ６５によって通知されたイベントを受け取ると、このイベントの内容を解析して、このイベントに対応するシナリオ、すなわち、データ蓄積システム４０に蓄積されている対象情報システムのデータの最新化のシナリオをアクション記述部８２から呼び出して（Ｓ４２３）、Ｓ４２３において呼び出したシナリオをアクション処理部８３に通知する（Ｓ４２４）。したがって、アクション処理部８３は、Ｓ４２４において通知されたシナリオに基づいた処理を実行する。すなわち、アクション処理部８３は、まず、データ蓄積システム４０に蓄積されている対象情報システムのデータが最新であるか否かを確認する（Ｓ４２５）。アクション処理部８３は、Ｓ４２５における確認の結果、データ蓄積システム４０に蓄積されている対象情報システムのデータが最新ではない場合、対象情報システムのデータの送信の実行を対象情報システム用のデータ収集システムに指示する（Ｓ４２６）。

したがって、データ収集システムは、対象情報システムからデータを取得し（Ｓ４２７）、Ｓ４２７において取得したデータを、データ収集システム自身に対応付けられたパイプラインに渡す（Ｓ４２８）。

Ｓ４２８の処理の後は、図１０および図１１に示す処理が実行される。

なお、データ蓄積システム４０に蓄積されている対象情報システムのデータの最新化をアプリケーション部５０が要求することによって、パイプライン７０およびビッグデータ解析部４４がデータを処理する場合には、ビッグデータ解析部４４による最終変換処理が早期に完了することが好ましい。したがって、データ転送処理部７３は、Ｓ３５４の処理に関して、Ｓ３５３において２次ストレージ７４に蓄積したデータを２次ストレージ７４経由でビッグデータ解析部４４に転送するのではなく、Ｓ３４８においてマスキング処理部７２から渡されたデータをビッグデータ解析部４４に直接転送しても良い。

以上においては、データ蓄積システム４０に蓄積されている対象情報システムのデータの最新化について説明している。ここで、データ連携システム３０は、データ蓄積システム４０に蓄積されている対象情報システムのデータのうち、特定のデータのみを最新化することもできる。例えば、データ連携システム３０は、データ蓄積システム４０に蓄積されている対象情報システムのデータのうち、デバイス管理テーブルなどの特定のテーブルのデータのみを最新化することもできる。

次に、特定の情報システムの構成の変更に応じて自身の構成を変更する場合のデータ連携システム３０の動作について説明する。

図１６は、特定の情報システム（以下、図１６に示す動作の説明において「対象情報システム」という。）の構成の変更に応じて自身の構成を変更する場合のデータ連携システム３０の動作のフローチャートである。

構成管理ゲートウェイ６３は、特定のタイミングで、図１６に示す動作を実行する。

図１６に示すように、構成管理ゲートウェイ６３は、対象情報システムの構成管理サーバーに接続して（Ｓ４４１）、連携の対象のデータの構成に変更があるか否かを対象情報システムの構成管理サーバーからの情報に基づいて判断する（Ｓ４４２）。

構成管理ゲートウェイ６３は、連携の対象のデータの構成に変更がないとＳ４４２において判断すると、図１６に示す動作を終了する。

構成管理サーバー６２は、連携の対象のデータの構成に変更があるとＳ４４２において判断されると、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成の変更の内容が定められているか否かを判断する（Ｓ４４３）。ここで、構成管理サーバー６２には、連携の対象のデータの構成の変更の内容と、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成の変更の内容との対応関係を示す変更内容対応関係情報が記憶されている。構成管理サーバー６２は、連携の対象のデータの構成の変更の内容に関する対応関係が変更内容対応関係情報に記憶されている場合、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成の変更の内容が定められていると判断する。一方、構成管理サーバー６２は、連携の対象のデータの構成の変更の内容に関する対応関係が変更内容対応関係情報に記憶されていない場合、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成の変更の内容が定められていないと判断する。

構成管理サーバー６２は、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成の変更の内容が定められていないとＳ４４３において判断すると、連携の対象のデータに関するデータ収集システムおよびデータ蓄積システム４０の処理を停止する（Ｓ４４４）。次いで、構成管理サーバー６２は、対象情報システムの構成の変更に応じてデータ連携システム３０の構成を変更することができない旨を、例えば対象情報システムの関係者の宛先など、予め定められた宛先に連絡して（Ｓ４４５）、図１６に示す動作を終了する。

構成管理サーバー６２は、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成の変更の内容が定められているとＳ４４３において判断すると、データ収集システムおよびデータ蓄積システム４０の構成のうち、連携の対象のデータの構成の変更の内容に対応して変更されるべき構成を、変更内容対応関係情報に定められている変更の内容で、変更する（Ｓ４４６）。ここで、データ収集システムの構成の変更の内容としては、例えば、連携の対象のデータの範囲の変更や、連携の頻度の変更などが考えられる。なお、構成管理サーバー６２は、データ収集システムの構成を変更する場合、構成を変更した新たなデータ収集システムをデプロイしても良い。データ蓄積システム４０の構成の変更の内容としては、例えば、マスキング処理部によるマスキング処理の処理内容の変更や、ビッグデータ解析部４４における最終変換処理の処理内容の変更などが考えられる。

構成管理サーバー６２は、Ｓ４４６の処理の後、図１６に示す動作を終了する。

以上に説明したように、データ連携システム３０は、データ連携システム３０自身におけるデータに対する各段階の処理のうち、失敗した処理を検出した場合（Ｓ４０１）に、この処理を再実行させる（Ｓ４０４）ので、連携の途中で処理が失敗したとしてもデータを連携することができる。

例えば、データ連携システム３０は、データソース部２０との間の通信エラーなどの障害が発生した場合に、この障害に対する復旧、すなわち、データの収集の処理の再実行が自動的かつ最小限度の範囲で実行されるので、大量のデータを連携するときであっても、データ連携システム３０全体の運用コストを低減することができる。

データ連携システム３０は、データ蓄積システム４０に蓄積されているデータの最新化がアプリケーション部５０からパイプライン・オーケストレーター６１に要求された場合（Ｓ４２１〜Ｓ４２２）に、アプリケーション部５０から最新化が要求されたデータを収集する処理をデータ収集システムに実行させる（Ｓ４２６）ので、データ蓄積システム４０に蓄積されているデータを容易に最新化することができる。

パイプラインは、本実施の形態において、データ変換システムとしてマスキング処理部を備えている。しかしながら、パイプラインは、マスキング処理部以外の少なくとも１つのデータ変換システムを、マスキング処理部に代えて、または、マスキング処理部に加えて、備えても良い。

２１ 情報システム
２２ ＰＯＳＴコネクター（データ収集システム）
２３ ＰＯＳＴエージェント（データ収集システム）
２４ ＧＥＴ用エージェント（データ収集システム）
３０ データ連携システム
４０ データ蓄積システム
４２ ＧＥＴコネクター（データ収集システム）
４３ ＧＥＴエージェント（データ収集システム）
５０ アプリケーション部
６１ パイプライン・オーケストレーター（処理監視システム）
１００ 生産管理システム（情報システム）
１２０ 遠隔管理システム（情報システム）

Claims (3)

1. 情報システムが保持しているデータを収集するデータ収集システムと、
   前記データ収集システムによって収集された、複数の前記情報システムが保持しているデータを蓄積するデータ蓄積システムと
   を備えるデータ連携システムであって、
   前記データ連携システムにおけるデータに対する各段階の処理を監視する処理監視システムを備え、
   前記処理監視システムは、失敗した前記処理を検出した場合に、この処理を再実行させることを特徴とするデータ連携システム。
2. 前記データ蓄積システムに蓄積されているデータを利用するアプリケーション部を備え、
   前記処理監視システムは、前記データ蓄積システムに蓄積されているデータの最新化が前記アプリケーション部から要求された場合に、前記アプリケーション部から最新化が要求されたデータを収集する前記処理を前記データ収集システムに実行させることを特徴とする請求項１に記載のデータ連携システム。
3. 情報システムが保持しているデータを収集するデータ収集システムと、
   前記データ収集システムによって収集された、複数の前記情報システムが保持しているデータを蓄積するデータ蓄積システムと
   を備えるデータ連携システムにおけるデータに対する各段階の処理を監視する処理監視システムであって、
   前記処理監視システムは、失敗した前記処理を検出した場合に、この処理を再実行させることを特徴とする処理監視システム。

Images