JP2020042343A - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

Abstract

【課題】ＥＴＬツールを使用したとしても、実データとメタデータとの紐付けを維持可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供する。【解決手段】データ処理装置は、データ処理装置の外部に設けられたＥＴＬツールに入力された実データの属性を示すメタデータに処理を施す。実データ及びメタデータの各々には、ＩＤが含まれている。データ処理装置は、メモリと、プロセッサとを備える。メモリは、プログラムを記憶する。プロセッサは、プログラムを実行する。プログラムは、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理を施すステップをプロセッサに実行させる。【選択図】図１

Description

本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。

特開２０１６−９１４２９号公報（特許文献１）は、情報処理システムを開示する。この情報処理システムにおいては、蓄積されている未加工のデータ群に基づいて、データ分析に適したデータ群が生成される。具体的には、この情報処理システムにおいては、ＥＴＬ（Extract/Transform/Load）という加工処理を各データに施すことによって、データ分析に適したデータ群が生成される（特許文献１参照）。

また、ＷＯ２０１４／０４１８２６（特許文献２）は、データ流通に適用可能なシステムを開示する。このシステムにおいては、たとえば、センシングデータが流通する。センシングデータには、センシングデータの属性を示すメタデータが対応付けられている。このシステムにおいては、メタデータを参照することによって、利用者の要求を満たすセンシングデータが探索される（特許文献２参照）。

特開２０１６−９１４２９号公報 ＷＯ２０１４／０４１８２６

上記特許文献１に開示されているようなＥＴＬを実行するシステムは、ＥＴＬツールとも呼ばれる。ＥＴＬツールは、実データ（たとえば、センシングデータ）の処理を対象としており、メタデータの処理を対象としていない場合が多い。したがって、ＥＴＬツールを使用する場合に、実データとメタデータとが対応付けられているときは、実データのみがＥＴＬツールに入力される。

一方、実データと、該実データの属性を示すメタデータとは、各々が共通のＩＤを含むことによって紐付けられる。また、各実データは異なるＩＤを含み、実データの値が変更された場合にはＩＤも変更されることが求められている。したがって、たとえば、ＥＴＬツールにおいて実データの値が変更されることによって実データのＩＤのみが変更されると（メタデータのＩＤが変更されない）、実データとメタデータとの紐付けができなくなる。

本発明は、このような問題を解決するためになされたものであって、その目的は、ＥＴＬツールを使用したとしても、実データとメタデータとの紐付けを維持可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することである。

本発明のある局面に従うデータ処理装置は、データ処理装置の外部に設けられたＥＴＬツールに入力された実データの属性を示すメタデータに処理を施すように構成されている。実データ及びメタデータの各々には、ＩＤ（identification）が含まれている。データ処理装置は、メモリと、プロセッサとを備える。メモリは、プログラムを記憶するように構成されている。プロセッサは、プログラムを実行するように構成されている。プログラムは、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理を施すステップをプロセッサに実行させるように構成されている。

このデータ処理装置においては、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理が施される。したがって、このデータ処理装置によれば、実データがＥＴＬツールから出力された後においても実データ及びメタデータの双方が同一のＩＤを含むため、実データとメタデータとの紐付けを維持することができる。

上記データ処理装置において、実データ及びメタデータの各々には、共通のＩＤが含まれてもよく、プログラムは、ＥＴＬツールにおいて実データに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤを実データに含まれている変更後のＩＤに変更するステップをプロセッサに実行させるように構成されてもよい。

このデータ処理装置においては、ＥＴＬツールにおいて実データに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤが実データに含まれている変更後のＩＤに変更される。したがって、このデータ処理装置によれば、ＥＴＬツールにおいて実データに含まれているＩＤが変更されたとしても、実データ及びメタデータの双方が同一のＩＤを含むため、実データとメタデータとの紐付けを維持することができる。

上記データ処理装置においては、ＥＴＬツールにおいて実データに含まれているＩＤが変更されなくてもよく、プログラムは、ＥＴＬツールに入力される前の実データに含まれているＩＤと、メタデータに含まれているＩＤとを共通の新たなＩＤに変更するステップをプロセッサに実行させるように構成されてもよい。

このデータ処理装置においては、ＥＴＬツールにおいて実データに含まれているＩＤが変更されない。また、ＥＴＬツールに入力される前の実データに含まれているＩＤと、メタデータに含まれているＩＤとが共通の新たなＩＤに変更される。したがって、このデータ処理装置によれば、ＥＴＬツールにおいて実データの値が変更されたとしても、実データは元のＩＤと異なる新たなＩＤを含んでいるため、問題が生じない。また、このデータ処理装置によれば、実データがＥＴＬツールから出力された後においても実データ及びメタデータの双方が同一のＩＤを含むため、実データとメタデータとの紐付けを維持することができる。

上記データ処理装置において、実データは、センサによって生成されたセンシングデータであってもよい。

本発明の別の局面に従うデータ処理方法は、ＥＴＬツールに入力された実データの属性を示すメタデータに処理を施す。実データ及び前記メタデータの各々には、ＩＤが含まれている。このデータ処理方法は、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理を施すステップを含む。

このデータ処理方法においては、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理が施される。したがって、このデータ処理方法によれば、実データがＥＴＬツールから出力された後においても実データ及びメタデータの双方が同一のＩＤを含むため、実データとメタデータとの紐付けを維持することができる。

本発明の別の局面に従うデータ処理プログラムは、ＥＴＬツールに入力された実データの属性を示すメタデータの処理をプロセッサに実行させる。実データ及びメタデータの各々には、ＩＤが含まれている。このデータ処理プログラムは、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理を施すステップをプロセッサに実行させる。

このデータ処理プログラムがプロセッサによって実行されると、ＥＴＬツールから出力された実データに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理が施される。したがって、このデータ処理プログラムによれば、実データがＥＴＬツールから出力された後においても実データ及びメタデータの双方が同一のＩＤを含むため、実データとメタデータとの紐付けを維持することができる。

本発明によれば、ＥＴＬツールを使用したとしても、実データとメタデータとの紐付けを維持可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することができる。

データ処理サーバの概要を説明するための図である。 実施の形態１における、データ処理サーバを含む分析用データ生成システムの構成の一例を示す図である。 センシングデータＤＢに記憶されているデータのデータ形式の種類を説明するための図である。 データ処理サーバのハードウェア構成の一例を示す図である。 データ処理サーバのソフトウェア構成の一例、及び、ＥＴＬサーバのソフトウェア構成の一例を示す図である。 データ形式変換部の詳細構成を示す図である。 データ形式変換部において実行されるデータ変換の内容を説明するための図である。 メタデータ変換部の詳細構成を示す図である。 値変換部におけるメタデータの変換の一例を示す図である。 データ形式変換部におけるデータ形式変換処理の手順の一例を示すフローチャートである。 メタデータ変換部におけるメタデータ変換処理の手順の一例を示すフローチャートである。 実施の形態２における、データ処理サーバのハードウェア構成の一例を示す図である。 実施の形態２における、データ処理サーバのソフトウェア構成の一例、及び、ＥＴＬサーバのソフトウェア構成の一例を示す図である。 実施の形態２における、メタデータ変換部の詳細構成を示す図である。 ＩＤ変換処理の手順の一例を示すフローチャートである。 値変換処理の手順の一例を示すフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施の形態」とも称する。）について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、以下で説明する本実施の形態は、あらゆる点において本発明の例示にすぎない。本実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。

［１．実施の形態１］
＜１−１．概要＞
図１は、本実施の形態１に従うデータ処理装置（データ処理サーバ）１００の概要を説明するための図である。図１に示されるように、データ処理サーバ１００は、ネットワークを介してセンシングデータＤＢ（database）２００及びＥＴＬツール（ＥＴＬサーバ）４００に接続されている。センシングデータＤＢ２００には、種々のセンシングデータ（実データの一例）が蓄積されている。データ処理サーバ１００は、センシングデータＤＢ２００から入力されたセンシングデータに処理を施すことによって、出力データを生成する。

たとえば、センシングデータＤＢ２００に蓄積されているデータには、センサによって生成されたセンシングデータと、該センシングデータの属性を示すメタデータとが対応付けられているデータがある。センシングデータ及びメタデータの対応付けは、たとえば、センシングデータ及びメタデータの各々に共通のＩＤを付与することによって行なわれる。

一方、ＥＴＬサーバ４００（たとえば、既存のＥＴＬツール）は、センシングデータ（実データ）の処理を対象としており、メタデータの処理を対象としていない。したがって、センシングデータＤＢ２００に蓄積されているデータのうち、センシングデータのみがＥＴＬサーバ４００に送信される。この場合に、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤのみが変更されると、センシングデータとメタデータとの紐付けが維持できなくなる。また、ＥＴＬサーバ４００においてセンシングデータの値が変更されるにも拘わらず、ＩＤが変更されないことも問題である。

詳細については後述するが、本実施の形態に従うデータ処理サーバ１００においては、ＥＴＬサーバ４００から出力されたセンシングデータに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理が施される。したがって、データ処理サーバ１００によれば、センシングデータがＥＴＬツールから出力された後においてもセンシングデータ及びメタデータの双方が同一のＩＤを含むため、センシングデータとメタデータとの紐付けを維持することができる。

＜１−２．システム構成＞
図２は、本実施の形態１に従うデータ処理サーバ１００を含む分析用データ生成システム１０の構成の一例を示す図である。分析用データ生成システム１０は、製造現場等に設置されたセンサが生成したセンシングデータに基づいて、データ分析担当者が利用する分析用データを生成するシステムである。

データ分析担当者の多くは、製造現場等の事情について詳しくない。したがって、データ分析担当者の多くは、センシングデータのみを参照したとしても、センシングデータが何を意味するのかを正確には把握できない。本実施の形態１において、分析用データは、センシングデータ（実データ）と、データ分析担当者によるセンシングデータの理解を助けるためのメタデータとを含む。メタデータは、センシングデータの属性を示す。なお、メタデータは、製造現場等において生成されてもよいし、分析用データが生成される過程で生成されてもよい。

データ分析担当者は、センシングデータに対応付けられているメタデータを参照することによって、センシングデータを適切に扱うことができる。その結果、データ分析担当者は、適切なデータ分析を行なうことができる。

図２の例では、分析用データ生成システム１０は、データ処理サーバ１００と、センシングデータＤＢ２００と、分析用データＤＢ３００と、ＥＴＬサーバ４００と、ＩＤ管理サーバ５００とを含んでいる。

センシングデータＤＢ２００は、センサによって生成されたセンシングデータを記憶する。センシングデータＤＢ２００に記憶されているセンシングデータを生成するセンサとしては、たとえば、画像センサ（カメラ）、温度センサ、湿度センサ、照度センサ、力センサ、音センサ、ＲＦＩＤ（Radio Frequency IDentification）センサ、赤外線センサ、姿勢センサ、降雨センサ、放射能センサ及びガスセンサ等がある。また、センサは、必ずしも固設型である必要はなく、携帯電話、スマートフォン及びタブレット等の移動型であってもよい。また、センサは、必ずしも単一のセンシングデバイスで構成されている必要はなく、複数のセンシングデバイスによって構成されていてもよい。また、センサは、どのような目的で設置されていてもよく、たとえば、工場におけるＦＡ（Factory Automation）及び生産管理、都市交通制御、気象等の環境計測、ヘルスケア並びに防犯等のために設置されていてもよい。

このように、センシングデータＤＢ２００には、様々なセンサによって生成されたセンシングデータが記憶されている。したがって、センシングデータＤＢ２００に記憶されているデータの形式は、必ずしも統一されていない。たとえば、センシングデータＤＢ２００には、複数種類のデータ形式のデータが記憶されている。

図３は、センシングデータＤＢ２００に記憶されているデータのデータ形式の種類を説明するための図である。図３に示されるように、第１データ形式は、センシングデータ（実データ）を含む（メタデータを含まない）データ形式である。第１データ形式において、センシングデータは、センサによって生成された値Ｖ１１を含む。

第２データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成するデータ形式である。第２データ形式において、センシングデータは、ＩＤ（identification）と、センサによって生成された値Ｖ２１とを含む。ＩＤがどのように決定されるかについては、後程詳しく説明する。メタデータは、ＩＤと、センシングデータの属性を示す値Ｖ２２とを含む。なお、センシングデータとメタデータとは、共通のＩＤ（identification）を含むことによって、互いに対応付けられている。

第３データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータが１つのデータ単位を構成するデータ形式である。第３データ形式においては、センサによって生成された値Ｖ３１が格納されるとともに、ヘッダ部にメタデータが格納される。

再び図２を参照して、ＥＴＬサーバ４００は、いわゆるＥＴＬツールを実現する。すなわち、ＥＴＬサーバ４００は、センシングデータＤＢ２００からデータを抽出し（Ｅ）、抽出されたデータを分析に適した状態に変換し（Ｔ）、変換後のデータを分析用データＤＢ３００へロードする（Ｌ）。ＥＴＬサーバ４００については、後程詳しく説明する。

データ処理サーバ１００は、ＥＴＬサーバ４００がセンシングデータＤＢ２００に送信を要求したセンシングデータに事前に処理を施す。データ処理サーバ１００は、センシングデータＤＢ２００から取得したセンシングデータ（実データ）をＥＴＬサーバ４００へ出力するとともに、該センシングデータに対応付けられているメタデータに処理を施す。データ処理サーバ１００は、処理後のメタデータを分析用データＤＢ３００へ出力する。データ処理サーバ１００については、後程詳しく説明する。

分析用データＤＢ３００は、ＥＴＬサーバ４００において処理が施されたセンシングデータと、データ処理サーバ１００において処理が施されたメタデータとを記憶する。分析用データＤＢ３００に記憶されているセンシングデータ及びメタデータの各々は、データ分析担当者が容易に分析できるように加工されている。

ＩＤ管理サーバ５００は、第２データ形式において、センシングデータ（実データ）及びメタデータの各々が含むＩＤを管理する。ＩＤ管理サーバ５００は、たとえば、データ処理サーバ１００及びＥＴＬサーバ４００からの要求を受けて、発行済みのＩＤと重複しないＩＤを生成する。ＩＤ管理サーバ５００は、たとえば、ＵＵＩＤ（Universally Unique Identifier）を生成する。また、ＩＤ管理サーバ５００は、各センシングデータ及び各メタデータに含まれるＩＤの変遷（履歴）を記憶する。すなわち、たとえば、あるセンシングデータに含まれているＩＤが変更された場合に、ＩＤ管理サーバ５００は、変更前のＩＤと、変更後のＩＤとを該センシングデータに対応付けて記憶する。したがって、たとえば、センシングデータの提供者は、ＩＤ管理サーバ５００にアクセスすることによって、自身が提供したセンシングデータがどのような使われ方をしているのかを確認することができる。

＜１−３．ハードウェア構成＞
図４は、データ処理サーバ１００のハードウェア構成の一例を示す図である。なお、本実施の形態１において、データ処理サーバ１００は、たとえば、汎用コンピュータによって実現される。

図４の例では、データ処理サーバ１００は、制御部１７０と、通信Ｉ／Ｆ（interface）１９０と、記憶部１８０とを含み、各構成は、バス１９５を介して電気的に接続されている。

制御部１７０は、ＣＰＵ（Central Processing Unit）１７２、ＲＡＭ（Random Access Memory）１７４及びＲＯＭ（Read Only Memory）１７６等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。

通信Ｉ／Ｆ１９０は、インターネットを介して、データ処理サーバ１００の外部に設けられた外部装置（たとえば、センシングデータＤＢ２００、分析用データＤＢ３００、ＥＴＬサーバ４００及びＩＤ管理サーバ５００（図２））と通信するように構成されている。通信Ｉ／Ｆ１９０は、たとえば、有線ＬＡＮ（Local Area Network）モジュールや無線ＬＡＮモジュールで構成される。

記憶部１８０は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部１８０は、たとえば、制御プログラム１８１を記憶するように構成されている。

制御プログラム１８１は、制御部１７０によって実行されるデータ処理サーバ１００の制御プログラムである。たとえば、制御部１７０が制御プログラム１８１を実行することによって、後述の各ソフトウェアモジュールが実現されてもよい。制御部１７０が制御プログラム１８１を実行する場合に、制御プログラム１８１は、ＲＡＭ１７４に展開される。そして、制御部１７０は、ＲＡＭ１７４に展開された制御プログラム１８１をＣＰＵ１７２によって解釈及び実行することにより、各構成要素を制御する。なお、ＥＴＬサーバ４００のハードウェア構成は、データ処理サーバ１００のハードウェア構成と同様とすることができる。

＜１−４．ソフトウェア構成＞
（１−４−１．データ処理サーバ及びＥＴＬサーバのソフトウェア構成）
図５は、データ処理サーバ１００のソフトウェア構成の一例、及び、ＥＴＬサーバ４００のソフトウェア構成の一例を示す図である。図５に示されるように、データ処理サーバ１００は、データ形式変換部１０２と、データ分離部１０４と、メタデータ変換部１０６と、メタデータ送信部１０８とを含んでいる。データ形式変換部１０２、データ分離部１０４、メタデータ変換部１０６及びメタデータ送信部１０８の各々は、制御部１７０（図４）が制御プログラム１８１を実行することよって実現されるソフトウェアモジュールである。

ＥＴＬサーバ４００は、データ抽出部４０２と、データ変換部４０４と、ロード部４０６とを含んでいる。データ抽出部４０２、データ変換部４０４及びロード部４０６の各々は、ＥＴＬサーバ４００に含まれる不図示の制御部（プロセッサ）が不図示の制御プログラムを実行することによって実現されるソフトウェアモジュールである。

これらのソフトウェアモジュールは、ＥＴＬサーバ４００に含まれるデータ抽出部４０２がセンシングデータＤＢ２００にデータの送信を要求することによって処理を開始する。すなわち、データ抽出部４０２がセンシングデータＤＢ２００にデータ送信を要求するＡＰＩ（Application Programming Interface）コマンドを送信することによって、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２へ送信される。これにより、処理が開始される。

データ形式変換部１０２は、入力データのデータ形式を上述の第２データ形式に統一するソフトウェアモジュールである。データ形式変換部１０２は、入力データのデータ形式を判定し、判定結果に応じてデータ形式の変換処理を行なう。データ形式変換部１０２によって生成されたデータは、データ分離部１０４へ出力される。データ形式変換部１０２については、後程詳しく説明する。

データ分離部１０４は、入力データをセンシングデータ（実データ）とメタデータとに分離するソフトウェアモジュールである。ＥＴＬサーバ４００は実データの処理のみを行なう場合が多いため、データ分離部１０４は、センシングデータをデータ抽出部４０２へ出力し、メタデータをメタデータ変換部１０６へ出力する。

データ抽出部４０２は、入力（抽出）されたセンシングデータをデータ変換部４０４へ出力する。

データ変換部４０４は、たとえばセンシングデータの種類毎に予め定められた変換ルールに従って、入力データに変換処理を施すソフトウェアモジュールである。たとえば、温度センサによって生成されたセンシングデータの値が電圧値（Ｖ）を示すとする。この場合に、変換ルールは、たとえば、電圧値（Ｖ）と温度（℃）との変換式を示す。データ変換部４０４は、たとえば、この変換式に従って、入力された電圧値（Ｖ）を温度（℃）に変換する。また、たとえば、センサによって生成されたセンシングデータの桁数が１０桁であったとする。この場合に、たとえば、変換ルールとして、センシングデータの桁数を５桁に統一するというルールが規定されているとする。この場合には、データ変換部４０４は、変換ルールに従って、入力されたセンシングデータの桁数を５桁に変換する。

また、データ変換部４０４は、センシングデータの値が変換（変更）されると、センシングデータに含まれるＩＤを変更する。ＩＤの変更を行なう場合に、データ変換部４０４は、ＩＤ管理サーバ５００へ新たなＩＤの発行を要求する。データ変換部４０４は、ＩＤ管理サーバ５００から新たなＩＤを受信すると、該ＩＤをセンシングデータに付与する。データ変換部４０４は、変換後のセンシングデータをロード部４０６へ出力する。

ロード部４０６は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、ロード部４０６から入力されたセンシングデータが記憶される。

メタデータ変換部１０６は、ＥＴＬサーバ４００においてセンシングデータに施された変換処理に応じて、メタデータに変換処理を施すソフトウェアモジュールである。変換処理が施されたメタデータは、メタデータ送信部１０８へ出力される。メタデータ変換部１０６については、後程詳しく説明する。

メタデータ送信部１０８は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、メタデータ送信部１０８から入力されたメタデータが記憶される。

（１−４−２．データ形式変換部の詳細構成）
図６は、データ形式変換部１０２の詳細構成を示す図である。図６に示されるように、データ形式変換部１０２は、データ形式判定部１１０と、第１変換部１１２と、第２変換部１１４とを含んでいる。

データ形式判定部１１０は、入力データのデータ形式を判定するソフトウェアモジュールである。データ形式判定部１１０は、入力データが上述の第１、第２及び第３データ形式のいずれのデータ形式であるかを判定する。具体的には、データ形式判定部１１０は、ｉ）入力データがメタデータを含んでいるか、及び、ｉｉ）センシングデータ（実データ）とメタデータとが同一のデータ単位を構成しているか否かを判定する。

データ形式判定部１１０は、入力データがメタデータを含んでいないと判定すると、入力データの形式が第１データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータの各々が異なるデータ単位を構成していると判定すると、入力データの形式が第２データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータが１つのデータ単位を構成していると判定すると、入力データの形式が第３データ形式であると判定する。

データ形式判定部１１０は、入力データが第１データ形式であると判定すると、データを第１変換部１１２へ出力する。データ形式判定部１１０は、入力データが第２データ形式であると判定すると、データをデータ分離部１０４へ出力する。データ形式判定部１１０は、入力データが第３データ形式であると判定すると、データを第２変換部１１４へ出力する。すなわち、入力データが第２データ形式であると判定された場合には、データ形式の変換処理は行なわれない。

第１変換部１１２は、第１データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。第２変換部１１４は、第３データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。

図７は、データ形式変換部１０２において実行されるデータ変換の内容を説明するための図である。図７を参照して、上述のように、第１変換部１１２は、第１データ形式のデータを第２データ形式へ変換する。具体的には、第１変換部１１２は、予め定められたデフォルト値を示すメタデータを生成する。さらに、第１変換部１１２は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。

また、上述のように、第２変換部１１４は、第３データ形式のデータを第２データ形式へ変換する。具体的には、第２変換部１１４は、センシングデータとメタデータとを異なるデータ単位に分離する。さらに、第２変換部１１４は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。

再び図６を参照して、第１変換部１１２によってデータ形式が変換されたデータ、及び、第２変換部１１４によってデータ形式が変換されたデータの各々は、データ分離部１０４へ出力される。

このように、データ形式変換部１０２においては、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、データ形式変換部１０２においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、データ形式変換部１０２によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

（１−４−３．メタデータ変換部の詳細構成）
図８は、メタデータ変換部１０６の詳細構成を示す図である。図８に示されるように、メタデータ変換部１０６は、問合せ部１２０と、ＩＤ変換部１２２と、値変換部１２４とを含んでいる。

問合せ部１２０は、ＥＴＬサーバ４００にセンシングデータへの処理内容を問い合わせるソフトウェアモジュールである。たとえば、問合せ部１２０は、ＥＴＬサーバ４００に、ｉ）センシングデータのＩＤ変更の有無、及び、変更後のＩＤ、並びに、ｉｉ）センシングデータの値の変換内容を問い合わせる。センシングデータの値の変換内容とは、たとえば、「単位の変換」や「桁数の変換」である。問合せ部１２０は、問合せに対する応答をＥＴＬサーバ４００から受信する。

問合せ部１２０は、ＥＴＬサーバ４００からの応答内容に応じて、ＩＤ変換部１２２及び値変換部１２４へ指示を出力する。すなわち、問合せ部１２０は、
ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合には、変更後のＩＤにメタデータのＩＤを変更するようにＩＤ変換部１２２へ指示を出力する。また、問合せ部１２０は、ＥＴＬサーバ４００においてセンシングデータの値が変更されている場合には、変更後の値と整合の取れる値にメタデータの値を変更するように値変換部１２４へ指示を出力する。

ＩＤ変換部１２２は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合に、センシングデータに含まれている変更後のＩＤにメタデータに含まれているＩＤを変更する。一方、ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されていない場合には、メタデータに含まれているＩＤを変更しない。すなわち、ＩＤ変換部１２２においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合にのみ、メタデータに含まれているＩＤが変更される。この構成によれば、ＩＤも有限であるところ、ＩＤを必要以上に発行する事態を回避することができる。

値変換部１２４は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。値変換部１２４は、たとえば、ＥＴＬサーバ４００においてセンシングデータの値が変換（変更）されている場合に、変更後の値と整合の取れる値にメタデータの値を変更する。

図９は、値変換部１２４におけるメタデータの変換の一例を示す図である。この一例においては、ＥＴＬサーバ４００において、センシングデータの単位が電圧（Ｖ）から温度（℃）に変更されるのに伴ないセンシングデータの値が変換されており、かつ、センシングデータの桁数が１０桁から５桁に変換されている。

図９に示されるように、このような場合には、メタデータに含まれる「単位」の項目が「Ｖ」から「℃」に変更され、メタデータに含まれる「桁数」の項目が「１０桁」から「５桁」に変更される。

再び図８を参照して、値変換部１２４によって生成されたメタデータは、メタデータ送信部１０８へ出力される。

このように、メタデータ変換部１０６においては、ＥＴＬサーバ４００（ＥＴＬツール）においてセンシングデータ（実データ）に施された処理に応じた処理がメタデータに施される。したがって、メタデータ変換部１０６によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。

また、本実施の形態１において、センシングデータと、該センシングデータの属性を示すメタデータとは、各々が共通のＩＤを含むことによって対応付けられている。したがって、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更された場合に、メタデータのＩＤが変更されないと、センシングデータとメタデータとの紐付けができなくなる。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤがセンシングデータに含まれている変更後のＩＤに変更される。すなわち、メタデータ変換部１０６においては、ＥＴＬサーバ４００から出力されたセンシングデータに含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理が施される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されたとしても、センシングデータとメタデータとの紐付けを維持することができる。すなわち、メタデータ変換部１０６によれば、センシングデータがＥＴＬサーバ４００から出力された後においてもセンシングデータ及びメタデータの双方が同一のＩＤを含むため、センシングデータとメタデータとの紐付けを維持することができる。

また、ＥＴＬサーバ４００においてセンシングデータの値が変更された場合に、メタデータの値が変更されないと、センシングデータとメタデータとの整合が取れなくなる場合がある。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれている値が変更された場合に、メタデータに含まれている値が、センシングデータに含まれている変更後の値と整合の取れる値に変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータの値が変更されたとしても、センシングデータとメタデータとの整合を維持することができる。

＜１−５．動作＞
（１−５−１．データ形式変換処理）
図１０は、データ形式変換部１０２におけるデータ形式変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２に入力された場合に制御部１７０（データ形式変換部１０２）によって開始される。

図１０を参照して、制御部１７０は、入力データのデータ形式が第２データ形式であるか否かを判定する（ステップＳ１００）。入力データのデータ形式が第２データ形式であると判定されると（ステップＳ１００においてＹＥＳ）、処理はステップＳ１４０へ移行する。

一方、入力データの形式が第２データ形式でないと判定されると（ステップＳ１００においてＮＯ）、制御部１７０は、入力データのデータ形式が第１データ形式であるか否かを判定する（ステップＳ１１０）。入力データの形式が第１データ形式であると判定されると（ステップＳ１１０においてＹＥＳ）、制御部１７０は、入力データの形式を第１データ形式から第２データ形式へ変換する（ステップＳ１２０）。

一方、入力データの形式が第１データ形式でないと判定されると（ステップＳ１１０においてＮＯ）、制御部１７０は、入力データの形式を第３データ形式から第２データ形式へ変換する（ステップＳ１３０）。その後、制御部１７０は、第２データ形式のデータを出力する（ステップＳ１４０）。これにより、データ形式変換部１０２の出力データの形式が第２データ形式へ統一される。

（１−５−２．メタデータ変換処理）
図１１は、メタデータ変換部１０６におけるメタデータ変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、メタデータ変換部１０６へメタデータが入力された場合に制御部１７０（メタデータ変換部１０６）によって開始される。

図１１を参照して、制御部１７０は、入力されたメタデータに含まれているＩＤと同一のＩＤを含むセンシングデータ（実データ）への処理内容をＥＴＬサーバ４００へ問い合わせる（ステップＳ２００）。制御部１７０は、ＥＴＬサーバ４００から回答を受信したか否かを判定する（ステップＳ２１０）。回答が受信されていないと判定されると（ステップＳ２１０においてＮＯ）、制御部１７０は、ステップＳ２１０の処理を繰り返す。

一方、回答が受信されたと判定されると（ステップＳ２１０においてＹＥＳ）、制御部１７０は、受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータのＩＤが変換されたか否かを判定する（ステップＳ２２０）。センシングデータのＩＤが変換されていないと判定されると（ステップＳ２２０においてＮＯ）、処理はステップＳ２４０へ移行する。

一方、センシングデータのＩＤが変換されたと判定されると（ステップＳ２２０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている変換後のＩＤにメタデータのＩＤを変換する（ステップＳ２３０）。

制御部１７０は、ステップＳ２１０において受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータの値が変換されたか否かを判定する（ステップＳ２４０）。センシングデータの値が変換されていないと判定されると（ステップＳ２４０においてＮＯ）、処理はステップＳ２６０へ移行する。

一方、センシングデータの値が変換されたと判定されると（ステップＳ２４０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている値と整合の取れる値にメタデータの値を変換する（ステップＳ２５０）。その後、制御部１７０は、変換後のメタデータを出力する（ステップＳ２６０）。これにより、ＥＴＬサーバ４００において処理が施されたセンシングデータと整合の取れたメタデータが生成される。

＜１−６．特徴＞
以上のように、本実施の形態１に従うデータ処理サーバ１００において、制御部１７０は、ＥＴＬサーバ４００から出力されたセンシングデータ（実データ）に含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理を施すように構成されている。したがって、データ処理サーバ１００によれば、センシングデータがＥＴＬサーバ４００から出力された後においてもセンシングデータ及びメタデータの双方が同一のＩＤを含むため、センシングデータとメタデータとの紐付けを維持することができる。

［２．実施の形態２］
上記実施の形態１においては、ＥＴＬサーバ４００（データ変換部４０４）においてセンシングデータのＩＤが変更された場合にのみ、メタデータ変換部１０６（ＩＤ変換部１２２）においてメタデータのＩＤが変更された。しかしながら、センシングデータ及びメタデータのＩＤの変更タイミングは必ずしもこれに限定されない。本実施の形態２においては、ＥＴＬサーバ４００Ａにおいて、センシングデータの値が変更されたとしても、センシングデータのＩＤが変更されない。本実施の形態２においては、ＥＴＬサーバ４００Ａにおいて高い確率でセンシングデータの値が変更されるため、ＥＴＬサーバ４００Ａにセンシングデータが入力される前に、センシングデータ及びメタデータの各々のＩＤが一律に新しいＩＤに変更される。以下、上記実施の形態１と異なる部分を中心に説明する。

＜２−１．ハードウェア構成＞
図１２は、本実施の形態２に従うデータ処理サーバ１００Ａのハードウェア構成の一例を示す図である。本実施の形態２において、データ処理サーバ１００Ａは、たとえば、汎用コンピュータによって実現される。

図１２の例では、データ処理サーバ１００Ａは、記憶部１８０Ａを含む。記憶部１８０Ａは、たとえば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部１８０Ａは、たとえば、制御プログラム１８１Ａを記憶するように構成されている。

制御プログラム１８１Ａは、制御部１７０によって実行されるデータ処理サーバ１００Ａの制御プログラムである。たとえば、制御部１７０が制御プログラム１８１Ａを実行することによって、後述の各ソフトウェアモジュールが実現されてもよい。制御部１７０が制御プログラム１８１Ａを実行する場合に、制御プログラム１８１Ａは、ＲＡＭ１７４に展開される。そして、制御部１７０は、ＲＡＭ１７４に展開された制御プログラム１８１ＡをＣＰＵ１７２によって解釈及び実行することにより、各構成要素を制御する。なお、ＥＴＬサーバ４００Ａ（後述）のハードウェア構成は、データ処理サーバ１００Ａのハードウェア構成と同様とすることができる。

＜２−２．ソフトウェア構成＞
（２−２−１．データ処理サーバのソフトウェア構成）
図１３は、データ処理サーバ１００Ａのソフトウェア構成の一例、及び、ＥＴＬサーバ４００Ａのソフトウェア構成の一例を示す図である。図１３に示されるように、データ処理サーバ１００Ａは、上記実施の形態１に従うデータ処理サーバ１００と異なり、ＩＤ変換部１０３と、メタデータ変換部１０６Ａとを含んでいる。ＩＤ変換部１０３、メタデータ変換部１０６Ａ、データ形式変換部１０２、データ分離部１０４及びメタデータ送信部１０８の各々は、制御部１７０（図１２）が制御プログラム１８１Ａを実行することによって実現されるソフトウェアモジュールである。

ＥＴＬサーバ４００Ａは、上記実施の形態１におけるＥＴＬサーバ４００と異なり、データ変換部４０４Ａを含んでいる。データ変換部４０４Ａ、データ抽出部４０２及びロード部４０６の各々は、ＥＴＬサーバ４００Ａに含まれる不図示の制御部（プロセッサ）が不図示の制御プログラムを実行することによって実現されるソフトウェアモジュールである。

データ変換部４０４Ａは、上記実施の形態１におけるデータ変換部４０４と異なり、センシングデータの値を変換したとしても、センシングデータに含まれるＩＤを変換しない。また、メタデータ変換部１０６Ａにおいてもメタデータに含まれるＩＤが変換されない。一方、多くの場合、ＥＴＬサーバ４００に入力されるセンシングデータの値は、データ変換部４０４において変換される。センシングデータの値が変換されているにも拘わらず、センシングデータＤＢ２００に記憶されている時点のセンシングデータのＩＤが維持されていることは好ましくない。

本実施の形態２に従うデータ処理サーバ１００Ａにおいては、ＩＤ変換部１０３が、センシングデータ及びメタデータの各々のＩＤを事前に新しいＩＤに変換する。したがって、データ変換部４０４ＡにおいてＩＤが変換されなかったとしても、センシングデータＤＢ２００に記憶されている時点のセンシングデータのＩＤが維持されることはない。また、データ変換部４０４Ａ及びメタデータ変換部１０６ＡにおいてＩＤ変換が行なわれないため、センシングデータ及びメタデータの紐付けが維持される。

（２−２−２．メタデータ変換部の詳細構成）
図１４は、メタデータ変換部１０６Ａの詳細構成を示す図である。図１４に示されるように、メタデータ変換部１０６Ａは、上記実施の形態１におけるＩＤ変換部１２２を含んでいない。したがって、メタデータ変換部１０６Ａにおいては、メタデータのＩＤ変換が行なわれない。

＜２−３．動作＞
（２−３−１．ＩＤ変換処理）
図１５は、ＩＤ変換部１０３におけるＩＤ変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、ＩＤ変換部１０３へ第２データ形式のデータ（センシングデータ及びメタデータ）が入力された場合に制御部１７０（ＩＤ変換部１０３）によって開始される。

図１５を参照して、制御部１７０は、ＩＤ管理サーバ５００に新たなＩＤの生成を依頼する（ステップＳ３００）。制御部１７０は、ＩＤ管理サーバ５００から新たなＩＤを受信したか否かを判定する（ステップＳ３１０）。新たなＩＤが受信されていないと判定されると（ステップＳ３１０においてＮＯ）、制御部１７０は、ステップＳ３１０の処理を繰り返す。

一方、新たなＩＤが受信されたと判定されると（ステップＳ３１０においてＹＥＳ）、制御部１７０は、センシングデータ及びメタデータの各々のＩＤを、受信された新たなＩＤに変換する（ステップＳ３２０）。これにより、センシングデータ及びメタデータの各々に共通の新たなＩＤが付与される。その後、制御部１７０は、ＩＤが変換された第２データ形式のデータをデータ分離部１０４（図１３）へ出力する（ステップＳ３３０）。

（２−３−２．値変換処理）
図１６は、値変換部１２４における値変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、値変換部１２４へメタデータが入力された場合に制御部１７０（値変換部１２４）によって開始される。

図１６を参照して、制御部１７０は、入力されたメタデータに含まれているＩＤと同一のＩＤを含むセンシングデータ（実データ）への処理内容をＥＴＬサーバ４００Ａへ問い合わせる（ステップＳ４００）。制御部１７０は、ＥＴＬサーバ４００Ａから回答を受信したか否かを判定する（ステップＳ４１０）。回答が受信されていないと判定されると（ステップＳ４１０においてＮＯ）、制御部１７０は、ステップＳ４１０の処理を繰り返す。

一方、回答が受信されたと判定されると（ステップＳ４１０においてＹＥＳ）、制御部１７０は、受信された回答に基づいて、ＥＴＬサーバ４００Ａにおいてセンシングデータの値が変換されたか否かを判定する（ステップＳ４２０）。センシングデータの値が変換されていないと判定されると（ステップＳ４２０においてＮＯ）、処理はステップＳ４４０へ移行する。

一方、センシングデータの値が変換されたと判定されると（ステップＳ４２０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている値と整合の取れる値にメタデータの値を変換する（ステップＳ４３０）。その後、制御部１７０は、変換後のメタデータを出力する（ステップＳ４４０）。これにより、ＥＴＬサーバ４００Ａにおいて処理が施されたセンシングデータの値と整合の取れた値のメタデータが生成される。

＜２−４．特徴＞
以上のように、本実施の形態２に従うデータ処理サーバ１００Ａにおいては、ＥＴＬサーバ４００Ａから出力されたセンシングデータ（実データ）に含まれているＩＤと同一のＩＤをメタデータが含むようにメタデータに処理が施される。したがって、データ処理サーバ１００Ａによれば、センシングデータがＥＴＬサーバ４００Ａから出力された後においてもセンシングデータ及びメタデータの双方が同一のＩＤを含むため、センシングデータとメタデータとの紐付けを維持することができる。

［３．変形例］
以上、実施の形態１，２について説明したが、本発明は、上記実施の形態１，２に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。但し、以下の変形例は適宜組合せ可能である。

＜３−１＞
上記実施の形態１，２においては、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００，１００Ａにおいて処理されるデータがセンシングデータであるとした。しかしながら、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００，１００Ａにおいて処理されるデータは、必ずしもセンシングデータである必要はない。たとえば、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００，１００Ａにおいて処理されるデータは、ショッピングサイトにおける各ユーザの購買履歴データや、ゲームサイトにおける各ユーザのスコアデータ等のセンシングデータ以外のデータであってもよい。

＜３−２＞
上記実施の形態１，２においては、データ処理サーバ１００，１００Ａにおいて生成されたメタデータが分析用データＤＢ３００へ出力された。しかしながら、データ処理サーバ１００，１００Ａにおいて生成されたメタデータの出力先は、分析用データＤＢ３００に限定されない。たとえば、データ処理サーバ１００，１００Ａにおいて生成されたメタデータは、ＥＴＬサーバ４００，４００Ａのロード部４０６へ出力されてもよい。この場合には、ロード部４０６がセンシングデータ及びメタデータを対応付けて、分析用データＤＢ３００へ出力する。

１０ 分析用データ生成システム、１００，１００Ａ データ処理サーバ、１０２ データ形式変換部、１０３，１２２ ＩＤ変換部、１０４ データ分離部、１０６，１０６Ａ メタデータ変換部、１０８ メタデータ送信部、１１０ データ形式判定部、１１２ 第１変換部、１１４ 第２変換部、１２０ 問合せ部、１２４ 値変換部、１７０ 制御部、１７２ ＣＰＵ、１７４ ＲＡＭ、１７６ ＲＯＭ、１８０ 記憶部、１８１ 制御プログラム、１９０ 通信Ｉ／Ｆ、１９５ バス、２００ センシングデータＤＢ、３００ 分析用データＤＢ、４００，４００Ａ ＥＴＬサーバ、４０２ データ抽出部、４０４，４０４Ａ データ変換部、４０６ ロード部、５００ ＩＤ管理サーバ。

Claims (6)

1. データ処理装置の外部に設けられたＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータに処理を施すように構成されたデータ処理装置であって、
   前記実データ及び前記メタデータの各々には、ＩＤ（identification）が含まれており、
   プログラムを記憶するように構成されたメモリと、
   前記プログラムを実行するように構成されたプロセッサとを備え、
   前記プログラムは、前記ＥＴＬツールから出力された前記実データに含まれているＩＤと同一のＩＤを前記メタデータが含むように前記メタデータに処理を施すステップを前記プロセッサに実行させるように構成されている、データ処理装置。
2. 前記実データ及び前記メタデータの各々には、共通のＩＤが含まれており、
   前記プログラムは、前記ＥＴＬツールにおいて前記実データに含まれているＩＤが変更された場合に、前記メタデータに含まれているＩＤを前記実データに含まれている変更後のＩＤに変更するステップを前記プロセッサに実行させるように構成されている、請求項１に記載のデータ処理装置。
3. 前記ＥＴＬツールにおいては、前記実データに含まれているＩＤが変更されず、
   前記プログラムは、前記ＥＴＬツールに入力される前の前記実データに含まれているＩＤと、前記メタデータに含まれているＩＤとを共通の新たなＩＤに変更するステップを前記プロセッサに実行させるように構成されている、請求項１又は請求項２に記載のデータ処理装置。
4. 前記実データは、センサによって生成されたセンシングデータである、請求項１から請求項３のいずれか１項に記載のデータ処理装置。
5. ＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータに処理を施すデータ処理方法であって、
   前記実データ及び前記メタデータの各々には、ＩＤ（identification）が含まれており、
   前記ＥＴＬツールから出力された前記実データに含まれているＩＤと同一のＩＤを前記メタデータが含むように前記メタデータに処理を施すステップを含む、データ処理方法。
6. ＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータの処理をプロセッサに実行させるデータ処理プログラムであって、
   前記実データ及び前記メタデータの各々には、ＩＤ（identification）が含まれており、
   前記ＥＴＬツールから出力された前記実データに含まれているＩＤと同一のＩＤを前記メタデータが含むように前記メタデータに処理を施すステップを前記プロセッサに実行させる、データ処理プログラム。