JP2020042345A - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

Abstract

【課題】入力されるデータの形式に拘わらず後工程におけるデータ処理を簡易にする。【解決手段】第１データ形式は、実データを含む形式である。第２及び第３データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第２データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第３データ形式においては、実データ及びメタデータが１つのデータ単位を構成する。プログラムは、入力データの形式が第１及び第３データ形式である場合に、形式の変換処理を施すことによって、第２データ形式の出力データを生成するステップをプロセッサに実行させるように構成されている。【選択図】図１

Description

本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。

ＷＯ２０１４／０４１８２６（特許文献１）は、データ流通に適用可能なシステムを開示する。このシステムにおいては、たとえば、センシングデータが流通する。センシングデータには、センシングデータの属性を示すメタデータが対応付けられている。このシステムにおいては、メタデータを参照することによって、利用者の要求を満たすセンシングデータが探索される（特許文献１参照）。

ＷＯ２０１４／０４１８２６

何らかのデータ処理を考えた場合に、データ処理の対象となるデータの形式が複数種類存在することがあり得る。たとえば、上記特許文献１におけるメタデータが実データに対応づけられているデータ形式と、メタデータが対応付けられておらず実データのみを含むデータ形式との両方がデータ処理の対象となる場合が考えられる。しかしながら、複数種類のデータ形式がデータ処理の対象となると、データ処理が煩雑になる。

本発明は、このような問題を解決するためになされたものであって、その目的は、入力されるデータの形式に拘わらず後工程におけるデータ処理を簡易にすることが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することである。

本発明のある局面に従うデータ処理装置は、入力データに処理を施すことによって出力データを生成するように構成されている。データ処理装置は、メモリと、プロセッサとを備える。メモリは、プログラムを記憶するように構成されている。プロセッサは、プログラムを実行するように構成されている。入力データの形式としては、第１、第２及び第３データ形式がある。第１データ形式は、実データを含む形式である。第２及び第３データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第２データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第３データ形式においては、実データ及びメタデータが１つのデータ単位を構成する。プログラムは、入力データの形式が第１及び第３データ形式である場合に、形式の変換処理を施すことによって、第２データ形式の出力データを生成するステップをプロセッサに実行させるように構成されている。

このデータ処理装置においては、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、このデータ処理装置においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、このデータ処理装置によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

上記データ処理装置において、プログラムは、入力データの形式が第２データ形式である場合に、第２データ形式の出力データを生成するステップをさらにプロセッサに実行させるように構成されていてもよい。

また、上記データ処理装置において、プログラムは、出力データに含まれる実データをＥＴＬ（Extract/Transform/Load）ツールに出力するステップをさらにプロセッサに実行させるように構成されていてもよい。

また、上記データ処理装置において、プログラムは、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップをプロセッサに実行させるように構成されていてもよい。

このデータ処理装置においては、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理装置によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。

また、上記データ処理装置において、実データは、センサによって生成されたセンシングデータであってもよい。

本発明の別の局面に従うデータ処理方法は、入力データに処理を施すことによって出力データを生成する方法である。入力データの形式としては、第１、第２及び第３データ形式がある。第１データ形式は、実データを含む形式である。第２及び第３データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第２データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第３データ形式においては、実データ及びメタデータが１つのデータ単位を構成する。データ処理方法は、入力データの形式が第１及び第３データ形式である場合に、形式の変換処理を施すことによって、第２データ形式の出力データを生成するステップを含む。

このデータ処理方法においては、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、このデータ処理方法においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、このデータ処理方法によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

本発明の別の局面に従うデータ処理プログラムは、入力データに処理を施すことによって出力データを生成する処理をプロセッサに実行させるように構成されている。入力データの形式としては、第１、第２及び第３データ形式がある。第１データ形式は、実データを含む形式である。第２及び第３データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第２データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第３データ形式においては、実データ及びメタデータが１つのデータ単位を構成する。データ処理プログラムは、入力データの形式が第１及び第３データ形式である場合に、形式の変換処理を施すことによって、第２データ形式の出力データを生成するステップをプロセッサに実行させるように構成されている。

このデータ処理プログラムがプロセッサによって実行されると、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、このデータ処理プログラムがプロセッサによって実行されると、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、このデータ処理プログラムによれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

本発明によれば、入力されるデータの形式に拘わらず後工程におけるデータ処理を簡易にすることが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することができる。

データ処理サーバの概要を説明するための図である。 データ処理サーバを含む分析用データ生成システムの構成の一例を示す図である。 センシングデータＤＢに記憶されているデータのデータ形式の種類を説明するための図である。 データ処理サーバのハードウェア構成の一例を示す図である。 データ処理サーバのソフトウェア構成の一例、及び、ＥＴＬサーバのソフトウェア構成の一例を示す図である。 データ形式変換部の詳細構成を示す図である。 データ形式変換部において実行されるデータ変換の内容を説明するための図である。 メタデータ変換部の詳細構成を示す図である。 値変換部におけるメタデータの変換の一例を示す図である。 データ形式変換部におけるデータ形式変換処理の手順の一例を示すフローチャートである。 メタデータ変換部におけるメタデータ変換処理の手順の一例を示すフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施の形態」とも称する。）について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、以下で説明する本実施の形態は、あらゆる点において本発明の例示にすぎない。本実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。

［１．概要］
図１は、本実施の形態に従うデータ処理装置（データ処理サーバ）１００の概要を説明するための図である。図１に示されるように、データ処理サーバ１００は、ネットワークを介してセンシングデータＤＢ（database）２００に接続されている。センシングデータＤＢ２００には、種々のセンシングデータが蓄積されている。データ処理サーバ１００は、センシングデータＤＢ２００から入力されたセンシングデータに処理を施すことによって、出力データを生成する。データ処理サーバ１００は、生成された出力データを後工程に出力する。

センシングデータＤＢ２００に蓄積されているセンシングデータのデータ形式は、必ずしも統一されていない。詳細については後述するが、たとえば、データ形式には、ｉ）センシングデータを含む（該センシングデータの属性を示すメタデータ（以下、単に「メタデータ」とも称する。）を含まない。）第１データ形式、ｉｉ）センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成する第２データ形式、ｉｉｉ）センシングデータとメタデータとを含み、センシングデータ及びメタデータが１つのデータ単位を構成する第３データ形式がある。

データ形式の異なるデータが後工程に入力されると、後工程におけるデータ処理が煩雑になる。詳細については後述するが、本実施の形態に従うデータ処理サーバ１００は、データ形式変換部１０２を含んでいる。データ形式変換部１０２は、上記第１及び第３データ形式のデータが入力されたとしても、入力データにデータ形式の変換処理を施すことによって、上記第２データ形式の出力データを生成する。すなわち、このデータ処理サーバ１００においては、入力データの形式に拘わらず第２データ形式のデータが出力される。

したがって、このデータ処理サーバ１００によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。以下、システム全体の構成、データ処理サーバ１００のハードウェア構成及びソフトウェア構成、並びに、データ処理サーバ１００の動作について順に説明する。

［２．システム構成］
図２は、本実施の形態に従うデータ処理サーバ１００を含む分析用データ生成システム１０の構成の一例を示す図である。分析用データ生成システム１０は、製造現場等に設置されたセンサが生成したセンシングデータに基づいて、データ分析担当者が利用する分析用データを生成するシステムである。

データ分析担当者の多くは、製造現場等の事情について詳しくない。したがって、データ分析担当者の多くは、センシングデータのみを参照したとしても、センシングデータが何を意味するのかを正確には把握できない。本実施の形態において、分析用データは、センシングデータ（実データ）と、データ分析担当者によるセンシングデータの理解を助けるためのメタデータとを含む。メタデータは、センシングデータの属性を示す。なお、メタデータは、製造現場等において生成されてもよいし、分析用データが生成される過程で生成されてもよい。

データ分析担当者は、センシングデータに対応付けられているメタデータを参照することによって、センシングデータを適切に扱うことができる。その結果、データ分析担当者は、適切なデータ分析を行なうことができる。

図２の例では、分析用データ生成システム１０は、データ処理サーバ１００と、センシングデータＤＢ２００と、分析用データＤＢ３００と、ＥＴＬサーバ４００と、ＩＤ管理サーバ５００とを含んでいる。

センシングデータＤＢ２００は、センサによって生成されたセンシングデータを記憶する。センシングデータＤＢ２００に記憶されているセンシングデータを生成するセンサとしては、たとえば、画像センサ（カメラ）、温度センサ、湿度センサ、照度センサ、力センサ、音センサ、ＲＦＩＤ（Radio Frequency IDentification）センサ、赤外線センサ、姿勢センサ、降雨センサ、放射能センサ及びガスセンサ等がある。また、センサは、必ずしも固設型である必要はなく、携帯電話、スマートフォン及びタブレット等の移動型であってもよい。また、センサは、必ずしも単一のセンシングデバイスで構成されている必要はなく、複数のセンシングデバイスによって構成されていてもよい。また、センサは、どのような目的で設置されていてもよく、たとえば、工場におけるＦＡ（Factory Automation）及び生産管理、都市交通制御、気象等の環境計測、ヘルスケア並びに防犯等のために設置されていてもよい。

このように、センシングデータＤＢ２００には、様々なセンサによって生成されたセンシングデータが記憶されている。したがって、センシングデータＤＢ２００に記憶されているデータの形式は、必ずしも統一されていない。たとえば、センシングデータＤＢ２００には、複数種類のデータ形式のデータが記憶されている。

図３は、センシングデータＤＢ２００に記憶されているデータのデータ形式の種類を説明するための図である。図３に示されるように、第１データ形式は、センシングデータ（実データ）を含む（メタデータを含まない）データ形式である。第１データ形式において、センシングデータは、センサによって生成された値Ｖ１１を含む。

第２データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成するデータ形式である。第２データ形式において、センシングデータは、ＩＤ（identification）と、センサによって生成された値Ｖ２１とを含む。ＩＤがどのように決定されるかについては、後程詳しく説明する。メタデータは、ＩＤと、センシングデータの属性を示す値Ｖ２２とを含む。なお、センシングデータとメタデータとは、共通のＩＤ（identification）を含むことによって、互いに対応付けられている。

第３データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータが１つのデータ単位を構成するデータ形式である。第３データ形式においては、センサによって生成された値Ｖ３１が格納されるとともに、ヘッダ部にメタデータが格納される。

再び図２を参照して、ＥＴＬサーバ４００は、いわゆるＥＴＬツールを実現する。すなわち、ＥＴＬサーバ４００は、センシングデータＤＢ２００からデータを抽出し（Ｅ）、抽出されたデータを分析に適した状態に変換し（Ｔ）、変換後のデータを分析用データＤＢ３００へロードする（Ｌ）。ＥＴＬサーバ４００については、後程詳しく説明する。

データ処理サーバ１００は、ＥＴＬサーバ４００がセンシングデータＤＢ２００に送信を要求したセンシングデータに事前に処理を施す。データ処理サーバ１００は、センシングデータＤＢ２００から取得したセンシングデータ（実データ）をＥＴＬサーバ４００へ出力するとともに、該センシングデータに対応付けられているメタデータに処理を施す。データ処理サーバ１００は、処理後のメタデータを分析用データＤＢ３００へ出力する。データ処理サーバ１００については、後程詳しく説明する。

分析用データＤＢ３００は、ＥＴＬサーバ４００において処理が施されたセンシングデータと、データ処理サーバ１００において処理が施されたメタデータとを記憶する。分析用データＤＢ３００に記憶されているセンシングデータ及びメタデータの各々は、データ分析担当者が容易に分析できるように加工されている。

ＩＤ管理サーバ５００は、第２データ形式において、センシングデータ（実データ）及びメタデータの各々が含むＩＤを管理する。ＩＤ管理サーバ５００は、たとえば、データ処理サーバ１００及びＥＴＬサーバ４００からの要求を受けて、発行済みのＩＤと重複しないＩＤを生成する。ＩＤ管理サーバ５００は、たとえば、ＵＵＩＤ（Universally Unique Identifier）を生成する。また、ＩＤ管理サーバ５００は、各センシングデータ及び各メタデータに含まれるＩＤの変遷（履歴）を記憶する。すなわち、たとえば、あるセンシングデータに含まれているＩＤが変更された場合に、ＩＤ管理サーバ５００は、変更前のＩＤと、変更後のＩＤとを該センシングデータに対応付けて記憶する。したがって、たとえば、センシングデータの提供者は、ＩＤ管理サーバ５００にアクセスすることによって、自身が提供したセンシングデータがどのような使われ方をしているのかを確認することができる。

［３．ハードウェア構成］
図４は、データ処理サーバ１００のハードウェア構成の一例を示す図である。なお、本実施の形態において、データ処理サーバ１００は、たとえば、汎用コンピュータによって実現される。

図４の例では、データ処理サーバ１００は、制御部１７０と、通信Ｉ／Ｆ（interface）１９０と、記憶部１８０とを含み、各構成は、バス１９５を介して電気的に接続されている。

制御部１７０は、ＣＰＵ（Central Processing Unit）１７２、ＲＡＭ（Random Access Memory）１７４及びＲＯＭ（Read Only Memory）１７６等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。

通信Ｉ／Ｆ１９０は、インターネットを介して、データ処理サーバ１００の外部に設けられた外部装置（たとえば、センシングデータＤＢ２００、分析用データＤＢ３００、ＥＴＬサーバ４００及びＩＤ管理サーバ５００（図２））と通信するように構成されている。通信Ｉ／Ｆ１９０は、たとえば、有線ＬＡＮ（Local Area Network）モジュールや無線ＬＡＮモジュールで構成される。

記憶部１８０は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部１８０は、たとえば、制御プログラム１８１を記憶するように構成されている。

制御プログラム１８１は、制御部１７０によって実行されるデータ処理サーバ１００の制御プログラムである。たとえば、制御部１７０が制御プログラム１８１を実行することによって、後述の各ソフトウェアモジュールが実現されてもよい。制御部１７０が制御プログラム１８１を実行する場合に、制御プログラム１８１は、ＲＡＭ１７４に展開される。そして、制御部１７０は、ＲＡＭ１７４に展開された制御プログラム１８１をＣＰＵ１７２によって解釈及び実行することにより、各構成要素を制御する。なお、ＥＴＬサーバ４００のハードウェア構成は、データ処理サーバ１００のハードウェア構成と同様とすることができる。

［４．ソフトウェア構成］
＜４−１．データ処理サーバ及びＥＴＬサーバのソフトウェア構成＞
図５は、データ処理サーバ１００のソフトウェア構成の一例、及び、ＥＴＬサーバ４００のソフトウェア構成の一例を示す図である。図５に示されるように、データ処理サーバ１００は、データ形式変換部１０２と、データ分離部１０４と、メタデータ変換部１０６と、メタデータ送信部１０８とを含んでいる。データ形式変換部１０２、データ分離部１０４、メタデータ変換部１０６及びメタデータ送信部１０８の各々は、制御部１７０（図４）が制御プログラム１８１を実行することよって実現されるソフトウェアモジュールである。

ＥＴＬサーバ４００は、データ抽出部４０２と、データ変換部４０４と、ロード部４０６とを含んでいる。データ抽出部４０２、データ変換部４０４及びロード部４０６の各々は、ＥＴＬサーバ４００に含まれる不図示の制御部（プロセッサ）が不図示の制御プログラムを実行することによって実現されるソフトウェアモジュールである。

これらのソフトウェアモジュールは、ＥＴＬサーバ４００に含まれるデータ抽出部４０２がセンシングデータＤＢ２００にデータの送信を要求することによって処理を開始する。すなわち、データ抽出部４０２がセンシングデータＤＢ２００にデータ送信を要求するＡＰＩ（Application Programming Interface）コマンドを送信することによって、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２へ送信される。これにより、処理が開始される。

データ形式変換部１０２は、入力データのデータ形式を上述の第２データ形式に統一するソフトウェアモジュールである。データ形式変換部１０２は、入力データのデータ形式を判定し、判定結果に応じてデータ形式の変換処理を行なう。データ形式変換部１０２によって生成されたデータは、データ分離部１０４へ出力される。データ形式変換部１０２については、後程詳しく説明する。

データ分離部１０４は、入力データをセンシングデータ（実データ）とメタデータとに分離するソフトウェアモジュールである。ＥＴＬサーバ４００は実データの処理のみを行なう場合が多いため、データ分離部１０４は、センシングデータをデータ抽出部４０２へ出力し、メタデータをメタデータ変換部１０６へ出力する。

データ抽出部４０２は、入力（抽出）されたセンシングデータをデータ変換部４０４へ出力する。

データ変換部４０４は、たとえばセンシングデータの種類毎に予め定められた変換ルールに従って、入力データに変換処理を施すソフトウェアモジュールである。たとえば、温度センサによって生成されたセンシングデータの値が電圧値（Ｖ）を示すとする。この場合に、変換ルールは、たとえば、電圧値（Ｖ）と温度（℃）との変換式を示す。データ変換部４０４は、たとえば、この変換式に従って、入力された電圧値（Ｖ）を温度（℃）に変換する。また、たとえば、センサによって生成されたセンシングデータの桁数が１０桁であったとする。この場合に、たとえば、変換ルールとして、センシングデータの桁数を５桁に統一するというルールが規定されているとする。この場合には、データ変換部４０４は、変換ルールに従って、入力されたセンシングデータの桁数を５桁に変換する。

また、データ変換部４０４は、センシングデータの値が変換（変更）されると、センシングデータに含まれるＩＤを変更する。ＩＤの変更を行なう場合に、データ変換部４０４は、ＩＤ管理サーバ５００へ新たなＩＤの発行を要求する。データ変換部４０４は、ＩＤ管理サーバ５００から新たなＩＤを受信すると、該ＩＤをセンシングデータに付与する。データ変換部４０４は、変換後のセンシングデータをロード部４０６へ出力する。

ロード部４０６は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、ロード部４０６から入力されたセンシングデータが記憶される。

メタデータ変換部１０６は、ＥＴＬサーバ４００においてセンシングデータに施された変換処理に応じて、メタデータに変換処理を施すソフトウェアモジュールである。変換処理が施されたメタデータは、メタデータ送信部１０８へ出力される。メタデータ変換部１０６については、後程詳しく説明する。

メタデータ送信部１０８は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、メタデータ送信部１０８から入力されたメタデータが記憶される。

＜４−２．データ形式変換部の詳細構成＞
図６は、データ形式変換部１０２の詳細構成を示す図である。図６に示されるように、データ形式変換部１０２は、データ形式判定部１１０と、第１変換部１１２と、第２変換部１１４とを含んでいる。

データ形式判定部１１０は、入力データのデータ形式を判定するソフトウェアモジュールである。データ形式判定部１１０は、入力データが上述の第１、第２及び第３データ形式のいずれのデータ形式であるかを判定する。具体的には、データ形式判定部１１０は、ｉ）入力データがメタデータを含んでいるか、及び、ｉｉ）センシングデータ（実データ）とメタデータとが同一のデータ単位を構成しているか否かを判定する。

データ形式判定部１１０は、入力データがメタデータを含んでいないと判定すると、入力データの形式が第１データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータの各々が異なるデータ単位を構成していると判定すると、入力データの形式が第２データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータが１つのデータ単位を構成していると判定すると、入力データの形式が第３データ形式であると判定する。

データ形式判定部１１０は、入力データが第１データ形式であると判定すると、データを第１変換部１１２へ出力する。データ形式判定部１１０は、入力データが第２データ形式であると判定すると、データをデータ分離部１０４へ出力する。データ形式判定部１１０は、入力データが第３データ形式であると判定すると、データを第２変換部１１４へ出力する。すなわち、入力データが第２データ形式であると判定された場合には、データ形式の変換処理は行なわれない。

第１変換部１１２は、第１データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。第２変換部１１４は、第３データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。

図７は、データ形式変換部１０２において実行されるデータ変換の内容を説明するための図である。図７を参照して、上述のように、第１変換部１１２は、第１データ形式のデータを第２データ形式へ変換する。具体的には、第１変換部１１２は、予め定められたデフォルト値を示すメタデータを生成する。さらに、第１変換部１１２は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。

また、上述のように、第２変換部１１４は、第３データ形式のデータを第２データ形式へ変換する。具体的には、第２変換部１１４は、センシングデータとメタデータとを異なるデータ単位に分離する。さらに、第２変換部１１４は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。

再び図６を参照して、第１変換部１１２によってデータ形式が変換されたデータ、及び、第２変換部１１４によってデータ形式が変換されたデータの各々は、データ分離部１０４へ出力される。

このように、データ形式変換部１０２においては、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、データ形式変換部１０２においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、データ形式変換部１０２によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

＜４−３．メタデータ変換部の詳細構成＞
図８は、メタデータ変換部１０６の詳細構成を示す図である。図８に示されるように、メタデータ変換部１０６は、問合せ部１２０と、ＩＤ変換部１２２と、値変換部１２４とを含んでいる。

問合せ部１２０は、ＥＴＬサーバ４００にセンシングデータへの処理内容を問い合わせるソフトウェアモジュールである。たとえば、問合せ部１２０は、ＥＴＬサーバ４００に、ｉ）センシングデータのＩＤ変更の有無、及び、変更後のＩＤ、並びに、ｉｉ）センシングデータの値の変換内容を問い合わせる。センシングデータの値の変換内容とは、たとえば、「単位の変換」や「桁数の変換」である。問合せ部１２０は、問合せに対する応答をＥＴＬサーバ４００から受信する。

問合せ部１２０は、ＥＴＬサーバ４００からの応答内容に応じて、ＩＤ変換部１２２及び値変換部１２４へ指示を出力する。すなわち、問合せ部１２０は、
ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合には、変更後のＩＤにメタデータのＩＤを変更するようにＩＤ変換部１２２へ指示を出力する。また、問合せ部１２０は、ＥＴＬサーバ４００においてセンシングデータの値が変更されている場合には、変更後の値と整合の取れる値にメタデータの値を変更するように値変換部１２４へ指示を出力する。

ＩＤ変換部１２２は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合に、センシングデータに含まれている変更後のＩＤにメタデータに含まれているＩＤを変更する。一方、ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されていない場合には、メタデータに含まれているＩＤを変更しない。すなわち、ＩＤ変換部１２２においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合にのみ、メタデータに含まれているＩＤが変更される。この構成によれば、ＩＤも有限であるところ、ＩＤを必要以上に発行する事態を回避することができる。

値変換部１２４は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。値変換部１２４は、たとえば、ＥＴＬサーバ４００においてセンシングデータの値が変換（変更）されている場合に、変更後の値と整合の取れる値にメタデータの値を変更する。

図９は、値変換部１２４におけるメタデータの変換の一例を示す図である。この一例においては、ＥＴＬサーバ４００において、センシングデータの単位が電圧（Ｖ）から温度（℃）に変更されるのに伴ないセンシングデータの値が変換されており、かつ、センシングデータの桁数が１０桁から５桁に変換されている。

図９に示されるように、このような場合には、メタデータに含まれる「単位」の項目が「Ｖ」から「℃」に変更され、メタデータに含まれる「桁数」の項目が「１０桁」から「５桁」に変更される。

再び図８を参照して、値変換部１２４によって生成されたメタデータは、メタデータ送信部１０８へ出力される。

このように、メタデータ変換部１０６においては、ＥＴＬサーバ４００（ＥＴＬツール）においてセンシングデータ（実データ）に施された処理に応じた処理がメタデータに施される。したがって、メタデータ変換部１０６によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。

また、本実施の形態において、センシングデータと、該センシングデータの属性を示すメタデータとは、各々が共通のＩＤを含むことによって対応付けられている。したがって、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更された場合に、メタデータのＩＤが変更されないと、センシングデータとメタデータとの紐付けができなくなる。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤがセンシングデータに含まれている変更後のＩＤに変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されたとしても、センシングデータとメタデータとの紐付けを維持することができる。

また、ＥＴＬサーバ４００においてセンシングデータの値が変更された場合に、メタデータの値が変更されないと、センシングデータとメタデータとの整合が取れなくなる場合がある。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれている値が変更された場合に、メタデータに含まれている値が、センシングデータに含まれている変更後の値と整合の取れる値に変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータの値が変更されたとしても、センシングデータとメタデータとの整合を維持することができる。

［５．動作］
＜５−１．データ形式変換処理＞
図１０は、データ形式変換部１０２におけるデータ形式変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２に入力された場合に制御部１７０（データ形式変換部１０２）によって開始される。

図１０を参照して、制御部１７０は、入力データのデータ形式が第２データ形式であるか否かを判定する（ステップＳ１００）。入力データのデータ形式が第２データ形式であると判定されると（ステップＳ１００においてＹＥＳ）、処理はステップＳ１４０へ移行する。

一方、入力データの形式が第２データ形式でないと判定されると（ステップＳ１００においてＮＯ）、制御部１７０は、入力データのデータ形式が第１データ形式であるか否かを判定する（ステップＳ１１０）。入力データの形式が第１データ形式であると判定されると（ステップＳ１１０においてＹＥＳ）、制御部１７０は、入力データの形式を第１データ形式から第２データ形式へ変換する（ステップＳ１２０）。

一方、入力データの形式が第１データ形式でないと判定されると（ステップＳ１１０においてＮＯ）、制御部１７０は、入力データの形式を第３データ形式から第２データ形式へ変換する（ステップＳ１３０）。その後、制御部１７０は、第２データ形式のデータを出力する（ステップＳ１４０）。これにより、データ形式変換部１０２の出力データの形式が第２データ形式へ統一される。

＜５−２．メタデータ変換処理＞
図１１は、メタデータ変換部１０６におけるメタデータ変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、メタデータ変換部１０６へメタデータが入力された場合に制御部１７０（メタデータ変換部１０６）によって開始される。

図１１を参照して、制御部１７０は、入力されたメタデータに含まれているＩＤと同一のＩＤを含むセンシングデータ（実データ）への処理内容をＥＴＬサーバ４００へ問い合わせる（ステップＳ２００）。制御部１７０は、ＥＴＬサーバ４００から回答を受信したか否かを判定する（ステップＳ２１０）。回答が受信されていないと判定されると（ステップＳ２１０においてＮＯ）、制御部１７０は、ステップＳ２１０の処理を繰り返す。

一方、回答が受信されたと判定されると（ステップＳ２１０においてＹＥＳ）、制御部１７０は、受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータのＩＤが変換されたか否かを判定する（ステップＳ２２０）。センシングデータのＩＤが変換されていないと判定されると（ステップＳ２２０においてＮＯ）、処理はステップＳ２４０へ移行する。

一方、センシングデータのＩＤが変換されたと判定されると（ステップＳ２２０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている変換後のＩＤにメタデータのＩＤを変換する（ステップＳ２３０）。

制御部１７０は、ステップＳ２１０において受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータの値が変換されたか否かを判定する（ステップＳ２４０）。センシングデータの値が変換されていないと判定されると（ステップＳ２４０においてＮＯ）、処理はステップＳ２６０へ移行する。

一方、センシングデータの値が変換されたと判定されると（ステップＳ２４０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている値と整合の取れる値にメタデータの値を変換する（ステップＳ２５０）。その後、制御部１７０は、変換後のメタデータを出力する（ステップＳ２６０）。これにより、ＥＴＬサーバ４００において処理が施されたセンシングデータと整合の取れたメタデータが生成される。

［６．特徴］
以上のように、本実施の形態に従うデータ処理サーバ１００において、制御部１７０は、入力データの形式が第１及び第３データ形式である場合に、形式の変換処理を施すことによって、第２データ形式の出力データを生成するように構成されている。すなわち、このデータ処理サーバ１００においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、このデータ処理サーバ１００によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

なお、データ処理サーバ１００は、本発明の「データ処理装置」の一例であり、記憶部１８０は、本発明の「メモリ」の一例であり、制御部１７０は、本発明の「プロセッサ」の一例である。

［７．変形例］
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。但し、以下の変形例は適宜組合せ可能である。

＜７−１＞
上記実施の形態においては、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータがセンシングデータであるとした。しかしながら、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータは、必ずしもセンシングデータである必要はない。たとえば、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータは、ショッピングサイトにおける各ユーザの購買履歴データや、ゲームサイトにおける各ユーザのスコアデータ等のセンシングデータ以外のデータであってもよい。

＜７−２＞
また、上記実施の形態においては、データ処理サーバ１００において分離されたセンシングデータがＥＴＬサーバ４００へ出力された。しかしながら、センシングデータは、必ずしもＥＴＬサーバ４００へ出力されなくてもよい。たとえば、データ処理サーバ１００において生成された第２データ形式のデータが単に分析用データＤＢ３００へ出力されてもよい。

＜７−３＞
上記実施の形態においては、データ処理サーバ１００において生成されたメタデータが分析用データＤＢ３００へ出力された。しかしながら、データ処理サーバ１００において生成されたメタデータの出力先は、分析用データＤＢ３００に限定されない。たとえば、データ処理サーバ１００において生成されたメタデータは、ＥＴＬサーバ４００のロード部４０６へ出力されてもよい。この場合には、ロード部４０６がセンシングデータ及びメタデータを対応付けて、分析用データＤＢ３００へ出力する。

１０ 分析用データ生成システム、１００ データ処理サーバ、１０２ データ形式変換部、１０４ データ分離部、１０６ メタデータ変換部、１０８ メタデータ送信部、１１０ データ形式判定部、１１２ 第１変換部、１１４ 第２変換部、１２０ 問合せ部、１２２ ＩＤ変換部、１２４ 値変換部、１７０ 制御部、１７２ ＣＰＵ、１７４ ＲＡＭ、１７６ ＲＯＭ、１８０ 記憶部、１８１ 制御プログラム、１９０ 通信Ｉ／Ｆ、１９５ バス、２００ センシングデータＤＢ、３００ 分析用データＤＢ、４００ ＥＴＬサーバ、４０２ データ抽出部、４０４ データ変換部、４０６ ロード部、５００ ＩＤ管理サーバ。

Claims (7)

1. 入力データに処理を施すことによって出力データを生成するように構成されたデータ処理装置であって、
   プログラムを記憶するように構成されたメモリと、
   前記プログラムを実行するように構成されたプロセッサとを備え、
   前記入力データの形式としては、第１、第２及び第３データ形式があり、
   前記第１データ形式は、実データを含む形式であり、
   前記第２及び第３データ形式の各々は、前記実データと該実データの属性を示すメタデータとを含む形式であり、
   前記第２データ形式においては、前記実データ及び前記メタデータの各々が異なるデータ単位を構成し、
   前記第３データ形式においては、前記実データ及び前記メタデータが１つのデータ単位を構成し、
   前記プログラムは、前記入力データの形式が前記第１及び第３データ形式である場合に、形式の変換処理を施すことによって、前記第２データ形式の前記出力データを生成するステップを前記プロセッサに実行させるように構成されている、データ処理装置。
2. 前記プログラムは、前記入力データの形式が前記第２データ形式である場合に、前記第２データ形式の前記出力データを生成するステップをさらに前記プロセッサに実行させるように構成されている、請求項１に記載のデータ処理装置。
3. 前記プログラムは、前記出力データに含まれる前記実データをＥＴＬ（Extract/Transform/Load）ツールに出力するステップをさらに前記プロセッサに実行させるように構成されている、請求項１又は請求項２に記載のデータ処理装置。
4. 前記プログラムは、前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップを前記プロセッサに実行させるように構成されている、請求項３に記載のデータ処理装置。
5. 前記実データは、センサによって生成されたセンシングデータである、請求項１から請求項４のいずれか１項に記載のデータ処理装置。
6. 入力データに処理を施すことによって出力データを生成するデータ処理方法であって、
   前記入力データの形式としては、第１、第２及び第３データ形式があり、
   前記第１データ形式は、実データを含む形式であり、
   前記第２及び第３データ形式の各々は、前記実データと該実データの属性を示すメタデータとを含む形式であり、
   前記第２データ形式においては、前記実データ及び前記メタデータの各々が異なるデータ単位を構成し、
   前記第３データ形式においては、前記実データ及び前記メタデータが１つのデータ単位を構成し、
   前記データ処理方法は、前記入力データの形式が前記第１及び第３データ形式である場合に、形式の変換処理を施すことによって、前記第２データ形式の前記出力データを生成するステップを含む、データ処理方法。
7. 入力データに処理を施すことによって出力データを生成する処理をプロセッサに実行させるように構成されたデータ処理プログラムであって、
   前記入力データの形式としては、第１、第２及び第３データ形式があり、
   前記第１データ形式は、実データを含む形式であり、
   前記第２及び第３データ形式の各々は、前記実データと該実データの属性を示すメタデータとを含む形式であり、
   前記第２データ形式においては、前記実データ及び前記メタデータの各々が異なるデータ単位を構成し、
   前記第３データ形式においては、前記実データ及び前記メタデータが１つのデータ単位を構成し、
   前記データ処理プログラムは、前記入力データの形式が前記第１及び第３データ形式である場合に、形式の変換処理を施すことによって、前記第２データ形式の前記出力データを生成するステップを前記プロセッサに実行させるように構成されている、データ処理プログラム。