JP2019160040A - データ収集システム - Google Patents

Abstract

【課題】メタデータ付与に必要な情報を作成する手順を、情報を取得するための検索対象へのアクセス範囲の制約などに基づいて容易に構築可能とする。【解決手段】データおよびメタデータの関連付けを定義するための機能と、データとそれに関連したメタデータを表示する方法を設計するための機能と、データとメタデータの送受信および中継方法を生成する機能をもつ管理装置と、データおよびメタデータを生成する生成装置と、データおよびメタデータを表示する表示装置と、データおよびメタデータを中継する中継装置とから構成され、前記管理装置は、関連付けを設計する機能を用いて作成された関連付け情報に含まれるデータの位置と取得方法に従って、表示装置に表示するためのデータおよびメタデータに関する処理手順を生成装置、中継装置、表示装置のいずれかあるいはすべてに配布する機能を有する。【選択図】 図１

Description

本発明は、データ収集システムに関する。

ネットワーク技術の発展により、ネットワークにつながれたセンサやカメラ、データベース等の情報（データ）を収集して、可視化・分析・制御を行うことが広く行われている。例えば、工場ラインのリアルタイム監視・生産効率向上・品質管理のために、センサ情報等の構造データ、機器ログ等の半構造データに加え、画像・動画などの非構造データを扱った分析が必要となる。
画像・動画などの非構造データは、構造データと比べて、１エントリのデータ量が大きく、異なる形の送信・格納方式をとる必要がある。例えば、構造データであれば、１エントリあたりのサイズは数キロバイトであり、メッセージ志向ミドルウェア上の１メッセージとして送信し、１エントリ１レコードとしてリレーショナルＤＢに格納し、適切なインデックスを付けることで検索容易なシステムを構築することができる。しかし、動画などの非構造データは、１エントリで数メガバイトから数ギガバイトとなるため、ファイル転送によって送信して、ファイルシステムに格納するなどの方法がとられる。あるいは、ストリーム型で動画を流すため、そもそも「１エントリ」という概念がない場合もあり、受信側でそのまま表示するか、適当な大きさでファイルに変換するなどの必要もある。これらの非構造データと構造データとを組み合わせたシステムを各現場の要件にあわせて、その都度構築する必要があった。
これらの非構造データと構造データは、互いに異なる特性を持っているため、例えば、データ分析などのアプリケーションごとに収集対象のデータを固定し、そのアプリケーションに特化したシステムを構築することが広く行われている。
これらのシステムでは、収集したデータに対してメタデータを関連付けることで、データの分析を容易に行うことができる。例えば、カメラで撮影した動画データに対して、撮影対象の情報、つまり、メタデータを関連付けることで、動画とあわせて対象のメタデータを表示して視聴者に分かりやすく提示することができる。

係るシステムとして、例えば、特開２００４−１８５４５６号公報（特許文献１）や特開２００８−２５２４１０号公報（特許文献２）に記載の技術がある。
特許文献１の公報には、「通信端末間に，メタデータを受信および解釈し，変換を行う通信システムを配置する。コンテンツそのものは変更せず，メタデータに対して変化を加えることで，迅速なコンテンツ提供が可能になる。また，視聴者属性情報，クライアントの種類情報，広告属性情報等の各種情報の参照を行って最適なコンテンツを選択する。広告主や広告配信事業者が広告挿入ポリシを選択，登録，変更する仕組み，コンテンツの広告挿入点を自動決定する仕組み，広告の属性を登録する仕組みを提供することで，運用を容易にする。」との記載があり、メタデータを含んだコンテンツの送信者と受信者の間にメタ情報の変換を行う通信システムを配置することで、受信者に最適なコンテンツを選択する方法を開示している。
また、特許文献２の公報には、「コンテンツ表示装置１４の対象物指定部２６においてユーザが対象物の指定を画面上で行うと、その識別情報と、その際の動画コンテンツにおける状況データとが情報提供サーバ１２に送信される。情報提供サーバ１２の候補選定部３２は、参照頻度記憶部４０を状況データに基づき検索し、あらかじめ状況に応じて設定された表示頻度の重み付けを表すポイントおよび表示制限に則り表示するメタデータを選定する。表示情報送信部３６は、表示するメタデータをメタデータ記憶部１８から読み出し、コンテンツ表示装置１４に送信する。」との記載があり、動画視聴中の画面内で対象物の指定を行うと、その識別情報に応じて情報提供サーバから適切なメタデータを選定し、コンテンツ表示装置に送信する方法が開示されている。

特開２００４−１８５４５６号公報 特開２００８−２５２４１０号公報

特許文献１では、メタデータを動的に変換することにより，視聴者に提示する情報に更に価値を付加することができ、また，配信条件と最新の視聴者属性情報やクライアントの種類情報を利用して，最適なコンテンツや広告の配信，インタラクティブ性を持つコンテンツや広告の配信を可能とすることができる、という効果を奏する。また、特許文献２では、動画コンテンツに対象物の情報（メタデータ）を表示することができる、という効果を奏する。しかし、メタデータを付与する対象や、メタデータとして付与することができるデータ群は時間の経過とともに変化する。例えば、工場で監視を行うユースケースの場合、頻繁に工程の内容が変化するため、結果として付与すべきメタデータも変化する。また、新たなメタデータの生成源が配備された場合、その生成源をつかってあらたな表示方法を構成する必要がある。
このような場合、特許文献１、２に開示されている方法では、メタデータの生成方法やメタデータの取得先が固定されているため、データの利用者が表示するメタデータを自由に選択することができない。
このため、新たなデータ利用方法が必要になった場合、その都度、メタデータの付与システムを構築する必要があった。しかし、その際には、メタデータ付与に必要な情報を検索可能な位置や方法など、メタデータとして付与する情報の作成手順を設計し、システムを構築する必要があり、迅速に対応することができない、という課題があった。

そこで、本発明では、上述した課題に鑑み、メタデータ付与に必要な情報を作成する手順を容易に構築可能とすることができ、例えば、ネットワークにつながれたセンサ、カメラやデータベース等の情報を収集して、可視化・分析・制御を行うシステムの構築・拡張が容易となり、また、過去に設計した関連付けの情報を活用することによって多様なユースケースへの対応が容易となる技術を提供することを目的とする。

上記課題を解決するために、代表的な本発明のデータ収集システムは、
データおよびメタデータの関連付けを定義、設計する関連付け設計機能と、前記データと、前記データに表示すべき関連した前記メタデータを表示する方法を設計する設計機能と、前記２つの設計機能から与えられた情報から前記データと前記メタデータの送受信および中継方法を生成する機能を有する管理装置と、
前記データおよび前記メタデータを生成する生成装置と、
前記データおよび前記メタデータを表示する表示装置と、
前記データおよび前記メタデータを中継する中継装置とから構成され、
前記管理装置は、前記関連付け設計機能を用いて作成された前記関連付け情報に含まれる前記データの位置と取得方法に従って、前記表示装置に表示するための前記データおよび前記メタデータを生成するための生成手順、前記メタデータを前記データに付与するメタデータ付与手順、前記データおよび前記メタデータを中継する中継手順、前記データおよび前記メタデータを表示する表示手順を含む処理手順を構築し、前記生成手順を、1つ以上の生成装置、また前記中継手順を1つ以上の中継装置に、また前記表示手順を1つ以上の表示装置に配布する機能を含み、
前記生成装置は、前記管理装置から配布された前記生成手順に基づいて、前記中継装置を介して前記表示装置にデータを送信する機能を含み、
前記中継装置は、前記管理装置から配布された前記中継手順に基づいて、前記生成装置から受信した前記データまたは前記メタデータを用いて、前記中継手順に含まれる取得手順に基づいて前記生成装置にメタデータ問合せをおこない、新たなメタデータを生成する機能を含み、
前記表示装置は、前記管理装置から配布された前記表示手順に基づいて、前記中継装置から受信した前記データまたは前記メタデータを表示する機能を含む、
ことを特徴とする。

本発明によれば、ネットワークにつながれたセンサやデータベース等の情報を収集して、可視化・分析・制御を行うシステムの構築・拡張が容易となる。また、過去に設計した関連付けの情報を活用することによって多様なユースケースへの対応が容易となる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例1におけるデータ収集システムの構成例を示すブロック図。 実施例１のメタデータ可視化装置のＵＩ設計機能におけるユーザインタフェースの画面例を示す図。 実施例１における関連付けの定義の例を示す関連付けテーブルおよびテーブルをグラフ表現した図。 実施例１におけるデータ生成手順・データ中継手順・データ表示手順の作成および配布の各処理を示すフローチャート。 実施例１における中継装置の動作を示すフローチャート 実施例１における中継装置に配布された中継手順の例を示す付与手順テーブル。 実施例１におけるデータ転送のためのパケットのフォーマットの例を示す図。 実施例１における中継手順に従ったパケット変換の例を示す図。 実施例１における複数の中継装置によるメタデータの追加の例を示す図。 本発明の実施例２におけるデータ収集システムの構成例を示すブロック図。 実施例２における蓄積装置における蓄積手順の例を示す蓄積データ作成テーブル。

以下、本発明の実施例について図面を用いて説明する。
なお、以下の実施例では、各情報を記憶する手段として、テーブルを前提として説明するが、各情報は、テーブル以外のデータ構造で表現されていてもよい。また、各プログラムは、プロセッサ、例えば、ＭＰ（マイクロプロセッサ）やＣＰＵ、マイクロコントローラなどによって実行されるもので、定められた処理をするものである。

本実施例では、工場のラインにおける各工程をカメラによって撮影された動画をリアルタイムで参照するとともに、当該工程の現在の状況に適合したメタデータをあわせて参照可能とするユーザインタフェースを作成可能とするためのシステムを例として説明する。

図１は、本発明のデータ収集システムの構成例を示すブロック図である。
データ収集システムは、メタデータ可視化管理装置１０１、動画を含むデータを生成する生成装置１０６（１０６−１〜１０６−６）、生成装置１０６からのデータやメタデータを受けて後段に中継する多段構成された中継装置１０７（１０７−１〜１０７−７）、中継装置１０７からのデータおよびメタデータを受けて表示する表示装置１０８、を有する。

メタデータ可視化管理装置１０１、生成装置１０６、中継装置１０７、表示装置１０８は、管理ネットワーク１０９を介して互いに接続されている。また、生成装置１０６、中継装置１０７、表示装置１０８はデータおよびメタデータ送信のために互いに接続されている。
なお、これらの接続関係は論理的なものであり、物理的な接続関係は問わない。

生成装置１０６は、表示装置１０８で表示される元のデータおよびメタデータを生成する装置であって、複数のセンサ類１０６−１，１０６−２、１０６−４、１０６−５、複数のＤＢ（データベース）類１０６−３、１０６−６を含む。センサ類には、カメラも含む。

中継装置１０７は、生成装置１０６のエッジ側に設置された中継装置１０７−１、１０７−２とセンタ側に設置された中継装置１０７−３を含み、それぞれ、データやメタデータを中継するデータ処理機能を有する。中継装置１０７−３は、ＤＢ類１０６−７に接続されている。

表示装置１０８は、中継装置１０７を経由して中継されたデータやデータに付与されたメタデータを表示するＵＩ表示機能を有する。

メタデータ可視化管理装置１０１は、関連付け設計機能部１０２、ＵＩ設計機能部１０４、メタデータ付与手順配置機能部１０５、関連付けテーブル１０３１を記憶する関連付けテーブル記憶部１０３、を有し、例えば、関連付け設計機能を実行するプログラム、ＵＩ設計機能を実行するプログラム、メタデータ付与手順配置機能プログラム、を実行するコンピュータからなる。

関連付け設計機能部１０２は、複数の情報（データ）間、つまり、データおよびメタデータの関連付けを定義する機能を有し、例えば、メタデータ付与手順における入力や出力、メタデータ手順が実行可能な検索対象の装置の位置、メタデータ付与手順の中でデータを取得する検索先、メタデータ付与手順の入力として使うデータから必要な部分を抽出するための手順を示す入力テンプレート、検索先に対して問合せをおこなう際の問合せを生成する手順を示す問合せテンプレート、検索先から、問合せに対する返答の中から必要な部分を抽出する手順を示す返答テンプレート、入力と問合せの返答から、新たなメタデータの雛形を示す出力テンプレート、などの関連付けを設計する関連付け設計機能を有し、当該関連付け設計機能１０２を用いて記述した関連付けを関連付けテーブル記憶部１０３に格納する。上記関連付け情報（データ）の具体例については、図３を参照して後述する

関連付け設計機能部１０２は、関連付けテーブル１０３１の情報（データ）を読み書きすることで関連付けの設計を行う（図３参照）。

ＵＩ設計機能部１０４は、生成装置１０６にて生成したデータ、例えば、工程１のカメラ画像（動画）に対して表示すべきメタデータ（作業者名）を指定するＵＩ設計機能を有する（図２参照）。

メタデータ付与手順配置機能部１０５は、関連付け記憶部１０３の関連付けテーブル１０３１に格納された関連付け情報（図３参照）とＵＩ設計機能部１０４にて設計したＵＩ設計情報（図２参照）を元に、データを生成する手順（データ生成手順）、メタデータをデータに付与する手順（メタデータ付与手順）やデータやメタデータの送信経路を決めて中継する手順（中継手順）、データやメタデータを表示する手順（表示手順）を含み、データおよびメタデータに関する処理手順を構築し、メタデータ付与手順を生成装置１０６、中継装置１０７、表示装置１０８に配布し、配置するメタデータ付与手順配置機能、を有する。

表示装置１０８は、中継装置１０７を経由して中継されたデータをメタデータ可視化管理装置１０１から配布される表示手順に従って表示するＵＩ表示機能を有する。

生成装置１０６は、データを生成する、例えば、複数のセンサ類１０６−１，１０６−２、１０６−４、１０６−５、複数のＤＢ（データベース）類１０６−３、１０６−６を含む。センサ類には、カメラも含み、表示装置１０８で表示するデータの元となるデータ（含むメタデータ、動画）を生成し、中継装置１０７を介して表示装置１０８に送信する装置である。
データを送信する方法としては、例えば、中継装置１０７からの要求に応じて生成装置１０６が結果を返す方法、生成装置１０６において伝達すべきイベントが発生した場合に生成装置１０６から中継装置１０７にイベントを送信する方法、動画ストリームに代表されるような生成された情報を定期的に送信する方法などがある。

中継装置１０７は、生成装置１０６のエッジ側に配置された中継装置１０７−１〜１０７−２およびセンタ側に配置された中継装置１０７−３を含み、生成装置１０６あるいは他の中継装置１０７のデータあるいは各ＤＢ類１０６−３、１０６−６、１０６−７、などからメタデータを受け取り、メタデータ可視化管理装置１０１から予め与えられたメタデータ付与手順に従って、データにメタデータを付与し、さらに他の中継装置１０７あるいは表示装置１０８にメタデータを付与したデータを送信する装置である。
センタ側の中継装置１０７−３は、データを格納するＤＢ類１０６−７に接続されている。

表示装置１０８は、メタデータ可視化管理装置１０１のメタデータ付与手順配置機能１０５から予め与えられた表示手順に従って、中継装置１０７を経由して中継されたデータを表示し、データの可視化を行う。

ここで、生成装置１０６および中継装置１０７からアクセス可能な他の生成装置１０６および中継装置１０７には制約があるものとする。このため、ある中継装置１０７で実行可能なメタデータ付与手順は、当該中継装置１０７からアクセス可能な生成装置１０６および中継装置１０７からのデータ受信あるいは問合せのみから構成される。

図２は、メタデータ可視化管理装置１０１のＵＩ設計機能部１０４のＵＩ設計画面および表示装置１０８の表示画面の例を概略的に示す図である。

ＵＩ設計機能部１０４のＵＩ設計画面２０１では、表示すべき内容としてデータ（工程１〜３）と当該データに関連するメタデータ（作業者名、部品名）を指定する。本例では、「工程１」の動画データに対して「工程１」に関連するメタデータとして「作業者名」を指定している例を示している。
表示画面２０２は、ＵＩ設計機能部１０４のＵＩ設計画面２０１によって設計した表示装置１０８の画面の例を示している。

図３は、メタデータ可視化管理装置１０１における関連付けテーブル１０３１の構成例を示す図および関連付けテーブル１０３１の情報をグラフ表現した図である。

関連付けテーブル１０３１は、メタデータ付与手順がエントリとなっており、以下に述べる入力３０１、出力３０２、検索可能位置３０３、検索先３０４、入力テンプレート３０５、問合せテンプレート３０６、返答テンプレート３０７、出力テンプレート３０８、の各情報を保持している。

入力３０１は、メタデータ付与手順の入力となりうるデータのタイプ（工程ＩＤ、作業者ＩＤ、worker name）を示している。
出力３０２は、メタデータ付与手順の出力のデータのタイプ（作業者ＩＤ、作業者名、worker name、工程ＩＤ、工程１動画）を示している。

例えば、関連付け設計機能部１０２にて、入力３０１が「工程ＩＤ」、出力３０２が「作業者ＩＤ」と記述した場合には、そのメタデータ付与手順の入力のタイプが工程ＩＤであり、何らかの手順によって工程ＩＤの値から作業者ＩＤの値を生成し、その値をメタデータとして付与できることを示す。
また、入力３０１に指定がないエントリは、入力３０１に関わらず、データあるいはメタデータを生成可能な手順を示す。これは、カメラやセンサの情報等を生成する生成装置１０６におけるメタデータ付与手順を示すために用いる。
また、入力３０１に複数のタイプ、例えば「工程ＩＤ、作業者ＩＤ」が記述されている場合、当該エントリで実行するメタデータ付与手順には、それらすべてのタイプの入力が必要となることを示す。
出力３０２に複数のタイプ、例えば、「工程ＩＤ、工程１動画」が記述されている場合、当該エントリで実行するメタデータ付与手順に従うと、それらすべてのタイプのメタデータを新たに生成させることを示す。

検索可能位置３０３は、当該エントリで示したメタデータ付与手順が実行可能な装置（エッジ、センタ、工程１カメラ）の位置を示す。
本実施例で示すシステムを構成する装置は、それぞれ特定の位置に置かれているものとし、また、それぞれの位置や位置の集合を指し示す名前を付与する。
検索可能位置３０３には、その名前を記述することで、当該エントリで示したメタデータ付与手順が実行可能な位置を制限する。

検索先３０４は、メタデータ付与手順の中でデータを取得する先の装置名（ＤＢ１、ＤＢ２）やＵＲＬを示す。

入力テンプレート３０５は、メタデータ付与手順の入力として使うデータから必要な部分を抽出するための手順（「{”工程ＩＤ”: ＄１}」、「{”工程ＩＤ”: ＄３,“作業者ＩＤ”：＄１}」、「｛“worker name”：＄１｝」）を示す。
例えば、入力テンプレート３０５における「{”工程ＩＤ”: ＄１}」という記述は、「{“工程ＩＤ”:０００１}」という入力から「０００１」を取り出して「＄１」という一時的な名前で参照できるようにする手順を表す。

以下、本実施例のテンプレートでは同様の記述方式をとるものとする。
なお、ここに記載した入力からの必要なデータの抽出方法の記述、出力するデータの雛形の記述は一例であり、この方式に限定するものではない。

問合せテンプレート３０６は、検索先３０４に示された検索先に対してデータの問合せをおこなう際の問合せを生成する手順（「{”工程ＩＤ”:＄１}」,{”出力”:“作業者”}）、「{”process”:＄３, “worker name”：＄１}」）を示す。

返答テンプレート３０７は、検索先３０４に示された検索先への問合せに対する返答から必要な部分を抽出する手順（「｛“結果”：＄２}｝、「｛“name”：＄２,“age”:“＿”}｝）を示す。

出力テンプレート３０８は、入力と問合せの返答から、新たに生成するメタデータの雛形（「｛“作業者”:＄２}｝、「｛“worker name”：＄２}｝」、「｛“作業者”:＄１}｝、「｛“工程ＩＤ”：０００１｝」）を示す。

図３に示す関連付けテーブル１０３１で記述された関連付けをグラフとして表現すると、図３の下部に示すようになる。

このグラフは、関連付けテーブル１０３１の各エントリをグラフの頂点とし、入力３０１と出力３０１のそれぞれの要素が等しいエントリを図示の如く有向辺で接続したものとなっている。

後述するメタデータ付与手順配置機能部１０５の付与手順では、このグラフ表現に基づいて生成装置１０６、中継装置１０７、表示装置１０８で実行する付与手順（図６参照）を生成する。

図４は、メタデータ付与手順配置機能部１０５におけるメタデータ手順配置時の動作を説明するフローチャートである。

図４のフローチャートに基づく動作は以下のとおりである。
ステップ４０１：
まず、メタデータ付与手順配置機能部１０５は、ＵＩ設計機能部１０４において記述した情報として、例えば、データ名（工程１動画など）および当該データとあわせて表示するメタデータの名称（作業者名など）が入力されたことを契機に動作する。

ステップ４０２：
次に、メタデータ付与手順配置機能部１０５は、関連付けテーブル１０３１の各エントリをグラフの頂点（図３の工程ＩＤと工程１動画、図３の工程ＩＤと作業者ＩＤ、図３の作業者ＩＤ，図３の工程ＩＤとＷｏｒｋｅｒ ｎａｍｅ、図３のＷｏｒｋｅｒ ｎａｍｅと作業者名）とし、あるエントリ（図３の♯１）の出力３０２の一部（例えば、図３の工程ＩＤ,工程１動画）と他のあるエントリ（図３の♯４）の入力３０１の一部（図３の工程ＩＤ）が等しい場合、前者のエントリ（♯１）から後者のエントリ（♯４）に有向辺があるものとして、図３に示すようなグラフを作成する。
なお、ここで作成したグラフは、関連付けテーブル１０３１に変更があったときのみ更新すればよいため、予め作成しておいてもよい。また、関連付けテーブル１０３の情報をグラフデータベース等のグラフ演算に特化した記憶装置に格納しておき、後述の検索先への探索時にグラフデータベースが持つ機能を利用する形としてもよい。

ステップ４０３：
次に、メタデータ付与手順配置機能部１０５は、ステップ４０２にて作成したグラフから、入力がなくデータ名と同じタイプを出力にもつグラフの頂点を探索する。つまり、グラフから幅優先探索を用いて、データ名から各表示メタデータにいたる経路を検索し、そして、その頂点から有向辺をたどって表示メタデータ名と同じタイプを出力としてもつ頂点に到達する経路があるかを検索する。

ステップ４０４：
メタデータ付与手順配置機能部１０５は、ステップ４０３における探索の結果、データ名からすべての表示メタデータ名までの経路が存在するか否かを確認する。
もし、経路が存在しない場合（Ｎｏ）は、ステップ４０５に進み、すべてのメタデータに対する経路が存在していた場合（Ｙｅｓ）は、ステップ４０６に進む。

ステップ４０５：
経路が存在しない場合（Ｎｏ）は、データから必要なメタデータを関連付けることが出来ないため、表示が不可能であることを、ＵＩ設計機能部１０４を用いてＵＩ設計画面２０１上に表示し、関連付けテーブルのエントリ拡充を依頼する。

ステップ４０６：
メタデータ付与手順配置機能部１０５は、すべてのメタデータに対する経路が存在していた場合（Ｙｅｓ）は、その経路上の頂点となっているエントリを関連付けテーブル１０３１から抽出し、データを送信する生成装置１０６、データを表示する表示装置１０８からデータを経由する中継装置１０７を確定する。
次に、メタデータ付与手順配置機能部１０５は、関連付けテーブル１０３１から抽出されたエントリに検索可能位置３０３として記述された制約の下、各エントリに記載されたメタデータ付与手順を生成装置１０６、中継装置１０７、表示装置１０８に配布する。つまり、検索された各経路上の頂点にあたるエントリに含まれるメタデータを、検索可能位置上でかつデータ転送経路上の生成装置１０６、中継装置１０７、表示装置１０８に配布する。

ステップ４０７：
最後に、メタデータ付与手順配置機能部１０５は、データ名が指し示すデータを生成する生成装置１０６に対して、関連付けテーブル１０３１の対応エントリに基づいたデータの生成開始を依頼する。

これらの手順により、生成装置１０６、中継装置１０７、表示装置１０８にデータの生成およびメタデータ付与のための手順が配布され、データの送信開始とともに関連付けられたメタデータの付与が行われる。

図５は、中継装置１０７が中継すべきデータを受け取った際の動作を説明するフローチャートである。

本例では、データとメタデータがＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）で転送されているものとして記述している。
ＲＴＰは、動画や音声などのストリームを転送するために一般的に利用されるプロトコルである。一連のＲＴＰストリームに対してメタデータを含むＲＴＰパケットを付与することで映像データに対してメタデータを付与していく。

図５のフローチャートに基づく動作は以下のとおりである。
ステップ５０１：
各中継装置１０７は、生成装置１０６または他の中継装置１０７からのＲＴＰパケットを待ち受ける。そして、ステップ５０１にてＲＴＰパケットを受け取る。

ステップ５０２：
次に、中継装置１０７は、ＲＴＰパケットの種別を調べる。ＲＴＰパケットのヘッダ部には、ＲＴＰパケットのペイロードに含まれるデータの種別を記述するための項目が存在するため、本例ではこの情報を用いてＲＴＰパケットの種別を分類するものとする。
ステップ５０２にて、パケットの種類がデータの場合は、ステップ５０３に進み、メタデータの場合は、ステップ５０４に進む。

ステップ５０３：
中継装置１０７は、受信したパケットを次の中継装置１０７あるいは表示装置１０８に転送する。

ステップ５０４：
中継装置１０７は、パケットの種類がメタデータの場合は、メタデータ可視化管理装置１０１から受信した情報を元に作成した付与手順テーブル６０１（後述する図６）を参照し、メタデータ付与手順テーブルのエントリ内に、受信したメタデータのタイプと同じ入力のタイプをもつエントリを探索する。

ステップ５０５：
次に、中継装置１０７は、エントリに記述された手順、つまり、探索したエントリに含まれた検索先３０４および問合せテンプレート３０６に従い、検索先３０４への問合せをおこない、メタデータから必要な情報を抽出し、検索先から受信した情報から新たなメタデータを生成する。

中継装置１０７は、ステップ５０５にて、入力３０１として複数の値を必要とする場合は、図６の付与手順テーブル６０１に記録した最新の値を元に検索先３０４への問合せをおこなう。また、受信したメタデータを最新の値として付与手順テーブル６０１を更新する。

ステップ５０６：
最後に、中継装置１０７は、生成した新たなメタデータを含んだＲＴＰパケットを生成し、受信したＲＴＰパケットとともに次の中継装置１０７あるいは表示装置１０８に送信する。

図６は、中継装置１０７がＤＢ１０６−１に保持している付与手順テーブル６０１のデータ構成例を示す図である。

付与手順テーブル６０１の各エントリは以下に述べる入力６０２、最新の値６０３、検索先６０４、入力テンプレート６０５、問合せテンプレート６０６、返答テンプレート６０７、出力テンプレート６０８、などの情報を保持する。

入力６０２は、受信したメタデータのうち、本エントリで対象とするメタデータのタイプ（「工程ＩＤ」）を示す。

最新の値６０３は、当該エントリの入力６０２に適合したメタデータで、直前に受信したメタデータの値（「１０１」）を示す。

検索先６０４は、メタデータ付与手順の中でデータを取得する先の装置名（「ＤＢ１」）やＵＲＬを示す。

入力テンプレート６０５は、メタデータ付与手順の入力として使うデータから必要な部分を抽出するための手順（「{”工程ＩＤ”:＄１}」）を示す。

問合せテンプレート６０６は、検索先６０４に示された検索先に対して問合せをおこなう際の問合せを生成する手順（「{”工程ＩＤ”:＄１}」,「{”出力”: “作業者”}」）を示す。

返答テンプレート６０７は、検索先６０４に示された検索先に対して問合せテンプレート６０６に基づいて問合せをおこない、その返答から必要な部分を抽出する手順（「｛“結果”：＄２}」）を示す。

出力テンプレート６０８は、入力と問合せの返答から、新たに生成するメタデータの雛形（「｛“作業者”:＄２}」）を示す。

図７は、データのパケットフォーマットの例を示す図である。
メタデータパケット７０１では、メタデータとして「工程ＩＤ」タイプの「０００１」という値が格納されている例を示している。また、データパケット７０２は、動画データが格納されたパケットの例を示している。

ここで、図８に記載した具体的な値を用いて中継装置１０７の動作を説明する。
中継装置１０７のＤＢ類１０６−７に、付与手順テーブル６０１−１が格納されているものとする。この中継装置１０７が、受信パケット７０１−１、つまり、メタデータパケットを受信したものとする。

中継装置１０７は、付与手順テーブル６０１−１を参照し、メタデータのタイプが同じエントリを検索する。

次に、中継装置１０７は、マッチしたエントリの入力テンプレート６０５のパターンに従い、受信パケット７０１−１から工程ＩＤの最新の値「０００１」を抽出する。

次に、問合せテンプレート６０６の内容に従い、検索先６０４の「ＤＢ１」に対して「｛“工程ＩＤ”：０００１, “出力”: “作業者“｝」を問合せ内容として送信する。

検索先６０４は、検索結果を「｛”結果“：１０１０｝」という形式で問合せに回答する。

これを受け取った中継装置１０７は、返答テンプレート６０７に従って「１０１０」という結果を抽出する。そして、中継装置１０７は、出力テンプレート６０８に従って「｛”作業者“：”１０１０“｝」という新たなメタデータを生成し、送信パケット７０２−３として次の中継装置１０７または表示装置１０８に送信する。

図９は、上述した生成装置１０６、中継装置１０７、表示装置１０８の一連の動作によって、生成装置１０６で生成したデータに対して適切にメタデータが付与され、表示装置１０８に表示される例を示す図である。

生成装置１０６は、工程１の映像ストリームをデータパケットとして流すとともに、{”工程ＩＤ”:“０００１”}というメタデータを映像ストリーム内に送信する。

下流の中継装置１０７は、生成装置１０６から“工程ＩＤ”タイプのメタデータを受信した場合、検索先６０４のＤＢに対して“工程１”の作業者ＩＤを取得する問合せを発行し、その問合せ結果を{”作業者”；“１０１０”}というメタデータとして生成し、当該メタデータを上流の中継装置１０７に送信する。

上流の中継装置１０７は、下流の中継装置１０７から“作業者”タイプのメタデータを受信した場合、検索先６０４のＤＢに対して作業者名を取得する問合せを発行し、その問合せ結果を{”作業者名”；“山田”}というメタデータとして生成し、表示装置１０８に送信する。

表示装置１０８は、上流の中継装置１０７から作業者名：山田を含むメタデータを受信した場合、その内容である“山田”を映像ストリームとともに、表示装置１０８の表示画面に表示する（図２参照）。

以上述べた実施例によれば、メタデータ可視化管理装置１０１における、関連付けテーブル１０３１に格納された情報と、ＵＩ設計機能部１０４が与えた設計情報によって、メタデータ付与手順を適切な装置、つまり、生成装置１０６、中継装置１０７、表示装置１０８、などが配布されることにより、本システムの利用者は簡便にメタデータを活用するＵＩを構築することが可能になる。
新たなメタデータの取得源が現れた場合には、関連付けテーブル１０３１にその存在を記載することで、ＵＩ設計機能部１０４からそのデータを活用することが可能となる。このとき、メタデータを生成するための手順をすべて記述せずとも、関連するメタデータを用いたメタデータ付与手順のみを記載すればよいので、過去のメタデータ付与手順の活用が容易に可能となる。

また、データの送信方式とメタデータの抽出・生成方法は独立して記述することも可能である。本実施例では、ＲＴＰパケットにメタデータを格納する例を示したが、例えば以下に述べる方法で他のデータ送信方式にも対応可能となる。
ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）のような構造化データを用いてデータが送信される場合、そのデータの一部にメタデータを追記することができる。この場合、図５で示した中継装置１０７では、パケットの種別に関わらずメタデータを含むパケットとして扱い、ＸＭＬやＪＳＯＮで書かれたデータ内に含まれるメタデータに対して抽出と付与を行えばよい。
また、動画データがＨＴＴＰ（Ｈｙｐｅｒ−ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）上のＭｏｔｉｏｎＪＰＥＧ形式で送信される場合は、動画を構成する各ＪＰＥＧファイルのメタデータ領域をつかってメタデータを送信してもよい。

本実施例２は、データとメタデータを表示するだけでなく、蓄積装置１００１を設け、それらを永続的に保存する例を示すものである。

図１０は、実施例１のデータ収集システムに蓄積装置１００１を追加した構成例を示すブロック図である。実施例１との差異は、蓄積装置１００１が中継装置１０７−３を介してシステムに接続されている点のみである。

図１１は、蓄積装置１００１がもつ蓄積データ作成テーブル１１０１のデータ構造を示す図である。

蓄積装置１００１は、メタデータを含むパケットを受け取ると、蓄積データ作成テーブル１１０１の各エントリの入力１１０１１の欄を参照し、適合するエントリを探索する。
適合するエントリが存在した場合、格納タイミング１１０１３が適合していた場合は、格納先１１０１４に対して格納内容テンプレート１１０１５を用いて生成したデータ格納要求を送信する。
また、最新の値１１０１２を受信した値で更新する。格納タイミング１１０１３としては、最新の値１１０１２から変化があった場合、一定期間ごと、受信したタイミングなどがある。

蓄積装置１００１を置くことによって、バッチ分析などで必要なデータの蓄積の場合においても、本システムの適用が可能となる。すなわち、分析に必要なデータに対してメタデータを付与することが容易となり、分析の精度向上などが期待できる。

以上述べた実施例によれば、メタデータ付与に必要な情報を作成する手順を、情報を取得するための検索対象へのアクセス範囲の制約などにもとづいて容易に構築することが可能となる。
また、管理装置で保持する関連付けの定義において、メタデータの生成手順および中継手順に関して、データおよびメタデータの転送方式に非依存な手順と、データおよびメタデータの転送方式に依存した手順のそれぞれを記述することで、新たな転送方式に対応する場合であっても転送方式に依存した手順のみをあらたに記述すればよいため、対応へかかる時間が削減できる。
また、前記管理装置は、システムの表示装置１０８に代わり、データの蓄積を行う装置１００１を置くことにより、上述した効果を期待することができる。

１０１ メタデータ可視化管理装置
１０２ 関連付け設計機能部
１０３ 関連付けテーブル記憶部
１０３１ 関連付けテーブル
１０４ ＵＩ設計機能部
１０５ メタデータ付与手順配置機能部
１０６ 生成装置
１０７ 中継装置
１０８ 表示装置
１０９ 管理ネットワーク
２０１ ＵＩ設計画面
２０２ 表示画面
６０１ 付与手順テーブル
７０１ メタデータパケット
７０２ データパケット
１００１ 蓄積装置
１１０１ 蓄積データ作成テーブル

Claims (9)

1. データおよびメタデータの関連付けを定義、設計する関連付け設計機能と、前記データと、前記データに表示すべき関連した前記メタデータを表示する方法を設計する設計機能と、前記２つの設計機能から与えられた情報から前記データと前記メタデータの送受信および中継方法を生成する機能を有する管理装置と、
   前記データおよび前記メタデータを生成する生成装置と、
   前記データおよび前記メタデータを表示する表示装置と、
   前記データおよび前記メタデータを中継する中継装置とから構成され、
   前記管理装置は、
   前記関連付け設計機能を用いて作成された前記関連付け情報に含まれる前記データの位置と取得方法に従って、前記表示装置に表示するための前記データおよび前記メタデータを生成するための生成手順、前記メタデータを前記データに付与するメタデータ付与手順、前記データおよび前記メタデータを中継する中継手順、前記データおよび前記メタデータを表示する表示手順を含む処理手順を構築し、前記生成手順を、1つ以上の生成装置、また前記中継手順を1つ以上の中継装置に、また前記表示手順を1つ以上の表示装置に配布する機能を含み、
   前記生成装置は、
   前記管理装置から配布された前記生成手順に基づいて、前記中継装置を介して前記表示装置にデータを送信する機能を含み、
   前記中継装置は、
   前記管理装置から配布された前記中継手順に基づいて、前記生成装置から受信した前記データまたは前記メタデータを用いて、前記中継手順に含まれる取得手順に基づいて前記生成装置にメタデータ問合せをおこない、新たなメタデータを生成する機能を含み、
   前記表示装置は、
   前記管理装置から配布された前記表示手順に基づいて、前記中継装置から受信した前記データまたは前記メタデータを表示する機能を含む、
   ことを特徴とするデータ収集システム。
2. 請求項１のデータ収集システムにおいて、
   前記関連付け情報は、
   前記メタデータ付与手順における入力や出力、前記メタデータ付与手順が実行可能な検索対象の装置の位置、前記メタデータ付与手順の中でデータを取得する検索先、前記メタデータ付与手順の入力として使うデータから必要な部分を抽出するための手順を示す入力テンプレート、前記検索先に対して問合せをおこなう際の問合せを生成する手順を示す問合せテンプレート、前記検索先から、問合せに対する返答の中から必要な部分を抽出する手順を示す返答テンプレート、前記入力と前記問合せの返答から、前記新たなメタデータの雛形を示す出力テンプレート、を含む情報であり、
   前記メタデータ付与手順は、
   受信したメタデータのうち、本エントリで対象とするメタデータのタイプを示す入力、
   前記本エントリの入力に適合した前記メタデータで、直前に受信した前記メタデータの最新の値、
   前記メタデータ付与手順の中で前記データを取得する先を示す検索先、
   前記メタデータ付与手順の入力として使う前記データから必要な部分を抽出するための手順を示す入力テンプレート、
   前記検索先に対して問合せをおこなう際の問合せを生成する手順を示す問合せテンプレート、
   前記検索先に対して前記問合せテンプレートに基づいて問合せをおこない、その返答から必要な部分を抽出する手順を示す返答テンプレート、
   前記入力と前記問合せの返答から、新たに生成する前記メタデータの雛形を示す出力テンプレート、を含む、
   ことを特徴とするデータ収集システム。
3. 請求項１のデータ収集システムにおいて、前記データおよび前記メタデータが同一ストリーム上の異なる格納形式で送受信することを特徴とするデータ収集システム。
4. 請求項１のデータ収集システムにおいて、
   前記データおよび前記メタデータを蓄積する蓄積装置をさらに有し、
   前記関連付けを設定、定義する機能を用いて作成された関連付け情報に含まれるデータの位置と取得方法に従って、前記表示装置に表示するためのデータおよびメタデータに関する処理手順を生成装置、中継装置、蓄積装置の何れか１つ以上、あるいはすべてに配布する機能を含み、
   前記蓄積装置は、
   前記管理装置から配布されたメタデータ付与手順を含む処理手順に基づいて、前記中継装置を経由して受信した前記データまたは前記メタデータを蓄積する機能を含む、
   ことを特徴とするデータ収集システム。
5. データ収集システムにおいて、
   データおよびメタデータを生成する生成装置と、
   前記データおよび前記メタデータを表示する表示装置と、
   前記生成装置から送信された前記データおよび前記メタデータを前記表示装置に中継する中継装置と、
   前記データおよび前記メタデータの関連付けを設計、定義する機能と、前記データとそれに関連した前記メタデータを指定、表示する方法を設計する機能と、前記生成装置、前記中継装置、前記表示装置、との間における前記データと前記メタデータの送受信および中継方法を含む処理手順を生成する機能、を有するデータ管理装置とを備え、
   前記データ管理装置は、
   前記関連付けを設定、定義する機能を用いて作成された関連付け情報に含まれるデータの位置と取得方法に従って、前記表示装置に表示するためのデータおよびメタデータに関する処理手順を生成装置、中継装置、蓄積装置の何れか１つ以上、あるいはすべてに配布する機能を含み、
   前記生成装置は、
   前記データ管理装置から配布された処理手順に基づいて、前記データに前記メタデータを関連付けし、前記中継装置を介して前記表示装置に送信する機能を含み、
   前記中継装置は、
   前記データ管理装置から配布された処理手順に基づいて、受信した前記データまたは前記メタデータを用いて、中継手順に含まれる問合せ情報に基づいて前記生成装置に問合せを行い、新たなメタデータを生成する機能を含み、
   前記表示装置は、
   前記管理装置から配布された処理手順に基づいて、受信した前記データまたは前記メタデータを表示する機能を含む、
   ことを特徴とするデータ収集システム。
6. 請求項５に記載されたデータ収集システムにおいて、
   前記処理手順が、前記データを表示する表示手順、前記データに前記メタデータを付与するメタデータ付与手順を含む、
   ことを特徴とするデータ収集システム。
7. 請求項５に記載されたデータ収集システムにおいて、
   前記データおよび前記メタデータを同一ストリーム上の異なる格納形式で送受信することを特徴とするデータ収集システム。
8. 請求項５のデータ収集システムにおいて、
   前記データおよび前記メタデータを蓄積する蓄積装置、をさらに有し、
   前記データ管理装置は、
   前記関連付けを設定、定義する機能を用いて作成された関連付け情報に含まれるデータの位置と取得方法に従って、前記表示装置に表示するためのデータおよびメタデータに関する処理手順を生成装置、中継装置、蓄積装置の何れか１つ以上、あるいはすべてに配布する機能を含み、
   前記蓄積装置は、
   前記管理装置から配布されたメタデータ付与手順を含む処理手順に基づいて、前記中継装置を経由して受信した前記データまたは前記メタデータを蓄積する機能を含む、
   ことを特徴とするデータ収集システム。
9. データおよびメタデータの関連付けを定義、設計する関連付け設計機能と、前記データと、前記データに表示すべき関連した前記メタデータを表示する方法を設計する設計機能と、前記２つの設計機能から与えられた情報から前記データと前記メタデータの送受信および中継方法を生成する機能を有する管理装置と、
   前記データおよび前記メタデータを生成する生成装置と、前記データおよび前記メタデータを表示する表示装置と、前記データおよび前記メタデータを中継する中継装置を備えたデータ収集システムにおけるデータ収集方法であって、
   前記管理装置は、
   前記関連付け設計機能を用いて作成された前記関連付け情報に含まれる前記データの位置と取得方法に従って、前記表示装置に表示するための前記データおよび前記メタデータを生成するための生成手順、前記メタデータを前記データに付与するメタデータ付与手順、前記データおよび前記メタデータを中継する中継手順、前記データおよび前記メタデータを表示する表示手順を含む処理手順を構築し、前記生成手順を、1つ以上の生成装置、また前記中継手順を1つ以上の中継装置に、また前記表示手順を1つ以上の表示装置に配布するステップ、を含み、
   前記生成装置は、
   前記管理装置から配布された前記生成手順に基づいて、前記中継装置を介して前記表示装置にデータを送信するステップを含み、
   前記中継装置は、
   前記管理装置から配布された前記中継手順に基づいて、前記生成装置から受信した前記データまたは前記メタデータを用いて、前記中継手順に含まれる取得手順に基づいて前記生成装置にメタデータ問合せをおこない、新たなメタデータを生成するステップ、を含み、
   前記表示装置は、
   前記管理装置から配布された前記表示手順に基づいて、前記中継装置から受信した前記データまたは前記メタデータを表示するステップ、を含む
   ことを特徴とするデータ収集方法。

Images