JP2020057046A - 情報統合方法、情報統合装置、及び情報統合プログラム - Google Patents

Abstract

【課題】伝送先で行うオブジェクト表現に対する影響を軽減する。【解決手段】情報統合装置１の位置情報受信部１１は、複数のセンサにより複数の方面からそれぞれ計測され、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を受信し、位置情報統合部１３は、当該方面毎の位置情報を用いて、オブジェクトを囲む最小の矩形又は最大の矩形を算出する。【選択図】図２

Description

本発明は、空間から空間へ伝送するオブジェクトの位置情報を統合する技術に関し、特にオクルージョンの生じたオブジェクト領域を示す矩形を求める。

現在、競技空間をまるごとリアルタイムに伝送する技術が研究開発されている。この技術は、現地会場で取得した複数のセンサ情報を利用用途に応じてリアルタイムに統合・加工しつつ、同会場で取得した映像・音声に同期させて伝送する技術である。

図１２は、当該技術を実現するシステムの一例について、全体イメージを示す図である。伝送装置１００は、競技会場の被写界深度計測センサ３１と位置情報トラッキングセンサ３２からセンサ情報を受信して、被写体であるオブジェクトの３次元位置情報を取得して統合等するとともに、同会場の撮像装置３３と集音装置３４からメディア情報を受信し、時刻情報（タイムスタンプ）に基づきオブジェクトの３次元位置情報とメディア情報を同期して、遠隔会場の映像制御装置５１と音声制御装置５２に配信する。

そして、映像制御装置５１は、例えば、メディア情報の映像データを裸眼３Ｄ表示スクリーン５３に出力して虚像表示パネル５４に表示し、オブジェクトの３次元位置情報を用いて映像素材の位置・サイズを制御する。音声制御装置５２は、例えば、メディア情報の音声データを競技音用と歓声音用の各波面合成用スピーカアレイ５５，５６にそれぞれ出力し、オブジェクトの３次元位置情報を用いて音声素材の位置を制御する。

これにより、遠隔会場で再現する映像素材・音声素材の位置・サイズを競技会場のオブジェクトの動きに応じて制御すること、例えば利用用途に応じてリアルタイムにオブジェクトを加工・変換することが可能となり、奥行表現や音像定位等といった様々な再現表現を高臨場感で時間的・空間的に同期して行うことができる。

柿沼、外４名、"機械学習を用いた4Kリアルタイム被写体抽出フレームワーク"、映像情報メディア学会、冬季大会、2017年、15B-2 石井、外３名、"kirari! Tracker : LiDARと深層学習エンジンを用いたリアルタイム特定人物追跡システムの検討"、映像情報メディア学会、冬季大会、2017年、15B-3

被写界深度計測センサ３１と位置情報トラッキングセンサ３２は、通常、オブジェクトを一つの視点のみから計測する。しかし、オブジェクトを一つの視点のみから計測する場合、計測されるセンサ情報の内容としては十分でないため、オブジェクトの位置情報の精度が粗くなり、映像素材と音声素材の位置・サイズを適切に制御することが難しく、映像制御装置５１と音声制御装置５２で制御するオブジェクトの表現に影響が生じる。

例えば、図１３に示すように、Ａ面から見ると２人の選手は重なって見えるが、Ｂ面から見ると２人の選手は独立して見えるので、オクルージョンの発生時には、重なって見えるオブジェクトを判別できず、奥側に隠れたオブジェクトの表現が困難となる。また、図１４の右下図に示すように、左下図と比較して、オブジェクトの位置情報を表す矩形の精度が十分に得られない場合、オブジェクトの奥行表現が破綻してしまう。例えば、矩形に人物以外の領域が多く含まれると、その余分な部分も含めて人物と認識して奥行表現処理が施されてしまい、床面に対する人物の接地感等が破綻する。

本発明は、上記事情を鑑みてなされたものであり、伝送先で行うオブジェクト表現に対する影響を軽減することを目的とする。

本発明の情報統合方法は、第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置で行う情報統合方法において、情報統合装置が、複数のセンサにより複数の方面からそれぞれ計測され、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を受信する第１のステップと、前記方面毎の位置情報を用いて、前記オブジェクトを囲む最小の矩形又は最大の矩形を、前記オブジェクトを囲む矩形として算出する第２のステップと、を行うことを特徴とする。

上記情報統合方法において、前記第２のステップでは、前記最小の矩形を算出する場合、共有座標系での前記オブジェクトの領域の方面毎の位置座標を算出し、所定軸の座標において、前記オブジェクトの領域の各方面に係る複数の最大値の中で最小の値を除いた値のうち最小の値を前記オブジェクトの最大値とし、前記オブジェクトの領域の各方面に係る複数の最小値の中で最大の値を除いた値のうち最大の値を前記オブジェクトの最小値とする矩形を、前記オブジェクトを囲む矩形として算出することを特徴とする。

上記情報統合方法において、前記第２のステップでは、求めた前記オブジェクトの最大値と最小値の大小関係に矛盾がある場合、前記最大の矩形を、前記オブジェクトを囲む矩形として算出することを特徴とする。

上記情報統合方法において、前記複数の方面は、前記オブジェクトを俯瞰する方面を含むことを特徴とする。

本発明の情報統合装置は、第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置に含まれる情報統合装置において、複数のセンサにより複数の方面からそれぞれ計測され、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を受信する位置情報受信部と、前記方面毎の位置情報を用いて、前記オブジェクトを囲む最小の矩形又は最大の矩形を、前記オブジェクトを囲む矩形として算出する位置情報統合部と、を備えることを特徴とする。

本発明の情報統合プログラムは、上記情報統合方法をコンピュータに実行させることを特徴とする。

本発明によれば、伝送先で行うオブジェクト表現に対する影響を軽減できる。

伝送装置の機能例を示す図である。 情報統合装置の機能例を示す図である。 手法１の処理フロー例を示す図である。 グローバル座標系でのオブジェクトの位置座標例を示す図である。 最小矩形の算出例を示す図である。 オブジェクト３のＸ_ｍａｘの算出時の参照図である。 オブジェクト３のＸ_ｍｉｎの算出時の参照図である。 手法２の処理フロー例を示す図である。 最大矩形の算出例を示す図である。 オブジェクト３の最大矩形の算出時の参照図である。 手法３の処理フロー例を示す図である。 伝送装置による同期伝送のイメージを示す図である。 課題を説明する際の参照図である。 課題を説明する際の参照図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

＜伝送装置の構成＞
まず、伝送装置の構成について説明する。図１は、伝送装置１００が備える機能の例を示す図である。伝送装置１００は、競技会場（第１空間）内のオブジェクトに関するセンサ情報とメディア情報を同期して遠隔会場（第２空間）に伝送する装置である。

伝送装置１００は、競技会場からセンサ情報とメディア情報を受ける受信側と、センサ情報に基づき求めたオブジェクト毎の３次元位置情報とメディア情報を遠隔会場に配信する配信側とで構成される。受信側と配信側の間は、伝送路により相互通信可能に接続されている。

受信側は、図１に示すように、オブジェクト位置情報配信機能１０１と、メディア情報エンコード機能１０２と、位置情報・メディア情報括り付け管理機能１０３と、で構成される。

オブジェクト位置情報配信機能１０１は、複数のセンサにより得た位置情報を受信し、これを統合して被写体の三次元位置を特定可能な位置情報を生成して、配信側に伝送する機能を備える。複数のセンサにより得た位置情報とは、例えば、被写界深度計測センサ３１で得た被写体の奥行き方向の位置データ（例えばＤｅｐｔｈマップ）と、位置情報トラッキングセンサ３２により得た被写体の二次元的な位置情報（トラッキングデータ）である。

Ｄｅｐｔｈマップとは、オブジェクト領域のみを切り出し、当該オブジェクト領域外をマスクしたデータである。また、Ｄｅｐｔｈマップとは、ステレオカメラで撮影した画像間のピクセル毎のズレの大きさであり、視差情報から３角測量法により距離情報に変換される。Ｄｅｐｔｈマップは、視差マップとも呼ばれ、距離情報に相当する。非特許文献１には、機械学習を用いた被写体抽出を行う方法が記載されており、その際に被写体とカメラとの視差・深度を計算した結果がＤｅｐｔｈマップとして得られる。

トラッキングデータとは、ラベルと当該ラベルに紐付いたオブジェクトの位置情報である。ラベルは、オブジェクトを識別するために用いられ、音源の特定やオブジェクトのプロファイルとの紐付けに活用される。非特許文献２には、ＬｉＤＡＲと深層学習エンジンを用いてオブジェクトのトラッキングを行う方法が記載されており、被写体の３次元位置が矩形で表されている。

メディア情報エンコード機能１０２は、撮像装置３３と集音装置３４が出力するメディア情報を受信し、メディア情報の映像データと音声データをそれぞれエンコード処理して配信側に伝送する機能を備える。

位置情報・メディア情報括り付け管理機能１０３は、時刻情報に基づき、オブジェクト位置情報配信機能１０１が処理したオブジェクトの位置情報と、メディア情報エンコード機能１０２が処理したメディア情報とを関連付けて管理する機能を備える。

配信側は、図１に示すように、オブジェクト位置情報受信機能１０４と、メディア情報デコード機能１０５と、オブジェクト位置情報統合機能１０６と、で構成される。

オブジェクト位置情報受信機能１０４は、オブジェクト位置情報配信機能１０１から伝送された位置情報を受信して保持し、映像制御装置５１又は音声制御装置５２からの位置情報取得要求に応じて保持した位置情報を配信する機能を備える。配信方法としては、例えば、Ｗｅｂｓｏｃｋｅｔインタフェイスによるｐｕｓｈ配信、ＭＩＤＩインタフェイスによるバッファリングを伴う配信を用いる。オブジェクト位置情報受信機能１０４は、位置情報取得要求の受付時にフレームレートの指定を受け、接続毎に要求された位置情報を指定フレームレートに変換して配信する。

メディア情報デコード機能１０５は、メディア情報エンコード機能１０２から伝送されたメディア情報を受信して、映像制御装置５１及び音声制御装置５２に配信する機能を備える。

オブジェクト位置情報統合機能１０６は、オブジェクトを複数の方向から計測することで得られた複数視点の位置情報を時刻情報で紐付けて管理し、複数視点の位置情報を結合することで精度の高い位置情報を生成して保持し、映像制御装置５１又は音声制御装置５２からの位置情報取得要求に応じて保持した高精度の位置情報を配信する機能を備える。オブジェクト位置情報統合機能１０６が用いている接続インタフェイスは、オブジェクト位置情報受信機能１０４と同一であり、ＷｅｂｓｏｃｋｅｔインタフェイスやＭＩＤＩインタフェイス等に対応する。

以上が伝送装置１００の備える機能の例である。センサ情報に着目すると、伝送装置１００は、次のように動作する。例えば、被写界深度計測センサ３１と位置情報トラッキングセンサ３２の組を４つ用意して競技会場の東西南北に配置した場合、オブジェクト位置情報配信機能１０１は、４つの組でそれぞれ計測されたセンサ情報を受信して伝送する。オブジェクト位置情報受信機能１０４は、組毎のオブジェクトの位置情報を受信して保持し、位置情報取得要求に応じて配信する。オブジェクト位置情報統合機能１０６は、各組の位置情報を結合することで精度の高い位置情報を生成し、位置情報取得要求に応じて配信する。

＜発明の概要＞
本実施形態では、本発明の課題を解決するため、被写界深度計測センサ３１と位置情報トラッキングセンサ３２（以下、センサ）を競技空間内の異なる位置にそれぞれ配置し、各センサで同一オブジェクトの位置をそれぞれ計測し、各センサからのセンサ情報を組み合わせることにより、オブジェクト領域の位置を適切に表現する矩形を算出する。すなわち、各視点（アングル）で欠落した位置情報を補い、又は不要な位置情報を削除することにより、映像制御装置５１と音声制御装置５２で制御するオブジェクトの表現に生じる影響を軽減する。

具体的には、オブジェクトが重なる場合を考慮したオクルージョン考慮モード（手法１）として、各面でのオブジェクトの幅と奥行情報からオブジェクトの最も狭い矩形を算出する。手法１の実行有無は、予め用意された設定ファイルで指定可能である。また、オブジェクトが重ならない場合を考慮したオクルージョン未考慮モード（手法２）として、各面の矩形が囲む最大の矩形を算出する。更に、センサ情報が不足する場合、手法１で得られたデータに矛盾がある場合、手法１が実行されない場合等、手法１の実行が適当でない場合には、手法２を実行する（手法３）。

＜情報統合装置の構成＞
そこで、本実施形態では、オブジェクト位置情報統合機能１０６に情報統合装置１を搭載する。図２は、情報統合装置１の機能ブロックの例を示す図である。情報統合装置１は、位置情報受信部１１と、位置情報記憶部１２と、位置情報統合部１３と、を備えて構成される。情報統合装置１は、オブジェクト位置情報配信機能１０１に搭載してもよい。

位置情報受信部１１は、複数のセンサにより複数の方面からそれぞれ計測され、オブジェクトの領域に関する方面毎の位置情報を受信する機能を備える。特に本実施形態では、位置情報受信部１１は、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域、つまり、オクルージョンの生じたオブジェクト領域の位置を示す位置情報を各センサからそれぞれ受信する。

位置情報記憶部１２は、位置情報受信部１１が受信した方面毎の位置情報を読み出し可能に記憶する機能を備える。

位置情報統合部１３は、手法１として、方面毎の位置情報を用いて、オブジェクトを囲む最小の矩形を、オブジェクトを囲む矩形として算出する機能を備える。

また、位置情報統合部１３は、手法２として、方面毎の位置情報を用いて、オブジェクトを囲む最大の矩形を、オブジェクトを囲む矩形として算出する機能を備える。

また、位置情報統合部１３は、手法１を用いてオブジェクトを囲む最小の矩形を算出する場合、共有座標系でのオブジェクトの領域の方面毎の位置座標を算出し、所定軸の座標において、オブジェクトの領域の各方面に係る複数の最大値の中で最小の値を除いた値のうち最小の値をオブジェクトの最大値とし、オブジェクトの領域の各方面に係る複数の最小値の中で最大の値を除いた値のうち最大の値をオブジェクトの最小値とする矩形を、オブジェクトを囲む矩形として算出する機能を備える。

また、位置情報統合部１３は、手法３として、オブジェクトを囲む最小の矩形を算出する手法１を行い、求めたオブジェクトの最大値と最小値の大小関係に矛盾がある場合、オブジェクトを囲む最大の矩形を、オブジェクトを囲む矩形として算出する手法２を行う機能（手法１から手法２へ移行する機能）を備える。

また、位置情報統合部１３は、１方面の位置情報のみを受信して２方面以上の位置情報を受信しない等、センサ情報が不足する場合、オブジェクトを囲む最小の矩形を算出する手法１が実行されない場合、オブジェクトを囲む最大の矩形を算出する手法２を行う機能を備える。

なお、方面とは、オブジェクトを中心にして例えば東西南北の４方面のみに限らず、２面以上の方面であればよい。また、中心のオブジェクトから見てやや斜め上方向の位置等、オブジェクトを俯瞰する方面でもよい。

上述した情報統合装置１は、ＣＰＵ、メモリ、入出力インタフェイス等を備えたコンピュータで実現できる。また、情報統合装置１としてコンピュータを機能させるための情報統合プログラム、情報統合プログラムの記憶媒体を作成することも可能である。

＜情報統合装置の動作（手法１）＞
次に、情報統合装置１の手法１の動作について説明する。位置情報統合部１３は、各センサから受信した位置情報を統合することで、オブジェクトを囲む最小の矩形（の端点の位置）を算出する。入力される位置情報はある方向から見たオブジェクト毎の位置を特定できるデータであれば任意のものが利用できるが、ここでは、Ｄｅｐｔｈマップを用いる場合を例に説明する。Ｄｅｐｔｈマップに限らず、トラッキングデータ等、時刻毎のオブジェクトの二次元又は三次元的な位置座標を表現できるデータであれば何でも良い。図３は、位置情報統合部１３で行う手法１の処理フローを示す図である。手法１は、オブジェクトを囲む最小の矩形を算出する手法である。

ステップＳ１０１；
まず、位置情報統合部１３は、オブジェクト領域に関する方面毎の位置情報を位置情報記憶部１２から読み出し、読み出した方面毎の位置情報を用いて、各方面での幅及び奥行情報に対応する共有座標系での位置座標を算出する。以下、ステップＳ１０１について詳述する。

例えば、位置情報統合部１３は、まず、Ｄｅｐｔｈマップに含まれるオブジェクト領域からオブジェクトの幅（横幅、縦幅）を算出する（ステップＳ１０１ａ）。オブジェクト領域の輪郭に関する精度は高いので、ローカル座標系でのオブジェクト領域の輪郭の最小値と最大値（オブジェクト外形領域点群のＸ_ｍｉｎ，Ｘ_ｍａｘ，Ｙ_ｍｉｎ，Ｙ_ｍａｘ；Ｘは横軸、Ｙは縦軸、言い換えれば、オブジェクト領域の端点の位置座標）を取得してオブジェクトの幅とする。

例えば、位置情報統合部１３は、次に、Ｄｅｐｔｈマップの深度情報又はトラッキングデータの奥行情報からオブジェクトの奥行を算出する（ステップＳ１０１ｂ）。当該深度情報又は奥行情報はオブジェクト領域内でバラツキが大きく、利用シーンとして高い精度は求められないので、Ｄｅｐｔｈマップ又はトラッキングデータから１つの値のみを取得してオブジェクトまでの奥行とする。例えば、深度値の最頻値を奥行とする。

ここで、ステップＳ１０１ａ，Ｓ１０１ｂについて説明する。例えば、Ｄｅｐｔｈマップの深度値の最大値及び最小値からＺ値（奥行）を求め、Ｄｅｐｔｈマップの輪郭，奥行，内部パラメータより、輪郭座標のＸ値（幅），Ｙ値（高さ）を算出する（Ｄｅｐｔｈマップの最大／最小値方式）。このとき、Ｚ値（奥行）については、Ｄｅｐｔｈマップの深度値の最頻値を用いてもよい（Ｄｅｐｔｈマップの最頻値方式）。Ｄｅｐｔｈマップの最大／最小値方式と最頻値方式は、選択可能である。

また、例えば、トラッキングデータのローカル座標系をＺ値（奥行）として使用し、Ｄｅｐｔｈマップの輪郭，奥行，内部パラメータより、枠線座標のＸ値（幅），Ｙ値（高さ）を算出する（トラッキングデータ奥行方式）。また、トラッキングデータにのみに対して、ローカル座標系をグローバル座標系に変換し、矩形から重心点を生成し、時間サブサンプリング処理した値を用いてもよい（トラッキングスルー方式）。トラッキングデータ奥行方式とトラッキングスルー方式は、選択可能である。

ステップＳ１０１ｂの後、位置情報統合部１３は、ステップＳ１０１ａ，Ｓ１０１ｂで算出したローカル座標系の幅及び奥行情報を、全方面で共通の共有座標系であるグローバル座標系に変換する（ステップＳ１０１ｃ）。

これにより、グローバル座標系におけるオブジェクトの領域の位置座標（Ｘ_{ｉ，ｍｉｎ}，Ｘ_{ｉ，ｍａｘ}，Ｙ_{ｉ，ｍｉｎ}，Ｙ_{ｉ，ｍａｘ}，Ｚ_{ｉ，ｍｉｎ}，Ｚ_{ｉ，ｍａｘ}）が算出される。ｉは、各方面を示す識別子である。

図４は、グローバル座標系におけるオブジェクトの位置座標の例を示す図である。図４の水平方向をＸ軸、鉛直方向をＹ軸、奥行方向をＺ軸とする。４つのオブジェクト１〜４に対して、４つのセンサ３５Ａ〜３５Ｄが東西南北に設置されている。各センサ３５Ａ〜３５Ｄから見えるオブジェクトｎを表すラベルをＬａｂｅｌｎとする。オクルージョンにより複数のオブジェクトが重なって見える場合には、Ｌａｂｅｌｍ，ｎというように、重なって見えるオブジェクト全てに対応する１つのラベルを重なって見えるオブジェクト領域全体に付与する。

オブジェクト３を例に説明する。Ａ面のセンサ３５Ａから見ると、オブジェクト３はオブジェクト４に重なって見えるため、Ｌａｂｅｌ３，４とする。Ｌａｂｅｌ３，４の左端がＸ_{Ａ，ｍｉｎ}となり、Ｌａｂｅｌ３，４の右端がＸ_{Ａ，ｍａｘ}となる。奥行方向については、上述したように１つの値のみを取得するため、例えば、センサ３５Ａから見てオブジェクト３の最も手前までの位置がＺ_{Ａ，ｍｉｎ}，Ｚ_{Ａ，ｍａｘ}となる。

Ｂ面のセンサ３５Ｂからオブジェクト３を見ると、オブジェクト３はオブジェクト１に重なって見えるため、Ｌａｂｅｌ１，３とする。Ｌａｂｅｌ１，３の左端がＺ_{Ｂ，ｍｉｎ}となり、Ｌａｂｅｌ１，３の右端がＺ_{Ｂ，ｍａｘ}となる。水平方向については、センサ３５Ｂから見てオブジェクト３の最も手前までの位置がＸ_{Ｂ，ｍｉｎ}，Ｘ_{Ｂ，ｍａｘ}となる。

なお、グローバル座標系の位置座標を算出する場合、位置情報統合部１３は、センサから出力された全フレーム分のセンサ情報ではなく、時間サンプリングにより、例えば４フレームのうち１フレームのみのセンサ情報を用いて位置座標を算出してもよい。

ステップＳ１０２；
次に、位置情報統合部１３は、ステップＳ１０１で算出したグローバル座標系でのオブジェクトの位置座標（Ｘ_{ｉ，ｍｉｎ}，Ｘ_{ｉ，ｍａｘ}，Ｙ_{ｉ，ｍｉｎ}，Ｙ_{ｉ，ｍａｘ}，Ｚ_{ｉ，ｍｉｎ}，Ｚ_{ｉ，ｍａｘ}）を用いて、オブジェクトを囲む最小の矩形を算出する。以下、ステップＳ１０２について詳述する。

各オブジェクト１〜４を囲む矩形は、オクルージョンを考慮し、Ａ〜Ｄ各面でのオブジェクトの幅と奥行情報から最も小さい矩形を算出する。具体的には、位置情報統合部１３は、式（１）〜式（６）を用いて、オブジェクトを囲む最小の矩形（Ｘ_ｍｉｎ，Ｘ_ｍａｘ，Ｙ_ｍｉｎ，Ｙ_ｍａｘ，Ｚ_ｍｉｎ，Ｚ_ｍａｘ）を算出する。

Ｘ_ｍａｘ＝ｍｉｎ（Ｘ_{ｉ，ｍａｘ}の中で最小の値を除くＸ） ・・・式（１）
Ｘ_ｍｉｎ＝ｍａｘ（Ｘ_{ｉ，ｍｉｎ}の中で最大の値を除くＸ） ・・・式（２）
Ｚ_ｍａｘ＝ｍｉｎ（Ｚ_{ｉ，ｍａｘ}の中で最小の値を除くＺ） ・・・式（３）
Ｚ_ｍｉｎ＝ｍａｘ（Ｚ_{ｉ，ｍｉｎ}の中で最大の値を除くＺ） ・・・式（４）
Ｙ_ｍａｘ＝ｍｉｎ（Ｙ_{ｉ，ｍａｘ}） ・・・式（５）
Ｙ_ｍｉｎ＝ｍａｘ（Ｙ_{ｉ，ｍｉｎ}） ・・・式（６）
これにより、図５に示すように、各オブジェクト１〜４をそれぞれ囲む最小の矩形Ｏｂｊ１〜Ｏｂｊ４がそれぞれ算出される。なお、オブジェクト１を囲む最小の矩形Ｏｂｊ１については、オブジェクト１，３がオクルージョン状態にあり、オブジェクト１の一辺（上辺）の位置を特定する位置情報がないので、オブジェクト１の一部に余スペースが含まれる状態で算出される。

オブジェクト３を例に最小の矩形の算出方法を説明する。

図６に示すように、Ａ面のセンサ３５Ａから見ると、Ａ面（Ｌａｂｅｌ３，４）の右端がＸ_{Ａ，ｍａｘ}となる。Ｃ面のセンサ３５Ｃから見ると、Ｃ面（Ｌａｂｅｌ３，４）の左端がＸ_{Ｃ，ｍａｘ}となる。一方、Ｂ面のセンサ３５Ｂから見ると、Ｂ面（Ｌａｂｅｌ１，３）に対応する位置がＸ_{Ｂ，ｍａｘ}となる。Ｄ面のセンサ３５Ｄから見ると、Ｄ面（Ｌａｂｅｌ１，３）に対応する位置がＸ_{Ｄ，ｍａｘ}となる。これらのＸ_{Ａ，ｍａｘ}，Ｘ_{Ｂ，ｍａｘ}，Ｘ_{Ｃ，ｍａｘ}，Ｘ_{Ｄ，ｍａｘ}を式（１）にあてはめると、最小の値であるＸ_{Ｄ，ｍａｘ}を除いた値のうち、最小の値であるＸ_{Ｂ，ｍａｘ}が、オブジェクト３のＸ軸方向のＸ_ｍａｘとなる。

また、図７に示すように、Ａ面のセンサ３５Ａから見ると、Ａ面（Ｌａｂｅｌ３，４）の左端がＸ_{Ａ，ｍｉｎ}となる。Ｃ面のセンサ３５Ｃから見ると、Ｃ面（Ｌａｂｅｌ３，４）の右端がＸ_{Ｃ，ｍｉｎ}となる。一方、Ｂ面のセンサ３５Ｂから見ると、Ｂ面（Ｌａｂｅｌ１，３）に対応する位置がＸ_{Ｂ，ｍｉｎ}となる。Ｄ面のセンサ３５Ｄから見ると、Ｄ面（Ｌａｂｅｌ１，３）に対応する位置がＸ_{Ｄ，ｍｉｎ}となる。これらのＸ_{Ａ，ｍｉｎ}，Ｘ_{Ｂ，ｍｉｎ}，Ｘ_{Ｃ，ｍｉｎ}，Ｘ_{Ｄ，ｍｉｎ}を式（２）にあてはめると、最大の値であるＸ_{Ｂ，ｍｉｎ}を除いた値のうち、最大の値であるＸ_{Ａ，ｍｉｎ}又はＸ_{Ｃ，ｍｉｎ}が、オブジェクト３のＸ軸方向のＸ_ｍｉｎとなる。

Ｚ軸方向のＺ_ｍａｘとＺ_ｍｉｎについても式（３）と式（４）を用いて同様に計算する。Ｙ軸方向のＹ_ｍａｘについては、式（５）に従い、Ｙ_{Ａ，ｍａｘ}，Ｙ_{Ｂ，ｍａｘ}，Ｙ_{Ｃ，ｍａｘ}，Ｙ_{Ｄ，ｍａｘ}の中で最小の値をＹ_ｍａｘとする。Ｙ軸方向のＹ_ｍｉｎについては、式（６）に従い、Ｙ_{Ａ，ｍｉｎ}，Ｙ_{Ｂ，ｍｉｎ}，Ｙ_{Ｃ，ｍｉｎ}，Ｙ_{Ｄ，ｍｉｎ}の中で最大の値をＹ_ｍｉｎとする。

その結果、オクルージョンが生じたオブジェクトについて、可能な限りオブジェクトを囲む最小の矩形が算出される。なお、式（１）〜式（４）で「最小の値を除く」「最大の値を除く」とする理由は、グローバル座標系において最もＸ座標が小さい又は大きいセンサ３５で算出したＸ_{ｉ，ｍａｘ}又はＸ_{ｉ，ｍｉｎ}は、オブジェクトの矩形としては不適であるからである。

以上より、手法１によれば、オブジェクトに関するＡ〜Ｄ各方面での幅及び奥行情報を用いて、オブジェクトを囲む最小の矩形を算出するので、重なって見えるオブジェクトを判別可能となり、奥側に隠れたオブジェクトを表現できる。その結果、映像制御装置５１と音声制御装置５２で行われるオブジェクト表現に対する影響を軽減できる。

＜情報統合装置の動作（手法２）＞
次に、情報統合装置１の手法２の動作について説明する。図８は、位置情報統合部１３で行う手法２の処理フローを示す図である。手法２は、オブジェクトを囲む最大の矩形を算出する手法である。

ステップＳ２０１；
まず、位置情報統合部１３は、ステップＳ１０１と同様に、オブジェクト領域に関する方面毎の位置情報を位置情報記憶部１２から読み出し、読み出した方面毎の位置情報を用いて、各方面での幅及び奥行情報に対応するグローバル座標系での位置座標を算出する。

ステップＳ２０２；
次に、位置情報統合部１３は、ステップＳ２０１で算出したグローバル座標系でのオブジェクトの位置座標（Ｘ_{ｉ，ｍｉｎ}，Ｘ_{ｉ，ｍａｘ}，Ｙ_{ｉ，ｍｉｎ}，Ｙ_{ｉ，ｍａｘ}，Ｚ_{ｉ，ｍｉｎ}，Ｚ_{ｉ，ｍａｘ}）を用いて、オブジェクトを囲む最大の矩形を算出する。以下、ステップＳ２０２について詳述する。

各オブジェクト１〜４を囲む矩形は、オクルージョンが生じている場合であっても、オクルージョンを考慮することなく、Ａ〜Ｄ各面でのオブジェクトの幅と奥行情報から最も大きい矩形を算出する。具体的には、位置情報統合部１３は、式（７）〜式（１２）を用いて、オブジェクトを囲む最大の矩形（Ｘ_ｍｉｎ，Ｘ_ｍａｘ，Ｙ_ｍｉｎ，Ｙ_ｍａｘ，Ｚ_ｍｉｎ，Ｚ_ｍａｘ）を算出する。

Ｘ_ｍａｘ＝ｍａｘ（Ｘ_{Ａ，ｍａｘ}，Ｘ_{Ｃ，ｍａｘ}） ・・・式（７）
Ｘ_ｍｉｎ＝ｍｉｎ（Ｘ_{Ａ，ｍｉｎ}，Ｘ_{Ｃ，ｍｉｎ}） ・・・式（８）
Ｚ_ｍａｘ＝ｍａｘ（Ｚ_{Ｂ，ｍａｘ}，Ｚ_{Ｄ，ｍａｘ}） ・・・式（９）
Ｚ_ｍｉｎ＝ｍｉｎ（Ｚ_{Ｂ，ｍｉｎ}，Ｚ_{Ｄ，ｍｉｎ}） ・・・式（１０）
Ｙ_ｍａｘ＝ｍａｘ（Ｙ_{Ａ，ｍａｘ}，Ｙ_{Ｂ，ｍａｘ}，Ｙ_{Ｃ，ｍａｘ}，Ｙ_{Ｄ，ｍａｘ}） ・・・式（１１）
Ｙ_ｍｉｎ＝ｍｉｎ（Ｙ_{Ａ，ｍｉｎ}，Ｙ_{Ｂ，ｍｉｎ}，Ｙ_{Ｃ，ｍｉｎ}，Ｙ_{Ｄ，ｍｉｎ}） ・・・式（１２）
これにより、図９に示すように、各オブジェクト１〜４をそれぞれ囲む最大の矩形Ｏｂｊ１〜Ｏｂｊ４がそれぞれ算出される。

オブジェクト３を例に最大の矩形の算出方法を説明する。

図１０に示すように、Ａ面のセンサ３５Ａから見ると、Ａ面（Ｌａｂｅｌ３，４）の右端がＸ_{Ａ，ｍａｘ}となる。Ｃ面のセンサ３５Ｃから見ると、Ｃ面（Ｌａｂｅｌ３，４）の左端がＸ_{Ｃ，ｍａｘ}となる。これらのＸ_{Ａ，ｍａｘ}，Ｘ_{Ｂ，ｍａｘ}を式（７）にあてはめると、Ｘ_{Ａ，ｍａｘ}とＸ_{Ｃ，ｍａｘ}の中で最大の値が、オブジェクト３のＸ軸方向のＸ_ｍａｘとなる。

また、図１０に示すように、Ａ面のセンサ３５Ａから見ると、Ａ面（Ｌａｂｅｌ３，４）の左端がＸ_{Ａ，ｍｉｎ}となる。Ｃ面のセンサ３５Ｃから見ると、Ｃ面（Ｌａｂｅｌ３，４）の右端がＸ_{Ｃ，ｍｉｎ}となる。これらのＸ_{Ａ，ｍｉｎ}，Ｘ_{Ｂ，ｍｉｎ}を式（８）にあてはめると、Ｘ_{Ａ，ｍｉｎ}とＸ_{Ｃ，ｍｉｎ}の中で最小の値が、オブジェクト３のＸ軸方向のＸ_ｍｉｎとなる。

また、図１０に示すように、Ｂ面のセンサ３５Ｂから見ると、Ｂ面（Ｌａｂｅｌ１，３）の右端がＸ_{Ｂ，ｍａｘ}となる。Ｄ面のセンサ３５Ｄから見ると、Ｄ面（Ｌａｂｅｌ１，３）の左端がＸ_{Ｄ，ｍａｘ}となる。これらのＸ_{Ｂ，ｍａｘ}，Ｘ_{Ｄ，ｍａｘ}を式（９）にあてはめると、Ｘ_{Ｂ，ｍａｘ}とＸ_{Ｄ，ｍａｘ}の中で最大の値が、オブジェクト３のＺ軸方向のＺ_ｍａｘとなる。

また、図１０に示すように、Ｂ面のセンサ３５Ｂから見ると、Ｂ面（Ｌａｂｅｌ１，３）の左端がＸ_{Ｂ，ｍｉｎ}となる。Ｄ面のセンサ３５Ｄから見ると、Ｄ面（Ｌａｂｅｌ１，３）の右端がＸ_{Ｄ，ｍｉｎ}となる。これらのＸ_{Ｂ，ｍｉｎ}，Ｘ_{Ｄ，ｍｉｎ}を式（１０）にあてはめると、Ｘ_{Ｂ，ｍｉｎ}とＸ_{Ｄ，ｍｉｎ}の中で最小の値が、オブジェクト３のＺ軸方向のＺ_ｍｉｎとなる。なお、図１０では、例えばＸ_{Ｂ，ｍｉｎ}とＸ_{Ｄ，ｍｉｎ}が互いに一致する例を示しているが、Ｂ面のセンサ３５ＢとＤ面のセンサ３５Ｄの位置によっては、各センサから見えるオブジェクト１，３の重なり具合が異なるので、例えばＸ_{Ｂ，ｍｉｎ}＜Ｘ_{Ｄ，ｍｉｎ}の場合、Ｚ_ｍｉｎ＝Ｘ_{Ｂ，ｍｉｎ}となる。

以上より、手法２によれば、オブジェクトに関するＡ〜Ｄ各方面での幅及び奥行情報を用いて、オブジェクトを囲む最大の矩形を算出するので、１つのオブジェクトに対してバラバラであったＡ〜Ｄ各方面の各センサからの位置情報が１つの矩形として一意に統合され、個々のオブジェクトを容易に判別できる。その結果、映像制御装置５１と音声制御装置５２で行われるオブジェクト表現に対する影響を軽減できる。

＜情報統合装置の動作（手法３）＞
次に、情報統合装置１の手法３の動作について説明する。図１１は、位置情報統合部１３で行う手法３の処理フローを示す図である。手法３は、通常は手法１を用いてオブジェクトを囲む最小の矩形を算出し、手法１で算出したオブジェクトの座標データに矛盾するデータが含まれる場合、手法２を用いてオブジェクトを囲む最大の矩形を算出する手法である。

ステップＳ３０１；
まず、位置情報統合部１３は、ステップＳ１０１と同様に、オブジェクト領域に関する方面毎の位置情報を位置情報記憶部１２から読み出し、読み出した方面毎の位置情報を用いて、各方面での幅及び奥行情報に対応するグローバル座標系での位置座標を算出する。

ステップＳ３０２；
次に、位置情報統合部１３は、ステップＳ１０１と同様に、ステップＳ３０１で算出したグローバル座標系でのオブジェクトの位置座標（Ｘ_{ｉ，ｍｉｎ}，Ｘ_{ｉ，ｍａｘ}，Ｙ_{ｉ，ｍｉｎ}，Ｙ_{ｉ，ｍａｘ}，Ｚ_{ｉ，ｍｉｎ}，Ｚ_{ｉ，ｍａｘ}）を用いて、オブジェクトを囲む最小の矩形を算出する。

ステップＳ３０３；
次に、位置情報統合部１３は、ステップＳ３０２で算出したオブジェクトの位置座標を参照し、Ｘ_ｍｉｎ＞Ｘ_ｍａｘ、Ｙ_ｍｉｎ＞Ｙ_ｍａｘ、又はＺ_ｍｉｎ＞Ｚ_ｍａｘであるか否かを判定する。これらの不等式のうち１つでも成立する場合、ステップＳ３０４へ進む。一方、いずれも成立しない場合、処理を終了する。

ステップＳ３０４；
位置情報統合部１３は、ステップＳ３０２で算出したオブジェクトの位置座標に矛盾が生じたと判定し、オブジェクトを囲む最大の矩形を算出する。

その他、位置情報統合部１３は、ステップＳ３０１のタイミングで、１方面の位置情報のみを受信して２方面以上の位置情報を受信しない場合、ステップＳ３０２，Ｓ３０３をスキップしてステップＳ３０４へ進むようにしてもよい。また、位置情報統合部１３は、位置情報統合装置１の設定ファイルに手法１が指定されていない場合、手法２を用いてオブジェクトの位置座標を算出するようにしてもよい。

以上より、手法３によれば、通常は手法１を用いてオブジェクトを囲む最小の矩形を算出し、手法１で算出したオブジェクトの座標データに矛盾するデータが含まれる場合等には、手法２を用いてオブジェクトを囲む最大の矩形を算出するので、少なくとも手法２によりオブジェクトを囲む最大の矩形が算出される。それ故、１つのオブジェクトに対してバラバラであったＡ〜Ｄ各方面の各センサからの位置情報が１つの矩形として一意に統合され、個々のオブジェクトを容易に判別できる。その結果、映像制御装置５１と音声制御装置５２で行われるオブジェクト表現に対する影響を軽減できる。

＜効果＞
本実施形態によれば、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を用いて、オブジェクトを囲む最小の矩形を算出するので、重なって見えるオブジェクトを判別可能となり、奥側に隠れたオブジェクトを表現でき、オブジェクト表現に対する影響を軽減できる。

また、本実施形態によれば、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を用いて、オブジェクトを囲む最大の矩形を算出するので、１つのオブジェクトに対してバラバラであった各方面の各センサからの位置情報が１つの矩形として一意に統合され、個々のオブジェクトを容易に判別でき、オブジェクト表現に対する影響を軽減できる。

また、本実施形態によれば、オブジェクトを囲む最小の矩形を算出する手法１を行い、求めたオブジェクトの最大値と最小値の大小関係に矛盾がある場合、最大の矩形を算出するので、少なくとも手法２によりオブジェクトを囲む最大の矩形が算出されることから、１つのオブジェクトに対してバラバラであった各方面の各センサからの位置情報が１つの矩形として一意に統合され、個々のオブジェクトを容易に判別でき、オブジェクト表現に対する影響を軽減できる。

１…情報統合装置
１１…位置情報受信部
１２…位置情報記憶部
１３…位置情報統合部
３１…被写界深度計測センサ
３２…位置情報トラッキングセンサ
３３…撮像装置
３４…集音装置
５１…映像制御装置
５２…音声制御装置
５３…裸眼３Ｄ表示スクリーン
５４…虚像表示パネル
５５…波面合成用スピーカアレイ（競技音用）
５６…波面合成用スピーカアレイ（歓声音用）
１００…伝送装置
１０１…オブジェクト位置情報配信機能
１０２…メディア情報エンコード機能
１０３…位置情報・メディア情報括り付け管理機能
１０４…オブジェクト位置情報受信機能
１０５…メディア情報デコード機能
１０６…オブジェクト位置情報統合機能

Claims (6)

1. 第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置で行う情報統合方法において、
   情報統合装置が、
   複数のセンサにより複数の方面からそれぞれ計測され、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を受信する第１のステップと、
   前記方面毎の位置情報を用いて、前記オブジェクトを囲む最小の矩形又は最大の矩形を、前記オブジェクトを囲む矩形として算出する第２のステップと、
   を行うことを特徴とする情報統合方法。
2. 前記第２のステップでは、
   前記最小の矩形を算出する場合、共有座標系での前記オブジェクトの領域の方面毎の位置座標を算出し、所定軸の座標において、前記オブジェクトの領域の各方面に係る複数の最大値の中で最小の値を除いた値のうち最小の値を前記オブジェクトの最大値とし、前記オブジェクトの領域の各方面に係る複数の最小値の中で最大の値を除いた値のうち最大の値を前記オブジェクトの最小値とする矩形を、前記オブジェクトを囲む矩形として算出することを特徴とする請求項１に記載の情報統合方法。
3. 前記第２のステップでは、
   求めた前記オブジェクトの最大値と最小値の大小関係に矛盾がある場合、前記最大の矩形を、前記オブジェクトを囲む矩形として算出することを特徴とする請求項２に記載の情報統合方法。
4. 前記複数の方面は、
   前記オブジェクトを俯瞰する方面を含むことを特徴とする請求項１乃至３のいずれかに記載の情報統合方法。
5. 第１空間内のオブジェクトに関するメディア情報とセンサ情報を同期して第２空間に伝送する伝送装置に含まれる情報統合装置において、
   複数のセンサにより複数の方面からそれぞれ計測され、何れかの方面においてオブジェクト同士が重なるオブジェクトについて、当該オブジェクトの領域に関する方面毎の位置情報を受信する位置情報受信部と、
   前記方面毎の位置情報を用いて、前記オブジェクトを囲む最小の矩形又は最大の矩形を、前記オブジェクトを囲む矩形として算出する位置情報統合部と、
   を備えることを特徴とする情報統合装置。
6. 請求項１乃至４のいずれかに記載の情報統合方法をコンピュータに実行させることを特徴とする情報統合プログラム。

Images