JP2006318015A - 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム - Google Patents

Abstract

【課題】 ユーザの視点に応じた映像を表示させる。
【解決手段】 居室１内にいるユーザ３１が、スクリーン３に投影された図３の映像に違和感を持たないようにするためには、壁、床、天井のそれぞれのテクスチャが同一であり、実際空間と仮想空間の明るさが対応している必要があり、更に、居室１の左の壁１１と天井１４との境界である左上稜線８１と、バーチャル左上稜線６１とが一直線となり、居室１の右の壁１２と天井１４との境界である右上稜線８２と、バーチャル右上稜線６２とが一直線となり、居室１の右の壁１２と床１５との境界である右下稜線８３と、バーチャル右下稜線６３とが一直線となり、かつ、居室１の左の壁１１と床１５との境界である左下稜線８４と、バーチャル左下稜線６４とが一直線となっていなければならない。本発明は、画像表示制御装置および画像表示システムに適用できる。
【選択図】図４

Description

本発明は、画像処理装置および画像処理方法、画像表示システム、並びに、プログラムに関し、特に、ユーザの視点に応じた映像を表示させることができる画像処理装置および画像処理方法、画像表示システム、並びに、プログラムに関する。

従来、テレビ会議などで臨場感を高めるために、実世界の物体と映像を合成する技術がある（例えば、特許文献１）。また、同様に、地理的に離れた複数の空間があたかも隣り合って存在するかのような感覚を与えるために、地理的に離れたサーバ間で互いに相手の部屋の映像や音声の情報を授受し、プロジェクタによって相手の部屋の映像をスクリーンに映し出させると同時に相手の部屋の音声をスピーカから発音させる技術がある（例えば、特許文献２）。

特開2001-184044号公報 特開2004-56161号公報

しかしながら、上述した特許文献１においては、実世界の物体と合成される映像が小さな物体の映像であれば、視聴者の視点を気にしなくてもよいが、合成される映像が、例えば、部屋のような大きな映像である場合、それを見るユーザの視点と映像が撮像されているポイント（カメラの位置）がずれてしまった場合、臨場感が削がれてしまう。

また、撮影したカメラ映像をそのまま投影しても、ユーザの視点位置とカメラの視点の光軸を一致させることはできないので、ユーザは、投射された映像に対して、違和感を持ってしまう。

また、上述した特許文献２において提示されている共有仮想空間は、２次元の映像の授受を前提としており、奥行きまで考慮したものになっていないため、ユーザは、投射された映像に対して違和感を持ち、仮想的に空間を共有しているという感覚、換言すれば、投射された映像が自分自身が存在する空間と連続しているという感覚を得にくい。

本発明はこのような状況に鑑みてなされたものであり、ユーザの位置に基づいて、投影される映像を変化させ、ユーザが違和感を覚えない仮想空間の映像を提供することができるようにするものである。

本発明の画像処理装置は、表示される画像を観察するユーザを含む映像を取得する映像取得手段と、映像取得手段により取得されたユーザを含む映像を基に、ユーザの視点位置を検出する視点位置検出手段と、表示される画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを記憶する記憶手段と、視点位置検出手段により検出されたユーザの視点位置を基に、記憶手段により記憶されている画像データの稜線を変換する稜線変換手段とを備えることを特徴とする。

ユーザが存在している空間の稜線情報を取得する稜線情報取得手段を更に備えさせるようにすることができ、稜線変換手段には、稜線情報取得手段により取得されたユーザが存在している空間の稜線情報を用いて、記憶手段により記憶されている画像データの稜線を変換させるようにすることができる。

稜線情報取得手段には、ユーザが存在している空間の映像を取得させて、取得された映像から直線成分を検出させ、所定のテンプレートと比較させることにより、ユーザが存在している空間の稜線情報を取得させるようにすることができる。

稜線情報取得手段には、エッジ検出フィルタを用いてエッジ検出を行わせ、更に、ハフ変換を実行させることにより、取得された映像から直線成分を検出させるようにすることができる。

記憶手段には、少なくとも１本の稜線を含む画像を表示するための画像データに対応付けて、表示される画像の４隅のうちの少なくとも１箇所から出発する稜線の終点に対応する座標を示す情報を、ユーザの視点位置ごとに更に保存させるようにすることができ、稜線変換手段には、視点位置検出手段により検出されたユーザの視点位置を基に、記憶手段により記憶されている稜線の終点に対応する座標を示す情報のうち、ユーザの視点位置に対応する情報を抽出し、抽出された情報を基に、画像データの稜線を変換させるようにすることができる。

ユーザが存在している空間の映像を取得する空間映像取得手段と、空間映像取得手段により取得された映像に基づいて、ユーザが存在している空間の所定の部分のテクスチャ情報を抽出するテクスチャ情報抽出手段と、テクスチャ情報抽出手段により抽出されたテクスチャ情報を基に、記記憶手段により記憶されている画像データの対応する部分のテクスチャを変換するテクスチャ変換手段とを更に備えさせるようにすることができる。

ユーザが存在している空間の映像を取得する空間映像取得手段と、空間映像取得手段により取得された映像に基づいて、ユーザが存在している空間の明るさ情報を抽出する明るさ情報抽出手段と、明るさ情報抽出手段により抽出された明るさ情報を基に、記記憶手段により記憶されている画像データの所定の部分の画素の輝度を変換する輝度変換手段とを更に備えさせるようにすることができる。

本発明の画像処理方法およびプログラムは、表示される画像を観察するユーザを含む映像を取得する映像取得ステップと、映像取得ステップの処理により取得されたユーザを含む映像を基に、ユーザの視点位置を検出する視点位置検出ステップと、表示される画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを所定の記憶部から読み出す読み出しステップと、視点位置検出ステップの処理により検出されたユーザの視点位置を基に、読み出しステップの処理により読み出された画像データの稜線を変換する稜線変換ステップとを含むことを特徴とする。

本発明の画像表示システムは、ユーザが存在している空間を囲む平面のうちのいずれか一面の全面に表示される画像を処理する画像処理装置と、画像処理装置により処理された画像を表示する表示装置と、ユーザが存在している空間において、表示される画像を観察するユーザを含む映像を撮像する撮像装置とにより構成される画像表示システムであって、画像処理装置は、撮像装置により撮像された、ユーザを含む映像を取得する映像取得手段と、映像取得手段により取得されたユーザを含む映像を基に、ユーザの視点位置を検出する視点位置検出手段と、表示される画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを記憶する記憶手段と、視点位置検出手段により検出されたユーザの視点位置を基に、記憶手段により記憶されている画像データの稜線を変換する稜線変換手段と、稜線変換手段により稜線が変換された画像データの表示装置への出力を制御する出力制御手段とを備えることを特徴とする。

本発明の画像処理装置および画像処理方法、画像表示システム、並びに、プログラムにおいては、表示される画像を観察するユーザを含む映像を基に、ユーザの視点位置が検出されて、この視点位置を基に、少なくとも１本の稜線を含む、表示される画像の元となる画像データの稜線が変換される。

本発明によれば、表示される画像を処理することができ、特に、画像を観察するユーザの視点位置を基に、少なくとも１本の稜線を含む画像の稜線を変換することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置（例えば、図９の映像表示制御装置１３１または図２２の映像表示制御装置２５１）は、ユーザが存在している空間（例えば、居室１）を囲む平面のうちのいずれか一面の全面（例えば、スクリーン３）に表示される画像を処理する画像処理装置であって、表示される画像を観察するユーザを含む映像を取得する映像取得手段（例えば、図９または図２２のセンサ情報取得部１４２）と、映像取得手段により取得されたユーザを含む映像を基に、ユーザの視点位置を検出する視点位置検出手段（例えば、図９または図２２の視点抽出部１４３）と、表示される画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを記憶する記憶手段（例えば、図９のバーチャル空間映像データベース１４４または図２２のバーチャル空間映像データベース２６１）と、視点位置検出手段により検出されたユーザの視点位置を基に、記憶手段により記憶されている画像データの稜線を変換する稜線変換手段（例えば、図９のバーチャル空間映像の稜線変換部１５３または図２２のバーチャル空間映像の稜線変換部２７１）とを備えることを特徴とする。

ユーザが存在している空間の稜線情報を取得する稜線情報取得手段（例えば、図９のリアル室内映像の稜線情報抽出部１５１）を更に備えることができ、稜線変換手段は、稜線情報取得手段により取得されたユーザが存在している空間の稜線情報を用いて、記憶手段により記憶されている画像データの稜線を変換することができる。

稜線情報取得手段は、ユーザが存在している空間の映像を取得して、取得された映像から直線成分を検出し、所定のテンプレート（例えば、図１５の部屋の稜線のテンプレート２０１）と比較することにより、ユーザが存在している空間の稜線情報を取得することができる。

記憶手段（例えば、図２２のバーチャル室内映像データベース２６１）は、少なくとも１本の稜線を含む画像を表示するための画像データに対応付けて、表示される画像の４隅のうちの少なくとも１箇所から出発する稜線の終点に対応する座標を示す情報を、ユーザの視点位置ごとに更に保存することができ、稜線変換手段（例えば、図２２のバーチャル室内映像の稜線変換部２７１）は、視点位置検出手段により検出されたユーザの視点位置を基に、記憶手段により記憶されている稜線の終点に対応する座標を示す情報のうち、ユーザの視点位置に対応する情報を抽出し、抽出された情報を基に、画像データの稜線を変換することができる。

ユーザが存在している空間の映像を取得する空間映像取得手段（例えば、図９または図２２のリアル室内映像取得部１４１）と、空間映像取得手段により取得された映像に基づいて、ユーザが存在している空間の所定の部分（例えば、壁、床、天井）のテクスチャ情報を抽出するテクスチャ情報抽出手段（例えば、図９または図２２のリアル室内映像のテクスチャ情報抽出部１５４）と、テクスチャ情報抽出手段により抽出されたテクスチャ情報を基に、記記憶手段により記憶されている画像データの対応する部分のテクスチャを変換するテクスチャ変換手段（例えば、図９または図２２のバーチャル空間映像のテクスチャ変換部１５６）とを更に備えることができる。

ユーザが存在している空間の映像を取得する空間映像取得手段（例えば、図９または図２２のリアル室内映像取得部１４１）と、空間映像取得手段により取得された映像に基づいて、ユーザが存在している空間の明るさ情報を抽出する明るさ情報抽出手段（例えば、図９または図２２のリアル室内映像の明るさ情報抽出部１５７）と、明るさ情報抽出手段により抽出された明るさ情報を基に、記記憶手段により記憶されている画像データの所定の部分の画素の輝度を変換する輝度変換手段（例えば、図９または図２２のバーチャル空間映像の明るさ変換部１５９）とを更に備えることができる。

請求項８に記載の情報処理方法は、ユーザが存在している空間（例えば、居室１）を囲む平面のうちのいずれか一面の全面（例えば、スクリーン３）に表示される画像を処理する画像処理装置（例えば、図９の映像表示制御装置１３１または図２２の映像表示制御装置２５１）の画像処理方法であって、表示される画像を観察するユーザを含む映像を取得する映像取得ステップ（例えば、図１７のステップＳ２の処理）と、映像取得ステップの処理により取得されたユーザを含む映像を基に、ユーザの視点位置を検出する視点位置検出ステップ（例えば、図１７のステップＳ４の処理）と、表示される画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを所定の記憶部から読み出す読み出しステップ（例えば、図１７のステップＳ５の処理）と、視点位置検出ステップの処理により検出されたユーザの視点位置を基に、読み出しステップの処理により読み出された画像データの稜線を変換する稜線変換ステップ（例えば、図１７のステップＳ６の処理）とを含むことを特徴とする。

また、請求項９に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項８に記載の情報処理方法と同様である。

請求項１０に記載の画像表示システムは、ユーザが存在している空間（例えば、居室１）を囲む平面のうちのいずれか一面の全面（例えば、スクリーン３）に表示される画像を処理する画像処理装置（例えば、図９の映像表示制御装置１３１または図２２の映像表示制御装置２５１）と、画像処理装置により処理された画像を表示する表示装置（例えば、図２のプロジェクタ４１）と、ユーザが存在している空間において、表示される画像を観察するユーザを含む映像を撮像する撮像装置（例えば、視点取得センサ２２）とにより構成される画像表示システムであって、画像処理装置は、撮像装置により撮像された、ユーザを含む映像を取得する映像取得手段（例えば、図９または図２２のセンサ情報取得部１４２）と、映像取得手段により取得されたユーザを含む映像を基に、ユーザの視点位置を検出する視点位置検出手段（例えば、図９または図２２の視点抽出部１４３）と、表示される画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを記憶する記憶手段（例えば、図９のバーチャル空間映像データベース１４４または図２２のバーチャル空間映像データベース２６１）と、視点位置検出手段により検出されたユーザの視点位置を基に、記憶手段により記憶されている画像データの稜線を変換する稜線変換手段（例えば、図９のバーチャル空間映像の稜線変換部１５３または図２２のバーチャル空間映像の稜線変換部２７１）と、稜線変換手段により稜線が変換された画像データの表示装置への出力を制御する出力制御手段（例えば、図９または図２２の映像出力制御部１４６）とを備えることを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図１を参照して、本発明の一実施の形態に係る映像表示システムについて説明する。

居室１の壁面のうちのいずれか１つの面に、壁一面のディスプレイが設けられ、図９を用いて後述する映像表示制御装置の制御に基づいて、画像の表示が制御される。図１においては、壁一面のディスプレイとして、投影室２から投影される映像が壁面全体に表示されるスクリーン３が設けられる。投影室２の構成は、図２を用いて後述する。

居室１は、スクリーン３に向かって、左の壁１１、右の壁１２、背面の壁１３、天井１４、および、床１５で囲まれている。左の壁１１、右の壁１２、または、背面の壁１３のうちのいずれかに、少なくとも１つの図示しない出入り口が設けられる。

また、居室１内の全体を撮像することができ、かつ、スクリーン３に対向する位置に、室内撮影カメラ２１が設置される。図１においては、居室１の天井１４付近、背面の壁１３よりで、かつ、壁面の壁１３の中央の位置に、スクリーン３の方向に向かって居室１内を撮像することができるように、室内撮影カメラ２１が設置されているものとする。

そして、居室１内のいずれかの位置に存在するユーザの位置を検出することができる視点取得センサ２２が、居室１内の適切な位置に設置される。ユーザの位置を精度よく検出するには、複数の視点取得センサ２２が、複数の異なる位置に設置されると好適である。図１においては、居室１の天井１４付近、スクリーン３よりの位置で、左の壁１１側に視点取得センサ２２−１、右の壁１２側に視点取得センサ２２−２が、それぞれ設置されている。

次に、図２を参照して、投影室２について説明する。

居室１にいるユーザ３１から参照可能なスクリーン３に映像を投影することができる投影室２が、スクリーン３の背面に設けられている。投影室２には、１つまたは複数のプロジェクタ４１（図２においては、プロジェクタ４１−１乃至プロジェクタ４１−８）が設置され、プロジェクタ４１により、スクリーン３全体に映像が投影されるようになされている。

スクリーン３に投影される映像には、充分な解像度と明るさがあることが望ましい。したがって、本実施の形態においては、解像度と明るさの面で有利で、かつ視聴者の影が写らないという点で望ましい、マルチ使いの（複数のプロジェクタを用いた）背面投射型の映像投射により、スクリーン３に映像を投射するものとして説明する。

なお、スクリーン３に映像を投影する方法としては、図２を用いて説明した以外にも、プロジェクタによる前面投射であってもよい。更に、壁一面に映像を表示させるための方法は、プロジェクタ４１によるスクリーン３への映像の投影以外の方法であってもかまわない。例えば、スクリーン３に代わって、壁一面ディスプレイとして、液晶パネルやPDPパネルを壁面の全面に用いたもの（１枚のパネルであっても、複数のパネルを繋げたものであっても良い）を設置し、これらのパネルに、映像を表示させるようにしても良い。

図３に、スクリーン３に表示される映像の第１の例を示す。

図３に示される映像は、居室１がスクリーン３の先に延長して広がっているような感覚を、スクリーン３を参照するユーザ３１に与えるものである。

この映像には、バーチャル左の壁５１、バーチャル右の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５が含まれている。そして、バーチャル左の壁５１とバーチャル天井５４との境界が、バーチャル左上稜線６１であり、バーチャル右の壁５２とバーチャル天井５４との境界が、バーチャル右上稜線６２であり、バーチャル右の壁５２とバーチャル床５５との境界が、バーチャル右下稜線６３であり、バーチャル左の壁５１とバーチャル床５５との境界が、バーチャル左下稜線６４である。

また、居室１がスクリーン３の先に延長して広がっているような感覚を、スクリーン３を参照するユーザ３１に与えるために、バーチャル左の壁５１と居室１の左の壁１１の色や模様が同一であること、バーチャル右の壁５２と居室１の右の壁１２の色や模様が同一であること、バーチャル天井５４と居室１の天井１４の色や模様が同一であること、および、バーチャル床５５と居室１の床１５の色や模様が同一であることが求められる。換言すれば、居室１の左の壁１１、右の壁１２、背面の壁１３、天井１４、および、床１５のそれぞれのテクスチャと、スクリーン３に表示されるバーチャル左の壁５１、バーチャル右の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５のテクスチャとがそれぞれ同一であることが求められる。更に、居室１の現在の明るさと、バーチャル左の壁５１、バーチャル右の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５に囲まれる仮想空間の明るさとが対応していることが望ましい。

スクリーン３に、図３の映像が投影された状態について、図４を用いて説明する。

居室１内にいるユーザ３１が、スクリーン３に投影された図３の映像に違和感を持たないようにするためには、上述したように、壁、床、天井のそれぞれのテクスチャが同一であり、実際空間と仮想空間の明るさが対応している必要がある。また、居室１内にいるユーザ３１が、スクリーン３に投影された図３の映像に違和感を持たないようにするためには、更に、居室１の左の壁１１と天井１４との境界である左上稜線８１と、バーチャル左上稜線６１とが一直線となり、居室１の右の壁１２と天井１４との境界である右上稜線８２と、バーチャル右上稜線６２とが一直線となり、居室１の右の壁１２と床１５との境界である右下稜線８３と、バーチャル右下稜線６３とが一直線となり、かつ、居室１の左の壁１１と床１５との境界である左下稜線８４と、バーチャル左下稜線６４とが一直線となっていなければならない。

ユーザ３１から見える左上稜線８１、右上稜線８２、右下稜線８３、および、左下稜線８４の角度は、ユーザの目の位置（視点の位置）によって決まるものである。したがって、ユーザ３１が違和感を持たないようにスクリーン３に映像を表示させるためには、ユーザの目の位置を検知し、それを基に、スクリーン３に表示させる映像を処理する必要がある。換言すれば、スクリーン３に表示される映像は、検出されたユーザの目の位置に基づいて、バーチャル左上稜線６１、バーチャル右上稜線６２、バーチャル右下稜線６３、および、バーチャル左下稜線６４が調整された映像でなければならない。

また、スクリーン３に表示される映像は、稜線の調整のための画像処理（詳細は後述する）を行ったときにオクルージョン問題が発生することを回避するために、壁面上には物体を配置してもよいが、近景には何もおかないことが望ましい。

次に、スクリーン３に、図３を用いて説明した映像と異なる映像が表示された場合（第２の映像の例）について、図５を用いて説明する。図５において、スクリーン３に表示される映像は、居室１の隣に異なる部屋が連続して存在するような感覚を、スクリーン３を参照するユーザ３１に与えるものである。

この映像には、図３および図４を用いて説明した場合と同様にして、バーチャル左の壁５１、バーチャル右の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５が表示されている。そして、バーチャル左の壁５１とバーチャル天井５４との境界が、バーチャル左上稜線６１であり、バーチャル右の壁５２とバーチャル天井５４との境界が、バーチャル右上稜線６２であり、バーチャル右の壁５２とバーチャル床５５との境界が、バーチャル右下稜線６３であり、バーチャル左の壁５１とバーチャル床５５との境界が、バーチャル左下稜線６４である。

また、居室１の隣に異なる部屋が連続して存在するような感覚を、スクリーン３を参照するユーザ３１に与えるために、バーチャル左の壁５１、バーチャル右の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５によって囲まれる仮想空間（仮想的な部屋）と、ユーザ３１が存在する居室１との境界線９１が、スクリーン３の上下左右の端部を囲むように表示される。また、居室１内にいるユーザ３１が、スクリーン３に投影された映像に違和感を持たないようにするためには、図４を用いて説明した場合と同様に、居室１の左の壁１１と天井１４との境界である左上稜線８１と、バーチャル左上稜線６１とが一直線となり、居室１の右の壁１２と天井１４との境界である右上稜線８２と、バーチャル右上稜線６２とが一直線となり、居室１の右の壁１２と床１５との境界である右下稜線８３と、バーチャル右下稜線６３とが一直線となり、かつ、居室１の左の壁１１と床１５との境界である左下稜線８４と、バーチャル左下稜線６４とが一直線となっていなければならない。

また、仮想的な部屋と、ユーザ３１が存在する居室１とは異なる部屋であるものとするため、壁、床、天井のテクスチャは同一としなくても良い。しかしながら、居室１の現在の明るさと、バーチャル左の壁５１、バーチャル右の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５に囲まれる仮想的な部屋の明るさとが対応していることが望ましい。

次に、スクリーン３に、図３乃至図５を用いて説明した映像と異なる映像が表示された場合（第３の映像の例）について、図６を用いて説明する。図６において、スクリーン３に表示される映像は、居室１の壁一面に掃き出し窓があり、その向こうにベランダが存在するような感覚を、スクリーン３を参照するユーザ３１に与えるものである。

例えば、図６に示される仮想的なベランダが、ユーザ３１が存在する居室１の右側（右側の壁１２を挟んだ向こう側）にあると想定される部屋の外まで続いている広いベランダとして描かれている場合、この映像には、バーチャル左の壁５１、および、バーチャル床５５が表示されるとともに、バーチャル奥の壁５３に代わって、風景１０１が表示され、風景１０１には、例えば、ベランダの手すりとその向こうの風景などが描かれる。そして、バーチャル左の壁５１とバーチャル床５５との境界として、バーチャル左下稜線６４が表示される。図２に示される仮想的なベランダがスクリーン３に表示される場合、稜線は、バーチャル左下稜線６４の１本のみとなる。

すなわち、居室１の向こうにベランダが連続して存在するような感覚を、スクリーン３を参照するユーザ３１に与えるためには、仮想空間（仮想的なベランダ）と、ユーザ３１が存在する居室１との境界線１０１（掃き出し窓の周辺の、現実世界においては、サッシなどが設置されるような箇所）が、スクリーン３の上下左右の端部を囲むように表示される。また、居室１の向こうにベランダが連続して存在するような感覚を、スクリーン３を参照するユーザ３１に与えるためには、居室１の左の壁１１と床１５との境界である左下稜線８４と、バーチャル左下稜線６４とが一直線となっていなければならない。換言すれば、仮想空間において表示されるすべての稜線（ここでは、１本の稜線）が仮想空間と居室１とで連続していれば、ユーザは違和感を覚えることがない。

また、仮想的なベランダと、ユーザ３１が存在する居室１とでは、壁、床、天井のテクスチャは同一としなくても良い。しかしながら、居室１の現在の明るさと、仮想的なベランダの明るさとがある程度対応していたり、仮想的なベランダの明るさが、現在時刻や現在の天気などと対応していることが望ましい。

次に、図７を参照して、室内撮影カメラ２１の設置について説明する。

室内撮影カメラ２１は、居室１の稜線位置の基準を求めるための情報、居室１の壁、床、および、天井のテクスチャ、並びに、居室１の明るさなどの情報を取得するために、居室１内の映像を撮像するものであり、撮像される映像の方向を上下左右に一定以内の角度内で変更可能なパンチルトカメラである。

部屋の付加情報を抽出する室内撮影カメラ２１は、できるだけ、ユーザ３１の視界を遮ることがないように、天井１４の上から吊すのが好適である。その際、居室１内の座標系は、例えば、図７に示されるように、スクリーン３と天井１４の交線の中央を原点（０，０，０）と定め、左の壁１１から右の壁１２の方向に伸びるスクリーン３と平行な軸をＸ軸、床１５から天井１４の方向に伸びるスクリーンと平行な軸をＹ軸、スクリーン３から室内撮影カメラ２１の方向に伸びるスクリーン３に垂直な軸をＺ軸とする。そして、スクリーン３から室内撮影カメラ２１のパンチルトの中心位置までの最短距離をＭ、天井１４から室内撮影カメラ２１のパンチルトの中心位置までの最短距離をＬとして、室内撮影カメラ２１のパンチルトの中心位置の座標が（０,−Ｌ,Ｍ）と定められる。また、原点（０，０，０）から左の壁１１または右の壁１３までの距離は、それぞれＮであり、床１５から天井１４までの距離は、Ｋであるものとする。以下、室内撮影カメラ２１の撮像座標系は、居室１内の座標系に準じて説明する。

次に、図８を参照して、視点取得センサ２２−１および視点取得センサ２２−２の設置について説明する。

視点取得センサ２２−１および視点取得センサ２２−２は、例えば、広角カメラなどにより構成され、居室１内のユーザ３１の重心位置（ｐ、ｑ、ｒ）を取得するためのものである。視点取得センサ２２−１および視点取得センサ２２−２がユーザ３１の重心位置（ｐ、ｑ、ｒ）を取得する場合の座標系も、図７を用いて説明した居室１内の座標系に準じるものとする。また、図８においては、２つの視点取得センサ２２が設置されているものとして図示しているが、視点取得センサ２２の数は、居室内のユーザ３１の重心位置（ｐ、ｑ、ｒ）を取得することができるのであれば、１つまたは複数のいずれの数であっても良い。視点取得センサ２２−１および視点取得センサ２２−２による、居室１内のユーザ３１の重心位置（ｐ、ｑ、ｒ）の取得方法の詳細（一例）については、後述する。

次に、図９は、室内撮影カメラ２１により撮像された居室１内の映像、並びに、視点取得センサ２２−１および視点取得センサ２２−２により取得された映像に基づいて、居室１内のユーザ３１が違和感を覚えない映像をスクリーン３に表示させるための画像処理および映像出力の制御を実行する映像表示制御装置１３１の構成例を示すブロック図である。

リアル室内映像取得部１４１は、室内撮影カメラ２１により撮像された居室１内の映像を取得し、画像処理部１４５のリアル室内映像の稜線情報抽出部１５１に供給する。この映像は、現実世界の居室１の映像であるので、表示される非現実の空間（バーチャルな空間）と区別するために、以下、適宜、リアル室内映像とも称するものとする。

センサ情報取得部１４２は、視点取得センサ２２−１および視点取得センサ２２−２により少なくとも１度撮像された、ユーザ３１のいない居室１内の映像を取得し、背景画像として視点抽出部１４３に供給するとともに、視点取得センサ２２−１および視点取得センサ２２−２により撮像された映像（場合によっては、居室１内のユーザ３１を含む映像）をリアルタイムで取得し、視点抽出部１４３に供給する。

視点抽出部１４３は、視点取得センサ２２−１および視点取得センサ２２−２により撮像された背景画像、すなわち、ユーザ３１のいない居室１内の映像と、リアルタイムで取得されている居室１内の映像を基に、居室１内にユーザ３１が存在するか否かを判断する。また、視点抽出部１４３は、ユーザ３１が存在する場合は、ユーザ３１の重心位置（ｐ、ｑ、ｒ）を抽出し、これを基に、ユーザ３１の視点位置を求め、ユーザ３１の視点位置を示す情報を、画像処理部１４５の、バーチャル空間映像の稜線変換部１５３に供給する。

ここでは、視点取得センサ２２−１および視点取得センサ２２−２により撮像された２つの画像を用いて、ユーザ３１の重心位置が求められる。視点抽出部１４３は、視点取得センサ２２−１および視点取得センサ２２−２により撮像されたユーザ３がいない居室１内の映像を、背景画像として保持している。視点抽出部１４３は、図１０に示されるように、視点取得センサ２２−１によりリアルタイムで取得されている居室１内のユーザ３１を含む映像１８１−１と、保持されている背景画像１８２−１との差分絶対値画像１８３−１を求めるとともに、視点取得センサ２２−２によりリアルタイムで取得されている居室１内のユーザ３１を含む映像１８１−２と、保持されている背景画像１８２−２との差分絶対値画像１８３−２を求める。視点抽出部１４３は、差分絶対値画像１８３−１および差分絶対値画像１８３−２を基に、視点取得センサ２２−１から観察されるユーザ３１の重心位置（θａ，φａ）、および、視点取得センサ２２−２から観察されるユーザ３１の重心位置（θｂ，φｂ）を求めることができる。ここで、パン角をθａおよびθｂ、チルト角をφａおよびφｂとする。また、理論上、チルト角φａおよびφｂは等しい。

そして、視点抽出部１４３は、視点取得センサ２２−１および視点取得センサ２２−２のそれぞれから観察されるユーザ３１の重心位置を基に、居室１内の座標系におけるユーザ３１の重心位置（ｐ、ｑ、ｒ）の座標を求める。ＸＺ平面において、図１１に示されるように、居室１内の座標系におけるユーザ３１の重心位置（ｐ、ｑ、ｒ）のうちのｐおよびｒは、次の式（１）および式（２）、並びに、式（３）および式（４）より求められる。

ｒ＝（Ｎ−ｐ）tanθｂ ・・・（１）
ｒ＝（ｐ＋Ｎ）tanθａ ・・・（２）

ｐ＝（tanθｂ−tanθａ）／（tanθａ＋tanθｂ）×Ｎ ・・・（３）
ｒ＝２×tanθａ×tanθｂ×Ｎ ・・・（４）

また、ＹＺ平面においては、図１２に示されるように、チルト角φａ（＝φｂ）は、次の式（５）で表される。したがって、居室１内の座標系におけるユーザ３１の重心位置（ｐ、ｑ、ｒ）のうちのｑは、次の式（６）により求められる。

tanφｂ＝（−ｑ）／ｒ ・・・（５）
ｑ＝−２×tanθａ×tanθｂ×tanφｂ×Ｎ ・・・（６）

そして、視点抽出部１４３は、上述したようにして求められたユーザ３１の重心位置（ｐ、ｑ、ｒ）を基に、ユーザ３１の視点の床１５からの高さを求める。例えば、視点抽出部１４３は、図１３に示されるように、ユーザ３１が起立していても、着席していても、次の式（７）が成立しているものとして、ユーザの視線の高さは、ユーザの頭の最も高い位置から、１５ｃｍ下であると推定することができる。

床１５から重心までの高さ：ユーザの頭の最も高い位置＝０．５：１・・・（７）

なお、２人以上のユーザが、居室１に存在する場合、それぞれのユーザの重心の中心座標位置を、居室内の仮想的なユーザの重心とし、その重心を基に求められる視点からスクリーン３を見た場合に違和感を持たないような映像が表示されるような制御が行われるものとする。

バーチャル空間データベース１４４は、図３乃至図６を用いて説明した、スクリーン３に表示させるためのバーチャル空間の元となる映像を少なくとも１つ保存しており、スクリーン３に表示させるために画像処理部１４５において処理されるデータを、画像処理部１４５のバーチャル映像の稜線情報抽出部１５２に供給する。バーチャル空間データベース１４４に複数の映像が保存されている場合、いずれのデータに対して画像処理が施されて、画像処理後の映像がスクリーン３に表示されるかは、例えば、ユーザ３１が、図示しないリモコン等入力デバイスを用いて指令することができるようにしてもよい。

また、バーチャル空間データベース１４４に保存されている、スクリーン３に表示させるためのバーチャル空間の元となる映像は、少なくとも１本の稜線が画角の中に入っていなければならない。また、スクリーン３に表示させるためのバーチャル空間の元となる映像には、すべてが表示されるか否かにはかかわらず、４本の稜線が画角の中に含まれていると好適である。更に、バーチャル空間データベース１４４に保存されている、スクリーン３に表示させるためのバーチャル空間の元となる映像のうち、図３および図４を用いて説明した様に居室１を広く感じさせるために表示される映像は、後述するテクスチャ変換や明るさ変換を容易に行うことができるように、白く無地の壁および床が描かれているものであると好適である。

画像処理部１４５は、リアル室内映像取得部１４１から供給された、室内撮影カメラ２１により撮像された居室１内の映像、および、視点抽出部１４３から供給された、居室１に存在するユーザ３１の視点情報を基に、バーチャル空間データベース１４４から供給された、スクリーン３に表示させるためのバーチャル空間の元となる映像を画像処理し、居室１に存在するユーザ３１の視点からスクリーン３に表示された映像を見た場合に、現実の空間と仮想的な空間が違和感なく連続しているように感じられるような映像に変換して、映像出力制御部１４６に供給する。

映像出力制御部１４６は、画像処理部１４５から供給される映像に対して、スクリーン３の表示方法に応じて必要な処理を施して出力する。例えば、スクリーン３に、図２を用いて説明したような複数のプロジェクタ４１を用いて映像が表示される場合、映像出力制御部１４６は、供給された映像に対して、プロジェクタ４１の数や配置に応じて、少なくとも一部が重なるように分割したり、プロジェクタ４１の特性に基づいた補正を行うなどの処理を施し、処理後の映像を複数のプロジェクタ４１にそれぞれ供給する。また、プロジェクタ以外の方法を用いて映像が表示される場合、映像出力制御部１４６においては、その表示方法または表示装置の特性に基づいた処理（例えば、フォーマット変換やガンマ補正など）が実行される。

画像処理部１４５は、リアル室内映像の稜線情報抽出部１５１、バーチャル空間映像の稜線情報抽出部１５２、バーチャル空間映像の稜線変換部１５３、リアル室内映像のテクスチャ情報抽出部１５４、バーチャル空間映像のテクスチャ情報抽出部１５５、バーチャル空間映像のテクスチャ変換部１５６、リアル室内映像の明るさ情報抽出部１５７、バーチャル空間映像の明るさ情報抽出部１５８、バーチャル空間映像の明るさ変換部１５９、および、空間境界重畳処理部１６０により構成されている。

リアル室内映像の稜線情報抽出部１５１は、リアル室内映像取得部１４１から供給された、室内撮影カメラ２１により撮像された居室１内の映像から稜線情報を抽出し、抽出した稜線情報を、バーチャル空間映像の稜線変換部１５３に供給するとともに、リアル室内映像取得部１４１から供給された居室１内の映像を、リアル室内映像のテクスチャ情報抽出部１５４に供給する。

部屋の稜線抽出は、部屋のなかの定常的な（すなわち、時間によって変動することのない）直線を検出することで求められる。リアル室内映像の稜線情報抽出部１５１は、例えば、居室１の映像に、図１４に示される水平方向のフィルタ１９１および垂直方向のフィルタ１９２を有するSobel（ゾーベル）フィルタ、または、Roberts,Prewitt等の一般的なエッジ検出フィルタ等を用いてエッジ検出処理を行い、その後にハフ変換を行って部屋の画像の直線を検出する。そして、リアル室内映像の稜線情報抽出部１５１は、検出された直線群から、図１５に示されるような、部屋の稜線のテンプレート２０１に近いものを選定する。

ハフ変換とは、直線検出のために開発された画像変換技術であり、ノイズ成分を含む画像中から、パラメトリックな図形情報を抽出することができるように、入力空間（ｘ,ｙ）をパラメータ空間（ρ,θ）へマップ（ρ＝ｘｃｏｓθ＋ｙｓｉｎθ）して得られた曲線群の交点により、直線を「点」として表す変換である。

バーチャル空間映像の稜線情報抽出部１５２は、バーチャル空間データベース１４４から供給された、スクリーン３に表示させるためのバーチャル空間の元となる映像から、稜線情報を抽出し、抽出した稜線情報、および、バーチャル空間の元となる映像を、バーチャル空間映像の稜線変換部１５３に供給するとともに、バーチャル空間の元となる映像を、バーチャル空間映像のテクスチャ情報抽出部１５５に供給する。バーチャル空間映像の稜線情報抽出部１５２は、リアル室内映像の稜線情報抽出部１５１と同様の処理により、稜線情報を抽出するようにしても良いし、バーチャル空間データベース１４４にバーチャル空間の元となる映像とともに稜線情報が対応付けられて記憶されるようにし、その稜線情報を抽出するようにしても良い。

バーチャル空間映像の稜線変換部１５３は、視点抽出部１４３から供給された、居室１に存在するユーザ３１の視点情報を基に、居室１に存在するユーザ３１の視点から見た状態で、居室１の左の壁１１と天井１４との境界である左上稜線８１と、バーチャル左上稜線６１とが一直線となり、居室１の右の壁１２と天井１４との境界である右上稜線８２と、バーチャル右上稜線６２とが一直線となり、居室１の右の壁１２と床１５との境界である右下稜線８３と、バーチャル右下稜線６３とが一直線となり、かつ、居室１の左の壁１１と床１５との境界である左下稜線８４と、バーチャル左下稜線６４とが一直線となるように、バーチャル空間映像の稜線情報抽出部１５２から供給されたバーチャル空間の元となる映像を画像処理する。そして、バーチャル空間映像の稜線変換部１５３は、稜線が変換された処理済画像データをバーチャル空間映像のテクスチャ変換部１５６に供給する。

バーチャル空間の元となる映像を画像処理して変換するにあたり、ある視点からある視点の射影幾何の式は、次の式（８）および式（９）で表すことができる。
ｘ＝（ａ₁×ｕ＋ａ₂×ｖ＋ａ₃）／（ａ₇×ｘ＋ａ₈×ｙ＋１）・・・（８）
ｙ＝（ａ₄×ｕ＋ａ₅×ｖ＋ａ₆）／（ａ₇×ｘ＋ａ₈×ｙ＋１）・・・（９）

ここで、ａ₁乃至ａ₈の値は、処理前の画像の少なくとも４点から、処理後の画像の対応する点の射影が決まれば、例えば、最小自乗法などを用いて求めることが可能である。図１６を用いて、稜線の変換について説明する。

具体的には、バーチャル空間映像の稜線変換部１５３は、まず、スクリーン３に表示させるためのバーチャル空間の元となる映像２２２を、室内撮影カメラ２１により撮像された居室１内の映像２２１に投影する。映像を投影するために少なくとも必要となる対応する４点は、例えば、バーチャル空間の元となる映像２２２におけるバーチャル左側の壁５１'、バーチャル右側の壁５２'、バーチャル奥の壁５３'、バーチャル天井５４'、および、バーチャル床５５'の交わる４つの頂点ａ'，ｂ'，ｃ'，ｄ'と、居室１内の映像２２１おけるそれらと対応する点である、バーチャル左側の壁５１、バーチャル右側の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５の交わる４つの頂点ａ，ｂ，ｃ，ｄとすることができる。

スクリーン３に表示させるためのバーチャル空間の元となる映像２２２が、室内撮影カメラ２１の設置位置から撮影された場合と同一の位置を視点としたものではなかった場合、室内撮影カメラ２１により撮像された居室１内の映像２２１と、スクリーン３に表示させるためのバーチャル空間の元となる映像２２２のそれぞれの稜線情報を延長することにより、それぞれの稜線の交点となる消失点を得ることができる。そして、バーチャル空間映像の稜線変換部１５３は、スクリーン３に表示させるためのバーチャル空間の元となる映像の消失点Ｏ'を基に、それぞれの稜線の長さと稜線の端部から消失点Ｏ'までの距離との比、すなわち、バーチャル空間の元となる映像２２２のバーチャル左上稜線６１'、バーチャル右上稜線６２'、バーチャル右下稜線６３'、およびバーチャル左下稜線６４'のそれぞれの長さと、バーチャル奥の壁５３'の４隅ａ'，ｂ'，ｃ'，ｄ'から消失点Ｏ'までの距離との比を求める。

そして、バーチャル空間映像の稜線変換部１５３は、室内撮影カメラ２１により撮像された居室１内の映像２２１において、バーチャル奥の壁５３の４隅の座標ａ，ｂ，ｃ，ｄを、バーチャル空間の元となる映像２２２において求められた比を基に算出し、室内撮影カメラ２１により撮像された居室１内の映像２２１のうち、スクリーン３に対応する部分に投影される、バーチャル奥の壁５３の位置を定めることができる。バーチャル奥の壁５３の位置を定めることは、４本の稜線の長さを決定することと等しい。

そして、バーチャル空間映像の稜線変換部１５３は、スクリーン３に表示させるためのバーチャル空間の元となる映像２２２の４つの頂点ａ'，ｂ'，ｃ'，ｄ'と、室内撮影カメラ２１により撮像された居室１内の映像２２１の４つの頂点ａ，ｂ，ｃ，ｄを基に、その射影行列を計算することができるので、例えば、最小自乗法などを用いて、バーチャル左側の壁５１'、バーチャル右側の壁５２'、バーチャル奥の壁５３'、バーチャル天井５４'、および、バーチャル床５５'のそれぞれの座標を、室内撮影カメラ２１により撮像された居室１内の映像２２１のうちのスクリーン３に対応する部分の座標に投影する射影行列Ｐａ乃至Ｐｅを求めることができる。

次に、バーチャル空間映像の稜線変換部１５３は、視点抽出部１４３から供給された、居室１に存在するユーザ３１の視点情報を基に、射影行列Ｐａ乃至Ｐｅによって生成された投影画像を、スクリーン３に投影するために変換された稜線を有する画像２２３（すなわち、ユーザの視線に対応する画像）に投影する。

バーチャル空間映像の稜線変換部１５３は、視点抽出部１４３から供給された、居室１に存在するユーザ３１の視点情報を基に、ユーザ３１の視点が、画像２２３のいずれの座標位置に対応するかを求める。そして、バーチャル空間映像の稜線変換部１５３は、ユーザ３１の視点に対応する座標位置を消失点Ｏ”として、バーチャル左上稜線６１''、バーチャル右上稜線６２''、バーチャル右下稜線６３''、およびバーチャル左下稜線６４''の角度を求め、上述したようにして求められた稜線と、稜線の端部と消失点との比を基に、バーチャル奥の壁５３''の４隅の座標ａ''，ｂ''，ｃ''，ｄ''の座標位置を定めることができる。バーチャル奥の壁５３''の４隅の座標ａ''，ｂ''，ｃ''，ｄ''の座標位置を定めることは、すなわち、スクリーン３に投影される画像の稜線の長さおよび角度を定めることである。

そして、バーチャル空間映像の稜線変換部１５３は、スクリーン３に表示させるための映像２２３における４つの頂点ａ''，ｂ''，ｃ''，ｄ''と、室内撮影カメラ２１により撮像された居室１内の映像２２１に投影された４つの頂点ａ，ｂ，ｃ，ｄを基に、その射影行列を計算することができるので、例えば、最小自乗法などを用いて、バーチャル左側の壁５１''、バーチャル右側の壁５２''、バーチャル奥の壁５３''、バーチャル天井５４''、および、バーチャル床５５''のそれぞれの座標を投影する射影行列Ｐａ'乃至Ｐｅ'を求めることができる。

このようにして生成されたバーチャル左上稜線６１''、バーチャル右上稜線６２''、バーチャル右下稜線６３''、およびバーチャル左下稜線６４''と、それらで区切られるバーチャル左側の壁５１''、バーチャル右側の壁５２''、バーチャル奥の壁５３''、バーチャル天井５４''、および、バーチャル床５５''によって囲まれる仮想的な空間は、ユーザ３１の視点において、実際の居室１の空間と連続性を有しているように見える。

次に、リアル室内映像のテクスチャ情報抽出部１５４は、リアル室内映像の稜線情報抽出部１５１から供給された居室１内の映像から、居室１の壁、床、天井のテクスチャ情報を抽出し、バーチャル空間映像のテクスチャ変換部１５６に供給するとともに、居室１内の映像を、リアル室内映像の明るさ情報抽出部１５７に供給する。

例えば、リアル室内映像のテクスチャ情報抽出部１５４は、左側の壁１１、右側の壁１２、奥の壁１３、天井１４、および、床１５のそれぞれの位置において得られた画素に対して、周波数解析を行い、定常パターンの現れる周波数を取得し、その定常パターンを、バーチャル左側の壁５１、バーチャル右側の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５のそれぞれに対応付けるためのテクスチャとして抽出する。

バーチャル空間映像のテクスチャ情報抽出部１５５は、バーチャル空間映像の稜線情報抽出部１５２から供給されたバーチャル空間の元となる映像から、壁、床、天井のテクスチャ情報を抽出し、バーチャル空間映像のテクスチャ変換部１５６に供給するとともに、バーチャル空間の元となる映像を、バーチャル空間映像の明るさ情報抽出部１５８に供給する。バーチャル空間映像のテクスチャ情報抽出部１５５は、例えば、リアル室内映像のテクスチャ情報抽出部１５４と同様の処理により、テクスチャ情報を取得するようにしても良いし、バーチャル空間データベース１４４にバーチャル空間の元となる映像とともにテクスチャ情報が対応付けられて記憶されるようにし、そのテクスチャ情報を抽出するようにしても良い。

バーチャル空間映像のテクスチャ変換部１５６は、リアル室内映像のテクスチャ情報抽出部１５４およびバーチャル空間映像のテクスチャ情報抽出部１５５から供給されたテクスチャ情報を基に、バーチャル空間映像の稜線変換部１５３から供給された、稜線が変換された処理済画像データの、壁、天井、床のテクスチャを変換し、テクスチャ変換処理後の画像データを、バーチャル空間映像の明るさ変換部１５９に供給する。

バーチャル空間映像のテクスチャ変換部１５６は、具体的には、左側の壁１１、右側の壁１２、奥の壁１３、天井１４、および、床１５のそれぞれにおいて抽出された定常パターンを、その平均値が１．０となるように正規化した後、バーチャル左側の壁５１、バーチャル右側の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５のそれぞれのテクスチャを変換する。

なお、スクリーン３に表示される映像が、例えば、図３および図４を用いて説明したように、居室１を広く見せるための映像ではなく、図５および図６を用いて説明したように、居室１とは異なる部屋、または、居室１の外側に広がる空間に対応する映像である場合、リアル空間とバーチャル空間のテクスチャを統一する必要はないので、バーチャル空間映像のテクスチャ変換部１５６、リアル室内映像のテクスチャ情報抽出部１５４およびバーチャル空間映像のテクスチャ情報抽出部１５５によるテクスチャ情報の抽出および変換の画像処理は実行されない。

リアル室内映像の明るさ情報抽出部１５７は、リアル室内映像のテクスチャ情報抽出部１５４から供給された居室１内の映像から、居室１の明るさ情報を抽出し、バーチャル空間映像の明るさ変換部１５９に供給する。居室１の明るさ情報の算出方法は、いずれの方法であっても良いが、リアル室内映像の明るさ情報抽出部１５７は、例えば、画像の左右に近い部分の平均輝度値を取得し、これを居室１の明るさ情報と定義するものとしても良いし、画像の所定の範囲内の平均輝度値、または、画像全体に平均的に散らばっている複数の画素の平均輝度値などを居室１の明るさ情報と定義するものとしても良い。

バーチャル空間映像の明るさ情報抽出部１５８は、バーチャル空間映像のテクスチャ情報抽出部１５５から供給されたバーチャル空間の元となる映像から、バーチャル空間の元となる映像の明るさ情報を抽出し、バーチャル空間映像の明るさ変換部１５９に供給する。バーチャル空間の元となる映像の明るさ情報の算出方法は、いずれの方法であっても良いが、例えば、バーチャル空間データベース１４４にバーチャル空間の元となる映像とともに明るさ情報が対応付けられて記憶されるようにし、その明るさ情報が抽出されるようにしても良い。

バーチャル空間映像の明るさ変換部１５９は、リアル室内映像の明るさ情報抽出部１５７から供給された居室１の明るさ情報、および、バーチャル空間映像の明るさ情報抽出部１５８から供給されたバーチャル空間の元となる映像の明るさ情報を基に、バーチャル空間の元となる映像のバーチャル左側の壁５１、バーチャル右側の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５のそれぞれにおいて、輝度を変換し、輝度が変換された映像を、空間境界重畳処理部１６０に供給する。

空間境界重畳処理部１６０は、スクリーン３に表示される映像が、例えば、図３および図４を用いて説明したように、居室１を広く見せるための映像ではなく、図５および図６を用いて説明したように、居室１とは異なる部屋、または、居室１の外側に広がる空間に対応する映像である場合、必要に応じて、バーチャル空間映像の明るさ変換部１５９から供給された、稜線、テクスチャ、および、明るさが変換された映像に対して、図５および図６を用いて説明したようにして、リアル空間とバーチャル空間の境界となる部分の画像を重畳し、映像出力制御部１４６に供給する。

このようにして、画像処理部１４５は、視聴者の視点位置や室内状況に応じた画像処理を実行することにより、居室１に存在するユーザ３１にとって臨場感がある空間を提示することができる。

なお、以上の説明においては、映像表示制御装置１３１において実行される処理では、リアル空間とバーチャル空間の４つの稜線を連続させる場合について説明したが、例えば、図６を用いて説明したように、３本以下の稜線を含む映像をスクリーン３に表示させる場合の処理も、基本的には同様であり、居室１に存在するユーザ３１にとって臨場感がある空間を提示することができる。

次に、図１７のフローチャートを参照して、映像表示制御装置１３１において実行される、映像表示制御処理について説明する。

ステップＳ１において、視点取得センサ２２−１および視点取得センサ２２−２は、ユーザがいない状態の居室を撮像する。映像表示制御装置１３１のセンサ情報取得部１４２は、視点取得センサ２２−１および視点取得センサ２２−２により撮像されたユーザがいない状態の居室の映像を取得し、視点抽出部１４３に供給する。視点抽出部１４３は、供給された映像を背景画像として記憶する。

ステップＳ２において、視点取得センサ２２−１および視点取得センサ２２−２は、居室を撮像し、撮像された映像を、センサ情報取得部１４２に供給する。センサ情報取得部１４２は、視点取得センサ２２−１により撮像された居室の映像を取得し、視点抽出部１４３に供給する。

ステップＳ３において、視点抽出部１４３は、記憶されている背景画像と、供給された映像との差分を算出する。居室１にユーザ３１が存在する場合、背景画像と供給された映像とには、ユーザ３１が画像に含まれる分の差分が発生するので、視点抽出部１４３は、差分値があるか否かを基に、居室１にユーザ３１が存在するか否かを判断する。ステップＳ３において、居室１にユーザ３１が存在しないと判断された場合、処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。

ステップＳ３において、居室１にユーザ３１が存在すると判断された場合、ステップＳ４において、図１８のフローチャートを用いて後述する視点情報抽出処理が実行される。

ステップＳ５において、バーチャル空間映像の稜線情報抽出部１５２は、バーチャル空間映像データベース１４４から、バーチャル空間の元となる映像を読み出す。

ステップＳ６において、図１９のフローチャートを用いて後述する稜線変換処理が実行される。

ステップＳ７において、バーチャル空間映像のテクスチャ情報抽出部１５５は、供給されたバーチャル空間の元となる映像を基に、テクスチャ変換が必要であるか否かを判断する。例えば、図３および図４を用いて説明したように、居室１を広く感じさせるための映像をスクリーン３に表示させる場合、テクスチャ変換は必要であると判断され、図５または図６を用いて説明したように、居室１とは異なる空間が居室１につながっていることを感じさせるための映像をスクリーン３に表示させる場合、テクスチャ変換は必要ないと判断される。

ステップＳ７において、テクスチャ変換が必要ではないと判断された場合、バーチャル空間映像のテクスチャ情報抽出部１５５は、供給されたバーチャル空間の元となる映像をバーチャル空間映像の明るさ情報抽出部１５８に供給し、リアル室内映像のテクスチャ情報抽出部１５４は、撮像された居室１の映像を、リアル室内映像の明るさ情報抽出部１５７に供給し、バーチャル空間映像のテクスチャ変換部１５６は、ステップＳ６の稜線情報変換処理により稜線が変換された映像を、バーチャル空間映像の明るさ変換部１５９に供給し、処理は、ステップＳ９に進む。

ステップＳ７において、テクスチャ変換が必要であると判断された場合、ステップＳ８において、図２０のフローチャートを用いて後述するテクスチャ変換処理が実行される。

ステップＳ７において、テクスチャ変換が必要ではないと判断された場合、または、ステップＳ８の処理の終了後、ステップＳ９において、バーチャル空間映像の明るさ変換部１５９は、明るさ変換が必要であるか否かを判断する。

ステップＳ９において、明るさ変換が必要ではないと判断された場合、バーチャル空間映像の明るさ変換部１５９は、バーチャル空間映像のテクスチャ変換部１５６から供給された映像（必要に応じて、ステップＳ８のテクスチャ変換処理によりテクスチャが変換された映像）を、空間境界重畳処理部１６０に供給し、処理は、ステップＳ１１に進む。

ステップＳ９において、明るさ変換が必要であると判断された場合、ステップＳ１０において、図２１のフローチャートを用いて後述する明るさ変換処理が実行される。

ステップＳ９において、明るさ変換が必要ではないと判断された場合、または、ステップＳ１０の処理の終了後、ステップＳ１１において、空間境界重畳処理部１６０は、空間の境界となる映像の重畳が必要であるか否かを判断する。例えば、図３および図４を用いて説明したように、居室１を広く感じさせるための映像をスクリーン３に表示させる場合、空間の境界となる映像の重畳は必要ではないと判断され、図５または図６を用いて説明したように、居室１とは異なる空間が居室１につながっていることを感じさせるための映像をスクリーン３に表示させる場合、空間の境界となる映像の重畳は必要であると判断される。

ステップＳ１１において、空間の境界となる映像の重畳が必要であると判断された場合、ステップＳ１２において、空間境界重畳処理部１６０は、バーチャル空間映像の明るさ変換部１５９から供給された映像に、空間の境界となる映像を重畳し、処理後の映像を、映像出力制御部１４６に供給する。ステップＳ１１において、空間の境界となる映像の重畳が必要ではないと判断された場合、空間境界重畳処理部１６０は、バーチャル空間映像の明るさ変換部１５９から供給された映像に処理を施さず、映像出力制御部１４６に供給する。

ステップＳ１１において、空間の境界となる映像の重畳が必要ではないと判断された場合、または、ステップＳ１２の処理の終了後、ステップＳ１３において、映像出力制御部１４６は、供給された映像のスクリーン３への表示を制御して、処理が終了される。例えば、図２を用いて説明したように、複数のプロジェクタ４１を用いて、スクリーン３へ映像が表示されるようになされていた場合、映像出力制御部１４６は、供給された映像に対して、プロジェクタ４１の数や配置に応じて、少なくとも一部が重なるように映像を分割し、プロジェクタ４１の特性に基づいた補正を行うなどの処理を施し、処理後の映像を複数のプロジェクタ４１にそれぞれ供給する。また、プロジェクタ以外の方法を用いて映像が表示される場合であっても、映像出力制御部１４６においては、その表示方法または表示装置の特性に基づいた処理（例えば、フォーマット変換やガンマ補正など）が実行される。

このような処理により、撮像された居室１内の映像、取得された居室１内のユーザ３１の視点の位置、および、バーチャル空間の元となる映像を用いて、ユーザが違和感なく居室１と連続していると感じるような仮想空間に対応する映像を、スクリーン３に表示させるようにすることができる。

次に、図１８のフローチャートを参照して、図１７のステップＳ４において実行される、視点情報抽出処理について説明する。

ステップＳ３１において、視点抽出部１４３は、センサ情報取得部１４２から供給された映像を基に、居室に存在するユーザ３１の重心を求める。

具体的には、視点抽出部１４３は、例えば、図１０を用いて説明した様に、視点取得センサ２２−１によりリアルタイムで取得されている居室１内のユーザ３１を含む映像１８１−１と、保持されている背景画像１８２−１との差分絶対値画像を求めるとともに、視点取得センサ２２−２によりリアルタイムで取得されている居室１内のユーザ３１を含む映像１８１−２と、保持されている背景画像１８２−２との差分絶対値画像を求めることにより、それぞれのセンサから観察されるユーザ３１の重心を求めることができる。

ステップＳ３２において、視点抽出部１４３は、複数の撮影点から重心までの、パン角およびチルト角、すなわち視点取得センサ２２−１から観察されるユーザ３１の重心位置（θａ，φａ）、および、視点取得センサ２２−２から観察されるユーザ３１の重心位置（θｂ，φｂ）を求める。ここで、パン角がθａおよびθｂ、チルト角がφａおよびφｂである。また、理論上、チルト角φａおよびφｂは等しい。

ステップＳ３３において、視点抽出部１４３は、重心の座標位置を求める。具体的には、図１１を用いて説明した様に、ユーザ３１の重心位置（ｐ、ｑ、ｒ）のうちのｐおよびｒは、上述した式（１）および式（２）、並びに、式（３）および式（４）より求められ、図１２を用いて説明した様に、ユーザ３１の重心位置（ｐ、ｑ、ｒ）のうちのｑは、上述した式（６）により求められる。

ステップＳ３４において、視点抽出部１４３は、ステップＳ３３において求められた重心の座標位置を基に、例えば、図１３を用いて説明した様にして、ユーザ３１の視点の座標位置を求め、処理は、図１７のステップＳ４に戻り、ステップＳ５に進む。

このような処理により、視点取得センサ２２により取得された映像から、居室１内に存在するユーザ３１の視点の座標を求めることができる。

次に、図１９のフローチャートを参照して、図１７のステップＳ６において実行される稜線変換処理について説明する。

ステップＳ５１において、リアル室内映像の稜線情報抽出部１５１は、リアル室内映像取得部１４１から供給された居室１の映像を基に、居室１の稜線を抽出し、抽出された稜線情報を、バーチャル空間映像の稜線変換部１５３に供給する。具体的には、リアル室内映像の稜線情報抽出部１５１は、例えば、居室１の映像に対して、図１４を用いて説明したSobell（ゾーベル）フィルタ、または、Roberts,Prewitt等の一般的なエッジ検出フィルタ等を用いてエッジ検出処理を行い、その後にハフ変換を行って部屋の画像の直線を検出し、得られた直線群から、図１５に示されるような部屋の稜線のテンプレート２０１に近いものを選定する。

ステップＳ５２において、バーチャル空間映像の稜線変換部１５３は、リアル室内映像の稜線情報抽出部１５１から供給された居室１の稜線を基に、室内撮影カメラ２１から撮像された映像の消失点Ｏを求める。

ステップＳ５３において、バーチャル空間映像の稜線情報抽出部１５２は、バーチャル空間映像データベース１４４から読み出されたバーチャル空間の元となる映像の稜線を抽出し、抽出された稜線情報を、バーチャル空間映像の稜線変換部１５３に供給する。

ステップＳ５４において、バーチャル空間映像の稜線変換部１５３は、バーチャル空間映像の稜線情報抽出部１５２から供給されたバーチャル空間の元となる映像の稜線を基に、消失点Ｏ´を求める。

ステップＳ５５において、バーチャル空間映像の稜線変換部１５３は、バーチャル空間の元となる映像の消失点Ｏ'を基に、図１６を用いて説明した様に、それぞれの稜線と稜線の端部から消失点Ｏ'までの距離との比、すなわち、バーチャル空間の元となる映像２２２のバーチャル左上稜線６１'、バーチャル右上稜線６２'、バーチャル右下稜線６３'、およびバーチャル左下稜線６４'と、それぞれの稜線の延長に対応するバーチャル奥の壁５３'の４隅ａ'，ｂ'，ｃ'，ｄ'から消失点Ｏ'までの距離との比を求め、表示されるバーチャル空間の稜線と奥の壁との交点の座標ａ，ｂ，ｃ，ｄを求める。また、図６を用いて説明した様なバーチャル空間が表示される場合、バーチャル空間の稜線と奥の壁との交点の座標ａ，ｂ，ｃ，ｄに代わって、稜線の終了点が求められる。換言すれば、ステップＳ５５においては、バーチャル奥の壁５３の仮想空間内の奥行き、すなわち、稜線の長さに対応する値が求められる。

ステップＳ５６において、バーチャル空間映像の稜線変換部１５３は、バーチャル空間の元となる映像を、居室１の映像に投影するための射影行列を求める。具体的には、バーチャル空間映像の稜線変換部１５３は、例えば、図１６を用いて説明した様に、スクリーン３に表示させるためのバーチャル空間の元となる映像２２２の４つの頂点ａ'，ｂ'，ｃ'，ｄ'と、室内撮影カメラ２１により撮像された居室１内の映像２２１のうち、スクリーン３に対応する部分に投影されるバーチャル奥の壁５３の４つの頂点ａ，ｂ，ｃ，ｄとを基に、例えば、上述した式（８）および式（９）を、最小自乗法などを用いて解くことにより、バーチャル左側の壁５１'、バーチャル右側の壁５２'、バーチャル奥の壁５３'、バーチャル天井５４'、および、バーチャル床５５'のそれぞれの座標を、居室１の映像２２１のうち、スクリーン３に対応する部分の座標に投影する射影行列Ｐａ乃至Ｐｅを求めることができる。

ステップＳ５７において、バーチャル空間映像の稜線変換部１５３は、視点抽出部１４３により算出されて供給された視点情報を基に、スクリーン３に表示される映像の消失点Ｏ''を求める。すなわち、バーチャル空間映像の稜線変換部１５３は、視点抽出部１４３から供給された、居室１に存在するユーザ３１の視点情報を基に、ユーザ３１の視点が、画像２２３のいずれの座標位置に対応するかを求める。そして、バーチャル空間映像の稜線変換部１５３は、ユーザ３１の視点に対応する座標位置を消失点Ｏ”とする。

ステップＳ５８において、バーチャル空間映像の稜線変換部１５３は、ステップＳ５７において求められた消失点Ｏ”を基に、スクリーン３に表示される映像における稜線、例えば、図１６を用いて説明したバーチャル左上稜線６１''、バーチャル右上稜線６２''、バーチャル右下稜線６３''、およびバーチャル左下稜線６４''の角度を確定する。

ステップＳ５９において、バーチャル空間映像の稜線変換部１５３は、ステップＳ５８において確定された稜線の角度において、ステップＳ５５において求められたそれぞれの稜線と稜線の端部から消失点Ｏ'までの距離との比を基に、スクリーン３に表示される映像の稜線と奥の壁との交点ａ''，ｂ''，ｃ''，ｄ''を求める。

ステップＳ６０において、バーチャル空間映像の稜線変換部１５３は、居室１の映像に投影されたバーチャル空間の映像を、スクリーン３に表示される映像に投影するための射影行列を求め、処理は、図１７のステップＳ６に戻り、ステップＳ７に進む。すなわち、バーチャル空間映像の稜線変換部１５３は、スクリーン３に表示させるための映像２２３における４つの頂点ａ''，ｂ''，ｃ''，ｄ''と、室内撮影カメラ２１により撮像された居室１内の映像２２１に投影された４つの頂点ａ，ｂ，ｃ，ｄを基に、その射影行列を計算することができる。したがって、バーチャル空間映像の稜線変換部１５３は、例えば、最小自乗法などを用いて、居室１の映像２２１のうち、スクリーン３に対応する部分の座標を、実際にスクリーン３に投影される映像２２３のバーチャル左側の壁５１''、バーチャル右側の壁５２''、バーチャル奥の壁５３''、バーチャル天井５４''、および、バーチャル床５５''のそれぞれの座標に投影する射影行列Ｐａ'乃至Ｐｅ'を求めることができる。

このような処理により、バーチャル空間映像データベース１４４に保存されていた、バーチャル空間の元となる映像の稜線が、居室１に存在するユーザ３１から見て、居室１の稜線の延長線上に（居室１の稜線と連続した直線上に）見えるように変換することができる。ユーザ３１が居室１内のいずれの位置にいるかにかかわらず、実際の空間である居室１の稜線と、スクリーン３に表示される映像に含まれる稜線とが同一直線上に見えるようにすることにより、ユーザ３１に、違和感のない仮想的な空間を感じさせることができる映像を提供することができる。

なお、ここでは、バーチャル空間の元となる映像の稜線を基に、消失点Ｏ´を求めるものとして説明したが、バーチャル空間データベース１４４に、バーチャル空間の元となる映像に対応付けて、それぞれの映像の消失点Ｏ´を示す情報を予め記憶させておき、バーチャル空間の元となる映像とともに、対応付けられて記憶されている消失点Ｏ´を示す情報を読み出して利用することができるようにしても良い。それぞれの映像の消失点Ｏ´を示す情報を予め記憶させておくと、例えば、図６を用いて説明したように、稜線が１本存在する映像を表示させるような場合に好適である。

次に、図２０のフローチャートを参照して、図１７のステップＳ８において実行される、テクスチャ変換処理について説明する。

ステップＳ８１において、リアル室内映像のテクスチャ情報抽出部１５４は、リアル室内映像の稜線情報抽出部１５１から供給された居室１内の映像から、壁、床、天井のテクスチャ情報を抽出し、バーチャル空間映像のテクスチャ変換部１５６に供給するとともに、居室１内の映像を、リアル室内映像の明るさ情報抽出部１５７に供給する。

例えば、リアル室内映像のテクスチャ情報抽出部１５４は、供給された映像のうち、左側の壁１１、右側の壁１２、奥の壁１３、天井１４、および、床１５のそれぞれの位置において得られた画素に対して周波数解析を行い、定常パターンの現れる周波数を取得し、その定常パターンをそれぞれのテクスチャとして抽出する。

ステップＳ８２において、バーチャル空間映像のテクスチャ情報抽出部１５５は、バーチャル空間映像の稜線情報抽出部１５２から供給された、バーチャル空間の元となる映像から、壁、床、天井のテクスチャ情報を抽出し、バーチャル空間映像のテクスチャ変換部１５６に供給するとともに、居室１内の映像を、バーチャル空間映像の明るさ情報抽出部１５８に供給する。

バーチャル空間映像のテクスチャ情報抽出部１５５は、例えば、リアル室内映像のテクスチャ情報抽出部１５４と同様の処理により、テクスチャ情報を取得するようにしても良いし、バーチャル空間データベース１４４にバーチャル空間の元となる映像とともにテクスチャ情報が対応付けられて記憶されるようにし、そのテクスチャ情報を抽出するようにしても良い。

ステップＳ８３において、バーチャル空間映像のテクスチャ変換部１５６は、ステップＳ８１においてリアル室内映像のテクスチャ情報抽出部１５４から供給された居室１の壁、床、天井のテクスチャ情報、および、ステップＳ８２においてバーチャル空間映像のテクスチャ情報抽出部１５５から供給されたバーチャル空間の元となる映像の壁、床、天井のテクスチャ情報を基に、バーチャル空間映像の稜線変換部１５３から供給された、稜線が変換された処理済画像データの、壁、天井、床のテクスチャを変換し、変換後の映像を、バーチャル空間映像の明るさ変換部１５９に供給する。

具体的には、バーチャル空間映像のテクスチャ変換部１５６は、左側の壁１１、右側の壁１２、奥の壁１３、天井１４、および、床１５のそれぞれにおいて抽出された定常パターンを、その平均値が１．０となるように正規化した後、バーチャル空間映像の稜線変換部１５３から供給された、稜線が変換された処理済画像データのバーチャル左側の壁５１、バーチャル右側の壁５２、バーチャル奥の壁５３、バーチャル天井５４、および、バーチャル床５５のそれぞれのテクスチャを変換する。ステップＳ８３の処理の終了後、処理は、図１７のステップＳ８に戻り、ステップＳ９に進む。

このような処理により、例えば、図３および図４を用いて説明した様に、スクリーン３に映像を表示させることにより、居室１内のユーザ３１に、違和感なく居室１が広がったように感じさせるようにするために、居室１の壁、床、天井に合わせて、スクリーン３に表示される映像に含まれる壁、床、天井のテクスチャを変更することができる。

次に、図２１のフローチャートを参照して、図１７のステップＳ１０において実行される、明るさ変換処理について説明する。

ステップＳ１０１において、リアル室内映像の明るさ情報抽出部１５７は、リアル室内映像のテクスチャ情報抽出部１５４から供給された、居室１内の映像から、明るさ情報を抽出し、バーチャル空間映像の明るさ変換部１５９に供給する。

ステップＳ１０２において、バーチャル空間映像の明るさ情報抽出部１５８は、バーチャル空間映像のテクスチャ情報抽出部１５５から供給された、バーチャル空間の元となる映像から、明るさ情報を抽出し、バーチャル空間映像の明るさ変換部１５９に供給する。

ステップＳ１０３において、バーチャル空間映像の明るさ変換部１５９は、ステップＳ１０１においてリアル室内映像の明るさ情報抽出部１５７から供給された、居室１内の明るさ情報、および、ステップＳ１０２においてバーチャル空間映像の明るさ情報抽出部１５８から供給された、バーチャル空間の元となる映像の明るさ情報に基づいて、バーチャル空間映像のテクスチャ変換部１５６から供給された、稜線が変換され、必要に応じてテクスチャ変換が施された処理済画像データの、壁、天井、床の明るさ情報、すなわち、画素の輝度値を変換する。ステップＳ１０３の処理の終了後、処理は、図１７のステップＳ１０に戻り、ステップＳ１１に進む。

このような処理により、例えば、図３および図４を用いて説明した様に、スクリーン３に映像を表示させることにより、居室１内のユーザ３１に、違和感なく居室１が広がったように感じさせるようにしたり、図５または図６を用いて説明した様に、スクリーン３に映像を表示させることにより、居室１内のユーザ３１に、他の空間（部屋やベランダなど）が居室１に連続しているように感じさせるようにするために、居室１の明るさに合わせて、スクリーン３に表示される映像の明るさ（輝度値）を変更することができる。

なお、以上説明した処理の順番は、図１７乃至図２１のフローチャートを用いて説明した順番と異なるものであってもかまわない。例えば、明るさ変換処理やテクスチャ変換処理の順番が入れ替わっていたり、稜線変換処理よりも先に行われるようにしても良い。

また、図１７乃至図２１のフローチャートを用いて説明した処理においては、ユーザ３１が居室１に存在することが検出された場合に、ユーザの視点の抽出、稜線変換、テクスチャ変換、明るさ変換の処理、および、空間の境界となる映像を重畳する処理が、それぞれ、リアルタイムに行われるものとして説明した。しかしながら、例えば、視点情報を抽出する処理（例えば、図１８を用いて説明した処理）、および、稜線変換処理のうちの視点情報を利用する処理（例えば、図１８のステップＳ５７乃至ステップＳ６０の処理）、明るさ変換の処理、並びに、空間の境界となる映像を重畳する処理（図１７のステップＳ１１およびステップＳ１２の処理）以外の処理は、ユーザ３１が居室１に存在するか否かを検出する以前に行っておくものとしても良い。そして、ユーザ３１が居室１に存在することが検出されたとき、視点情報を抽出し、稜線変換処理のうちの視点情報を利用する処理を実行し、明るさ変換処理を実行して、得られた映像に、空間の境界となる映像を重畳する処理を施すようにしても良い。

また、室内撮影カメラ２１が居室１の所定の位置に設置された後、画像処理部１４５のリアル室内映像の稜線抽出部１５１により抽出される居室１の稜線情報、および、リアル室内映像のテクスチャ抽出部１５４により抽出される居室１のテクスチャ情報は、基本的に変更されない。したがって、画像処理部１４５のリアル室内映像の稜線抽出部１５１は、予め居室１の稜線情報を取得しておくようにしてもよいし、リアル室内映像のテクスチャ抽出部１５４は、予め居室１のテクスチャ情報を取得しておくようにしてもよい。

更に、データ入力部を設けることなどにより、室内撮影カメラ２１を用いて撮像された居室１の映像を用いて居室１の稜線情報、および、居室１のテクスチャ情報を得る代わりに、居室１の稜線情報、および、居室１のテクスチャ情報に対応するデータの外部入力を受け、入力された居室１の稜線情報、および、居室１のテクスチャ情報を記憶しておき、これを基に、上述した処理と同様の処理を実行するようにしても良い。

次に、図２２は、室内撮影カメラ２１により撮像された居室１内の映像、並びに、視点取得センサ２２−１および視点取得センサ２２−２により取得された映像に基づいて、居室１内のユーザ３１が違和感を覚えない映像をスクリーン３に表示させるための画像処理のうち、稜線を変更する処理を、図９を用いて説明した映像表示制御装置１３１よりも簡易的に実行することができる映像表示制御装置２５１の構成例を示すブロック図である。

映像表示制御装置２５１は、予め居室１の構造およびスクリーン３の大きさが決まっている場合に利用可能である。

なお、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２２の映像表示制御装置２５１は、バーチャル空間映像データベース１４４に代わってバーチャル空間映像データベース２６１が設けられ、画像処理部１４５に代わって画像処理部２６２が設けられている以外は、基本的に、図９の映像表示制御装置１３１と同様の構成を有するものである。

また、画像処理部２６２は、リアル室内映像の稜線情報抽出部１５１が省略され、バーチャル空間映像の稜線情報抽出部１５２およびバーチャル空間映像の稜線変換部１５３に代わって、バーチャル空間映像の稜線変換部２７１が設けられている以外は、基本的に、画像処理部１４５と同様の構成を有するものである。

バーチャル空間映像データベース２６１は、図９を用いて説明したバーチャル空間データベース１４４と同様に、例えば図３乃至図６を用いて説明したような少なくとも１本の稜線が画角の中に入っているバーチャル空間の元となる映像を少なくとも１つ保存している。更に、バーチャル空間映像データベース２６１は、バーチャル空間の元となる映像に対応付けて、ユーザの視野の位置とバーチャル奥の壁５３の４隅（または、４隅のうちの少なくとも１箇所）の座標との関係を示す情報を、テーブル情報として保存している。バーチャル奥の壁５３の４隅の座標は、すなわち、表示される画像の４隅（または、４隅のうちの少なくとも１箇所）から出発する稜線の終点に対応する座標である。なお、バーチャル空間映像データベース２６１は、バーチャル奥の壁５３の４隅（または、４隅のうちの少なくとも１箇所）の座標に代わって、座標を求めるために必要なデータを、テーブル情報に含ませるようにしても良い。

予め居室１の構造およびスクリーン３の大きさが予め分かっている場合、バーチャル空間の元となる映像の稜線がユーザの視点によってどのように変更されるか、すなわち、ユーザ３１の視野の位置とバーチャル奥の壁５３の４隅（または、４隅のうちの少なくとも１箇所）の座標との関係を予め算出することが可能である。バーチャル空間映像データベース２６１には、それぞれの映像に対応付けられて、ユーザ３１の視野の位置とバーチャル奥の壁５３の４隅（または、４隅のうちの少なくとも１箇所）の座標との関係を示すテーブル情報が記録されている。

バーチャル奥の壁５３の４隅の座標を求めるために必要なデータは、例えば、４隅のうちの少なくとも１点の座標と、バーチャル奥の壁５３のたてと横の長さであっても良いし、４隅のうちの少なくとも１点の座標と、その座標に対して対向する位置にあるバーチャル奥の壁５３の隅へ向かうベクトル情報（対角線に対応するベクトル情報）などであってもよい。すなわち、バーチャル奥の壁５３の４隅の座標を求めるために必要なデータは、バーチャル奥の壁５３の４隅の座標を求めることができるのであれば、いかなる形式のデータであっても良い。

また、ここでは、テーブル情報を保存しているものとして説明したが、ユーザの視点に対応付けて、スクリーン３に表示される映像のうち、バーチャル奥の壁５３の４隅の座標を容易に求めることができるような情報であれば、例えば、視点と座標の関係を示す関数式など、いずれの形式の情報であってもかまわないことはいうまでもない。

バーチャル空間映像データベース２６１は、バーチャル空間の元となる映像と、対応するテーブル情報を、バーチャル空間映像の稜線変換部２７１に供給する。バーチャル空間データベース２６１に複数の映像が保存されている場合、いずれのデータに対して画像処理が施されて、画像処理後の映像がスクリーン３に表示されるかは、例えば、ユーザ３１が、図示しないリモコン等入力デバイスを用いて指令することができるようにしてもよい。

バーチャル空間映像の稜線変換部２７１は、バーチャル空間映像データベース２６１から、バーチャル空間の元となる映像と、対応するテーブル情報を取得するとともに、視点抽出部１４３から、居室１に存在するユーザ３１の視点情報の供給を受ける。バーチャル空間映像の稜線変換部２７１は、図２３に示されるように、テーブル情報を基に、居室１に存在するユーザ３１の視点に対応するバーチャル奥の壁５３の４隅の座標ａ，ｂ，ｃ，ｄを求め、４隅の座標ａ，ｂ，ｃ，ｄを基に、スクリーン３に表示される映像におけるバーチャル左上稜線６１、バーチャル右上稜線６２、バーチャル右下稜線６３、および、バーチャル左下稜線６４を容易に決定することができ、対応する４点を用いて、射影行列を求めることが可能となる。

すなわち、図９を用いて説明した映像表示制御装置１３１においては、上述したように、ユーザ３１の視点によって、スクリーン３に表示させる映像の消失点の座標を求め、バーチャル空間の元となる映像から室内撮影カメラ２１によって撮影された映像のうちのスクリーン３に対応する部分に映像を投影した後、更に、表示される映像の消失点が、ユーザ３１の視点に応じた消失点となるように、再度、映像を投影することにより、スクリーン３に表示させる映像が生成されるようになされていた。これに対して、図２２の映像表示制御装置２５１においては、処理を簡単にするために、図２３に示されるように、スクリーン３に表示される映像のうち、バーチャル奥の壁５３の４隅の座標の情報（または、座標を求めるために必要な情報）を、ユーザの視点に対応付けて予め用意しておき、テーブル情報として保持するようにしたので、図９を用いて説明した映像表示制御装置１３１における場合よりも容易に、居室３１に存在するユーザが違和感を覚えない映像をスクリーン３に表示させるようにすることが可能となる。

図２２を用いて説明した映像表示制御装置２５１が実行する処理は、図１７のフローチャートを参照して説明した映像表示制御処理のうち、ステップＳ６において実行される稜線変換処理（図１９のフローチャートを参照して説明される処理）に代わって、図２４のフローチャートを参照して説明される簡易稜線変換処理が実行されるものである。

次に、図２４を参照して、図２２を用いて説明した映像表示制御装置２５１が実行する簡易稜線変換処理について説明する。

なお、図２２を用いて説明した映像表示制御装置２５１は、図１７のフローチャートを参照して説明した映像表示制御処理のうち、ステップＳ６において図２４のフローチャートを参照して説明した簡易稜線変換処理を実行するが、それ以外の処理は、図１７のフローチャートを用いて説明した場合と基本的に同様の処理を実行するので、その説明は省略する。

ステップＳ１３１において、バーチャル空間映像の稜線変換部２７１は、バーチャル室内映像データベース２６１から読み出されたバーチャル空間の元となる映像に対応する、稜線とバーチャル奥の壁５３との交点を示す情報のテーブルを読み出す。

ステップＳ１３２において、バーチャル空間映像の稜線変換部２７１は、視点抽出部１４３により算出された視点情報を基に、スクリーン３に表示される映像における稜線とバーチャル奥の壁５３との交点（図２３における座標ａ，ｂ，ｃ，ｄ）を示す情報を抽出する。

ステップＳ１３３において、バーチャル空間映像の稜線変換部２７１は、図２３に示されるように、スクリーンに表示される映像における稜線（バーチャル左上稜線６１、バーチャル右上稜線６２、バーチャル右下稜線６３、および、バーチャル左下稜線６４）を確定する。

ステップＳ１３４において、バーチャル空間映像の稜線変換部２７１は、２つの映像の対応する４点、すなわち、スクリーン３に表示される映像における仮想的な稜線と仮想的な奥の壁との４交点（図２３における座標ａ，ｂ，ｃ，ｄ）と、バーチャル空間の元となる映像の奥の壁の４隅の点とを基に、バーチャル空間の元となる映像を、スクリーン３に表示される映像に投影するための射影行列を求め、処理は、図１７のステップＳ６に戻り、ステップＳ７に進む。

このような処理により、スクリーン３に表示される映像の稜線を、簡単な処理で、ユーザが違和感を覚えないように変更することが可能となる。

以上説明したように、本発明を適用することにより、居室１の壁一面に設けられたスクリーン３に表示される映像の少なくとも１本の稜線が、居室１に存在する視聴者、すなわちユーザ３１の視点から見える居室１内の稜線と連続する直線上に見えるように表示される。これにより、居室１に存在する視聴者、すなわちユーザ３１に提示される仮想的な空間が、ユーザ３１の視点から見て、居室１の空間と違和感なく連続しているように感じられるものとなる。

実際の空間である居室１に対して連続するように提示される仮想的な空間は、少なくとも１本の稜線を含んでいれば、例えば、居室１を広げる空間であっても良いし、居室１と連続して存在する他の部屋であっても良いし、居室１の外部に広がるベランダなどの空間であっても良い。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図９を用いて説明した映像表示制御装置１３１や図２２を用いて説明した映像表示制御装置２５１のすべてまたは一部は、図２５に示されるようなパーソナルコンピュータ３０１により構成される。

図２５において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、本明細書において、複数の装置により構成されるシステムの一部、または、全部が実行する処理が、それよりも少ない数の装置によって実現される場合であっても、または、本明細書において、１つの装置が実行する処理が、複数の装置によって実現される場合であっても、本発明は適用可能であることは言うまでもない。

本発明の一実施の形態に係る映像表示システムについて説明するための図である。 投影室の構成について説明するための図である。 スクリーンに表示される映像の第１の例について説明するための図である。 図３の映像がスクリーンに表示された状態について説明するための図である。 スクリーンに表示される映像の第２の例について説明するための図である。 スクリーンに表示される映像の第３の例について説明するための図である。 室内撮影カメラの設置について説明するための図である。 視点取得センサの設置について説明するための図である。 映像表示制御装置の構成例を示すブロック図である。 ユーザの重心位置の取得について説明するための図である。 ユーザの重心位置の座標の取得について説明するための図である。 ユーザの重心位置の座標の取得について説明するための図である。 ユーザの視点位置の座標の取得について説明するための図である。 Sobelフィルタについて説明するための図である。 部屋の稜線のテンプレートについて説明するための図である。 稜線の変換について説明するための図である。 映像表示制御処理について説明するためのフローチャートである。 視点情報抽出処理 稜線変換処理 テクスチャ変換処理 明るさ変換処理 映像表示制御装置の異なる構成例を示すブロック図である。 稜線の決定について説明するための図である。 簡易稜線変換処理について説明するためのフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 居室， ２ 投射室， ３ スクリーン， １１ 左の壁， １２ 右の壁， １３ 背面の壁， １４ 天井， １５ 床， ２１ 室内撮影カメラ， ２２ 視点取得センサ， ４１ プロジェクタ， ５１ バーチャル左の壁， ５２ バーチャル右の壁， ５３ バーチャル奥の壁， ５４ バーチャル天井， ５５ バーチャル床， ６１ バーチャル左上稜線， ６２ バーチャル右上稜線， ６３ バーチャル右下稜線， ６４ バーチャル左下稜線， ８１ 左上稜線， ８２ 右上稜線， ８３ 右下稜線， ８４ 左下稜線， ９１ 居室の境界線， １０１ 風景， １３１ 映像表示制御装置， １４１ リアル室内映像取得部， １４２ センサ情報取得部， １４３ 視点抽出部， １４４ バーチャル空間映像データベース， １４５ 画像処理部， １４６ 映像出力制御部， １５１ リアル室内映像の稜線情報抽出部， １５２ バーチャル空間映像の稜線情報抽出部， １５３ バーチャル空間映像の稜線変換部， １５４ リアル室内映像のテクスチャ情報抽出部， １５５ バーチャル空間映像のテクスチャ情報抽出部， １５６ バーチャル空間映像のテクスチャ変換部， １５７ リアル室内映像の明るさ情報抽出部， １５８ バーチャル空間映像の明るさ情報抽出部， １５９ バーチャル空間映像の明るさ変換部， １６０ 空間境界重畳処理部， ２５１ 映像表示制御装置， ２６１ バーチャル室内映像データベース， ２６２ 画像処理部， ２７１ バーチャル室内映像の稜線変換部

Claims (10)

1. ユーザが存在している空間を囲む平面のうちのいずれか一面の全面に表示される画像を処理する画像処理装置において、
   表示される前記画像を観察する前記ユーザを含む映像を取得する映像取得手段と、
   前記映像取得手段により取得された前記ユーザを含む映像を基に、前記ユーザの視点位置を検出する視点位置検出手段と、
   表示される前記画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを記憶する記憶手段と、
   前記視点位置検出手段により検出された前記ユーザの視点位置を基に、前記記憶手段により記憶されている前記画像データの前記稜線を変換する稜線変換手段と
   を備えることを特徴とする画像処理装置。
2. 前記ユーザが存在している空間の稜線情報を取得する稜線情報取得手段を更に備え、
   前記稜線変換手段は、前記稜線情報取得手段により取得された前記ユーザが存在している空間の稜線情報を用いて、前記記憶手段により記憶されている前記画像データの前記稜線を変換する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記稜線情報取得手段は、前記ユーザが存在している空間の映像を取得して、取得された映像から直線成分を検出し、所定のテンプレートと比較することにより、前記ユーザが存在している空間の稜線情報を取得する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記稜線情報取得手段は、エッジ検出フィルタを用いてエッジ検出を行い、更に、ハフ変換を実行することにより、取得された映像から直線成分を検出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記記憶手段は、少なくとも１本の稜線を含む前記画像を表示するための前記画像データに対応付けて、表示される前記画像の４隅のうちの少なくとも１箇所から出発する前記稜線の終点に対応する座標を示す情報を、前記ユーザの視点位置ごとに更に保存し、
   前記稜線変換手段は、前記視点位置検出手段により検出された前記ユーザの視点位置を基に、前記記憶手段により記憶されている前記稜線の終点に対応する座標を示す情報のうち、前記ユーザの視点位置に対応する情報を抽出し、抽出された情報を基に、前記画像データの前記稜線を変換する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記ユーザが存在している空間の映像を取得する空間映像取得手段と、
   前記空間映像取得手段により取得された映像に基づいて、前記ユーザが存在している空間の所定の部分のテクスチャ情報を抽出するテクスチャ情報抽出手段と、
   前記テクスチャ情報抽出手段により抽出された前記テクスチャ情報を基に、記記憶手段により記憶されている前記画像データの対応する部分のテクスチャを変換するテクスチャ変換手段と
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記ユーザが存在している空間の映像を取得する空間映像取得手段と、
   前記空間映像取得手段により取得された映像に基づいて、前記ユーザが存在している空間の明るさ情報を抽出する明るさ情報抽出手段と、
   前記明るさ情報抽出手段により抽出された前記明るさ情報を基に、記記憶手段により記憶されている前記画像データの所定の部分の画素の輝度を変換する輝度変換手段と
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
8. ユーザが存在している空間を囲む平面のうちのいずれか一面の全面に表示される画像を処理する画像処理装置の画像処理方法において、
   表示される前記画像を観察する前記ユーザを含む映像を取得する映像取得ステップと、
   前記映像取得ステップの処理により取得された前記ユーザを含む映像を基に、前記ユーザの視点位置を検出する視点位置検出ステップと、
   表示される前記画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを所定の記憶部から読み出す読み出しステップと、
   前記視点位置検出ステップの処理により検出された前記ユーザの視点位置を基に、前記読み出しステップの処理により読み出された前記画像データの前記稜線を変換する稜線変換ステップと
   を含むことを特徴とする画像処理方法。
9. ユーザが存在している空間を囲む平面のうちのいずれか一面の全面に表示される画像の処理をコンピュータに実行させるためのプログラムであって、
   表示される前記画像を観察する前記ユーザを含む映像を取得する映像取得ステップと、
   前記映像取得ステップの処理により取得された前記ユーザを含む映像を基に、前記ユーザの視点位置を検出する視点位置検出ステップと、
   表示される前記画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを所定の記憶部から読み出す読み出しステップと、
   前記視点位置検出ステップの処理により検出された前記ユーザの視点位置を基に、前記読み出しステップの処理により読み出された前記画像データの前記稜線を変換する稜線変換ステップと
   を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
10. ユーザが存在している空間を囲む平面のうちのいずれか一面の全面に表示される画像を処理する画像処理装置と、
    前記画像処理装置により処理された前記画像を表示する表示装置と、
    前記ユーザが存在している空間において、表示される前記画像を観察する前記ユーザを含む映像を撮像する撮像装置と
    により構成される画像表示システムにおいて、
    前記画像処理装置は、
    前記撮像装置により撮像された、前記ユーザを含む映像を取得する映像取得手段と、
    前記映像取得手段により取得された前記ユーザを含む映像を基に、前記ユーザの視点位置を検出する視点位置検出手段と、
    表示される前記画像の元となる画像データであって、少なくとも１本の稜線を含む画像を表示するための画像データを記憶する記憶手段と、
    前記視点位置検出手段により検出された前記ユーザの視点位置を基に、前記記憶手段により記憶されている前記画像データの前記稜線を変換する稜線変換手段と、
    前記稜線変換手段により前記稜線が変換された前記画像データの前記表示装置への出力を制御する出力制御手段と
    を備えることを特徴とする画像表示システム。

Images