JP2010049346A - 画像表示装置 - Google Patents

Abstract

【課題】 広角画像を複数の閉曲面に貼り付けて姿勢を設定し、特定の視点からこれを眺めることで、絶対的な位置および方向感覚を失うことなく、広角画像全体を直感的に理解できる広角画像表示装置を実現する。
【解決手段】 画像表示装置において、画像を第一の閉曲面の内側、および、第一の閉曲面に含まれる第二の閉曲面の外側に貼り付ける手段と、少なくとも一つの前記閉曲面を表示する手段と、少なくとも一つの前記閉曲面の位置および姿勢を指定する手段と、少なくとも一つの前記閉曲面を特定の位置から見た画像を表示する手段と、第一の閉曲面の中心から指定した方向を見た画像を表示する画像表示手段とを設ける。
【選択図】 図１

Description

本発明は画像表示装置に関し、より具体的には広角画像を表示する技術に関する。

広角画像の例としてパノラマ画像や全方位画像がある。パノラマ画像はカメラを水平方向に回転しながら撮影した複数枚の画像を張り合わせたものであり、表示例として非特許文献１がある。

Ｑｕｉｃｋ Ｔｉｍｅ ＶＲの撮影および表示原理を図８に示す。図８−（ａ）において、カメラ８−１を軌道８−２に沿って回転しながら複数枚の画像を撮影した後に、これらを張り合わせてパノラマ画像８−３を得る。この画像は８−５に示すように、横軸が撮影角度θ、縦軸が中心投影による位置Ｙを表わす画像データからなっている。言い換えれば視点を中心とする円筒形を撮像面とするパノラマ画像である。ここで任意方向の画像は、例えば８−４のように位置を指定し、その部分の中心投影画像８−６を用いてこれを表示する。

全方位画像の表示例としてはＩＰＩＸ社の方式がある。この方式は広角の魚眼レンズで撮影した２枚の画像から、水平・垂直方向が各々３６０度の全方位画像モデルを作成し、そこから任意方向の画像を再生成して表示する。

また、非特許文献２では任意方向に姿勢を設定できるカメラでパン、チルト各々３６０度の方位を撮影した複数枚の画像から全方位画像モデルを構築し、ここから任意方向の透視投影画像を再合成する手法を提案している。

さらに、非特許文献３では回転双曲面鏡を用いて撮影した側方３６０度の画像から、所望する方向の透視投影画像を生成する手法を提案している。
Quick Time VR（S.E.Chen:"Quick Time VR-An image based approach to virtual environment navigation",Proc.SIGGRAPH95,pp.29-38,Aug.1995.） 「和田，浮田，松山："Appearance Sphere-パン・チルト・ズームカメラのための背景モデル−"，画像の認識と理解シンポジウムMIRU’96,Vol.2,pp.103-108」 「山澤，尾上，横矢，竹村：全方位画像からの視線追従型実時間画像生成によるテレプレゼンス"，電子情報通信学会論文誌（D-II），Vol.J81-DII,NO．5,pp.880-887,May 1998.」

従来の広角画像表示方式は広角画像データから所望する方向の通常画像（透視投影画像）を生成・表示するものであり、広角画像の全体像は同時に表示されないものが多かった。また方向を指定する方式としては、数字により指定したり、画像上の特定の位置を指示して方向の相対的な変化を指定したりするものであったため絶対的な方向感覚が得にくかった。また図８−３のようなパノラマ画像を表示して、この画像上で位置を指定することにより、所望の方向の中心投影画像を表示する例もあるが、この場合においてもパノラマ画像の左右端が実際の方位においては連続であることが直感的に理解しにくかった。

本発明は、広角画像から生成した通常画像を表示する手段と、広角画像全体を複数の球面に貼り付けて、これを指定した位置・姿勢から見た画像を表示する手段とを提供することにより、広角画像全体を見る際に絶対的な方向感覚を直感的に表示する画像表示装置の実現を目的とする。また前記球面（以下大球と称す）の内側に小球を設け、縮小した広角画像を小球の外側に貼り付けて大球の内側と小球の外側とを同時に表示することにより、前方後方にわたって死角の少ない広角画像を表示する画像表示装置の実現を目的とする。

本発明では、画像を第一の閉曲面の内側、および、第一の閉曲面に含まれる第二の閉曲面の外側とに貼り付ける手段と、少なくとも一つの前記閉曲面を表示する手段とを持つ画像表示装置であって、少なくとも一つの前記閉曲面を特定の位置および姿勢から見た画像を表示する手段と、少なくとも一つの前記閉曲面の位置および姿勢を指定する手段と、第一の閉曲面の中心から指定した方向を見た画像を表示する画像表示手段とを設ける。

以上の説明からも明らかなように、本発明は画像表示装置において複数の閉曲面を用いて少なくとも一つの閉曲面が他の閉曲面を包含する関係に位置させ、広角画像を複数の閉曲面の内外に貼り付ける機能と、前記複数の閉曲面を特定の位置・姿勢において見たときに、視点が最も外側の閉曲面の内側にある場合には視界内にある同閉曲面の内側と他の閉曲面の外側とを表示し、視点が最も外側の閉曲面の外側にある場合には、視点を頂点とし閉曲面に接する錐体と同閉曲面との接線で閉曲面を切断し、視線方向奥にある閉曲面の一部の内側と他の閉曲面の外側とを表示する機能と、特定の視点位置を指定する位置指定機能と、閉曲面の姿勢を指定する機能と、指定した視点から閉曲面の中心に伸びた直線方向を視線方向とし、球の中心を新たな視点とする実視点投影画像を閉曲面投影画像とあわせて表示する機能とを設ける。

これにより広角画像を自由な視点から絶対的な位置感覚と方向感覚を失うことなく眺めることができ、また、このような広角画像表現において前方に加えて後方の視野も確保した死角の少ない表示方法を実現し、さらに、実視点画像と広角画像の対応関係を直感的に把握できる画像表示装置を実現することができる。

次に、本発明の詳細を実施例の記述に従って説明する。

本実施例のハードウェア構成を説明するブロック図を図１に示す。

画像表示装置はＣＰＵ１−２、ＲＯＭ１−３、ＲＡＭ１−４、二次記憶１−５を具備する。また、フレキシブルディスクドライブ、ＭＯドライブなどの外部入出力機器との接続を行うためのＩ／Ｏ１−１０を具備する。また操作のために、マウスなどのポインティングデバイス１−６、キーボード１−７を接続する。また、操作画面や画像表示のためにビデオＲＡＭ１−８を具備し、モニタ１−９を接続する。さらに、ネットワーク１−１２を通じて操作を行ったり、画像を送受信したりするための通信装置１−１１を具備する。

ＣＰＵ１−２、ＲＯＭ１−３、ＲＡＭ１−４、二次記憶１−５、ポインティングデバイス１−６、キーボード１−７、ビデオＲＡＭ１−８、通信装置１−１１は内部バス１−１に接続する。図１の画像表示装置はグラフィック表示機能を持つ市販のパーソナルコンピュータなどにより簡単に実現できる。

本実施例における画像表示方式の概念を以下に説明する。

図２は広角画像取得方式の例である。広角画像は例えば図２−（ａ）のように撮影する。この例では、カメラ２−１を水平・垂直の各方向に３６０度回転させて複数枚の画像を撮影する。この際に隣接する画像間で画像が重なるように撮影を行い、撮影終了後画像の張り合わせを行って一枚の広角画像を生成する。撮影方式によっては３６０度の範囲を撮影しないものもある。また魚眼レンズなどを用いることにより複数枚ではなく一枚で広角画像を撮影する手段もある。このように広角画像の撮影手段には様々なものが存在するが、本発明は広角画像の撮影手段に依存するものではない。

広角画像のデータ構造例を図２−（ｂ）に示す。２−３が広角画像データである。２−４に示すように、画像の水平座標は水平方向の撮影角度を表わし、垂直座標は垂直方向の撮影角度を表わしている。また広角画像２−３の幅と高さをＷ，Ｈ（画素）とし、撮影画角をθｗ、φｈ（ｒａｄ．）とする。ここで水平方向の角度θ、垂直方向の角度φの点Ｐｍ（２−５）の位置を（θ、φ）で表わし、輝度をＩｍ（θ、φ）で表わすことができる。なお、２−３のデータ構造は広角画像のデータ構造の一例であり、本発明はデータ構造に依存するものではない。

図２−（ｃ）は画像データ２−３を球面２−６にマッピングする様子を示したものである。球の半径ｒは任意に設定可能であるが、例えば、
ｒ＝ｍａｘ（ｒθ、ｒφ），ｒθ＝Ｗ／θｗ、ｒφ＝Ｈ／φｈ
ただし、ｍａｘ（Ｘ，Ｙ）はＸとＹのうち大きい方。
などとすることにより、画像データの解像度を失うことなく貼り付けが可能である。この際に球面上の点Ｐｓ（θ、φ）の輝度値は対応する画像モデル上の画素Ｐｍ（θ、φ）の輝度値Ｉｍ（θ、φ）を用いる。ここで左右の順序関係を保つため、球の外側に貼る画像と内側に貼る画像の左右の関係は反転しておく。画像データは標本化して持つため、球面と広角画像上のθ、φは一対一には対応しないが、その場合には周辺画素を用いて当該画素の輝度値を補間する。補間方法は線形補間、三次内挿補間などいくつかの方法があるが本発明は補間の方法に依存するものではない。このような画像の貼り付け（テクスチャマッピング）は標準的なグラフィックライブラリを用いることで実現が可能である。

ここで貼り付ける面は球面の内側、外側を問わない。また球の半径ｒは任意の大きさに設定可能である。以上の方法を用いることにより、広角画像を内面に貼り付けた大球と外面に貼り付けた小球の二つの球面を作成することができる。内球は複数設置することが可能であるが、以下では説明の簡単化のため一つとして説明する。

次に二つの球面の表示方法を、図３と図４を用いて説明する。図３、図４は異なる視点に関する説明であり、大球、小球、視点や投影面の断面図が図示されている。視点は無限遠点と大球の中心とを結ぶ半直線上を移動する。このような視点移動は表示画像上では画像の拡大・縮小に相当する。大球と小球は自由に姿勢を設定できるが、大球の姿勢と小球の姿勢は同一とする。

図３は視点３−１が球の外側にある場合を説明したものであり、図３−（ａ）が本実施例に関わる画像表示手段の説明である。図３−（ａ）には大球３−１と大球の中に小球３−２が存在し、広角画像は大球３−１の内側と、小球３−２の外側に貼り付けられている。

ここで大球に関しては、視点３−３を頂点とし球に接する円すいと球との交線によって構成される面３−６でこれを二つに分断し、視点３−３から見て奥にある半球の内側３−７を表示画像平面３−５に投影する。また小球に関しては視点３−３から見える球の外側部分３−８をそのまま投影面３−５に投影する。姿勢の変更に関して大球と小球は同一の角度で姿勢を変更する。これにより、小球が視線方向と反対側の縮小画像を表示し、バックミラーのような効果を提供する。大球と小球の位置関係は後述するＧＵＩによって変更する。

次に図４は視点が大球の内側にある場合を示したものである。大球の内側に視点４−１がある場合には、大球の内側部分しか視野内に入ることはないため、視点が大球の外側にある場合のように大球を二分する必要はなく、視野内にある大球の内側部分４−２を表示画像平面４−３に直接投影することにより表示画像を生成できる。ここで小球は視点の位置によって視野内に入る場合もあれば入らない場合もある。

このように特定の視点位置と球面の姿勢とを指定し、視点位置に応じ図３、図４の表示方式を用いて二つの球面を表示することで、視点の絶対的な位置感覚および姿勢感覚を保ちつつ、広角画像の全体像を把握する画像表示方式を実現できる。

次に広角画像を実際に撮影した視点から見た画像（以下実視点画像と呼ぶ）を表示する方法を、図５を用いて説明する。実視点画像の視点を大球の中心Ｃとする。また実視点画像の視線方向は、広角画像表示の際の視点５−１から大球の中心Ｃにおろした直線の方向とする。実画像の画角αは実際のカメラの画角を参考にして設定する。視野内の大球の内側５−２を実視点画像表示平面５−３に投影することにより、実視点画像５−４を生成する。

次に視点の位置設定と、球面の姿勢設定を行うグラフィカルユーザーインターフェース（ＧＵＩ）の例を図６に示す。図６−（ａ）は表示例であり、図６−（ｂ）は操作を説明するための補助図である。図６−（ａ）において、６−１は実視点画像であり、６−２は広角画像である。広角画像は大小両方の球面６−３、６−４を表示する。視点の位置および球面の姿勢は６−６および６−７のボタン類、もしくは６−５のマウスカーソルによって指定する。またファイル操作やプログラムの終了などの一般的な命令はメニュー６−８により行う。

視点位置および球面の姿勢を指定する方法を述べる。図６−（ａ）において、ボタン６−６を押下ことにより、６−９に示すように視点と大球の中心との距離を変更することで視点位置すなわち表示倍率を変更する。ボタン６−７の上下左右ボタンを押下することにより、６−１０、６−１１に示すように、両球の水平・垂直角度を変更する。また６−７の中央ボタンを押下したときには視点位置および球面の姿勢を初期位置に戻す。

カーソル６−５は大球に対して、ボタン６−６の視点位置変更機能と、ボタン６−７の姿勢変更機能との両方の機能を持つ。例えばマウスの左ボタンを用いて大球上でカーソル６−５をドラッグ操作する場合にはボタン６−７の姿勢変更機能と等価な機能を持ち、ドラッグの方向と距離に応じて姿勢を変更する。同様にマウスの中央ボタンを用いて大球上でカーソル６−５をドラッグ操作する場合には、ボタン６−６の視点位置変更機能と等価な機能を持ちドラッグの方向と距離に応じて視点位置を変更する。

カーソル６−５はまた小球上で小球の位置変更を指示する機能を持つ。小球上でドラッグすることにより、小球を大球に包含される範囲内で上下左右に移動する。これにより大球の内側における所望の画像を隠すことのない場所に小球を移動する。

次に本実施例の処理手順を図７のフローチャートに示す。

開始後、Ｓ７０１において装置の起動などの初期化を行う。次にＳ７０２において広角画像データを読み込む。ここで読み込み元はハードディスクなどの二次記憶装置やネットワークの接続先など様々である。次にＳ７０３において、広角画像および実画像を生成し、図６に示したような画面を表示する。次にＳ７０４において、操作の入力待ちをする。何か入力があると、Ｓ７０５以下において入力された命令に応じた処理を行う。

まずＳ７０５において、命令が姿勢変更命令かどうか判断する。ボタン６−７のカーソル６−５を操作した場合にこの命令が発生する。該当する場合にはＹ分岐し、Ｓ７０６において前述した球の姿勢変更処理を行う。該当しない場合にはＮ分岐する。

次にＳ７０７において視点変更命令かどうか判別する。ボタン６−６やカーソル６−５を操作した場合にこの命令が発生する。該当する場合にはＹ分岐し、Ｓ７０８において前述した視点変更処理を行う。該当しない場合にはＮ分岐する。

次にＳ７０９において、表示初期化命令かどうか判断する。ボタン６−７の中央にある表示初期化ボタンを押したときにこの命令が発生する。該当する場合にはＳ７１０において、視点および球の姿勢を初期化する表示初期化処理を行う。該当しない場合にはＮ分岐する。

次にＳ７１１において、内球の位置変更命令かどうかを判断する。カーソル６−５を内球上で操作した場合にこの命令が発生する。該当する場合にはＳ７１２においてない球の位置変更処理を行う。

Ｓ７０５、Ｓ７０７、Ｓ７０９、Ｓ７１１においてＹ分岐した場合にはＳ７０３において表示を更新する。更新後、命令受付処理Ｓ７０４に戻って処理を続ける。

Ｓ７１１においてＮ分岐した場合にはＳ７１３において、命令がプログラム終了命令である場合にはＹ分岐しプログラムを終了する。別の命令の場合にはＮ分岐する。この他にもメニュー６−８を用いて指示される画像保存などの一般的な命令が存在するが、これらに関しては説明を省略する。

以上の説明からも明らかなように、本実施例によれば広角画像を表示する際に大小二つの球面を用い、大球の中に小球を置き、大球の内側および小球の外側に画像データを貼り付けて、任意の姿勢および特定の視点からこれらを見る広角画像表示装置を実現する。この際に、視点が大球の内側にある場合には、大球内面および小球外面を画像平面に投影し、視点が大球の外側にある場合には、大球内面の一部と小球外面を画像平面に投影する広角画像表示装置を実現する。また大球の姿勢に応じて、視線方向の実視点画像を表示する広角画像表示装置を実現する。さらに大小両球の姿勢・表示倍率および小球の位置などを指定するグラフィカルユーザーインターフェースを用いて、広角画像と実視点画像とを同時に表示する広角画像表示装置を実現する。

次に第二の実施例を述べる。本実施例は第一の実施例において小球に関わる画像の貼り付け方法を変更することにより、大球と小球の実際の位置関係にもとづく画像表示を行うものである。以下、第一の実施例と異なる部分についてのみ説明する。

本実施例における広角画像の表示方式を、図３−（ｂ）に示す。図には大球３−９および小球３−１０が存在し、視点３−１１から大球の中心３−１２を見て、両球を表示画像面３−１３に投影する。ここで広角画像は大球３−９の内側３−１５にのみ貼り付けられており、小球の表面は鏡面とする。小球には大球の内面が例えば３−１６に示すように反射して映るため、広角画像を直接貼り付ける代わりに鏡面に映った大球の内側部分を貼り付ける。このようなテクスチャの貼り付け方式は標準的なグラフィックライブラリを用いて実装が可能である。その後、第一の実施例における表示原理図である図３−（ａ）と同様な方式により、両球を投影画像面３−１３に投影する。

以上の説明において視点は大球の外に存在するが、大球の内に存在するときも表示原理は同一である。ここで視点位置の移動範囲は第一の実施例と同一である。本実施例では、球面の姿勢の変更に関しては大球のみでよい。なぜならば、小球は鏡面であるため姿勢変更の必要はないからである。

以上の説明からも明らかなように、第二の実施例によれば、第一の実施例における小球の表面を球面とすることにより、大球の内側の画像を小球表面に反射させ、これを表示画像面に投影する。これにより、表示の際に大球と小球および視点と表示画像平面との位置関係を反映した広角画像表示装置を実現する。

本発明の一実施例のハードウェア構成を示すブロック図。 広角画像の取得および生成方法を示す原理図。 広角画像を貼り付けた複数の球面の表示原理図１。 広角画像を貼り付けた複数の球面の表示原理図２。 実視点画像の表示原理図。 広角画像と実視点画像とを同時に表示し表示姿勢や視点位置操作を行う画面表示例。 広角画像表示装置の動作処理手順を示すフローチャート。 広角画像の取得および表示に関する従来例。

Claims (10)

1. 画像を閉曲面に貼り付ける手段を持ち、画像を貼り付けた複数の閉曲面を表示する手段を持つ画像表示装置であって、前記複数の閉曲面が、内側に画像を貼り付けた一つの閉曲面が、外側に画像を貼り付けた互いに接することのない残りの複数の閉曲面を包含する位置関係にあること、を特徴とする画像表示装置。
2. 前記画像を貼り付ける手段とは、最も外側の閉曲面の中心から閉曲面を見込む角度と画像の撮影角度とを一致させて画像の貼り付けを行うこと、を特徴とする請求項１に記載の画像表示装置。
3. 前記画像を閉曲面に貼り付ける手段とは、比例関係にある画像を複数の閉曲面に貼り付けること、を特徴とする請求項１又は請求項２に記載の画像表示装置。
4. 前記画像を閉曲面に貼り付ける手段とは、最も外側の閉曲面に内包される複数の閉曲面の表面を鏡面とし、最も外側にある閉曲面の内側の画像を、視点と表示画像平面と複数の閉曲面との位置関係にもとづいて、内包された閉曲面の表面に交線追跡により対応づける手段であること、を特徴とする請求項１又は請求項２に記載の画像表示装置。
5. 前記複数の閉曲面を特定の位置および姿勢から見た画像を表示するときに、視点が閉曲面群の外側にある場合には、視点を頂点とし最も外側の閉曲面に接する錐体と同閉曲面との接線で同平曲面を切断し、視線方向奥にある部分閉曲面の内側と残りの閉曲面の外側とを表示し、視点が最も外側の閉曲面の内側にある場合には、外側の閉曲面の内側部分と残りの閉曲面の外側とを表示する手段を持つこと、を特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
6. 前記複数の閉曲面がその姿勢を同期して変更する手段を持つこと、を特徴とする請求項１〜請求項５のいずれかに記載の画像表示装置。
7. 視点の移動範囲は最も外側の閉曲面の中心と無限遠点とを結ぶ直線上で移動する手段を持つこと、を特徴とする請求項１〜請求項６のいずれかに記載の画像表示装置。
8. 特定の視点から複数の閉曲面を見たときに、最も外側の閉曲面の中心を新たな視点として、元の視点から最も外側の閉曲面の中心に向けて伸ばした直線の方向を視線方向とし、視線方向に垂直に立つ投影面に、最も外側の閉曲面の内側に貼り付けられた画像を投影した画像を表示する手段を持つこと、を特徴とする請求項１〜請求項７のいずれかに記載の画像表示装置。
9. 前記複数の閉曲面は球面であること、を特徴とする請求項１〜請求項８のいずれかに記載の画像表示装置。
10. 所望の視点位置および閉曲面の姿勢を指定し、また、最も外側の閉曲面を除く複数の閉曲面の位置を指定する手段を持つこと、を特徴とする請求項１〜請求項９のいずれかに記載の画像表示装置。

Images