JP2019133310A - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Abstract

【課題】本発明は、より立体感のある全天球画像を提供することができ、仮想的な環境に全天球画像を提供するときに、より臨場感のある全天球画像を提供することができるようにする。【解決手段】本発明に係る画像処理装置は、立体感のある全天球画像を形成する画像処理装置であって、全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成するモデル形成手段と、３次元空間に設定した仮想基準点の座標値と、３次元メッシュ形状モデルの各画素の座標値とに基づいて、各画素の座標値を全天球画像の座標系に変換し、３次元メッシュ形状モデルに全天球画像をマッピングして全天球立体画像を形成する描画手段とを備えることを特徴とする。【選択図】 図１

Description

本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関し、例えば、立体感のある全天球画像を形成する画像処理装置に適用し得るものである。

近年、３６０度の画像を撮像することができる全天球カメラ（又は、「全方位カメラ」、「３６０度カメラ」等とも呼ばれている。）がある。このような全天球カメラが撮像した画像は、例えば、「全天球画像」、「全方位画像」、「３６０度画像」等と呼ばれている。

従来、仮想空間に全天球画像を提供する技術として特許文献１及び２がある。

特許文献１には、ユーザが装着しているＨＭＤの位置や傾きが変化すると、ＨＭＤセンサにより検知されたＨＭＤの相対的な位置変化や傾き変化に連動させて、仮想空間上の視覚画像を変動させることが記載されている。

特許文献２には、ユーザが並進移動して視点位置が変わった場合に、その視点位置に合わせた画像を提供することが記載されている。より具体的に、特許文献２には、ワールド座標系で中心と半径とを決めた複数のパノラマ球を、パノラマ球間で方角を合わせてワールド座標系に配置させておき、ユーザの視点位置が現在のパノラマ球内になく、視点位置が別のパノラマ球内にある場合には、その別のパノラマ球に切り替えることが開示されている。

特開２０１７−２０１４７７号公報 特開２０１６−６２４８６号公報

しかしながら、従来の全天球画像は、図２〜図４に例示するように、球体のメッシュ形状モデルを形成し（図３参照）、球体の中心から球体の内面に３６０度画像（図２参照）をマッピングしたものであり（図４参照）、ユーザは球体の内側から球体の内面に貼られた全天球画像を見ることになる。全天球画像は、球体の中心から球体内面に投影されたものであるため、視点からの距離感が一定であり、立体感が感じられないという問題がある。

また、特許文献１及び２等のように、例えばＶＲ（仮想現実感）などの仮想的な環境に全天球画像を提供する場合、仮想空間を見ているユーザが、現実空間で上下方向、前後方向、左右方向に移動しても、仮想空間での視点が変動しないので、臨場感に掛けるという問題もある。

例えば、水平方向に地面があり、その地面の奥側に建物などが建っているような、立体視される全天球画像をＨＭＤで見ているユーザが、現実空間で起立の姿勢からしゃがんだ姿勢に移動する場合を考える。このような場合に、現実空間での視点は地面に近づくように変動するので、仮想空間の視点も地面に近づいた位置に変動することが求められるが、従来の全天球画像は球体中心から球体内面に投影された画像であるため、視点が変動せず、地面に近づいた位置から見える画像とはならないという問題がある。

本発明は、上記課題に鑑み、より立体感のある全天球画像を提供することができ、仮想的な環境に全天球画像を提供するときに、より臨場感のある全天球画像を提供することができる画像処理装置、画像処理方法及び画像処理プログラムを提供しようとするものである。

かかる課題を解決するために、第１の本発明に係る画像処理装置は、立体感のある全天球画像を形成する画像処理装置であって、（１）全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成するモデル形成手段と、（２）３次元空間に設定した仮想基準点の座標値と、３次元メッシュ形状モデルの各画素の座標値とに基づいて、各画素の座標値を全天球画像の座標系に変換し、３次元メッシュ形状モデルに全天球画像をマッピングして全天球立体画像を形成する描画手段とを備えることを特徴とする。

第２の本発明に係る画像処理プログラムは、立体感のある全天球画像を形成する画像処理プログラムであって、コンピュータを、（１）全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成するモデル形成手段、（２）３次元空間に設定した仮想基準点の座標値と、３次元メッシュ形状モデルの各画素の座標値とに基づいて、各画素の座標値を全天球画像の座標系に変換し、３次元メッシュ形状モデルに前記全天球画像をマッピングして全天球立体画像を形成する描画手段として機能させることを特徴とする。

第３の本発明に係る画像処理方法は、立体感のある全天球画像を形成する画像処理方法であって、（１）モデル形成手段が、全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成し、（２）描画手段が、３次元空間に設定した仮想基準点の座標値と、３次元メッシュ形状モデルの各画素の座標値とに基づいて、各画素の座標値を全天球画像の座標系に変換し、３次元メッシュ形状モデルに全天球画像をマッピングして全天球立体画像を形成することを特徴とする。

本発明によれば、より立体感のある全天球画像を提供することができ、仮想的な環境に全天球画像を提供するときに、より臨場感のある全天球画像を提供することができる。

実施形態に係るメッシュ形状モデルに全天球画像をＵＶマッピングして得た全天球立体画像を示す図である。 全天球画像を示す画像図である。 従来の全天球画像を投影させる球体のモデルを示す図である。 従来の球体の内面にマッピングさせた全天球画像を示す図である。 実施形態に係る画像処理システムの全体構成を説明する説明図である。 実施形態に係る表示デバイスの内部構成を示す内部構成図である。 実施形態に係る画像処理装置の機能構成を示すブロック図である。 実施形態において、全天球画像に合わせて形成したメッシュ形状モデルを示す図である。 実施形態係るメッシュ形状モデルに全天球画像をＵＶマッピングする処理を説明する説明図である。 実施形態において、全天球画像上における各ピクセルのヨー角からＵ座標を算出する算出方法を説明する説明図である。 実施形態において、全天球画像上における各ピクセルのピッチ角からＶ座標を算出する算出方法を説明する説明図である。

（Ａ）実施形態
以下では、本発明に係る画像処理装置、画像処理プログラム及び画像処理方法の実施形態を、図面を参照しながら詳細に説明する。

この実施形態では、本発明を利用して、全天球画像に合わせて、ポリゴンメッシュが関連付けられたモデル（以下では、「メッシュ形状モデル」とも呼ぶ。）を形成し、そのメッシュ形状モデルに全天球画像をマッピング（描画）して立体的な全天球画像（以下では、「全天球立体画像」とも呼ぶ。）を提供する場合を例示する。

なお、全天球画像は、全天球静止画、全天球動画のいずれであってもよいが、この実施形態では、全天球画像が全天球静止画である場合を例示する。また、以下では、説明を容易にするため、図２に例示する全天球画像を用いて説明するが、全天球画像は、少なくとも地面や床面や水面や天井等のように水平面を画像中に含んでいれば様々なものを用いることができる。

（Ａ−１）実施形態の構成
（Ａ−１−１）全体構成
図５は、実施形態に係る画像処理システムの全体構成を説明する説明図である。

図５において、実施形態に係る画像処理システム１は、表示デバイス１００と、画像処理装置２００とを有する。

画像処理装置２００は、全天球画像に合わせてメッシュ形状モデルを形成し、仮想的な基準点（以下では、「仮想基準点」とも呼ぶ。）から、メッシュ形状モデルの各画素（ピクセル）までのベクトル方向を画素（ピクセル）毎に導出し、各画素のベクトル方向に基づいてメッシュ形状モデルの各画素に、対応する全天球画像の一部分をマッピングしていき全天球立体画像を形成する。画像処理装置２００は、表示デバイス１００と接続しており、形成した全天球立体画像を表示デバイス１００に提供する。

また、画像処理装置２００は、表示デバイス１００から、表示デバイス１００自体の姿勢情報（表示デバイス１００の位置や傾きの相対的な変位に関する情報）を適宜取得しており、表示デバイス１００の相対的な変位に連動させて、視点を仮想的な基準点から変位させて全天球立体画像を変化させる。

なお、表示デバイス１００自体の位置・姿勢情報については、画像処理装置２００が、表示デバイス１００に搭載される姿勢センサ１２から取得するようにしてもよいし、又はユーザの位置や姿勢を感知する外部デバイス（例えばポジショントラッキングシステム）を現実空間に配置し、その外部デバイスから姿勢情報を取得するようにしてもよい。また、表示デバイス１００と画像処理装置２００は有線接続であってもよいし、無線接続であってもよい。

画像処理装置２００は、例えばＧＰＵ等のコンピュータ上に実装される３次元グラフィックス開発エンジン（ソフトウェア）を利用して実現することができる。なお、３次元グラフィック開発エンジンは、特に限定されるものではないが、例えば、ＵｎｉｔｙやＵｎｒｅａｌＥｎｇｉｎｅ等の開発エンジンを適用することができる。

表示デバイス１００は、画像処理装置２００と接続しており、画像処理装置２００により形成された全天球立体画像を取得し、その全天球立体画像を表示するものである。表示デバイス１００には、表示デバイス１００自身の姿勢情報を検知する姿勢センサ１２（図２参照）が搭載されており、姿勢センサ１２により得られた姿勢情報を画像処理装置２００に適宜与える。これにより、表示デバイス１００の相対的な変位に連動して、視点を変動させた全天球立体画像が表示される。

なお、この実施形態では、表示デバイス１００が、ユーザの頭部に装着可能なヘッドマウントディスプレイ（ＨＭＤ）である場合を例示する。しかし、表示デバイス１００は、ＨＭＤに限定されるものではない。少なくとも全天球立体画像を表示可能なデバイスであればよく、例えば、スマートフォンやタブレット端末やパーソナルコンピュータ（ＰＣ）等のディスプレイや、全天球画像を表示する専用デバイス等としてもよい。

また、図５では、表示デバイス１００としてのＨＭＤがゴーグル型のＨＭＤである場合を例示しているが、ゴーグル型に限定されるものではなく、ＨＭＤはメガネ型等のデバイスであってもよい。いずれにしても、表示デバイス１００は、仮想環境や現実環境を拡張した画像等を表示することができるデバイスを広く適用できる。

図５において、表示デバイス１００は、本体部１１０、本体部１１０の上部に設けられている前頭部接触部１２０、本体部１１０の両側端部に設けられている側頭部接触部１３０を有する。

本体部１１０には表示部１５（図６参照）が搭載されており、又側頭部接触部１３０には音出力部１６（図６参照）が搭載されている。これにより、表示デバイス１００を装着したユーザは全天球立体画像を視聴することができる。この実施形態では、音出力部１６が搭載されている表示デバイス１００を例示するが、表示デバイス１００は音出力部１６が搭載されていないものであってもよく、例えばヘッドフォン端子がある表示デバイス１００が、ヘッドフォン端子を通してヘッドフォンを接続できるものでもよい。

表示デバイス１００は、図５に例示するＨＭＤに限定されるものではなく、少なくとも全天球画像を表示するデバイスであればよく、例えば、スマートフォンやタブレット端末やパーソナルコンピュータ（ＰＣ）等のディスプレイや、全天球立体画像を表示する専用デバイス等としてもよい。また、図５では、表示デバイス１００としてのＨＭＤがゴーグル型のＨＭＤである場合を例示しているが、ゴーグル型に限定されるものではなく、ＨＭＤはメガネ型等のデバイスであってもよい。いずれにしても、表示デバイス１００は、仮想環境や現実環境を拡張した画像等を表示することができるデバイスを広く適用できる。

（Ａ−１−２）表示デバイス１００の内部構成
図６は、実施形態に係る表示デバイス１００の内部構成を示す内部構成図である。

図６において、表示デバイス１００は、制御部１０、記憶部１１、姿勢センサ１２、外部入出力インタフェース部１３、出力インタフェース部１４、表示部１５、音出力部１６を有する。

制御部１０は、表示デバイス１００の機能を司るものである。例えばＣＰＵ等のプロセッサを適用できる。制御部１０は、画像処理装置２００からの全天球画像を表示するアプリケーションがインストールされており、外部入出力インタフェース部１３を通じて画像処理装置２００から取得した全天球立体画像を、出力インタフェース部１４を通じて表示部１５に表示する。また、制御部１０は、姿勢情報を画像処理装置２００に与えるため、姿勢センサ１２により検知された姿勢情報を、外部入出力インタフェース部１３を通じて画像処理装置２００に与える。

記憶部１１は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等の記憶領域であり、処理プログラムや、処理に必要なデータやパラメータを一時的に記憶する。

姿勢センサ１２は、表示デバイス１００の本体部１１０の位置、傾き等の姿勢情報を検知する。例えば、姿勢センサ１２は、ジャイロセンサ、加速度センサ、角加速度センサ、地磁気センサ等のいずれか又はこれらを組み合わせたものを適用できる。

外部入出力インタフェース部１３は、画像処理装置２００や周辺機器等と接続するためのインタフェースであり、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ ＢＵＳ）、ＨＤＭＩ（登録商標、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等である。

出力インタフェース部１４は、制御部１０と、表示部１５や音出力部１６との間の接続インタフェースである。

表示部１５は、例えば液晶ディスプレイや有機ＥＬ等を適用でき、音出力部１６は、例えばスピーカ、ヘッドフォン、イヤホン等を適用できる。

（Ａ−１−３）画像処理装置２００の機能構成
図７は、実施形態に係る画像処理装置２００の機能構成を示すブロック図である。

図７において、画像処理装置２００は、描画モデル形成手段２１０、描画手段２２０、表示制御手段２３０、画像保持部３００を有する。画像処理装置２００のハードウェアは図示しないが例えばＧＰＵ等を適用できる。

画像保持部３００は、全天球画像を保持するものである。全天球画像は、全天球カメラにより撮像された３６０度画像である。この実施形態では、特に、立体視され得る全天球画像とする。例えば、３次元空間で水平に伸びる地面や水平線、建物などの立体物などが撮像されている全天球画像とする。画像保持部３００には、例えば、全天球カメラにより撮像された全天球画像であってもよいし、インターネットからダウンロードしたものであってもよい。

描画モデル形成手段２１０は、全天球画像に合わせたメッシュ形状モデルをモデリングする。描画モデル形成手段２１０は、上述したような３次元グラフィックス開発エンジンを利用してモデリングすることができる。描画モデル形成手段２１０の機能としては、オブジェクト作成・編集部２１１と、モデルレイアウト作成・編集部２１２とを有している。

オブジェクト作成・編集部２１１は、３次元空間に、モデルとしてのオブジェクトを作成したり、モデル表面にメッシュを関連付けたりして、メッシュ形状モデルを作成・編集する。モデル（ポリゴン）は、例えば、球体、平面形状、立方体、直方体、円柱形状など様々なものを選択したり、作成したりすることができる。またモデルの表面には三角形や四角形のメッシュを関連付けることもできる。これにより、全天球画像に対して、基本となる球体のメッシュ形状モデルを作成したり、全天球画像に立体感を持たせるために、全天球画像における地面の部分に相当する平面形状のモデルや、全天球画像に存在するオブジェクトに合わせたモデルなどを作成・編集したりすることができる。

モデルレイアウト作成・編集部２１２は、オブジェクト作成・編集部２１１で作成した複数のメッシュ形状モデルの位置などのレイアウトを作成・編集する。これにより、全天球画像の基本となる球体のメッシュ形状モデルに、１又は複数の他のオブジェクトのメッシュ形状モデルを重畳させたり、各オブジェクトのメッシュ形状モデルの位置関係を決めたりすることができる。

描画手段２２０は、３次元空間に仮想的な基準点（以下では、「仮想基準点」とも呼ぶ。）を設定し、仮想基準点からモデリングしたメッシュ形状モデルの各ピクセルの向きをピクセル毎に求め、各ピクセルの仮想基準点からの向きに基づいてＵＶ座標を求めて、全天球画像をメッシュ形状モデルにマッピングする。描画手段２２０の機能としては、仮想基準点設定部２２１、ピクセル向き導出部２２２、マッピング部２２３、視点変動制御部２２４を有する。

仮想基準点設定部２２１は、描画モデル形成手段２１０の３次元空間において、仮想基準点を設定する。仮想基準点は、３次元空間上であれば任意の位置に設定することができる。

ピクセル向き導出部２２２は、仮想基準点から、描画モデル形成手段２１０でモデリングしたメッシュ形状モデルの各ピクセルの向きをピクセル毎に導出する。各ピクセルの向きは、仮想基準点から各ピクセルのヨー角及びピッチ角とする。

マッピング部２２３は、仮想基準点から各ピクセルを見たときのヨー角及びピッチ角に基づいてＵＶ座標に変換し、３次元空間におけるメッシュ形状モデルの各ピクセルに対して全天球画像をＵＶマッピングする。

視点変動制御部２２４は、表示制御手段２３０の姿勢情報取得部２３２から表示デバイス１００の姿勢情報としての相対的な変化量を取得すると、仮想基準点から上記相対的な変化量に相当する変化量だけ変位させた位置を視点とし、その視点から全天球立体画像を見たときの画像を出力する。これにより、表示デバイス１００の位置が上下方向、前後方向、左右方向に移動したときに、表示デバイス１００の移動に連動した、新たな視点から見える全天球立体画像を、表示デバイス１００に提供することができる。

表示制御手段２３０は、画像出力部２３１、姿勢情報取得部２３２を有する。

画像出力部２３１は、表示デバイス１００に全天球立体画像を提供するために、描画手段２２０により形成された全天球立体画像を表示デバイス１００に出力する。

姿勢情報取得部２３２は、表示デバイス１００から姿勢情報を取得し、その姿勢情報を描画手段２２０に与えるものである。表示デバイス１００の相対的な変位に応じて視点の位置を変動させた全天球立体画像を形成させることができる。

（Ａ−２）実施形態の動作
次に、実施形態に係る画像処理装置２００における画像処理方法の動作を、図面を参照しながら詳細に説明する。

以下では、図２に例示する全天球画像を、メッシュ形状モデルにマッピングする場合を例示して説明する。

図２の全天球画像は、全天球カメラで撮像した３６０度画像である。この実施形態では、説明を容易にするために、白と黒のコントラストでなる画像としている。図２の全天球画像は、主として、地面の部分と、奥行き方向にある背景画像と、地面の上に立方体の箱が載置されているものとする。

（Ａ−２−１）メッシュ形状モデルの形成処理
図８は、図２の全天球画像に合わせて形成したメッシュ形状モデル５０を示す図である。

メッシュ形状モデルの形成処理は、主に、描画モデル形成手段２１０において行うことができるが、必要に応じて描画手段２２０と連携をとりながら行ってもよい。例えば、描画モデル形成手段２１０において、全天球画像に合わせてメッシュ形状モデルを形成する際に、全天球画像に最適なメッシュ形状のモデリングやモデルのレイアウトを行なうために、描画手段２２０で３次元空間に仮想基準点の設定をしたり、又は必要であれば仮想基準点の設定変更などをしたりして、一時的に形成したメッシュ形状モデルに対して全天球画像をマッピングさせながら、図２の全天球画像に最適なメッシュ形状モデルを形成するようにしてもよい。例えば、全天球画像を撮像した全天球カメラの位置を仮想基準点としてメッシュ形状モデルをモデリングするようにしてもよい。

描画モデル形成手段２１０は、３次元グラフィック開発エンジンを利用してメッシュ形成モデルをモデリングする。メッシュ形状モデルをモデリングする３次元空間は座標で表すことができる。

描画モデル形成手段２１０では、まず、オブジェクト作成・編集部２１１により、ワールド座標系の任意の位置を中心とする球体のモデルを形成する。そして、この球体の表面に三角形又は四角形の複数のポリゴンを形成（モデリング）して、ポリゴンがメッシュを形成して、球体のメッシュ形状モデル５１を形成する。

次に、図２の全天球画像中には水平面に相当する地面の部分がある。この水平面の地面の部分に関してモデリングをするため、オブジェクト作成・編集部２１１では、平面形状のモデルを形成する。

オブジェクト作成・編集部２１１では、図２の全天球画像における地面に相当する部分のメッシュ形状モデルを形成するため、平面形状のモデルを形成し、この平面形状のモデルに複数のポリゴンを形成して、ポリゴンがメッシュを形成して、平面形状のメッシュ形状モデル５２を作成する。ここで、平面形状のメッシュ形状モデル５２では、立体感（遠近感）を持たせるために、仮想基準点からの透視投影等によりメッシュ形状モデル５２を形成する。手前側のメッシュが奥側のメッシュよりも大きくなるようにしている。

さらに、モデルレイアウト作成・編集部２１２により、先に形成した球体のメッシュ形状モデル５１に、平面形状のメッシュ形状モデル５２を重畳させる。このとき、球体のメッシュ形状モデル５１と、平面形状のメッシュ形状モデル５２との交差部分（エッジ部分）では、メッシュの頂点を一致させることが望ましいが、必ずしもメッシュの頂点が一致していなくてもよい。

さらに、オブジェクト作成・編集部２１１では、図２の全天球画像に存在する立方体の箱の部分に相当するメッシュ形状モデルを形成するため、立方体のモデルを形成し、この立方体のモデルに複数のメッシュを関連付けて、立方体のメッシュ形状モデル５３を作成する。そして、モデルレイアウト作成・編集部２１２により、平面形状のメッシュ形状モデル５２若しくは球体のメッシュ形状モデル５１に、立方体のメッシュ形状モデル５３を重畳させる。

上記のようにして、球体のメッシュ形状モデル５１、平面形状のメッシュ形状モデル５２、立方体のメッシュ形状モデル５３の複数のモデルのメッシュ形状を重畳させて（組み合わせて）、これらオブジェクトを結合させることにより、図２の全天球画像に合った最適なメッシュ形状モデル５０を形成する。

なお、上記では、図２の全天球画像を一例としているため、球体、平面形状、立方体のモデルを使用してモデリングしているが、全天球画像の特徴に応じて、適宜、適切なモデル（ポリゴン）を選択したり又は作成したりしてもよい。

（Ａ−２−２）全天球画像のマッピング処理
次に、描画モデル形成手段２１０で形成した、図２の全天球画像に合ったメッシュ形状モデル５０に、図２の全天球画像をＵＶマッピングする処理を、図面を参照しながら説明する。

なお、全天球画像のＵＶマッピングは、主として描画手段２２０により実現することができる。

図９は、メッシュ形状モデル５０に図２の全天球画像をＵＶマッピングする処理を説明する説明図である。

図１は、メッシュ形状モデル５０に図２の全天球画像をＵＶマッピングして得た全天球立体画像を示す図である。

上述したように、メッシュ形状モデル５０を形成した３次元空間はワールド座標で表され、図９に示すようにＸ座標、Ｙ座標、Ｚ座標とし、原点（０，０）とする。なお、図９では左手座標系で表しているが、これに限定されず、右手座標系で表してもよい。

また、描画手段２２０では、仮想基準点設定部２２１により、３次元空間の任意の位置に仮想基準点６１を設定する。この仮想基準点６１の位置は、３次元空間の任意の位置であれば特に限定されるものではない。図９の例のでは、球体のメッシュ形状モデル５１の中心を通る法線上に仮想基準点６１を設定する場合を例示する。すなわち、３次元の球体の中心を仮想基準点６１と設定している。

描画手段２２０では、ピクセル向き導出部２２２が、メッシュ形状モデル５０の各ピクセルについて、仮想基準点６１から各ピクセルを見たときのヨー角及びピッチ角をピクセル毎に導出する。

そして、マッピング部２２３は、全天球画像上における、各ピクセルのヨー角に基づいてＵ座標、ピッチ角からＶ座標を求める。

これは、図２の全天球画像は２次元テクスチャ座標で表すことができる。つまり、全天球画像の各部分のベクトルを（Ｕ，Ｖ）で表される。マッピング部２２３が、メッシュ形状モデル５０に全天球画像をＵＶマッピングする際、メッシュ形状モデル５０の各ピクセルが全天球画像のどの部分に対応するかを示す情報として各ピクセルの２次元テクスチャ座標を使用する。従って、上記のように、マッピング部２２３は各ピクセルのヨー角及びピッチ角に基づいて、各ピクセルのＵＶ座標を求めている。つまり、メッシュ形状モデル５０の３次元座標を展開して、全天球画像の２次元座標（Ｕ，Ｖ）に対応付けをとる情報を出力している。

以下に、図１０及び図１１を参照して、全天球画像上における、各ピクセルのＵ座標及びＶ座標を算出する算出方法の一例を説明する。

なお、全天球画像上における各ピクセルのＵ座標及びＶ座標の算出方法は、特に限定されるものではない。

図１０は、全天球画像上における各ピクセルのヨー角からＵ座標を算出する算出方法を説明する説明図である。なお、図１０は、平面形状のメッシュ形状モデル５２の平面図を示している。

図１１は、全天球画像上における各ピクセルのピッチ角からＶ座標を算出する算出方法を説明する説明図である。なお、図１１は、球体のメッシュ形状モデル５１の正面図を示している。

仮想基準点６１のワールド座標を（Ｘ０，Ｙ０，Ｚ０）とし、今回ＵＶ座標を算出するピクセルのワールド座標を（Ｘ１，Ｙ１，Ｚ１）としてマッピング部２２３に入力する。マッピング部２２３は、下記の（１）式〜（３）式に従って、仮想基準点から見た当該ピクセルのベクトル（ｄＸ，ｄＹ，ｄＺ）を計算する。
ｄＸ＝Ｘ１−Ｘ０ …（１）
ｄＹ＝Ｙ１−Ｙ０ …（２）
ｄＺ＝Ｚ１−Ｚ０ …（３）

次に、マッピング部２２３は、下記（４）式、（５）式に、（ｄＸ,ｄＹ,ｄＺ）を代入して、当該ピクセルのＵ座標、Ｖ座標を計算して、これを当該ピクセルのＵＶ座標として出力する。
Ｕ＝（１．０−ａｔａｎ２（ｄＺ,ｄＸ）／２ＰＩ）％１．０ …（４）
Ｖ＝ａｔａｎ２（ｄＹ,ｍａｇｎｉｔｕｄｅ（ｄＸ,ｄＺ））／ＰＩ …（５）

なお、（４）式における「％」は剰余算を示している。「ａｔａｎ２」は、ｄＺとｄＸに対してｄＺ／ｄＸのアークタンジェントを計算する関数であり、ベクトルの角度を求める関数である。ＰＩはπを示す。（５）式における「ｍａｇｕｎｉｔｕｄｅ」は、原点（０，０）からの直線距離を求める関数である。

上記例のようにして、メッシュ形状モデル５０の各ピクセルのＵＶ座標を求める。

そして、マッピング部２２３は、メッシュ形状モデル５０の各ピクセルのＵＶ座標と、全天球画像のＵＶ座標との対応関係ができているため、メッシュ形状モデル５０の各ピクセルに、全天球画像の対応する画像部分をマッピングする。これにより、図１に示すように、立体感のある全天球画像を形成することができる。

また、描画手段２２０により形成された立体感のある全天球立体画像は、表示制御手段２３０に与えられて、表示デバイス１００に提供される。

（Ａ−２−３）視点変位制御処理
次に、表示デバイス１００の相対的な変位に基づいて、視点変動制御部２２４が、全天球立体画像の視点を変位させる処理を、図面を参照しながら詳細に説明する。

表示デバイス１００には、表示デバイス１００の位置や傾きの変位を検知する姿勢センサ１２が設けられており、姿勢センサ１２により検知された姿勢情報は、逐次、画像処理装置２００に与えられている。

ここで、姿勢情報は、例えば、表示デバイス１００の位置や傾きの相対的な変化量を示すベクトル情報若しくは、（Ｘ，Ｙ，Ｚ）の座標値としてもよい。としてもよい。例えば、表示デバイス１００の位置情報については、表示デバイス１００の位置が変位したとき、ワールド座標系における原点（若しくは初期の位置座標）を基準点とし、この基準点からの位置の変化量（ベクトル情報）としてもよい。また傾き情報については、ワールド座標系に平行なｕｖｗ視野座標系が設定されており、ワールド座標系のＸ軸、Ｙ軸、Ｚ軸がそのまま、ｕｖｗ視野座標系のピッチ方向、ヨー方向、ロール方向に一致するようにする。そして、表示デバイス１００の移動に応じて、ｕｖｗ視野座標系の傾き（傾きの変化量）、すなわちピッチ角、ヨー角、ロール角としてもよい。また、姿勢情報には、表示デバイス１００の移動速度、回転速度など相対移動に係る速度情報を含むようにしてもよい。

画像処理装置２００では、表示デバイス１００の姿勢情報が与えられると、姿勢情報が描画手段２２０に与えられる。

描画手段２２０では、視点変動制御部２２４が、姿勢情報取得部２３２から姿勢情報として、表示デバイス１００の相対的な変化量を取得すると、仮想基準点６１から相対的な変化量に相当する変化量だけ変位させた位置を新たな視点とする。

ここで、上述したように、３次元空間に形成されたメッシュ形状モデル５０の各ピクセルには、全天球画像の対応する画像部分がＵＶマッピングされている。そのため、仮想基準点６１から前後方向、左右方向、上下方向に移動させた位置を視点とし、この視点から見える全天球立体画像を形成する。視点変動制御部２２４は、視点の位置を変化させる際に、メッシュ形状モデル５０を形成しているオブジェクトのメッシュを回転、移動、伸縮、傾斜させるようにトランスフォームするようにしてもよい。

このように表示デバイス１００の相対的な変化量に基づいて視点の位置を変化させ、その視点から見える全天球立体画像を形成することができる。そのため、例えば、表示デバイス１００を装着しているユーザが、現実空間で起立の姿勢からしゃがんだ場合に、仮想空間の視点も地面に近づいた位置に視点が変化し、その視点から見える全天球立体画像をユーザは見ることができる。

（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、全天球画像あったメッシュ形状モデルを形成し、３次元空間に設定した仮想基準点から見た各ピクセルのＵＶ座標を求めて、各ピクセルに全天球画像の対応する部分をマッピングすることにより、立体感のある全天球画像を形成することができる。

また、この実施形態によれば、メッシュ形状モデルの各ピクセルに、全天球画像の対応する部分がマッピングされているため、表示デバイスの相対的な変化量に基づいて、仮想基準点から変化させた位置を視点とし、視点から見える全天球画像を提供することができる。

（Ｂ）他の実施形態
上述した実施形態においても本発明の種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

（Ｂ−１）上述した実施形態では、説明を容易にするために、１つの全天球画像に対して１つの全天球立体画像を形成する場合を例示した。複数の全天球画像に対して１つの全天球立体画像を形成するようにしてもよい。例えば、全天球立体画像の利用例として、例えば、複数に区分可能な建物内の全天球画像を区分毎に撮像しておき、また複数の区分された建物全体のメッシュ形状モデルを形成しておく。さらに、建物全体のメッシュ形状モデルの各区分には、対応する区分の全天球画像の特徴に合わせたメッシュ形状モデルを形成し、各メッシュ形状モデルに全天球画像をマッピングする。つまり、建物内で、連結している各区分の全天球立体画像を形成することができる。

（Ｂ−２）上述した実施形態では、３次元空間に設定する仮想基準点が１つである場合を例示したが、複数の仮想基準点を設定するようにしてもよい。例えば、全天球画像の特徴に合った複数のメッシュ形状のそれぞれについて、複数の仮想基準点のうち、各メッシュ形状への全天球画像のマッピングについては、最適な立体視を可能とする仮想基準点を選択できるようにしてもよい。これにより、各メッシュ形状に投影される画像が最適な形で映し出すことができる。例えば、複数の仮想基準点のうち、使用する仮想基準点を動的に切り替えて、切り替え前の仮想基準点からの投影した画像から、切り替え後の仮想基準点からの投影した画像にクロスフェードするようにしてもよい。

（Ｂ−３）上述した実施形態では、ＶＲ（仮想現実感）などの仮想空間に全天球画像を提供する場合を一例として説明した。しかし、ＶＲに限定されるものではなく、ＡＲ、ＭＲ、ＸＲなどで利用される現実環境、仮想環境において全て球画像を提供する場合にも本発明を適用することができる。

１…画像処理システム、１００…表示デバイス、２００…画像処理装置、
１１０…本体部、１２０…前頭部接触部、１３０…側頭部接触部、１０…制御部、１１…記憶部、１２…姿勢センサ、１３…外部入出力インタフェース部、１４…出力インタフェース部、１５…表示部、１６…音出力部、
２１０…描画モデル形成手段、２１１…オブジェクト作成・編集部、２１２…モデルレイアウト作成・編集部、
２２０…描画手段、２２１…仮想基準点設定部、２２２…ピクセル向き導出部、２２３…マッピング部、２２４…視点変動制御部、
２３０…表示制御手段、２３１…画像出力部、２３２…姿勢情報取得部、３００…画像保持部。

かかる課題を解決するために、第１の本発明に係る画像処理装置は、少なくとも水平面を含む空間を撮像した全天球画像を３次元メッシュ形状モデルにマッピングして全天球立体画像を形成する画像処理装置であって、（１）少なくとも、全天球画像に対応させて複数のメッシュ形状を形成させた球体メッシュ形状モデルと、全天球画像中の水平面に対応させて複数のメッシュ形状を形成させた平面メッシュ形状モデルとを組み合わせた３次元メッシュ形状モデルを形成するモデル形成手段と、（２）３次元空間に仮想基準点を設定し、仮想基準点を基準として、全天球画像の各画素のヨー角及びピッチ角をＵ座標値及びＶ座標値に変換して、全天球画像の各画素のＵＶ座標値を導出し、全天球画像上の各画素を、３次元メッシュ形状モデル上の対応する各画素にＵＶマッピングして、全天球立体画像に形成する描画手段とを備えることを特徴とする。

第２の本発明に係る画像処理プログラムは、少なくとも水平面を含む空間を撮像した全天球画像を３次元メッシュ形状モデルにマッピングして全天球立体画像を形成する画像処理プログラムであって、コンピュータを、（１）少なくとも、全天球画像に対応させて複数のメッシュ形状を形成させた球体メッシュ形状モデルと、全天球画像中の水平面に対応させて複数のメッシュ形状を形成させた平面メッシュ形状モデルとを組み合わせた３次元メッシュ形状モデルを形成するモデル形成手段、（２）３次元空間に仮想基準点を設定し、仮想基準点を基準として、全天球画像の各画素のヨー角及びピッチ角をＵ座標値及びＶ座標値に変換して、全天球画像の各画素のＵＶ座標値を導出し、全天球画像上の各画素を、３次元メッシュ形状モデル上の対応する各画素にＵＶマッピングして、全天球立体画像に形成する描画手段として機能させることを特徴とする。

第３の本発明に係る画像処理方法は、少なくとも水平面を含む空間を撮像した全天球画像を３次元メッシュ形状モデルにマッピングして全天球立体画像を形成する画像処理方法であって、（１）モデル形成手段が、少なくとも、全天球画像に対応させて複数のメッシュ形状を形成させた球体メッシュ形状モデルと、全天球画像中の水平面に対応させて複数のメッシュ形状を形成させた平面メッシュ形状モデルとを組み合わせた３次元メッシュ形状モデルを形成し、（２）描画手段が、３次元空間に仮想基準点を設定し、仮想基準点を基準として、全天球画像の各画素のヨー角及びピッチ角をＵ座標値及びＶ座標値に変換して、全天球画像の各画素のＵＶ座標値を導出し、全天球画像上の各画素を、３次元メッシュ形状モデル上の対応する各画素にＵＶマッピングして、全天球立体画像に形成することを特徴とする。

上記例のようにして、全天球画像上における各ピクセルのＵＶ座標を求める。

Claims (5)

1. 立体感のある全天球画像を形成する画像処理装置であって、
   前記全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成するモデル形成手段と、
   ３次元空間に設定した仮想基準点の座標値と、前記３次元メッシュ形状モデルの各画素の座標値とに基づいて、前記各画素の座標値を前記全天球画像の座標系に変換し、前記３次元メッシュ形状モデルに前記全天球画像をマッピングして全天球立体画像を形成する描画手段と
   を備えることを特徴とする画像処理装置。
2. 前記描画手段が、前記仮想基準点から前記３次元メッシュ形状モデルの各画素に向けたベクトル情報に基づいて、前記各画素のＵＶ座標値を求め、ＵＶ座標に基づいて、前記全天球画像の画像部分を対応する前記各画素にマッピングして全天球立体画像を形成することを特徴とする請求項１に記載の画像処理装置。
3. 前記全天球立体画像を表示する表示手段の相対的な変化量を取得する相対変化量取得手段を備え、
   前記描画手段が、前記相対的な変化量に基づいて、前記仮想基準点から変位させた位置を視点とし、前記視点に応じた全天球立体画像を形成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 立体感のある全天球画像を形成する画像処理プログラムであって、
   コンピュータを、
   前記全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成するモデル形成手段、
   ３次元空間に設定した仮想基準点の座標値と、前記３次元メッシュ形状モデルの各画素の座標値とに基づいて、前記各画素の座標値を前記全天球画像の座標系に変換し、前記３次元メッシュ形状モデルに前記全天球画像をマッピングして全天球立体画像を形成する描画手段
   として機能させることを特徴とする画像処理プログラム。
5. 立体感のある全天球画像を形成する画像処理方法であって、
   モデル形成手段が、前記全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成し、
   描画手段が、３次元空間に設定した仮想基準点の座標値と、前記３次元メッシュ形状モデルの各画素の座標値とに基づいて、前記各画素の座標値を前記全天球画像の座標系に変換し、前記３次元メッシュ形状モデルに前記全天球画像をマッピングして全天球立体画像を形成する
   ことを特徴とする画像処理方法。

Images