JP2008140271A - 対話装置及びその方法 - Google Patents

Abstract

【課題】ディスプレイ同士をみてテレビ会議を行う場合に、自然な視線一致を可能とする対話装置を提供する。
【解決手段】対話装置１は、２台のカメラを有する撮像部２、３次元情報獲得部４、ウィンドウ位置獲得部５、回転量決定部６、画像生成部７、画像出力部８、パラメタ記憶部９から構成され、ディスプレイのウィンドウ位置により仮想カメラの視点位置を変え、対話を行う相手が注目しさえすれば視線一致可能になるようにする。
【選択図】 図１

Description

本発明は、テレビ会議などの映像対話装置に係わり、対話を行う相手が表示されるウィンドウ位置により仮想視点を変化させ視線一致を可能にする対話装置及びその方法に関する。

特許文献１及び非特許文献１に開示されているような従来のシステムでは、表示するディスプレイ中心に仮想カメラの視点位置を設定し、画像を生成していた。そのため、映像対話を行う相手が表示されるウィンドウ位置がディスプレイ中心にない場合、本来の目的である視線一致が達成されなかった。また、仮想カメラの視点位置がディスプレイの中心に限定されているためシーンの３次元位置情報を用いて任意の仮想視点からの画像を生成すると、一部背景がなくなった画像になり違和感があった。

また、特許文献２に開示されているようなハーフミラーを用いる場合、装置が大掛かりになり、ウィンドウ数分だけのカメラが必要になるなど、実現は容易ではなかった。
特開２００６−１１４０２３公報 特開平９−１０７５３４号公報 Video-Teleconferencing System with Eye-gaze Correction （6,771,303（Aug, 3, 2004) Zhengyou Zhang Microsoft Corporation)

上述したように、従来技術には仮想カメラの視点位置を表示するディスプレイ中心に固定していたため、ウィンドウ位置がディスプレイ中心にない場合、本来の目的である視線一致が達成されないという問題点があった。

また、画像からシーンの３次元位置情報を獲得し仮想視点からの画像を生成するため、任意視点からの画像を生成した場合、オクルージョン問題の一つである奥行きの違いにより前景物体が背景を隠すことにより３次元位置情報が一部獲得できない相互オクルージョンが起きる。これにより、視点位置によっては３次元位置情報がなく表現できない領域があるという問題点があった。

そこで本発明は、前記問題点を解決するためになされたものであって、自然な視線一致を可能とする対話装置及びその方法を提供することを目的とする。

本発明は、画像を表示するディスプレイと、共通の視野を有し、使用者の顔を撮像する複数のカメラと、前記ディスプレイ上にウィンドウを設定し、前記ウィンドウ中に前記使用者と対話する相手を表示する相手表示部と、前記それそれのカメラで撮像された複数の画像の中から第１画像と第２画像を選択して、前記第１画像と前記第２画像との間のエピポーラ線が平行になるように射影変換して平行化第１画像と平行化第２画像を求める画像平行化部と、前記平行化第１画像中の各画素が前記平行化第２画像中のどの画素に対応するかを表す対応関係に基づいて、前記平行化第１画像中の各画素の３次元位置情報を獲得する３次元情報獲得部と、前記ディスプレイの表示領域内での前記ウィンドウの表示位置を検出するウィンドウ位置獲得部と、前記ウィンドウの表示位置に基づいて、前記各画素での前記３次元位置情報を回転させて、前記ウィンドウの表示位置の中心である仮想視点から撮影した仮想視点画像を獲得するための視点変換の回転量を決定する回転量決定部と、前記各画素の前記３次元位置情報と前記回転量とから前記仮想視点画像を生成する画像生成部と、前記仮想視点画像を出力する画像出力部と、を有する対話装置である。

本発明によれば、ディスプレイ上のウィンドウ位置により仮想カメラの視点位置を変えるため対話を行う相手を注目しさえすれば視線一致が可能になり、より現実的な映像対話を行うことができる。

以下、図面を参照しながら本発明の各実施形態について説明する。

（第１の実施形態）
本発明の第１の実施形態に係わる対話装置１について図１、図２、図５、図６に基づいて説明する。

まず、図５に示すように、Ａ、Ｂ、Ｃ、Ｄさんの４人がそれぞれ異なった場所に居て、テレビ会議を行う場合に、各人は、ノートパソコンと、ノートパソコンの上に２台のカメラが取り付けられた機器を有している。そして、各ノートパソコンのディスプレイの３つのウィンドウには、ノートパソコンの所有者以外の残りの３人がそれぞれ写っているとする。各人の顔は２台のカメラで撮影して、ＬＡＮ、インターネットなどの回線を介してこれらカメラで撮影した映像信号やマイクで取った音声信号が送信される。

従来は、図６の左上側の図面に示すように、Ａさんのノートパソコンにおいて、Ａさんは、例えば、ディスプレイの左上のＢさん（図中ではユーザ注目ウィンドウ）と対話を行う場合には、ディスプレイの中心（仮想カメラの仮想視点位置）ではなく左上を向いて対話を行っている。そのため、Ｂさんのノートパソコンのディスプレイに表示される画像中のＡさんの顔は、図６の左下側の図面に示すように、左上を向く状態となり、Ｂさんと視線が合わない。

そこで、本実施形態では、各人のノートパソコンに対話装置１を内蔵し、ＡさんとＢさんの視線が合うようにする。すなわち、図６の右上側の図面に示すように、Ａさんのノートパソコンのディスプレイの左上（図中ではユーザ注目ウィンドウの中心）に仮想カメラの視点位置を定め、Ａさんは、左上のＢさんの方を向いて対話をする場合には、Ｂさんのノートパソコンのディスプレイに表示される画像中のＡさんの顔を、図６の右下側の図面に示すように、正面向きの状態に変換して、Ｂさんと視線が合うようにするものである。

以下、その対話装置１について説明する。

（１）対話装置１の構成
図１は、本実施形態に係わる対話装置１を示すブロック図である。

対話装置１は、撮像部２、３次元情報獲得部４、ウィンドウ位置獲得部５、回転量決定部６、画像生成部７、画像出力部８、パラメタ記憶部９から構成されている。

各部２〜９の下記で説明する各機能は、コンピュータに格納されたプログラムによっても実現できる。

なお、説明を簡単にするために図５におけるＡさんのノートパソコンに内蔵されている対話装置１について説明するが、他の３人のノートパソコンにも同様に対話装置１が内蔵されている。

（１−１）撮像部２
撮像部２は、少なくとも２台以上のカメラを有し、各カメラでシーン（Ａさんの顔が写った場面）を撮像して画像として保存し、各画像を画像平行化部３へ送る。

（１−２）パラメタ記憶部８
パラメタ記憶部８は設置する各カメラの内部パラメタと、各カメラ間の外部パラメタを記憶し、画像平行化部３と３次元情報獲得部４にパラメタを送る。

（１−３）画像平行化部３
画像平行化部３は、撮像部２からの入力画像中のうち１枚を基準画像、その他を参照画像とし、各カメラ間のパラメタ記憶部９で記憶してある内部パラメタと外部パラメタより、基準画像と各参照画像のエピポーラ線が平行となるように射影変換（rectification）する。平行化後の画像を平行化画像とし、３次元情報獲得部４に入力画像を送る。

射影変換する場合は、基準画像と各参照画像のエピポーラ線が平行になるように、基準画像と全ての参照画像を射影変換する。

また、基準画像は射影変換をしないで、各参照画像のみ前記基準画像のエピポーラ線が平行になるように射影変換してもよい。

（１−４）３次元情報獲得部４
３次元情報獲得部４は、画像平行化部３からの平行化画像中の基準画像と参照画像に関して、基準画像中の各画素が参照画像中のどの画素に対応するかを対応点探索し、対応点までの画素数を輝度値として与えられる視差画像をそれぞれ求める。

パラメタ記憶部９からの各カメラの外部パラメタと内部パラメタと視差画像により、前記基準画像中の前記各画素において３次元位置情報を三角測量の原理で獲得し、画像生成部７に３次元位置情報を送る。

（１−５）ウィンドウ位置獲得部５
ウィンドウ位置獲得部５は、ディスプレイ上で対話を行う相手（Ｂさん、Ｃさん、Ｄさん）を表示しているウィンドウの位置をそれぞれ獲得し、回転量決定部６にウィンドウ位置を送る。すなわち、Ａさんのノートパソコンのディスプレイには、３人の顔が写るウィンドウが３個あるため、Ｂさん、Ｃさん、Ｄさんの各ウィンドウ位置を送る。

（１−６）回転量決定部６
回転量決定部６は、ウィンドウ位置獲得部５からの各ウィンドウ位置から、３次元位置情報を回転させることにより視点変換を行うが、このときの回転量をそれぞれ決定する。回転量は、予めＡさんのノートパソコンのディスプレイの四隅からの各ウィンドウの中心にある仮想視点への視点変換を行うときの回転量を調べておき、線形補間により求める。画像生成部７に求めたそれぞれの回転量を送る。

（１−７）画像生成部７
画像生成部７は、３次元情報獲得部４からの３次元位置情報と、回転量決定部６からの各回転量により、獲得した３次元位置情報を世界座標系において回転させて視点変換をそれぞれ行う。回転中心は、ディスプレイ中心からのディスプレイ面に対する法線と基準カメラの光軸との交点とする。

その後、仮想視点から撮像した各仮想視点画像を獲得し、画像出力部８に各仮想視点画像をそれぞれ送る。仮想視点画像は、例えば、Ｂさんのウィンドウの仮想視点からはＡさんの顔が正面を向いている画像となる。

（１−８）画像出力部８
画像出力部８は、画像生成部６からの仮想視点画像を、それぞれの対話を行う相手のノートパソコンのディスプレイに出力する。

例えば、Ｂさんのノートパソコンのディスプレイには、Ａさんの顔が正面を向いている仮想視点画像が写る。

Ｃさんのノートパソコンのディスプレイには、真下のウィンドウの仮想視点から見た左上を向くＡさんの仮想視点画像が写る。

Ｄさんのノートパソコンのディスプレイには、右上のウィンドウの仮想視点から見た左上を向くＡさんの仮想視点画像が写る。

（２）仮想視点画像出力手順
図２は、本実施形態に係る仮想視点画像出力手順の一例を示すフローチャートである。処理手順は以下のようになる。なお、図５に示すようにＡさんのノートパソコンで、Ｂさん、Ｃさん、Ｄさんとテレビ会議をしている場合を想定する。

最初に、ステップ１では、Ａさんのノートパソコンにある２台のカメラにより撮像したＡさんの顔の画像をそれぞれ保存し、ステップ２に進む。

次に、ステップ２では、ステップ１より受け取った画像に関して、一枚を基準入力画像、その他を参照入力画像とし、それぞれの内部パラメタと外部パラメタより基準画像と各参照入力画像のエピポーラ線が平行となるように射影変換（rectification）する。その後の画像を入力画像としステップ３に進む。

次に、ステップ３では、ステップ２から受け取った入力画像中の基準入力画像と参照入力画像に関して、基準入力画像中の各画素が参照入力中のどの画素に対応するかを対応点探索し、対応点までの画素数を輝度値として与えられる視差画像をそれぞれ求める。そして、各視差画像と各カメラの内部パラメタと外部パラメタによりシーンの３次元位置情報を三角測量の原理で獲得し、ステップ６に進む。

次に、ステップ４では、Ａさんのノートパソコンのディスプレイ上での対話する各相手のウィンドウ位置（Ｂさんは左上、Ｃさんは真下、Ｄさんは右上のウィンドウ）を獲得し、ステップ５に進む。

次に、ステップ５では、ステップ４から受け取った各ウィンドウ位置から、視点変換を行うための３次元位置情報の回転量をそれぞれ求め、ステップ６に進む。

次に、ステップ６では、ステップ３から受け取った３次元位置情報とステップ５から受け取った各回転量から視点変換を行い、Ｂさん、Ｃさん、Ｄさん用の仮想視点画像をそれぞれ再構成し、ステップ７へ進む。

次に、ステップ７では、ステップ６から受け取った各仮想視点画像を、対応するＢさん、Ｃさん、Ｄさんに送り、各人のノートパソコンのディスプレイにそれぞれ表示する。

（３）効果
本実施形態によれば、ウィンドウ位置により仮想カメラの視点位置を変えるため対話を行う相手を注目しさえすれば視線一致可能になり、より現実的な映像対話が可能になる。

また、視点変換の回転中心を従来法と比べ、前景物体の奥行き値の中心に回転中心を設定するため、視点変換後の前景物体が基の画像座標からずれることなく同じ位置に表示されるため、平行移動などの表示位置を変換する処理が必要ない。

（第２の実施形態）
本発明の第２の実施形態に係る対話装置１０１について図３、図４、図７に基づいて説明する。

対話装置１０１は、背景画像記憶部１１０に記録してある背景画像を用いて、背景差分処理部１１１で入力画像から対象とする前景物体領域のみを検出し、３次元情報獲得部１０４にて対象物体の３次元位置情報を獲得する。画像生成部１０７では、仮想視点からの前景物体領域の画像を再構成し、背景画像記憶部１１０に記録したある背景画像に貼り付け仮想視点画像を生成し画像出力部１０８に送る。

（１）対話装置１０１の構成
図３は、本実施形態に係る対話装置１０１を示す構成図である。

対話装置１０１は、撮像部１０２、画像平行化部１０３、３次元情報獲得部１０４、ウィンドウ位置獲得部１０５、回転量決定部１０６、画像生成部１０７、画像出力部１０８、パラメタ記憶部１０９、背景画像記憶部１１０、背景画像処理部１１１から構成されている。

なお、対話装置１０１の動作のうち、第１の実施形態の対話装置１と同様な構成、処理については説明を省略する。

（１−１）背景画像記憶部１１０
背景画像記憶部１１０は、画像平行化部１０３によって平行化した画像に関して、３次元位置情報を獲得したい対象となる物体以外を予め撮像した画像、もしくは映像（以下、背景画像という）を装置内部で記憶しておき、画像生成部１０７と、背景画像処理部１１１に送る。

すなわち、背景のみの画像を各カメラで撮影して、その後、各背景画像を射影変換してエピポーラ線が平行になるように平行化して平行化背景画像をそれぞれ記憶する。

（１−２）背景画像処理部１１１
背景画像処理部１１１は、画像平行化部１０３からの平行化基準画像と、この基準画像に対応するカメラで撮影した平行化背景画像との差分を求める。また、平行化参照画像についても、対応するカメラで撮影した平行化背景画像との差分を求める。そして、前記平行化基準画像及び平行化参照画像中で平行化背景画像とは異なる領域を検出した後、その領域のみの前景物体領域画像を生成し、３次元情報獲得部１０４に送る。

（１−３）画像生成部１０７
画像生成部１０７は、３次元情報獲得部１０４からの３次元位置情報と、回転量決定部１０６からの回転量と、背景画像記憶部１１０からの背景画像により、視点変換を行うために、獲得した３次元位置情報を世界座標系において回転させ、前景物体領域のみの仮想視点画像を再構成する。回転中心は、ディスプレイ中心からのディスプレイ面に対する法線と基準カメラの光軸との交点とする。

その後、仮想視点から撮像した前景物体領域のみの仮想視点画像を獲得し、背景画像に前景物体領域の画像を貼り付けて全体の仮想視点画像とし、画像出力部１０８に仮想視点画像を送る。

（２）仮想視点画像出力手順
図４は、本実施形態に係る仮想視点画像出力手順の一例を示すフローチャートである。処理手順は以下のようになる。図２で説明した仮想視点画像出力手順と同様な処理に関しては説明を省略する。

ステップ１０８において、ステップ１０２から受け取った入力画像と背景画像記憶部１０９にて記録されている背景画像を用いて背景差分処理を行い、入力画像中の背景領域とは異なる前景物体の領域を検出し、ステップ１０３に進む。

ステップ１０９において、ステップ１０６から受け取った前景物体領域の各仮想視点画像を、背景画像記憶部１１０にて記録されている背景画像にそれぞれ貼り付け、それを仮想視点画像とし、ステップ１０７に進む。

（３）効果
以下では、背景差分処理を導入することによる効果を説明する。

従来ステレオビジョンの基本問題は、３次元空間中の１点が２枚の画像に投影された点を正しく対応付ける対応点問題を解くことである。当然、対応点を精度良く求めなければ、シーンの正確な３次元位置情報は獲得できず、任意の仮想視点からの画像を再構成した時に現実のシーンと画像との間に矛盾が生じる。

対応点探索が失敗する最も大きな理由の一つに、オクルージョン問題がある。オクルージョン問題とはカメラの視点の違いにより生じ、一方のカメラからは観測できるが、他方のカメラからは観測できず、真の対応点が得られないことにある。オクルージョンには大きく分けて、前景物体と背景の奥行きの違いにより、一方のカメラから前景物体が背景を隠してしまう相互オクルージョンと、一方のカメラからは前景物体の観測できる面が他方のカメラからは観測されないセルフオクルージョンの二つがある。オクルージョンに注目したロバストな対応点探索の手法なども提案されているが、問題を完全に解決できる手法はまだなく、また提案されている手法の多くはリアルタイムでの処理は難しい。

そこでオクルージョン問題の一つである相互オクルージョンを背景差分処理によって解決する。背景と前景物体を分離することで相互オクルージョンは除去できるため、誤対応が減ることで対応点探索の精度が向上し、また探索範囲が限定されることで探索の高速につながる。

また、図７の左側の図面に示すように、獲得した３次元位置情報を基に仮想カメラを任意に視点変換し、求めたい理想のカメラ視点からの画像を再構成しようとした場合、世界座標系での３次元位置情報を回転させることにより視点変換を行うが、シーン全ての３次元位置情報を獲得している場合、シーン毎に回転中心を変える必要がある上に、生成した画像は抜けが多くなる。

そこで、本実施形態では、図７の右側の図面に示すように、前景物体領域のみの３次元位置情報の場合、獲得した前景物体領域の奥行き値の平均を回転中心とし，３次元位置情報を回転させることにより視点変換を行い，背景画像に貼り合わせ画像を生成すれば、生成した画像に抜けはなく、回転中心も一意に決まる。

（変更例）
本発明は前記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変更例１
前記実施形態では、回転中心は、ディスプレイ中心からのディスプレイ面に対する法線と基準カメラの光軸との交点としたが、獲得した３次元位置情報の奥行き値の平均を回転中心としてもよい。

（２）変更例２
前記実施形態では、回転中心は、ディスプレイ中心からのディスプレイ面に対する法線と基準カメラの光軸との交点としたが、顔検出部を追加し、得られた顔領域の位置により回転中心を決定してもよい。

例えば視点変換後、常に顔領域が画像の中心になるように回転中心を定める、または顔領域が固定の大きさになるように回転中心を定める、などがある。

（３）変更例３
前記実施形態では、回転量決定部によって一意に回転量を決定したが、後に、外部からの値により回転量を制御し、任意の仮想視点からの画像を生成してもよい。

本発明の第１の実施形態に係わる対話装置の構成を示すブロック図である。 第１の実施形態の動作を示すフローチャートである。 本発明の第２の実施形態に係わる対話装置の構成を示すブロック図である。 第２の実施形態の動作を示すフローチャートである。 第１の実施形態に係わる４人のテレビ会議の説明図である。 従来法と第１の実施形態の説明図である。 従来法と第２の実施形態の説明図である。

符号の説明

１、１０１・・・対話装置
２、１０２・・・撮像部
３、１０３・・・画像平行化部
４、１０４・・・３次元情報獲得部
５、１０５・・・ウィンドウ位置獲得部
６、１０６・・・回転量決定部
７、１０７・・・画像生成部
８、１０８・・・画像出力部
９、１０９・・・パラメタ記憶部
１１０・・・背景画像記憶部
１１１・・・背景差分処理部

Claims (9)

1. 画像を表示するディスプレイと、
   共通の視野を有し、使用者の顔を撮像する複数のカメラと、
   前記ディスプレイ上にウィンドウを設定し、前記ウィンドウ中に前記使用者と対話する相手を表示する相手表示部と、
   前記それそれのカメラで撮像された複数の画像の中から第１画像と第２画像を選択して、前記第１画像と前記第２画像との間のエピポーラ線が平行になるように射影変換して平行化第１画像と平行化第２画像を求める画像平行化部と、
   前記平行化第１画像中の各画素が前記平行化第２画像中のどの画素に対応するかを表す対応関係に基づいて、前記平行化第１画像中の各画素の３次元位置情報を獲得する３次元情報獲得部と、
   前記ディスプレイの表示領域内での前記ウィンドウの表示位置を検出するウィンドウ位置獲得部と、
   前記ウィンドウの表示位置に基づいて、前記各画素での前記３次元位置情報を回転させて、前記ウィンドウの表示位置の中心である仮想視点から撮影した仮想視点画像を獲得するための視点変換の回転量を決定する回転量決定部と、
   前記各画素の前記３次元位置情報と前記回転量とから前記仮想視点画像を生成する画像生成部と、
   前記仮想視点画像を出力する画像出力部と、
   を有する対話装置。
2. 背景画像を記憶する背景画像記憶部と、
   前記平行化第１画像と前記背景画像との差分、及び、前記平行化第２画像と前記背景画像との差分をそれぞれ求め、前記平行化第１画像と前記背景画像における前景物体領域のみをそれぞれ検出する背景差分処理部を有し、
   前記３次元情報獲得部は、前記平行化第１画像の前記前景物体領域と前記平行化第２画像の前記前景物体領域のみの前記対応関係により、前記前景物体領域のみの３次元位置情報を獲得し、
   前記画像生成部は、前記前景物体領域のみからなる前記仮想視点画像を生成し、この生成した仮想視点画像に前記背景画像を貼り付ける、
   請求項１記載の対話装置。
3. 前記画像生成部は、前記ディスプレイの中心からのディスプレイ面に対する法線と、前記各カメラの中の１台の基準カメラの光軸との交点を中心として、前記３次元位置情報を回転させて前記仮想視点画像を生成する、
   請求項１記載の対話装置。
4. 前記画像生成部は、前記３次元位置情報の奥行き値の平均を回転中心として、前記３次元位置情報を回転させて前記仮想視点画像を生成する、
   請求項１記載の対話装置。
5. 前記自己の顔を検出する顔検出部を有し、
   前記画像生成部は、前記顔検出により獲得した前記顔位置に応じて、前記３次元位置情報の回転中心の位置を設定する、
   請求項１記載の対話装置。
6. 前記回転量決定部は、前記３次元位置情報の前記回転量が外部から入力される、
   請求項１記載の対話装置。
7. 前記画像平行化部は、前記第２画像のエピポーラ線が前記第１画像のエピポーラ線に平行になるように射影変換して平行化第２画像を求め、前記第１画像を前記平行化第１画像として出力する、
   請求項１から請求項６のいずれか一項に記載の対話装置。
8. 画像を表示するディスプレイと、共通の視野を有し、使用者の顔を撮像する複数のカメラとを有した対話装置における対話方法であって、
   前記ディスプレイ上にウィンドウを設定し、前記ウィンドウ中に前記使用者と対話する相手を表示し、
   前記それそれのカメラで撮像された複数の画像の中から第１画像と第２画像を選択して、前記第１画像と前記第２画像との間のエピポーラ線が平行になるように射影変換して平行化第１画像と平行化第２画像を求め、
   前記平行化第１画像中の各画素が前記平行化第２画像中のどの画素に対応するかを表す対応関係に基づいて、前記平行化第１画像中の各画素の３次元位置情報を獲得し、
   前記ディスプレイの表示領域内での前記ウィンドウの表示位置を検出し、
   前記ウィンドウの表示位置に基づいて、前記各画素での前記３次元位置情報を回転させて、前記ウィンドウの表示位置の中心である仮想視点から撮影した仮想視点画像を獲得するための視点変換の回転量を決定し、
   前記各画素の前記３次元位置情報と前記回転量とから前記仮想視点画像を生成し、
   前記仮想視点画像を出力する、
   対話方法。
9. 画像を表示するディスプレイと、共通の視野を有し、使用者の顔を撮像する複数のカメラとを有した対話装置を機能させるコンピュータのプログラムであって、
   前記ディスプレイ上にウィンドウを設定し、前記ウィンドウ中に前記使用者と対話する相手を表示する相手表示機能と、
   前記それそれのカメラで撮像された複数の画像の中から第１画像と第２画像を選択して、前記第１画像と前記第２画像との間のエピポーラ線が平行になるように射影変換して平行化第１画像と平行化第２画像を求める画像平行化機能と、
   前記平行化第１画像中の各画素が前記平行化第２画像中のどの画素に対応するかを表す対応関係に基づいて、前記平行化第１画像中の各画素の３次元位置情報を獲得する３次元情報獲得機能と、
   前記ディスプレイの表示領域内での前記ウィンドウの表示位置を検出するウィンドウ位置獲得機能と、
   前記ウィンドウの表示位置に基づいて、前記各画素での前記３次元位置情報を回転させて、前記ウィンドウの表示位置の中心である仮想視点から撮影した仮想視点画像を獲得するための視点変換の回転量を決定する回転量決定機能と、
   前記各画素の前記３次元位置情報と前記回転量とから前記仮想視点画像を生成する画像生成機能と、
   前記仮想視点画像を出力する画像出力機能と、
   を前記コンピュータによって実現するプログラム。

Images