JP2003256804A - 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 実環境中に存在する人の視野に映っている情
景を、映像として生成できるようにする。 【解決手段】 ３次元形状モデル獲得手段５は実環境の
３次元形状モデルを獲得する。画像データ獲得手段３は
実環境中に設置された複数のカメラを用いて画像データ
を獲得する。カメラパラメータ獲得手段１はカメラの特
性を表すパラメータとして、位置、姿勢、焦点距離、レ
ンズ中心のいずれか、または、それらの複数からなるパ
ラメータを獲得する。視線計測手段８は人の眼球位置と
視線方向を計測する。映像生成手段９は、実環境中の３
次元形状データ、画像データ人の眼球位置と視線方向を
利用し、人の眼球位置と視線方向に対応した映像を生成
する。映像生成手段は、各カメラ姿勢、人の視線方向に
基づいて、複数のカメラの画像データの中からテクスチ
ャマッピングするカメラの画像データを選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のカメラから
得られる画像に基づき、新しい視点からの画像を計算機
処理で生成する視野映像生成技術、並びに、人の眼球運
動の計測技術の応用に関するものである。

【０００２】

【従来の技術】従来、実環境中にある同一対象を複数台
のカメラより観測し、そこで得られた画像を処理するこ
とにより、実際にはカメラを設置していない位置・アン
グルにあたかもカメラを設置し、撮影したかのような任
意視点の画像を生成する技術がある。その詳細は、例え
ば、下記の文献に開示される。

【０００３】しかしながら、この技術で画像を生成する
場合、生成したい画像に対応する仮想カメラの視点の位
置、方向のデータは利用者が別途、計画の上、計算機に
与える必要があった。

【０００４】文献「斎藤英雄、“多視点画像からの自由
視点映像生成技術の動向”、電学論Ｃ,１２１巻１０
号、ＰＰ.１４９３−１４９９（２００１）」また、人
の眼球位置や視線方向を計測する装置を用いて、頭部側
面または前面に装着したカメラと併用することにより、
カメラから得られた画像中に人の注視点を図示する技術
がある。これは、認知科学や心理学などの学術分野にお
いて利用されている。

【０００５】

【発明が解決しようとする課題】前述のように、従来の
任意視点の映像生成技術では、生成する映像の視点を人
手で与える必要があり、人が実際に見ている情景を映像
として自動的に合成することはできない。

【０００６】また、頭部に装着したカメラと視線計測装
置を併用する場合、人が着目する大まかな対象は把握で
きるものの、得られる画像はあくまでも頭部の向きに対
応する画像であり、本来、人が見ている画像、つまり、
眼球が向いている先の画像を得ることができない。

【０００７】本発明は、認知科学や心理学などの学術分
野において利用されている上述したような従来技術の有
する欠点を解決し、実環境中に存在する人の視野に映っ
ている情景を、映像として生成できる視野映像生成装
置、方法、プログラムおよび記録媒体を提供することを
目的とする。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は以下の視野映像生成装置、方法、プログラ
ムおよび記録媒体を特徴とする。

【０００９】（装置の発明） （１）実環境の３次元形状モデルを獲得する「３次元形
状モデル獲得手段」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手段」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手段」と、人の眼球位置と視線方向を計測
する「視線計測手段」と、前記「３次元形状モデル獲得
手段」で獲得された実環境中の３次元形状データ、及
び、前記「画像データ獲得手段」で獲得された画像デー
タ、及び、前記「視線計測手段」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手段」とを備えた
ことを特徴とする。

【００１０】（２）前記「映像生成手段」は、前記各カ
メラ姿勢、及び、前記「視線計測手段」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
段」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手段」を備えたことを特徴とす
る。

【００１１】（方法の発明） （３）実環境の３次元形状モデルを獲得する「３次元形
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「３次元形状モデル獲得
手順」で獲得された実環境中の３次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とを有する
ことを特徴とする。

【００１２】（４）前記「映像生成手順」は、前記各カ
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。

【００１３】（プログラムの発明） （５）実環境の３次元形状モデルを獲得する「３次元形
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「３次元形状モデル獲得
手順」で獲得された実環境中の３次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とをコンピ
ュータで実行可能に構成したことを特徴とする。

【００１４】（６）前記「映像生成手順」は、前記各カ
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。

【００１５】（記録媒体の発明） （７）実環境の３次元形状モデルを獲得する「３次元形
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「３次元形状モデル獲得
手順」で獲得された実環境中の３次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とを有する
プログラムを記録したことを特徴とする。

【００１６】（８）前記「映像生成手順」は、前記各カ
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。

【００１７】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を詳細に説明する。なお、ここでは一例として屋
内環境における一形態を説明するが、本発明は屋内環境
以外の環境においても同様に有効である。

【００１８】図１は、本発明の一実施形態（屋内環境）
に関する視野映像生成装置の構成図である。この図にお
いては、１はカメラパラメータ獲得手段、２はカメラキ
ャリブレーション手段、３は画像データ獲得手段、４は
屋内環境に設置した複数のカメラ、５は３次元モデル獲
得手段、６は３次元形状計測手段、７は三角パッチ作成
手段、８は視線計測手段、９は映像生成手段、１０は画
像データ選択手段、１１は画像座標算出手段、１２はテ
クスチャマッピング手段からなる。

【００１９】図２は、本発明の一実施形態における、視
野映像装置の全体を説明する図で、実環境中のカメラ、
人、視線計測装置の配置、及び、カメラ、人、環境、各
々に関する座標系を説明する図である。図においてワー
ルド座標系Ｗとは、複数のカメラ、視線測定装置に共通
な座標系である。

【００２０】また、図３は本発明の一実施形態（屋内環
境）に関する視野映像装置を天井から見た外観を説明す
る図である。

【００２１】以下では、本発明の一実施形態における動
作を具体的に説明する。ここでは、時刻ｔにおける人の
眼球位置の視線方向に対応した一実施形態を説明する
が、本発明は、時間的に変化する人の眼球位置と視線方
向に対しても、同様に実現可能である。

【００２２】「カメラパラメータ獲得手段（１）」は、
実環境内に設置した複数カメラと「カメラキャリブレー
ション手段（２）」からなり、複数設置した各カメラに
対して、カメラパラメータを獲得する。

【００２３】カメラパラメータとは、ワールド座標系に
おけるカメラの姿勢、位置、焦点距離、レンズ歪み係
数、レンズスケールファクター、画素サイズ、レンズ中
心のいずれか、またはこれらを複数含んだものであり、
ワールド座標系とカメラの画像座標系の幾何学的関係を
表現したものである。

【００２４】まず、「カメラキャリブレーション手段
（２）」では、一例として、実空間中から選んだ数点
（例えば、図２に示す点ａ，ｂ，ｃ，ｄなど）に対し、
ワールド座標系における３次元座標（Ｘ，Ｙ，Ｚ）とカ
メラの画像座標系における２次元座標（ｘ，ｙ）との対
応点の組を入力として、Ｔｓａｉのカメラキャリブレー
ションアルゴリズムを適用することにより、カメラパラ
メータを出力する。その結果を記憶装置（ハードディス
ク、メモリなど）に記録する。

【００２５】Ｔｓａｉのキャリブレーションアルゴリズ
ムによって算出されたカメラパラメータは、次の（１）
式で表現され、実空間中のある点Ｐ（Ｘ，Ｙ，Ｚ）は画
像上の点ｐ（ｘ，ｙ）に投影することが可能となる。

【００２６】

【数１】

【００２７】ここで、ｈはスケールファクタ、Ｐ１１,
…,Ｐ１４はカメラパラメータを表す。なお、本発明
は、Ｔｓａｉ以外のカメラキャリブレーション手法を用
いても、同様に実現可能である。

【００２８】Ｔｓａｉのキャリブレーションアルゴリズ
ムの参考文献「R.Tsai、“AVersatile Camera Calibrat
ion Technique for High-Accuracy 3D Machine Vision
Metrology Using Off-the-Shelf Tv Cameras and Lense
s",IEEE Journal of Robotics and Automation RA-3,4,
pp323-344(1987)」 次に、「画像データ獲得手段（３）」は、「屋内環境中
に設置した複数のカメラ（４）」を用いて、それぞれの
位置や方向から見た画像を次の（２）式に示すデータ形
式で撮影し、記憶装置（ハードディスク、メモリなど）
に記録する。

【００２９】なお、カメラの設置数、各カメラの姿勢や
位置は、実空間上の同一点が少なくとも二つのカメラか
ら撮影されるように選ぶ。ここで、撮影した画像データ
は、後に、３次元形状モデルにマッピングするテクスチ
ャとして用いる。

【００３０】

【数２】

【００３１】ただし、ｎ：カメラの個数、ｘ：ｘ座標、
ｙ：ｙ座標、Ｒ：赤成分を２５６階調で表現した濃度
値、Ｇ：緑成分を２５６階調で表現した濃度値、Ｂ：青
成分を２５６階調で表現した濃度値。

【００３２】次に、「３次元モデル獲得手段（５）」
は、「３次元形状計測手段（６）」と「三角パッチ作成
手段（７）」からなる。

【００３３】「３次元形状計測手段（６）」では、一般
的な３次元形状計測手段として用いられているレーザー
レンジファインダ、ステレオマッチング手法などを用い
て、屋内環境の３次元表面形状を観測し、ワールド座標
系における３次元座標（Ｘ，ＹＺ）の観測点群を獲得す
る。

【００３４】「三角パッチ作成手段（７）」では、ばら
ばらになっている３次元座標の点群を入力として、それ
らの点群を三角パッチの集合として表現することで、屋
内環境を構成する３次元形状モデルを出力し、その結果
を記憶装置（ハードディスク、メモリなど）に記録す
る。

【００３５】次に、「視線計測手段（８）」では、実環
境中に存在する人の眼球位置と視線方向を取得する。一
例として、非接触型で連続的に視線を計測できる視線測
定装置を用いた場合を説明するが、本発明は、上記の以
外の視線測定装置を用いても実現可能である。

【００３６】はじめに、当該視線測定装置をＴｓａｉの
手法を用いてキャリブレーションを行い、視線測定装置
のカメラ座標とワールド座標の幾何学的関係を求めてお
く。キャリブレーション済みの視線測定装置は、人の眼
球位置と視線方向を視線データとして、例えばサンプリ
ングレート３０Ｈｚで連続的に計測する。計測の結果得
られた視線測定装置の座標系で表現されている人の眼球
位置と視線方向を、ワールド座標系における人の眼球位
置Ｓ（ｔ）＝（Ｓｘ（ｔ），Ｓｙ（ｔ），Ｓｚ（ｔ））
と、視線方向ｋＥ（ｔ）＝（Ｅｘ（ｔ），Ｅｙ（ｔ），
Ｅｚ（ｔ））に変換して出力し、その結果を記憶装置
（ハードディスク、メモリ等）に記録する。

【００３７】視線測定装置の参考文献「大野健彦、武川
直樹、吉川原、“眼球モデルに基づく視線測定システム
−視線入力デバイスの実現に向けて−”、ＨＩ研究会93
-7,pp.47-54(2001)」 次に、「映像生成手段（９）」は、「画像データ選択手
段（１０）」と「画像座標算出手段（１１）」と「テク
スチャマッピング手段（１２）」からなる。

【００３８】「画像データ選択手段（１０）」では、人
の視点で見えている映像と近い画質にするために、「視
線計測手段（８）」により獲得した人の視線方向と、
「カメラパラメータ獲得手段（１）」により獲得した各
カメラの光軸方向を入力して、それらのベクトルの成す
角を計算することにより、テクスチャマッピングする画
像データをどのカメラから撮影したものから構成するか
決定し、その結果を記憶装置（ハードディスク、メモリ
等）に記録する。

【００３９】具体的には、図３に示すように、ワールド
座標における人の視線方向ベクトルＥ（ｔ）＝（Ｅｘ
（ｔ），Ｅｙ（ｔ），Ｅｚ（ｔ））と、各カメラ光軸方
向ベクトルＨｎ＝（Ｈｎｘ，Ｈｎｙ，Ｈｎｚ）（ｎ：カ
メラ番号）に着目して、それらのベクトルの成す角を
（３）式によって算出する。

【００４０】

【数３】

【００４１】ただし、ｎはカメラ番号 次に、（３）式によって得られた角の値を調べ、小さい
値を示すカメラから得られた画像を最も優先度の高いテ
クスチャマッピングの候補として、角度の小さい順に優
先度をカメラ毎に決定する画像データとする。例えば、
図３の場合は、Ｃ７の優先度が最も高く、次にＣ８とな
る。

【００４２】「画像座標算出手段（１１）」では、前記
の「３次元形状モデル獲得手段（５）」により獲得した
３次元形状モデルの各三角パッチの各頂点３次元座標
（Ｘ，Ｙ，Ｚ）を入力として、「画像データ選択手段
（１０）」により選択されたカメラのパラメータを用い
ることにより、それらの３次元座標が投影されている画
像座標系における２次元座標（ｘ，ｙ）を算出し、その
結果を配慮装置（ハードディスク、メモリ等）に記録す
る。

【００４３】「テクスチャマッピング手段（１２）」で
は、各三角パッチの各頂点３次元座標（Ｘ，Ｙ，Ｚ）が
投影されている画像座標系における２次元座標（ｘ，
ｙ）と、「画像データ選択手段（１０）」によって選択
された画像データを入力として、それらの２次元座標
（ｘ，ｙ）を結んだ各３角形領域の画像データを記憶装
置から取り出し、それらを各三角パッチにテクスチャマ
ッピングし、その結果をディスプレイ等の出力装置に出
力する。

【００４４】また、各三角パッチの面の向きによって
は、上記、最も優先度の高いカメラに対応する画像デー
タだけでは、人の視点の前方にある三角パッチにマッピ
ングするテクスチャが得られない場合がある。例えば、
図３に示したように、カメラの光軸のベクトルと三角パ
ッチの法線ベクトルの内積が正となる。すなわち、三角
パッチの面がカメラの光軸に対して裏を向いている場合
である。

【００４５】このとき、「画像データ選択手段（１
０）」により得られた優先度の順にカメラから得られた
画像データを選択し、カメラ光軸に対して三角パッチが
表になる条件となるように、「画像座標算出手段（１
１）」と「テクスチャマッピング手段（１２）」を繰り
返す。

【００４６】以上の手段により、時刻ｔにおける人の眼
球位置Ｓ（ｔ）＝（Ｓｘ（ｔ），Ｓｙ（ｔ），Ｓｚ
（ｔ））と視線方向Ｅ（ｔ）＝（Ｅｘ（ｔ），Ｅｙ
（ｔ），Ｅｚ（ｔ））に対応した視野映像生成が実現可
能となる。

【００４７】なお、本手段は、時刻ｔが連続的に変化す
る場合も同様に実現できる。また、形状や物体の配置が
リアルタイムに変化する場合にも同様に実現できること
は明らかである。

【００４８】また、本発明は、図１に示した装置の一部
又は全部の処理機能をプログラムとして構成してコンピ
ュータを用いて実現すること、あるいは図１〜図３で示
した処理手順をプログラムとして構成してコンピュータ
に実行させることができる。また、コンピュータでその
各部の処理機能を実現するためのプログラム、あるいは
コンピュータにその処理手順を実行させるためのプログ
ラムを、そのコンピュータが読み取り可能な記録媒体、
例えば、ＦＤ（フロッピーディスク：登録商標）、Ｍ
Ｏ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブ
ルディスクなどに記録して、保存したり、提供したりす
ることが可能であり、また、インターネットのような通
信ネットワークを介して配布したりすることが可能であ
る。

【００４９】

【発明の効果】以上、説明したように、本発明は、複数
のカメラから得られる画像に基づき新しい視点からの画
像を計算機上で生成する映像生成技術、並びに、人の眼
球運動計測技術の応用によって、実環境中に存在する人
の視野に映っている情景を、映像として生成できる装置
を提供することができる。

【００５０】また、過去の研究から、人の視線には、そ
の人の意図や興味、情動や気分など心理的な状態が反映
しているとされている。本発明を用いれば、実環境中に
存在する人の興味や行動の推移が観測可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態を示す視野映像生成装置の構
成図。

【図２】実施形態における視野映像生成装置の外観図。

【図３】実施形態における天井から見た視野映像生成装
置の外観図。

【符号の説明】

１…カメラパラメータ獲得手段 ２…カメラキャリブレーション手段 ３…画像データ獲得手段 ４…屋内環境に設置した複数のカメラ ５…３次元モデル獲得手段 ６…３次元形状計測手段 ７…三角パッチ作成手段 ８…視線計測手段 ９…映像生成手段 １０…画像データ選択手段 １１…画像座標算出手段 １２…テクスチャマッピング手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 武川 直樹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 BA06 CA07 DA07 EA17 EA27 FA02 FA09 5B057 BA13 CA13 CA16 CB13 CB16 CD01 DB03 DC08 5C022 AA00 AC00

Claims (8)

【特許請求の範囲】
1. 【請求項１】 実環境の３次元形状モデルを獲得する
   「３次元形状モデル獲得手段」と、 該実環境中に設置された複数のカメラを用いて画像デー
   タを獲得する「画像データ獲得手段」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
   焦点距離、レンズ中心のいずれか、または、それらの複
   数からなるパラメータを獲得する「カメラパラメータ獲
   得手段」と、 人の眼球位置と視線方向を計測する「視線計測手段」
   と、 前記「３次元形状モデル獲得手段」で獲得された実環境
   中の３次元形状データ、及び、前記「画像データ獲得手
   段」で獲得された画像データ、及び、前記「視線計測手
   段」により計測された人の眼球位置と視線方向を利用
   し、人の眼球位置と視線方向に対応した映像を生成する
   「映像生成手段」と、を備えたことを特徴とする視野映
   像生成装置。
2. 【請求項２】 前記「映像生成手段」は、前記各カメラ
   姿勢、及び、前記「視線計測手段」により計測された人
   の視線方向に基づいて、前記「画像データ獲得手段」に
   よって獲得された複数のカメラの画像データの中からテ
   クスチャマッピングするカメラの画像データを選択する
   「画像データ選択手段」を備えたことを特徴とする請求
   項１に記載の視野映像生成装置。
3. 【請求項３】 実環境の３次元形状モデルを獲得する
   「３次元形状モデル獲得手順」と、 該実環境中に設置された複数のカメラを用いて画像デー
   タを獲得する「画像データ獲得手順」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
   焦点距離、レンズ中心のいずれか、または、それらの複
   数からなるパラメータを獲得する「カメラパラメータ獲
   得手順」と、 人の眼球位置と視線方向を計測する「視線計測手順」
   と、 前記「３次元形状モデル獲得手順」で獲得された実環境
   中の３次元形状データ、及び、前記「画像データ獲得手
   順」で獲得された画像データ、及び、前記「視線計測手
   順」により計測された人の眼球位置と視線方向を利用
   し、人の眼球位置と視線方向に対応した映像を生成する
   「映像生成手順」と、を有することを特徴とする視野映
   像生成方法。
4. 【請求項４】 前記「映像生成手順」は、前記各カメラ
   姿勢、及び、前記「視線計測手順」により計測された人
   の視線方向に基づいて、前記「画像データ獲得手順」に
   よって獲得された複数のカメラの画像データの中からテ
   クスチャマッピングするカメラの画像データを選択する
   「画像データ選択手順」を有することを特徴とする請求
   項３に記載の視野映像生成方法。
5. 【請求項５】 実環境の３次元形状モデルを獲得する
   「３次元形状モデル獲得手順」と、 該実環境中に設置された複数のカメラを用いて画像デー
   タを獲得する「画像データ獲得手順」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
   焦点距離、レンズ中心のいずれか、または、それらの複
   数からなるパラメータを獲得する「カメラパラメータ獲
   得手順」と、 人の眼球位置と視線方向を計測する「視線計測手順」
   と、 前記「３次元形状モデル獲得手順」で獲得された実環境
   中の３次元形状データ、及び、前記「画像データ獲得手
   順」で獲得された画像データ、及び、前記「視線計測手
   順」により計測された人の眼球位置と視線方向を利用
   し、人の眼球位置と視線方向に対応した映像を生成する
   「映像生成手順」と、をコンピュータで実行可能に構成
   したことを特徴とする視野映像生成プログラム。
6. 【請求項６】 前記「映像生成手順」は、前記各カメラ
   姿勢、及び、前記「視線計測手順」により計測された人
   の視線方向に基づいて、前記「画像データ獲得手順」に
   よって獲得された複数のカメラの画像データの中からテ
   クスチャマッピングするカメラの画像データを選択する
   「画像データ選択手順」を有することを特徴とする請求
   項５に記載の視野映像生成プログラム。
7. 【請求項７】 実環境の３次元形状モデルを獲得する
   「３次元形状モデル獲得手順」と、 該実環境中に設置された複数のカメラを用いて画像デー
   タを獲得する「画像データ獲得手順」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
   焦点距離、レンズ中心のいずれか、または、それらの複
   数からなるパラメータを獲得する「カメラパラメータ獲
   得手順」と、 人の眼球位置と視線方向を計測する「視線計測手順」
   と、 前記「３次元形状モデル獲得手順」で獲得された実環境
   中の３次元形状データ、及び、前記「画像データ獲得手
   順」で獲得された画像データ、及び、前記「視線計測手
   順」により計測された人の眼球位置と視線方向を利用
   し、人の眼球位置と視線方向に対応した映像を生成する
   「映像生成手順」と、を有するプログラムを記録したこ
   とを特徴とする視野映像生成プログラムを記録した記録
   媒体。
8. 【請求項８】 前記「映像生成手順」は、前記各カメラ
   姿勢、及び、前記「視線計測手順」により計測された人
   の視線方向に基づいて、前記「画像データ獲得手順」に
   よって獲得された複数のカメラの画像データの中からテ
   クスチャマッピングするカメラの画像データを選択する
   「画像データ選択手順」を有することを特徴とする請求
   項７に記載の視野映像生成プログラムを記録した記録媒
   体。