JP2005250741A

JP2005250741A - 画像生成装置および画像生成方法、ステレオ視用画像生成装置およびステレオ視用画像生成方法

Info

Publication number: JP2005250741A
Application number: JP2004058757A
Authority: JP
Inventors: Naoki Chiba; 直樹千葉
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-03-03
Filing date: 2004-03-03
Publication date: 2005-09-15

Abstract

【課題】この発明は、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成することができるようになる画像生成装置を提供することを目的とする。
【解決手段】カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成装置であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３手段を備えている。
【選択図】図６

Description

この発明は、カメラを回転させて撮影した画像から指定された視点位置および視線方向に対応した画像を生成するための画像生成装置、画像生成方法および記録媒体ならびにカメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するためのステレオ視用画像生成装置、ステレオ視用画像生成方法および記録媒体に関する。

従来から、１台のカメラを回転して撮像した各画像から、垂直スリット状の部分画像を切り出し、それらの部分画像を利用して、ステレオ視用の画像（左目用画像と右目用画像）を生成する技術が開発されている。

例えば、特開平１１−１６４３２６号公報に記載されている発明では、回転軸に半径方向に距離Ｌだけ離れた位置にカメラの焦点が位置するようにカメラを設置し、回転軸を中心としてカメラを回転させて画像を撮像する。そして、各撮像画像から左目用のスリット画像と右目用のスリット画像とを切り出す。ある撮像画像から切り出されるスリット画像の幅は、その撮像画像とその次に連続する撮像画像との間のオプティカルフローの大きさに基づいて算出される。次に、各撮像画像から切り出された左目用のスリット画像を結合して左目用の全方位画像を生成するとともに、各撮像画像から切り出された右目用のスリット画像を結合して右目用の全方位画像を生成する。

上記従来方法では、カメラの回転は水平回転（もしくは１自由度の回転）しか考慮されておらず、天井や床などの鉛直方向の立体画像を生成することができない。また、光軸回りの回転も考慮されてない。

また、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成する方法は未だ開発されていない。
特開平１１−１６４３２６号公報

この発明は、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成することができるようになる画像生成装置、画像生成方法および記録媒体方法を提供することを目的とする。

また、この発明は、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応したステレオ視用画像を生成することができるようになるステレオ視用画像生成装置、ステレオ視用画像生成方法およびステレオ視用画像生成プログラムを記録した記録媒体方法を提供することを目的とする。

この発明は、水平方向だけでなく垂直方向やカメラの光軸まわりの回転を含む全方位のステレオ視用画像を生成することが可能となるステレオ視用画像生成装置、ステレオ視用画像生成方法およびステレオ視用画像生成プログラムを記録した記録媒体方法を提供することを目的とする。

この発明による画像生成装置は、カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成装置であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３手段を備えていることを特徴とする。

第１手段としては、例えば、水平回転の中心と垂直回転の中心を一致させ、この回転中心とカメラの投影中心との距離を一定に保持したまま、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるものが用いられる。

上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。

上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。

第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向を、上記視点位置からの上記視線方向に平行な光線であってかつ選択された画像データが撮影されたときのカメラの投影中心を通る光線の方向に補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。

この発明による画像生成方法は、カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成方法であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップを備えていることを特徴とする。

上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。

上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする。

この発明による画像生成プログラムを記録した記録媒体は、カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成するための画像生成プログラムを記録した記録媒体であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップを実行するための画像生成プログラムが記録されていることを特徴とする。

上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。

この発明によるステレオ視用画像生成装置は、カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成装置であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３手段、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４手段を備えていることを特徴とする。

上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えているものが用いられ、上記第４手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。

上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられ、第４手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。

この発明によるステレオ視用画像生成方法は、カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成方法であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップを備えていることを特徴とする。

上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられ、第４ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。

上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられ、上記第４ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。

この発明によるステレオ視用画像生成プログラムを記録した記録媒体は、カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するためのステレオ視用画像生成プログラムを記録した記録媒体であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップを実行するためのステレオ視用画像生成プログラムが記録されていることを特徴とする。

課題を解決するための手段の欄で使用されている「視線方向」は、後述する実施例の欄でいう「狭義の視線方向」を表している。

この発明によれば、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成することができるようになる。

また、この発明によれば、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応したステレオ視用画像を生成することができるようになる。

また、この発明によれば、水平方向だけでなく垂直方向やカメラの光軸まわりの回転を含む全方位のステレオ視用画像を生成することが可能となる。

以下、図面を参照して、この発明の実施例について説明する。

〔１〕全方位ステレオ画像生成装置の構成を示している。
図１は、全方位ステレオ画像生成装置の構成を示している。

図１において、２００はカメラ、２０１は三脚、２０２は垂直回転部、２０３は水平回転部、２０４はコンピュータ（ＰＣ）、２０５はステレオ表示装置である。

カメラ２００は、その投影中心が水平回転と垂直回転の両方の中心から距離Ｌだけ離れた位置に位置するように、設置されている。カメラ２００は、コンピュータ２０４に接続されている。垂直回転部２０２および水平回転部２０３は、コンピュータ制御可能な雲台であり、コンピュータ２０４によって制御される。

ここで、カメラ２００は、水平回転と垂直回転の両方の中心から距離が一定に保たれるように設置されている。したがって、カメラ２００を水平回転および垂直回転させることにより、仮想的に球面上に多数のカメラを配置した撮像システムと同等の撮像システムを実現できる。

ステレオ表示装置２０５としては、立体的なステレオ表示が可能なヘッドマウントディスプレイまたは眼鏡なし立体表示ディスプレイが用いられる。

〔２〕全方位ステレオ画像生成装置による処理手順の説明
図２は、全方位ステレオ画像生成装置による処理手順を示している。

まず、カメラ２００によって撮像された画像を記録する（ステップＳ１０１）。次に、ステップＳ１０１で画像が記録されたときのカメラ２００の回転角度（基準位置からの水平回転角度および垂直回転角度）を記録する（ステップＳ１０２）。

次に、撮影すべき次の画像があるか否かを判別する（ステップＳ１０３）。撮像すべき次の画像がある場合には、次の画像を撮像するために、カメラ２００を回転させた後（ステップＳ１０４）、ステップＳ１０１に戻る。

ステップＳ１０３において、撮像すべき次の画像がないと判別した場合には、記録された撮像画像とカメラ２００の回転角度とに基づいて、ステレオ視用画像を生成するためのステレオ視用画像の生成処理を行う（ステップＳ１０５）。この後において、表示指令があった場合には、生成されたステレオ視用画像を表示するためのステレオ視用画像の表示処理を行う（ステップＳ１０６）。

〔３〕カメラ２００による撮影方法の説明
図３は、画像データを取得する際（図２のステップＳ１０１〜Ｓ１０４）に、カメラを回転させる様子を平面から見た図を示している。以下においては、説明を簡単にするために、カメラ２００を水平方向にのみ回転させる場合について説明する。

カメラ２００は、その投影中心Ｏｃが回転中心Ｏから一定の距離Ｌを保持した状態で、回転中心Ｏを中心として回転する。このとき、カメラ２００の撮像中心（撮像面Ｉｃの中心）、投影中心Ｏｃおよび回転中心Ｏが一直線上に並ぶようにカメラ２００が設置されている。このような関係は、カメラ２００を水平方向に回転させるときのみならず、カメラ２００を垂直方向に回転させるときにも維持されるので、撮像面Ｉｃは距離Ｌと焦点距離ｆｃとの和を半径とする球面に接することになる。

〔４〕ステレオ視用画像の生成処理についての説明
図２のステップＳ１０５のステレオ視用画像の生成処理について詳しく説明する。ステレオ視用画像の生成処理では、設定された視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度毎に、ステレオ視用画像（左目用画像と右目用画像）とが生成される。

図４は、取得された画像データからステレオ視用の画像のうち、左目用画像を生成する方法を説明するための説明図である。

まず、図４に示すように、左目用の仮想カメラと右目用の仮想カメラとからなる両眼用の仮想カメラを配置する。この例では、左目用の仮想カメラと右目用の仮想カメラとは、それらの投影中心Ｏ_L，Ｏ_Rが回転中心Ｏから距離ｂだけ離れた位置に位置するようにして配置されている。ｂは、左右の目の間隔の１／２に設定されている。また、この例では、左目用の仮想カメラと右目用の仮想カメラは、前向き（正面向き）に配置されている。左目用の仮想カメラの撮像面をＩ_L，右目用の仮想カメラの撮像面をＩ_Rとする。

この場合の左目の視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度について説明する。左目の視点位置は左目用の仮想カメラの投影中心Ｏ_Lとなる。また、左目の視線方向（広義の視線方向）は、投影中心Ｏ_Lから撮像面Ｉ_Lの中心に向かう方向となる。左目の視線姿勢は、視線方向（広義の視線方向）を軸とした撮像面Ｉ_Lの軸回りの回転角度位置を表している。左目の視野角度は、左目用の仮想カメラの撮像面Ｉ_Lの解像度がカメラ２００の撮像面Ｉｃの解像度と同じであるとすると、左目用の仮想カメラの焦点距離（投影中心Ｏ_Lと撮像面Ｉ_Lとの間の距離に相当する）によって定まる。

図５は、図４に示されている左目用の仮想カメラの位置、姿勢および視野角度、つまり、左目の視線位置Ｖ（ｘ，ｙ，ｚ）、視線方向Ｄ（θ，ρ）および視野角度ηに対応して生成される視野範囲Ｓを示している。θは水平方向の角度、ρは垂直方向の角度である。

図４の左目用の仮想カメラの撮像面Ｉ_Lによって撮像される画像が、当該仮想カメラの位置、姿勢および視野角度によって規定される左目の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する左目用画像となる。撮像面Ｉ_L上の画素Ｐ_Lの画素値を生成する方法について説明する。

撮像面Ｉ_L上の画素Ｐ_Lには、左目用の仮想カメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ光線上の物体Ａが写っているはずである。そこで、既に撮影されたカメラ２００の画像データから、左目用の仮想カメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ光線上の画素値を、選択して、画素Ｐ_Lの値とする。

左目用の仮想カメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ光線の方向（狭義の視線方向）に基づいて、当該光線と回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Lの位置を算出する。なお、特許請求の範囲の欄の各請求項でいう視線方向とは、狭義の視線方向を意味している。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点Ｑ_Lに最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する。

つまり、図４において、回転中心Ｏと交点Ｑ_Lとを結ぶ直線の角度と、カメラ２００によって撮像された１画面単位の各画像データに対応するカメラ２００の回転角度との差が最小となるような画像データを選択する。例えば、回転中心Ｏを原点とする世界座標系での球面上の交点Ｑ_Lの座標から得られる回転中心Ｏから交点Ｑ_Lへ向かう直線の正規化ベクトルと、当該世界座標系での撮像済の１画面単位の各画像データに対応する撮像面Ｉｃの法線方向（すなわち、カメラ２００の回転角度）の正規化ベクトルとの内積が１に近い画像データを選択する。

そして、左目用の仮想カメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ光線が、選択された画像データに対応する撮像面Ｉｃに交わる点Ｐ₁の画素値を取得する。取得した画素値を、図４の左目用の仮想カメラの位置、姿勢および視野角度によって規定される左目の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、撮像面Ｉ_L上の画素Ｐ_Lの画素値（着目している光線方向（狭義の視線方向）に対応する画像の画素値）として描画する。このような処理を、撮像面Ｉ_L上のすべての画素、すなわち、すべての光線方向について繰り返す。

図６は、設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する左目用画像を生成するための処理手順を示している。

まず、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度を決定する（ステップＳ２０１）。図４の両眼用の仮想カメラの位置、姿勢および視野角度を決定することを意味する。次に、左目用の仮想カメラの撮像面Ｉ_L上の注目画素（画素値を生成しようとする画素）に対応した、視線位置Ｏ_Lからの光線方向（狭義の視線方向）を決定する（ステップＳ２０２）。図４の左目用の仮想カメラの撮像面Ｉ_L上の画素Ｐ_Lが注目画素であるとすると、左目用の仮想カメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ方向が、視線位置Ｏ_Lからの注目画素Ｐ_Lに対応した光線方向となる。

次に、視線位置Ｏ_Lからの注目画素Ｐ_Lに対応した光線と、回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Lの位置を算出する（ステップＳ２０３）。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点Ｑ_Lに最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する（ステップＳ２０４）。

次に、注目画素に対応した視点位置Ｏ_Lからの光線が、選択された画像データに対応する撮像面Ｉｃに交わる点を算出する（ステップＳ２０５）。そして、算出された撮像面Ｉｃ上の交点の画素値を、上記ステップＳ２０１で設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、上記ステップＳ２０２で決定された光線方向（狭義の視線方向）に対応する画像の画素値（仮想撮像面Ｉ_L上の注目画素での画素値）として描画する（ステップＳ２０６）。

この後、次の光線方向があるか否かを判別する（ステップＳ２０７）。つまり、仮想撮像面Ｉ_L上の全ての画素のうち、上記ステップＳ２０２〜Ｓ２０６の処理（画素値取得処理）が行われてないものがあるか否かを判別する。次の光線方向がある場合には、つまり、撮像面Ｉ_L上の全ての画素に対して画素値取得処理が行なわれていない場合には、画素値取得処理が行なわれていない画素のうちの１つの画素を注目画素に設定した後（ステップＳ２０８）、ステップＳ２０２に戻る。上記ステップＳ２０７において、次の光線方向がない場合には、今回の処理を終了する。

設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する右目用画像も左目用画像と同様な方法で生成される。

図７は、取得された画像データからステレオ視用の画像のうち、右目用画像を生成する方法を説明するための説明図である。

右目用の仮想カメラの投影中心Ｏ_Rと画素Ｐ_Rとを結ぶ光線の方向（狭義の視線方向）に基づいて、当該光線と回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Rの位置を算出する。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点Ｑ_Rに最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する。

そして、右目用の仮想カメラの投影中心Ｏ_Rと画素Ｐ_Rとを結ぶ光線が、選択された画像データに対応する撮像面Ｉｃに交わる点Ｐ₂の画素値を取得する。取得した画素値を、図７の右目用の仮想カメラの位置、姿勢および視野角度によって規定される右目の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、撮像面Ｉ_R上の画素Ｐ_Rの画素値（着目している光線方向（狭義の視線方向）に対応する画像の画素値）として描画する。このような処理を、撮像面Ｉ_R上のすべての画素、すなわち、すべての光線方向について繰り返す。

図８は、生成された左右のステレオ視用画像において、視差が再現されていることを説明するための説明図である。

物体Ａに対する左目用画像は左目用の仮想カメラの撮像面Ｉ_L上の画素Ｐ_Lで撮影された画像と等価となり、同じ物体Ａに対する右目用画像は右目用の仮想カメラの撮像面Ｉ_R上の画素Ｐ_Rで撮像された画像と等価となる。

左目用の仮想カメラの撮像面Ｉ_L上の画素Ｐ_Lの撮像面Ｉ_L上での水平方向座標をｈ_Lとし、右目用の仮想カメラの撮像面Ｉ_R上の画素Ｐ_Rの撮像面Ｉ_R上での水平方向座標をｈ_Rとすると、これらの差分に応じた両眼視差が発生するため、画素Ｐ_Lの画像を左目で見るとともに、画素Ｐ_Rの画像を右目で見ると、物体Ａが立体的に見えるようになる。

上記実施例では、両眼用の仮想カメラは、それを構成する左目用の仮想カメラと右目用の仮想カメラの投影中心Ｏ_L，Ｏ_Rの中間点が回転中心Ｏに位置するようにして配置されているとともに、前向き（正面向き）に配置されている。しかしながら、全方位方向に画像を撮影しておけば、任意の位置、姿勢で両眼用の仮想カメラを配置することが可能であるとともに視野角度を任意に設定することが可能である。言い換えれば、任意の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度でのステレオ視用画像を生成することが可能である。つまり、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応した視野の範囲（図５参照）を変更することによって、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応したステレオ視用画像を生成することが可能である。

なお、図２のステップＳ１０６のステレオ視用画像の表示処理では、ユーザによって指定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応したステレオ視用画像が表示される。より具体的には、図２のステップＳ１０５のステレオ視用画像の生成処理において、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度の組合せが異なる複数のステレオ視用画像を予め生成しておき、図２のステップＳ１０６のステレオ視用画像の表示処理においては、それらの画像がユーザの操作に応じて切り換えて表示される。

なお、ユーザによって視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度が指定される都度、それに対応したステレオ視用画像を生成して表示するようにしてもよい。

ところで、上記左目用画像（右目用画像も同様）の生成方法では、左目用の仮想カメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ光線と、回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Lの位置を算出し、カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点Ｑ_Lに最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択している。

しかしながら、取得した画像枚数が少ないために、算出した交点Ｑ_Lに投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しない場合がある。このような場合の画素値の生成方法について図９を参照して説明する。

図９において、左目用の仮想カメラの投影中心Ｏ_Lと撮像面Ｉ_L上の画素Ｐ_Lとを結ぶ光線と、回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Lに、投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しないとする。

このような場合には、投影中心Ｏｃが交点Ｑ_Lに最も近い位置にあるときにカメラ２００によって撮像された画像データを利用する。この例では、投影中心Ｏｃが交点Ｑ_Lの近くの位置Ｑ_L1にある位置で、カメラ２００によって撮像された画像データ（撮像面が図９のＩｃである）を利用する。

このカメラ２００の撮像面Ｉｃに、左目用の仮想カメラの投影中心Ｏ_Lと撮像面Ｉ_L上の画素Ｐ_Lとを結ぶ光線が交わる点Ｐ₁の画素値を、画素Ｐ_Lの画素値として用いると、視線方向の誤差が生じる。つまり、本来、対象物Ａを向いていた視線（光線）が、対象物Ｂを向いてしまう。そこで、撮像面Ｉｃ上の光線が交わる点Ｐ₁の座標を以下の式（１）に基づいて補正する。

ｈ’＝｛ｆｃ／（ｆｃ＋ｄ）｝×ｈ …（１）

上記式（１）において、ｈは撮像面Ｉｃ上の座標である。ｆｃは撮像したカメラ２００の焦点距離である。ｄはカメラ２００の投影中心Ｏｃと回転中心Ｏとを結んだ直線と左目用の仮想的なカメラの投影中心Ｏ_Lと画素Ｐ_Lとを結ぶ光線との交点Ｘと、投影中心Ｏｃとの間の距離である。ｈ’は補正後の座標である。これにより、撮像面Ｉｃ上の点Ｐ₁の座標が図９の点Ｐ₂の座標に補正される。

すなわち、左目用の仮想カメラの投影中心Ｏ_Lと撮像面Ｉ_L上の画素Ｐ_Lとを結ぶ光線を、カメラ２００の投影中心Ｏｃが通るように平行移動させ、平行移動させた光線とカメラ２００の撮像面Ｉｃとの交点Ｐ₂の画素値を、画素Ｐ_Lの画素値とする。図９に示すように、このような補正を行っても、本来の対象物Ａを向く視線（光線）ではなく、対象物Ｃを向く視線（光線）となるが、回転半径Ｌに対して対象物が十分離れていれば、視覚上、問題とならない。

上記は、２次元空間における視線の補正方法であるが、三次元空間における視線の補正方法を図１０（ａ）および図１０（ｂ）を用いて説明する。

図１０（ａ）において、左目用の仮想カメラの投影中心Ｏ_Lと撮像面Ｉ_L上の画素Ｐ_Lとを結ぶ光線Ｏ_LＡと、回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Lに、投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しないとする。

このような場合には、投影中心Ｏｃが交点Ｑ_Lに最も近い位置にあるときにカメラ２００によって撮像された画像データを利用する。この例では、投影中心Ｏｃが交点Ｑ_Lの近くの位置Ｑ_L1にある位置で、カメラ２００によって撮像された画像データ（撮像面が図１０（ａ）のＩｃである）を利用する。

カメラ２００の撮像面Ｉｃに、左目用の仮想カメラの投影中心Ｏ_Lと撮像面Ｉ_L上の画素Ｐ_Lとを結ぶ光線Ｏ_LＡが交わる点Ｐ₁の画素値を、画素Ｐ_Lの画素値として用いると、視線方向の誤差が生じる。そこで、この光線Ｏ_LＡと平行で、かつ撮像面Ｉｃの投影中心Ｏｃを通る光線ＯｃＣを用いて補正する。これは、光線ＯｃＣと撮像面Ｉｃとの交点を計算することで、補正後の座標Ｐ₂を計算することができる。あるいは、２次元に簡略化した方法を用いて、光線Ｏ_LＡが撮像面Ｉｃと交わる点Ｐ₁の座標から、上記式（１）にもとづいて補正することもできる。

ただし、上記式（１）において、ｈは撮像面Ｉｃ上の座標である。ｆｃは撮像したカメラ２００の焦点距離である。ｄは、３次元空間では上記式（１）で説明したｄとは異なる。図１０（ｂ）は、図１０（ａ）を、カメラの回転中心Ｏと撮像面Ｉｃの座標軸Ｐｃ・ｖとを含む平面で切った図である。ｄは、この平面と光線Ｏ_LＡとの交点Ｘと、撮像面Ｉｃの投影中心Ｏｃとの距離であるが、撮像面Ｉｃの法線に照射した距離である。ｈ’は補正後の座標である。これにより、撮像面Ｉｃ上の点Ｐ₁の座標が図１０（ａ）の点Ｐ₂の座標に補正される。

上記実施例１では、カメラ２００で撮影された画像に基づいて、ステレオ視用画像を生成する場合について説明したが、カメラ２００で撮影された画像に基づいて、単眼カメラの任意の位置、姿勢および視野角度での画像、つまり任意の視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する画像を生成することができる。

図１１は、カメラ２００で撮影された画像に基づいて、単眼カメラの任意の位置、姿勢および視野角度での画像を生成する方法を説明するための説明図である。

図１１に示すように、回転中心Ｏを中心とした半径Ｌの球面内に、単眼の仮想カメラを任意の位置および任意の姿勢で配置する。仮想的な単眼カメラのと投影中心（視点位置）をＯ_T、その画像面をＩ_Tとする。

単眼の仮想カメラの投影中心Ｏ_Tと画像面Ｉ_T上の画素Ｐ_Tとを結ぶ光線の方向（狭義の視線方向）に基づいて、当該光線と回転中心Ｏを中心としかつ半径Ｌの球面との交点Ｑ_Tの位置を算出する。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点Ｑ_Tに最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する。

そして、仮想的な単眼カメラの投影中心Ｏ_Tと画素Ｐ_Tとを結ぶ光線が、選択された画像データに対応する撮像面Ｉｃに交わる点Ｐ₁の画素値を取得する。そして、取得した画素値を、設定された視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、着目している光線（狭義の視線方向）に対応する撮像面Ｉ_T上の画素Ｐ_Tの画素値として描画する。このような処理を、撮像面Ｉ_T上のすべての画素Ｐ_T、すなわち、すべての光線方向について繰り返す。

なお、取得した画像枚数が少ないために、算出した交点Ｑ_Tに投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しない場合には、第１実施例（ステレオ視用画像の生成）において、図９または図１０を用いて説明したような補正を行うことが好ましい。

全方位ステレオ画像生成装置の構成を示すブロック図である。全方位ステレオ画像生成装置による処理手順を示すフローチャートである。画像データを取得する際に、カメラを回転させる様子を平面から見た図を示す平面図である。取得された画像データからステレオ視用の画像のうち、左目用画像を生成する方法を説明するための平面図である。図４に示されている左目用の仮想カメラの位置、姿勢および視野角度、つまり、左目の視線位置Ｖ（ｘ，ｙ，ｚ）、視線方向Ｄ（θ，ρ）および視野角度ηに対応して生成される視野範囲Ｓを示す模式図である。設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する左目用画像を生成するための処理手順を示すフローチャートである。取得された画像データからステレオ視用の画像のうち、右目用画像を生成する方法を説明するための平面図である。生成された左右のステレオ視用画像において、視差が再現されていることを説明するための平面図である。算出した交点Ｑ_Lに投影中心Ｏｃがほぼ一致ような位置で、カメラ２００によって撮像された画像データが存在しない場合の画素値の生成方法を説明するための平面図である。３次元空間における視線の補正方法を説明するための模式図である。カメラ２００で撮影された画像に基づいて、単眼カメラの任意の位置、姿勢および視野角度での画像を生成する方法を説明するための平面図である。

符号の説明

２００カメラ
２０１三脚
２０２垂直回転部
２０３水平回転部
２０４コンピュータ（ＰＣ）
２０５ステレオ表示装置

Claims

カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成装置であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３手段、
を備えていることを特徴とする画像生成装置。
第１手段は、水平回転の中心と垂直回転の中心を一致させ、この回転中心とカメラの投影中心との距離を一定に保持したまま、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるものであることを特徴とする請求項１に記載の画像生成装置。
第３手段は、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに
選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の画像生成装置。
第３手段は、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の画像生成装置。
第３手段は、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向を、上記視点位置からの上記視線方向に平行な光線であってかつ選択された画像データが撮影されたときのカメラの投影中心を通る光線の方向に補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の画像生成装置。
カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成方法であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップ、
を備えていることを特徴とする画像生成方法。
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに
選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項６に記載の画像生成方法。
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項６に記載の画像生成方法。
カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成するための画像生成プログラムを記録した記録媒体であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップ、
を実行するための画像生成プログラムを記録した記録媒体。
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに
選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項９に記載の画像生成プログラムを記録した記録媒体。
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項９に記載の画像生成プログラムを記録した記録媒体。
カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成装置であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３手段、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４手段、
を備えていることを特徴とするステレオ視用画像生成装置。
第３手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えており、
第４手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えていることを特徴とする請求項１２に記載のステレオ視用画像生成装置。
第３手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面１の幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えており、
第４手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えていることを特徴とする請求項１２に記載のステレオ視用画像生成装置。
カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成方法であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップ、
を備えていることを特徴とするステレオ視用画像生成方法。
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１５に記載のステレオ視用画像生成方法。
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１５に記載のステレオ視用画像生成方法。
カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するためのステレオ視用画像生成プログラムを記録した記録媒体であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップ、
を実行するためのステレオ視用画像生成プログラムを記録した記録媒体。
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１８に記載のステレオ視用画像生成プログラムを記録した記録媒体。
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１８に記載のステレオ視用画像生成プログラムを記録した記録媒体。