JP2001067473A

JP2001067473A - 画像生成方法及びその装置

Info

Publication number: JP2001067473A
Application number: JP23776699A
Authority: JP
Inventors: Kaori Hiruma; 香織昼間; Takayuki Okimura; 隆幸沖村; Kenji Nakazawa; 憲二中沢; Kazutake Kamihira; 員丈上平
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-08-25
Filing date: 1999-08-25
Publication date: 2001-03-16
Anticipated expiration: 2019-08-25
Also published as: JP3561446B2

Abstract

(57)【要約】【課題】本発明は、複数のカメラの撮像する実写画像と
その奥行きマップとから、仮想視点位置から見た画像を
生成する構成を採るときにあって、写実性が高く、仮想
視点位置の移動が広く、ウォークスルー等のアプリケー
ションにも適用可能となる画像を生成できるようにする
ことを目的とする。【解決手段】奥行きマップを生成する。そして、仮想視
点位置よりも被写体に近い中で仮想視点位置に最も近い
奥行きマップを選択して、仮想視点奥向きマップを生成
し、その欠落部分を生成可能とする仮想視点位置よりも
被写体に近い奥行きマップを選択して、その欠落部分を
生成し、残りの欠落部分を生成可能とする仮想視点位置
よりも被写体から遠い奥行きマップを選択して、その残
りの欠落部分を生成することで仮想視点奥向きマップを
生成する。そして、生成した仮想視点奥行きマップを基
に、対応する実写画像の画素の色情報を描画する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる視点位置で
撮像した複数の画像と、その視点位置から見た被写体の
奥行情報とから、実際にはカメラの置かれていない視点
位置から見た画像を生成する画像生成方法及びその装置
に関する。

【０００２】

【従来の技術】従来、実写イメージを基に、撮像した位
置とは異なる視点の画像を生成する方法として、例えば
「多視点映像から任意視点映像の生成」（信学技報，IE
96-121;91-98,1997.）に記載されている方法がある。こ
の方法では、多視点画像から物体の奥行きマップを推定
し、このマップを仮想的な視点の奥行きマップに変換し
た後、与えられた多視点画像を利用して仮想視点画像を
生成する。

【０００３】図１４に、この従来方法で用いる多眼カメ
ラシステムのカメラ配置と仮想視点画像生成の概念を示
す。図１４において、９１〜９５はカメラ、９６は生成
する仮想視点画像の視点位置と視線方向を示したもので
ある。

【０００４】この方法では、基準となるカメラ９２で撮
影した基準画像中のある点に対し、参照カメラ９１，９
３，９４，９５で撮影した各参照画像のエピポーラライ
ンに沿ってマッチングウィンドウを１画素ずつ移動させ
ながら、マッチングの尺度であるＳＳＤ(sum of square
d-difference）を計算する。マッチングウィンドウをｄ
だけ移動させた時、４つの方向からＳＳＤの値が計算さ
れる。このうち、小さい方の２つの値を加算する。この
ような処理を探索範囲内にわたって行い、その最小値の
ところのｄを視差として求める。視差ｄと奥行きｚは、
カメラの焦点距離ｆとカメラ間距離ｂと次式の関係があ
る。

【０００５】ｚ＝ｂｆ／ｄこの関係を用いて、基準カメラ９２のカメラ位置から見
た奥行きマップを生成する。次に、この奥行きマップを
９６に示す仮想視点位置から見た奥行きマップに変換す
る。基準カメラ９２から観測できる領域は、同時に仮想
視点画像に、基準カメラ９２によって撮像された画像の
色情報を描画して仮想視点画像を生成する。視点の移動
に伴い新たに生じた領域は、奥行き値を線形補間し、参
照画像の色情報を描画して、仮想視点画像を生成する。

【０００６】しかしこの従来方法では、使用する多眼画
像の各画素について対応点を推定しなければならないた
め、基準カメラ９２と参照カメラ９１，９３，９４，９
５の間隔、すなわち基線長が制限される。仮想視点画像
は、多視点画像の色情報を描画して生成されるので、自
然な仮想視点画像が得られる仮想視点位置は図１４の点
線で示した範囲内に限られる。ゆえに仮想視点の置ける
範囲が制限される問題がある。

【０００７】更に、この方法によって、仮想空間の中を
自由に歩き回っているかのような連続した画像、すなわ
ちウォークスルー画像を、実写画像をもとに生成する場
合には、基準カメラ９２の位置よりも被写体に近い視点
位置での仮想視点画像の解像度が、画像のすべての領域
で低下するという問題がある。

【０００８】このほかの従来技術として、例えば「View
Generation for Three-Dimentional Scenes from Vide
o Sequence」（IEEE Trans.Image Processing,vol.6 p
p.584-598, Apr 1997）に記載されているような方法が
ある。これは、ビデオカメラで撮影した一連の映像シー
クエンスを基に、３次元空間における物体の位置および
輝度の情報を取得し、これを生成しようとする画像の視
点に合わせて３次元空間に幾何変換し、さらに２次元平
面に射影する方法である。

【０００９】図１５は、この従来方法の撮影方法を幾何
学的に示したものである。図１５において、１０１は被
写体、１０２はビデオカメラ、１０３はビデオカメラ１
０２で撮影するときの水平な軌道である。この方法で
は、ビデオカメラ１０２を手に持ち、軌道１０３に沿っ
てビデオカメラ１０２を移動しながら撮像した映像シー
クエンスを用いて、３次元空間における物体の位置およ
び輝度の情報を取得する。

【００１０】図１６は、図１５の方法により撮影した映
像シークエンスに含まれる個々の映像フレームの位置関
係を示した図である。図１６において、１１１〜１１５
はビデオカメラ１０２で撮影した映像フレームである。
この図に示すように、個々のフレームが視差像となるの
で、これらの画像間で対応点を抽出することにより、被
写体の３次元空間における位置及び輝度の情報が求めら
れる。

【００１１】この方法はビデオカメラ１０２を水平に移
動しながら撮像した映像シークエンスを用いて仮想視点
画像を生成するため、この方法によってビデオカメラ１
０２の移動方向に対して垂直方向に移動するウォークス
ルー画像を生成する場合には、基準カメラ位置よりも被
写体に近い仮想視点位置での仮想視点画像の解像度が、
画像のすべての領域で低下するという問題がある。

【００１２】

【発明が解決しようとする課題】このような従来技術の
問題点の解決を図るために、本発明者は、特願平11-125
62号で、新たな仮想視点画像生成方法（装置）の発明を
開示した。

【００１３】この本発明者が開示した発明では、複数の
視点位置で撮像した画像と各視点位置から見た奥行きマ
ップとを利用して、仮想視点画像を生成する方法を採っ
ている。

【００１４】確かに、この本発明者が開示した発明によ
れば、従来技術の持つ問題点を解決できるようになるも
のの、仮想視点位置に最も近い視点位置で撮像した画像
を優先的に用いて仮想視点画像を生成していくという方
法を採っていることから、ウォークスルー画像を生成す
る場合には、その視点位置よりも被写体に近い仮想視点
位置での仮想視点画像の解像度が、画像のすべての領域
で低下するという問題が残されている。

【００１５】本発明は、上記問題点を解決するためのも
のである。本発明の目的は、実カメラ位置よりも被写体
の近づいた位置における仮想視点画像の解像度の低下を
画像の中心付近で回避し、ぼけや歪みが少なく、写実性
が高く、仮想視点位置の移動範囲が広い、ウォークスル
ー等のアプリケーションにも適用可能な仮想視点画像を
生成できるようにする新たな画像生成方法及びその装置
を提供することにある。

【００１６】

【課題を解決するための手段】本発明の前記目的を達成
するための代表的な手段の概要を以下に簡単に説明す
る。

【００１７】（１）被写体に対向して配置される複数の
カメラによって撮像された画像を基に、実際にはカメラ
の置かれていない仮想視点位置で撮像したような画像を
生成する画像生成方法において、実写画像の各画素につ
いて被写体までの奥行き値を保持する奥行きマップを生
成する第１の処理過程と、仮想視点位置よりも被写体に
近いカメラにより撮像される１つ又は複数の実写画像
と、それに対応付けられる奥向きマップとを選択すると
ともに、仮想視点位置よりも被写体から遠いカメラによ
り撮像される１つ又は複数の実写画像と、それに対応付
けられる奥向きマップとを選択して、それらの奥行きマ
ップを基に、仮想視点位置から見た奥向きマップを生成
する第２の処理過程と、生成した仮想視点奥向きマップ
を基に、その仮想視点奥行きマップの生成元となった奥
行きマップに対応付けられる実写画像の画素の色情報を
描画することで、仮想視点位置から見た画像を生成する
第３の処理過程とを備えることを特徴とする。

【００１８】（２）（１）記載の画像生成方法におい
て、第１の処理過程で、多眼カメラにより撮像される実
写画像の対応点を抽出し、ステレオ法により三角測量の
原理を用いて奥行き値を推定することで奥行きマップを
生成することを特徴とする。

【００１９】（３）（１）記載の画像生成方法におい
て、第１の処理過程で、レーザ光による画像パターンを
被写体に照射することにより奥行き値を推定することで
奥行きマップを生成することを特徴とする。

【００２０】（４）（１）〜（３）のいずれかに記載さ
れる画像生成方法において、第２の処理過程で、仮想視
点位置よりも被写体に近い中で仮想視点位置に最も近い
奥行きマップを選択して、それを基に、仮想視点位置か
ら見た奥向きマップを生成し、その仮想視点奥向きマッ
プの欠落部分の一部分を生成可能とする仮想視点位置よ
りも被写体に近い１つ又は複数の奥行きマップを選択し
て、それを基に、その欠落部分の一部分を生成し、残さ
れている欠落部分を生成可能とする仮想視点位置よりも
被写体から遠い１つ又は複数の奥行きマップを選択し
て、それを基に、その残されている欠落部分を生成する
ことで、仮想視点位置から見た奥向きマップを生成する
ことを特徴とする。

【００２１】（５）被写体に対向して配置される複数の
カメラによって撮像された画像を基に、実際にはカメラ
の置かれていない仮想視点位置で撮像したような画像を
生成する画像生成装置において、実写画像の各画素につ
いて被写体までの奥行き値を保持する奥行きマップを生
成する手段と、仮想視点位置よりも被写体に近いカメラ
により撮像される１つ又は複数の実写画像と、それに対
応付けられる奥向きマップとを選択するとともに、仮想
視点位置よりも被写体から遠いカメラにより撮像される
１つ又は複数の実写画像と、それに対応付けられる奥向
きマップとを選択して、それらの奥行きマップを基に、
仮想視点位置から見た奥向きマップを生成する手段と、
生成した仮想視点奥向きマップを基に、その仮想視点奥
行きマップの生成元となった奥向きマップに対応付けら
れる実写画像の画素の色情報を描画することで、仮想視
点位置から見た画像を生成する手段とを備えることを特
徴とする。

【００２２】すなわち、本発明では、仮想視点位置より
も被写体に近いカメラの中で、仮想視点位置に最も近い
視点位置（視点位置Ａ）のカメラから見た奥行きマップ
を基に被写体の３次元空間中での形状及び位置を求め、
この被写体の形状及び位置情報を基に仮想視点位置から
見た奥行きマップを生成し、上記視点位置Ａからでは物
体の影等によって隠されている仮想視点奥行きマップの
領域を、その領域が隠されず、かつ仮想視点位置よりも
被写体に近い他の視点位置（視点位置Ｂ：複数のことも
ある）のカメラから見た奥行きマップを基に補間し、上
記視点位置Ａ，Ｂからでは撮像範囲外となる仮想視点奥
行きマップの領域を、その領域が撮像範囲となる視点位
置（仮想視点位置よりも被写体から遠い視点位置Ｃ：複
数のこともある）のカメラから見た奥行きマップを基に
補間することで、仮想視点奥行きマップを生成する。

【００２３】そして、生成した仮想視点奥行きマップの
３次元情報に従って、上記視点位置Ａで撮像された実写
画像の色情報を描画することで、対応する仮想視点画像
部分を生成し、生成した仮想視点奥行きマップの３次元
情報に従って、上記視点位置Ｂで撮像された実写画像の
色情報を描画することで、上記視点位置Ａからでは物体
の影等によって隠されている仮想視点画像の領域を生成
し、生成した仮想視点奥行きマップの３次元情報に従っ
て、上記視点位置Ｃで撮像された実写画像の色情報を描
画することで、上記視点位置Ａ，Ｂからでは撮像範囲外
となる仮想視点画像の領域を生成することで、仮想視点
画像を生成する。

【００２４】このように、本発明においては、生成しよ
うとする仮想視点画像の撮像範囲を含むように配置した
異なる複数の視点位置のカメラから見た奥行きマップを
同時に取得し、これらを統合して仮想視点位置から見た
奥行きマップを生成して、仮想視点画像を生成していく
ことを特徴とする。

【００２５】従来技術のように、多視点画像間の対応点
を抽出して多視点画像間を補間する方法とは、本発明で
は、対応点抽出する多視点画像のカメラ位置の外側に仮
想視点位置を置いても写実性の高い仮想視点画像を生成
できるという点で異なる。また、本発明では、仮想視点
位置をカメラの光軸方向に被写体に近づけても、仮想視
点画像の中心部分付近では解像度の低下を抑えることが
できるという点で異なる。

【００２６】また、従来技術のように、ビデオカメラを
移動しながら視差像を撮像する方法とは、本発明では、
仮想視点位置をビデオカメラの移動方向に対して垂直方
向に仮想視点位置を移動させても、仮想視点画像の中心
部分付近では解像度の低下を抑えることができるという
点で異なる。

【００２７】また、本発明者が先に開示した発明のよう
に、複数の視点位置で撮像した画像と各視点位置から見
た奥行きマップとを利用して仮想視点画像を生成する方
法とは、本発明では、仮想視点位置をカメラの光軸方向
に近づけても、仮想視点画像の中心部分付近では解像度
の低下を抑えることができるという点で異なる。

【００２８】すなわち、本発明は、仮想視点位置よりも
被写体に近い視点位置で撮像した奥行きデータおよび画
像を優先的に選択して仮想視点画像を生成する手法であ
るため、仮想視点画像の解像度の低下を最小限に抑える
ことができる。

【００２９】また、本発明では、複数の奥行きマップを
統合して１枚の仮想視点の奥行きマップを生成するた
め、奥行きマップの生成に関与しない画像間については
対応点を推定する必要がない。従って、すべての多視点
画像間の対応点が抽出されなくても、仮想視点画像を生
成することができる。このため、多視点画像のカメラ間
隔が離れている場合においても、滑らかな仮想視点画像
を生成することができる。

【００３０】また、本発明では、仮想視点位置から見え
る範囲が、複数の視点位置のカメラの撮像範囲に含まれ
ていれば、仮想視点画像を生成することができるため、
カメラの配置にかかる制限を軽減することができる。

【００３１】また、本発明では、光軸に対して前後方向
にもカメラを配置し、仮想視点画像の中心部分付近では
仮想視点位置よりも被写体に近いカメラの画像を使って
仮想視点画像を生成するため、仮想空間の中を自由に歩
き回っているかのような連続した画像、すなわちウォー
クスルー動画像においてもフレーム間の切り替えが滑ら
かな動画像を生成することができる。

【００３２】

【発明の実施の形態】図１は、本発明で用いられるカメ
ラ配置と仮想視点位置の一例を示す図である。

【００３３】図中、１１〜１６はカメラ位置、１７は仮
想視点位置の動く範囲である。１１〜１６のカメラ位置
にはそれぞれ多眼カメラが配置されていて、画像を撮像
するのと同時に、それぞれの場所から見た奥行きマップ
を取得することができる。すべてのカメラの光軸は、互
いに平行になるように配置されている。また、すべての
カメラの３次元空間中の位置は既知とする。

【００３４】この図１のカメラ配置では、仮想視点位置
１７がカメラ位置１１，１２，１５，１６に囲まれた平
面上にあり、視野範囲の領域がカメラの撮像範囲に含ま
れているような視線方向である場合に、欠損領域の少な
い仮想視点画像が得られる。図１では６カ所の位置で、
撮像画像と奥行きマップを取得する場合を示したが、撮
像画像と奥行きマップを取得する視点位置の数に制約は
ない。

【００３５】図２は、本発明を実現するための機能構成
の一実施例である。

【００３６】図中、２１は上下左右のマトリックス状に
配置された多眼カメラからなる多眼画像入力手段、２２
は多眼画像入力手段２１で入力された多眼画像から奥行
きデータを検出し、画像の各画素に奥行きデータを格納
した奥行きマップを生成する奥行きマップ生成手段、２
５は仮想視点奥行きマップおよび仮想視点画像を生成す
るために用いるカメラの視点位置の順序を決定する視点
位置選択手段、２３は奥行きマップ生成手段２２で生成
された奥行きマップを基にして、視点位置選択手段２５
で決定された順序に従って仮想視点奥行きマップを生成
する仮想視点奥行きマップ生成手段、２４は多眼画像入
力手段２１で入力された多眼画像から、奥行きマップ生
成手段２２で生成された仮想視点奥行きマップの奥行き
データに基づいて仮想視点画像を生成する仮想視点画像
生成手段である。

【００３７】ここで、奥行きマップ生成手段２２では、
例えば多眼カメラ画像の対応点を抽出してステレオ法に
より奥行きを推定する方法で奥行きマップを生成した
り、レーザ光による画像パターンを照射することなどに
より能動的に被写体の奥行きを得る方法（例えばレーザ
レンジファインダを用いる方法）で奥行きマップを生成
する。

【００３８】次に、視点位置選択手段２５において、仮
想視点画像を生成する基となるカメラを選ぶ順序につい
て説明する。

【００３９】視点位置選択手段２５は、まず、光軸の向
きに対して仮想視点位置よりも被写体に近いカメラの中
で、最も仮想視点位置に近いカメラを第１順位で用いる
カメラ、その次に近いものを第２順位で用いるカメラと
して選択する。前記光軸の向きに対して仮想視点位置よ
りも被写体に近い位置で撮像したカメラの画像は、被写
体の詳細なデータを持つという特徴がある。

【００４０】視点位置選択手段２５は、次に、その選択
したカメラの視点位置からでは仮想視点画像で撮像範囲
外となるような領域を撮像範囲に含むカメラの中で、最
も仮想視点位置に近いカメラから順に第３順位で用いる
カメラ、第４順位で用いるカメラを選択する。すなわ
ち、光軸の向きに対して仮想視点位置よりも被写体から
遠いカメラの中で、最も仮想視点位置に近いカメラを第
３順位で用いるカメラ、その次に近いものを第４順位で
用いるカメラとして選択する。前記光軸の向きに対して
仮想視点位置よりも被写体から遠い位置で撮像したカメ
ラの画像は、撮像範囲が広いという特徴がある。

【００４１】このカメラの選択順序について、図３を用
いて具体的に説明する。図３において、５１は被写体、
５２〜５５はカメラ、５６は仮想視点位置である。カメ
ラ５２〜５５の光軸はＺ軸に平行であり、仮想視点位置
からＺ軸に平行な視線方向で撮像したような仮想視点画
像を生成するものとする。

【００４２】図３のような配置の場合、視点位置選択手
段２５は、仮想視点位置よりも被写体に近い位置にある
カメラの中で被写体に最も近いカメラ５２を第１順位で
用いるカメラとし、その次に近いカメラ５３を第２順位
で用いるカメラとして選択する。そして、仮想視点位置
よりも被写体から遠い位置にあるカメラの中で被写体に
最も近いカメラ５４を第３順位で用いるカメラ、その次
に近いカメラ５５を第４順位で用いるカメラとして選択
する。

【００４３】次に、奥行きマップ生成手段２２の処理に
ついて説明する。

【００４４】上述したように、奥行きマップ生成手段２
２は、多眼カメラ画像の対応点を抽出してステレオ法に
より奥行きを推定する方法で奥行きマップを生成した
り、レーザレンジファインダなどを用いる方法で奥行き
マップを生成することになるが、ここでは、前者の方法
で奥行きマップを生成することで説明する。

【００４５】この奥行きマップは、ある視点位置から撮
影された画像中の各画素について、カメラから被写体ま
での距離の値を保持するものである。いわば、通常の画
像は画像面上の各画素に輝度と色度とが対応しているも
のであるのに対し、奥行きマップは画像面上の各画素に
奥行き値が対応しているのである。

【００４６】多眼カメラとして、図４に示すように、原
点に基準カメラ６１を置き、その周りの一定の距離Ｌに
４つの参照カメラ６２〜６５を置くものを想定する。す
べてのカメラの光軸は平行にする。また、すべてのカメ
ラは同じ仕様のものを用い、仕様の違いはカメラの構成
に応じて補正し、図４に示すような幾何学構成に補正す
る。

【００４７】図４の配置では、３次元空間の点Ｐ＝
（Ｘ，Ｙ，Ｚ）は、Ｘ−Ｙ平面から焦点距離ｆの距離に
ある基準画像上の点ｐ₀＝（ｕ_0,ｖ₀）に投影される。
ここで、「ｕ₀＝ｆＸ／Ｚ，ｖ₀＝ｆＹ／Ｚ」である。
また、点Ｐは、参照カメラＣ_i（ｉ＝１〜４）の画像上
の点ｐ_i＝（ｕ_i,ｖ_i）にも投影される。ここで、ｕ_i＝ｆ（Ｘ−Ｄ_i,x）／Ｚｖ_i＝ｆ（Ｙ−
Ｄ_i,y）／Ｚ但し、Ｄ₁＝（Ｄ_1,x，Ｄ_1,y）＝（Ｌ，０）Ｄ₂＝（Ｄ_2,x，Ｄ_2,y）＝（−Ｌ，０）Ｄ₃＝（Ｄ_3,x，Ｄ_3,y）＝（０，Ｌ）Ｄ₄＝（Ｄ_4,x，Ｄ_4,y）＝（０，−Ｌ）である。

【００４８】すべての参照カメラ６２〜６５と基準カメ
ラ６１の基線長が等しい構成の下では、点Ｐの真の視差
ｄ_iは、すべてのｉに対して、ｄ_i＝ｆＬ／Ｚ＝｜ｐ_i−ｐ₀｜であることから、視差ｄ_iを推定することによって奥行
きＺが取得できる。なお、視差から奥行きを求めるため
には最低２台のカメラがあれば可能である。

【００４９】次に、仮想視点奥行きマップ生成手段２３
の処理について説明する。

【００５０】仮想視点奥行きマップ生成手段２３は、奥
行きマップ生成手段２２で生成された奥行きマップとカ
メラの位置情報とから、仮想視点位置から見た奥行きマ
ップを生成する。

【００５１】図５に、実写画像を撮影した視点と仮想視
点のカメラ座標系と投影画像面の座標系とを示す。選択
された奥行きマップのカメラ座標系を（Ｘ_1,Ｙ_1,Ｚ₁）
^T、仮想視点位置のカメラ座標系を（Ｘ_2,Ｙ_2,Ｚ₂）^T
とする。

【００５２】この選択された奥行きマップ上の任意の点
ｐ₁＝（ｕ_1,ｖ₁）に投影された３次元空間の点Ｐ＝
（Ｘ_1,Ｙ_1,Ｚ₁）^TのＺ₁が求められているとき、実視
点の座標系から見た点ＰのＸ，Ｙ座標はそれぞれＸ₁＝Ｚ₁ｕ₁／ｆ（式１）Ｙ₁＝Ｚ₁ｖ₁／ｆ（式２）で与えられる。ここで、ｆはカメラの焦点距離である。

【００５３】今、二つの座標系（Ｘ_1,Ｙ_1,Ｚ₁）^Tと
（Ｘ_2,Ｙ_2,Ｚ₂）^Tとが、回転行列Ｒ ₂₁＝〔ｒ_ij〕∈Ｒ
^3*3と並進行列Ｔ₂₁＝（Δｘ，Δｙ，Δｚ）^Tとを用い
て（Ｘ_2,Ｙ_2,Ｚ₂）^T＝Ｒ₂₁（Ｘ_1,Ｙ_1,Ｚ₁）^T＋Ｔ₂₁ （式３）の関係で表せるとする。

【００５４】（式３）より得られた奥行き値Ｚ₂は、仮
想視点座標系（Ｘ_2,Ｙ_2,Ｚ₂）^Tで見た点Ｐの奥行き値
である。点Ｐ＝（Ｘ_2,Ｙ_2,Ｚ₂）^Tは、仮想視点奥行き
マップ上の点ｐ₂＝（ｕ_2,ｖ₂）に投影される。この
（ｕ_2,ｖ₂）は、（式３）により得られたＸ_2,Ｙ₂を用
いて、次式により求められる。

【００５５】ｕ₂＝ｆＸ₂／Ｚ₂ （式４）ｖ₂＝ｆＹ₂／Ｚ₂ （式５）従って、仮想視点奥行きマップ上の点ｐ₂＝（ｕ
_2,ｖ₂）の奥行き値をＺ₂と決定できる。

【００５６】以上の処理を、奥行きマップ中のすべての
点（ｕ_1,ｖ₁）について繰り返し行い、選択された奥行
きマップの保持する奥行きの値を、仮想視点から見た奥
行きマップ中の画素の奥行き値に変換する。

【００５７】このとき、同時に（ｕ_1,ｖ₁）の画素の輝
度値と色度値とを、仮想視点画像上の画素（ｕ_2,ｖ₂）
に描画すると、仮想視点画像を生成することができる。

【００５８】しかし、ここで生成される仮想視点奥行き
マップには、奥行き値の欠損した画素や奥行き値にノイ
ズが含まれる場合がある。このような場合は、奥行き値
の欠損した画素を、周囲の画素の奥行き値を用いて線形
に補間したり、奥行きマップを平滑化処理することによ
り、奥行き値の欠損部分やノイズの少ない仮想視点奥行
きマップを生成することができる。

【００５９】次に、この補間処理及び平滑化処理につい
て、図６を用いて説明する。ここで、図６（Ｂ）〜
（Ｅ）は、図６（Ａ）に示す球を撮像した画像を走査線
Ａ−Ｂで切断し、その走査線上の奥行きの値を縦軸に表
したものである。

【００６０】この補間処理では、仮想視点奥行きマップ
生成手段２３で生成された（Ｂ）に示す仮想視点奥行き
マップ中の、オクルージョンにより視差が推定できなか
ったために奥行き値を持たない画素７１の奥行き値を、
局所的な領域内では奥行きは急激に変化しないという仮
定の下、奥行き値が既知である周囲の画素７２の奥行き
値等を用いて線形補間することで求める。その結果とし
て、すべての画素の奥行き値を持つ（Ｃ）に示す仮想視
点奥行きマップが生成される。

【００６１】一方、この平滑化処理では、補間処理によ
り求められた（Ｃ）に示す仮想視点奥行きマップの奥行
き値の平滑化処理を行う。まず、仮想視点奥行きマップ
の走査線上で奥行き値が急激に変換している画素７３の
奥行き値を除去し、局所的な領域内では奥行きは急激に
変化しないという仮定の下、周囲の画素７４の奥行き値
を用いて線形補間処理を行い、（Ｄ）に示す仮想視点奥
行きマップを生成する。更に、被写体の表面を滑らかな
局面で近似するために、仮想視点奥行きマップ全体に対
して平滑化処理を行い、（Ｅ）に示す仮想視点奥行きマ
ップを得る。

【００６２】次に、仮想視点画像生成手段２４の処理に
ついて、図７を用いて説明する。

【００６３】仮想視点画像生成手段２４は、仮想視点奥
行きマップ生成手段２３で用いた座標変換の逆変換を行
うことで、仮想視点奥行きマップ中の点ｐ₂＝（ｕ_2,ｖ
₂）に対応する実写画像上の点ｐ₃＝（ｕ_3,ｖ₃）を求
めて、この点（ｕ_3,ｖ₃）の画素の輝度値と色度値を、
仮想視点画像中の点（ｕ_2,ｖ₂）に描画することで仮想
視点画像を生成する。

【００６４】仮想視点画像生成手段２４で用いる座標変
換は、仮想視点奥行きマップ生成手段２３で用いたもの
の逆変換にあたる。仮想視点奥行きマップ生成手段２３
の生成した仮想視点奥行きマップに線形補間処理や平滑
化処理を加えたことにより、仮想視点奥行きマップの保
持する奥行き値が変化しているため、もう一度新しい奥
行き値を用いて座標変換を行う必要があることから、こ
の逆変換を行うのである。

【００６５】ここで、仮想視点奥行きマップの座標系を
（Ｘ_2,Ｙ_2,Ｚ₂）^T、多眼画像（図４に示したような多
眼カメラにより撮像される画像）の中の任意の１枚の座
標系を（Ｘ_3,Ｙ_3,Ｚ₃）^Tとする。

【００６６】仮想視点奥行きマップ中の任意の点ｐ₂＝
（ｕ_2,ｖ₂）の画素の奥行き値がＺ ₂であるとき、この
画素ｐ₂＝（ｕ_2,ｖ₂）に投影される被写体の３次元空
間中の点Ｐ＝（Ｘ_2,Ｙ_2,Ｚ₂）^Tの座標は、Ｘ₂＝Ｚ₂ｕ₂／ｆ（式６）Ｙ₂＝Ｚ₂ｖ₂／ｆ（式７）で与えられる。ここで、ｆはカメラの焦点距離である。

【００６７】今、二つの座標系（Ｘ_2,Ｙ_2,Ｚ₂）^Tと
（Ｘ_3,Ｙ_3,Ｚ₃）^Tとが、回転行列Ｒ ₃₂＝〔ｒ_ij〕∈Ｒ
^3*3と並進行列Ｔ₃₂＝（Δｘ，Δｙ，Δｚ）^Tを用いて（Ｘ_3,Ｙ_3,Ｚ₃）^T＝Ｒ₃₂（Ｘ_2,Ｙ_2,Ｚ₂）^T＋Ｔ₃₂ （式８）の関係で表せるとする。

【００６８】Ｚ₂と（式６）により求まるＸ₂と（式
７）により求まるＹ₂とを（式８）に代入すると、（Ｘ
_3,Ｙ_3,Ｚ₃）^T系で見た、仮想視点画像中の点（ｕ_2,ｖ
₂）に投影される被写体の３次元空間中の点Ｐ＝（Ｘ_3,
Ｙ_3,Ｚ₃）^Tが計算される。この点Ｐは実写画像上の点
ｐ₃＝（ｕ_3,ｖ₃）に投影される。

【００６９】この（ｕ_3,ｖ₃）は、（式８）式により得
られたＸ_3,Ｙ₃を用いて、次式により計算することがで
きる。

【００７０】ｕ₃＝ｆＸ₃／Ｚ₃ （式９）ｖ₃＝ｆＹ₃／Ｚ₃ （式10）この（式９)(式10）により計算された撮像画像中の点
（ｕ_3,ｖ₃）の画素の輝度値と色度値を、仮想視点画像
中の点（ｕ_2,ｖ₂）に描画する。この処理を撮像画像中
のすべての点について繰り返し行うことで、仮想視点画
像が生成されることになる。

【００７１】上述したように、視点位置選択手段２５
は、図３のようにカメラが配置される場合には、仮想視
点位置よりも被写体に近い位置にあるカメラの中で仮想
視点位置に最も近いカメラ５２を第１順位で用いるカメ
ラとし、その次に仮想視点位置に近いカメラ５３を第２
順位で用いるカメラとして選択する。そして、仮想視点
位置よりも被写体から遠い位置にあるカメラの中で仮想
視点位置に最も近いカメラ５４を第３順位で用いるカメ
ラとし、その次に仮想視点位置に近いカメラ５５を第４
順位で用いるカメラとして選択する。

【００７２】このようにして選択される４つのカメラか
らの奥行きマップと画像とを用いて仮想視点画像を生成
する効果を、図８を用いて説明する。

【００７３】第１順位から第４順位のカメラからの奥行
きマップと画像とから生成された仮想視点画像は、図８
に示したようなａ，ｂ，ｃ，ｄの４つの領域におおまか
に分けることができる。ａ，ｂ，ｃ，ｄの４つの領域
は、それぞれ５２，５３，５４，５５のカメラの奥行き
マップと画像とを基に生成されたものである。

【００７４】カメラ５４とカメラ５５とで撮像される範
囲を合わせると、仮想視点位置で撮像される範囲を十分
に含んでいるため、カメラ５４とカメラ５５の奥行きマ
ップと画像とから仮想視点画像を生成することができる
が、生成される仮想視点画像の解像度は、もとの画像の
解像度よりも粗くなる。そこで、仮想視点画像の中心部
分についてはカメラ５２とカメラ５３の奥行きマップと
画像とを用いることで、仮想視点画像の解像度の低下を
抑えることができる。

【００７５】次に、図９〜図１１に従って、本実施例の
手順について詳細に説明する。

【００７６】図９（ａ）は第１順位のカメラ５２の撮像
した画像、図９（ｂ）は第２順位のカメラ５３の撮像し
た画像、図９（ｃ）はカメラ５２の撮像した画像（多眼
画像）から生成された奥行きマップ、図９（ｄ）はカメ
ラ５３の撮像した画像（多眼画像）から生成された奥行
きマップである。

【００７７】図１０（ａ）は第３順位のカメラ５４の撮
像した画像、図１０（ｂ）は第４順位のカメラ５５の撮
像した画像、図１０（ｃ）はカメラ５４の撮像した画像
（多眼画像）から生成された奥行きマップ、図１０
（ｄ）はカメラ５５の撮像した画像（多眼画像）から生
成された奥行きマップである。

【００７８】ここで、これら奥行きマップでは、奥行き
値が濃淡値で表されており、視点位置と被写体との間の
距離が近づくほど、薄い色で示されている。

【００７９】図１１（ａ）は、図９（ｃ)(ｄ）に示す奥
行きマップをもとに生成された、図３に示す仮想視点位
置５６での仮想視点奥行きマップである。図１１（ａ）
の上下に現れている空白の領域は、カメラ５２およびカ
メラ５３での撮像範囲外の領域であるために、仮想視点
奥行きマップ上では奥行き値が欠損している領域であ
る。

【００８０】図１１（ｂ）は、図１１（ａ）の仮想視点
奥行きマップに図９（ａ)(ｂ）の画像をマッピングして
生成された仮想視点画像である。図１１（ｂ）の上下に
現れている空白の領域は、図１１（ａ）の仮想視点奥行
きマップで奥行き値が欠損しているために、画像をマッ
ピングすることができない領域である。

【００８１】このように、図１１（ｂ）は、仮想視点位
置より被写体に近い視点位置で撮像された実写画像およ
びその視点位置から見た奥行きマップをもとに生成され
ているため、解像度の低下はないが、生成できる画像サ
イズがもとの画像サイズよりも小さい。

【００８２】図１１（ｃ）は、図１１（ａ）の奥行きマ
ップの欠損部分を、図１０（ｃ)(ｄ）に示す奥行きマッ
プの持つ奥行き情報をもとに補間した仮想視点奥行きマ
ップである。

【００８３】図１１（ｄ）は、図１１（ｂ）の仮想視点
画像の欠損部分に、図１１（ｃ）の奥行き情報をもとに
図１０（ａ)(ｂ）の画像をマッピングして生成された仮
想視点画像である。図１１（ｄ）で新たに生成された領
域は、もとの画像より解像度が低下しているものの、画
像の中心部分ではもとの画像の解像度が保たれている。

【００８４】このようにして、本発明では、仮想視点位
置よりも被写体に近い視点位置で撮像した奥行きデータ
および画像を優先的に選択して仮想視点画像を生成する
手法であるため、仮想視点画像の解像度の低下を最小限
に抑えることができるのである。

【００８５】本発明で用いられるカメラ配置と仮想視点
位置は、図１に示したものに限られるものではない。

【００８６】例えば、図１２に示すようなカメラ配置と
仮想視点位置に対しても、そのまま適用できる。

【００８７】図中、３１〜３６はカメラ位置、３７は仮
想視点位置の動く範囲である。３１〜３６のカメラ位置
にはそれぞれ多眼カメラが配置されていて、画像を撮像
するのと同時に、それぞれの場所から見た奥行きマップ
を取得することができる。すべてのカメラの光軸は、被
写体に対向してｙ軸からθ_i（ｉ＝３１〜３６、添字ｉ
はカメラ位置を示す）回転した方向とする。

【００８８】この図１２のカメラ配置では、仮想視点位
置３７がカメラ位置３１，３２，３５，３６に囲まれた
平面上にあり、視野範囲の領域がカメラの撮像範囲に含
まれているような視線方向である場合に、欠損領域の少
ない仮想視点画像が得られる。

【００８９】図１２に示した配置は、カメラの配置でき
る場所に制限がある場合に、仮想空間の中を自由に歩き
回っているかのような連続した画像、すなわちウォーク
スルー画像を提供する場合に有効である。すべてのカメ
ラの３次元空間中の位置は既知とする。図１２では６カ
所の位置で撮像した画像と奥行きマップを取得する場合
を示したが、画像と奥行きマップを取得する視点位置の
数に制約はない。

【００９０】また、図１３に示すようなカメラ配置と仮
想視点位置に対しても、そのまま適用できる。

【００９１】図中、４１〜４６はカメラ位置、４７は仮
想視点位置の動く範囲である。４１〜４６のカメラ位置
にはそれぞれ多眼カメラが３６０度見回せるように配置
されていて、画像を撮像するのと同時に、それぞれの場
所から見た全周方向の奥行きマップを取得することがで
きる。すべてのカメラの光軸は、被写体に対向してｘ軸
からΦ_i（ｉ＝４１〜４６、添字ｉはカメラ位置を示
す）ｙ軸からθ_i（ｉ＝４１〜４６、添字ｉはカメラ位
置を示す）回転した方向とする。

【００９２】この図１３のカメラ配置では、仮想視点位
置４７がカメラ位置４１，４２，４５，４６に囲まれた
平面よりも下部の領域（点線で囲まれた領域）にあり、
視野範囲の領域がカメラの撮像範囲に含まれているよう
な視線方向である場合に、欠損領域の少ない仮想視点画
像が得られる。

【００９３】このような配置は、部屋の天井にカメラを
配置した場合に、３６０度任意の視線方向も可能なウォ
ークスルー画像を提供する場合に有効である。すべての
カメラの３次元空間中の位置は既知とする。図１３では
６カ所の位置で撮像した画像と奥行きマップを取得する
場合を示したが、画像と奥行きマップを取得する視点位
置の数に制約はない。

【００９４】図示実施例に従って本発明を説明したが、
本発明はこれに限定されるものではない。例えば、実施
例では、被写体に対向して前後左右に配置される６台の
カメラを想定したが、カメラの台数や配置形態はこれに
限られるものではない。

【００９５】また、実施例では、先ず最初に、仮想視点
位置よりも被写体に近いカメラの中で、最も仮想視点位
置に近いカメラを選択することで仮想視点奥行きマップ
の基本部分を生成し、それに続いて、仮想視点位置より
も被写体から遠いカメラの中で、被写体に近いカメラを
優先的に選択していくことで、その仮想視点奥行きマッ
プの欠落個所を生成して仮想視点奥行きマップを完成さ
せていくという方法を用いたが、高速処理が要求される
場合には、画質よりも処理速度を優先させて、そのよう
な順番に従わずにカメラを選択していくことで、仮想視
点奥行きマップを高速に完成させていくという方法を用
いてもよい。

【００９６】

【発明の効果】以上説明したように、本発明では、仮想
視点位置よりも被写体に近い視点位置で撮像した奥行き
データおよび画像を優先的に選択して仮想視点画像を生
成する手法であるため、仮想視点画像の解像度の低下を
最小限に抑えることができるようになる。

【００９７】また、本発明では、複数の奥行きマップを
統合して１枚の仮想視点の奥行きマップを生成するた
め、奥行きマップの生成に関与しない画像間については
対応点を推定する必要がない。従って、すべての多視点
画像間の対応点が抽出されなくても、仮想視点画像を生
成することができる。このため、多視点画像のカメラ間
隔が離れている場合においても、滑らかな仮想視点画像
を生成することができるようになる。

【００９８】また、本発明では、仮想視点位置から見え
る範囲が、複数の視点位置のカメラの撮像範囲に含まれ
ていれば、仮想視点画像を生成することができるため、
カメラの配置にかかる制限を軽減することができるよう
になる。

【００９９】また、本発明では、光軸に対して前後方向
にもカメラを配置し、仮想視点画像の中心部分付近では
仮想視点位置よりも被写体に近いカメラの画像を使って
仮想視点画像を生成するため、ウォークスルー動画像に
おいてもフレーム間の切り替えが滑らかな動画像を生成
することができるようになる。

【図面の簡単な説明】

【図１】本発明で用いられるカメラ配置／仮想視点位置
の一例である。

【図２】本発明を実現するための機能構成の一実施例で
ある。

【図３】カメラの選択手順の説明図である。

【図４】多眼カメラシステムの一例である。

【図５】仮想視点奥行きマップ生成手段で用いる座標変
換の説明図である。

【図６】補間処理／平滑化処理の説明図である。

【図７】仮想視点画像生成手段で用いる座標変換の説明
図である。

【図８】本発明により生成される仮想視点画像の説明図
である。

【図９】実施例の動作説明図である。

【図１０】実施例の動作説明図である。

【図１１】実施例の動作説明図である。

【図１２】本発明で用いられるカメラ配置／仮想視点位
置の他の例である。

【図１３】本発明で用いられるカメラ配置／仮想視点位
置の他の例である。

【図１４】従来技術の説明図である。

【図１５】従来技術の説明図である。

【図１６】従来技術の説明図である。

【符号の説明】

２１多眼画像入力手段２２奥行きマップ生成手段２３仮想視点奥行きマップ生成手段２４仮想視点画像生成手段２５視点位置選択手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者中沢憲二東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者上平員丈東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 2F065 AA04 AA53 BB05 FF05 FF09 GG04 JJ03 JJ05 QQ31 5B050 BA04 BA09 BA13 DA04 DA07 EA07 EA28 FA05 5B057 BA02 BA11 CA01 CA08 CA13 CB01 CB08 CB13 DC03

Claims

【特許請求の範囲】

【請求項１】被写体に対向して配置される複数のカメ
ラによって撮像された画像を基に、実際にはカメラの置
かれていない仮想視点位置で撮像したような画像を生成
する画像生成方法において、実写画像の各画素について被写体までの奥行き値を保持
する奥行きマップを生成する第１の処理過程と、仮想視点位置よりも被写体に近いカメラにより撮像され
る１つ又は複数の実写画像と、それに対応付けられる奥
向きマップとを選択するとともに、仮想視点位置よりも
被写体から遠いカメラにより撮像される１つ又は複数の
実写画像と、それに対応付けられる奥向きマップとを選
択して、それらの奥行きマップを基に、仮想視点位置か
ら見た奥向きマップを生成する第２の処理過程と、生成した仮想視点奥向きマップを基に、その仮想視点奥
行きマップの生成元となった奥向きマップに対応付けら
れる実写画像の画素の色情報を描画することで、仮想視
点位置から見た画像を生成する第３の処理過程とを備え
ることを特徴とする画像生成方法。
【請求項２】請求項１記載の画像生成方法において、第１の処理過程で、多眼カメラにより撮像される実写画
像の対応点を抽出し、ステレオ法により三角測量の原理
を用いて奥行き値を推定することで奥行きマップを生成
することを特徴とする画像生成方法。
【請求項３】請求項１記載の画像生成方法において、第１の処理過程で、レーザ光による画像パターンを被写
体に照射することにより奥行き値を推定することで奥行
きマップを生成することを特徴とする画像生成方法。
【請求項４】請求項１〜３のいずれかに記載される画
像生成方法において、第２の処理過程で、仮想視点位置よりも被写体に近い中
で仮想視点位置に最も近い奥行きマップを選択して、そ
れを基に、仮想視点位置から見た奥向きマップを生成
し、その仮想視点奥向きマップの欠落部分の一部分を生
成可能とする仮想視点位置よりも被写体に近い１つ又は
複数の奥行きマップを選択して、それを基に、その欠落
部分の一部分を生成し、残されている欠落部分を生成可
能とする仮想視点位置よりも被写体から遠い１つ又は複
数の奥行きマップを選択して、それを基に、その残され
ている欠落部分を生成することで、仮想視点位置から見
た奥向きマップを生成することを特徴とする画像生成方
法。
【請求項５】被写体に対向して配置される複数のカメ
ラによって撮像された画像を基に、実際にはカメラの置
かれていない仮想視点位置で撮像したような画像を生成
する画像生成装置において、実写画像の各画素について被写体までの奥行き値を保持
する奥行きマップを生成する手段と、仮想視点位置よりも被写体に近いカメラにより撮像され
る１つ又は複数の実写画像と、それに対応付けられる奥
向きマップとを選択するとともに、仮想視点位置よりも
被写体から遠いカメラにより撮像される１つ又は複数の
実写画像と、それに対応付けられる奥向きマップとを選
択して、それらの奥行きマップを基に、仮想視点位置か
ら見た奥向きマップを生成する手段と、生成した仮想視点奥向きマップを基に、その仮想視点奥
行きマップの生成元となった奥向きマップに対応付けら
れる実写画像の画素の色情報を描画することで、仮想視
点位置から見た画像を生成する手段とを備えることを特
徴とする画像生成装置。