JP2002032744A - ３次元モデリング及び３次元画像作成のための装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオ視法を用いて、対象物の３次元形状
を完全に表現した３次元モデルデータを作成したり、任
意の視点から見た対象物の動画を作成したりする。 【解決手段】 異なる場所に配置した複数の多眼ステレ
オカメラ１１、１２、１３で対象物１０を撮影して、各
多眼ステレオカメラ１１、１２、１３毎に、対象物１０
の輝度画像と、対象物１０の外表面までの距離を示した
距離画像とを得る。それらの輝度画像と距離を基に、対
物１０が入っている空間２０を仮想的に細分した多数の
ボクセル３０の中から、対象物１０の外表面が存在する
ボクセルを決定し、それらのボクセルの各々における対
象物１０の輝度を決定する。この結果に基づいて、対象
物１０の３次元モデルを作成し、その３次元モデルを用
いて、任意の視点４０から対象物１０を見た画像をレン
ダリングする。変形として、対象物１０の３次元モデル
の作成を省略し、上記輝度画像と距離画像を基に直接的
に、任意の視点４０から対象物１０を見た画像を作るこ
ともできる。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、ステレオ視法によ
って得られる物体の距離データを基に、その物体の３次
元モデルデータを作成したり、或いはその物体を任意の
視点から見た画像を作成したりするための装置及び方法
に関する。

【０００２】

【従来の技術】特開平１１−３５５８０６号や特開平１
１−３５５８０７号には、ステレオ視法で得た対象物の
距離データを基に、任意の視点から見た対象物の画像を
作成する技術が開示されている。この従来技術は、対象
物の周囲に複数の観察場所を設定し、各観察場所から２
眼のステレオカメラで対象物を撮影する。そして、その
撮影画像を基に、各観察場所毎に、そこから見える対象
物の表面の曲面形状を計算する。そして、視点を任意に
設定し、その設定した視点に最も近い一つの観察場所を
選び、その選んだ一つの観察場所に関して計算した対象
物の曲面形状を用いて、その視点から見た対象物の画像
を作成する。

【０００３】

【発明が解決しようとする課題】上述した従来技術は、
個々の観察場所毎にそこから見える対象物の表面の曲面
形状を計算するが、対象物の３次元形状を完全に表現し
た３次元モデルデータを作成してはいないい。

【０００４】また、上記の従来技術によれば、複数の観
察場所の各々毎にそこから見える対象物表面の曲面形状
を計算した上で、任意に設定した視点に最も近い一つの
観察場所を選び、その選んだ観察場所に関して計算した
対象物表面の曲面形状を基に、その視点から見た対象物
の画像を作成する。そのため、対象物の画像が完成する
までに時間がかかる。その結果、対象物が動く場合、又
は視点が動く場合に、それらの動きに実時間で追従して
対象物の見え方が変化していくという動画を作成するこ
とは難しい。

【０００５】従って、本発明の一つの目的は、ステレオ
視法を用いて、対象物の３次元形状を完全に表現した３
次元モデルデータを作成できるようにすることにある。

【０００６】本発明の別の目的は、ステレオ視法を用い
て、対象物又は視点が動いたときに、その動きに実時間
で追従して対象物の見え方が変化していくような動画を
作成できるようにすることにある。

【０００７】

【課題を解決するための手段】本発明の第１の観点に従
えば、同じ対象物を撮影するように異なる場所に配置さ
れた複数台のステレオカメラからの画像を受けて、その
複数台のステレオカメラからの画像より対象物の複数の
距離画像を作成するステレオ処理部と、このステレオ処
理部から複数の距離画像を受けて、前記対象物が入る所
定空間内に予め設定した多数のボクセルの中から、対象
物の表面が存在するボクセルを選ぶボクセル処理部と、
このボクセル処理部によって選ばれたボクセルの座標に
基づいて、対象物の３次元モデルを作成するモデリング
部とを備えた３次元モデリング装置が提供される。

【０００８】この装置によれば、対象物の完全な３次元
モデルが作成できる。この３次元モデルに基づけば、公
知のレンダリング手法を用いて、任意の視点から見た対
象物の画像を作成することができる。

【０００９】好適な実施形態では、ステレオカメラはそ
れぞれ動画を出力するものであって、そのステレオカメ
ラからの動画の各フレーム毎に、ステレオ処理部、ボク
セル処理部及びモデリング部が上述したそれぞれの処理
を行う。それにより、対象物の動きに追従して同様に動
く３次元モデルが得られる。

【００１０】本発明の第２の観点に従えば、同じ対象物
を撮影するように異なる場所に配置された複数台のステ
レオカメラからの画像を受けて、その複数台のステレオ
カメラからの画像より対象物の複数の距離画像を作成す
るステレオ処理部と、そのステレオ処理部から複数の距
離画像を受けて、任意の場所に設定した視点を基準にし
た視点座標系における対象物の表面が存在する座標を決
定する対象物検出部と、その対象物検出部によって決定
された座標に基づいて、前記視点から見た対象物の画像
を作成する目的画像作成部とを備えた３次元画像作成装
置が提供される。

【００１１】好適な実施形態では、ステレオカメラはそ
れぞれ動画を出力するものであって、そのステレオカメ
ラからの動画の各フレーム毎に、前記ステレオ処理部、
前記対象物検出部及び前記目的画像作成部が、上述した
それぞれの処理を行う。それにより、対象物の動きや視
点の移動に追従して対象物の画像が変化する動画が得ら
れる。

【００１２】本発明の装置は、純粋なハードウェアによ
っても、コンピュータプログラムによっても、或いは両
者の組合せによっても実施することができる。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の幾
つかの実施形態を説明する。

【００１４】図１は、本発明に従う３次元モデリング及
び３次元画像表示のための装置の一実施形態の概略的な
全体構成を示す。

【００１５】モデリングの対象物（この例では人である
が、何の物体でもよい）１０を入れるための所定の３次
元空間２０が設定されている。この空間２０の周囲の複
数の異なる箇所に、多眼ステレオカメラ１１、１２、１
３がそれぞれ固定されている。この実施形態では３台の
多眼ステレオカメラ１１、１２、１３があるが、これは
好適な一例であって、２台以上であればいくつでもよ
い。これら多眼ステレオカメラ１１、１２、１３の視線
１４、１５、１６は互いに異なる方向で空間２０内に向
って延びている。

【００１６】多眼ステレオカメラ１１、１２、１３の出
力信号は演算装置１８に入力される。演算装置１８は、
空間２０の内又は外の任意の場所に視点４０を仮想的に
設定し、且つ、視点４０から任意の方向に視線４１を仮
想的に設定する。そして、演算装置１８は、多眼ステレ
オカメラ１１、１２、１３からの入力信号を基に、視点
４０から視線４１に沿って対象物１０を見たときの動画
像を作成して、その動画像をテレビジョンモニタ１９に
出力する。テレビジョンモニタ１９は、その動画像を表
示する。

【００１７】多眼ステレオカメラ１１、１２、１３の各
々は、相対的に位置が異なり且つ視線が略平行な３個以
上、好適には３×３マトリックス状に配列された９個、
の独立したビデオカメラ１７Ｓ、１７Ｒ、…、１７Ｒを
備える。この３×３マトリックスの中央に位置する一つ
のビデオカメラ１７Ｓは「基準カメラ」と呼ばれる。基
準カメラ１７Ｓを囲むように位置する８個のビデオカメ
ラ１７Ｒ、…、１７Ｒはそれぞれ「参照カメラ」と呼ば
れる。基準カメラ１７Ｓと１個の参照カメラ１７Ｒは、
ステレオ視法が適用可能な最小単位である１ペアのステ
レオカメラを構成する。よって、基準カメラ１７Ｓと８
個の参照カメラ１７は、基準カメラ１７Ｓを中心に放射
方向に配列された８ペアのステレオカメラを構成する。
この８ペアのステレオカメラは、対象物１０に関する高
精度で安定した距離データを計算することを可能にす
る。ここで、基準カメラ１７Ｓはカラー又は白黒のカメ
ラである。カラー画像をテレビジョンモニタ１９に表示
したい場合、カラーカメラを基準カメラ１７Ｓに用い
る。一方、参照カメラ１７Ｒ、…、１７Ｒは白黒カメラ
で十分であるが、カラーカメラを用いても良い。

【００１８】多眼ステレオカメラ１１、１２、１３の各
々は、９個のビデオカメラ１７Ｓ、１７Ｒ、…、１７Ｒ
からの９本の動画像を出力する。まず、演算装置１８
は、１番目の多眼ステレオカメラ１１から出力された９
本の動画像の最新のフレーム画像（静止画像）を取り込
み、その９枚の静止画像（つまり、基準カメラ１７Ｓか
らの一枚の基準画像と、８個の参照カメラ１７Ｒ、…、
１７Ｒからの８枚の参照画像）を基に、公知の多眼ステ
レオ視法によって、対象物１０の最新の距離画像（つま
り、基準カメラ１７Ｓからの距離で表現した対象物１０
の画像）を作成する。演算装置１８は、上記と並行し
て、上記同様の方法で、２番目の多眼ステレオカメラ１
２についても、３番目の多眼ステレオカメラ１３につい
ても、対象物１０の最新の距離画像を作成する。続い
て、演算装置１８は、３つの多眼ステレオカメラ１１、
１２、１３についてそれぞれ作成した最新の距離画像を
用いて、後に詳述する方法により、対象物１０の最新の
３次元モデルを作成する。続いて、演算装置１８は、そ
の最新の３次元モデルを用いて、視点４０から視線４１
に沿って見た対象物１０の最新の画像５０を作成して、
テレビジョンモニタ１９に出力する。

【００１９】以上の動作を、演算装置１８は、多眼ステ
レオカメラ１１、１２、１３から動画像の最新フレーム
を取り込む都度に繰り返す。それにより、テレビジョン
モニタ１９に表示される最新の画像５０は高速に更新さ
れ、結果として、テレビジョンモニタ１９には、視点４
０から視線４１に沿って見た対象物１０の動画像が映し
出される。

【００２０】対象物１０が動けば、それに実時間で追従
して、演算装置１８の作成する最新の３次元モデルが変
化するので、テレビジョンモニタ１９に表示された対象
物の動画像も、実際の対象物１０の動きに合わせて変化
する。また、演算装置１８は、仮想設定した視点４０を
移動させたり視線４１の方向を変えたりすることもでき
る。視点４０又は視線４１が動くと、それに実時間で追
従して、演算装置１８の作成する視点４０から見た最新
の画像が変化するので、テレビジョンモニタ１９に表示
された対象物の動画像も、視点４０又は視線４１の動き
に合わせて変化する。

【００２１】以下、演算装置１８の内部構成と動作をよ
り詳細に説明する。

【００２２】演算装置１８では、以下の複数の座標系が
用いられる。すなわち、図１に示すように、１番目の多
眼ステレオカメラ１１からの画像を処理するため、１番
目の多眼ステレオカメラ１１の位置と向きに適合した座
標軸をもつ第１のカメラ直交座標系i1、j1、d1が用いられ
る。同様に、２番目の多眼ステレオカメラ１２と３番目
の多眼ステレオカメラ１３からの画像をそれぞれ処理す
るために、２番目の多眼ステレオカメラ１２と３番目の
多眼ステレオカメラ１３の位置と向きにそれぞれ適合し
た第２のカメラ直交座標系i2、j2、d2及び第３のカメラ直
交座標系i3、j3、d3がそれぞれ用いられる。さらに、空間
２０内の位置を定義し且つ対象物１０の３次元モデルを
処理するために、所定の一つの全体直交座標系x、y、zが
用いられる。

【００２３】また、演算装置１８は、図１に示すよう
に、空間２０の全域を、全体座標系x、y、zの座標軸に沿
ってそれぞれＮｘ個、Ｎｙ個、Ｎｚ個のボクセル（voxe
l：小さい立方体）３０、…、３０に仮想的に細分す
る。従って、空間２０は、Ｎｘ×Ｎｙ×Ｎｚ個のボクセ
ル３０、…、３０によって構成される。これらのボクセ
ル３０、…、３０を用いて対象物１０の３次元モデルが
作られる。以下、各ボクセル３０の全体座標系ｘ、ｙ、
ｚによる座標を(vx、vy、vz)で表す。

【００２４】図２は、演算装置１８の内部構成を示す。

【００２５】演算装置１８は、多眼ステレオ処理部６
１、６２、６３、画素座標生成部６４、多眼ステレオデ
ータ記憶部６５、ボクセル座標生成部７１、７２、７
３、ボクセルデータ生成部７４、７５、７６、統合ボク
セルデータ生成部７７及びモデリング・表示部７８を有
する。以下、各部の処理機能を説明する。

【００２６】(1) 多眼ステレオ処理部６１、６２、６
３ 多眼ステレオカメラ１１、１２、１３に対し多眼ステレ
オ処理部６１、６２、６３が一対一で接続される。多眼
ステレオ処理部６１、６２、６３の機能は互いに同じで
あるから、１番目の多眼ステレオ処理部６１について代
表的に説明する。

【００２７】多眼ステレオ処理部６１は、多眼ステレオ
カメラ１１から、その９個のビデオカメラ１７Ｓ、１７
Ｒ、…、１７Ｒが出力する９本の動画像の最新のフレー
ム（静止画像）を取り込む。この９枚の静止画像は、白
黒カメラの場合はグレースケールの輝度画像であり、カ
ラーカメラの場合は例えばＲ、Ｇ、Ｂの３色成分の輝度
画像である。Ｒ、Ｇ、Ｂの輝度画像は、それを統合すれ
ば白黒カメラと同様のグレースケールの輝度画像にな
る。多眼ステレオ処理部６１は、基準カメラ１７Ｓから
の１枚の輝度画像（白黒カメラの場合はそのまま、カラ
ーカメラの場合はＲ、Ｇ、Ｂを統合してグレースケール
としたもの）を基準画像とし、他の８台の参照カメラ
（白黒カメラである）１７Ｒ、…、１７Ｒからの８枚の
輝度画像を参照画像とする。そして、多眼ステレオ処理
部６１は、８枚の参照画像の各々と基準画像とでペアを
作り（８ペアができる）、各ペアについて、両輝度画像
間の画素毎の視差を所定の方法で求める。

【００２８】ここで、視差を求める方法としては、例え
ば特開平１１−１７５７２５号に開示された方法を用い
ることができる。特開平１１−１７５７２５号に開示さ
れた方法は、簡単に言えば、次のようなものである。ま
ず、基準画像上で１つ画素を選択し、その選択画素を中
心にした所定サイズ（例えば３×３画素）のウィンドウ
領域を基準画像から取り出す。次に、参照画像上で上記
選択画素から所定の視差分だけずれた位置にある画素
（対応候補点という）を選び、その対応候補点を中心に
した同サイズのウィンドウ領域を参照画像から取り出
す。そして、参照画像から取り出した対応候補点のウィ
ンドウ領域と、基準画像から取り出した選択画素のウィ
ンドウ領域との間で、輝度パターンの類似度（例えば両
ウィンドウ領域内の位置的に対応する画素間の輝度値の
差の二乗加算値の逆数）を計算する。視差を最小値から
最大値まで順次に変えて対応候補点を移動させながら、
個々の対応候補点について、その対応候補点のウィンド
ウ領域と、基準画像からの選択画素のウィンドウ領域と
の間の類似度の計算を繰り返す。その結果から、最も高
い類似度が得られた対応候補点を選び、その対応候補点
に対応する視差を、上記選択画素における視差と決定す
る。このような視差の決定を、基準画像の全ての画素に
ついて行う。基準画像の各画素についての視差から、対
象物の各画素に対応する部分と基準カメラとの間の距離
が一対一で決まる。従って、基準画像の全ての画素につ
いて視差を計算することで、結果として、基準カメラか
ら対象物までの距離を基準画像の画素毎に表した距離画
像が得られる。

【００２９】多眼ステレオ処理部６１は、８ペアの各々
について上記の方法で距離画像を計算し、それら８枚の
距離画像を統計的手法で統合して（例えば平均を計算し
て）、その結果を最終的な距離画像D1として出力する。
また、多眼ステレオ処理部６１は、基準カメラ１７Ｓか
らの輝度画像Im1も出力する。さらに、多眼ステレオ処
理部６１は、距離画像D1の信頼度を表す信頼度画像Re1
を作成して出力する。ここで、信頼度画像Re1とは、距
離画像D1が示す画素毎の距離の信頼度を画素毎に示した
画像である。例えば、基準画像の各画素について上述し
たように視差を変化させながら視差毎の類似度を計算し
た結果から、最も類似度の高かった視差とその前後隣の
視差との間の類似度の差を求め、これを各画素の信頼度
として用いることができる。この例の場合、類似度の差
が大きいほど、信頼性がより高いことを意味する。

【００３０】このように、１番目の多眼ステレオ処理部
６１からは、１番目の多眼ステレオカメラ１１の位置か
ら見た輝度画像Im1と距離画像D1と信頼度画像Re1の３種
類の出力が得られる。従って、３つの多眼ステレオ処理
部６１、６２、６３から、３台のカメラ位置からの輝度
画像Im1,Im2,Im3と距離画像D1,D2,D3と信頼度画像Re1,R
e2,Re3が得られる（これら多眼ステレオ処理部から出力
された画像を総称するときは、「ステレオ出力画像」と
いう）。

【００３１】(2) 多眼ステレオデータ記憶部６５ 多眼ステレオデータ記憶部６５は、３つの多眼ステレオ
処理部６１、６２、６３からのステレオ出力画像、つま
り輝度画像Im1,Im2,Im3、距離画像D1,D2,D3及び信頼度
画像Re1,Re2,Re3を入力して、図示のように、それらの
ステレオ出力画像を多眼ステレオ処理部６１、６２、６
３に対応した記憶領域６６、６７、６８に記憶する。そ
して、多眼ステレオデータ記憶部６５は、画素座標生成
部６４から処理対象画素を指す座標（図１に示した各多
眼ステレオカメラ１１、１２、１３のカメラ座標系での
座標であり、以下(i11,j11)で表す）が入力されると、
その画素座標(i11,j11)が指す画素の値を輝度画像Im1,I
m2,Im3、距離画像D1,D2,D3及び信頼度画像Re1,Re2,Re3
から読み出して出力する。

【００３２】すなわち、多眼ステレオデータ記憶部６５
は、画素座標(i11,j11)が入力されると、１番目の記憶
領域６６の輝度画像Im1、距離画像D1及び信頼度画像Re1
からは、１番目のカメラ座標系i1,j1,d1での座標(i11,j
11)に対応する画素の輝度Im1(i11,j11)、距離D1(i11,j1
1)及び信頼度Re1(i11,j11)を読み出し、２番目の記憶領
域６７の輝度画像Im2、距離画像D2及び信頼度画像Re2か
らは、２番目のカメラ座標系i2,j2,d2での座標(i11,j1
1)に対応する画素の輝度Im2(i11,j11)、距離D2(i11,j1
1)及び信頼度Re2(i11,j11)を読み出し、また、３番目の
記憶領域６８の輝度画像Im3、距離画像D3及び信頼度画
像Re3からは、３番目のカメラ座標系i3,j3,d3での座標
(i11,j11)に対応する画素の輝度Im3(i11,j11)、距離D3
(i11,j11)及び信頼度Re3(i11,j11)を読み出して、それ
らの値を出力する。

【００３３】(3) 画素座標生成部６４ 画素座標生成部６４は、３次元モデル作成処理の対象と
なる画素を指す座標(i11,j11)を生成して、多眼ステレ
オデータ記憶部６５及びボクセル座標生成部７１、７
２、７３に出力する。画素座標生成部６４は、上述した
ステレオ出力画像の全範囲又は一部の範囲を例えばラス
タ走査するように、その範囲の全画素の座標(i11,j11)
を順次に出力する。

【００３４】(4) ボクセル座標生成部７１、７２、７
３ ３つの多眼ステレオ処理部６１、６２、６３に対応して
３つのボクセル座標生成部７１、７２、７３が設けられ
る。３つのボクセル座標生成部７１、７２、７３の機能
は互いに同じであるから、１番目のボクセル座標生成部
７１を代表的に説明する。

【００３５】ボクセル座標生成部７１は、画素座標生成
部６４から画素座標(i11,j11)を入力し、また、その画
素座標(i11,j11)について多眼ステレオデータ記憶部６
５の対応する記憶領域６６から読み出された距離D1(i1
1,j11)を入力する。入力した画素座標(i11,j11)と距離D
1(i11,j11)は、１番目のカメラ座標系i1,j1,d1による対
象物１０の外表面の一箇所の座標を示している。そこ
で、ボクセル座標生成部７１は、予め組み込まれている
１番目のカメラ座標系i1,j1,d1の座標値を全体座標系x,
y,zの座標値へ変換する処理を実行して、入力した１番
目のカメラ座標系i1,j1,d1による画素座標(i11,j11)と
距離D1(i11,j11)を、全体座標系x,y,zによる座標(x11,y
11,z11)に変換する。次に、ボクセル座標生成部７１
は、その変換後の座標(x11,y11,z11)が、空間２０内の
どのボクセル３０に含まれるか否かを判断し、或るボク
セル３０に含まれる場合には、そのボクセル３０（それ
は、対象物１０の外表面が存在すると推定されるボクセ
ルの一つを意味する）の座標(vx11,vy11,vz11)を出力す
る。一方、変換後の座標(x11,y11,z11)が空間２０内の
どのボクセル３０にも含まれない場合には、含まれない
こと（つまり、その座標が空間２０外であること）を示
す所定の座標値(xout,yout,zout)を出力する。

【００３６】このようにして、１番目のボクセル座標生
成部７１は、１番目の多眼ステレオカメラ１１からの画
像に基づいて推定された対象物１０の外表面が位置する
ボクセル座標(vx11,vy11,vz11)を出力する。２番目及び
３番目のボクセル座標生成部７２、７３も、同様に、２
番目及び３番目の多眼ステレオカメラ１２、１３からの
画像に基づいて推定された対象物１０の外表面が位置す
るボクセル座標(vx12,vy12,vz12)及び(vx13,vy13,vz13)
をそれぞれ出力する。

【００３７】３つのボクセル座標生成部７１、７２、７
３は、それぞれ、画素座標生成部６４から出力された全
ての画素座標(i11,j11)について上記の処理を繰り返
す。その結果、対象物１０の外表面が位置すると推定さ
れるボクセル座標の全てが得られる。

【００３８】(5) ボクセルデータ生成部７４、７５、
７６ ３つの多眼ステレオ処理部６１、６２、６３に対応して
３つのボクセルデータ生成部７４、７５、７６が設けら
れる。３つのボクセルデータ生成部７４、７５、７６の
機能は互いに同じであるから、１番目のボクセルデータ
生成部７４を代表的に説明する。

【００３９】ボクセルデータ生成部７４は、対応するボ
クセル座標生成部７１から上記のボクセル座標(vx11,vy
11,vz11)を入力し、その値が(xout,yout,zout)でない場
合は、そのボクセル座標(vx11,vy11,vz11)に関して多眼
ステレオデータ記憶部６５から入力したデータを記憶す
る。そのデータとは、すなわち、そのボクセル座標(vx1
1,vy11,vz11)に対応する画素の距離D1(i11,j11)、輝度I
m1(i11,j11)及び信頼度Re1(i11,j11)の３種類の値のセ
ットである。この３種類の値を、そのボクセル座標(vx1
1,vy11,vz11)に関係付けて、それぞれボクセル距離Vd1
(vx11,vy11,vz11)、ボクセル輝度Vim1(vx11,vy11,vz11)
及びボクセル信頼度Vre1(vx11,vy11,vz11)として蓄積す
る（これらのように各ボクセルに対応付けられた値のセ
ットを「ボクセルデータ」という）。

【００４０】画素座標発生部６４が処理対象の全ての画
素の座標(i11,j11)を発生し終わった後、ボクセルデー
タ生成部７４は、全てのボクセル３０、…、３０につい
て蓄積したボクセルデータを出力する。個々のボクセル
について蓄積されたボクセルデータの数は一定ではな
い。例えば、複数のボクセルデータが蓄積されたボクセ
ルもあれば、全くボクセルデータが蓄積されていないボ
クセルもある。全くボクセルデータが蓄積されていない
ボクセルとは、１番目の多眼ステレオカメラ１１からの
撮影画像に基づいては、そこに対象物１０の外表面が存
在するとは推定されなかったボクセルである。

【００４１】このようにして、１番目のボクセルデータ
生成部７４は、全てのボクセルについて、１番目の多眼
ステレオカメラ１１からの撮影画像に基づくボクセルデ
ータVd1(vx11,vy11,vz11)、Vim1(vx11,vy11,vz11)、Vre
1(vx11,vy11,vz11)を出力する。同様に、２番目及び３
番目のボクセルデータ生成部７５、７６も、全てのボク
セルについて、２番目及び３番目の多眼ステレオカメラ
１２、１３からの撮影画像にそれぞれ基づくボクセルデ
ータVd2(vx12,vy12,vz12)、Vim2(vx12,vy12,vz12)、Vre
2(vx12,vy12,vz12)及びVd3(vx13,vy13,vz13)、Vim3(vx1
3,vy13,vz13)、Vre3(vx13,vy13,vz13)をそれぞれ出力す
る。

【００４２】(6) 統合ボクセルデータ生成部７７ 統合ボクセルデータ生成部７７は、上述した３つのボク
セルデータ生成部７４、７５、７６から入力されるボク
セルデータVd1(vx11,vy11,vz11)、Vim1(vx11,vy11,vz1
1)、Vre1(vx11,vy11,vz11)及びVd2(vx12,vy12,vz12)、V
im2(vx12,vy12,vz12)、Vre2(vx12,vy12,vz12)及びVd3(v
x13,vy13,vz13)、Vim3(vx13,vy13,vz13)、Vre3(vx13,vy
13,vz13)を、各ボクセル３０毎に蓄積して統合すること
により、各ボクセルの統合輝度Vim(vx14,vy14,vz14)を
求める。

【００４３】統合方法の例として、下記のようなものが
ある。

【００４４】Ａ． 複数のボクセルデータが蓄積されて
いるボクセルの場合 蓄積された複数の輝度の平均を統合輝度Vim(vx14,v
y14,vz14)とする。この場合、蓄積された複数の輝度の
分散値を求め、その分散値が所定値以上であった場合に
は、そのボクセルにはデータがないとみなして、例えば
統合輝度Vim(vx14,vy14,vz14)=0としてもよい。

【００４５】 或いは、蓄積された複数の信頼度の中
から最も高い１つを選び、その最も高い信頼度に対応す
る輝度を統合輝度Vim(vx14,vy14,vz14)とする。この場
合、その最も高い信頼度が所定値より低い場合には、そ
のボクセルにはデータがないとみなして、例えば統合輝
度Vim(vx14,vy14,vz14)=0としてもよい。

【００４６】 或いは、蓄積された信頼度から重み係
数を決め、対応する輝度にその重み係数を掛けて平均化
した値を統合輝度Vim(vx14,vy14,vz14)とする。

【００４７】 或いは、カメラと対象物までの距離が
近いほど輝度の信頼性が高いと考えられるので、蓄積さ
れた複数の距離の中で最も短い一つを選び、その最も短
い距離に対応する一つの輝度を統合輝度Vim(vx14,vy14,
vz14)とする。

【００４８】 或いは、上記の〜の方法を変形し
たり又は組み合わせたりした方法。

【００４９】Ｂ． １つのボクセルデータのみが蓄積さ
れているボクセルの場合 蓄積された１つの輝度をそのまま統合輝度Vim(vx1
4,vy14,vz14)とする。

【００５０】 或いは、信頼度が所定値以上の場合
は、その輝度を統合輝度Vim(vx14,vy14,vz14)とし、信
頼度が所定値未満の場合は、そのボクセルにはデータが
ないとして、例えば統合輝度Vim(vx14,vy14,vz14)=0と
する。

【００５１】Ｃ． ボクセルデータが蓄積されていない
ボクセルの場合 そのボクセルにはデータがないとして、例えば統合
輝度Vim(vx14,vy14,vz14)=0とする。

【００５２】統合ボクセルデータ生成部７７は、全ての
ボクセル３０、…、３０の統合輝度Vim(vx14,vy14,vz1
4)を求めてモデリング・表示部７８に出力する。

【００５３】(7) モデリング・表示部７８ モデリング・表示部７８は、統合ボクセルデータ生成部
７７より空間２０内の全てのボクセル３０、…、３０の
統合輝度Vim(vx14,vy14,vz14)を入力する。統合輝度Vim
(vx14,vy14,vz14)が"0"以外の値をもったボクセルは、
そこに対象物１０の外表面が存在すると推定されたボク
セルを意味する。そこで、モデリング・表示部７８は、
統合輝度Vim(vx14,vy14,vz14)が"0"以外の値をもつボク
セルの座標(vx14,vy14,vz14)を基にして、対象物１０の
外表面の３次元形状を表す３次元モデルを作成する。こ
の３次元モデルとしては、例えば、統合輝度Vim(vx14,v
y14,vz14)が"0"以外の値をもつボクセルの座標(vx14,vy
14,vz14)を近いもの同士で閉ループに繋ぐことで得られ
る多数のポリゴンによって３次元形状を表現したポリゴ
ンデータなどである。次に、モデリング・表示部７８
は、その３次元モデルと、その３次元モデルを構成する
ボクセルの統合輝度Vim(vx14,vy14,vz14)とを用いて、
図１に示した視点４０から視線４１に沿って対象物１０
を見たときの２次元画像を、公知のレンダリング手法に
よって作成し、その２次元画像をテレビジョンモニタ１
９へ出力する。レンダリングの際の着色は、実際の撮影
画像に基づくボクセルの統合輝度Vim(vx14,vy14,vz14)
を用いて行えるので、レイトレーシングやテクスチャ処
理などの面倒な表面処理を省くことができ（勿論、行っ
ても良いが）、レンダリングを短時間で完了できる。

【００５４】上述した(1)〜(７)の各部の処理は、多眼
ステレオカメラ１１、１２、１３から出力される動画像
の各フレーム毎に繰り返される。結果として、テレビジ
ョンモニタ１９には、視点４０から視線４１に沿って見
た対象物１０の動画像が、実時間で表示される。

【００５５】ところで、上記説明では空間２０内のボク
セル３０、…、３０を全体直交座標系に従って設定した
が、必ずしも全体直交座標系に従わせる必要はなく、た
とえば、図３に示すようなボクセルを設定しても良い。
すなわち、まず、全体座標系x,y,z上で任意に設定した
視点４０から視線４１方向に見た画像面８０を視線４１
に直角に設定し、その画像面８０の全ての画素８１の各
々から視点４０へ向って線分８２を延ばす。さらに、画
像面８０と平行に、視点４０からの距離を違えて、多数
の平面８３を設定する。すると、各画素８１からの各線
分８２と各平面８３の間に交点ができる。その各交点を
中心に、隣の交点との間に境界面を設け、その境界面で
囲まれた各交点を１個ずつ含むような６面体領域を設定
し、その各６面体領域を各ボクセルとする。

【００５６】なお、各画素８１からの線分８２は、視点
４０に向わせずに、視線４１に平行に延ばしても良い。
そのようにした場合には、図１に示すような視点４０を
原点として視線４１の方向に距離座標軸を取った視線直
交座標系i4,j4,d4に従って、ボクセルを設定したことに
なる。

【００５７】上記のように設定したボクセルを用いて上
述した(4)〜(7)の各部の処理を行うと、最後のモデリン
グ・表示部７８が視点４０から見た２次元画像をレンダ
リングする際、ボクセル座標を視点４０を基準にした座
標に変換する処理が省略できるので、より高速にレンダ
リングすることが可能である。

【００５８】図４は、本発明の第２の実施形態で用いら
れる演算装置２００の構成を示す。

【００５９】この実施形態の全体構成は、図１に示した
ものと基本的に同じであり、そのうちの演算装置１８を
図４に示す構成の演算装置２００に置き換えたものであ
る。

【００６０】図４に示す演算装置２００において、多眼
ステレオ処理部６１、６２、６３、画素座標生成部６
４、多眼ステレオデータ記憶部６５及びボクセル座標生
成部７１、７２、７３及びモデリング・表示部７８は、
既に説明した図２に示す演算装置１８がもつ同じ参照番
号の処理部と全く同じ機能をもつ。図４に示す演算装置
２００が、図２に示した演算装置１８とは異なる部分
は、対象面傾き算出部９１、９２、９３が追加されてい
る点と、この対象面傾き算出部９１、９２、９３の出力
を処理することになるボクセルデータ生成部９４、９
５、９６及び統合ボクセルデータ生成部９７の機能であ
る。以下、この相違する部分について説明する。

【００６１】(1) 対象面傾き算出部９１、９２、９３ ３つの多眼ステレオ処理部６１、６２、６３にそれぞれ
対応して３つの対象面傾き算出部９１、９２、９３が設
けられる。これら対象面傾き算出部９１、９２、９３の
機能は互いに同じであるので、１番目の対象面傾き算出
部９１を代表的に説明する。

【００６２】対象面傾き算出部９１は、画素座標生成部
６４から座標(i11,j11)を入力すると、その座標(i11,j1
1)を中心とした所定サイズ（例えば３×３画素）のウイ
ンドウを設定し、そのウインドウ内の全ての画素につい
ての距離を、多眼ステレオデータ記憶部６５の対応する
記憶領域６６内の距離画像Ｄ１から入力する。次に、対
象面傾き算出部９１は、上記ウインドウの領域内の対象
物１０の外表面（以下、対象面という）は平面であると
の仮定の下で、そのウインドウ内の全画素の距離に基づ
いて、そのウィンドウ内の対象面と、多眼ステレオカメ
ラ１１からの視線１４に直角な平面（傾きゼロ平面）と
の間の傾きを算出する。

【００６３】算出方法としては、例えば、ウインドウ内
の各距離を使用して、最小二乗法により対象面の法線ベ
クトルを求め、そして、その法線ベクトルとカメラ１１
からの視線１４のベクトルとの差分のベクトルを求め、
この差分ベクトルのi方向成分Si11及びj方向成分Sj11を
取り出して、対象面の傾きSi11,Sj11とする方法があ
る。

【００６４】このようにして、１番目の対象面傾き算出
部９１は、１番目の多眼ステレオカメラ１１から見た対
象面の傾きSi11,Sj11を、そのカメラ１１で撮影した基
準画像の全画素について計算して出力する。同様に、２
番目及び３番目の対象面傾き算出部９２、９３も、２番
目及び３番目の多眼ステレオカメラ１２、１３からそれ
ぞれ見た対象面の傾きSi12,Sj12およびSi13,Sj13を、そ
れぞれのカメラ１２、１３で撮影した基準画像の全画素
について計算して出力する。

【００６５】(2) ボクセルデータ生成部９４、９５、
９６ ３つの多眼ステレオ処理部６１、６２、６３にそれぞれ
対応して３つのボクセルデータ生成部９４、９５、９６
が設けられる。これらボクセルデータ生成部９４、９
５、９６の機能は互いに同じであるので、１番目のボク
セルデータ生成部９４を代表的に説明する。

【００６６】ボクセルデータ生成部９４は、対応するボ
クセル座標生成部からボクセル座標(vx11,vy11,vz11)を
入力し、その値が(xout,yout,zout)でない場合は、その
ボクセル座標(vx11,vy11,vz11)についてのボクセルデー
タを蓄積する。蓄積するボクセルデータとしては、その
ボクセル座標(vx11,vy11,vz11)に対応する画素について
多眼ステレオデータ記憶部６５内の一番目の記憶領域６
６から読み出された輝度Im1(i11,j11)と、１番目の対象
面傾き算出部９１から出力された対象面の傾きSi11,Sj1
1の３種類の値であり、それら３種類の値をそれぞれVim
1(vx11,vy11,vz11)、Vsi1(vx11,vy11,vz11)、Vsj1(vx1
1,vy11,vz11)として蓄積する。

【００６７】画素座標発生部６４が処理対象の全ての画
素の座標(i11,j11)を発生し終わった後、ボクセルデー
タ生成部９４は、全てのボクセル３０、…、３０につい
て蓄積したボクセルデータVim1(vx11,vy11,vz11)、Vsi1
(vx11,vy11,vz11)、Vsj1(vx11,vy11,vz11)を出力する。

【００６８】同様にして、２番目及び３番目のボクセル
データ生成部９５、９６も、全てのボクセル３０、…、
３０について蓄積した、２番目及び３番目の多眼ステレ
オカメラ１２、１３からの撮影画像にそれぞれ基づくボ
クセルデータVim2(vx12,vy12,vz12)、Vsi2(vx12,vy12,v
z12)、Vsj2(vx12,vy12,vz12)及びVim3(vx13,vy13,vz1
3)、Vsi3(vx13,vy13,vz13)、Vsj3(vx13,vy13,vz13)をそ
れぞれ出力する。

【００６９】(3) 統合ボクセルデータ生成部９７ 統合ボクセルデータ生成部９７は、３つのボクセルデー
タ生成部９４、９５、９６からのボクセルデータVim1(v
x11,vy11,vz11)、Vsi1(vx11,vy11,vz11)、Vsj1(vx11,vy
11,vz11)及びVim2(vx12,vy12,vz12)、Vsi2(vx12,vy12,v
z12)、Vsj2(vx12,vy12,vz12)及びVim3(vx13,vy13,vz1
3)、Vsi3(vx13,vy13,vz13)、Vsj3(vx13,vy13,vz13)を各
ボクセル３０毎に蓄積して統合することにより、各ボク
セルの統合輝度Vim(vx14,vy14,vz14)を求める。

【００７０】統合方法としては、下記のようなものがあ
る。ここでは、対象面の傾きが小さいほど多眼ステレオ
データの信頼性が高いことを前提として処理する。

【００７１】Ａ． 複数のボクセルデータが蓄積されて
いるボクセルの場合 蓄積された各傾きのi方向成分Vsi1(vx11,vy11,vz1
1)とj方向成分Vsj1(vx11,vy11,vz11)の二乗和を求め、
その二乗和が最も小さい傾きに対応する輝度を統合輝度
Vim(vx14,vy14,vz14)とする。この場合、上記最も小さ
い二乗和の値が所定値より大きい場合には、そのボクセ
ルにはデータがないとして、例えば統合輝度Vim(vx14,v
y14,vz14)＝０としても良い。

【００７２】 或いは、蓄積された複数の傾きのi成
分の平均値と、j成分の平均値とを求め、そのi成分とj
成分の平均値を中心とした所定範囲内に入る傾きだけを
抽出し、その抽出した傾きに対応する輝度を抽出し、そ
の抽出した輝度の平均値を統合輝度Vim(vx14,vy14,vz1
4)とする。

【００７３】Ｂ． １個のボクセルデータのみが蓄積さ
れているボクセルの場合 蓄積されている１個の輝度をそのまま統合輝度Vim
(vx14,vy14,vz14)とする。この場合、蓄積されている１
個の傾きのi成分とj成分の二乗和が所定値以上の場合
は、そのボクセルにはデータがないとして、例えば統合
輝度Vim(vx14,vy14,vz14)＝０としても良い。

【００７４】Ｃ． ボクセルデータが蓄積されていない
ボクセルの場合 そのボクセルにはデータがないとして、例えば統合
輝度Vim(vx14,vy14,vz14)＝０とする。

【００７５】このようにして統合ボクセルデータ生成部
９７は、全てのボクセルの統合輝度Vim(vx14,vy14,vz1
4)を計算して、モデリング・表示部７８へ送る。モデリ
ング・表示部７８の処理は、図２を参照して既に説明し
た通りである。

【００７６】図５は、本発明の第３の実施形態で用いら
れる演算装置３００の構成を示す。

【００７７】この実施形態の全体構成は、図１に示した
ものと基本的に同じであり、そのうちの演算装置１８を
図５に示す構成の演算装置３００に置き換えたものであ
る。

【００７８】図５に示す演算装置３００は、図２や図４
に示した演算装置１８や２００と比較して、ボクセルデ
ータを作成する処理手順において次のように異なる。す
なわち、図２や図４に示した演算装置１８や２００は、
多眼ステレオ処理部の出力画像内をスキャンして、その
画像内の各画素毎に、対応するボクセル３０を空間２０
から見つけてボクセルデータを割り当てていく。図５に
示す演算装置３００は、これとは逆に、まず空間２０を
スキャンして、空間２０内の各ボクセル３０毎に、対応
するステレオデータを多眼ステレオ処理部の出力画像か
ら見つけて各ボクセルに割り当てていく。

【００７９】図５に示す演算装置３００は、多眼ステレ
オ処理部６１、６２、６３、ボクセル座標成部１０１、
画素座標生成部１１１、１１２、１１３、距離生成部１
１４、多眼ステレオデータ記憶部１１５、距離一致検出
部１２１、１２２、１２３、ボクセルデータ生成部１２
４、１２５、１２６、統合ボクセルデータ生成部１２７
及びモデリング・表示部７８を有する。このうち、多眼
ステレオ処理部６１、６２、６３とモデリング・表示部
７８は、既に説明した図２に示す演算装置１８がもつ同
じ参照番号の処理部と全く同じ機能をもつ。その他の処
理部の機能は、図２に示した演算装置１８とは異なる。
以下、この相違する部分について説明する。以下の説明
では、各ボクセル３０の位置を表す座標を(vx24,vy24,v
z24)とする。

【００８０】(1) ボクセル座標生成部１０１ 空間２０内の全ボクセル３０、…、３０の各々の座標(v
x24,vy24,vz24)を順々に出力する。

【００８１】(2) 画素座標生成部１１１、１１２、１
１３ ３つの多眼ステレオ処理部６１、６２、６３にそれぞれ
対応して３つの画素座標生成部１１１、１１２、１１３
が設けられる。これら画素座標生成部１１１、１１２、
１１３の機能は互いに同じであるので、１番目の画素座
標生成部１１１を代表的に説明する。

【００８２】１番目の画素座標生成部１１１は、ボクセ
ル座標(vx24,vy24,vz24)を入力し、それに対応する１番
目の多眼ステレオ処理部６１の出力画像の画素座標(i2
1,j21)を出力する。なお、ボクセル座標(vx24,vy24,vz2
4)と画素座標(i21,j21)の関係は、毎回、多眼ステレオ
カメラ１１の取付位置情報およびレンズ歪み情報などを
使用して算出しても良いし、或いは、あらかじめ全ての
ボクセル座標(vx24,vy24,vz24)について画素座標(i21,j
21)との関係を算出してルックアップテーブル等の形式
で記憶しておき、その記憶から呼び出しても良い。

【００８３】同様に、２番目と３番目の画素座標生成部
１１２、１１３も、ボクセル座標(vx24,vy24,vz24)に対
応する２番目と３番目の多眼ステレオシステム６２、６
３の出力画像の座標(i22,j22)と(i23,j23)をそれぞれ出
力する。

【００８４】(３) 距離生成部１１４ 距離生成部１１４は、ボクセル座標(vx24,vy24,vz24)を
入力し、それに対応するボクセルと１番目、２番目及び
３番目の多眼ステレオカメラ１１、１２、１３の各々と
の間の距離Dvc21,Dvc22,Dvc23を出力する。なお、各距
離Dvc21,Dvc22,Dvc23は、各多眼ステレオカメラ１１、
１２、１３の取付位置情報およびレンズ歪み情報などを
使用して算出する。

【００８５】(４) 多眼ステレオデータ記憶部１１５ 多眼ステレオデータ記憶部１１５は、３つの多眼ステレ
オ処理部６１、６２、６３に対応する記憶領域１１６、
１１７、１１８を有し、３つの多眼ステレオ処理部６
１、６２、６３からステレオ処理後の画像（輝度画像Im
1,Im2,Im3、距離画像D1,D2,D3、信頼度画像Re1,Re2,Re
3）を入力し、これらの入力画像を対応する記憶領域１
１６、１１７、１１８に蓄積する。例えば、１番目の多
眼ステレオ処理部６１からの輝度画像Im1、距離画像D1
及び信頼度画像Re1は１番目の記憶領域１１６に蓄積す
る。

【００８６】続いて、多眼ステレオデータ記憶部１１５
は、３つの画素座標生成部１１１、１１２、１１３から
画素座標(i21,j21)、(i22,j22)、(i23,j23)を入力し、
３つの画素座標生成部１１１、１１２、１１３にそれぞ
れ対応する記憶領域１１６、１１７、１１８から、入力
した画素座標(i21,j21)、(i22,j22)、(i23,j23)にそれ
ぞれ対応する画素のステレオデータ（輝度、距離、信頼
度）を読み出して出力する。例えば、１番目の画素座標
生成部１１１から入力した画素座標(i21,j21)に対して
は、蓄積してある１番目の多眼ステレオ処理部６１の輝
度画像Im1、距離画像D1及び信頼度画像Re1中から、その
入力画素座標(i21,j21)に対応する画素の輝度Im1(i21,j
21)、距離D1(i21,j21)及び信頼度Re1(i21,j21)を読み出
して出力する。

【００８７】なお、入力される画素座標(i21,j21)、(i2
2,j22)、(i23,j23)はボクセル座標から計算で求めた実
数データであるが、これに対し、多眼ステレオデータ記
憶部１１５内に記憶されている画像の画素座標（つま
り、メモリアドレス）は整数である。そこで、多眼ステ
レオデータ記憶部１１５は、入力した画素座標(i21,j2
1)、(i22,j22)、(i23,j23)の小数点以下を切り捨てて整
数の画素座標に変換するか、あるいは、入力した画素座
標(i21,j21)、(i22,j22)、(i23,j23)各々の付近にある
整数の画素座標を複数選択し、その複数の整数画素座標
のステレオデータを読み出して補間し、その補間結果を
入力画素座標に対するステレオデータとして出力しても
良い。

【００８８】(５) 距離一致検出部１２１、１２２、１
２３ ３つの多眼ステレオ処理部６１、６２、６３にそれぞれ
対応して３つの距離一致検出部１２１、１２２、１２３
が設けられる。これら距離一致検出部１２１、１２２、
１２３の機能は互いに同じであるので、１番目の距離一
致検出部１２１を代表的に説明する。

【００８９】１番目の距離一致検出部１２１は、多眼ス
テレオデータ記憶部１１５から出力された１番目の多眼
ステレオ処理部６１により測定された距離D1(i21,j21)
と、距離生成部１１４から出力されたボクセル座標(vx2
4,vy24,vz24)に対応する距離Dvc1とを比較する。対象物
１０の外表面がそのボクセル中に存在する場合には、D1
(i21,j21)とDvc21が一致する筈である。そこで、距離一
致検出部１２１は、D1(i21,j21)とDvc21の差の絶対値が
所定値以下である場合には、対象物１０の外表面が当該
ボクセル中に存在すると判定して判定値Ma21=1を出力
し、D1(i21,j21)とDvc21の差の絶対値が所定値より大き
い場合には、対象物１０の外表面がそのボクセル中は存
在しないと判定して判定値Ma21=0を出力する。

【００９０】同様に、２番目と３番目の距離一致検出部
１２２、１２３も、２番目と３番目の多眼ステレオ処理
部６２、６３による測定距離D2(i22,j22)、D3(i23,j23)
にそれぞれ基づいて、該ボクセルに対象物１０の外表面
が存在するか否かを判定して、判定値Ma22およびMa23を
それぞれ出力する。

【００９１】(６) ボクセルデータ生成部１２４、１２
５、１２６ ３つの多眼ステレオ処理部６１、６２、６３にそれぞれ
対応して３つのボクセルデータ生成部１２４、１２５、
１２６が設けられる。これらボクセルデータ生成部１２
４、１２５、１２６の機能は互いに同じであるので、１
番目のボクセルデータ生成部１２４を代表的に説明す
る。

【００９２】１番目のボクセルデータ生成部１２４は、
１番目の距離一致検出部からの判定値Ma21をチェック
し、Ma21が1であれば（つまり、ボクセル座標(vx24,vy2
4,vz24)のボクセル中に対象物１０の外表面が存在する
場合には）、当該ボクセルについて多眼ステレオ記憶部
１１５の１番目の記憶領域１１６から出力されたデータ
を、当該ボクセルのボクセルデータとして蓄積する。蓄
積するボクセルデータは、そのボクセル座標(vx24,vy2
4,vz24)に対応する画素座標(i21,j21)の輝度Im1(i21,j2
1)および信頼度Re1(i21,j21)であり、それぞれボクセル
輝度Vim1(vx24,vy24,vz24)およびボクセル信頼度Vre1(v
x24,vy24,vz24)として蓄積する。

【００９３】ボクセル座標発生部１０１が処理すべき全
てのボクセル３０、…、３０のボクセル座標を発生した
後、ボクセルデータ生成部１２４は、全てのボクセル３
０、…、３０の各々について蓄積されたボクセルデータ
Vim1(vx24,vy24,vz24)、Vre1(vx24,vy24,vz24)を出力す
る。個々のボクセルについて蓄積されたボクセルデータ
の個数は同じではなく、ボクセルデータが蓄積されない
ボクセルもある。

【００９４】同様に、２番目と３番目のボクセルデータ
生成部１２５、１２６も、全てのボクセル３０、…、３
０の各々について、２番目と３番目のステレオ処理部６
２、６３の出力にそれぞれ基づくボクセルデータVim2(v
x24,vy24,vz24)、Vre2(vx24,vy24,vz24)およびVim3(vx2
4,vy24,vz24)、Vre3(vx24,vy24,vz24)を蓄積し、出力す
る。

【００９５】(７) 統合ボクセルデータ生成部１２７ 統合ボクセルデータ生成部１２７は、３つのボクセルデ
ータ生成部１２４、１２５、１２６からのボクセルデー
タを各ボクセル毎に統合することにより、各ボクセルの
統合輝度Vim(vx24,vy24,vz24)を求める。

【００９６】統合方法としては、下記のようなものがあ
る。

【００９７】Ａ． 複数のボクセルデータが蓄積されて
いるボクセルの場合 蓄積された複数の輝度の平均を統合輝度Vim(vx24,v
y24,vz24)とする。この場合、複数の輝度の分散値を求
め、その分散値が所定値以上であった場合には、そのボ
クセルにはデータがないとして、たとえばVim(vx24,vy2
4,vz24)=0としてもよい。

【００９８】 或いは、蓄積された複数の信頼度の中
で最も高いものを選び、その最も高い信頼度に対応する
輝度を統合輝度Vim(vx24,vy24,vz24)とする。この場
合、その最も高い信頼度が所定値以下の場合、そのボク
セルにはデータがないとして、たとえばVim(vx24,vy24,
vz24)=0としてもよい。

【００９９】 或いは、蓄積された信頼度から重み係
数を決め、蓄積された複数の輝度にそれぞれに対応する
重み係数を掛けて平均化した値を統合輝度Vim(vx24,vy2
4,vz24)とする。

【０１００】Ｂ． ボクセルデータが１個のみ蓄積され
ているボクセルの場合 その輝度を統合輝度Vim(vx24,vy24,vz24)とする。
その場合、信頼度が所定値以下の場合、そのボクセルに
はデータがないとして、たとえばVim(vx24,vy24,vz24)=
0としてもよい。

【０１０１】Ｃ． ボクセルデータが蓄積されていない
ボクセルの場合 そのボクセルにはデータがないとして、たとえばVi
m(vx24,vy24,vz24)=0とする。

【０１０２】このようにして統合ボクセルデータ生成部
１２７は、全てのボクセルの統合輝度Vim(vx24,vy24,vz
24)を計算して、モデリング・表示部７８へ送る。モデリ
ング・表示部７８の処理は、図２を参照して既に説明し
た通りである。

【０１０３】ところで、図２の演算装置１８と図４の演
算装置２００との違いと同様に、図５の演算装置３００
においても、対象面の傾き算出部を追加して、統合輝度
を生成する際に信頼度の代わりに対象面の傾きを使用す
ることも可能である。また、図５の演算装置３００にお
いても、全体直交座標系の代わりに図３に示したような
視点４０からの視線方向と距離を用いた座標系に従って
ボクセルを設定しても良い。

【０１０４】図６は、本発明の第４の実施形態で用いら
れる演算装置４００の構成を示す。

【０１０５】この実施形態の全体構成は、図１に示した
ものと基本的に同じであり、そのうちの演算装置１８を
図６に示す構成の演算装置４００に置き換えたものであ
る。

【０１０６】図６に示す演算装置４００は、図２に示し
た演算装置１８の構成と、図５に示した演算装置３００
の構成とを組み合わせて、それぞれの構成の長所を活か
して互いの短所を埋めるようにしたものである。すなわ
ち、図５の演算装置３００の構成によると、ボクセル座
標（vx24,vy24,vz24）の３軸の座標を変化させて処理を
行うので、精細な３次元モデルを作るためにボクセルサ
イズを小さくしてボクセル数を増やすと計算量が膨大に
なるという問題がある。一方、図２の演算装置１８の構
成によると、画素座標(i11,j11)の２軸の座標を変化さ
せればよいため図５の演算装置３００と比較して計算量
は少ないが、精細な３次元モデルを得ようとしてボクセ
ル数を増やしても、ボクセルデータが与えられるボクセ
ル数が画素数によって限定されているため、ボクセルデ
ータが与えられるボクセル間に隙間が空いてしまい、精
細な３次元モデルが得られないという問題がある。

【０１０７】そこで、上記の問題を解消するために、図
６に示す演算装置４００は、まず少ない数の粗大なボク
セルを設定して図２の演算装置１８と同様の画素指向型
の演算処理を行って、粗大ボクセルについての統合輝度
Vim11(vx15,vy15,vz15)を求める。次に、粗大ボクセル
の統合輝度Vim11(vx15,vy15,vz15)に基づいて、対象物
１０の外表面が存在すると判断される統合輝度をもった
粗大ボクセルに関し、その粗大ボクセルの領域をより小
さな領域をもった精細なボクセルに分割し、その分割し
た精細ボクセルに関してのみ図５の演算装置３００のよ
うなボクセル指向型の演算処理を行う。

【０１０８】すなわち、図６に示す演算装置４００は、
既に説明したものと同構成の多眼ステレオ処理部６１、
６２、６３の下流に、画素座標生成部１３１、画素指向
型演算部１３２、ボクセル座標生成部１３３、ボクセル
指向型演算部１３４、及び既に説明したものと同構成の
モデリング・表示部７８を備える。

【０１０９】画素座標生成部１３１と画素指向型演算部
１３２は、図２に示した演算装置１８の部分７９（画素
座標生成部６４、多眼ステレオデータ記憶部６５、ボク
セル座標生成部７１、７２、７３、ボクセルデータ生成
部７４、７５、７６及び統合ボクセルデータ生成部７
７）と実質的に同一の構成である。すなわち、画素座標
生成部１３１は、図２に示した画素座標生成部６４と同
様に、多眼ステレオ処理部６１、６２、６３の出力画像
の全域又は処理すべき部分域の全画素をスキャンして、
各画素の座標(i15,j15)を順次に出力する。画素指向型
演算部１３２は、各画素座標(i15,j15)と、その画素座
標(i15,j15)に対する距離とに基づき、空間２０を予め
粗く分割して設定してある粗大ボクセルの座標(vx15,vy
15,vz15)を求め、その粗大ボクセル座標(vx15,vy15,vz1
5)に対する統合輝度Vim11(vx15,vy15,vz15)を図２の演
算装置１８と同様の方法で求めて出力する。なお、ここ
での統合輝度Vim11(vx15,vy15,vz15)を求める方法に
は、既に説明したような方法に代えて、Vim11(vx15,vy1
5,vz15)がゼロか否か（つまり、その粗大ボクセルに対
象物１０の外表面が存在するか否か）を区別するだけの
簡単な方法を用いてよい。

【０１１０】ボクセル座標生成部１３３は、各粗大ボク
セル座標(vx15,vy15,vz15)の統合輝度Vim11(vx15,vy15,
vz15)を入力して、その統合輝度Vim11(vx15,vy15,vz15)
がゼロでない（つまり、対象物１０の外表面が存在する
と推定される）粗大ボクセルについてのみ、その粗大ボ
クセルを複数の精細ボクセルに分割して、各精細ボクセ
ルのボクセル座標(vx16,vy16,vz16)を順次に出力する。

【０１１１】ボクセル指向型演算部１３４は、図５の演
算装置３００の部分１２８（画素座標生成部１１１、１
１２、１１３、距離生成部１１４、多眼ステレオデータ
記憶部１１５、距離一致検出部１２１、１２２、１２
３、ボクセルデータ生成部１２４、１２５、１２６、及
び統合ボクセルデータ生成部１２７）と実質的に同一の
構成を有する。このボクセル指向型演算部１３４は、各
精細ボクセル座標(vx16,vy16,vz16)について、多眼ステ
レオ処理部６１、６２、６３からの出力画像に基づいて
ボクセルデータを求め、それを統合して統合輝度Vim12
(vx16,vy16,vz16)を求めて出力する。

【０１１２】ボクセル指向型演算部１３４による精細な
ボクセルデータの生成処理は、対象物１０の外表面が存
在すると推定されたボクセルのみに限定して行われるの
で、対象物１０の外表面が存在しないボクセルに対する
無駄な処理が省かれ、その分だけ処理時間が低減され
る。

【０１１３】なお、上記の構成では、画素指向型演算部
１３２とボクセル指向型演算部１３４のそれぞそれが多
眼ステレオデータ記憶部をもつが、そうする代わりに、
１つの多眼ステレオデータ記憶部を画素指向型演算部１
３２とボクセル指向型演算部１３４の双方が共用するよ
うに構成することもできる。

【０１１４】図７は、本発明の第５の実施形態で用いら
れる演算装置５００の構成を示す。

【０１１５】この実施形態の全体構成は、図１に示した
ものと基本的に同じであり、そのうちの演算装置１８を
図７に示す構成の演算装置５００に置き換えたものであ
る。

【０１１６】図７に示す演算装置５００は、対象物１０
の３次元モデルを作成することは省略して、多眼ステレ
オデータから直接的に視点４０から視線４１方向に見た
対象物１０の画像を生成する。ここで用いられる方法
は、図３を参照して説明したような視点座標系i4,j4,d4
に従ってボクセルを設定する方法に似ている。しかし、
ここで用いられる方法では、３次元モデルを作成しない
ので、もはやボクセルという概念は使わない。ここで
は、視点座標系i4,j4,d4の各座標毎に、対応する多眼ス
テレオデータが有るか否かチェックして、ある場合には
その多眼ステレオデータの輝度を用いて直接的に、視点
４０から見た画像をレンダリングする。

【０１１７】すなわち、図７に示す演算装置５００は、
多眼ステレオ処理部６１、６２、６３、視点座標系座標
生成部１４１、座標変換部１４２、画素座標生成部１１
１、１１２、１１３、距離生成部１１４、多眼ステレオ
データ記憶部１１５、対象物検出部１４３、及び目的画
像表示部１４４を有する。このうち、多眼ステレオ処理
部６１、６２、６３、画素座標生成部１１１、１１２、
１１３、距離生成部１１４、及び多眼ステレオデータ記
憶部１１５は、図５の演算装置３００内の同じ参照番号
をもつ処理部と同一の機能をもつ。以下、主として相違
する処理部を中心にその機能と動作を説明する。

【０１１８】(1) 視点座標系座標生成部１４１ 視点座標系座標生成部１４１は、図１に示したような視
点直交座標系i4,j4,d4を用いて、仮想的な視点４０から
視線４１方向を見たときの輝度画像（つまり、テレビジ
ョンモニタ１９に表示したい画像であり、これを以下、
「目的画像」という）がカバーするi4座標とj4座標の範
囲（つまり、図３に示したような画像面８０の範囲）を
ラスタスキャンしながら、その目的画像内の各画素座標
(i34,j34)毎に距離座標d34を所定の最小値から最大値ま
で順次に変化させることにより、視点直交座標系i4,j4,
d4による座標(i34,j34,d34)を順次に出力する。以下、
その座標(i34,j34,d34)が示す空間点を「探索点」とい
う。

【０１１９】なお、図１に示したような視点直交座標系
i4,j4,d4に代えて、図３に示したように、目的画像８０
の画素８１の座標と、各画素８１から視点４０へ向かう
線８２に沿った視点４０からの距離とで定義した視点座
標系を用いて、探索点の座標(i34,j34,d34)を表しても
よい。

【０１２０】(2) 座標変換部１４２ 座標変換部１４２は、視点座標系座標生成部１４１から
探索点の視点直交座標系i4,j4,d4による座標(i34,j34,d
34)を入力して、これを全体直交座標系x,y,zによる座標
(x34,y34,z34)に変換して出力する。なお、この座標変
換部１４２の機能は、図５に示した演算装置３００にお
いて視点直交座標系i4,j4,d4に従ってボクセルを設定し
た場合におけるボクセル座標生成部１０１の機能と実質
的に同じである。

【０１２１】座標変換部１４２から出力された全体直交
座標系x,y,zによる探索点座標(x34,y34,z34)は、図５の
演算装置３００で既に説明した通りの画素座標生成部１
１１、１１２、１１３に入力されて、そこで多眼ステレ
オ処理部６１、６２、６３の出力画像上の対応する画素
の座標(i31,j31)、(i32,j32)、(i33,j33)に変換され
る。そして、その画素座標(i31,j31)、(i32,j32)、(i3
3,j33)にそれぞれ対応する画素のステレオデータ（輝度
Im1(i31,j31)、Im2(i32,j32)、Im3(i33,j33)、距離D1(i
31,j31)、D2(i32,j32)、D3(i33,j33)、及び信頼度Re1(i
31,j31)、Re2(i32,j32)、Re3(i33,j33)）が多眼ステレ
オデータ記憶部１１５から出力される。

【０１２２】この座標変換部１４２から出力された探索
点の座標(x34,y34,z34)は、また、図５の演算装置３０
０で既に説明した通りの距離生成部１１４にも入力さ
れ、そこでその探索点と多眼ステレオカメラ１１、１
２、１３の各々との間の距離Dvc31、Dvc32、Dvc33に変
換される。

【０１２３】（3) 対象物検出部１４３ 対象物検出部１４３は、多眼ステレオデータ記憶部１１
５から出力されるステレオデータと、距離生成部１１４
からの出力された距離Dvc31、Dvc32、Dvc33とを入力す
る。上述したように、視点座標系座標生成部１４１は、
目的画像内の一つ一つの画素座標(i34,j34)について、
視点座標系での距離座標d34を変化させて探索点を移動
させていく。そのため、多眼ステレオデータ記憶部１１
５からは、目的画像の個々の画素座標(i34,j34)に対応
した、視点座標系での距離d34の異なる複数の探索点の
ステレオデータが、連続して出力されることになる。対
象物検出部１４３は、目的画像の各画素座標(i34,j34)
毎に、そのように連続して入力された距離d34の異なる
複数の探索点のステレオデータを集め、それら複数の探
索点のステレオデータを使用して、それら複数の探索点
中のどの探索点に対象物１０の外表面が存在するのかを
決定する。そして、その決定された探索点に対応する輝
度を、その画素座標(i34,j34)の輝度として出力する。
どの探索点に対象物１０の外表面が存在するのかを決定
する方法としては、例えば次のような方法がある。

【０１２４】 一つ一つの探索点について、３つの多
眼ステレオ処理部６１、６２、６３から得られた対応す
る画素(i31,j31)、(i32,j32)、(i33,j33)の輝度Im1(i3
1,j31)、Im2(i32,j32)、Im3(i33,j33)の分散値を求め
る。そして、同じ画素座標(i34,j34)に対応する複数の
探索点の中で、その分散値が最も小さい一つの探索点
を、対象物１０の外表面が存在する探索点として選ぶ。

【０１２５】 或いは、一つ一つの探索点について、
３つの多眼ステレオ処理部６１、６２、６３からの３つ
の出力画像に、対応する画素(i31,j31)、(i32,j32)、(i
33,j33)を中心とする所定サイズのウインドウを設定
し、それら３つのウインドウ内の全画素の輝度を対象物
検出部１４３に入力する。そして、それら３つのウイン
ドウ間で、画素座標が一致する画素の輝度の分散値を求
め、その分散値のウインドウ内での平均値を求める。そ
して、同じ画素座標(i34,j34)に対応する複数の探索点
の中で、その平均値が最も小さい探索点を、対象物１０
の外表面が存在する探索点として選ぶ。

【０１２６】 或いは、一つ一つの探索点について、
１番目の多眼ステレオ処理部６１により測定された距離
D1(i31,j31)と、距離生成部１１４が座標(x34,y34,z34)
に基づき計算した距離Dvc31の差の絶対値Dad31を求め
る。同様に、一つ一つの探索点について、２番目と３番
目の多眼ステレオ処理部６２、６３が測定した距離と距
離生成部１１４が計算した距離との間の差の絶対値Dad3
2、Dad33をそれぞれ求める。そして、同じ画素座標(i3
4,j34)に対応する複数の探索点の中で、上記３つの距離
差Dad31、Dad32、Dad33の合計が最も小さい一つの探索
点を、対象物１０の外表面が存在する探索点として選
ぶ。

【０１２７】 或いは、一つ一つの探索点について、
１番目の多眼ステレオ処理部６１が測定した対応画素座
標(i31,j31)での距離D1(i31,j31)が示す点の全体座標系
での座標(x31,y31,z31)を求める。同様に、一つ一つの
探索点について、２番目と３番目の多眼ステレオ処理部
６２、６３が測定した対応画素座標での距離の出力が示
す点の全体座標系での座標(x32,y,32,z32)、(x33,y,33,
z33)をそれぞれ求める。そして、一つ一つの探索点につ
いて、それら３つの座標間のｘ成分x31,x32,x33の分散
値、ｙ成分y31,y32,y33の分散値、及びｚ成分z31,z32,z
33の分散値を求め、それらの分散値の平均値を求める。
この平均値は、同じ探索点に対応する画素座標について
３つの多眼ステレオ処理部６１、６２、６３が測定した
距離が示す点の全体座標系における一致度を示してい
る。つまり、この平均値が小さいほど一致度が高い。そ
こで、同じ画素座標(i34,j34)に対応する複数の探索点
の中で、上記平均値が最も小さい一つの探索点を、対象
物１０の外表面が存在する探索点として選ぶ。

【０１２８】 上記では、３つの多眼ステレオ処理
部６１、６２、６３からの距離画像の対応し合う１画素
についてその一致度を求めたが、それらの距離画像にあ
る大きさのウインドウを設定し、そのウインドウ間での
一致度を求めても良い。すなわち、一つ一つの探索点に
ついて、１番目の多眼ステレオ処理部６１から距離画像
内に、対応する画素座標(i31,j31)を中心に所定サイズ
のウインドウを設定し、そのウインドウ内の全画素の距
離を対象物検出部１４３に入力する。同様に、２番目と
３番目の多眼ステレオ処理部６２、６３からの距離画像
からも、対応画素座標を中心にしたウインドウ内の全画
素の距離を対象物検出部１４３に入力する。そして、そ
れらの３つのウインドウ内の各画素について、その距離
情報が示す全体座標系の座標を求める。そして、それら
３つのウインドウ間で、同一画素座標に対応する全体座
標系の成分毎の分散値を求め、それらの分散値の平均値
を求める。さらに、その平均値をウインドウ内の全画素
について求め、その和を求める。そして、同じ画素座標
(i34,j34)に対応する複数の探索点の中で、上記和が最
も小さい一つの探索点を、対象物１０の外表面が存在す
る探索点として選ぶ。

【０１２９】 或いは、一つ一つの探索点について、
３つの多眼ステレオ処理部６１、６２、６３からの信頼
度Re1(i31,j31)、Re 2(i32,j32)、Re 3(i33,j33)の分散
値を求める。そして、同じ画素座標(i34,j34)に対応す
る複数の探索点の中で、上記分散値が最も小さい一つの
探索点を、対象物１０の外表面が存在する探索点として
選ぶ。

【０１３０】以上のような方法で、目的画像内の或る画
素座標(i34,j34)について対象物１０の外表面が存在す
る一つの探索点を決定すると、次に、対象物検出部１４
３は、その決定した一つの探索点についての３つの輝度
Im1(i31,j31)、Im2(i32,j32)、Im3(i33,j33)の平均値
（又は、その選んだ一つの探索点についての３つのカメ
ラとの距離D1(i31,j31)、D2(i32,j32)、D3(i33,j33)の
中で最も短い距離に対応する輝度）を、目的画像におけ
る当該画素座標(i34,j34)の輝度Im(i34,j34)とし、出力
する。

【０１３１】(4) 目的画像表示部１４４ 対象物検出部１４３から出力される各画素座標(i34,j3
4)の輝度Im(i34,j34)を全画素分集めて目的画像を作成
し、テレビジョンモニタ１９に出力する。多眼ステレオ
カメラ１１、１２、１３からの動画像の各フレーム毎に
目的画像が更新されるので、テレビジョンモニタ１９に
は、対象物１０の動きや視点４０の移動に実時間で追従
して変化する動画が表示されることになる。

【０１３２】上述した図７に示した演算装置５００で
は、対象物１０のモデリングが省略されるので、その分
だけ処理時間が短い。

【０１３３】一方、図２、４、５、６に示した演算装置
１８、２００、３００、４００では、モデリング・表示
部７８にて対象物１０の完全な３次元モデル（しかも、
対象物１０の動きに実時間で追従して動く３次元モデ
ル）が作成されるため、この３次元モデルを取り出して
他のグラフィック処理装置（例えば、コンピュータの３
次元アニメーションを行うゲームプログラムなど）に取
りこむように構成することも可能である。そうすると、
対象物１０の３次元モデルを他のグラフィック処理装置
で動かして表示する（例えば、上記ゲームプログラム
に、対象物１０たる現実のゲームプレーヤの３次元モデ
ルを取り込んで、ゲームプログラムが表示する仮想世界
でその３次元モデルがゲームプレーヤと同じ動きをしな
がら活動する）というような応用が可能である。

【図面の簡単な説明】

【図１】 本発明の一実施形態の概略的な全体構成を示
す斜視図。

【図２】 演算装置１８の内部構成を示すブロック図。

【図３】 視点４０からの視界と距離を基準にしたボク
セルの設定の仕方を示す斜視図。

【図４】 本発明の第２の実施形態で用いられる演算装
置２００の構成を示すブロック図。

【図５】 本発明の第３の実施形態で用いられる演算装
置３００の構成を示すブロック図。

【図６】 本発明の第４の実施形態で用いられる演算装
置４００の構成を示すブロック図。

【図７】 本発明の第５の実施形態で用いられる演算装
置５００の構成を示すブロック図。

【符号の説明】

１０ 対象物 １１、１２、１３ 多眼ステレオカメラ １４、１５、１６ 多眼ステレオカメラの視線 １８、２００、３００、４００、５００ 演算装置 １９ テレビジョンモニタ ２０ 空間 ３０ ボクセル ４０ 任意に設定した視点 ４１ 任意に設定した視点からの視線

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 13/00 Ｇ０１Ｂ 11/24 Ｎ Ｆターム(参考） 2F065 AA04 AA06 AA35 AA53 BB05 BB15 CC16 DD06 FF05 FF09 JJ03 JJ05 JJ19 JJ26 PP21 QQ00 QQ03 QQ18 QQ23 QQ24 QQ25 QQ26 QQ27 QQ28 QQ36 QQ38 QQ41 QQ42 SS02 SS13 5B050 AA08 BA09 BA12 EA07 EA19 EA24 EA28 FA02 FA06 5B057 BA02 BA12 BA19 CA08 CA12 CA16 CB08 CB13 CB17 DA07 DB03 DB09 DC30 5C061 AB04 AB08 AB17

Claims (6)

【特許請求の範囲】
1. 【請求項１】 同じ対象物を撮影するように異なる場所
   に配置された複数台のステレオカメラからの画像を受け
   て、前記複数台のステレオカメラからの画像より前記対
   象物の複数の距離画像を作成するステレオ処理部と、 前記ステレオ処理部から複数の前記距離画像を受けて、
   前記対象物が入る所定空間内に予め設定した多数のボク
   セルの中から、前記対象物の表面が存在するボクセルを
   選ぶボクセル処理部と、 前記ボクセル処理部によって選ばれたボクセルの座標に
   基づいて、前記対象物の３次元モデルを作成するモデリ
   ング部と、を備えた３次元モデリング装置。
2. 【請求項２】 前記ステレオカメラはそれぞれ動画を出
   力するものであって、前記ステレオカメラからの動画の
   各フレーム毎に、 前記ステレオ処理部、前記ボクセル処理部及び前記モデ
   リング部が、前記距離画像を作成する処理、前記対象物
   の表面が存在するボクセルを選ぶ処理、及び前記対象物
   の３次元モデルを作成する処理をそれぞれ行うように構
   成された請求項１記載の３次元モデリング装置。
3. 【請求項３】 同じ対象物を撮影するように異なる場所
   に配置された複数台のステレオカメラからの画像を受け
   て、前記複数台のステレオカメラからの画像より前記対
   象物の複数の距離画像を作成するステップと、 複数の前記距離画像を受けて、前記対象物が入る所定空
   間内に予め設定した多数のボクセルの中から、前記対象
   物の表面が存在するボクセルを選ぶステップと、 前記選ばれたボクセルの座標に基づいて、前記対象物の
   ３次元モデルを作成するステップと、を備えた３次元モ
   デリング方法。
4. 【請求項４】 同じ対象物を撮影するように異なる場所
   に配置された複数台のステレオカメラからの画像を受け
   て、前記複数台のステレオカメラからの画像より前記対
   象物の複数の距離画像を作成するステレオ処理部と、 前記ステレオ処理部から複数の前記距離画像を受けて、
   任意の場所に設定した視点を基準にした視点座標系にお
   ける、前記対象物の表面が存在する座標を決定する対象
   物検出部と、 前記対象物検出部によって決定された前記座標に基づい
   て、前記視点から見た前記対象物の画像を作成する目的
   画像作成部と、を備えた３次元画像作成装置。
5. 【請求項５】 前記ステレオカメラはそれぞれ動画を出
   力するものであって、前記ステレオカメラからの動画の
   各フレーム毎に、 前記ステレオ処理部、前記対象物検出部及び前記目的画
   像作成部が、前記距離画像を作成する処理、前記対象物
   の表面が存在する座標を決定する処理、及び前記対象物
   の画像をを作成する処理をそれぞれ行うように構成され
   た請求項４記載の３次元画像作成装置。
6. 【請求項６】 同じ対象物を撮影するように異なる場所
   に配置された複数台のステレオカメラからの画像を受け
   て、前記複数台のステレオカメラからの画像より前記対
   象物の複数の距離画像を作成するステップと、 複数の前記距離画像を受けて、任意の場所に設定した視
   点を基準にした視点座標系における、前記対象物の表面
   が存在する座標を決定するステップと、 前記決定された座標に基づいて、前記視点から見た前記
   対象物の画像を作成するステップと、を備えた３次元画
   像作成方法。