JP2011119848A - 立体画像データ作成装置、立体画像データ出力装置及び三次元座標算出装置 - Google Patents

Abstract

【課題】よりデータ量を抑えた立体画像データを作成する立体画像データ作成装置を提供すること。
【解決手段】主カメラで撮影された主撮影画像５１と副カメラで撮影された副撮影画像を取得し、それぞれ画像の各ピクセルの設定値の集合からなるピクセルマトリックスデータとして作成する。主撮影画像５１と副撮影画像とに共通の基準ピクセル座標系を定め、それらに現れる、同一被写体に由来した画像領域同士である相関画像領域のピクセル対応関係を特定し、その対応ピクセル同士の基準ピクセル座標系における位置差分を演算する。そして副撮影画像のピクセルマトリックスデータを、相関画像領域の個々のピクセルに対応する演算した位置差分値の集合からなる位置差分マトリックスデータ６２に変換する。さらに、位置差分マトリックスデータ６２を、出現頻度の高い位置差分値ほどデータ圧縮率が高くなるように圧縮変換する。
【選択図】図８

Description

本発明は、複数台のデジタルカメラ等からの撮影画像に基づいて、被写体の立体画像データを作成する立体画像データ作成装置、その立体画像データ作成装置が作成した立体画像データを出力する立体画像データ出力装置及びその立体画像データから被写体の三次元座標を算出する三次元座標算出装置に関する。

従来、複数台のデジタルカメラ等からの撮影画像を組み合わせ、被写体を立体画像データとして出力する技術が知られている。この種の技術は人間の視差を利用したものである。すなわち、人間は、左右の目の間隔によって生じる両目の視差により遠近感が生じ、物体を立体として認識する。これより、人間の目と同様に２台のカメラを平行に配置した両眼ステレオ視法において、左のカメラで撮影された画像を左目に、右のカメラで撮影された画像を右目に独立に与えることで、臨場感ある立体画像データとして視認させることができる。

また、両眼ステレオ視法の技術を利用して、被写体の三次元座標を算出することもできる。すなわち、左右のカメラで撮影された撮影画像を比較すると、カメラから遠く無限遠の背景は各撮影画像において同一位置に表示され、カメラに近接した物体は各撮影画像間で左右にずれて表示される。このずれ量は、カメラレンズの視野角と相関関係があり、撮影画像における座標系と実座標系とを一致させるカメラパラメータを用いて、三角測量の原理により被写体の三次元座標を算出することができる。

ここで、複数台のカメラで撮影された立体画像データを、ネットワークを介してＰＣ等の他の装置に送信したり、ハードディスクやＤＶＤ等の記憶メディアに記憶したりする場合には、立体画像データのデータ量を抑えることが重要となってくる。この点、特許文献１には、複数の撮影画像間の差分情報を生成して、選択された基準となる撮影画像を二次元画像とし、他の撮影画像を上記差分情報とした立体画像データを記録する発明が開示されている。したがって、他の撮影画像が差分情報として記録されるので、立体画像データのデータ量を抑えることができる。

特開２００６−１８０３６６号公報

しかしながら、上記特許文献１に記載の発明は、他の撮影画像を差分情報として記録するものの、その差分情報は色情報が含まれた画像データであることには変わりないので、記録する立体画像データのデータ量を抑えるのにも限界がある。

本発明は上記問題点に鑑みてなされたものであり、よりデータ量を抑えた立体画像データを作成する立体画像データ作成装置、その立体画像データ作成装置で作成された立体画像データを出力する立体画像データ出力装置及びその立体画像データから被写体の三次元座標を算出する三次元座標算出装置を提供することを課題とする。

上記課題を解決するために、本発明の立体画像データ作成装置は、撮影視野に互いに重なりが生ずるように隣接固定配置され、当該重なる撮影視野内に存在する被写体を立体撮影するとともに、撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有する主カメラ及び副カメラからなる立体撮影カメラ群から、前記主カメラの撮影画像を主撮影画像として、前記副カメラの撮影画像を副撮影画像として取得する撮影画像取得手段と、
前記主撮影画像及び前記副撮影画像の画像データをそれぞれ、画像の各ピクセルの設定値の集合からなるピクセルマトリックスデータとして作成するピクセルマトリックスデータ作成手段と、
前記主撮影画像と前記副撮影画像とに現れる、同一被写体に由来した画像領域同士を相関画像領域として、それら相関画像領域のピクセル対応関係を特定する相関画像領域ピクセル対応関係特定手段と、
前記重ね合わせ関係に従い前記主撮影画像と前記副撮影画像とを仮想的に重ね合わせた状態にてそれら前記主撮影画像と前記副撮影画像とに共通の基準ピクセル座標系を定め、前記主撮影画像と前記副撮影画像との前記相関画像領域にかかる対応ピクセル同士の前記基準ピクセル座標系における位置差分を演算し、前記副撮影画像のピクセルマトリックスデータを、前記相関画像領域の個々のピクセルに対応する前記位置差分値の集合からなる位置差分マトリックスデータに変換する位置差分マトリックスデータ変換手段と、
前記位置差分マトリックスデータを、出現頻度の高い前記位置差分値ほどデータ圧縮率が高くなるように圧縮変換する位置差分マトリックスデータ圧縮手段と、
を備えたことを特徴とする。

これによれば、撮影視野に互いに重なりが生ずるように隣接固定配置され、当該重なる撮影視野内に存在する被写体を立体撮影するとともに、撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有する主カメラ及び副カメラからなる立体撮影カメラ群が配置される。
そして、主カメラの撮影画像が主撮影画像として、前記副カメラの撮影画像が副撮影画像として撮影画像取得手段によって取得される。取得された主撮影画像及び副撮影画像はそれぞれ、ピクセルマトリックスデータ作成手段によって、画像の各ピクセルの設定値の集合からなるピクセルマトリックスデータとして作成される。
ここで、主カメラ及び副カメラは、撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有しているので、主撮影画像と副撮影画像には、同一被写体に由来した画像領域同士である相関画像領域が現れる。そして、それら相関画像領域は互いに近似した画像領域であるので、一方の相関画像領域の各ピクセルはそれぞれ、他方の相関画像領域のピクセルの一つと対応している。そこで、相関画像領域ピクセル対応関係特定手段が、それら相関画像領域のピクセル対応関係を特定する。
そして、位置差分マトリックスデータ変換手段が、上記重ね合わせ関係に従い主撮影画像と副撮影画像とを仮想的に重ね合わせた状態にてそれら主撮影画像と副撮影画像とに共通の基準ピクセル座標系を定め、主撮影画像と副撮影画像との相関画像領域にかかる対応ピクセル同士の基準ピクセル座標系における位置差分を演算する。さらに、位置差分マトリックスデータ変換手段が、副撮影画像のピクセルマトリックスデータを、相関画像領域の個々のピクセルに対応する演算した位置差分値の集合からなる位置差分マトリックスデータに変換する。
その位置差分マトリックスデータは、位置差分値の集合からなるデータであるので、色情報を含む画像データよりもデータ量が少ないといえる。また、各相関画像領域は、互いに近似した画像領域であるので、各ピクセル間で同じ位置差分値が演算されることが多くなると考えられる。そこで、位置差分マトリックスデータ圧縮手段が、位置差分マトリックスデータを、出現頻度の高い前記位置差分値ほどデータ圧縮率が高くなるように圧縮変換する。

これにより、副撮影画像の位置差分マトリックスデータのデータ量をより一層抑えることができ、それに伴い、立体画像データのデータ量を抑えることができる。

また、上記立体画像データ作成装置において、前記相関画像領域ピクセル対応関係特定手段は、前記副撮影画像の各ピクセルの色情報を前記主撮影画像の各ピクセルの色情報と比較するとともに、該色情報が予め定められた範囲内にて一致するピクセル同士を前記対応ピクセルとして特定する。

このように、色情報を比較することにより、対応ピクセルを正確に特定することができる。

また、前記相関画像領域ピクセル対応関係特定手段は、前記基準ピクセル座標系にて予め定められたピクセル配列方向を検索方向として定め、前記副撮影画像のピクセルマトリックス上にて前記検索方向に沿って対象ピクセルを順次設定するとともに、前記検索方向に配列する前記主撮影画像上のピクセル列に対し、該対象ピクセルと前記色情報の一致するピクセルの検索処理を、前記基準ピクセル座標系における前記対象ピクセル位置を基準として前記検索方向に順次実施する。

このように、検索方向に配列するピクセル列同士を比較することにより、対応ピクセルを正確にかつ効率良く特定することができる。また、ピクセルの検索処理は、基準ピクセル座標系における対象ピクセル位置を基準として検索方向に順次実施され、すでに検索が実施されたピクセルは検索対象から除かれるので、より一層、正確にかつ効率良く対応ピクセルを特定することができる。

また、前記ピクセルマトリックスは水平方向と垂直方向とに前記ピクセルをそれぞれ等間隔に直交配列形成したものであり、
前記相関画像領域ピクセル対応関係特定手段は、前記検索方向を前記水平方向に設定する。

このように、ピクセルマトリックスが水平方向と垂直方向とにピクセルをそれぞれ等間隔に直交配列形成されたものである場合には、検索方向を水平方向に設定することができる。

また、前記相関画像領域ピクセル対応関係特定手段は、前記副撮影画像の前記検索方向に沿ったピクセル列を該列の一端から他端に向けて順次計数するとともに、その計数値により前記対象ピクセルを特定するための対象ピクセル用カウンタと、前記主撮影画像上にて前記検索方向を前記色情報の一致するピクセルを順次検索する際に、前記対象ピクセル位置を基点として順次計数値を変化させるとともに、その計数値により前記主撮影画像上の現在の検索ピクセル位置を特定する検索ピクセル位置特定用カウンタとを備え、
前記位置差分マトリックスデータ変換手段は、前記色情報の一致するピクセルが検索されたときの該検索ピクセル位置特定用カウンタの計数値に基づいて前記位置差分値を演算する。

このように、対象ピクセル用カウンタを用いることにより、順番に対象ピクセルを特定することができる。また、検索ピクセル位置特定用カウンタを用いることにより、検索ピクセル位置を特定することができる。その検索ピクセル位置特定用カウンタは、対象ピクセル位置を基点として順次計数値を変化させて検索ピクセル位置を特定するものであるので、その計数値をそのまま位置差分値として用いることができる。したがって、位置差分値を簡易に演算することができる。

また、前記検索ピクセル位置特定用カウンタは、前記主撮影画像上にて前記色情報の一致するピクセルが検索されるに伴いリセットされ、前記対象ピクセル特定用カウンタが、次の対象ピクセルを特定するために、増加ないし減少のいずれかに固定的に定められた計数変化方向に１だけ計数値を変化させるに伴い、前記検索ピクセル位置特定用カウンタも同じ計数変化方向に１だけ計数値を変化させる。

このように、検索ピクセル位置特定用カウンタは、主撮影画像上にて前記色情報の一致するピクセルが検索されるに伴いリセットされるので、対象ピクセル位置を基点とした検索ピクセル位置を正確に特定することができる。また、検索ピクセル位置特定用カウンタは、対象ピクセル特定用カウンタと同じ計数変化方向、同じ変化量だけ計数値が変化されるので、検索ピクセル位置を効率良く特定することができる。

また、前記相関画像領域ピクセル対応関係特定手段は、前記副撮影画像の前記検索方向に配列するピクセル列にて同一色が連続する同一色連続部分に対しては、その同一色連続部分の始点となる始点対応ピクセルと、同じく終点となる終点対応ピクセルとを前記主撮影画像上にて特定し、前記始点対応ピクセルと前記終点対応ピクセルとの間を等分する前記主撮影画像上のピクセルを、前記副撮影画像上の前記同一色連続部分の前記始点及び前記終点以外の各ピクセルに対する前記対応ピクセルとして特定する。

このように、同一色連続部分に対しては、始点対応ピクセルと終点対応ピクセル以外のピクセルに対する対応ピクセルは、色情報の比較をしないで、始点対応ピクセルと終点対応ピクセルとの間を等分する主撮影画像上のピクセルが特定されるので、迅速にそれら対応ピクセルを特定することができる。また、始点対応ピクセルと終点対応ピクセルとの間を等分する主撮影画像上のピクセルを対応ピクセルとすることにより、正確に対応ピクセルを特定することができる。

また、本発明の立体画像データ作成装置は、前記副撮影画像の前記相関画像領域以外の領域である固有領域の各ピクセルにおける前記副カメラのデジタルカラー撮影画像信号がＲＧＢ信号として入力され、そのデジタルカラー撮影画像信号よりもビット数の減じられたカラーピクセル信号に変換する減色手段をさらに備える。

副撮影画像の相関画像領域以外の領域である固有領域は、被写体の立体視には寄与しない部分である。また。固有領域は、被写体の三次元座標の算出にも寄与しない部分である。そこで、固有領域に対しては、減色手段によって、副カメラのデジタルカラー撮影画像信号よりもビット数の減じられたカラーピクセル信号に変換されるので、副撮影画像に固有領域があったとしても、データ量を抑えた立体画像データを作成することができる。

また、前記減色手段は、
前記副カメラのデジタルカラー撮影画像信号の色情報よりも種類が少ない色情報が登録された色参照テーブルを記憶するテーブル記憶手段と、
前記固有領域の各ピクセルにおけるデジタルカラー撮影画像信号に対して、前記色参照テーブルに登録された色情報のうちの対応する色情報を参照色として検索する参照色検索手段と、
その参照色検索手段が検索した前記参照色の前記色参照テーブルにおける格納位置を示した参照色位置情報を前記カラーピクセル信号として出力する参照色位置情報出力手段と、を含み構成することができる。これにより、固有領域のデータ量を抑えることができる。

また、上記立体画像データ作成装置において、前記主カメラ及び前記副カメラは、同じ高さに左右に、人間の両目の間隔と同程度の間隔に設置された２台のカメラである。

これにより、立体画像データ作成装置で作成された立体画像データの、左のカメラで撮影された撮影画像を左目に、右のカメラで撮影された撮影画像を右目に独立に与えることで、被写体を臨場感ある立体視させることができる。

また、本発明の立体画像データ出力装置は、請求項１〜１０のいずれか１項に記載の立体画像データ作成装置が作成した、前記主撮影画像の前記ピクセルマトリックスデータと、前記副撮影画像の圧縮済の前記位置差分マトリックスデータとを圧縮立体画像情報として取得する立体画像情報取得手段と、
その立体画像情報取得手段が取得した前記圧縮立体画像情報に含まれる、圧縮済の前記位置差分マトリックスデータを圧縮前の位置差分マトリックスデータに復元する位置差分マトリックスデータ復元手段と、
前記主撮影画像をなす前記ピクセルマトリックスデータと、復元後の前記位置差分マトリックスデータとに基づいて前記副撮影画像における前記相関画像領域のピクセルデータを復元し、そのピクセルデータを含む前記副撮影画像のピクセルマトリックスデータを作成する副撮影画像ピクセルマトリックスデータ作成手段と、
作成された前記副撮影画像のピクセルマトリックスデータを、前記主撮影画像の前記ピクセルマトリックスデータとともに立体画像データとして出力するデジタル立体画像データ出力手段と、を備えたことを特徴とする。

これにより、被写体を臨場感ある立体視させることができる。

また、本発明の三次元座標算出装置は、請求項１〜１０のいずれか１項に記載の立体画像データ作成装置が作成した、前記主撮影画像の前記ピクセルマトリックスデータと、前記副撮影画像の圧縮済の前記位置差分マトリックスデータとを圧縮立体画像情報として取得する立体画像情報取得手段と、
その立体画像情報取得手段が取得した前記圧縮立体画像情報に含まれる、圧縮済の前記位置差分マトリックスデータを圧縮前の位置差分マトリックスデータに復元する位置差分マトリックスデータ復元手段と、
前記主撮影画像及び前記副撮影画像から前記被写体の三次元座標を算出するための前記立体撮影カメラ群に関するカメラパラメータを取得するカメラパラメータ取得手段と、
復元後の前記位置差分マトリックスデータの各ピクセルの前記位置差分値と、前記カメラパラメータ取得手段が取得した前記カメラパラメータとに基づいて前記被写体の三次元座標を算出する座標算出手段と、を備えたことを特徴とする。

このように、位置差分マトリックスデータの各ピクセルの位置差分値をそのまま用いることで、被写体の三次元座標を簡易に算出することができる。

主カメラ１０と副カメラ２０の配置位置を説明するための図である。 立体画像データ作成装置１、立体画像データ出力装置１、三次元座標算出装置１の概略構成を示したブロック図である。 主カメラ１０と副カメラ２０で撮影する被写体を斜め上方から見た図である。 主撮影画像５１と副撮影画像５２とを示した図である。 立体画像データを作成するときの、立体画像データ作成装置１の処理を示したフローチャートである。 図５のステップＳ１３のサブルーチンを示したフローチャートである。 主撮影画像５１、副撮影画像５２から１３番目（ｍ＝１３）のピクセル列を抜き出した図、その列に位置差分値を割り当てた状態を示した図である。 主撮影画像のピクセルマトリックスデータ５１と位置差分マトリックスデータ６２とを示した図である。 位置差分値を圧縮するために、各位置差分値に割り当てる符号及びその符号長を例示した図である。 圧縮立体画像情報を示した図である。 ヘッダ情報３５２と色参照テーブル３５１を示した図である。 立体画像データ出力装置１が実行する、圧縮立体画像情報を復元して立体画像として出力するときのフローチャートを示した図である。 三次元座標の算出方法を説明するための主撮影画像７１と副撮影画像７２とを示した図である。 三次元座標算出装置１が実行する、三次元座標の算出するときの処理を示したフローチャートである。

（第一実施形態）
以下、本発明の第一実施形態として、本発明の立体画像データ作成装置の実施形態について図面を参照しながら説明する。本実施形態では、図１に示すように、撮影視野に互いに重なりが生ずるように隣接固定配置され、当該重なる撮影視野内に存在する被写体を立体撮影するとともに、撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有する主カメラ１０及び副カメラ２０からなる立体撮影カメラ群が配置される。それら主カメラ１０及び副カメラ２０は、それぞれ撮像部として例えばＣＣＤイメージセンサが用いられる。そして、人間と同じ視差を得るために、同じ高さに左右に、人間の両目の間隔と同程度の間隔ｄ（７ｃｍ程度）に配置される。なお、左側には主カメラ１０が、右側には副カメラ２０が互いの光軸が平行になるように配置されて配置されている。

図２は、主カメラ１０及び副カメラ２０で撮影された撮影画像に基づいて、被写体の立体画像データを作成する立体画像データ作成装置１の概略構成を示したブロック図である。この立体画像データ作成装置１として、例えばパーソナルコンピュータで実現することができるが、これに限らず、主カメラ１０と副カメラ２０のいずれか一方に組み込んでもよい。

図２に示すように、立体画像データ作成装置１は、先に説明した主カメラ１０、副カメラ２０を備えるとともに、Ａ／Ｄ変換部１１、１２、ルックアップテーブルメモリ（ＬＵＴＭ）１２、２２、ＳＤＲＡＭ１３、２３、タイミング制御部３１、ＣＰＵ３２、ＪＰＥＧエンジン３３、ＤＲＡＭ３４、ＥＥＰＲＯＭ３５及び出力制御部３６を備えている。

主カメラ１０で撮影された主撮影画像を示したアナログ信号はＡ／Ｄ変換部１１に入力され、副カメラ２０で撮影された副撮影画像を示したアナログ信号はＡ／Ｄ変換部２１に入力され、そのＡ／Ｄ変換部１１、２１にてそれぞれ画像の各ピクセルの設定値の集合からなるピクセルマトリックスデータとして変換される。この際、タイミング制御部３１でアナログ信号がピクセルごとの信号となるようにサンプリングされ、それらサンプリングされた信号をそれぞれＡ／Ｄ変換することにより、ピクセルマトリックスデータを得ている。

Ａ／Ｄ変換部１１、２１でピクセルマトリックスデータに変換された主撮影画像と副撮影画像はそれぞれＬＵＴＭ１２、２２に入力され、同じ被写体は同じ色調になるように、各撮影画像が調整される。すなわち、ＬＵＴＭ１２、２２は、同じ明度の同じ色調を撮影した場合に同じ撮影画像データが出力されるような調整係数が予め記憶されたメモリである。なお、主カメラ１０、副カメラ２０間で、ホワイトバランス等が均一に成され、出力にバラツキ等が無い場合には、ＬＵＴＭ１２、２２を設けなくてもよい。

ＬＵＴＭ１２、２２で調整された主撮影画像と副撮影画像は、それぞれＳＤＲＡＭ１３、２３に一時的に記憶される。それらＳＤＲＡＭ１３、２３は、画像データシリアル入力とＣＰＵ３２からのランダムアクセスとが同時に可能なデュアルポートを備えた画像メモリである。

ＳＤＲＡＭ１３に記憶された主撮影画像はＪＰＥＧエンジン３３でＪＰＥＧＵ形式に画像圧縮された後、ＤＲＡＭ３４に蓄積される。そして、ＤＲＡＭ３４に蓄積された主撮影画像は、従来通りに二次元画像データとして用いることができる。

一方、ＳＤＲＡＭ２３に記憶された副撮影画像は、ＣＰＵ３２によって、主撮影画像と副撮影画像との対応ピクセル同士の位置差分値の集合からなる位置差分マトリックスデータに変換される。なお、この変換は本発明の特徴的部分であるので、後にフローチャート等の図面を参照して詳細に説明する。

また、主撮影画像のピクセルマトリックスデータと、副撮影画像の位置差分マトリックスデータとからなる圧縮立体画像情報は、出力制御部３６によって、外部に出力制御される。

ＥＥＰＲＯＭ３５には、ＣＰＵ３２が実行する処理のプログラムが記憶されるとともに、４０９６色の色情報が登録された色参照テーブル３５１が記憶されている。その色参照テーブル３５１は、副カメラ２０のデジタルカラー撮影画像信号の色情報（例えば、２６２１４４色の１８ビットカラー）よりも種類が少ない４０９６色の色情報が登録されたテーブルである。そして、その色参照テーブル３５１は、主撮影画像と副撮影画像とに現れる、同一被写体に由来した画像領域同士を相関画像領域としたときに、副撮影画像におけるその相関画像領域以外の固有領域に対して、副カメラ２０のデジタルカラー撮影画像信号よりもビット数の減じられたカラーピクセル信号に変換するために用いられる。なお、ＥＥＰＲＯＭ３５が本発明の「テーブル記憶手段」に相当する。

次に、立体画像データ作成装置１で立体画像データを作成するときの手順について説明する。図３は、主カメラ１０と副カメラ２０で撮影する被写体を斜め上方から見た図である。上述したように、主カメラ１０及び副カメラ２０は、人間と同じ視差を得るために、同じ高さに左右に、人間の両目の間隔と同程度の間隔ｄ（７ｃｍ程度）に配置される。なお、左側には主カメラ１０が、右側には副カメラ２０が互いの光軸が平行になるように配置されて配置されている。

主カメラ１０の撮影視野１４と副カメラ２４の撮影視野２４とは、互いに重なりが生じている。そして、その重なる撮影視野内１４、２４には、複数の被写体４１〜４６が存在している。被写体４１は、主カメラ１０と副カメラ２０を基準として、無限遠の背景となるものである。また、被写体４２、４３は被写体４１よりも主カメラ１０と副カメラ２０に近い位置に存在するものであり、互いに主カメラ１０と副カメラ２０からの距離が同レベルの位置に存在するものである。また、被写体４４、４５は被写体４１、４２、４３よりも主カメラ１０と副カメラ２０に近い位置に存在するものであり、互いに主カメラ１０と副カメラ２０からの距離が同レベルの位置に存在するものである。また、被写体４６は、被写体４１〜４６の中で最も主カメラ１０と副カメラ２０に近い位置に存在するものである。すなわち、被写体４１〜４６の主カメラ１０と副カメラ２０からの距離レベルを比較すると、被写体４６＜被写体４４、４５＜被写体４２、４３＜被写体４１という関係となっている。

また、図３に示すように、主カメラ１０の撮影視野１４と副カメラ２４の撮影視野２４とは、互いに重なりが生じていない部分も存在する。そのため、被写体４４は、主カメラ１０の撮影視野１４に含まれるものの、副カメラ２０の撮影視野２４には一部含まれていない。また、被写体４５は副カメラ２０の撮影視野２４に含まれるものの、主カメラ１０の撮影視野１４には一部含まれていない。

このように、主カメラ１０と副カメラ２０を配置することによって、それら撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有する。そのため、主カメラ１０で撮影された主撮影画像と副カメラ２０で撮影された副撮影画像とは、互いに近似した画像となる。図４（ａ）は、図３の被写体４１〜４６を主カメラ１０ｄ撮影したときの主撮影画像５１を示しており、図４（ｂ）は、図３の被写体４１〜４６を副カメラ２０で撮影したときの副撮影画像５２を示している。

なお、上記重ね合わせ関係に従い主撮影画像５１と副撮影画像５２とを仮想的に重ね合わせた状態にてそれら主撮影画像５１と副撮影画像５２とに共通の基準ピクセル座標系を定めている。具体的には、撮影画像５１、５２の左右方向に、撮影画像５１、５２の左から右に行くにつれてＸ座標が増加するようにＸ軸を定める。本実施形態では、ｘ１〜ｘ２０のＸ座標が撮影画像５１、５２に割り当てられている。一方、撮影画像５１、５２の上下方向に、撮影画像５１、５２の上から下に行くにつれてＹ座標が増加するようにＹ軸を定める。本実施形態では、ｙ１〜ｙ１５のＹ座標が撮影画像５１、５２に割り当てられている。

そして、主撮影画像５１には、被写体４１の撮影画像を示した被写体画像４１１が、被写体４２の撮影画像を示した被写体画像４２１が、被写体４３の撮影画像を示した被写体画像４３１が、被写体４４の撮影画像を示した被写体画像４４１が、被写体４５の撮影画像を示した被写体画像４５１が、被写体４６の撮影画像を示した被写体画像４６１が含まれている。同様に、副撮影画像５２には、被写体４１の撮影画像を示した被写体画像４１２が、被写体４２の撮影画像を示した被写体画像４２２が、被写体４３の撮影画像を示した被写体画像４３２が、被写体４４の撮影画像を示した被写体画像４４２が、被写体４５の撮影画像を示した被写体画像４５２が、被写体４６の撮影画像を示した被写体画像４６２が含まれている。すなわち、主撮影画像５１と副撮影画像５２とは、同一被写体４１〜４６の被写体画像４１１〜４６１、４１２〜４６２が含まれており、特に左右方向に強い相関性を持った互いに近似した画像となっている。

ただし、被写体４１〜４６の位置によって、被写体画像４１１〜４６１の位置と、被写体画像４１２〜４６２の位置との間には、左右にズレが生じる。このズレ量は、カメラ１０、２０から近い被写体４１〜４６ほど大きくなると考えられる。すなわち、被写体４１は無限遠に位置しているので、その被写体画像４１１、４２１は、主撮影画像５１と副撮影画像５２とで同じ位置にある（図３、図４（ａ）、（ｂ）参照）。

一方、被写体４２は、被写体４１よりも近い位置に存在しているので、その被写体画像４２１、４２２は、上記ズレが生じている。具体的には、主撮影画像５１に含まれている被写体画像４２１は、Ｘ座標ｘ３〜ｘ５の範囲に位置しているのに対し、副撮影画像５２に含まれている被写体画像４２２は、Ｘ座標ｘ２〜ｘ４の範囲に位置している。すなわち、被写体画像４２２は、被写体画像４２１よりもＸ方向に１左にずれて表示されている。なお、Ｙ軸方向については、被写体画像４２１、４２２ともにＹ座標ｙ９、ｙ１０の範囲に位置しており、上下方向にはズレはない。

同様に、被写体４３も、被写体４１よりも近い位置に存在しているので、その被写体画像４３１、４３２は、上記ズレが生じている。ここで、被写体４３の位置は、被写体４２の位置と同レベルであるので、その被写体画像４３１、４３２のズレ量は、被写体画像４２１、４２２と同じ「１」である。すなわち、被写体画像４３２は、被写体画像４３１よりもＸ方向に１左にずれて表示されている。

また、被写体４４も、被写体４１〜４３よりも近い位置に存在しているので、その被写体画像４４１、４４２も、上記ズレが生じている。そして、主撮影画像５１に含まれている被写体画像４４１は、Ｘ座標ｘ１〜ｘ４の範囲に位置しているのに対し、副撮影画像５２に含まれている被写体画像４４２は、Ｘ座標ｘ１、ｘ２の範囲に位置している。ここで、上述したように、被写体４４は、主カメラ１０の撮影視野１４に含まれるものの、副カメラ２０の撮影視野２４には一部含まれていない（図３参照）。したがって、主撮影画像５１に含まれている被写体画像４４１は、被写体４４の全部に対応する画像であるのに対し、副撮影画像５２に含まれている被写体画像４４２は、被写体４４の一部に対応する画像である。その被写体画像４４２は、被写体画像４４１のＸ座標ｘ３、ｘ４の部分と対応している。したがって、被写体画像４４２は、被写体画像４４１よりもＸ方向に２左にずれて表示されている。

なお、Ｙ軸方向については、被写体画像４４１は、Ｙ座標ｙ１０〜ｙ１５の範囲に位置しており、被写体画像４４２は、Ｙ座標ｙ１３〜ｙ１５の範囲に位置しているが、これは被写体４４が副カメラ２０の撮影視野２４に一部含まれていないことに起因するものである。したがって、被写体画像４４１の被写体画像４４２に対応する部分と、被写体画像４４２とはともにＹ座標ｙ１３〜ｙ１５の範囲に位置しており、上下方向にはズレはない。

同様に、被写体４５も、被写体４１〜４３よりも近い位置に存在しているので、その被写体画像４５１、４５２は、上記ズレが生じている。ここで、被写体４５の位置は、被写体４４の位置と同レベルであるので、その被写体画像４５１、４５２のズレ量は、被写体画像４４１、４４２と同じ「２」である。すなわち、被写体画像４３２は、被写体画像４３１よりもＸ方向に２左にずれて表示されている。ただし、被写体４５は、副カメラ２０の撮影視野２４に含まれるものの、主カメラ１０の撮影視野１４には一部含まれていない（図３参照）。したがって、撮影画像５２に含まれている被写体画像４５２は、被写体４５の全部に対応する画像であるのに対し、主撮影画像５１に含まれている被写体画像４５１は、被写体４５の一部に対応する画像である。具体的には、被写体画像４５１は、被写体画像４５２のＸ座標ｘ１８の部分と対応している。

また、被写体４６は、被写体４１〜４６の中で最も主カメラ１０と副カメラ２０に近い位置に存在するものであるので、上記ズレは最も大きくなる。具体的には、主撮影画像５１に含まれている被写体画像４６１は、Ｘ座標ｘ１０〜ｘ１６の範囲に位置しているのに対し、副撮影画像５２に含まれている被写体画像４６２は、Ｘ座標ｘ７〜ｘ１３の範囲に位置している。すなわち、被写体画像４６２は、被写体画像４６１よりもＸ方向に３左にずれて表示されている。なお、Ｙ軸方向については、被写体画像４６１、４６２ともにＹ座標ｙ９〜ｙ１５の範囲に位置しており、上下方向にはズレはない。

次に、図３の被写体４１〜４６の立体画像データを作成するときの、立体画像データ作成装置１の処理について、図５のフローチャートを参照しながら説明する。なお、図５のフローチャートの処理は、例えば、図示しない開始スイッチが操作されたときに開始される。

先ず、ステップＳ１１では、図２のＡ／Ｄ変換部１１、２１がそれぞれ、主カメラ１０で撮影された主撮影画像を示したアナログ信号、副カメラ２０で撮影された副撮影画像を示したアナログ信号を取得する。なお、ステップＳ１１を実行するＡ／Ｄ変換部１１、２１が本発明の「撮影画像取得手段」に相当する。

続くステップＳ１２では、Ａ／Ｄ変換部１１、２１が、ステップＳ１１で取得した撮影画像を示した各アナログ信号を、それぞれ画像の各ピクセルの設定値の集合からなるピクセルマトリックスデータとして変換する。具体的には、図４（ａ）の主撮影画像５１、図４（ｂ）の副撮影画像５２に変換される。なお、ステップＳ１２を実行するＡ／Ｄ変換部１１、２１が、本発明の「ピクセルマトリックスデータ作成手段」に相当する。

続くステップＳ１３では、副撮影画像５２を、主撮影画像５１と副撮影画像５２との対応ピクセル同士の位置差分値の集合からなる位置差分マトリックスデータに変換する副撮影画像変換処理を実行する。具体的には、図６のサブルーチンのフローチャートにしたがって処理される。なお、副撮影画像変換処理は、ＣＰＵ３２によって実行される。以下、副撮影画像変換処理の詳細を、図６のフローチャートを参照しながら説明する。

先ず、ステップＳ２１では、副撮影画像５２の水平方向のピクセル列の番号ｍの値を「１」にする。なお、本実施形態では、基準ピクセル座標系のＹ座標とピクセル列の番号ｍとが対応している。すなわち、例えばｍ＝１のピクセル列は、Ｙ座標ｙ１のピクセル列のことである。

続くステップＳ２２では、副撮影画像５２のｍ番目のピクセル列に対して、そのピクセル列の一端から他端に向けて順次計数する対象ピクセル用カウンタＡの値を「１」にする。なお、対象ピクセル用カウンタＡとＸ座標とが対応している。すなわち、例えば対象ピクセル用カウンタＡ＝１に設定されている場合には、Ｘ座標ｘ１が設定されていることになる。このように、ステップＳ２１、Ｓ２２によって、Ｙ座標ｙ１、Ｘ座標ｘ１が設定されたことになり、それに対応するピクセルを対象ピクセルとする。

続くステップＳ２３では、対象ピクセルが、副撮影画像５２のピクセル列にて同一色が連続する同一色連続部分に該当するか否かを判断する。具体的には、対象ピクセルの色情報と、その隣りのピクセルの色情報とを比較する。そして、それらの差が所定閾値以下の場合に、対象ピクセルとその隣りのピクセルは同一色であるとして、対象ピクセルが同一色連続部分に該当すると判断する一方で、それらの差が所定閾値より大きい場合には、対象ピクセルが同一色連続部分に該当しないと判断する。

ここで、対象ピクセルが同一色連続部分に該当しない場合は（Ｓ２３：ＮＯ）ステップＳ２４の処理に進む。そして、ステップＳ２４では、副撮影画像５２の対象ピクセルと色情報が比較される主撮影画像５１のピクセルである検索ピクセルの位置を特定する検索ピクセル位置特定用カウンタＢの値をリセットする。その検索ピクセルは、対象ピクセルが属しているピクセル列と同じ番号ｍの主撮影画像５１のピクセル列に属しているピクセルの中から選択され、検索ピクセル位置特定用カウンタＢは、対象ピクセルと検索ピクセルのＸ座標の差分値として与えられる。したがって、例えば検索ピクセル位置特定用カウンタＢ＝０に設定されている場合には、副撮影画像５２の対象ピクセルと同じＸ座標の主撮影画像５１のピクセルが検索ピクセルとして設定されていることになる。また、例えば検索ピクセル位置特定用カウンタＢ＝１に設定されている場合には、副撮影画像５２の対象ピクセルのＸ座標に対して、Ｘ＋１の主撮影画像５１のピクセルが検索ピクセルとして設定されていることになる。

続くステップＳ２５では、副撮影画像５２の対象ピクセルと主撮影画像５１の検索ピクセルとの色情報を比較して、ステップＳ２６でそれら色情報が予め定められた範囲内にて一致するか否かを判断する。ピクセル列の番号ｍ＝１、対象ピクセル用カウンタＡ＝１、検索ピクセル位置特定用カウンタＢ＝０に設定されている場合には、副撮影画像５２のｘ１、ｙ１の対象ピクセルと、主撮影画像５１のｘ１、ｙ１の検索ピクセルとの色情報が比較されることになる。ここで、色情報が一致する場合には（Ｓ２６：ＹＥＳ）ステップＳ２７の処理に進む一方で、一致しない場合には（Ｓ２６：ＮＯ）ステップＳ２８の処理に進む。

そして、色情報が一致する場合には（Ｓ２６：ＹＥＳ）、ステップＳ２７で、比較したピクセル同士を対応ピクセルとして、副撮影画像５２の対象ピクセルに、対応する主撮影画像５１の対応ピクセルとの位置差分値として、検索ピクセル位置特定用カウンタＢの値を割り当てる。すなわち、例えば検索ピクセル位置特定用カウンタＢ＝０に設定されている場合には、副撮影画像５２の対象ピクセルは、その座標と同じ撮影画像５１のピクセルと対応していることになり、この場合、その対象ピクセルに対してＢ＝０を割り当てることになる。

一方、ステップＳ２６において、副撮影画像５２の対象ピクセルと主撮影画像５１の検索ピクセルとの色情報が一致しない場合は（Ｓ２６：ＮＯ）、ステップＳ２８の処理に移行する。そして、ステップＳ２８では、現在の検索ピクセル位置特定用カウンタＢの値が、予め定められた最大値Ｂｅｎｄであるか否かを判断することにより、現在の検索ピクセルが、主撮影画像５１の右端のピクセルに該当するか否かを判断する。すなわち、主撮影画像５１の右端のピクセルのＸ座標は「ｘ２０」であるので、最大値Ｂｅｎｄは「２０」である。そして、現在の検索ピクセル位置特定用カウンタＢの値がまだ最大値Ｂｅｎｄになっていない場合には（Ｓ２８：ＮＯ）、ステップＳ２９で、検索ピクセル位置特定用カウンタＢを１加算して、主撮影画像５１の検索ピクセルとして、現在のピクセルから右隣りのピクセルに移行する。そして、再度、対象ピクセルと新たに設定された検索ピクセルとの色情報が比較される（Ｓ２５、Ｓ２６）。

したがって、現在の対象ピクセルに対して、対応する主撮影画像５１の対応ピクセルが、ピクセル列の右端から左端に向けて順番に検索されていくことになる。そして、色情報が一致した場合には（Ｓ２６：ＹＥＳ）、副撮影画像５２の対象ピクセルに、対応する主撮影画像５１の対応ピクセルの位置差分値である検索ピクセル位置特定用カウンタＢの値を割り当てる（Ｓ２７）。その後、ステップＳ３２の処理に移行する。

この際、上述したように、主カメラ１０の撮影視野１４と副カメラ２４の撮影視野２４とは、互いに重なりが生じていない部分も存在するため、副撮影画像５２には主撮影画像５１に含まれていない固有領域も存在する。具体的には、被写体４５に対応する副撮影画像５２の被写体画像４５２の一部４５２ｂは、主撮影画像５１には含まれていない（図４参照）。このような固有領域４５２ｂに対しては、対象ピクセルと対応する対応ピクセルがないので、検索ピクセルがピクセル列の左端から右端に順番に移行し、最終的には検索ピクセルが主撮影画像５１の右端になる（Ｓ２８：ＹＥＳ）。なお、図４（ｂ）には、被写体画像４５２の主撮影画像５１に含まれている部分４５２ａも示している。

この場合には、ステップＳ３０で、対象ピクセルが、図２の色参照テーブル３５１に登録された色情報のうちのどの色情報と対応しているかを検索する。上述したように、色参照テーブル３５１は、副カメラ２０のデジタルカラー撮影画像信号の色情報（例えば、２６２１４４色の１８ビットカラー）よりも種類が少ない４０９６色の色情報が登録されたテーブルである。そして、対象ピクセルの色情報と、色参照テーブル３５１に登録された色情報とは、例えば、それら色情報が予め定められた同一色の範囲に含まれる場合に、対応しているとする。また、固有領域は、被写体の立体視や三次元座標の算出には寄与しない部分であり、むしろ、立体視の際には視野競争が生じて疲れの原因となる部分である。したがって、対象ピクセルの色情報が、刺激の少ない淡く暗い色情報になるように、対象ピクセルの色情報と色参照テーブル３５１に登録された色情報とを対応させてもよい。なお、ステップＳ３０を実行するＣＰＵ３２が本発明の「参照色検索手段」に相当する。

そして、続くステップＳ３１では、検索された色参照テーブル３５１に登録された色情報を参照色として、固有領域のピクセルに、参照色の色参照テーブル３５１における格納位置を示した参照色位置情報を割り当てる。なお、色参照テーブル３５１に登録された色情報は、４０９６色の１２ビットで表された情報であり、その１２ビットの情報がそのまま上記参照色位置情報となる。その後、ステップＳ３２の処理に移行する。なお、ステップＳ３１を実行するＣＰＵ３２が本発明の「参照色位置情報出力手段」に相当する。また、色参照テーブル３５１を記憶するＥＥＰＲＯＭ３５及びステップＳ３０、３１を実行するＣＰＵ３２の構成が本発明の「減色手段」に相当する。

一方、ステップＳ２３において、対象ピクセルが同一色連続部分に該当する場合は（Ｓ２３：ＹＥＳ）ステップＳ３４の処理に進む。そして、ステップＳ３４では、その同一色連続部分の始点となる始点対応ピクセルと、同じく終点となる終点対応ピクセルとを主撮影画像５１にて検索して特定する。さらに、ステップＳ３４では、始点及び終点以外の各ピクセルに対しては、始点対応ピクセルと終点対応ピクセルとの間を等分する主撮影画像５１上のピクセルを特定する。

具体的には、例えば、図４（ｂ）に示す副撮影画像５２のｘ２、ｙ５〜ｘ１２、ｙ５の部分が同一色連続部分である場合には、その始点ｘ２、ｙ５のピクセルに対応する主撮影画像５１のｘ２、ｙ５のピクセルが始点対応ピクセルとして特定される。また、その同一色連続部分の終点ｘ１２、ｙ５のピクセルに対応する主撮影画像５１のｘ１２、ｙ５のピクセルが終点対応ピクセルとして特定される。また、始点対応ピクセルと終点対応ピクセルとの間を等分する主撮影画像５１上のピクセルは、ｘ３、ｙ５〜ｘ１１、ｙ５のピクセルである（図４（ａ）参照）。したがって、副撮影画像５２のｘ３、ｙ５のピクセルに対しては、主撮影画像５１のｘ３、ｙ５のピクセルが、副撮影画像５２のｘ４、ｙ５のピクセルに対しては、主撮影画像５１のｘ４、ｙ５のピクセルが、・・・、副撮影画像５２のｘ１１、ｙ５のピクセルに対しては、主撮影画像５１のｘ１１、ｙ５のピクセルがそれぞれ対応ピクセルとして特定されることになる。

そして、続くステップＳ３５では、始点のピクセルに対しては始点対応ピクセルの位置差分値を、終点のピクセルに対しては終点対応ピクセルの位置差分値を割り当てる。さらに、ステップＳ３５では、始点及び終点以外の各ピクセルに対しては、始点対応ピクセルと終点対応ピクセルとの間を等分する主撮影画像５１上のピクセルの位置差分値をそれぞれ割り当てる。すなわち、上述の副撮影画像５２のｘ２、ｙ５〜ｘ１２、ｙ５の部分が同一色連続部分である場合には、その部分に対しては位置差分値「０」が割り当てられる。その後、ステップＳ３２の処理に移行する。

ステップＳ３２では、現在の対象ピクセル用カウンタＡの値が、予め定められた最大値Ａｅｎｄであるか否かを判断することにより、現在の対象ピクセルが、副撮影画像５２の右端のピクセルに該当するか否かを判断する。すなわち、副撮影画像５２の右端のピクセルのＸ座標は「ｘ２０」であるので、最大値Ａｅｎｄは「２０」である。そして、現在の対象ピクセル用カウンタＡの値がまだ最大値Ａｅｎｄになっていない場合には（Ｓ３２：ＮＯ）、ステップＳ３３で、対象ピクセル用カウンタＡを１加算して、対象ピクセルを右隣りのピクセルに移行する。したがって、対象ピクセルがｍ番目のピクセル列の左端から右端に向かって順番に移行して、上述のステップＳ２３〜ステップＳ３３の処理が実行される。そして、副撮影画像５２のｍ番目のピクセル列のピクセルに対して、それぞれ対応ピクセルの位置差分値又は参照色位置情報が割り当てられていく。

そして、現在の対象ピクセル用カウンタＡの値が最大値Ａｅｎｄになった場合には（Ｓ３２：ＹＥＳ）、現在のピクセル列に対して、すべてのピクセルの対応ピクセルが検索済みであるとして、ステップＳ３６の処理に進む。ステップＳ３６では、現在のピクセル列の番号ｍが、予め定められた最大値ｍｅｎｄであるか否かを判断することにより、現在のピクセル列が、副撮影画像５２の下端のピクセル列に該当するか否かを判断する。すなわち、副撮影画像５２の下端のピクセル列のＹ座標は「ｙ１５」であるので、最大値ｍｅｎｄは「１５」である。

そして、現在のピクセル列が、まだ下端のピクセル列に該当しない場合には（Ｓ３６：ＮＯ）、ステップＳ３７で、ピクセル列の番号ｍを１加算する。その後、新たなピクセル列に対して、上述のステップＳ２２〜Ｓ３２の処理を実行して、各ピクセルの対応ピクセルの位置差分値を割り当てる。そして、すべてのピクセル列に対して、対応ピクセルの検索が終了した場合には（Ｓ３６：ＹＥＳ）、図６のフローチャートの処理を終了する。なお、図６のフローチャートの処理、すなわち図５のステップＳ１３を実行するＣＰＵ３２が本発明の「相関画像領域ピクセル対応関係特定手段」及び「位置差分マトリックスデータ変換手段」に相当する。

ここで、図４（ｂ）の副撮影画像５２のあるピクセル列を例にとって、各ピクセルの対応ピクセルの位置差分値を割り当てる方法について説明する。図７は、主撮影画像５１、副撮影画像５２から１３番目（ｍ＝１３）のピクセル列、すなわちＹ座標がｙ１３のピクセル列を抜き出した図であり、同図（ａ）は主撮影画像５１のピクセル列、同図（ｂ）は副撮影画像５２のピクセル列を示している。また、図７（ｃ）は、副撮影画像５２のあるピクセル列に、位置差分値を割り当てた状態を示した図である。

それぞれのピクセル列のピクセルの対応関係について、（１）副撮影画像５２のｘ１のピクセルは主撮影画像５１のｘ３のピクセルと、（２）副撮影画像５２のｘ９〜ｘ１１のピクセルは主撮影画像５１のｘ１２〜ｘ１４のピクセルと、（３）副撮影画像５２のｘ１８のピクセルは主撮影画像５１のｘ２０のピクセルと対応している。また、（４）副撮影画像５２のｘ１９、ｘ２０のピクセルは主撮影画像５１にはない固有領域となっている。

このようなピクセル列に対して、先ず副撮影画像５２のｘ１のピクセルが対象ピクセルに設定される（Ｓ２２）。また、主撮影画像５１のｘ１のピクセルが検索ピクセルに設定される（Ｓ２４、Ｂ＝０）。そして、それらのピクセルの色情報は一致せず（Ｓ２５、Ｓ２６：ＮＯ）、検索ピクセルが右端のピクセルではないので（Ｓ２８：ＮＯ）、主撮影画像５１のｘ２のピクセルが検索ピクセルに設定される（Ｓ２９、Ｂ＝１）。この主撮影画像５１のｘ２のピクセルも色情報が一致しないので、主撮影画像５１のｘ３のピクセルが検索ピクセルに設定される（Ｓ２５、Ｓ２６：ＮＯ、Ｓ２８：ＮＯ、Ｓ２９、Ｂ＝２）。そして、副撮影画像５２のｘ１のピクセルと主撮影画像５１のｘ３のピクセルとは色情報が一致するので（Ｓ２５，Ｓ２６：ＹＥＳ）、図７（ｃ）に示すように、副撮影画像５２のｘ１のピクセルに、主撮影画像５１のｘ３のピクセルとの位置差分値「２」を割り当てる（Ｓ２７）。この際、検索ピクセル位置特定用カウンタＢの値（＝２）をそのまま割り当てる位置差分値として用いることができる。

その後、現在の対象ピクセルは右端のピクセルではないので（Ｓ３２：ＮＯ）、副撮影画像５２のｘ２のピクセルが対象ピクセルに設定される（Ｓ３３）。また、検索ピクセル位置特定用カウンタＢがリセットされて、対象ピクセルと同じ位置の主撮影画像５１のピクセル、すなわち主撮影画像５１のｘ２のピクセルが検索ピクセルに設定される（Ｓ２４）。

その後、副撮影画像５２のｘ２〜ｘ１８の各ピクセルに対しても、同じようにして位置差分値が割り当てられる（図７（ｃ）参照）。すなわち、（２）副撮影画像５２のｘ９〜ｘ１１のピクセルに対しては位置差分値「３」が割り当てられ、（３）副撮影画像５２のｘ１８のピクセルに対しては位置差分値「２」が割り当てられる。

一方、（４）副撮影画像５２のｘ１９、ｘ２０のピクセルは、固有領域であるので、主撮影画像５１のピクセル列から対応ピクセルを見つけることができない（Ｓ２８：ＮＯ）。したがって、色参照テーブル３５１から参照色が検索されて（Ｓ３０）、その参照色の参照色位置情報Ｋが割り当てられる（Ｓ３１、図７（ｃ）参照）。なお、副撮影画像５２のｘ２０のピクセルに対する処理が終了した場合には（Ｓ３２：ＹＥＳ）、次のピクセル列に対する検索に移行する。

このようにして全てのピクセル列について上記処理を実行すると、図８（ｂ）で示したように、副撮影画像５２に対して、位置差分値の集合からなる位置差分マトリックスデータ６２を得ることができる。なお、図８（ａ）は、位置差分マトリックスデータ６２と比較するために、図４（ａ）の主撮影画像５１を示している。

上述したように、被写体４１は無限遠に位置しており、その被写体画像４１１、４２１は、主撮影画像５１と副撮影画像５２とで同じ位置にある（図４（ａ）、（ｂ）参照）。したがって、図８（ｂ）の位置差分マトリックスデータ６２に含まれている被写体画像４２１に対応する被写体対応部４１３は、「０」の位置差分値の集合となっている。

また、被写体４２に対応する被写体画像４２２は、被写体画像４２１よりもＸ方向に１左にずれて表示されている（図４（ａ）、（ｂ）参照）。したがって、図８（ｂ）の位置差分マトリックスデータ６２に含まれている被写体画像４２２に対応する被写体対応部４２３は、「１」の位置差分値の集合となっている。

また、被写体４３に対応する被写体画像４３２は、被写体画像４３１よりもＸ方向に１左にずれて表示されている（図４（ａ）、（ｂ）参照）。したがって、図８（ｂ）の位置差分マトリックスデータ６２に含まれている被写体画像４３２に対応する被写体対応部４３３は、「１」の位置差分値の集合となっている。

また、被写体４４に対応する被写体画像４４２は、被写体画像４４１よりもＸ方向に２左にずれて表示されている（図４（ａ）、（ｂ）参照）。したがって、図８（ｂ）の位置差分マトリックスデータ６２に含まれている被写体画像４４２に対応する被写体対応部４４３は、「２」の位置差分値の集合となっている。

また、被写体４５に対応する被写体画像４５２は、被写体画像４５１よりもＸ方向に２左にずれて表示されている（図４（ａ）、（ｂ）参照）。ただし、被写体画像４５２には、主撮影画像５１には含まれていない固有領域４５２ｂが含まれている。したがって、位置差分マトリックスデータ６２に含まれている被写体画像４５２の共通部分４５２ａに対応する被写体対応部４５３ａは、「２」の位置差分値の集合となっている。一方、位置差分マトリックスデータ６２に含まれている被写体画像４５２の固有領域４５２ｂに対応する被写体対応部４５３ｂは、参照位置情報Ｋの集合となっている。

また、被写体４６に対応する被写体画像４５２は、被写体画像４６１よりもＸ方向に３左にずれて表示されている（図４（ａ）、（ｂ）参照）。したがって、図８（ｂ）の位置差分マトリックスデータ６２に含まれている被写体画像４６２に対応する被写体対応部４６３は、「３」の位置差分値の集合となっている。

なお、位置差分マトリックスデータ６２の被写体対応部４１３〜４６３以外の部分については、被写体が存在しない背景の場合には「０」の位置差分値が割り当てられ、被写体が存在する場合にはその位置に応じた位置差分値が割り当てられることになる。

説明を図５に戻り、ステップＳ１３で副撮影画像変換処理を実行した後、ＣＰＵ３２は、ステップＳ１４で、図８（ｂ）の位置差分マトリックスデータ６２の位置差分値を圧縮する。具体的には、例えばハフマン符号を用いて、出現頻度の高い位置差分値ほどデータ圧縮率が高くなるように圧縮変換する。図９は、各位置差分値に割り当てる符号及びその符号長を例示した図である。

図９に示すように、位置差分値「０」に対しては、「０」の符号を割り当て、この場合、符号長は１である。また、位置差分値「２」に対しては、「１０」の符号を割り当て、この場合、符号長は２である。また、位置差分値「１」に対しては、「１１０」の符号を割り当て、この場合、符号長は３である。また、位置差分値「３」〜「１０」に対しては、「１１１００ａ１ａ２ａ３」の符号を割り当て、この場合、符号長は８である。なお、上記「ａ１ａ２ａ３」は、位置差分値「３」〜「１０」を２進数で表した部分である。

また、位置差分値「１１」〜「１３８」に対しては、「１１１０１ａ１ａ２・・・ａ７」の符号を割り当て、この場合、符号長は１２である。なお、上記「ａ１ａ２・・・ａ７」は、位置差分値「１１」〜「１３８」を２進数で表した部分である。また、固有領域４５２ｂに対応する被写体対応部４５３ｂにおける参照色位置情報に対しては、「１１１１１ｂ１ｂ２・・・ｂ１２」の符号を割り当て、この場合、符号長は１６である。なお、上記「ｂ１ｂ２・・・ｂ１２」は、参照色位置情報を２進数で表した部分である。

したがって、位置差分値「０」＜位置差分値「２」＜位置差分値「１」＜位置差分値「３」〜「１０」＜位置差分値「１１」〜「１３８」＜参照色位置情報の順に、長い符号に変換されることになる。これは、主撮影画像５１と副撮影画像５２とは、互いに近似した画像であるために、位置差分値「０」が最も多くなると予想されるためである。なお、各位置差分値に割り当てる符号は、図９の限定されるものではなく、例えば位置差分値「１」に対して「１０」の符号を割り当て、位置差分値「２」に対して「１１０」の符号を割り当てる等、各位置差分値の出現頻度に応じて適宜変更してもよい。

そして、図９の表にしたがって図８（ｂ）の位置差分マトリックスデータ６２を圧縮すると、被写体対応部４１３の各ピクセルは「０」に、被写体対応部４２３の各ピクセルは「１１０」に、被写体対応部４３３の各ピクセルは「１１０」に、被写体対応部４４３の各ピクセルは「１０」に、被写体対応部４５３ａの各ピクセルは「１０」に、被写体対応部４５３ｂの各ピクセルは「１１１１１ｂ１ｂ２・・・ｂ１２」に、被写体対応部４６３の各ピクセルは「１１１００ａ１ａ２ａ３」に変換されることになる。なお、ステップＳ１４を実行するＣＰＵ３２が本発明の「位置差分マトリックスデータ圧縮手段」に相当する。

続くステップＳ１５では、出力制御部３６は、図１０に示すように、その圧縮後の位置差分マトリックスデータ６２と、主撮影画像のピクセルマトリックス５１とを圧縮立体画像情報として出力する。なお、図１０において、枠の大きさはデータ量を表しており、圧縮後の位置差分マトリックスデータ６２のデータ量は、主撮影画像のピクセルマトリックス５１のデータ量に比べて小さいことがわかる。その結果、圧縮立体画像情報は、従来の立体画像データに比べて、データ量が抑えられている。また、ステップＳ１５では、圧縮立体画像情報とともに、図１１に示すように、被写体の三次元座標を算出するための立体撮影カメラ群に関するカメラパラメータを含むヘッダ情報３５２及び色参照テーブル３５１も出力する。これによって、後に、圧縮立体画像情報とそのヘッダ情報３５２とから被写体４１〜４６の三次元座標を算出したり、圧縮立体画像情報とその色参照テーブル３５１とから固有領域４５３ｂを復元したりすることができる。なお、これらについては、第二、第三実施形態で説明する。その後、図５のフローチャートの処理を終了する。

以上説明したように、副撮影画像５２は、位置差分値の集合からなる位置差分マトリックスデータ６２に変換され、さらに、その位置差分マトリックスデータ６２が、出現頻度の高い位置差分値ほどデータ圧縮率が高くなるように圧縮変換されるので、立体画像データのデータ量を抑えることができる。

（第二実施形態）
次に、本発明の立体画像データ出力装置を具現化した第二実施形態について第一実施形態と異なる部分を中心に説明する。本実施形態の立体画像データ出力装置は、図２に示す第一実施形態の立体画像データ作成装置１と同じである。すなわち、立体画像データ出力装置１は、第一実施形態で説明した方法で立体画像データとしての圧縮立体画像情報を作成するとともに、その圧縮立体画像情報を復元して立体画像として出力する。なお、立体画像データ作成装置１とは別の装置で立体画像データ出力装置を具現化してもよい。

図１２は、圧縮立体画像情報を復元して立体画像として出力するときの、ＣＰＵ３２が実行する処理のフローチャートを示している。なお、図１２の処理は、例えば、図示しない立体画像の出力指示スイッチが操作されたときに開始される。

先ず、ステップＳ４１では、作成した圧縮立体画像情報、すなわち、図８の圧縮後の位置差分マトリックスデータ６２と主撮影画像のピクセルマトリックス５１とを取得する。なお、ステップＳ４１を実行するＣＰＵ３２が本発明の「立体画像情報取得手段」に相当する。

続くステップＳ４２では、圧縮後の位置差分マトリックスデータ６２を圧縮前の位置差分マトリックスデータ６２に復元する。すなわち、図５のステップＳ１４の逆の手順によって、符号「０」→位置差分値「０」、符号「１０」→位置差分値「２」、符号「１１０」→位置差分値「１」、符号「１１１００ａ１ａ２ａ３」→位置差分値「３」〜「１０」、符号「１１１０１ａ１ａ２・・・ａ７」→位置差分値「１１」〜「１３８」、符号「１１１１１ｂ１ｂ２・・・ｂ１２」→参照位置情報Ｋにそれぞれ変換する。その結果、図８（ｂ）に示すような位置差分マトリックスデータ６２に復元される。なお、ステップＳ４２を実行するＣＰＵ３２が本発明の「位置差分マトリックスデータ復元手段」に相当する。

続くステップＳ４３では、復元した位置差分マトリックスデータ６２の位置差分値と主撮影画像のピクセルマトリックス５１とに基づいて、副撮影画像５２（図４（ｂ）参照）を作成する。具体的には、割り当てられた位置差分値に基づいて、位置差分マトリックスデータ６２の各ピクセルの対応ピクセルを特定する。例えば、位置差分値「０」が割り当てられているピクセルに対しては、そのピクセルと同じ位置の主撮影画像５１のピクセルを対応ピクセルと特定する。また、位置差分値「１」が割り当てられているピクセルに対しては、そのピクセルと一つ右の位置の主撮影画像５１のピクセルを対応ピクセルと特定する。また、位置差分値「２」が割り当てられているピクセルに対しては、そのピクセルと二つ右の位置の主撮影画像５１のピクセルを対応ピクセルと特定する。また、位置差分値「３」が割り当てられているピクセルに対しては、そのピクセルと三つ右の位置の主撮影画像５１のピクセルを対応ピクセルと特定する。なお、参照色位置情報Ｋが割り当てられているピクセルに対しては、その参照色位置情報Ｋに対応して色参照テーブル３５１に登録されている参照色を特定する。その後、主撮影画像５１のそれぞれの対応ピクセルから色情報を読み出して、図４（ｂ）の副撮影画像５２を作成する。なお、ステップＳ４３を実行するＣＰＵ３２が本発明の「副撮影画像ピクセルマトリックスデータ作成手段」に相当する。

続くステップＳ４４では、主撮影画像５１と副撮影画像５２とを立体画像としてディスプレイ等に出力する。その後、図１２のフローチャートの処理を終了する。なお、ステップＳ４４を実行するＣＰＵ３２が本発明の「デジタル立体画像データ出力手段」に相当する。

このように、立体画像データ出力装置１によれば、圧縮立体画像情報を復元して、被写体を臨場感ある立体視させることができる。

（第三実施形態）
次に、本発明の三次元座標算出装置を具現化した第三実施形態について第一、第二実施形態と異なる部分を中心に説明する。本実施形態の三次元座標算出装置は、図２に示す第一実施形態の立体画像データ作成装置１と同じである。すなわち、三次元座標算出装置１は、第一実施形態で説明した方法で立体画像データとしての圧縮立体画像情報を作成するとともに、その圧縮立体画像情報に基づいて、被写体の三次元座標を算出する。

ここで、立体画像データから被写体の三次元座標を算出する方法について説明する。図１３は、立体画像データの例示として、主カメラ１０で撮影された主撮影画像７１（同図（ａ））と、副カメラ２０で撮影された副撮影画像７２を示した図である。主撮影画像７１と副撮影画像７２にはそれぞれ同一被写体７３に対応する被写体画像７３ａ、被写体画像７３ｂが表示されている。なお、主カメラ１０と副カメラ２０は、上述したように、同じ高さに左右に、人間の両目の間隔と同程度の間隔ｄ（７ｃｍ程度）に配置されているので、被写体画像７３ａ、７３ｂは、同じＹ座標の位置に表示されている。

そして、被写体７３の三次元座標は、その被写体画像７３ａ、７３ｂの各撮影画像７１、７２における位置と、主カメラ１０及び副カメラ２０の設置位置の関係、焦点距離等を示したカメラパラメータとに基づいて、三角測量の原理で算出することができる。すなわち、被写体画像７３ａの主撮影画像７１におけるＸ座標をｘｌ、Ｙ座標をｙとし、被写体画像７３ｂの副撮影画像７２におけるＸ座標をｘｒ、Ｙ座標をｙとし、カメラパラメータα、β、γとすると、被写体７３の三次元座標（Ｘ、Ｙ、Ｚ）は、それぞれ以下の式１で表される。
（式１）
Ｚ＝α×１／（ｘｌ−ｘｒ）
Ｘ＝β×ｘｌ／（ｘｌ−ｘｒ）
Ｙ＝γ×ｙ／（ｘｌ−ｘｒ）

ここで、式１の各式の分母は（ｘｌ−ｘｒ）で共通であり、これは対応ピクセル同士の位置差分値である。したがって、本実施形態の三次元座標算出装置１は、位置差分マトリックスデータ６２の位置差分値をそのまま用いて、被写体の三次元座標を算出している。

具体的には、図１４のフローチャートにしたがって算出する。なお、このフローチャートの処理はＣＰＵ３２が実行し、例えば、図示しない算出の指示スイッチが操作されたときに開始される。

先ず、ステップＳ５１では、作成した圧縮立体画像情報、すなわち、図８の圧縮後の位置差分マトリックスデータ６２と主撮影画像のピクセルマトリックス５１とを取得する。なお、ステップＳ５１を実行するＣＰＵ３２が本発明の「立体画像情報取得手段」に相当する。

続くステップＳ５２では、圧縮後の位置差分マトリックスデータ６２を圧縮前の位置差分マトリックスデータ６２に復元する。なお、ステップＳ５２を実行するＣＰＵ３２が本発明の「位置差分マトリックスデータ復元手段」に相当する。

続くステップＳ５３では、カメラパラメータα、β、γを取得する。このカメラパラメータα、β、γは、例えばＥＥＰＲＯＭ３５に予め記憶されており、そのＥＥＰＲＯＭ３５から読み出して取得する。なお、ステップＳ５３を実行するＣＰＵ３２が発明の「カメラパラメータ取得手段」に相当する。

続くステップＳ５４では、三次元座標を算出する被写体を特定し、その被写体に対応する被写体画像の位置差分値を、位置差分マトリックスデータ６２から読み出す。そして、読み出した位置差分値とカメラパラメータα、β、γとを上記式１に代入して、被写体の三次元座標Ｘ、Ｙ、Ｚを算出する。その後、図１４のフローチャートの処理を終了する。なお、ステップＳ５４を実行するＣＰＵ３２が本発明の「座標算出手段」に相当する。

このように、位置差分マトリックスデータ６２の各ピクセルの位置差分値をそのまま用いることで、被写体の三次元座標を簡易に算出することができる。

なお、本発明の立体画像データ作成装置、立体画像データ出力装置及び三次元座標算出装置は、上記実施形態に限定されるわけではなく、特許請求の範囲の記載を逸脱しない範囲で種々変形することができる。例えば、立体撮影カメラ群として主カメラ１０と副カメラ２０の二台のカメラを用いていたが、三台以上のカメラを用いてもよい。この場合、それらカメラのうちの一つを主カメラとし、残りを副カメラとして、上記処理を実行して立体画像データを作成する。

また、上記実施形態では、主カメラ１０と副カメラ２０とを、同じ高さに左右に、人間の両目の間隔と同程度の間隔ｄ（７ｃｍ程度）に配置していた。しかし、撮影視野に互いに重なりが生ずるように隣接固定配置され、その重なる撮影視野内に存在する被写体を立体撮影するとともに、撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有しれば、主カメラ１０と副カメラ２０と上下等どのように配置してもよい。

また、上記実施形態では、水平方向のピクセル列同士を比較して、対応ピクセルを検索していた。これは、主カメラ１０と副カメラ２０とが同じ高さに左右に配置されて、主撮影画像と副撮影画像とは左右に強い相関性があると考えられるためである。したがって、主カメラ１０と副カメラ２０とを、他の位置に配置して、主撮影画像と副撮影画像との強い相関性が現れる方向が変わった場合には、その方向に沿って対応ピクセルを検索してもよい。

また、上記実施形態では、ピクセル列の左端から右端に向かって順番に対応ピクセルを検索していた。これは、主カメラ１０が左側に、副カメラ２０が右側に配置されて、固有領域が副撮影画像の右側に現れるためである。すなわち、右端から対応ピクセルを検索すると、対応ピクセルが検索できないにもかかわらず先に固有領域に対して対応ピクセルを検索することになり、検索効率が悪くなるためである。したがって、主カメラ１０と副カメラ２０の配置位置の関係が変わって、副撮影画像における固有領域が現れる位置が変わった場合には、適宜検索する順番を変更してもよい。例えば、主カメラ１０を右側、副カメラ２０を左側に配置した場合には、固有領域は副撮影画像の左側に現れるため、ピクセル列の右端から左端に向かって順番に対応ピクセルを検索すると、効率よく検索できる。

また、上記実施形態では、固有領域に対しては、色参照テーブル３５１に登録された参照色に減色していた。しかし、固有領域は、立体画像データや三次元算出には寄与しない部分であるので、削除してもよい。これにより、より一層、立体画像データのデータ量を抑えることができる。

１ 立体画像データ作成装置、立体画像データ出力装置、三次元座標算出装置
１０ 主カメラ
２０ 副カメラ
１１、２１ Ａ／Ｄ変換部
３２ ＣＰＵ
３５ ＥＥＰＲＯＭ（テーブル記憶手段）
４１〜４６ 被写体
５１ 主撮影画像
５２ 副撮影画像
３５１ 色参照テーブル
４１２、４２２、４３２、４４２、４５２ａ、４６２ 相関画像領域
４５２ｂ 固有領域
Ｓ１１ 撮影画像取得手段
Ｓ１２ ピクセルマトリックスデータ作成手段
Ｓ１３ 相関画像領域ピクセル対応関係特定手段、位置差分マトリックスデータ変換手段
Ｓ１４ 位置差分マトリックスデータ圧縮手段
Ｓ３０ 参照色検索手段
Ｓ３１ 参照色位置情報出力手段
Ｓ４１、Ｓ５１ 立体画像情報取得手段
Ｓ４２、Ｓ５２ 位置差分マトリックスデータ復元手段
Ｓ４３ 副撮影画像ピクセルマトリックスデータ作成手段
Ｓ４４ デジタル立体画像データ出力手段
Ｓ５３ カメラパラメータ取得手段
Ｓ５４ 座標算出手段
Ａ 対象ピクセル用カウンタ
Ｂ 検索ピクセル位置特定用カウンタ

Claims (12)

1. 撮影視野に互いに重なりが生ずるように隣接固定配置され、当該重なる撮影視野内に存在する被写体を立体撮影するとともに、撮像部の有効撮像領域同士に一義的な重ね合わせ関係を有する主カメラ及び副カメラからなる立体撮影カメラ群から、前記主カメラの撮影画像を主撮影画像として、前記副カメラの撮影画像を副撮影画像として取得する撮影画像取得手段と、
   前記主撮影画像及び前記副撮影画像の画像データをそれぞれ、画像の各ピクセルの設定値の集合からなるピクセルマトリックスデータとして作成するピクセルマトリックスデータ作成手段と、
   前記主撮影画像と前記副撮影画像とに現れる、同一被写体に由来した画像領域同士を相関画像領域として、それら相関画像領域のピクセル対応関係を特定する相関画像領域ピクセル対応関係特定手段と、
   前記重ね合わせ関係に従い前記主撮影画像と前記副撮影画像とを仮想的に重ね合わせた状態にてそれら前記主撮影画像と前記副撮影画像とに共通の基準ピクセル座標系を定め、前記主撮影画像と前記副撮影画像との前記相関画像領域にかかる対応ピクセル同士の前記基準ピクセル座標系における位置差分を演算し、前記副撮影画像のピクセルマトリックスデータを、前記相関画像領域の個々のピクセルに対応する前記位置差分値の集合からなる位置差分マトリックスデータに変換する位置差分マトリックスデータ変換手段と、
   前記位置差分マトリックスデータを、出現頻度の高い前記位置差分値ほどデータ圧縮率が高くなるように圧縮変換する位置差分マトリックスデータ圧縮手段と、
   を備えたことを特徴とする立体画像データ作成装置。
2. 前記相関画像領域ピクセル対応関係特定手段は、前記副撮影画像の各ピクセルの色情報を前記主撮影画像の各ピクセルの色情報と比較するとともに、該色情報が予め定められた範囲内にて一致するピクセル同士を前記対応ピクセルとして特定することを特徴とする請求項１に記載の立体画像データ作成装置。
3. 前記相関画像領域ピクセル対応関係特定手段は、前記基準ピクセル座標系にて予め定められたピクセル配列方向を検索方向として定め、前記副撮影画像のピクセルマトリックス上にて前記検索方向に沿って対象ピクセルを順次設定するとともに、前記検索方向に配列する前記主撮影画像上のピクセル列に対し、該対象ピクセルと前記色情報の一致するピクセルの検索処理を、前記基準ピクセル座標系における前記対象ピクセル位置を基準として前記検索方向に順次実施することを特徴とする請求項２に記載の立体画像データ作成装置。
4. 前記ピクセルマトリックスは水平方向と垂直方向とに前記ピクセルをそれぞれ等間隔に直交配列形成したものであり、
   前記相関画像領域ピクセル対応関係特定手段は、前記検索方向を前記水平方向に設定することを特徴とする請求項３に記載の立体画像データ作成装置。
5. 前記相関画像領域ピクセル対応関係特定手段は、前記副撮影画像の前記検索方向に沿ったピクセル列を該列の一端から他端に向けて順次計数するとともに、その計数値により前記対象ピクセルを特定するための対象ピクセル用カウンタと、前記主撮影画像上にて前記検索方向を前記色情報の一致するピクセルを順次検索する際に、前記対象ピクセル位置を基点として順次計数値を変化させるとともに、その計数値により前記主撮影画像上の現在の検索ピクセル位置を特定する検索ピクセル位置特定用カウンタとを備え、
   前記位置差分マトリックスデータ変換手段は、前記色情報の一致するピクセルが検索されたときの該検索ピクセル位置特定用カウンタの計数値に基づいて前記位置差分値を演算することを特徴とする請求項３又は４に記載の立体画像データ作成装置。
6. 前記検索ピクセル位置特定用カウンタは、前記主撮影画像上にて前記色情報の一致するピクセルが検索されるに伴いリセットされ、前記対象ピクセル特定用カウンタが、次の対象ピクセルを特定するために、増加ないし減少のいずれかに固定的に定められた計数変化方向に１だけ計数値を変化させるに伴い、前記検索ピクセル位置特定用カウンタも同じ計数変化方向に１だけ計数値を変化させることを特徴とする請求項５に記載の立体画像データ作成装置。
7. 前記相関画像領域ピクセル対応関係特定手段は、前記副撮影画像の前記検索方向に配列するピクセル列にて同一色が連続する同一色連続部分に対しては、その同一色連続部分の始点となる始点対応ピクセルと、同じく終点となる終点対応ピクセルとを前記主撮影画像上にて特定し、前記始点対応ピクセルと前記終点対応ピクセルとの間を等分する前記主撮影画像上のピクセルを、前記副撮影画像上の前記同一色連続部分の前記始点及び前記終点以外の各ピクセルに対する前記対応ピクセルとして特定することを特徴とする請求項３〜６のいずれか１項に記載の立体画像データ作成装置。
8. 前記副撮影画像の前記相関画像領域以外の領域である固有領域の各ピクセルにおける前記副カメラのデジタルカラー撮影画像信号がＲＧＢ信号として入力され、そのデジタルカラー撮影画像信号よりもビット数の減じられたカラーピクセル信号に変換する減色手段をさらに備えたことを特徴とする請求項１〜６のいずれか１項に記載の立体画像データ作成装置。
9. 前記減色手段は、
   前記副カメラのデジタルカラー撮影画像信号の色情報よりも種類が少ない色情報が登録された色参照テーブルを記憶するテーブル記憶手段と、
   前記固有領域の各ピクセルにおけるデジタルカラー撮影画像信号に対して、前記色参照テーブルに登録された色情報のうちの対応する色情報を参照色として検索する参照色検索手段と、
   その参照色検索手段が検索した前記参照色の前記色参照テーブルにおける格納位置を示した参照色位置情報を前記カラーピクセル信号として出力する参照色位置情報出力手段と、を含み構成されたことを特徴とする請求項８に記載の立体画像データ作成装置。
10. 前記主カメラ及び前記副カメラは、同じ高さに左右に、人間の両目の間隔と同程度の間隔に設置された２台のカメラであることを特徴とする請求項１〜９のいずれか１項に記載の立体画像データ作成装置。
11. 請求項１〜１０のいずれか１項に記載の立体画像データ作成装置が作成した、前記主撮影画像の前記ピクセルマトリックスデータと、前記副撮影画像の圧縮済の前記位置差分マトリックスデータとを圧縮立体画像情報として取得する立体画像情報取得手段と、
    その立体画像情報取得手段が取得した前記圧縮立体画像情報に含まれる、圧縮済の前記位置差分マトリックスデータを圧縮前の位置差分マトリックスデータに復元する位置差分マトリックスデータ復元手段と、
    前記主撮影画像をなす前記ピクセルマトリックスデータと、復元後の前記位置差分マトリックスデータとに基づいて前記副撮影画像における前記相関画像領域のピクセルデータを復元し、そのピクセルデータを含む前記副撮影画像のピクセルマトリックスデータを作成する副撮影画像ピクセルマトリックスデータ作成手段と、
    作成された前記副撮影画像のピクセルマトリックスデータを、前記主撮影画像の前記ピクセルマトリックスデータとともに立体画像データとして出力するデジタル立体画像データ出力手段と、を備えたことを特徴とする立体画像データ出力装置。
12. 請求項１〜１０のいずれか１項に記載の立体画像データ作成装置が作成した、前記主撮影画像の前記ピクセルマトリックスデータと、前記副撮影画像の圧縮済の前記位置差分マトリックスデータとを圧縮立体画像情報として取得する立体画像情報取得手段と、
    その立体画像情報取得手段が取得した前記圧縮立体画像情報に含まれる、圧縮済の前記位置差分マトリックスデータを圧縮前の位置差分マトリックスデータに復元する位置差分マトリックスデータ復元手段と、
    前記主撮影画像及び前記副撮影画像から前記被写体の三次元座標を算出するための前記立体撮影カメラ群に関するカメラパラメータを取得するカメラパラメータ取得手段と、
    復元後の前記位置差分マトリックスデータの各ピクセルの前記位置差分値と、前記カメラパラメータ取得手段が取得した前記カメラパラメータとに基づいて前記被写体の三次元座標を算出する座標算出手段と、を備えたことを特徴とする三次元座標算出装置。
    

Images