JP2005210217A - ステレオカメラ - Google Patents

Abstract

【課題】２眼の撮像系を有するステレオカメラであって、左右の撮影倍率が異なった状態でもステレオ撮影を行うことが可能なステレオカメラを提供すること。
【解決手段】ズーム駆動可能なメインレンズ系１０１ａを介して得られた画像データを減数処理して（ステップＳ１）、サブレンズ系１０１ｂを介して得られた画像データと等価な状態の画像データを生成する。次に、この画像データとサブレンズ系１０１ｂを介して得られた画像データとをパターンマッチングによって比較し（ステップＳ２）、メインレンズ系１０１ａを介して得られた画像データに相当する画像データを、サブレンズ系１０１ｂを介して得られた画像データの中から切り出して（ステップＳ３）、記録部１０９に記録させる（ステップＳ４）。
【選択図】 図３

Description

本発明は、２眼の撮像系を有するステレオカメラに関する。

左右異なる視点から撮影を行うステレオ撮影を行うことが可能なカメラには、種々のものが提案されている。例えば、特許文献１において提案されている立体映像撮影装置（ステレオカメラ）は、２眼の撮像系を有しており、これら２眼の撮像系を介して得られた左右視差画像の相関演算を行って輻輳を調節することが可能である。
特開２００３−９２７７０号公報

特許文献１のステレオカメラは、２眼の撮像系の撮影倍率が常に同じであるので、ステレオ撮影以外の用途に２眼の撮像系を利用することが困難である。このため、２眼の撮像系を有効に利用しているとは言い難い。一方、左右２眼の撮像系に各独立のレンズを用いて少なくとも一方あるいは各々の撮影倍率を任意に変化できるようにカメラを構成した場合には、ステレオ撮影以外の用途にも２眼の撮像系を利用することが可能であるが、左右の撮影倍率が異なった状態ではステレオ撮影を行うことはできない。

本発明は、上記の事情に鑑みてなされたもので、２眼の撮像系を有するステレオカメラであって、左右の撮影倍率が異なった状態でもステレオ撮影を行うことが可能なステレオカメラを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様によるステレオカメラは、第１の撮影レンズ系と、この第１の撮影レンズ系を介して入射した光束に基づいて第１の画像データを生成する第１の撮像手段と、上記第１の撮影レンズ系よりも画角が広い第２の撮影レンズ系と、この第２の撮影レンズ系を介して入射した光束に基づいて第２の画像データを生成する第２の撮像手段と、この第２の撮像手段で生成した第２の画像データの中から、上記第１の画像データの撮影範囲に対応する範囲の第３の画像データを切り出すトリミング手段と、上記第１の画像データと上記第３の画像データとをステレオ画像データとして記録する記録手段とを具備する。

この第１の態様によれば、第１の撮影レンズ系よりも撮影視野が広い第２の撮影レンズ系を介して得られた画像データの一部を切り出すようにすることで、第１の撮影レンズ系と第２の撮影レンズ系の撮影倍率が異なっていてもステレオ撮影を行うことができる。

また、上記の目的を達成するために、本発明の第２の態様によるステレオカメラは、第１の撮影レンズ系と、この第１の撮影レンズ系を介して入射した光束に基づいて第１の画像データを生成する第１の撮像手段と、上記第１の撮影レンズ系よりも画角が広い第２の撮影レンズ系と、この第２の撮影レンズ系を介して入射した光束に基づいて第２の画像データを生成する第２の撮像手段と、この第２の撮像手段で生成した第２の画像データの中から、上記第１の画像データの撮影範囲に対応する範囲の第３の画像データを切り出すトリミング手段と、上記第１の画像データの画像サイズと上記第３の画像データの画像サイズとを等しくする画像サイズ調節手段と、上記画像サイズを等しくした上記第１の画像データと上記第３の画像データとをステレオ画像データとして記録する記録手段とを具備することを特徴とする。

この第２の態様によれば、トリミング手段で切り出した画像データと第１の撮像手段で生成した画像データとを同じ画像サイズの画像データとして記録することができる。

また、上記の目的を達成するために、本発明の第３の態様によるステレオカメラは、第２の態様において、上記第２の撮像手段の解像度は、上記第１の撮像手段の解像度よりも高い。

この第３の態様によれば、第２の撮像手段の解像度を高くすることで、画像サイズを等しくした際の第３の画像データを高解像度化することができる。

また、上記の目的を達成するために、本発明の第４の態様によるステレオカメラは、第２の態様において、上記画像サイズ調節手段は、上記第３の画像データの画像サイズを上記第１の画像データの画像サイズに合わせる。

この第４の態様によれば、撮影倍率が高い側の画像データの画像サイズに合わせてステレオ画像データを記録できる。

また、上記の目的を達成するために、本発明の第５の態様によるステレオカメラは、第２の態様において、上記画像サイズ調節手段は、電子ズームによって上記第１の画像データの画像サイズと上記第３の画像データの画像サイズとを等しくする。

この第５の態様によれば、電子ズームを用いてトリミング手段で切り出した画像データと第１の撮像手段で生成した画像データとを同じ画像サイズの画像データとして記録することができる。

また、上記の目的を達成するために、本発明の第６の態様によるステレオカメラは、第１の撮影レンズ系と、この第１の撮影レンズ系を介して入射した光束に基づいて第１の画像データを生成する第１の撮像手段と、上記第１の撮影レンズ系よりも画角が広い第２の撮影レンズ系と、この第２の撮影レンズ系を介して入射した光束に基づいて第２の画像データを生成する第２の撮像手段と、この第２の撮像手段で生成した第２の画像データの中から、上記第１の画像データの撮影範囲に対応する範囲の第３の画像データを切り出すトリミング手段と、上記第１の画像データと上記第３の画像データとの対応関係を決定する対応関係決定手段と、この対応関係決定手段で決定された対応関係に基づいて上記第３の画像データを高解像度化して第４の画像データを生成する高解像度化手段と、上記第１の画像データと上記第４の画像データとをステレオ画像データとして記録する記録手段とを具備する。

また、上記の目的を達成するために、本発明の第７の態様によるステレオカメラは、第６の態様において、上記対応関係決定手段による対応関係の決定は、上記第１の画像データを減数処理し、この減数処理した画像データと上記第３の画像データとをパターンマッチングを用いて比較することにより行い、上記高解像度化手段による高解像度化は、上記パターンマッチングの結果に基づいて、上記第３の画像データの画素情報を上記第１の画像データの画素情報に置き換えることにより行う。

これら第６及び第７の態様によれば、第２の撮像手段で得られた画像データを第１の画像データに基づいて高解像度化することができる。

また、上記の目的を達成するために、本発明の第８の態様によるステレオカメラは、第７の態様において、上記高解像度化手段は、上記第３の画像データの画素情報を上記第１の画像データの画素情報に置き換えるのに先立って相関演算を行い、この相関演算の結果、相関性が高いと判定された画素の画素情報のみを置き換える。

この第８の態様によれば、画素情報の置き換えを行うのに先立って相関判定を行うことにより、より正確な置き換えを行うことができる。

また、上記の目的を達成するために、本発明の第９の態様によるステレオカメラは、上記第１乃至８の態様において、上記第１の撮影レンズ系を、撮影倍率を変化させることが可能なズーム光学系としている。

この第９の態様によれば、ズーム機能により撮影倍率を連続的に変化させてステレオ撮影を行うことができる。

また、上記の目的を達成するために、本発明の第１０の態様によるステレオカメラは、第９の態様において、上記第２の撮影レンズ系を、その焦点距離が上記第１の撮影レンズ系のワイド端と同一の単焦点光学系としている。

この第１０の態様によれば、第１の撮影レンズ系のズーム領域（撮影倍率の可変範囲）全域に亘って、ステレオ撮影を行うことができる。

本発明によれば、２眼の撮像系を有するステレオカメラであって、左右の撮影倍率が異なった状態でもステレオ撮影を行うことが可能なステレオカメラを提供することができる。

本発明が適用されるステレオカメラの一つの典型的な応用例においては、第１の撮影レンズ系として変倍可能なズームレンズ、第２の撮影レンズ系として第１の撮影レンズ系のワイド端と焦点距離が等しい単焦点レンズという２つの撮影レンズ系を介して得られた２つの画像データに基づいてステレオ画像データを生成する。ここで、第１の撮影レンズ系のズーム設定がワイド端以外のとき、すなわち第１と第２の撮影レンズ系の撮影倍率がそれぞれ異なっているときには、撮影後に得られる左右２視点の画像の撮影範囲が異なってしまう。即ち、このような画像は、ステレオ画像とは言えないので、本発明では、２つの画像データの撮影範囲を画像処理技術によって等しくしている。

以下、本発明の実施例を図面を参照して説明する。
［第１の実施形態］
図１（ａ）は、本発明の第１の実施形態に係るステレオカメラの外観斜視図である。即ち、このカメラ１００は、ズームレンズである第１の撮影レンズ系（以下、メインレンズ系と称する）１０１ａと焦点距離がメインレンズ系のワイド端と同一である単焦点の第２の撮影レンズ系（以下、サブレンズ系と称する）１０１ｂとが設けられた２眼の撮像系を有するステレオカメラである。

また、図１（ｂ）は、このカメラ１００の上面透視図である。即ち、メインレンズ系１０１ａを介して入射した図示しない被写体からの光束は、カメラ１００内部に配置された第１の撮像素子（以下、メイン撮像素子と称する）１０２ａに入射する。一方、サブレンズ系１０１ｂを介して入射した被写体からの光束は、カメラ１００内部の第１の撮像素子１０２ａとは別途に設けられた第２の撮像素子（以下、サブ撮像素子と称する）１０２ｂに入射する。

次に、図２を参照してこのカメラ１００の内部の構成について詳細に説明する。即ち、このカメラ１００は、上記したメインレンズ系１０１ａ、サブレンズ系１０１ｂ、メイン撮像素子、サブ撮像素子に加えて、レンズ駆動機構１０３と、レンズドライバ１０４と、撮像素子ドライバ１０５と、前処理回路１０６ａ，前処理回路１０６ｂと、デジタル処理回路１０７と、カードインターフェイス（ＩＦ）１０８と、記録部１０９と、画像表示部１１０と、システムコントローラ（ＣＰＵ）１１１と、操作スイッチ部１１２と、プログラム記録部１１３とから構成されている。

上述したように、メインレンズ系１０１ａは、図示しない被写体からの光束をメイン撮像素子１０２ａに結像させるためのレンズ系である。このメインレンズ系１０１ａは、レンズ駆動機構１０３によって駆動される。このレンズ駆動機構１０３は、例えばステップモータ等の駆動機構であり、レンズドライバ１０４によって駆動制御されてメインレンズ系１０１ａのフォーカス駆動やズーム駆動を行う。ここで、このメインレンズ系１０１ａのオートフォーカス（ＡＦ）は、周知の山登り方式のＡＦやＡＦ用センサを利用した方式等で行えばよい。

サブレンズ系１０１ｂは、焦点距離がメインレンズ系のワイド端と同一である単焦点のレンズであり、かつフォーカシング機構が設けられていない固定焦点レンズである。しかしながら、このサブレンズ系１０１ｂは、焦点距離が短く、被写界深度が深い。即ち、サブレンズ系１０１ｂは、所謂パンフォーカス状態となっており、レンズのフォーカス駆動を行わなくとも合焦状態である。

メイン撮像素子１０２ａ及びサブ撮像素子１０２ｂは、例えば、縦型オーバフロードレイン構造のＣＣＤで構成されており、入射した光束を光電変換して被写体撮像信号を取得するための撮像手段である。これらメイン撮像素子１０２ａ及びサブ撮像素子１０２ｂは、撮像素子ドライバ１０５によってそれぞれが別々に駆動制御される。ここで、第１の実施形態においては、メイン撮像素子１０２ａとサブ撮像素子１０２ｂは、同じ撮像素子（同じ画素配列、同じ画素数）を使用するものとする。ここで、第１の実施形態のカメラをステレオ撮影の用途にのみ使用する場合には、２つの撮像素子を必ずしも別々に駆動制御する必要はない。

前処理回路１０６ａ及び１０６ｂは、ゲインコントロールアンプやアナログ/デジタル（Ａ/Ｄ）変換器等を含む処理回路である。即ち、メイン撮像素子１０２ａ及びサブ撮像素子１０２ｂから前処理回路１０６ａ及び前処理回路１０６ｂに入力されてきたそれぞれの被写体撮像信号は、これら前処理回路１０６ａ及び１０６ｂにおいてゲイン調整がなされた後、デジタル化される。そして、このようにデジタル化された２つの被写体撮像信号がデジタル処理回路１０７に出力される。

デジタル処理回路１０７は、前処理回路１０６ａ及び１０６ｂから入力されてきた２つの被写体撮像信号に基づいて色信号生成処理等の画像処理を行って左右２視点の画像データ（第１の画像データ及び第２の画像データ）を生成する。その後、後で詳述する画像処理を行ってステレオ画像データを生成する。以後、メイン撮像素子１０２ａを介して得られた第１の画像データをメイン画像データ、サブ撮像素子１０２ｂを介して得られた画像データをサブ画像データと称する。このようにしてステレオ画像データが生成された後、このステレオ画像データが、カードＩＦ１０８を介して記録部１０９に出力される。

記録部１０９は、例えばメモリカード等から構成される記録媒体であり、デジタル処理回路１０７から入力されてきたステレオ画像データが格納される。また、画像表示部１１０は、例えばＬＣＤモニタとその表示制御回路等から構成されている。そして、この画像表示部１１０には、デジタル処理回路１０７から入力されてきた画像データに基づいて画像表示が行われる。

システムコントローラ（ＣＰＵ）１１１は、カメラ全体の制御を統括的に行うための中央制御回路である。

操作スイッチ部１１２は、カメラ外部に設けられた操作ボタンに連動してＯＮ/ＯＦＦする各種スイッチである。この操作ボタンには、例えば図１に示すレリーズボタン１１３ａ等が含まれる。ここで、レリーズボタン１１３ａは、カメラに一連の撮像シーケンスを指示するためのボタンである。

プログラム記録部１１３は、カメラの各種設定情報等を記憶させておくための不揮発性メモリである。

このような構成のカメラにおいては、システムコントローラ（ＣＰＵ）１１１が、カメラ全体の制御を統括的に行う。即ち、ＣＰＵ１１１は、撮像素子ドライバ１０５を制御することによりメイン撮像素子１０２ａ及びサブ撮像素子１０２ｂをそれぞれ駆動制御する。これにより、メイン撮像素子１０２ａ及びサブ撮像素子１０２ｂの露出（電荷蓄積）や蓄積された信号の読み出しを制御する。また、撮影シーケンスにおいては、メイン撮像素子１０２ａ及びサブ撮像素子１０２ｂから読み出した被写体撮像信号に基づいてデジタル処理回路１０７においてステレオ画像データを生成し、このステレオ画像データを、カードＩＦ１０８を介して記録部１０９に記録させるという一連の制御を司る。

ここで、左右２視点の撮影倍率が異なっていると、２つの撮像素子においてそれぞれ異なった撮影範囲の画像が撮像されることになる。そこで、第１の実施形態では、サブレンズ系１０１ｂを介して得られたサブ画像データの中から、メインレンズ系１０１ａを介して得られたメイン画像データに相当する第３の画像データを切り出す、所謂トリミングすることによって、左右２視点の画像データの撮影範囲を等しくする。このような画像処理について図３を参照して説明する。ここで、このような画像処理は、デジタル処理回路１０７内部で行われるものである。

このために、まず、撮影時のメインレンズ系１０１ａのズーム倍率情報に基づいてメイン画像データを減数処理する（ステップＳ１）。例えば、メインレンズ系１０１ａが３倍ズームのレンズ系であって、撮影時のズーム位置がテレ端であった場合には、得られた画像データを１/３倍に減数処理する。ただし、この場合の倍数はズーム倍率に対応させて１次元の画素数（水平画素数あるいは垂直画素数）で表現しており、実際の全画素数という意味では２次元であるため１／３^２＝１／９倍となる。以下においても特に断らない限り減数処理の倍数については１次元で表現する。

ここで、サブレンズ系１０１ｂは、焦点距離がメインレンズ系のワイド端と同一の値に設定されており、メインレンズ系のズーム位置がワイド端の場合には画角（撮影範囲）が同一であって、それ以外の場合はメインレンズ系に比べて撮影可能な範囲が広い。このため、撮影時のサブ画像データの中には、メイン画像データと類似の部分の画像データ（同一の被写体に対応する画像データ。２眼レンズ系の視差のために必ずしも同一の画像データは得られないが、その視差による相違を別にすれば同一である）が含まれていると考えることができる。この類似部分の画像データを検出するために、メイン画像データを減数処理して２つの画像データの撮影倍率が等しい状態の画像データを生成する。

ステップＳ１の減数処理の後、サブ画像データの中から、減数処理したメイン画像データと最も相関性の高い部分の画像データを、それ自体は周知の技術であるパターンマッチングを用いて検出する（ステップＳ２）。すなわちこのパターンマッチングは、減数処理後の画像データ２０１ａの画素情報と、サブ画像データ２００ｂ内の各位置に仮定した２０１ａと同じ画素数領域の画素情報とを比較するものである。具体的には例えば、対応画素間の信号レベルの差の絶対値の総和を相関評価値として算出して、その相関評価値が最小となる領域を対応領域２０１ｂと判定する。ここで、一般のステレオ撮影時において取得される２つの画像データは、左右レンズ系の視差方向だけにずれが生じるので、パターンマッチングとしては、１次元方向（視差方向）のみについて行えばよい。勿論、光学系のずれや撮影時のカメラの傾き等の補正を併せて行うことを目的として２次元方向についてパターンマッチングを行ってもよい。

即ち、図４に示すように減数処理した画像データ２０１ａに対応する部分の画像データ２０１ｂをパターンマッチングによって検出した後、この画像データ２０１ｂを切り出す（ステップＳ３）。その後、メイン画像データ２００ａと切り出した画像データ２０１ｂとを例えば図４のように横に並べる形で１つの画像を生成し、１つのファイルとして記録部１０９に記録させる（ステップＳ４）。この際、通常画像は矩形として定義されているから、これに合わせるときには斜線で図示したようなダミー領域が付加される。勿論、これら左右の各画像データをページ形式のファイルの各ページデータとして記録させるようにしても良いし、別々のファイルとして記録させるようにしても良い。

以上説明したように、第１の実施形態によれば、２つのレンズ系の焦点距離すなわち撮影倍率が異なっていても、サブ画像データのトリミングという簡単な画像処理技術を用いて容易にステレオ撮影を行うことができるので、例えば一方のレンズだけをズームレンズとすることで、極めて容易にズーム可能なステレオカメラを構成することが可能である。また、一般のステレオ撮影においては、被写体距離が変化した際に、左右のレンズ系の輻輳角調節を行う必要があるが、第１の実施形態においては、この輻輳角調節と同等の効果をサブ画像データのトリミングの位置調節という簡単な処理によって得ることができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上記した第１の実施形態においては、サブ画像データから切り出した画像データをそのまま記録するので、結果として得られる左右画像の画像サイズが異なった状態で記録されてしまうので取扱いが不便になる。そこで、第２の実施形態では、左右画像の画像サイズを等しくした状態で記録できるようにする。ここで、第２の実施形態の構成については、第１の実施形態と同様であるので説明を省略する。

図５は、第２の実施形態のステレオ撮影時におけるステレオ画像生成時の画像処理の手順を示すフローチャートである。ここで、ステップＳ１１〜Ｓ１３までの制御は、図３のステップＳ１〜Ｓ３と同様である。第２の実施形態では、ステップＳ１３においてサブ画像データの切り出しを行った後、撮影時のメインレンズ系１０１ａのズーム倍率情報に基づいて、切り出した画像データ２０１ｂに電子ズームを施して、画像データ２０１ｂの画像サイズとメイン画像データ２００ａの画像サイズとを等しくする（ステップＳ１４）。例えば、上記した例の場合には、３倍拡大の電子ズームを行うようにすればよい。なお、第２の実施形態では、サブ画像データの画像サイズをメイン画像データの画像サイズに合わせるようにしている。

ここで本発明における電子ズーム処理について補足すれば、それ自体は周知の画像処理方法であって、当該画像に対して画像サイズの拡大縮小（構成画素数の増加、減少）を行うものである。具体的には当該画像に対して拡大縮小後の画素配列を対応させ、その各画素点に対応する原画素が存在しない画素については近傍に存在する原画素のデータを用いた補間処理により当該画素のデータを生成するものである。詳細には多種多様な方式があるが、本発明ではそのいずれを用いてもよい。なお、説明が前後したが、先にパターンマッチングのためにメイン画像データ２００ａに対して施した「減数処理」もこの電子ズーム処理による画像サイズの縮小と同等の処理を行うものである。

このようにして、２つの画像データの画像サイズを等しくした後、図６のように左右画像を並べた１つの画像（ステレオペア画像）を生成し、記録部１０９に記録させる（ステップＳ１５）。勿論、これら左右の各画像データをページ形式のファイルの各ページデータとして記録させるようにしても良いし、別々のファイルとして記録させるようにしても良い。

ここで、ステップＳ１２のパターンマッチングはレンズのズーム倍率情報が未知であっても可能である。即ち、パターンマッチング時の可変（仮定）パラメータとして水平方向の位置に加えてズーム倍率も含めるようにすれば良い。またステップＳ１４の電子ズームを必ずしも独立したステップとして行う必要はなく、パターンマッチングと統合した形態によっても行うことができる。例えば、パターンマッチングの際に上記とは逆にサブ光学系の方の画像を電子ズームによって高画素化してから相関比較するようにして、そのときの電子ズーム倍率と水平方向位置をともに可変（仮定）パラメータとしてパターンマッチングを行えば２つの画像データの相関性が最も高くなったときには、２つの画像データの画像サイズも等しくなる。

以上説明したように、第２の実施形態によれば、ステレオ撮影時に得られる左右画像の画像サイズを等しくすることができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。上記した第２の実施形態では、メイン側とサブ側の撮像素子に同じ撮像素子を使用している。このため、サブ画像データを電子ズームすると、ズーム後の画像データの画像サイズ（画素数）は同じになるものの解像度がメイン画像データの解像度に比べて低下してしまい、ステレオ撮影後の左右画像に解像度の違いが生じる。そこで、第３の実施形態では、サブ側の撮像素子にメイン側の撮像素子よりも解像度の高いものを使用することで、ステレオ撮影後の左右画像の解像度の違いを小さくする。

ここで、第３の実施形態では、例としてメイン撮像素子１０２ａの画素数を２００万画素、サブ撮像素子１０２ｂの画素数を８００万画素とする。すなわちサブ素子は全画素数がメイン素子の４倍であるから水平または垂直の１次元方向については画素数（画素密度）が２倍になっている。この他の構成については図２で説明したものと同様である。

図７は、第３の実施形態のステレオ撮影時におけるステレオ画像生成時の画像処理の手順を示すフローチャートである。ここで、ステップＳ２１〜Ｓ２３までの制御は、図３のステップＳ１〜Ｓ３と同様である。第３の実施形態においても、サブ画像データの解像度をメイン画像データの解像度に合わせるために、ステップＳ２３の切り出しの後に電子ズームを行う（ステップＳ２４）。ただし、第３の実施形態では、この電子ズームにおいて画像サイズの拡大または縮小（構成画素数の増加または減少）いずれかの処理が状況に応じて行われる。ここで、拡大（増数）処理を行うか縮小（減数）処理を行うかは、メインレンズ系１０１ａのズーム倍率情報によって異なる。上記の例では、１次元の画素数（画素密度）の比率が２倍であるから、ズーム倍率が２倍の場合には画素数（したがって解像度も）が等しくなり増数処理も減数処理も行う必要がない。一方、ズーム倍率が２倍よりも大きい（テレ側）場合にはサブ画像に対して増数処理を行い、２倍よりも小さい（ワイド側）場合には減数処理を行う。

このようにして、２つの画像データの画像サイズを等しくした後、図８のようにして左右画像を並べた１つの画像（ステレオペア画像）を生成し、記録部１０９に記録させる（ステップＳ２５）。勿論、これら左右の各画像データをページ形式のファイルの各ページデータとして記録させるようにしても良いし、別々のファイルとして記録させるようにしても良い。

なお、この第３の実施形態においても第２の実施形態で説明した電子ズームと統合化したパターンマッチングによって左右画像データの画像サイズを等しくするようにしても良いことは言うまでもない。

そしていずれの場合も、上記第２の実施形態の場合はサブ側の画像についてはズームがワイド端の場合を除いて常に解像度が低下し、最悪（ズームがテレ端の場合）メイン側の画像の１／３になってしまうのに対して、本第３の実施形態ではズーム倍率２倍以下では解像度の低下を生ぜず、ズームがテレ端の最悪時でもメイン側の２／３が確保される。

以上説明したように、第３の実施形態によれば、サブ側の解像度低下を抑えつつ、言い換えれば左右画像の解像度の違いが小さい状態で左右画像を記録することができる。

［第４の実施形態］
本発明の第４の実施形態について説明する。この第４の実施形態は、サブ側の撮像素子の解像度を高くせずに、画像処理技術によってステレオ撮影後のサブ側画像データを高解像度化した第４の画像データを得るものである。ここで、第４の実施形態の構成は、第１の実施形態と同様のものを用いる。

図９は、第３の実施形態のステレオ撮影時におけるステレオ画像生成時の画像処理の手順を示すフローチャートである。ここで、ステップＳ３１〜Ｓ３３までの制御は、図３のステップＳ１〜Ｓ３と同様である。

ここで、第４の実施形態では、図１０のように、切り出し後のサブ画像データの画素情報をメイン画像データの画素情報に置き換える処理を行うことでサブ画像データの高解像度化を図る。このために、まず、１次元パターンマッチングにより置き換えエリアの対応関係を決定する（ステップＳ３４）。そして、この対応関係に基づいてサブ画像データの画素情報をメイン画像データの画素情報に置き換えを行う（ステップＳ３５）。この後、ステレオ画像データの記録を行う。

ここで、この置き換え処理について説明する。置き換え処理を行う際の単位領域は、メイン画像データの方では減数後の画像データ２０１ａの１画素、切り出したサブ画像データでは２０１ｂの１画素である。まず、切り出し後のサブ画像データ２０１ｂ中の任意の画素Ｐｂ（ｘ，ｙ）に対応する画素を特定するために、これを囲むｍ×ｎ画素（図１０では５×５画素）の微小領域３０１ｂと相関性の高い微小領域３０１ａを、減数処理後のメイン画像データ２０１ａの中から検出する。

この検出には、上記と同様の１次元パターンマッチングを用いる。ここで、ステップＳ３２のパターンマッチングにより、画像データ２０１ａと画像データ２０１ｂとは全体として相関性が高いことが分かっている。すなわちこれらは全体的には同一と見なせる被写体に対応するほぼ同一の画像データであって、その中に存在する相違は左右両眼の視差に起因するもののみであるので、ここでの相関性の判定は、画像データ２０１ａ中の座標（ｘ，ｙ）を中心とした水平方向数画素〜数十画素程度（画素Ｐａ（ｘ，ｙ）を含む、想定される視差範囲に対応する範囲）について位置の可変（パターンマッチング上の仮定）を行えばよい。そして、相関評価値が最小となる（相関が最大となる）微小領域を以って対応する微小領域３０１ａと判定し、その中心に位置する画素をもって対応画素Ｐａ（ｘ´，ｙ）とする。

ここで、このような微小領域毎のパターンマッチングは、画像データ２０１ｂの全領域（（ｘ，ｙ）の全ての値）について行うことは言うまでもない。また、微小領域３０１ａ、３０１ｂの大きさは５×５画素に限るものではない。

このような処理により、画素Ｐｂ（ｘ，ｙ）に対応する画素Ｐａ（ｘ´，ｙ）が決定される。ここで、画素Ｐａ（ｘ´，ｙ）は、減数処理前の数画素を平均化する等の処理により生成したものである。すなわち、減数処理前のオリジナルのメイン画像２００ａでは局所的なエリアに対応しているから、これが上述の置き換えエリア（対応付けられた局所エリア）であることになる。このため、画像データ２０１ｂを電子ズームにより拡大する際に、画素Ｐｂ（ｘ，ｙ）の近傍画素による補間生成を行う代わりに、電子ズーム後の対応領域の各画素情報をこの画素Ｐｂ（ｘ，ｙ）に対応するメイン側の画素Ｐａ（ｘ´，ｙ）のステップＳ３１の減数処理前の各画素情報に置き換えることで、サブ画像データを高解像度化することができる。しかしながら、ここでメインレンズ系１０１ａとサブレンズ系１０１ｂとでは、視点が異なっており、被写体の形状や重なり具合によっては必ずしも画素Ｐｂ（ｘ，ｙ）と画素Ｐａ（ｘ´，ｙ）とが同一の被写体に対応しているとは限らないことを考慮する必要がある。すなわち、パターンマッチング実行時には周辺を含む微少領域の相関性が最も高くなる点を以って判定したが、この場合周辺領域は同一の被写体であるが、当該画素については例えば隙間から覗く背景であって、対応する同一の被写体が存在しないというようなことが起こり得る。このような場合まで上記画素情報の置き換えを実行するとかえって総合的には画質劣化を生じることがあるので、これを避ける目的で、画素単位で相関性が充分高いかどうかの追加判定を行い、この点が同一被写体に対応するものかどうかを確認することが望ましい。この確認のために画素Ｐｂ（ｘ，ｙ）の画像信号Ｓｂ（ｘ，ｙ）と画素Ｐａ（ｘ´，ｙ）の画像信号Ｓａ（ｘ´，ｙ）の相関性が、

の関係を満たしているか否かを判定する。ここで、εは所定の低レベルの値とする。そして、この判定の結果、（式１）の関係を満たしている場合、すなわち対応画素間の信号レベルの比較を行いその差が所定値ε以下の場合にのみ、置き換えエリア（対応付けられた局所エリア）が存在すると判断して上記のような画素情報の置き換えを行う。一方、（式１）の関係を満たしていない場合には、対応する置き換えエリアが存在しないと判断してその画素に対応する生成画素領域に関しては通常の電子ズーム（補間処理）を行う。

以上説明したように、第４の実施形態によれば、サブ画像データを電子ズームする際に、メイン画像データの情報を用いて置き換えを行うことで、サブ画像データを高解像度化することができる。また、実際に置き換えを行うに先立って相関性の判定を行うことにより、より正確な置き換えを行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の画像処理技術をステレオカメラ内部の処理ではなく、ステレオカメラの外部、例えばパーソナルコンピュータにインストールされたソフトウェア等で行うようにしてもよい。

また、上記したステレオカメラにおいては、サブ光学系を単焦点レンズとしたが、サブ光学系は、ステレオ撮影時にメイン光学系に対して充分な画角（撮影範囲）が確保されていればよい。したがって、サブ光学系もズームレンズとしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

図１（ａ）は本発明の第１の実施形態に係るステレオカメラの外観斜視図であり、図１（ｂ）は本発明の第１の実施形態に係るステレオカメラの上面透視図である。 本発明の第１の実施形態に係るステレオカメラの内部構成を示すブロック図である。 本発明の第１の実施形態に係るステレオカメラのステレオ画像生成時の画像処理について示したフローチャートである。 ステレオ画像生成時の処理を概念的に示した図である。 本発明の第２の実施形態に係るステレオカメラのステレオ画像生成時の画像処理について示したフローチャートである。 第２の実施形態における画像記録時の記録例について示した図である。 本発明の第３の実施形態に係るステレオカメラのステレオ画像生成時の画像処理について示したフローチャートである。 第３の実施形態における画像記録時の記録例について示した図である。 本発明の第４の実施形態に係るステレオカメラのステレオ画像生成時の画像処理について示したフローチャートである。 高解像度化処理について説明するための図である。

符号の説明

１００…カメラ、１０１ａ…第１の撮影レンズ系（メインレンズ系）、１０１ｂ…第２の撮影レンズ系（サブレンズ系）、１０２ａ…第１の撮像素子（メイン撮像素子）、１０２ｂ…第２の撮像素子（サブ撮像素子）、１０３…レンズ駆動機構、１０４…レンズドライバ、１０５…撮像素子ドライバ、１０６ａ，１０６ｂ…前処理回路、１０７…デジタル処理回路、１０８…カードインターフェイス（ＩＦ）、１０９…記録部、１１０…画像表示部、１１１…システムコントローラ（ＣＰＵ）、１１１…ＣＰＵ、１１２…操作スイッチ部、１１３…プログラム記録部

Claims (10)

1. 第１の撮影レンズ系と、
   この第１の撮影レンズ系を介して入射した光束に基づいて第１の画像データを生成する第１の撮像手段と、
   上記第１の撮影レンズ系よりも画角が広い第２の撮影レンズ系と、
   この第２の撮影レンズ系を介して入射した光束に基づいて第２の画像データを生成する第２の撮像手段と、
   この第２の撮像手段で生成した第２の画像データの中から、上記第１の画像データの撮影範囲に対応する範囲の第３の画像データを切り出すトリミング手段と、
   上記第１の画像データと上記第３の画像データとをステレオ画像データとして記録する記録手段と、
   を具備することを特徴とするステレオカメラ。
2. 第１の撮影レンズ系と、
   この第１の撮影レンズ系を介して入射した光束に基づいて第１の画像データを生成する第１の撮像手段と、
   上記第１の撮影レンズ系よりも画角が広い第２の撮影レンズ系と、
   この第２の撮影レンズ系を介して入射した光束に基づいて第２の画像データを生成する第２の撮像手段と、
   この第２の撮像手段で生成した第２の画像データの中から、上記第１の画像データの撮影範囲に対応する範囲の第３の画像データを切り出すトリミング手段と、
   上記第１の画像データの画像サイズと上記第３の画像データの画像サイズとを等しくする画像サイズ調節手段と、
   上記画像サイズを等しくした上記第１の画像データと上記第３の画像データとをステレオ画像データとして記録する記録手段と、
   を具備することを特徴とするステレオカメラ。
3. 上記第２の撮像手段の解像度は、上記第１の撮像手段の解像度よりも高いこと特徴とする請求項２に記載のステレオカメラ。
4. 上記画像サイズ調節手段は、上記第３の画像データの画像サイズを上記第１の画像データの画像サイズに合わせることを特徴とする請求項２に記載のステレオカメラ。
5. 上記画像サイズ調節手段は、電子ズームによって上記第１の画像データの画像サイズと上記第３の画像データの画像サイズとを等しくすることを特徴とする請求項２に記載のステレオカメラ。
6. 第１の撮影レンズ系と、
   この第１の撮影レンズ系を介して入射した光束に基づいて第１の画像データを生成する第１の撮像手段と、
   上記第１の撮影レンズ系よりも画角が広い第２の撮影レンズ系と、
   この第２の撮影レンズ系を介して入射した光束に基づいて第２の画像データを生成する第２の撮像手段と、
   この第２の撮像手段で生成した第２の画像データの中から、上記第１の画像データの撮影範囲に対応する範囲の第３の画像データを切り出すトリミング手段と、
   上記第１の画像データと上記第３の画像データとの対応関係を決定する対応関係決定手段と、
   この対応関係決定手段で決定された対応関係に基づいて上記第３の画像データを高解像度化して第４の画像データを生成する高解像度化手段と、
   上記第１の画像データと上記第４の画像データとをステレオ画像データとして記録する記録手段と、
   を具備することを特徴とするステレオカメラ。
7. 上記対応関係決定手段による対応関係の決定は、上記第１の画像データを減数処理し、この減数処理した画像データと上記第３の画像データとをパターンマッチングを用いて比較することにより行い、
   上記高解像度化手段による高解像度化は、上記パターンマッチングの結果に基づいて、上記第３の画像データの画素情報を上記第１の画像データの画素情報に置き換えることにより行うことを特徴とする請求項６に記載のステレオカメラ。
8. 上記高解像度化手段は、上記第３の画像データの画素情報を上記第１の画像データの画素情報に置き換えるのに先立って相関演算を行い、この相関演算の結果、相関性が高いと判定された画素の画素情報のみを置き換えることを特徴とする請求項７に記載のステレオカメラ。
9. 上記第１の撮影レンズ系は、撮影倍率を変化させることが可能なズーム光学系であることを特徴とする請求項１乃至８の何れか１つに記載のステレオカメラ。
10. 上記第２の撮影レンズ系は、その焦点距離が上記第１の撮影レンズ系のワイド端と同一の単焦点光学系であることを更に特徴とする請求項９に記載のステレオカメラ。

Images