JP2011259405A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】左右の視点画像からただちに立体画像を生成できない撮像装置において、立体画像出力のタイムラグを短縮する。
【解決手段】レリーズボタン１９が全押しされるまで、ｎ（ｎ＝１、２、３・・）コマ目の左右の画像データＡ・Ｂから距離情報を算出し、撮影部２０Ａから取得されたｎ＋１コマ目の画像データＡにｎコマ目の画像データＡ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成し、ｎ＋１コマ目の画像データＡと画像データＢ’とに基づいてｎコマ目の３次元画像データを生成しモニタ１８にスルー画像として表示することを繰り返す。このように、前のコマについて算出された距離情報を用いて後のコマの視点画像からスルー画を表示するため、距離情報の算出待ちにより最新のスルー画の表示の遅れが発生することを防止できる。
【選択図】 図３

Description

本発明は、視差を有する画像の撮像装置および撮像方法に関し、特に、視差を有する画像の撮影画角を立体的にスルー画として表示する撮像装置および撮像方法に関する。

特許文献１によると、第１の結像光学系と第１の固体撮像素子とを有する第１の撮像手段と、第２の結像光学系と、上記第１の固体撮像素子より有効画素数の少ない第２の固体撮像素子とを有し、撮像方向が上記第１の撮像手段の撮像方向と略同一である第２の撮像手段と、上記第１の撮像手段により撮像した画像と、上記第２の撮像手段により撮像した画像とを参照することにより、上記第１の撮像手段の画像の深度情報を検出する深度検出手段とを具備することを特徴とする電子ステレオカメラが提供される。

特許文献２によると、入力映像から、被写体の画面上の動き情報を抽出する（工程１）。このとき、ブロックマッチング等の手法を使う。つづいて３次元空間における被写体の現実の動きを算出する（工程２）。入力映像は元の３次元的な動きの投影であるから、複数の代表点の動きから３次元表示の動きが逆変換によって求められる。この結果、被写体の座標が判明するため、被写体の奥行き情報が獲得できる（工程３）。この奥行きに従って視差を計算し、入力映像から両眼用画像を生成する（工程４）。

特許文献３において、ステレオマッチング処理部（対象物検出手段）４３は、画像処理部４Ａ、４Ｂによってそれぞれ処理され、メモリ部３１に格納された２つの画像データＡ、Ｂにおける、上述の空間設定部４２によって設定された検索空間に対して、互いに対応する１つ以上の対応点（対象物）を検出する。距離算出部（位置算出手段）４４は、上述したステレオマッチング処理部４３によって検出された対応点の３次元座標値（位置情報）を算出する。撮影部２０Ａおよび撮影部２０Ｂの撮影レンズ２１Ａ２、２１Ｂ２の構成は異なり、撮影レンズ２１Ａ２は、ズームレンズおよび該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズ２１Ｂ２は、撮影レンズ２１Ａ２のズームレンズの広角端と等しい画角の固定焦点レンズを備える。このような構成にすることによりコストを低減する。

特許文献４は２次元画像と距離情報（奥行き情報）を用いた３次元画像生成技術の一例である。特許文献５および６は異なる視点画像間の対応点検索の方法の一例である。

特許文献７は、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法を開示する。

特開２０００−１０２０４０号公報 特開平８−１９４２７４号公報 特開２００８−９２００７号公報、段落００４７−００４８、００７１ 特開２００８−１４１６６６号公報 特開２００９−１４４４５号公報 特開２００８−１１６３０９号公報 特開２００９−１２４３０８号公報

図９に例示するように、同じ画質の左右の視点画像をそのまま立体画像として表示する通常の複眼カメラにおけるスルー画（ライブビュー）の表示は、１フレームごとに撮影された左右の視点画像に基づいて３次元画像を表示することを繰り返すだけで済む。

一方、特許文献３に例示されるような、左右の撮像部の撮影画素数が異なったり、一方の撮像部は色情報が取得できるが他方の撮像部は色情報を取得できないなど左右の撮像部の仕様が異なる場合や、視点画像の解像度がモニタの解像度と異なる場合など、左右の視点画像からただちに表示用の立体画像を生成できない複眼カメラでは、距離情報の算出に加え、一方の撮像部、例えば画素数の多い撮像部や色情報の取得可能な撮像部の画像の色情報などから３次元画像を生成して表示することを繰り返す必要がある。

図１０に例示するように、このようなカメラでは、３次元画像の生成に時間がかかるため、その分視点画像の撮影からスルー画の表示まで間のタイムラグが通常のカメラよりも増大する。そのため、表示されたスルー画による画角の確認などに支障をきたし使いにくい。

本発明は、左右の視点画像からただちに立体画像を生成できない撮像装置において、立体画像出力のタイムラグを短縮する技術を提供する。

本発明は、視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する撮像素子で光電変換し、第１光学系の被写体像に対応する視点画像である第１画像および第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部と、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、第２の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第２光学系の位置における仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成する立体画像生成部と、を備える撮像装置を提供する。

ここで、視差情報とは、被写体の距離情報または視差マップを含む。

撮像制御部は、第１の時点よりも後の異なる複数の第２の時点の各々で視点画像の組が順次出力されるよう撮像部を制御し、立体画像生成部は、複数の第２の時点で各々出力された複数の視点画像の組に含まれる複数の第１画像に第１の時点に対応する視差情報を適用して第２光学系の位置における複数の仮想第２画像を生成し、複数の第２の時点で各々出力された第１画像と対応する複数の仮想第２画像から複数の立体画像を順次生成する。

こうすると、第１画像と第２画像に基づいて距離計算を行い、その後その計算された距離と当該距離計算を行うのに用いた第１画像に基づいて仮想的な第２画像を生成し、当該第１画像と第２画像から立体画像を生成するのに要する時間よりも、立体画像の生成の時間間隔を短くすることができる。

撮像制御部は、視差情報算出部による第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう撮像部を制御する。

こうすると、距離計算の完了タイミングに合わせて最新の視点画像に基づいた立体画像を生成することができる。

視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する。

こうすると、距離計算がさらに高速化する。

撮像装置は、所定の記録指示が入力されたことに応じ、第１の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第２光学系の位置における仮想第２画像を生成し、第１の時点で出力された第１画像と仮想第２画像に基づいて立体画像の再生情報を記録する記録部を備える。

こうすると、視差情報と画像の間に時間的ずれのない再生情報を記録できる。

立体画像生成部の生成した立体画像を表示する表示部を備える。

第２画像の解像度は第１画像の解像度よりも低くかつ表示部の表示解像度よりも低い。

第１画像は輝度情報および色情報を含み、第２画像は輝度情報のみを含む。

第２画像に対応する光学系および撮像素子は簡易な構成で済むため、コストを削減でき、デザイン面でも有利であるが、視差情報の計算と立体画像の生成に時間を要する。そこで、上述したように立体画像を生成すれば、より効果的に立体画像の生成の時間間隔を短くすることができる。

視差情報をぼかすぼかし処理部を備え、立体画像生成部は、ぼかし処理部によりぼかされた第１の時点に対応する視差情報を第２の時点で出力された第１画像に適用して第２光学系の位置における仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成する。

こうすれば、視差情報と画像情報の時間的ずれに起因する立体画像上の視差の違和感を軽減できる。

立体画像生成部は、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する。

こうすれば、立体画像の視差を任意に調整できる。

所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む。

本発明は、視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する複数の撮像素子の各々で光電変換し、第１光学系の被写体像に対応する視点画像である第１画像および第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部を備える撮像装置が、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、第２の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第２光学系の位置における仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成するステップと、を実行する撮像方法を提供する。

本発明は、視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する撮像素子で光電変換し、第１光学系の被写体像に対応する視点画像である第１画像および第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部と、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する立体画像生成部と、を備える撮像装置を提供する。

本発明は、視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する複数の撮像素子の各々で光電変換し、第１光学系の被写体像に対応する視点画像である第１画像および第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部を備える撮像装置が、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成するステップと、を実行する撮像方法を提供する。

本発明によると、第１の時点で算出された視差情報と、第１の時点よりも後の第２の時点で出力された視点画像とによって立体画像を生成する。こうすると、後の第２の時点で取得された視点画像に基づいて即座に立体画像を生成でき、第１の時点で算出された視差情報と、第１の時点で出力された視点画像とによって立体画像を生成するよりも新しい立体画像をより早く表示できる。

カメラの前面斜視図 第１実施形態に係るカメラのブロック図 第１実施形態に係るスルー画表示処理のタイミングチャート 第２実施形態に係るスルー画表示処理のタイミングチャート 第３実施形態に係るスルー画表示処理のタイミングチャート 第４実施形態に係るカメラのブロック図 第４実施形態に係るスルー画表示処理のタイミングチャート 第５実施形態に係る動画記録処理のタイミングチャート 通常の撮像装置におけるスルー画表示処理のタイミングチャート 距離算出を行う撮像装置におけるスルー画表示処理のタイミングチャート

＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１の正面斜視図を示す。デジタルカメラ１の前面には、撮影レンズ２１Ａ１、２１Ｂ１、電源スイッチ２２、フラッシュライト２４が設けられ、側面にはメディアスロット２６が設けられている。

撮影レンズ２１Ａ１、２１Ｂ１は、被写体像を所定の固体撮像素子（ＣＣＤやＣＭＯＳ等）の結像面上に結像させるためのものである。撮影レンズ２１Ａ１と撮影レンズ２１Ｂ１は、被写体に向けて光軸が平行となるように上下方向は同位置、左右方向は所定値離れて配置され、同じ被写体を異なる視点位置から同時に撮影する。撮影レンズ２１Ａ１、２１Ｂ１は、デジタルカメラ１の電源がオフ状態の時、再生モードであるとき等にそれぞれレンズの表面を覆うレンズカバーが設けられ、汚れやゴミ等からレンズを保護している。

図２はデジタルカメラ１の概略ブロック図を示す。デジタルカメラ１は、撮影部２０Ａ、２０Ｂを備え、撮影部２０Ａ、２０Ｂはそれぞれ、撮影レンズ２１Ａ１、２１Ｂ１からなる光学系２１Ａ、２１Ｂ（図示せず）と撮影素子としてＣＣＤ２９Ａ、２９Ｂとを備える。以下の記述や図面では、撮影部２０Ａは第１カメラ、撮影部２０Ｂは第２カメラで示されることもある。

撮影部２０Ａは、本撮影に使用される第一の撮影部であり、撮影レンズ２１Ａ１としてはフォーカスレンズが設けられる。フォーカスレンズは、モータとモータドライバからなる図示しないフォーカスレンズ駆動部によって後述のＣＰＵ３２を介して出力される駆動量データに基づいてステップ駆動され、光軸方向に移動可能な構成となっている。この撮影レンズ２１Ａ１の後方にはそれぞれモータとモータドライバからなる駆動部によって駆動制御される図示しない絞りやメカニカルシャッタが設けられ、これらによって光学系２１Ａ（図示せず）が構成される。絞りは、画像処理部４Ａから出力される絞り値データに基づいて絞り径が調整され、メカニカルシャッタは、レリーズボタン１９の押下信号と、ＣＰＵを介して出力されるシャッタ速度データとに応じて開閉制御される。

上記光学系２１Ａの後方にはＣＣＤ２９Ａが設けられている。ＣＣＤ２９Ａは、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過してＣＣＤ２９Ａの受光面に結像された被写体像は、ＣＣＤ２９Ａ上の各センサで入射光量に応じた量の信号電荷に変換される。なおＣＣＤ２９Ａはシャッターゲートパルスのタイミングによって各センサの電荷蓄積時間（シャッタースピード）を制御する、いわゆる電子シャッタ機能を有している。

各センサに蓄積された信号電荷は、図示しないＣＣＤ駆動部から加えられるパルスに基づいて信号電荷に応じた電圧信号（アナログ撮像信号）として順次ＣＣＤ２９Ａから読み出される。そしてＣＣＤ２９Ａから出力されたアナログ撮像信号は、Ａ／Ｄ処理部３Ａに送られる。

Ａ／Ｄ処理部３Ａは、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路およびＡ／Ｄコンバータを含み、アナログ撮像信号は、このＡ／Ｄ処理部３Ａにおいて、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われて、デジタル信号に変換される。そしてＡ／Ｄ処理部３Ａによりデジタル信号に変換された後、画像処理部４Ａに送られる。なおＣＣＤ駆動部、Ａ／Ｄ処理部３Ａは、ＣＰＵの指令に従ってタイミングジェネレータから加えられるタイミング信号により同期して駆動されるようになっている。

画像処理部４Ａは、輝度・色差信号生成回路、ガンマ補正回路、シャープネス調整回路、コントラスト補正回路、ホワイトバランス調整回路等の画質調整回路を含むデジタルシグナルプロセッサ（ＤＳＰ）で構成されており、画質を向上させるべく画像信号を処理する。

また撮影部２０Ｂは、主に測距に使用される撮影部であり、上記第一の撮影部２０Ａの光学系２１Ａと同様の構成の光学系２１Ｂを備えている。光学系２１Ａと光学系２１Ｂとは、同一のフォーカスレンズ駆動部によって同様に駆動制御される。そして光学系２１Ｂの後方にはＣＣＤ２９Ｂが設けられている。このＣＣＤ２９Ｂは、要求される測距精度を確保できる範囲において、上述した第一の撮影部２０ＡのＣＣＤ２９Ａよりも画素数の少ないものであってもよく、輝度または単色のみに感度を有するものであってもよい。こうすることによりコストを低減することができる。Ａ／Ｄ処理部３Ｂおよび画像処理部４Ｂは、上述のＡ／Ｄ処理部３Ａおよび画像処理部４Ａと概略同様の構成であるが、ＣＣＤ２９Ｂに応じた処理能力を備えていれば良い。そして上記のように構成される撮影部２０Ａと撮影部２０Ｂは、同じ画角で、かつ同じタイミングで被写体を撮影する。

メモリ部３１は、デジタルカメラ１において設定される各種定数、およびＣＰＵ３２が実行するプログラム等を格納するものであって、さらに、例えば一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）から構成されて、画像データに対して上述の画像処理部４Ａ、４Ｂがデジタル画像処理（信号処理）を行う際に使用する作業用メモリ等も備えている。そして画像処理部４Ａ、４Ｂによってそれぞれ画像処理が施された画像データＡ、Ｂは、同じタイミングでメモリ部３１に格納される。

操作部３３は、動作モードスイッチ１１、メニュー／ＯＫボタン、上下レバー、左右ボタン、Ｂａｃｋ（戻り）ボタン、表示切替ボタン、レリーズボタン、電源スイッチ２２からなり、操作系制御部３４は、操作部３３の操作内容をＣＰＵ３２に伝えるためのインターフェースである。

表示制御部３５は、メモリ部３１に格納された画像データＡをスルー画としてモニタ１８に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、モニタ１８に出力する。スルー画は、撮影者がレリーズボタン１９を押して記録撮影する前に画角や被写体などを確認できるように、固体撮像素子（ＣＣＤ２９Ａ・２９Ｂ）から出力された画像信号を信号処理回路（ＡＤ処理部３Ａ・３Ｂ、画像処理部４Ａ・４Ｂ）で信号処理し画像表示部（表示制御部３５・モニタ１８）に表示させた画像であり、ライブビュー画像ともいう。スルー画は、撮影モードが「静止画撮影」または「動画撮影」に設定されている間、周期的かつ継続的に取得されてモニタ１８に表示される。また、表示制御部３５は、外部記録メディア３６に記憶され、メディア制御部３７によって読み出された再生情報に含まれる画像データＡに基づいた画像をモニタ１８に表示させる。フラッシュ制御部３９は、フラッシュライト２４の発光動作を制御する。

圧縮／伸長処理部４０は、画像処理部４Ａによって画質補正等の処理が行われた画像データＡに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部４０は、再生モードにおいては外部記録メディア３６から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部３５に出力され、表示制御部３５は画像データに基づいた画像をモニタ１８に表示する。

メディア制御部３７は、メディアスロット２６に挿入された外部記録メディア３６に記憶された画像ファイル等の読み出し、または画像ファイルの書き込みを行う。

ステレオマッチング処理部（対象物検出手段）４３は、同じタイミングでメモリ部３１に格納された２つの画像データＡ、Ｂ間で互いに対応する１つ以上の対応点（対象物）を検出するものである。なおステレオマッチング処理部４３における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献３〜６のような公知の技術に基づいて行うことができる。

距離算出部４４は、上述したステレオマッチング処理部４３によって検出された対応点の３次元座標値（距離情報または視差マップ）を算出するものである。距離算出部４４における算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部４３および距離算出部４４はプログラムにより構成されるものであっても、ＩＣ、ＬＳＩ等によって構成されるものであってもよい。後述するが、距離算出部４４は、距離算出を同時処理可能な複数の処理系統を有していてもよい。なお、距離情報と視差マップは技術的に等価であり、以下の距離情報についての処理は、視差マップについても行うことができる。

ＣＰＵ３２は、操作部３３からの入力に基づいてデジタルカメラ１を総括的に制御するものであり、撮影モードの設定に応じたスルー画出力の開始、フォーカスレンズ駆動部のズーミング動作、焦点調節（ＡＦ）動作および自動露出調節（ＡＥ）動作等を制御する動作制御部としても機能する。

第１画像データの取得画素と第２画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。よって、撮影部２０Ａおよび撮影部２０Ｂの撮影レンズ２１Ａ２、２１Ｂ２の構成は、同じでも異なってもよい。例えば、撮影レンズ２１Ａ２は、ズームレンズおよび該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズ２１Ｂ２は、撮影レンズ２１Ａ２のズームレンズの広角端と等しい画角の固定焦点レンズを備える。撮影レンズ２１Ｂ２は撮影レンズ２１Ａ２のズームレンズと同等のズームレンズを備えてもよいが、その場合、撮影部２０Ａと撮影部２０Ｂのズームレンズを連動して駆動する駆動部が必要となり、コストがかかってしまう。よって上述のような構成にすることにより撮影部２０Ｂのコストを低減することができる。

あるいは、ＣＣＤ２９Ｂの撮影画素数はＣＣＤ２９Ａの撮影画素数やよりも低くてもよい。

さらに、ＣＣＤ２９Ａ（カラーＣＣＤ）は色情報と輝度情報を取得できるが、ＣＣＤ２９Ｂ（白黒ＣＣＤ）は輝度情報のみ取得できるようにしてもよい。あるいは、ＣＣＤ２９Ｂは、赤外領域を受光可能な白黒ＣＣＤとし、特許文献６のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。

以下では、ステレオマッチングを可能にするため、ＣＣＤ２９Ａ、Ｂからの画像データＡ、Ｂの双方は少なくとも輝度情報を含むものとする。さらに、３次元画像に色情報を付加するため、画像データＡ、Ｂの少なくとも一方は色情報を含むものとする。ここでは説明の簡略のため、撮影部２０Ａ（第１カメラ）からの画像データＡは輝度情報と色情報を含み、撮影部２０Ｂ（第２カメラ）からの画像データＢは輝度情報のみを含むものとする。このような構成にすることにより撮影部２０Ｂのコストを低減することができる。ただし、スルー画を白黒で表示する場合、画像データＡの色情報は必須でない。

また、画像データＡの解像度はモニタ１８の表示解像度以上であり、かつ、画像データＢの解像度はモニタ１８の表示解像度よりも低いものとする。つまり、３次元画像をモニタ１８に表示するには、距離情報の算出と、取得された画像データに対するサイズ調整が必要であり、そのための処理に時間を要する。

３次元画像処理部４５は、ＣＣＤ１６から取得された画像データＡに、距離算出部８４の算出した距離情報を適用することで、画像データＡや画像データＢの視点位置とは異なる仮想的な視点位置に対応する（一定の視差量を有する）画像データＢ’を生成することもできる。これは特許文献７と同様である。また、距離情報からの３次元画像生成は、特許文献３〜６のような公知技術に基づいて行うことができる。

画像データＡの視点位置と画像データＢ’の視点位置のずれ（視差量）は、固定値または任意の設定値のいずれでもよい。例えば、３次元画像処理部４５は、操作部３３から設定された視差量に応じて、仮想的な画像データＢ’を生成する。あるいは、メモリ部３１に記憶された固定の視差量に応じて、仮想的な画像データＢ’を生成する。

あるいは、３次元画像処理部４５は、ＡＦ処理で合焦したＡＦ領域内の被写体距離の遠近に応じた視差量を設定し、この設定された視差量に応じて、仮想的な画像データＢ’を生成する。具体的には、３次元画像処理部４５は、合焦被写体までの距離が遠ければ、外挿によりそれだけ視差量を多くする。すなわち、デフォーカス量が０になる合焦被写体までの距離が遠く、立体感が出にくい場合には、視差量を増やし、立体感を持たせることができる。適正な視差量でユーザに立体画像を閲覧させるため、視差量を増大する上限を設けてもよい。さらに、３次元画像処理部４５は、合焦被写体までの距離が近ければ、内挿によりそれだけ視差量を少なくすることもできる。

いずれにせよ、３次元画像処理部４５は、画像データＡとの間で所望の視差量を有するよう、ステレオマッチングされた画像データＡ・画像データＢ間の対応点の３次元座標値（距離情報）の内挿または外挿により、画像データＢ’（中間位置画像、右外画像、または左外画像）を求めることができる。よって、撮影部２０Ａ・撮影部２０Ｂ間の基線長が小さく、立体感が弱くなるときでも、視差量を所望の値に拡大した立体スルー画を遅延なく出力できる。

３次元画像処理部４５は、撮影部２０Ａから取得された画像データＡに、距離算出部４４の算出した距離情報を適用することで、撮影部２０Ｂの視点位置に対応する仮想的な画像データＢ’を生成する。３次元画像処理部４５は、画像データＡと画像データＢ’から３次元画像データを生成する。この仮想的な画像データＢ’の生成と３次元画像データの生成を新たな画像データＡの取得の度に繰り返すことでスルー画がモニタ１８に継続的に表示される。距離情報と２次元画像（撮影部２０Ａの画像データＡ）から３次元画像を生成するための手法は任意であり、例えば特許文献２、４、６のような公知の技術に基づいて行うことができる。

モニタ１８による３次元画像の表示方法も任意であり、アナグリフ方式、偏光眼鏡方式、レンチキュラレンズ方式、パララックスバリア方式など公知の表示方法が採用されうる。

図３は本発明の好ましい第１実施形態に係るスルー画表示処理のタイミングチャートを示す。この処理は撮影モードが「静止画記録」または「動画記録」に設定されたことに応じて開始される。

Ｓ１では、ＣＰＵ３２は、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ１コマ目の左右の画像データＡ・Ｂが取得されるよう制御する。

Ｓ２では、ＣＰＵ３２は、ステレオマッチング処理部４３と距離算出部４４にステレオマッチングと距離情報の算出を行わせる。ステレオマッチング処理部４３は、取得された１コマ目の左右の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部４４は、ステレオマッチング処理部４３によって検出された対応点ごとの距離情報を算出する。本実施形態において、このステレオマッチングと距離情報の算出に要する時間は左右の画像データの取得間隔に相当するものとする。

ＣＰＵ３２は、このステレオマッチングと距離情報の算出の間に、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ２コマ目の左右の画像データが取得されるよう制御する。

Ｓ３では、３次元画像処理部４５は、撮影部２０Ａから取得された２コマ目の画像データＡに、距離算出部４４の算出した１コマ目の画像データＡに関する距離情報を適用し、撮影部２０Ｂの視点位置に対応する仮想的な画像データＢ’を生成する。仮想的な画像データＢ’は撮影部２０Ｂから直接撮影された画像ではないが、撮影部２０Ａが撮影部２０Ｂの視点位置に置かれて撮影されたと仮定した場合と同等の画像情報（輝度情報および色情報）を有する。そして３次元画像処理部４５は、２コマ目の画像データＡと仮想的な画像データＢ’とに基づき、１コマ目の３次元画像データを生成する。表示制御部３５は、３次元画像処理部４５の生成した３次元画像データをモニタ１８に表示させる。

以下同様、レリーズボタン１９が全押しされるまで、ｎ（ｎ＝１、２、３・・）コマ目の左右の画像データＡ・Ｂから距離情報を算出し、撮影部２０Ａから取得されたｎ＋１コマ目の画像データＡとｎコマ目の画像データＡ・Ｂに対応する距離情報とに基づいて仮想的な画像データＢ’を生成した上でｎコマ目の３次元画像データを生成しモニタ１８にスルー画像として表示することを繰り返す。

このように、前のコマについて算出された距離情報を用いて後のコマの視点画像からスルー画を表示するため、距離情報の算出待ちにより最新のスルー画の表示の遅れが発生することを防止できる。なお、距離情報の算出対象の画像データと３次元画像の生成元の画像データとは取得タイミングが異なるため、スルー画での被写体の３次元位置は実際とは異なるが、１コマ分の画像データの取得時間に相当するずれのため観察者から見て被写体位置の違いは小さいと考えられる。

３次元画像処理部４５が所望の視差量ｄを有する１組の視差画像である画像データＡ’・Ｂ’を生成する方法として、次の３つのパターンのうちのいずれが採用されてもよい。

（１）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＡの各画素の座標・画像データＢの各画素の座標を、それぞれｄ／２だけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＡの各画素の座標・画像データＢの各画素の座標を、それぞれｄ／２だけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＡの画素数と画像データＢの画素数が同等の場合に有効である。

（２）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＢの各画素の座標を、ｄだけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＢの各画素の座標を、ｄだけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＡの画素数が画像データＢの画素数よりも多い場合に有効である。この場合、ｎ＋１コマ目の画像データＡ’は、ｎ＋１コマ目の画像データＡと同じであってもよい。また、特許文献２と同様にして、画像データＢ’の画素数を画像データＡ’と同等にすることができる。

（３）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＡの各画素の座標を、ｄだけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＡの各画素の座標を、ｄだけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＢの画素数が画像データＡの画素数よりも多い場合に有効である。この場合、ｎ＋１コマ目の画像データＢ’は、ｎ＋１コマ目の画像データＢと同じであってもよい。また、特許文献２と同様にして、画像データＡ’の画素数を画像データＢ’と同等にすることができる。

撮影部２０Ａ・撮影部２０Ｂ間の基線長が小さいと、画像の立体感が弱めになりやすい。撮影された画像でステレオマッチングや視差情報の外挿または内挿の処理などの画像処理を施して視差量を調整することは可能であるが、画像処理時間の増大によりスルー画の表示が遅れる。近年では、ファインダーのないカメラが主流であり、スルー画表示が遅れると、シャッターチャンスを逃す可能性があり、使いにくい。

そこで、３次元画像処理部４５は、画像データＡ・Ｂの間で所望の視差量ｄを有するよう、ステレオマッチングされた画像データＡ・Ｂ間の対応点の３次元座標値（距離情報）の内挿または外挿により、画像データＢ’（中間位置画像、右外画像、または左外画像）を求める。よって、撮影部２０Ａ・撮影部２０Ｂ間の基線長が小さく、立体感が弱くなるときでも、視差量を所望の値に拡大した立体スルー画を遅延なく出力できる。

さらに、被写体の距離情報の外挿・内挿に基づいて所望の視差を有する視点画像の組を生成する代わりに、視差マップ（基準の視点画像、例えば画像データＡから、別の視点画像、例えば画像データＢへの対応点までの視差で、別の視点画像を表したもの）の外挿・内挿に基づいて所望の視差を有する視点画像の組を生成することもできる。すなわち、距離算出部８４は、ｎコマ目に対応する画像データＡと画像データＢの間の対応する画素ごとの視差を示す視差マップを算出する。視差マップの算出は、ステレオマッチングなどで行われる。３次元画像処理部４５は、ｎコマ目に対応する視差マップの各画素の視差を外挿または内挿することで仮想視差マップを生成する。ｎコマ目の仮想視差マップに基づくｎ＋１コマ目の画像データＡおよび／または画像データＢの各画素の移動は、上記の３パターンと同様、ｎ＋１コマ目に対応する画像データＡおよび画像データＢの双方またはいずれか一方について行う。このように、視差マップの各画素の視差の外挿または内挿によっても、所望の視差を有する視点画像の組を生成することができる。

以下、説明の簡略のため、被写体の距離情報について記述するが、視差マップについても同様の処理が成り立つ。

＜第２実施形態＞
ステレオマッチングと距離情報の算出に要する時間が、１コマ分の左右の画像データＡ・Ｂの取得間隔よりも長い場合、ｎ＋１コマ目の画像データにｎコマ目の距離情報を適用して３次元画像を生成することはできない。そこで、距離情報の算出以後に取得される複数のコマの画像データに、当該算出された同一の距離情報を適用して複数コマの３次元画像データを生成する。

図４は本発明の好ましい第２実施形態に係るスルー画表示処理のタイミングチャートを示す。

Ｓ１１はＳ１と同様であり、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ１コマ目の左右の画像データＡ・Ｂが取得される。

Ｓ１２はＳ２と同様であり、ステレオマッチング処理部４３は、取得された１コマ目の左右の画像データＡ・Ｂに基づいてステレオマッチングを行う。ただし２コマ目の左右の画像データＢはメモリ部３１に保存されず廃棄される。距離算出部４４は、ステレオマッチング処理部４３によって１コマ目の画像データＡ・Ｂから検出された対応点の距離情報（距離情報）を算出する。このステレオマッチングと距離情報の算出に要する時間が左右の画像データの取得間隔を超え、例えば２倍に相当するとする。すなわち、第１実施形態と異なり、距離情報の算出は、前のコマの画像の取得から次のコマの画像が取得までの間に完了しない。

Ｓ１３では、ＣＰＵ３２は、このステレオマッチングと距離情報の算出の間に、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ３コマ目の左右の画像データＡ・Ｂが取得されるよう制御する。

Ｓ１４では、３次元画像処理部４５は、撮影部２０Ａから取得された３コマ目の画像データＡに、距離算出部４４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を適用し、撮影部２０Ｂの視点位置に対応する仮想的な画像データＢ’を生成する。そして、３コマ目の画像データＡと画像データＢ’とに基づき、１コマ目の３次元画像データを生成し表示制御部３５は、生成された３次元画像データをモニタ１８に表示する。

この間、ＣＰＵ３２は、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ４コマ目の左右の画像データが取得されるよう制御する。またＣＰＵ３２は、３コマ目の画像データＡ・Ｂに基づくステレオマッチングおよび距離情報の算出を開始するよう制御する。

Ｓ１５では、３次元画像処理部４５は、撮影部２０Ａから取得された４コマ目の画像データＡに、距離算出部４４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を適用し、撮影部２０Ｂの視点位置に対応する仮想的な画像データＢ’を生成する。そして、４コマ目の画像データＡと画像データＢ’とに基づき、２コマ目の３次元画像データを生成し、表示制御部３５は、生成された３次元画像データをモニタ１８に表示する。

この間、ＣＰＵ３２は、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ５コマ目の左右の画像データが取得されるよう制御する。

以下同様、レリーズボタン１９が全押しされるまで、繰り返して、ｎ（ｎ＝１、２、３・・）コマ目の左右の画像データＡ・Ｂから距離情報を算出し、撮影部２０Ａから取得されたｎ＋２コマ目の画像データＡとｎコマ目の画像データＡ・Ｂに対応する距離情報とに基づいてｎコマ目の３次元画像データを生成しモニタ１８にスルー画像として表示する。さらに、撮影部２０Ａから取得されたｎ＋３コマ目の画像データＡとｎコマ目の画像データＡ・Ｂに対応する距離情報とに基づいてｎ＋１コマ目の３次元画像データを生成しモニタ１８にスルー画像として表示する。

これにより、距離情報の算出待ちによりスルー画の表示の遅れが発生することをより効果的に防止できる。また、距離算出よりスルー画の表示のフレームレートを早くすることができる。

＜第３実施形態＞
第１・２実施形態において、画像の解像度が高いなどの理由で座標値算出に時間がかかったり、画像の色情報など画像データの情報量によって座標値算出時間が変化する場合、スルー画のコマが定期的に表示されなくなる。そこで、座標値算出が所定の割合完了した時から次のコマの左右画像データの取得を開始してもよい。

図５は本発明の好ましい第３実施形態に係るスルー画表示処理のタイミングチャートを示す。

Ｓ２１はＳ１１と同様であり、ＣＰＵ３２は、撮影モードの設定に応じて、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ１コマ目の左右の画像データＡ・Ｂを取得するよう制御する。

Ｓ２２はＳ１２と同様であり、ステレオマッチング処理部４３は、取得された１コマ目の左右の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部４４は、ステレオマッチング処理部４３によって画像データＡ・Ｂから検出された対応点の距離情報を算出する。

Ｓ２３では、ＣＰＵ３２は、座標値算出が所定の割合完了した時、例えば７割完了した時点で、撮影部２０Ａと撮影部２０Ｂからそれぞれ２コマ目の左右の画像データＡ・Ｂの取得を開始するよう制御する。画像データＡ・Ｂの取得開始と連動する座標値算出の完了割合をどのように設定するかは任意である。例えば、１コマ目の左右の画像データＡ・Ｂに対応する座標値算出開始後のある時点から距離情報の完全な算出完了までの時間の長さが、画像データの取得完了に必要な時間と略一致する場合、その時点が到来した時点で、撮影部２０Ａと撮影部２０Ｂからそれぞれ２コマ目の左右の画像データの取得を開始するよう制御するとよい。こうすると画像データの取得後ただちに３次元画像を生成することができる。

Ｓ２４では、ＣＰＵ３２は、２コマ目の画像データＡに距離算出部４４から算出された１コマ目の画像データＡ・Ｂに対応する距離情報を適用し仮想的な画像データＢ’を生成するよう３次元画像処理部４５を制御する。３次元画像処理部４５は、２コマ目の画像データＡと画像データＢ’とに基づいて１コマ目の３次元画像データを生成する。表示制御部３５から得られた１コマ目の３次元画像データはモニタ１８に出力されスルー画像として表示される。

この間、ＣＰＵ３２は、２コマ目の左右の画像データＡ・Ｂに対応するステレオマッチングと距離情報の算出を開始するようステレオマッチング処理部４３および距離算出部４４を制御する。

以後同様、ＣＰＵ３２は、撮影部２０Ａと撮影部２０Ｂからそれぞれ取得されたｎコマ目の左右の画像データＡ・Ｂに基づく距離情報算出が所定の割合完了した時点で、撮影部２０Ａと撮影部２０Ｂからそれぞれｎ＋１コマ目の左右の画像データＡ・Ｂを取得するよう制御する。さらにＣＰＵ３２は、取得されたｎ＋１コマ目の画像データＡに距離算出部４４から算出されたｎコマ目の画像データＡ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成し、ｎ＋１コマ目の画像データＡと画像データＢ’とに基づいてｎコマ目の３次元画像データを生成するよう３次元画像処理部４５を制御する。

このように、距離情報の算出タイミングに応じて各コマの画像の取得間隔を可変にすることで、最新の画像データによる３次元画像の素早い生成が可能となる。

＜第４実施形態＞
第３実施形態において、ステレオマッチング処理部４３および距離算出部４４のセットが複数存在し、複数のコマの画像データの各々について独立した距離情報算出の並列処理が可能な場合は、最新コマの画像データの取得時に距離情報算出を実行していない、空いているセットに対して最新コマに対応する距離情報算出を実行するよう制御するとよい。

図６は本発明の好ましい第４実施形態に係るデジタルカメラ１のブロック図を示す。説明済みのブロックと同一のブロックには同一の符号を付している。このデジタルカメラ１は、複数セット、ここでは一例として２セットのステレオマッチング処理部４３ａおよび距離算出部４４ａ、ステレオマッチング処理部４３ｂおよび距離算出部４４ｂを有する。

図７は本発明の好ましい第４実施形態に係るスルー画表示処理のタイミングチャートを示す。

Ｓ４１では、ＣＰＵ３２は、撮影モードの設定に応じて、撮影部２０Ａ（第１カメラ）と撮影部２０Ｂ（第２カメラ）からそれぞれ１コマ目の左右の画像データＡ・Ｂを取得するよう制御する。

Ｓ４２では、ＣＰＵ３２は、ステレオマッチング処理部４３ａ・距離算出部４４ａに、１コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ステレオマッチング処理部４３ａは、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部４４ａは、ステレオマッチング処理部４３ａによって検出された対応点の距離情報を算出する。

同時に、ＣＰＵ３２は、撮影部２０Ａと撮影部２０Ｂからそれぞれ２コマ目の左右の画像データＡ・Ｂを取得するよう制御する。

Ｓ４３では、ＣＰＵ３２は、ステレオマッチング処理部４３ｂ・距離算出部４４ｂに、２コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ステレオマッチング処理部４３ｂは、取得された２コマ目の左右の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部４４ｂは、ステレオマッチング処理部４３によって２コマ目の画像データＡ・Ｂから検出された対応点の距離情報を算出する。

ステレオマッチング処理部４３ｂ・距離算出部４４ｂによる距離情報の算出の開始時に、ステレオマッチング処理部４３ａ・距離算出部４４ａによる距離情報の算出が継続していてもよく、双方の距離情報の算出は独立無関係に行われる。

さらにＣＰＵ３２は、撮影部２０Ａと撮影部２０Ｂからそれぞれ３コマ目の左右の画像データＡ・Ｂを取得するよう制御する。

Ｓ４４では、ＣＰＵ３２は、Ｓ４２で算出された１コマ目の画像データＡ・Ｂに対応する距離情報をＳ４３で取得された３コマ目の画像データＡに適用して仮想的な画像データＢ’を生成し、３コマ目の画像データＡと画像データＢ’とに基づいて１コマ目の３次元画像を生成するよう３次元画像処理部４５を制御する。

同時に、ＣＰＵ３２は、ステレオマッチング処理部４３ａ・距離算出部４４ａに、３コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ただし、３コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始するまでに、１コマ目の画像データＡ・Ｂに対応する距離情報の算出は完了しているものとする。２コマ目の画像データＡ・Ｂに対応する距離情報の算出は完了していなくてもよい。

以下同様、ＣＰＵ３２は、ｎコマ目（ｎ＝１，２，．．）の３次元画像を生成するよう３次元画像処理部４５を制御する。ｎが奇数であれば、ＣＰＵ３２は、ステレオマッチング処理部４３ａ・距離算出部４４ａに、ｎコマ目に取得された画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御し、ｎが偶数であれば、ＣＰＵ３２は、ステレオマッチング処理部４３ｂ・距離算出部４４ｂに、ｎコマ目に取得された画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。

そして、ＣＰＵ３２は、ｎコマ目の画像データＡ・Ｂに対応する距離情報をｎ＋２コマ目の画像データＡに適用して仮想的な画像データＢ’を生成した上、ｎコマ目の画像データＡと仮想的な画像データＢ’に基づいてｎコマ目の３次元画像を生成するよう３次元画像処理部４５を制御する。３次元画像処理部４５から得られたｎコマ目の３次元画像データはモニタ１８に出力されスルー画像として表示される。

ステレオマッチング処理部４３および距離算出部４４のセットが３つ以上である場合も同様にして、空いているステレオマッチング処理部４３・距離算出部４４のセットで処理し、いずれかのセットで算出済みの最新の距離情報と取得済みの最新の画像データＡとから仮想的な画像データを生成した上で３次元コマ画像を生成する。左右画像データＡ・Ｂの取得間隔に対応して必要十分なセットの数は距離情報の算出時間間隔に依存する。図７では一例として当該算出時間が左右画像データの取得間隔の１．５倍程度であるため、２コマ分の画像データを別個に処理する２セットで十分である。

このように、複数のステレオマッチング処理部４３および距離算出部４４のセットで異なるコマの画像データの距離情報を別個に算出させることで、距離情報の算出に１コマ分の取得間隔以上かかる場合でもスルー画の表示遅れを防止できる。

＜第５実施形態＞
第１〜４実施形態において、レリーズボタン１９の全押しに応じて３次元画像の再生情報を記録するには次のようにする。

図８は本発明の好ましい第５実施形態に係る動画記録処理のタイミングチャートを示す。この処理は撮影モードが「動画撮影」に設定されており、レリーズボタン１９の全押しなど動画記録開始指示が入力されたことに応じて開始する。

Ｓ５１・５２はＳ１・２と同様である。この結果１コマ目の画像が取得されるとともに１コマ目の画像に対応する距離情報が得られる。

Ｓ５３では、Ｓ５１で取得された１コマ目の画像Ａに画像Ａ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成した上、１コマ目の画像Ａと画像Ｂ’から３次元画像を生成し、当該生成された３次元画像を記録するようメディア制御部３７を制御する。その他はＳ３と同様である。

以下同様にして、動画記録終了指示が入力されるまで、スルー画の表示と３次元画像の記録が継続される。３次元画像の再生情報として、各コマの画像と距離情報とをそのまま対応づけて記録するだけでもよい。この再生情報に基づいて、再生時に３次元画像を生成することも可能だからである。再生情報から３次元画像を生成する回路は３次元画像処理部４５でもよいし、それとは異なる回路でもよい。また、外部記録メディア３６に記録するタイミングも任意であり、得られた画像を順次記録してもよいし、動画記録終了指示が入力されたことに応じて一括して記録してもよい。前者の場合は、各コマの視点画像が取得されるタイミングに合わせて各コマの３次元画像の生成が行われることが好ましい。

再生情報の記録についてはスルー画の表示のように実時間からの遅れは問題にならないため、第１実施形態のようにスルー画を表示するのと平行して、３次元画像の再生情報を記録する。記録される再生情報については距離情報と画像情報のずれは生じない。

＜第６実施形態＞
第１〜５実施形態において、距離情報と色情報が同一のコマ画像に由来して取得されないため、３次元画像の立体感が実際の被写体の奥行きと異なる場合がある。この立体感のずれを軽減するには、次のようにする。

ぼかし処理部４６は、隣接する画素間の距離情報同士を比較し、隣接する画素間の距離情報の差が所定の閾値を超える場合、当該隣接する画素に対応する距離情報をぼかす。例えば、ぼかし処理部４６は、当該隣接する画素に対応する距離情報を平滑化する。

第１〜５実施形態と異なり、３次元画像処理部４５は、距離算出部４４の算出した距離情報の代わりに、ぼかし処理部４６で平滑化された距離情報を画像データＡに適用して、仮想的な画像データＢ’を生成し、３次元画像データを生成する。これにより、３次元画像において被写体の輪郭部分と奥行きの変化が生じる部分とのずれが目立つのを防止できる。

３２…ＣＰＵ、３５…表示制御部、４３…ステレオマッチング処理部、４４…距離算出部、４５…３次元画像処理部、４６…ぼかし処理部

Claims (14)

1. 視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する撮像素子で光電変換し、前記第１光学系の被写体像に対応する視点画像である第１画像および前記第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部と、
   時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
   前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、
   前記第２の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第２光学系の位置における仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成する立体画像生成部と、
   を備える撮像装置。
2. 前記撮像制御部は、前記第１の時点よりも後の異なる複数の第２の時点の各々で前記視点画像の組が順次出力されるよう前記撮像部を制御し、
   前記立体画像生成部は、前記複数の第２の時点で各々出力された複数の視点画像の組に含まれる複数の第１画像に前記第１の時点に対応する視差情報を適用して前記第２光学系の位置における複数の仮想第２画像を生成し、前記複数の第２の時点で各々出力された第１画像と対応する前記複数の仮想第２画像から複数の立体画像を順次生成する請求項１に記載の撮像装置。
3. 前記撮像制御部は、前記視差情報算出部による前記第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう前記撮像部を制御する請求項１に記載の撮像装置。
4. 前記視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する請求項１に記載の撮像装置。
5. 前記撮像装置は、所定の記録指示が入力されたことに応じ、前記第１の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第２光学系の位置における仮想第２画像を生成し、前記第１の時点で出力された第１画像と前記仮想第２画像に基づいて立体画像の再生情報を記録する記録部を備える請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記立体画像生成部の生成した立体画像を表示する表示部を備える請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記第２画像の解像度は前記第１画像の解像度よりも低くかつ前記表示部の表示解像度よりも低い請求項６に記載の撮像装置。
8. 前記第１画像は輝度情報および色情報を含み、前記第２画像は輝度情報のみを含む請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記視差情報をぼかすぼかし処理部を備え、
   前記立体画像生成部は、前記ぼかし処理部によりぼかされた前記第１の時点に対応する視差情報を前記第２の時点で出力された第１画像に適用して前記第２光学系の位置における仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成する請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記立体画像生成部は、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む請求項１０に記載の撮像装置。
12. 視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する複数の撮像素子の各々で光電変換し、前記第１光学系の被写体像に対応する視点画像である第１画像および前記第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部を備える撮像装置が、
    時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御するステップと、
    前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、
    前記第２の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第２光学系の位置における仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成するステップと、
    を実行する撮像方法。
13. 視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する撮像素子で光電変換し、前記第１光学系の被写体像に対応する視点画像である第１画像および前記第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部と、
    時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
    前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、
    前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する立体画像生成部と、
    を備える撮像装置。
14. 視差を有する第１光学系および第２光学系の各々を介して結像した被写体像を各々対応する複数の撮像素子の各々で光電変換し、前記第１光学系の被写体像に対応する視点画像である第１画像および前記第２光学系の被写体像に対応する視点画像である第２画像からなる視点画像の組を継続的に出力可能な撮像部を備える撮像装置が、
    時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御するステップと、
    前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、
    前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成するステップと、
    を実行する撮像方法。

Images