JP2014228727A

JP2014228727A - 撮像装置およびその制御方法

Info

Publication number: JP2014228727A
Application number: JP2013108818A
Authority: JP
Inventors: 高橋　和彦; Kazuhiko Takahashi; 和彦高橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-23
Filing date: 2013-05-23
Publication date: 2014-12-08
Anticipated expiration: 2033-05-23
Also published as: JP6071748B2

Abstract

【課題】撮影中の画像の表示時において焦点調節に要する合焦時間を短縮可能な撮像装置、および、その制御方法を提供する。【解決手段】撮像装置は、撮像素子による左像（左目用画像）データおよび右像（右目用画像）データから表示用画像データを生成する画像生成部Ｒ１００と、表示用画像データを取得して表示するライブビュー表示部Ｒ２００を備える。被写体特定部Ｒ３００は、撮影画像中の被写体像を特定する。被写体距離算出部Ｒ４００は、特定された被写体を示す情報を被写体特定部Ｒ３００から取得し、左像および右像のデータを用いて撮像装置から被写体までの距離を算出する。レンズ駆動部１２２は、制御方式切替部Ｒ６００を介して、撮像装置から被写体までの距離情報を取得し、被写体距離算出部Ｒ４００が算出した距離に位置する被写体にピントを合わせるためにフォーカスレンズを移動させる。【選択図】図１

Description

本発明は、立体画像撮影が可能な撮像装置とその制御方法に関し、特に、ライブビュー表示時のオートフォーカス（自動焦点調節）制御に関するものである。

視差を利用した立体的な画像を観測可能な立体画像撮像装置では、異なる位置に撮像素子を配置し、複数の光路を経た画像を取り込む。これにより、同一被写体について視差の異なる画像データを取得し、左目用画像および右目用画像として表示することができる。特許文献１では、２つの光学手段と２つの撮像素子を使い、ステレオ画像を取得する装置が開示されている。また特許文献２では、１つの光学手段を使い、ステレオ画像を取得する方法が開示されている。

ところで、撮像装置には、ユーザが被写体を装置背面のモニタ部で観察しながら撮影する、いわゆるライブビュー表示機能がある。ライブビュー表示を行いつつ、撮像光学系の合焦動作を行う方法として、従来からコントラストＡＦ（オートフォーカス）方式が知られている。特許文献３には、左目用画像と右目用画像に係る２つの光学系の合焦に関して、コントラスト値が最大となるようにフォーカスレンズ位置を制御する方法が開示されている。また特許文献４には、撮像素子を構成する画素の一部に瞳分割された一対の焦点検出専用画素が複数配置された撮像装置が開示されている。特許文献５には、左目用画像と右目用画像について水平方向の相関演算を行うことにより画像ズレ量を求め、視差を利用してデフォーカス量を算出し、フォーカスレンズ位置を制御する方法が開示されている。

特開平０１−２０２９８５号公報特開昭５８−２４１０５号公報特開２０１０−２０４３８５号公報特開２０１３−５４１３６号公報特開２０１３−４１１０３号公報

コントラストＡＦ方式では、フォーカスレンズを光軸方向に移動させてコントラスト値が最大となる位置を逐次的に探索する必要があるため、合焦までに時間がかかるという課題がある。さらに、被写体のコントラストが低い場合、コントラスト値が最大となる位置を見つけられないと合焦制御ができないという課題もある。

また、焦点検出専用画素を配置して位相差検出を行う撮像装置の場合、焦点検出専用画素の位置にある画素情報が得られないので、画素欠損を回避すべく当該画素の周囲の画素から補間予測する必要がある。そのため、高画質な画像が得られにくい。左目用画像と右目用画像との相関演算によりデフォーカス量を算出する方法は、被写体のコントラストが低い場合に、画像の相関演算を行えないと合焦できない。また、被写体が周期的な模様を有する場合、画像の相関が高い位置が周期的に存在するため、複数の候補から１つに絞り込むことができないと合焦できないという課題がある。
本発明の目的は、撮影中の画像の表示時において焦点調節に要する合焦時間を短縮可能な撮像装置およびその制御方法を提供することである。

上記課題を解決するために、本発明に係る装置は、各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を撮像素子が備え、該撮像素子の出力する像信号を用いて撮像光学系の焦点調節を行う撮像装置であって、前記撮像素子から取得した複数の像信号から左目用画像および右目用画像を含む画像データを生成する画像生成手段と、前記画像データを取得して画像を表示する表示手段と、前記画像データを取得して被写体像を特定する被写体特定手段と、前記画像データおよび前記被写体特定手段により特定された被写体を示す情報を取得し、前記左目用画像および右目用画像に含まれる被写体像について当該画像間の像ズレ量を算出し、前記被写体の視差により当該被写体までの距離を算出する被写体距離算出手段と、前記表示手段が撮像された画像を表示しているときに、前記撮像光学系を構成する焦点調節用レンズを移動させることにより、前記被写体距離算出手段が算出した前記距離にピントを合わせるレンズ駆動手段を備える。

本発明によれば、撮影中の画像の表示時において焦点調節に要する合焦時間を短縮できる。

本発明の第１実施形態の機能ブロック図である。本発明の実施形態に共通する撮像装置の構成例を示す図である。図２の撮像素子の構成例を説明する図である。図２の撮像素子の画素配置を模式的に示す図である。図２の撮像素子の受光の様子を説明する模式図である。本発明の実施形態におけるライブビュー撮影処理を説明するフローチャートである。本発明の第１実施形態における焦点調節動作を説明するフローチャートである。本発明の第２実施形態の機能ブロック図である。本発明の第２実施形態における焦点調節動作を説明するフローチャートである。被写体指示部の機能を説明するために画面例を示す模式図である。

以下に、本発明の各実施形態を添付図面に基づいて説明する。
まず、各実施形態に共通する装置構成について、図２ないし図４を参照して説明する。図２は、立体画像撮像装置の構成例を概略的に示すブロック図である。立体画像撮像装置は、例えば、立体撮影が可能なデジタルカメラである。
図２に示す装置本体１００はレンズ部を備えるか、または着脱可能なレンズ装置が装着される。ＣＰＵ（Central Processing Unit）１０９は撮像装置全体を制御する。電源１１０は、装置本体１００内の各回路に電源を供給する。カードスロット１２０には、着脱可能な記録媒体であるメモリカード１２１を差し込むことができる。メモリカード１２１をカードスロット１２０に差し込んだ状態で、メモリカード１２１はカード入出力部１１９と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード１２１を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。

レンズ部を構成するレンズ群のうち、図２にはレンズ１０１，１０２だけを示す。レンズ１０２は焦点調節用レンズ（フォーカスレンズ）であり、光軸方向に進退して焦点調節を行う。レンズ群を介して入射する光に対して、絞り１０３は撮像素子１０５への光量を調節する。レンズ１０１，１０２および絞り１０３は、撮像光学系を構成する。撮像素子１０５、画像信号処理部１０７、フレームメモリ１０８は光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体像をデジタル画像信号や画像データに変換する。なお、撮像光学系のレンズ１０２や絞り１０３等の駆動機構部については図示および説明を省略する。

撮像素子１０５は撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子１０５には、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いる。撮像素子１０５は電子シャッタ機能を有し、露光時間を調整することができる。または、電子シャッタ機能に代えて、機械式シャッタで露光時間を調整する構成でも構わない。撮像素子１０５は各マイクロレンズに対して複数のフォトダイオード（以下、ＰＤと略記する）を配置した構成を有する。第１ＰＤ選択合成部１０６は撮像素子１０５の画素データ処理を行い、処理結果を画像信号処理部１０７に出力する。第１ＰＤ選択合成部１０６は、複数のＰＤの出力から必要な画像信号を選択する機能と、選択したＰＤによる画像信号を合成して出力する機能を有する。なお、図２では第１ＰＤ選択合成部１０６を撮像素子１０５内に設けているが、撮像素子１０５の外部に設けてもよい。

図３は、本実施形態の撮像装置に適用した撮像素子の構成例を概略的に示す図である。図３（Ａ）は、撮像素子１０５の全体構成を示す。撮像素子１０５は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Digital）変換器等を列毎に有する。
シリアルインタフェース（ＳＩ）部３０５は、各回路の動作モード等を、ＣＰＵ１０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１０５には、図３（Ａ）に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図３（Ｂ）は、撮像素子１０５の画素部の構成例を示す。画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のＰＤ４０２ａないし４０２ｉを有する。これらのＰＤは受光した光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図３（Ｂ）に示す例では、１つの画素部が備えるＰＤの数を９個とするが、ＰＤの数は２個以上の任意の数でよい。また、画素部４００は図示の構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチ等を備える。

図４は画素アレイの配置を例示する。画素アレイ３０１は、２次元画像データを出力するため、水平方向にＮ個、垂直方向にＭ個の画素部４００を２次元アレイ状に配列して構成される。各画素部４００はカラーフィルタを有する。例えば、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返しであり、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える複数の画素部４００は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。

次に、図４に示す画素構成を有する撮像素子の受光について説明する。図５は撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。画素アレイの断面５０１にて各画素部は、マイクロレンズ５０２、カラーフィルタ５０３、ＰＤ５０４および５０５を有する。ＰＤ５０４は図３（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ５０５は図３（Ｂ）中のＰＤ４０２ｃに相当する。
図５には撮影レンズの射出瞳５０６と、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９で示す。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子に入射する。射出瞳５０６における一部領域５０７、５０８は、分割された異なる領域である。光線５１０、５１１は、一部領域５０７を通過する光のうちで最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光のうちで最外周の光線である。射出瞳５０６からの光束のうち、光軸５０９を境にして、図５の上側に示す光束はＰＤ５０５に入射し、下側の光束はＰＤ５０４に入射する。つまり、ＰＤ５０４とＰＤ５０５は、撮影レンズの射出瞳５０６に対する別の領域の光をそれぞれ受光するという特性を有する。この特性によって、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。撮像装置は、視差のある２つの画像を左目用画像および右目用画像としてステレオ画像のデータ生成処理を実行し、ステレオ表示装置上に立体感のある画像を表示することができる。以下では左目用画像を「左像」とも呼び、右目用画像を「右像」とも呼ぶ。

図２に戻って説明を続けると、第１ＰＤ選択合成部１０６は、図３を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ部３０５を備える。第１ＰＤ選択合成部１０６は、ＣＰＵ１０９が設定する動作モードに従って動作する。この動作モードは、撮像装置において開始が検知された撮影の種別に応じて設定され、静止画モードと、通常ライブビューモードと、ステレオライブビューモードを含む。静止画モードで第１ＰＤ選択合成部１０６は、全てのＰＤの出力を画像データとして画像信号処理部１０７に出力する。また通常ライブビューモードで第１ＰＤ選択合成部１０６は、画素内の全てのＰＤ（図４（Ａ）参照）の出力に対して加算平均演算を行って、演算結果をその画素の出力値とする。ステレオライブビューモードは、ライブビュー右目モードおよびライブビュー左目モードを含む。ライブビュー右目モードの場合、第１ＰＤ選択合成部１０６は、図３（Ｂ）に示すＰＤ４０２ａ、４０２ｄ、４０２ｇの各出力に対応した加算平均値を算出し、これを画素の出力値とする処理が実行され、ライブビュー用の右目用画像データが生成される。またライブビュー左目モードの場合、第１ＰＤ選択合成部１０６は、図３（Ｂ）に示すＰＤ４０２ｃ、４０２ｆ、４０２ｉの各出力に対応した加算平均値を算出し、これを画素の出力値とする処理が実行され、ライブビュー用の左目用画像データが生成される。このように複数のＰＤの出力を加算合成し、これらの演算結果を１つの画素の出力とすることで、データ量を低減できる。

ライブビューモードの場合、フレームレートを高くするために、撮像素子１０５から出力するデータ量の低減が更に要求される。そのため、第１ＰＤ選択合成部１０６は、最近接位置での同じカラーフィルタの画素について加算平均演算を行って出力値とする。本実施形態では、ライブビュー時に、水平方向にて３画素の出力について平均し、垂直方向にて３画素毎に１画素を読み出す処理が実行される。これにより、データ量を９分の１に減らすことができる。その場合、使用する画素について図４を参照して具体的に説明する。ここで、図４にて第ｍ行第ｎ列目の画素部を「ｍ−ｎ画素部」と表記する。自然数変数ｍおよびｎの範囲はそれぞれ、Ｍ≧ｍ≧１，Ｎ≧ｎ≧１とする。
水平方向での３画素の出力に係る加算平均演算のために使用するのは、１行目の最初の赤色画素部、つまり１−１画素部、１−３画素部、１−５画素部の各出力である。前述のモードに応じて選択される各画素部の出力に対して、加算平均演算が行われて該当画素に対する値が算出される。次の赤色画素部である、１−７画素部，１−９画素部，１−１１画素部に対して同様に演算処理が実行される。１行目の最初の緑色画素部である、１−２画素部、１−４画素部、１−６画素部に対して同様に演算処理が実行される。垂直方向にて２画素分を間引く処理を行う場合、次の行は４行目となり、最初の緑色画素部である、４−１画素部、４−３画素部、４−５画素部に対して同様に演算処理が実行される。４行目の最初の青色画素部は４−２画素部、４−４画素部、４−６画素部であり、これらの画素に対して同様に演算処理が実行される。

図２の画像信号処理部１０７は、デジタル画像信号にシェーディング補正等の画像信号処理を施す。画像信号処理部１０７は、撮像素子１０５の特性に起因する画像濃度の非線形性や光源に起因する画像色の偏りを補正する。フレームメモリ１０８は、撮像素子１０５と画像信号処理部１０７によって生成される画像データを一時記憶するバッファメモリとして機能する。フレームメモリ１０８に格納される画像データは補正処理等が施されているが、撮像素子１０５の各画素部に蓄積された電荷のエネルギーをそのままデジタルデータ化にしたものに相当する。以下では、フレームメモリ１０８に格納された画像データをＲＡＷデータと呼ぶ。特に、静止画モードの場合に第１ＰＤ選択合成部１０６で取得したＲＡＷデータを、全ＰＤ−ＲＡＷデータと呼ぶ。また、ステレオライブビューモードの場合に第１ＰＤ選択合成部１０６で取得したＲＡＷデータを、両目用ＲＡＷデータと呼ぶ。両目用ＲＡＷデータについては、フレームレートを高くするために、各画素部内でＰＤの出力に加算平均演算が施されている。一方、全ＰＤ−ＲＡＷデータについては、後工程で各種画像処理にて該データを扱うために、画像データとして極力詳細な情報を得ることを目的としている。そのため、全ＰＤ−ＲＡＷデータについては選択処理や合成処理が行われずに、各画素部内の各ＰＤの出力情報に基づくデータが個別にフレームメモリ１０８に格納される。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼び、絞り１０３の設定値であるＡｖ、シャッタ速度Ｔｖ、ＩＳＯ感度等を含む。

第１ＰＤ選択合成部１０６は、立体視表示用の右目用画像データおよび左目用画像データを生成するデータ処理と、２次元表示用の画像データを生成するデータ処理を行う。以下では、右像のデータ生成に関連する第１モードを「右目選択合成モード」といい、左像のデータ生成に関連する第２モードを「左目選択合成モード」という。また、右像や左像に係るデータの選択合成処理に直接関与しない第３モードを「非選択合成モード」という。

バス１５０には、ＣＰＵ１０９、電源１１０、不揮発性メモリ１１１、現像処理部１１２、ＲＡＭ（Random Access Memory）１１３、表示制御部１１４、メインスイッチ１１６が接続される。ＣＰＵ１０９は撮像素子１０５の画像信号読み出しを制御し、撮像素子１０５からフレームメモリ１０８までの各部の動作タイミングを制御する。また、バス１５０には、ユーザがレリーズボタンにより操作するレリーズスイッチ１１７，１１８が接続されている。以下、第１レリーズスイッチ１１７を第１スイッチ、また第２レリーズスイッチ１１８を第２スイッチと略称する。第１スイッチ１１７の操作によって撮影準備動作が開始し、第２スイッチ１１８の操作により撮影動作が行われる。バス１５０に接続される操作部を構成するキー入力手段の操作部材として左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２、現像パラメータ変更ボタン１４３、ライブビュー開始／終了ボタン１４４を例示する。バス１５０にはさらに、カード入出力部１１９、レンズ駆動部１２２、第２ＰＤ選択合成部１５１が接続されている。レンズ駆動部１２２は、ＣＰＵ１０９の制御指示に従い、焦点調節用レンズ１０２を光軸方向に移動させる。

バス１５０にはさらにＵＳＢ（Universal Serial Bus）制御装置１２７と、ＬＡＮ（Local Area Network）制御装置１２９が接続されている。ＵＳＢ制御装置１２７は、ＵＳＢ端子１２８を介して、撮像装置と外部装置との間の通信を制御する。ＬＡＮ制御装置１２９は、有線ＬＡＮ端子１３０または無線ＬＡＮインタフェース部１３１を介して、撮像装置と外部装置との間の通信を制御する。
不揮発性メモリ１１１は、メインスイッチ１１６の操作により電源１１０が投入された時にカメラに設定する初期カメラ設定値を記憶している。不揮発性メモリ１１１は、電源１１０が遮断された場合でも記録データが失われないように、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成される。

第２ＰＤ選択合成部１５１は、フレームメモリ１０８上またはＲＡＭ１１３上のＲＡＷデータに対し、画素選択合成パラメータの設定に基づいて選択合成処理を行う。選択合成処理を施されたそれぞれの画像データは、ＲＡＭ１１３に格納される。画素選択合成パラメータとは、静止画用ＲＡＷデータに対してどのＰＤの出力を合成して１つの画素データとするかを示すパラメータである。つまり、第２ＰＤ選択合成部１５１の処理により、画素毎に合成されたＲＡＷデータが得られる。右像や左像の各データを生成するための画素を決定するＰＤの選択処理および合成処理については、第１ＰＤ選択合成部１０６の場合と同様である。本実施形態では、フレームメモリ１０８またはＲＡＭ１１３を経由して、ＲＡＷデータが第２ＰＤ選択合成部１５１へ入力されるが、画像信号処理部１０７から第２ＰＤ選択合成部１５１へＲＡＷデータが直接入力される形態でもよい。

現像処理部１１２は、ＣＰＵ１０９が読み出した、フレームメモリ１０８上またはＲＡＭ１１３上にある画素毎に生成されたＲＡＷデータに対して、現像パラメータ設定に基づいて画像処理を施す。現像パラメータとは、デジタル画像データの画質に関するパラメータであり、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度、画像圧縮等に関するパラメータを含む。以下では、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整または変更する処理を現像処理と呼ぶ。現像処理を施された各画像データは、例えば、ＹＵＶ４２２形式やＹＵＶ４１１形式の画像データとして、ＲＡＭ１１３に格納される。また、圧縮処理を含む現像処理が施された画像データは、例えば、ＪＰＥＧ形式の画像データとしてＲＡＭ１１３に格納される。ＪＰＥＧは“Joint Photographic Experts Group”の略号である。ＲＡＭ１１３は、現像処理結果である画像データの他、ＣＰＵ１０９が各種処理を行う際に使用するデータを一時的に記憶する。

表示制御部１１４は、立体視表示が可能な表示部１１５の駆動制御を行う。表示部１１５は、例えば液晶表示素子を有するＴＦＴディスプレイである。表示制御部１１４は、表示用の画像フォーマットに従って配置されたＲＡＭ１１３上の画像データを表示部１１５へ出力する。また、表示制御部１１４はＲＡＭ１１３に表示用の画像フォーマットで配置された画像データを、ビデオ出力端子１３２、Ｄ端子１３３、ＨＤＭＩ（登録商標）端子１３４等を介して外部装置へ出力する。ＨＤＭＩ（登録商標）は、“High Definition Multimedia Interface”の略号である。以下では、表示用の画像フォーマットを配置するＲＡＭ１１３をＶＲＡＭと呼ぶ。ステレオ表示を行うために、ＶＲＡＭには右目用ＶＲＡＭと左目用ＶＲＡＭがあり、それぞれ右目用画像データと左目用画像データを記憶する。これらの画像データを読み出すことで表示部１１５の画面上にステレオ画像を表示できる。

次に、撮像装置の動作を説明する。
ユーザがメインスイッチ１１６をオン操作すると、ＣＰＵ１０９はメモリから所定のプログラムを読み出して実行する。メインスイッチ１１６がオフ状態になると、所定のプログラムにしたがって撮像装置がスタンバイモードになる。第１スイッチ１１７は、レリーズボタンの第１ストローク（半押し）の操作でオン状態になり、第２スイッチ１１８は、レリーズボタンの第２ストローク（全押し）の操作でオン状態となる。ＣＰＵ１０９は、図２に例示した左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２等の各操作による指示信号と、撮像装置の動作状態に応じて各部を制御する。例えば、撮像装置の動作状態が再生状態であれば、左選択ボタン１４０で以前の画像データを表示し、右選択ボタン１４１で次の画像データを表示する制御が行われる。現像パラメータについては、現像パラメータ変更ボタン１４３でのメニュー操作によりグラフィカルユーザインタフェースで確認および設定を行える。また、ユーザがライブビュー開始／終了ボタン１４４を操作した場合、定期的（例えば１秒に３０回）に撮像素子１０５からＲＡＷデータを取り込み、現像処理してＶＲＡＭへ配置する処理が実行される。これにより、リアルタイムに撮像素子１０５から画像データを取り込んで画像表示を行うことができる。ライブビューの動作中に、ユーザがライブビュー開始／終了ボタン１４４を操作するとライブビューが終了する。

［第１実施形態］
次に本発明の第１実施形態を説明する。図１は、第１実施形態に係る機能ブロック図である。各ブロックの処理は、ＣＰＵ１０９によってメモリから読み出されて実行されるプログラムに従い、図２に示す各構成部を制御することで実現される。
画像生成部Ｒ１００は、ＣＰＵ１０９の制御下で第１ＰＤ選択合成部１０６や第２ＰＤ選択合成部１５１により処理される左像および右像の各データを入力とする。画像生成部Ｒ１００は表示用画像生成部Ｒ１０１を有し、表示用画像データを生成してライブビュー表示部Ｒ２００に出力する。また、画像生成部Ｒ１００は、コントラスト算出用画像生成部Ｒ１１３を有し、コントラスト算出用画像データを後述のコントラストＡＦ制御部Ｒ５００に出力する。また、画像生成部Ｒ１００は、左像および右像の各データを被写体距離算出部Ｒ４００に出力する。

ライブビュー表示部Ｒ２００は、画像生成部Ｒ１００から表示用画像データを取得し、撮影中の画像表示を行う機能ブロックである。ライブビュー表示部Ｒ２００は被写体指示部Ｒ２０１を有し、表示制御部１１４により表示部１１５を制御する。ライブビュー表示部Ｒ２００は、ユーザの操作指示信号や撮影モード等に応じて２次元画像または立体画像を表示部１１５の画面に表示する。例えば、２次元画像を表示する場合、左目用画像データと右目用画像データの一方から表示用画像データが生成されるか、または両者の加算合成処理により表示用画像データが生成される。またステレオ表示の場合、左目用画像、右目用画像が表示されて、ユーザの左目と右目に各々投影される。左目用画像と右目用画像における被写体像の視差量によって被写体像の見かけ上の奥行き量や飛び出し量が決定され、立体視効果が得られる。被写体指示部Ｒ２０１は、操作者が被写体をカメラに指示するためのユーザインターフェイスを備える。被写体指示部Ｒ２０１は被写体指示データを被写体特定部Ｒ３００に出力する。被写体指示データは、操作者が指示した被写体を特定するためのデータを含む。その詳細については後述する。

被写体特定部Ｒ３００は、被写体指示部Ｒ２０１から被写体指示データを取得して被写体を特定し、被写体データを被写体距離算出部Ｒ４００に出力する。被写体の特定とは、表示用画像のうち被写体像の領域を特定することである。被写体データの詳細については後述する。
被写体距離算出部Ｒ４００は、画像生成部Ｒ１００から左像と右像の各データを取得し、被写体データによって特定される被写体位置までの距離情報を算出する。以下では、カメラから被写体位置まで距離を「被写体距離」といい、被写体距離の情報を「被写体距離情報」という。被写体距離情報は制御方式切替部Ｒ６００を介してレンズ駆動部１２２に出力される。被写体距離算出部Ｒ４００は、撮像された左目用画像および右目用画像に含まれる被写体像について当該画像間の像ズレ量をステレオマッチング処理で算出する。被写体の視差に基づいて被写体距離を算出することができる。

レンズ駆動部１２２は、被写体距離算出部Ｒ４００から被写体距離情報を取得すると、被写体距離に従ってフォーカスレンズを駆動して焦点調節動作を行う。つまり、レンズ駆動部１２２は、被写体距離情報を用いて、フォーカスレンズと撮像素子との距離を結像公式により算出し、被写体にピントが合うようにフォーカスレンズを駆動する。１回のレンズ移動で被写体にピントを合わせられるので、逐次的な制御は不要であり、合焦までの時間を短縮できる。
コントラストＡＦ制御部Ｒ５００は、コントラストＡＦ方式の合焦制御を行う。コントラストＡＦ制御部Ｒ５００は、コントラスト算出用画像生成部Ｒ１１３からコントラスト算出用画像データを取得し、レンズ制御量の情報を出力する。制御方式切替部Ｒ６００は、被写体距離算出部Ｒ４００からの被写体距離情報、または、コントラストＡＦ制御部Ｒ５００からのレンズ制御量の情報を選択してレンズ駆動部１２２に出力する。

次に、図６および図７のフローチャートを参照して、本実施形態に係る撮像装置の動作を説明する。図６は、デジタルカメラのライブビュー撮影処理を説明するフローチャートである。Ｓ１００で処理が開始すると、次のＳ１０１でＣＰＵ１０９は、第２スイッチ１１８のオン／オフ状態を判定する。第２スイッチ１１８がＯＮ状態の場合、Ｓ１０２へ進み、ＯＦＦ状態の場合、Ｓ１１０へ進む。Ｓ１０２でＣＰＵ１０９により、第１ＰＤ選択合成部１０６のモードが非選択合成モードに設定され、Ｓ１０３へ進む。Ｓ１０３にて、その時の撮像パラメータで撮影が開始し、フレームメモリ１０８上に全ＰＤ−ＲＡＷデータを取得する処理が実行される。Ｓ１０４において現像処理部１１２は、フレームメモリ１０８上の全ＰＤ−ＲＡＷデータについて、ＲＡＷ画像用の現像パラメータを用いて現像処理を行い、現像済みの画像データをＲＡＭ１１３へ配置する。

Ｓ１０５でＣＰＵ１０９により、第２ＰＤ選択合成部１５１のモードが右目選択合成モードに設定され、Ｓ１０６へ進む。Ｓ１０６において、フレームメモリ１０８上の全ＰＤ−ＲＡＷデータは、第２ＰＤ選択合成部１５１へ入力され、ＲＡＭ１１３には右目用のＲＡＷデータが出力される。さらに現像処理部１１２は、ＲＡＭ１１３上の右目用のＲＡＷデータについて、ＪＰＥＧ画像用の現像パラメータを用いて現像処理を行い、現像済みの画像データをＲＡＭ１１３へ配置する。

Ｓ１０７でＣＰＵ１０９により、第２ＰＤ選択合成部１５１のモードが左目選択合成モードに設定され、Ｓ１０８へ進む。Ｓ１０８において、フレームメモリ１０８上の全ＰＤ−ＲＡＷデータは、第２ＰＤ選択合成部１５１へ入力され、ＲＡＭ１１３には左目用のＲＡＷデータが出力される。さらに現像処理部１１２は、ＲＡＭ１１３上の左目用のＲＡＷデータについて、ＪＰＥＧ画像用の現像パラメータを用いて現像処理を行い、現像済みの画像データをＲＡＭ１１３へ配置する。Ｓ１０９において、Ｓ１０４で生成したＲＡＷ画像データと、Ｓ１０６で生成した右目用のＪＥＰＧ画像データと、Ｓ１０８で生成した左目用のＪＰＥＧ画像データは、１つのＥｘｉｆ規格のファイルとして生成される。Ｅｘｉｆは、” Exchangeable Image File Format”の略号である。生成したファイルは、カード入出力部１１９を経てメモリカード１２１へ保存される。

Ｓ１１０では、ＣＰＵ１０９がライブビューの設定操作を判定する。ライブビューが開始されていない状態において、ライブビュー開始／終了ボタン１４４がオン操作された場合、Ｓ１１１へ処理を進める。また、ライブビュー開始／終了ボタン１４４がオン操作されていない場合、Ｓ１０１へ処理を戻す。また、ライブビューが開始されている状態において、ライブビュー開始／終了ボタン１４４がオン操作された場合、Ｓ１０１へ処理を戻し、オン操作されていない場合、Ｓ１１１へ処理を進める。

Ｓ１１１でＣＰＵ１０９により、第１ＰＤ選択合成部１０６のモードが右目選択合成モードに設定され、Ｓ１１２へ進む。Ｓ１１２において、ライブビュー用の撮影パラメータで撮影が開始し、フレームメモリ１０８上に右目用ＲＡＷデータを取得する処理が実行される。現像処理部１１２は、表示用の現像パラメータを用いて現像処理を行い、現像済みの画像データを右目用のＶＲＡＭへ配置して、Ｓ１１３へ進む。Ｓ１１３でＣＰＵ１０９により、第１ＰＤ選択合成部１０６のモードが左目選択合成モードに設定され、Ｓ１１４へ進む。Ｓ１１４において、フレームメモリ１０８上に左目用ＲＡＷデータを取得する処理が実行される。現像処理部１１２は、表示用の現像パラメータを用いて現像処理を行い、現像済みの画像データを左目用のＶＲＡＭへ配置した後、Ｓ１１０へ処理を戻す。

次に、図１および図７を参照して、ＡＦ制御について説明する。図７において処理開始は、図１の被写体指示部Ｒ２０１が被写体指示データを出力した時点である。被写体指示部Ｒ２０１の機能について、図１０を参照して説明する。画面Ｈ１００は、ある風景を撮像した場合に表示される、図２の表示部１１５の画面例を模式的に示す。カメラから近い順に、Ｈ１０１、Ｈ１０２、Ｈ１０３の順序で物体像が写っている状態を示している。点線枠で示すＨ２００は、操作者が被写体像を指示するためのマーカー（表示指標）であり、オーバーレイ表示される。操作者が表示部１１５の画面上にタッチ操作で指示すると、手指等の接触位置をタッチパネルが検出する。表示制御部１１４は、接触位置を中心にしてマーカーを画面に表示させる。また、カメラ本体部に左右上下の移動指示を行うための操作ボタンが設けられており、このボタンを操作者が操作することでマーカーＨ２００が所望の方向に移動する。図１０（Ａ）に示すＨ１０１は被写体像であり、マーカーＨ２００が被写体像の顔に位置している場合を例示する。ＡＦ制御では、被写体にピントが合うようにフォーカスレンズの駆動制御により焦点調節が行われる。図１の被写体指示部Ｒ２０１の出力する被写体指示データは、表示用画像とマーカーの座標データを含んでいる。

ライブビュー表示用画像は、画像生成部Ｒ１００が生成する画像である。図１に示すように、画像生成部Ｒ１００は、表示用画像生成部Ｒ１０１、コントラスト算出用画像生成部Ｒ１１３を備える。画像生成部Ｒ１００の入力は左像と右像の各データであり、出力は表示用画像と、コントラスト算出用画像と、左像と右像の各データである。表示用画像生成部Ｒ１０１は、左像と右像の各データを入力として、表示用画像のデータを生成する。本実施形態では、図６のフローチャートで説明したように、立体画像表示の場合、表示用画像は左像と右像である。そのため、表示用画像生成部Ｒ１０１は特に何の処理もしない。但し、本実施形態のように、１つの光学手段を使って左目画像と右目画像からなるステレオ画像のデータを取得する場合には、表示用画像生成部Ｒ１０１が左像と右像との加算画像を生成して表示用画像データを出力してもよい。この場合、ライブビュー表示部Ｒ２００では、立体画像ではなく２次元画像を表示する。

コントラスト算出用画像生成部Ｒ１１３は、左像と右像の各データを用いて、コントラスト算出用画像データを生成する。コントラスト算出用画像とは、コントラストＡＦ制御部Ｒ５００がコントラスト値を算出するときに使用する画像である。また、本実施形態にて、画像生成部Ｒ１００が出力する左像と右像は、画像生成部Ｒ１００に入力される左像と右像と同じとする。これに限らず、各像のデータに表示用の補正処理を施してもよい。

図７のＳ２１２で被写体特定部Ｒ３００は、被写体指示部Ｒ２０１から取得した被写体指示データを処理して被写体を特定し、被写体データを出力する。例えばマーカーが小さい場合、被写体特定部Ｒ３００はマーカーの輪郭よりも外側に広げた領域を、被写体像の領域として決定する。被写体データは、被写体像の領域座標と表示用画像を含む。

次にＳ２２０では被写体距離算出部Ｒ４００が左像と右像の各データを用いて、被写体データに含まれる被写体までの距離を算出する。被写体距離の算出処理では、ステレオマッチングにより左像と右像の画像の対応点を求めて、視差、基線長、焦点距離との関係により距離算出が行われる。この算出方法は従来から、ロボットビジョンや画像の奥行き計測の分野で知られている方法である。ステレオマッチング法は、領域に基づく方法と、特徴点に基づく方法の２つに大別できる。本実施形態では、領域に基づく方法を採用する。この方法では一致度が一番高い位置を探索する。局所的な画像領域の一致度に基づいて対応点が決定される。ステレオマッチングの対象となる局所的な画像は、被写体データから被写体距離算出部Ｒ４００が生成する。被写体データに含まれる表示用画像から、被写体の領域座標に対応する領域の画像を切り出すことにより、局所的な画像が生成される。なお、ステレオマッチングの対象領域は、被写体データに含まれる、被写体の領域座標の近傍である。一般的なステレオマッチングでは、画像全体を処理して画像に写っている全物体の距離を求めるので、演算時間が長い。しかし、本実施形態では、対象物は１つの被写体だけであり、ステレオマッチングの対象領域が絞り込まれている。このため、演算時間は短く、ステレオマッチングの処理量が少ないので、演算負荷は少ない。一致度の評価値については、輝度値の正規化相互相関、２乗残差の和、絶対値の和を用いる方法がある。本実施形態では輝度値の正規化相互相関を用いる。

次にＳ２３０で制御方式切替部Ｒ６００は、被写体距離算出部Ｒ４００が被写体距離を算出できたか否かを判定する。被写体距離算出部Ｒ４００が被写体距離を算出できた場合、Ｓ３００に処理を進める。一方、被写体距離算出部Ｒ４００が被写体距離を算出できない場合には、Ｓ４００に処理を進める。なお、ステレオマッチングにより被写体距離の算出できない例としては、被写体のコントラストが低いために画像領域の一致度が低く、かつ、一致度が領域内のどこでもほぼ同じとなる場合がある。そのため、一致度が一番高い位置を特定できない可能性がある。また、被写体が周期的な模様を含んでいる場合、画像領域の一致度は高いが、一致度が高い位置が複数箇所に亘って存在することになる。そのため、一致度が一番高い位置を特定できない可能性がある。しかし、コントラストが低いためにステレオマッチングができない被写体であっても、焦点調節のためフォーカスレンズを前後に動かすとコントラストが高くなる場合があり得る。このような場合には、コントラストＡＦが有効である。また、被写体が周期的な模様を含んでいる場合でも、コントラストＡＦには影響しないので、コントラストＡＦ方式に切り替えるのが効果的である。

Ｓ４００では、コントラストＡＦ方式でのレンズ制御により、焦点調節動作が行われる。コントラスト値算出部Ｒ５０１には、コントラスト値を算出するためにコントラスト算出用画像データが入力される。コントラスト値算出部Ｒ５０１は、コントラスト値を評価値として算出する。コントラストＡＦ制御部Ｒ５００は、いわゆる山登り方式により、コントラスト値が最大となるレンズ位置を逐次的に求める。制御方式切替部Ｒ６００は、コントラストＡＦ制御部Ｒ５００が出力するレンズ制御量を選択してレンズ駆動部１２２へ出力する。レンズ駆動部１２２は、取得したレンズ制御量に基づいてフォーカスレンズを光軸に沿って前方（被写体側）または後方へ移動させる。

Ｓ３００で制御方式切替部Ｒ６００は、被写体距離算出部Ｒ４００が出力する被写体距離情報を選択してレンズ駆動部１２２へ出力する。レンズ駆動部１２２は、被写体距離情報に応じて被写体にピントが合うようにフォーカスレンズを移動させる。Ｓ３００、Ｓ４００の後で処理が終了する。

本実施形態では、被写体距離算出部Ｒ４００が被写体距離を算出できない場合に、コントラストＡＦ方式の焦点検出および焦点調節動作が行われる。被写体距離算出部Ｒ４００が被写体距離を算出できる場合には当該被写体にピントが合うようにフォーカスレンズを１回だけ動かすだけで済むので、コントラストＡＦ方式を併用する場合でも平均的な合焦時間を短縮できる。仮にコントラストＡＦ方式で焦点検出ができない場合でも、被写体距離が算出可能な場合には合焦の可能性を高められるという効果が得られる。
なお、本実施形態では、合焦までの時間を短縮するために、Ｓ２３０にて被写体距離算出部Ｒ４００が被写体距離を算出できた場合、コントラストＡＦを実行しない。また、被写体距離算出部Ｒ４００は、一致度が高い領域を複数検出した場合、正規化相互相関処理の実行途中であっても、ステレオマッチングに失敗したと判断する。一般的に正規化相互相関処理にかかる時間が長いため、このような制御方式の切り替えは処理時間の短縮につながる。

デジタルカメラは、撮影レンズと被写体との距離が既知である場合、その被写体にピントを合わせるためのレンズと撮像センサとの距離を算出できる。例えば１枚レンズの場合、ガウスの結像公式を用いた計算により、被写体にピントを合わせるためのレンズと撮像センサとの距離が算出される。または、レンズと撮像センサとの距離Ａに対応して、ピントが合う被写体距離Ｂを予め調べておき、デジタルカメラが距離Ａと距離Ｂを対応付けてデータベースとして保持する形態が挙げられる。この場合、被写体距離情報に対応する、レンズと撮像センサとの距離を算出できる。すなわち、本実施形態ではデフォーカス量を利用した合焦制御ではなく、撮像装置から被写体までの距離を算出して合焦制御を行う。
このように本実施形態によれば、撮影対象である被写体にピントが合うようにフォーカスレンズ駆動が実行される。フォーカスレンズを光軸に沿って前後へ逐次的に動かす必要が無くなるので、ライブビュー立体画像表示時において撮像装置の合焦時間を短縮できる。また、焦点検出専用画素を配置しないため、画素欠損が生じない。よって、周囲の画素から焦点検出専用画素位置での被写体の情報を補間して予測する必要がなくなり、高画質な画像が得られる。さらに、被写体が周期的な模様を有する場合であってもライブビュー表示時の合焦時間を短縮可能である。

また、本実施形態では、ライブビュー立体画像表示の際、撮像素子１０５内の第１ＰＤ選択合成部１０６で右目用と左目用の画素データを生成するので、高いフレームレートを実現できる。一方、静止画撮影においては、撮像素子１０５内の第１ＰＤ選択合成部１０６により、ＰＤの情報を全て出力することで、後処理での自由度を高めることができる。但し、ＲＡＷデータを表示するためには現像処理が必要であり、現像処理に時間がかかる。そのため、ライブビュー表示では、表示用の現像画像を予め用意して表示する制御が行われる。表示用の現像画像を生成するために、撮像素子１０５の外部にある第２ＰＤ選択合成部１５１を用いることにより、ステレオ表示用の画像データを生成できるという利点がある。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、第１実施形態と同様の部分については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
図８は、本実施形態に係る主要な構成部を示す機能ブロック図である。図１との相違点は以下の通りである。
・距離算出部Ｒ４０１は、画像生成部Ｒ１１０から左像および右像の各データを取得して距離マップを生成し、ライブビュー表示部Ｒ２００および被写体距離算出部Ｒ４０２に出力すること。
・被写体特定部Ｒ３０２は、被写体指示部Ｒ２０１からの被写体指示データ、および被写体抽出用画像生成部Ｒ１１２からの被写体抽出用画像データを取得し、被写体データを被写体距離算出部Ｒ４０２に出力すること。
・被写体距離算出部Ｒ４０２は、距離算出部Ｒ４０１からの距離マップ、および被写体特定部Ｒ３０２からの被写体データを取得し、被写体距離情報を制御方式切替部Ｒ６００に出力すること。

以下に、図９のフローチャートを参照して焦点調節動作を説明する。ライブビュー表示部Ｒ２００により、表示用画像が表示されることがトリガーとなって処理が開始し、Ｓ２０１へ進む。
Ｓ２０１で図８の距離算出部Ｒ４０１は、左像と右像の各データから距離マップを生成する。距離マップとは、カメラから物体までの距離を、表示用画像と関連付けたデータであり、撮像した画像に関連付けられた距離情報はユーザに提示される。距離マップの情報は、画素毎の距離でもよいし、撮影画面内を複数に区分したブロック毎の距離でもよい。本実施形態では距離マップがブロック毎の距離情報を含むものとし、当該ブロックを距離ブロックと呼ぶことにする。距離マップについては、第１実施形態と同様にステレオマッチングにより算出する。次にライブビュー表示部Ｒ２００は距離マップに基づいて、距離を表示用画像の上にオーバーレイ表示する。オーバーレイ表示を図１０（Ｂ）に例示する。図１０（Ｂ）の例では、操作指示に従い、被写体を指示するためのマーカーＨ２００の上下左右と中央に、距離Ｈ４０１（2.1m）、Ｈ４０２（2.1m）、Ｈ４０３（1.5m）、Ｈ４０４（2.1m）、Ｈ４０５（1.5m）が表示された状態を示す。ライブビュー表示部Ｒ２００は、マーカーＨ２００から所定のピクセル数だけ離れている位置座標に対応する距離ブロックを求めて、該距離ブロックに対応する距離を表示する。距離情報の表示については、２次元画像表示で行う場合と立体視画像表示で行う場合があり、ユーザによる選択操作または自動選択によって表示形態の変更が可能である。

カメラの操作者がライブビュー表示部Ｒ２００による表示画面を見て被写体像を選択して指示するか、または、第１スイッチ１１７がオン状態になることにより、図９のＳ２０９へ移行する。Ｓ２０９でライブビュー表示部Ｒ２００は、被写体が特定されているか否かを判定する。操作者が被写体を選択する操作を行っていない場合、被写体が特定されていないと判断され、Ｓ２１２へ進む。またＳ２０９において操作者が被写体を選択する操作を行った場合には、Ｓ２１３へ進む。

Ｓ２１２で被写体特定部Ｒ３０２は、画像生成部Ｒ１１０から取得した被写体抽出用画像を用いて、画像認識により被写体像を抽出する。画像認識対象は、例えば被写体が人物である場合に顔であるが、他の物体を認識対象としてもよい。例えば、眼底カメラへの適用例では、眼底画像の黄斑部が認識対象とされる。第１実施形態ではカメラ操作者が明示的に被写体を指示する操作により、被写体が特定される。一方、Ｓ２１２ではカメラが自動的に被写体を特定する。本実施形態の利点は、カメラの操作者が被写体を指示する手間が省けるので、操作上の煩雑さが少ないことである。但し、画像認識の精度等によっては、被写体の特定が困難である場合に操作者が明示的に被写体を指示する方法を併用すればよい。

画像認識に使用する被写体抽出用画像は、画像生成部Ｒ１１０が生成する。画像生成部Ｒ１１０は、表示用画像生成部Ｒ１０１、被写体抽出用画像生成部Ｒ１１２、コントラスト算出用画像生成部Ｒ１１３を備える。画像生成部Ｒ１１０の入力は左像と右像のデータであり、出力は表示用画像と被写体抽出用画像とコントラスト算出用画像と、左像と右像の各データである。被写体抽出用画像生成部Ｒ１１２は、左像と右像の各データを用いて、被写体抽出用画像データを生成する。被写体抽出用画像とは、画像認識に適するように強調処理やサイズ変更処理を施した画像である。被写体抽出用画像については、左像から１枚の画像を生成してもよいし、右像から１枚の画像を生成してもよい。あるいは、被写体抽出用画像として、左像と右像から２枚の画像を生成してもよいし、または左像と右像から１枚の画像を生成してもよい。コントラスト算出用画像生成部Ｒ１１３は、左像と右像の各データを用いて、コントラスト算出用画像データを生成する。コントラスト算出用画像は、コントラスト値の算出に適するように強調処理やサイズ変更処理を施した画像である。

Ｓ２１３で被写体特定部Ｒ３０２は、被写体指示部Ｒ２０１が出力した被写体指示データを用いて、被写体データを出力する。被写体特定部Ｒ３０２の動作は、第１実施形態の被写体特定部Ｒ３００の動作と同じである。次に、被写体距離算出部Ｒ４０２は、距離算出部Ｒ４０１が出力した距離マップと、被写体データに含まれる被写体像の領域座標を用いて被写体距離を算出する。本実施形態では距離マップを使用するので、被写体距離算出部Ｒ４０２ではステレオマッチング処理の必要がない。但し、距離マップを算出できない場合には、第１実施形態と同様にステレオマッチング処理が実行される。

被写体距離算出部Ｒ４０２での被写体距離の算出処理では、被写体像の領域内部に異なる距離が複数含まれているか否かの判定と、被写体距離の最大値と最小値の差を閾値と比較することによる判定が行われる。被写体像の領域内部に異なる距離が複数含まれており、かつ該距離の最大値と最小値の差が所定の閾値以上である場合、エラー処理が実行される。被写体距離算出部Ｒ４０２は、ライブビュー表示部Ｒ２００にエラー表示指示を出力する。例えば、被写体像の領域内部に、複数の距離1.5mと5.0mが含まれている場合、両方に合焦することができない。しかし、例えば距離1.5mと1.6mの場合には、1.5mへの合焦と、1.6mへの合焦との間で、両者の撮影画像に相違は殆ど無い。閾値Ｔｈを、例えば0.5mと設定すれば、距離の最大値と最小値の差が0.5m以上である場合、被写体距離算出部Ｒ４０２は合焦不能と判断して、エラー表示指示を出力する。閾値Ｔｈは固定値ではなく、被写界深度に応じて変更される。この場合、閾値Ｔｈは、被写界深度が大きいほど大きい値に設定する。被写体距離算出部Ｒ４０２が被写体に対して合焦不能と判断しなかった場合には、被写体距離算出部Ｒ４０２にて以下の選択肢がある。
・距離の平均値を出力する第１処理。
・領域内の面積に応じて距離を加重平均した値を出力する第２処理。
・領域内の最大面積に対応する距離を出力する第３処理。
被写体距離算出部Ｒ４０２は、設定モードや撮影状態等に応じて、第１ないし第３処理のいずれかを選択し、被写体距離を算出する。

Ｓ２１４では、Ｓ２１３で出力されたエラー表示指示を受けて、ライブビュー表示部Ｒ２００は合焦できない旨の表示処理を行う。表示例を図１０（Ｃ）に示す。マーカーＨ２００が、図１０（Ｂ）よりも左上に位置しており、マーカー内に距離2.1mと1.5mの情報が混在している。一方、図１０(Ｂ)では、マーカー内に距離1.5mの情報のみが含まれており、この場合、合焦可能である。図１０（Ｃ）では、図１０（Ｂ）よりもマーカーＨ２００の枠線が太く表示される。太枠の表示により、カメラ操作者は、合焦不能であることを視覚的に把握できる。被写体距離を表示することにより、操作者はマーカーＨ２００をどの位置に移動させれば合焦可能になるかを推測し易くなるため、操作性が向上する。

Ｓ２１２に続くＳ２１６で被写体距離算出部Ｒ４０２は、距離算出部Ｒ４０１が出力する距離マップと、被写体データに含まれる被写体像の領域座標を用いて被写体距離を算出する。この場合、ステレオマッチング処理は不要である。次にＳ３００で制御方式切替部Ｒ６００は、被写体距離算出部Ｒ４０２が出力した被写体距離情報を選択し、レンズ駆動部１２２へ出力する。レンズ駆動部１２２は、被写体距離情報に応じて被写体にピントが合うようにフォーカスレンズを駆動する。駆動後にＳ４００に進み、Ｓ３００の実行により被写体に対する合焦動作がほぼ完了した時点を初期時点として、コントラストＡＦが行われる。コントラストＡＦ制御部Ｒ５００、制御方式切替部Ｒ６００、レンズ駆動部１２２の動作は第１実施形態の場合と同じである。コントラスト値算出部Ｒ５０１は、コントラスト値が最大となる合焦位置を算出する。コントラストＡＦ制御部Ｒ５００の出力するレンズ制御量は、制御方式切替部Ｒ６００で選択されてレンズ駆動部１２２に出力され、処理を終了する。

本実施形態では、まず被写体距離算出部Ｒ４０２が出力する被写体距離情報に基づいて焦点調節動作が行われ、次にコントラストＡＦ方式によりフォーカスレンズ位置の微調整が行われる。これにより、コントラスト値が最大となるフォーカスレンズ位置（合焦位置）を、レンズの移動範囲全域に亘って逐次的に探索する処理が不要になるので、合焦動作を高速化できる。合焦位置は、被写体距離算出部Ｒ４０２が出力した、被写体距離に対応するフォーカスレンズ位置の前後である可能性が高いので、この近傍の範囲のみを探索すれば済むからである。また、被写体距離算出部Ｒ４０２の算出精度が低い場合には、コントラストＡＦ制御方式により合焦精度を補完できるという効果が得られる。
なお、被写体距離算出部Ｒ４０２が被写体距離を算出できない場合、コントラストＡＦ方式の焦点調節により支援する構成に限らず、コントラストＡＦを前段階で行ってもよい。例えば、コントラストＡＦ方式による合焦ができなかった場合、被写体特定部Ｒ３０２が被写体を特定し、被写体距離算出部Ｒ４０２は被写体距離を算出して、その距離にピントを合わせるレンズ駆動制御が行われる。

１０２焦点調節用レンズ
１０５撮像素子
１２２レンズ駆動部
Ｒ１００画像生成部
Ｒ２００ライブビュー表示部
Ｒ２０１被写体指示部
Ｒ３００，Ｒ３０２被写体特定部
Ｒ４００，Ｒ４０２被写体距離算出部
Ｒ４０１距離算出部
Ｒ５００コントラストＡＦ制御部
Ｒ６００制御方式切替部

Claims

各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を撮像素子が備え、該撮像素子の出力する像信号を用いて撮像光学系の焦点調節を行う撮像装置であって、
前記撮像素子から取得した複数の像信号から左目用画像および右目用画像を含む画像データを生成する画像生成手段と、
前記画像データを取得して画像を表示する表示手段と、
前記画像データを取得して被写体像を特定する被写体特定手段と、
前記画像データおよび前記被写体特定手段により特定された被写体を示す情報を取得し、前記左目用画像および右目用画像に含まれる被写体像について当該画像間の像ズレ量を算出し、前記被写体の視差により当該被写体までの距離を算出する被写体距離算出手段と、
前記表示手段が撮像された画像を表示しているときに、前記撮像光学系を構成する焦点調節用レンズを移動させることにより、前記被写体距離算出手段が算出した前記距離にピントを合わせるレンズ駆動手段を備えることを特徴とする撮像装置。
前記画像生成手段から取得した画像データを用いてコントラスト値を算出してレンズ制御量を出力する合焦制御手段と、
前記被写体距離算出手段が算出した距離、または前記合焦制御手段の出力するレンズ制御量に切り替えて前記レンズ駆動手段に出力する切替手段を備えることを特徴とする請求項１に記載の撮像装置。
前記切替手段は、前記被写体距離算出手段が前記被写体までの距離を算出できない場合に、前記合焦制御手段の出力するレンズ制御量に切り替えて前記レンズ駆動手段に出力することを特徴とする請求項２に記載の撮像装置。
前記画像生成手段により生成される表示用画像データを取得して前記表示手段に画像を表示する制御を行う表示制御手段と、
前記表示手段により表示された画像にて被写体像を指示する被写体指示手段を備え、
前記被写体特定手段は、前記被写体指示手段により指示された被写体像を特定することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記画像生成手段は、前記複数の像信号から被写体抽出用画像のデータを生成し、
前記被写体特定手段は、前記被写体抽出用画像から被写体像を画像認識により特定することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記左目用画像および右目用画像を含む画像データを前記画像生成手段から取得して前記撮像装置から物体までの距離を表示用画像と関連付けた距離マップを生成して、前記被写体距離算出手段に出力する距離算出手段を備えることを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
前記表示手段は、前記距離算出手段により生成される距離マップを取得し、距離情報を表示することを特徴とする請求項６に記載の撮像装置。
前記被写体特定手段により特定される被写体までの距離について、前記被写体距離算出手段が複数の距離情報を算出した場合、前記被写体までの距離の最大値と最小値の差を算出して閾値と比較し、差が閾値以上である場合、前記表示制御手段は合焦不能の旨を前記表示手段に表示させる制御を行うことを特徴する請求項４に記載の撮像装置。
前記被写体距離算出手段は、前記閾値を被写界深度に応じて変更することを特徴とする請求項８に記載の撮像装置。
前記表示手段は、前記画像データを取得して立体画像を表示することを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を撮像素子が備え、該撮像素子の出力する像信号を用いて撮像光学系の焦点調節を行う撮像装置にて実行される制御方法であって、
前記撮像素子から取得した複数の像信号から左目用画像および右目用画像を含む画像データを生成する画像生成ステップと、
前記画像データを取得して被写体像を特定する被写体特定ステップと、
前記画像データおよび前記被写体特定ステップで特定された被写体を示す情報を取得し、前記左目用画像および右目用画像に含まれる被写体像について当該画像間の像ズレ量を算出し、前記被写体の視差により当該被写体までの距離を算出する被写体距離算出ステップと、
撮像された画像を表示手段に表示しているときに、前記撮像光学系を構成する焦点調節用レンズを移動させることにより、前記被写体距離算出ステップで算出した前記距離にピントを合わせるレンズ駆動ステップを有することを特徴とする撮像装置の制御方法。