JP2014085608A

JP2014085608A - 撮像装置

Info

Publication number: JP2014085608A
Application number: JP2012236309A
Authority: JP
Inventors: Kiyoshige Shibazaki; 清茂芝崎; Muneki Hamashima; 宗樹浜島
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-10-26
Filing date: 2012-10-26
Publication date: 2014-05-12

Abstract

【課題】主要な被写体に合焦面を合せると当該主要な被写体について視差のない画像が得られるという不具合がある。
【解決手段】撮像装置であって、光学系を通った被写体からの入射光を電気信号に光電変換する二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像素子と、光学系および撮像素子の少なくとも一方を制御することにより、光学系が形成する合焦面と撮像素子の受光面との相対位置を制御する制御部とを備え、制御部は、光学系が形成する被写体に対する合焦面の位置と撮像素子の受光面とをずらすことにより、被写体に対して視差を含む画像信号を撮像素子から出力させる。
【選択図】図７

Description

本発明は、撮像装置に関する。

画素ごとに異なる入射角度の被写体像を受光することにより、左右の視差に対応する画像を一度の撮像で得るものがある（例えば、特許文献１参照）。
特許文献１特開２００３−７９９４号公報

しかしながら、上記構成においては、光学系の合焦面にある被写体については、異なる入射角度の被写体像が近接した画素で受光されるので、結果として視差がつかない。ユーザは、関心を有している主要な被写体に合焦面を合せるので、当該主要な被写体について視差のない画像が得られるという不具合がある。

本発明の第１の態様においては、撮像装置であって、光学系を通った被写体からの入射光を電気信号に光電変換する二次元的に配列された複数の光電変換素子、および、入射光の断面領域内の部分領域からの光を対応する複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像素子と、光学系および撮像素子の少なくとも一方を制御することにより、光学系が形成する合焦面と撮像素子の受光面との相対位置を制御する制御部とを備え、制御部は、光学系が形成する被写体に対する合焦面の位置と撮像素子の受光面とをずらすことにより、被写体に対して視差を含む画像信号を撮像素子から出力させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。撮像素子の一部を拡大した様子を概念的に表す概念図である。２Ｄ画像データと視差画像データの生成処理の例を説明する図である。デフォーカスの概念を説明する図である。視差画素が出力する光強度分布を示す図である。デジタルカメラの撮影動作のフローチャートの一例を示す。デジタルカメラにおける合焦面、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。デジタルカメラの撮影動作のフローチャートの他の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、被写体を撮影して複数の視差画像を生成する。さらにデジタルカメラ１０は、合焦面の位置を主要な被写体に対してずらすことにより、主要な被写体に対して視差を含む画像信号を撮像素子から出力させる。

デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、被写体光束の周辺を遮光する絞り２２をさらに備える。撮影レンズ２０は絞り２２と共に、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。また、撮影レンズ２０は、制御部２０１からの制御により合焦面の位置を可変な合焦光学系を含む。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

絞り２２は、撮影レンズ２０の瞳近傍に配され、撮像素子１００へ入射する被写体光束の周辺領域を遮光する。絞り２２の絞り値は可変であって、制御部２０１からの制御により設定される。当該絞り２２の一例は虹彩絞りであるが、これに限られない。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。

制御部２０１は、デジタルカメラ１０全体の制御を司る。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連のシーケンスを管理する。制御部２０１はさらに、評価値算出部２３０、目標設定部２３２および出力部２３４を有するが、これらについては後述する。

画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

操作部２０８は、ユーザからの撮影指示を受け付けるレリーズボタンを有する。操作部２０８はさらに、ユーザから主要な被写体に対して視差を生じさせた画像を取得したいか否かの入力を受け付けるボタンを有する。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。なお、撮像素子１００がＡＦセンサを兼ねてもよく、その場合には別個のＡＦセンサ２１１を設けなくてよい。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。

なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。

基本格子１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。

撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。

基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

本実施形態においては、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。

図の右列は、視差画素得データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。

図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図７（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。

また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。

図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。

分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。

図６は、デジタルカメラ１０の撮影動作のフローチャートの一例を示す。図６は、デジタルカメラ１０の電源が投入された場合に開始する。なお、撮像素子１００の受光面はデジタルカメラ１０に対して光軸に沿った方向に固定されているものとする。

まず、制御部２０１は、露出等の撮影条件を初期値に設定する（Ｓ１００）。さらに制御部２０１は、合焦光学系を予め定められた初期位置に移動させてもよい。

制御部２０１はレリーズボタンがユーザから半押しされるのを待つ（Ｓ１０２：Ｎｏ）。レリーズボタンがユーザから半押しされた場合に（Ｓ１０２：Ｙｅｓ）、制御部２０１は主要被写体を特定する（Ｓ１０４）。制御部２０１は、ユーザにより選択されたフォーカスエリアにより主要被写体を特定してもよいし、画像処理部２０５の顔認識等により主要被写体を推定してもよい。

評価値算出部２３０は、主要被写体に対する合焦の度合を評価する評価値を算出する（Ｓ２０６）。評価値の例は、位相差方式が用いられる場合の位相差量、コントラスト方式が用いられる場合の画像の鮮鋭度を示すコントラストの値等である。

目標設定部２３２は、評価値算出部２３０により算出された評価値に基づいて、撮像素子１００の受光面に主要被写体の合焦面の位置を合せる目標合焦面を設定する（Ｓ１０８）。例えば、位相差方式において、上記位相差量から、主要被写体の合焦面の位置を撮像素子１００の受光面に一致させたときの合焦面の位置である目標合焦面が設定される。また、コントラスト方式において、主要被写体について撮像素子１００の受光面でのコントラストが最も高くなる合焦面の位置が、目標合焦面として設定される。

制御部２０１は、ユーザにより主要被写体に視差をつける旨が選択されているか否かを判断する（Ｓ１１０）。操作部２０８を介してユーザにより当該選択がされたか否かがメモリ２０３に格納されており、制御部２０１は当該メモリ２０３を参照することにより、選択の有無を判断する。

ユーザにより主要被写体に視差をつける旨が選択されていない場合に（Ｓ１１０：Ｎｏ）、出力部２３４は、上記合焦面の位置を目標合焦面に合せる制御信号を合焦光学系に出力する（Ｓ１１４）。これにより、撮影レンズ２０の合焦光学系が駆動されて、主要被写体に合焦する。

制御部２０１はレリーズボタンがユーザから全押しされるのを待つ（Ｓ１１６：Ｎｏ）。レリーズボタンがユーザから全押しされた場合に（Ｓ１１６：Ｙｅｓ）、制御部２０１は、撮像素子１００を駆動して撮像を実行し、当該撮像素子１００から画像信号を取得して画像データを生成する（Ｓ１１８）。

図７は、デジタルカメラ１０における合焦面、被写体の先鋭度を示すコントラストおよび視差量の関係を模式的に示す図である。図７において、被写体「三角」が主要被写体であり、他の被写体として当該被写体「三角」のＺ方向手前に被写体「丸」が配されている例が示されている。なお、図７（ａ）から（ｃ）のいずれにおいてもデジタルカメラ１０と被写体「三角」および「丸」とのＺ方向の位置関係は変わらない。また、視差量は、正の値が浮き上がり、負の値が沈み込みに対応して、その絶対値はそれぞれの度合を示す。当該視差量は、例えば図５に示すように、被写体の左右視差画像上の位置の差を画素数で数えたもので定義されてもよいし、他の定義であってもよい。なお、以降の説明においては、レンズ２０を基準にしてレンズ２０に近づく方向に向かう方向を手前側、レンズ２０から離れる方向に向かう方向を奥側とする。

また、図７は物体側を示している。図７において、物体側で目標合焦面に共役な位置は、像側の最大コントラスト位置に対応する。図７に示すように、視差量は、目標合焦面に共役な位置から遠くなるほど負の方向になだらかに絶対値が増えるのに対し、目標合焦面に共役な位置から近くなると正の方向に急激に絶対値が増える。像側で言い換えれば、視差量は、目標合焦面から手前側にずれるほど負の方向になだらかに絶対値が増えるのに対し、被写体の合焦面が目標合焦面から奥側にずれると正の方向に急激に絶対値が増える。

図７（ａ）は、上記ステップＳ１１４を経由して撮像された場合の合焦面、コントラストおよび視差量の関係を模式的に示す。当該図に示すように、主要被写体「三角」は目標合焦面の共役面上にあって、コントラストが最も高いが、視差量はゼロである。

一方、上記ステップＳ１１０において、ユーザにより主要被写体に視差をつける旨が選択されている場合に（Ｓ１１０：Ｙｅｓ）、出力部２３４は、主要被写体の合焦面の位置を目標合焦面とは異なる位置に合せる制御信号を合焦光学系に出力する（Ｓ１１２）。これにより、撮影レンズ２０の合焦光学系が駆動されて、主要被写体を撮像素子１００の受光面からずれた位置に合焦する。

この場合に、出力部２３４は、主要被写体の合焦面の位置を目標合焦面よりも奥側にするか、手前側にするかを、例えばユーザからの選択に基づいて決定する。この場合には、合焦面の位置を目標合焦面よりも奥側にするか、手前側にするかが操作部２０８を介してユーザにより入力されてメモリ２０３に格納され、出力部２３４は当該メモリ２０３を参照することにより、手前側にずらすか奥側にずらすかを決定する。なお、初期値としてメモリ２０３にいずれか一方、例えば、手前側にずらす旨が格納されていてもよい。

制御部２０１は、レリーズボタンがユーザから全押しされるのを待つ（Ｓ１１６：Ｎｏ）。レリーズボタンがユーザから全押しされた場合に（Ｓ１１６：Ｙｅｓ）、制御部２０１は、撮像素子１００を駆動して撮像を実行し、当該撮像素子１００から画像信号を取得して画像データを生成する（Ｓ１１８）。

図７（ｂ）および（ｃ）は、上記ステップＳ１１２を経由して撮像された場合の合焦面、コントラストおよび視差量の関係を模式的に示す。特に、図７（ｂ）は、主要被写体の合焦面が目標合焦面よりも奥側に位置する例であり、図７（ｃ）は、主要被写体の合焦面が目標合焦面よりも手前側に位置する例である。

図７（ｂ）に示すように、主要被写体に対して、目標合焦面の共役面が手前側となるように合焦面をずらすことにより、主要被写体「三角」に対して奥側に沈み込む方向の視差を有する画像が得られる。すなわち、目標合焦面に対して手前側に合焦面をずらすことにより、主要被写体「三角」に対して奥側に沈み込む方向の視差を有する画像が得られる。

一方、図７（ｃ）に示すように、主要被写体に対して、目標合焦面の共役面が奥側となるように合焦面をずらすことにより、主要被写体「三角」に対して手前側に浮き上がる方向の視差を有する画像が得られる。すなわち、目標合焦面に対して奥側に合焦面をずらすことにより、主要被写体「三角」に対して手前側に浮き上がる方向の視差を有する画像が得られる。

以上により、合焦光学系が形成する主要被写体の合焦面の位置を撮像素子１００の受光面に対してずらすことにより、主要被写体に対して視差を含む画像を得る。これにより、ユーザが注目している主要被写体に対して、再生時に立体感を得ることができる。

上記ステップＳ１１２において、目標合焦面から合焦面の位置をずらす量は、当該合焦面に対応する被写界深度内に主要被写体が位置する範囲内であることが好ましい。これにより、主要被写体に対するぼけを感じさせない範囲で、当該主要被写体に対する視差を含む画像を得ることができる。

これに代えて、または、これに加えて、目標合焦面から合焦面の位置をずらす量は、主要被写体に対して上記ステップＳ１０６において評価値算出部２３０により算出された評価値に基づいて決められることが好ましい。例えば、図７に両矢印で示すように、コントラストの値が予め定められた閾値以上となる範囲内で、合焦面の位置をずらすことが好ましい。これにより、主要被写体に対するぼけを感じさせない範囲で、当該主要被写体に対する視差を含む画像を得ることができる。

上記ステップＳ１１２において、主要被写体の合焦面の位置を目標合焦面よりも奥側にするか、手前側にするかは、ユーザからの選択に基づいて決定された。合焦面の位置の決定の方法はこれに限られない。他の方法として、主要被写体以外の被写体の位置関係に基づいて合焦面の位置が決定されてもよい。

図８は、デジタルカメラ１０の撮影動作のフローチャートの他の例を示す。図８のフローチャートにおいて、主要被写体以外の被写体の配置に基づいて合焦面の位置が決定される。なお、図８において図６と同じ動作については同じ参照番号を付して、説明を省略する。

ステップＳ１１０において、ユーザにより主要被写体に視差をつける旨が選択されている場合に（Ｓ１１０：Ｙｅｓ）、制御部２０１は、主要被写体よりも手前側に他の被写体があるか否かを判断する（Ｓ１２０）。この場合に、制御部２０１は例えば、ステップＳ１０６およびＳ１０８で主要被写体に対する目標合焦面を設定したのと同様な方法で、他の被写体の合焦面の位置を特定し、目標合焦面を比較することにより、主要被写体よりも手前側に他の被写体があるか否かを判断する。

主要被写体よりも手前側に他の被写体がある場合に（Ｓ１２０：Ｙｅｓ）、出力部２３４は、主要被写体の合焦面の位置を目標合焦面に対して手前側にずらす（Ｓ１２２）。これにより、撮影レンズ２０の合焦光学系が駆動されて、主要被写体は撮像素子１００の受光面よりも手前側に合焦する。したがって、図７（ｂ）に示すように、主要被写体「三角」が奥側に沈み込む方向の視差を有する画像が得られる。さらに、主要被写体「三角」よりも手前にある他の被写体「丸」に対しては、視差量の絶対値が抑えられる。これにより、再生時に両方の被写体に対して自然な立体感を得ることができる。

一方、ステップＳ１２０において、主要被写体よりも手前側に他の被写体がない場合に（Ｓ１２０：Ｎｏ）、出力部２３４は、合焦面の位置を目標合焦面に対して奥側にずらす（Ｓ１２４）。これにより、撮影レンズ２０の合焦光学系が駆動されて、主要被写体は撮像素子１００の受光面よりも奥側に合焦する。したがって、図７（ｃ）に示すように、主要被写体「三角」が手前側に浮き上がる方向の視差を有する画像が得られる。これにより、ユーザが注目している主要被写体を再生時に浮き上がらせて、目立たせることができる。

以上、本実施形態によれば、合焦光学系が形成する主要被写体の合焦面の位置を撮像素子１００の受光面に対してずらすことにより、主要被写体に対して視差を含む画像を得る。これにより、ユーザが注目している主要被写体に対して、再生時に立体感を得ることができる。なお、図６および図８において、ステップＳ１０４からＳ１０８は、既知の合焦動作が用いられてよい。

なお、図６から図８において、撮像素子１００の受光面はデジタルカメラ１０に対して光軸に沿った方向に固定され、合焦光学系が合焦面をずらしている。これに代えて、撮像素子１００の受光面がデジタルカメラ１０に対して光軸に沿った方向に移動することにより、撮像素子１００の受光面と主要被写体の合焦面との位置関係が制御されてもよい。この場合に、合焦光学系の焦点位置は固定であっても可変であってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０デジタルカメラ、２０撮影レンズ、２１光軸、２２絞り、１００撮像素子、１１０基本格子、２０１制御部、２０２Ａ／Ｄ変換回路、２０３メモリ、２０４駆動部、２０５画像処理部、２０７メモリカードＩＦ、２０８操作部、２０９表示部、２１０ＬＣＤ駆動回路、２１１ＡＦセンサ、２２０メモリカード、２３０評価値算出部、２３２目標設定部、２３４出力部、１８０４分布曲線、１８０５分布曲線、１８０６合成分布曲線、１８０７分布曲線、１８０８分布曲線、１８０９合成分布曲線

Claims

光学系を通った被写体からの入射光を電気信号に光電変換する二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有する撮像素子と、
前記光学系および前記撮像素子の少なくとも一方を制御することにより、前記光学系が形成する合焦面と前記撮像素子の受光面との相対位置を制御する制御部とを備え、
前記制御部は、前記光学系が形成する被写体に対する合焦面の位置と前記撮像素子の受光面とをずらすことにより、前記被写体に対して視差を含む画像信号を前記撮像素子から出力させる撮像装置。
前記制御部は、前記被写体に対して前記光学系が形成する焦点深度内に前記受光面が位置するように前記光学系および前記撮像素子の少なくとも一方を制御する請求項１に記載の撮像装置。
前記制御部は、
前記被写体に対する前記受光面での合焦の度合を評価する評価値を算出する評価値算出部と、
前記評価値算出部により算出された前記評価値に基づいて、前記受光面に前記合焦面を合せる目標合焦面を設定する目標設定部と、
前記光学系に、前記光学系の光軸に平行な方向について、前記目標設定部により設定された前記目標合焦面とは異なる位置に前記合焦面を位置させる制御信号を出力する出力部と
を有する請求項１または２に記載の撮像装置。
前記出力部は、前記被写体に対して前記評価値算出部により算出された前記評価値が予め定められた閾値以上となる範囲内で、前記目標合焦面に対して前記合焦面の位置をずらす請求項３に記載の撮像装置。
前記制御部は、前記合焦面の位置を前記受光面に対して奥側にずらすか手前側にずらすかを、ユーザからの選択に基づいて決定する請求項１から４のいずれか１項に記載の撮像装置。
前記制御部は、前記合焦面の位置を前記受光面に対して奥側にずらすか手前側にずらすかを、前記被写体と他の被写体との位置関係に基づいて決定する請求項１から４のいずれか１項に記載の撮像装置。
前記制御部は、前記被写体よりも手前側に他の被写体がある場合に前記合焦面の位置を前記撮像素子に対して手前側にずらし、前記被写体よりも手前側に他の被写体がない場合に前記合焦面の位置を前記撮像素子に対して奥側にずらす請求項６に記載の撮像装置。