以下、本発明を実施するための最良の形態について、図面を用いて詳細に説明する。なお、以下に示す本発明の実施形態においては、本発明に係る撮像装置としてデジタルカメラを適用した例について説明する。
図1は、本発明の実施形態に係るデジタルカメラ(撮像装置)の内部構成の一例を示すブロック図である。
本実施形態のデジタルカメラ100は、絞り101、撮影レンズ102、撮像素子103、A/D変換部104、現像処理部105、瞳分割画像位相差測距部106、レンズ制御部107、露出制御部108、及び、絞り制御部109を有して構成されている。さらに、本実施形態のデジタルカメラ100は、ストロボ制御部110、ストロボ111、ストロボ配光特性記憶部112、補正部113、操作入力部114、圧縮処理部115、及び、画像データ記憶部116を有して構成されている。ここで、補正部113は、補正ゲイン算出部113a及び補正処理部113bを含み構成されている。
絞り101は、デジタルカメラ100の内部に導光する光の量を調整するものであり、撮影条件によってその開口幅が変更できるように構成されている。この絞り101は、絞り制御部109によって制御される。
撮影レンズ102は、被写体の光学像を撮像素子103に導く光学手段であり、フォーカスレンズを含む1枚または複数枚のレンズで構成されている。この撮影レンズ102は、レンズ制御部107によって制御される。
撮像素子103は、同一平面上に2次元状に配設された画素を有して構成され、各画素において、撮影レンズ102から導かれた被写体の光学像(被写体像)をアナログ信号の電気信号(画像信号)に変換して、被写体の撮像を行うものである。この撮像素子103は、例えば、CCDセンサやCMOSセンサなどで形成されている。具体的に、撮像素子103は、被写体の撮影に係る第1の画像(撮影画像)データを取得する第1の画像取得手段である色画素と、被写体の距離分布を測距するための第2の画像データを取得する第2の画像取得手段である測距用画素を有して構成されている。
A/D変換部104は、撮像素子103から出力されたアナログ信号の画像信号を、デジタル信号の画像信号に変換するものである。
現像処理部105は、A/D変換部104から出力された画像信号を、RGB信号からYUV信号に変換して現像処理を行う。
瞳分割画像位相差測距部106は、撮像素子103内に設けられた測距用画素からの画素信号に基づいて、撮影画像における各画像領域ごとに、被写体との距離を測距する処理を行う。具体的に、瞳分割画像位相差測距部106は、撮像素子103内に設けられた測距用画素からの画素信号をA/D変換部104の出力から抽出して、瞳分割画像A及び瞳分割画像Bにより、画角内撮影画像の被写体距離分布を求める。
レンズ制御部107は、瞳分割画像位相差測距部106により得られた測距情報に従って、撮影レンズ102のフォーカスレンズ等を制御する。
露出制御部108は、A/D変換部104から出力された画像信号に基づいて、適正な露出で撮影するための撮影条件を決定する。
絞り制御部109は、露出制御部108によって決定された撮影条件(露出条件)に従って、絞り101を制御する。
ストロボ制御部110は、露出制御部108によって決定された撮影条件(露出条件)に従って、ストロボ111を制御する。
ストロボ111は、ストロボ制御部110の制御に基づき、露出不足などの必要に応じて、被写体に対して閃光を発する閃光手段である。
ストロボ配光特性記憶部112は、撮影レンズ102のズーム位置及びフォーカス位置、絞り101の絞り値、被写体距離などによって特徴付けられるストロボ111の配光特性を示すストロボ配光特性データを記憶している。
補正部113は、瞳分割画像位相差測距部106で測距された撮影画像の各画像領域ごとの被写体の距離と、ストロボ配光特性記憶部112に記憶されている配光特性データとに基づいて、撮影画像を補正する処理を行う。
補正部113の補正ゲイン算出部113aは、撮影レンズ102のズーム位置及びフォーカス位置、画角内撮影画像の被写体距離分布、並びに絞り101の絞り値による合焦条件と、ストロボ配光特性データから、撮影画像データを補正する際のゲインを算出する。
補正部113の補正処理部113bは、補正ゲイン算出部113aで算出されたゲインによって撮影画像データを補正する処理を行う。
操作入力部114は、操作者(ユーザ)の操作により入力された入力情報を補正部113等に入力する。例えば、操作入力部114は、メニュー設定画面等を表示する表示画面を具備しており、当該メニュー設定画面等を介して入力情報などを補正部113等に入力する。
圧縮処理部115は、補正部113で補正処理された撮影画像データを圧縮する処理を行う。
画像データ記憶部116は、圧縮処理部115で圧縮処理された画像データを記憶する。
図2は、本発明の実施形態に係るデジタルカメラ(撮像装置)の制御方法における処理手順の一例を示すフローチャートである。具体的に、図2には、主として、ストロボ撮影時の画像補正に関する処理手順が示されている。
まず、ステップS1において、補正部113は、例えば、操作入力部114から入力された入力情報に基づいて、ストロボ撮影を行うか否かを判断する。この判断の結果、ストロボ撮影を行わない場合には(S1/NO)、当該フローチャートにおける処理を終了する。
一方、ステップS1の判断の結果、ストロボ撮影を行う場合には(S1/YES)、ストロボ111から被写体に対して閃光が発せられ、撮影レンズ102及び撮像素子103等による被写体の撮影が行われる。これにより、ストロボ撮影における被写体の撮影画像データが得られる。その後、ステップS2に進む。
ステップS2に進むと、レンズ制御部107は、撮影レンズ102の現在のズーム位置、及び、撮影レンズ102の現在のフォーカス位置(フォーカスレンズ位置)を検出する。そして、補正部113の補正ゲイン算出部113aは、レンズ制御部107から、撮影レンズ102の現在のズーム位置に係るズーム位置情報、及び、撮影レンズ102の現在のフォーカス位置に係るフォーカス位置情報(フォーカスレンズ位置情報)を取得する。
続いて、ステップS3において、露出制御部108は、絞り制御部109から、当該絞り制御部109で検出した絞り101の現在の絞り値に係る絞り値情報を取得する。そして、補正ゲイン算出部113aは、露出制御部108から、絞り101の現在の絞り値に係る絞り値情報を取得する。
続いて、ステップS4において、補正ゲイン算出部113aは、瞳分割画像位相差測距部106により測定された被写体距離分布に係る被写体距離分布情報を取得する。なお、瞳分割画像位相差測距部106によって得られる被写体距離分布情報については後述する。
続いて、ステップS5において、補正ゲイン算出部113aは、ステップS2〜S4で取得した各種の情報と、ストロボ配光特性記憶部112に記憶されているストロボ配光特性データに基づいて、画像補正用のゲインを算出する。なお、ストロボ配光特性データと、補正ゲイン算出部113aによる画像補正用ゲインの算出方法の詳細については後述する。
続いて、ステップS6において、補正部113の補正処理部113bは、補正ゲイン算出部113aで算出された画像補正用のゲインを用いて、ステップS1のストロボ撮影により得られた撮影画像データを補正する補正処理を行う。なお、補正処理部113bによる補正処理の詳細については後述する。
その後、補正部113で補正処理された撮影画像データは、圧縮処理部115で圧縮処理されて、画像データ記憶部116に記憶される。その後、当該フローチャートにおける処理を終了する。
図2に示すステップS7及びS8は、後述する条件によって、ステップS1からステップS2に進むべきか否かの判断処理を挿入することができるようにした形態を示すものである。図2に示すステップS7〜S9における詳細については、図40を用いて後述する。
[撮像素子103内に設けられた測距用画素による位相差AFの説明]
次に、本実施形態における位相差方式のオートフォーカス(位相差AF)について説明する。まず、位相差AFの基本となる撮像素子103の画素配列に関して、図3と図4を用いて説明する。
図3は、一般的な撮像素子の基本画素配列の一例を示す模式図である。また、図4は、本発明の実施形態における撮像素子103の基本画素配列の一例を示す模式図である。
まず、図3に示す一般的な撮像素子の基本画素配列について説明する。図3には、2画素×2画素を基本単位とするエリアセンサの基本単位部における色配列が示されている。ここで、図3(a)は、いわゆるベイヤ配列を示したものであり、以下の説明では、純色ベイヤ配列と称する。図3(b)は、ベイヤ配列を補色フィルタに適用したものであり、以下の説明では、補色ベイヤ風配列と称する。また、図3(c)は、補色フィルタの3色にGを加えたものであり、以下の説明では、G込補色配列と称する。
また、一般的に知られる基本画素配列としては、図3(a)〜図3(c)に示す基本画素配列の他に、例えば、2画素×4画素単位の補色市松配列があり、これは、ビデオムービーカメラ用の撮像素子として最もよく使われる。また、一般的に知られる他の基本画素配列として、例えば、2画素×8画素の補色市松配列もある(例えば、特許文献4参照)。ここで、2画素×4画素、2画素×8画素の色画素配列は、動画像(インターレース走査を行うビデオ)を扱うエリアセンサとしては優位である。一方、スチル画像を扱うカメラとしては、2画素×2画素の方が信号処理を簡易化でき、かつ、高画質の画像を得ることができる。以下では、2画素×2画素を基本単位とするエリアセンサについて説明するが、2画素×4画素、2画素×8画素の色画素配列をもつエリアセンサにも適用できるものである。
次に、図4を用いて、本実施形態に係る撮像素子103の基本画素配列について説明する。ここで、図4(a)は、純色ベイヤ配列の場合の画素配列を示し、図4(b)は、補色ベイヤ風配列またはG込補色配列の場合の画素配列を示している。
図4(a)及び図4(b)において、「S」の部分は、AFのための測距に係る測光データを読み出すための機能センサセル(測距用画素)である。本実施形態の撮像素子103では、撮像素子103そのものの中に、AF用センサに相当する測距用画素を構成しており、当該デジタルカメラのAFのための測距を、撮像素子103からの信号を読み出すことによって行うものである。これによって、本実施形態では、高精度のAFを可能とし、また、別体でAF用センサを設ける必要が無くなるため、小型で低価格のデジタルカメラを提供することが可能になる。
次に、本実施形態におけるAF測距のための測光データを検知する画素(測距用画素)と、当該測距用画素を配設した撮像素子103について説明する。
高画素のデジタルスチルカメラ用の撮像素子としては、主に、インターライン型CCD、或いは、フルフレーム型CCDが使用される。このうち、インターライン型CCDは、2/3インチ光学系以下の低価格なカメラに用いられ、また、フルフレーム型CCDは、1インチ光学系以上の高価格なカメラに用いられることが多い。この両者の最も大きな違いは、インターライン型CCDでは、撮像素子に光が入射していても信号電荷の読み出しが可能であるが、フルフレームCCDでは、撮像素子の前面に設けられるメカニカルシャッタを閉じないと信号電荷の読み出しができない点である。
しかしながら、本願の発明者は、既にこの解決方法として、フルフレームCCDのイメージエリアと水平CCDとの間にわずかのライン分の電荷を蓄積するためのストレージ部を設ける構造の改良フルフレーム型CCDを提案している。そして、本願の発明者は、この改良フルフレーム型CCDによる、メカニカルシャッタを開いた状態でのAFのための部分読み出し駆動方法を提案している。また、本願の発明者は、インターライン型CCDにおけるイメージエリア内の部分的に必要なAF用の部分のみを高速に読み出す方法(即ち、必要な部分以外の信号電荷の高速クリアの方法)も提案している。
これにより、インターライン型CCDでも、フルフレーム型CCD(但し、改良型)でも、イメージエリア内に配された測距用画素を含む領域の信号電荷を、メカニカルシャッタを何度も開閉することなく短時間に読みだすことが可能である。以下の説明においては、改良フルフレーム型CCDを用いた実施形態の例について説明するが、インターライン型にも適用できるものである。
ここで、測距用画素の説明を行う前に、まず、撮像素子103のイメージセンサ(色画素)について説明する。
図5は、本発明の実施形態における撮像素子103のイメージセンサ(色画素)の画素構造の一例を示す模式図である。ここで、図5(a)は、撮像素子103のイメージセンサの画素を上部からみた構造図であり、図5(b)は、図5(a)に示すI−I'断面の画素構造とそのポテンシャルプロフィールの図である。具体的に、図5には、主として、イメージセンサの画素における光電変換部が示されている。
図5において、クロックゲート電極201は、例えば、光透過性のあるポリシリコンで形成されており、このクロックゲート電極201下の半導体層表面がクロックフェーズ領域である。クロックフェーズ領域は、イオンの打ち込みにより2領域に分けられ、その一方がクロックバリア領域202であり、もう一方がクロックバリア領域202よりもポテンシャルが高くなるようにイオンを打ち込むことで形成されるクロックウエル領域203である。
バーチャルゲート204は、半導体層表面にP+層を形成することでチャネルポテンシャルを固定するためのゲートであり、この形成領域がバーチャルフェーズ領域である。このバーチャルフェーズ領域も、また、P+層より深い層にN型イオンを打ち込むことで2領域に分けられ、その一方がバーチャルバリア領域205であり、もう一方がバーチャルウエル領域206となっている。
絶縁層207は、電極と半導体層との間に設けられた、例えば酸化膜などからなる絶縁層である。チャネルストップ領域208は、各VCCDのチャネルを分離するための領域である。
なお、図5には図示しなかったが、強い光が入射した場合に電荷が隣接画素にあふれて擬似信号となるブルーミング現象の防御の機能が付加される。その代表的な方法は、横形オーバーフロードレインを設ける方法である。具体的に、各VCCDに接してN+層からなるドレインが設けられ、オーバーフロードレインと電荷転送チャネルとの間に、オーバーフロードレインバリアが設けられる。即ち、オーバーフロードレインバリアの高さを超える電荷は、ドレインに掃き捨てられることになるのである。オーバーフロードドレインバリアの高さはイオンの打ち込みにより固定されるか、オーバーフロードレインバリア上に電極(オーバードレインバリア電極)を構成することで、ドレイン電極に加える電圧(VOD)の値の制御により、その高さを変えられる。
VCCDの転送は、クロックゲート電極201に任意のパルスを加えて、クロックフェーズ領域のポテンシャルをバーチャルフェーズ領域のポテンシャルに対して上下に動かすことで電荷を水平CCDの方向へ転送する。この電荷の移動の概念を、図5(b)の→○で示す。
以上は、撮像素子103のイメージセンサの画素構造であるが、上述したストレージ部の画素構造もこれに準ずるものとなる。ただし、このストレージ部の領域は、画素上部がアルミ遮光されているため、ブルーミングを防御する必要がないので、オーバーフロードレインを省略したものとなる。また、H−CCDも、バーチャルフェーズ構造とされるが、VCCDからの電荷を受け取り、かつ、その電荷を水平に転送することができるようにクロックフェーズ領域とバーチャルフェーズ領域のレイアウトを構成する。
図6は、本発明の実施形態における撮像素子103のイメージセンサ(色画素)の画素構造の一例を示す模式図である。具体的に、図6は、図5に示す画素構造(主として、光電変換部)に対して、その上部に、カラーフィルタ等を設けたイメージセンサの画素構造が示されている。ここで、図6において、図5に示す構成と同様の構成については同じ符号を付している。また、図6(a)は、撮像素子103のイメージセンサの画素を上部からみた構造図であり、図6(b)は、図6(a)に示すII−II'断面の画素の構造図である。
保護層209は、図5に示す画素構造上に形成された半導体層表面の保護層である。メタル層210は、図5に示す画素構造とカラーフィルタ212との間に形成され、各色の混色を防止するためのメタル層(メタル遮光層)である。但し、このメタル層210は、カラーフィルタ(色フィルタ)212と同様の材料で作られる黒の色素層で構成されることもある。平滑層211は、カラーフィルタ212の表面を平らにするための層である。カラーフィルタ212は、純色のいずれかの色、或いは、補色のいずれかの色からなる色フィルタである。保護層213は、カラーフィルタ212を保護するための層である。
次に、フルフレームCCDからなる撮像素子103に、AF用の測距データを検知する画素(測距用画素)を構成した場合の画素配列について説明する。
図7は、本発明の実施形態における撮像素子103の画素配列の一例を示す模式図である。図7には、通常のベイヤ配列のセンサに、複数の測距用画素S1をもつラインと、複数の測距用画素S2をもつラインが並んで構成される。
ここで、図7に示す測距用画素S1及びS2の画素構造について説明する。
図8は、図7に示す測距用画素S1の画素構造の一例を示す模式図である。ここで、図8(a)は、測距用画素S1を上部からみた構造図であり、図8(b)は、図8(a)に示すIII−III'断面の画素構造である。また、図8において、図6に示す構成と同様の構成については同じ符号を付している。
この測距用画素S1には、図6に示すイメージセンサ(色画素)に設けられているカラーフィルタ212は構成されずに、その最上部に光学手段であるマイクロレンズ216が構成されている。
図8に示す平滑層211上には、遮光層214が形成されている。そして、遮光層214には、マイクロレンズ216を平面に形成するための平滑層215が形成されている。この平滑層215は、図6に示すイメージセンサの保護層213と同じ材料からなり、保護層213と同一工程で形成される。この測距用画素S1の特徴的な構成は、図6に示すイメージセンサにおける混色防止遮光用のメタル層210の同一平面上に、当該画素の光電変換エリアの中心部から一方(左側)に偏った(偏心した)開口部を有する遮光層214を構成している点にある。
図9は、図7に示す測距用画素S2の画素構造の一例を示す模式図である。ここで、図9(a)は、測距用画素S2を上部からみた構造図であり、図9(b)は、図9(a)に示すIV−IV'断面の画素構造である。また、図9において、図8に示す構成と同様の構成については同じ符号を付している。
図9に示す測距用画素S2では、遮光層214が、画素中心から図8に示す測距用画素S1のものとは反対方向に同距離のところに開口部を有するように形成されている。
100万画素を越える撮像素子103では、図7の画素配列において、測距用画素S1を含む行群と測距用画素S2を含む行群は、ほとんど同一ラインとして近似の光学像がマイクロレンズ216上に結像される。ここで、撮像素子103に光学像を結ぶ撮影レンズ102が撮像素子103上で焦点(ピント)があっているのであれば、測距用画素S1を含む行群からの画像信号(画素信号)と、測距用画素S2を含む行群からの画素信号(画素信号)は一致する。仮に、撮影レンズ102の焦点(ピント)を結ぶ結像点が撮像素子103のイメージエリアよりも前方か或いは後方にあるならば、測距用画素S1を含む行群からの画像信号と、測距用画素S2を含む行群からの画像信号に位相差が生じる。この場合、結像点が前の場合と後の場合では、その位相のずれ方向が逆になる。これは、原理的には、上記の特許文献5に示される瞳分割画像位相差AFと同じである。即ち、測距用画素S1の光電変換部から撮影レンズ102を見た場合と、測距用画素S2の光電変換部から撮影レンズ102をみた場合とでは、あたかも光学中心に対して瞳が左右に分割したように見える。
図10は、本発明の実施形態における撮像素子103の焦点ずれ(ピントずれ)による画像ずれの検知の概念図である。図10では、測距用画素S1及びS2を合一させ、A、Bの点で示している。また、説明を分かりやすくするために、色画素(イメージセンサ)を省略して示している。
被写体の特定点からの光は、Aにとっての瞳を通って該当のA点に入射する光束(ΦLa)と、Bにとっての瞳を通って該当のB点に入射する光束(ΦLb)に分けられる。この2つの光束は、もともと1点(被写体の特定点)から発したものであるから、もし撮影レンズ102のピントの位置が撮像素子103上に合っていれば、図10(a)に示すように、同一のマイクロレンズ216で括られる1点に到達することとなる。しかしながら、例えば、図10(b)に示すように、撮影レンズ102のピントの位置が撮像素子103の距離xだけ手前であれば、2θxだけ位相が互いにずれることになる。この場合、仮に、距離−xであれば、到達点は逆方向にずれる。
この原理に基づけば、Aの並びによりできる像(光の強弱による信号線)とBの並びによりできる像は、撮影レンズ102のピント(焦点)があっていれば一致し、そうでなければ、位相がずれることとなる。
本実施形態の撮像素子103は、この原理に基づき、開口位置の異なるマイクロレンズ216を有する測距用画素を基本画素配列の中に組み込んで形成されている。具体的に、第1の開口をもつ測距用画素S1を含む基本画素配列の行群と、第2の開口をもつ測距用画素S2を含む基本画素配列の行群を隣接して並べる領域を設けて形成している。そして、本実施形態では、この領域の測距用画素S1を含む行群からの画像信号と測距用画素S2を含む行群からの画像信号との位相ずれ分を演算して検知し、撮影レンズ102のフォーカスのずれ分を求めるようにしている。そして、求めたフォーカスのずれ分だけ、当該デジタルカメラ100のフォーカス位置を動かすことで、オートフォーカスが可能になる。
図11、図12及び図13は、本発明の実施形態における撮像素子103の画素配列の変形例を示す模式図である。この図11〜図13は、図7に示す画素配列に対して、測距用画素S1及びS2の配列の仕方を変えたものである。
上述した例では、第1の位相を検知する測距用画素S1を含む行群と、第2の位相を検知する測距用画素S2を含む行群とは、僅かではあるがずれているものであった。上述したように、100万画素を越える撮像素子103では実用上問題となることはないが、図11〜図13に示す変形例では、これらの位相を検知する行群をより同一箇所に近似させるようにしたものである。
具体的に、図11は、同一行に測距用画素S1及びS2を交互に配設したものである。また、図12は、測距用画素S1を含む行群を、測距用画素S2を含む行群の上下に設けたものであり、測距用画素S1を含む行群と測距用画素S2を含む行群の補間により、測距用画素S2を含む行群に相当する測距用画素S1を含む行群のデータを得るものである。図13は、図11の変形例であり、同一行に測距用画素S1及びS2を含む行群を2つ隣接させると共に、これら2つの行群において測距用画素S1及びS2の位置が互いに逆になるように配設したものである。
以上のように、位相差信号を作り出すための画素群(測距用画素を含む行群)とその部分のみを読み出す駆動方法により、高速で、かつ精度の高いAFが可能となる。
この撮像素子103における本撮影の撮影画像に係るRAWデータ(CCD−ROWデータ;各画素のそのままの情報)の画像処理においては、測距用画素S1及びS2の部分については、周辺の色画素からの補間により画像処理される。これにより、撮影画像の画質の劣化はほとんどなく、かつ、撮影画像の取り込み以外にAF用の測距データも読み込める撮像素子103が実現できる。このような補間処理をする前提にたつと、図4に示すような基本画素配列が2画素×2画素で3色の色画素と1つの測距用画素だとその補間処理が簡易で、かつ画像劣化もほとんど問題にならない。もちろん、基本画素配列が2画素×4画素でも適用可能であるが、この場合には、測距用画素S1を含む行群と測距用画素S2を含む行群との距離が2画素×2画素よりも離れることとなる。
以上、撮像素子103が改良型のフルフレーム型CCDである場合について説明してきたが、撮像素子103が、インターライン型CCD、フレームトランスファ型CCD、或いは、X−Yアドレス型撮像素子においても適用可能である。
次に、本実施の更に改良可能な点について説明する。
図14及び図15は、本発明の実施形態に係るデジタルカメラ(撮像装置)の焦点検出における概念図である。ここでは、説明を簡単にするために、測距用画素S1及びS2を同一の平面上に示す。
被写体の特定点からの光は、測距用画素S1にとっての瞳を通って測距用画素S1に入射する光束(L1)と、測距用画素S2にとっての瞳を通って測距用画素S2に入射する光束(L2)に分けられる。この2つの光束は、当該デジタルカメラ100の撮影レンズ102におけるピントが合っているときには、図14に示すように、マイクロレンズ216の表面上の一点に集光する。そして、この場合、測距用画素S1及びS2には、同一の光学像が露光される。これにより、測距用画素S1を含む行群から読み出した画像信号と測距用画素S2を含む行群から読み出した画像信号は、同一のものとなる。
一方、当該デジタルカメラ100の撮影レンズ102におけるピントが合っていないときには、図15に示すように、光束L1と光束L2は、マイクロレンズ216の表面とは異なる位置で交差する。ここで、マイクロレンズ216の表面と2つの光束の交点との距離、即ちデフォーカス量がxであったとする。また、この時に発生した測距用画素S1の像と測距用画素S2の像とのずれ量がn画素分であり、図15に示すように、センサピッチがd、二つの瞳の重心間の距離がDaf、撮影レンズ102の主点から焦点までの距離がuであったとする。
この場合、デフォーカス量xは、以下の(1)式で求められる。
x=n×d×u/Daf ・・・(1)
さらに、距離uは、撮影レンズ102の焦点距離fにほぼ等しいと考えられるので、(1)式は、以下の(2)式で表せる。
x=n×d×f/Daf ・・・(2)
図16は、本発明の実施形態における撮像素子103の測距用画素S1を含む行群から読み出した画素信号と測距用画素S2を含む行群から読み出した画像信号の様子を示す模式図である。図16は、例えば、図15に示す場合について示されている。
測距用画素S1を含む行群から読み出した画素信号と測距用画素S2を含む行群から読み出した画像信号には、像のずれn×dが発生する。この2つの画像信号のずれ量を求め、これにより(2)式等からデフォーカス量xを求める。そして、求めたデフォーカス量xに基づいて、撮影レンズ102を距離xだけ移動すれば、オートフォーカスを達成することが可能となる。
ところで、上記のような像のずれを検出するためには、撮影レンズ102に入射する光のうち、2つの異なる瞳を通った光束L1及びL2を分離する必要がある。本実施形態では、撮像素子103に、瞳分離の機能を持つ測距用画素S1及びS2を形成することにより瞳分離を行う。
図17は、本発明の実施形態における撮像素子103の測距用画素の画素構造の一例を示す模式図である。ここで、図17(a)は、測距用画素を上部からみた構造図であり、図17(b)は、図17(a)に示すV−V'断面の画素構造である。この図17に示す測距用画素の画素構造は、例えば、図9に示す画素構造と同様なものとなる。
図17(b)には、マイクロレンズ216、遮光層214、及び、光電変換素子の絶縁層207が示されている。マイクロレンズ216には、撮影レンズ102からの光が入射するが、光電変換素子に入射する光は、遮光層214により制限されて特定の方向から入射する光束のみとなる。
図18は、本発明の実施形態における撮像素子103の測距用画素S1及びS2における遮光層214を示す模式図である。ここで、図18(a)には、例えば、図8に示すように、測距用画素S1おける遮光層214が示されており、図18(b)には、例えば、図9に示すように、測距用画素S2おける遮光層214が示されている。
図18に示すように、測距用画素S1おける遮光層214と測距用画素S1おける遮光層214とは、その開口部が左右対称となるように設けられている。この際、開口部が上下対称となるように設けるようにしてもよい。これにより、光軸を中心として対称となる2つの瞳位置からの光束により、撮像素子103上に結像した像のうち、一方が測距用画素S1を含む行群によって光電変換され、もう一方が測距用画素S2を含む行群によって光電変換される。このようにして、瞳位置の異なる2つの像が得られる。
図19は、本発明の実施形態における撮像素子103の画素配列の一例を示す模式図である。ここで、図19は、図7に示す画素配列と同様のものが示されている。
図19に示す撮像素子103の色画素には、R、G又はBのカラーフィルタが設けられている。図19において、Rで示されているものは赤色のカラーフィルタを持つ色画素、Gで示されているものは緑色のカラーフィルタを持つ色画素、Bで示されているものは青色のカラーフィルタを持つ色画素である。また、測距用画素S1及びS2には、カラーフィルタは構成されずに、図17(b)に示すように、遮光層214及びマイクロレンズ216が構成されている。
オートフォーカス動作を行うときは、撮像素子103から測距用画素S1及びS2を含む行群を読み出し、これによって撮像素子103から出力された信号をA/D変換部104でA/D変換する。そして、例えば、瞳分割画像位相差測距部106は、これによって得た各画素値より測距用画素S1の像と測距用画素S2の像をそれぞれ生成し、2つの像の相関を演算することによって像のずれ量を求める。そして、レンズ制御部107は、瞳分割画像位相差測距部106で求められた像のずれ量に従って撮影レンズ102を移動し、オートフォーカス動作を達成する。
一方、撮影を行うときは、まず、撮像素子103上に被写体像を露光し、撮像素子103の全画素から信号を読み出す。撮像素子103から読み出した画像信号は、A/D変換部104でA/D変換され、現像処理部105に入力される。現像処理部105では、まず、測距用画素S1及びS2から読み出した画素値を破棄し、代わりに、その周辺画素より測距用画素S1、S2に相当する画素値を生成して補間処理する。そして、現像処理部105において輝度色差信号の生成等による画像データの現像処理が行われた後、圧縮処理部115において圧縮処理が施されて、画像データ記憶部116に画像データが記憶される。
上述したように、本実施形態では、測距用画素S1及びS2は、カラーフィルタを有していない等により、撮影画像データには使用できず、この部分の画素値を周辺画素を用いて補間するようにしている。
静止画撮影時における補間処理は、画像信号に基づく画像データをメモリ(例えば、画像データ記憶部116)に取り込んだ後に行えばよい。一方、動画撮影時や電子ビューファインダーにおける補間処理は、これらの撮影等では1秒間に30枚程度の画像を撮像素子103から繰り返し読み出すため、処理が間に合わなくならないように撮像素子103上のラインを間引いて行う。
以上によって、測距用画素S1及びS2を含むラインの読み出しが完了する。デジタルカメラ100においては、例えば、瞳分割画像位相差測距部106は、読み出したラインの中の特定の2つのラインを選択し、測距用画素S1と測距用画素S2の位相差からデフォーカス量を演算する。そして、レンズ制御部107は、瞳分割画像位相差測距部106で求められたデフォーカス量に基づいて、撮影レンズ102を駆動することによってオートフォーカス動作を完了する。
このように、本実施形態によれば、間引きモードの読み出しにおいて読み出される画素の画素信号には測距用画素の画素信号が含まれず、かつ、動画の生成に必要十分な画素数の画素信号を読み出すことができる。
また、例えば、撮像素子103の水平方向と垂直方向に直行して瞳分割することで、水平方向と垂直方向の両方の位相差を検出して合焦の精度を向上させるようにすることも可能である。この形態について図20を用いて説明する。
図20は、本発明の実施形態における撮像素子103の測距用画素の一例を示す模式図である。ここで、図20(a)には、撮像素子103の水平方向に瞳分割した測距用画素(S)が示されており、図20(b)には、撮像素子103の垂直方向に瞳分割した測距用画素(S)が示されている。
この場合、図20に示すような測距用画素を、撮像素子103の内部に満遍なく一定の間隔で配設する。そして、例えば、撮像素子103全体の画素の1%程度をこの測距用画素に割り当てる。そして、デジタルカメラ100を正位置で撮影したときの被写体の縦縞は、水平方向(横方向)に瞳分割した測距用画素により位相差(デフォーカス量)を検出する。一方、デジタルカメラ100を正位置で撮影したときの被写体の横縞は、垂直方向(縦方向)に瞳分割した測距用画素により位相差(デフォーカス量)を検出する。そして、これらの位相差(デフォーカス量)を用いてフォーカシングを行うと、精度高く合焦できる。
また、以上のような測距方式によって、画角内撮影画像に対してある領域ごと、つまりはある解像度で、被写体距離分布を求める。以下、図面を用いて説明する。
図21は、本発明の実施形態に係るデジタルカメラ(撮像装置)を用いた被写体のストロボ撮影の様子を示す模式図である。
壁2101には、壁掛け時計2102がかかっている。第1の人物2103は、壁2101の手前に立っている。第2の人物2104は、壁2101に対して、第1の人物2103よりもさらに手前に立っている。なお、図21では、第1の人物2103及び第2の人物2104の頭以外の身体については、直線で簡略化して図示している。撮影範囲2105及び3106は、いわゆる画角を示している。また、図21には、デジタルカメラ100のうち、撮影レンズ102と撮像素子103のみを図示しており、撮像素子103には、撮影レンズ102を通して結像された被写体像が示されている。
図22は、図21に示す被写体のストロボ撮影を行った場合の撮影画像の一例を示す模式図である。この図22は、例えば、撮像素子103で撮像された撮影画像が示されている。なお、図22においても、図21と同様に、第1の人物2103の頭以外の身体については、直線で簡略化して図示している。
図23は、図21に示す被写体のストロボ撮影における被写体距離分布の一例を示す模式図である。ここで、画角2301は、当該撮影画像の画角を示している。この図23に示す被写体距離分布は、瞳分割画像位相差測距部106により求められるものである。なお、図21及び図22では、第1の人物2103の頭以外の身体については、簡略化して図示していたが、図23では、簡略化すること無く図示している。
図23において、距離2302は、壁2101までの距離を表しており、図23の例では、デジタルカメラ100からの距離が303cmであることを示している。距離2303は、壁かけ時計2102までの距離を表わしており、図23の例では、デジタルカメラ100からの距離が300cmであることを示している。
距離2304〜2308は、第1の人物2103までの距離を表わしており、図23の例では、デジタルカメラ100からの第1の人物2103における距離が200cm〜206cmの距離分布であることを示している。距離2309〜2311は、第2の人物2104までの距離を表わしており、図23の例では、デジタルカメラ100からの第2の人物2104における距離が100cm〜102cmの距離分布であることを示している。また、図23には、撮影画像における水平方向の位置座標を示すx軸2312と、撮影画像における垂直方向の位置座標を示すy軸2313が記載されている。ここで、被写体における被写体距離分布Dは、D(x,y)で表わすことができる。
[ストロボ配光特性の説明]
次に、本実施形態におけるストロボ配光特性について説明する。
図24は、ストロボ配光特性を説明するための模式図である。
図24(a)には、遠近2つ被写体に対するストロボ111の配光と撮影レンズ102及び撮像素子103との関係が模式的に斜視図として示されている。図24(b)には、近距離の被写体に対するストロボ111の閃光における水平方向の配光特性D1が示されている。図24(c)には、近距離の被写体に対するストロボ111の閃光における垂直方向の配光特性D2が示されている。また、図24(d)には、遠距離の被写体に対するストロボ111の閃光における水平方向の配光特性D3が示されている。図24(e)には、遠距離の被写体に対するストロボ111の配光における垂直方向の配光特性D4が示されている。
具体的に、図24(b)及び図24(d)は、図24(a)に示すストロボ111の配光の中心軸27と、近距離の被写体面28a又は遠距離の被写体面28bと交わる交点を含む垂直面から左右への配光特性を示している。また、図24(c)及び図24(e)は、図24(a)に示すストロボ111の配光の中心軸27と、近距離の被写体面28a又は遠距離の被写体面28bと交わる交点を含む水平面から上下への配光特性を示している。
したがって、ストロボ笠111aによる配光特性の図24(b)及び図24(d)に示す配光の中心軸27と被写体面との交点を含む垂直面は、撮影レンズ102のレンズ軸29と一致(ストロボ111が撮影レンズ102の真上にある場合)している。
しかしながら、図24(c)及び図24(e)に示す配光の中心軸27と被写体面との交点を含む水平面は、図24(a)に示すように、近距離の被写体面28aに対しては上方にずれ、遠距離の被写体面28bに対しては下方にずれることになる。
この場合、ストロボ111の配光の光軸と撮影レンズ102の光軸が水平方向(カメラ左右方向)では一致し、垂直方向(カメラ上下方向)ではずれるように、ストロボ111の配置がレイアウトされることが前提である。さらに、所定の距離において、垂直方向でストロボ111の配光の光軸と撮影レンズ102の光軸とが交差するように、ストロボ111の配光の光軸を傾けていることが前提である。即ち、撮影レンズ102のレンズ軸29、つまり撮像素子103の中心に対して、近距離の被写体の場合には図24(c)に示すように配光特性D2は上方に移動し、遠距離の被写体の場合には図24(e)に示すように配光特性D4は下方に移動する。以上を行うことで、カメラ主レンズである撮影レンズ102とストロボ111の位置の違いによるパララックスも考慮した精度のよいストロボ配光特性が得られる。
図25は、ズーム位置によるストロボ配光特性の一例を示す模式図である。ここで、図25(a)には、ズーム位置による水平方向のストロボ配光特性が示されており、図25(b)には、ズーム位置による垂直方向のストロボ配光特性が示されている。
図25(a)において、縦軸は、ストロボ111の配光の光量を示し、横軸は、ストロボ111の配光の中心軸27を中心とする光の広がり範囲を示している。この図25(a)に示す配光特性Hは、配光の中心軸27の光量aを100%として、その水平方向の周囲の光量減衰度を示している。
この図25(a)に示す水平方向の光量減衰度では、配光特性Hに示すように、Wide端での撮影時には、中心の光量aの位置から左方向へh1までと右方向へh4まで、図25(a)に示すような曲線を描いて光量が減衰する。そして、これが、撮像素子103w上に結像する被写体像の明るさに反映される。また、Tele端での撮影時には、中心の光量aの位置から左方向へh2までと右方向へh3まで、図25(a)に示すような曲線を描いて光量が減衰し、これが、撮像素子103t上に結像する被写体像の明るさに反映される。
図25(a)において、横軸は、ストロボ111の配光の光量を示し、縦軸は、ストロボ111の配光の中心軸27を中心とする光の広がり範囲を示している。この図25(a)に示す配光特性Pは、配光の中心軸27の光量aを100%として、その垂直方向の周囲の光量減衰度を示している。ここで、撮影レンズ102の光軸と撮像素子103の中心と且つ被写体面の中心とが一致しているとした場合について考える。この場合、撮像素子103上に結像する被写体像の中心の光量を100%としたとき、撮像素子103上において被写体像の中心から垂直方向に並ぶ個々の画素の受ける光量を割り出すことができる。
この図25(b)に示す垂直方向の光量減衰度では、配光特性Pに示すように、Wide端での撮影時には、中心の光量aの位置から上方向へp1までと下方向へp4まで、図25(b)に示すような曲線を描いて光量が減衰する。そして、これが、撮像素子103w上に結像する被写体像の明るさに反映される。また、Tele端での撮影時には、中心の光量aの位置から上方向へp2までと下方向へp3まで、図25(b)に示すような曲線を描いて光量が減衰し、これが、撮像素子103t上に結像する被写体像の明るさに反映される。
また、水平方向と垂直方向の中間部分の方向の光量の減衰量については、それぞれ、配光特性Hと配光特性Pを結ぶ曲面のデータとして得られる。なお、図25(a)及び(b)では、配光特性の広がり範囲に合わせて図示しているため、撮像素子103wと撮像素子103tとの大きさが異なるが、実際は、同一の撮像素子103を示している。
以上のような被写体距離やズーム位置等に応じたストロボ111の配光特性は、撮像素子103の各画素の位置に対応する補正用データ(ストロボ配光特性データ)としてテーブル化されて、例えば、ストロボ配光特性記憶部112に予め記憶されている。このように、本実施形態では、ストロボ配光特性記憶部112に記憶されているストロボ配光特性データは、撮影レンズ102のズーム位置を加味したものとなっている。ここで、ストロボ配光特性記憶部112は、例えば、フラッシュメモリのような不揮発性メモリであり、ストロボ配光特性データは、この所定領域に予め格納されている。
ここで、ストロボ配光特性データは、SY(D,Z,x,y)で表わせる。ここで、Dは被写体距離、Zは撮影レンズ102のズーム位置、xは水平座標、yは垂直座標である。この場合、ストロボ配光特性記憶部112のメモリ容量の観点から、全てのD、Z、x、yにおけるストロボ配光特性データSYをテーブルとして持つことが困難な場合などでは、例えば、以下のようにすることも可能である。具体的には、離散的なD、Z、x、yにおけるストロボ配光特性データSYをテーブルとして格納しておき、この離散的なD、Z、x、yの中で近傍の値から補間処理によって実際のストロボ配光特性SYを求める方法を適用してもよい。この際の補間処理としては、バイリニア法やバイキュービック法などがある。
[補正処理の説明]
次に、補正部113で行われる補正処理について説明する。
まず、合焦状態を考慮しない場合の補正処理について説明する。
図26は、ストロボ配光特性の一例を示す模式図である。
図26において、ストロボ配光特性2601及び2602は、ある被写体距離D、ズーム位置Z、座標(x,y)の一定方向のストロボ配光特性SYを示している。つまり、画角の中心部では、ストロボ111の配光は明るく照射され、周辺部では、ストロボ111の配光が十分に照射されずに暗くなることを示している。
図27は、図26に示すストロボ配光特性の場合の補正ゲインの一例を示す模式図である。図27では、図26のストロボ配光特性2601に対する補正ゲインを2601'で示し、ストロボ配光特性2602に対する補正ゲインを2602'で示している。このとき、適正な明るさに補正するための補正ゲインは、G(D,Z,x,y)のように表すことができ、この場合、例えば、補正ゲインG(D,Z,x,y)は、ストロボ配光特性SY(D,Z,x,y)の逆数と定義することができる。なお、ここでは、一方向のみの補正ゲインを示しているが、実際の補正処理は、補正ゲインG(D,Z,x,y)によって2次元の画像領域に対して行われる。
続いて、撮影画像内の被写体距離分布を考慮した補正処理について説明する。
例えば、図21に示すような構図でストロボ111の発光を伴う撮影を行った場合、図22に示すような撮影画像が撮影される。この場合、デジタルカメラ100に近い第2の人物2104は明るく、デジタルカメラ100から離れた第1の人物2103は第2の人物2104よりも暗く、更に離れた壁2101や時計2102は更に暗くなる。また、それぞれの被写体においても中心部から周辺部に行くに従って暗くなる。
このような撮影画像の場合、被写体距離Dは、撮影画像内の座標(x,y)によって異なる。この際、瞳分割画像位相差測距部106から求まる被写体距離分布D(x,y)は、前述したように図23のようになる。そして、補正ゲイン算出部113aは、この被写体距離分布D(x,y)を用いて、ストロボ配光特性記憶部112に記憶されているストロボ配光特性SY(D,Z,x,y)から各被写体距離ごとのストロボ配光特性SY(D(x,y),Z,x,y)を求める。そして、補正ゲイン算出部113aは、求めたストロボ配光特性に基づいて、補正ゲインG(D(x,y),Z,x,y)を算出する。
図28は、図21に示す被写体の撮影を行った場合の撮影画像の一例を示す模式図である。この図28には、図22で示した撮影画像に基づくものであり、撮影画像の水平画像部分2801を図示したものである。
図29は、図28の示す水平画像部分2801の被写体距離分布の一例を示す模式図である。この図29には、図28に示す水平画像部分2801の横軸のx座標に対する被写体距離分布D(x,y)が示されている。
図29において、被写体距離分布2901〜2903は、壁2101におけるデジタルカメラ100からの距離分布である。また、被写体距離分布2904は、第1の人物2103におけるデジタルカメラ100からの距離分布であり、被写体距離分布2905は、第2の人物2104におけるデジタルカメラ100からの距離分布である。
図30は、図28の示す水平画像部分2801における補正ゲインの一例を示す模式図である。この図30に示す補正ゲインは、ストロボ配光特性SY(D(x,y),Z,x,y)及び図29に示す被写体距離分布D(x,y)から求まる補正ゲインG(D(x,y),Z,x,y)である。
補正ゲイン3001〜3003は、壁2101の水平画像部分2801に適用される補正ゲインである。また、補正ゲイン3004は、第1の人物2103の水平画像部分2801に適用される補正ゲインであり、補正ゲイン3005は、第2の人物2104の水平画像部分2801に適用される補正ゲインである。そして、補正処理部113bによる補正処理は、図28に示す撮影画像の水平画像部分2801のx座標に従って、図30に示す各補正ゲインG(D(x,y),Z,x,y)を水平画像部分2801の画像データにかけ合わせることで行われる。同様に、補正処理部113bによる補正処理では、2次元の撮影画像(x,y)に対して画素ごとの補正ゲインG(D(x,y),Z,x,y)を求め、これを対応する撮影画像にかけ合わせることで補正画像(x,y)が求まる。
図31は、図22に示す撮像画像に対して補正処理を行った後の撮影画像の一例を示す模式図である。
上述したように、被写体距離分布Dを考慮した補正ゲインGを用いた補正処理を行うことで、図21に示すような構図で図23に示すように一様でない距離分布を持つ被写体の場合でも、図31に示すように一様で適正な明るさの撮像画像を得ることができる。
次に、合焦状態を考慮した場合の補正処理について説明する。
補正ゲイン算出部113aでは、レンズ制御部107から得られるズーム位置情報Z及びフォーカス位置情報F、並びに、露出制御部108から得られる絞り値情報Aから、合焦度合FL(Z,F,A,D)を求めることができる。この際、ある合焦度合FL0以上で合焦状態と判断できる被写体深度Df(Z,F,A,D1)が求まる。ここで、Dは被写体距離であり、D1は合焦被写体距離を示す。
図32及び図33は、合焦度合FL(Z,F,A,D)の一例を示す模式図である。図32は、図33と比較して、絞り101が開いている状態である。ここで、図32及び図33において、FL03202及び3302は、合焦状態と判断できる合焦度合いを示し、D1(3201、3301)は、合焦被写体距離を示している。
このとき、D2(3203、3303)が前側の合焦限界、D3(3204、3304)が後側の合焦限界であり、D2(3203、3303)からD3(3204、3304)の範囲が合焦状態と判断できる被写体深度Dfを表わしている。図32の場合、図33と比較して絞り101が開いているため、被写体深度Dfは短い。
以上のような合焦度合FL(Z,F,A,D)と被写体距離分布D(x,y)から、撮影画像の座標(x,y)に対する合焦度合FL(Z,F,A,D(x,y))を求めることができる。
図34は、図28の示す水平画像部分2801に対する合焦度合FL(Z,F,A,D(x,y))の一例を示す模式図である。ここでは、図21に示す第1の人物2103に合焦しているものとする。
合焦度合3401〜3403は、壁2101における合焦度合FL(Z,F,A,D(x,y))である。また、合焦度合3404は、第1の人物2103における合焦度合FL(Z,F,A,D(x,y))を示し、合焦度合3405は、第2の人物2104における合焦度合FL(Z,F,A,D(x,y))を示している。
以上の処理と同様の処理を行うことで、撮影画像(x,y)に対して合焦度合FL(Z,F,A,D(x,y))を求めることができる。また、被写体距離分布D(x,y)が合焦状態と判断できる被写体深度Df内にあるかどうか、即ち合焦状態とそうでない状態の判別ができる。
ここで、被写体距離分布D(x,y)及び合焦度合FL(Z,F,A,D(x,y))を考慮した補正処理について説明する。
図35は、図2に示すステップS6の画像補正処理における詳細な処理手順の一例を示すフローチャートである。
まず、ステップS61において、補正処理部113bは、座標(x,y)のxの値及びyの値を0に初期化する。
続いて、ステップS62において、補正処理部113bは、座標(x,y)における被写体距離D(x,y)が予め定められた距離D0以下であるか否かを判断する。即ち、このステップS62では、座標(x,y)における被写体距離D(x,y)が所定の閾値以下であるか否かが判断される。この判断の結果、被写体距離D(x,y)が距離D0以下でない、即ち、被写体距離D(x,y)が距離D0よりも大きい場合には、撮影画像における座標(x,y)の画素に対する補正処理を行わずに、ステップS65に進む。
一方、ステップS62の判断の結果、被写体距離D(x,y)が距離D0以下である場合には、ステップS63に進む。ステップS63に進むと、補正処理部113bは、座標(x,y)における合焦度合FL(Z,F,A,D(x,y))が、合焦状態と判断できるFL0以上であるか否かを判断する。即ち、このステップS63では、座標(x,y)における合焦度合FL(Z,F,A,D(x,y))が所定の閾値以上であるか否かが判断される。この判断の結果、座標(x,y)における合焦度合FL(Z,F,A,D(x,y))がFL0以上でない(即ち、未満である)場合には、合焦状態でないと判断し、撮影画像における座標(x,y)の画素に対する補正処理を行わずに、ステップS65に進む。
一方、ステップS63の判断の結果、座標(x,y)における合焦度合FL(Z,F,A,D(x,y))がFL0以上である場合には、合焦状態であると判断し、ステップS64に進む。ステップS64に進むと、補正処理部113bは、撮影画像における座標(x,y)の画素に対して、図2のステップS5で求められた補正ゲインG(D(x,y),Z,x,y)による補正処理を行う。
続いて、ステップS65において、補正処理部113bは、座標(x,y)が撮影画像における最終画素であるか否かを判断する。この判断の結果、座標(x,y)が撮影画像における最終画素でない場合には、ステップS66に進む。ステップS66に進むと、補正処理部113bは、次の座標(x,y)のxの値及びyの値を設定して、ステップS62に戻る。そして、撮影画像における最終画素の処理が行われるまで、ステップS62〜ステップS66の処理を繰り返す。
一方、ステップS65の判断の結果、座標(x,y)が撮影画像における最終画素である場合には、当該フローチャートにおける処理(図2に示す画像補正処理)が終了する。
図36は、図28の示す水平画像部分2801の被写体距離分布の一例を示す模式図である。この図36には、図28に示す水平画像部分2801の横軸のx座標に対する被写体距離分布D(x,y)が示されている。また、図36において、図29に示す構成と同様の構成については、同じ符号を付している。
図36に示す被写体距離分布D(x,y)において、例えば上述した距離D0が距離3601であった場合、壁2101に係る被写体距離分布2901〜2903までは距離D0(距離3601)よりも大きいため、対応する画素は補正処理の対象外となる。一方、第1の人物2103に係る被写体距離分布2904及び第2の人物2104に係る被写体距離分布2905は、距離D0(距離3601)以下であるため、対応する画素は、補正処理の対象となる。
図35のステップS62で示したように、被写体距離分布D(x,y)が距離D0以下のみの画素を補正対象とすることにより、例えば、夜景モードでの撮影で手前の人物へのストロボ配光のみを補正し、バックの建物などは、補正対象外にすることができる。
図37は、図28の示す水平画像部分2801における合焦度合FL(Z,F,A,D(x,y))の一例を示す模式図である。
図37において、合焦度合3701〜3703は、壁2101の水平画像部分2801における合焦度合FL(Z,F,A,D(x,y))である。合焦度合3704は、第1の人物2103の水平画像部分2801における合焦度合FL(Z,F,A,D(x,y))であり、合焦度合3705は、第2の人物2104の水平画像部分2801における合焦度合FL(Z,F,A,D(x,y))である。ここで、例えば、合焦状態と判断できるFL0が図37に示すFL0(3706)であるとする。
この場合、ステップS63において、第1の人物2103に係る合焦度合3704(壁2101に係る合焦度合3701〜3703も同様)は、FL0(3706)未満であるため、対応する画素は、補正処理の対象外となる。一方、第2の人物2104に係る合焦度合3705は、FL0(3706)以上であるため、対応する画素は、補正処理の対象となる。
ステップS63に示す処理を行うことで、ストロボ配光特性における補正処理を合焦状態の被写体にのみ行うことが可能となる。このように処理することで、撮影画像のうち、非合焦状態のボケた被写体画像領域に対しては、ストロボ配光特性における補正処理の対象外とし、合焦状態と判断された被写体画像領域にのみ補正処理を行うことができる。
次に、ストロボ配光特性の補正処理に関するメニュー設定例について説明する。
図38及び図39は、ストロボ配光特性における補正処理に関するメニュー設定画面の一例を示す模式図である。このメニュー設定画面は、例えば、図1に示す操作入力部114の表示画面に表示され、操作者(ユーザ)からの操作入力を受け付ける。
まず、図38のメニュー設定画面について説明する。
図38は、撮影モードごとに、ストロボ配光特性における補正処理を行うか否かを設定するメニュー設定画面の一例を示したものである。即ち、本実施形態のデジタルカメラ100では、撮影画像の補正を行うか否かを撮影モードごとに操作者が操作入力部114を介して指定可能に構成されている。
ボタン3801が選択されると、補正部113は、全ての撮影モードについて、ストロボ配光特性における補正処理を行わない(即ち、補正なし)設定とする。このボタン3801が選択されると、他のボタンによる選択はクリアされる。
ボタン3802が選択されると、補正部113は、全ての撮影モードについて、ストロボ配光特性における補正処理を行う(即ち、補正あり)設定とする。このボタン3802が選択されると、他のボタンによる選択はクリアされる。
ボタン3803〜3806は、デジタルカメラ100において撮影可能な撮影モードごとに、ストロボ配光特性における補正処理を行うか否かについて設定を行うためのボタンである。この場合、ボタン3803〜3806で選択される各種の撮影モードの設定については、例えば、実際の撮影が行われる時点等において、操作入力部114を介して別途設定される。
具体的に、ボタン3803が選択されると、補正部113は、デジタルカメラ100の撮影モードがオート撮影モードである場合に、ストロボ配光特性における補正処理を行う設定とする。また、ボタン3804が選択されると、補正部113は、デジタルカメラ100の撮影モードがポートレート撮影モードである場合に、ストロボ配光特性における補正処理を行う設定とする。また、ボタン3805が選択されると、補正部113は、デジタルカメラ100の撮影モードが夜景撮影モードである場合に、ストロボ配光特性における補正処理を行う設定とする。また、ボタン3806が選択されると、補正部113は、デジタルカメラ100の撮影モードがマクロ撮影モードである場合に、ストロボ配光特性における補正処理を行う設定とする。なお、ボタン3801又はボタン3802が選択されている状態で、ボタン3803〜3806のいずれかが選択されると、選択されていたボタン3801又はボタン3802の選択はクリアされる。
ボタン3807が選択されると、補正部113は、各ボタン(3801〜3806)で選択された設定をキャンセルする。また、ボタン3808が選択されると、補正部113は、現在選択されている状態に基づき、ストロボ配光特性における補正処理の設定を行う。この場合、補正部113は、例えば、自身の内部メモリ(例えば、補正ゲイン算出部113aの内部メモリ)に、図38のメニュー設定画面により設定された設定情報を記憶することで、ストロボ配光特性における補正処理の設定を行う。
図38に示す例では、ボタン3804及びボタン3806が選択されているため、設定がなされると、デジタルカメラ100の撮影モードがポートレート撮影モード、マクロ撮影モードである場合に、ストロボ配光特性における補正処理が行われることになる。
続いて、図39のメニュー設定画面について説明する。
図39は、撮影レンズ102の種類ごとに、ストロボ配光特性における補正処理を行うか否かを設定するメニュー設定画面の一例を示したものである。この図39のメニュー設定画面による設定は、撮影レンズが着脱可能な撮像装置である場合や、コンバージョンレンズを着脱可能な撮像装置である場合に有効である。即ち、本実施形態のデジタルカメラ100では、撮影画像の補正を行うか否かを撮影レンズ102の種類ごとに操作者が操作入力部114を介して指定可能に構成されている。
ボタン3901が選択されると、補正部113は、全ての撮影レンズの種類について、ストロボ配光特性における補正処理を行わない(即ち、補正なし)設定とする。このボタン3901が選択されると、他のボタンによる選択はクリアされる。
ボタン3902が選択されると、補正部113は、全ての撮影レンズの種類について、ストロボ配光特性における補正処理を行う(即ち、補正あり)設定とする。このボタン3901が選択されると、他のボタンによる選択はクリアされる。
ボタン3903〜3906は、デジタルカメラ100に装着されている撮影レンズ102の種類ごとに、ストロボ配光特性における補正処理を行うか否かについて設定を行うためのボタンである。この場合、ボタン3903〜3906で選択される各種の撮影レンズ102の設定については、例えば、当該撮像装置に撮影レンズ102が装着された時点等において、操作入力部114を介して別途設定される。
具体的に、ボタン3903が選択されると、補正部113は、撮影レンズ102の種類が標準レンズである場合に、ストロボ配光特性における補正処理を行う設定とする。また、ボタン3904が選択されると、補正部113は、撮影レンズ102の種類が望遠レンズである場合に、ストロボ配光特性における補正処理を行う設定とする。また、ボタン3905が選択されると、補正部113は、撮影レンズ102の種類が広角レンズである場合に、ストロボ配光特性における補正処理を行う設定とする。また、ボタン3906が選択されると、補正部113は、撮影レンズ102の種類がマクロレンズである場合に、ストロボ配光特性における補正処理を行う設定とする。なお、ボタン3901又はボタン3902が選択されている状態で、ボタン3903〜3906のいずれかが選択されると、選択されていたボタン3801又はボタン3802の選択はクリアされる。
ボタン3907が選択されると、補正部113は、各ボタン(3901〜3906)で選択された設定をキャンセルする。また、ボタン3908が選択されると、補正部113は、現在選択されている状態に基づき、ストロボ配光特性における補正処理の設定を行う。この場合、補正部113は、例えば、自身の内部メモリ(例えば、補正ゲイン算出部113aの内部メモリ)に、図39のメニュー設定画面により設定された設定情報を記憶することで、ストロボ配光特性における補正処理の設定を行う。
図39に示す例では、ボタン3903及びボタン3905が選択されているため、設定がなされると、撮影レンズ102の種類が標準レンズ、広角レンズである場合に、ストロボ配光特性における補正処理が行われることになる。
以上、図38及び図39に示した撮影モード、撮影レンズ102の種類は、一例を示したものであり、他の撮影モード、他の撮影レンズ102においても、それぞれ、上述した本例と同様に適用することができる。また、メニュー設定画面についても、一例を示したものであり、他の同様なメニュー表現による設定でも構わない。
図40は、図38及び図39に示すメニュー設定画面により各種の設定がなされた場合に、図2に示すフローチャートへの移行処理の一例を示すフローチャートである。
図38、図39のメニュー設定画面による設定がなされている場合には、図2のステップS1の処理が終了した後、図40に示すステップS10に移行する。ステップS10に移行すると、補正部113は、デジタルカメラ100における現在の撮影モードが、図38により設定された、ストロボ配光特性における補正処理を行う撮影モードであるか否かを判断する。この際、補正部113は、例えば、自身の内部メモリに記憶してある、図38のメニュー設定画面により設定された設定情報を読み出して、当該判断を行う。
ステップS10の判断の結果、デジタルカメラ100における現在の撮影モードが、図38により設定された、ストロボ配光特性における補正処理を行う撮影モードでない場合には、図2に示すステップS9に移行し、処理を終了する。
一方、ステップS10の判断の結果、デジタルカメラ100における現在の撮影モードが、図38により設定された、ストロボ配光特性における補正処理を行う撮影モードである場合には、ステップS11に進む。
ステップS11に進むと、補正部113は、デジタルカメラ100に現在装着されている撮影レンズ102の種類が、図39により設定された、ストロボ配光特性における補正処理を行う撮影レンズであるか否かを判断する。この際、補正部113は、例えば、自身の内部メモリに記憶してある、図39のメニュー設定画面により設定された設定情報を読み出して、当該判断を行う。
ステップS11の判断の結果、デジタルカメラ100に現在装着されている撮影レンズ102の種類が、図39により設定された、ストロボ配光特性における補正処理を行う撮影レンズでない場合には、図2に示すステップS9に移行し、処理を終了する。
一方、ステップS11の判断の結果、デジタルカメラ100に現在装着されている撮影レンズ102の種類が、図39により設定された、ストロボ配光特性における補正処理を行う撮影レンズである場合には、図2に示すステップS9に移行する。この場合、その後、図2のステップS2移行の処理が行われて、ストロボ配光特性における補正処理が行われることになる。
本実施形態では、コンバージョンレンズの装着や撮影レンズ102が着脱可能な撮像装置である場合を例にして説明したが、撮影レンズ102が固定である撮像装置の場合には、図39に示す撮影レンズの種類に関する設定は不要となる。そして、この場合、図40に示すステップS11の処理は、不要となる。
本実施形態によれば、撮影画像の各画像領域ごとに被写体との距離を測距し、これを反映して撮影画像の補正を行うようにしたので、ストロボを用いて撮影された撮影画像から、当該ストロボによる局所的な配向ムラを取り除くことができる。即ち、本実施形態では、撮影画像の非線形な画像領域に対しても、適応的に明るさ補正を行うことが可能となる。
前述した本実施形態に係るデジタルカメラ(撮像装置)100の制御方法を示す図2、図35及び図40の各ステップは、コンピュータのCPUがRAMやROMなどに記憶されたプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
具体的に、前記プログラムは、例えばCD−ROMのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、CD−ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク(LAN、インターネットの等のWAN、無線通信ネットワーク等)システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。
また、本発明は、コンピュータが供給されたプログラムを実行することにより本実施形態に係るデジタルカメラ(撮像装置)100の機能が実現される態様に限られない。そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)或いは他のアプリケーションソフト等と共同して本実施形態に係るデジタルカメラ(撮像装置)100の機能が実現される場合も、かかるプログラムは本発明に含まれる。また、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて本実施形態に係るデジタルカメラ(撮像装置)100の機能が実現される場合も、かかるプログラムは本発明に含まれる。
また、前述した本実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術的思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。