JP2014180000A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】位相差検出画素を有する撮像素子を備えた撮像装置において、位相差検出画素による画質の低下を抑えることが可能な撮像装置及びその制御方法を提供すること。
【解決手段】読み出し方式設定部２３１により設定された読み出し方式に従って撮像素子２１から画素データの読み出しが行われる。読み出された画素データのうち、位相差検出画素の画素データは、読み出し方式に従ったゲイン調整量でゲイン調整される。補間割合決定部３１２は、読み出し方式に従って、ゲイン調整済みの位相差検出画素の画素データとその周辺の撮像画素の画素データの適用割合を決定する。この適用割合に従って画素補間部３１３は、ゲイン調整済みの位相差検出画素の画素データとその周辺の撮像画素の画素データとの重み付け加算による補正処理を行う。
【選択図】図１

Description

本発明は、一部の画素を位相差方式の位相差検出用素子として利用して焦点状態を検出する撮像装置及びその制御方法に関する。

撮像素子の一部の画素を位相差検出用素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、特許文献１では、位相差検出画素の出力信号を、周辺の同色画素の出力信号を用いて補間処理するようにしている。ただし、空間周波数の高い被写体に対してこのような補間処理を行ってしまうと、画像の鮮鋭度が低下してしまう。そこで、特許文献２において開示された撮像装置では、位相差検出画素の周辺の画素の信号のばらつき（空間周波数）を検出し、この検出結果に基づいてゲイン調整量と補間補正量の割合を決定するようにしている。

特許第３５９２１４７号公報 特開２０１０−０６２６４０号公報

上述した特許文献２は、位相差検出画素の周辺の画素の出力信号のばらつきに応じてゲイン調整量と補間補正量との割合を変えるようにしている。ここで、位相差検出画素毎に一律の判断で補正量の割合を変えてしまうと、撮像素子からの信号読み出しの方式によっては過補正が生じ、補正をしない場合よりも画質劣化を招くおそれがある。

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子を備えた撮像装置において、位相差検出画素による画質の低下を抑えることが可能な撮像装置及びその制御方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子と、前記撮像素子の前記撮像画素及び前記位相差検出画素から画素データを読み出す際の読み出し方式を設定する読み出し方式設定部と、前記位相差検出画素の画素データを補正処理する画像処理部とを具備し、前記画像処理部は、前記読み出し方式設定部により設定された読み出し方式に応じて読み出された前記位相差検出画素の画素データのゲイン調整をするゲイン調整部と、前記ゲイン調整された位相差検出画素の画素データと該位相差検出画素の周辺の撮像画素の画素データとを重み付け加算する画素補間部と、前記読み出し方式設定部により設定された読み出し方式に応じて前記重み付け加算の際の重み付け係数を決定する補間割合決定部とを有し、前記補間割合決定部は、前記読み出し方式設定部により設定された読み出し方式が複数の画素を混合する方式である場合には、混合する画素に含まれる前記位相差検出画素の配置により決定される混入率であって前記読み出し方式に応じて読み出された画素データにおける前記位相差検出画素の画素データの混入率に応じて、前記ゲイン調整された位相差検出画素の画素データの重み付け係数を変化させることを特徴とする。

前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像素子の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子の撮像画素及び前記位相差検出画素から画素データを読み出す際の読み出し方式を設定し、前記設定された読み出し方式に応じて読み出された前記位相差検出画素の画素データのゲイン調整を行い、前記ゲイン調整された位相差検出画素の画素データと該位相差検出画素の周辺の撮像画素の画素データとを重み付け加算し、前記設定された読み出し方式に応じて前記重み付け加算の際の重み付け係数を決定する際に、前記設定された読み出し方式が複数の画素を混合する方式である場合には、混合する画素に含まれる前記位相差検出画素の配置により決定される混入率であって前記読み出し方式に応じて読み出された画素データにおける前記位相差検出画素の画素データの混入率に応じて、前記ゲイン調整された位相差検出画素の画素データの重み付け係数を変化させることを特徴とする。

本発明によれば、位相差検出画素を有する撮像素子を備えた撮像装置において、位相差検出画素による画質の低下を抑えることが可能な撮像装置及びその制御方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 撮像制御回路及び画像処理部の詳細な構成を示す図である。 撮像素子の画素配列を示した図である。 図４（ａ）は撮像画素における像の結像状態を示す図であり、図４（ｂ）は位相差検出画素における像の結像状態を示す図である。 撮像装置による動画記録動作の処理を示すフローチャートである。 図６（ａ）は２×２画素混合読み出し前の画素配置を示した図であり、図６（ｂ）は２×２画素混合読み出し後の画素配置を示した図である。 図７（ａ）は３×３画素混合読み出し前の画素配置を示した図であり、図７（ｂ）は３×３画素混合読み出し後の画素配置を示した図である。 画素補間処理を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換器（ＡＤＣ）２７と、ＣＰＵ（Central Processing Unit）２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５と、を有する。

撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための単一又は複数のレンズから構成されている。撮影レンズ１１は、単焦点レンズでもズームレンズでも良い。

絞り１３、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の光量を制限する。

メカシャッタ１５は、絞り１３の後方に配置され、開閉自在に構成されている。メカシャッタ１５は、その開放時間を調節することにより、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。

駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１の焦点調節、絞り１３の開口径制御、及びメカシャッタ１５の開閉制御を行う。

操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。ここで、本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。即ち、ユーザは、操作部１９に含まれる操作部材としての撮影モードダイヤルを操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。ここではダイヤルで選択する例を示しているが、例えばメニュー画面上で例えばタッチパネルを操作して撮影モードを選択できるようにしても良い。

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。

撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。

ここで、本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。
また、本実施形態においては、撮像画素の一部の位置に位相差検出画素を配置する。位相差検出画素として用いる画素は、他の画素と異なり、一部の領域を遮光する。撮像素子２１の詳細については後で詳しく説明する。

撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って、撮像素子２１の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。撮像制御回路２３の詳細については後で詳しく説明する。

Ａ−ＡＭＰ２５は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。

ＡＤＣ２７は、アナログデジタル変換器であり、Ａ−ＡＭＰ２５によってアナログゲイン調整された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２９は、後述するＲＯＭ４３に記憶されているプログラムに従って、カメラ１の全体制御を行う。

画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の詳しい構成については後で詳しく説明する。

焦点検出回路３３は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

ビデオエンコーダ３５は、画像処理部３１によって生成されＤＲＡＭ４１に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７に出力する。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面等に配置される。この表示部３７は、ビデオエンコーダ３５から入力されてきた表示用画像データに従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７、ＣＰＵ２９と、画像処理部３１と、焦点検出回路３３、ビデオエンコーダ３５、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータが転送される。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いても良い。

ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラム、カメラ１の調整値等の各種データを記憶している。

記録媒体４５は、カメラ１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２は、撮像制御回路２３及び画像処理部３１の詳細な構成を示す図である。図２では、撮像制御回路２３及び画像処理部３１以外のブロックについては図示を省略している。ここで、図２において、矢印付き実線は撮像データ（画素データ）の流れを示す。また、矢印付き破線は、撮像制御回路２３に対する設定データの流れを、矢印付き一点鎖線は、ＲＧＢデータ（撮像データを同時化処理したもの）の流れを、矢印付き二点鎖線は、ＹＣデータ（ＲＧＢデータを色変換したもの）の流れをそれぞれ表わす。ＲＧＢデータ又はＹＣデータが前述の画像データに対応するものである。

撮像制御回路２３には、撮像素子２１からの画素データの読み出し方式に応じた各種の設定がなされ、この設定に応じて撮像素子２１からの画素データを読み出すための制御信号を撮像素子２１に対して出力する。

撮像制御回路２３は、読み出し方式設定部２３１と、混合率設定部２３２と、を有している。

読み出し方式設定部２３１は、ＣＰＵ２９からの設定データに応じて、撮像素子２１からの画素データの読み出し方式が設定される。読み出し方式は、カメラ１の動作状態に応じて設定されるものである。例えば、撮像素子２１からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。ＣＰＵ２９は、カメラ１の動作状態を判断し、判断した結果に応じた読み出し方式となるように設定データを生成する。

混合率設定部２３２は、画素データを混合する際の又は画素データを間引きする際の水平・垂直の画素の読み出し間隔が設定される。例えば、水平・垂直の２画素ずつ計４画素を混合して１画素とする読み出し方式（２×２画素混合読み出し）又は水平・垂直の２画素ずつの計４画素を間引きして１画素とする読み出し方式（２×２画素間引き読み出し）が、読み出し方式設定部２３１において設定された場合には、水平方向の読み出し間隔及び垂直方向の読み出し間隔のそれぞれに２を設定する。

画像処理部３１は、ゲイン調整部３１１と、補間割合決定部３１２と、画素補間部３１３と、現像処理部３１４と、色変換処理部３１５と、を有している。この他、図示を省略しているが、画像処理部３１は、圧縮伸張処理部等も有している。

ゲイン調整部３１１は、位相差検出画素からの画素データのゲイン調整を行う。位相差検出画素は、一部の領域を遮蔽している。このため、被写体の同一の輝度の部位を撮像する場合であっても、位相差検出画素は撮像画素に比べて光量が減少する。ゲイン調整部３１１は、位相差検出画素の一部領域を遮蔽することによって生じる画素データの減光分を補う補正を行う。

補間割合決定部３１２は、読み出し方式設定部２３１に設定された読み出し方式と混合率設定部２３２に設定された水平・垂直の読み出し間隔とに従って算出される混入率から、位相差検出画素の画素データの適用割合を決定する。適用割合とは、ゲイン調整処理がされた位相差検出画素の画素データと位相差検出画素の周辺の画素データとの重み付け加算の際の重み付け係数である。具体的には、位相差検出画素の画素データの混入率が高くなる読み出し方式の場合には、周辺画素の画素データの重み付け係数を大きくし、ゲイン調整処理がされた位相差検出画素の画素データの重み付け係数を小さくする。

画素補間部３１３は、補間割合決定部３１２で決定された適用割合（重み付け係数）に基づいて、位相差検出画素の画素データに対する補正処理を行う。

現像処理部３１４は、画素補間部３１３によって補間された画素データを含む撮像データに対し、同時化処理（デモザイキング処理）、ＮＲ（Noise Reduction）処理、ＷＢ（White Balance）補正、エッジ強調処理等を施す。ベイヤ配列のカラーフィルタが設けられた撮像素子２１から出力される撮像データは、１つの画素データが１つの色成分に対応している。このような撮像データを同時化処理によって、１つの画素データがＲＧＢの３成分を有するＲＧＢデータとする。

色変換処理部３１５は、現像処理部３１４において得られたＲＧＢデータから表示用画像データ又は記録用画像データを生成するための処理を施す。この処理としては、例えばマトリクス演算によってＲＧＢデータをＹＣデータに変換する処理、ＹＣデータに対するガンマ補正処理等が含まれる。

図３を用いて、撮像素子２１の構成について説明する。図３は、撮像素子２１の画素配列を示した図である。また、図３の右側には、一部の画素を拡大して示している。図３は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。言い換えれば、ベイヤ配列の撮像素子２１は、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素の位置に位相差検出画素を配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図３の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）の行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素には同じ像が結像すると考えることができるので、図３に示すようにして位相差検出画素を配置することにより、図３のＡ行の位相差検出画素とＢ行の位相差検出画素の対で位相差を検出することができる。また、Ｃ行の位相差検出画素とＤ行の位相差検出画素の対でも位相差を検出することができる。

ここで、図３の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくとも良い。さらに、図３では位相差検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしても良い。

また、図３の例は、位相差検出画素２１ｂの一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できれば良い。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしても良い。

図３に示したような撮像素子を用いた位相差法による焦点検出の原理について図４を参照して説明する。ここで、図４（ａ）は、撮像画素２１ａにおける像の結像状態を示す。また、図４（ｂ）は、位相差検出画素２１ｂにおける像の結像状態を示す。

被写体が点光源であるとすると、撮影レンズ１１が合焦状態であるとき、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子２１上の同一の位置に結像する。

水平方向で見た場合、撮像画素２１ａに形成される像のピーク位置と位相差検出画素２１ｂに形成される像のピーク位置とが一致する。ただし、位相差検出画素２１ｂは、一部の領域が遮光されているので、対をなす被写体光束の一方の像のピークのみが検出される。このため、位相差検出画素２１ｂでは光量の低下が発生する。

一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差を、右開口位相差検出画素と左開口位相差検出画素とでそれぞれ検出される像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向を検出する。

水平方向で見た場合、撮像画素２１ａには、異なる瞳領域を通過した被写体光束のそれぞれに対応した像が形成される。これに対し、位相差検出画素２１ｂには、異なる瞳領域を通過した被写体光束の一方に対応した像のみが形成される。このため、撮像画素２１ａに形成される像のピーク位置と位相差検出画素２１ｂに形成される像のピーク位置とが一致せず、像ずれが発生する。また、位相差検出画素２１ｂは、一部の領域が遮光されているので、光量の低下も発生する。

動画撮影時やライブビュー表示時に焦点検出処理を行うと、位相差検出画素２１ｂによる像すれの影響が画像として現れる。この像ずれの影響を後述の画素補間処理によって低減する。

以下、本実施形態の撮像装置の具体的な動作を説明する。図５は、撮像装置による動画記録（動画撮影）動作の処理を示すフローチャートである。動画記録動作は、例えば動画撮影モード中にレリーズ釦が押された場合に開始される。また、図５に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに従って、ＣＰＵ２９が実行する。なお、図５は、動画記録時の動作について示しているが、以下において説明する本実施形態の撮像制御方法は、静止画記録時やライブビュー表示時にも適用され得る。

図５のフローチャートの動作が開始されると、ＣＰＵ２９は、撮像データの取り込みを開始する（ステップＳ１０１）。ここでは、ＣＰＵ２９は、撮像制御回路２３の読み出し方式設定部２３１に現在の動作モードに応じた設定データを入力する。この設定データに従って撮像制御回路２３は、撮像素子２１からの画素データの読み出しを制御する。

図５の例では、動画記録時の読み出し方式に対応した設定データを入力する。読み出し方式が読み出し方式設定部２３１に設定されると、混合率設定部２３２に、画素データを混合する際又は間引きする際の水平・垂直の画素の読み出し間隔が設定される。例えば、２×２画素混合読み出し又は２×２画素間引き読み出しの場合には、水平方向の読み出し間隔及び垂直方向の読み出し間隔のそれぞれに２が設定される。また、３×３画素混合読み出し又は３×３画素間引き読み出しの場合には、水平方向の読み出し間隔及び垂直方向の読み出し間隔のそれぞれに３が設定される。

撮像制御回路２３に読み出し方式が設定されると、撮像制御回路２３に設定された読み出し方式に従って、撮像素子２１から画素混合又は画素間引きされた状態の画像信号が読み出される。撮像素子２１から読み出された画像信号は、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０２）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、位相差検出画素（混合又は間引き済み）に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。

次に、ＣＰＵ２９は、混入率算出処理を行う（ステップＳ１０３）。ここでは、ＣＰＵ２９は、補間割合決定部３１２において補間割合を決定するために必要な値である混入率を算出する。混入率とは、画素混合読み出し後又は画素間引き読み出し後のそれぞれの画素データにおける位相差検出画素の画素データの混入率である。

以下、混入率の算出手法について説明する。撮像素子２１の読み出し方式として、例えば混合読み出しを又は間引き読み出しを用いた場合には、読み出し後の画素データに位相差検出画素の画素データが混入される可能性がある。この位相差検出画素の画素データの混入率を算出する。

図６（ａ）は、２×２画素混合読み出し前の画素配置を示した図である。また、図６（ｂ）は、２×２画素混合読み出し後の画素配置を示した図である。

図６（ａ）及び図６（ｂ）の上側及び左側に付された数字は、画素の座標を示す。以下の説明では、数字が付されたＲ画素を含む水平・垂直の２画素は、同一の座標であるとして説明する。また、図６（ａ）に示すｒは左半面が遮光された位相差検出画素（右開口位相差検出画素）であることを示し、図６（ａ）に示すｌは右半面が遮光された位相差検出画素（左開口位相差検出画素）であることを示す。また、図６（ｂ）の左側の図に示すｒは、その画素に右開口位相差検出画素が混入されていることを示し、図６（ｂ）の左側の図に示すｌは、その画素に左開口位相差検出画素が混入されていることを示す。図６（ｂ）のｒ及びｌにそれぞれ付された数字は、その画素に混入されている右開口位相差検出画素又は左開口位相差検出画素の数を示している。さらに、図６（ｂ）の右側の図に示す数字は、各画素に混入されている位相差検出画素の合計を示している。

図６（ａ）で示したような画素配置に対して２×２画素混合読み出しを行う場合、水平・垂直２画素ずつの同色の画素データを混合する。混合の手法としては、例えば加算平均、積算、重み付け加算平均の何れかが考えられる。

例えば、図６（ａ）に示す座標（１，１）、座標（１，２）、座標（２，１）、座標（２，２）の４個のＲ画素の画素データを混合することにより、図６（ｂ）の座標（１，１）のＲ画素の画素データが得られる。Ｒ画素以外の他の色も同様にして混合する。

位相差検出画素をＧ（Ｇｂ）画素の位置に配置しているとすると、各座標のＧｂ画素を混合した際に、加算後の画素データに位相差検出画素の画素データが混入されることとなる。即ち、図６（ａ）の太枠内の画素データを混合した場合に位相差検出画素の画素データが混入される。図６（ｂ）から分かるように、２×２画素混合読み出しの場合には、混合後の各Ｇｂ位置の画素データには、１個ずつ位相差検出画素の画素データが混入される。このような位相差検出画素の画素データが混入された画素は、混合読み出し後も位相差検出画素として利用できる。

図７（ａ）は、３×３画素混合読み出し前の画素データを示した図である。また、図７（ｂ）は、３×３画素混合読み出し後の画素データを示した図である。

図７（ａ）で示したような画素配置に対して３×３画素混合読み出しを行う場合、水平・垂直３画素ずつの同色の画素データを混合する。

例えば、図７（ａ）に示す座標（２，１）、座標（２，２）、座標（２，３）、座標（３，１）、（３，２）、（３，３）、（４，１）、（４，２）、（４，３）の９個のＲ画素の画素データを混合することにより、図７（ｂ）の座標（１，１）のＲ画素の画素データが得られる。Ｒ画素以外の他の色も同様にして混合する。なお、図７（ａ）及び図７（ｂ）で示した例では１行目の画素データについては混合に用いていないが、１行目の画素データを混合に用いるようにしても良い。

前述と同様、位相差検出画素をＧ（Ｇｂ）画素の位置に配置しているとすると、各座標のＧｂ画素を混合した際に、加算後の画素データに位相差検出画素の画素データが混入される。即ち、図７（ａ）の太枠内の画素データを混合した場合に位相差検出画素の画素データが混入される。図７（ｂ）から分かるように、３×３画素混合読み出しの場合には、位置によって混入される位相差検出画素の画素データの数が異なる。

読み出し後の画素データに含まれる位相差検出画素の画素データの数をｎ、画素混合又は画素間引きの際の水平方向の読み出し間隔をｈ、画素混合又は画素間引きの際の垂直方向の読み出し間隔をｖとすると、本実施形態における混入率αを、以下の（式１）に従って各画素位置について算出する。
α＝ｎ/（ｈ×ｖ） （式１）
例えば、２×２画素混合読み出しの場合には、Ｇｂ画素の位置によらずにαが１/４となる。また、３×３画素混合読み出しの場合には、Ｇｂ画素の位置に応じてαが１/９から４/９の間で変化する。

ここで、前述の例では、動画記録毎に混入率を算出する例を示しているが、読み出し方式毎の混入率を予め算出しておくようにしても良い。この場合、読み出し方式が設定された時点で対応する混入率を取得するだけで良い。

以下、図５の説明に戻る。次に、ＣＰＵ２９は、ゲイン調整処理を行う（ステップＳ１０４）。ここでは、ＣＰＵ２９は、画像処理部３１のゲイン調整部３１１に対してゲイン調整を実行させる。前述したように位相差検出画素２１ｂが遮光されているために、入射光が減光される。そこで、ゲイン調整処理では、位相差検出画素２１ｂから出力される画素データの減光分の補正を行う。ただし、各画素データは、位相差検出画素の画素データと撮像画素の画素データとの両方の成分を含み得る。したがって、位相差検出画素の画素データの混入率を考慮してゲイン調整量を決定する。説明を簡単にするために、図３のような左右何れかの領域を遮光した位相差検出画素では光量が１/２になると考えると、ゲイン調整量βは以下の（式２）で与えられる。

β＝（ｈ×ｖ）/（（ｈ×ｖ）−ｎ×０.５） （式２）
例えば、２×２画素混合読み出しの場合には、Ｇｂ画素の位置によらずにβが４/３.５となる。一方、３×３画素混合読み出しの場合にはＧｂ画素の位置に応じてβが９/８.５から９/７の間で変化する。

ゲイン調整処理の具体的な処理は、（式２）で得られたゲイン調整量βを、位相差検出画素の画素データの値に乗じる処理である。

ここで、（式２）は、位相差検出画素では、光量が１/２になると仮定している。実際には、減光量は、撮影レンズ１１の口径や絞り１３の開口径等に応じて変化するものである。このため、（式２）の０.５は、撮影レンズ１１の口径や絞り１３の開口径等に応じて適応的に切り替えることが望ましい。

次に、ＣＰＵ２９は、画素補間処理を行う（ステップＳ１０５）。ここでは、ＣＰＵ２９は、画像処理部３１の補間割合決定部３１２及び画素補間部３１３に画素補間処理を実行させる。画素補間処理については後で詳しく説明する。

次に、ＣＰＵ２９は、レンズ駆動を行う（ステップＳ１０６）。ここでは、ＣＰＵ２９は、ステップＳ１０２において焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。

次に、ＣＰＵ２９は、画像処理を行う（ステップＳ１０７）。ここでは、ＣＰＵ２９は、ステップＳ１０５の画素補間処理の結果としてＤＲＡＭ４１に一時記憶された撮像データに対する現像処理及び色変換処理を画像処理部３１の現像処理部３１４及び色変換処理部３１５にそれぞれ実行させる。現像処理及び色変換処理に用いる処理パラメータは記録用のものを用いる。記録用の処理パラメータは、例えばＲＯＭ４３に予め記憶されているものである。

次に、ＣＰＵ２９は、画像処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１０８）。

次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１０９）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。即ち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。

ステップＳ１０９において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１０９において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図５の処理を終了させる。

図８は、画素補間処理の詳細を示したフローチャートである。画素補間処理は、補間割合決定部３１２及び画素補間部３１３が主体となって行われる処理である。

図８のフローチャートの動作が開始されると、補間割合決定部３１２は、処理対象の撮像データに、位相差検出画素の画素データが含まれているか否かを判定する（ステップＳ２０１）。位相差検出画素の座標データは、例えばＲＯＭ４３に予め記憶されており、補間割合決定部３１２は、この座標データから処理対象の撮像データに位相差検出画素の画素データが含まれているか否かを判定する。ここで、前述したように、読み出し後の画素データに位相差検出画素の画素データが含まれるか否かは読み出し方式によっても決定される。したがって、実際には、補間割合決定部３１２は、読み出し方式設定部２３１及び混合率設定部２３２の設定データを取得し、取得した設定データに従って位相差検出画素の座標データを参照し、撮像データに位相差検出画素の画素データが含まれているか否かを判定する。

ステップＳ２０１において、処理対象の撮像データに位相差検出画素の画素データが含まれていないと判定した場合には図８の処理が終了される。また、ステップＳ２０１において、処理対象の撮像データに位相差検出画素の画素データが含まれていると判定した場合に、補間割合決定部３１２は、前述の混入率算出処理で算出された混入率αを取得する（ステップＳ２０２）。

次に、補間割合決定部３１２は、補間の適用割合を決定する（ステップＳ２０３）。位相差検出画素の画素データを適用する割合をaf_pixel_weightとし、周辺画素の画素データを適用する割合をnear_pixel_weightとすると、これらは以下の（式３）で与えられる。
af_pixel_weight＝１−α
near_pixel_weight＝α （式３）
次に、画素補間部３１３は、補間割合決定部で決定された適用割合に従って位相検出画素の画素データとその周辺画素の画素データとを重み付け加算する（ステップＳ２０４）。ここでは、以下の（式４）に従って重み付け加算を行う。
correct_pixel＝af_pixel_weight×af_pixel＋near_pixel_weight×（pixel_h_1＋pixel_h_2＋pixel_v_1＋pixel_v_2） （式４）
（式４）のcorrect_pixelは、重み付け加算後の補正画素データの値を示す。また、af_pixelは、位相差検出画素の画素データ（実際には位相差検出画素を含む画素の画素データ）の値を示す。また、pixel_h_1は、位相差検出画素の左＋１画素の同色画素の画素データ（ベイヤ配列の場合には左斜め上の画素データ）の値を示す。また、pixel_h_2は、位相差検出画素の右＋１画素の同色画素の画素データ（ベイヤ配列の場合には右斜め下の画素データ）の値を示す。pixel_v_1は、位相差検出画素の上＋１画素の同色画素の画素データ（ベイヤ配列の場合には右斜め上の画素データ）の値を示す。また、pixel_v_2は、位相差検出画素の下＋１画素の同色画素の画素データ（ベイヤ配列の場合には左斜め下の画素データ）の値を示す。

（式４）に示す重み付け加算を、各位相差検出画素について行う。全ての位相差検出画素について（式４）に示す重み付け加算が行われた後、図８の処理が終了する。

以上説明したように、本実施形態においては、画素混合又は画素間引きを行う場合に、画素混合後又は画素間引き後の各位相差検出画素における、位相差検出画素の画素データの混入率に応じて、各位相差検出画素の画素データと周辺の画素データからの補間データとの適用割合を変えるようにしている。これにより、位相差検出画素の画素データの混入率が低い場合には、ゲイン調整済みの位相差検出画素の画素データの適用割合が高くなるので、過補正が起こらず、画像の先鋭度の低下を抑制することが可能である。逆に、位相差検出画素の画素データの混入率が高い場合には、周辺画素の画素データの適用割合が高くなるので、位相差検出画素を用いることによる像ずれの影響を抑制することが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…カメラ、１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２３…撮像制御回路、２５…ＡＭＰ、２７…アナログデジタル変換器（ＡＤＣ）、２９…ＣＰＵ、３１…画像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、２３１…読み出し方式設定部、２３２…混合率設定部、３１１…ゲイン調整部、３１２…補間割合決定部、３１３…画素補間部、３１４…現像処理部、３１５…色変換処理部。

Claims (6)

1. 撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子と、
   前記撮像素子の前記撮像画素及び前記位相差検出画素から画素データを読み出す際の読み出し方式を設定する読み出し方式設定部と、
   前記位相差検出画素の画素データを補正処理する画像処理部と、
   を具備し、
   前記画像処理部は、
   前記読み出し方式設定部により設定された読み出し方式に応じて読み出された前記位相差検出画素の画素データのゲイン調整をするゲイン調整部と、
   前記ゲイン調整された位相差検出画素の画素データと該位相差検出画素の周辺の撮像画素の画素データとを重み付け加算する画素補間部と、
   前記読み出し方式設定部により設定された読み出し方式に応じて前記重み付け加算の際の重み付け係数を決定する補間割合決定部と、
   を有し、
   前記補間割合決定部は、前記読み出し方式設定部により設定された読み出し方式が複数の画素を混合する方式である場合には、混合する画素に含まれる前記位相差検出画素の配置により決定される混入率であって前記読み出し方式に応じて読み出された画素データにおける前記位相差検出画素の画素データの混入率に応じて、前記ゲイン調整された位相差検出画素の画素データの重み付け係数を変化させることを特徴とする撮像装置。
2. 前記読み出し方式設定部は、画素データの水平方向の読み出し間隔及び垂直方向の読み出し間隔を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し方式設定部は、前記撮像素子から読み出される画素データを加算平均処理する、積算処理する、又は重み付け加算平均処理することを特徴とする請求項１に記載の撮像装置。
4. 前記補間割合決定部は、前記混合する画素に含まれる前記位相差検出画素の数に応じて混入率を決定することを特徴とする請求項１に記載の撮像装置。
5. 前記ゲイン調整部は、前記混入率に応じてゲイン調整量を切り替えることを特徴とする請求項１に記載の撮像装置。
6. 撮像素子の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子の撮像画素及び前記位相差検出画素から画素データを読み出す際の読み出し方式を設定し、
   前記設定された読み出し方式に応じて読み出された前記位相差検出画素の画素データのゲイン調整を行い、
   前記ゲイン調整された位相差検出画素の画素データと該位相差検出画素の周辺の撮像画素の画素データとを重み付け加算し、
   前記設定された読み出し方式に応じて前記重み付け加算の際の重み付け係数を決定する際に、
   前記設定された読み出し方式が複数の画素を混合する方式である場合には、混合する画素に含まれる前記位相差検出画素の配置により決定される混入率であって前記読み出し方式に応じて読み出された画素データにおける前記位相差検出画素の画素データの混入率に応じて、前記ゲイン調整された位相差検出画素の画素データの重み付け係数を変化させる
   ことを特徴とする撮像装置の制御方法。

Images