JP2018007111A - 撮像装置、及び、画像処理装置 - Google Patents

Abstract

【課題】従来技術では、撮像レンズの軸上色収差による撮像画像の色ずれは補正できないという問題があった。【解決手段】撮像装置は、第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部と、複数の第１の光電変換部で受光した被写体の像の位置に対して、複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を、複数の第１の受光部から出力される信号に行い、複数の第１の光電変換部で受光した被写体の像と複数の第２の光電変換部で受光した被写体の像のずれと、複数の第３の光電変換部で受光した被写体の像と複数の第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、複数の第２の受光部からの信号と、補正された複数の第１の受光部からの信号とにより画像信号を生成する画像生成部とを有する。【選択図】図１

Description

本発明は、撮像装置、及び、画像処理装置に関する。

撮像レンズの軸上色収差に関するデータに基づいて合焦誤差を補正して撮像レンズの焦点調節を行う撮像装置が知られている（特許文献１）。しかし、従来技術では、撮像レンズの軸上色収差による撮像画像の色ずれは補正できないという問題があった。

特開２００３−１４３６１８号公報

第１の態様によると、撮像装置は、第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部と、複数の第１の光電変換部で受光した被写体の像の位置に対して、複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を、複数の第１の受光部から出力される信号に行い、複数の第１の光電変換部で受光した被写体の像と複数の第２の光電変換部で受光した被写体の像のずれと、複数の第３の光電変換部で受光した被写体の像と複数の第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、複数の第２の受光部からの信号と、補正された複数の第１の受光部からの信号とにより画像信号を生成する画像生成部とを有する。
第２の態様によると、画像処理装置は、第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部とを有する撮像部で撮像された画像信号を入力する入力部と、前記複数の第１の光電変換部で受光した被写体の像の位置に対して、前記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を、前記複数の第１の受光部から出力される信号に行い、前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれと、前記複数の第３の光電変換部で受光した被写体の像と前記複数の第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、前記複数の第２の受光部からの信号と、補正された前記複数の第１の受光部からの信号とにより画像信号を生成する画像生成部とを有する。

第１の実施の形態に係る撮像装置の要部構成図。 第１の実施の形態に係る撮像素子の画素の配置例を示す図。 第１の実施の形態に係る撮像素子に入射する光束を説明するための図。 第１の実施の形態に係る撮像素子の画素による信号を示す図。 第１の実施の形態に係る撮像装置により規格化された各色成分の信号を示す図および各色成分の信号を比較する図。 第１の実施の形態に係る撮像装置の動作例を示すフローチャート。 第２の実施の形態に係る撮像素子の画素による信号を示す図。 第２の実施の形態に係る撮像装置により規格化された各色成分の信号を示す図および各色成分の信号を比較する図。 第２の実施の形態に係る撮像装置の動作例を示すフローチャート。

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置であるデジタルカメラ１（以下、カメラ１と呼ぶ）の要部構成図である。カメラ１は、カメラボディ２と交換レンズ３とにより構成される。交換レンズ３は、マウント部（不図示）を介してカメラボディ２に装着される。カメラボディ２に交換レンズ３が装着されると、カメラボディ２側の接続部２０２と交換レンズ３側の接続部３０２とが接続され、カメラボディ２および交換レンズ３間の通信が可能となる。

交換レンズ３は、結像光学系（撮像光学系）３１と、レンズ制御部３２と、レンズメモリ３３とを備える。結像光学系３１は、焦点調節レンズ（フォーカスレンズ）を含む複数のレンズや絞りにより構成され、カメラボディ２の撮像素子２２の撮像面上に被写体像を結像する。レンズ制御部３２は、カメラボディ２のボディ制御部２１から出力される信号に基づいて焦点調節レンズを光軸Ｌ１方向に進退移動させ、結像光学系３１の結像位置を調節する。ボディ制御部２１から出力される信号には、焦点調節レンズの移動量や移動方向、移動速度などを表す信号が含まれる。レンズメモリ３３は、不揮発性の記憶媒体等により構成され、交換レンズ３に関連する情報、例えば結像光学系３１の射出瞳の位置に関する情報等のレンズ情報が記憶される。レンズメモリ３３に記憶されるレンズ情報は、レンズ制御部３２により読み出されて、ボディ制御部２１に送信される。

カメラボディ２は、ボディ制御部２１と、撮像素子２２と、メモリ２３と、表示部２４と、操作部２５と、電子ビューファインダ（ＥＶＦ）２６と、接眼レンズ２７とを備える。撮像素子２２は、ＣＣＤやＣＭＯＳ等のイメージセンサであり、撮像素子２２には複数の画素が二次元状（行方向及び列方向）に配置される。撮像素子２２は、結像光学系３１の射出瞳を通過した光束を、各画素の２つの光電変換部により受光して受光量に応じた一対の信号（２つの信号）を生成し、生成した一対の信号をボディ制御部２１に出力する。撮像素子２２の複数の画素は、例えば、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを有する。各画素はカラーフィルタを通して被写体像を撮像する。

メモリ２３は、メモリカード等の記録媒体であり、ボディ制御部２１によって画像データや音声データ等の書き込み及び読み出しが行われる。表示部２４は、ボディ制御部２１により生成される画像データに対応する画像を表示する。また、表示部２４は、撮影条件に関連する各種情報（シャッター速度、絞り値、ＩＳＯ感度等）やメニュー画面等を表示する。操作部２５は、レリーズボタン、録画ボタン、各種設定スイッチなどを含み、操作部２５の操作に応じた操作信号をボディ制御部２１へ出力する。電子ビューファインダ２６は、ボディ制御部２１により生成された画像データに対応する画像の表示を行う。また、電子ビューファインダ２６は、撮影条件に関連する各種情報の表示を行う。電子ビューファインダ２６に表示された画像や各種情報は、接眼レンズ２７を介してユーザにより観察される。

ボディ制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、制御プログラムに基づきカメラ１の各部を制御する。また、ボディ制御部２１は、各種の信号処理を行う。例えば、ボディ制御部２１は、撮像素子２２に制御信号を供給して撮像素子２２の動作を制御する。ボディ制御部２１は、焦点検出部２８と画像処理部２９とを有する。

焦点検出部２８は、撮像素子２２から出力される一対の信号を用いて瞳分割型の位相差検出方式によりデフォーカス量を算出し、デフォーカス量をレンズ制御部３２に送信する。換言すると、焦点検出部２８は、撮像素子２２から出力される一対の信号を用いて、結像光学系３１による像の結像面と撮像素子２２の撮像面とのずれ量を算出する。ボディ制御部２１は、ずれ量から焦点調節レンズの移動量や移動方向等に関する情報を生成し、接続部２０２と接続部３０２とを介してレンズ制御部３２に送信する。レンズ制御部３２は、ボディ制御部２１から送信された情報に基づき不図示のモータを駆動して、焦点調節レンズを、結像光学系３１による像が撮像素子２２の撮像面に結像する位置、すなわち合焦位置に移動させる。

画像処理部２９は、撮像素子２２から出力される一対の信号に基づいて画像データを生成する。画像処理部２９は、取得部２９ａと処理部２９ｂとを有する。詳細は後述するが、取得部２９ａは、結像光学系３１の射出瞳の異なる領域を通過する光の複数の色成分（複数の色光）それぞれについての一対の信号を、撮像素子２２から取得する。処理部２９ｂは、取得部２９ａにより取得された一対の信号を加算して画像信号を生成する。また、処理部２９ｂは、画像信号に種々の画像処理を行って画像データを生成する。

結像光学系３１を合焦させた後も、軸上色収差に応じてＲ、Ｇ、Ｂなど互いに波長が異なる色成分の光は、各々の焦点位置（合焦位置）が異なる。そのため、結像光学系３１により結像された被写体像を撮像して生成される画像では、結像光学系３１による軸上色収差の影響を受けて色ずれが生じる。そこで、本実施の形態では、取得部（入力部）２９ａは、ＲＧＢの色毎の一対の信号を取得する。処理部（補正部）２９ｂは、色毎の一対の信号のずれ量、すなわち軸上色収差に応じた色毎の一対の像の間のずれ量を算出する。また、処理部（補正部、画像生成部）２９ｂは、算出した色毎のずれ量に基づいて色毎の一対の信号を合成することにより、軸上色収差を補正した画像信号を生成する。このため、画像信号に基づいて生成される画像に生じる色ずれを低減させることができる。以下に詳細に説明する。

図２は、第１の実施の形態に係る撮像素子２２の画素の配置例を示す図である。撮像素子２２では、画素１２が二次元状（行方向および列方向）に配置される。各画素１２には、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の異なる分光感度を有する３つのカラーフィルタのいずれかが設けられる。Ｒのカラーフィルタは主に赤色の波長域の光を透過し、Ｇのカラーフィルタは主に緑色の波長域の光を透過し、Ｂのカラーフィルタは主に青色の波長域の光を透過する。画素１２に配置されたカラーフィルタの色を、「Ｒ」、「Ｇ」または「Ｂ」と表記して模式的に表す。なお、焦点検出のための専用の画素として用いる画素には、画素に入射する光の全波長域を透過させるフィルタ（白色フィルタ）を設けるようにしてもよい。

各画素１２は、配置されるカラーフィルタに応じて異なる分光感度特性を有する。撮像素子２２では、ＲおよびＧのカラーフィルタを有する画素１２が交互に配置される画素群４０１と、ＧおよびＢのカラーフィルタを有する画素１２（以下、Ｒ、ＧおよびＢのカラーフィルタを有する画素をそれぞれＲ画素、Ｇ画素、およびＢ画素とも称する）が交互に配置される画素群４０２とが、二次元状に繰り返し配置される。こうして、Ｒ画素とＧ画素とＢ画素とは、ベイヤー配列に従って配置されている。

画素１２は、マイクロレンズ４０と、水平方向（行方向）に並んで配置される光電変換部４１および光電変換部４２とを有する。なお、図２においては、光電変換部４１および光電変換部４２を、行方向（図２に示すＸ軸方向）、即ち横方向に並べて配置したが、列方向（図２に示すＹ軸方向）、即ち縦方向に並べて配置してもよい。

図３は、第１の実施の形態に係る撮像素子に入射する光束を説明するための図である。なお、図３に示す例では、説明を簡略化するために、画素１２は３画素のみ図示している。画素１２は、上述のように、マイクロレンズ４０と、カラーフィルタ４３と、マイクロレンズ４０およびカラーフィルタ４３を透過した光束を受光する光電変換部４１および光電変換部４２とを有する。各画素１２では、Ｚ軸プラス方向に向かって、マイクロレンズ４０、カラーフィルタ４１、光電変換部４１および光電変換部４２が設けられている。

各画素１２の光電変換部４１および光電変換部４２には、撮像光学系３１の射出瞳６０の異なる領域を通過した光が入射する。第１の瞳領域６１を通過した第１の光束がマイクロレンズ４０を介して光電変換部４２に入射し、第２の瞳領域６２を通過した第２の光束がマイクロレンズ４０を介して光電変換部４１に入射する。光電変換部４１は、第２の瞳領域６２を通過した光を受光し、受光量に応じた電荷を生成する。光電変換部４２は、第１の瞳領域６１を通過した光を受光し、受光量に応じた電荷を生成する。各画素１２は、一対の信号として、光電変換部４１により生成された電荷に基づく信号と、光電変換部４２により生成された電荷に基づく信号とを出力する。以下の説明では、光電変換部４１により生成された電荷に基づく信号を信号Ａ、光電変換部４２により生成された電荷に基づく信号を信号Ｂと称する。このように、各画素１２は、第１の瞳領域６１を通過した光に基づく信号Ｂと第２の瞳領域６２を通過した光に基づく信号Ａとの一対の信号を、ボディ制御部２１に出力する。

また、各画素１２はＲ、ＧまたはＢの何れかのカラーフィルタを有するため、画素１２から出力される一対の信号は、Ｒ、ＧまたはＢの何れかの色成分に対応する信号となる。以下、Ｒ画素から出力される信号Ａおよび信号Ｂを、それぞれ信号Ｒａ、信号Ｒｂとする。同様に、Ｇ画素から出力される信号Ａおよび信号Ｂを、それぞれ信号Ｇａ、信号Ｇｂとし、Ｂ画素から出力される信号Ａおよび信号Ｂを、それぞれ信号Ｂａ、信号Ｂｂとする。

焦点検出部２８は、例えば各Ｇ画素から出力される信号Ｇａおよび信号Ｇｂの一対の信号に基づいて相関演算を行う。焦点検出部２８は、この相関演算によって、第１の瞳領域６１を通過した第１の光束による像と第２の瞳領域６２を通過した第２の光束による像とのズレ量（位相差情報）を算出し、この像ズレ量に基づきデフォーカス量を算出する。

図４は、第１の実施の形態に係る撮像素子の画素による信号を示す図である。横軸は複数の画素１２の並び方向を示し、縦軸は各画素１２による各色成分についての信号のレベルを示す。図４（ａ）〜（ｃ）は、黒地の背景に一本の白線が配置された被写体を撮像した場合の、白線に直交する方向（例えば水平方向）における各画素１２からの信号の分布を示す。また、図４（ａ）〜（ｃ）は、Ｇ画素からの一対の信号による位相差情報を用いて合焦させた後の各画素１２からの信号を示している。図４（ａ）は各Ｂ画素によるＢ成分の信号（信号Ｂａ、Ｂｂ）の分布、図４（ｂ）は各Ｇ画素によるＧ成分の信号（信号Ｇａ、Ｇｂ）の分布、図４（ｃ）は各Ｒ画素によるＲ成分の信号（信号Ｒａ、Ｒｂ）の分布をそれぞれ示す。

撮像光学系３１では軸上色収差が生じるため、ＲＧＢの各色成分の光に応じた信号Ａおよび信号Ｂのピークとなる焦点位置が異なる。このため、図４（ａ）〜（ｃ）に示すように、各色成分の信号Ａおよび信号Ｂのずれ量（位相差）は異なっている。取得部２９ａにより異なる瞳領域を通過した光のＲＧＢ成分毎の一対の信号が取得された後、処理部２９ｂは、ＲＧＢ成分毎の一対の信号のずれ量、すなわち一対の像の間のずれ量を算出する。被写体についてＧ成分で合焦させているため、図４（ｂ）に示すＧ成分の一対の信号（信号Ｇａ、Ｇｂ）のずれ量は略ゼロとなり、ＲＧＢ成分のうちＧ成分の一対の像のずれ量が最も小さくなっている。図４（ａ）、（ｃ）に示すＢ成分およびＲ成分については、軸上色収差により一対の信号間に位相ずれが生じている。

処理部２９ｂは、像のずれ量が最小となる基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号を補正する補正処理を行う。例えば、ずれ量が最小となるＧ成分を基準色成分とし、Ｂ成分のずれ量がＧ成分のずれ量に一致するように、信号Ｂａと信号Ｂｂとを平行に移動（シフト）させる。同様に、Ｒ成分のずれ量がＧ成分のずれ量に一致するように、信号Ｒａと信号Ｒｂとをシフトさせる。また、各色成分による一対の信号の各ピーク位置が一致するように、Ｂ成分およびＲ成分の各信号をシフトさせる。処理部２９ｂは、信号Ｇａと信号Ｇｂとのずれ量を基準として、信号Ｂａと信号Ｂｂとのずれ量が減少するように信号Ｂａ、Ｂｂをシフトさせ、信号Ｒａと信号Ｒｂとのずれ量が減少するように信号Ｒａ、Ｒｂをシフトさせる補正処理を行う。

図４（ｄ）〜（ｆ）は、補正処理後の各色成分の信号の分布を示す。図４（ｄ）はＢ成分の信号の分布、図４（ｅ）はＧ成分の信号の分布、図４（ｆ）はＲ成分の信号の分布をそれぞれ示す。ずれ量が最小となるＧ成分については、信号の補正を行っていない。処理部２９ｂは、補正処理後の各色成分の信号Ａおよび信号Ｂを合成した信号を生成する。具体的には、処理部２９ｂは、画像信号として、各色成分の信号Ａおよび信号Ｂを加算した加算信号Ｂａ＋ｂ、Ｇａ＋ｂ、Ｒａ＋ｂを、図４（ｄ）〜（ｆ）に示すようにそれぞれ生成する。また、比較のために、図４（ａ）〜（ｃ）において、補正処理前の各色成分の信号Ａおよび信号Ｂを加算した加算信号を示している。加算信号Ｂａ＋ｂは信号Ｂａと信号Ｂｂとを加算した信号であり、加算信号Ｇａ＋ｂは信号Ｇａと信号Ｇｂとを加算した信号であり、加算信号Ｒａ＋ｂは信号Ｒａと信号Ｒｂとを加算した信号である。このように、処理部２９ｂは、Ｇ成分とは異なるＲ成分およびＢ色成分の一対の信号をシフトさせた後に、各色成分の一対の信号をそれぞれ加算して画像信号を生成することによって、軸上色収差による色ずれの補正を行う。

図５は、第１の実施の形態に係る撮像装置により規格化された各色成分の信号を示す図および各色成分の信号を比較する図である。図５（ａ）、（ｂ）は、各色成分の信号のピーク値が所定の値（例えば１）になるように規格化（正規化）を行った結果を示す図である。図５（ａ）は、図４（ａ）〜（ｃ）に示す補正処理前の加算信号について規格化を行った結果であり、図５（ｂ）は、図４（ｄ）〜（ｆ）に示す補正処理後の加算信号について規格化を行った結果である。

図５（ｃ）、（ｄ）は、規格化された各色成分の加算信号を比較する図である。図５（ｃ）は、図５（ａ）に示す補正処理前の各色成分の加算信号について比較する図であり、図５（ｄ）は、図５（ｂ）に示す補正処理後の各色成分の加算信号について比較する図である。図５（ｃ）、（ｄ）に示すＢ／Ｇ−１、Ｒ／Ｇ−１は、それぞれＢ成分の加算信号Ｂａ＋ｂとＧ成分の加算信号Ｇａ＋ｂとの比から１を引いた値、Ｒ成分の加算信号Ｒａ＋ｂとＧ成分の加算信号Ｇａ＋ｂとの比から１を引いた値である。図５に示すように、各色成分の信号のレベルが大きく変化する領域、すなわち被写体である白線と黒地との境界領域において、軸上色収差の影響によりＢ／Ｇ−１およびＲ／Ｇ−１の絶対値が大きくなっており、各色成分の信号により生成される画像で色ずれが生じることとなる。

そこで、本実施の形態では、上述したように、処理部２９ｂは、各色成分の信号による波形の形状が一致するように補正処理を行う。処理部２９ｂは、境界領域において各色成分間の差が小さくなるように一対の信号をシフトして加算する。これによって、図５（ｄ）に示す補正処理後では、図５（ｃ）に示す補正処理前よりも各色成分の信号間の差が小さくなる。特に、画素位置ＰにおけるＢ／Ｇ−１の値が大きく変化しており、図５（ｃ）に示す補正処理前の値に対して、図５（ｄ）に示す補正処理後の値は約１５％低減している。このように、処理部２９ｂは、算出した色毎のずれ量に基づいて色毎の一対の信号を合成することによって軸上色収差を補正した画像信号を生成し、画像信号を用いて被写体像に関する画像データを生成する。このため、軸上色収差により生じる色ずれを抑制することができる。なお、表示部２４に表示するスルー画（ライブビュー画像）として表示して軸上色収差を補正した画像信号による画像を表示してもよく、これにより軸上色収差を補正された画像がスルー画として表示される。

図６は、第１の実施の形態に係る撮像装置の動作例を示すフローチャートである。図６に示す処理は、例えば、ユーザにより操作部２５が操作され、撮影が開始された場合に実行される。

ステップＳ１００において、カメラボディ２のボディ制御部２１は、撮像素子２２から出力される各色成分の一対の信号を焦点検出信号として取得する。ステップＳ１１０において、ボディ制御部２１は、色毎の焦点検出信号を用いて、色毎のデフォーカス量を算出する。ステップＳ１２０において、ボディ制御部２１は、例えば、デフォーカス量が所定の閾値以下となる撮像素子２２の撮像面上の範囲を算出し、補正範囲として決定する。

ステップＳ１３０において、ボディ制御部２１は、補正範囲における各色成分の一対の信号のずれ量に基づいて、ずれ量が最小となる基準色成分を検出する。また、ボディ制御部２１は、基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号のシフト量を算出する。ステップＳ１４０において、ボディ制御部２１は、算出した補正範囲に対応する各画素１２からの信号に対して上述した補正処理を行って、画像信号を生成する。すなわち、ボディ制御部２１は、撮像面上の補正範囲については、決定したシフト量に基づいて一対の信号をシフトさせた後に加算する処理を行う。ボディ制御部２１は、生成した画像信号に対して種々の画像処理を行って画像データを生成し、図６に示す処理を終了する。

上述した実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置（画像処理部２９）は、結像光学系３１の射出瞳６０の異なる領域を通過する光の複数の色成分それぞれについての一対の信号を取得する取得部２９ａと、取得部２９ａにより取得された一対の信号に基づいて、結像光学系３１により生じる軸上色収差を補正した画像信号を生成する処理部２９ｂと、を備える。このようにしたので、軸上色収差の影響によって画像に生じる色ずれを低減させることができる。
（２）処理部２９ｂは、一対の信号を用いて結像光学系３１により形成される像のずれ量を算出し、ずれ量に基づいて一対の信号を合成して画像信号を生成する。このようにしたので、軸上色収差に応じた色毎の一対の像の間のずれ量を算出することができる。また、算出した色毎のずれ量に基づいて色毎の一対の信号を合成することによって、軸上色収差による色ずれを補正した画像信号を生成することができる。

（３）処理部２９ｂは、複数の色成分のうちの結像光学系３１により形成される像のずれ量が最小となる基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号をシフトさせて合成し、画像信号を生成する。本実施の形態では、最も合焦する方向に基準色成分とは異なる他の色成分の一対の信号をシフトさせて、他の色成分のずれ量が減少するように補正する。この結果、画像に生じる色ずれを低減させることができる。
（４）処理部２９ｂは、他の色成分のずれ量が基準色成分のずれ量に一致するように、他の色成分の一対の信号をシフトさせて合成する。このようにしたので、各色成分の信号による波形の形状が一致するように補正処理を行うことができ、色ずれを低減させることができる。また、各色成分についてピントが合った画像を得ることができる。

（第２の実施の形態）
図７〜図９を参照して、第２の実施の形態に係る撮像装置について説明する。なお、図中、第１の実施の形態と同一もしくは相当部分には、同一の参照番号を付し、第１の実施の形態に係る撮像装置との相違点を主に説明する。第１の実施の形態では、像のずれ量が最小となる基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号を補正して画像信号を生成する例について説明した。第２の実施の形態では、像のずれ量が最大となる基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号を補正して画像信号を生成する例について説明する。

図７は、第２の実施の形態に係る撮像素子の画素による信号を示す図である。撮像条件は第１の実施の形態の場合と同様であり、図７（ａ）〜（ｃ）は補正前の各色成分の信号の分布を示し、図７（ｄ）〜（ｆ）は補正後の各色成分の信号の分布を示している。

処理部２９ｂは、図７に示す例ではＢ成分を基準色成分とし、Ｒ成分のずれ量がＢ成分のずれ量に一致するように、信号Ｒａと信号Ｒｂとをシフトさせる。また、処理部２９ｂは、Ｇ成分のずれ量がＢ成分のずれ量に一致するように、信号Ｇａと信号Ｇｂとをシフトさせる。また、Ｇ成分の一対の信号については、Ｇ成分の信号の波形の形状とＢ成分の信号の波形の形状とがより一致するように、シフト後の信号Ｇａおよび信号Ｇｂにデジタルローパスフィルタをかけている。図７（ｅ）においては、デジタルローパスフィルタによりフィルタ処理された後の信号Ｇａおよび信号Ｇｂを示している。図７（ｅ）に示す信号Ｇａ＋ｂは、フィルタ処理後の信号Ｇａおよび信号Ｇｂを加算した信号である。このように、処理部２９ｂは、像のずれ量が最大となる基準色成分による信号の波形の形状と、基準色成分とは異なる他の色成分による信号の波形の形状とが一致するように補正処理を行う。なお、Ｒ成分の一対の信号に対しても、フィルタ処理を行うようにしてもよい。

図８は、第２の実施の形態に係る撮像装置により規格化された各色成分の信号を示す図および各色成分の信号を比較する図である。図８（ａ）は、図７（ａ）〜（ｃ）に示す補正処理前の加算信号について規格化を行った結果であり、図８（ｂ）は、図７（ｄ）〜（ｆ）に示す補正処理後の加算信号について規格化を行った結果である。また、図８（ｃ）は、図８（ａ）に示す補正処理前の各色成分の加算信号について比較する図であり、図８（ｄ）は、図８（ｂ）に示す補正処理後の各色成分の加算信号について比較する図である。

上述した補正処理を行うことにより、図８（ｄ）に示す補正処理後では、図８（ｃ）に示す補正処理前よりも各色成分の信号間の差が小さくなっている。図８（ｄ）に示す各画素位置のＲ／Ｇ−１の値は、ゼロに近い値となっている。この結果、軸上色収差により生じる画像の色ずれを抑制することができる。

ボディ制御部２１は、例えば、デフォーカス量が所定の閾値以下となる補正範囲、例えば主要被写体の画像領域では、第１の実施の形態の場合と同様の補正処理を行って軸上色収差による色ずれを低減させる。また、デフォーカス量が所定の閾値よりも大きくなる補正範囲、例えば主要被写体とは異なる被写体の画像領域では、第２の実施の形態による補正処理を行って軸上色収差による色ずれを低減させる。

図９は、第２の実施の形態に係る撮像装置の動作例を示すフローチャートである。図９に示す処理は、例えば、ユーザにより操作部２５が操作され、撮影が開始された場合に実行される。

ステップＳ２００において、カメラボディ２のボディ制御部２１は、撮像素子２２から出力される各色成分の一対の信号を焦点検出信号として取得する。ステップＳ２１０において、ボディ制御部２１は、色成分毎のデフォーカス量を算出する。ステップＳ２２０において、ボディ制御部２１は、例えば、デフォーカス量が所定の閾値以下となる撮像面上の範囲を第１補正範囲として算出し、デフォーカス量が所定の閾値よりも大きい撮像面上の範囲を第２補正範囲として算出する。

ステップＳ２３０において、ボディ制御部２１は、第２補正範囲における各色成分の一対の信号のずれ量に基づいて、ずれ量が最大となる基準色成分を検出する。また、ボディ制御部２１は、ずれ量が最大となる基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号のシフト量を決定する。第１補正範囲については、第１の実施の形態の場合と同様に、ボディ制御部２１は、第１補正範囲においてずれ量が最小となる色成分のずれ量に基づいて、各色成分の一対の信号のシフト量を決定する。

ステップＳ２４０において、ボディ制御部２１は、補正処理の際に用いるフィルタを決定する。例えば、ボディ制御部２１は、第１補正範囲に対応する各画素１２による信号に対してはフィルタを用いずに補正処理を行う。また、ボディ制御部２１は、第２補正範囲に対応する各画素１２による信号に対してはフィルタを用いて補正処理を行う。例えば、ボディ制御部２１は、画像のぼかし量に応じて、補正処理に用いるフィルタを選択する。

ステップＳ２５０において、ボディ制御部２１は、第２補正範囲に対応する各画素１２からの信号に対しては、像のずれ量が最大となる色成分のずれ量に基づいて信号の補正処理を行う。また、ボディ制御部２１は、第１補正範囲に対応する各画素１２からの信号に対しては、像のずれ量が最小となる色成分のずれ量に基づいて信号の補正処理を行う。すなわち、ボディ制御部２１は、第１補正範囲については決定したシフト量に基づいて一対の信号をシフトさせた後に加算し、第２補正範囲については決定したシフト量に基づいて一対の信号をシフトさせた後にフィルタ処理を行ってから加算して画像信号を生成する。ボディ制御部２１は、生成した画像信号に対して種々の画像処理を行って画像データを生成し、図９に示す処理を終了する。

上述した実施の形態によれば、第１の実施の形態と同様の作用効果に加えて、次の作用効果が得られる。
（５）処理部２９ｂは、複数の色成分のうちの結像光学系３１により形成される像のずれ量が最大となる基準色成分のずれ量に基づいて、基準色成分とは異なる他の色成分の一対の信号をシフトさせて合成し、画像信号を生成する。本実施の形態では、最もぼける方向に基準色成分とは異なる他の色成分の一対の信号をシフトさせて、各色成分のずれ量が一致するように補正する。この結果、画像に生じる色ずれを低減させることができる。また、ボケ効果が付与された画像を得ることができる。

（６）処理部２９ｂは、主要被写体の画像領域では複数の色成分のうちの結像光学系３１により形成される像のずれ量が最小となる色成分のずれ量に基づいて一対の信号を合成し、主要被写体とは異なる被写体の画像領域では複数の色成分のうちのずれ量が最大となる色成分のずれ量に基づいて一対の信号を合成する。本実施の形態では、例えば主要被写体の画像領域では、最も合焦した状態となる基準色成分による像と基準色成分とは異なる他の色成分による像とが一致するように補正される。また、例えば主要被写体以外の画像領域では、最もぼけた状態となる基準色成分による像と基準色成分とは異なる他の色成分による像とが一致するように補正される。この結果、主要被写体の画像領域および主要被写体以外の画像領域について、軸上色収差による色ずれを低減させることができる。また、主要被写体の画像領域については、各色成分についてピントが合った画像を得ることができ、主要被写体以外の画像領域については、ボケ効果が付与された画像を得ることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した実施の形態では、１画素に２つの光電変換部を有する２ＰＤ構成を例に説明したが、各画素の構成はこれに限らない。例えば、１画素あたり４つの光電変換部を有する４ＰＤ構成にしてもよい。

（変形例２）
上述した実施の形態では、デフォーカス量に基づいて補正範囲を決定する例について説明した。しかし、デプスマップ（Depth Map）やレンズのＭＴＦ（Modulation Transfer Function）等に基づいて補正範囲を決定し、補正範囲についての各色成分の一対の信号に対する補正処理の内容を決定するようにしてもよい。

（変形例３）
上述した実施の形態では、基準色成分のずれ量に基づいて各色成分のずれ量が一致するように補正して、軸上色収差による色ずれを補正する例について説明した。しかし、ボケ量を大きくしたい領域については、基準色成分のずれ量を基準とした補正処理を行わないようにしてもよい。この場合、色毎に個別に補正処理を行わないようにしてもよい。例えば、各色成分の一対の信号に対してぼかし量に応じたボケフィルタをかけた後に、各色成分の一対の信号を合成する。これにより、ボケ量を大きくしたい領域については、ボケが強調された画像を得ることができる。

（変形例４）
上述した実施の形態では、１画素に２つの光電変換部を有する２ＰＤ構成を例に説明したが、各画素の構成はこれに限らない。例えば、１画素あたり４つの光電変換部を有する４ＰＤ構成にしてもよい。

（変形例５）
上述した実施の形態および変形例では、本発明を画像処理装置としてデジタルカメラに適用した例について説明したが、本発明は、例えば、スマートフォン、タブレット、パーソナルコンピュータ、ＰＣに内蔵のカメラ、車載カメラ等の他の装置に適用することができる。

（変形例６）
上述した実施の形態および変形例では、撮像装置に画像処理装置が備えられている例を説明したが、画像処理装置をコンピュータによって実現するようにしてもよい。この場合、図６や図９に例示したフローチャートに基づく処理を行うプログラムをコンピュータ（またはＣＰＵなど）に実行させることにより、画像処理装置を構成する。プログラムは、記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

本発明は次のようなカメラボディも含む。
（１）第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部と、複数の上記第１の光電変換部で受光した被写体の像の位置に対して、複数の上記第２の光電変換部で受光した被写体の像の位置をずらす補正を、上記複数の第１の受光部から出力される信号に行い、複数の上記第１の光電変換部で受光した被写体の像と複数の上記第２の光電変換部で受光した被写体の像のずれと、複数の上記第３の光電変換部で受光した被写体の像と複数の上記第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、上記複数の第２の受光部からの信号と、補正された上記複数の第１の受光部からの信号とにより画像信号を生成する画像生成部とを有する撮像装置。
（２）（１）のような撮像装置において、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれが、上記複数の第３の光電変換部で受光した被写体の像と上記複数の第４の光電変換部で受光した被写体の像のずれよりも大きい。
（３）（２）のような撮像装置において、上記補正部は、上記複数の第１の光電変換部で受光した被写体の像の位置に対して、上記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれを小さくする。
（４）（１）のような撮像装置において、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれが、上記複数の第３の光電変換部で受光した被写体の像と上記複数の第４の光電変換部で受光した被写体の像のずれよりも小さい。
（５）（４）のような撮像装置において、上記補正部は、上記複数の第１の光電変換部で受光した被写体の像の位置に対して、上記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれを大きくする。
（６）（５）のような撮像装置において、上記補正部は、補正された上記複数の第１の受光部からの信号に対してローパスフィルタをかける。
（７）（１）〜（６）のような撮像装置において、上記補正部は、上記複数の第１の光電変換部からの信号に対して、上記複数の第２の光電変換部からの信号をずらす補正を行う。
（８）（１）のような撮像装置において、上記補正部は、上記複数の第１の受光部と上記複数の第２の受光部とのうち主要被写体からの光を受光する上記第１の受光部と上記第２の受光部とでは、上記被写体の像のずれが大きい方の色を第１の色として補正を行い、上記複数の第１の受光部と上記複数の第２の受光部とのうち主要被写体以外の被写体からの光を受光する上記第１の受光部と上記第２の受光部とでは、上記被写体の像のずれが小さい方の色を第２の色として補正を行う。
（９）第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部とを有する撮像部で撮像された画像信号を入力する入力部と、複数の上記第１の光電変換部で受光した被写体の像の位置に対して、複数の上記第２の光電変換部で受光した被写体の像の位置をずらす補正を、上記複数の第１の受光部から出力される信号に行い、複数の上記第１の光電変換部で受光した被写体の像と複数の上記第２の光電変換部で受光した被写体の像のずれと、複数の上記第３の光電変換部で受光した被写体の像と複数の上記第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、 上記複数の第２の受光部からの信号と、補正された上記複数の第１の受光部からの信号とにより画像信号を生成する画像生成部とを有する画像処理装置。
（１０）（９）のような画像処理装置において、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれが、上記複数の第３の光電変換部で受光した被写体の像と上記複数の第４の光電変換部で受光した被写体の像のずれよりも大きい。
（１１）（１０）のような画像処理装置において、上記補正部は、上記複数の第１の光電変換部で受光した被写体の像の位置に対して、上記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれを小さくする。
（１２）（９）のような画像処理装置において、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれが、上記複数の第３の光電変換部で受光した被写体の像と上記複数の第４の光電変換部で受光した被写体の像のずれよりも小さい。
（１３）（１２）のような画像処理装置において、上記補正部は、上記複数の第１の光電変換部で受光した被写体の像の位置に対して、上記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、上記複数の第１の光電変換部で受光した被写体の像と上記複数の第２の光電変換部で受光した被写体の像のずれを大きくする。
（１４）（１３）のような画像処理装置において、上記補正部は、補正された上記複数の第１の受光部からの信号に対してローパスフィルタをかける。
（１５）（９）〜（１４）のような画像処理装置において、上記補正部は、上記複数の第１の光電変換部からの信号に対して、上記複数の第２の光電変換部からの信号をずらす補正を行う。
（１６）（９）のような画像処理装置において、上記補正部は、上記複数の第１の受光部と上記複数の第２の受光部とのうち主要被写体からの光を受光する上記第１の受光部と上記第２の受光部とでは、上記被写体の像のずれが大きい方の色を第１の色として補正を行い、上記複数の第１の受光部と上記複数の第２の受光部とのうち主要被写体以外の被写体からの光を受光する上記第１の受光部と上記第２の受光部とでは、上記被写体の像のずれが小さい方の色を第２の色として補正を行う。

２…カメラボディ、３…交換レンズ、２１…ボディ制御部、２２…撮像素子、２９…画像処理部、２９ａ…取得部、２９ｂ…処理部、３１…結像光学系、

Claims (16)

1. 第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、
   第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部と、
   複数の前記第１の光電変換部で受光した被写体の像の位置に対して、複数の前記第２の光電変換部で受光した被写体の像の位置をずらす補正を、前記複数の第１の受光部から出力される信号に行い、複数の前記第１の光電変換部で受光した被写体の像と複数の前記第２の光電変換部で受光した被写体の像のずれと、複数の前記第３の光電変換部で受光した被写体の像と複数の前記第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、
   前記複数の第２の受光部からの信号と、補正された前記複数の第１の受光部からの信号とにより画像信号を生成する画像生成部と
   を有する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれが、前記複数の第３の光電変換部で受光した被写体の像と前記複数の第４の光電変換部で受光した被写体の像のずれよりも大きい撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補正部は、前記複数の第１の光電変換部で受光した被写体の像の位置に対して、前記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれを小さくする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれが、前記複数の第３の光電変換部で受光した被写体の像と前記複数の第４の光電変換部で受光した被写体の像のずれよりも小さい撮像装置。
5. 請求項４に記載の撮像装置において、
   前記補正部は、前記複数の第１の光電変換部で受光した被写体の像の位置に対して、前記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれを大きくする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記補正部は、補正された前記複数の第１の受光部からの信号に対してローパスフィルタをかける撮像装置。
7. 請求項１から請求項６までのいずれか一項に記載の撮像装置において、
   前記補正部は、前記複数の第１の光電変換部からの信号に対して、前記複数の第２の光電変換部からの信号をずらす補正を行う撮像装置。
8. 請求項１に記載の撮像装置において、
   前記補正部は、前記複数の第１の受光部と前記複数の第２の受光部とのうち主要被写体からの光を受光する前記第１の受光部と前記第２の受光部とでは、前記被写体の像のずれが大きい方の色を第１の色として補正を行い、前記複数の第１の受光部と前記複数の第２の受光部とのうち主要被写体以外の被写体からの光を受光する前記第１の受光部と前記第２の受光部とでは、前記被写体の像のずれが小さい方の色を第２の色として補正を行う撮像装置。
9. 第１の光電変換部と第２の光電変換部とを有する第１の色光を受光する複数の第１の受光部と、第３の光電変換部と第４の光電変換部とを有する第２の色光を受光する複数の第２の受光部とを有する撮像部で撮像された画像信号を入力する入力部と、
   複数の前記第１の光電変換部で受光した被写体の像の位置に対して、複数の前記第２の光電変換部で受光した被写体の像の位置をずらす補正を、前記複数の第１の受光部から出力される信号に行い、複数の前記第１の光電変換部で受光した被写体の像と複数の前記第２の光電変換部で受光した被写体の像のずれと、複数の前記第３の光電変換部で受光した被写体の像と複数の前記第４の光電変換部で受光した被写体の像のずれとの差を少なくする補正部と、
   前記複数の第２の受光部からの信号と、補正された前記複数の第１の受光部からの信号とにより画像信号を生成する画像生成部と
   を有する画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれが、前記複数の第３の光電変換部で受光した被写体の像と前記複数の第４の光電変換部で受光した被写体の像のずれよりも大きい画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記補正部は、前記複数の第１の光電変換部で受光した被写体の像の位置に対して、前記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれを小さくする画像処理装置。
12. 請求項９に記載の画像処理装置において、
    前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれが、前記複数の第３の光電変換部で受光した被写体の像と前記複数の第４の光電変換部で受光した被写体の像のずれよりも小さい画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    前記補正部は、前記複数の第１の光電変換部で受光した被写体の像の位置に対して、前記複数の第２の光電変換部で受光した被写体の像の位置をずらす補正を行い、前記複数の第１の光電変換部で受光した被写体の像と前記複数の第２の光電変換部で受光した被写体の像のずれを大きくする画像処理装置。
14. 請求項１３に記載の画像処理装置において、
    前記補正部は、補正された前記複数の第１の受光部からの信号に対してローパスフィルタをかける画像処理装置。
15. 請求項９から請求項１４までのいずれか一項に記載の画像処理装置において、
    前記補正部は、前記複数の第１の光電変換部からの信号に対して、前記複数の第２の光電変換部からの信号をずらす補正を行う画像処理装置。
16. 請求項９に記載の画像処理装置において、
    前記補正部は、前記複数の第１の受光部と前記複数の第２の受光部とのうち主要被写体からの光を受光する前記第１の受光部と前記第２の受光部とでは、前記被写体の像のずれが大きい方の色を第１の色として補正を行い、前記複数の第１の受光部と前記複数の第２の受光部とのうち主要被写体以外の被写体からの光を受光する前記第１の受光部と前記第２の受光部とでは、前記被写体の像のずれが小さい方の色を第２の色として補正を行う画像処理装置。

Images