JP7051373B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、全焦点撮影が可能な撮像装置に関する。

従来、フォーカスブラケット撮影により全焦点撮影を行う撮像装置が知られている。一方、カラー撮像系では、結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色にじみとして生じる。可視光カラー撮像系では、結像光学系の中心波長である緑から離れた部分で起きやすく、青や赤、または双方が混じった紫色のアーチファクトがにじみ状に生じ、軸上色収差と呼ばれ画質劣化の要因となる。軸上色収差は、焦点深度内において、物体面よりも近点および遠点の方がボケて空間的に広がって目立つ。このため、合成された全焦点画像において軸上色収差が残存していると、強度の大きい軸上色収差と強度の低い軸上色収差が交互に繰り返すような現象や、赤色の軸上色収差と青色の軸上色収差が交互に繰り返すような現象が発生する可能性がある。従って、軸上色収差を予め補正する必要があるが、軸上色収差を被写体の色と区別することは難しい。

特許文献１には、焦点位置をずらして撮影した２枚の画像間で彩度差または色相差を算出し、彩度差または色相差が０以外の場合には軸上色収差と判定して補正を行い、彩度差または色相差が０の場合には被写体色と判定して補正を行わない方法が開示されている。特許文献２には、像面に焦点を合わせるのではなく、敢えて焦点位置を移動させて軸上色収差をボカして目立ちにくくする方法が開示されている。

特許第５５２８１３９号公報 特許第５８８９０１０号公報

しかしながら、特許文献１に開示された方法では、合焦位置の移動による像倍率の変動、手ぶれによる位置の変動、および、移動被写体等に関して考慮していないため、色にじみの判定精度が低下する可能性がある。特許文献２に開示された方法では、軸上色収差は目立ち難くなるが被写体もボケるため、全焦点画像に関する方法としては適切ではない。

そこで本発明は、全焦点撮影で取得した画像の軸上色収差を効果的に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、複数の異なる焦点位置で撮影した複数の画像の倍率を補正する倍率補正手段と、前記倍率補正手段により補正された前記複数の画像の位置合わせを行う位置合わせ手段と、位置合わせが行われた前記複数の画像間の、色相および輝度の少なくともいずれかの変化を算出する算出手段と、前記算出手段による算出結果に基づいて、前記位置合わせ手段により位置合わせされた前記複数の画像に対して、結像光学系の色収差による色のにじみを補正するための色にじみ補正を行う色にじみ補正手段と、前記色にじみ補正手段により補正された前記複数の画像を合成する合成手段とを有する。

本発明の他の側面としての撮像装置は、複数の異なる焦点位置で撮影した複数の画像を取得する撮像手段と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、複数の異なる焦点位置で撮影した複数の画像の倍率を補正するステップと、前記倍率が補正された前記複数の画像の位置合わせを行うステップと、位置合わせが行われた前記複数の画像間の、色相および輝度の少なくともいずれかの変化を算出する算出ステップと、前記算出ステップにおける算出結果に基づいて、前記位置合わせされた前記複数の画像に対して、結像光学系の色収差による色のにじみを補正するための色にじみ補正を行うステップと、前記色にじみ補正された前記複数の画像を合成するステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、全焦点撮影で取得した画像の軸上色収差を効果的に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置の動作を示すフローチャートである。 各実施形態における撮像装置の断面図である。 各実施形態における撮像装置のブロック図である。 各実施形態における制御部のブロック図である。 各実施形態における位置合わせ処理における位置ずれ検出を示すフローチャートである。 各実施形態における位置ずれ量検出の説明図である。 各実施形態における軸上色収差ＭＡＰの生成方法を示すフローチャートである。 各実施形態における注目画素とその周辺画素を示す図である。 各実施形態におけるフォーカス位置変動方向に対する色相の変化および各チャンネルの信号値の変化を示す図である。 第１の実施形態における軸上色収差補正対象の判定処理を示すフローチャートである。 各実施形態における青にじみの典型的な強度変化を示す図である。 各実施形態における非線形変換の特性を示す図である。 第２の実施形態における軸上色収差補正対象の判定処理を示すフローチャートである。 第２の実施形態における軸上色収差ＭＡＰプレーン内の３×３画素の領域を示す図である。 第３の実施形態における軸上色収差補正対象の判定処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本実施形態では、撮像装置の一例としてのデジタルカメラについて説明するが、デジタルカメラのような撮影を主目的とした機器に限定されるものではない。本発明は、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵または外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含する。

まず、図２を参照して、本実施形態における撮像装置１００について説明する。図２は、撮像装置１００の断面図であり、主として光学部材やセンサ等の配置を示している。本実施形態において、撮像装置１００は、カメラ本体１とカメラ本体１に着脱可能（レンズ交換可能）な交換レンズ（レンズ装置）２とを備えて構成されるデジタル一眼レフカメラであるが、これに限定されるものではない。本実施形態は、カメラ本体１とレンズ装置とが一体的に構成された撮像装置にも適用可能である。

撮像装置１００は、全焦点撮影を行うことが可能な撮像装置である。全焦点撮影とは、撮像装置１００により合焦可能な被写体距離の全域において合焦位置を変化させた複数の画像を撮影し、各画像から合焦している領域のみを抽出して１枚の画像を合成して、撮影領域全体において合焦している画像を取得する撮影である。全焦点撮影では、一般的に、一度の撮影操作で複数の画像を撮影して全焦点画像を作成する。このとき、合焦位置の変化量が小さいほど合成後の全焦点画像として解像感の高い画像を得ることができる。しかしながら、撮影枚数が増大し、撮像装置で合成する際の処理速度やメモリ等の負荷が大きくなる。このため、必要最小限の変化量で合焦位置を変化させることが効率的である。これにより、各画像の被写界深度の範囲が重複するように各画像を合成することができる。

カメラ本体１において、撮像素子１０は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。交換レンズ２は、光軸ＯＡに沿って移動可能なズームレンズやフォーカスレンズなどを含む撮像光学系を有する。撮像素子１０は、交換レンズ（撮像光学系）２を介して形成された光学像（被写体像）を光電変換して画像データを出力する。撮像素子１０の前方近傍に設けられていたメカニカルシャッタ１１は、撮像素子１０の露出タイミングおよび露出時間を制御する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影の際に上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束を反射し、反射光を焦点検出用のＡＦセンサ９に入射させる。ＡＦセンサ９は、例えば画素数が撮像素子１０よりも少ない撮像素子である。第１の反射ミラー７、第２の反射ミラー８、および、ＡＦセンサ９は、撮影画面内の任意の位置での位相差検出方式による焦点検出を行う。

ＡＥセンサ（測光用センサ）６は、ペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は、受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。受光部の分割数は制限されるものではない。なお、撮像素子１０には、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。本実施形態において、撮像素子１０は、複数の異なる焦点位置で撮影した複数の画像（すなわち、所定の移動量で離散的に焦点位置をずらして撮影した複数の画像）を取得する撮像手段の少なくとも一部を構成する。

ペンタプリズム４によりファインダー光学系が構成される。図２には示されていないが、ペンタプリズム４で反射された被写体像は、アイピースから観察可能である。ＡＥセンサ６には、主ミラー３で反射されてピント板１２により拡散された光線のうち光軸外の一部の光線が入射する。交換レンズ２は、カメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と情報通信を行う。なお、ライブビュー表示および動画記録の際には、常時、主ミラー３が上部に跳ね上がった状態となる。このため、露出制御や焦点調節制御は、撮像面の画像情報を使用して行われる。

次に、図３を参照して、カメラ本体１と交換レンズ２とからなる撮像装置１００の電気回路の構成について説明する。図３は、撮像装置１００のブロック図である。

カメラ本体１において、制御部２１は、例えばＡＬＵ(ＡＲＩＴＨＭＥＴＩＣ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ)、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムを実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。

ＡＦセンサ９およびＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に入力される。信号処理回路２５は、制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０からの出力信号に対してＡ／Ｄ変換および各種信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録する際に、圧縮や合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして用いられ、または、後述する表示器２７に画像を表示する際のＶＲＡＭとして用いられる。表示器２７は、液晶ディスプレイパネル等で構成され、撮像装置１００の設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は、制御部２１からの指示により制御される。記憶部２６は、フラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路２５から入力される。

モータ２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ／ダウンやメカニカルシャッタ１１のチャージを行う。操作部２３は、ユーザが撮像装置１００を操作するために用いるスイッチ等の入力デバイス群である。操作部２３には、撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチ、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれている。接点部２９は、交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートに接続されている。シャッタ駆動部２４は、制御部２１の出力端子に接続されており、メカニカルシャッタ１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は、例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。またレンズ制御部５１は、交換レンズ２の状態等の情報を、制御部２１に通知する。フォーカスレンズ駆動部５２は、レンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量（絞り値：Ｆ値）を調整する。

交換レンズ２がカメラ本体１に装着されると、接点部２９、５０を介してレンズ制御部５１とカメラ本体１の制御部２１とがデータ通信可能となる。また、接点部２９、５０を通じて交換レンズ２内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体１の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズからカメラ本体の制御部２１へデータ通信により出力される。また、カメラ本体１の制御部２１による焦点検出や露出演算の結果求められた焦点調節情報や絞り情報はカメラ本体１の制御部２１から交換レンズ２へデータ通信によって出力され、レンズは焦点調節情報に従って絞りを制御する。

（第１の実施形態）
次に、図１を参照して、本発明の第１の実施形態における撮像装置１００の動作（画像処理方法）について説明する。図１は、撮像装置１００の動作を示すフローチャートである。図１の各ステップは、主に撮像装置１００の制御部２１の指令に基づいて実行される。

操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、制御部２１は図１に示される処理を実行する。まずステップＳ１０において、制御部２１は、交換レンズ２のレンズ制御部５１と通信を行い、焦点検出や測光に必要な各種のレンズ情報を得るなどの初期化処理を行う。また制御部２１は、全焦点撮影モードに移行し、連続撮影や画像合成を行うため、専用のメモリ配置やＣＰＵ制御の準備を行う。また制御部２１は、ユーザによる操作部２３に含まれるシャッタスイッチの半押し操作により、シャッタボタンの操作途中でＯＮ状態となり、ＡＦ（オートフォーカス）処理およびＡＥ（自動露出）処理の動作開始を指示する。

続いてステップＳ１１において、制御部２１は、ユーザによるシャッタスイッチの全押し操作により、焦点位置を変化させながらフォーカスブラケット撮影を行う。焦点位置の変化量については、必要最小限の合焦位置の変化量で変化させることが効率的である。例えば、絞り値（Ｆ値）と許容錯乱円径とにより決定される物体距離変化ｄｅｆは、以下の式（１）に基づいて焦点位置を変化させる。式（１）で表される物体距離変化ｄｅｆよりも短い距離の変化は人間が知覚できないため、これ以上短くする必要はない。

続いてステップＳ１２において、制御部２１は、フォーカスブラケット撮影により取得された複数の画像（ＲＡＷ画像）のそれぞれの現像処理を行う。ここで、図４を参照して、現像処理について詳述する。図４は、制御部２１（画像処理装置）のブロック図である。

撮像光学系（レンズ）により形成された被写体の像は、撮像素子１０上に結像する。撮像素子１０は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子である。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタを有し、各々、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、このような色フィルタを画素ごとに空間的に配列し、各画素では各々単一の色プレーンにおける強度を得る。このため撮像素子１０からは、色モザイク画像としての撮像画像データ（１枚目撮像画像９０１、２枚目撮像画像９０２、および、３枚目撮像画像９０３）が出力される。ホワイトバランス部９０５は、白を白くする処理を行う。具体的には、ホワイトバランス部９０５は、撮像画像データを構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そしてホワイトバランス部９０５は、その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ、Ｇ、Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。ホワイトバランス部９０５は、以上の処理により生成されたホワイトバランス係数を用いて、ホワイトバランス処理を実施する。

色補間部９０６は、色モザイク画像を補間することにより、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部９０７およびガンマ変換部９０８を経て、基本的なカラー画像が生成される。その後、色輝度調整部９０９は、カラー画像に対して、画像の見栄えを改善するための処理を行う。例えば、夕景を検出して彩度を強調する等の画像補正がシーンに応じて行われる。色輝度調整が終わると、現像処理が完了する。本実施形態において、ホワイトバランス部９０５、色補間部９０６、マトリクス変換部９０７、ガンマ変換部９０８、および、色輝度調整部９０９は、複数の画像を現像する現像手段９１８を構成する。

続いて、図１のステップＳ１３において、制御部２１（像倍率補正部９１０）は、現像処理後の画像に対して像倍率補正を行う。フォーカスブラケット撮影の際には、焦点位置（フォーカス位置）を移動させながら撮影を行うため、撮像光学系のフォーカスレンズ群が移動することにより画角変動、すなわち結像倍率の変動が生じる。このため、フォーカスブラケット撮影により取得した複数の画像をそのまま合成すると、画像間にずれが生じ、全焦点画像の合成画像として品位が損なわれる可能性がある。そこで本実施形態において、像倍率補正部（倍率補正手段）９１０は、複数の異なる焦点位置で撮影した複数の画像の倍率を補正する。より具体的には、像倍率補正部９１０は、複数の画像の中から一つの画像を基準画像として選択し、基準画像を除く残りの複数の画像の結像倍率を補正する処理（像倍率補正処理）を行う。例えば像倍率補正部９１０は、基準画像の倍率（基準倍率）と基準画像を除く画像の倍率とが一致するように第１の変換データ（第１の変換係数）を算出し、第１の変換データを用いて、基準画像を除く画像の倍率を補正する。

像倍率補正処理に用いられる像倍率補正用データ９０４は、例えば制御部２１の内部メモリ（ＲＯＭ）に予め保持されている。像倍率補正用データのデータ形式としては、例えば、像高方向に有限個のグリッドを用意し、グリッドごとに補正前像高－補正後像高の１次元のルックアップテーブル（１ＤＬＵＴ）の形式で保持することができる。補正前像高－補正後像高の１ＤＬＵＴは、物体距離と近軸倍率とに応じて変化するため、予め代表的な物体距離と近軸倍率ごとの１ＤＬＵＴを保持しておき、撮影の際の物体距離と近軸倍率とにおける補正前像高－補正後像高の１ＤＬＵＴを補間により算出してもよい。像倍率補正部９１０は、以上の方法により取得した補正前像高－補正後像高の１ＤＬＵＴを用いて、像倍率補正を行う。

続いてステップＳ１４において、位置合わせ部（位置合わせ手段）９１１は、像倍率補正処理の補正残りや、手持ち撮影による位置ずれを補正するため、像倍率補正部９１０により補正された複数の画像の位置合わせを行う（位置合わせ処理を行う）。ここで、図５を参照して、本実施形態における位置合わせ処理（ステップＳ１４）における位置ずれ検出について説明する。図５は、位置ずれ検出を示すフローチャートである。

まずステップＳ４１において、位置合わせ部９１１は、現像処理後の各画像を複数のブロック領域に分割し、ブロック領域ごとにエッジ検出処理を行う。エッジ検出方法として、入力画像にローパスフィルタを適用することで大ボケ画像を作成し、入力画像から大ボケ画像を減算することでエッジを検出する方法がある。または、公知の微分フィルタやプリューウィットフィルタなどを用いる方法を用いてもよい。エッジ検出では、センサ起因のノイズではなく、被写体像のエッジのみを検出することにより、位置ずれ検出の精度を向上させることができる。

続いてステップＳ４２において、位置合わせ部９１１は、画像のブロック領域の中でエッジが検出されたブロック領域に対して、ずれ量検出を行う。エッジが検出されたブロック領域に対してのみずれ量検出を行うことにより、位置ずれの検出精度を向上させることができる。ずれ量検出方法として、次のような方法がある。まず、ブロック領域内の全画素の位置基準用画像の画素値（輝度）と位置ずれ検出用画像の画素値（輝度）との差の絶対値の総和（ＳＡＤ：Ｓｕｍｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。そして、その総和（ＳＡＤ）が最小となるような移動量と移動方向とを求め、その移動量と移動方向とをそのブロック領域における動きベクトルとして決定する。

本実施形態では、位置基準用画像として１枚目の画像を設定する。図６は、位置ずれ量検出方法の説明図である。図６（ａ）は、位置基準用画像の対象ブロック領域の画素値を示している。図６（ｂ）は、位置ずれ検出用画像の画素値を示している。図６において、画素値の差の絶対値が最小となる移動量は、（ｘ、ｙ）＝（１、２）と求まる。同様の処理を画像の全ブロック領域に対して行い、全てのブロック領域の動きベクトルを求める。ずれ量検出では、位置ずれ検出の精度を向上させるため、位置基準用画像と位置ずれ検出用画像の同じ被写体領域が同じ明るさであることが好ましい。また本実施形態において、軸上色収差補正よりも前に位置ずれ検出を行うため、残存する軸上色収差が位置ずれ検出精度に影響を与えないように、輝度成分（Ｙ信号）ではなく、Ｇ信号を用いて処理することが好ましい。

最後に、図５のステップＳ４３において、位置合わせ部９１１は、幾何変換係数（第２の変換係数、第２の変換データ）を算出する。本実施形態において、幾何変換係数としてはアフィン係数が用いられる。アフィン係数とは、線形変換と平行移動とを組み合わせたアフィン変換に用いる行列であり、以下の式（２）のように表される。

式（２）において、補正前画像の座標を（ｘ、ｙ）補正後画像の座標を（ｘ’、ｙ’）とし、３×３行列をアフィン係数と呼ぶ。位置合わせ部９１１は、各ブロック領域から求めた動きベクトルを用いて、アフィン係数を求める。

以上が、本実施形態における位置ずれ検出方法である。ただし、位置ずれ検出方法としては、周波数解析から２枚の画像のずれ量を検出するなど、他にも種々の方法が公知であるが、位置ずれ検出精度や検出処理負荷、検出処理スピードなど、デジタルカメラに適した方法であれば、いずれの方法を用いてもよい。その後、位置合わせ部９１１は、算出したアフィン係数に基づいて、２枚目以降の画像の位置ずれ補正（アフィン変換）を行う。このように本実施形態において、位置合わせ部９１１は、基準画像と倍率が補正された画像との対応点が一致するように第２の変換データ（第２の変換係数）を算出し、第２の変換データを用いて基準画像と倍率が補正された画像との位置合わせを行う。好ましくは、位置合わせ部９１１は、Ｇチャンネルで第２の変換データを算出する。

続いて、図１のステップＳ１５において、制御部２１（軸上色収差ＭＡＰ生成部９１２）は、１枚目の画像および位置合わせ後の２枚目以降画像の各々に対して、軸上色収差ＭＡＰを生成する。各画素の軸上色収差らしさを判定するため、複数の画像（撮像画像）が用いられる。ここで、図７を参照して、軸上色収差ＭＡＰの生成方法について説明する。図７は、軸上色収差ＭＡＰの生成方法を示すフローチャートである。図７に示される処理は、全画素（画素ｌ＝１、２、…、ｍ：ステップＳ７０）および全フレーム（フレームｋ＝１、２、…、ｎ：ステップＳ７１）に対して繰り返し行われる処理である。すなわち本実施形態において、色にじみ補正手段は、複数の画像のそれぞれに対応する画素ごと軸上色収差補正を行う。

ステップＳ７２において、軸上色収差ＭＡＰ生成部９１２は、注目画素の近傍領域の色相Ｈｕｅ_{ｆｒａｍｅＫ＿ｉｊ}を算出する。図８は、注目画素とその周辺画素を示す図である。注目画素（ｉ，ｊ）の近傍領域、例えば図８に示される３×３の色相Ｈｕｅ_{ｆｒａｍｅＫ＿ｉｊ}は、以下の式（３）のように算出される。

軸上色収差ＭＡＰ生成部９１２は、全フレームに関して色相を算出すると、ステップＳ７３において、注目画素（ｉ，ｊ）における色相の変化量ｃｈ＿ｉｊを算出することができる。図９（ａ）は、注目画素（ｉ，ｊ）における複数の画像によるフォーカス位置の変動方向に対する色相の変化を示す図である。図９（ａ）では、実線と一点鎖線の２つの例を示している。実線は、フレームに渡って色相の変化量ｃｈ１が大きい。一方、一点鎖線は、色相の変化量ｃｈ２が小さい。

続いて、図７のステップＳ７４において、軸上色収差ＭＡＰ生成部９１２は、注目画素が軸上色収差補正の対象であるか否かを判定する。ここで、図１０を参照して、注目画素が軸上色収差補正の対象となるか否かを判定するための処理について説明する。図１０は、軸上色収差補正対象の判定処理を示すフローチャートである。まずステップＳ１００において、軸上色収差ＭＡＰ生成部９１２は、色相の変化量ｃｈが所定の閾値ｔｈ１よりも小さい場合、注目画素の色付きは軸上色収差によるものではなく、被写体本来の色であると判定する。軸上色収差ＭＡＰ生成部９１２は、注目画素の色付きが被写体本来の色であると判定した場合、ステップＳ１０５へ進み、この画素が軸上色収差補正の対象でない画素であると判定する。一方、色相の変化量ｃｈｋが所定の閾値ｔｈ１よりも大きい場合、ステップＳ１０１へ進む。

図９（ｂ）は、注目画素における複数の画像によるフォーカス位置変動方向に対する各チャンネルの信号値の変化を示す図である。図９（ｂ）において、太い実線はＧチャンネル、点線はＲチャンネル、細い実線はＢチャンネルを示している。また、ピント面を５フレーム目とするとき、フレーム１～４はピント面前側の画像（第１の画像）、フレーム５がピント面の画像（第３の画像）、フレーム６～８はピント面後側の画像（第２の画像）となる。ここで、軸上色収差はピント面の前後で色相が変化することを判定条件として加える。以上の結果をまとめると、図１０に示されるようになる。

パターン１：赤にじみ→青にじみ（Ｓ１０１）
パターン２：青にじみ→赤にじみ（Ｓ１０２）
パターン３：紫にじみ→緑にじみ（Ｓ１０３）
パターン４：緑にじみ→紫にじみ（Ｓ１０４）
以上のパターンの場合、図１０のステップＳ１０６へ進み、軸上色収差ＭＡＰ生成部９１２は、注目画素の色付きが被写体色ではなく軸上色収差によるものであると判定する。一方、パターン１～４のいずれでもない場合、ステップＳ１０５に進み、軸上色収差ＭＡＰ生成部９１２は、注目画素の色付きが軸上色収差によらないものであると判定する。軸上色収差ＭＡＰ生成部９１２が軸上色収差補正の対象判定を全画素について完了すると、軸上色収差ＭＡＰの生成が完了する。軸上色収差ＭＡＰは、各画素において補正対象であれば１、非補正対象であれば０が設定されたバイナリデータである。

続いて、図１のステップＳ１６において、制御部２１（軸上色収差補正部９１３）は、ステップＳ１５にて生成された軸上色収差ＭＡＰを用いて、軸上色収差補正を行う。図１１は、青にじみの典型的な強度変化を示す図である。図１１において、横軸は画像上の断面（距離）、縦軸はＢプレーン及びＧプレーンの強度をそれぞれ示している。図１１では、左端に飽和輝度を超える高輝度被写体が存在すると仮定する。そして、本来明るくない光源周囲も、収差やフレアにより光源からにじんだ光により、強度変化のすそ野が指数関数的に拡がっている。Ｇプレーンであってもにじみは全くないわけではなく、ある程度の拡がりが存在するが、それはＢプレーンに比べると小さい。また、撮像素子１０は一定の飽和レベル以上の強度を測定することはできない。このような強度変化において、Ｂの強度がＧの強度を上回ると青にじみとなる。

本実施形態において、Ｂの強度変化の傾きに基づいてＢのにじみ量を推定する。そこで、Ｂの傾きＢｌｅａの絶対値に係数ｋ１を乗じて第１の推定にじみ量Ｅ１とする。

Ｅ１＝ｋ１｜Ｒｌｅａ｜
ここで、ｋ１は正値である。ただし、Ｂが飽和している領域Ａ１では輝度傾斜は０となり飽和前の輝度傾斜を得ることができない。そこで、このような領域に対する推定にじみ量Ｅ２をＧの強度変化の傾きＧｌｅａに基づいて推定する。

Ｅ２＝ｋ２｜Ｇｌｅａ｜
ここで、ｋ２は正値である。

次に、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＢが飽和しているか否かを示し、Ｂの強度が飽和している領域では１を、Ｂの強度が小さい領域では０となる。飽和度Ｓは０、１の２値でもよいが、非線形変換の特性に関する図１２に示されるように、０～１にかけて連続的に変化する値としてもよい。そして、飽和度Ｓに応じて算出された推定にじみ量Ｅ１またはＥ２を選択する。すなわち、飽和度Ｓが０、１の２値であれば、新たな推定量Ｅを以下のように設定する。

Ｅ＝Ｅ１（Ｓ＝０の場合）
Ｅ＝Ｅ２（Ｓ＝１の場合）
また、飽和度Ｓが０～１にかけて連続的に変化する値であれば、新たな推定量Ｅを以下のように設定する。

Ｅ＝（１－Ｓ）Ｅ１＋ＳＥ２
そして、以下のように、除去量Ｅ’をＢプレーンの強度から差し引き、新たなＢプレーンを作製する。

Ｂ＝Ｂ－Ｅ
除去対象としては、軸上色収差ＭＡＰにおいて「１」の値を持つ画素のみとする。軸上色収差補正部９１３は、このようにＢプレーンを補正した画像を画像合成部９１４に出力する。以上の例では、青にじみについて説明したが、赤にじみの場合、図１１のＢプレーンをＲプレーンに置き換えればよい。紫にじみの場合、青にじみ補正と赤にじみ補正との両方を行えばよい。緑にじみの場合、図１１のＢプレーンをＧに、ＧプレーンをＲとＢの平均に置き換えればよい。

本実施形態において、軸上色収差ＭＡＰ生成部９１２および軸上色収差補正部９１３は、位置合わせ部９１１により位置合わせされた複数の画像に対して色にじみ補正（軸上色収差補正）を行う色にじみ補正手段である。

このように本実施形態において、色にじみ補正手段は、位置合わせされた複数の画像のうち第１の画像の第１の色相と第２の画像の第２の色相との差（色相の変化量ｃｈ）が所定の閾値ｔｈ１よりも大きい場合、色にじみ補正を行う（Ｓ１００）。好ましくは、第１の色相を複数の画像の最小の色相、第２の色相を複数の画像のうち最大の色相とする。または、第１の色相を最初に撮影された画像（ｋ＝１）の色相、第２の色相を最後に撮影された画像（ｋ＝ｎ）の色相としてもよい。

また色にじみ補正手段は、位置合わせされた複数の画像のうち第１の画像の第１の色相と第２の画像の第２の色相とが互いに反転している場合、色にじみ補正を行う（Ｓ１０１～Ｓ１０４）。好ましくは、第１の画像は複数の画像のうち最初に撮影された画像（ｋ＝１）であり、第２の画像は複数の画像のうち最後に撮影された画像（ｋ＝ｎ）である。ただし、本実施形態の効果を得ることができる場合には、これに限定されるものではない。色相反転の判定は、連続する３フレーム画像（ｎ＝ｋ－１、ｋ、ｋ＋１）に対して行ってもよい。

続いて、図１のステップＳ１７において、制御部２１（画像合成部９１４）は、複数の画像において最も鮮鋭度が高い画像、すなわち最も焦点の合った画像の画素値を選択し、画像合成を行う。すなわち画像合成部（合成手段）９１４は、色にじみ補正手段により補正された複数の画像を合成する。画像合成部９１４により合成された画像は、圧縮部９１５を経て、記録部９１６（記憶部２６、メモリ２８、または、制御部２１内のＲＡＭに相当）に保存される。これにより、最終画像として画面内のいずれの位置においても鮮鋭度の高い画像、すなわち全焦点画像９１７を取得することができる。

本実施形態によれば、軸上色収差による色つきと被写体色とを高精度に区別することにより、全焦点画像を取得する際に効果的に軸上色収差を補正することができる。

（第２の実施形態）
次に、図１３を参照して、本発明の第２の実施形態について説明する。第１の実施形態では、ピント面の前後で色相が反転することを軸上色収差の判定条件としている。一方、本実施形態は、ピント面前側～ピント面～ピント面後側での色相変化の単調性を軸上色収差の判定条件に加えている点で、第１の実施形態と異なる。

図１３は、軸上色収差補正対象の判定処理を示すフローチャートである。図１３には、図１０に対して、単調増加または単調減少の判定条件（ステップＳ１０７、Ｓ１０８）が追加されている。ステップＳ１０１またはステップＳ１０３にて軸上色収差補正の色相が反転されていると判定された場合、ステップＳ１０７へ進む。ステップＳ１０７において、制御部２１（軸上色収差ＭＡＰ生成部９１２）は、注目フレームｋの前後１フレームの関係性が単調減少（Ｒｋ－1＞Ｒｋ＞Ｒｋ＋１）または単調増加（Ｂｋ－1＜Ｂｋ＜Ｂｋ＋１）であるか否かを判定する。注目フレームｋの前後１フレームの関係性が単調減少または単調増加である場合、制御部２１は、注目画素が軸上色収差補正の対象であると判定する。

同様に、ステップＳ１０２またはステップＳ１０４にて軸上色収差補正の色相が反転されていると判定された場合、ステップＳ１０８へ進む。ステップＳ１０８において、制御部２１は、注目フレームｋの前後１フレームの関係性が単調減少（Ｂｋ－1＞Ｂｋ＞Ｂｋ＋１）または単調増加（Ｒｋ－1＜Ｒｋ＜Ｒｋ＋１）であるか否かを判定する。注目フレームｋの前後１フレームの関係性が単調減少または単調増加である場合、制御部２１は、注目画素が軸上色収差補正の対象であると判定する。単調増加または単調減少の判定条件を追加することにより、撮影途中で被写体が移動した場合など不規則な変化をした場合を除外することができ、より高精度に軸上色収差を判定することが可能となる。

図１４は、軸上色収差ＭＡＰプレーン内の３×３画素の領域を示す図である。軸上色収差ＭＡＰ内の３×３画素の領域における結果が図１４のように隣接する画素で軸上色収差判定値が切り替わる場合を考える。このような場合、境界部では軸上色収差補正量がばたつき、強度の変化が急峻になり不自然で観察者に違和感を与える場合がある。このような場合、生成した軸上色収差ＭＡＰ（補正量ＭＡＰ）に対してローパスフィルタＬＰＦを適用することが好ましい。

このように本実施形態において、色にじみ補正手段は、複数の画像のうち第１の画像の第１の色相から第２の画像の第２の色相までの変化が単調増加または単調減少である場合、色にじみ補正（軸上色収差補正）を行う。なお本実施形態において、色相の変化が単調増加または単調減少であるか否かの判定は、連続する３フレーム画像（ｎ＝ｋ－１、ｋ、ｋ＋１）に対して行われるが、本実施形態の効果が得られる場合にはこれに限定されるものではない。本実施形態によれば、第１の実施形態に比べて、軸上色収差補正の弊害を低減させることができる。

（第３の実施形態）
次に、図１５を参照して、本発明の第３の実施形態について説明する。第１の実施形態では、ピント面の前後で色相が反転することを軸上色収差の判定条件としている。一方、本実施形態は、ピント面前側～ピント面～ピント面後側での輝度変化の特性を軸上色収差の判定条件に加えている点で、第１の実施形態と異なる。

図１５は、軸上色収差補正対象の判定処理を示すフローチャートである。図１５には、図１０に対して、輝度変化の特性の判定条件（ステップＳ１０９）が追加されている。軸上色収差は高周波な特性を有するため、軸上色収差の信号強度はピント面であるとき非ピント面であるときと比べて大きくなる。一方、特に低周波な色付き被写体に関して、ピント面と非ピント面で信号強度は大きく変化しない。このため本実施形態では、輝度変化の特性を判定条件に追加する。具体的には、信号強度を表す輝度Ｙについて、上に凸の特性（Ｙ1＜Ｙｋ＞Ｙｎ）のときにのみ軸上色収差補正の対象と判定されるようにする。

このように本実施形態において、色にじみ補正手段は、第１の画像（ｋ＝１）と第２の画像（ｋ＝ｎ）との間に撮影された第３の画像（１＜ｋ＜ｎ）の第３の輝度（Ｙｋ）と、第１の画像の第１の輝度（Ｙ１）および第２の画像の第２の輝度（Ｙｎ）とを比較する。そして色にじみ補正手段は、第３の輝度が第１の輝度および第２の輝度のそれぞれよりも高い場合、色にじみ補正を行う。なお本実施形態において、第１の画像は最初に撮影された画像（ｋ＝１）であり、第２の画像は最後に撮影された画像（ｋ＝ｎ）であるが、本実施形態の効果が得られる場合にはこれに限定されるものではない。例えば、連続する３フレーム画像（ｎ＝ｋ－１、ｋ、ｋ＋１）に対しての輝度に関して、Ｙｋ－１＜Ｙｋ＞Ｙｋ＋１が成立する場合にのみ軸上色収差補正の対象であると判定してもよい。このため本実施形態によれば、より高精度に軸上色収差を判定することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、全焦点撮影で取得した画像の軸上色収差を効果的に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２１ 制御部（画像処理装置）
９１０ 像倍率補正部（倍率補正手段）
９１１ 位置合わせ部（位置合わせ手段）
９１２ 軸上色収差ＭＡＰ生成部（色にじみ補正手段）
９１３ 軸上色収差補正部（色にじみ補正手段）
９１４ 画像合成部（合成手段）

Claims (17)

1. 複数の異なる焦点位置で撮影した複数の画像の倍率を補正する倍率補正手段と、
   前記倍率補正手段により補正された前記複数の画像の位置合わせを行う位置合わせ手段と、
   位置合わせが行われた前記複数の画像間の、色相および輝度の少なくともいずれかの変化を算出する算出手段と、
   前記算出手段による算出結果に基づいて、前記位置合わせ手段により位置合わせされた前記複数の画像に対して、結像光学系の色収差による色のにじみを補正するための色にじみ補正を行う色にじみ補正手段と、
   前記色にじみ補正手段により補正された前記複数の画像を合成する合成手段と、を有することを特徴とする画像処理装置。
2. 前記色にじみ補正手段は、位置合わせされた前記複数の画像のうち第１の画像の第１の色相と第２の画像の第２の色相との差が所定の閾値よりも大きい場合、前記色にじみ補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記色にじみ補正手段は、位置合わせされた前記複数の画像のうち第１の画像の第１の色相と第２の画像の第２の色相とが互いに反転している場合、前記色にじみ補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記色にじみ補正手段は、位置合わせされた前記複数の画像のうち第１の画像の第１の色相から第２の画像の第２の色相までの変化が単調増加または単調減少である場合、前記色にじみ補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記色にじみ補正手段は、位置合わせされた前記複数の画像のうち第１の画像と第２の画像との間に撮影された第３の画像の第３の輝度が前記第１の画像の第１の輝度および前記第２の画像の第２の輝度のそれぞれよりも高い場合、前記色にじみ補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の画像は、前記複数の画像のうち最初に撮影された画像であり、
   前記第２の画像は、前記複数の画像のうち最後に撮影された画像であることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１の画像、前記第３の画像、および、前記第２の画像は、前記複数の画像のうち連続する３フレーム画像であることを特徴とする請求項５に記載の画像処理装置。
8. 前記複数の異なる焦点位置で撮影した複数の画像を現像する現像手段を更に有し、
   前記倍率補正手段は、前記現像手段により現像された前記複数の画像の前記倍率を補正することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記倍率補正手段は、
   前記現像手段により現像された前記複数の画像の中から選択された基準画像の基準倍率と前記基準画像を除く画像の前記倍率とが一致するように第１の変換データを算出し、
   前記第１の変換データを用いて、前記基準画像を除く前記画像の前記倍率を補正することを特徴とする請求項８に記載の画像処理装置。
10. 前記位置合わせ手段は、
    前記現像手段により現像された前記複数の画像の中から選択された基準画像と前記倍率が補正された前記画像との対応点が一致するように第２の変換データを算出し、
    前記第２の変換データを用いて、前記基準画像と前記倍率が補正された前記画像との位置合わせを行うことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記位置合わせ手段は、Ｇチャンネルで前記第２の変換データを算出することを特徴とする請求項１０に記載の画像処理装置。
12. 前記色にじみ補正手段は、前記複数の画像のそれぞれに対応する画素ごとに前記色にじみ補正を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 複数の異なる焦点位置で撮影した複数の画像を取得する撮像手段と、
    前記撮像手段により取得された前記複数の画像の倍率を補正する倍率補正手段と、
    前記倍率補正手段により補正された前記複数の画像の位置合わせを行う位置合わせ手段と、
    位置合わせが行われた前記複数の画像間の、色相および輝度の少なくともいずれかの変化を算出する算出手段と、
    前記算出手段による算出結果に基づいて、前記位置合わせ手段により位置合わせされた前記複数の画像に対して、結像光学系の色収差による色のにじみを補正するための色にじみ補正を行う色にじみ補正手段と、
    前記色にじみ補正手段により補正された前記複数の画像を合成する合成手段と、を有することを特徴とする撮像装置。
14. 前記撮像手段は、所定の移動量で離散的に前記焦点位置をずらして撮影した前記複数の画像を取得することを特徴とする請求項１３に記載の撮像装置。
15. 複数の異なる焦点位置で撮影した複数の画像の倍率を補正するステップと、
    前記倍率が補正された前記複数の画像の位置合わせを行うステップと、
    位置合わせが行われた前記複数の画像間の、色相および輝度の少なくともいずれかの変化を算出する算出ステップと、
    前記算出ステップにおける算出結果に基づいて、前記位置合わせされた前記複数の画像に対して、結像光学系の色収差による色のにじみを補正するための色にじみ補正を行うステップと、
    前記色にじみ補正された前記複数の画像を合成するステップと、を有することを特徴とする画像処理方法。
16. 複数の異なる焦点位置で撮影した複数の画像の倍率を補正するステップと、
    前記倍率が補正された前記複数の画像の位置合わせを行うステップと、
    位置合わせが行われた前記複数の画像間の、色相および輝度の少なくともいずれかの変化を算出する算出ステップと、
    前記算出ステップにおける算出結果に基づいて、前記位置合わせされた前記複数の画像に対して、結像光学系の色収差による色のにじみを補正するための色にじみ補正を行うステップと、
    前記色にじみ補正された前記複数の画像を合成するステップと、をコンピュータに実行させることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images