JP2018088587A

JP2018088587A - 画像処理方法および画像処理装置

Info

Publication number: JP2018088587A
Application number: JP2016230127A
Authority: JP
Inventors: 佐藤　新; Arata Sato; 新佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-28
Filing date: 2016-11-28
Publication date: 2018-06-07

Abstract

【課題】撮影画像の光学的劣化を高精度に補正可能な画像処理方法および画像処理装置を提供すること。【解決手段】複数の色成分を有する撮影画像と、撮影画像の撮影に用いた撮像光学系の光学特性と、を取得する入力データ取得工程と、光学特性、または撮影画像の色成分ごとのエッジ情報の少なくとも一方を用いて、色成分からリファレンス色成分を選択する選択工程と、リファレンス色成分に基づいて、リファレンス画像を取得するリファレンス取得工程と、リファレンス画像と光学特性とを用いて、色成分におけるエッジの幅とリファレンス画像におけるエッジの幅との差異が低減するように、色成分における光学的劣化を補正する補正工程と、を有する。【選択図】図２

Description

本発明は、画像処理方法および画像処理装置に関する。

被写体の１点から射出された光は、撮像光学系を通ると撮像光学系の回折や収差の影響によって１点に収束することができず、微小な広がりを持つ。このような微小な広がりを持った分布を点像強度分布関数（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ：ＰＳＦ）と呼ぶ。撮像光学系を用いた撮像により生成された撮影画像は、理想的な被写体像にＰＳＦが畳み込まれた画像であるため、撮影画像には光学的劣化（ぼけ）が生じる。

非特許文献１には、画像処理によって撮影画像の光学的劣化を補正する技術が開示されている。非特許文献１に開示された画像処理方法では、ＰＳＦを用いて、以下の式（１）の損失関数Ｌと正則化関数Ｒを最小化する解を求める最適化問題として画像補正処理を行う。

損失関数Ｌと正則化関数Ｒはそれぞれ、以下の式（２）および式（３）により表される。

式（２）および式（３）において、ｉは光学的劣化がない画像の各画素を成分とする列ベクトル、ｊは撮影画像の各画素を成分とする列ベクトル、ＢはＰＳＦの畳み込みを表す行列である。ｃは、画像の構成成分（画像成分）であり、一般的なカラー画像では、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３つの成分である。ｌは、撮影画像を構成する成分の中で、光学的劣化の小さい画像成分（リファレンス色成分）を表している。Ｈ_１，２は１次微分（縦方向と横方向）、Ｈ_{３，４，５}は２次微分（縦方向、横方向、およびそのクロスターム）、λおよびβは重み係数である。ｉ_ｃ・ｉ_ｌにおける・は、アダマール積を示す。

はＬ２ノルム、

はＬ１ノルムである。ベクトルｘ＝（ｘ_１、ｘ_２、…、ｘ_ｎ）として、

を絶対値とする場合、Ｌ２ノルム

およびＬ１ノルム

はそれぞれ、以下の式（４）および（５）で定義される。

式（２）では、原画像ｉに対して既知であるＰＳＦを与えた劣化画像Ｂｉと実際の撮影画像ｊとの差分を取っている。ノイズがない場合、原画像ｉが正確に推定されていれば式（２）の値は０となる。式（３）の第１項は、原画像ｉの１次微分値のＬ１ノルムを計算することで、自然（一般的）な被写体を撮像して得られる自然画像全体のうちエッジが占める割合が疎（スパース）となる特性を反映している。式（３）の第２項は、画像成分ｌと補正対象である画像成分ｃのエッジの位置および幅が合致することで値が小さくなる正則化項である。式（３）の第２項では、画像成分ｃの１次微分で得られる画素勾配値と画像成分ｌの画素値との積であるＨ_ａｉ_ｃ・ｉ_ｌと、画像成分ｌの１次微分で得られる画素勾配値と画像成分ｃの画素値との積であるＨ_ａｉ_ｌ・ｉ_ｃとの差を計算している。式（１）を最小化する原画像ｉを推定する方法は、非特許文献１で詳しく説明されている。

また、特許文献１には、ノイズ除去のためにＧ成分（リファレンス色成分）のエッジ情報を用いてＲ成分とＢ成分のエッジ情報を補正する方法が開示されている。

特許第５１９８１９２号公報

ＦｅｌｉｘＨｅｉｄｅ，ｅｔａｌ．， "Ｈｉｇｈ−ＱｕａｌｉｔｙＣｏｍｐｕｔａｔｉｏｎａｌＩｍａｇｉｎｇＴｈｒｏｕｇｈＳｉｍｐｌｅＬｅｎｓｅｓ"，ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎＧｒａｐｈｉｃｓ（ｐｒｅｓｅｎｔｅｄａｔＳＩＧＧＲＡＰＨ２０１３）

しかしながら、非特許文献１および特許文献１に開示された方法では、像高、絞りまたは焦点距離などの変化によって、撮像光学系で色成分間の性能の関係が変化するため、充分な補正効果が得られない場合がある。例えば、撮影画像全体に対して同一の色成分をリファレンス色成分とする場合、補正対象である色成分よりも光学的劣化の大きい色成分がリファレンス色成分となる像高（撮影画像の位置）が存在する場合がある。補正対象である色成分よりも光学的劣化の大きい色成分をリファレンス色成分として補正処理を行うと、補正効果が低減する。

このような課題に鑑みて、本発明は、撮影画像の光学的劣化を高精度に補正可能な画像処理方法および画像処理装置を提供すること目的とする。

本発明の一側面としての画像処理方法は、複数の色成分を有する撮影画像と、前記撮影画像の撮影に用いた撮像光学系の光学特性と、を取得する入力データ取得工程と、前記光学特性、または前記撮影画像の色成分ごとのエッジ情報の少なくとも一方を用いて、前記色成分からリファレンス色成分を選択する選択工程と、前記リファレンス色成分に基づいて、リファレンス画像を取得するリファレンス取得工程と、前記リファレンス画像と前記光学特性とを用いて、前記色成分におけるエッジの幅と前記リファレンス画像におけるエッジの幅との差異が低減するように、前記色成分における光学的劣化を補正する補正工程と、を有することを特徴とする。

また、本発明の他の側面としての画像処理装置は、複数の色成分を有する撮影画像と、前記撮影画像の撮影に用いた撮像光学系の光学特性と、を取得する入力データ取得部と、前記光学特性、または前記撮影画像の色成分ごとのエッジ情報の少なくとも一方を用いて、前記色成分からリファレンス色成分を選択する選択部と、前記リファレンス色成分に基づいて、リファレンス画像を生成するリファレンス取得部と、前記リファレンス画像と前記光学特性を用いて、前記色成分におけるエッジの幅と前記リファレンス画像におけるエッジの幅との差異が低減するように、前記色成分における光学的劣化を補正する補正部と、を有することを特徴とする。

本発明によれば、撮影画像の光学的劣化を高精度に補正可能な画像処理方法および画像処理装置を提供することができる。

実施例１の撮像装置のブロック図である。実施例１の補正処理を示すフローチャートである。実施例１のリファレンス色成分の選択の説明図である。実施例２の画像処理システムの外観図である。実施例２の画像処理システムのブロック図である。実施例２の補正処理を示すフローチャートである。実施例２の撮像光学系のレンズ断面図である。実施例２の撮像光学系のＭＴＦ曲線である。実施例２の撮像光学系および撮像素子の白色光源に対するＰＳＦの断面図である。実施例２の補正前後の撮影画像の部分領域におけるＲの画素値の断面図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本実施形態の説明で用いる用語について説明する。
「光学的劣化」
光学的劣化とは、撮像光学系に起因する画像の劣化であり、撮像光学系が有する諸収差に起因する像ぼけや光学系が有限な径を持つことに起因する回折ぼけである。光学的劣化は、撮像光学系の点光源に対する応答を表す関数である点像強度分布関数（ＰＳＦ）や、ＰＳＦのＦｏｕｒｉｅｒ変換によって得られる光学伝達関数（ＯＴＦ：ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）などで表現できる。
「撮影状態」
撮影状態とは、例えば、撮像光学系の撮像時における焦点距離、絞り値および合焦した被写体距離などである。
「撮像光学系の光学特性」
撮像光学系の光学特性とは、撮像光学系に起因する光学的劣化を表すＯＴＦやＰＳＦなどであり、撮影状態によって異なる。光学特性は、撮像光学系の設計値などからコンピュータによるシミュレーションであらかじめ算出しておくことが望ましい。コンピュータシミュレーションによる撮像光学系の光学特性の算出は、想定する光源の分光特性および撮像素子の各画素のカラーフィルタの分光透過率特性を用いて、同一の分光透過率特性（同一のカラーフィルタ）を有する画素ごとに行うことが好ましい。撮像光学系の光学特性は、撮影状態と撮像素子のフィルタの分光透過率特性の組み合わせの数だけ必要となる。また、同一の撮影状態かつ同一の分光透過率特性でも像高に応じた収差や回折の変化が無視できない場合は、像高ごとに光学特性情報を生成しておく必要がある。また、光学特性として、コンピュータシミュレーションの算出結果ではなく、波面計測などから求めた計測結果を用いても構わない。
「画像のエッジ情報」
画像のエッジ情報とは、画像内のエッジの位置、強さおよび幅などに関する情報である。エッジ情報は、画像の空間微分値（差分値）を算出するなどして取得することができる。

以下、本実施形態の具体的な実施例について説明する。

図１を参照して、本実施例の撮像装置２００の構成について説明する。図１は、撮像装置のブロック図である。撮像装置２００は、撮像光学系２０１、撮像素子２０２、Ａ／Ｄ変換部２０３、画像処理部２０４、表示部２０５、撮像光学系制御部２０６、状態検出部２０７、記憶部２０８、画像記録媒体２０９、およびシステムコントローラ２１０を有する。なお、撮像光学系２０１は、撮像装置２００に対して着脱可能に取り付けられてもよい。

撮像光学系２０１は、被写体からの光をＣＣＤセンサやＣＭＯＳセンサなどにより構成される撮像素子２０２上に結像する。撮像光学系２０１は、絞り２０１ａを備える。絞り２０１ａは、絞り開口径を増減させることで、撮像素子２０２に入射する被写体からの光の光量を調節する。また、撮像光学系２０１は、フォーカス機能やズーム機能を有してもよい。撮像素子２０２は、ＲＧＢのベイヤー配列の画素を有する。ただし、複数の色成分（分光分布。可視光域に限らない）を有していれば、他の構成でもよい。Ａ／Ｄ変換部２０３は、撮像素子２０２からのアナログ信号をデジタル信号に変換する。画像処理部２０４は、入力データ取得部２０４ａ、選択部２０４ｂ、リファレンス取得部２０４ｃ、および補正部２０４ｄを有する。画像処理部２０４は、Ａ／Ｄ変換されたデジタル信号（撮影画像）に対して光学的劣化の補正処理（画像処理）を行う。画像処理部２０４は、補正処理を行う場合、記憶部２０８から撮像光学系２０１の光学特性を読み出して使用する。補正された画像は、表示部２０５に表示されるか、画像記録媒体２０９に保存される。表示部２０５は液晶モニタや有機ＥＬモニタなどから構成され、画像記録媒体２０９は磁気ディスク、光ディスク、およびフラッシュメモリなどの記録媒体である。撮像光学系制御部２０６は、撮像光学系２０１の制御、例えば、絞り値、フォーカスおよびズームの制御を行う。状態検出部２０７は、撮像光学系制御部２０６から撮像光学系２０１の撮影状態を取得する。状態検出部２０７が取得した撮影状態は、画像処理部２０４が補正処理を行う場合に使用される。システムコントローラ２１０は、各部材に指令を行い、上述した動作を実行させる。

以下、図２を参照して、画像処理部２０４が実行する光学的劣化の補正処理について説明する。図２は、画像処理部２０４が実行する光学的劣化の補正処理を示すフローチャートである。コンピュータおよび画像処理装置としての画像処理部２０４は、記憶部２０８に格納されたコンピュータプログラムである画像処理プログラムを実行して画像処理を行う。また、画像処理部２０４をハードウェア回路として実装し、ハードウェア回路により画像処理を行ってもよい。

ステップＳ１０１では、入力データ取得部２０４ａは、撮影画像（Ａ／Ｄ変換部２０３によりＡ／Ｄ変換されたデジタル信号）を取得する。本実施例の撮影画像は、ＲＧＢのベイヤー配列画像である。したがって、同一の位置の画素には、単一の色成分しか存在しない。以下で説明する処理は、同一の画素に複数の色成分が存在する前提で行われるため、ＲＧＢの各色成分に対してバイリニア補間などで欠損している画素の情報を補間して生成する。ＲＧＢそれぞれに対して２倍の画素サイズでダウンサンプリングを行うことで、同一画素に複数の色成分が含まれるようにしてもよい。

ステップＳ１０２では、入力データ取得部２０４ａは、撮影画像を複数の部分領域に分割し、そのうちの１つの部分領域を取得する。部分領域は、１画素でもよいし、複数の画素が含まれてもよい。

ステップＳ１０３では、入力データ取得部２０４ａは、ステップＳ１０２で取得した部分領域に対応する光学特性が取得可能かどうかを判定する。取得可能と判定した場合はステップＳ１０４に進み、取得不可能と判定した場合はステップＳ１０６に進む。部分領域に対応する光学特性は、撮像光学系２０１の絞り値、焦点距離、撮影距離（合焦距離）、色成分、像高（撮影画像に対する部分領域の位置）、および部分領域に存在する被写体の合焦距離に対する相対距離をパラメータとして決定される。記憶部２０８には、複数のパラメータに対する撮像光学系２０１の光学特性が記憶されている。部分領域に対応するパラメータの組み合わせの光学特性が記憶部２０８に記憶されている場合、または記憶された複数の光学特性から内挿によって部分領域に対応する光学特性が生成可能である場合、入力データ取得部２０４ａは光学特性を取得可能と判定する。それ以外の場合、入力データ取得部２０４ａは光学特性を取得不可能と判定する。本実施例では、記憶部２０８は、合焦面における光学特性のみを記憶している。そのため、部分領域が非合焦面（部分領域に存在する被写体の合焦距離に対する相対距離が、被写界深度の範囲外）である場合、対応する光学特性が内挿で生成できず、取得不可能と判定される。合焦面と非合焦面の判定には、被写体空間の距離マップが使用される。距離マップは、例えば、複数枚の画像の撮影により取得される。異なる合焦距離の画像を複数枚撮影し、画像内の各位置に対して、撮影した複数の画像のうち最もコントラストが高い画像がその位置に合焦した画像と判定することで、距離マップを生成することができる。また、撮像光学系２０１の瞳を分割する方法を用いて距離マップを取得してもよい。例えば、撮像素子２０２の受光部に撮像光学系２０１の射出瞳が複数の画素にわたって結像されるように、撮像素子２０２上にマイクロレンズアレイを配置することで、撮像光学系２０１の瞳が分割できる。瞳分割によって複数の視差画像が取得できるため、距離マップを取得することができる。

また、入力データ取得部２０４ａは、ステップＳ１０３の判定を行う場合に撮像光学系２０１の製造誤差を考慮してもよい。記憶部２０８に記憶されている複数のパラメータに対する撮像光学系２０１の光学特性は、撮像光学系２０１の設計値から算出された光学特性である。したがって、製造誤差により、実際の撮像光学系２０１が有する光学特性と、記憶部２０８に記憶された光学特性は乖離している場合がある。製造誤差の大きさは、例えば、以下のような方法で見積もることができる。まず、撮影画像の各位置に対してエッジを検出し、色成分間のエッジの相対位置を算出することで倍率色収差を求める。次に、求めた倍率色収差と、撮像光学系２０１の設計値から求められる倍率色収差を比較することで製造誤差の大小を判定できる。また、撮像光学系２０１が光軸に対して回転対称な系で構成されている場合、撮影画像から求めた倍率色収差が画像中心に対してどの程度回転対称からずれているかによっても、製造誤差の大小を判定できる。入力データ取得部２０４ａは、製造誤差が所定値以下の場合、部分領域に対応する光学特性を取得可能と判定し、所定値より大きい場合、取得不可能と判定する。なお、所定値以上の場合、取得不可能と判定してもよい。

ステップＳ１０４では、入力データ取得部２０４ａは、部分領域に対応する光学特性を取得する。本実施例では、入力データ取得部２０４ａは、記憶部２０８から光学特性を取得するが、ネットワーク上からダウンロードして取得してもよい。撮影画像はＲＧＢの色成分を有しているため、入力データ取得部２０４ａはＲＧＢそれぞれに対応する光学特性を取得する。

ステップＳ１０５では、選択部２０４ｂは、光学特性と部分領域のエッジ情報とを用いてリファレンス色成分を選択する。リファレンス色成分は、他の色成分の光学的劣化を補正する際に参照される色成分であり、最も結像性能が高い色成分を選ぶことが望ましい。ただし、最も結像性能が高い色成分を常にリファレンス色成分とした場合、被写体によっては補正で偽エッジが生成される。

図３（ａ）および図３（ｂ）はそれぞれ、部分領域に存在する被写体に畳み込まれている（部分領域に対応する）撮像光学系２０１のＰＳＦ（光学特性）、および部分領域における画素値を示す図である。実線がＲ、一点鎖線がＧ、破線がＢの色成分をそれぞれ表す。図３（ａ）では、Ｇ、Ｒ、Ｂの順に結像性能が高い。しかしながら、図３（ｂ）に示されるように、部分領域に存在する被写体は、Ｇの画素値の変化が少ない被写体である。Ｇをリファレンス色成分に選択し、部分領域のＧをリファレンス画像としてＲとＢの画像を補正すると、Ｇにはエッジが存在しないため、ＲとＢのエッジのぼけが良好に補正されず、逆にぼける場合もある。そのため、リファレンス色成分として、部分領域内にエッジが存在し、かつ最も結像性能の良い色成分を選択すればよい。図３の例では、Ｒをリファレンス色成分とする。ただし、Ｒをリファレンス画像としてＧの画像を補正すると、Ｇに偽エッジが発生してしまう。そこで、リファレンス色成分より結像性能の高い色成分に対しては、後の補正工程でリファレンス画像に合わせる効果を弱める処理を行う。

なお、全ての色成分でエッジが存在しない場合、結像性能からリファレンス色成分を決定する。結像性能を表す指標（性能値）として、例えば、ＰＳＦのピーク値、ＰＳＦの半値幅、ＰＳＦの分散、または所定の空間周波数におけるＭＴＦ（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ：変調伝達関数）の値などを用いればよい。性能値は性能が高いほど、大きい値を示す。したがって、ＰＳＦのピーク値やＭＴＦの値を用いる場合はそのままの値を性能値として用いることができ、ＰＳＦの半値幅や分散を用いる場合は例えば逆数を性能値として用いることができる。部分領域内にエッジがあるか否かは、例えば部分領域を縦横それぞれで空間微分を取り、微分の絶対値が閾値以上になる箇所が存在するかで判定すればよい。また、絶対値が閾値以上になる微分値が、さらに第二の閾値以上、連続して空間的に配置されているか（エッジの幅が第二の閾値以上か）、などで判定してもよい。また、部分領域の各色成分をＦｏｕｒｉｅｒ変換し、所定の空間周波数の強度が第三の閾値以上あるかで判定してもよい。

なお、エッジ情報を取得する際には、事前に倍率色収差補正が施されていることが望ましい。倍率色収差があると、所定の色成分で部分領域内にエッジがないと判定された場合、被写体に色成分のエッジ情報が実際にないのか、倍率色収差によってエッジの色成分が部分領域外にずれたのか、区別できない。したがって、高精度にリファレンス色成分を決定するためには、部分領域（または、部分領域を取得する前の撮影画像）に対して倍率色収差を補正した後、エッジ情報を取得することが望ましい。

ステップＳ１０６では、入力データ取得部２０４ａは、記憶部２０８に記憶された光学特性（または、内挿で生成される光学特性）の中で、最も部分領域に作用している光学特性と近い光学特性を取得する。本実施例では、合焦面の光学特性のみを記憶部２０８に記憶しているため、部分領域が非合焦面の場合も合焦面の光学特性を取得する。製造誤差が発生して光学特性が取得できない場合も、設計値で求められた同じ撮影状態と像高の光学特性を取得する。なお、ステップＳ１０６の処理は、ステップＳ１０９の処理の前であれば、どこで実行してもよい。

ステップＳ１０７では、選択部２０４ｂは、部分領域のエッジ情報のみからリファレンス色成分を選択する。エッジの強さ（画素値の空間微分の絶対値）やエッジの幅などを指標として、最も先鋭なエッジを有する色成分をリファレンス色成分とする。全ての色成分でエッジが存在しない場合、Ｇをリファレンス色成分とする。ＲまたはＢをリファレンス色成分としてもよい。

ステップＳ１０８では、リファレンス取得部２０４ｃは、リファレンス色成分に基づいてリファレンス画像を取得する。部分領域のリファレンス色成分をそのままリファレンス画像としてもよいし、部分領域のリファレンス色成分に対して光学的劣化の補正を施した画像をリファレンス画像としてもよい。リファレンス画像の生成に用いる光学的劣化の補正は、例えば、Ｗｉｅｎｅｒフィルタや式（１）で表される最適化処理などで実行することができる。式（１）を用いる場合、例えば、損失関数には式（２）を、正則化関数には式（３）の第１項を使用すればよい。補正に使用するＰＳＦ（またはＯＴＦ）は、ステップＳ１０４またはステップＳ１０６で取得した光学特性のリファレンス色成分である。また、光学的劣化の補正を行った画像をリファレンス画像とする場合、ステップＳ１０８の処理を行う前にあらかじめ光学特性を用いて撮影画像全体の光学的劣化を補正した画像を生成しておけばよい。そして、生成した画像から部分領域に該当する部分を抽出する（抽出するのはリファレンス色成分のみ）ことで、リファレンス画像を取得してもよい。

ステップＳ１０９では、補正部２０４ｄは、リファレンス画像と光学特性とを用いて、部分領域のリファレンス色成分を除く色成分に対して、光学的劣化の補正を行う。この際、補正される色成分のエッジの幅と、リファレンス画像のエッジの幅との差異が低減するように補正が行われる。具体的には、式（２）の損失関数と式（３）の正則化関数とを用いた式（１）の最適化問題を解くことで、補正を行うことができる。補正に使用するＰＳＦ（またははＯＴＦ）は、ステップＳ１０４またはステップＳ１０６で取得した光学特性の補正対象としている色成分に対応している。

また、各色成分に対して倍率色収差補正を行った後、光学的劣化を補正することが望ましい。補正はリファレンス画像のエッジに合わせるように行われるため、倍率色収差によって色ごとにエッジ位置がずれていると、偽エッジ生成の原因となる。

また、リファレンス色成分と補正対象の色成分の光学特性とに基づいて、補正に対するリファレンス画像の重みを決定すればよい。エッジ情報を用いてリファレンス色成分を決定し、かつ補正対象の色成分の性能値がリファレンス色成分よりも高い場合、補正対象の色成分は光学的劣化によってエッジがぼけているのではなく、もともと被写体にその色のエッジがないことを意味する。したがって、リファレンス画像に合わせて補正を行うと、偽エッジが生成されるため、補正に対するリファレンス画像の重みを下げてもよいし、重みをゼロ（補正時にリファレンス画像を使用しない）にしてもよい。例えば、式（３）の正則化関数を用いて補正を行う場合、βが補正に対するリファレンス画像の重みである。同様に、全ての色成分でエッジがないと判定された部分領域に対しては、補正に対するリファレンス画像の重みを下げてもよいし、リファレンス画像を補正に使用しなくてもよい。リファレンス画像は、エッジの補正効果向上を目的に使用するため、エッジがない領域では参照する必要がない。

なお、部分領域の全ての色成分でエッジがない場合、リファレンス色成分の選択、およびリファレンス画像の取得を行わずに各色成分における光学的劣化を補正してもよい。

ステップＳ１１０では、補正部２０４ｄは、所定の部分領域を全て補正したかどうかを判定する。所定の部分領域は任意であり、例えば撮影画像全体でもよい。所定の部分領域を全て補正した場合はステップＳ１１１に進み、補正していない場合はステップＳ１０２に戻り、新たな部分領域を取得して補正を行う。

ステップＳ１１１では、補正部２０４ｄは、カラー画像を生成する。カラー画像とは、光学的劣化が補正された部分領域を配列した画像である。ステップＳ１１０において、所定の部分領域が撮影画像全体だった場合、カラー画像は撮影画像全体で光学的劣化が補正された画像である。補正部１０４ｄは、必要に応じてデモザイキング処理、ホワイトバランス調整、シェーディング補正、およびγ補正などの処理を実行してカラー画像を生成する。

以上説明したように、本実施例の撮像装置２００は、撮影画像の光学的劣化を高精度に補正することができる。

図４は、本発明の光学的劣化の補正処理を実行する画像処理装置１００３を含む画像処理システムの外観図である。図５は、画像処理システムのブロック図である。

撮像装置１００１の構成は、図１を参照して説明した実施例１の撮像装置２００の構成と同様である。実施例１では、撮像装置２００に内蔵された画像処理部２０４が光学的劣化の補正処理を行う。一方、本実施例では、撮像装置２００とは異なる装置である画像処理装置１００３が光学的劣化の補正処理を実行する。画像処理装置１００３は、記憶部１００３ａ、入力データ取得部１００３ｂ、選択部１００３ｃ、リファレンス取得部１００３ｄ、および補正部１００３ｅを備える。画像処理装置１００３は、撮像装置１００１から撮影画像を取得し、記憶部１００３ａに記憶された撮像装置１００１の撮像光学系の光学特性を用いて光学的劣化の補正処理を実行する。表示部１００２は、画像処理装置１００３により補正された撮影画像を表示する。

以下、図６を参照して、画像処理装置１００３が実行する光学的劣化の補正処理について説明する。図６は、画像処理装置１００３が実行する光学的劣化の補正処理を示すフローチャートである。実施例１と同様の処理については、説明を省略する。

ステップＳ２０１では、入力データ取得部１００３ｂは、撮像装置１００１から撮影画像を取得する。撮影画像は、複数の色成分を有する。

ステップＳ２０２では、入力データ取得部１００３ｂは、撮影画像から部分領域を取得する。

ステップＳ２０３では、入力データ取得部１００３ｂは、部分領域に対応する光学特性を記憶部１００３ａから取得する。入力データ取得部１００３ｂは、撮影画像に付随したＥｘｉｆ情報から取得できる撮影時の撮像装置１００１の撮影状態と、撮影画像に対する部分領域の位置とに基づいて、部分領域に対応する光学特性を特定する。

ステップＳ２０４では、選択部１００３ｃは、光学特性に基づいてリファレンス色成分を選択する。選択部１００３ｃは、性能値が最も高い色成分をリファレンス色成分として選択する。本実施例では、光学特性はＯＴＦであり、選択部１００３ｃはＯＴＦの絶対値であるＭＴＦから性能値を取得する。図７は、撮像装置１００１の撮像光学系のレンズ断面図であり、図８は撮像光学系のＭＴＦを空間周波数に対してプロットしたグラフである。ＧのＭＴＦは、ＲとＢのＭＴＦに対して全周波数で高くなっている。したがって、選択部１００３ｃは、Ｇをリファレンス色成分として選択する。また、選択部１００３ｃは、ＰＳＦから性能値を決定してもよい。図９は、撮像光学系および撮像素子の白色光源に対するＰＳＦの断面図である。図９（ａ）〜図９（ｃ）はそれぞれ、Ｒ、ＧおよびＢに対するＰＳＦの断面図である。これらの図におけるＰＳＦのピーク値や半値幅に基づいて、Ｇが最も性能が高いことが判定できる。

ステップＳ２０５では、リファレンス取得部１００３ｄは、リファレンス画像を取得する。リファレンス取得部１００３ｄは、部分領域のＧ成分をそのままリファレンス画像として取得してもよいし、Ｇの光学特性を用いて光学的劣化を補正した画像をリファレンス画像として取得してもよい。

ステップＳ２０６では、補正部１００３ｅは、リファレンス画像と光学特性とを用いて、部分領域のリファレンス色成分以外の色成分に対して、光学的劣化の補正を行う。図１０は、補正前後の撮影画像の部分領域におけるＲの画素値の断面図である。光学的劣化のない被写体（正解画像）に対して、図９（ａ）に示される撮像光学系のＲに対するＰＳＦが畳み込まれた撮影画像が補正前の撮影画像である。リファレンス画像を用いて補正を行うことで、図１０に示される補正後の撮影画像のように画素値が補正される。

ステップＳ２０７では、補正部１００３ｅは、所定の部分領域を全て補正したかどうかを判定する。所定の部分領域を全て補正した場合はステップＳ２０８に進み、補正していない場合はステップＳ２０２に戻り、新たな部分領域を取得して補正を行う。

ステップＳ２０８では、補正部１００３ｅは、補正された部分領域を配列してカラー画像を生成する。

以上説明したように、本実施例の画像処理システムは、撮影画像の光学的劣化を高精度に補正することができる。

なお、実施例１および実施例２で説明した光学的劣化の補正処理はそれぞれ、実施例２のシステムおよび実施例１の撮像装置で実施することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４画像処理部（画像処理装置）
２０４ａ入力データ取得部
２０４ｂ選択部
２０４ｃリファレンス取得部
２０４ｄ補正部

Claims

複数の色成分を有する撮影画像と、前記撮影画像の撮影に用いた撮像光学系の光学特性と、を取得する入力データ取得工程と、
前記光学特性、または前記撮影画像の色成分ごとのエッジ情報の少なくとも一方を用いて、前記色成分からリファレンス色成分を選択する選択工程と、
前記リファレンス色成分に基づいて、リファレンス画像を取得するリファレンス取得工程と、
前記リファレンス画像と前記光学特性とを用いて、前記色成分におけるエッジの幅と前記リファレンス画像におけるエッジの幅との差異が低減するように、前記色成分における光学的劣化を補正する補正工程と、を有することを特徴とする画像処理方法。
前記選択工程は、前記撮影画像を分割した複数の部分領域のそれぞれに対して、前記リファレンス色成分を選択することを特徴とする請求項１に記載の画像処理方法。
前記選択工程は、前記撮像光学系における前記色成分ごとの性能値を前記光学特性から取得し、前記性能値に基づいて前記リファレンス色成分を選択することを特徴とする請求項１または２に記載の画像処理方法。
前記性能値は、点像強度分布関数のピーク値、半値幅、および分散、または所定の空間周波数における変調伝達関数の値のうち、いずれかを含むことを特徴とする請求項３に記載の画像処理方法。
前記選択工程は、前記エッジ情報を用いて前記リファレンス色成分を選択し、
前記補正工程は、補正が行われる色成分と前記リファレンス色成分の前記光学特性とに基づいて、補正に対する前記リファレンス画像の重みを決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理方法。
前記選択工程は、前記エッジ情報を用いて前記リファレンス色成分を選択し、
前記補正工程は、前記撮像光学系における色成分の性能値を前記光学特性から取得し、前記リファレンス色成分の性能値より補正が行われる色成分の性能値が大きい場合、補正に対する前記リファレンス画像の重みを小さくする、または前記リファレンス画像を補正に使用しないことを特徴とする請求項１から５のいずれか１項に記載の画像処理方法。
前記選択工程は、倍率色収差補正が行われた前記エッジ情報を用いることを特徴とする請求項１から６のいずれか１項に記載の画像処理方法。
前記補正工程は、倍率色収差補正が行われた前記色成分に対して、前記光学的劣化の補正を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理方法。
前記補正工程で用いられる前記光学特性は、前記色成分に対応した前記撮像光学系の点像強度分布関数であることを特徴とする請求項１から８のいずれか１項に記載の画像処理方法。
前記エッジ情報は、エッジの強度、または幅を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理方法。
前記光学特性は、前記撮影画像を撮影した際の撮影距離、前記撮像光学系の絞り値、または焦点距離のうちいずれかを用いて決定されることを特徴とする請求項１から１０のいずれか１項に記載の画像処理方法。
複数の色成分を有する撮影画像と、前記撮影画像の撮影に用いた撮像光学系の光学特性と、を取得する入力データ取得部と、
前記光学特性、または前記撮影画像の色成分ごとのエッジ情報の少なくとも一方を用いて、前記色成分からリファレンス色成分を選択する選択部と、
前記リファレンス色成分に基づいて、リファレンス画像を生成するリファレンス取得部と、
前記リファレンス画像と前記光学特性を用いて、前記色成分におけるエッジの幅と前記リファレンス画像におけるエッジの幅との差異が低減するように、前記色成分における光学的劣化を補正する補正部と、を有することを特徴とする画像処理装置。
被写体空間の像を結像する撮像光学系と、
異なる色成分を有する複数の画素を有し、前記像を撮影画像として取得する撮像素子と、
請求項１２に記載の画像処理装置と、を有することを特徴とする撮像装置。
コンピュータに請求項１から１１のいずれか１項に記載の画像処理方法を実行させることを特徴とする画像処理プログラム。
請求項１４に記載の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体。