JP2017173920A

JP2017173920A - 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体

Info

Publication number: JP2017173920A
Application number: JP2016056259A
Authority: JP
Inventors: 洋荻野; Hiroshi Ogino
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-03-18
Filing date: 2016-03-18
Publication date: 2017-09-28
Anticipated expiration: 2036-03-18
Also published as: JP6739955B2

Abstract

【課題】光学伝達関数が未知の場合や光学系に製造誤差等による個体差が生じた場合でも、実際の光学系に適した鮮鋭化を実行可能な画像処理装置、画像処理方法、画像処理プログラム、および記憶媒体を提供すること。
【解決手段】光学情報を記憶する記憶部と、入力された画像の合焦領域を検出する検出部と、合焦領域の点像分布関数を推定する推定部と、推定部により推定された点像分布関数の信頼度を算出する算出部と、信頼度が所定値より大きい場合、記憶部が記憶する光学情報を推定された点像分布関数に関する光学情報に更新する更新部と、を有することを特徴とする。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、および記録媒体に関する。

従来、撮像装置によって撮影された画像に対して、光学伝達関数（ＯＴＦ）に基づいて生成される点像分布関数（ＰＳＦ）を用いて画像の鮮鋭化を行い、レンズ等の収差によって生じた画質劣化を低減する技術が提案されている（例えば、特許文献１参照）。また、撮影された画像からＰＳＦを推定し、推定したＰＳＦを用いて画像の鮮鋭化を行うことで、焦点ボケやカメラブレ等の画質劣化を低減する技術が提案されている（例えば、特許文献２参照）。

特開２０１５−１１４７４０号公報特開２０１２−１５５４５６号公報

しかしながら、特許文献１に開示された従来技術では、レンズ等の光学伝達関数が未知の場合にはＰＳＦを生成できないため、鮮鋭化を行うことができない。また、光学伝達関数が既知の場合でも、レンズ等の光学系に製造誤差等による個体差が生じた場合には、設計情報に基づく光学伝達関数から生成したＰＳＦと、実際の光学系に基づくＰＳＦとで差異が生じるため、適切に鮮鋭化を行うことができない。また、特許文献２に開示された従来技術では、画像からＰＳＦを推定することが可能であるが、意図的に撮影したブレやボケも合わせて鮮鋭化されるため、ユーザの意図通りの画像を生成できない。

このような課題に鑑みて、本発明は、光学伝達関数が未知の場合や光学系に製造誤差等による個体差が生じた場合でも、実際の光学系に適した鮮鋭化を実行可能な画像処理装置、画像処理方法、画像処理プログラム、および記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、光学情報を記憶する記憶部と、入力された画像の合焦領域を検出する検出部と、前記合焦領域の点像分布関数を推定する推定部と、前記推定部により推定された点像分布関数の信頼度を算出する算出部と、前記信頼度が所定値より大きい場合、前記記憶部が記憶する光学情報を前記推定された点像分布関数に関する光学情報に更新する更新部と、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、画像を取得するステップと、前記画像の合焦領域を検出する検出ステップと、前記合焦領域の点像分布関数を推定する推定ステップと、前記推定ステップで推定された点像分布関数の信頼度を算出する算出ステップと、前記信頼度が所定値より大きい場合、記憶部に記憶されている光学情報を前記推定された点像分布関数に関する光学情報に更新する更新ステップと、を有することを特徴とする。

本発明によれば、光学伝達関数が未知の場合や光学系に製造誤差等による個体差が生じた場合でも、実際の光学系に適した鮮鋭化を実行可能な画像処理装置、画像処理方法、画像処理プログラム、および記憶媒体を提供することができる。

本発明の実施形態に係る画像処理装置が搭載された撮像装置のブロック図である。画像処理部のブロック図である。画像回復部のブロック図である。画像回復部により画像回復処理を示すフローチャートである。信頼度算出部のブロック図である。手振れ判定部の入出力特性の一例を示す図である。移動体判定部の入出力特性の一例を示す図である。エッジ判定部の入出力特性の一例を示す図である。非飽和判定部の入出力特性の一例を示す図である。鮮鋭化処理部のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係る画像処理装置が搭載された撮像装置１００の構成図である。撮像装置１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、焦点検出部１０７、姿勢変化検出部１０８、画像メモリ１０９、表示部１１０、および操作部１１１を備える。

光学系１０１は、フォーカスレンズ、絞り、およびシャッタを備える。光学系１０１は、撮影時にはフォーカスレンズを駆動し被写体のピント合わせを行い、絞りやシャッターを制御することで露光量を調節する。撮像素子１０２は、光学系１０１において結像された被写体像を光電変換によって電気信号に変換するＣＣＤやＣＭＯＳ等の光電変換素子であり、光学系１０１の収差を含む光学伝達関数により劣化した画像を撮像する。Ａ／Ｄ変換部１０３は、入力された電気信号をデジタル化し、画像処理部１０４に出力する。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された信号に対して、同時化処理、ホワイトバランス補正処理、色変換処理、ガンマ処理、および鮮鋭化処理等を実行し、処理後の信号を記録部１０５に出力する。記録部１０５は、画像処理部１０４から出力された画像情報をＪＰＥＧ等の画像形式に変換し、記録する。制御部１０６は、撮像装置１００全体の動作制御を行う。例えば、制御部１０６は、撮影画像に基づいて所定の評価値を算出し、画像処理部１０４で行う画像処理のパラメータを決定する。焦点検出部１０７は、撮影時の被写体までの距離情報を取得し、撮影画像の画素単位での被写体までの距離情報を示す二次元配列である距離マップを生成する。姿勢変化検出部１０８は、ジャイロセンサ等の検出装置で構成され、手振れ等の撮像装置１００の動きや姿勢の変化（変動量）を検出する。画像メモリ１０９は、制御部１０６を介して画像処理部１０４で処理される画像情報等を一時的に記録する。表示部１１０は、例えば、カメラ背面に設置された液晶ディスプレイであり、撮影時の操作の補助を行うための画面や、記録部１０５に保存されている画像等を表示する。操作部１１１は、ユーザが画像処理部１０４に対し操作指示を行う部分である。

図２を参照して、画像処理部１０４の構成について説明を行う。図２は、画像処理部１０４のブロック図である。画像処理部１０４は、同時化処理部２０１、ホワイトバランス補正処理部２０２、輝度信号生成部２０３、および輝度ガンマ処理部２０４を備える。また、画像処理部１０４は、色変換処理部２０５、色ガンマ処理部２０６、色差信号生成部２０７、および画像回復部２０８を備える。なお、画像処理部１０４により実行される画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例では画像処理部１０４が画像処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施例の画像処理を実行してもよい。また、本実施例の画像処理のプログラムに対応する回路を設け、回路を動作させることで本実施例の画像処理を実行させてもよい。

同時化処理部２０１は、入力されたベイヤーＲＧＢの画像データに対して同時化処理を行い、色信号ＲＧＢを生成する。ホワイトバランス補正処理部２０２は、制御部１０６が算出したホワイトバランスゲイン値に基づいて同時化処理部２０１が生成した色信号ＲＧＢにゲインをかけてホワイトバランスを調整する。輝度信号生成部２０３は、ホワイトバランス補正処理部２０２によりホワイトバランスが調整された色信号ＲＧＢに基づいて輝度信号Ｙを生成し、輝度ガンマ処理部２０４に出力する。輝度ガンマ処理部２０４は、輝度信号Ｙに対してガンマ補正を行い、ガンマ補正後の輝度信号Ｙを画像回復部２０８に出力する。

色変換処理部２０５は、ホワイトバランス補正処理部２０２によりホワイトバランスが調整された色信号ＲＧＢに対してマトリクス演算などを行い、所望のカラーバランスに変換する。色ガンマ処理部２０６は、色信号ＲＧＢにガンマ補正を行う。色差信号生成部２０７は、色信号ＲＧＢから色差信号Ｒ−Ｙ、Ｂ−Ｙを生成し、画像回復部２０８に出力する。

画像回復部２０８は、輝度ガンマ処理部２０４から入力された輝度信号Ｙ、および色差信号生成部２０７から入力された色差信号Ｒ−Ｙ、Ｂ−Ｙに対して、光学系１０１の収差等による劣化を低減する画像回復処理を実行する。画像回復部２０８により画像回復処理が施された輝度信号Ｙ、および色差信号Ｒ−Ｙ、Ｂ−Ｙは、記録部１０５に出力され、記録される。

図３および図４を参照して、画像回復部２０８による画像回復処理について説明する。図３は、画像回復部２０８のブロック図である。画像回復部２０８は、ＲＧＢ信号変換部３０１、合焦領域検出部３０２、ＰＳＦ推定部３０３、信頼度算出部３０４、ＰＳＦ更新部３０５、ＰＳＦ記憶部３０６、鮮鋭化処理部３０７、および輝度色差信号変換部３０８を備える。図４は、画像回復部２０８による画像回復処理を示すフローチャートである。なお、画像回復部２０８により実行される画像回復処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像回復処理プログラムにしたがって実行される。画像回復処理プログラムは、例えば、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例では画像回復部２０８が画像回復処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施例の画像回復処理を実行してもよい。また、本実施例の画像回復処理のプログラムに対応する回路を設け、回路を動作させることで本実施例の画像回復処理を実行させてもよい。

ステップＳ４０１では、画像回復部２０８は、輝度ガンマ処理部２０４および色差信号生成部２０７からそれぞれ、輝度信号Ｙおよび色差信号Ｒ−Ｙ、Ｂ−Ｙを取得する。輝度信号Ｙは、ＲＧＢ信号変換部３０１、合焦領域検出部３０２、および信頼度算出部３０４に入力される。色差信号Ｒ−Ｙ、Ｂ−Ｙは、ＲＧＢ信号変換部３０１に入力される。

ステップＳ４０２では、ＲＧＢ信号変換部３０１は、輝度信号Ｙおよび色差信号Ｒ−Ｙ、Ｂ−Ｙに基づいて色信号ＲＧＢに変換し、鮮鋭化処理部３０７に出力する。

ステップＳ４０３では、合焦領域検出部３０２は、焦点検出部１０７から制御部１０６を介して入力された距離マップに基づいて、輝度信号Ｙから合焦領域を抽出する。具体的には、合焦領域検出部３０２は、まず、輝度信号Ｙを所定のサイズのブロックに分割し、ブロックごとに距離マップの示す情報と、撮影時の光学系１０１のフォーカスレンズの状態から各ブロックが合焦領域か否かを判定する。次に、合焦領域検出部３０２は、合焦領域と判定したブロックの輝度信号ＹをＰＳＦ推定部３０３に出力する。このように、合焦領域検出部３０２が合焦領域か否かを判定することで、非合焦領域によるボケ、つまりユーザが意図したボケか、光学系１０１の収差等によるボケかを判断することが可能である。

ステップＳ４０４では、ＰＳＦ推定部３０３は、合焦領域検出部３０２から出力された合焦領域の輝度信号Ｙからブロックごとに点像分布関数（以下、ＰＳＦという）を推定する。

ここで、ＰＳＦの推定方法について説明する。ＰＳＦ推定部３０３に入力された画像Ｂは、以下の式（１）に示されるように、推定したいＰＳＦを示すＫと、ブレやボケのない画像（潜像）を示すＬの畳み込み演算で表すことができる。

は、畳み込み演算を表す。

ＰＳＦを示すＫと潜像Ｌは未知数であるが、潜像Ｌの初期値を設定することで、暫定的なＰＳＦの推定が可能である。暫定的なＰＳＦを用いて暫定的な潜像Ｌの推定を行い、その後暫定的な潜像Ｌを用いて暫定的なＰＳＦを推定する。このように、ＰＳＦと潜像Ｌの推定および更新を繰り返すことで、ＰＳＦと潜像Ｌの推定精度を高めることができる。一定の条件を満たした暫定的なＰＳＦを、最終的にＰＳＦとする。

ＰＳＦと潜像Ｌは、式（１）の両辺の差を表す項を含むエネルギー関数を最小化することで推定される。それぞれのエネルギー関数は、以下の式（２）と式（３）で表される。式（２）と式（３）のσは、正則化項を表す。正則化項σの例として、画像およびＰＳＦをベクトルとして扱ったときに要素の二乗和となるＬ２ノルムなどがある。エネルギー関数の最小化の方法として、例えば共役勾配法を用いる方法がある。

また、ＰＳＦは、画像のエッジ情報を用いても高精度に推定される。具体的には、ＰＳＦは、入力画像Ｂのエッジ情報をＢ’、潜像Ｌのエッジ情報Ｌ’とする以下の式（４）のエネルギー関数を最小化することで推定される。

最初にＰＳＦを推定する際の潜像Ｌのエッジ情報Ｌ’の初期値として、入力画像Ｂにショックフィルタをかけた画像のエッジ情報を用いる。

ステップＳ４０５では、信頼度算出部３０４は、輝度信号Ｙと、姿勢変化検出部１０８から制御部１０６を介して入力された撮像装置の動きや姿勢の変化（変動量）の情報から、ＰＳＦ推定部３０３で推定されたＰＳＦの信頼度Ｒを算出し、ＰＳＦ更新部に出力する。

図５を参照して、信頼度の算出方法について説明する。図５は、信頼度算出部３０４のブロック図である。信頼度算出部３０４は、手振れ判定部５０１、移動体判定部５０２、エッジ判定部５０３、非飽和判定部５０４、乗算器５０５、乗算器５０６、および乗算器５０７を備える。

手振れ判定部５０１は、姿勢変化検出部１０８から入力された撮像装置１００の動きや姿勢の変化などの変動量（変動量情報）Ｍに基づいて取得した手振れ判定信号Ｄｍを乗算器５０５に出力する。本実施例では、手振れ判定部５０１は、図６に示される入出力特性を用いて手振れ判定信号Ｄｍを出力する。図６は、手振れ判定部５０１の入出力特性の一例を示す図である。図６の横軸は変動量Ｍ、縦軸は手振れ判定信号Ｄｍである。手振れ判定部５０１は、変動量Ｍが所定の閾値Ｔｈ０より小さい場合、ＰＳＦの推定に手振れは影響しないと判定し、手振れ判定信号Ｄｍとして１．０を出力する。また、手振れ判定部５０１は、姿勢変化量Ｍが所定の閾値Ｔｈ１より大きい場合、ＰＳＦの推定に手振れは影響すると判定し、手振れ判定信号Ｄｍとして０．０を出力する。また、手振れ判定部５０１は、姿勢変化量Ｍが所定の閾値Ｔｈ０より大きく所定の閾値Ｔｈ１より小さい場合、変動量Ｍに応じて０．０〜１．０の間の値を手振れ判定信号Ｄｍとして出力する。

移動体判定部５０２は、輝度ガンマ処理部２０４から入力された輝度信号Ｙと、画像メモリ１０９に記録されている直前に撮影した画像の輝度信号Ｙの差分の絶対値に基づいて取得した移動体判定信号Ｄｓを乗算器５０５に出力する。具体的には、移動体判定部５０２は、まず、各ブロックにおいて画素ごとに、輝度ガンマ処理部２０４から入力された輝度信号Ｙと、画像メモリ１０９に記録されている直前に撮影した画像の輝度信号Ｙとの差分の絶対値を算出する。次に、全画素の差分の絶対値を積算することで輝度差分信号Ｓを算出した後、輝度差分信号Ｓに基づいて各ブロックに対する移動体判定信号Ｄｓを取得し、乗算器５０５に出力する。本実施例では、移動体判定部５０２は、図７に示される入出力特性を用いて移動体判定信号Ｄｓを出力する。図７は、移動体判定部５０２の入出力特性の一例を示す図である。図７の横軸は輝度差分信号Ｓ、縦軸は移動体判定信号Ｄｓである。移動体判定部５０２は、輝度差分信号Ｓが所定の閾値Ｔｈ２より小さい場合、直前に撮影した画像との差分が小さくＰＳＦの推定に移動体は影響しないと判定し、移動体判定信号Ｄｓとして１．０を出力する。また、移動体判定部５０２は、輝度差分信号Ｓが所定の閾値Ｔｈ３より大きい場合、ＰＳＦの推定に移動体は影響すると判定し、移動体判定信号Ｄｓとして０．０を出力する。また、移動体判定部５０２は、輝度差分信号Ｓが所定の閾値Ｔｈ２より大きく所定の閾値Ｔｈ３より大きい場合、輝度差分信号Ｓに応じて０．０〜１．０の間の値を移動体判定信号Ｄｓとして出力する。

エッジ判定部５０３は、輝度ガンマ処理部２０４から入力された輝度信号Ｙからブロックごとに算出したエッジ強度Ｅに基づいて取得したエッジ判定信号Ｄｅを乗算器５０５に出力する。具体的には、エッジ判定部５０３は、まず、各ブロックにおいて画素ごとにバンドパスフィルタ等を用いてエッジ信号を算出する。次に、全画素のエッジ信号の絶対値を積算することでエッジ強度Ｅを算出し、エッジ強度Ｅに基づいて各ブロックに対するエッジ判定信号Ｄｅを取得し、乗算器５０６に出力する。本実施例では、エッジ判定部５０３は、図８に示される入出力特性を用いてエッジ判定信号Ｄｅを出力する。図８は、エッジ判定部５０３の入出力特性の一例を示す図である。図８の横軸はエッジ強度Ｅ、縦軸はエッジ判定信号Ｄｅである。エッジ判定部５０３は、エッジ強度Ｅが所定の閾値Ｔｈ４より小さい場合、エッジ部を含まない非エッジ領域であると判定し、エッジ判定信号Ｄｅとして０．０を出力する。また、エッジ判定部５０３は、エッジ強度Ｅが所定の閾値Ｔｈ５より大きい場合、エッジ部を含むエッジ領域であると判定し、移動体判定信号Ｄｓとして０．０を出力する。また、エッジ判定部５０３は、エッジ強度Ｅが所定の閾値Ｔｈ４より大きく所定の閾値Ｔｈ５より大きい場合、エッジ部の強度に応じて０．０〜１．０の間の値を移動体判定信号Ｄｓとして出力する。

非飽和判定部５０４は、輝度ガンマ処理部２０４から入力された輝度信号Ｙからブロックごとにブロック内の飽和画素の個数Ｋに基づいて取得した非飽和判定信号Ｄｋを乗算器５０６に出力する。本実施例では、非飽和判定部５０４は、図９に示される入出力特性を用いて非飽和判定信号Ｄｋを出力する。図９は、非飽和判定部５０４の入出力特性の一例を示す図である。図９の横軸は飽和画素の個数Ｋ、縦軸は非飽和判定信号Ｄｋである。非飽和判定部５０４は、飽和画素の個数Ｋが所定の閾値Ｔｈ６より少ない場合、飽和領域でない（非飽和領域である）と判定し、非飽和判定信号Ｄｋとして１．０を出力する。また、非飽和判定部５０４は、飽和画素の個数Ｋが所定の閾値Ｔｈ７より多い場合、飽和領域であると判定し、非飽和判定信号Ｄｋとして０．０を出力する。また、非飽和判定部５０４は、飽和画素の個数Ｋが所定の閾値Ｔｈ６より多く所定の閾値Ｔｈ７より少ない場合、飽和画素の個数Ｋの個数に応じて０．０〜１．０の間の値を非飽和判定信号Ｄｋとして出力する。

乗算器５０５は、手振れ判定部５０１から出力される手振れ判定信号Ｄｍと、移動体判定部５０２から出力される移動体判定信号Ｄｓを乗算し、乗算結果Ｍｕｌ１を乗算器５０７に出力する。乗算結果Ｍｕｌ１は、手振れや移動体による影響、または光学系１０１の収差を含む光学伝達関数による劣化のどちらが各ブロックごとに推定されたＰＳＦの形状に対して支配的であるかを示す基準である。乗算結果Ｍｕｌ１が１．０に近いほど、光学系１０１の収差を含む光学伝達関数による劣化が支配的であり、乗算結果Ｍｕｌ１が０．０に近いほど、手振れや移動体による影響が支配的である。

乗算器５０６は、エッジ判定部５０３から出力されるエッジ判定信号Ｄｅと、非飽和判定部５０４から出力される非飽和判定信号Ｄｋを乗算し、乗算結果Ｍｕｌ２を乗算器５０７に出力する。乗算結果Ｍｕｌ２は、判定したブロックがＰＳＦの推定に適切な領域であるかどうかを示す基準である。乗算結果Ｍｕｌ２が１．０に近いほど、判定したブロックはＰＳＦの推定に適したエッジ領域、かつ非飽和領域であり、乗算結果Ｍｕｌ２が０．０に近いほど、判定したブロックはＰＳＦの推定に適さない領域である。

乗算器５０７は、乗算器５０５から出力される乗算結果Ｍｕｌ１と、乗算器５０６から出力される乗算結果Ｍｕｌ２を乗算することで信頼度Ｒを算出し、ＰＳＦ更新部３０５に出力する。信頼度Ｒは、光学系１０１の収差を含む光学伝達関数による劣化に基づいてＰＳＦが推定可能な場合を１．０として、その信頼度に応じて０．０〜１．０の値となる。

ステップＳ４０６では、ＰＳＦ更新部３０５は、信頼度算出部３０４から入力された信頼度Ｒを所定値より大きいかどうかを判定する。信頼度Ｒが所定値より大きい場合、ステップＳ４０７へ進み、信頼度Ｒが所定値より小さい場合、ステップＳ４０８に進む。

ステップＳ４０７では、ＰＳＦ更新部３０５は、ＰＳＦ記憶部３０６に記憶されている光学情報を、ＰＳＦ推定部３０３が推定したＰＳＦに関する光学情報に更新する。ＰＳＦ記憶部３０６は、撮影条件（例えば、焦点距離、絞り値、撮像距離）ごとにＰＳＦを記憶する。また、ＰＳＦ記憶部３０６は、像高ごとにＰＳＦを記憶する。例えば、ＰＳＦ推定部３０３が像高が同じ複数のブロックでＰＳＦを推定した場合、ＰＳＦ更新部３０５は信頼度Ｒが高いブロックで推定されたＰＳＦに関する光学情報に更新する。また、ＰＳＦ記憶部３０６は、ＰＳＦを光軸に対して所定の方向、例えば水平方向に対するＰＳＦとして記憶するため、所定の方向以外のＰＳＦを、光軸に対して所定の方向からの角度だけ逆回転して記憶する。また、ＰＳＦ記憶部３０６は、ＰＳＦに対応する信頼度を含む光学情報を記憶していてもよい。この場合、ＰＳＦ更新部３０５は、まず、ＰＳＦ推定部３０３が推定したＰＳＦに対応する信頼度ＲがＰＳＦ記憶部３０６に記憶されている信頼度より大きいかどうかを判断する。信頼度Ｒのほうが大きい場合、ＰＳＦ更新部３０５は、ＰＳＦ記憶部３０６に記憶されている信頼度を含む光学情報を、ＰＳＦ推定部３０３が推定したＰＳＦに関する情報および信頼度Ｒを含む光学情報に更新するようにしてもよい。また、ＰＳＦ記憶部３０６は、推定したＰＳＦから変換された光学伝達関数（ＯＴＦ）を記憶してもよい。

ステップＳ４０８では、鮮鋭化処理部３０７は、ＲＧＢ信号変換部３０１から入力される色信号ＲＧＢ信号に対して、ＰＳＦ記憶部３０６に記憶されているＰＳＦに基づいて鮮鋭化処理を行う。ステップＳ４０７から本ステップに進んだ場合、鮮鋭化処理部３０７は、ＰＳＦ推定部３０３が推定したＰＳＦを使用する。また、ステップＳ４０６から直接本ステップに進んだ場合、鮮鋭化処理部３０７は、ＰＳＦ記憶部３０６にあらかじめ記憶されているＰＳＦを使用する。ＰＳＦ記憶部３０６にあらかじめ記憶されているＰＳＦは、光学系１０１の設計情報に基づいたＰＳＦであってもよい。また、光学系１０１の設計情報が未知の場合、デルタカーネル（中心のみ１、それ以外は０の値をとるＰＳＦ）であってもよい。この場合、鮮鋭化処理部３０７による鮮鋭化処理は、事実上実行されない。また、本実施例では、ステップＳ４０６から直接本ステップに進んだ場合、鮮鋭化処理が実行されるが、鮮鋭化処理を実行しないように制御してもよい。

以下、図１０を参照して、鮮鋭化処理の方法について説明する。図１０は、鮮鋭化処理部３０７のブロック図である。鮮鋭化処理部３０７は、ＰＳＦ回転部１０００、Ｒ信号処理部１００１、Ｇ信号処理部１００６、およびＢ信号処理部１００７を備える。Ｒ信号処理部１００１は、畳み込み演算器１００２、減算器１００３、乗算器１００４、および加算器１００５を備える。Ｇ信号処理部１００６およびＢ信号処理部１００７もＲ信号処理部１００１と同様の構成を備える。

ＰＳＦ回転部１０００は、ＰＳＦ記憶部３０６から像高に応じたＰＳＦを取得し、光軸に対して所定の方向からの角度に応じてＰＳＦを回転し、Ｒ信号処理部１００１、Ｇ信号処理部１００６、Ｂ信号処理部１００７に回転したＰＳＦを出力する。

Ｒ信号処理部１００１は、ＲＧＢ信号変換部３０１から入力された元のＲ信号に、ＰＳＦ回転部１０００から入力された回転したＰＳＦに基づいて鮮鋭化処理が施されたＲｓ信号を生成し、輝度色差信号変換部３０８に出力する。具体的には、畳み込み演算器１００２は、元のＲ信号にＰＳＦ回転部１０００から入力された回転したＰＳＦを畳み込むことで、光学系１０１の収差を含む光学伝達関数による劣化を示すＰＳＦを畳み込んだＲ’信号を算出し、減算器１００３に出力する。減算器１００３は、元のＲ信号から畳み込み演算器１００２から入力されたＲ’信号を減算することで高周波成分であるＲｓｕｂ信号を算出し、乗算器１００４に出力する。乗算器１００４は、減算器１００３から入力されたＲｓｕｂ信号に対して、鮮鋭化処理の強度を調整する所定の定数ｍを乗算することでＲｍ信号を算出し、加算器１００５に出力する。加算器１００５は、元のＲ信号に乗算器１００４から入力されたＲｍ信号を加算することで鮮鋭化処理が施されたＲｓ信号を算出し、輝度色差信号変換部３０８に入力する。以上説明したように、Ｒ信号処理部１００１は、光学系１０１の収差を含む光学伝達関数による劣化の特性に合わせた鮮鋭化処理を実行することができる。

同様に、また、Ｇ信号処理部１００６およびＢ信号処理部１００７は、ＲＧＢ信号変換部３０１から入力されたＧ信号およびＢ信号に対して、ＰＳＦ回転部１０００から入力された回転したＰＳＦに基づいて鮮鋭化処理が施されたＧｓ信号およびＢｓ信号を生成する。Ｇｓ信号およびＢｓ信号は、輝度色差信号変換部３０８に出力される。

ステップＳ４０９は、輝度色差信号変換部３０８は、鮮鋭化処理部３０７から入力されたＲｓＧｓＢｓ信号から画像回復部処理が施された輝度信号Ｙおよび色差信号Ｒ−Ｙ、Ｂ−Ｙを生成し、記録部１０５に出力する。

以上説明したように、本発明は、レンズ等の光学伝達関数が未知の場合でも、画像からＰＳＦを推定し実際の光学伝達関数に基づいた鮮鋭化処理を実行することが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０８画像回復部（画像回復装置）
３０２合焦領域検出部（検出部）
３０３ＰＳＦ推定部（推定部）
３０４信頼度算出部（算出部）
３０５ＰＳＦ更新部（更新部）
３０６ＰＳＦ記憶部（記憶部）

Claims

光学情報を記憶する記憶部と、
入力された画像の合焦領域を検出する検出部と、
前記合焦領域の点像分布関数を推定する推定部と、
前記推定部により推定された点像分布関数の信頼度を算出する算出部と、
前記信頼度が所定値より大きい場合、前記記憶部が記憶する光学情報を前記推定された点像分布関数に関する光学情報に更新する更新部と、を有することを特徴とする画像処理装置。
前記記憶部は、所定の点像分布関数に対応する第１の信頼度を含む光学情報を記憶し、
前記算出部は、前記第１の信頼度とは異なる第２の信頼度を算出し、
前記更新部は、前記第２の信頼度が前記第１の信頼度より大きい場合、前記記憶部が記憶する光学情報を前記第２の信頼度および前記推定された点像分布関数に関する情報を含む光学情報に更新することを特徴とする請求項１に記載の画像処理装置。
前記記憶部は、前記画像の像高ごとに光学情報を記憶することを特徴とする請求項１または２に記載の画像処理装置。
前記記憶部が記憶する光学情報に基づいて前記画像に対して鮮鋭化処理を実行する処理部を更に有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記処理部は、前記信頼度が前記所定値より小さい場合、前記鮮鋭化処理を実行しないことを特徴とする請求項４に記載の画像処理装置。
前記算出部は、前記画像を撮像する装置の変動量に関する情報、前記画像の移動体に関する情報、前記画像のエッジ強度、および前記画像の飽和画素の個数のうち少なくとも１つに基づいて前記信頼度を算出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記検出部は、前記画像を撮像する装置から被写体までの距離に関する情報に基づいて前記合焦領域を検出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記光学情報は、点像分布関数を含むことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
画像を取得するステップと、
前記画像の合焦領域を検出する検出ステップと、
前記合焦領域の点像分布関数を推定する推定ステップと、
前記推定ステップで推定された点像分布関数の信頼度を算出する算出ステップと、
前記信頼度が所定値より大きい場合、記憶部に記憶されている光学情報を前記推定された点像分布関数に関する光学情報に更新する更新ステップと、を有することを特徴とする画像処理方法。
請求項９に記載の画像処理方法の各工程をコンピュータに実行させるための画像処理プログラム。
請求項１０に記載の画像処理プログラムを記録するコンピュータで読み取り可能な記録媒体。