JP2005309560A - 画像処理方法および装置並びにプログラム - Google Patents

Abstract

【課題】 デジタル写真画像に対して行ったボケ補正の効果を効率良く確認することができるようにする。
【解決手段】 エッジ抽出手段４は、補正前の画像Ｄからエッジを抽出する。領域決定手段５は、画像Ｄにおける、モニタの解像度（ＱＶＧＡ）に応じたサイズ（３２０画素×２４０画素）の領域毎にエッジの数を集計すると共に、集計された各領域のエッジ数に基づいて、最もエッジ数が多い領域をボケ確認領域として決定する。画像抽出手段６は、ボケ確認領域の画像を画像Ｄから抽出すると共に、補正済み画像Ｄ’からボケ確認領域に対応する領域の画像を抽出する。変倍手段７は、画像抽出手段６により抽出された２つの画像を並べて表示するように合成すると共に、合成された画像をモニタの解像度と同じサイズに縮小して表示させる。
【選択図】 図２

Description

本発明は画像処理、具体的には、デジタル写真画像に対して施したボケ補正処理の効果を確認するための画像処理方法および装置並びにそのためのプログラムに関するものである。

ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施して表示したり、プリントしたりするなどのことが行われている。これらの画像処理の一つとして、ぼけた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。

被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略してぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。

デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。

また、例えば、特許文献２に記載されたように、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法も知られている。

一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。近年、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。

他方、携帯カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯カメラにより被写体を撮像するときに、通常のカメラより手ぶれが起きやすい。極端な手ぶれは、携帯カメラのモニタで確認することができるが、小さな手ぶれは、モニタで確認することができず、プリントして初めて画像のぶれに気付くことが多いため、携帯カメラにより撮像して得た写真画像に対してぶれの補正を施す必要性が高い。

しかし、携帯電話機の小型化は、その性能、コストに並び、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯カメラに適用することができない。また、特許文献２に提案されたような方法は、劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返す必要があるため、処理時間がかかり、効率が良くないという問題がある。そこで、デジタル写真画像を解析することによって画像のボケ情報（ボケ方向や、ボケ幅など）を取得し、このボケ情報に基づいてボケ補正用のパラメータを設定して補正を行う方法として、例えば、ボケは画像中の点像の広がりを引き起こすため、ボケ画像には、点像の広がりに応じたエッジの広がりが生じ、すなわち、画像中におけるエッジの態様は画像中におけるボケと直接関係することを利用し、画像中のエッジの態様を解析することによってボケ情報を取得して補正を行うことが考えられる。このような方法は、特別な装置を撮像装置に設けることを必要とせずにデジタル写真画像からボケ情報を取得することができると共に、ボケ情報に基づいて補正を行うので、特許文献２記載の方法のように処理を繰り返す必要がなく、効率が良い。

このようにデジタル写真画像に対してボケ補正を行う方法が種々あり、様々なタイミングでデジタル写真画像がボケ補正処理される。例えば、デジタル写真画像をプリントするための前処理としてプリント対象のデジタル写真画像に対してボケ補正をしたり、携帯電話機間の電子メールを中継するサーバにおいて、電子メールに添付された画像に対してボケ補正を行ったりするなどのことが行われている。また、デジタルカメラ（携帯カメラを含む）内部において、撮像して得た画像に対してボケ補正を行ってから備え付けのメモリカードなどの記憶手段に保存することも行われている。

デジタル写真画像に対して行ったボケ補正の効果を確認するためには、補正後の画像をモニタなどの表示画面に表示させて操作者に確認させることが行われている。しかし、例えば、携帯カメラの場合、解像度が小さい付属のモニタに補正済みの画像を表示させるために、補正済みの画像を縮小しなければならないが、縮小した画像を付属のモニタで確認してもボケ補正の効果を確認することができない。そのため、市販のデジタルカメラのうち、撮像して得た画像に対して、操作者に表示領域を指定させ、指定された領域を等倍でまたは拡大して付属のモニタに表示させることによって画像のボケ状況を確認し易くするものがあり、このようなデジタルカメラを用いれば、保存されたボケ補正済みの画像を記憶手段から読み出して、操作者が指定した領域を等倍または拡大して表示することによってボケ補正の効果を確認することができる。

また、特許文献３記載のように、画像の中央領域など予め決められ位置の画像を抽出して等倍表示したり、画像を複数の領域に分けて順次等倍表示したりする方法も提案されている。
特開２００２−１１２０９９号公報 特開平７−１２１７０３号公報 特開２００３−２８３８８８号公報

しかしながら、操作者に表示領域を指定させる方法は、操作者が確認しようとする領域を指定する必要があり、面倒である。また、画像におけるボケは画像全体に亘って均一に存在するが、画像の領域によって、ボケを確認し易い部位と確認しにくい、または確認できない部位がある。例えば、図３に示す画像の例のように、点線により区切られたブロックのうち、最も左上のブロックだけを見ても、画像がぼけているが否かが分からず、被写体（図３の例では人間）の髪部分や、耳などの輪郭部分のブロックは、画像がぼけているか否かを明顕に示すことができる。このような画像に対して行ったボケ補正の効果を確認する際には、図３に例示した画像の左上のブロックのような元々ボケが明顕に現れない領域をもって確認しても、ボケが補正された否か、どの程度補正されたかが分からない。一方、操作者に表示領域を指定させる方法は、操作者が必ずしもボケ補正の効果を確認するために適した領域を正確に指定することができるとは限らないので、判断ミスなどを招く可能性がある。

まや、特許文献３記載の方法のような、予め決められた位置の画像を抽出して表示する方法では、予め決められた位置の画像がボケ補正の効果を確認するのに適した領域ではない場合において適切な判断を行うことができない結果になってしまうという問題があり、画像を複数の領域に分けて順次表示する方法では、時間がかかり、装置および操作者両方へ負担をかけるという問題がある。

本発明は、上記事情に鑑み、デジタル写真画像に対して行ったボケ補正処理の効果を効率良く確認することができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、デジタル写真画像の、ボケが現れやすい領域をボケ確認領域として決定し、
前記デジタル写真画像に対して行ったボケ補正処理により得られた補正済み画像における、前記ボケ確認領域に対応する領域の画像を確認画像として取得し、
抽出された前記確認画像を、表示装置の解像度に合致したサイズで表示させることを特徴とするものである。

本発明において、「デジタル写真画像」とは、デジタルカメラなどで被写体を撮像して得たデジタル画像は勿論、スキャナなどの読取装置で銀塩写真フィルムや、印刷物（例えばプリント）などにある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、デジタル写真画像を意味するものとする。

本発明の画像処理方法は、前記デジタル写真画像における前記ボケ確認領域の画像を抽出して前記確認画像と共に前記表示装置に表示させることが好ましい。

本発明の画像処理方法は、前記ボケ確認領域を決定するのに当たって、前記デジタル写真画像からエッジを抽出し、
抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得し、
前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定することが好ましい。

また、本発明の画像処理方法は、前記デジタル写真画像からエッジを抽出し、
前記デジタル写真画像におけるボケの幅を取得し、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅と合致するエッジ幅を有するエッジの数を取得し、
前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定するようにしてもよい。

さらに、本発明の画像処理方法は、前記ボケが有方向性のボケとなるぶれである場合において、前記デジタル写真画像に対して、複数の異なる方向毎にエッジを抽出し、
前記デジタル写真画像における前記ぶれの方向を取得し、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ぶれの方向と合致する方向のエッジの数を取得し、
前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定することが好ましい。

また、前記領域画像の大きさは、前記表示装置の解像度に応じて決められたものであることが好ましい。

本発明の画像処理装置は、デジタル写真画像の、ボケが現れやすい領域をボケ確認領域として決定するボケ確認領域決定手段と、
前記デジタル写真画像に対して行ったボケ補正処理により得られた補正済み画像における、前記ボケ確認領域に対応する領域の画像を確認画像として取得する確認画像取得手段と、
抽出された前記確認画像を、表示装置の解像度に合致したサイズで表示させる表示制御手段とを有してなることを特徴とするものである。

前記確認画像取得手段は、前記デジタル写真画像における前記ボケ確認領域の画像をも抽出するものであり、前記表示制御手段は、前記確認画像を、前記デジタル写真画像における前記ボケ確認領域の画像と共に前記表示装置に表示させるものであることが好ましい。

また、本発明の画像処理装置において、前記ボケ確認領域決定手段は、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する決定手段とを有してなるものであることが好ましい。

また、前記ボケ確認領域決定手段は、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
前記デジタル写真画像におけるボケの幅を取得するボケ幅取得手段と、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅と合致するエッジ幅を有するエッジの数を取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する決定手段とを有してなるものであってもよい。

さらに、前記ボケが有方向性のボケとなるぶれである場合において、前記ボケ確認領域決定手段が、前記デジタル写真画像に対して、複数の異なる方向毎にエッジを抽出するエッジ抽出手段と、
前記デジタル写真画像における前記ぶれの方向を取得するぶれ方向取得手段と、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ぶれの方向と合致する方向のエッジの数を取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する決定手段とを有してなるものであることが好ましい。

また、前記領域画像の大きさは、前記表示装置の解像度に応じて決められたものであることが好ましい。

また、本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供するようにしてもよい。

本発明の画像処理方法および装置によれば、デジタル写真画像に対して行ったボケ補正処理の効果を確認するために、補正前のデジタル写真画像における、ボケが現れやすい領域をボケ確認領域として決定し、補正済み画像からこの決定されたボケ確認領域に対応する領域の画像をボケ確認画像として抽出して表示装置に合致したサイズで表示させる。補正の効果が良ければ、デジタル写真画像全体におけるボケが消失または軽減されるが、図３に例示した画像における左上や、端縁部のブロックのようなボケが現れないまたは現れ難い領域よりも、髪部分や、顔の輪郭部分などのようなボケが明顕に現れる領域に対応した、補正済み画像における領域の画像のほうが、補正の効果を反映することができるので、元の画像における、ボケが現れやすい領域に対応する領域の画像を補正済み画像から抽出してボケ補正の効果を確認することに供することによって、正確なボケ補正の効果の判断ができる。また、補正済み画像の一部（確認画像）のみを表示装置に合致したサイズで表示させるので、携帯カメラ付属のモニタのような解像度の小さい表示装置でも、ボケ補正の効果の確認を正しく行うことができる。

また、本発明の画像処理方法および装置によれば、補正済み画像から自動的にボケ確認画像を抽出して表示するようにしているので、操作者による領域指定や、画像を領域毎に順次表示するなどの処理を必要とせず、効率が良い。

さらに、補正前のデジタル写真画像から、ボケ確認領域の画像を抽出して補正済み画像から抽出された確認画像と共に表示させるようにすれば、操作者が補正前と補正後のボケ態様を比較することができるので、より正確にボケ補正処理の効果を確認することができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の第１の実施形態となる画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、デジタル写真画像（以下略して画像という）に対してボケ補正を行うと共に、ボケ補正の効果を操作者に確認させるためのものであり、図示のように、入力された画像Ｄに対してボケ補正を行って補正済み画像Ｄ’を得る補正手段１と、補正済み画像Ｄ’および画像Ｄを用いて、補正手段１によるボケ補正の効果を確認するための確認画像を作成する確認画像作成手段３と、確認画像作成手段３により作成された確認画像を表示するモニタ８とを有してなるものである。なお、本実施形態の画像処理装置において、例として、モニタ８は、ＱＶＧＡ、すなわち３２０×２４０の解像度を有するものとする。

図２は、図１に示す実施形態の画像処理装置における確認画像作成手段３の構成を示すブロック図である。図示のように、確認画像作成手段３は、画像Ｄからエッジを抽出するエッジ抽出手段４と、画像Ｄにおける、モニタ８の解像度に応じたサイズ（ここでは３２０×２４０画素）の領域毎に、エッジ抽出手段４により抽出されたエッジの数を集計すると共に、集計された各領域のエッジ数に基づいて、最もエッジ数が多い領域をボケ確認領域として決定する領域決定手段５と、領域決定手段５により決定されたボケ確認領域の画像を画像Ｄから抽出すると共に、補正済み画像Ｄ’からボケ確認領域に対応する領域の画像を抽出する画像抽出手段６と、画像抽出手段６により抽出された２つの画像を並べて表示するように合成すると共に、縮小率１／２で縮小する変倍手段７とを備えてなるものである。

ここで、画像抽出手段６により抽出された２つの画像が夫々３２０画素×２４０画素のサイズであり、合成後には６４０画素×４８０画素のサイズの画像になるが、変倍手段７による縮小処理によって３２０画素×２４０画素のサイズになる。

モニタ８は、確認画像作成手段３により得られた画像を表示する。すなわち、モニタ８には、画像Ｄにおける最もエッジ数の多い領域の画像と、補正済み画像Ｄ’におけるこの領域の画像とが並べて表示される。

このように、本実施形態の画像処理装置によれば、図３の画像を例にすると、端縁部のブロックや、顔の平坦部位のブロックなどエッジ数の少ない領域、すなわちボケがあるとしても現れ難い領域に対応する領域の画像は、確認画像として補正済み画像Ｄ’から抽出されることがなく、髪部分の領域や、耳を含む領域などのエッジが集中する領域に対応する領域の画像は確認画像として補正済み画像Ｄ’から抽出されて表示され、操作者に画像に対するボケ補正処理の効果を効率良く確認させることができる。

また、補正済み画像Ｄ’から抽出された確認画像と共に、補正前の画像Ｄにおける同じ領域の画像が表示されるので、操作者が補正前と補正後の同じ領域の画像を比較することができるので、補正処理の効果をより良く確認することができる。

図４は、本発明の第２の実施形態となる画像処理装置の構成を示すブロック図である。図示のように、本実施形態の画像処理装置は、入力された画像Ｄのボケ状況を解析するボケ解析手段５０と、ボケ解析手段５０による解析の結果に基づいて、後述する領域補正手段７０による補正の対象となる領域（以下対象領域という）を決定する領域決定手段６０と、画像Ｄにおける、領域決定手段６０により決定された対象領域の画像に対してボケ補正を行って補正済み画像Ｄ１ｂを得る領域補正手段７０と、領域決定手段６０により決定された対象領域の画像を画像Ｄから抽出して、領域補正手段７０により得られた補正済み画像Ｄ１ｂと合成すると共に、後述するモニタ９０の解像度に合致したサイズに変倍して確認画像を得る確認画像作成手段８０と、確認画像作成手段８０により得られた確認画像を表示するモニタ９０と、モニタ９０により表示された確認画像に対応する元画像Ｄに対して補正を行うか否かの指示を操作者に入力させるための入力手段１００と、入力手段１００を介して操作者が入力した指示に従って、画像Ｄをそのまままたは補正した後に出力する補正手段１２０とを備えてなるものである。なお、本実施形態の画像処理装置において、例として、モニタ９０はＱＶＧＡより大きい解像度Ｌ１×Ｌ２を有するものとする。

図５は、図４に示す実施形態の画像処理装置におけるボケ解析手段５０の構成を示すブロック図である。図示のように、ボケ解析手段５０は、画像Ｄに対して縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段１１と、縮小画像Ｄ０を用いて、図６に示す８つの異なる方向毎にエッジを検出するエッジ検出手段１２と、エッジ検出手段１２により検出されたエッジのプロファイルを作成するエッジプロファイル作成手段１３と、無効なエッジを除去するエッジ絞込手段１４と、エッジ絞込手段１４により得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６と、エッジ特徴量Ｓを用いて、画像Ｄにおけるボケ方向および画像Ｄのボケ度Ｎ、ぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ情報Ｑとして補正手段１２０、領域決定手段６０、および領域補正手段７０に出力する解析実行手段２０とを備えてなる。

縮小手段１１は、画像Ｄに対して、例えば１／８の縮小率で縮小して縮小画像Ｄ０を得て、エッジ検出手段１２に出力する。

エッジ検出手段１２は、縮小画像Ｄ０を用いて、図６に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得てエッジプロファイル作成手段１３に出力する。

エッジプロファイル作成手段１３は、エッジ検出手段１２により検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図７に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する。

エッジ絞込手段１４は、エッジ検出手段１２から出力されてきたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する。

エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたエッジのプロファイルに基づいて、図７に示すようなエッジ幅を各エッジに対して求め、図８に示すようなエッジ幅のヒストグラムを図６に示された８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析実行手段２０に出力する。

解析実行手段２０は、主として下記の２つの処理を行う。

１． 画像Ｄにおけるボケ方向、画像Ｄのボケ度Ｎを求める。

２． 画像Ｄのボケ幅Ｌ、ぶれ度Ｋを算出する。

ここで、１つ目の処理から説明する。

解析実行手段２０は、画像Ｄにおけるボケ方向を求めるために、まず、図６に示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図９に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図９（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図９（ｂ）参照）。本実施形態の画像処理装置における解析実行手段２０は、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見付け出す。画像Ｄにぶれがあれば、この２つの方向のうちの１つは、図６に示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。

図９（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図９（ｃ）からわかるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。

解析実行手段２０は、こうして、相関が最も小さい方向組を見付け、この方向組の２つの方向のうち、平均エッジ幅の大きい方をボケ方向とする。

次に、解析実行手段２０は、画像Ｄのボケ度Ｎを求める。画像のボケ度は、画像中のボケの程度の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図１０に基づいたデータベースを利用してより精度良く求める。図１０は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図１０に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、図示しない記憶手段に記憶されている。

解析実行手段２０は、図１０に基づいて作成され、図示しない記憶手段に記憶されたスコアデータベースを参照し、画像Ｄのボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値を画像Ｄのボケ度Ｎとして求める。

解析実行手段２０は、２つ目の処理として、まず、画像Ｄのぶれ度Ｋを求める。

ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。

１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図１１（ａ）に示す曲線に基づいて第１のぶれ度Ｋ１を求める。なお、図１１（ａ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、図示しない記憶手段に記憶されており、解析実行手段２０は、相関最小組の相関値に対応する第１のぶれ度Ｋ１を、図示しない記憶手段から読み出すようにして第１のぶれ度Ｋ１を求める。

２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図１１（ｂ）に示す曲線に基づいて第２のぶれ度Ｋ２を求める。なお、図１１（ｂ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、図示しない記憶手段に記憶されており、解析実行手段２０は、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を、図示しない記憶手段から読み出すようにして第２のぶれ度Ｋ２を求める。

３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図１１（ｃ）に示す曲線に基づいて第３のぶれ度Ｋ３を求める。なお、図１１（ｃ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、図示しない記憶手段に記憶されており、解析実行手段２０は、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を、図示しない記憶手段から読み出すようにして第３のぶれ度Ｋ３を求める。

解析実行手段２０は、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（１）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となるボケ画像Ｄのぶれ度Ｋを求める。

Ｋ＝Ｋ１×Ｋ２×Ｋ３ （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度

次に、解析実行手段２０は、画像Ｄのボケ幅Ｌを求める。ここで、ぶれ度Ｋに関係なく、ボケ幅Ｌとしてボケ方向におけるエッジの平均幅を求めるようにしてもよいが、本実施形態においては、図６に示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとする。

解析実行手段２０は、画像Ｄに対して求められたボケ度Ｎ、ボケ方向、およびぶれ度Ｋ、ボケ幅Ｌをボケ情報Ｑとして補正手段１２０、領域決定手段６０および領域補正手段７０に出力する。なお、領域決定手段６０には、ボケ情報Ｑ以外に、エッジ絞込手段１４により除去された無効なエッジ以外のエッジの座標位置、およびエッジ特徴量取得手段１６により得られたエッジ特徴量Ｓも出力される。

図１２は、図４に示す実施形態の画像処理装置における領域決定手段６０の構成を示すブロック図である。図示のように、領域決定手段６０は、制御手段６１と、第１のエッジ数集計手段６２と、第２のエッジ数集計手段６３と、決定手段６４とを備えてなる。

制御手段６１は、ボケ解析手段５０から出力されてきたボケ情報Ｑに含まれるぶれ度Ｋに基づいて、第１のエッジ数集計手段６２と第２のエッジ数集計手段６３とのいずれかにエッジ数集計処理を行わせる制御を行うものである。具体的には、画像Ｄのぶれ度Ｋが所定の閾値以下であれば、第１のエッジ数集計手段６２にエッジ数集計処理を行う一方、画像Ｄのぶれ度Ｋが所定の閾値より大きければ第２のエッジ数集計手段６３にエッジ数集計処理を行わせる。ここで、第１のエッジ数集計手段６２および第２のエッジ数集計手段６３の動作について説明する。

第１のエッジ数集計手段６２は、ボケ解析手段５０から出力されてきた、エッジ絞込手段１４により除去された無効なエッジ以外のエッジの座標位置、およびエッジ特徴量Ｓに含まれる各エッジの幅、およびボケ情報Ｑに含まれるボケ幅Ｌに基づいて、画像Ｄにおける、モニタ９０の解像度の１／２に相当するサイズ、すなわち（Ｌ１／２）画素×（Ｌ２／２）画素の大きさの領域毎に、ボケ幅Ｌを含む所定の範囲（例えばボケ幅Ｌ±３画素）内のエッジ幅を有するエッジの数を集計して決定手段６４に出力する。

第２のエッジ数集計手段６３は、ボケ解析手段５０から出力されてきた、エッジ絞込手段１４により除去された無効なエッジ以外の各方向毎のエッジの座標位置、およびボケ情報Ｑに含まれるボケ方向に基づいて、画像Ｄにおける、モニタ９０の解像度の１／２に相当するサイズの領域毎に、ボケ方向と同じ方向のエッジの数を集計して決定手段６４に出力する。

決定手段６４は、第１のエッジ数集計手段６２および第２のエッジ数集計手段６３から出力されてきた各領域のエッジ数に基づいて、最もエッジ数が多い領域を対象領域として決定する。

領域補正手段７０は、領域決定手段６０により決定された対象領域の画像（Ｄ１ａとする）を画像Ｄから抽出する共に、抽出された画像Ｄ１ａに対してボケ補正を行って補正済み画像Ｄ１ｂを得るものである。領域補正手段７０は、画像Ｄ１ａに対してボケ補正を行うのに当たって、まず、下記の式（２）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。

Ｗ１＝Ｎ×Ｋ×Ｍ１
Ｗ２＝Ｎ×（１−Ｋ）×Ｍ２ （２）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｎ：ボケ度
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク

即ち、領域補正手段７０は、ボケ度Ｎが大きいほど等方性補正の強度と方向性補正の強度が強く、ぶれ度Ｋが大きいほど方向性補正の重みが大きくなるように補正パラメータＷ１とＷ２（合わせてパラメータＥとする）を設定する。

次に、領域補正手段７０は、対象領域の画像Ｄ１ａの高周波数成分を強調することによってボケを補正する。具体的には、画像Ｄ１ａからその高周波数成分（Ｄｈ１とする）を分離し、下記の式（３）に従って、補正パラメータＥを用いて、高周波数成分Ｄｈ１を強調することによって画像Ｄ１ａのボケを補正する。

Ｄ１ｂ＝Ｄ１ａ＋Ｅ×Ｄｈ１ （３）
但し，Ｄ１ｂ：補正済み画像
Ｄ１ａ：補正前の画像
Ｄｈ１：画像Ｄ１ａの高周波数成分
Ｅ：補正パラメータ

確認画像作成手段８０は、領域補正手段７０により得られた補正済み画像Ｄ１ｂと、補正済み画像Ｄ１ｂの補正前の画像、すなわちＤ１ａとを、並べて表示されるように合成して確認画像を得る。なお、画像Ｄ１ａ、画像Ｄ１ｂは、夫々モニタ９０の解像度の１／２のサイズであるため、画像Ｄ１ａと画像Ｄ１ｂを合成して得た確認画像は、モニタ９０の解像度と同じサイズ、すなわちＬ１画素×Ｌ２画素を有する。

モニタ９０は、確認画像作成手段８０により得られた確認画像を表示する。このようにモニタ９０に表示された確認画像は、画像Ｄにおける、ボケ幅Ｌに近いエッジ幅（ここではボケ幅Ｌ±３画素の範囲内のエッジ幅）を有するエッジの数が最も多い領域の画像Ｄ１ａおよびこの画像Ｄ１ａを補正して得た補正済み画像Ｄ１ｂ（画像Ｄのぶれ度Ｋが所定の閾値以下である場合）、または画像Ｄのぶれ方向と同じ方向のエッジの数が最も多い領域の画像Ｄ１ａおよびこの画像を補正して得た補正済み画像Ｄ１ｂ（画像Ｄのぶれ度Ｋが所定の閾値より大きい場合）であると共に、縮小されていないため、操作者は、小さなモニタでも、画像Ｄ１ａとＤ１ｂを比較しながら補正の効果を確認することができる。

操作者がモニタ９０に表示された確認画像を見て入力手段１００を介して、画像Ｄ１ａと画像Ｄ１ｂのいずれにおいてもボケが無い、または画像Ｄ１ａとＤ１ｂのボケ状況があまり変らない、または画像Ｄ１ａよりも画像Ｄ１ｂのボケの程度がひどいなどのボケ補正をする必要がない（またはボケ補正をしないほうがいい）場合にボケ補正をしない指示や、ボケを補正する指示を入力することができ、補正手段１２０は、入力手段１００を介して操作者が入力した指示に従って、補正しない指示がなされた場合には、画像Ｄを補正せずにそのまま出力する一方、補正する指示がなされた場合には、画像Ｄに対してボケ補正を施して補正済み画像Ｄ’を得て出力する。なお、補正手段１２０は、領域補正手段７０によるボケ補正処理を画像Ｄ全域に対して行うものであり、具体的には、画像Ｄの高周波数成分（Ｄｈとする）を分離し、下記の式（４）に従って、領域補正手段７０により設定された補正パラメータＥを用いて、高周波数成分Ｄｈを強調することによって画像Ｄのボケを補正する。

Ｄ’＝Ｄ＋Ｅ×Ｄｈ （４）
但し，Ｄ’：補正済み画像
Ｄ：補正前の画像
Ｄｈ：画像Ｄの高周波数成分
Ｅ： 補正パラメータ

このように、本実施形態の第２の画像処理装置によれば、図１に示す第１の実施形態の画像処理装置と同じ効果を得ることができると共に、画像Ｄのぶれ度が所定の閾値以下、すなわち画像Ｄにおいてぶれが少ないまたはないときには、画像Ｄにおける、ボケ幅Ｌに近いエッジ幅を有するエッジの数が最も多い領域を確認領域とする一方、画像Ｄのぶれ度が所定の閾値より大きい、すなわち画像Ｄにぶれが存在するときには、ぶれの方向と同じ方向のエッジの数が最も多い領域を確認領域とするようにし、画像Ｄにおけるぶれの程度に応じて、最もボケ補正の効果を確認するのに適した確認画像を作成しているので、より精確にボケ補正の効果を操作者に確認させることができる。

また、画像全域に対してボケ補正を行うには、処理時間がかかるので、本実施形態の画像処理装置は、まず確認領域の画像に対してのみボケ補正を行ってボケ補正の効果を確認させるようにしているので、処理時間を短縮することができ、効率が良い。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えたり、上述した実施形態を組み合わせたりすることができる。

例えば、本発明の画像処理方法および装置は、特に小さい解像度の表示装置で補正効果を確認するのに効果を発揮することができるが、ＶＧＡなどの解像度が大きい表示装置で補正の効果を確認する場合において、補正済み画像から表示装置の解像度と同じ大きさの画像を確認画像として抽出して表示すると、確認画像のサイズが大きいので、確認画像内においてエッジが集中する領域と集中してない領域が存在するように、補正の効果を確認するのに適した領域と適していない領域が混在する可能性があり、ボケ補正の効果の確認を妨げかねない。そのため、本発明を解像度が大きい表示装置で補正の効果を確認する場合に適用し、表示装置よりも小さいサイズの確認画像を抽出し、抽出した画像を表示装置の解像度に合致するサイズに拡大して表示するようにすることによって、表示装置の解像度が大きい場合においても、ボケ補正の効果を正確に確認することを可能とする。なお、この場合、抽出した画像を表示装置の解像度と同じ大きさまでに拡大せず、そのままのサイズで、または表示装置の解像度より小さいサイズに拡大して表示装置の表示画面の一部のみに表示させるようにしてもよい。

すなわち、本発明は、大きい画像に対するボケ補正の効果を解像度の小さい表示装置で確認することに限らず、解像度の大きい表示装置でボケ補正の効果を確認することにも効果を発揮することができる。

また、図４に示す第２の実施形態の画像処理装置において、元の画像のボケ幅とボケ方向の２つに基づいて確認領域を決定しているが、ボケ幅、ボケ方向のいずれか一方を用いてもよい。さらに、図１に示す第１の実施形態の画像処理装置のように、単純にエッジ数が多い領域を確認領域として決定するようにしてもよい。

また、図４に示す第２の実施形態の画像処理装置において、画像を解析することによって得たボケ情報に基づいて確認領域の決定および補正パラメータの設定を行っているが、例えば、特許文献１に記載されたように、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいてボケ（ここではぶれ）を補正するシステムにおいては、加速度センサーなどの装置により得られたぶれ幅に近いエッジ幅を有するエッジの数、またはぶれ方向と同じ方向を有するエッジの数が最も多い領域を確認領域として決定してボケ補正の効果の確認に供するようにしてもよい。

また、確認領域の決定と、ボケ補正とに用いられる情報（図４に示す第２の実施形態の画像処理装置の場合は、ボケ情報Ｑ）が異なってもよい。例えば、補正の手法としては、特許文献２に記載された方法のように、画像に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を補正し、補正後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、補正、評価、劣化関数の再設定を繰り返すことによって画像のボケを行うシステムにおいて、本発明の画像処理方法および装置を補正された画像の評価に用い、元の画像を解析してボケ情報を得ると共に、ボケ情報に基づいて、元の画像における確認領域（エッジ数が最も多い領域や、画像におけるボケのボケ幅に近いエッジ幅を有するエッジ数が最も多い領域や、画像におけるぶれ方向と同じ方向を有するエッジの数が最も多い領域）を決定して、劣化関数に対応するフィルタで補正された画像に対して確認画像を抽出して補正の効果を確認することによって評価を行うようにしてもよい。

本発明の第１の実施形態の画像処理装置の構成を示すブロック図 図１に示す画像処理装置における確認画像作成手段３の構成を示すブロック図 画像中のエッジの分布を示す例 本発明の第２の実施形態の画像処理装置の構成を示すブロック図 図４に示す画像処理装置におけるボケ解析手段５０の構成を示すブロック図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 エッジ幅のヒストグラムを示す図 図５に示すボケ解析手段５０における解析実行手段２０の動作を説明するための図 ボケ度の算出を説明するための図 ぶれ度の算出を説明するための図 図４に示す画像処理装置における領域決定手段６０の構成を示すブロック図

符号の説明

１ 補正手段
３ 確認画像作成手段
４ エッジ抽出手段
５ 領域決定手段
６ 画像抽出手段
７ 変倍手段
８ モニタ
１１ 縮小手段
１２ エッジ検出手段
１３ エッジプロファイル作成手段
１４ エッジ絞込手段
１６ エッジ特徴量取得手段
２０ 解析実行手段
５０ ボケ解析手段
６０ 領域決定手段
６１ 制御手段
６２ 第１のエッジ数集計手段
６３ 第２のエッジ数集計手段
６４ 決定手段
７０ 領域補正手段
８０ 確認画像作成手段
９０ モニタ
１００ 入力手段
１２０ 補正手段

Claims (18)

1. デジタル写真画像の、ボケが現れやすい領域をボケ確認領域として決定し、
   前記デジタル写真画像に対して行ったボケ補正処理により得られた補正済み画像における、前記ボケ確認領域に対応する領域の画像を確認画像として取得し、
   抽出された前記確認画像を、表示装置の解像度に合致したサイズで表示させることを特徴とする画像処理方法。
2. 前記デジタル写真画像における前記ボケ確認領域の画像を抽出して前記確認画像と共に前記表示装置に表示させることを特徴とする請求項１記載の画像処理方法。
3. 前記デジタル写真画像からエッジを抽出し、
   抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得し、
   前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定することを特徴とする請求項１または２記載の画像処理方法。
4. 前記デジタル写真画像からエッジを抽出し、
   前記デジタル写真画像におけるボケの幅を取得し、
   前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅と合致するエッジ幅を有するエッジの数を取得し、
   前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定することを特徴とする請求項１または２記載の画像処理方法。
5. 前記ボケが有方向性のボケとなるぶれであり、
   前記デジタル写真画像に対して、複数の異なる方向毎にエッジを抽出し、
   前記デジタル写真画像における前記ぶれの方向を取得し、
   前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ぶれの方向と合致する方向のエッジの数を取得し、
   前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定することを特徴とする請求項１または２記載の画像処理方法。
6. 前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることを特徴とする請求項３から５のいずれか１項記載の画像処理方法。
7. デジタル写真画像の、ボケが現れやすい領域をボケ確認領域として決定するボケ確認領域決定手段と、
   前記デジタル写真画像に対して行ったボケ補正処理により得られた補正済み画像における、前記ボケ確認領域に対応する領域の画像を確認画像として取得する確認画像取得手段と、
   抽出された前記確認画像を、表示装置の解像度に合致したサイズで表示させる表示制御手段とを有してなることを特徴とする画像処理装置。
8. 前記確認画像取得手段が、前記デジタル写真画像における前記ボケ確認領域の画像をも抽出するものであり、
   前記表示制御手段が、前記確認画像を、前記デジタル写真画像における前記ボケ確認領域の画像と共に前記表示装置に表示させるものであることを特徴とする請求項７記載の画像処理装置。
9. 前記ボケ確認領域決定手段が、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
   抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得するエッジ数集計手段と、
   前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する決定手段とを有してなることを特徴とする請求項７または８記載の画像処理装置。
10. 前記ボケ確認領域決定手段が、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
    前記デジタル写真画像におけるボケの幅を取得するボケ幅取得手段と、
    前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅と合致するエッジ幅を有するエッジの数を取得するエッジ数集計手段と、
    前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する決定手段とを有してなることを特徴とする請求項７または８記載の画像処理装置。
11. 前記ボケが有方向性のボケとなるぶれであり、
    前記ボケ確認領域決定手段が、前記デジタル写真画像に対して、複数の異なる方向毎にエッジを抽出するエッジ抽出手段と、
    前記デジタル写真画像における前記ぶれの方向を取得するぶれ方向取得手段と、
    前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ぶれの方向と合致する方向のエッジの数を取得するエッジ数集計手段と、
    前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する決定手段とを有してなることを特徴とする請求項７または８記載の画像処理装置。
12. 前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることを特徴とする請求項９から１１のいずれか１項記載の画像処理装置。
13. デジタル写真画像の、ボケが現れやすい領域をボケ確認領域として決定するボケ確認領域決定処理と、
    前記デジタル写真画像に対して行ったボケ補正処理により得られた補正済み画像における、前記ボケ確認領域に対応する領域の画像を確認画像として取得する確認画像取得処理と、
    抽出された前記確認画像を、表示装置の解像度に合致したサイズで表示させる表示制御手段処理とをコンピュータに実行させることを特徴とするプログラム。
14. 前記確認画像取得処理が、前記デジタル写真画像における前記ボケ確認領域の画像をも抽出する処理であり、
    前記表示制御処理が、前記確認画像を、前記デジタル写真画像における前記ボケ確認領域の画像と共に前記表示装置に表示させる処理であることを特徴とする請求項１３記載のプログラム。
15. 前記ボケ確認領域決定処理が、前記デジタル写真画像からエッジを抽出する処理と、
    抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得する処理と、
    前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する処理をからなることを特徴とする請求項１３または１４記載のプログラム。
16. 前記ボケ確認領域決定処理が、前記デジタル写真画像からエッジを抽出する処理と、
    前記デジタル写真画像におけるボケの幅を取得するボケ幅取得処理と、
    前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅と合致するエッジ幅を有するエッジの数を取得する処理と、
    前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する処理とからなることを特徴とする請求項１３または１４記載のプログラム。
17. 前記ボケが有方向性のボケとなるぶれであり、
    前記ボケ確認領域決定処理が、前記デジタル写真画像に対して、複数の異なる方向毎にエッジを抽出する処理と、
    前記デジタル写真画像における前記ぶれの方向を取得する処理と、
    前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ぶれの方向と合致する方向のエッジの数を取得する処理と、
    前記エッジの数が最も多い前記領域画像に対応する領域を前記ボケ確認領域として決定する処理とからなることを特徴とするプログラム。
18. 前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることを特徴とする請求項１５から１７のいずれか１項記載のプログラム。

Images