JP2005332383A - 画像処理方法および装置並びにプログラム - Google Patents

Abstract

【課題】 ボケ画像の高周波数成分を効率良く抽出すると共に、ボケ補正を効率良く行う。
【解決手段】 ボケ補正手段１２０は、ボケ解析手段１００によりボケ画像に判別された画像Ｄのボケ情報Ｑに含まれるボケ幅に基づいて、ボケ幅が所定の閾値より小さい画像Ｄに対しては画像Ｄから高周波数成分を抽出し、この高周波数成分を画像Ｄに加算することによってボケ補正を行う一方、ボケ幅が所定の閾値以上である画像Ｄに対しては、縮小手段１１０により画像Ｄを縮小して得た縮小画像Ｄ１から高周波数成分を抽出し、この高周波数成分を強調して縮小画像Ｄ１に加算することによってボケ補正を行う。
【選択図】 図１

Description

本発明はデジタル写真画像から高周波数成分を抽出する画像処理方法および装置並びにそのためのプログラムに関するものである。

デジタル写真画像の画像処理の分野において、高周波数成分を抽出する処理が行われることが多い。例えば、ネガフィルムやリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、画質を向上させるための種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、ぼけた画像（ボケ画像）からボケを取り除くボケ補正処理が挙げられる。

ボケ補正処理の方法として、画像中の高周波数成分を抽出して、この高周波数成分を強調して元の画像に加算する手法が提案されている（例えば、非特許文献１参照）。この手法は、具体的には、下記の式（１）に従って行われるものである。

Ｓ´＝Ｓｏｒｇ＋β・（Ｓｏｒｇ−Ｓｕｓ） （１）
但し，Ｓ´：補正済画像
Ｓｏｒｇ：原画像
Ｓｕｓ：ボケマスク画像
β：強調係数

ここで、Ｓｕｓは、原画像Ｓｏｒｇにボケマスクを適用して得た画像を意味し、原画像Ｓｏｒｇにおける低周波数成分を示すものである。そのため、（Ｓｏｒｇ−Ｓｕｓ）は、原画像Ｓｏｒｇにおける高周波数成分となる。上記の式（１）から分かるように、補正済画像Ｓ´は、原画像Ｓｏｒｇと、原画像Ｓｏｒｇの高周波数成分を係数βで強調して得たものとの和であり、原画像から高周波数成分を十分に抽出することが、ボケ補正の効果を左右する１つの要因となる。

デジタル写真画像から高周波数成分を抽出する際に、原画像に対してボケマスク、例えばローパスフィルタとなるボケフィルタを適用してボケマスク画像を得、原画像からボケマスク画像を減算することによって高周波数成分を抽出する手法が通常用いられる。このボケフィルタのサイズが大きいほど演算時間がかかるため、一般的には５タップ、７タップ程度のサイズのフィルタが用いられる。

また、特許文献１には、高速に高周波数成分を得るために原画像に対してボケマスク処理を行う際に、原画像を縮小して得た縮小画像に対してボケマスクを適用し、後にボケマスクが適用された縮小画像を原画像のサイズに拡大する方法が提案されている。
画像解析ハンドブック，Ｐ．５４９，東京大学出版会，高木幹雄，下田陽久 監修 特開平１０−２３２９２９号公報

しかしながら、原画像におけるボケの程度が大きい場合、原画像において元々高周波数成分が少ないため、通常用いられるサイズのボケフィルタで高周波数成分の抽出を行うと、抽出できる高周波数成分も少ない。例えば、図１２（ａ）に示す例の周波数特性を有するボケ画像に対して、図１２（ｂ）に示す周波数特性を有する５タップのフィルタで高周波数成分を抽出すると、抽出された高周波数成分が図１２（ｃ）に示されるようになる。図１２（ｃ）に示すように、図１２（ａ）に示されるようなボケ画像から抽出された高周波数成分が極めて少ない。そのため、抽出された高周波数成分を用いて例えば前述したボケ補正処理を行っても、良い補正効果が得られない。

ボケの程度が大きいボケ画像から十分に高周波数成分を十分に抽出するために、例えばサイズの大きいボケフィルタを適用する方法が考えられるが、演算時間がかかり、効率が良くないという問題がある。

また、特許文献１記載の方法のように、ボケ画像を縮小して縮小画像を得、縮小画像を用いて高周波数成分を抽出する方法も考えられるが、ボケの程度が大きくない画像の場合には、縮小によって高周波数成分が失われてしまう可能性があり、結果としては同じく十分に高周波数成分を抽出することができない虞がある。

本発明は、上記事情に鑑み、ボケ画像から効率良く高周波数成分を抽出することができる画像処理方法および装置並びにそのためのプログラムに関するものである。

本発明の画像処理方法は、デジタル写真画像から高周波数成分を抽出する画像処理方法において、前記デジタル写真画像におけるボケの度合いを取得し、所定の閾値以上の前記ボケの度合いを有する前記デジタル写真画像を縮小して縮小画像を得、該縮小画像を用いて前記高周波数成分を抽出することを特徴とするものである。

本発明において、「デジタル写真画像」とは、デジタルカメラなどで被写体を撮像して得たデジタル画像は勿論、スキャナなどの読取装置で銀塩写真フィルムや、印刷物（例えばプリント）などにある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、デジタル写真画像を意味するものとする。

また、「ボケの度合い」とは、デジタル写真画像におけるボケの程度を示す情報であり、例えば、ボケ幅とすることができる。なお、ぼけていない画像の場合は、そのボケの度合いをゼロとすることができる。また、ボケには無方向性のボケとなるピンボケと有方向のボケとなるぶれがあり、ぶれの場合においては、「ボケの度合い」がぶれの度合いに相当し、例えばぶれ幅とすることができる。

また、デジタル写真画像を縮小することとは、デジタル写真画像の縦横両方向において縮小を行うことが勿論、１つの方向においてのみ縮小を行うことも含むものである。

本発明の画像処理方法は、デジタル写真画像におけるボケを補正することに適用することができ、例えば、デジタル写真画像の縮小画像から抽出された前記高周波数成分を用いて（この高周波数成分を強調して元のデジタル写真画像に加算するなど）前記デジタル写真に対してボケ補正を行うことができる。なお、この場合、縮小画像から高周波数成分を抽出しているので、そのサイズが元のデジタル写真画像のサイズになるように補間すればよい。

また、本発明の画像処理方法は、デジタル写真画像におけるボケを補正することに適用される際に、抽出された前記高周波数成分を用いて前記縮小画像に対してボケ補正を行うことが望ましい。

本発明の画像処理装置は、デジタル写真画像から高周波数成分を抽出する画像処理装置であって、
前記デジタル写真画像におけるボケの度合いを取得するボケ度合取得手段と、
所定の閾値以上の前記ボケの度合いを有する前記デジタル写真画像を縮小して縮小画像を得る縮小手段と、
前記縮小画像を用いて前記高周波数成分を抽出する抽出手段とを有してなることを特徴とするものである。

また、本発明の画像処理装置は、デジタル写真画像におけるボケを補正することに適用することができ、その際のボケ補正手段としては、例えば、デジタル写真画像の縮小画像から抽出された前記高周波数成分を用いて（この高周波数成分を強調して元のデジタル写真画像に加算するなど）前記デジタル写真に対してボケ補正を行うものとすることができる。

また、本発明の画像処理装置を、デジタル写真画像におけるボケを補正することに適用する際のボケ補正手段としては、前記抽出手段により得られた前記高周波数成分を用いて前記縮小画像に対してボケ補正を行うものであることが好ましい。

また、本発明の画像処理方法を、コンピュータに実行させるためのプログラムとして提供するようにしてもよい。

本発明の画像処理方法および装置並びにプログラムによれば、デジタル写真画像から高周波数成分を抽出するのに当たり、デジタル写真画像におけるボケの度合いを取得し、この度合いが所定の閾値以上であるときに、デジタル写真画像を縮小して得た縮小画像を用いて高周波数成分を抽出する。前述したように、デジタル写真画像におけるボケの度合いが大きければ、高周波数成分を十分に抽出するためにボケフィルタのサイズを大きくすると、演算時間がかかり効率が悪いという問題がある一方、演算時間を減少するためにデジタル写真画像を縮小して高周波数成分を抽出すると、ボケの度合いが大きくないデジタル写真画像の場合には縮小によって高周波数成分が失われてしまうという問題がある。本発明は、この点に着目し、デジタル写真画像におけるボケの度合いに応じて、ボケの度合いが大きいデジタル写真画像を縮小して高周波数成分を抽出することによって、ボケ画像の高周波数成分を効率良く抽出することができる。図１３（ａ）は、図１２（ａ）に示す例のボケ画像の縦横方向のうちの１つの方向のみにおいて１／２の縮小率で縮小して得た縮小画像の周波数特性を示すものであり、図１３（ｂ）は図１２（ｂ）に示すボケフィルタを用いて図１３（ａ）に示す縮小画像から抽出した高周波数成分を示している。図示のように、図１２（ａ）に示す例のボケ画像が縮小されても、高周波数成分が失われることが殆どなく、図１２（ｂ）に示すボケフィルタを用いても多くの高周波数成分を抽出することができている。

また、本発明は、デジタル写真画像から高周波数成分を抽出するのに当たり、デジタル写真画像のボケの度合いを取得しているので、ボケの度合いが大きくないデジタル写真画像に対しては縮小せずに高周波数成分を抽出するようにすることが可能であるため、ボケの度合いが大きくないデジタル写真画像を縮小することによって高周波数成分を失うことを防ぐことも可能である。

本発明の画像処理方法および装置により抽出された高周波数成分を、デジタル写真画像におけるボケを補正することに適用すれば、高周波数成分が十分抽出されているので、良い補正効果を得ることができる。この際、縮小画像から高周波数成分を抽出しているので、高周波数成分、具体的には高周波数成分を表す画像のサイズが元のデジタル写真画像のサイズより小さいが、高周波数成分に対して補間処理を行うことなどによって、元のデジタル写真画像のサイズに拡大すればよい。

さらに、近年、デジタル写真画像のサイズ、すなわち画素数が増加し続け、デジタル写真画像をプリントするなどで出力する際に、縮小する場合が大半を占めている。一方、特許文献１に記載のように、原画像を縮小して得た縮小画像にボケマスクを適用し、ボケマスクが適用された縮小画像を原画像のサイズに拡大する方法で高周波数成分を抽出して原画像に対してボケ補正を行う手法では、補正後の画像を出力するために再度縮小する場合が多く、効率が良くない。本発明においては、ボケの度合いが大きいデジタル写真画像を縮小して縮小画像を得、この縮小画像を用いて高周波数成分を抽出して縮小画像に対してボケ補正を行うようにすれば、出力する画像のサイズが縮小画像のサイズより大きければ補正後の縮小画像を拡大すればよく、出力する画像のサイズが縮小画像のサイズと同じであれば補正後の縮小画像に対して拡大も縮小しなくて済み、効率が良い。また、出力する画像のサイズが縮小画像のサイズよりも小さければ、補正済みの縮小画像をさらに縮小する必要があるが、この場合においても、縮小画像のサイズから出力する画像のサイズに縮小するので、原画像のサイズから出力する画像のサイズに縮小することより効率が良い。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態となる画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、入力されたデジタル写真画像（以下略して画像という）に対してボケ補正処理を行ってプリントするものであり、そのボケ補正処理は、補助記憶装置に読み込まれたボケ補正処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このボケ補正処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。

図１に示すように、本発明の実施形態の画像処理装置は、画像Ｄに対してボケの解析を施して、画像Ｄがボケ画像であるか通常画像であるかの判別を行うと共に、ボケ画像である画像Ｄのボケ度Ｎ、ボケ幅Ｌ、ぶれ度Ｋ（これらの詳細については後述する）とからなるボケ情報Ｑを得るボケ解析手段１００と、ボケ画像である画像Ｄのボケ幅Ｌが所定の閾値（Ｔ１とする）以上であるときに画像Ｄを縮小して縮小画像Ｄ１を得る縮小手段１１０と、縮小手段１１０により得られた縮小画像Ｄ１（ボケ幅Ｌが閾値Ｔ１以上であるボケ画像Ｄの縮小画像）またはボケ画像Ｄ（ボケ幅Ｌが閾値Ｔ１より小さいボケ画像Ｄ）に対してボケ補正を行って補正済画像Ｄ２を得るボケ補正手段１２０と、ボケ画像ではない画像Ｄ、またはボケ補正手段１２０によりボケ画像Ｄを補正して得た補正済画像Ｄ２を、プリントするための出力画像のサイズに変倍して出力画像Ｄ３を得る変倍手段１５０と、変倍手段１５０により得られた出力画像Ｄ３をプリントアウトしてプリントを得る出力手段１６０とを備えてなる。

ボケ解析手段１００は、画像Ｄに対して解析を行うものである。被写体を撮像して得た画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、被写体の一部が動いたことや、撮像者の手のぶれなどに起因するぶれボケ（以下ぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。本実施形態の画像処理装置のボケ解析手段１００は、この点に着目して、画像Ｄおけるエッジの態様に基づいて画像Ｄにおけるボケを解析するものである。

図２は、図１に示す実施形態の画像処理装置におけるボケ解析手段１００の構成を示すブロック図である。図示のように、ボケ解析手段１００は、画像Ｄに対して例えば１／８の縮小率で縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段５と、縮小画像Ｄ０を用いて、図３に示す８つの異なる方向毎にエッジを検出するエッジ検出手段１２と、エッジ検出手段１２により検出されたエッジのプロファイルを作成するエッジプロファイル作成手段１３と、無効なエッジを除去するエッジ絞込手段１４と、エッジ絞込手段１４により得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６と、エッジ特徴量Ｓを用いて、画像Ｄにおけるボケ方向および画像Ｄのボケ度Ｎを算出して画像Ｄがボケ画像か通常画像かを判別し、通常画像の場合には、後述する変倍手段１５０に画像Ｄが通常画像であることを示す情報Ｐを送信して処理を終了する一方、ボケ画像の場合には、さらに画像Ｄのぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてボケ補正手段１２０に送信する解析実行手段２０と、解析実行手段２０のための種々のデータベースを記憶した記憶手段５０とを備えてなる。なお、ボケ解析手段１００は、画像Ｄがボケ画像である場合においては、ボケ情報Ｑを縮小手段１１０にも送信する。

エッジ検出手段１２は、縮小画像Ｄ０を用いて、図３に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得てエッジプロファイル作成手段１３に出力する。

エッジプロファイル作成手段１３は、エッジ検出手段１２により検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図４に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する。

エッジ絞込手段１４は、エッジ検出手段１２から出力されてきたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する。

エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたエッジのプロファイルに基づいて、図４に示すようなエッジ幅を各エッジに対して求め、図５に示すようなエッジ幅のヒストグラムを図３に示された８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析実行手段２０に出力する。

解析実行手段２０は、主として下記の２つの処理を行う。

１． 画像Ｄにおけるボケ方向、画像Ｄのボケ度Ｎを求めて、画像Ｄがボケ画像か通常画像かを判別する。

２． 画像Ｄがボケ画像と判別された場合、ボケ幅Ｌ、ぶれ度Ｋを算出する。

ここで、１つ目の処理から説明する。

解析実行手段２０は、画像Ｄにおけるボケ方向を求めるために、まず、図３に示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図６に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図６（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図６（ｂ）参照）。本実施形態の画像処理装置における解析実行手段２０は、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見付け出す。画像Ｄにぶれがあれば、この２つの方向のうちの１つは、図３に示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。

図６（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図６（ｃ）からわかるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。

次に、解析実行手段２０は、画像Ｄのボケ度Ｎを求める。画像のボケ度は、画像がボケ画像である可能性の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図７に基づいたデータベースを利用してより精度良く求める。図７は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図７に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、記憶手段５０に記憶されている。

解析実行手段２０は、図７に基づいて作成され、記憶手段５０に記憶されたスコアデータベースを参照し、画像Ｄのボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値を画像Ｄのボケ度Ｎとして求める。求められた画像Ｄのボケ度Ｎが所定の閾値（Ｔ２とする）より小さければ、解析実行手段２０は、画像Ｄを通常画像として判別すると共に、画像Ｄが通常画像であることを示す情報Ｐを変倍手段１５０に出力することをもって、処理を終了する。

一方、画像Ｄのボケ度Ｎが閾値Ｔ２以上であれば、解析実行手段２０は、画像Ｄがボケ画像であると判別し、上記２つ目の処理に入る。

解析実行手段２０は、２つ目の処理として、まず、画像Ｄのぶれ度Ｋを求める。

ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。

１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図８（ａ）に示す曲線に基づいて第１のぶれ度Ｋ１を求める。なお、図８（ａ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析実行手段２０は、相関最小組の相関値に対応する第１のぶれ度Ｋ１を、記憶手段５０から読み出すようにして第１のぶれ度Ｋ１を求める。

２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図８（ｂ）に示す曲線に基づいて第２のぶれ度Ｋ２を求める。なお、図８（ｂ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析実行手段２０は、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を、記憶手段５０から読み出すようにして第２のぶれ度Ｋ２を求める。

３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図８（ｃ）に示す曲線に基づいて第３のぶれ度Ｋ３を求める。なお、図８（ｃ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析実行手段２０は、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を、記憶手段５０から読み出すようにして第３のぶれ度Ｋ３を求める。

解析実行手段２０は、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（２）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となるボケ画像Ｄのぶれ度Ｋを求める。

Ｋ＝Ｋ１×Ｋ２×Ｋ３ （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度

次に、解析実行手段２０は、ボケ画像となる画像Ｄのボケ幅Ｌを求める。ここで、図３に示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとしてもよいが、ここでは、ボケ方向におけるエッジの平均幅を求めてボケ幅Ｌとする。なお、ボケ方向として「無方向」が得られた場合には、いずれか１つの方向におけるエッジの平均幅を求めてボケ幅Ｌとしてもよいし、任意の複数の方向におけるエッジの平均幅を求めてボケ幅Ｌとするようにしてもよい。

解析実行手段２０は、ボケ画像である画像Ｄに対して、ぶれ度Ｋ、ボケ幅Ｌを求めて、ボケ度Ｎおよびボケ方向と共にボケ情報Ｑとして縮小手段１１０とボケ補正手段１２０に出力する。

図９は、図２に示すボケ解析手段１００において行われる処理を示すフローチャートである。図示のように、画像Ｄは、まず、縮小手段５により縮小されて縮小画像Ｄ０となる（Ｓ１０）。エッジ検出手段１２は、縮小画像Ｄ０に対して、図３に示す８つの異なる方向毎に所定の強度以上のエッジを検出して各々のエッジの座標位置を得ると共に、これらの座標位置に基づき、画像Ｄを用いて各々のエッジに対して図４に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する（Ｓ１２）。エッジ絞込手段１４は、エッジ検出手段１２から送信されてきたエッジプロファイルに基づいて、無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する（Ｓ１４）。エッジ特徴量取得手段１６は、エッジ絞込手段１４から送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、図３に示す方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムを画像Ｄのエッジ特徴量Ｓとして解析実行手段２０に出力する（Ｓ１６）。解析実行手段２０は、エッジ特徴量Ｓを用いて、まず画像Ｄのボケ方向およびボケ度Ｎを算出すると共に、画像Ｄがボケ画像であるか通常画像であるかを判別する（Ｓ２０、Ｓ２５）。画像Ｄが通常画像であれば（Ｓ２５：Ｙｅｓ）、解析実行手段２０は、画像Ｄが通常画像であることを示す情報Ｐを変倍手段１５０に出力する（Ｓ３０）。一方、画像Ｄがボケ画像に判別されると（Ｓ２５：Ｎｏ）、解析実行手段２０は、画像Ｄに対してさらにぶれ度Ｋ、ボケ幅Ｌを算出し、ステップＳ２０において求められたボケ度Ｎおよびボケ方向と共にボケ情報Ｑとして縮小手段１１０およびボケ補正手段１２０に出力する（Ｓ４０、Ｓ４５）。

図１に示す実施形態の画像処理装置における縮小手段１１０は、ボケ解析手段１００からボケ情報Ｑを受信する（すなわち、画像Ｄがボケ解析手段１００によりボケ画像に判別されている）と、ボケ情報Ｑに含まれるボケ幅Ｌを参照し、ボケ幅Ｌが前述した閾値Ｔ１より小さければ、画像Ｄに対して縮小しないが、ボケ幅Ｌが閾値Ｔ１以上であれば、画像Ｄを縮小して縮小画像Ｄ１を得て、ボケ補正手段１２０に出力する。本実施形態において、画像Ｄのサイズが、プリントするための出力画像のサイズより大きいとし、縮小手段１１０は、例としてボケ幅Ｌが閾値Ｔ１以上の画像Ｄを、プリントするための出力画像のサイズに縮小することにする。

図１０は、図１に示す実施形態の画像処理装置のボケ補正手段１２０の構成を示すブロック図である。ボケ補正手段１２０は、ボケ解析手段１００によりボケ画像に判別された画像Ｄ（ボケ幅Ｌが閾値Ｔ１より小さい）または縮小手段１１０によりボケ画像である画像Ｄ（ボケ幅Ｌが閾値Ｔ１以上）を縮小して得た縮小画像Ｄ１に対してボケ補正を行うものであり、図示のように、ボケ情報Ｑに基づいてボケ補正用のパラメータＥを設定するパラメータ設定手段１２５と、パラメータ設定手段１２５のための種々のデータベースを記憶した記憶手段１３０と、画像Ｄまたは縮小画像Ｄ１から高周波数成分Ｄｈを抽出する高周波数成分抽出手段１３５と、パラメータ設定手段１２５により設定された補正パラメータＥを用いて画像Ｄまたは縮小画像Ｄ１に対してボケ補正を行う補正実行手段１４０とを備えてなる。

パラメータ設定手段１２５は、下記の式（３）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。

Ｗ１＝Ｎ×Ｋ×Ｍ１
Ｗ２＝Ｎ×（１−Ｋ）×Ｍ２ （３）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク
Ｎ：ボケ度

即ち、パラメータ設定手段１２５は、ボケ画像となる画像Ｄ、またはボケ画像Ｄの縮小画像Ｄ１に対して、ボケ度Ｎが大きいほど、等方性補正の強度と方向性補正の強度が強く、ぶれ度Ｋが大きいほど方向性補正の重みが大きく（その一方、等方性補正の重みが小さく）なるように補正パラメータＷ１とＷ２（合わせてパラメータＥとする）を設定する。

パラメータ設定手段１２５は、このようにして設定された補正パラメータＥを補正実行手段１４０に出力する。

高周波数成分抽出手段１３５は、画像Ｄまたは縮小画像Ｄ１に対して、同じサイズ、例えば５タップのボケフィルタを適用して高周波数成分Ｄｈを抽出して補正実行手段１４０に出力する。

補正実行手段１４０は、パラメータ設定手段１２５により設定された補正パラメータＥを用いて、ボケ画像Ｄから抽出された高周波数成分Ｄｈを強調することによってボケ画像Ｄの補正済画像Ｄ２、または縮小画像Ｄ１から抽出された高周波数成分Ｄｈを強調することによって縮小画像Ｄ１の補正済画像Ｄ２を得て変倍手段１５０に出力する。具体的には、下記の式（４）に従って、パラメータ設定手段１２５により得られた補正パラメータＥを用いて、高周波数成分Ｄｈを強調することによってボケ補正を行う。

Ｄ２＝Ｄｏｒｇ＋Ｅ×Ｄｈ （４）
但し，Ｄ２：補正済画像
Ｄｏｒｇ：補正前の画像（画像Ｄまたは画像Ｄの縮小画像Ｄ１）
Ｄｈ：補正前の画像の高周波数成分
Ｅ：補正パラメータ

このように、ボケ画像である画像Ｄが、そのボケ幅Ｌが閾値Ｔ１より小さい場合には、ボケ補正手段１２０から画像Ｄと同じサイズの補正済画像Ｄ２が得られる一方、ボケ幅Ｌが閾値Ｔ１以上の場合には、縮小画像Ｄ１のサイズ、すなわちプリントするための出力画像と同じサイズの補正済画像Ｄ２が得られる。

変倍手段１５０は、ボケ画像ではない画像Ｄまたはボケ補正手段１２０により得られた補正済画像Ｄ２をプリントするための出力画像のサイズに変倍して出力画像Ｄ３を得る。なお、本実施形態において、縮小手段１１０は、画像Ｄを出力画像のサイズと同じサイズに縮小しているので、縮小画像Ｄ１の補正済画像Ｄ２に対しては変倍処理が行われず、画像Ｄ、または画像Ｄの補正済画像Ｄ２に対しては変倍処理が行われる。

出力手段１６０は、出力画像Ｄ３をプリントアウトしてプリントを得る。

図１１は、図１に示す実施形態の画像処理装置において行われる処理を示すフローチャートである。図示のように、まず、ボケ解析手段１００は、画像Ｄに対してボケの解析を施し、画像Ｄがボケ画像であるか通常画像であるかの判別を行うと共に、ボケ画像である画像Ｄのボケ度Ｎ、ボケ幅Ｌ、ぶれ度Ｋからなるボケ情報Ｑを得る（Ｓ１００）。通常画像として判別された画像Ｄに対しては、ボケ解析手段１００は、該画像がボケ画像ではないことを示す情報Ｐを変倍手段１５０に送信する（Ｓ１１０：Ｙｅｓ）一方、ボケ画像として判別された画像Ｄに対しては（Ｓ１１０：Ｎｏ）、ボケ解析手段１００は、該画像のボケ情報Ｑを縮小手段１１０およびボケ補正手段１２０に送信し、縮小手段１１０は、ボケ情報Ｑに含まれるボケ幅Ｌを参照し、ボケ幅Ｌが閾値Ｔ１より小さければ画像Ｄを縮小せず、処理はボケ補正手段１２０による画像Ｄに対するボケ補正に進むが（Ｓ１２０：Ｙｅｓ、Ｓ１４０、Ｓ１４５）、ボケ幅Ｌが閾値Ｔ１以上であれば画像Ｄを縮小して縮小画像Ｄ１を得てボケ補正手段１２０に出力し、処理はボケ補正手段１２０による縮小画像Ｄ１に対するボケ補正に進む（Ｓ１２０：Ｎｏ、Ｓ１４０、Ｓ１４５）。ステップＳ１４０およびステップＳ１４５は、ボケ補正手段１２０において行われる処理であり、具体的には、ボケ幅Ｌが閾値Ｔ１より小さいボケ画像Ｄに対して、ボケ補正手段１２０は、画像Ｄから高周波数成分Ｄｈを抽出して、この高周波数成分Ｄｈを強調して画像Ｄに加算することによって画像Ｄと同じサイズの補正済画像Ｄ２を得るが、ボケ幅Ｌが閾値Ｔ１以上であるボケ画像Ｄに対しては、ボケ補正手段１２０は、画像Ｄの縮小画像Ｄ１から高周波数成分Ｄｈを抽出して、この高周波数成分Ｄｈを強調して縮小画像Ｄ１に加算することによって縮小画像Ｄ１と同じサイズの補正済画像Ｄ２を得る。

変倍手段１５０は、ボケ画像ではない画像Ｄ、およびボケ補正手段１２０により得られた画像Ｄと同じサイズの補正済画像Ｄ２を縮小して出力画像Ｄ３を得て（Ｓ１５０：Ｎｏ、Ｓ１５５）出力手段１６０に供するが、ボケ補正手段１２０により得られた縮小画像Ｄ１の補正済画像Ｄ２をそのまま（Ｓ１５０：Ｎｏ）出力画像Ｄ３として出力手段１６０に供する。

出力手段１６０は、出力画像Ｄ３をプリントアウトしてプリントを得る（Ｓ１６０）。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、種々の増減、変化を加えることができる。

例えば、上述の実施形態の画像処理装置は、処理の効率化を図るために、縮小画像から抽出された高周波数成分を用いて縮小画像に対してボケ補正を行うようにしているが、縮小画像から抽出された高周波数成分に対して補間処理を施してそのサイズを元の画像のサイズに拡大し、拡大された高周波数成分を用いて元の画像に対してボケ補正を行うようにしてもよい。その後、出力する画像のサイズに応じて、補正済画像を縮小するなどの処理を行うようにしてもよい。

また、上述の実施形態ではボケ幅が閾値より小さければ画像を縮小せず、閾値より大きいときにのみ画像を縮小しているが、縮小率をボケの度合いに応じて変えるようにしてもよい。すなわち、ボケの度合いが大きいほど縮小率を大きくするようにしてもよい。ここで縮小率の大小とは、縮小率が大きいほど小さく縮小することを意味するものとする。

また、上述の実施形態の画像処理装置は、相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向としているが、例えば、相関最小組（相関値が１番目に小さい方向組）と、相関値が２番目に小さい方向組について、夫々ぶれ度を算出し、方向組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向とするようにして２つの方向組からボケ候補方向を夫々取得し、取得された２つのボケ候補方向を、算出された２つのぶれ度に応じて、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の重みが大きくなるように重み付けしてボケ方向を得るようにしてもよい。この場合、ボケ幅も、２つのボケ候補方向における夫々の平均エッジ幅を、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の平均エッジ幅の重みが大きくなるように重み付けしてボケ幅を得ることができる。

また、上述の実施形態において、解析実行手段２０は、ボケ画像となる画像Ｄに対して、そのボケがピンボケかぶれかの区別をせず、ボケ画像として判別された画像であれば、ぶれ度を求めてぶれ度に応じた重み付け係数（本実施形態の画像処理装置においては、ぶれ度そのものを重み付け係数にしている）で当方性補正パラメータと方向性補正パラメータを重み付け合算して補正パラメータを得て補正するようにしているが、例えば、ぶれ度が所定の閾値より小さいボケ画像をピンボケ画像とし、ピンボケ画像に対しては等方性補正パラメータのみを設定して補正を行うようにしてもよい。

また、上述の実施形態において、ボケ補正手段１２０は、ボケ画像となる画像Ｄ（ボケ幅Ｌが小さい）、またはボケ画像となる画像Ｄの縮小画像Ｄ１に対して、１つの高周波数帯域のみの成分を強調することによりボケ補正を行うようにしているが、例えば、最も高い周波数帯域から中周波数帯域までの複数の異なる周波数帯域の成分を抽出して夫々強調して元の画像に加算することによってボケ補正を行うようにしてもよい。

さらに、上述の実施形態においては、ボケの度合いはボケ解析手段１００などによって解析して求められているが、これはボケの度合いに相関する量を別の手段により取得してボケの度合いとして利用してもよい。例えばカメラに手ぶれを検出するジャイロスコープを搭載し、ジャイロスコープにより検出された手ぶれ量をもってボケの度合いとして入力することも可能である。

以上説明した本発明によるボケ補正は、デジタル写真画像であればいかなる画像にも適用することができ、例えば携帯電話カメラや通常のデジタルカメラの他に、デジタル画像データをプリントするプリンタにも適用することができる。

本発明の実施形態となる画像処理装置の構成を示すブロック図 図１に示す画像処理装置におけるボケ解析手段１００の構成を示すブロック図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 エッジ幅のヒストグラムを示す図 解析実行手段２０の動作を説明するための図 ボケ度の算出を説明するための図 ぶれ度の算出を説明するための図 図２に示すボケ解析手段１００の処理を示すフローチャート 図１に示す画像処理装置におけるボケ補正手段１２０の構成を示すブロック図 図１０に示すボケ補正手段１２０の処理を示すフローチャート ボケ画像から高周波数成分を抽出する処理を説明するための図 図１２に示すボケ画像の縮小画像から高周波数成分を抽出する処理を説明するための図

符号の説明

５ 縮小手段
１２ エッジ検出手段
１３ エッジプロファイル作成手段
１４ エッジ絞込手段
１６ エッジ特徴量取得手段
２０ 解析実行手段
５０ 記憶手段
１００ ボケ解析手段
１１０ 縮小手段
１２０ ボケ補正手段
１２５ パラメータ設定手段
１３０ 記憶手段
１３５ 高周波数成分抽出手段
１４０ 補正実行手段
１５０ 変倍手段
１６０ 出力手段
Ｅ 補正パラメータ
Ｋ ぶれ度
Ｌ ボケ幅
Ｍ１ １次元補正マスク
Ｍ２ ２次元補正マスク
Ｎ ボケ度
Ｐ ボケ画像ではないことを示す情報
Ｑ ボケ情報
Ｓ エッジ特徴量

Claims (10)

1. デジタル写真画像から高周波数成分を抽出する画像処理方法において、
   前記デジタル写真画像におけるボケの度合いを取得し、
   所定の閾値以上の前記ボケの度合いを有する前記デジタル写真画像を縮小して縮小画像を得、
   該縮小画像を用いて前記高周波数成分を抽出することを特徴とする画像処理方法。
2. 抽出された前記高周波数成分を用いて前記デジタル写真画像に対してボケ補正を行うことを特徴とする請求項１記載の画像処理方法。
3. 抽出された前記高周波数成分を用いて前記縮小画像に対してボケ補正を行うことを特徴とする請求項１記載の画像処理方法。
4. 前記縮小の縮小率を、前記ボケの度合いに応じて、ボケの度合いが大きいほど縮小率を大きくすることを特徴とする請求項１記載の画像処理方法。
5. デジタル写真画像から高周波数成分を抽出する画像処理装置であって、
   前記デジタル写真画像におけるボケの度合いを取得するボケ度合取得手段と、
   所定の閾値以上の前記ボケの度合いを有する前記デジタル写真画像を縮小して縮小画像を得る縮小手段と、
   前記縮小画像を用いて前記高周波数成分を抽出する抽出手段とを有してなることを特徴とする画像処理装置。
6. 前記抽出手段により得られた前記高周波数成分を用いて前記デジタル写真画像に対してボケ補正を行う補正手段をさらに備えたことを特徴とする請求項５記載の画像処理装置。
7. 前記抽出手段により得られた前記高周波数成分を用いて前記縮小画像に対してボケ補正を行う補正手段をさらに備えたことを特徴とする請求項５記載の画像処理装置。
8. デジタル写真画像から高周波数成分を抽出する画像処理をコンピュータに実行させるプログラムであって、
   前記画像処理が、前記デジタル写真画像におけるボケの度合いを取得する処理と、
   所定の閾値以上の前記ボケの度合いを有する前記デジタル写真画像を縮小して縮小画像を得る処理と、
   前記縮小画像を用いて前記高周波数成分を抽出する処理とからなることを特徴とするプログラム。
9. 前記高周波数成分を用いて前記デジタル写真画像に対してボケ補正を行う処理をさらにコンピュータに実行させることを特徴とする請求項８記載のプログラム。
10. 前記高周波数成分を用いて前記縮小画像に対してボケ補正を行う処理をさらにコンピュータに実行させることを特徴とする請求項８記載のプログラム。

Images