JP2006049949A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 ブロックノイズがあるデジタル写真画像においても適切なボケ補正を行う。
【解決手段】 デジタル写真画像Ｄ０よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得し、ボケ情報に応じたボケ補正を行う。
【選択図】 図１

Description

本発明はデジタル写真画像に対してボケを補正する画像処理方法および装置並びにそのためのプログラムに関するものである。

従来より、ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施して表示したり、プリントしたりするなどのことが行われている。これらの画像処理の一つとして、ぼけた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。

被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略してぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に方向性のある１次元的に広がりを呈する。

デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。

また、例えば、特許文献２に記載されたように、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法も知られている。

一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。近年、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。

しかし、携帯カメラは、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅く、携帯カメラを用いて撮像するときに、通常のカメラより手ぶれが起きやすい。そのため、携帯カメラにより撮像して得た写真画像に対してぶれの補正を施す必要性は高い。

しかし、携帯電話の小型化は、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯カメラに適用することができない。

そこで、近年、デジタル写真画像を解析することによって画像のボケ情報（ボケ方向や、ボケ幅など）を取得し、このボケ情報に基づいてボケ補正用のパラメータを設定して補正を行う方法が提案されている。具体的には、ボケは画像中の点像の広がりを引き起こすため、ボケ画像には、点像の広がりに応じたエッジの広がりが生じ、すなわち、画像中におけるエッジの広がりの態様は画像中におけるボケと直接関係することを利用し、画像中のエッジの広がりの態様を解析することによってボケ情報を取得して補正を行っている。
特開２００２−１１２０９９号公報 特開平７−１２１７０３号公報

ところで、携帯電話機は小型で携帯されるように設計されるため記憶容量が少ないことや、インターネットなどのネットワークを経由して撮影された画像が転送されることから撮影された画像はJPEGなどの形式で圧縮した画像を記憶するようになっている。JPEGなどの圧縮で用いられるDCT変換は、画像内の小さなブロック単位（例えば8×8画素）を直交変換し各周波数成分の係数を得て、この係数と量子化を組み合わせて高い圧縮率と比較的劣化の少ない画像を実現するものであるが、圧縮率を高くした場合には画像を再生する際に、ブロックの継ぎ目でブロックノイズが生じるという欠点を有している。

そのため、上述のように画像中のエッジの広がりの態様を解析してボケ情報を得ようとすると、ブロックノイズをエッジとして解析してしまうため、適正な補正を行うことができないという問題がある。

本発明は、上記事情に鑑み、ブロックノイズを有するデジタル写真画像においても適切なボケ補正が可能な画像処理装置および方法並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理装置は、デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得手段と、
該ボケ情報に応じたボケ補正を行う補正手段とを備えたこと特徴とするものである。

本発明の画像処理方法は、デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得ステップと、
該ボケ情報に応じたボケ補正を行う補正ステップとを備えたこと特徴とするものである。

本発明のプログラムは、コンピュータを、
デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得手段と、
該ボケ情報に応じたボケ補正を行う補正手段として機能させることを特徴とするものである。

「ボケ」は、ピンボケなどの無方向性のボケと、ブレなどの有方向性のボケを含むものであり、ぶれの場合は、ボケ方向がぶれ方向に相当し、ピンボケの場合は、そのボケ方向は無方向となる。また、ブレは、撮影する際に撮影者の手ブレによるブレであっても被写体が動いたことによるブレであってもよい。

また、「ボケ情報」とは、デジタル写真画像データにおけるボケを補正するために必要な、該ボケに関する情報を意味し、例えば、デジタル写真画像におけるボケの方向に関する情報や、このボケ方向に現れるボケ幅などを含むものである。

また、本発明の画像処理装置は、デジタル写真画像全体よりエッジを検出するエッジするエッジ検出手段と、
該エッジ検出手段により検出されたエッジが所定の量より多く現れたところを前記ノイズ領域であるとして抽出するノイズ領域抽出手段とをさらに備えたものであってもよい。

本発明によれば、デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得することより、ボケ情報を正確に得ることが可能となり、適切なボケ補正を行うことが可能になる。

デジタル写真画像全体よりエッジを検出するようにすれば、ブロックノイズが現れる周期が分からない場合であっても、ブロックノイズが現れる場所を特定して、適切なボケ補正を行うことが可能になる。

本発明の画像処理装置の第１の実施の形態について、図に基づいて説明する。

図１に示すように、本発明の画像処理装置１は、デジタル写真画像Ｄ０全体よりエッジを検出するエッジするエッジ検出手段１０と、検出されたエッジが所定の量より多く現れるところをノイズ領域として抽出するノイズ領域抽出手段２０と、デジタル写真画像Ｄ０よりノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得手段３０と、得られたボケ情報に応じたボケ補正を行う補正手段４０とを備える。

デジタル写真画像Ｄ０は、DTC変換等の非可逆性圧縮されたデータであり、圧縮率が高い場合には、復元する際にブロックノイズが現れる。このような圧縮を行なう代表的なもの画像データとしてJPEGやMPEGがあり、例えば8画素×8画素のブロック単位でDCT変換を施すと、復元する際に8画素×8画素のブロック境界のところで画像が不連続となりブロックノイズとして現れる。

ここで、以上のように構成された画像処理装置１を用いて、高圧縮されたデジタル写真画像Ｄから手ブレやピンボケなどのボケを補正する動作について、図２に沿って説明する。

エッジ検出手段１０は、高圧縮されたデジタル写真画像Ｄ０を復元した画像全体にSOBELフィルタや微分フィルタなどのエッジ検出フィルタを用いて、画像が不連続となるところをエッジとして検出する（Ｓ１００）。ブロックノイズによるエッジは、図３に示すように、DCT変換したブロック境界のところで、水平方向のエッジ（H-Edge）と垂直方向のエッジ(V-Edge）が現れる。そこで、検出された水平方向のエッジをY軸方向に投影してプロファイルを作成すると、ブロック境界となるところで水平方向のエッジの出現頻度が高くなる。同様に、垂直方向のエッジをX軸方向に投影してプロファイルを作成すると、ブロック境界となるところで垂直方向のエッジの出現頻度が高くなる。

この出現頻度の高いところがブロックノイズが現れている位置であり、ノイズ領域抽出手段２０は、水平方向のエッジと垂直方向のエッジの出現頻度が所定の値より高いところをブロックノイズが現れているノイズ領域として抽出し（Ｓ１０１）、図４に示すように、水平方向のエッジのプロファイルが高くなる範囲（斜線部）と、垂直方向のエッジのプロファイルが高くなる範囲（斜線部）をノイズ領域として抽出する。

デジタル写真画像よりボケ情報を取得する際、エッジを検出することによりボケ情報を得るが、ブロックノイズが現れている画像では、ブロックノイズによるエッジをもボケ情報を取得する際にボケによるエッジとして求められ、正確なボケ情報が得られない。そこで、ボケ情報取得手段３０は、デジタル写真画像Ｄ０全体より抽出されたノイズ領域を除いた領域よりボケ情報を取得する（Ｓ１０２）。具体的には、図３に示した斜線のノイズ領域をデジタル写真画像全体より除いたデジタル写真画像Ｄ１からボケ情報を取得する。

ここで、ボケ情報を得る具体例を説明する。

まず、デジタル写真画像Ｄ１（以下、デジタル写真画像データを単に画像という）に対してＹＣＣ変換を行って輝度色差成分により構成される画像Ｓ０（Ｙ０，Ｃｂ０，Ｃｒ０）を得て、画像Ｓ０の輝度成分Ｙ０を用いて画像Ｓ０がボケ画像か通常画像かを判別し、ボケ方向やボケ幅などのボケ情報を得る。

ＹＣＣ変換は、下記の式（１）に従って、画像Ｄ１のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ （１）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
但し，Ｙ：輝度
Ｃｒ，Ｃｂ：色差
Ｒ，Ｇ，Ｂ：Ｒ値，Ｇ値，Ｂ値

そこで、ＹＣＣ変換して得られた画像Ｓ０の輝度成分Ｙ０を用いてボケ情報Ｑを取得する。画像Ｓ０の輝度成分Ｙ０に対して、図５に示す８つの異なる方向毎にエッジを検出し、検出されたエッジを用いて、画像Ｓ０におけるボケ方向やボケ幅Ｌなどのボケ情報Ｑを取得する。

まず、画像Ｓ０の輝度成分Ｙ０から、図５に示すような８方向について各方向のエッジを検出する。検出された各エッジを横切る方向に対して、図６に示すように、明度と位置の関係を表すエッジプロファイルを作成し、得られたエッジのプロファイルに基づいて、図６に示すような明度が急激に変化する範囲をエッジ幅として得る。

そこで、図７に示すような各８つの方向のエッジが持つエッジ幅のヒストグラムを作成してボケ情報の解析を行う。

ここでは、主として下記の２つの解析を行う。

１． 画像Ｓ０がボケ画像か通常画像かを判別する。
２． 画像Ｓ０がボケ画像と判別された場合、さらに、ボケ方向とボケ幅Ｌを算出する。

画像Ｓ０におけるボケ方向を求めるために、まず、図５に示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。図８に示すように、画像中にぶれがある場合には、所定のぶれ方向のヒストグラムと、そのぶれ方向に直交する方向のヒストグラムとの相関が小さい（図８（ａ）参照）のに対して、ぶれと関係しない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図８（ｂ）参照）という傾向がある。このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組を見つけ出す。画像Ｓ０にぶれがあれば、この相関が最も小さい方向組のうちの一方の方向がぶれ方向となる。

図８（ｃ）は、同じ被写体を撮像して得たぶれまたはピンボケなどのボケがある画像と、ボケ（ピンボケおよびぶれ）がない通常画像において得られた、ブレが現れた方向におけるエッジ幅のヒストグラムをそれぞれ示している。図８（ｃ）からわかるように、ボケのない通常画像はエッジ幅の平均値が小さく、ボケがあるボケ画像はエッジ幅の平均値が大きくなる。したがって、上記において見付け出された相関が最も小さい方向組の２つの方向のうち、平均エッジ幅が大きいほうのエッジ幅が所定の範囲内である場合がボケ画像であり、平均エッジ幅が大きいほうのエッジの方向がブレ方向ｔとなる。また、このときの平均エッジ幅をボケ幅Ｌとする。

一方、ピンボケのような等方向性のボケの場合には、上述の方向組（１−５、２−６、３−７、４−８）において特に相関は得られず、検出された各方向のエッジ幅が図８（Ｃ）に示すようなピンボケのある画像のエッジ幅の範囲にある画像をピンボケ画像とし、このときの平均エッジ幅をボケ幅Ｌとする。また、ブレ方向ｔは等方向性であるため「方向なし」とする。

そこで、補正手段４０では、上述のようにして得られたボケ幅Ｌとボケ方向ｔを含むボケ情報に基づいて補正を行なう。具体的には、例えば、ボケ補正のアンシャープマスキング（ＵＳＭ）方法で画像Ｄ１に対する補正を施す。ボケ幅Ｌとボケ方向ｔに応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように、ボケ方向に作用する方向性補正用の１次元補正マスクＭ１や等方性補正用の２次元補正マスクＭ２を用いて補正を行う。ブレに起因するボケの場合には、一定の方向にボケが現れるため、ブレ方向ｔに対応する方向性補正用の１次元補正マスクＭ１を用い、ピンボケのように全方向に同じようにボケが現れる場合（ブレ方向ｔが「方向なし」）には、等方性補正用の２次元補正マスクＭ２を用いて補正を行う。なお、各ボケ幅に対応する２次元補正マスク、および各ボケ幅とボケ方向に対応する１次元補正マスクは、例えば、マスクデータベースＤＢとして記憶しておき、マスクデータベースＤＢから、ボケ幅Ｌとボケ方向に基づいて１次元補正マスクＭ１を取得し、全方向にボケでいる場合はボケ幅Ｌに基づいて２次元補正マスクＭ２を取得する。

このようにして得られた最適な１次元補正マスクＭ１と２次元補正マスクＭ２を画像Ｓ０に施して補正済み画像Ｄを得る（Ｓ１０３）。

上述では、デジタル写真画像データ全体より図４に示した斜線のノイズ領域を除いた領域からボケ情報を取得する場合について説明したが、各ブロック単位にノイズ領域を除いた領域からボケ情報を取得し、各ブロック単位に検出したボケ情報に応じた補正処理を施すようにしたものであってもよい。

また、上述では、デジタル写真画像データ全体より、水平方向のエッジと垂直方向のエッジを検出してブロックノイズの現れる領域を求めたが、ブロックノイズはDCT変換等により変換する際に、一般的に、8画素×8画素あるいは16画素×16画素のブロック単位毎で圧縮されることから、8画素毎あるいは16画素毎に所定の範囲をノイズ領域とみなして、ボケ情報を取得する対象から除くようにしてもよい。

また、ボケ情報を得る際にデジタル写真画像データを縮小した縮小画像を用いるようにすれば処理を高速化することができる。

また、ボケを補正する方法は、アンシャープマスキング方法を用いて補正する方法に限られるものではなく、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを用いるようにしてもよい。

上述の画像処理装置は、上記各手段を備えたプログラムがＣＤ−ＲＯＭ等の記憶媒体に記憶されたものや、もしくはインターネット等のネットワークを介して配布されプログラムをコンピュータにインストールしたものであってもよい。

上述で詳細に説明したように、ブロックノイズの現れる領域を除いてボケ情報を取得することにより、JPEGやMPEGのような非可逆性圧縮を用いて高圧縮した画像であっても、最適なボケ補正を行なうことが可能になる。

本発明の画像処理装置の概略構成を示す図 本発明の画像処理装置の動作を示すフローチャート ブロックノイズによるエッジとそのプロファイルを表す図 ブロックノイズによるエッジ領域を表す図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 エッジ幅のヒストグラムを示す図 エッジ幅のヒストグラムと、ボケ幅とボケ方向を取得する方法を説明するための図

符号の説明

１ 画像処理装置
10 エッジ検出手段
20 ノイズ領域抽出手段
30 ボケ情報取得手段
40 補正手段
Ｌ ボケ幅
ｔ ボケ方向
Ｄ０ デジタル写真画像
Ｄ 補正済み画像
ＤＢ マスクデータベース

Claims (4)

1. デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得手段と、
   該ボケ情報に応じたボケ補正を行う補正手段とを備えたこと特徴とする画像処理装置。
2. 前記デジタル写真画像全体よりエッジを検出するエッジするエッジ検出手段と、
   該エッジ検出手段により検出されたエッジが所定の量より多く現れたところを前記ノイズ領域であるとして抽出するノイズ領域抽出手段とをさらに備えたことを特徴とする請求項１記載の画像処理装置。
3. デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得ステップと、
   該ボケ情報に応じたボケ補正を行う補正ステップとを備えたこと特徴とする画像処理方法。
4. コンピュータを、
   デジタル写真画像よりブロックノイズが現れるノイズ領域を除いた領域を解析しボケ情報を取得するボケ情報取得手段と、
   該ボケ情報に応じたボケ補正を行う補正手段として機能させるためのプログラム。

Images