JP2011203827A - 画像処理装置および方法 - Google Patents

Abstract

【課題】 撮像画像から、ボケ量及びブレ量を把握しやすい画像を得ること。
【解決手段】 撮像手段から被写体の撮像画像を取得する取得手段と、前記撮像画像に対してケプストラム変換を行い、ケプストラム画像を取得する第一の変換手段と、前記ケプストラム画像に対して極座標変換を行い、極座標変換画像を取得する第二の変換手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は、撮像画像に対して画像処理を行う画像処理装置および方法に関するものである。

昨今のデジタルカメラやデジタルカムコーダーの普及により、デジタル方式による静止画像および動画像を撮影することが広く普及してきている。デジタル方式によって撮影された画像は、ソフトウェアやファームウェアなどによる演算処理を用いることにより、画像処理を容易に施すことが出来る。画像処理としては、例えば、レンズの収差補正やダイナミックレンジの調整などが挙げられる。このような技術はコンピューテーショナルフォトグラフィーと呼ばれ、研究が行われている。

コンピューテーショナルフォトグラフィー技術の一つとして、画像内のボケ量およびブレ量を測定する技術がある。

ボケ量とは、レンズによって結像する、撮像素子上の錯乱円径が、最小錯乱円径（フォーカスの合っている状態）よりもどれだけ大きくなったかを示すものである。ボケ量は、被写体と撮像素子との距離がフォーカス位置からずれるに従い、増加する。ボケ量が増加すると撮像画像上では錯乱円径が大きくなり、画像全体がぼけた状態になる。

ブレ量とは、撮影時にカメラ全体が動いてしまい画像全体が手ブレのように撮影されてしまう状態の画像と、カメラが完全に静止した状態で撮影した状態の画像を比べたときの多重のズレの度合いである。

ボケ量およびズレ量が大きい画像は、欠陥画像と見なされることが多い。よって、ボケ量およびズレ量を把握し、ボケ量およびズレ量を取り除くことにより、適切な復元画像を得ることが出来る。ボケ画像やブレ画像を復元するためには、ボケ量およびズレ量を把握する必要がある。

ボケ量やブレ量を示すボケカーネル及びブレカーネルは、ボケ・ブレの特性を表現する点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ， ＰＳＦ）で表すことが可能である。よって、画像中のボケ量・ブレ量を推定する手法は、ＰＳＦの推定手法となり、以下に示す通り、いくつかの手法が提案されている。
非特許文献１では、撮影画像の対数振幅スペクトル上に現れる暗い円環の半径からボケのＰＳＦ推定を行うことが開示されている。
非特許文献２では、対数振幅スペクトル上の輝度こう配のベクトル分布を用いてボケのＰＳＦ推定を行うことが開示されている。
非特許文献３では、対数振幅スペクトル上の負の極値を画像処理によって接続する線分を求めることで、ブレのＰＳＦ推定を行うことが開示されている。

Ｄ．Ｂ．Ｇｅｎｎｙ，"Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｂｙ ｉｎｓｐｅｃｔｉｏｎ ｏｆ ｆｒｅｑｕｅｎｃｙ−ｄｏｍａｉｎ ｐｌｏｔ，"Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．，ｖｏｌ．６３，ｐｐ．１５７１−１５７７，１９７３． 電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ９０−Ｄ Ｎｏ．１０ ｐｐ．２８４８−２８５７ 対数振幅スペクトル上の輝度こう配ベクトル分布を利用したノイズに頑健な焦点ずれＰＳＦ推定 坂野盛彦、末竹規哲、内野英治 ＶｉＥＷ２００８ ビジョン技術の実利用ワークショップ（２００８．１２．４−５横浜）ケプストラムに基づいたブレ画像補正 小山田雄仁、浅井春香、齋藤英雄、太田垣康二、江口満男 慶応義塾大学理工学部、ライトロン株式会社

しかしながら、上記先行技術文献に開示されている従来の手法には、以下の課題があった。

非特許文献１は、ボケ量の推定を行うことが可能となっているが、ＰＳＦが円径であることを前提としている。よって、ブレが発生した場合に発生する非円径なＰＳＦに対して適切な処理を行うことが出来ず、ブレ量を正確に定することが出来ない。

非特許文献２は、非特許文献１と同様に、ボケを考慮したＰＳＦの対数振幅スペクトルの輝度こう配情報を元に算出している。よって、ブレの発生を考慮したモデルとはなっていない。

非特許文献３は、ブレが発生した場合のＰＳＦを推定する手法であるが、直線ぶれに近い状態で撮影した場合を想定したＰＳＦの探索手法である。よって、ブレとボケが同時に発生する場合に、正確なＰＳＦを測定することは困難である。

本発明は、上記の課題に鑑みてなされたものであり、撮像画像から、ボケ量及びブレ量を把握しやすい画像を得ることを目的とする。

上記課題を鑑み、本願発明の画像処理装置は、撮像手段から被写体の撮像画像を取得する取得手段と、前記撮像画像に対してケプストラム変換を行い、ケプストラム画像を取得する第一の変換手段と、前記ケプストラム画像に対して極座標変換を行い、極座標変換画像を取得する第二の変換手段とを有することを特徴とする。

本願発明の画像処理装置によれば、ボケ量およびブレ量を把握しやすい画像を得ることが出来る。

ボケ量およびブレ量を算出するフローを示した図である。 ボケ画像を示した図である。 ケプストラム画像を示した図である。 Ｌｏｇ−Ｐｏｌａｒ変換画像及びそのヒストグラムを示した図である。 Ｌｏｇ−Ｐｏｌａｒ変換画像の横方向のヒストグラムを示した図である。 ヒストグラムの指数値とボケ画像の関係図を示した図である。 ブレ画像を示した図である。 ブレ量の判定を模式的に示した図である。 画像復元処理のフローを示した図である。 本実施形態における装置全体の構成を示した図である。

図１０は、本実施形態の撮像画像のボケ量およびブレ量を推定するための画像処理装置全体の構成のブロック図である。

本実施形態における画像処理装置は、観測画像を撮影するための観測画像撮影部１０２１、光学伝達特性算出部１０２２、距離演算部・最適光学特性演算部１００６、ボケ復元部１００７、リフォーカス画像演算部１００８から構成されている。

観測画像撮影部１０２１は、光学レンズ１００１、光通過部１００２、光電気変換部１００３から構成されている。

光レンズ１００１は、従来のフィルムカメラやデジタルカメラとほぼ同様のレンズを用いて、光１００９を集光させる機能を持っている。光レンズ１００１によって集光された光は、光通過部１００２を用いて絞られる。

光通過部１００２によって絞られた光１００９は、光電気変換部２０３によって電気信号に変換され、観測画像ｉｍ１０１２として撮影される。

そして、ボケ量・ブレ量推定部１００６、ボケ復元部１００７及びリフォーカス画像演算部１００８の引数として渡される。

光電気変換部１００３は、ＣＣＤセンサーやＣＭＯＳセンサー等を用いて光の結像の状態を電気信号に変換する。光伝達特性算出部１０２２は、被写体との距離による光学伝達特性（ＰＳＦ）を算出する手段である。

光学伝達特性は、数式を用いて算出を行っても良いし、テーブルとして離散値を保持しても良い。尚、本実施形態では、離散値を補間する手法を用いているが、類似する他の手法を用いても良い。ボケ量・ブレ量推定部１００６は、観測画像ｉｍを用いて距離画像１０１３の算出を行う。

また、ボケ量・ブレ量推定部１００６は、ボケ量解析手段およびズレ量解析手段として機能し、本実施形態で後述するボケ量及びブレ量の算出アルゴリズムに基づく処理を行う。

ボケ復元部１００７は、ボケ量・ブレ量推定部１００６から距離画像及び観測画像ｉｍデータを受け、これらのデータから、合焦画像１０１４の算出を行い、合焦画像を取得する。

リフォーカス画像演算部１００８は、合焦画像１０１８及び距離画像１０１６のデータを受け、ぼかしたい領域に任意のボケを付加することで、リフォーカス画像１０１５の算出を行う。

リフォーカス画像演算部１００８は、リフォーカス画像１０１５の生成時に、カメラパラメータ（フォーカス距離やＦナンバーなど）を設定して、様々なレンズと被写界深度に対応した画像を生成することが可能である。

本実施形態では、距離画像と合焦画像から任意のフォーカス位置の画像や任意の被写界深度の画像、更に収差を再現した画像などのリフォーカス画像を作成することが出来る。本実施形態では、１００６で示されるボケ量・ブレ量推定部の実施例を後述する。
ボケ量・ブレ量推定部１００６以外の部分は、公知の手法を用いて実現しても良い。

図１は、本実施形態におけるボケ量及びブレ量の算出手法の概略を示す図である。尚、図１に示す各ステップは、主に、図１０におけるボケ量・ブレ量推定部１００６が行う。各ステップの一部は、コンピュータを画像処理装置として機能させるためのコンピュータプログラムでも代替可能である。
（ステップ１００）まず、最初に処理の対象となる、被写体を撮像手段で撮像した撮像画像をロードする。本工程では、デジタルによる静止画像や動画像の１フレームの画像情報などを読み込む処理を行う。
（ステップ１０１）本工程では、ステップ１００で取得された撮像画像に対してフーリエ変換を行う。この処理によって画像の周波数領域のパワースペクトルを得る事が出来る。
（ステップ１０２）次に、ボケ量・ブレ量推定部１００６が第一の変換手段として機能し、得られた周波数パワースペクトルの絶対値の対数を算出し、デジタル画像の周波数スペクトルを対数軸にした算出結果を計算する。

ここまでの演算は、ケプストラム変換（Ｃｅｐｓｔｒｕｍ）と呼ばれており、このときの座標系をケフレンシー領域（Ｑｕｅｆｒｅｎｃｙ）と呼ぶ。これは、フーリエ変換された画像の座標系を周波数領域（Ｆｒｅｑｕｅｎｃｙ）と呼ぶのに対応している。得られた画像は、一般的にケプストラム画像を呼ばれ、ケプストラム画像内の低ケプストラム領域（高輝度領域）は、撮像画像のボケ量およびズレ量を示している。撮像画像のボケ量が大きいほど、低ケプストラム領域は大きくなる。また、撮像画像のブレ量が小さいと低ケプストラム領域の形状はほぼ円形になるが、撮像画像のブレ量が大きくなるに従い、低ケプストラム領域の形状が歪む。
（ステップ１０３）１０２までの演算で、デジタル画像のパワーケプストラム像が得られる。このデジタル画像データ（ケプストラム画像）に対して、本ステップでは、ボケ量・ブレ量推定部１００６が第二の変換手段として機能し、Ｌｏｇ−Ｐｏｌａｒ変換を行う。Ｌｏｇ−Ｐｏｌａｒ変換は、ケプストラム画像の低ケプストラム領域内の点を中心点として行う。これはパワーケプストラム像の特徴を明確にするためで、こうして得られたパワーケプストラム像をＬｏｇ−Ｐｏｌａｒ変換したデータを用いてボケ量とブレ量の推定を行う。尚、本ステップにけるＬｏｇ−Ｐｏｌａｒ変換は、他の極座標変換で代替することも可能である。

次に、ステップ１０３で得られた極座標変換画像を用いて、ボケ量およびズレ量の推定を行う。ボケ量の推定は、以下のステップ１０４からステップ１０６までの処理により行われる。また、ブレ量の推定は、以下のステップ１０７からステップ１０９までの処理により行われる。
（ステップ１０４）ボケ量の推定には、まず、１０３で得られた極座標変換画像に対して、横方向（極座標変換画像の円周方向）に輝度値のヒストグラムを作成する。
（ステップ１０５）次に、ステップ１０４で取得されたヒストグラムの尖度を算出する。算出されたヒストグラムの尖度から、ボケを示す値を得る事が出来る。例えば、ヒストグラムの尖度が所定値よりも小さい場合、撮像画像のボケ量が大きいと推定することが可能である。
（ステップ１０６）最後に、１０５で取得されたボケ量を示す値から、実際のボケ量に換算することで、デジタル画像のボケ量を推定する。
（ステップ１０７）ブレ量の推定に関しては、１０３で得られたデータに対して、縦方向（極座標変換画像の半径方向）にヒストグラムを作成する。
（ステップ１０８）そして、ヒストグラムの最大値と最小値の算出、およびその位置を算出する。
（ステップ１０９）ステップ１０９の算出結果を用いて、ブレ量を推定する。例えば、ヒストグラムの最大値が所定値以上である場合は、所定の角度方向の範囲内に、撮像画像がブレていると推定することが可能になる。

以上の説明のように、ケプストラム画像に対してＬｏｇ−Ｐｏｌａｒ変換を行うことにより、撮像画像のボケ量およびズレ量を推定しやすい極座標変換画像を取得することが出来る。

続いて、上記実施形態の詳細な処理について説明する。まず、図２〜図８を用いて、本実施形態の効果を説明する。

図２〜図８の画像は、２５６×２５６ピクセルの静止画像に対して行った結果を図示しているが、例えば、３２×３２ピクセルの領域などの局所領域毎に処理を行っても同様の効果を得ることができる。

そのため、大きな画像（ＸＧＡやＳＸＧＡなど）は、局所域でのボケ量の算出を行い、その処理を画像全体に対して行うことで、画像の局所域でのボケ量を求めることが可能である。

ただし、選択した局所域にエッジや模様などが写っている場合にのみ可能であり、何も写っていない（空間周波数が低い）局所域では、正確なボケ量を算出することは出来ない。そのため、以降の説明は、選択された局所域内には、エッジや模様などの高周波成分が存在するという仮定に基づく。高周波成分の存在は、キャニーフィルターやソーベルフィルタなどを用いてエッジを検出することで判断でき、局所域でのボケ量・ブレ量の算出可否を判定することが出来る。

図２は、撮像画像のボケ画像を示した図である。図２のａは、フォーカスが完全に合っている状態で撮影された画像である。このフォーカスの合っている画像である図２ａが３２×３２の大きさのＰＳＦによってボケ撮影されると、図２のｂ〜ｄに示されるような画像になる。
図２ｂは、ＰＳＦがＮ（０，０．５）の正規分布によるボケ撮像画像を示している。このときのＰＳＦは、図２ｅである。
図２ｃは、ＰＳＦがＮ（０，１．０）の正規分布によるボケ撮影画像を示している。このときのＰＳＦは、図２ｆである。
図２ｄは、ＰＳＦがＮ（０，１．５）の正規分布によるボケ撮影画像を示している。このときのＰＳＦは、図２ｇである。各撮影像の右下に、そのフーリエ変換されたときの画像を合わせて示している。

図３では、撮影画像である図２のａ〜ｄをそれぞれケフレンシー領域におけるケプストラム画像として示したものである。フォーカスが合っている場合は、中央の１点となる。この演算は、図１のステップ１０１及びステップ１０２によって算出された結果である。
図３ａ〜ｄのケフレンシー領域のケプストラム画像は、非常に特徴量が小さいため、このデータからボケ量を測定することは難しい。そこで、図２で得られた撮影画像のケフレンシー領域におけるケプストラム画像ａ〜ｄをそれぞれＬｏｇ−Ｐｏｌａｒ変換する。

図４は、Ｌｏｇ−Ｐｏｌａｒ変換の演算結果を示した図である。図４のａ〜ｄは、図３ａ〜ｄのデータのＬｏｇ−Ｐｏｌａｒ変換を行った結果である。
このようにＬｏｇ−Ｐｏｌａｒ変換によって特徴量を判別しやすい形に変換する。そして、図４ａ〜ｄのデータに対して、横方向（極座標変換画像の円周方向）に輝度値のヒストグラムを算出した結果が図４ｅで示すグラフである。図５では、図４のｅのグラフに関して詳細を説明する。

図５は、図４で得られたＬｏｇ−Ｐｏｌａｒ変換された撮影画像の横方向（極座標変換画像の円周方向）ヒストグラムを作成した図である。
５０１は、フォーカスが合っているときの画像のヒストグラム最大値である。
５０２は、ＰＳＦがＮ（０，０．５）の正規分布のときに撮影されるボケ画像のヒストグラム最大値である。５０３は、ＰＳＦがＮ（０，１．０）の正規分布のときに撮影されるボケ画像のヒストグラム最大値である。５０４は、ＰＳＦがＮ（０，１．５）の正規分布のときに撮影されるボケ画像のヒストグラム最大値である。以上の演算は、図１のステップ１０４の演算に対応している。

図５から明らかなように、ヒストグラムの形状と分布は、ＰＳＦのボケ量である分散値と相関関係がある。そこで、この相関性を容易に評価するために、各ヒストグラムの尖度を算出し、判定を行う。

尚、本実施形態では、ヒストグラムの評価に尖度を用いたが、例えば、ヒストグラムの最大値やヒストグラムの広がりなど、他の指標を用いて評価しても良い。

図６では、図５の各ヒストグラムに対して、尖度を算出し、一つのグラフにまとめた結果を示す。尖度は、図５で示されるヒストグラムの分布の尖り具合を示す値であり、正規分布Ｎ（０，０）の尖度を０とする。
正規分布Ｎ（０，０）と比較をしたときの尖り具合を算出するものであり、正規分布よりも尖り具合が低いと、値は大きくなる。本演算は、図１の１０５及び１０６の演算に対応するものである。ヒストグラム５０１〜５０４の尖度の結果を、縦方向に示し、ボケ度（ＰＳＦの正規分布の分散と相関がある）を横方向に示したグラフである。
この図から、５０１で示されるフォーカスの合っている状態の撮影画像から得られたヒストグラムの尖度は、高い数値を示す（６０１）。
ＰＳＦの分散値が、増加するにしたがって、ヒストグラムの尖度は低下する（６０２〜６０４）。つまり、図５のヒストグラムの尖度からボケ量を算出することが可能となる。

以上に示すような演算を行うことにより、撮影画像のボケ量を得る事が出来る。

次に、ブレ量の算出について述べる。

図７は、ブレを含む画像を示している。図７ａは、前述の図２ｃで示されているＰＳＦが１．０σの分散によって撮影されるボケ画像である。このボケ画像とブレ画像の比較に関して説明する。図７ａの撮影画像のパワーケプストラムをＬｏｇ−Ｐｏｌａｒ変換した画像を図７ｄに示す。図７ｃは、ブレ画像が発生するときのブレカーネル（ブレの軌跡）を示している。このようなブレカーネルのときに、撮影されるブレ画像は、図７ｂに示されるような画像となる。
画像の右下には、周波数領域でのブレ画像を示している。
このブレ画像である図７ｂの撮影画像のパワーケプストラムをＬｏｇ−Ｐｏｌａｒ変換した画像を図７ｅに示す。図７の演算操作は、図１の１０１〜１０３によって算出された結果である。

次にブレ量の解析方法に関して述べる。

図８は、ブレの判定について説明している図である。図８ａは、Ｎ（０，１．０）の正規分布の状態でボケ撮影した画像の、パワーケプストラムのＬｏｇ−Ｐｏｌａｒ変換像を示している。これを縦方向にヒストグラムを作成する。こうして得られるヒストグラムが、図８ｃに示されるグラフである。このヒストグラムの横軸は、０〜２π［ｒａｄ］のブレの方向を示している。そして、縦方向は、ブレ量を示している。尚、縦方向にヒストグラムを作成する場合、正方画素による影響を取り除いた状態でヒストグラムを作成している。これは、ブラーカーネルが小さく、正方画素でデジタル化されているために、図８ａのように、正方画素の対角方向にあたる１／２π［ｒａｄ］やπ［ｒａｄ］に相当する方向が大きな値になり、正方画素の辺方向にあたる１／４π［ｒａｄ］や３／２π［ｒａｄ］に相当する方向が小さい値になる。これを考慮して正規化したヒストグラムを８０１に示す。

ブレが存在しない場合、このヒストグラムは、８０１に示すように平らになる。ブレ量を含む場合、図８ｂのような撮影画像のパワーケプストラムのＬｏｇ−Ｐｏｌａｒ変換画像になる。

この縦方向ヒストグラムには、図８ｄに示されるヒストグラムのように顕著な特徴量が現れる。図８ｃと同様に正方画素による影響を取り除いたヒストグラムは、８０２のようになる。

例えば、ブレの大きい方向で、ヒストグラム８０２は最大値を示し、ブレの少ない方向で、ヒストグラムは最小となる。

図８ｄの例では、８０３で示される方向では、極大となり、８０４で示される方向では、極小となる。そのため、８０３で示される方向である０［ｒａｄ］とπ［ｒａｄ］の方向にブレ量を生じていることが判る。この結論は、図７ｃのブレカーネルの形状と一致する。また、このときのブレ量の数量は、８０５で示されるように、極大値８０３と極小値８０４の差と相関関係がある。このような演算手法によって、ブレ量の方向と量を求めることが出来る。この演算は、図１の１０７〜１０９によって算出された結果である。以上のように、ボケ量及びブレ量を推定することが可能である。

次に、推定されたボケ量及びブレ量を用いた画像復元処理に関して述べる。
図９は、画像復元処理のフローチャートを示した図である。
画像復元処理は、９００から開始される。９０１で、デジタル画像を撮影する。
前述の通り、デジタル画像は、デジタルカメラやデジタルカムコーダーなどを用いて撮影することが可能である。９０１で得られたデジタル画像に対して、局所領域を抽出し（９０２）、その局所域に関して前述の通り、ブレ量及びボケ量の推定を行う（９０３）。

次に、９０３にて得られたボケカーネルやブレカーネルで示されるＰＳＦを用いて、デコンボリューション処理を行うことで、画像復元処理９０４を実行する。画像の全領域に対してブレ・ボケ復元処理が終了すれば９０６に進み、まだなら９０２に戻って、同じ処理を繰り返す（９０５）。このようにして、ボケ画像及びブレ画像の画像復元処理を行う。

Claims (8)

1. 撮像手段から被写体の撮像画像を取得する取得手段と、
   前記撮像画像に対してケプストラム変換を行い、ケプストラム画像を取得する第一の変換手段と、
   前記ケプストラム画像に対して極座標変換を行い、極座標変換画像を取得する第二の変換手段とを有することを特徴とする画像処理装置。
2. 前記第二の変換手段は、前記ケプストラム画像の低ケプストラム領域内の点を中心点として、前記ケプストラム画像に対して極座標変換を行い、前記極座標変換画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記極座標変換は、Ｌｏｇ−Ｐｏｌａｒ変換であることを特徴とする請求項１もしくは２のいずれか１項に記載の画像処理装置。
4. 前記極座標変換画像の角度方向に輝度値のヒストグラムを取得し、当該取得されたヒストグラムに基づき、前記撮像画像のボケ量を取得するボケ量解析手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ボケ量解析手段は、前記ヒストグラムの尖度に基づき、前記撮像画像のボケ量を取得することを特徴とする請求項４に記載の画像処理装置。
6. 所定の角度の範囲で、前記極座標変換画像の半径方向に輝度値のヒストグラムを取得し、当該取得されたヒストグラムに基づき、当該所定の角度の範囲内における前記撮像画像のズレ量を取得するズレ量解析手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 取得手段が、撮像手段から被写体の撮像画像を取得する取得工程と、
   第一の変換手段が、前記撮像画像に対してケプストラム変換を行い、ケプストラム画像を取得する第一の変換工程と、
   第二の変換手段が、前記ケプストラム画像に対して極座標変換を行い、極座標変換画像を取得する第二の変換工程とを有することを特徴とする画像処理方法。
8. コンピュータを、
   撮像手段から被写体の撮像画像を取得する取得手段と、
   前記撮像画像に対してケプストラム変換を行い、ケプストラム画像を取得する第一の変換手段と、
   前記ケプストラム画像に対して極座標変換を行い、極座標変換画像を取得する第二の変換手段とを有することを特徴とする画像処理装置として機能させるためのコンピュータプログラム。

Images