JP2009111773A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】フレーム間の位置ずれを補正しつつ、さらにはフレーム内のブレをも低減した動画像を得ることが可能な画像処理装置およびその方法を提供する。
【解決手段】撮像装置１０は、連続撮影するフレーム間の位置ズレ量を検出し、検出した位置ズレ量があらかじめ設定した閾値よりも大きければ、現フレームと前フレーム画像を合成する演算部１６を有し、エッジのはっきりした画像の合成比率を上げることで、フレーム内のブレを低減することができる。
【選択図】図１

Description

本発明は、動画像の手ブレを補正することが可能で、デジタルカメラ等の撮像装置に適用可能な画像処理装置およびその方法に関するものである。

近年、撮像装置としてカメラの小型化が進み、手振れ補正技術が注目をされてきている。
その要因として、カメラの小型化により、写真撮影においてホールド性の低下したことや、携帯電話搭載のカメラなどの撮影方法として、片手での撮影など従来の撮影形態と比べ自由度が広がっていることで手振れが発生し易くなっていることが挙げられる。

このように、種々の方法や安定性の無い状態で撮影する場合、シャッターボタンを押した際にカメラがブレて、手振れが発生してしまう。

この問題を解消すべく、専用の機構を設け物理的に手振れ補正する装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されている。しかし、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。

そのため、画像処理によってブレのない動画像を得ることができる撮像装置などが種々提案されている（たとえば特許文献１参照）。

また、他の方法として、画像処理により複数枚の画像からブレの無い画像を得ることができる撮像装置などが種々提案されている（たとえば特許文献２参照）。

さらに、他の方法として、複数枚の画像を合成することで像ブレを補正する撮像装置において、連写時の撮影時間の長期化を防ぐことができる撮像装置なども提案されている（たとえば特許文献３参照）。
特開平３−２５４２８６号公報 特開平１０−１０８０７９号公報 特開２００６−１７４０６９号公報

しかしながら、特許文献１には、手ブレに応じて映像信号を取り出す有効画素領域を基本有効画素領域から移動させてフレーム間の画のずれを補正する技術が開示されているが、フレーム内での像ブレ（像流れ）を補正することができず、またそのことについては何ら考慮されていない。

また、特許文献２など、従来提案されている撮像装置においては、複数枚分の画像を保持しておくメモリが必要となり高価なものとなってしまうという不利益がある。
また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。

また、特許文献３に示すような画像合成による像ブレ補正の連写を行う撮像装置においては、複数枚の画像を合成するため、撮影間に被写体が動いてしまうと、合成画像においても動いた被写体にダブリが生じてしまう。

すなわち、従来提案されている撮像装置においては、動画像の各フレーム画像間のずれ量を検出し、そのずれ量に応じて画像を読み出す領域を変えることで、ブレのない動画像を生成するものである。
動画像を撮影する際には手ブレによって、フレーム間で被写体の位置がずれてしまうことと、撮像素子の露光時間中のブレによってフレーム画像にダブりが発生してしまうという影響がでてしまう。
しかし、従来提案されている撮像装置においては、フレーム間の位置ずれは補正できるが、フレーム内のブレについては検討されていない。
したがって、被写体は画像の中で概ね位置の変化がないように見えるが、輪郭がぼんやりして、ぼけた感じの画像になってしまうという問題がある。

本発明の目的は、フレーム間の位置ずれを補正しつつ、さらにはフレーム内のブレをも軽減した動画像を得ることが可能な画像処理装置およびその方法を提供することにある。

本発明の第１の観点は、動画像の各フレーム間の像位置の差である像のズレを検出し、電子的に補正する画像処理装置であって、現フレームと前フレームの間の前記像のズレ検出量があらかじめ設定した閾値を上回るときには、フレーム内の露光中の像移動による像のブレの補正処理を行う補正手段を有する。

好適には、前記補正手段は、前記補正手段は、前記現フレームと前記前フレームの画像を合成して前記像のブレの補正を行う。

好適には、前記補正手段は、前記画像の合成は、２枚のフレーム画像の差分画像を基に合成比率を決定する。

好適には、前記補正手段は、前記現フレームと前記前フレームの画像の少なくとも一方に対するフィルタ処理により前記像のブレの補正を行う。

好適には、前記補正手段は、前記フィルタ処理において、前記像のズレ検出量によって係数を変える。

好適には、前記フィルタ処理は、エッジ強調処理を含む。

好適には、前記閾値は、動画撮像時の露光時間が短い場合は長い場合より大きい値に設定される。

本発明の第２の観点は、動画像の各フレーム間の像位置の差である像のズレを電子的に補正する画像処理方法であって、動画像の各フレーム間の像のズレを検出するステップと、現フレームと前フレームの間の前記像のズレ検出量があらかじめ設定した閾値とを比較するステップと、前記ズレ検出量が前記閾値を上回るときには、フレーム内の露光中の像移動による像のブレの補正処理を行うステップとを有する。

本発明によれば、フレーム間の位置ずれを補正しつつ、さらにはフレーム内のブレをも軽減した動画像を得ることができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の第１の実施形態に係る画像処理装置を採用した撮像装置の構成例を示すブロック図である。

本撮像装置１０は、光学系１１、撮影制御部１２、操作部１３、撮像部１４、メモリ１５、演算部１６、および記録部１７を有している。
そして、演算部１６は、さらにズレ量検出部１６１、および合成部１６２を有している。

本実施形態の撮像装置１０は、基本的に動画像の各フレーム間の像ズレを電子的に補正する機能を有する。
撮像装置１０は、動画像の各フレーム間の像ズレを検出する機能と、現フレームと前フレームの間のズレ検出量があらかじめ設定した閾値とを比較し、ズレ検出量が閾値ＴＨを上回るときには、フレーム内における像ブレの補正処理を行う機能とを含んで構成されている。

そして、本実施形態の撮像装置１０は、手ブレ補正撮影のＯＮ／ＯＦＦのモード切り換え機能を有している。
撮像装置１０は、手ブレ補正撮影ＯＮのときには、撮像装置１０は撮影画像間の位置ズレを補正し、さらに位置ズレ量の多いときには前後のフレーム画像を合成することで、より一層のブレ低減を図った画像を形成する機能を有している。

撮影制御部１２は、シャッターボタンなどを含む操作部１３より撮影指示を受けて、被写体の明るさから最適なシャッタースピード、絞り、ゲインの値を算出し、撮像部１４に制御信号を送る。
撮影制御部１２は、露出制御を行うとともに、操作部１３などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系１１、撮像部１４等を制御し、システム全体の調停制御を司るものである。

撮像部１４は、ＣＣＤまたはＣＭＯＳセンサ等により形成され、光学系１１を通った被写体の光学像を受けて画像信号に変換し、変換した画像信号からＹＵＶ形式の画像データを生成し、メモリ１５に送る。
以下の説明では、撮像部１４の撮像素子はＣＣＤにより形成されているものとして説明する。

演算部１６は、メモリ１５に格納された信号処理後の画像データに基づいて、演算を行う。
演算部１６の中のズレ量検出部１６１は、現フレームと前フレームの画像間の位置ズレ量を検出する。
ズレ量検出部１６１における位置ズレの検出については、画像を一定の大きさの小領域(ブロック)に分割し、各ブロックが前のフレームのどこに対応するかを探し、対応するブロックの位置の差を動きベクトルとするブロックマッチングなどの方法が一般的であるが、ここではその手法については問わない。

合成部１６２では、検出したズレ量に応じて画像間の位置ズレを補正し、位置ズレ量が閾値Ｔｈより大きい場合には補正した画像間の差分を取ることでエッジとブレ成分を抽出して、この差分値に応じて現フレームと前フレームの合成比率を設定した上で合成を行う。
演算部１６においては、位置ズレ量が小さい場合（位置ズレ量が閾値Ｔｈより小さい場合）には、必ずしも合成を行う必要はなく、その場合には現フレームの位置ズレのみを補正して、記録部１７にて記録媒体に記録する。

以下、撮影した動画像の例、フレーム内のブレを低減する画像合成の方法についてさらに詳細に説明する。

図２は、撮影した動画像の例を示す図である。
図３は、撮影した動画像に対して切り出し位置を変えることを模式的に示す図である。
また、図４は、フレーム内のブレを模式的に示す図である。

撮影時に手ブレがあると、連続撮影したフレーム間で位置ズレが発生し、画像の中での被写体の位置がフレームごとに変わってしまう。
したがって、各フレーム間でブロックマッチングなどの方法によって画像間の位置ズレ量を検出し、図３に示すように、ズレ量に応じて画像の切り出し位置を変えることで、安定した画像を得ることができる。
位置ズレを補正することで、被写体の位置は概ね安定した画像になるが、撮影時のブレが大きい場合には、フレーム内のブレが目立ってきてしまい、図４に示すように、輪郭のボケたような画像になってしまう。

このフレーム内のブレを低減するために、画像の合成を行う。
ズレ量検出部１６１において検出したズレ量があらかじめ設定した閾値Ｔｈより大きい場合には、位置ズレを補正した現フレームと前フレームの画像の差分をとる。
この差分画像には前フレームのエッジ部分と、現フレームのブレ成分が抽出される。
したがって、この領域にはエッジのはっきりしている前フレームの合成比率を上げて合成すればよい。

次に、上記構成による動作を図５のフローチャートに関連付けて説明する。

撮影のモードが、手ブレ補正撮影ＯＮに設定されているとき、操作部１３のシャッターボタンが押されると、撮影制御部１２は撮像部１４に対し、撮影の指示を送る。
撮像部１４は、撮影制御に従い、動画像の連続した撮影を行い、順次メモリ１５に送る（ＳＴ１０１〜ＳＴ１０３）。
撮影画像Ｐ_ｎ-１，Ｐ_ｎがメモリ１５に記憶されると、その画像データをもとに、画像間の位置ズレ量を検出する（ＳＴ１０４，ＳＴ１０５）。
ステップＳＴ１０４においては、画像Ｐ_ｎ-１とＰ_ｎの位置ズレ量Ｖを、ブロックマッチング等の手法により検出する。
ステップＳＴ１０５においては、上記ステップＳＴ１０４で検出した位置ズレ量Ｖをもとにして、画像Ｐ_ｎ-１とＰ_ｎ間の位置ズレを補正する。
そして、ステップＳＴ１０６において、検出した動きベクトルＶの大きさと予め設定した閾値Ｔｈを比較する。
動きベクトルの大きさが閾値Ｔｈよりも大きければ、位置ズレを補正した２画像間の差分を取り（ＳＴ１０７）、その差分画像をもとに前画像Ｐ_ｎ-１と現画像Ｐ_ｎの合成比率を設定する（ＳＴ１０８）。
そして、設定した合成比率に基づいて画像の合成を行い（ＳＴ１０９）、合成画像を現画像Ｐ_ｎとして出力する（ＳＴ１１０）。
一方、ステップＳＴ１０６で、検出した動きベクトルＶの大きさよりも閾値Ｔｈの方が大きければ、位置ズレを補正した画像を現画像Ｐ_ｎとして出力する（ＳＴ１１１）。
動画撮影指示中は、この撮影を繰り返し行う。

以上の説明では、閾値Ｔｈはあらかじめ設定して固定値としたが、たとえば閾値Ｔｈを、画像撮影時の露出条件（露光時間）や被写体の明るさに応じて可変にしてもよい。

露出条件による場合、閾値は、動画撮像時の露光時間があらかじめ設定した時間より短い場合は長い場合より大きい値に設定される。

フレーム周期毎に取得する画像から検出される像ズレ量は値が同じであっても、必ずしもフレーム内像ブレ（像流れ）の量が同じとは限らない。
例えば、図６に示すように露光時間が異なる場合でも、同じ手ブレ量なら、１フレーム間の像の移動量（像ズレ量）は同じである。しかしながら、露光時間が長い場合は図７（Ａ）に示すように、露光時間中に像が移動する距離が長く、従ってフレーム内像ブレの量は大きくなって輪郭のぼやけた像となる。
それに対して、露光時間が短い場合は、図７（Ｂ）に示すように、露光時間中に像が移動する距離が短く、従ってフレーム内像ブレの量は小さく、像の輪郭のぼやけ方は少ない。
よって、フレーム周期毎に取得する画像間の像ズレ量を検出してフレーム内像ブレの補正処理を行なうか否かの判断を行なう場合の閾値は、露光時間が長い場合に対して短い場合は大きい値（像ズレ量が大きい）を用いても良い。
つまり、像ズレ量が多少大きい場合でも、露光時間が短ければフレーム内像ブレの補正は
不要となり、処理時間が冗長となるのを防ぐことができる。

次に、合成比率について説明する。
図８は、動きベクトルＶが閾値Ｔｈよりも大きくなった場合の、ブレのない前フレームとブレが発生した現フレーム、および２枚のフレームの差分画像の例を示す図である。

２枚のフレームは位置ズレを補正した上で差分をとっているため、差分画像には被写体のエッジとブレ成分、および微少なノイズ成分が抽出される。

この差分画像より合成比率を設定する際、差分の値がノイズ基準値Ｓよりも大きい部分はブレのない前フレームの合成比率を高く設定し、その周辺画素は２枚の合成比率がなだらかになるように設定する。

それ以外の部分は、現フレームの合成比率を高く設定する。
なお、ノイズ基準値Ｓは、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である。

これは、撮影時に設定されたセンサの信号に対するゲイン倍率によって、ノイズ基準値Ｓの値を変えるというものである。

暗い被写体などでは、撮影時のＩＳＯ感度が高く設定され、センサの出力に対するゲイン倍率が高くなる。

ゲインが高くなればノイズが多くなるため、ゲイン倍率に対応して差分画像によるエッジとノイズを切り分けるノイズ基準値を変えるようにする。

以上の説明においては、２枚のフレーム画像の差分画像を基に合成比率を決定して画像の合成を行ってフレーム内像ブレの補正を行う場合を例として説明した。この方法は本発明の一例であり、種々の態様が可能である。
たとえば、現フレームと前フレームの画像の少なくとも一方に対するフィルタ処理、たとえばエッジ強調処理によりフレーム内像ブレの補正を行うように構成することも可能である。
以下に第２の実施形態としてフィルタ処理によりフレーム内像ブレを補正する撮像装置について説明する。

図９は、本発明の第２の実施形態に係る画像処理装置を採用した撮像装置の構成例を示すブロック図である。

本第２の実施形態に撮像装置１０Ａが第１の実施形態の撮像装置１０と異なる点は、演算部１６Ａにおいて、合成部に代えてフィルタ処理部１６３が設けられていることにある。

フィルタ処理部１６３は、たとえば位置ズレ量の大きい場合には、現画像に対してエッジ強調フィルタをかけて、輪郭を際立たせることで、フレーム内のブレを低減するという処理を行うように構成される。
この場合、フィルタ処理において、検出したフレーム間のズレ量によってフィルタ係数を変えることも可能である。
以下、ズレ量によってフィルタ係数を変える方法の一例について説明する。

フィルタ処理は、輪郭をはっきりさせるためのデジタルフィルタ処理である。

図１０（ａ）〜（ｃ）に関連付けて本フィルタ処理を説明する。図１０（ａ）はブレ領域を量子化した図であり、図１０（ｂ）は本フィルタ処理のフィルタ係数を示す図であり、図１０（ｃ）はフィルタ結果（補正された成分値）を示す図である。

図１０（ａ）において、ブレ領域の長さがＮ個の画素数に相当する場合に、このブレ領域の中心の画素（中心画素）に対して、図１０（ｂ）に示すようなフィルタ係数を設定する。すなわち、ブレ領域の中心画素に（２×Ｅ＋１）を乗じ、中心画素以外の両側Ｎ個の画素には、−（Ｅ／Ｎ）を乗じ、これらフィルタ係数により畳み込み（convolution）を行うＦＩＲ（Finite Impulse Response）フィルタを構成する。これによって、中心画素付近の成分値の変化度合いを強調するフィルタとなっている。
なお、Ｅは、補正の程度を表す係数であって、１が標準である。
このフィルタ処理の結果、図１０（ｃ）に見られるように、ブレ領域の傾斜が急峻となる。

図１０（ｂ）に示した例では、中心画素から両側Ｎ個の画素を畳み込み演算の対象としたが、少なくともブレ領域分（中心画素から両側Ｎ／２個以上）の画素をフィルタ処理の対象とすることができる。

また、手ブレは、実際にはあらゆる方向に生じうるが、マトリクス状に配列されたすべての画素のあらゆる方向に補正処理を行うことは困難であるので、水平軸に対する補正対象角度（ブレ方向）を限定して行うことが処理速度向上の点から望ましい。
画素のマトリクスにおいて、ブレ方向が０度、±４５度、±９０度の角度では、容易に画素を選択でき、上記補正処理を行うことができる。また、マトリクスのＸ軸方向に２画素、Ｙ軸方向に１画素進んだ、または、後退した位置の画素を選択することで、±３０度のブレ方向に対して補正処理を行うことができ、マトリクスのＸ軸方向に１画素、Ｙ軸方向に２画素進んだ、または、後退した位置の画素を選択することで、±６０度のブレ方向に対して補正処理を行うことができる。
実験結果では、このように水平軸からの角度が０度、±３０度、±４５度、±６０度、±９０度のブレ方向に限定して（丸めて）補正処理を行った場合でも、ほぼ満足できる結果を得ることができた。

次に、図１１に関連付けて、水平軸からの角度（ブレ方向）が＋４５度である場合に、上述した補正処理を実際の画像に適用した処理について述べる。
図１１は、補正処理を実際の画像に適用した処理を説明するための図である。

この補正処理は、処理対象であるブレ画像を、順次水平方向に走査していくことで行う。
先ず、ブレ領域の長さがＮ個の画素数に相当した場合に、このＮ個の画素のデータを格納するための（２×Ｎ＋１）個のレジスタ（メモリ領域）をＣＰＵ１１内に設ける。
処理対象の画素（中心画素）を中心として、ブレ方向である＋４５度の方向に沿って、中心画素と両側Ｎ個の画素（計（２×Ｎ＋１）個の画素）のデータ（ＲＧＢの別および成分値）をＣＰＵ等の演算部１６内のレジスタに格納しておく。
図１１では、黒丸で示した画素（計（２×Ｎ＋１）個の画素）のデータがレジスタに格納される。

ここで、フィルタ処理によりフレーム内像ブレの補正を行う場合の撮像装置１０Ａ全体の動作を説明する。

図１２は、フィルタ処理によりフレーム内像ブレの補正を行う場合の動作を説明するためのフローチャートである。

撮影のモードが、手ブレ補正撮影ＯＮに設定されているとき、操作部１３のシャッターボタンが押されると、撮影制御部１２は撮像部１４に対し、撮影の指示を送る。
撮像部１４は、撮影制御に従い、動画像の連続した撮影を行い、順次メモリ１５に送る（ＳＴ２０１〜ＳＴ２０３）。
撮影画像Ｐ_ｎ-１，Ｐ_ｎがメモリ１５に記憶されると、その画像データをもとに、画像間の位置ズレ量を検出する（ＳＴ２０４，ＳＴ２０５）。
ステップＳＴ２０４においては、画像Ｐ_ｎ-１とＰ_ｎの位置ズレ量Ｖを、ブロックマッチング等の手法により検出する。
ステップＳＴ２０５においては、上記ステップＳＴ２０４で検出した位置ズレ量Ｖをもとにして、画像Ｐ_ｎ-１とＰ_ｎ間の位置ズレを補正する。
そして、ステップＳＴ２０６において、検出した動きベクトルＶの大きさと予め設定した閾値Ｔｈを比較する。
動きベクトルの大きさが閾値Ｔｈよりも大きければ、現画像に対してフィルタ処理を行う（ＳＴ２０７）。そして。フィルタ処理画像を現画像Ｐ_ｎとして出力する（ＳＴ２０８）。
一方、ステップＳＴ２０６で、検出した動きベクトルＶの大きさよりも閾値Ｔｈの方が大きければ、位置ズレを補正した画像を現画像Ｐ_ｎとして出力する（ＳＴ２０９）。
動画撮影指示中は、この撮影を繰り返し行う。

なお、位置ズレ量を手ブレの軌跡情報として、ウィナーフィルタなどの画像復元フィルタをかけることで、フレーム内のブレを修復するように構成することも可能である。

以上説明したように、本実施形態によれば、撮像装置１０，１０Ａは、連続撮影するフレーム間の位置ズレ量を検出し、検出した位置ズレ量があらかじめ設定した閾値よりも大きければ、現フレームと前フレーム画像を合成する演算部１６、もしくはフィルタ処理を行う演算部１６Ａを有し、エッジのはっきりした画像の合成比率を上げることで、フレーム内のブレを低減することができる。
すなわち、フレーム間の位置ずれを補正しつつ、さらにはフレーム内のブレをも低減した動画像を得ることが可能となる利点がある。

また位置ズレやブレに関して、第１の本実施形態では複数画像の差分画像から抽出しているが、パターンマッチングなどにより正確なズレ量を検出して合成比率を変化させたりすることも可能である。

本発明の第１の実施形態に係る画像処理装置を採用した撮像装置の構成例を示すブロック図である。 撮影した動画像を示す図である。 撮影した動画像に対して切り出し位置を変えることを模式的に示す図である。 フレーム内のブレを模式的に表した図である。 第１の実施形態の動作を説明するためのフローチャートである。 露光時間が異なる場合の説明図である。 露光時間の違いによるフレーム内像ブレの違いを説明するための図である。 日なたと日陰のような、画像中に明るいところと暗いところがある場合の例を示す図である。 本発明の第２の実施形態に係る画像処理装置を採用した撮像装置の構成例を示すブロック図である。 フィルタ処理を説明するための図である。 補正処理を実際の画像に適用した処理を説明するための図である。 フィルタ処理によりフレーム内像ブレの補正を行う場合の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・光学系、１２・・・撮影制御部、１３・・・操作部、
１４・・・撮像部、１５・・・メモリ、１６・・・演算部、１６１・・・ズレ量検出部、
１６２・・・合成部、１６３・・・フィルタ処理部、１７・・・記録部。

Claims (8)

1. 動画像の各フレーム間の像位置の差である像のズレを検出し、電子的に補正する画像処理装置であって、
   現フレームと前フレームの間の前記像のズレ検出量があらかじめ設定した閾値を上回るときには、フレーム内の露光中の像移動による像のブレの補正処理を行う補正手段
   を有する画像処理装置。
2. 前記補正手段は、
   前記現フレームと前記前フレームの画像を合成して前記像のブレの補正を行う
   請求項１記載の画像処理装置。
3. 前記補正手段は、
   前記画像の合成は、２枚のフレーム画像の差分画像を基に合成比率を決定する
   請求項２に記載の画像処理装置。
4. 前記補正手段は、
   前記現フレームと前記前フレームの画像の少なくとも一方に対するフィルタ処理により前記像のブレの補正を行う
   請求項１記載の画像処理装置。
5. 前記補正手段は、
   前記フィルタ処理において、前記像のズレ検出量によって係数を変える
   請求項４に記載の画像処理装置。
6. 前記フィルタ処理は、エッジ強調処理を含む
   請求項４または５に記載の画像処理装置。
7. 前記閾値は、動画撮像時の露光時間が短い場合は長い場合より大きい値に設定される
   請求項１から６のいずれか一に記載の画像処理装置。
8. 動画像の各フレーム間の像位置の差である像のズレを電子的に補正する画像処理方法であって、
   動画像の各フレーム間の像のズレを検出するステップと、
   現フレームと前フレームの間の前記像のズレ検出量があらかじめ設定した閾値とを比較するステップと、
   前記ズレ検出量が前記閾値を上回るときには、フレーム内の露光中の像移動による像のブレの補正処理を行うステップと
   を有する画像処理方法。

Images