JP2007179211A - 画像処理装置、画像処理方法、およびそのプログラム - Google Patents

Abstract

【課題】振動を伴って撮影されたときの画像を補正する際に強調されてしまうノイズを抑圧して画質の向上を行うことができる画像処理装置、画像処理方法、およびそのプログラムを提供すること。
【解決手段】振動の軌跡の特徴を表す特徴量を検出する特徴量検出部１０８と、振動の軌跡を表す軌跡データおよび画像を表す画像信号から補正信号を生成する補正信号生成部１０７と、補正信号生成部１０７によって生成された補正信号と画像信号とを演算する補正演算部１０３と、特徴量に応じたノイズ低減閾値を用いて、補正演算部１０３によって演算された画像信号のノイズを低減するノイズ低減部１０４とを備えて構成する。
【選択図】図１

Description

本発明は、撮像時の手ぶれによってぼけた画像を処理して補正する画像処理装置、画像処理方法、およびそのプログラムに関する。

従来の画像処理装置では、手ぶれなし画像をフーリエ変換したものと手ぶれ伝達関数のフーリエ変換の積を逆フーリエ変換したものが手ぶれ画像であるという原理に基づいて、手ぶれ画像の補正が行われている（例えば、特許文献１参照）。図１１は、手ぶれ画像を補正する従来の画像処理装置のブロック図である。図１２は、手ぶれの軌跡を表すデータ（以下、手ぶれ軌跡データという。）を空間的に表現した行列（以下、手ぶれ軌跡行列という。）について説明するための説明図である。

図１１において、撮像素子１１０１によって撮影され得られた画像は、画像データとして画像メモリ１１０２に記憶される。そして、ＦＦＴ回路１１０３にて画像データが周波数領域に高速フーリエ変換（Fast Fourier Transform）され、除算部１１０７に供給される。一方、手ぶれ軌跡データ記憶部１１０４に記憶された手ぶれ軌跡データが読み出され、読み出された手ぶれ軌跡データは、手ぶれ軌跡データ変換部１１０５を経てＦＦＴ回路１１０６にて周波数領域に高速フーリエ変換される。

図１２に示した手ぶれ軌跡行列は、水平方向３画素、垂直方向３ラインぶれている手ぶれ軌跡データを表しており、数値は軌跡の重みの割合を％で示している。数値が記載されていない領域の手ぶれ軌跡の重みは０％である。また、図１２に示した手ぶれ軌跡行列の例では、軌跡の始点は、手ぶれ軌跡行列の左下に配置された４０％の部分であり、軌跡の終点が手ぶれ軌跡行列が右上に配置された１０％の部分である。

そして、手ぶれ画像が拡大された場合には、手ぶれ軌跡データの倍率も一致させておく必要がある。即ち、手ぶれ軌跡行列の要素（以降、重みと呼ぶ）をＫ（ｘ，ｙ）とすれば、手ぶれ画像がｍ倍拡大されたときには、手ぶれ軌跡データ変換部１１０５は、手ぶれ軌跡データＫ'（ｘ，ｙ）をＫ（ｘ／ｍ，ｙ／ｍ）で変換算出し、Ｋ'（ｘ，ｙ）をＦＦＴ回路１１０６に出力する。

除算部１１０７は、周波数領域に高速フーリエ変換された画像データを、周波数領域に変換された手ぶれ軌跡データで割ることにより、周波数領域における手ぶれ補正画像データとして出力する。逆ＦＦＴ回路１１０８は、手ぶれ補正画像データを実空間に逆高速フーリエ変換し、画像表示部１１０９は補正画像を表示する。

以上のように、従来の画像処理装置は、高速フーリエ変換、逆高速フーリエ変換を行うことにより手ぶれ画像の補正を行うことができる。このような変換処理は、手ぶれにより失われた高周波成分を逆フィルタにより付加させる処理であり、逆フィルタとしては一般的に逆高速フーリエ変換のほかにウィナーフィルタなどが知られている。

また、別の従来の技術例として、ノイズ低減を行う従来の画像処理装置のブロック図を図１４に示す。

図１４に示した従来の画像処理装置は、被写体を撮影する撮像素子１４０１、画像信号をディジタル信号に変換するＡ／Ｄ変換器１４０２、カメラ信号処理部１４０３、画像信号の動きを検出する動き検出部１４０４、動き検出の結果に基づいて画像信号の動きを補正する動き補正部１４０５、動き検出結果に基づいてカメラ信号処理部１４０３の動き補正されていない画像信号と動き補正部１４０５の動き補正された画像信号とのどちらかを選択して出力する信号選択スイッチ１４０６、動き補正された信号について動き検出結果に基づいて画像信号のノイズを低減するノイズ低減部１４０７、ノイズ低減された画像信号を表示する表示部１４０８から構成されている（例えば、特許文献２参照）。

また、動き検出部１４０４では、前フィールドと現フィールドの画像信号の差分処理を行い、両者の画像信号レベルの差が大きければ動きがあると判定される。動きがあると判定されたとき、動き補正部１４０５は、画像信号の動きを補正し、信号選択スイッチ１４０６は、動き補正された信号を出力する。

次に、動き補正された画像信号は、ノイズ低減部１４０７によってノイズ低減され、ノイズ低減部１４０７は、前フィールドと現フィールドの画像信号の差分値の絶対値を積分した値を評価尺度にし、動きが小さければノイズを多く除去する制御を行う。
特許第３０９６５２１号公報 特開平１０−１３７３４号公報

しかしながら、図１１に示した従来の画像処理装置は、撮像素子のノイズが重畳された手ぶれ画像に対して高周波成分を付加することになるため、ノイズが強調されるという課題がある。

図１３は、従来の画像処理装置の課題について説明するための説明図であり、図１３（ａ）は手ぶれ伝達関数の特性の一例、図１３（ｂ）は逆フィルタの周波数特性の一例である。図１３（ａ）、図１３（ｂ）とも水平軸は周波数、垂直軸は振幅特性のゲインを示すものであり、図１３（ａ）では手ぶれにより高周波側が失われているが、図１３（ｂ）では高周波成分のゲインを上げる特性になっている。

また、図１３（ｃ）〜（ｅ）は手ぶれ伝達関数による手ぶれ画像の生成と、逆フィルタによる手ぶれ画像補正の説明を波形で示したものであり、波形の水平方向は空間の方向、垂直方向は画像信号のレベルを表すものとする。

図１３（ｃ）に示した、手ぶれの無い画像の波形は、図１３（ａ）の特性となる手ぶれ伝達関数により、図１３（ｄ）に示した波形となり、濃度勾配が緩やかになるとともに、撮像素子のノイズが重畳された波形になっている。図１３（ｂ）の逆フィルタを施すと図１３（ｅ）のように濃度勾配は急峻になり手ぶれ補正がされるが、濃度勾配が急峻になる一方でノイズの高周波成分も強調されてしまい、画像が見苦しくなる。

一方、図１４に示した従来の画像処理装置は、ノイズ低減を行う制御を前フィールドと現フィールドとの差分の絶対値を積分した値によって行うため、手ぶれ発生の過程（即ち手ぶれの軌跡）を反映させることをしていないため、ノイズ低減の性能向上の余地がある。また動きが小さい部分に対してノイズを多く除去する制御は、視覚的に目立たない動画に対しては効果があるが、静止画の補正に関しては、図１１に示した従来の画像処理装置にノイズ低減制御を適用した場合になると、高周波を強調するためノイズが大きくなり、目立ってしまう。また、前フィールドと現フィールドを使用することによりフィールドメモリが必要となるため、１つの静止画のみを処理したい用途でも回路規模が大きくなってしまう。

本発明は、上述した課題を解決するもので、振動を伴って撮影されたときの画像を補正する際に強調されてしまうノイズを抑圧して画質の向上を行うことを目的とした画像処理装置、画像処理方法、およびそのプログラムを提供するものである。

本発明の画像処理装置は、振動を伴って撮影して得られた画像を処理する画像処理装置であって、前記振動の軌跡の特徴を表す特徴量を検出する特徴量検出部と、前記振動の軌跡を表す軌跡データおよび前記画像を表す画像信号から補正信号を生成する補正信号生成部と、前記補正信号生成部によって生成された補正信号と前記画像信号とを演算する補正演算部と、前記特徴量に応じたノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減するノイズ低減部とを備えた構成を有している。

この構成により、振動の軌跡の特徴を表す特徴量に応じたノイズ低減閾値を用いて画像信号のノイズを低減するため、振動を伴って撮影されたときの画像を補正する際に強調されてしまうノイズを抑圧して画質の向上を行うことができる。

本発明の画像処理装置は、前記特徴量検出部が、前記軌跡上にある各位置の重みの合計に対し重みの最大値が占める割合から求まる特徴量を検出し、前記ノイズ低減部は、前記割合が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する構成を有している。

この構成により、軌跡上にある各位置の重みの合計に対し重みの最大値が占める割合が小さくなるにつれて大きくなるノイズ低減閾値を用いて画像信号のノイズを低減するため、重みが特定の位置に集中している場合と重みが均一にばらついている場合それぞれに対し、より自然に画像が補正され、ノイズの少ない画質を提供することができる。

本発明の画像処理装置は、前記特徴量検出部が、前記軌跡上の各位置の重みの分散から求まる特徴量を検出し、前記ノイズ低減部は、前記分散が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する構成を有している。

この構成により、分散が小さくなるにつれて大きくなるノイズ低減閾値を用いて画像信号のノイズを低減するため、軌跡の重みの集中・均等度合検出を行って補正の制御を行うため自然に画像が補正され、ノイズの少ない画質を提供することができる。

本発明の画像処理装置は、前記特徴量検出部が、前記軌跡の長さを特徴量として検出し、前記ノイズ低減部は、前記軌跡の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する構成を有している。

この構成により、軌跡の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて画像信号のノイズを低減するため、ノイズの少ない画像にして画質を向上できる。

本発明の画像処理装置は、前記特徴量検出部が、前記軌跡上にある最大値の重みをもつ位置から前記軌跡の重心位置までの距離を特徴量として検出し、前記ノイズ低減部は、前記距離の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する構成を有している。

この構成により、軌跡上にある最大値の重みをもつ位置から軌跡の重心位置までの距離の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、画像信号のノイズを低減するため、ノイズの少ない画像により良く画質を向上できる。

本発明の画像処理装置は、前記ノイズ低減部が、前記ノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のうち高周波成分にあるノイズを低減する構成を有している。

この構成により、補正画像の高周波成分のノイズを低減することによって、低周波領域の減衰による画像のぼけを防ぐことができ、かつノイズの少ない輪郭の鮮鋭化を図ることができる。

本発明の画像処理方法は、振動を伴って撮影して得られた画像を処理する画像処理方法であって、制御部が前記振動の軌跡の特徴を表す特徴量を検出する特徴量検出ステップと、前記制御部が前記振動の軌跡を表す軌跡データおよび前記画像を表す画像信号から補正信号を生成する補正信号生成ステップと、前記制御部が前記補正信号生成ステップで生成された補正信号と前記画像信号とを演算する補正演算ステップと、前記制御部が、前記特徴量に応じたノイズ低減閾値を用いて、前記補正演算ステップで演算された画像信号のノイズを低減するノイズ低減ステップとを備えている。

この方法により、振動の軌跡の特徴を表す特徴量に応じたノイズ低減閾値を用いて画像信号のノイズを低減するため、振動を伴って撮影されたときの画像を補正する際に強調されてしまうノイズを抑圧して画質の向上を行うことができる。

本発明の画像処理方法は、前記特徴量検出ステップで、前記軌跡上にある各位置の重みの合計に対し重みの最大値が占める割合から求まる特徴量を検出し、前記ノイズ低減ステップで、前記割合が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する。

この方法により、軌跡上にある各位置の重みの合計に対し重みの最大値が占める割合が小さくなるにつれて大きくなるノイズ低減閾値を用いて画像信号のノイズを低減するため、重みが特定の位置に集中している場合と重みが均一にばらついている場合それぞれに対し、より自然に画像が補正され、ノイズの少ない画質を提供することができる。

本発明の画像処理方法は、前記特徴量検出ステップで、前記軌跡上の各位置の重みの分散から求まる特徴量を検出し、前記ノイズ低減ステップで、前記分散が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する。

この方法により、分散が小さくなるにつれて大きくなるノイズ低減閾値を用いて画像信号のノイズを低減するため、軌跡の重みの集中・均等度合検出を行って補正の制御を行うため自然に画像が補正され、ノイズの少ない画質を提供することができる。

本発明の画像処理方法は、前記特徴量検出ステップで、前記軌跡の長さを特徴量として検出し、前記ノイズ低減ステップで、前記軌跡の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する。

この方法により、軌跡の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて画像信号のノイズを低減するため、ノイズの少ない画像にして画質を向上できる。

本発明の画像処理方法は、前記特徴量検出ステップで、前記軌跡上にある最大値の重みをもつ位置から前記軌跡の重心位置までの距離を特徴量として検出し、前記ノイズ低減ステップで、前記距離の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減する。

この方法により、軌跡上にある最大値の重みをもつ位置から軌跡の重心位置までの距離の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、画像信号のノイズを低減するため、ノイズの少ない画像により良く画質を向上できる。

本発明の画像処理方法は、前記ノイズ低減ステップで、前記ノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のうち高周波成分にあるノイズを低減する。

この方法により、補正画像の高周波成分のノイズを低減することによって、低周波領域の減衰による画像のぼけを防ぐことができ、かつノイズの少ない輪郭の鮮鋭化を図ることができる。

以上のように本発明は、撮影者が撮影したときの振動の軌跡を表す重みの偏りや長さなどから振動の軌跡の特徴を表す特徴量を求め、特徴量によって決まるノイズ低減閾値で、手ぶれのある画像のノイズを低減するため、振動を伴って撮影されたときの画像を補正する際に強調されてしまうノイズを抑圧して画質の向上を行うことができる画像処理装置、画像処理方法、およびそのプログラムを提供するものである。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。

（本発明の第１の実施の形態）
本発明の第１の実施の形態に係る画像処理装置のブロック図を図１に示す。図１に示した画像処理装置は、撮影して画像を生成する撮像素子１０１、撮像素子１０１から得られた画像信号を格納する画像メモリ１０２、画像メモリ１０２から読み出された画像信号に対し手ぶれ補正信号を用いて演算を行う補正演算部１０３、手ぶれ補正画像のノイズ低減を行うノイズ低減部１０４、および、ノイズ低減された画像の表示を行う画像表示部１０５によって構成される。

さらに、図１に示した画像処理装置は、手ぶれ軌跡データ記憶部１０６に格納されている手ぶれ軌跡データから軌跡の特徴量を検出する特徴量検出部１０８、手ぶれ軌跡データから手ぶれ軌跡行列を生成し、手ぶれ軌跡行列と手ぶれ画像とから補正を行うための手ぶれ補正信号を生成する補正信号生成部１０７から構成される。

なお、補正演算部１０３、ノイズ低減部１０４、補正信号生成部１０７、および特徴量検出部１０８は、集積回路で構成されていてもよい。また、本発明の第１の実施の形態における画像処理装置にＣＰＵ等の制御部を設けた場合、補正演算部１０３、ノイズ低減部１０４、補正信号生成部１０７、および特徴量検出部１０８は、制御部が実行するプログラムのモジュールとして構成されていてもよい。

ここで、本発明の第１の実施の形態における画像処理装置の動作を以下に説明する。図２は、本発明の第１の実施の形態における画像処理装置が処理する画像の波形について説明するための図である。図３は、手ぶれ軌跡データ記憶部１０６に格納されている手ぶれ軌跡行列の例を示す図である。

まず、手ぶれのない状態で撮像されたときの一次元の画像信号を表したものが図２（ａ）であり、図２では水平方向は空間の方向、垂直方向は画像信号のレベルを表すものとする。手ぶれのある状態の画像信号を表したものが、図２（ｂ）であり、手ぶれによって画像信号の勾配が図２（ａ）と比較して変化している。また、図２（ｂ）の画像信号は、撮像素子１０１から得られ、画像メモリ１０２に格納されているものとする。

一方、撮像素子１０１が画像信号を生成している間、手ぶれ軌跡データが、手ぶれを検出する図示しない手段から手ぶれ軌跡データ記憶部１０６に記憶される。また、手ぶれ軌跡データ記憶部１０６から、図３に示した手ぶれ軌跡データが読み出されるものとする。

ここで、図３（ａ）には、一例として、手ぶれが左下から左上の方向に発生し、左下の重み６０が起点、左上の重み２２６が終点であり、水平１画素分の手ぶれ、垂直６画素分の手ぶれを表した手ぶれ軌跡行列を示す。また、もう１つの例として、図３（ｂ）には、手ぶれが左上から右下の方向に発生し、左上の重み１８が起点で、右下の重み２８が終点であり、水平５画素分の手ぶれ、垂直８画素分の手ぶれを表した手ぶれ軌跡行列を示す。例えば、重みは、露光時間中に静止していた時間を表しており、各重みの数値は、単位時間を基準として表している。

次に、補正信号生成部１０７は、手ぶれ軌跡データ記憶部１０６から読み出した手ぶれ軌跡データ（手ぶれ軌跡行列）に基づいて手ぶれ補正行列を求め、手ぶれ補正行列を用いて、画像メモリ１０２から読み出した手ぶれ画像を表す画像信号を処理し、図２（ｃ）に示した補正波形を表す補正信号を生成する。なお、手ぶれ補正行列の求め方としては、図３の既知の手ぶれ軌跡行列の重み即ち係数と、未知の手ぶれ補正行列の係数との畳み込み演算結果がデルタ関数になる条件で連立方程式を組み立て、この連立方程式を解いて手ぶれ補正行列の係数を求める方法や、手ぶれ軌跡行列と同じ大きさで規定するデルタ関数をフーリエ変換し、フーリエ変換した結果を手ぶれ軌跡行列のフーリエ変換した結果で割り、その商を逆フーリエ変換して求める方法などがあるが、これらの方法に限定するものではない。

補正演算部１０３は、図２（ｂ）に示した手ぶれのある状態を表す画像信号と、図２（ｃ）に示した補正波形を表す補正信号とを加算した図２（ｄ）に示した補正済み波形を表す画像信号をノイズ低減部１０４に出力する。なお、補正演算部１０３は、手ぶれ画像を表す画像信号と補正波形を表す補正信号とを加算するようにしているが、補正演算部１０３が行う演算は加算に限定されることはない。

ここで、特徴量検出部１０８は、手ぶれ軌跡データ記憶部１０６から読み出した手ぶれ軌跡データに基づいて特徴量を求める。例えば、特徴量検出部１０８は、手ぶれの長さや、手ぶれに係る重みの均等を表す特徴量を手ぶれ軌跡行列から検出する。なお、特徴量の求め方については、本発明の第２以降の実施の形態で詳細に説明する。

ノイズ低減部１０４は、補正演算部１０３から出力された手ぶれ補正画像を表す画像信号に対し、ノイズ低減閾値でノイズ低減を行う。ノイズ低減を行った結果は、図２（ｅ）に示すような手ぶれ補正画像波形となる。なお、ノイズ低減については、本発明の第６の実施の形態で詳細に説明する。

また、ノイズ低減閾値は、特徴量検出部１０８から出力された特徴量に応じて決まる。例えば、特徴量とノイズ低減閾値との対応関係が、図４に示すような、増加関数となる一次関数で表されており、このような一次関数からノイズ低減閾値が決まる。なお、特徴量が大きくなるにつれてノイズ低減閾値ＴＨを大きくするならば、両者の関係は一次関数に限定されることはない。また、ノイズ低減閾値の決定は、ノイズ低減部１０４によって行われてもよいし、特徴量検出部１０８によって行われてもよい。

ここで、図１０に、本発明の実施の形態に係る画像処理装置が処理するプログラムのフローチャートを示す。

まず、撮影者が画像処理装置で撮影したとき、補正信号生成部１０７は、画像メモリ１０２から読み出した手ぶれ画像を表す画像信号を取得すると共に、手ぶれ軌跡データ記憶部１０６から露光時間中に得られた手ぶれ軌跡データを取得する（ステップＳ１００１）。

次に、補正信号生成部１０７は、取得した手ぶれ軌跡データから、手ぶれ補正を行うための手ぶれ補正行列等の補正関数を生成する（ステップＳ１００２）。さらに、補正信号生成部１０７は、生成した手ぶれ補正関数と手ぶれ画像を表す画像信号とから、図２（ｃ）に示した補正波形を表す手ぶれ補正信号を生成し、図２（ｂ）に示した手ぶれのある状態を示す波形を表す画像信号と、図２（ｃ）に示した補正波形を表す画像信号とを加算した図２（ｄ）に示した補正済み波形を表す手ぶれ補正画像の信号を得る（ステップＳ１００３）。

一方、特徴量検出部１０８は、手ぶれ軌跡データ記憶部１０６に格納されている手ぶれ軌跡データから軌跡の特徴量を検出する（ステップＳ１００４）。なお、特徴量を検出するステップにおいては、手ぶれの長さや、手ぶれに係る重みの均等を表す特徴量が、手ぶれ軌跡行列から検出される。

次に、特徴量検出部１０８またはノイズ低減部１０４は、手ぶれ補正画像のノイズが低減できるよう、図４に示す特性からノイズ低減閾値ＴＨを特定し（ステップＳ１００５）、ノイズ低減部１０４は、ノイズ低減閾値ＴＨを用いてステップＳ１００３で得られた手ぶれ補正画像を表す画像信号に対してノイズ低減を行う（ステップＳ１００６）。

以上説明したように、本発明の第１の実施の形態では、撮影者が撮影したときの手ぶれの軌跡を表す重みの偏りや長さなどから軌跡の特徴量を求め、特徴量によって決まるノイズ低減閾値で、振動を伴って撮影されたときの画像を補正する際に強調されてしまうノイズを低減することで手ぶれのある画像を補正するため、手ぶれ補正時に強調されてしまうノイズを抑圧して画質の向上を行うことができる。

（本発明の第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置のブロック図は、図１と同様であり、本発明の第２の実施の形態に係る特徴量検出部のブロック図を図５に示し、図３に示した２つの手ぶれ軌跡行列の特徴量について説明する。

図５に示した特徴量検出部は、手ぶれ軌跡行列中の最大重みを検出する最大重み検出部５０１、手ぶれ軌跡行列の全ての重みを合計する重み合計算出部５０２、および、最大重みと重みの合計とから最大の重みが全体重み合計に対しどれだけの割合かを算出する最大重み割合算出部５０３によって構成される。

図５に示した特徴量検出部が手ぶれ軌跡重み合計に対する最大重みの割合により特徴量を算出する方法について説明する。図３に示した重みＡは、最大重み検出部５０１によって検出される各手ぶれ軌跡行列の最大重みを示し、重みＢは、軌跡中の最大重みを除いた各手ぶれ軌跡行列の重心位置を示している。

ここで、手ぶれ軌跡の各重みをＫ（ｉ，ｊ）（ｉ，ｊ：水平の位置、垂直の位置）とすると、手ぶれ軌跡重み合計に対する最大重みの割合は、以下の式１で表される。最大重み割合算出部５０３は、式１を用いて最大重みの割合を算出する。

（Ｋ（ｉ，ｊ）の最大値）／ΣＫ（ｉ，ｊ）・・・（式１）
また、図３（ａ）、（ｂ）の軌跡の最大重みの割合をそれぞれＴａ、Ｔｂとすると、Ｔａ、Ｔｂは、式１に当てはめてそれぞれ以下の式２、式３のようになる。

Ｔａ＝２２６／（２２６＋５５＋...＋１６＋６０＋６０）＝０．３４・・・（式２）
Ｔｂ＝５２／（１８＋３２＋３０＋...５２＋２２＋２８）＝０．１５・・・（式３）
図３（ａ）の手ぶれ軌跡行列の方が軌跡の重みが最大重みに集中し、図３（ｂ）の手ぶれ軌跡行列については軌跡が均一に近くなっているのが判る。従って、図４に示したように、特徴量とノイズ低減閾値ＴＨとの関係において、重み均一に近くなるときはノイズを抑える、即ち特徴量Ｔ１（＝１／Ｔａ）＜特徴量Ｔ２（＝１／Ｔｂ）のときＴＨ１＜ＴＨ２となるように、ノイズ低減閾値ＴＨが決まる。

以上説明したように、本発明の第２の実施の形態では、検出された最大重みの割合の逆数とノイズ低減閾値ＴＨとの関係を、最大重み割合の逆数が大きくなる、つまり最大重みの割合が小さくなるにつれてノイズ低減閾値ＴＨを大きくすることにより、特に図３（ｂ）のような重みの均一な手ぶれ軌跡でも、ノイズ低減閾値ＴＨを図３の（ａ）のときよりも大きくすることにより、図２（ａ）のような手ぶれのない波形に類似させることができ、ノイズを抑圧して画質の向上を行うことができる。

（本発明の第３の実施の形態）
本発明の第３の実施の形態に係る画像処理装置のブロック図は、図１と同様であり、本発明の第３の実施の形態に係る特徴量検出部のブロック図を図６に示し、図３に示した２つの手ぶれ軌跡行列の特徴量について説明する。

図６に示した特徴量検出部は、手ぶれ軌跡行列中の重みの総数を計数する軌跡重み計数部６０１、手ぶれ軌跡行列の全ての重みを合計し、軌跡重み計数部６０１の出力から全重みの平均値を算出する重み平均算出部６０２、および、重みの総数と重みの平均とから重みの分散を算出する重み分散算出部６０３によって構成される。

図６に示した特徴量検出部が手ぶれ軌跡の分散により特徴量を算出する方法について説明する。手ぶれ軌跡の各重みをＫ（ｉ，ｊ）（ｉ，ｊ：水平の位置、垂直の位置）とすると、手ぶれ軌跡の重みの分散は、以下の式４で表される。重み分散算出部６０３は、式４を用いて分散を算出する。

Σ（Ｋ（ｉ，ｊ）−（Ｋ（ｉ，ｊ）の平均値））^２／Ｋ（ｉ，ｊ）の総数・・・（式４）
図３（ａ）、（ｂ）の手ぶれ軌跡の重みの分散をＴａ、Ｔｂとすると、Ｔａ＝３０９５、Ｔｂ＝２０５となりＴａ＞Ｔｂとなるため、図３（ａ）の手ぶれ軌跡行列の方の重みの分散値が大きいため重みが特定の位置に集中し、図３（ｂ）の手ぶれ軌跡行列については軌跡が均一に近くなっているのが判る。従って、図４に示したように、特徴量とノイズ低減閾値ＴＨとの関係において、重み均一に近くなるときはノイズを抑える、即ち特徴量Ｔ１（＝１／Ｔａ）＜特徴量Ｔ２（＝１／Ｔｂ）のときＴＨ１＜ＴＨ２となるように、ノイズ低減閾値ＴＨが決まる。

以上説明したように、本発明の第３の実施の形態では、重みの分散の逆数とノイズ低減のためのノイズ低減閾値ＴＨとの関係を、重みの分散が小さくなるにつれて、ノイズ低減閾値ＴＨを大きくすることにより、図３の（ｂ）のような手ぶれ軌跡でも、図２（ａ）の手ぶれのおきていない波形に類似させることができ、従来よりノイズの少ない手ぶれ補正画像を提供することができる。

（本発明の第４の実施の形態）
本発明の第４の実施の形態に係る画像処理装置のブロック図は、図１と同様であり、本発明の第４の実施の形態に係る特徴量検出部のブロック図を図７に示し、図３に示した２つの手ぶれ軌跡行列の特徴量について説明する。

図７に示した特徴量検出部は、手ぶれ軌跡行列にて水平方向の重みが存在する幅を検出する軌跡水平幅検出部７０１、手ぶれ軌跡行列にて垂直方向の重みが存在する幅を検出する軌跡垂直幅検出部７０２、および、軌跡水平幅検出部７０１と軌跡垂直幅検出部７０２から出力されたそれぞれの幅から軌跡の長さを算出する軌跡長算出部７０３によって構成される。

図７に示した特徴量検出部が手ぶれ軌跡の長さにより特徴量を算出する方法について説明する。手ぶれ軌跡の各重みをＫ（ｉ，ｊ）（ｉ，ｊ：水平の位置、垂直の位置）とすると、手ぶれ軌跡の長さは、以下の式５で表される。軌跡長算出部７０３は、式５を用いて軌跡の長さを算出する。

（（Ｋ（ｉ，ｊ）の水平変位幅）^２＋（Ｋ（ｉ，ｊ）の垂直変位幅）^２）^１／２・・・（式５）
図３（ａ）、（ｂ）のそれぞれの手ぶれ軌跡の長さをＴａ、Ｔｂとする。図３（ａ）では、水平１画素分の手ぶれであるため水平変位幅を１とし、垂直６画素分の手ぶれであるため垂直変位幅を６とし、式５に当てはめて以下の式６のようになる。図３（ｂ）では、水平５画素分の手ぶれであるため水平変位幅を５とし、垂直８画素分の手ぶれであるため垂直変位幅を８とし、式５に当てはめて以下の式７のようになる。

Ｔａ＝（１^２＋６^２）^１／２＝６．０８・・・（式６）
Ｔｂ＝（５^２＋８^２）^１／２＝９．４３・・・（式７）
長さＴｂが長さＴａより長いため、Ｔａ＜Ｔｂである。軌跡が長いとき、手ぶれ補正画像のノイズを抑えるようにノイズ低減閾値ＴＨを上げる、即ち特徴量Ｔ１（＝Ｔａ）＜特徴量Ｔ２（＝Ｔｂ）のときＴＨ１＜ＴＨ２となるように、ノイズ低減閾値ＴＨが決まる。

以上説明したように、本発明の第４の実施の形態では、軌跡の長さとノイズ低減閾値ＴＨとの関係を、手ぶれ軌跡の長さが長くなるにつれてノイズ低減閾値ＴＨを大きくすることにより、図３（ｂ）のような手ぶれ軌跡でも、図２（ａ）のような手ぶれのおきていない波形に類似させることができ、ノイズを抑圧して画質の向上を行うことができる。なお、本実施の形態では、水平変位幅、垂直変位幅を例としたが、軌跡長として手ぶれ軌跡行列の水平、垂直の大きさ（図３（ｂ）では水平６画素、垂直９画素）としてもよい。

（本発明の第５の実施の形態）
本発明の第５の実施の形態に係る画像処理装置のブロック図は、図１と同様であり、本発明の第５の実施の形態に係る特徴量検出部のブロック図を図８に示し、図３に示した２つの手ぶれ軌跡行列の特徴量について説明する。

図８に示した特徴量検出部は、手ぶれ軌跡行列中の最大重みの位置を検出する最大重み位置検出部８０１、手ぶれ軌跡行列にて最大重みを除いた軌跡にて重心の位置を検出する重心位置検出部８０２、および、最大重み位置検出部８０１と重心位置検出部８０２から出力されたそれぞれの位置から両者の距離を算出する距離算出部８０３によって構成される。

図８に示した特徴量検出部が手ぶれ軌跡の最大重み位置と軌跡の最大重みを除いた手ぶれ軌跡の重心との距離で表した特徴量を算出する方法について説明する。手ぶれ軌跡の各重みをＫ（ｉ，ｊ）（ｉ，ｊ：水平の位置、垂直の位置）とし、図３（ａ）、（ｂ）のそれぞれの特徴量をＴａ、Ｔｂとすると、特徴量Ｔａは、本発明の第２の実施の形態で説明したように最大重みがＫ（０，０）、重心位置がＫ（１，３）であるため、以下の式８のようになり、特徴量Ｔｂは、最大重みがＫ（４，７）、重心位置がＫ（２，４）であるため、以下の式９のようになる。

Ｔａ＝Ｋ（０，０）とＫ（１，３）との距離＝（１^２＋３^２）^１／２＝３．１６・・・（式８）
Ｔｂ＝Ｋ（４，７）とＫ（２，４）との距離＝（２^２＋３^２）^１／２＝３．６１・・・（式９）
Ｔａ＜Ｔｂとなるため、最大重みと重心位置との距離が長いときに、手ぶれ補正画像のノイズが目立たないようにノイズ低減閾値ＴＨを上げる、即ち特徴量Ｔ１（＝Ｔａ）＜特徴量Ｔ２（＝Ｔｂ）のときＴＨ１＜ＴＨ２になるように、ノイズ低減閾値ＴＨが決まる。

以上説明したように、本発明の第５の実施の形態では、軌跡の最大重みの位置と最大重みを除いた軌跡の重心位置との両者の距離とノイズ低減閾値ＴＨとの関係を、距離が長くなるにつれてノイズ低減閾値ＴＨを大きくすることにより、図３（ｂ）のような手ぶれ軌跡でも、図２（ａ）のような手ぶれのおきていない波形に類似させることができ、ノイズを抑圧して画質の向上を行うことができる。

（本発明の第６の実施の形態）
本発明の第６の実施の形態に係る画像処理装置のブロック図は、図１と同様であり、本発明の第６の実施の形態に係るノイズ低減部のブロック図と動作説明図を図９に示す。

図９（ａ）に示したノイズ低減部は、図１の補正演算部１０３から出力される手ぶれ補正画像を表す画像信号に対して低周波成分を抜き出すローパスフィルタ９０１、手ぶれ補正画像を表す画像信号に対して高周波成分を抜き出すハイパスフィルタ９０２、ハイパスフィルタ９０２によって抜き出された画像を表す画像信号に対してノイズ低減を行うコアリング回路９０３、および、手ぶれ補正画像を表す画像信号の低周波成分とノイズ低減された高周波成分とを加算して得られた画像を図１の画像表示部１０５に出力する加算器９０４によって構成される。

ローパスフィルタ９０１は、画像の２次元空間特性として伝達関数Ｈ（ｚ₁,ｚ_２）を用いて低周波成分を抜き出すようになっている。なお、ｚ１を水平周波数成分とし、ｚ２を垂直周波数成分とする。

また、ハイパスフィルタ９０２は、伝達関数１−Ｈ（ｚ₁,ｚ_２）を用いて高周波成分を抜き出すようにすることによって、加算器９０４が両フィルタの出力信号を加算したときにフィルタ処理前の手ぶれ補正画像を表す画像信号になるように、それぞれのフィルタの通過帯域が定められている。

図９（ｂ）は、コアリング回路９０３の動作の一例を示した図である。なお、ノイズ低減閾値ＴＨの決定方法については、本発明の第１〜５の実施の形態に基づいて求められた特徴量に応じてノイズ低減閾値ＴＨが決まる。例えば、図４に示したように、特徴量が大きくなるにつれてノイズ低減閾値ＴＨを大きくして振幅の大きなノイズに対して低減できるように、ノイズ低減閾値ＴＨが決まる。

コアリング回路９０３には、ハイパスフィルタ９０２によって出力された画像信号が入力されたとき、コアリング回路９０３は、入力された画像信号の信号レベルが−ＴＨより大きく、ＴＨより小さい場合、画像信号を０として出力する。

また、入力された画像信号の信号レベルが−ＴＨ以下の場合、コアリング回路９０３は、入力された画像信号に対して信号レベルＴＨを加えた画像信号を出力する。入力された画像信号の信号レベルがＴＨ以上の場合、コアリング回路９０３は、入力された画像信号に対して信号レベルＴＨを減らした画像信号を出力する。

以上説明したように、本発明の第６の実施の形態に係るノイズ低減部では、特徴量が大きくなるにつれてノイズ低減閾値ＴＨを大きくして振幅の大きなノイズを低減でき、図２（ａ）に示した手ぶれのおきていない波形に類似させることができ、ノイズを抑圧して画質の向上を行うことができる。

また、本発明の第６の実施の形態に係るノイズ低減部は、特徴量が大きくなるにつれてノイズ低減閾値ＴＨを大きくするようにし、高周波成分のノイズを重点的に低減し、低周波成分のノイズを低減しない、すなわち、低周波成分におけるノイズ低減閾値（ノイズ低減閾値＝０）よりもこれは高周波成分におけるノイズ低減閾値を大きくする。従って、本発明の第６の実施の形態に係るノイズ低減部で、手ぶれ補正が行われても鮮鋭感がある画像が得られ、ノイズを抑圧して画質の向上を行うことができる。なお、本実施の形態では、高周波成分のみのノイズを低減する例を示したが、低周波側画像信号に対してノイズ低減を行ってもよい。

以上、本発明の実施の形態に係る画像処理装置は、種々の軌跡中の重み分布や長さに関するパラメータを用いて手ぶれ補正のノイズ低減閾値を決めることにより、軌跡の重みが均一に近い場合や軌跡が長い場合には、手ぶれ補正画像の鮮鋭感を失うことなくノイズを抑えることができる。

なお、本発明の第２〜５の実施の形態では、それぞれ単独に特徴量を検出しているが、複数の特徴量からノイズ低減閾値ＴＨを決めるようにしてもよい。例えば、本発明の第２の実施の形態で説明した手ぶれ軌跡の最大重みの割合と本発明の第４の実施の形態で説明した手ぶれ軌跡の長さとを組み合わせ、最大重みの割合と軌跡の長さとを対応させたノイズ低減閾値を求めてもよい。また、本発明の実施の形態に係る補正演算部が、手ぶれ補正信号を演算する対象については、手ぶれ画像を表す画像信号であるが、これに限定することなくレンズ撮像素子を移動する光学的な手ぶれ補正を行った画像に対して、補正するための演算を行うようにしてもよい。

本発明は、撮影者が撮影したときの手ぶれの軌跡を表す重みの偏りや長さなどから軌跡の特徴量を求め、特徴量によって決まるノイズ低減閾値で、手ぶれのある画像のノイズを低減するため、手ぶれ補正時に強調されてしまうノイズを抑圧して画質の向上を行うことができるという効果を有し、撮像時の手ぶれによってぼけた画像を画像処理して補正する画像処理装置などに有用である。

本発明の第１の実施の形態に係る画像処理装置のブロック図 本発明の第１の実施の形態における画像処理装置が処理する画像の波形について説明するための図 手ぶれ軌跡データ記憶部に格納されている手ぶれ軌跡行列の例を示す図 本発明の実施の形態における特徴量とノイズ低減閾値との関係を説明するための図 本発明の第２の実施の形態に係る特徴量検出部のブロック図 本発明の第３の実施の形態に係る特徴量検出部のブロック図 本発明の第４の実施の形態に係る特徴量検出部のブロック図 本発明の第５の実施の形態に係る特徴量検出部のブロック図 本発明の第６の実施の形態に係るノイズ低減部のブロック図と動作説明図 本発明の実施の形態に係る画像処理装置が処理するプログラムのフローチャート 手ぶれ画像を補正する従来の画像処理装置のブロック図 手ぶれの軌跡を表す手ぶれ軌跡データを空間的に表現した手ぶれ軌跡行列を説明するための説明図 従来の画像処理装置の課題について説明するための説明図 ノイズ低減を行う従来の画像処理装置のブロック図

符号の説明

１０１ 撮像素子
１０２ 画像メモリ
１０３ 補正演算部
１０４ ノイズ低減部
１０５ 画像表示部
１０６ 手ぶれ軌跡データ記憶部
１０７ 補正信号生成部
１０８ 特徴量検出部
５０１ 最大重み検出部
５０２ 重み合計算出部
５０３ 最大重み割合算出部
６０１ 軌跡重み計数部
６０２ 重み平均算出部
６０３ 重み分散算出部
７０１ 軌跡水平幅検出部
７０２ 軌跡垂直幅検出部
７０３ 軌跡長算出部
８０１ 最大重み位置検出部
８０２ 重心位置検出部
８０３ 距離算出部
９０１ ローパスフィルタ
９０２ ハイパスフィルタ
９０３ コアリング回路
９０４ 加算器
１１０１ 撮像素子
１１０２ 画像メモリ
１１０３ ＦＦＴ回路
１１０４ 手ぶれ軌跡データ記憶部
１１０５ 手ぶれ軌跡データ変換部
１１０６ ＦＦＴ回路
１１０７ 除算部
１１０８ 逆ＦＦＴ回路
１１０９ 画像表示部
１４０１ 撮像素子
１４０２ Ａ／Ｄ変換器
１４０３ カメラ信号処理部
１４０４ 動き検出部
１４０５ 動き補正部
１４０６ 信号選択スイッチ
１４０７ ノイズ低減部
１４０８ 表示部

Claims (13)

1. 振動を伴って撮影して得られた画像を処理する画像処理装置であって、
   前記振動の軌跡の特徴を表す特徴量を検出する特徴量検出部と、
   前記振動の軌跡を表す軌跡データおよび前記画像を表す画像信号から補正信号を生成する補正信号生成部と、
   前記補正信号生成部によって生成された補正信号と前記画像信号とを演算する補正演算部と、
   前記特徴量に応じたノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減するノイズ低減部とを備えたことを特徴とする画像処理装置。
2. 前記特徴量検出部は、前記軌跡上にある各位置の重みの合計に対し重みの最大値が占める割合から求まる特徴量を検出し、
   前記ノイズ低減部は、前記割合が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量検出部は、前記軌跡上の各位置の重みの分散から求まる特徴量を検出し、
   前記ノイズ低減部は、前記分散が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴量検出部は、前記軌跡の長さを特徴量として検出し、
   前記ノイズ低減部は、前記軌跡の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項１に記載の画像処理装置。
5. 前記特徴量検出部は、前記軌跡上にある最大値の重みをもつ位置から前記軌跡の重心位置までの距離を特徴量として検出し、
   前記ノイズ低減部は、前記距離の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項１に記載の画像処理装置。
6. 前記ノイズ低減部は、前記ノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のうち高周波成分にあるノイズを低減することを特徴とする請求項１から請求項５までの何れかに記載の画像処理装置。
7. 振動を伴って撮影して得られた画像を処理する画像処理方法であって、
   制御部が前記振動の軌跡の特徴を表す特徴量を検出する特徴量検出ステップと、
   前記制御部が前記振動の軌跡を表す軌跡データおよび前記画像を表す画像信号から補正信号を生成する補正信号生成ステップと、
   前記制御部が前記補正信号生成ステップで生成された補正信号と前記画像信号とを演算する補正演算ステップと、
   前記制御部が、前記特徴量に応じたノイズ低減閾値を用いて、前記補正演算ステップで演算された画像信号のノイズを低減するノイズ低減ステップとを備えたことを特徴とする画像処理方法。
8. 前記特徴量検出ステップで、前記軌跡上にある各位置の重みの合計に対し重みの最大値が占める割合から求まる特徴量を検出し、
   前記ノイズ低減ステップで、前記割合が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項７に記載の画像処理方法。
9. 前記特徴量検出ステップで、前記軌跡上の各位置の重みの分散から求まる特徴量を検出し、
   前記ノイズ低減ステップで、前記分散が小さくなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項７に記載の画像処理方法。
10. 前記特徴量検出ステップで、前記軌跡の長さを特徴量として検出し、
    前記ノイズ低減ステップで、前記軌跡の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項７に記載の画像処理方法。
11. 前記特徴量検出ステップで、前記軌跡上にある最大値の重みをもつ位置から前記軌跡の重心位置までの距離を特徴量として検出し、
    前記ノイズ低減ステップで、前記距離の長さが長くなるにつれて大きくなるノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のノイズを低減することを特徴とする請求項７に記載の画像処理方法。
12. 前記ノイズ低減ステップで、前記ノイズ低減閾値を用いて、前記補正演算部によって演算された画像信号のうち高周波成分にあるノイズを低減することを特徴とする請求項７から請求項１１までの何れかに記載の画像処理方法。
13. 請求項７から請求項１２までの何れかに記載の画像処理方法の各ステップを前記制御部に実行させることを特徴とするプログラム。

Images