JP2012186593A5

JP2012186593A5 -

Info

Publication number: JP2012186593A5
Application number: JP2011047360A
Authority: JP
Filing date: 2011-03-04
Publication date: 2014-04-03

Description

図１は、本開示の画像処理装置の一構成例としての撮像装置１００の構成を示している。シャッタ等のユーザ入力部１０１の操作により、撮像を開始したタイミングで、固体撮像素子１０３は、レンズ（光学系）１０２から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。なお。固体撮像素子１０３は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）である。

すなわち、α値が大きい場合、すなわち静止被写体と推定される画素位置では、ＬＰＦ処理後の更新値は、中心画素の画素値依存度が高くなり、ＬＰＦを適用した変化率は小さくなる。
一方、α値が小さい場合、すなわち動被写体と推定される画素位置では、周囲画素の依存度が高くなり、ＬＰＦを適用した変化率が大きく表れる。すなわち画素値が平滑化される。
結果として、動被写体領域に対するノイズ低減効果がより大きくなる。

一方、本開示によれば、ノイズリダクション処理部２０７でのＬＰＦのフィルタのタップ数は少なくてよい。なぜなら、重ねる枚数が少ない場合には、画像が入力される毎に、ノイズリダクション処理部２０７での処理が行わることになるからである。換言すれば、タップ数の少ないフィルタを複数回処理することになり、結果として、タップ数の多いフィルタ処理をしたことになるからである。このように、本開示の構成では、回路規模や演算量は少なくて済む。

高解像度化処理部３０１は、解像度変換を行う。例えば１画素を４画素に設定する等の処理等の拡大画像の生成手法を適用して解像度変換を行う。

Claims

複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。
前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する請求項１に記載の画像処理装置。
前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する請求項１または２に記載の画像処理装置。
前記重ね合わせ処理部は、
連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、
前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、
前記ブレンド処理部は、
前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する請求項１〜３いずれかに記載の画像処理装置。
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、
前記ブレンド処理部は、
前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する請求項４に記載の画像処理装置。
前記重ね合わせ処理部は、
処理対象画像の高解像化処理を実行する高解像度化処理部を有し、
前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する請求項４または５に記載の画像処理装置。
前記画像処理装置は、
前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、
前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う請求項４〜６いずれかに記載の画像処理装置。
前記重ね合わせ処理部は、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う請求項１〜７いずれかに記載の画像処理装置。
前記重ね合わせ処理部は、
前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う請求項８に記載の画像処理装置。
前記重ね合わせ処理部は、
ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、
フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する請求項８または９に記載の画像処理装置。
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法。
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラム。