JP2013255132A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行う。
【解決手段】基準フレーム画像の対象画素と、参照フレーム画像における対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段１３と、信頼度に基づいて、対象画素と対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出する仮巡回係数算出手段１４と、参照フレーム画像の生成時に用いられた参照仮巡回係数を記憶する記憶手段１８と、基準仮巡回係数と参照仮巡回係数とを比較し、参照仮巡回係数が基準仮巡回係数よりも低い場合に、基準仮巡回係数未満である値を巡回係数として決定し、参照仮巡回係数が基準仮巡回係数よりも高い場合に、基準仮巡回係数を巡回係数として決定する巡回係数決定手段１５と、巡回係数決定手段により決定された巡回係数に基づいて、所定画素と対応画素とを合成する画像合成手段１７とを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。

従来、画像データに対するノイズ除去技術として、所謂巡回型ノイズ低減方法が知られている。これは、例えば、処理済みの前フレーム画像と現フレーム画像との間で動き検出を行い、検出結果に基づいてこれらの画像の合成比率を示す巡回係数を算出し、算出した巡回係数を用いて合成することによりノイズを低減するものである。このような巡回型ノイズ低減を行う画像処置装置の例として、特許文献１には、動き検出の結果と、記憶されている前回巡回係数とを用いて今回巡回係数を決定するものが開示されている。

国際公開第２００６／０２５３９６号

ところで、一般に、巡回型ノイズ低減処理においては、動いている被写体の残像が発生しないように、動き検出結果や、フレーム間差分値等の動き補償の信頼度に基づいて巡回係数を決定する。
しかしながら、実際にはノイズ等の影響により、被写体の動きのみを評価することが困難である。例えば、動き補償は正しいがノイズが多い領域（以下、「領域１」という）と、動き補償は正しくないが似た画素値の被写体が動いた領域（以下、「領域２」という）とでは画像間の差分値等の評価値が同等の値となる。従って、これらの領域に対して、同じ巡回係数を適用してノイズ低減処理を行うと、例えば、領域１では、ノイズは低減さえるが、領域２では残像が発生してしまうという不具合がある。また、残像が発生しないようにノイズ低減処理の強度を弱く、すなわち、巡回係数を小さくすると領域１ではノイズが十分に低減されなくなってしまうという不具合がある。

本発明は、上記問題に鑑みてなされたものであって、被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行うことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、フレーム画像を連続的に取得する画像取得部と、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部と、該処理部により生成された出力フレーム画像を蓄積する画像蓄積部と、を備え、前記処理部が、前記画像取得部により取得されたフレーム画像を基準フレーム画像とし、前記画像蓄積部に蓄積され直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段と、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出する仮巡回係数算出手段と、前記参照フレーム画像の生成時に用いられた巡回係数の候補値である参照仮巡回係数を記憶する記憶手段と、前記基準仮巡回係数と前記参照仮巡回係数とを比較し、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記基準仮巡回係数未満である値を巡回係数として決定し、前記参照仮巡回係数が前記基準仮巡回係数よりも高い場合に、前記基準仮巡回係数を巡回係数として決定する巡回係数決定手段と、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成する画像合成手段と、を備える画像処理装置を提供する。

本発明によれば、基準フレーム画像の対象画素と該対象画素に対応する参照フレーム画像の画素位置の対応画素との相関性を示す信頼度を算出し、この信頼度に基づいて基準仮巡回係数を算出すると共に、基準仮巡回係数と参照フレーム画像を生成した際の巡回係数の候補値である参照仮巡回係数とを比較して、より適切な値を対象画素の最終的な巡回係数として決定するので、各画素位置に対して適切な巡回係数を定めることができる。従って、残像を抑制しながら、巡回係数の小さい領域が過度に大きくなることを防止するので、十分にノイズを低減した画像を取得することができる。

上記発明において、前記巡回係数決定手段は、前記参照仮巡回係数が前記基準仮巡回係数よりも所定の閾値以上低い場合に、前記基準仮巡回係数よりも低い値を巡回係数として決定することが好ましい。
このようにすることで、基準仮巡回係数よりも低い巡回係数を設定する領域を残像が特に発生する領域に限定し、これにより基準仮巡回係数を巡回係数として設定する領域と、基準仮巡回係数よりも低い巡回係数を設定する領域との境界の発生を抑制することにより、画像中の不自然な境界の発生を抑制することができる。

上記発明において、前記巡回係数決定手段は、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記参照仮巡回係数を巡回係数として決定することが好ましい。
このようにすることで、残像を抑制しながら、巡回係数の小さい領域が過度に大きくなることを防止して、さらに、十分なノイズ低減を行うことができる。

上記発明において、前記巡回係数決定手段は、前記参照仮巡回係数が前記基準仮巡回係数よりも所定の閾値以上低い場合に、前記参照仮巡回係数を巡回係数として決定することが好ましい。
このようにすることで、残像を抑制しながら、巡回係数の小さい領域が過度に大きくなることを防止して、さらに、十分なノイズ低減を行うことができる。

上記発明において、前記巡回係数決定部が、前記参照フレーム画像の各画素位置について、各該画素位置を含む所定の範囲の前記参照仮巡回係数のうち最も低い値を示すものを、前記所定の範囲の参照仮巡回係数とすることが好ましい。
動体と背景の画素値が近い場合には、基準仮巡回係数と参照仮巡回係数との差分が閾値以下となり、見掛け上信頼度が高い領域においても実際には基準フレーム画像と参照フレーム画像との相関性が低い場合がある。このような場合には、合成した画像に残像が発生する虞があるが、膨張処理、すなわち、参照フレーム画像の各画素位置について、各該画素位置を含む所定の範囲の参照仮巡回係数のうち最も低い値を示すものを、所定の範囲の参照仮巡回係数とすることで、参照仮巡回係数を巡回係数として設定する領域（即ち動体及びその周囲の領域）が拡大され、動体と背景の画素値が近い場合においても残像の発生を抑制することができる。

上記発明において、前記仮巡回係数算出手段が、前記参照仮巡回係数の分布を示す参照仮巡回係数画像を生成し、該参照仮巡回係数画像を縮小して前記記憶手段に保存し、前記巡回係数決定部が、前記記憶手段に保存された前記参照仮巡回係数画像を拡大することが好ましい。
このようにすることで、参照仮巡回係数画像を保存するために用いる記憶手段の使用容量を削減することができる。

また、本発明は、フレーム画像を連続的に取得するステップと、前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、生成された前記出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出するステップと、前記参照フレーム画像の生成時に用いられた巡回係数の候補値である参照仮巡回係数を記憶するステップと、前記基準仮巡回係数と前記参照仮巡回係数とを比較し、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記基準仮巡回係数未満である値を巡回係数として決定し、前記参照仮巡回係数が前記基準仮巡回係数よりも高い場合に、前記基準仮巡回係数を巡回係数として決定するステップと、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。

また、本発明は、フレーム画像を連続的に取得するステップと、前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、生成された前記出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出するステップと、前記参照フレーム画像の生成時に用いられた巡回係数の候補値である参照仮巡回係数を記憶するステップと、前記基準仮巡回係数と前記参照仮巡回係数とを比較し、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記基準仮巡回係数未満である値を巡回係数として決定し、前記参照仮巡回係数が前記基準仮巡回係数よりも高い場合に、前記基準仮巡回係数を巡回係数として決定するステップと、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、を備える画像処理方法を提供する。

本発明によれば、被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行うことができるという効果を奏する。

本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置において、入力されたフレーム画像が順次合成されていく様子を示した説明図である。 本発明の一実施形態に係る画像処理装置における信頼度算出の際のフローチャートである。 本発明の一実施形態に係る画像処理装置における信頼度算出の際の様子を示した説明図である。 本発明の一実施形態に係る画像処理装置における信頼度と仮巡回係数βＮとの関係を示すグラフである。 本発明の一実施形態に係る画像処理装置における画像処理の様子を示す説明図である。 図６の比較例として、従来の画像処理装置における画像処理の一例を示す説明図である。 本発明の一実施形態の変形例に係る画像処理装置における画像処理の様子を示す説明図である。

以下に、本発明の一実施形態に係る画像処理装置について図面を参照して説明する。

図１は、画像処理装置の概略構成を示している。画像処理装置は、図２に示すように、入力されたフレーム画像と先に出力されたフレーム画像とを適宜合成してフレーム画像を生成し、生成されたフレーム画像を順次出力し、これを巡回、すなわち繰り返すことにより動画像を出力するものである。

このため、画像処理装置は、図１に示すように、画像取得部２、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部３、該処理部により生成された出力フレーム画像、すなわち、処理済みの画像データ（以下、「前フレーム画像（参照フレーム画像）」という）を保存するを蓄積する画像蓄積部４を備えている。
また、処理部３は、取得したフレーム画像に対して所定の処理を施すために、動き補償部１２、信頼度算出部１３、仮巡回係数算出部１４、巡回係数決定部１５、空間フィルタ部１６、画像合成部１７、後述する仮巡回係数を保存するメモリ１８、後仮巡回係数を縮小する縮小部２０、及び仮巡回係数を拡大する拡大部２１を備えている。
画像取得部２は、図示しない撮像装置により撮像されたフレーム画像（以下、「現フレーム画像（基準フレーム画像）」という）を連続的に取得し、取得した現フレーム画像を動き補償部１２及び空間フィルタ部１６に出力する。

動き補償部１２は、画像取得部２で取得された現フレーム画像とメモリ１８に保存された前フレーム画像との間の動きベクトルを算出する動きベクトル算出部１１を備えている。そして、動き補償部１２は、動きベクトル算出部１１により算出した動きベクトルに基づいて、前フレーム画像と現フレーム画像との位置合わせを行う。すなわち、動きベクトル算出部１１により算出された動きベクトルを相殺するように、前フレーム画像の切り出し位置を決定し、現フレーム画像の任意の小領域と決定した切り出し位置から前フレーム画像の小領域とを切り出すことにより前フレーム画像と現フレーム画像との位置合わせを行い、前フレーム画像の小領域の中心画素を画像合成部１７に出力する。
ここで、動き補償は、現フレーム画像と前フレーム画像との間で小領域毎にブロックマッチング法等で算出した動きベクトルに基づいて、小領域毎に動き補償を行ってもよく、また、小領域毎の動きベクトルの統計に基づいて最も頻度の高い動きベクトルをグローバルな画像全体の動きべクトルとして動き補償を行ってもよい。

信頼度算出部１３は、動き補償部１２により動き補償された領域を用いて動き補償の信頼度、すなわち、現フレーム画像の対象画素と、前フレーム画像における対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する。より詳細には、信頼度算出部１３は、図３のフローチャートに従って信頼度を算出する。
すなわち、図３に示すように、信頼度算出部１３は、動き補償部１２によって位置合わせされ抽出された現フレーム画像と前フレーム画像の小領域において、現フレーム画像の小領域を基準領域とし、前フレーム画像の小領域を参照領域とする（ステップＳ１０１）。続いて、基準領域と参照領域間で差分の絶対値和（ＳＡＤ）を算出する（ステップＳ１０２）。

図４に示す信頼度算出の例では、現フレーム画像の小領域にはノイズが多く含まれており、前フレーム画像の小領域はノイズが低減されている。この領域間でＳＡＤを算出し、ＳＡＤの値に応じて信頼度を算出する。なお、信頼度を算出するために、必ずしもＳＡＤを算出する必要はなく、例えば、相違度や類似度が評価できる差の２乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）などを算出しても良い。

次のステップＳ１０３では、算出されたＳＡＤに基づいて信頼度を算出する。ＳＡＤやＳＳＤのように相違度を評価する場合には、評価値が小さい程、信頼度は高く、評価値が大きい程、信頼度は低くするように算出する。また、動きベクトル算出部１２で信頼度を算出するための評価値が既に算出されている場合には、再度、評価値を算出せず動きベクトル算出部での評価値をそのまま利用しても良い。

仮巡回係数算出部１４は、信頼度算出部１３で算出された信頼度に基づいて仮巡回係数βＮ（基準仮巡回係数）を算出する。ここで、仮巡回係数βＮとは、現フレーム画像の対象画素と該対象画素と対応する前フレーム画像における対応画素位置の対応画素とを合成する際の合成比率である巡回係数を算出するための候補値であり、算出された仮巡回係数βＮは、巡回係数決定部１５に出力される。また、算出された全画素分の仮巡回係数は、縮小部２０でニアレストネイバー法やバイリニアなどの処理で縮小し、メモリ１８に保存する。

図５に、信頼度と仮巡回係数βＮとの関係を示す。図５に示すように、信頼度が高くなる程、前フレーム画像の対象画素の仮巡回係数βＮが高くなるようにして算出する。算出した仮巡係数βＮは、上述したように縮小部２０で領域縮小してメモリ１８に保存され、次のフレーム画像を処理する際に拡大部２１で領域拡大され、後述する前仮巡回係数βＮ−１として巡回係数決定部１５で利用する。

メモリ１８には、保存されている前フレーム画像を処理した際の仮巡回係数（以下「前仮巡回係数βＮ−１」（参照仮巡回係数）という）が保存されており、この前仮巡回係数βＮ−１は、拡大部２１により現フレーム画像の画素数と同じになるようにニアレストネイバー法やバイリニア法などの処理で拡大し、巡回係数決定部１５へ出力される。
なお、縮小部２０によって仮巡回係数βＮを縮小してメモリ１８に保存することは、メモリ１８の使用容量を削減できるためであり、メモリ１８の使用容量を削減する必要がない装置やシステムにおいては、縮小部２０と拡大部２１を設ける必要はない。

巡回係数決定部１５は、仮巡回係数算出部１４から入力された仮巡回係数βＮと、拡大部２１から入力された前仮巡回係数βＮ−１とに基づいて巡回係数αＮを決定する。より具体的には、巡回係数決定部１５は、現フレーム画像と前フレーム画像との間で対応する画素位置の仮巡回係数βＮと前仮巡回係数βＮ−１とを比較し、値が小さい方を巡回係数αＮとする。決定した巡回係数αＮは、空間フィルタ部１６と画像合成部１７に出力される。

空間フィルタ部１６は、決定された巡回係数αＮに応じて現フレーム画像にかかる空間フィルタの強度を制御して空間フィルタをかけ、その結果を画像合成部１７へ出力する。
画像合成部１７は、入力された現フレームの画像の空間フィルタ出力画素と動き補償部１２から入力された前フレーム画像の対応画素とを巡回係数αＮを用いて合成し、現フレーム画像として表示系などに出力するとともに、画像蓄積部４に保存する。

以下、上述した画像処理装置における作用について、図６を参照しつつ説明する。
ここでは、以下の条件下でフレーム画像を取得しているものとする。すなわち、三脚に固定されたカメラで撮影しており、背景Ｂは動いておらず、被写体としてのボールＯが左から右へ転がった場合における動画シーンであることとする。
また、入力されるフレーム画像にはノイズＮが多く含まれており、ボールＯは右へ転がって動いている為、シャッター速度との関係によりボールＯの左縁において動きによるぼけＧが発生している。この被写体の左縁のぼけている領域の輝度値は、背景の輝度値と似ていると仮定する。さらに、どの領域でも画像間の動きベクトルが求められなかった（動きベクトルが“０”）場合を仮定している。

この場合において、Ｎ番目のフレーム画像（以下、「Ｎフレーム」という）に対する画像処理は以下のように行われる。
動き補償部１２により、ＮフレームとＮ−１番目のフレーム画像（以下、「Ｎ−１フレーム」という）との間の位置合わせを行い、これに基づいて信頼度算出部１３により信頼度を算出する。この信頼度に基づいて、仮巡回係数算出部１４により仮巡回係数βＮを算出し、算出した仮巡回係数βＮを巡回係数決定部１５に出力する。

巡回係数決定部１５では、算出された仮巡回係数βＮと、第２メモリに保存されているＮ−１フレームに対する仮巡回係数βＮ−１との間で、同じ画素位置における仮巡回係数を比較し、値が低い方をＮフレームの巡回係数（図６中、右から２番目）として決定する。決定されたＮフレームの巡回係数はＮ−１フレームでの仮巡回係数が低かった領域、つまり、１フレーム前の被写体の軌跡分を含めて仮巡回係数の低かった方の領域を優先し、動いた領域よりも大きめの領域で巡回係数が低くなるため、残像が発生しない。

なお、Ｎフレームでの処理で算出された仮巡回係数βＮと保存されているＮ−１フレームでの仮巡回係数βＮ−１との間で同じ画素位置での仮巡回係数を比較する際、Ｎフレームでの仮巡回係数βＮよりもある閾値以上、Ｎ−１フレームでの仮巡回係数βＮ−１が低かった場合、Ｎ−１フレームでの仮巡回係数βＮ−１をＮフレームの巡回係数とするようにしても良い。

これは、例えば、背景の領域、つまり、動き補償が出来ている領域にも関わらず、ノイズ等の影響により仮巡回係数の大小関係がフレーム間で頻繁に変わり続け、必要以上に巡回係数を低くするのを防ぐためである。

さらに、上述した例では、低い方の仮巡回係数をＮフレームの巡回係数として決定していたが、Ｎ−１フレームの仮巡回係数がＮフレームの仮巡回係数よりも低い、または、ある閾値以上低い場合、Ｎフレームの仮巡回係数よりも低い固定値、Ｎフレームの仮巡回係数に１よりも小さいゲインを乗算した値、Ｎフレームの仮巡回係数から固定値を引いた値などをＮフレームの巡回係数として決定しても良い。

信頼度を算出する際には、動き補償を行うため、検出された動きベクトルの値によって現フレーム画像と処理済みの前フレーム画像の対応領域の位置は異なるが、前フレームの仮巡回係数と現フレームの仮巡回係数との比較においては、同一画素位置を比較する。

一方、参考例として、同様の条件下で撮影した画像データに対して、仮巡回係数を利用せずに画像処理を行う場合について、図７を参照して説明する。
Ｎ−１フレームの処理を行う場合、Ｎ−１フレームの入力画像（図７中、左）とＮ−２フレームの出力画像（図７中、右）間との信頼度から巡回係数（図７中、真中）が算出される。算出された巡回係数αＮを用いて、巡回係数αＮをＮ−２フレームの出力画像の対応画素に乗算した値と、前回巡回係数１−αＮをＮ−１フレームの入力画像の空間フィルタ部からの対象画素の出力画素に乗算した値とを加算する。加算結果の画素をＮ−１の出力画像の画素として、全画素分処理する。

この際、Ｎ−２フレームの出力画像の被写体の左縁の領域とＮ−１フレームの入力画像の被写体の左縁より少し左部分の背景部との間で信頼度を算出することになり、信頼度を算出するためのＳＡＤ算出結果は輝度値が似ているため、ＳＡＤ値はある程度小さな値となってしまい、信頼度が低くはならない。このため、図５のように巡回係数を算出すると巡回係数は完全に低い値にはならない。この巡回係数用いて、合成した結果がＮ−１フレームの出力画像（図７中、右）となる。またＮフレームの処理においても同様に処理を行う。その結果、Ｎ−１フレームとＮフレームの出力画像において、動いている被写体の左側に、前のフレームの出力画像でぼけている被写体の縁が残像として画像中に発生してしまう。

以上述べたように本実施形態によれば、前フレーム画像に対する仮巡回係数と、現フレーム画像に対する仮巡回係数とを比較し、それらの大小関係から低い方の仮巡回係数を現フレーム画像に対する最終的な巡回係数として設定し、この巡回係数を適用してフレーム画像を合成することにより、動きのある被写体領域近辺で適正な合成比率制御をすることが可能となり、残像を抑制しつつも、巡回係数の小さい領域が過度に広がることを防ぎ、十分なノイズ低減効果を得ることができる。

（変形例）
上述した実施形態においては、現フレーム画像の仮巡回係数の対象画素位置と同一位置の前フレーム画像の仮巡回係数とを比較することにより現フレーム画像の巡回係数を決定したが、巡回係数の決定方法はこれに限られるものではない。
本変形例において、図８に示すように、巡回係数決定部１５は、前フレーム画像の仮巡回係数側において同一位置の近隣領域と比較し、前フレーム画像の近隣領域と現フレーム画像の対象画素位置の中で最も低い仮巡回係数をＮフレームの対象画素の巡回係数とする。
これは前フレーム画像の仮巡回係数において、仮巡回係数の低い領域を膨張したことになり、動いた領域に対して図６の例よりもさらに大きい領域で巡回係数が低くなり、残像が発生しなくなる。前フレーム画像の仮巡回係数を縮小してメモリに保存した後、拡大後に上述した膨張処理を行なっても良いし、拡大前に膨張処理してから拡大しても良い。

また、上記した実施形態においては、現フレーム画像と前フレーム画像との間で対応する画素位置の仮巡回係数βＮと前仮巡回係数βＮ−１とを比較し、値が小さい方を巡回係数αＮとしたが、これに限られるものではなく、例えば、両フレーム画像の信頼度に応じて、前仮巡回係数βＮ−１以上仮巡回係数βＮ未満の何れかの値を巡回係数として定めることとしてもよい。

２ 画像取得部
３ 処理部
４ 画像蓄積部
１１ 動きベクトル算出部
１２ 動き補償部
１３ 信頼度算出部
１４ 仮巡回係数算出部
１５ 巡回係数決定部
１６ 空間フィルタ部
１７ 画像合成部
１８ メモリ
２０ 縮小部
２１ 拡大部

Claims (8)

1. フレーム画像を連続的に取得する画像取得部と、
   該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部と、
   該処理部により生成された出力フレーム画像を蓄積する画像蓄積部と、を備え、
   前記処理部が、
   前記画像取得部により取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段と、
   前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出する仮巡回係数算出手段と、
   前記参照フレーム画像の生成時に用いられた巡回係数の候補値である参照仮巡回係数を記憶する記憶手段と、
   前記基準仮巡回係数と前記参照仮巡回係数とを比較し、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記基準仮巡回係数未満である値を巡回係数として決定し、前記参照仮巡回係数が前記基準仮巡回係数よりも高い場合に、前記基準仮巡回係数を巡回係数として決定する巡回係数決定手段と、
   該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成する画像合成手段と、
   を備える画像処理装置。
2. 前記巡回係数決定手段は、前記参照仮巡回係数が前記基準仮巡回係数よりも所定の閾値以上低い場合に、前記基準仮巡回係数よりも低い値を巡回係数として決定する請求項１に記載の画像処理装置。
3. 前記巡回係数決定手段は、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記参照仮巡回係数を巡回係数として決定する請求項１に記載の画像処理装置。
4. 前記巡回係数決定手段は、前記参照仮巡回係数が前記基準仮巡回係数よりも所定の閾値以上低い場合に、前記参照仮巡回係数を巡回係数として決定する請求項１に記載の画像処理装置。
5. 前記巡回係数決定部が、前記参照フレーム画像の各画素位置について、各該画素位置を含む所定の範囲の前記参照仮巡回係数のうち最も低い値を示すものを、前記所定の範囲の参照仮巡回係数とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
6. 前記仮巡回係数算出手段が、前記参照仮巡回係数の分布を示す参照仮巡回係数画像を生成し、該参照仮巡回係数画像を縮小して前記記憶手段に保存し、
   前記巡回係数決定部が、前記記憶手段に保存された前記参照仮巡回係数画像を拡大する請求項１乃至請求項５の何れか１項に記載の画像処理装置。
7. フレーム画像を連続的に取得するステップと、
   前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
   生成された前記出力フレーム画像を蓄積するステップと、を備え、
   前記出力フレーム画像を生成するステップが、
   前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、基準フレーム画像の対象画素と、参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、
   前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出するステップと、
   前記参照フレーム画像の生成時に用いられた巡回係数の候補値である参照仮巡回係数を記憶するステップと、
   前記基準仮巡回係数と前記参照仮巡回係数とを比較し、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記基準仮巡回係数未満である値を巡回係数として決定し、前記参照仮巡回係数が前記基準仮巡回係数よりも高い場合に、前記基準仮巡回係数を巡回係数として決定するステップと、
   該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、
   をコンピュータに実行させる画像処理プログラム。
8. フレーム画像を連続的に取得するステップと、
   前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
   生成された前記出力フレーム画像を蓄積するステップと、を備え、
   前記出力フレーム画像を生成するステップが、
   前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、基準フレーム画像の対象画素と、参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、
   前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる基準仮巡回係数を算出するステップと、
   前記参照フレーム画像の生成時に用いられた巡回係数の候補値である参照仮巡回係数を記憶するステップと、
   前記基準仮巡回係数と前記参照仮巡回係数とを比較し、前記参照仮巡回係数が前記基準仮巡回係数よりも低い場合に、前記基準仮巡回係数未満である値を巡回係数として決定し、前記参照仮巡回係数が前記基準仮巡回係数よりも高い場合に、前記基準仮巡回係数を巡回係数として決定するステップと、
   該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、
   を備える画像処理方法。

Images