JP2012010031A - 動き補償装置 - Google Patents

Abstract

【課題】１枚の対象画像と１枚の参照画像との間で動き推定を行った結果を用いて、複数枚の対象画像の動き補償を行うことが可能な動き補償装置を提供する。
【解決手段】動き補償装置１は、複数の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎから代表画像Ｄを生成する代表画像生成手段１０と、外部から参照画像Ｓと、参照画像Ｓ内に設定された局所領域Ｌ_ｋの入力を受け付け、代表画像Ｄ内において、局所領域Ｌ_ｋに対応する対応領域Ｒ_ｋを求めることで、代表画像Ｄと参照画像Ｓとの間の動きベクトル情報を求める動き推定手段２０と、それぞれの対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎに対応して、動きベクトル情報に基づいて当該対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎを移動または変形し、その結果を動き補償画像Ｃ_１，Ｃ_２，…，Ｃ_Ｎとして出力する画像変形手段３０_１，３０_２，…，３０_Ｎと、を備える。
【選択図】図１

Description

本発明は、画像データを圧縮するための動き補償を行う装置であって、特に、複数の対象画像を参照画像に対して位置合わせする技術に関する。

従来、動き補償の手法として、参照画像をブロックに分割し、各ブロックが対象画像のどこに対応するかを探索してブロックごとの動きベクトル情報を求め、この動きベクトル情報に基づいて対象画像内の対応領域を移動し、該当するブロック位置に貼り込む（ブロックマッチングを行う）ことが広く行われている。

そして、ブロックマッチングの演算量を削減する手法として、動きベクトル情報の探索を階層化する手法（例えば特許文献１、２）や、既に求められた別フレームの動きベクトル情報から現在の対象フレームの動きベクトル情報を予想し、探索領域を削減する手法（例えば特許文献３）がある。

特開２００６−１８０４２６号公報 特開２００７−２６４５９号公報 特開昭６２−２１３４９４号公報

しかしながら、特許文献１〜３に記載の従来の動き補償方法は、１枚の対象画像と１枚の参照画像との間で動き推定を行い、局所的な対応付けを行うものであった。このため、対象画像が複数枚存在する場合には、この対象画像の枚数と同じ回数だけ動き推定処理を行う必要があった。特に、複数枚の対象画像が全て同じ動き分布を有する場合（ただし、画素値パターンとしては雑音の差異などにより局所的なパターンが必ずしも一致しない場合を含む）であっても、同様の動き推定処理を対象画像の枚数と同じ回数だけ繰り返す必要があった。

そこで、本発明は、１枚の対象画像と１枚の参照画像との間で動き推定を行った結果を用いて、複数枚の対象画像の動き補償を行うことが可能な動き補償装置を提供することを課題とする。

前記課題を解決した請求項１に係る動き補償装置は、複数の対象画像を、１つの参照画像に対して位置合わせし、位置合わせ後の複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、代表画像生成手段と、動き推定手段と、画像変形手段とを備えることを特徴とする。

かかる構成によれば、動き補償装置は、代表画像生成手段によって、複数の対象画像から代表画像を生成する。
また、動き補償装置は、動き推定手段によって、外部から参照画像と、参照画像内に設定された局所領域の入力を受け付け、代表画像内において、局所領域に対応する対応領域を求めることで、代表画像と参照画像との間の動きベクトル情報を求める。ここで、局所領域とは、参照画像内に設定された１または複数の領域である。なお、局所領域が１つの場合は、大局的に動き推定を行い、局所領域が複数の場合は、局所的に動き推定を行う。
そして、動き補償装置は、画像変形手段によって、それぞれの対象画像に対応して、動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を動き補償画像としてそれぞれ出力する。なお、局所領域が１つの場合は、対象画像を大局的に移動または変形し、局所領域が複数の場合は、対象画像を局所的に移動または変形することになる。
これによれば、代表画像と参照画像との間で動き推定を行った結果に基づいて、複数の対象画像の動き補償を行うことができるので、演算量を削減し、効率的な動き補償が実現できる。また、「移動または変形」とは、画像を幾何変換することを指し、画像変形手段による処理の前後で、画像の画素位置が、画像全体として、または、部分領域単位で、あるいは、画素単位で変更されることを示す。

請求項２に係る動き補償装置は、請求項１に係る動き補償装置において、前記代表画像生成手段が、前記複数の対象画像において、画素位置ごとの画素値の代表値を演算して前記代表画像を生成することを特徴とする。
これによれば、対象画像内の画素ごとに代表値演算を行って代表画像を生成する。このため、例えば複数の異なる被写体の存在する画像において、この被写体ごとに適応的な動き推定ができ、動き推定の頑健化を図ることができる。

請求項３に係る動き補償装置は、請求項２に係る動き補償装置において、前記画素位置ごとの画素値の代表値を、各画素値に対する重要度に応じて演算して前記代表画像を生成することを特徴とする。
これによれば、複数の対象画像の画素位置ごとの画素値に対する重要度に応じて代表値を演算する。このため、複数の対象画像の特徴に適合した動き推定を行うことが可能となる。

請求項４に係る動き補償装置は、請求項２または請求項３に係る動き補償装置において、前記代表画像生成手段が、前記画素位置ごとの画素値の代表値として、画素値群の平均値を用いることを特徴とする。
これによれば、複数の対象画像の特徴を平均的に含んだ代表画像を生成し、この代表画像を用いて動き推定を行う。なお、ここでの平均値とは、全ての対象画像の画素位置ごとの画素値の平均値でもよいし、例えば全ての対象画像の画素位置ごとの画素値の中から最大側または最小側、あるいは、その両側から所定の個数の画素値を除いた残りの画素値の平均値でもよい。

請求項５に係る動き補償装置は、請求項２または請求項３に係る動き補償装置において、前記代表画像生成手段が、前記画素位置ごとの画素値の代表値として、画素値群の加重平均値を用いることを特徴とする。
これによれば、複数の対象画像に対して寄与度を変えつつ平均化した代表画像を生成し、この代表画像を用いて動き推定を行う。

請求項６に係る動き補償装置は、請求項２または請求項３に係る動き補償装置において、前記代表画像生成手段が、前記画素位置ごとの画素値の代表値として、画素値群の中央値を用いることを特徴とする。
これによれば、画素値群の中央値を用いて代表画像を生成することで、複数の対象画像内にノイズなどによる極端な値が存在しても代表画像に反映されにくくなる。

請求項７に係る動き補償装置は、請求項２または請求項３に係る動き補償装置において、前記代表画像生成手段が、前記画素位置ごとの画素値の代表値として、画素値群の最頻値を用いることを特徴とする。
これによれば、画素値群の最頻値を用いて代表画像を生成することで、複数の対象画像内にノイズなどによる極端な値が存在しても代表画像に反映されにくくなる。

請求項８に係る動き補償装置は、請求項２または請求項３に係る動き補償装置において、前記代表画像生成手段が、前記画素位置ごとの画素値の代表値として、画素値群の中から乱数により選択した画素値を用いることを特徴とする。
これによれば、動き補償に確率過程を導入することができるので、モンテカルロ法などの確率統計的な演算法に適用するのに適した動き補償画像が得られる。

請求項９に係る動き補償装置は、請求項１に係る動き補償装置において、前記代表画像生成手段が、前記複数の対象画像の中から１画像を選択して、前記代表画像として出力することを特徴とする。
これによれば、複数の対象画像の中から１画像を選択するという単純な画面選択操作によって代表画像が決定されるため、演算量や記憶量を削減できる。

請求項１０に係る動き補償装置は、請求項９に係る動き補償装置において、前記代表画像生成手段が、前記それぞれの対象画像の画像特徴に基づいて、前記複数の対象画像の中から１画像を選択して、前記代表画像として出力することを特徴とする。
これによれば、複数の対象画像の画像特徴（例えばコントラストの高低など）に基づいて、動き推定に適した対象画像を代表画像として選択するため、動き推定を頑健化できる。

請求項１１に係る動き補償装置は、請求項９に係る動き補償装置において、前記代表画像生成手段が、前記複数の対象画像の中から乱数に基づいて１画像を選択して、前記代表画像として出力することを特徴とする。
これによれば、演算量や記憶容量を極端に増加させることなく、動き推定処理において、集合平均的に複数の対象画像の情報を考慮することが可能となる。

本発明によれば以下のような優れた効果を奏する。
請求項１に記載の発明によれば、代表画像と参照画像との間で動き推定を行った結果を用いて、複数の対象画像の動き推定を行うことができるので、演算量を削減することができ、処理時間を短縮化することが可能となる。
請求項２に記載の発明によれば、対象画像内の画素ごとに代表値演算を行うため、複数の異なる被写体の存在する画像において、この被写体ごとに適応的な動き推定ができ、動き推定を頑健化することが可能となる。
請求項３に記載の発明によれば、複数の対象画像の画素位置ごとの画素値に対する重要度に応じて代表値を演算するため、複数の対象画像の特徴に適合した動き推定を行うことが可能となる。
請求項４に記載の発明によれば、複数の対象画像の特徴を平均的に含んだ代表画像を生成し、この代表画像を用いて動き推定を行うため、全ての対象画像に対して中庸な動き推定を行うことが可能となる。
請求項５に記載の発明によれば、寄与度として、例えば信頼度や重要度が指定される場合、その信頼度や重要度に応じた動き推定を行うことが可能となる。
請求項６、７に記載の発明によれば、ノイズなどに頑健な動き推定を行うことが可能となる。
請求項８に記載の発明によれば、動き補償に確率過程を導入することができるので、モンテカルロ法などの確率統計的な演算法に適用するのに適した動き補償画像を得ることが可能となる。
請求項９に記載の発明によれば、演算量や記憶量を削減することが可能となる。
請求項１０に記載の発明によれば、動き推定を頑健化することが可能となる。
請求項１１に記載の発明によれば、演算量や記憶容量を極端に増加させることなく、動き推定処理において、集合平均的に複数の対象画像の情報を考慮することが可能となる。

本発明の実施形態に係る動き補償装置の構成を示すブロック図である。 本発明の実施形態に係る動き補償装置の動作を説明するための概念図である。 本発明の実施形態に係る動き補償装置の動作を説明するための概念図である。 本発明の実施形態に係る動き補償装置の動作を示すフローチャートである。

［動き補償装置の概要］
まず、本実施形態に係る動き補償装置の概要を説明する。
本実施形態に係る動き補償装置は、時系列に連続した画像である動画像に対して動き補償予測を行うことによって、動画像を符号化した符号化データを得る動画像符号化技術において、動き補償予測を行うためのものである。

本実施形態に係る動き補償装置は、Ｎ枚の対象画像と１枚の参照画像とを入力し、Ｎ枚の対象画像から代表画像を生成し、この代表画像と外部から入力された参照画像とを対比して動き推定を行い、動き推定結果に基づいて各対象画像を変形し、その画像変形結果を動き補償画像として出力するものである。ここで反映とは、各対象画像が参照画像を近似するように画像変形することを指す。つまり、動き補償装置は、Ｎ枚の対象画像に対応して、Ｎ枚の動き補償画像を出力するようになっている。

なお、各対象画像、参照画像、代表画像、各動き補償画像の形状および大きさは等しいものとする。画像が水平および垂直に格子状に配列された画素群から構成される場合、画像の大きさは、例えば画像の水平方向の画素数Ｗ（Ｗは自然数）および垂直方向の画素数Ｈ（Ｈは自然数）により定義することができる。

以下では、画像Ｉの画素位置（ｘ，ｙ）（ｘ＝１，２，…，Ｗ、ｙ＝１，２，…，Ｈ）における画素値（例えば、輝度値や色ベクトル値）を「Ｉ（ｘ，ｙ）」のように画像を表す文字（この例では「Ｉ」）の後に座標値を記述した丸括弧（この例では「（ｘ，ｙ）」）を付すことにより表現するものとする。

［動き補償装置の構成］
次に、本実施形態に係る動き補償装置１の構成について図１〜図３を参照して説明する。
本実施形態に係る動き補償装置１は、図１に示すように、Ｎ枚の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎを入力し、このＮ枚の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎから代表画像Ｄを生成する代表画像生成手段１０と、代表画像生成手段１０から入力された代表画像Ｄと参照画像生成手段４０から入力された参照画像Ｓとの間で動き推定を行う動き推定手段２０と、動き推定手段２０による動き推定結果に基づいて対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎを移動または変形させる複数の画像変形手段３０_１，３０_２，…，３０_Ｎとを備えている。

ここで、動き補償装置１の各構成要素の説明に先立ち、参照画像生成手段４０について説明する。参照画像生成手段４０は、動き補償装置１の外部に設けられており、外部から画像Ｓ_１，Ｓ_２，…，Ｓ_Ｍの入力を受け付け、このＭ枚の画像Ｓ_１，Ｓ_２，…，Ｓ_Ｍから１枚の参照画像Ｓを生成するものである。本実施形態では、後記するように画像Ｓ_１，Ｓ_２，…，Ｓ_Ｍは、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎと異なる画像としているが、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎと同じ画像とする場合もある。なお、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎと異なるとは、例えば、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎと時刻や位置や撮影手段が異なる場合などをいう。また、画像Ｓ_１，Ｓ_２，…，Ｓ_Ｍの枚数は、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎの枚数と同じであってもよいし、異なっていてもよい。

参照画像Ｓは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣなどにおける、現在符号化処理の対象となっている画像である。例えば、３板式のカメラで撮像された画像のＲ成分、Ｇ成分、Ｂ成分のそれぞれの値から生成した輝度画像を参照画像Ｓとする。また、参照画像生成手段４０は、参照画像Ｓを局所領域Ｌ_ｋ（ｋ＝１，２，…，Ｋ、Ｋは局所領域の総数を表す自然数）に分割する機能を有する。参照画像生成手段４０は、生成した参照画像Ｓと局所領域Ｌ_ｋを動き推定手段２０に出力するようになっている。
次に、動き補償装置１の各構成要素について説明する。

代表画像生成手段１０は、Ｎ枚の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎを入力し、このＮ枚の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎから１枚の代表画像Ｄを生成するものである。
Ｎ枚の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎとは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣなどにおける、現在符号化処理の対象となっている画像の時間的に直前の画像である。例えば、３板式あるいは４板式のカメラで撮像された画像を分光して得られる色成分の値からそれぞれ生成した輝度画像を対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎとする。３板式のカメラで撮像した場合には、Ｒ（Ｒｅｄ）成分の値から生成した輝度画像を対象画像Ｔ_１とし、Ｇ（Ｇｒｅｅｎ）成分の値から生成した輝度画像を対象画像Ｔ_２とし、Ｂ（Ｂｌｕｅ）成分の値から生成した輝度画像を対象画像Ｔ_３（図示せず）とすることができる。この対象画像Ｔ_１〜Ｔ_３（図示せず）は、被写体の位置は同じであるが、波長およびノイズが異なるものである。

代表画像生成手段１０は、例えば、次の式（１）に示すように、各画素位置（ｘ，ｙ）における対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎの画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））に注目し、当該画素値列に基づいて１つの代表値を決定し、当該代表値を代表画像Ｄの画素位置（ｘ，ｙ）における画素値Ｄ（ｘ，ｙ）として設定することで、代表画像Ｄを生成するようになっている。

式（１）において、関数ｆは、Ｎ画像の画素ごとの代表値演算を行うための関数である。ここで、代表画像生成手段１０によって代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求める方法を、例を挙げて説明する。

代表画像生成手段１０は、例えば、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の平均値を代表画像Ｄの画素値Ｄ（ｘ，ｙ）とすることができる。この場合、関数ｆとして、次の式（２）を用いる。

また、代表画像生成手段１０は、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の中央値または最頻値を代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。
代表画像生成手段１０は、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の乱数による標本抽出によって、当該画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の各項の中から画素値を１つ選択して代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。

代表画像生成手段１０は、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の中から、画素値が最大側、最小側、または、その両側から所定の個数の画素値を排除し、残った画素値列を用いて代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求めてもよい。代表画像生成手段１０は、例えば、Ｎ≧３の場合において、次の式（３）を用いて、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の中から、最大値および最小値をとる画素値をそれぞれ１標本ずつ除いた上で、残った画素値列の平均値を算出することによって、代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求めることができる。なお、平均値に限らず、残った画素値列の中央値または最頻値、乱数による標本抽出の結果を代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。

代表画像生成手段１０は、次の式（４）を用いて、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の各項に対する重要度ｗ_１（ｘ，ｙ），ｗ_２（ｘ，ｙ），…，ｗ_Ｎ（ｘ，ｙ）を考慮してその演算を変化させてもよい。

式（４）において、ｇは画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））および重要度列（ｗ_１（ｘ，ｙ），ｗ_２（ｘ，ｙ），…，ｗ_Ｎ（ｘ，ｙ））を引数にとる関数である。

代表画像生成手段１０は、例えば、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の加重平均値を代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。この場合、関数ｇとして、次の式（５）を用いる。

また例えば、代表画像生成手段１０は、画素値列（Ｔ_１（ｘ，ｙ），Ｔ_２（ｘ，ｙ），…，Ｔ_Ｎ（ｘ，ｙ））の中から、乱数による標本抽出によって代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求める場合に、重要度ｗ_ｎ（ｘ，ｙ）に応じた確率で標本が抽出されるよう、乱数生成の確率モデルを設計してもよい。

なお、重要度ｗ_ｎ（ｘ，ｙ）は、全画素位置に対して同一であってもよいし、変化させてもよい。また、重要度ｗ_ｎ（ｘ，ｙ）は、例えば対象画像Ｔ_ｎごとに重要度値（画素位置ごとに変化させる場合には重要度値のパターン）ｗ_ｎ（ｘ，ｙ）をあらかじめ定めておいてもよいし、随時外部から指定するようにしてもよい。

随時外部から重要度値のパターンを指定する場合には、例えば、その時点における対象画像Ｔ_ｎの取得、生成などの条件や状態、対象画像の特徴に応じて、重要度値のパターンを指定する。例えば、対象画像Ｔ_ｎのコントラストを定量化し、コントラストの高いものほど重要度ｗ_ｎ（ｘ，ｙ）が高くなるようにする。

さらに、代表画像生成手段１０は、複数の対象画像Ｔ_ｎの中から、１枚の画像を選択して代表画像Ｄ_ｎとして出力してもよい。
すなわち、次の式（６）を用いて、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎを関数Ｆ（Ｔ_１，Ｔ_２，…，Ｔ_Ｎ）により評価して、選択すべき対象画像のインデックスを求め、当該インデックスの対象画像を代表画像Ｄとして出力する。

例えば、関数Ｆは、各対象画像のコントラストを関数Ｆ（Ｔ_１，Ｔ_２，…，Ｔ_Ｎ）により評価して、コントラストの最も高かった対象画像を代表画像Ｄとして出力する。
また例えば、関数Ｆは、各対象画像の中から、乱数により確率的に１枚を選択し、そのインデックスを出力してもよい。このとき、乱数を生成する確率過程は固定のもの（例えば一様乱数）であっても構わないし、各対象画像の評価結果（コントラスト等）に応じて出現頻度の変わるよう設計された確率過程に基づく乱数系列であっても構わない。
代表画像生成手段１０は、以上のいずれかの方法によって生成した代表画像Ｄを、動き推定手段２０に出力する。

動き推定手段２０は、参照画像生成手段４０から参照画像Ｓと局所領域Ｌ_ｋの入力を受け付け、代表画像Ｄ内において、局所領域Ｌ_ｋに対応する領域である対応領域Ｒ_ｋ（ｋ＝１，２，…，Ｋ、Ｋは、対応領域の総数を示す自然数）を求めることで、代表画像Ｄと参照画像Ｓとの間の動きベクトル情報を求めるものである。

例えば、動き推定手段２０において、参照画像Ｓ内の局所領域Ｌ_ｋが、代表画像Ｄのどこに対応するかを求める方法として、ブロックマッチング法を用いることができる。
ブロックマッチング法では、まず、代表画像Ｄ内に局所領域Ｍをとる。次に、参照画像Ｓにおける局所領域Ｌ_ｋ内の画素値パターンと、代表画像Ｄ内における局所領域Ｍ内の画素値パターンとを比較し、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を求める。そして、代表画像Ｄ内において、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）が最大（または最小）となる局所領域Ｍを探索し、当該局所領域を対応領域Ｒ_ｋとする。
動き推定手段２０が、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を最大化する局所領域Ｌ_ｋを対応領域Ｒ_ｋとする場合には、対応領域Ｒ_ｋを、次の式（７）により求めることができる。

一方、動き推定手段２０が、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を最小化する局所領域Ｌ_ｋを対応領域Ｒ_ｋとする場合には、対応領域Ｒ_ｋを、次の式（８）により求めることができる。

ここで、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）としては、例えば、画素値パターン対の絶対値誤差和や、自乗誤差和、相互相関関数、正規化相互相関関数などを用いることができる。
例えば、画素値パターン対の絶対値誤差和による場合、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を、次の式（９）により求めることができる。

式（９）において、上付きのＴは、ベクトルまたは行列の転置を意味する。また、［ｄ_ｘ（Ｍ，Ｌ），ｄ_ｙ（Ｍ，Ｌ）］^Ｔは、領域Ｌの重心から領域Ｍの重心へ至るベクトルである。なお、画素値パターン対の絶対値誤差和、または、自乗誤差和による評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を用いる場合、動き推定手段２０は、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を最小化するように動作するものとする。つまり、動き推定手段２０は、対応領域Ｒ_ｋを、前記した式（８）により求める。

一方、画素値パターン対の相互相関係数、または、正規化相互相関係数による評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を用いる場合、動き推定手段２０は、評価値Ｅ（Ｓ，Ｌ_ｋ；Ｄ，Ｍ）を最大化するように動作するものとする。つまり、動き推定手段２０は、対応領域Ｒ_ｋを、前記した式（７）により求める。
動き推定手段２０は、前記したいずれかの手法により求めた対応領域Ｒ_ｋの情報を、画像変形手段３０_１，３０_２，…，３０_Ｎに出力する。

画像変形手段３０_１，３０_２，…，３０_Ｎは、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎのそれぞれに対応して、動き推定手段２０で求められた対応領域Ｒ_ｋに基づいて、画像変形をそれぞれ実行し、各画像変形結果を動き補償画像Ｃ_１〜Ｃ_Ｎとして出力するものである。

Ｎ個の画像変形手段３０_１，３０_２，…，３０_Ｎの機能は同様であるので、ここでは、ｎ番目の画像変形手段３０_ｎ（ｎ＝１，２，…，Ｎのいずれか）を例にとって説明する。
画像変形手段３０_ｎは、対応領域Ｒ_ｋに基づいて、対象画像Ｔ_ｎに対して、参照画像Ｓに近似させるように画像変形を実行して、各画像変形結果を動き補償画像Ｃ_ｎとして出力する。

例えば、画像変形手段３０_ｎは、対象画像Ｔ_１内の対応領域Ｒ_ｋ内の画素値パターンを動き補償画像Ｃ_ｎ内の局所領域にコピーすることで、動き補償画像Ｃ_ｎを生成する。
つまり、画像変形手段３０_ｎは、次に示す式（１０）により動き補償画像Ｃ_ｎを生成する。画像変形手段３０_ｎは、このようにして生成した動き補償画像Ｃ_ｎを外部に出力する。

［動き補償装置の動作］
次に、本実施形態に係る動き補償装置１の動作について図２〜図４および適宜図１を参照して説明する。
以下では、説明の便宜上、図２，３の紙面下側にそれぞれ示したような２枚の対象画像Ｔ_１，Ｔ_２を用いて説明する。２枚の対象画像Ｔ_１，Ｔ_２は被写体として、それぞれリンゴ，バナナ，メロン，オレンジを含むと共に、それぞれ異なるノイズを含んでいる。なおここでは、説明を分かりやすくするため、対象画像Ｔ_１，Ｔ_２においてノイズなどに起因する参照画像Ｓの対応する領域との差異を、蝶で表している。

また、参照画像生成手段４０では、外部から画像Ｓ_１，Ｓ_２の入力を受け付けると、１枚の参照画像Ｓを生成すると共に、参照画像Ｓ内に局所領域Ｌ_ｋを設定し、参照画像Ｓと局所領域Ｌ_ｋとを動き推定手段２０に出力する動作を実行する。
ここでは、画像Ｓ_１，Ｓ_２は、対象画像Ｔ_１，Ｔ_２と時刻が異なる画像とする。また、参照画像生成手段４０で生成された参照画像Ｓは、図２の紙面上側に示したように、被写体として、リンゴ，バナナ，メロン，オレンジを含むものとする。また、参照画像生成手段４０によって、参照画像Ｓを水平２分割、垂直３分割して、６個の正方形の部分領域（ブロック）群に分割し、その部分領域の一つ一つを局所領域Ｌ_１〜Ｌ_６と定義しているものとする。
次に、動き補償装置１の動作を説明する。

動き補償装置１は、動き推定手段２０によって、参照画像生成手段４０によって生成された参照画像Ｓおよび局所領域Ｌ_１〜Ｌ_６の入力を受け付ける（ステップＳ１）。
また、動き補償装置１は、代表画像生成手段１０によって、外部から対象画像Ｔ_１，Ｔ_２の入力を受け付ける（ステップＳ２）。
そして、動き補償装置１は、代表画像生成手段１０によって、対象画像Ｔ_１，Ｔ_２を用いて、前記したいずれかの方法を用いて代表画像Ｄの画素位置ごとの代表値Ｄ（ｘ，ｙ）を全ての画素位置について決定することで図２の紙面中央に示すような代表画像Ｄを生成する（ステップＳ３）。動き補償装置１は、代表画像生成手段１０によって、生成した代表画像Ｄを動き推定手段２０に出力する。

次に、動き補償装置１は、動き推定手段２０によって、代表画像生成手段１０で生成された代表画像Ｄの入力を受け付けると、この代表画像Ｄと、ステップＳ１で参照画像生成手段４０から入力を受け付けた参照画像Ｓとの間で動き推定を行う（ステップＳ４）。具体的には、動き補償装置１は、図２の紙面中央に示すように、代表画像Ｄ内において、局所領域Ｌ_１〜Ｌ_６に対応する対応領域Ｒ_１〜Ｒ_６を求める。動き補償装置１は、動き推定手段２０によって、対応領域Ｒ_１〜Ｒ_６の情報を画像変形手段３０_１，３０_２に出力する。

次に、動き補償装置１は、画像変形手段３０_１，３０_２によって、動き推定手段２０から対応領域Ｒ_１〜Ｒ_６の入力を受け付ける（ステップＳ５）。また、動き補償装置１は、画像変形手段３０_１，３０_２によって、外部から図３の紙面下側に示したような対象画像Ｔ_１，Ｔ_２の入力を受け付ける（ステップＳ６）。ここで、図３の紙面中程に示したのは、ステップＳ６で画像変形手段３０_１，３０_２に入力された対象画像Ｔ_１，Ｔ_２のそれぞれに、ステップＳ５で画像変形手段３０_１，３０_２に入力された対応領域Ｒ_１〜Ｒ_６を当てはめたものである。

画像変形手段３０_１，３０_２は、対象画像Ｔ_１，Ｔ_２を、それぞれ代表画像Ｄの対応領域Ｒ_１〜Ｒ_６に基づいて移動あるいは変形して、図３の紙面上側に示したような動き補償画像Ｃ_１，Ｃ_２を生成する（ステップＳ７）。
そして、動き補償装置１は、画像変形手段３０_１，３０_２によって、生成した動き補償画像Ｃ_１，Ｃ_２を外部に出力する（ステップＳ８）。
動き補償装置１は、以上のように動作する。

以上説明した本実施形態に係る動き補償装置１によれば、複数の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎから生成した１枚の代表画像Ｄと参照画像Ｓとの間で動き推定を行った結果を用いて、複数の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎの動き推定を行い、複数の動き補償画像Ｃ_１，Ｃ_２，…，を得ることができるので、演算量を削減することができ、処理時間を短縮化できる。

以上、本実施形態に係る動き補償装置１について説明したが、本発明は前記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。以下、本実施形態に係る動き補償装置１の変形例について説明する。

前記した実施形態では、参照画像生成手段４０によって、参照画像Ｓを垂直３分割、水平２分割して、正方形の６つの局所領域Ｌ_１〜Ｌ_６に分割したが、これに限られるものではなく、適宜変更することができる。例えば、参照画像Ｓを長方形の部分領域群に分割して、この部分領域のそれぞれを局所領域としてもよい。また、局所領域Ｌ_ｋの個数を１として、当該局所領域Ｌ_ｋが画像全体であってもよい。また、局所領域Ｌ_ｋの個数を２以上として、そのうちの１つの局所領域Ｌ_ｋが画像全体であってもよい。さらに、局所領域Ｌ_ｋの個数を１として、当該局所領域Ｌ_ｋが画像の一部であってもよい。局所領域Ｌ_ｋの個数を１とする場合、動き補償装置１によって大局的な動き推定を行う。

また、前記した実施形態では、Ｎ枚の対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎのそれぞれに対応させて、Ｎ個の画像変形手段３０_１，３０_２，…，３０_Ｎを設けることとしたが、これに限られるものではなく、画像変形手段を一つとし、時分割的にＮ回処理を行うことにより等価的にＮ個の画像変形手段３０_１，３０_２，…，３０_Ｎを設けたように動作させるようにしてもよい。

さらに、前記した実施形態では、３板式あるいは４板式のカメラで撮像した画像の各色成分を対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎとして説明したが、これに限られるものではない。例えば、超解像技術において、動き補償画像Ｃ_１〜Ｃ_Ｎにモンテカルロ法を適用する場合、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎを候補（仮説）としてもよい。これによれば、複数の画素値パターンが仮説群をなすとき、当該仮説と参照画像の位置合わせを近似的に高速実行することが可能となる。また例えば、ハイダイナミックレンジ技法で撮像して得られた、被写体の位置は同じであるが輝度の異なる複数枚の画像をそれぞれ対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎとしてもよい。

またさらに、本実施形態の動き補償装置１における代表画像生成手段１０が、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎに含まれていたノイズを除去する機能を有するようにしてもよいし、別途、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎからノイズを除去して代表画像生成手段１０に入力するノイズ除去手段を有するようにしてもよい。以下、このような動き補償装置を動き補償装置１Ｂとして説明する。動き補償装置１Ｂは、代表画像生成手段１０が対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎからノイズを除去する機能を有するかあるいはノイズ除去手段を有するようにした点以外は、動き補償装置１と同様である。

動き補償装置１Ｂをこのように構成すると、代表画像生成手段１０あるいはノイズ除去手段によって、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎに含まれていたノイズが除去されるので、代表画像生成手段１０によって、ノイズの無い対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎから代表画像Ｄを生成することができ、動き推定手段２０によって、ノイズの無い代表画像Ｄと参照画像Ｓとの間で動き推定を行うことができる。

次に、動き補償装置１Ｂの動作について簡単に説明する。なおここでは、参照画像生成手段４０においても画像Ｓ_１，Ｓ_２，…，Ｓ_Ｍからノイズが無い参照画像Ｓが生成されるものとする。
まず、動き補償装置１Ｂは、動き推定手段２０によって、参照画像生成手段４０で生成されたノイズの無い参照画像Ｓおよび局所領域Ｌ_ｋの入力を受け付ける。また、動き補償装置１Ｂは、代表画像生成手段１０あるいはノイズ除去手段によって、外部からノイズが含まれている対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎの入力を受け付ける。

次に、動き補償装置１Ｂは、代表画像生成手段１０あるいはノイズ除去手段によって、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎに含まれているノイズを除去し、前記したいずれかの方法によって、代表画像Ｄを生成して、動き推定手段２０に出力する。そして、動き補償装置１Ｂは、動き推定手段２０によって、ノイズの無い代表画像Ｄと参照画像Ｓとの間で動き推定を行い、対応領域Ｒ_ｋを画像変形手段３０_１，３０_２，…，３０_Ｎに出力する。また、動き補償装置１Ｂは、画像変形手段３０_１，３０_２，…，３０_Ｎによって、外部からノイズが含まれている対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎの入力を受け付ける。そして、動き補償装置１Ｂは、画像変形手段３０_１，３０_２，…，３０_Ｎによって、対応領域Ｒ_ｋに基づいて対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎのそれぞれを移動あるいは変形し、動き補償画像Ｃ_１〜Ｃ_Ｎを生成し、外部に出力する。

これによれば、動き推定手段２０において、ノイズの無い代表画像Ｄと参照画像Ｓとの間で動き推定を行うことができるため、動き推定精度を向上させることができ、また、対象画像間の差異を見えやすくすることができる。
また、動き補償画像Ｃ_１〜Ｃ_Ｎには、対象画像Ｔ_１，Ｔ_２，…，Ｔ_Ｎ間の差異が含まれているので、この対象画像間の差異を利用した応用が可能である。例えば、様々な波長で動画像に含まれる欠陥を監視したい場合に、ノイズを波長ごとの違いを表す情報として利用できる。また例えば、超解像技術にモンテカルロ法を適用する場合に、乱数で摂動された画像群（仮説群）に対して、仮説間の差異を保存した動き補償を高速に実現するための装置として利用することができる。

１、１Ｂ 動き補償装置
１０ 代表画像生成手段
２０ 動き推定手段
３０_１，３０_２，…，３０_Ｎ 画像変形手段
４０ 参照画像生成手段
Ｔ_１，Ｔ_２，…，Ｔ_Ｎ 対象画像
Ｓ 参照画像
Ｄ 代表画像
Ｌ_１〜Ｌ_６ 局所領域
Ｒ_１〜Ｒ_６ 対応領域
Ｃ_１，Ｃ_２ 動き補償画像
４１１〜４１６、４２１〜４２６ 局所領域

Claims (11)

1. 複数の対象画像を、１つの参照画像に対して位置合わせし、位置合わせ後の前記複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、
   前記複数の対象画像から代表画像を生成する代表画像生成手段と、
   外部から前記参照画像と、前記参照画像内に設定された局所領域の入力を受け付け、前記代表画像内において、前記局所領域に対応する対応領域を求めることで、前記代表画像と前記参照画像との間の動きベクトル情報を求める動き推定手段と、
   それぞれの前記対象画像に対応して、前記動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を前記動き補償画像として出力する画像変形手段と、
   を備えることを特徴とする動き補償装置。
2. 前記代表画像生成手段が、
   前記複数の対象画像において、画素位置ごとの画素値の代表値を演算して前記代表画像を生成する
   ことを特徴とする請求項１に記載の動き補償装置。
3. 前記代表画像生成手段が、
   前記画素位置ごとの画素値の代表値を、各画素値に対する重要度に応じて演算して前記代表画像を生成する
   ことを特徴とする請求項２に記載の動き補償装置。
4. 前記代表画像生成手段が、
   前記画素位置ごとの画素値の代表値として、画素値群の平均値を用いて前記代表画像を生成する
   ことを特徴とする請求項２または請求項３に記載の動き補償装置。
5. 前記代表画像生成手段が、
   前記画素位置ごとの画素値の代表値として、画素値群の加重平均値を用いて前記代表画像を生成する
   ことを特徴とする請求項２または請求項３に記載の動き補償装置。
6. 前記代表画像生成手段が、
   前記画素位置ごとの画素値の代表値として、画素値群の中央値を用いて前記代表画像を生成する
   ことを特徴とする請求項２または請求項３に記載の動き補償装置。
7. 前記代表画像生成手段が、
   前記画素位置ごとの画素値の代表値として、画素値群の最頻値を用いて前記代表画像を生成する
   ことを特徴とする請求項２または請求項３に記載の動き補償装置。
8. 前記代表画像生成手段が、
   前記画素位置ごとの画素値の代表値として、画素値群の中から乱数により選択した画素値を用いて前記代表画像を生成する
   ことを特徴とする請求項２または請求項３に記載の動き補償装置。
9. 前記代表画像生成手段が、
   前記複数の対象画像の中から、１画像を選択して前記代表画像として出力する
   ことを特徴とする請求項１に記載の動き補償装置。
10. 前記代表画像生成手段が、前記それぞれの対象画像の画像特徴に基づいて１画像を選択して、前記代表画像として出力することを特徴とする請求項９に記載の動き補償装置。
11. 前記代表画像生成手段が、前記複数の対象画像の中から乱数に基づいて１画像を選択して、前記代表画像として出力することを特徴とする請求項９に記載の動き補償装置。

Images