JP2008242839A

JP2008242839A - 画像処理装置及びその方法

Info

Publication number: JP2008242839A
Application number: JP2007082623A
Authority: JP
Inventors: Yasutoyo Takeyama; 泰豊武山; Sunao Mishima; 直三島; Takeshi Ito; 伊藤　　剛
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2008-10-09

Abstract

【課題】相互相関値を測定する範囲を広げずに正しい動き推定を行える画像処理装置を提供する。
【解決手段】相互相関算出部１２、自己相関算出部１４、解候補リストアップ部１６、補正値算出部１８、最小探索部２０から構成され、対象画像内でブロックマッチングを行い自己相関線を求め、対象画像と参照画像とをブロックマッチングを行って相互相関値を求め、前記相互相関値の中の解候補位置に自己相関線をフィッティングして、真の解を求める。
【選択図】図１

Description

本発明は、動画のフレーム補間や符号化やインタレースプログレッシブ変換における動き推定を行う画像処理装置及びその方法に関する。

２つの画像間における動き推定を行う際に、画像に周期的なパターンが含まれる場合にはブロックマッチングにおける相互相関値に高周波成分が発生しやすい。この例が図１及び図２である。

図１のような対象画像が、参照画像上のどの位置に動いているかを１次元（水平方向）で推定する場合、この相互相関値は図２のように高周波線分が含まれる。

図２では、相互相関値が低いほど適した動きであると定義している。相互相関値を際限なく細かく測定すると図２の曲線のようになるが、デジタル画像では画素値が離散的に存在すること、及び、計算量の肥大を防ぐため、相互相関値の計測は図２の黒点のように離散的になる。すると、真の解近傍で測定された相互相関値が最適な解とは見なされず、誤ったところで測定された相互相関値が最適であると誤推定されやすいという問題点がある。

このような周期的パターンによって誤推定が発生しやすい問題点に対しては、非特許文献１に示すように、相互相関値を測定する範囲を広くする手法が有効であるとされている。
C.Y. Kuang, A. Vetro, S. Huifang and S.Y. Kung, "Frame-rate up-conversion using transmitted true motion vectors," Multimedia Signal Processing, 1998 IEEE Second Workshop on, pp. 622 -627, Dec. 1998.

しかし、非特許文献１のような手法では、周期的パターンが発生しない部分に至るまで相互相関値を測定する範囲を広げる必要がある。ところが、この周期的パターンの存在範囲の推定は困難であり、また、相互相関値を測定する範囲を広げる手法を電気回路で実装するとハードウェアのコストが高くなりやすい。

そこで、本発明は、上記問題点に鑑み、相互相関値を測定する範囲を広げずに正しい動き推定を行える画像処理装置及びその方法を提供する。

本発明は、第１画像と第２画像間の動きを推定する画像処理装置において、前記第１画像中を複数の第１領域に分割する分割部と、前記第１画像内において、前記第１領域の位置を中心として前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置の画素値とのブロックマッチングを行い、前記移動位置毎に自己相関値をそれぞれ算出する自己相関抽出部と、前記第１領域の位置における自己相関値を極値として、前記移動位置毎の前記自己相関値から自己相関線を算出する自己相関線算出部と、前記対象画像内において、前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置にある前記対象画像の画素値とのブロックマッチングを行い、前記移動位置毎に相互相関値をそれぞれ算出する相互相関抽出部と、前記複数の相互相関値の中から極小値に該当する相互相関値を求め、前記極小値の相互相関値と前記極小値の相互相関値に対応する前記移動位置を、動き推定の解候補位置として複数抽出する解候補位置抽出部と、（１）前記解候補位置毎に求めるものであり、（２）前記複数の解候補位置の中から一つの解候補位置を選択し、（３）前記選択した解候補位置と、前記選択した解候補位置と隣接する少なくとも１つの前記移動位置とが、前記自己相関線上の位置、または、近傍になるように、前記自己相関線を配置し、（４）前記自己相関線の極値の位置を、前記解候補位置に対応する相互相関の補正極値とする補正値算出部と、前記各解候補位置の補正極値の中で最小となる補正極値を有する解候補位置を正しい解として、この解における位置を前記対象画像における第２領域の位置とする第２領域決定部と、前記第１画像中の前記第１領域を始点とし、前記第２画像中の前記第２領域を終点とした動きベクトルを求める動きベクトル決定部と、を有する画像処理装置である。

本発明によれば、相互相関値に補正をかけることによって、従来手法のように相互相関値を測定する範囲を広げずに正しい動き推定を行える。

以下、本発明の一実施形態の動き推定を行う画像処理装置１０について図面に基づいて説明する。

（実施形態１）
以下、本発明の実施形態１の画像処理装置１０について、図３から図１０に基づいて説明する。

（１）画像処理装置１０の構成
図３は、本実施形態の画像処理装置１０のブロック図である。

画像処理装置１０は、相互相関算出部１２、自己相関算出部１４、解候補リストアップ部１６、補正値算出部１８、最小探索部２０から構成される。

これら各部の機能は、コンピュータの記録媒体に格納されたプログラムによっても実現できる。

対象画像には動き推定を行う２枚の画像のうちの片方の画素値のデータが入っており、参照画像にはもう一方の画像の画素値のデータが入っている。本実施形態では、対象画像（第１画像）中の一つのブロックが、参照画像（第２画像）中のどの領域に移動したかを示す動きベクトルを推定する。

具体的には、対象画像の自己相関値を用いる。対象画像に映っている物体と参照画像に映っている物体が同一のもので、かつ、移動したものであるとみなし、それらの相関値は対象画像のみの自己相関値と等しくなるとして扱う。つまり、自己相関を相互相関の真の解で測定されたもの及びその近傍の相関値とみなす。次に、相互相関値が局所解となっているもののみに対して自己相関値によって測定された真の解が、相互相関値においてどこに存在するかを推定し、その近傍で測定された相互相関値と真の解の相互相関値がどの程度差があるかを測る。

（１−１）相互相関算出部１２
相互相関算出部１２には、参照画像及び対象画像が入力し、参照画像及び対象画像との相互相関値を算出して、解候補リストアップ部１６及び補正値算出部１８へ出力する。

（１−２）自己相関算出部１４
自己相関算出部１４には、対象画像が入力し、対象画像内の自己相関値を算出して補正値算出部１８へ出力する。

（１−３）解候補リストアップ部１６
解候補リストアップ部１６は、探索範囲内の全ての動きに対して、相互相関算出部１２から入力した相互相関値から、動き推定の解の候補となるか否かを判定し、解候補位置となる全てをリストとして、最小探索部２０へ出力する。

（１−４）補正値算出部１８
補正値算出部１８は、相互相関算出部１２からの相互相関値と自己相関算出部１４からの自己相関値と最小探索部１８の解候補位置に基づいて、補正極値を算出して、最小探索部２０へ出力する。

（１−５）最小探索部２０
最小探索部２０では、解候補リストアップ部１６から解候補位置のリストが入力され、また、補正極値を補正値算出部１８から得て、リストの中で最小となる補正極値を求める。そして、動き推定結果として、最適な動きベクトルを求める。

（２）画像処理装置１０の処理
次に、本実施形態の画像処理装置１０の処理を図４〜図８に示すフローチャート、及び、図９，図１０を参照して説明する。

（２−１）相互相関算出部１２
図４は、相互相関算出部１２の処理のフローチャートである。

相互相関算出部１２はSum of Absolute Difference によって、ブロックマッチング法による相互相関を評価する機能を持っている。入力された参照画像の画素位置をｘ１、対象画像の画素位置をｘ２とすると、相互相関算出部１２で出力される値ＳＡＤは式（１）によって定義される。但し、ｇ１は参照画像の画素位置ｘ１の画素値、ｇ２は対象画像の画素位置ｘ２の画素値である。画素値としては、例えば輝度値である。

このとき、対象画像の画素位置ｘ２に対応する参照画像の画素位置を中心として、予め定められた探索範囲内にある画素を全て探索する。この探索する画素が画素位置ｘ１となる。そして、それぞれの各画素について相互相関値を求める。以下では、説明を簡単にするために、画像の横方向、すなわち。左右方向のみに探索範囲があるとしてブロックマッチングを行う。

（２−２）自己相関算出部１４
図５は、自己相関算出部１４の処理のフローチャートである。

自己相関算出部１４はSum of Absolute Difference によって、ブロックマッチング法による自己相関を評価する機能を持っている。

入力された対象画像の画素位置１をｙ１、対象画像の画素位置２をｙ２とすると、自己相関算出部１４で出力される値ＳＡＤcorは式（２）によって定義される。但し、ｇ２は対象画像の各画素位置ｙ１、ｙ２における画素値である。画素値としては、例えば輝度値である。

このとき、画素位置１を中心として予め定められた探索範囲内にある画素を全て探索する。この探索する画素が画素位置２となる。そして、それぞれの自己相関値を求める。以下では、説明を簡単にするために、画像の横方向、すなわち。左右方向のみに探索範囲があるとしてブロックマッチングを行う。すなわち、自己相関算出部１４は相互相関算出部１２の参照画像の画像位置が対象画像の画像位置２に置き代わったものと等価である。

そして、一つのブロック内の画素の自己相関値を全て合計してブロック自己相関値を求めておく。

（２−３）解候補リストアップ部１６
図６は、解候補リストアップ部１６における画像処理全体の処理を示すフローチャートである。

図６の左のフローチャートについて説明する。

参照画像内の全ての探索範囲において、それぞれの探索範囲について次の処理をそれぞれ行う。

その処理とは、一つの探索範囲内にある全てのブロックについて次の処理を行う。

その処理とは、一つのブロックに含まれる画素毎に相互相関値を抽出する。これは、相互相関算出部１２から出力されたものである。この抽出した一つのブロックに含まれる画素毎の相互相関値を合計して、一つのブロックにおけるブロック相互相関値を求める。このブロック相互相関値をリストに格納する。このリストは、対象画像のブロック毎に生成され、このリストに格納する情報としては、参照画像内の位置と、その位置におけるブロック相互相関値である。

図６の右のフローチャートについて説明する。

参照画像内の全ての探索範囲のそれぞれの探索範囲について次の処理を行う。

その処理とは、一つのブロックのブロック相互相関値が極小値か否かを判定し、極小値をとるブロック相互相関値を解候補位置とする。この解候補位置となったブロック相互相関値については、前記リストにその旨の情報を追加して格納する。ここで極小値とは、中心となるブロック相互相関値と、その両隣のブロック相互相関値とを比較し、中心となるブロック相互相関値が、その両隣のブロック相互相関値より小さいものをいう。

解候補リストアップ部１６において抽出された解候補位置群は、最小探索部２０に渡される。

（２−４）補正値算出部１８
図８は、補正値算出部１８の処理のフローチャートである。

まず、最小探索部１６から前記リストを入力する。そして、解候補位置のブロック相互相関値を中心として、画像の水平方向にある近傍の点について前記リストから解候補位置でないブロック相互相関値を抽出する。

次に、解候補位置の左右の近傍の位置で、ブロック相互相関値が近い方に着目して、前記解候補位置のブロック相互相関値と、その近傍の解候補位置でないブロック相互相関値の差をＤｉｆｆとする。

次に、ブロック毎のブロック自己相関値を自己相関算出部１４から抽出する。自己相関関数の横方向に関して＋１の画素位置と＋２の画素位置のブロック自己相関値を抽出する。自己相関関数の極値の位置（すなわち、同じ位置のブロック同士で自己相関値を求めた位置）は必ずゼロになり、また、−１の画素位置、−２の画素位置のブロック自己相関値はそれぞれ＋１、＋２の画素位置のブロック自己相関値と同じであると近似する。得られたブロック自己相関値を図示すると図９となる。図９では、横軸は画素位置、縦軸はブロック自己相関値である。図９は、自己相関関数は４本の線分で表現され、これを以下では自己相関線という。また、このゼロの位置が自己相関の極値の位置である。

このようにして求めた自己相関線を、相互相関に対してフィッティングして真の解の位置の推定を行う。このフィッティングの模式図が図１０である。

処理中である解候補位置のブロック相互相関値の位置を点Ａとすると、左右両端の値を見て値が小さい方の解候補位置でないブロック相互相関値の点（図１０では点Ｃ）と点Ａの間に相互相関の補正極値Ｐがあり、また、補正極値Ｐの位置が点Ａの方に近い位置にあるとする。

フィッティングする前提条件として、点Ａ及び点Ｃが、自己相関線上にあるとみなす。すると、自己相関線の極値の位置は一意に定まっているので、この自己相関の極値の位置を相互相関の極値の位置とする。すなわち、自己相関線は、図９に示すように画素位置ゼロを中心して、４本の線分で表現され、この線分上に点Ａと点Ｃが存在するとみなす。すると、このときの相互相関の補正極値Ｐ（Ａ）は式（３）のように計算される。

但し、Ｃ（Ａ）は点Ａの値、上記したようにＤｉｆｆは図１０のように点Ａの左右両端のうち値の小さい点と点Ａの値の差である。ｋ１は、図９における＋１（または−１）のブロック自己相関値であり、ｋ２は、図９における＋２（または−２）のブロック自己相関値からｋ１を差し引いた値である。ｋ１とｋ２は予め図９から求めておく。

（２−５）最小探索部１６
図７は、最小探索部１６の処理のフローチャートである。

最小探索部２０では、リストにある解候補位置の全てに対して補正極値Ｐを補正値算出部１８から抽出し、その中で最小となる値を算出する。

すなわち、解候補位置毎にある補正極値Ｐの中から、最も小さい補正極値Ｐを有する解候補位置を求める。そして、この最も小さい補正極値Ｐを有する解候補位置を解とする。この参照画像上の解のブロックの位置が、対象画像の一つのブロックが移動した位置となるので、その位置が最も最適な動きの位置となる。

したがって、動きベクトルとして出力する場合は、対象画像のブロックの位置を始点、参照画像の前記解のブロックの位置を終点とした動きベクトルを求める。

（３）効果
本実施形態の画像処理装置１０においては、上記のようなフィッティングを行うことにより、真の解よりずれた位置でサンプリングされてしまった相互相関値から、自己相関値を使って、動き位置の真の解がどこに存在するかを推定できる。

（実施形態２）
次に、実施形態２の画像処理装置１０について図１１、図１２に基づいて説明する。

実施形態１では、ブロック相互相関値を２個用いてフィッティングしたが、本実施形態では、４個のブロック相互相関値でフィッティングするため、実施形態１における補正値算出部１８を以下のように変更する。

フィッティングにおいて、ブロック自己相関値の相対位置、つまりブロック自己相関値（０，０）に相当する点の位置を（α，β）とおく。ブロック自己相関値を線分で結ぶことによって得られる直線群に対して、解候補位置であるブロック相互相関値、及び、その周辺のブロック相互相関値が離れている距離を図１１のように相関軸方向に対して計算を行う。これら距離の２乗の総和が最小になるようにα、βの値を求める。

つまり、図１１におけるブロック相互相関値の各点とブロック自己相関値によって構成される各線分との相関値方向の距離をｄｉ（ｉはインデックス）とすると、以下の式（４）で表されるD（α，β）を最小とするα、βを求める。

式（４）において、Ａｒｅａは自己相関関数を測定した範囲を表す。D（α，β）を最小とするα、βは以下の式（５）の連立方程式を解くことによって得られる。

得られたβの値から相互相関の補正極値が求められる。図１０のＣｏｒ（Ａ）（＝Ｃ（Ａ）−Ｐ（Ａ））のような、ブロック相互相関値が減少する分の値を以下では減少値と呼ぶ。

ブロック自己相関値のフィッティングが成功している信頼度をＤ（α，β）から以下のように求める。Ｄ（α，β）が大きいということは、フィッティングがうまくいかないところである。このようなブロック相互相関値に対して補正をかけるのは不適切であるため、図１２のようなグラフで表される変換テーブルに沿ってＤ（α，β）から係数γを求める。このγと減少値を乗算したものを減少値Ｃｏｒ’（Ａ）とし、ブロック相互相関値から引くことによって補正極値とする。

このようなフィッティングの信頼度を計算することによって、本来フィッティングがふさわしくないブロック相互相関値が誤推定されることを防げる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

対象画像が、参照画像上のどの位置に動いているかを１次元（水平方向）で推定する図である。こ動きを推定した場合の相互相関値のグラフである。本発明の実施形態１の画像処理装置のブロック図である。相互相関算出部の処理のフローチャートである。自己相関算出部の処理のフローチャートである。解候補リストアップ部の処理のフローチャートである。最小探索部の処理のフローチャートである。補正値算出部の処理のフローチャートである。得られたブロック自己相関値を図示した図である。フィッティングの模式図である。実施形態２のフィッティングの模式図である。変換テーブルのグラフである。

符号の説明

１０画像処理装置
１２相互相関算出部
１４自己相関算出部
１６解候補リストアップ部
１８補正値算出部
２０最小探索部

Claims

第１画像と第２画像間の動きを推定する画像処理装置において、
前記第１画像中を複数の第１領域に分割する分割部と、
前記第１画像内において、前記第１領域の位置を中心として前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置の画素値とのブロックマッチングを行い、前記移動位置毎に自己相関値をそれぞれ算出する自己相関抽出部と、
前記第１領域の位置における自己相関値を極値として、前記移動位置毎の前記自己相関値から自己相関線を算出する自己相関線算出部と、
前記対象画像内において、前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置にある前記対象画像の画素値とのブロックマッチングを行い、前記移動位置毎に相互相関値をそれぞれ算出する相互相関抽出部と、
前記複数の相互相関値の中から極小値に該当する相互相関値を求め、前記極小値の相互相関値と前記極小値の相互相関値に対応する前記移動位置を、動き推定の解候補位置として複数抽出する解候補位置抽出部と、
（１）前記解候補位置毎に求めるものであり、（２）前記複数の解候補位置の中から一つの解候補位置を選択し、（３）前記選択した解候補位置と、前記選択した解候補位置と隣接する少なくとも１つの前記移動位置とが、前記自己相関線上の位置、または、近傍になるように、前記自己相関線を配置し、（４）前記自己相関線の極値の位置を、前記解候補位置に対応する相互相関の補正極値とする補正値算出部と、
前記各解候補位置の補正極値の中で最小となる補正極値を有する解候補位置を正しい解として、この解における位置を前記対象画像における第２領域の位置とする第２領域決定部と、
前記第１画像中の前記第１領域を始点とし、前記第２画像中の前記第２領域を終点とした動きベクトルを求める動きベクトル決定部と、
を有する画像処理装置。
前記補正極値算出部は、前記選択した解候補位置と、前記選択した解候補位置と隣接する１つの前記移動位置とに基づいて前記相互相関の補正極値を求める、
請求項１記載の画像処理装置。
前記補正極値算出部は、前記選択した解候補位置と、前記選択した解候補位置以外に３つの前記移動位置に基づいて前記相互相関の補正極値を求める、
請求項１記載の画像処理装置。
第１画像と第２画像間の動きを推定する画像処理方法において、
前記第１画像中を複数の第１領域に分割する分割ステップと、
前記第１画像内において、前記第１領域の位置を中心として前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置の画素値とのブロックマッチングを行い、前記移動位置毎に自己相関値をそれぞれ算出する自己相関抽出ステップと、
前記第１領域の位置における自己相関値を極値として、前記移動位置毎の前記自己相関値から自己相関線を算出する自己相関線算出ステップと、
前記対象画像内において、前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置にある前記対象画像の画素値とのブロックマッチングを行い、前記移動位置毎に相互相関値をそれぞれ算出する相互相関抽出ステップと、
前記複数の相互相関値の中から極小値に該当する相互相関値を求め、前記極小値の相互相関値と前記極小値の相互相関値に対応する前記移動位置を、動き推定の解候補位置として複数抽出する解候補位置抽出ステップと、
（１）前記解候補位置毎に求めるものであり、（２）前記複数の解候補位置の中から一つの解候補位置を選択し、（３）前記選択した解候補位置と、前記選択した解候補位置と隣接する少なくとも１つの前記移動位置とが、前記自己相関線上の位置、または、近傍になるように、前記自己相関線を配置し、（４）前記自己相関線の極値の位置を、前記解候補位置に対応する相互相関の補正極値とする補正値算出ステップと、
前記各解候補位置の補正極値の中で最小となる補正極値を有する解候補位置を正しい解として、この解における位置を前記対象画像における第２領域の位置とする第２領域決定ステップと、
前記第１画像中の前記第１領域を始点とし、前記第２画像中の前記第２領域を終点とした動きベクトルを求める動きベクトル決定ステップと、
を有する画像処理方法。
前記補正極値算出ステップは、前記選択した解候補位置と、前記選択した解候補位置と隣接する１つの前記移動位置とに基づいて前記相互相関の補正極値を求める、
請求項４記載の画像処理方法。
前記補正極値算出ステップは、前記選択した解候補位置と、前記選択した解候補位置以外に３つの前記移動位置に基づいて前記相互相関の補正極値を求める、
請求項４記載の画像処理方法。
第１画像と第２画像間の動きを推定する画像処理プログラムにおいて、
前記第１画像中を複数の第１領域に分割する分割機能と、
前記第１画像内において、前記第１領域の位置を中心として前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置の画素値とのブロックマッチングを行い、前記移動位置毎に自己相関値をそれぞれ算出する自己相関抽出機能と、
前記第１領域の位置における自己相関値を極値として、前記移動位置毎の前記自己相関値から自己相関線を算出する自己相関線算出機能と、
前記対象画像内において、前記第１領域を移動させながら、前記第１領域の画素値と前記移動した位置にある前記対象画像の画素値とのブロックマッチングを行い、前記移動位置毎に相互相関値をそれぞれ算出する相互相関抽出機能と、
前記複数の相互相関値の中から極小値に該当する相互相関値を求め、前記極小値の相互相関値と前記極小値の相互相関値に対応する前記移動位置を、動き推定の解候補位置として複数抽出する解候補位置抽出機能と、
（１）前記解候補位置毎に求めるものであり、（２）前記複数の解候補位置の中から一つの解候補位置を選択し、（３）前記選択した解候補位置と、前記選択した解候補位置と隣接する少なくとも１つの前記移動位置とが、前記自己相関線上の位置、または、近傍になるように、前記自己相関線を配置し、（４）前記自己相関線の極値の位置を、前記解候補位置に対応する相互相関の補正極値とする補正値算出機能と、
前記各解候補位置の補正極値の中で最小となる補正極値を有する解候補位置を正しい解として、この解における位置を前記対象画像における第２領域の位置とする第２領域決定機能と、
前記第１画像中の前記第１領域を始点とし、前記第２画像中の前記第２領域を終点とした動きベクトルを求める動きベクトル決定機能と、
をコンピュータによって実現する画像処理プログラム。
前記補正極値算出機能は、前記選択した解候補位置と、前記選択した解候補位置と隣接する１つの前記移動位置とに基づいて前記相互相関の補正極値を求める、
請求項７記載の画像処理プログラム。
前記補正極値算出機能は、前記選択した解候補位置と、前記選択した解候補位置以外に３つの前記移動位置に基づいて前記相互相関の補正極値を求める、
請求項７記載の画像処理プログラム。