JP2001084372A - 画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】二次元再帰相関演算によるアルゴリズムの効率
化を図ることにより、安価な汎用の計算機（ＣＰＵ）で
も実時間での相関演算を可能とする。 【解決手段】第１、第２画像間の相関を判断する相関演
算のため、第１画像の小領域１０１を第２画像の探索範
囲２０１内において対応させて画素を一部ずらしながら
順次移動し、各移動位置で対応する画素の相関演算を行
う際、前回と今回でオーバーラップする領域（２、３、
４）の相関演算値は、相関演算の冗長性を除くために、
前回の値をそのまま共通値として用い、今回新たに加わ
った領域（５）の相関演算値を共通値に足し込み、今回
非オーバーラップとなった領域（１）の相関演算値は切
り捨てる処理を行い、各位置の相関演算値から前記小領
域が前記探索範囲内で類似している領域を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばロボット
の視覚システム、画像データの圧縮システム、ヒューマ
ンインターフェース等に用いて有効な画像処理方法及び
装置に関するものであり、特に二次元再帰相関演算によ
る実時間オプティカルフロー計算方法に特徴を有する。

【０００２】

【従来の技術】実世界で自律的に行動するロボットにと
って、環境や自己の動きを知覚できるオプティカルフロ
ーは、認識と行動のために本質的に重要である。特に小
さな動きや動いている対象物の形状までを検出可能にす
るためには、密度の高いオプティカルフロー生成を高速
で行えるシステムが要望される。オプティカルフローを
実時間で得ることができれば、より上位の認識処理を行
いながら行動するロボットを実現することが可能であ
る。

【０００３】

【発明が解決しようとする課題】しかし従来の画像処理
装置によると、演算方法が複雑であるため、高速化する
ために装置自体が大型化すること、また、独自に開発し
たハードウエアを搭載する方式にすると非常に高価にな
ってしまうという問題がある。

【０００４】そこでこの発明では、二次元再帰相関演算
によるアルゴリズムの効率化を図ることにより、安価な
汎用の計算機（ＣＰＵ）でも実時間での相関演算を行う
ことができる画像処理方法及び装置を提供することを目
的とする。

【０００５】

【課題を解決するための手段】この発明は、上記の目的
を達成するために、第１、第２画像間の相関を判断する
相関演算のために、第１画像の小領域を、第２画像の探
索範囲内に対応させて画素を一部ずらしながら順次移動
させて、各移動位置で対応する画素を用いた相関演算を
行う際に、前回と今回の移動位置間で、オーバーラップ
する領域の相関演算値は、相関演算の冗長性を除くため
に、前回の移動位置での値をそのまま共通値として活用
し、今回の移動位置で新たに加わった領域の相関演算値
を共通値に足し込み、今回の移動のために非オーバーラ
ップとなった領域の相関演算値は切り捨てる処理を行
い、各位置での相関演算値から、前記小領域が前記探索
範囲内で類似している領域を検出することを特徴とする
ものである。

【０００６】上記の手法を用いることにより、小領域を
探索範囲内で順次移動させて、相関演算値を求めるとき
の演算処理は、上記のオーバーラップ部分の処理が削減
されるために大幅な処理速度の向上を得ることができ
る。

【０００７】

【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して説明する。

【０００８】（Ａ）まず、本発明で着目しているオプテ
ィカルフローについて説明する。

【０００９】オプティカルフローは、多くの場合は１つ
のカメラから得られた連続する２つの画像中の各点の対
応点を探索することである。これまでは、画像の微分か
らフローの方向を得る手法と、相関演算により近似的に
局所領域を対比し、似ている領域を見つけ出しフローの
方向を得る手法とがある。

【００１０】いずれの手法も、連続する画像間では対応
する領域は、あまり離間していないという仮定のもとで
探索を行っている。

【００１１】上記相関演算による手法の画像処理工程を
述べると次のようになる。

【００１２】（ａ１）画像のノイズ除去、正規化等の前
処理を行う。

【００１３】（ａ２）各小領域に対して可能な探索範囲
で対応する各小領域毎に相関演算を行う。

【００１４】（ａ３）それらの中から適切な対応点を選
択する。

【００１５】（ａ４）サブピクセルレベルでフローを推
定する。

【００１６】本発明では、視差画像を高速に計算するた
めに提案された再帰相関演算手法を２次元に拡張するこ
とにより、上記（ａ２）の相関演算を左右−右左・一致
チェック法（Left-to-Right Right-to-Left Consistenc
y Checking(LR-Check)法）を応用し、上記（ａ３）の適
切な対応点を選択する。そして、実時間で密度の高いオ
プティカルフローの生成が可能なとなるように、次に述
べるような３段階の高速化を行った。

【００１７】（ｂ１）二次元再帰相関演算によるアルゴ
リズムの効率化処理 （ｂ２）キャッシュを意識したアルゴリズムの展開処理 （ｂ３）ＭＭＸ命令による高速化処理 上記（ｂ１）、（ｂ２）の処理命令は、Ｃ言語で、上記
（ｂ３）の処理命令は、ＭＭＸのアセンブラにより記述
した。

【００１８】（Ｂ）次に、二次元再帰相関演算による対
応点探索について説明する。

【００１９】（Ｂ０） まず相関の評価式の例を説明す
る。

【００２０】画像中の各点の明るさをＩｎ（ｘ，ｙ）と
おくと、画像Ｉ１の点（ｘ、ｙ）から縦横Ｗの領域と、
画像Ｉ２のそれぞれ点（ｘ＋ｙ，ｙ＋ｌ）からＷの領域
での相関値は、相関の評価式を差の絶対値の総和、ある
は積の総和とおいたとき、以下の式のＣ_１またはＣ_２と
書くことができる。そして、もっとも相関度の高い領域
は、それぞれＯ１１，Ｏ２２の式を満たす（ｋ，ｌ）で
与えられる。

【００２１】 Ｃ_１１（ｘ，ｙ，ｋ，ｌ） ＝Σ_ｉ ^ｗ Σ_ｊ ^ｗ｛｜Ｉ_１（ｘ＋ｉ，ｙ＋ｊ）−Ｉ
_２（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）｜｝ Ｃ_２２（ｘ，ｙ，ｋ，ｌ） ＝Σ_ｉ ^ｗΣ_ｊ ^ｗ｛Ｉ_１（ｘ＋ｉ，ｙ＋ｊ）×Ｉ_２（ｘ＋
ｉ＋ｋ，ｙ＋ｊ＋ｌ）｝Ｏ１１（ｘ，ｙ）＝ｍｉｎ
_ｋ，ｌ｛Ｃ_１（ｘ，ｙ，ｋ，ｌ）｝ Ｏ２２（ｘ，ｙ）＝ｍａｘ_ｋ，ｌ｛Ｃ_２（ｘ，ｙ，ｋ，
ｌ）｝ 上記の相間演算を隙間なく行うと、相関の評価式の計算
をＷ×Ｗ回冗長に行うことになる。

【００２２】この冗長性を除くために、これから述べる
ような演算手法が採用されている。

【００２３】以下の説明では、Ｃ_１（ｘ，ｙ，ｋ，ｌ）
で示した式（差の絶対値を得る）に基づいてオプティカ
ルフローを得る例を説明する。差の絶対値を得る式の場
合には、最も相関度の高い領域は、探索範囲内の全ての
相関値が最小となる。

【００２４】（Ｂ１） 相関演算による対応点探索 オプティカルフローを計測するためには、連続する２枚
の画像において、一方の画像（第１画面）の各小領域に
対して、もう一方の画像（第２画面）の対応する小領域
を求める必要がある。

【００２５】各小領域の対応を計算するためには局所領
域の相関値を求める相関演算を用いる。画像の各小領域
の輝度値の平均が等しいと仮定すると、例えば式（１）
のような正規化項を含んだ形が、また、画像の各小領域
の輝度値の分散が等しいと仮定し、式を簡略化すると例
えば式（２）の相関演算（ＳＡＤ）を利用することがで
きる。

【００２６】

【数１】

【００２７】ただし、画素（ｘ，ｙ）での輝度値をＩ_１
（ｘ，ｙ），Ｉ_２（ｘ，ｙ），ｘ，ｙの値域を０＜ｘ，
ｙ＜Ｎとする。また、相関演算のウインドウサイズをＷ
×Ｗとし、その値域を０＜ｉ，ｊ＜Ｗとする。さらに探
索範囲を探索範囲ｋ，ｌの値域を０＜ｋ，ｌ＜Ｄとす
る。ｘ，ｙの値を固定したときに最も相関度の高い視差
ｋ，ｌは、式（２）では最も値の小さいもの、式（１）
では最も値の大きいものとして与えられる。

【００２８】（Ｂ２） 二次元再帰相関演算アルゴリズ
ムについて説明する。

【００２９】再帰相関演算と呼ばれるアルゴリズムが視
差画像を高速に計算する手法として知られている。

【００３０】本発明では、この方法を２次元に拡張する
ものであり、オプティカルフローの相関演算の計算量を
Ｏ（Ｎ^２Ｗ^２Ｄ^２）からＯ（Ｎ^２Ｄ^２）とすることが可
能である。

【００３１】以下そのアルゴリズムを説明する。

【００３２】 Ｐ（ｘ，ｙ，ｋ，ｌ）＝｜Ｉ_１（ｘ，ｙ）−Ｉ_２（ｘ＋ｋ，ｙ＋ｌ）｜ （３） とすると、式（２）に基づく相関演算（ＳＡＤ）は、 Ｏ（ｘ，ｙ）＝ｍｉｎｋ，ｌ｛Ｃ_１（ｘ，ｙ，ｋ，ｌ）｝ Ｃ_１（ｘ，ｙ，ｋ，ｌ） ＝Σ_ｉ＝０ ^ｗ−１Σ_ｊ＝０ ^ｗ−１Ｐ（ｘ＋ｉ，ｙ＋ｊ，ｋ，ｌ） （４） と書ける。ここで、 Ｑ１（ｘ，ｙ，ｋ，ｌ）＝Σ_ｊ＝０ ^ｗ−１Ｐ（ｘ，ｙ＋ｊ，ｋ，ｌ） Ｑ２（ｘ，ｙ，ｋ，ｌ）＝Σ_ｉ＝０ ^ｗ−１Ｐ（ｘ＋ｉ，ｙ，ｋ，ｌ） （５） とすると、Ｃ_１（ｘ＋１，ｙ＋１，ｋ，ｌ）は、 Ｃ_１（ｘ＋１，ｙ＋１，ｋ，ｌ） ＝Ｃ_１（ｘ，ｙ，ｋ，ｌ） ＋Ｑ１（ｘ＋Ｗ，ｙ，ｋ，ｌ）−Ｑ１（ｘ，ｙ，ｋ，ｌ） ＋Ｑ２（ｘ，ｙ＋Ｗ，ｋ，ｌ）−Ｑ２（ｘ，ｙ，ｋ，ｌ） ＋Ｐ（ｘ，ｙ，ｋ，ｌ）＋Ｐ（ｘ＋Ｗ，ｙ＋Ｗ，ｋ，ｌ） −Ｐ（ｘ＋Ｗ，ｙ，ｋ，ｌ）−Ｐ（ｘ，ｙ＋Ｗ，ｋ，ｌ） （６） と計算できる。更にＱ１（ｘ，ｙ，ｋ，ｌ），Ｑ２
（ｘ，ｙ，ｋ，ｌ）自身も同様に再帰的に計算できる。

【００３３】 Ｑ１（ｘ，ｙ＋１，ｋ，ｉ） ＝Ｑ１（ｘ，ｙ，ｋ，ｌ）＋Ｐ（ｘ，ｙ＋Ｗ，ｋ，ｌ）
−Ｐ（ｘ，ｙ，ｋ，ｌ）Ｑ２（ｘ＋１，ｙ，ｋ，ｉ） ＝Ｑ２（ｘ，ｙ，ｋ，ｌ）＋Ｐ（ｘ＋Ｗ，ｙ，ｋ，ｌ）
−Ｐ（ｘ，ｙ，ｋ，ｌ） 次に、上記の処理内容を図面を参照して説明する。

【００３４】図１は、上記の処理の内容を分かりやすく
するために、単純化して、一部を示している。

【００３５】図１（Ａ）に示すように、時間ｔ１の第１
画像１００に小領域１０１があり、時間ｔ２の第２画像
２００に探索範囲２０１がある。小領域１０１の画素
１，２，３，４と探索範囲２０１の画素１，２，３，４
とを用いた演算が行われ、第１の相関値Ｎ１が得られる
（図１（Ｂ））。

【００３６】次のステップでは、探索範囲２０１におい
て例えば垂直方向へ１画素分ずれた位置の領域と、第１
画像の小領域との相関演算が行われる。但しこの場合
は、互いの領域の全ての画素についての計算が行われる
のではなく、領域がオーバーラップする前回の位置での
計算値（図の例では画素２，３，４に関する値）は、そ
のまま共通値として活用し、今回の移動位置で新たに加
わった領域に関する相関演算値を前記共通値に足し込
み、今回の移動のために非オーバーラップとなった領域
の相関演算値は切り捨てる処理を行い、第２の相関値Ｎ
２を得る。さらに次のステップにおいても、同様に、領
域がオーバーラップする前回の移動位置での計算値は、
そのまま共通値として活用し、今回の移動位置で新たに
加わった領域に関する相関演算値を前記共通値に足し込
み、今回の移動のために非オーバーラップとなった領域
の相関演算値は切り捨てる処理を行い、第３の相関値Ｎ
３を得る。

【００３７】上記の例では、原理を理解し易くするため
に、小領域１０１を１列で示し、探索範囲内で垂直方法
へ１画素ずつ移動させて、相関演算を行った。しかし、
実際には、小領域は２次元でありＷ×Ｗ画素を単位とし
て構成される。

【００３８】図２には、時刻ｔ１における画像と、時刻
ｔ２における画像との間でＷ×Ｗ画素を単位として相関
演算を行う場合の一般式を模式的に示している。

【００３９】図２（Ａ）の式は、小領域を２次元で示し
ている。図２（Ｂ）の式は、小領域に対する比較対称と
なる領域を、探索範囲内で水平、垂直方向へ１画素分ず
らした例である。

【００４０】図２（Ｃ）の式は、比較領域がずれたとき
に、すでに計算されている相関値から差し引く値（水平
方向成分）を求める式である。図２（Ｄ）の式は、比較
領域がずれたときに、すでに計算されている相関値に対
して新たに足し込む値（水平方向成分）を求める式であ
る。

【００４１】図２（Ｅ）の式は、比較領域がずれたとき
に、すでに計算されている相関値から差し引く値（垂直
方向成分）を求める式である。図２（Ｆ）の式は、比較
領域がずれたときに、すでに計算されている相関値に対
して新たに足し込む値（水平方向成分）を求める式であ
る。また図３（Ａ），図３（Ｂ），図３（Ｃ）、図３
（Ｄ）は、Ｗ×Ｗの領域の４つの隅部の相関値を求める
式である。各相関値の符号（＋，−）は、図２の計算値
の符号との関係から、式（６）に示したようになる。

【００４２】上記の二次元再帰相関演算のオプティカル
フロー計算を要約すると、以下のようになる。

【００４３】（１）第１画像Ｉ１に対して探索範囲内に
ある画像Ｉ２の各ピクセルとの間で評価式を計算する。

【００４４】（２）各点で項目（１）で計算した評価式
の値を用いてウインドウサイズＷ個、縦一列または横一
列、または双方の列のそれぞれの和を計算する。

【００４５】（３）ある点での相関値は、以下の方法を
用いて計算される（縦一列或いは横一列の値は項目
（２）で計算したものを用いる）。

【００４６】その点の左上の相関値から、左側の縦の一
列の和と上側の横の一列の和を除き、その点を含む横と
縦の一列の和をそれぞれ加え、冗長に計算した左上、右
下の点の評価式の値を除き、計算されていない右上と左
下の評価式を加えたもの。

【００４７】これにより冗長性を取り除くことができ
る。

【００４８】なお、上記項目（３）の計算では、次の
（ａ），（ｂ）の方法を採用してもよい。

【００４９】（ａ）その左の点の相関値から左側の縦の
一列の和を除き、その点を含む縦の一列の和を加えたも
の。

【００５０】（ｂ）その上の点の相関値から上側の横の
一列の和を除き、その点を含む横の一列の和を加えたも
の。

【００５１】（Ｂ３） 次に二次元再帰相関演算による
オプティカルフロー計算について更に説明する。

【００５２】式（２）に基づくオプティカルフローの計
算は、以下のように書くことができる。

【００５３】 Ｏ（ｘ，ｙ）＝ｍｉｎ_ｋ，ｌ｛Ｃ_１（ｘ，ｙ，ｋ，ｌ）｝ Ｃ_１（ｘ，ｙ，ｋ，ｌ）＝Σ_ｉ，ｊ｜Ｉ_１（ｘ，ｙ，ｋ，ｌ） −Ｉ_２（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）｜ （７） ここでは、Ｗ×Ｗ回の乗算が冗長となる。すなわち、Ｃ
_１（ｘ，ｙ，ｋ，ｌ）は、再帰相関演算アルゴリズムを
用いることで、以下のように再帰的に計算できる。

【００５４】 Ｐ（ｘ，ｙ，ｋ，ｌ）＝｜Ｉ_１（ｘ，ｙ）−Ｉ_２（ｘ＋ｋ，ｙ＋ｌ）｜ Ｑ１（ｘ，０，ｋ，ｌ）＝Σ_ｉＰ（ｘ，ｊ，ｋ，ｌ） Ｑ１（ｘ，ｙ＋１，ｋ，ｌ）＝Ｑ１（ｘ，ｙ，ｄ） ＋Ｐ（ｘ，ｙ＋Ｗ，ｋ，ｌ）−Ｐ（ｘ，ｙ，ｋ，ｌ） Ｑ２（０，ｙ，ｋ，ｌ）＝Σ_ｉＰ（ｉ，ｙ，ｋ，ｌ） Ｑ２（ｘ＋１，ｙ，ｋ，ｌ）＝Ｑ２（ｘ，ｙ，ｄ） ＋Ｐ（ｘ＋Ｗ，ｙ，ｋ，ｌ）−Ｐ（ｘ，ｙ，ｋ，ｌ） Ｃ_１＝（０，ｙ，ｋ，ｌ）＝Σ_ｉＱ１（ｉ，ｙ，ｋ，ｌ） Ｃ_１＝（ｘ，０，ｋ，ｌ）＝Σ_ｊＱ２（ｘ，ｊ，ｋ，ｌ） Ｃ_１（ｘ＋１，ｙ＋１，ｋ，ｌ） ＝Ｃ_１（ｘ，ｙ，ｋ，ｌ） ＋Ｑ１（ｘ＋Ｗ，ｙ，ｋ，ｌ）−Ｑ１（ｘ，ｙ，ｋ，ｌ） ＋Ｑ２（ｘ，ｙ＋Ｗ，ｋ，ｌ）−Ｑ２（ｘ，ｙ，ｋ，ｌ） ＋Ｐ（ｘ，ｙ，ｋ，ｌ）＋Ｐ（ｘ＋Ｗ，ｙ＋Ｗ，ｋ，ｌ） −Ｐ（ｘ＋Ｗ，ｙ，ｋ，ｌ）−Ｐ（ｘ，ｙ＋Ｗ，ｋ，ｌ） （８） （Ｂ４）次に、別の相関演算の手法として、分散による
正規化相関演算がある。

【００５５】分散による正規化は第１画像Ｉ_１がｋ、ｌ
に因らないことから画像Ｉ_２の分散項を分母におくこと
により、以下のように置くことができる。

【００５６】

【数２】

【００５７】Ｃ_３を例に取った場合の高速化計算法は、 Ｐ_３（ｘ、ｙ、ｋ、ｌ）＝｜Ｉ_１（ｘ，ｙ）−Ｉ_２（ｘ＋ｋ，ｙ＋ｌ）｜ Ｑ_１（ｘ，０，ｋ，ｌ）＝Σ_ｊＰ_３（ｘ，ｊ，ｋ，ｌ） Ｑ_１（ｘ，ｙ＋１，ｋ，ｌ）＝Ｑ_１（ｘ，ｙ，ｋ，ｌ） ＋Ｐ_３（ｘ，ｙ＋Ｗ，ｋ，ｌ）−Ｐ_３（ｘ，ｙ，ｋ，ｌ） Ｑ_２（０，ｙ，ｋ，ｌ）＝Σ_ｉ（ｊ，ｙ，ｋ，ｌ） Ｑ_２（ｘ＋１，ｙ，ｋ，ｌ）＝Ｑ_２（ｘ，ｙ，ｋ，ｌ） ＋Ｐ_３（ｘ＋Ｗ，ｙ，ｋ，ｌ）−Ｐ_３（ｘ，ｙ，ｋ，ｌ） 分母は、 Ｒ（ｘ，ｙ）＝Ｉ_２（ｘ，ｙ）×Ｉ_２（ｘ，ｙ） Ｓ（ｘ，０）＝Σ_ｊＲ（ｘ，ｊ） Ｓ（ｘ，ｙ＋１）＝Ｓ（ｘ，ｙ）＋Ｒ（ｘ，ｙ＋Ｗ）−Ｒ（ｘ，ｙ） Ｔ（０，ｙ）＝Σ_ｉ（ｉ，ｙ） Ｔ（ｘ＋１，ｙ）＝Ｔ（ｘ，ｙ）＋Ｓ（ｘ＋Ｗ，ｙ）−Ｓ（ｘ，ｙ） となり、

【００５８】

【数３】

【００５９】と表わせる。

【００６０】上記の処理手順をまとめると次のようにな
る。

【００６１】（１）画像Ｉ１に対して探索範囲内にある
画像Ｉ２の各ピクセルとの間で評価式を計算する。

【００６２】（２）各点で項目（１）で計算した評価式
の値を用いてウインドウサイズＷ個、縦一列または横一
列、または双方、それぞれ和を計算する。

【００６３】（３）ある点での相関値の分子の値は、以
下の方法で計算したものとなる（縦一列または横一列の
値は項目（２）で計算したものを用いる）。

【００６４】その左の点の相関値から左側の縦の一列の
和を除き、その点を含む縦の一列の和を加えたもの。

【００６５】（４）画像Ｉ_２に関する値の二乗を計算す
る。

【００６６】（５）各点で項目（４）で計算した値を用
いて、ウインドウサイズＷ個、縦一列、横一列、または
双方、それぞれ和を計算する。

【００６７】（６）ある点での分散の値は、以下の方法
で計算したものとなる（縦一列あるいは横一列の値は、
項目（５）で計算したものを用いる）。

【００６８】その点の左上の相関値から、左側の縦の一
列の和と上側の横の一列の和を除き、その点を含む横と
縦の一列の和をそれぞれ加え、冗長に計算した左上、右
下の点の評価式の値を除き、計算されていない右上と左
下の評価値を加える。

【００６９】（７）ある点での相関値は、（３）求めた
値を（６）で求めた値の二乗根で割った値で与えられ
る。

【００７０】なお上記した項目（３）においては、次の
（ａ），（ｂ）で述べるような計算を利用してもよい。

【００７１】（ａ）その左の点の相関値から左側の縦の
一列の和を除き、その点を含む縦の一列の和を加えたも
の。

【００７２】（ｂ）その上の点の相関値から上側の横の
一列の和を除きその点を含む横の一列の和を加えたも
の。

【００７３】また上記の項目（６）においては、次の
（ａ），（ｂ）で述べるような計算を利用してもよい。

【００７４】（ａ）その左の点の分散値から左側の縦の
一列を和を除き、その点を含む縦の一列の和を加えたも
の。

【００７５】（ｂ）その上の点の分散値から上側の横の
一列の和を除き、その点を含む横の一列の和を加えたも
の。

【００７６】（Ｂ５） 次に、キャッシュを意識したア
ルゴリズムの高速化について説明する。

【００７７】実時間で密なオプティカルフローを生成す
るために、前述の再帰相関演算をキャッシュを意識した
形で高速化し、次にＭＭＸ命令による高速化について述
べる。

【００７８】図４（ａ）は、式（２）を単純に実現した
ものでであり、図４（ｂ）は再帰相関演算を単純に実現
した際のループの構成法を示している。

【００７９】しかし全画面の対応点を計算するために
は、再帰相関演算の式をｘ，ｙ，ｋ，ｌの４重のループ
として計算することになるが、単純の式の通りに実装す
るとキャッシュを利用できず、計算速度はＣＰＵの演算
速度ではなく、メインメモリの読み出し／書き込み速度
に依存することになってしまう。

【００８０】そこでこの発明に係るシステムでは、キャ
ッシュの利用効率を最大にするために演算途中に使用す
るＰ，Ｑ１，Ｑ２を計算する際にＮの同時計算すること
にする。この様子を表わしたのが図４（ｃ）である。こ
れにより、単純なインプリメントによりＰ，Ｑ１，Ｑ
２，Ｎは、Ｎ×Ｎ×Ｄ×Ｄの配列サイズをもつことにな
っていたが、図４（ｃ）の方法では、Ｐ，Ｑ１，Ｑ２
は、Ｎ×Ｗ×Ｄ×Ｄ、Ｎは、Ｎ×Ｄ×Ｄ×Ｄの配列サイ
ズで良いことになる。

【００８１】先に延べたアルゴリズムに必要なメモリ領
域は、Ｎ＝６４，Ｗ＝１６，Ｄ＝８，各ピクセルのデー
タ量を８ビットとすると、Ｐのデータ幅は、８ビットと
なり、Ｑ１，Ｑ２，Ｎのデータ幅は１６ビットとなるこ
とから、約３．１ＭＢとなるが、この方法により約６５
５ＫＢまで低減することができる。

【００８２】（Ｂ６）次に、ＭＭＸ命令について説明す
る。

【００８３】ここまでは、Ｃ言語によるオプティカルフ
ロー生成の高速化について述べてきた。本節では、最も
計算時間を要している再帰相関演算の一層の高速化を図
るためにＰｅｎｔｉｕｍのＭＭＸ命令を利用する。

【００８４】ＭＭＸ命令は、マルチメディア命令で１ク
ロックで６４ビット長のＭＭＸレジスタ上（あるいはメ
モリ上）におかれたデータ配列の和、積、積和、論理演
算などを行う、いわゆるＳＩＭＤ（Single Instruction
Multi Data ）な命令であり、積以外は１クロックで実
行される。ただし割り算命令を持っていないことと、積
は１６ビット×１６ビットまでしかできないといった制
約がある。

【００８５】（Ｂ７） ＭＭＸ命令による実現例 式（８）のＰ（ｘ，ｙ，ｋ，ｌ）はＭＭＸ命令を用い
て、たとえば図５のように実現される。ここでは８ビッ
ト整数の画像配列をレジスタに移した後、１６ビット整
数に拡張し、４ビットずつまとめてお互いに差をとり、
２つの結果の論理和をとることにより条件分岐を行わず
に差の絶対値を計算し、Ｐに代入している。このコード
はＣ言語で書いたものに比べて約２倍早く実行される。
また、Ｑ１，Ｑ２、Ｎの計算もＭＭＸ命令により実装可
能である。

【００８６】（Ｃ）一貫性評価法に基づく信頼度評価法 （Ｃ１） 一貫性評価法 ここまで述べてきたのは、高速な相関演算を行う手法で
あるが、オプティカルフローを生成するためには相関演
算の結果から、適切な動きベクトルを検出する機構をオ
プティカルフロー生成システムに組み込む必要がある。

【００８７】相関演算による対応点の探索のための相関
度の計算は、最も似ている領域の検出が行われるだけで
あり、オクリュージョンのように実際には対応転が存在
しなかったり、輝度が均一な平面で対応が原理的に計算
できない場合がある。実際に単純な相関演算の結果から
得られるオプティカルフローは、非常に信頼性が薄い。

【００８８】これを解決するために種々な研究が行われ
ているが、本発明では、対応点探索における相関演算の
信頼度評価に、視差画像を求める手法として開発され
た”ＬＲチック”を応用するものである。

【００８９】これは１つの画像の点に対応する反対側の
画像上の点からの対応点が、最初の点に一致する場合の
み、その対応が信頼できるという法則を取り決めたもの
であり、図で示すと、図６に示すように表わせる。

【００９０】この方法により対応点がとれない場所がは
っきり区別できるようになる。アルゴリズムは以下の通
りである。このアルゴリズムを一貫性評価法と呼ぶ。

【００９１】（１）古い画像の局所領域を参照領域（領
域１）とし、新しい画像を探索し最も相関の高い局所領
域を領域１に対応する領域（領域２）とする。

【００９２】（２）領域２を参照領域とし、古い画像を
探索し最も相関の高い局所領域を領域２に対応する領域
（領域３）とする。

【００９３】（３）領域１と領域３が同じ局所領域であ
れば、領域１と領域２とは２枚の連続する画像中の対応
する領域とする。

【００９４】（Ｃ２） 次に、一貫性評価法の再帰相関
演算への組み込みについて説明する。

【００９５】一貫性評価法は、キャッシュを意識した高
速アルゴリズムのループに組み込むことにより、メモリ
使用量、計算時間を増やすことなく信頼性のあるオプテ
ィカルフローの計算を高速で行うことができるようにな
る。

【００９６】まず２枚の画像の信頼度の計算を行う際に
は、対応点探索のための相関度の計算を古いものからの
新しいもの、新しいものから古いものの相法で行う必要
はなく、相関演算は一度行うのみで、対応点探索だけを
両側で行えばよい。

【００９７】従って一貫性評価法は、図４（ｃ）のｘの
ループの計算中に行うことができ、計算時間は数％から
十数％程度増加する程度でよい。

【００９８】（Ｄ）サブピクセル法によるオプティカル
フローの推定本発明に係るシステムでは、更なるオプテ
ィカルフローの精度を高めるために二次元補間に基づく
サブピクセル法を適用してもよい。サブピクセルの補正
項をは次の式で求められる。

【００９９】

【数４】

【０１００】ここで、Ｎ（ｘ，ｙ，ｋ，ｌ）は、画素
（ｘ，ｙ）と画素（ｘ＋ｋ，ｙ＋ｌ）との相関値であ
る。これを用いることで、オプティカルフローは、上記
のオプティカルフロー推定式で示すように推定される。

【０１０１】（Ｅ）次に、この発明が応用された分野と
して、ロボット搭載オプティカルフロー生成システムに
ついて説明する。

【０１０２】パーソナルコンピュータ（ＰＣ）をロボッ
トに搭載し、サーボループなど低次の処理から画像処理
や行動制御など高次の処理までを一台のＰＣで行うこと
で、コンパクトなロボットシステムを実現できる。画像
取り込み装置は、画像取り込みＩＣを用いたキャプチャ
ーカードを利用する。このハードウエアはリアルタイム
で画像をＣＰＵのメモリ空間にＤＭＡ転送する機能をも
ち、Linux用のデバイスドライバが公開されていること
から、容易に実時間画像処理システムを構築することが
できる。

【０１０３】実験は、PentiumII-450MHZ(外部バス１０
０ＭＨｚ)を用いて、linux ２．０．３５上で行った。
Ｃ言語はすべてｇｃｃ−２．７．２．３を用いて、ＭＭ
Ｘはｇｃｃ上でインラインアセンブラを用いた。

【０１０４】（Ｅ１） ＳＡＤの相関演算、一貫性評価
法、サブピクセル法を用いてオプティカルフローを生成
するに際して、図４で述べたように、ａ）普通に（Simp
le Correlation）、ｂ）再帰相関演算手法による高速ア
ルゴリズム(Recursive Correlation)、ｃ）キャッシュ
を意識したメモリ利用効率化アルゴリズム(Cashe Optim
al Correlation)、ｄ）ＭＭＸ命令を用いた高速化(MMX
Implementation)、のそれぞれの場合において、一貫性
評価を行わない場合(without CC)、一貫性評価を行う場
合(with CC)、一貫性評価法とサブピクセル法を行う場
合(sub-pixel)、の各場合のバージョンのソフトウエア
について計算時間を計測したものを、次の表に示してい
る。テーブルにおいてCCは一貫性評価（Consistency Ch
ecking）である。

【０１０５】

【表１】

【０１０６】信頼度評価を行いサブピクセル法によりオ
プティカルフローを推定することで信頼度の高いオプテ
ィカルフローを生成する計算が、二次元再帰相関演算を
ＭＭＸにより実装することで、実時間（３３ｍｍｓｅｃ
以内）で行えることを確認できる。

【０１０７】（Ｅ２） オプティカルフロー生成実験 上記のシステムを用いて、実環境中のシーンにおけるオ
プティカルフローの生成実験を行った結果、本発明の効
果は十分に得られた。

【０１０８】（Ｆ） 上記したように、本発明では、画
像処理の分野で行われている再帰的相関演算手法を二次
元に拡張し、連続する二枚の画像で高速な対応点探索を
行うアルゴリズムを、Pentium プロセッサのマルチメ
ディア命令（ＭＭＸ命令）を用いて最適化し、市販のＰ
Ｃ部品を用いて実時間でオプティカルフローを生成する
ことが可能であることを示した。

【０１０９】また、相関演算は、ＳＡＤを主に説明した
が、実環境で活動するロボットに適用する相関演算手法
として、先に説明した正規化相関演算を用いても良いこ
とは勿論のことである。ＭＭＸ命令では命令セットとデ
ータ長の制約から正規化相関演算手法を実装することが
できないが、PentiumuIIIに搭載されたマルチメディア
命令ＳＳＥでは、正規化相関演算手法を採用可能であ。

【０１１０】上記の説明は、オプティカルフロー計算に
よるオプティカルフローの情報を得ることを述べたが、
これにさらに左右画像から得られる距離情報を合せるこ
とにより、三次元（３Ｄ）情報を簡単に得ることがで
き、被写体の三次元的な動きを直接的、実時間で認識す
るための情報を得ることができる。

【０１１１】図７にはこの発明を応用した装置の例を示
している。

【０１１２】図７（Ａ）は例えばロボットに適用された
例を示している。カメラ７００から取り込まれた画像信
号は、前処理部７０１を介してフレーム（またはフィー
ルド）メモリ７０３、７０４に交互に取り込まれる。オ
プティカルフロー情報取得部７０５は、本発明の方法を
利用してオプティカルフローを計算して、フロー情報を
取得し、これをシステム制御信号出力部７０６に供給す
る。システム制御信号出力部７０６は、オプティカルフ
ロー情報に応じて、例えば被写体を追跡、或いは回避す
るように、ロボットの駆動部に制御信号を伝送する。モ
ニタ７０７は、メモリ７０３からの画像情報を表示して
いる。

【０１１３】図７（Ｂ）は、例えば画像情報の伝送装置
に本発明が適用された例を示している。カメラ７００か
ら取り込まれた画像信号は、前処理部７０１を介してフ
レーム（またはフィールド）メモリ７０３、７０４に交
互に取り込まれる。オプティカルフロー情報取得部７０
５は、本発明の方法を利用してオプティカルフローを計
算して、フロー情報を取得している。メモリ７０３、７
０４の画像情報は、圧縮及び伝送処理部７２１に供給さ
れる。この圧縮及び伝送処理部７２１は、オプティカル
フロー情報を、いわゆる被写体の動き情報として採用
し、動きベクトルを生成し、画像圧縮時の予測信号生成
などに利用している。また、この装置が立体情報を伝送
するものであれば、オプティカルフロー情報そのものを
伝送するように構成されている。

【０１１４】

【発明の効果】以上説明したようにこの発明によれば、
二次元再帰相関演算によるアルゴリズムの効率化を図る
ことにより、安価な汎用の計算機（ＣＰＵ）でも実時間
での相関演算を行うことができる。

【図面の簡単な説明】

【図１】この発明に係る画像処理方法の一実施形態の相
関演算の基本的な考え方を説明するために示した説明
図。

【図２】同じくこの発明に係る画像処理方法の一実施形
態において、相関演算の計算のアルゴリズムを説明する
ために示した説明図。

【図３】同じくこの発明に係る画像処理方法の一実施形
態において、相関演算の計算のアルゴリズムを説明する
ために示した説明図。

【図４】この発明に係る画像処理方法の一実施形態にお
いて、キャッシュを意識したアルゴリズムの高速化を説
明するために示した説明図。

【図５】この発明に係る画像処理方法の一実施形態にお
いて、ＭＭＸ命令の一部を説明するために示した図。

【図６】この発明に係る画像処理方法の一実施形態にお
いて採用されたＬＲチェック法を説明するために示した
図。

【図７】この発明に係る画像処理方法を利用した装置の
例を示す図。

【符号の説明】

１００…第１画像、１０１…小領域、２００…第２画
像、２０２…探索範囲。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 第１、第２画像間の相関を判断する相関
   演算のために、第１画像の小領域を、第２画像の探索範
   囲内に対応させて画素を一部ずらしながら順次移動させ
   て、各移動位置で対応する画素を用いた相関演算を行う
   際に、前回と今回の移動位置間で、オーバーラップする
   領域の相関演算値は、相関演算の冗長性を除くために、
   前回の移動位置での値をそのまま共通値として活用し、
   今回の移動位置で新たに加わった領域の相関演算値を共
   通値に足し込み、今回の移動のために非オーバーラップ
   となった領域の相関演算値は切り捨てる処理を行い、各
   位置での相関演算値から、前記小領域が前記探索範囲内
   で類似している領域を検出することを特徴とする画像処
   理方法。
2. 【請求項２】 上記の相関演算は、第１画像の画素と第
   ２の画像の画素の差の絶対値または積をとる方式の演算
   であることを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 上記の相関演算は、分散による正規化相
   関演算を採用していることを特徴とする請求項１記載の
   画像処理方法。
4. 【請求項４】 第１、第２画像間の相関を判断する相関
   演算のために、第１画像の小領域を、第２画像の探索範
   囲内に対応させて画素を一部ずらしながら順次移動させ
   て、各移動位置で対応する画素を用いた相関演算を行う
   画像処理装置において、 前記小領域を前記探索範囲内に対応させた前回と今回の
   移動位置間で、オーバーラップする領域の相関演算値
   は、相関演算の冗長性を除くために、前回の移動位置で
   の値をそのまま共通値として活用し、今回の移動位置で
   新たに加わった領域の相関演算値を共通値に足し込み、
   今回の移動のために非オーバーラップとなった領域の相
   関演算値は切り捨てる処理を行い、各位置での相関演算
   値を得る相関演算手段と、 各位置での前記相関演算値から、前記小領域が前記探索
   範囲内で類似している領域を検出するオプティカルフロ
   ー検出手段とを具備することを特徴とする画像処理装
   置。
5. 【請求項５】 上記相関演算手段は、キャッシュを用い
   た演算を実行することを特徴とする請求項４記載の画像
   処理装置。
6. 【請求項６】 上記オプティカルフロー検出手段は、上
   記類似している領域を判断するために信頼性向上のため
   に一貫性評価法で動作する手段を採用していることを特
   徴とする請求項５記載の画像処理装置。
7. 【請求項７】 さらにまた上記オプティカルフロー検出
   手段は、上記移動の要素となる画素の補間位置の相関値
   を得るサブピクセル法を実行する手段を備えていること
   を特徴とする請求項６記載の画像処理装置。