JP2004355601A - 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム - Google Patents

Abstract

【課題】 連続するフレームについて、カメラ画像中の移動体の目標を追跡する目標追跡装置に係り、移動体の指定を不用とし、更に、剛体以外の移動体も有効に追跡できることを課題とする。
【解決手段】 特徴量算出部３２は、カラー画像中の移動体の重心と頂点を判定し、特性算出部３３は、重心の色比率ヒストグラムと頭部楕円情報を算出し、目標追跡データとして記憶する。同一性検定部３４は、後続フレームのカラー画像に含まれる移動体の重心の色比率ヒストグラムと頭部楕円情報を算出し、目標追跡データと比較し、同一の移動体か判定する。また、移動体が検出されないフレームに関しても、色比率ヒストグラムに基づいて移動体をサーチする。
【選択図】 図３

Description

本発明は、連続するフレームについて、カメラ画像中の移動体の目標を追跡する目標追跡装置に係り、移動体の指定を不用とし、更に、剛体以外の移動体も有効に追跡できる目標追跡装置に関する。

人間や肉食動物は、２眼が近接し、その光学軸はほぼ平行である。そして、両眼の視差により距離の推定を行うことができるが、移動物体の色や形状の認識や残像効果は、このような目の働きとして重要な役割を果たしているものと考えられる。

本発明は、移動物体の認識や残像効果を意識し、カメラからの画像を用いて移動体の検出や追跡を行う装置に関する。図１９は、応用例として人型ロボットの外観例を示す図である。

従来技術として、１眼カメラによる移動物体の検出・識別には、背景差分、フレーム間差分やオプティカル・フローが使用されてきた。しかし、背景差分では静止背景画面を更新する必要があり、また、フレーム間差分では静止物体を本質的に検出しないという問題点がある。

２眼や多眼カメラによる物体検出は、従来からステレオ視として多くの研究がなされ、照明や影に影響されず、静止物体を検出し、物体３Ｄ復元が可能である点で優れている。

図２０は、視差Ｄｘ算出するための位置関係を示す図である。カメラ座標をＬ（Ｘｏ＋ｔ／２，０，０）、Ｒ（Ｘｏ−ｔ／２，０，０）、カメラ焦点距離をｆとし、目標座標を（Ｘｐ，０，Ｚｐ）とすると、２カメラ配置での視差Ｄｘは、３角形の相似関係から、Ｘｒ／ｆ＝（Ｘｏ＋ｔ−Ｘｐ／２）／Ｚｐ，Ｘｌ／ｆ＝（Ｘｏ−ｔ／２−Ｘｐ）／Ｚｐが得られる。２式からＸｏを消去するとＤｘ＝Ｘｒ−Ｘｌ＝（ｔｆ）／Ｚｐとなる。従って、カメラ配置とカメラ特性から、ｔとｆは既知であるから、Ｄｘを何らかの手段で知ることで、目標までの距離Ｚｐが得られる。

特開平５−２３１８２２号公報で提案されている様な視差から目標距離を求める従来の方式では、Ｄｘを得る為に２カメラ画像での目標の対応関係を知るために目標の大まかな位置に整合用の子窓枠を設定し、２カメラ画像において目標の特徴となる基準位置をスライド整合によって一致させることによって整合量を求め、Ｄｘを得ていた。

また、特開平７−２５３３１０号公報では、クラスタリング方式で視差をゼロにする整合を行いＤｘを得て、目標距離Ｚｘを得ている。

しかし、２台のカメラを搭載する物体が自由に動いている場合には、周囲の景色が変化すると共に、目標とする物体の相対距離Ｚｐも変化するため、２台のカメラの画像をあるフレームで、目標距離Ｚｐで整合させて２カメラ差分処理した視差は、次のフレームでは変化する。

また、整合させる画像枠の中の画像も刻々変化するため子窓枠位置設定では、目標の基準位置が子窓枠を超えることが発生し、また、目標の特徴寸法も変化する為、スライド整合では対応が難しい場面が多くなる問題がある。

また、クラスタリング方式では、対象に対する標本ベクトルが予め用意しておく必要があるが、任意の対象が撮像される場合には、それらに対応する標本ベクトルが準備されておらず、標本ベクトルとクラスターの対応付けができない。

カメラ移動がある場合は、異なる視点からの画像間の特徴点追跡法が開発され、移動体の特徴点分離も開発されてきた。例えば、特開平８−２４９４７１号公報である。

しかし、特徴点追跡法では、剛体以外の形状が柔軟に変化する移動体について、特徴点の抽出が困難であり、画像間での全体的な対応付けが難しいという問題が生じる。また、予め目標の色を指定しなければならなかった。
特開平５−２３１８２２号公報 特開平７−２５３３１０号公報 特開平８−２４９４７１号公報

検出した移動体である目標の追跡に関する従来技術では、操作者が画像上の移動体（目標）を指定することにより、色を特定することが前提だったが、本発明は、その欠点を除くためになされたものであって、その目的とするところは、自動的に移動体を特定し、その移動体の色を学習し、移動体を追跡することにより、移動体の指定を不用とすることが課題である。更に、剛体以外の移動体に対しても有効な追跡を行うことが課題である。

本発明に係る目標追跡装置は、
以下の要素を有することを特徴とする
（１）連続するフレーム毎に、カラー画像を入力するデータ処理部
（２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する特徴量算出部
（３）特徴量の色特性を算出し、目標追跡データとして記憶する色特性算出部
（４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する同一性検定部。

移動体の領域を特定する情報は、略平行な光学軸で左右に配置した２つのカメラで撮影した左右のカラー画像から得られる左右の輝度画像を、フレーム毎に差分処理して得た２カメラ整合差分画像を、二つのフレームについて差分処理して得たフレーム間差分画像と、カラー画像を分割したセルのうち移動体の領域を含む移動体セルを特定する移動体セル番号とクラスター番号とであることを特徴とする。

前記特徴量は、重心であることを特徴とする。

前記特徴量は、頭部楕円であることを特徴とする。

前記色特性は、色比率ヒストグラムであることを特徴とする。

前記カラー画像の部分は、当該後続フレームについて、移動体の領域を特定する情報に基づいて判定された移動体の特徴量であることを特徴とする。

同一性検定部は、カラー画像の複数部分について色特性を算出し、それぞれ目標追跡データと比較することにより、前記移動体と同一のものの位置をサーチすることを特徴とする。

移動体の領域を特定する情報が入力されなかったフレームに対して、前記移動体と同一のものの位置をサーチすることを特徴とする。

移動体の領域として予測される予測目標位置を算出し、予測目標位置に基づいて、目標存在推定窓枠を設定し、目標存在推定窓枠の範囲内で、前記移動体と同一のものの位置をサーチすることを特徴とする。

本発明に係る目標追跡方法は、
以下の要素を有することを特徴とする
（１）連続するフレーム毎に、カラー画像を入力する工程
（２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する工程
（３）特徴量の色特性を算出し、目標追跡データとして記憶する工程
（４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する工程。

本発明に係るプログラムを記録したコンピュータ読み取り可能な記録媒体は、
目標追跡装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする
（１）連続するフレーム毎に、カラー画像を入力する処理
（２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する処理
（３）特徴量の色特性を算出し、目標追跡データとして記憶する処理
（４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する処理。

本発明に係るプログラムは、
目標追跡装置となるコンピュータに、以下の手順を実行させるためのプログラムであることを特徴とする
（１）連続するフレーム毎に、カラー画像を入力する手順
（２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する手順
（３）特徴量の色特性を算出し、目標追跡データとして記憶する手順
（４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する手順。

特性算出部は、更に、頭部楕円情報を目標追跡データとして記憶し、
同一性検定部は、目標追跡データを記憶した以降の後続フレームについて、更に、頭部楕円情報を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定することを特徴とする。

本発明は、自動的に移動体を特定し、その移動体の色を学習し、移動体を追跡することにより、移動体の指定を不用とすることができる。また、重心や頂点の色により、移動体の同一性を判定するので、剛体以外の移動体に対しても有効な追跡を行うことができる。

実施の形態１．
以下本発明を図面に示す実施例に基づいて説明する。図１は、左右カメラを用いた画像処理装置の概略を示す図である。

本発明に係る画像処理装置は、左右カメラ１、移動体検出装置２、目標追跡装置３、及び表示手段４を有している。左右カメラ１は、ほぼ平行な光学軸で、近接（１０ｃｍ程度）位置に設置されている。移動体検出装置２は、左右のカメラカラー画像を入力し、移動体を検出するように構成されている。目標追跡装置３は、検出された移動体を目標として追跡するように構成されている。表示手段４は、例えば無線媒体によるインターフェースを介して、画像や移動体の位置を表示するように構成されている。

まず、移動体検出装置２と目標追跡装置３の構成について説明する。図２は、移動体検出装置２の構成を示す図である。移動体検出装置２は、輝度変換部２１、２画像整合部２２、フレーム間差分算出部２３、及び移動体検出部２６（差分強度分布判定部２４と連続フレーム検定部２５）を備えている。

２画像整合部２２は、略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像Ｄを得るように構成されている。フレーム間差分算出部２３は、二つのフレームについての２カメラ整合差分画像Ｄを差分処理して、フレーム間差分画像ＦＤを得るように構成されている。移動体検出部２６は、フレーム間差分画像ＦＤに基づいて、移動体の領域を検出するように構成されている。

図３は、目標追跡装置３の構成を示す図である。目標追跡装置３は、表示インターフェース・データ処理部３１、特徴量算出部３２、色特性算出部３３、及び同一性検定部３４を備えている。

表示インターフェース・データ処理部３１は、連続するフレーム毎に、カラー画像を入力するほか、表示インタフェースを制御し、各パラメータを記憶するように構成されている。特徴量算出部３２は、移動体セル番号とフレーム間差分画像ＦＤ（カラー画像中の移動体の領域を特定する情報の例）を入力し、これらに基づいて、移動体の特徴量（例えば、重心や頭部楕円）を判定するように構成されている。色特性算出部３３は、特徴点の色特性（例えば、色比率ヒストグラム）を算出し、目標追跡データとして記憶するように構成されている。同一性検定部３４は、目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分（例えば、重心の小窓、頭部楕円中心の小窓、サーチ対象の枠内の小窓群）の色特性を算出し、目標追跡データと比較することにより、当該部分が前記移動体と同一のものの位置か否かを判定するように構成されている。

次に、移動体検出の処理（大域的検出処理）について説明する。輝度変換部２１は、順次左右カメラカラー画像を入力し、左右の輝度画像に変換する。図４は、左カメラ画像の例を示す図であり、図５は、右カメラ画像の例を示す図である。便宜的に白黒で示しているが、実際は、カラー画像である。

２画像整合部２２は、左右の輝度画像の中にある遠方四角形領域Ａに対して、輝度画像のスライディング整合処理を行い、最小の差分強度分布になるようにする。最小視差ＤＡの整合状態に調整し、この時のスライド量を固定値の初期設定整合値として保存する。そして、２画像整合部２２は、各フレームについて、初期整合設定値（スライド量）を用いた修正により得られる２カメラ整合差分画像（差分画像Ｄ）を生成する。図６は、２カメラ整合差分画像Ｄの例を示す図である。

６０１は、遠方四角形領域Ａの例である。遠方四角形領域Ａは、画面内の最遠方領域に初期設定される。その結果、遠方四角形領域Ａよりも近距離にある領域に関し、２カメラ画像の視差は、最小視差ＤＡよりも大きな視差値になる。以下、この大きな視差を積極的に利用して検出処理を行う。

フレーム間差分算出部２３は、各フレーム毎に生成される２カメラ整合差分画像Ｄに関し、その前のフレームで生成された２カメラ整合差分画像Ｄとの差分画像を生成する。つまり、２カメラ整合差分画像Ｄについてのフレーム間の差分画像を生成する。これを、フレーム間差分画像ＦＤと呼ぶ。図７は、フレーム間差分画像ＦＤの例を示す図である。

カメラ移動が緩やかな場合には、フレーム間差分画像ＦＤは、視差を解消した固定幅のエッジ画像となり、差分強度分布は小さなものとなる。一方、カメラ移動が大きい場合には、画面全体にカメラ移動による視差が現れる為、フレーム間差分画像ＦＤは、エッジが画面全体に広がった画像となる。このようなカメラが動いている時とカメラが静止している時のフレーム間差分強度分布の違いを、カメラと相対的な動きをする移動体の検出に利用する。

図６と図７は、カメラの移動が小さいときの２カメラ整合差分画像Ｄとフレーム間差分画像ＦＤの例を示している。図８と図９は、カメラが大きく移動した際の２カメラ整合差分画像Ｄとフレーム間差分画像ＦＤの例を示している。

図１０、図１１、図１２は目標形状の一部である頭部楕円を検出する処理に関する図であり、図１０は基準頭部楕円のエッジ画像の例、図１１は基準頭部楕円の例、図１２は頭部楕円の検出状況の例、を示している。

これらの図については、後に詳述する。

差分強度分布判定部２４は、差分強度の分布を判定し、移動体候補のセルを抽出する処理を行う。その為に、まずフレーム間差分画面ＦＤを大域的に分割する。具体的には、ｍ×ｎの画面セルに分割する。そして、分割した画面セル内の平均強度Ｉを求める。

次に、予め設定されているセル内差分強度閾値Ｉｃｅｌｌ、セル・グループ数閾値Ｎｃｅｌｌを、表示インターフェース・データ処理部３１のパラメータ記憶領域から読み込む。そして、各画面セル毎に、その平均強度Ｉがセル内差分強度閾値Ｉｃｅｌｌを超えるか否か判定し、超えたセルをカウントし、高強度セル・グループ数Ｎを算出する。

更に、高強度セル・グループ数Ｎとセル・グループ数閾値Ｎｃｅｌｌを比較する。この比較結果を、移動体候補検出の判定条件とする。

Ｎ≧Ｎｃｅｌｌの場合には、カメラの移動が大きいと想定されるので、移動体の検出を見送る。

０＜Ｎ＜Ｎｃｅｌｌの場合は、一部の画面セルにのみ強度分布の変化が現れていることを意味し、カメラの移動が小さく、移動体が画面内に存在すると想定される。従って、これらの高強度の画面セルを移動体候補として登録する。具体的には、当該セル番号を、移動体候補セル番号として一時的に記憶する。

連続フレーム検定部２５は、移動体の検出の連続性を検定し、連続して検出された場合に、移動体と判定する処理を行う。連続フレーム検定部２５は、その為、まず予め設定されているフレーム間連続検出回数の閾値Ｄｔｈを、表示インターフェース・データ処理部３１のパラメータ記憶領域から読み込む。更に、各フレームの処理で、移動体候補セル番号が繰り返し検出されている回数をカウントする。このようにして得られるフレーム間での移動体候補連続検出回数Ｄの検定処理を行う。

Ｄ≧Ｄｔｈ、つまり連続検出の回数が閾値に至った場合には、移動体候補セルを移動体セルとして登録する。具体的には、当該移動体候補セル番号を、移動体セル番号として記憶する。

Ｄ＜Ｄｔｈ、つまり連続検出の回数が閾値に至らなかった場合には、画像のゆらぎの影響等による差分強度の変化であって、移動体による差分強度の変化ではないと想定されるので、移動体候補登録を抹消する。つまり、当該移動体候補セル番号は、移動体セル番号としない。

例えば、Ｄｔｈ＝５の場合には、５回の検出処理に対して、５回共に検出されなければ、移動体候補セルは条件を満たさないので、その移動体候補セルの登録を抹消する。移動体検出処理のフレーム毎の出力は、移動体セル番号Ｄｔと差分強度Ｉｔである。

この移動体検出処理は、連続するフレーム数であるフレーム間連続検出回数Ｄｔｈにより特定される期間を条件として判定しているが、その期間が人の目の残像時間（３０ｍｓｅｃ程度）に相当するフレーム間隔で判定することが最適である。

次に、目標追跡の処理について説明する。特徴点算出部３２は、移動体検出処理で生成した各フレームのフレーム間差分画像ＦＤについて、移動体セルとその近傍のセルを含むセル枠（窓枠）を設定し、そのセル枠の中で、差分強度に関するＢｌｏｂ（画素）重心座標の計算を行う。これにより、移動体の重心位置を得ることができる。尚、近傍のセルも含めるのは、近傍のセルに跨って移動体が存在する場合にも、正確な重心位置を得るためである。

特徴量算出部３２は、更に、重心位置を基準として、頭部楕円サーチを行い、差分輝度エッジ情報から基準となる頭部楕円情報を計算する。頭部楕円中心座標は、移動体と想定される領域の中で頭部の中心位置とする。

色特性算出部３３は、Ｂｌｏｂ重心位置を基準（例えば、中心）として重心の小窓を設定して、その重心の小窓の色比率ヒストグラム計算処理を行う。また、頭部楕円中心の周りに小窓を設定して、色比率ヒストグラム計算を行う。

そして、色特性算出部３３は、重心位置の座標データと色比率ヒストグラムデータ、及び頭部楕円中心の座標データと色比率ヒストグラムデータは、追跡目標を特定する目標追跡データとして記憶する。

同一性検定部３４は、フレーム間の異なる移動体セル間で、セル位置近傍相関処理と色類似性相関処理、楕円円弧相関処理を行って追跡目標の同一性を検証する。セル位置近傍相関処理は、セルの位置が近い場合に、同一性を肯定し、色類似性相関処理は、色比率ヒストグラム計算処理により得られる色比率ヒストグラムデータが近似する場合に、同一性を肯定する。このとき、先のフレームにおけるセル位置と色比率ヒストグラムデータとして、記憶している目標追跡データを用いる。また、楕円円弧相関処理は登録した基準楕円の円弧とエッジ画像との整合が近似する場合に同一性を肯定する。

３つの相関処理の結果が同一性を肯定した場合に、追跡目標が一致すると判定する。

追跡目標として一致しない場合には、新規の目標追跡データとして、上記と同じ処理により初期設定値に記憶する。このように、目標追跡データが初期設定値として記憶されている状態を、目標追跡データが確立しているという。

目標追跡データが確立している追跡目標については、移動体検出処理でセル検出が無い場合でも、そのフレームに対して、予測目標位置を算出して、目標存在推定窓枠を設定し、その局所的な範囲内で、重心色類似性相関サーチ処理、頭部楕円情報相関サーチ処理、及び局所的な特徴量対応処理から目標位置を算出し、目標追跡座標データとして更新する。

つまり、移動体が静止している場合には、移動体の位置が差分強度として検出されないので、目標追跡データとして記憶している重心の色比率ヒストグラムデータに近似する色比率ヒストグラムデータを有する領域を、当該フレームから抽出し、その領域を移動体の位置として処理する。

次に、色類似性相関処理について詳述する。色類似性相関については、例えば、以下の２通りの方式が考えられる。ＣＨＩ（Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ）による色類似性を用いた色類似性相関処理と、ＢＣ（Ｂｈａｔｔａｃｈａｒｙｙａ）係数による色類似性を用いた色類似性相関処理である。

まず、ＣＨＩによる色類似性について説明する。ＣＨＩによる２つの密度分布ＰｕとＱｕの間の色類似性は、次で定義される。

ＣＨＩによる色類似性により相関処理を行う場合に、色特性算出部３３は、このＣＨＩ分布を、追跡枠内の重心を基準にした小窓内部で計算する。そして、色特性算出部３３は、追跡開始時点の色ヒストグラム分布をＱｕとして記憶する。同一性検定部３４は、以降のフレームでの小窓内部の色ヒストグラム分布をＰｕ（ｙ）として、ＱｕとＰｕの間の色類似性を検定する。色は、比率カラー（ｒ，ｇ，ｂ）とＢｉｎサイズ１６を用いて計算する。頭部楕円中心の小窓に対しても同様に処理する。

次に、ＢＣによる色類似性について説明する。色類似性の尺度は、色密度分布に基づいている。目標の基準色を表現する特性ｚが一つの密度関数ｑｚを持つとし、一方、新たなフレームで位置ｘに中心を持つ目標候補が密度ｐｚ（ｘ）に従って分布した特性を持つと仮定する。そのとき、色類似検索の課題は、新たなフレーム画像内で、密度ｐｚ（ｘ）が基準目標密度ｑｚに最も近いような座標位置ｘを発見することである。そのため、同一性検定部３４は、Ｂ係数に従って２つの密度間の類似性分布を計算する。その一般的な形式は以下で定義される。

上述の類似性尺度式は、任意の密度に対して正しく、目標のスケールに対して不変である。サンプルデータから上式を計算する為に、密度ｐとｑの計算では、カラーヒストグラムから導いた簡易密度を次の様に定義する。
（ａ）基準目標の離散色密度Ｑ＝Ｑｕ（ｕ＝１，…，ｍ）（正規化条件付）は、目標の追跡開始時点での重心の小窓から得られる基準ｍ−ｂｉｎ比率カラーヒストグラムとする。
（ｂ）新ビデオフレームでの目標候補の色密度Ｐ（ｘ）＝（Ｐｕ（ｘ））（ｕ＝１，…，ｍ）（正規化条件付き）は、追跡ｇｒｏｕｐｉｎｇ ｂｏｘ内で頭部座標と重心座標とから得られる小窓の中でｍ−ｂｉｎ比率カラーヒストグラムを計算して得られる。

Ｂ係数分布のサンプル値計算は、次式で得られる。

ＰとＱは、共にＲＧＢの３次元データである。この式の幾何学的な意味は、ｍ次元（色量子化のビン数）、単位ベクトル間の角度のコサインである。Ｂ係数ρは、次式でＢｈａｔｔａｃｈａｒｙａ距離ＲＢと関係付けられる。

ρ（ｘ）＝ｅｘｐ（−ＲＢ（ｘ））
２つの分布の非類似性距離ＲＢを最小にすることは、Ｂ計数ρを最大化することである。つまり、２つの分布の最大類似性は、Ｂ計数ρを最大化する座標位置を窓枠内でサーチして求める。頭部の小窓に対しても同様に処理する。

最後に、実験の結果について補足説明する。

まず、移動２眼カメラによる移動体検出処理の実験について説明する。前述の図４と図５のカメラ画像は、簡易型２眼Ｗｅｂカメラによる映像である。２つのカメラを１０ｃｍの間隔で設置し、ほぼ平行に光学軸を向け、カメラ校正無しで撮影している。

図６の２カメラ整合差分画像Ｄは、図４の左カメラ画像と図５の右カメラ画像に対して、事務所の絵画が掛けてある壁部分を写した画像内上方中央の四角形領域Ａ６０１について、差分Ｇｒａｙ（輝度）画像の強度和が最小になるように、ピクセル単位でマッチングをとった後の２眼差分Ｇｒａｙ（輝度）画像である。

従って、中央四角形領域Ａの視差が最小になっている。中央四角形領域Ａより手前にある物体は、視差として物体エッジが広がっている。

図７は、図６の２カメラ整合差分画像Ｄと次フレーム画像の差分画像とのフレーム間差分画像ＦＤである。このフレーム間で、２眼カメラはあまり動いていない。従って、静止カメラでの背景差分と同じ効果で強度がほぼ消え、２眼による物体エッジもほぼ一定の幅である。

図８は、２眼カメラが大きく動いている場合に、遠方四角形領域Ａで強度マッチさせた２カメラ整合差分画像Ｄである。図９は、図８の差分画像Ｄと次フレーム画像の差分画像とのフレーム間差分画像ＦＤである。図９の画像では、カメラ移動量に伴う物体エッジの広がりが存在する。これは、図７の物体エッジのオプティカルフローによる移動時間差拡がりと見ることもできる。

図１０から図１２は、頭部楕円の検出に関連した図を示している。

図１０は、目標追跡開始時の輝度差分をＳｏｂｅｌフィルター処理を行ったエッジ画像を示している。このエッジ画像点群に対して、重心を基準にして楕円整合サーチを実施し、基準頭部楕円を求める。

図１１は、図１０に対して求めた基準頭部楕円を、エッジ頭部画像に重ね合わせて示している。

図１２の例では、目標追跡後の連続フレームにおいて、基準楕円情報による楕円円弧サーチを実施し検出した頭部楕円の検出状況を示している。

次に、動く２眼カメラによる移動体の追跡の実験結果について説明する。

移動体検出処理において検出した移動体に対して、追跡処理した右カメラの追跡画像の例を図１３から図１６に示す。それぞれ、図１３は、Ｎｏ３７フレーム、図１４は、Ｎｏ４５フレーム、図１５は、Ｎｏ５４フレーム、図１６は、Ｎｏ７１フレームの追跡画像である。

図１３の例で、大きな枠１５０１は、追跡処理のＢｌｏｂ処理対象範囲を示し、小窓１５０２は、検出されたＢｌｏｂ重心位置を示す。この小窓に対して色比率ヒストグラムを算出する。また、重心位置を基準に楕円整合サーチを実施し頭部楕円情報を算出する。追跡確立と共に基準の色比率ヒストグラム、基準楕円情報として登録する。小さい四角形は基準楕円中心位置を示している。

図１４の例で、大きな枠１６０１と重心の小窓１６０２は、図１３と同じ意味であるが、この例では、重心の小窓１６０２の色比率ヒストグラムと基準色比率ヒストグラムとの色類似性検定に失敗した為、大きな枠１６０１内で色類似性サーチを実施している。その結果、色類似性検定に成功した位置を、色類似性重心位置として小窓１６０３に示している。小さい四角形は検出した頭部楕円中心位置を示している。

図１５は、別の歩行者が右から登場してきたが、それに影響されることなく、大きな枠１７０１内で色類似性サーチを実施して、色類似性検定に成功した色類似性重心位置を小枠１７０３で示している。また、楕円円弧サーチによる頭部楕円の検出にも成功し小さい四角形で頭部楕円中心位置を示している。

図１６の例は、別の歩行者に遮蔽された後、再び目標を追跡しているが、壁の背景色が目標頭部の色と同じ為、頭部輝度画像エッジが検出できなくなり、従って、頭部楕円が検出できない状況を示している。

最後に、長いフレーム期間での追跡目標の軌跡について例を示して説明する。図１７は、ＢＣによる色類似性を用いた場合の軌跡の例を示す図である。図１８は、頭部楕円中心の軌跡の例を示す図である。

図中、横軸は画像フレーム番号を示し、縦軸は画像Ｘ座標（ピクセル値）を示している。フレーム番号２０から、１歩行者が画面内右側から登場する。フレーム番号３３から、移動体検出処理が始まり、フレーム番号３７で、その歩行者の目標追跡に入り、フレーム番号７２で、目標は別の歩行者に遮蔽されるが、フレーム番号７７で再登場し、フレーム番号９５で画面内左側へ歩き去る。

図１７と図１８は、カメラの動きのままフレーム番号９５までその目標を追跡している状態の色重心と頭部楕円中心の軌跡を示している。

色類似性相関尺度としては、ＣＨＩ方式、ＢＣ方式共にほぼ同等の識別性能であるが、いずれの方式も、類似色の局所的なピークの存在に引かれる場合があり、また、目標が遮蔽された場合の色類似相関処理の終了判定に難しい面を持っている。従って、Ｂｌｏｂ重心や頭部楕円の特徴量との併用が有効である。

以上のように、本発明は、動く２眼カメラによる移動体の追跡（追尾）に対する新しい方式を提案するものである。２台のカメラを近接設置し、光学軸をほぼ平行固定した配置で、視差を利用した大域的検出処理とＢｌｏｂ重心処理、色類似性尺度処理、頭部楕円相関処理とを併用し、カメラ移動がある場合にも、移動体追跡が可能となる。大域的検出は、差分強度の平均場検出と累積残像検出の２段階の検出からなる。

上述の例では、ロボットに搭載されることを想定して、移動体検出処理及び目標追跡処理について説明したが、自由に動くロボット以外の物体にも本発明を適用できるのことは、勿論である。

画像処理装置は、コンピュータにより構成可能であり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。

左右カメラを用いた画像処理装置の概略を示す図である。 移動体検出装置の構成を示す図である。 目標追跡装置の構成を示す図である。 左カメラ画像の例を示す図である。 右カメラ画像の例を示す図である。 カメラの移動が小さいときの２カメラ整合差分画像Ｄの例を示す図である。 カメラの移動が小さいときのフレーム間差分画像ＦＤを示す図である。 カメラの移動が大きいときの２カメラ整合差分画像Ｄの例を示す図である。 カメラの移動が大きいときのフレーム間差分画像ＦＤを示す図である。 追跡開始時の目標輝度差分エッジ画像を示す図である。 追跡開始時の目標の頭部基準楕円を示す図である。 目標の追跡シーケンスの頭部楕円の検出状況の例を示す図である。 追跡画像の例（Ｎｏ３７フレーム）を示す図である。 追跡画像の例（Ｎｏ５５フレーム）を示す図である。 追跡画像の例（Ｎｏ７１フレーム）を示す図である。 追跡画像の例（Ｎｏ８５フレーム）を示す図である。 ＢＣによる色類似性を用いた場合の色重心の軌跡の例を示す図である。 頭部楕円中心の軌跡の例を示す図である。 人型ロボットの外観例を示す図である。 視差Ｄｘ算出するための位置関係を示す図である。

符号の説明

１ 左右カメラ、２ 移動体検出装置、３ 目標追跡装置、４ 表示手段、２１ 輝度変換部、２２ ２画像整合部、２３ フレーム間差分算出部、２４ 差分強度分布判定部、２５ 連続フレーム検定部、２６ 移動体検出部、３１ 表示インターフェース・データ処理部、３２ 特徴量算出部、３３ 色特性算出部、３４ 同一性検定部。

Claims (13)

1. 以下の要素を有することを特徴とする目標追跡装置
   （１）連続するフレーム毎に、カラー画像を入力するデータ処理部
   （２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する特徴量算出部
   （３）特徴量の色特性を算出し、目標追跡データとして記憶する特性算出部
   （４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する同一性検定部。
2. 移動体の領域を特定する情報は、略平行な光学軸で左右に配置した２つのカメラで撮影した左右のカラー画像から得られる左右の輝度画像を、フレーム毎に差分処理して得た２カメラ整合差分画像を、二つのフレームについて差分処理して得たフレーム間差分画像と、カラー画像を分割したセルのうち移動体の領域を含む移動体セルを特定する移動体セル番号とであることを特徴とする請求項１記載の目標追跡装置。
3. 前記特徴量は、重心であることを特徴とする請求項１記載の目標追跡装置。
4. 前記特徴量は、頭部楕円であることを特徴とする請求項１記載の目標追跡装置。
5. 前記色特性は、色比率ヒストグラムであることを特徴とする請求項１記載の目標追跡装置。
6. 前記カラー画像の部分は、当該後続フレームについて、移動体の領域を特定する情報に基づいて判定された移動体の特徴量であることを特徴とする請求項１記載の目標追跡装置。
7. 同一性検定部は、カラー画像の複数部分について色特性を算出し、それぞれ目標追跡データと比較することにより、前記移動体と同一のものの位置をサーチすることを特徴とする請求項１記載の目標追跡装置。
8. 移動体の領域を特定する情報が入力されなかったフレームに対して、前記移動体と同一のものの位置をサーチすることを特徴とする請求項７記載の目標追跡装置。
9. 移動体の領域として予測される予測目標位置を算出し、予測目標位置に基づいて、目標存在推定窓枠を設定し、目標存在推定窓枠の範囲内で、前記移動体と同一のものの位置をサーチすることを特徴とする請求項８記載の目標追跡装置。
10. 以下の要素を有することを特徴とする目標追跡方法
    （１）連続するフレーム毎に、カラー画像を入力する工程
    （２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する工程
    （３）特徴量の色特性を算出し、目標追跡データとして記憶する工程
    （４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する工程。
11. 目標追跡装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
    （１）連続するフレーム毎に、カラー画像を入力する処理
    （２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴点を判定する処理
    （３）特徴量の色特性を算出し、目標追跡データとして記憶する処理
    （４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する処理。
12. 目標追跡装置となるコンピュータに、以下の手順を実行させるためのプログラム
    （１）連続するフレーム毎に、カラー画像を入力する手順
    （２）カラー画像中の移動体の領域を特定する情報を入力し、前記移動体の領域を特定する情報に基づいて、移動体の特徴量を判定する手順
    （３）特徴量の色特性を算出し、目標追跡データとして記憶する手順
    （４）目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分の色特性を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定する手順。
13. 特性算出部は、更に、頭部楕円情報を目標追跡データとして記憶し、
    同一性検定部は、目標追跡データを記憶した以降の後続フレームについて、更に、頭部楕円情報を算出し、目標追跡データと比較することにより、前記カラー画像の部分が前記移動体と同一のものの位置か否かを判定することを特徴とする請求項１記載の目標追跡装置。

Images