JP2008035301A - 移動体追跡装置 - Google Patents

Abstract

【課題】複数の画像入力部で検出された移動体の特徴量の照合精度を向上できる移動体追跡装置を提供する。
【解決手段】本発明による移動体追跡装置は、移動体の画像を取得する複数の画像入力部と、取得された画像から移動体の向きと特徴量を検出し、向きと特徴量を統合したデータを作成する画像処理部と、データを格納するデータ格納部と、格納されたデータの内、向きが同一あるいは対称のデータの特徴量から、同一移動体であるか否かを照合する照合部と、照合部による照合結果に基づいて同一移動体を追跡する追跡部とを備える。
【効果】移動体の向きと特徴量を統合することにより、向き別に特徴量を比較することができるので、移動体の照合精度が向上する。
【選択図】図１

Description

本発明は、複数のカメラ等の画像入力部で取得した画像により移動体を追跡する移動体追跡装置に関する。

動画像を連続して処理し移動体を検出して、追跡するシステムは、単一カメラ内の追跡に利用されている。近年、複数のカメラ間での移動体の追跡に関する研究が行われているが、複数のカメラ間において、移動体の追跡を行う機能の重要性はますます高まってきている。

従来、複数のカメラ間での移動体の追跡を行う場合、各カメラで移動体の特徴量を求めて、その特徴量の照合を行うことで追跡を行う。特徴量の求め方は様々で、移動体の色ヒストグラムなどの色情報を用いた特徴量や、移動体の面積や移動体の外接矩形枠の縦と横の長さの比などの特徴量がある。その一例として、特開平８−２４９４７１号公報（特許文献１）に記載の技術がある。これはカメラ内の移動体の追跡方法を示すもので、本方法によれば、移動体が静止しても、再度移動体を検出した際に、移動体の特徴量によって同定することでその移動体の追跡が可能になる。

特開平８−２４９４７１号公報

しかしながら、複数のカメラ間で移動体を追跡する場合、上記従来技術においては、あるカメラで移動体の上向きの撮像シーンのみ取得され、他のカメラでは移動体の上向き及び下向きの撮像シーンが取得され、かつ上向きの特徴量と下向きの特徴量が大きく異なる場合には、後者で求められた特徴量は前者で求められた特徴量よりばらつく。このため、両者の特徴量を照合する場合、照合精度が低くなるという問題がある。

本発明は、上記の問題点を考慮してなされたものであり、複数の画像入力部で検出された移動体の特徴量の照合精度を向上できる移動体追跡装置を提供する。

本発明による移動体追跡装置は、複数の画像入力部によって取得された画像から移動体の向きと特徴量を検出し、向きと特徴量を統合したデータを作成する画像処理部を備える。

移動体の向きと特徴量を統合することにより、向き別に特徴量を比較することができるので、移動体の照合精度が向上する。

図１は、本発明の一実施形態である移動体追跡装置を示す。本図において、１は画像入力部、２は画像処理部、３は特徴量格納部、４は移動体照合部、５は移動体追跡部である。画像入力部１は複数あるものとし、本実施形態ではＮ（正の整数）個とする。画像入力部１としては、テレビカメラやＣＣＤカメラなどが適用される。また、画像処理部２，移動体照合部４及び移動体追跡部５としては、ＣＰＵやマイクロコンピュータ等の演算処理装置が適用される。特徴量格納部３としては、半導体メモリやハードディスク等の記憶装置が適用される。なお、図示されてはいないが、画像入力部１で取得された画像を格納する画像格納部を設けても良い。画像格納部としては、特徴量格納部３と同様の記憶装置が適用される。また、以下に説明する図面においては、移動体を人物としている。

複数の画像入力部１は、それぞれ、あるフレーム間隔で画像を取得する。取得された画像は順次、画像処理部２に送られる。画像処理部２は、画像入力部１から送られた画像を用いて、移動体を検出し、その検出された移動体の特徴量と移動体の向きとを順次演算し、その移動体の特徴量と向きを統合した向き付き特徴量を特徴量格納部３に送る。特徴量格納部３では、画像処理部２で算出された移動体の特徴量が、どの画像入力部で取得された画像から算出されたものかを区別できるように格納される。また画像入力部１で複数の移動体を検出した場合も、画像入力部別，移動体別に特徴量を格納する。移動体照合部４は、特徴量格納部３に格納された特徴量を用いて、画像入力部別及び移動体別に特徴量を相互比較することで、移動体の照合を行い、移動体追跡部５に照合結果を送る。移動体追跡部５は、移動体照合部４から送られた照合結果が、同一移動体であることを示していれば移動体の追跡を行う。

以下、画像入力部１，画像処理部２，特徴量格納部３，移動体照合部４並びに移動体追跡部５について、それぞれ説明する。

図２は、画像入力部の説明図である。画像入力部１では、動画像より、あるフレーム間隔で入力画像を取得する。Ｓ（正の整数）枚のフレームが画像入力部１から取得され、このフレーム毎の画像１１を取得するたびに画像処理部２に送る。

図３は、画像処理部の機能説明図である。画像入力部１から送られたフレーム毎の画像を用いて、移動体抽出部２１ではフレーム毎の移動体が抽出される。この抽出された移動体の画像を用いて、移動体向き検出部２２によって、移動体の向きを検出する。次に、移動体領域分割部２３では、移動体抽出部２１から送られた移動体の画像から、移動体を抽出し、抽出された移動体のシルエットに外接する矩形枠を作成し、その矩形枠を縦方向と横方向で分割し、複数の分割領域を生成する。そして、この分割領域ごとに、特徴量抽出部２４によって特徴量を検出する。特徴量としては、輝度情報や色情報などの代表値を用いる。代表値とは最頻値，平均値などである。移動体領域分割部２３及び特徴量抽出部
２４で求められた特徴量と、移動体向き検出部２２で求められた移動体の向きを、特徴量／向き統合部２５により統合する。これは移動体の特徴量が移動体の向きによって区別され、移動体の特徴量が向きによって大きく異なる場合に、照合精度が向上する。

以下、移動体抽出部２１，移動体向き検出部２２，移動体領域分割部２３，特徴量抽出部２４並びに特徴量／向き統合部２５について、それぞれ説明する。

図４，図５，図６及び図７は、移動体抽出部２１の機能説明図であり、それぞれ入力画像例，背景画像例，移動体抽出画像例及び処理手順例を示すフローチャートである。移動体抽出部２１では、入力画像（図４）から背景画像（図５）を生成し、生成した背景画像を基に背景差分法を用いて移動体抽出画像（図６）を生成し移動体を抽出する。図６のように、移動体抽出画像において複数の移動体ａ，ｂが存在する場合、それぞれ異なる移動体であると認識する。また、一つまたは複数の移動体に対して、複数フレームの移動体抽出画像が取得されるが、その複数フレーム中の移動体は追跡されている。例えば、その複数フレーム中で、フレーム中に設定される座標から求められる移動体の移動距離が所定の範囲である移動体を同じ移動体と認識する。そして、この移動体抽出画像（図６）を移動体向き検出部１０に送る。ここでは背景差分法を用いた方法を示したが、他の移動体抽出方法を用いても良い。

図７の処理手順例においては、まず、ステップ２１０１で画像を取り込み、入力画像とする。ステップ２１０２では、背景画像を作成済みか否かをチェックし、背景画像を作成済みでない場合、ステップ２１０３を実行し、背景画像が存在する場合、ステップ2104を実行する。ステップ２１０３では、入力画像から初期背景画像を作成し、初期背景画像を背景画像とする。初期背景画像を作成するためには、移動体が存在していない状態の入力画像を少なくとも１フレーム用いる。ステップ２１０４では、ステップ２１０１で取り込んだ入力画像とステップ２１０２またはステップ２１０３の背景画像から、画素毎の輝度差の差分画像を作成する。ステップ２１０５では、差分画像から所定の閾値以上を変化領域として抽出する。その後、ステップ２１０６で、変化領域の面積を算出して閾値以上か否かをチェックし、閾値以上の場合は、ステップ２１０７を処理し、閾値未満の場合は、変化なしとして、ステップ２１０９を処理する。ステップ２１０９では、変化のない入力画像を新たな背景画像とし更新する。ステップ２１０７では、ステップ２１０５で抽出した変化領域に対し、ノイズ除去等を行って整形した後、膨張及び／又は収縮等により近隣を統合して物体候補を作成する。ステップ２１０８では、ステップ２１０７の物体候補の出現回数をカウントして所定回数以上出現した場合には、ステップ２１１０で候補物体を移動体として検知して、移動体のシルエットを抽出する。

図８，図９及び図１０は、移動体向き検出部２２の機能説明図であり、それぞれ向き検出方法，向き角度と向きの関係及び処理手順例を示すフローチャートである。
移動体向き検出部２２では、移動体抽出部２１から送られた移動体抽出画像（図６）の個別移動体（ａ，ｂ）の移動方向を求める。すなわち、次のようにして、画像入力部で取得されたＳ枚の画像フレームにおけるある一つのフレームと他のフレーム間において、移動体が移動した方向を求める。まず、図８に示すように、一つの画像フレーム中における個別移動体のＡ外接枠のＡ中心点と、他の画像フレーム中における同じ移動体のＡ′外接枠のＡ′中心点とを結ぶ中心点間線を作成する。そして中心点間線と、Ａ′中心点から右水平方向に伸びる基準線とから成る移動方向角度θを求める。図９に示すように、移動方向角度θに対して、４方向に分割する場合は、４５°〜１３４°を上向き、１３５°〜
２２４°を左向き、２２５°〜３１４°を下向き、０°〜４４°及び３１５°〜３５９°を右向き、というように向きを割り当てることで、移動体の向きを決定する。更に細かく８方向（図９の下図）や１６方向などに検出できる向きを細かく分けることも可能である。なお、移動体向き角度θは、Ａ′中心点の座標を（ｘ₀，ｙ₀）、Ａ中心点の座標を（ｘ₁，ｙ₁）とすると、次式（１）で求められる。

図１０の処理手順においては、まずステップ２２０１で画像を取り込み、移動体抽出画像とする。次に、ステップ２２０２で現フレームの抽出された移動体枠の中心座標を算出する。次に、ステップ２２０３で現フレームの一つ前のフレームである前フレームの移動体枠中心座標が存在するか否かを判定し、存在する場合はステップ２２０６を処理する。前フレームの移動体枠中心座標が存在しない場合は、ステップ２２０４及びステップ2205の処理を行った後にステップ２２０６を処理する。ステップ２２０４では、現在のフレームである現フレームの移動体枠の中心座標を前フレームの移動体枠中心座標とする。ステップ２２０５では画面の中心座標を算出し、この座標を現フレームの移動体中心座標とする。ステップ２２０６では前フレームの移動体枠中心座標と現フレームの移動体枠中心座標を用いて、前フレームの移動体枠中心座標に対して、現フレームの移動体枠中心座標の角度を算出する。ステップ２２０７ではステップ２２０６で求められた角度を用いて移動体の向きを決定する。ここでは、図９のように角度に対しての向きを予め定義しておくことで、角度が求められれば向きが決定できる。

図１１は、移動体領域分割部２３の機能説明図である。移動体領域分割部２３は、移動体枠をＷ×Ｌ（Ｗ，Ｌ：整数）で分割する分割線で移動体を分割し、分割された領域毎の座標を特徴量抽出部２４に送る。こうすることで特徴量抽出部２４では、この分割された領域毎の特徴量を演算し、有効な領域を選定することで、背景混在が解消される。また、図１２に示すように、移動体の特徴量が垂直方向や水平方向に反転している場合に、それら移動体を同一移動体と認識してしまうような誤認識を防止することができる。

次に、特徴量抽出部２４について説明する。特徴量抽出部２４では、移動体領域分割部２３によって分割された移動体領域ごとに特徴量を算出する。輝度情報を用いた特徴量としては、例えば、分割された領域毎に求めた平均輝度値（最頻輝度値）と移動体領域全体の平均輝度値（最頻輝度値）との比（輝度比）を適用できる。また、色情報を用いた特徴量としては、例えば、領域分割毎のＲＧＢ値からＨＳＶ（Ｈ：Hue(色相),Ｓ：Saturation（彩度）,Ｖ：Value（明度））変換した色相値が適用できる。これらの特徴量に限らず、他の特徴量を用いてもよい。

図１３は、特徴量／向き統合部２５の機能説明図である。特徴量／向き統合部では、移動体向き検出部２２で求めた移動体の向き２５２と、特徴量抽出部２４から求められた特徴量２５１を、フレーム番号（本図では１〜１０）を用いてそれぞれ結びつけ、移動体の向き２５３と特徴量２５４を有する、向き付き特徴量２５５をその向き毎に作成する。これは一つの移動体に対して複数フレーム分の移動体の向きと特徴量を統合し、向き付き特徴量２５５を作成する。すなわち、各向き付き特徴量は、一つ以上の特徴量データからなる特徴量の集合である。そして各特徴量は、本図では分割された領域の各特徴量から成る、言わば分割領域数（＝Ｗ×Ｌ：図１１参照）を次元数とするベクトルデータとなっている。

図示されてはいないが、向き付き特徴量は、複数のフレーム(図１３では１０フレーム)が画像入力部によって取得された時刻を示す時刻データ（例えば、１０フレームの代表時刻）を含むか、あるいはこの時刻データと対応付けられている。作成された向き付き特徴量２５５は特徴量格納部３に格納される。図１３においては、移動体の向きが、上向き，下向き，右向き，左向きの四方向であるが、観測された向きの数だけ向き付き特徴量が作成される。

図１４は特徴量格納部３における内部構造を示す。特徴量格納部３は、各画像入力部別に分けられ、これを画像入力部別特徴量格納部３１とする。この画像入力部別特徴量格納部３１は、画像入力部で検出された各移動体で分けられ、これを移動体特徴量格納部311とする。そして、この移動体特徴量格納部３１１には、特徴量／向き統合部２５で統合された向き付き特徴量３１１ａ，３１１ｂ，３１１ｃ，３１１ｄが格納されている。移動体照合部４では、比較対照である二つの移動体の向き付き特徴量３１１ａ，３１１ｂ，311c，３１１ｄを比較することで移動体の照合を行う。例えば、画像入力部別特徴量格納部
３１１と画像入力部別特徴量格納部３２１とを照合する場合は、まず、向きが上向きである向き付き特徴量３１１ａと向き付き特徴量３２１ａとを比較し、下向きである向き付き特徴量３１１ｂと向き付き特徴量３２１ｂとを比較する。

なお、本図における各画像入力部の移動体１〜Ｍは、単に各入力部で別の移動体と認識された移動体を示すものであり、異なる画像入力部の移動体Ｍが同一の移動体であるとは限らない。

図１５，図１６は、移動体照合部４における照合方法の例を示す。それぞれの図は特徴量を二次元表示とした場合に縦軸，横軸にそれぞれ異なる特徴量の軸を設け、特徴点をプロットし、比較対象の各々の特徴点と、その特徴点の代表点を示した図であり、各代表点間の距離が、ある閾値以上であった場合は「異なる移動体」、閾値以下であった場合は
「同一移動体」と判定する。この照合結果を移動体追跡部５に送る。図１５，図１６においては、移動体領域分割部２３により移動体画像を２領域に分割し、各領域の特徴量（例えば輝度情報を用いた特徴量）をそれぞれ縦軸，横軸としたものである。すなわち、これらの図では、分割領域数と同じ次元数である２次元の特徴量空間を用いている。なお、分割領域数が図１１に示したようにＷ×Ｌであれば、Ｗ×Ｌ次元の特徴量空間を用いることになる。また、移動体画像を分割せず、複数種類の特徴量を求めて、複数次元の特徴量空間にプロットしても良い。例えば輝度情報を用いた特徴量と色情報を用いた特徴量とを、それぞれ縦軸横軸としても良い。なお、プロット総数は、特徴量が演算された画像フレーム数に相当する。

図１５は、従来と本発明の実施形態における移動体照合方法の違いを示す。従来の場合及び本発明の実施形態の場合とで、対応する特徴量のプロットの集合を、それぞれ破線と実線で囲んでいる。従来の場合、すなわち移動体の向きを統合しない場合、全ての向きに対応する特徴点の代表点３１１１，３２１１で比較する。これに対し、本発明の実施形態では向きによって特徴量を区別することにより、同一向きの特徴量での照合が可能になり、上向き特徴量の集合の代表点３１１２，３２１２で照合すると共に、下向き特徴点の代表点３１１３，３２１３での照合が可能になるため、より精度の高い照合が可能になる。ここでは代表点を特徴点の平均値としたが、代表点の求め方は本方法に限定されず、他の方法でも良い。なお、図１５で点線で囲んだ特徴点と図１６において実践で囲んだ特徴点は互いに対応している。

図１６は、片方の移動体の特徴量がある一方向の特徴量しか持たず、他方は二方向の特徴量を有し、かつそれぞれの方向での特徴量が大きく異なる場合における、従来と本発明の実施形態の照合方法の違いを示す。従来の場合、全ての向きに対応した特徴点の集合の代表点３１１１，３２１１での照合を行うが、本発明の実施形態では、同じ向きの特徴点の代表点３１１２，３２１１での照合を行うことが可能なため、照合精度が向上する。なお、図１６においては、便宜上従来と本実施形態の場合を同じ図に示したため、同じ向きの特徴点を実線で囲んでいるが、言うまでも無く、従来においては向きの違いは検出されていない。

図１７は、移動体照合部４における照合方法の流れを示すフローチャートである。まず、ステップ４１では、異なる画像入力部間で等しい向きの特徴量組があるか否かを判定し、等しい向きの特徴量組が存在すればステップ４２の処理を実行し、等しい向きの特徴量組が存在しなければステップ４７の処理を実行する。ステップ４７では、従来と同様に存在する向き全ての特徴量に対する代表点間の距離で照合を行う処理や、照合処理を行わないなどの処理を不一致処理として行う。ステップ４２では、ステップ４１によって選択された特徴量組が一組であるか否かを判定する。一組であればステップ４３の処理を実行し、その特徴量組の代表点間の距離を算出して、さらにステップ４６の照合処理を実行する。二組以上である場合は、ステップ４４において、その全ての組で代表点間の距離を求め、次にステップ４５で代表点間の距離の最大値を算出して、さらにステップ４６で照合処理を行う。これにより、同じ向きの特徴量が存在する場合にその同じ向きの特徴量同士で照合を行うことが可能となるため、照合精度が高くなり、移動体を追跡する際の追跡精度が向上する。

本実施形態では、同じ向きの特徴量を比較しているが、対称な向きの特徴量同士、例えば左向きの特徴量と右向きの特徴量を照合しても良い。

図１８は、移動体追跡部５による追跡結果の表示例である。移動体照合部４で同じ移動体であると照合された向き付き特徴量の基になった画像を取得した画像入力部すなわちカメラが、カメラ１，２，３，４であることが表示されている。これは、同じ移動体５１がこれらのカメラの設置場所に現れたことを示している。さらに、向き付き特徴量に対応する時刻データを用いて、カメラ１〜４において同じ移動体の画像が取得された時刻的順番を矢印で表示している。すなわち、移動体５１が、カメラ２の設置場所からカメラ１の設置場所へ移動し、その後、カメラ３の設置場所，カメラ４の設置場所の順に移動していることが追跡されている。なお、本表示例においては、カメラの設置階床（１Ｆ，２Ｆ）も表示している。さらに、同じ移動体であると照合された向き付き特徴量の基になった複数フレームの画像の内の代表的な画像を各カメラ毎に表示している。これらの画像は、図１では図示されていない、ハードディスクなどの画像格納部に記録されている。

上述した実施形態では、移動体を人物としたが、人物に限らず動物や車両など他の移動体にも本発明による移動体追跡装置は適用できる。

上述した実施形態に限らず、本発明の技術的思想の範囲内で、種々の変形例が可能である。

本発明の一実施形態である移動体追跡装置を示す。 画像入力部の説明図である。 画像処理部の機能説明図である。 入力画像例である。 背景画像例である。 移動体抽出画像例である。 処理手順例を示すフローチャートである。 向き検出方法を示す。 移動方向角度と向きの関係を示す。 処理手順例を示すフローチャートである。 移動体領域分割部の機能説明図である。 特徴量が反転している移動体を示す図である。 特徴量／向き統合部の機能説明図である。 特徴量格納部の内部構造を示す。 移動体照合部における照合方法の例を示す。 移動体照合部における照合方法の例を示す。 移動体照合部における照合方法の流れを示すフローチャートである。 移動体追跡部による追跡結果の表示例である。

符号の説明

１…画像入力部、２…画像処理部、３…特徴量格納部、４…移動体照合部、５…移動体追跡部、２１…移動体抽出部、２２…移動体向き検出部、２３…移動体領域分割部、２４…特徴量抽出部、２５…特徴量／向き統合部。

Claims (6)

1. 移動体の画像によって移動体を追跡する移動体追跡装置において、
   移動体の画像を取得する複数の画像入力部と、
   取得された前記画像から移動体の向きと特徴量を検出し、前記向きと前記特徴量を統合したデータを作成する画像処理部と、
   前記データを格納するデータ格納部と、
   格納された前記データの内、前記向きが同一あるいは対称のデータの前記特徴量から、同一移動体であるか否かを照合する照合部と、
   前記照合部による照合結果に基づいて同一移動体を追跡する追跡部と、
   を備えることを特徴とする移動体追跡装置。
2. 請求項１において、前記画像入力部は所定のフレーム間隔で複数フレームの画像を取得し、前記画像処理部は、前記複数フレームの内の一のフレームと他のフレーム間において前記移動体が移動した方向に基づいて前記向きを検出することを特徴とする移動体追跡装置。
3. 請求項１において、前記画像入力部は所定のフレーム間隔で複数フレームの画像を取得し、前記画像処理部は前記複数のフレームの各々について前記移動体の前記向きと前記特徴量を検出し、前記データ格納部には向きごとに前記特徴量の集合が格納されることを特徴とする移動体追跡装置。
4. 請求項１ないし３のいずれか１項において、前記照合部は、同一あるいは対称の向きの特徴量がなかった場合には不一致処理を行うことを特徴とする移動体追跡装置。
5. 請求項１ないし４のいずれか１項において、前記画像処理部は、前記移動体の画像を複数の領域に分割し、前記複数の領域の各々について前記特徴量を検出し、前記データ格納部には前記領域数に等しい次元のデータとして前記特徴量が格納されることを特徴とする移動体追跡装置。
6. 請求項１において、
   前記画像入力部は所定のフレーム間隔で複数フレームの画像を取得し、
   前記画像処理部は前記複数のフレームの各々について前記移動体の前記向きを検出し、かつ前記移動体の画像を複数の領域に分割し、前記複数の領域の各々について前記特徴量を検出し、
   前記データ格納部には、前記画像入力部ごとに、かつ同じ向きごとに、前記領域数に等しい次元のデータとして前記特徴量の集合が格納され、
   前記照合部は、前記次元の特徴量空間において、異なる画像入力部の、前記向きが同一あるいは対称の前記特徴量の前記集合間の距離に基づいて同一の移動体であるか否かを照合することを特徴とする移動体追跡装置。
   

Images