JP2001357403A - 車両追跡方法及び車両追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】 走行している車両の台数やカメラの設置位置
などに対して柔軟に対応できる高精度な車両追跡方法及
び追跡を提供する。 【解決手段】 画像入力部101により入力された画像デ
ータ105から、部分領域検出手段102において複数個のテ
ンプレートを利用してマッチングを行い、車両位置算出
手段103において結果を統合することにより車両の位置
を算出し、車両状態推定手段104においてカルマンフィ
ルタを用いることにより車両追跡を高精度化する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、連続画像中の走行
車両を高精度に追跡する車両追跡技術に関する。

【０００２】

【従来の技術】従来、移動物体の追跡を高精度化する技
術として、特開平８−９４３２０号公報「移動物体計測
装置」に示されているものがある。図９に、この技術の
構成を示す。入力画像901は移動物体検出手段902によっ
て車両部分が検出され、２Ｄ／３Ｄ変換手段903によっ
て道路上の３次元位置に変換されて３Ｄ情報保持手段90
5によって保持される。この３次元位置情報とそれまで
の移動情報に基づき、予測・融合手段906によって次の
時刻での車両の３次元位置が予測され、３Ｄ情報保持手
段905を経由して３Ｄ／２Ｄ変換手段904に入力されて画
像上の位置に変換された後、移動物体検出手段902に入
力される。移動物体検出手段902では、入力された画像
上の位置において重点的に車両の検出を行い、結果的に
検出の誤りが軽減される。

【０００３】

【発明が解決しようとする課題】このような従来の技術
においては、車両が同時に複数台走行していると個々の
車両の検出が困難であるという課題を有しており、また
カメラの設置位置がある程度限定されてしまうという問
題がある。

【０００４】そこで本発明は、前記のような問題を解消
し、走行している車両の台数やカメラの設置位置などに
対しても柔軟に対応できる高精度な車両追跡を実現する
追跡方法及び追跡装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】この課題を解決するため
に本発明は、カメラから入力される連続画像の各フレー
ムの画像において、前フレームで検出した車両の部分領
域から作成した複数個のテンプレートを用いてそれぞれ
のマッチング位置を求める部分領域検出手段と、求めた
各位置からテンプレートの残差による重み付けを用いた
統合処理により車両の位置を検出する車両位置算出手段
と、検出した車両の画像上における位置情報と、実空間
上における状態を画像上で観測するための座標変換情報
と、対象車両の実空間上における移動に関する運動情報
とからカルマンフィルタを用いて実空間上における車両
の状態を推定する車両状態推定手段とから構成し、これ
を繰り返すことにより車両を追跡するものである。これ
により、走行している車両の台数やカメラの設置位置な
どに対しても柔軟に対応できる高精度な車両追跡を実現
することができる。

【０００６】本発明の請求項１に記載の発明は、カメラ
から入力される連続画像の各フレームの画像において、
前フレームで検出した車両の部分領域から作成した複数
個のテンプレートを用いてそれぞれのマッチング位置を
求め、求めた各位置からテンプレートの残差による重み
付けを用いた統合処理により車両の位置を検出し、検出
した車両の画像上における位置情報と、実空間上におけ
る状態を画像上で観測するための座標交換情報と、対象
車両の実空間上における移動に関する運動情報とからカ
ルマンフィルタを用いて実空間上における車両の状態を
推定し、これを繰り返すことにより車両を追跡するもの
であり、入力画像から車両が画像中において位置する座
標を求め、これをもとにカルマンフィルタによって車両
の実空間上における位置・速度のより高精度な推定値を
算出するという作用を有する。

【０００７】請求項２に記載の発明は、カメラから入力
される連続画像の各フレームの画像において、前フレー
ムで検出した車両の部分領域から作成した複数個のテン
プレートを用いてそれぞれのマッチング位置を求める部
分領域検出手段と、求めた各位置からテンプレートの残
差による重み付けを用いた統合処理により車両の位置を
検出する車両位置算出手段と、検出した車両の画像上に
おける位置情報と、実空間上における状態を画像上で観
測するための座標変換情報と、対象車両の実空間上にお
ける移動に関する運動情報とからカルマンフィルタを用
いて実空間上における車両の状態を推定する車両状態推
定手段とからなり、これを繰り返すことにより車両を追
跡するものであり、入力画像から車両が画像中において
位置する座標を求め、これをもとにカルマンフィルタに
よって車両の実空間上における位置・速度のより高精度
な推定値を算出するという作用を有する。

【０００８】請求項３に記載の発明は、請求項２に記載
の車両追跡装置において、部分領域検出手段と車両位置
算出手段は、前フレームで車両が検出されていない場
合、または前フレームで検出した車両とは異なる車両も
走行している場合には、あらかじめ設定した初期検出領
域内において進入してきた車両の位置を検出するもので
あり、新たに画像中に進入してきた車両の追跡を開始す
るという作用を有する。

【０００９】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１〜８を用いて説明する。図１は、本発明の実施
の形態１における車両追跡装置のブロック図を示してい
る。図１において、101は認識対象である走行車両を撮
影した動画像を入力する画像入力部、102は画像入力部1
01により入力された各フレームの画像データ105から、
複数個のテンプレートに対するマッチング位置を検出す
る部分領域検出手段、103は部分領域検出手段102により
検出された複数個の領域情報106から、統合処理により
走行車両の位置を検出する車両位置算出手段、104は車
両位置算出手段103より検出された走行車両の画像上に
おける位置情報107と、あらかじめ設定した実空間上に
おける状態を画像上で観測するための座標変換情報108
と、対象車両の実空間上における移動に関する運動情報
109とから、カルマンフィルタを用いて実空間上におけ
る車両の状態を推定する車両状態推定手段、110は車両
状態推定手段104により推定された車両の状態推定結
果、111は車両状態推定手段104により予測された車両の
状態予測結果である。なお、車両状態推定手段104で用
いているカルマンフィルタは、時間更新処理と観測更新
処理とから構成されている。

【００１０】時間更新処理は、現時刻の状態推定値から
翌時刻の状態を予測する処理である。観測更新処理は、
観測した状態から現時刻の状態を推定する処理である。
これによりカルマンフィルタは、観測値を得ると、逐次
的に現在の推定値と翌時刻の予測値を算出するという効
果がある。

【００１１】以上のように構成された車両追跡装置につ
いて、以下にその動作を説明する。図２は、画像データ
105の例を示しており、201は車両、を表す。図３はテン
プレートの例を示しており、301は車両の検出位置、302
はテンプレート、303はテンプレートの検出位置301から
オフセットを表す。図４はテンプレートの探索範囲の設
定を示しており、401は予測位置、402はテンプレートの
探索範囲を表す。図５は状態推定手段の処理の構成を示
しており、501は観測更新部、502は時間更新部を表す。
図６は実空間から画像への座標変換を示している。

【００１２】画像入力部101は、認識対象である走行車
両を、固定されたカメラにより撮影した動画像を入力す
る。部分領域検出手段102は、まず、画像入力部101によ
り入力された図２に示すような画像データ105、車両状
態推定手段104により前フレームの処理において予測さ
れた車両の状態予測結果111、車両状態推定手段104によ
り前フレームの処理において予測された車両の状態推定
結果110をもとに作成された図３に示すようなＮｔ個の
テンプレート302を読み込む。

【００１３】ここで、図３におけるテンプレートは、次
のように作成される。車両状態推定手段104により予測
された車両の状態推定結果110の画像上における位置を
車両の検出位置301とする。この検出位置301を基準にし
て、あらかじめ設定したオフセット303とテンプレート
サイズによってそれぞれのテンプレートを作成する。次
に、画像データ105において、Ｎｔ個のテンプレート301
のそれぞれがもっとも良くマッチングする位置とそのと
きの残差を求める。この検出されたＮｔ個のマッチング
位置（ｉｔｘ[１]，ｉｔｙ[１]），…，（ｉｔｘ[Ｎ
ｔ]，ｉｔｙ[Ｎｔ]）とそれぞれの残差Ｅ[１]，…，Ｅ
[Ｎｔ]を領域情報106として保持する。このとき、探索
範囲は図４に示すように決定する。状態予測結果111の
画像上における位置を予測位置401として、あらかじめ
設定したオフセット303とテンプレート探索サイズによ
ってそれぞれのテンプレートの探索範囲402を決定す
る。これにより無駄な領域を探索することがなくなり、
処理の高速化がはかられる。

【００１４】車両位置算出手段103は、部分領域検出手
段102により検出された領域情報106を読み込み、走行車
両の位置を算出する。この算出された画像上における位
置の座標（ｉｘ，ｉｙ）を位置情報107として保持す
る。ここで走行車両位置は次のように算出される。ま
ず、領域情報106の各マッチング位置（ｉｔｘ[１]，ｉ
ｔｙ[１]），…，（ｉｔｘ[Ｎｔ]，ｉｔｙ[Ｎｔ]）か
ら、あらかじめ設定したオフセット303によって仮検出
位置（ｉｘ[１]，ｉｙ[１]），…，（ｉｘ[Ｎｔ]，ｉｙ
[Ｎｔ]）を逆算する。この仮検出位置と残差Ｅ[１]，
…，Ｅ[Ｎｔ]による重み付けを用いた統合処理により車
両位置を算出する。つまり、残差の小さい位置には重い
重み付けをし、残差の小さい位置には軽い重み付けをす
る。例えば、ｉ番目の位置に対して、残差の逆数１／Ｅ
[ｉ]の重み付けによって算出する。

【００１５】状態推定手段104は、カルマンフィルタに
より車両の状態を推定する。まず、図５に示すように、
車両位置算出手段103により検出された走行車両の画像
上における位置情報107を観測値ｙ[ｔ]として入力す
る。観測更新部501において、あらかじめ設定した座標
変換情報108を利用してゲインＫ[ｔ]を数１により計算
する。

【００１６】

【数１】Ｋ[ｔ]＝Ｐ[ｔ/ｔ−１]・Ｈ^t(Ｈ・Ｐ[ｔ/ｔ−
１]・Ｈｔ＋Ｒ)^-1 ただし、数１において、Ｐ[ｔ/ｔ−１]は前時刻におけ
る現時刻の状態予測結果ｘｅ[ｔ/ｔ−１]の誤差共分散
である。Ｒは観測ノイズの共分散である。Ｈは、座標変
換情報108を表すもので、数２に示すような関係を有す
る。

【００１７】

【数２】ｙ[ｔ]＝Ｈ・ｘ[ｔ]＋ｖ ただし、数２において、ｘ[ｔ]は車両の実空間上におけ
る状態である。ｖは観測ノイズである。さらに、前時刻
における現時刻の状態予測結果ｘｅ[ｔ/ｔ−１]を利用
して実空間上における現時刻の状態ｘｅ[ｔ/ｔ]を数３
により推定する。

【００１８】

【数３】ｘｅ[ｔ/ｔ]＝ｘｅ[ｔ/ｔ−１]＋Ｋ[ｔ](ｙ
[ｔ]−Ｈ・ｘｅ[ｔ/ｔ−１]) この推定された状態を車両の状態推定結果110として保
持する。時間更新部502において、あらかじめ設定した
運動情報109を利用して車両の実空間上における翌時刻
の状態ｘｅ[ｔ＋１/ｔ]を数４により予測する。

【００１９】

【数４】ｘｅ[ｔ＋１/ｔ]＝Ｆ・ｘｅ[ｔ/ｔ] ただし、数４において、Ｆは運動情報109を表すもの
で、数５に示すような関係を有する。

【００２０】

【数５】ｘ[ｔ＋１]＝Ｆ・ｘ[ｔ]＋ｗ ただし、数５においては、ｗはシステムノイズである。

【００２１】この予測された状態を車両の状態予測結果
111として保持し、翌時刻における常態推定手段104の観
測更新部501にて利用する。

【００２２】座標変換情報108は、実空間における車両
の状態を画像上において検出したときの観測値を求める
ためのものであり、具体的には、図６に示すように実空
間上において適当な位置に原点を定めたときの車両201
の存在する位置の座標（ｐｘ，ｐｙ）から、画像上にお
いてその車両201を検出した位置の座標（ｉｘ，ｉｙ）
への変換を表している。

【００２３】運動情報109は、実空間における車両状態
が、翌時刻にどんな状態になっているかを求めるためも
のであり、これは車両の運動を表している。

【００２４】図７は、本発明の実施の形態２における車
両追跡装置のブロック図を示している。図７において、
101は認識対象である走行車両を撮影した動画像を入力
する画像入力部、701は画像入力部101により入力された
各フレームの画像データ105から、走行車両の位置を検
出する車両検出手段、702は車両検出手段701により検出
された走行車両の画像上における位置情報107と、あら
かじめ設定した実空間上における状態を画像上で観測す
るための座標変換情報108とから、検出した走行車両の
実空間上における状態を画像上で観測するための座標変
換情報108とから、検出した走行車両の実空間上におけ
る位置を算出し、これを基に初期運動情報705を算出す
る初期設定手段、703は初期設定手段702により算出され
た位置・時刻情報704を保持する車両位置記録手段であ
る。

【００２５】以上のように構成された車両追跡装置につ
いて、以下にその動作を説明する。図８は初期検出領域
の例を示している。画像入力部101は、認識対象である
走行車両を、固定されたカメラにより撮影した動画像を
入力する。

【００２６】車両検出手段701は、画像入力部101により
入力された図２に示すような画像データ105を読み込
み、図８に示すような初期検出領域801，802の範囲内に
入ってきた車両を検出する。ここで図８における初期検
出領域は、各車線で車両が一番最初に画像中に進入して
くる進行方向手前の位置にあらかじめ設定している。車
両を検出する方法は、複数台の車両が走行しているとき
でも個々の車両を検出することのできる方法である。例
えば具体的には、検出する車両のモデルをテンプレート
としてマッチングにより検出する方法、検出する車両の
色や形の特徴を利用して検出する方法、あらかじめ作成
した背景画像と入力画像との差を取ることにより走行車
両を検出する方法、前フレームと当フレームとの差を取
ることにより走行車両を検出する方法、などが考えられ
るが、いずれの方法を用いても本発明には有効である。

【００２７】初期設定手段702は、まず、車両検出手段7
01により検出された位置情報107を読み込み、座標変換
情報108を用いて実空間上における位置を算出する。こ
の実空間上における位置と車両検出手段701により検出
された時刻の組を位置・時刻情報704として車両位置記
録手段703に出力する。このとき、実空間上における位
置を比較することにより前時刻に検出された車両と同一
かどうかを判定し、同一の車両には同一のインデックス
を位置・時刻情報704に付加しておく。また、あらかじ
め設定した初期設定算出時間に基づいて車両位置記録手
段703から位置・時刻情報を読み込み、初期運動情報705
を算出する。これは、同一のインデックスを持つ車両に
対して、一番最初に検出された位置・時刻情報と、この
時刻から初期設定算出時間以上経過した後に検出された
位置・時刻情報とから速度を算出し、初期運動情報とす
るものである。

【００２８】車両位置記録手段703は、位置・時刻情報7
04として、初期設定手段702により算出された走行車両
の実空間上における位置と、この走行車両が車両検出手
段701において検出された時刻の組を保持している。ま
た、初期設定手段702において初期運動情報705を算出す
る際に、この位置・時刻情報を初期設定手段702に出力
する。

【００２９】

【発明の効果】以上のように本発明によれば、走行して
いる車両の台数やカメラの設置位置などに対しても柔軟
に対応できる高精度な車両追跡を実現することができる
という効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における車両追跡装置を
示すブロック図である。

【図２】本発明の実施の形態１における画像データの例
を示す図である。

【図３】本発明の実施の形態１におけるテンプレートの
例を示す図である。

【図４】本発明の実施の形態１におけるテンプレートの
探索範囲の設定を示す図である。

【図５】本発明の実施の形態１における状態推定手段の
処理の構成を示す図である。

【図６】本発明の実施の形態１における実空間から画像
への座標交換を示す図である。

【図７】本発明の実施の形態２における車両追跡装置を
示すブロック図である。

【図８】本発明の実施の形態２における初期検出領域の
例を示す図である。

【図９】従来の移動物体追跡装置の一例を示す構成図で
ある。

【符号の説明】

101 画像入力部 102 部分領域検出手段 103 車両位置算出手段 104 車両状態推定手段 105 画像データ 106 領域情報 107 位置情報 108 座標交換情報 109 運動情報 110 状態推定結果 111 状態予測結果 201 車両 301 車両検出位置 302 テンプレート 303 オフセット 401 予測位置 402 探索範囲 501 観測更新部 502 時間更新部 701 車両検出手段 702 初期設定手段 703 位置記録手段 704 位置・時刻情報 705 初期運動情報 801 初期検出領域 802 初期検出領域 901 入力画像 902 移動物体検出手段 903 ２Ｄ／３Ｄ変換手段 904 ３Ｄ／２Ｄ変換手段 905 ３Ｄ情報保持手段 906 予測・融合手段 907 位置・運動情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者 水澤 和史 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 2F065 AA00 AA01 BB05 BB15 CC11 EE00 FF04 FF31 FF61 JJ03 JJ19 JJ26 QQ00 QQ28 QQ33 QQ38 QQ41 5B057 AA16 BA02 BA11 CD20 CE06 CH09 DA07 DA08 5H180 AA01 BB15 CC04 5L096 BA04 CA02 FA69 GA55 JA09

Claims (3)

【特許請求の範囲】
1. 【請求項１】 カメラから入力される連続画像の各フレ
   ームの画像において、前フレームで検出した車両の部分
   領域から作成した複数個のテンプレートを用いてそれぞ
   れのマッチング位置を求め、求めた各位置からテンプレ
   ートの残差による重み付けを用いた統合処理により車両
   の位置を検出し、検出した車両の画像上における位置情
   報と、実空間上における状態を画像上で観測するための
   座標変換情報と、対象車両の実空間上における移動に関
   する運動情報とからカルマンフィルタを用いて実空間上
   における車両の状態を推定し、これを繰り返すことによ
   り車両を追跡することを特徴とする車両追跡方法。
2. 【請求項２】 カメラから入力される連続画像の各フレ
   ームの画像において、前フレームで検出した車両の部分
   領域から作成した複数個のテンプレートを用いてそれぞ
   れのマッチング位置を求める部分領域検出手段と、求め
   た各位置からテンプレートの残差による重み付けを用い
   た統合処理により車両の位置を検出する車両位置算出手
   段と、検出した車両の画像上における位置情報と、実空
   間上における状態を画像上で観測するための座標変換情
   報と、対象車両の実空間上における移動に関する運動情
   報とからカルマンフィルタを用いて実空間上における車
   両の状態を推定する車両状態推定手段とからなり、これ
   を繰り返すことにより車両を追跡することを特徴とする
   車両追跡装置。
3. 【請求項３】 前記部分領域検出手段と車両位置算出手
   段において、前フレームで車両が検出されていない場
   合、または前フレームで検出した車両とは異なる車両も
   走行している場合には、あらかじめ設定した初期検出領
   域内において進入してきた車両の位置を検出することを
   特徴とする請求項２に記載の車両追跡装置。