JP2006172064A - 物体追跡装置、および方法 - Google Patents

Abstract

【課題】 複数フレームの撮像画像内に存在する移動物体を追跡すること。
【解決手段】 制御装置１０３は、カメラ１０１で撮像した自車両前方の撮像画像を複数の追跡領域に分割する。そして、移動ベクトル算出部１０３ａによって算出された各追跡領域内に存在するエッジの移動ベクトルの分布に基づいて平均移動ベクトルを算出し、算出した平均移動ベクトルに基づいて、２フレーム以上の撮像画像間での各追跡領域内に存在するエッジの移動を追跡する。
【選択図】 図１

Description

本発明は、車両に搭載されたカメラによって撮像された画像を処理する物体追跡装置、および方法に関する。

次のような画像追尾装置が特許文献１によって知られている。この画像追尾装置では、撮像した前フレームの画像上に探索領域を設け、探索領域内の画像信号と、現フレームから作成したテンプレートとの相関値を求め、相関値が最大となる位置を前フレーム上に設定した探索領域の現フレームにおける移動先とする。

特開平１０−１２３２２９号公報

しかしながら、従来の装置においては、現フレームから作成したテンプレートと、前フレームの画像上に設定した探索領域内の画像信号との相関演算は、演算量が大きく処理に時間がかかるという問題が生じていた。

本発明は、撮像手段で撮像した自車両前方の撮像画像を複数の物体追跡用の領域（以下、「追跡領域」と呼ぶ）に分割し、分割した各追跡領域内に存在するエッジの移動方向、および移動量を示す移動ベクトルを算出し、各追跡領域内における移動ベクトルの分布に基づいて、移動ベクトルの平均値を各追跡領域内における平均移動ベクトルとして算出し、算出した平均移動ベクトルに基づいて、２フレーム以上の撮像画像間での各追跡領域内に存在するエッジの移動を追跡することを特徴とする。

本発明によれば、撮像画像を複数の追跡領域に分割して、追跡領域ごとに移動物体の追跡を行うようにした。これによって、画面上の移動物体の追跡処理が、高速に、かつ、少ない情報量で行うことができる。

図１は、本実施の形態における物体追跡装置の一実施の形態の構成例を示すブロック図である。物体追跡装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、後述する制御装置１０３と、後述する平均移動ベクトル情報の履歴を保存する履歴メモリ１０４とを備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置される。その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。

制御装置１０３は、図４により後述する移動ベクトル算出部１０３ａを有しており、カメラ１０１によって撮像された撮像画像内に含まれる移動物体を検出し、連続して撮像される各撮像画像間での当該移動物体の動きを追跡するために、以下のように処理を実行する。まず、画像メモリ１０２からカメラ１０１で撮像された撮像画像を読み込み、図３に示すように、撮像画像３ａを複数の画素からなる追跡領域３ｂに分割する。本実施の形態では、追跡領域３ｂは、例えば４画素×４画素の大きさとする。なお、各追跡領域３ｂは、それぞれに付与された領域番号で一意に識別され、撮像画像３ａの左上を原点として水平方向（横方向）をｘ軸、垂直方向（縦方向）をｙ軸としたｘｙ座標系における追跡領域３ｂの中心点の座標値によってその撮像画像上の位置を判定される。

移動ベクトル算出部１０３ａは、公知の手法である光学勾配法を用いて撮像画像における画素単位に存在するエッジの移動方向、および移動量をベクトルで表した移動ベクトルを算出するために、図４に示すようなハードウェアで構成されている。すなわち、移動ベクトル算出部１０３ａを制御する制御部２０１と、撮像画像３ａを読み込んで記憶する画像記憶部２０２と、画像記憶部２０２に記憶された画像をｘ方向（横方向）に微分したｘ方向微分画像と、ｙ方向（縦方向）に微分したｙ方向微分画像とに基づいて、移動ベクトルを算出する移動ベクトル演算部２０３と、上述した追跡領域３ｂを微分画像上に抽出するための追跡領域抽出部２０４と、移動ベクトル演算部２０３で算出した移動ベクトルを一時的に記憶して制御装置１０３へ出力するベクトル記憶部２０５とを有している。

そして、例えば、図３において符号３ｃで示す追跡領域３ｂ内では、図５に示すように、エッジが含まれる画素でその移動方向と移動量をベクトルで表した移動ベクトルを算出する。なお、移動ベクトル算出部１０３ａによる光学勾配法を用いたオプティカルフロー算出処理については、公知の技術のため説明を省略する。

制御装置１０３は、移動ベクトル算出部１０３ａから出力された移動ベクトルに基づいて、追跡領域３ｂ内においてエッジが存在する画素数、すなわち移動ベクトルが算出された画素数を追跡領域３ｂ内の総画素数で割った値を、当該追跡領域３ｂのエッジ量として算出する。そして、算出した追跡領域３ｂにおけるエッジ量が、あらかじめ設定した所定値以上であるか否かを判定する。追跡領域３ｂおけるエッジ量があらかじめ設定した所定値未満であると判定した場合には、当該追跡領域３ｂ内には移動物体から検出されたエッジは存在しないと判断し、この追跡領域３ｂを削除して、後述する追跡処理の対象から除外する。これに対して、追跡領域３ｂにおけるエッジ量が、あらかじめ設定した所定値以上であると判定した場合には、当該追跡領域３ｂ内には移動物体から検出されたエッジが存在するため、後述する追跡処理の対象となると判断し、設定した追跡領域３ｂをそのまま残す。

次に、各追跡領域３ｂ内における各移動ベクトルの分布を算出する。すなわち図６に示すように、各移動ベクトルを縦方向の移動成分（Ｙ成分）、および横方向の移動成分（Ｘ成分）を用いて頻度を求める。そして、その頻度が最も高い点を含む所定の範囲６ａを抽出し、その範囲６ａにおける平均値を各追跡領域３ｂにおける平均移動ベクトルとして算出する。例えば、図７に示すように、符号３ｃで示す追跡領域内では平均移動ベクトル７ａが算出される。上述した処理を撮像画像３ａ内の追跡領域３ｂに対して実行することによって、図８に示すように、撮像画像３ａ内のエッジが存在する画素を含む全ての追跡領域３ｂにおいて平均移動ベクトルが算出される。

このように平均移動ベクトルが算出された全ての追跡領域３ｂを、撮像画像３ａ内に存在する移動物体を追跡するための追跡処理の対象とし、これらの平均移動ベクトルが算出された追跡領域３ｂの領域番号、その撮像画像上における位置を示す座標値、および原画像における追跡領域３ｂ内の特徴量、例えば平均画素値（以下、「原画特徴量」と呼ぶ）の組を平均移動ベクトル情報として履歴メモリ１０４に記憶する。また、上述したように算出した当該追跡領域３ｂのエッジ量を、領域番号に対応付けてメモリ１０４に記憶する。

次に、上述した処理で平均移動ベクトルが算出された追跡領域３ｂを追跡して撮像画像３ａ内に存在する移動物体を追跡するための追跡処理について説明する。まず、履歴メモリ１０４に記憶された前フレームで算出された任意の領域番号の追跡領域３ｂにおける平均移動ベクトル情報を読み込み、前フレームの平均移動ベクトル情報に基づいて、当該追跡領域３ｂの現在のフレームにおける存在位置を算出する。すなわち、前フレームと現フレームとの撮像時間間隔と、前フレームで算出した平均移動ベクトルの移動方向、および移動量とに基づいて、現フレームで同一平均移動ベクトルを含む追跡領域３ｂの存在位置を推定する。例えば、図９（ａ）に示す前フレームにおいて符号Ａに示す任意の追跡領域３ｂが、図９（ｂ）に示す現フレームでは符号Ｂに示す位置に移動していると推定する。

そして、推定した位置に存在する現フレーム上の追跡領域Ｂにおける原画特徴量と前フレームの追跡領域Ａにおける原画特徴量とを比較して、双方の原画特徴量が一致するか否かを判断する。例えば、現フレームにおける原画特徴量と前フレームにおける原画特徴量の差を算出し、算出した原画特徴量の差が所定値未満である場合には、双方の原画特徴量は一致すると判定する。すなわち、現フレームの追跡領域Ｂと前フレームの追跡領域Ａとには同一の移動物体から検出されたエッジが映っていると判断する。そして、現フレームの追跡領域Ｂには引き続き前フレームと同一の領域番号を付与し、このときの平均移動ベクトル情報、およびエッジ量を算出して履歴メモリ１０４に記憶し、追跡領域Ｂ内に含まれる移動物体の追跡を継続する。

一方、現フレームの追跡領域Ｂと前フレームの追跡領域Ａにおける原画特徴量の差が所定値以上である場合には、双方の原画特徴量は一致しないと判定する。すなわち、現フレームの追跡領域Ｂには、前フレームの追跡領域Ａとは異なる移動物体から検出されたエッジが存在すると判断する。そして、現フレームの追跡領域Ｂには、前フレームで付与されていた領域番号とは異なる一意に識別可能な領域番号を付与し、このときの平均移動ベクトル情報、およびエッジ量を算出して履歴メモリ１０４に記憶し、追跡領域Ｂ内で新たに検出された移動物体の追跡を開始する。

上述した処理をカメラ１０１で連続して撮像されるフレームに対して実行することにより、撮像画像内に新たな移動物体が映りこんだ場合には、各追跡領域３ｂによって移動物体の追跡を開始し、移動物体が存在しなくなった場合には追跡を終了することができるため、追跡領域単位に移動物体の追跡を行うことが可能となる。

図１０は、本実施の形態における物体追跡装置１００の処理を示すフローチャートである。図１０に示す処理は物体追跡装置１００を搭載した車両のイグニションスイッチがオンされることによって物体追跡装置１００の電源がオンされると、制御装置１０３によって実行される。

ステップＳ１０において、画像メモリ１０２からの撮像画像の取り込みを開始して、ステップＳ２０へ進む。ステップＳ２０では、撮像画像３ａ内に存在する物体のエッジを抽出してステップＳ３０へ進む。ステップＳ３０では、撮像画像３ａ上にすでに追跡領域３ｂが設定されているか否かを判断する。撮像画像３ａ上に追跡領域３ｂが設定されていないと判断した場合には、ステップＳ４０へ進む。一方、撮像画像３ａ上に追跡領域３ｂがすでに設定されていると判断した場合には、後述するステップＳ５０へ進む。

ステップＳ４０では、撮像画像３ａ上に追跡領域３ｂを設定し、各追跡領域３ｂに一意の領域番号を付与してステップＳ５０へ進む。ステップＳ５０では、設定した任意の追跡領域３ｂにおいて上述した移動ベクトルを算出する。その後ステップＳ６０へ進み、追跡領域３ｂにおけるエッジ量を算出してステップＳ７０へ進む。ステップＳ７０では、算出したエッジ量が所定値以上であるか否かを判断する。エッジ量が所定値未満であると判断した場合には、ステップＳ８０へ進む。

ステップＳ８０では、当該追跡領域３ｂ内には移動物体から検出されたエッジは存在しないと判断してステップＳ９０へ進み、この追跡領域３ｂを削除して後述する追跡処理の対象から除外する。その後、後述するステップＳ１７０へ進む。一方、算出したエッジ量が所定値以上であると判断した場合には、ステップＳ１００へ進む。ステップＳ１００では、追跡領域３ｂ内で算出した移動ベクトルの分布に基づいて平均移動ベクトル７ａを算出して、ステップＳ１１０へ進む。

ステップＳ１１０では、履歴メモリ１０４に前フレームで算出された同一領域番号の平均移動ベクトル情報が保存されているか否かを判断する。履歴メモリ１０４に同一領域番号の履歴が存在しないと判断した場合には、後述するステップＳ１６０へ進む。これに対して、履歴メモリ１０４に同一領域番号の履歴が存在すると判断した場合には、ステップＳ１２０へ進む。ステップＳ１２０では、履歴メモリ１０４から前フレームで算出された同一領域番号の平均移動ベクトル情報を読み込んで、ステップＳ１３０へ進む。ステップＳ１３０では、上述したように現フレームにおける原画特徴量と前フレームにおける原画特徴量の差を算出して、現フレームと前フレームにおける原画特徴量が一致するか否かを判断する。

現フレームと前フレームにおける原画特徴量が一致すると判断した場合には、後述するステップＳ１６０へ進む。一方、現フレームと前フレームにおける原画特徴量が一致しないと判断した場合には、ステップＳ１４０へ進む。ステップＳ１４０では、現フレームにおける当該追跡領域には、前フレームとは異なる移動物体から検出されたエッジが存在していると判断してステップＳ１５０へ進む。ステップＳ１５０では、前フレームで付与されていた領域番号とは異なる一意に識別可能な領域番号を付与する。その後、ステップＳ１６０へ進む。ステップＳ１６０では、上述した処理で算出した平均移動ベクトル情報、およびエッジ量を履歴メモリ１０４に保存して、ステップＳ１７０へ進む。

ステップＳ１７０では、上述した処理を撮像画像３ａ内に設定した全ての追跡領域３ｂに対して実行したか否かを判断し、未実行の追跡領域３ｂが存在すると判断した場合には、ステップＳ５０へ戻って、全ての追跡領域３ｂに対して完了するまで処理を繰り返す。これに対して、全ての追跡領域３ｂに対する処理が完了したと判断した場合には、ステップＳ１８０へ進む。ステップＳ１８０では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１０へ戻ってカメラ１０１で連続して撮像される撮像画像３ａに対して上述した処理を実行する。一方、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）撮像画像を複数の追跡領域に分割して、追跡領域ごとに移動物体の追跡を行うようにした。これによって、追跡処理の単位を小さくして、処理の対象データを小さくすることができるため、高速に追跡処理を行うことができる。
（２）追跡領域３ｂにおける平均移動ベクトルとして算出するに当たっては、各移動ベクトルを縦方向の移動成分（Ｙ成分）、および横方向の移動成分（Ｘ成分）に分割し、Ｘ成分、およびＹ成分の頻度を算出する。そして、その頻度が最も高い点を含む所定の範囲を抽出し、その範囲における平均値を各追跡領域における平均移動ベクトルとして算出するようにした。これによって、各追跡領域における平均移動ベクトルを精度高く算出することができる。

（３）現フレームと前フレームにおける原画特徴量が一致するか否かを判断して、現フレームと前フレームにおける同一領域番号が付与された追跡領域内に存在するエッジが同一の移動物体から検出されたものであるか否かを判断するようにした。これによって、同一領域番号が付与された追跡領域内に存在するエッジの同一性を精度高く判定することができ、同一領域番号が付与された追跡領域内に存在するエッジが異なるものである場合には、今までの追跡を中止し、再度新たな移動物体が存在するものとして新規に追跡を行うことができる。
（４）画素単位での移動ベクトルの算出をハードウェアによって行うようにした。これによって、ソフトウェアによって処理するよりも高速に画素単位での移動ベクトルを算出することができる。

―変形例―
なお、上述した実施の形態における物体追跡装置は、以下のように変形することもできる。
（１）上述した実施の形態では、カメラ１０１は、図２に示すように車両の室内上部前方に設置される例について説明したが、その他の設置方法でもよい。

（２）上述した実施の形態では、追跡領域における平均画素値を原画特徴量として用いる例について説明したが、これに限定されず、例えば追跡領域における分散値など、その他の特徴量を原画特徴量として用いてもよい。

（３）上述した実施の形態では、本発明による物体追跡装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、移動ベクトル算出部１０３ａは移動ベクトル算出手段に相当する。制御装置１０３は平均移動ベクトル算出手段、追跡手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。

物体追跡装置の一実施の形態の構成例を示すブロック図である。 カメラ１０１の車両への設置例を示す図である。 撮像画像３ａを複数の画素からなる追跡領域３ｂに分割した場合の具体例を示す図である。 移動ベクトル算出部１０３ａのハードウェア構成例を示す図である。 各画素で算出される移動ベクトルの具体例を示す図である。 各追跡領域３ｂ内における各移動ベクトルの分布を算出する具体例を示す図である。 追跡領域内での平均移動ベクトル７ａの算出結果を示す図である。 撮像画像３ａ内の各追跡領域３ｂにおける平均移動ベクトルの算出結果を示す図である。 前フレームと現フレームにおける追跡領域の移動状況を示す図である。 本実施の形態における物体追跡装置１００の処理を示すフローチャート図である。

符号の説明

１００ 物体追跡装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０３ａ 移動ベクトル算出部
１０４ 履歴メモリ
２０１ 制御部
２０２ 画像記憶部
２０３ 移動ベクトル演算部
２０４ 追跡領域抽出部
２０５ ベクトル記憶部

Claims (4)

1. 自車両前方の画像を撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像を複数の物体追跡用の領域（以下、「追跡領域」と呼ぶ）に分割する領域分割手段と、
   前記領域分割手段で分割した各追跡領域内に存在するエッジの移動方向、および移動量を示す移動ベクトルを算出する移動ベクトル算出手段と、
   各追跡領域内における前記移動ベクトルの分布に基づいて、前記移動ベクトルの平均値を各追跡領域内における平均移動ベクトルとして算出する平均移動ベクトル算出手段と、
   前記平均移動ベクトル算出手段で算出した前記平均移動ベクトルに基づいて、２フレーム以上の撮像画像間での各追跡領域内に存在するエッジの移動を追跡する追跡手段とを有することを特徴とする物体追跡装置。
2. 請求項１に記載の物体追跡装置において、
   前記追跡手段は、前フレームと現フレームにおける原画像の特徴量を比較して、前フレームと現フレームでの同一追跡領域内に存在するエッジが同一移動物体から検出されたものであるか否かを判定して、当該判定結果に基づいて２フレーム以上の撮像画像間での各追跡領域内に存在するエッジの移動を追跡することを特徴とする物体追跡装置。
3. 請求項１または２に記載の物体追跡装置において、
   前記移動ベクトル算出手段は、ハードウェアによって構成されることを特徴とする物体追跡装置。
4. 撮像手段で撮像した自車両前方の撮像画像を複数の物体追跡用の領域（以下、「追跡領域」と呼ぶ）に分割し、
   分割した各追跡領域内に存在するエッジの移動方向、および移動量を示す移動ベクトルを算出し、
   各追跡領域内における前記移動ベクトルの分布に基づいて、前記移動ベクトルの平均値を各追跡領域内における平均移動ベクトルとして算出し、
   算出した前記平均移動ベクトルに基づいて、２フレーム以上の撮像画像間での各追跡領域内に存在するエッジの移動を追跡することを特徴とする物体追跡方法。

Images