JP2004235711A

JP2004235711A - 対象物追跡システムおよび対象物追跡方法

Info

Publication number: JP2004235711A
Application number: JP2003018712A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-01-28
Filing date: 2003-01-28
Publication date: 2004-08-19

Abstract

【課題】対象物が接近し、対象物の端部が画像の外に出てそれらのエッジが見えなくなっても対象物の追跡を可能とする。
【解決手段】カメラ２からの入力画像から車両を検出する車両発見部４と、車両までの距離または距離変化計測部７と、車両上の所定の長さに相当する画像上の長さを１つの格子点間隔とする仮想ネットを画像上に作成し、ネットの格子点上情報を車両追跡用のネット型基準テンプレートとして定義するネット型基準テンプレート作成部５と、新たに得られた距離またはネット型基準テンプレートに対する距離変化に応じて格子点間隔を実際の車両上の所定の長さになるように調整し、新たなネットの格子点上情報を収集する新規入力画像用ネット定義部８と、ネットの位置をずらしながら得られる格子点上情報とネット型基準テンプレートとの相関を計算し、もっとも相関の高くなる位置から車両の位置を算出する車両追跡処理部９とを有する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両に搭載された前方車両追跡システムおよび前方車両追跡方法等の対象物追跡システムおよび対象物追跡方法に関する。
【０００２】
【従来の技術】
【特許文献】特開平１１−３１７９３９号公報。
【０００３】
従来の車両に搭載されたカメラを用いた走行車両からの自車両周辺対象物検出において、画像上のある点を用いた対象物追跡の発明には、例えば上記特許文献がある。
この発明は、車載カメラで車両の周囲を撮像し、そのカメラで撮像した画像から、各認識対象物の特徴を示す特定点という概念を導入し、車両の走行に基づく特定点の空間的な位置の変化を予測し、この近傍の誤差範囲の内に、後の画面で、同一の特定点が存在するかどうかを判定し、同一の特定点が存在すると判定された場合は、その特定点により認識対象物を追従することで、走行中の自車両周辺の認識対象物を精度よく追跡しようとするものである。
【０００４】
【発明が解決しようとする課題】
しかし、この方法は、追跡対象物を追跡するための情報を、エッジなどの特定点という明確な特徴を持つ部位に限定して定義しているため、例えば、内部にエッジが少ない車両を追跡する場合、ピラーやバンパなどの車両の端に存在する部位のエッジに頼った追跡をせざるを得なくなるが、このような追跡では、車両が接近し、車両端が画像の外に出ると、それらのエッジが見えなくなるため、追跡が不可能になるという問題がある。
【０００５】
本発明の目的は、対象物が接近し、対象物の端部が画像の外に出て、それらのエッジが見えなくなっても追跡が可能な対象物追跡システムおよび対象物追跡方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明は、カメラの入力画像から対象物を検出する手段と、対象物までの距離または相対距離変化を計測する手段と、対象物上の所定の長さに相当する画像上の長さを１つの格子点間隔とする仮想ネットを作成し、ネットの格子点上の情報を基準テンプレートとして定義する手段と、対象物を含む新たな入力画像において、新たに得られた距離または基準テンプレートに対する距離変化に応じて、格子点間隔を所定の長さになるように調整し、新たなネットの格子点上の情報を収集する手段と、画像上における所定の範囲内においてネットの位置をずらしながら得られる格子点上の情報と、基準テンプレートとの相関を計算し、もっとも相関の高くなる位置から新たな対象物の位置を算出する手段とを有する構成になっている。
【０００７】
【発明の効果】
本発明によれば、対象物が接近し、対象物の端部が画像の外に出て、それらのエッジが見えなくなっても追跡が可能な対象物追跡システムおよび対象物追跡方法を提供することができる。
【０００８】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
まず、本発明に係る、ネット型拡大縮小テンプレートマッチング手法による対象物追跡システムを構成するための装置の構成を図１と図２に基づき説明する。
以下の説明は、追跡対象物を自車両前方の車両とした場合を例に取り説明する。ただし、本発明は車両のように追跡対象物の形状が固定である物体であれば種類に関係なく適用可能である。また、存在する位置は、前方でなくともカメラの取り付け位置を後方、側方に変更すれば同じ手法で他の位置に存在する対象物にも適用可能である。
【０００９】
実施の形態１
図１は本発明の実施の形態１のシステム構成図、図２（ａ）、（ｂ）はカメラを搭載した車両の図と、後述する説明に用いる検出対象物標の位置を表すための基準座標系の説明図である。図２（ａ）は横から見た図、（ｂ）は上から見た図である。
【００１０】
図１に示すように、本装置は、自車両１（図２）に搭載された電子式のカメラ２とそのカメラ２から入力される画像を保存する画像メモリ３と、所定の処理に基づいて画像内から追跡対象物となる車両（他車両）を発見する車両発見部４と、追跡対象物である車両を発見した位置に相当する画像上の範囲をネット型基準テンプレート定義範囲とし、その内部に所定の間隔の格子を切り（すなわち、ネットを張り）、格子点が位置する画像上の情報を所定の計算式に基づき定義するネット型基準テンプレート作成部５と、そのネット型基準テンプレートを格納するネット型基準テンプレート格納用メモリ６と、新たな画像入力時において、自車両１から追跡対象である車両までの距離または距離変化を計測する、距離または距離変化計測部７と、追跡対象物の距離変化に応じて、ネットの格子点の間隔をネット型基準テンプレート定義時における実際の車両上における格子点間隔と同じになるように、その時点で入力した画像上に定義する、新規入力画像用ネット定義部８と、予め定義したネット型基準テンプレートと、新たに定義した格子点ごとの情報から求められる情報との相関を求めることで画像上における車両を追跡する車両追跡処理部（車両追跡判定部。ネット型基準テンプレートを利用した相関計算部）９と、車両追跡処理部９における相関の値から追跡結果の信頼性を判定する追跡信頼性判定部１０と、追跡の信頼性が高いときに限り、新たな追跡結果を元に、追跡中の車両の画像上の位置を算出し、必要に応じて、画像上での位置に加えて３次元的な実際の車両位置、距離１２を算出し、それらの車両位置、距離１２の情報を追跡位置結果として算出、出力する処理結果出力部１１から構成されている。
【００１１】
カメラ２は、図２に示すように、自車両１の前部の適宜な場所に取り付けられており、自車両１の前方の様子を撮像する。そして、入力した画像を画像メモリ３に保存する。
図２において、１３はカメラの光軸、１４は基準座標系である。
車両発見部４では、画像メモリ３に保持された画像を元に、画像処理により画像上における前方の車両が存在する位置を発見する。画像処理による車両検出は、例えば、白線の間に挟まれる水平エッジを検出する、白線の間に挟まれるエッジのヒストグラムより上下または左右のペアとなるエッジを検出するなどの従来方法を利用すればよい（図３（ｂ）参照）。図３（ａ）、（ｂ）は、画像から車両を検出する様子を説明する図である。図３（ａ）は入力画像を示し、（ｂ）は車両検出の様子を示す。図３において、１５は前方の車両、１６は道路上に引かれた白線である。図３（ｂ）に示すように、まず、（１）白線１６の間に挟まれる水平エッジＡを画像の下から上に向けて検出する。次に、（２）水平エッジＡより上方にある水平エッジＢを検出する。次に、（３）水平エッジＡとＢに挟まれる領域にある垂直エッジＣ、Ｄを検出する。
【００１２】
また、画像上での位置から車両１５の距離をも算出する場合は、例えば次のような手法を適用すればよい。図４は、平坦な道路走行時における前方の車両１５の車載カメラ２での撮像位置と、カメラ２と追跡車両１５との位置関係を説明する図である。
図４において、１７は道路面、１８は縦方向の画角、１９は撮像面である。
【００１３】
図４からわかるように、画像内における前方車両１５の下端エッジ位置ｙｄが検出できれば、そのときの車間距離ｚは、式１により算出できる。
【００１４】
ｚ＝Ｈ・ｆ／ｙｄ …式１
（Ｈ：カメラの取り付け高さ、ｆ：カメラの焦点距離）
つまり、図３の車両検出で、車両の下端（図３（ｂ）の水平エッジＡ）を検出し、その位置からｙｄを求め、式１に代入することで、距離ｚを求めることができる。
【００１５】
次に、ネット型基準テンプレート作成部５では、車両発見部４により検出された車両１５が撮像されている位置に所定の間隔の格子を定義し、その格子点の情報からなるテンプレートを作成し、そのテンプレートをネット型基準テンプレートとすればよい。図５はその様子を示す例を示し、画像へのネットの定義とネット型基準テンプレートの作成方法を説明する図である。
図５において、右下がりのハッチングを付した部分２０は画素、黒太破線２１は格子（ネット）、格子２１の交差点２２は格子点を示す。図５（ｂ）の入力画像において、２３は車両領域である。
【００１６】
ネット型基準テンプレートは、各格子点２２が情報を持つという考えのテンプレートであり、その情報は画像上において格子点２２が位置する場所の画素２０またはその周囲の画素２０が持つ輝度値やエッジ情報で計算される。図５は格子点２２が位置する画素２０の輝度を格子点２２の情報としてネット型基準テンプレートを定義する場合の例である。ネット型基準テンプレート格納用メモリ６では、ネット型基準テンプレート作成部５で定義されたテンプレート、つまり、図５の方法で作成する場合は、図５の過程で最終的に作成される「格子点情報から作成したネット型基準テンプレート」（図５（ｆ））を格納する。
まず、（ｂ）の入力画像を元に車両領域２３を切り出す（ｃ）。（ｃ）中における格子は画素である。次に、（ｄ）に示すように、格子（ネット）２１を張る。次に、（ｅ）に示すように、格子点２２の情報からなるテンプレートを定義する。（ｆ）が格子点２２の情報から作成したネット型基準テンプレートである。
【００１７】
初回の車両発見時の車両位置は、この画像上でのネット定義位置、つまり、車両発見部４での車両発見位置を画像上での車両発見位置とし、発見時に距離も求めている場合は、その距離と画像上の位置情報から計算される３次元的な位置（距離と横位置）を処理結果出力部１１の最終結果とする。
【００１８】
次に、ネット型基準テンプレート作成後の追跡方法を説明する。前述の処理により車両を発見し、ネット型基準テンプレートを定義した後は、この基準テンプレートを用いての追跡を行う。距離または距離変化計測部７、新規入力画像用ネット定義部８、車両追跡処理部９、追跡信頼性判定部１０による処理は、その追跡時の処理である。
【００１９】
まず、距離または距離変化計測部７では、追跡中の車両の距離またはネット型基準テンプレート定義時からの追跡車両の距離変化を求める。距離の算出は、図４の手法を用いればよい。また、下端エッジが出にくく、図４の手法を用いることが困難な場合は、距離変化を算出すればよい。距離変化は、例えば、次の方法で算出できる。
【００２０】
図６（ａ）は、実際の車両の幅Ｗ、その車両までの距離ｚ、その車両の画像上の幅ｗｃの関係を示す図である。２４はカメラレンズである。図からわかるように、距離ｚと画像上の幅ｗｃは、式２の関係となる。
【００２１】
ｚ＝ｆ・ｗ／ｗｃ …式２
（ｆ：カメラの焦点距離）
つまり、追跡車両上の２本以上の任意線の組み合わせを検出し、その線の間隔の変化から、距離の変化を算出することができる。例えば、図６の場合で、画像上の幅ｗｃが、基準とする画像に対して１／２の幅になった場合は、距離ｚは２倍になったことが算出できる。
【００２２】
次に、新規入力画像用ネット定義部８においては、この距離ｚまたは距離変化を元に、新しい入力画像上におけるネットを定義する。図６（ｂ）は、距離ｚに存在する車両上に設けたある格子点の画像上の格子点間隔ａｃと、その格子点間隔ａｃに相当する実際の車両上における対応位置の間隔Ａ（実際の車両上の格子点の１つの間隔に相当する幅）の関係を示す図である。この関係も、式２同様の考え方から、式３となる。
【００２３】
ｚ＝ｆ・Ａ／ａｃ …式３
つまり、実際の車両上において、ネット型基準テンプレートの１つの格子点間隔がＡの場合、新しい入力画像上では画像上の格子点間隔をそのときのネット型基準テンプレート定義時の距離に対する距離変化に合わせて拡大縮小することで、実際の車両上の間隔を同じ長さであるＡに合わせるような格子間隔ａｃを設ける。この方法で格子点間隔ａｃを調整することで、図７に示すように、ネット型基準テンプレートのある格子点Ａｃ１（図７（ａ））の車両上における対応位置が点Ａ１（図７（ｄ））、その隣の格子点Ａｃ２が指す位置がＡ２、その距離間隔がＡとなるよう格子点を設けた場合、距離変化があり、画像上の車両の大きさが変化した後の新規入力画像（図７（ｃ））上に定義した格子点間隔は、同じ車両上の点であれば、その隣り合う格子点間隔の車両上における長さは同じようにＡとなり、距離変化後の格子点Ａｃ１の位置が車両上のＡ１に対応していれば、その隣のＡｃ２は実際の車両上において同じ距離Ａ分だけ右にずれた位置となることから、Ａ２の位置に対応するようになる。つまり、画像にノイズがない理想状態であれば、車両上に乗る格子点情報だけを見ると、すべての格子点それぞれ車両の同じ部位を指すため、距離変化の前後で同じデータが得られる。すなわち、図７は、各格子点に対応する車両上の位置が、車間距離変化後も同じ位置となることを説明する図である。図７（ａ）はネット型基準テンプレート作成時の入力画像（車間距離：ｚ）を示し、１つの格子点間隔ａｃが車両上の長さａに相当する。（ｂ）は作成されたネット型基準テンプレートを示し、（ｃ）は新規入力画像（距離：ｚ′）を示し、１つの格子点間隔ａｃ′＝ａｃ×ｚ／ｚ′である。（ｄ）は実際の車両を示す。
【００２４】
次に、車両追跡処理部９では、定義したネット型基準テンプレートと、そのときの車間距離変化に対応した格子点間隔のネットを張った画像から得られる格子点情報との相関を算出することで、車両位置を算出する。図８は、その車両追跡（画像上での車両位置検出）の様子を示す図である。
【００２５】
図８（ａ）はネット型基準テンプレート作成時の入力画像（車間距離：ｚ）、（ｂ）は作成されたネット型基準テンプレート、（ｃ）は新規入力画像（距離：ｚ′）、（ｄ）、（ｅ）、（ｆ）は作成したテンプレートを示す。
【００２６】
図８において、ネット型基準テンプレートの作成は、距離ｚのときに作成され（図８（ａ））、新規の入力画像での車間距離はｚ´である（図８（ｃ））。つまり、格子点間隔は、ネット型基準テンプレート作成時のａｃ´（＝ａｃ×ｚ／ｚ´）となる。この間隔の格子点ネットを用意し、画像上においてそのネットを車両が存在する可能性のある範囲で上下左右にずらしながら、格子点に対応する位置の情報からなるテンプレート（図８（ｄ）、（ｅ）、（ｆ））を作成し、そのテンプレートと、（ｂ）のネット型基準テンプレートとの正規化相関を算出することで相関値を算出する。車両の位置は、相関が最大となる位置とすればよい。すなわち、図８（ｃ）に示す距離ｚ′の新規入力画像において、格子点間隔ａｃ′＝ａｃ×ｚ／ｚ′のネットを張り、各格子点毎の情報をネット型基準テンプレート作成時と同様の方法で計算し、格子点間隔ａｃ′＝ａｃ×ｚ／ｚ′のネットで作成した各格子点毎の情報から得た情報（（ｄ）〜（ｆ）のテンプレート）とネット型基準テンプレートとの相関を計算し、相関最大の位置を車両位置とする。つまり相関最大の位置は、図７でも説明したとおり、車両上において定義した各格子点の位置がネット型基準テンプレート作成時と一致する位置となった場合である。これにより画像上における車両位置が検出できる。
【００２７】
車両追跡処理部９による車両位置検出後は、追跡信頼性判定部１０において追跡結果の信頼性を判定する。この追跡信頼性は、相関が最大となったときの正規化相関の値が所定のしきい値以上であることを確認することで行うことができる。相関が高い場合は、正確な位置検出ができている場合が多い。一方、基準となるネットがうまく車両上に定義されていない場合や、画像にノイズが多く、入力画像上において車両が撮像されていない場合などは、図７の理論どおりに同じ車両上の点をうまく捉えることができないために相関値が低くなる。このように相関が低い場合は、追跡に失敗したと判定する。この判定において、連続して失敗する場合は、前者のように基準となるネット型基準テンプレートがうまく車両を捉えていないと判定し、ネット型基準テンプレートを再度作り直す。また、過去は連続的に安定して追跡ができていたが、新しい入力画像に限り相関が低くなった場合は、逆光などのノイズによる影響と判定し、その新規入力画像に限り追跡ができなかったなど、過去の情報とも統合して判定し、次の処理に備える。
【００２８】
最後に、追跡信頼性判定部１０において、追跡信頼性が高いと判定された場合は、処理結果出力部１１において結果を出力する。出力する結果は、そのときの画像上における車両追跡位置および距離がわかっている場合は、３次元的な距離および自車両に搭載したカメラに対する横位置の算出結果などとすればよい。画像上における位置から３次元的な実際の車両の横位置の算出は、図９に示す位置関係であることから、式４により計算できる。図９は、カメラに対する車両の３次元的位置と画像上における撮像位置との関係を説明する図である。ただし、図において、車両までの距離をｚＬ、横位置（光軸１３からの距離）をｘＬとする。また、ｆは焦点距離、２５は実際の車両の中心（ｘＬ，ｚＬ）である。
である）。
【００２９】
ｘＬ＝ｚＬ×ｘｃ／ｆ …式４
このような処理により、追跡車両を、その車両の形状、特にエッジの有無や強度に左右されず、ロバストに追跡する。さらに、図１０に本実施の形態１の効果の一例を示す。図１０は本実施の形態１において、大型バス追跡時における効果を説明する図である。図１０（ａ）は大型バスが先行車である場合のネット型基準テンプレートの作成（車間距離：ｚ）、（ｂ）は作成されたネット型基準テンプレート、（ｃ）はバスが至近距離に近づいたときの新規入力画像（車間距離：ｚ′）、（ｄ）は画像全体がバスのボディとなったテンプレートを示す。（ｄ）においては、画像内に残る内部の格子点情報だけを使った相関計算により、ネット型基準テンプレートと同じバスを追跡中であることが判定可能である。
【００３０】
従来例における車両追跡の多くは、エッジを追跡することで行われることが多い。しかし、図１０のような、背面にエッジを持たない大型バスなどが先行車である場合、この追跡車両が接近すると、エッジを持つ部位が画角の外に出てしまうという現象が起きる。しかし、本実施の形態１では、各格子点が持つ情報、例えば色やエッジがない領域が連続する、という情報を用いての追跡も可能である。例えば、バスがシルバー色であればシルバー色の領域が距離に応じて大きくなるという情報からも追跡可能である。つまり、画像内に残る内部の格子点情報だけを使った相関計算により、ネット型基準テンプレートと同じバスに追跡中であることを判定可能となる。
【００３１】
以上説明したように、本実施の形態１の対象物追跡システムは、自車両１に搭載されたカメラ２からの入力画像から画像処理により車両を検出し、車両が存在する画像上の領域を確定する車両発見部４と、車両までの距離または相対距離変化を計測する距離または距離変化計測部７と、領域内に存在する車両上の所定の長さに相当する画像上の長さを、１つの格子点間隔とする仮想ネットを画像上に作成し、ネットの格子点上の情報を車両追跡用のネット型基準テンプレートとして定義するネット型基準テンプレート作成部５と、車両を含む新たな入力画像において、新たに得られた車両までの距離またはネット型基準テンプレートに対する距離変化に応じて、ネットの格子点間隔を実際の車両上の所定の長さになるように調整し、新たなネットの格子点上の情報を収集する新規入力画像用ネット定義部８と、画像上における左右上下の所定の範囲内においてネットの位置をずらしながら得られる格子点上の情報と、あらかじめ定義したネット型基準テンプレートとの相関を計算し、もっとも相関の高くなる位置から新たな車両の撮像位置を算出する車両追跡処理部９とを有する構成になっている。
なお、図１の車両発見部４が特許請求の範囲の対象物発見手段に、距離または距離変化計測部７が計測手段に、ネット型基準テンプレート作成部５が基準テンプレート作成手段に、新規入力画像用ネット定義部８が新規入力画像用ネット定義手段に、車両追跡処理部９が追跡処理手段、対象物が車両に相当する。
【００３２】
また、本実施の形態１の対象物追跡方法は、カメラ２からの入力画像から車両を検出する手順と、車両までの距離または相対距離変化を計測する手順と、車両上の所定の長さに相当する画像上の長さを、１つの格子点間隔とする仮想のネットを画像上に作成し、ネットの格子点上の情報を車両追跡用のネット型基準テンプレートとして定義する手順と、定義した後は、毎回入力される車両を含む新たな入力画像において、新たに得られた車両までの距離または基準テンプレートに対する距離変化に応じて、ネットの格子点間隔を可変として実際の車両上の所定の長さになるように調整し、新たなネットの格子点上の情報を収集する手順と、画像上における所定の範囲内においてネットの位置をずらしながら得られる格子点上の情報と、あらかじめ定義した基準テンプレートとの相関を計算し、もっとも相関の高くなる位置から新たな車両の位置を算出する手順とを有するという構成になっている。
【００３３】
本実施の形態１では、このような構成になっているので、前述のように、エッジ検出に頼らない手法で車両の特徴を定義することが可能となるため、エッジが不鮮明な対象物、また、対象物との距離が至近距離となり、対象物端が画角外になるなど、特徴的なエッジが画像に撮像されない場合でも精度よく追跡を行うことができる。例えば、図１０を用いて説明したように、ボディ面が広い大型バスなどエッジの少ない物体を対象物とした場合、距離が至近距離となると、画像の大部分がボディ面となり、特徴的なエッジがなくなるような場面も存在する。しかし、この手法では、各格子点が情報を持ち、その格子点はエッジがないという情報も１つの情報として捉えるため、例えばこのように、大型バスのボディ面が画像の大部分となるような場面であっても、同じ輝度を持ちエッジがない格子点が数個連続する、という情報を持つことで車両の特徴を捉えることも可能となり、種類に寄らない追跡が可能となる。また、エッジに頼らない手法であるため、車両が逆光や影を含む場合など、追跡対象物のエッジが不鮮明になったり、追跡対象物以外にエッジ強度の方が強くなる場合に、誤追跡が起きやすいという問題も解消できる。また、通常、車載カメラで周囲を撮像する場合、物体より、路面上の白線や停止線など路面に人為的に描かれた線の方がエッジ強度が強くなるため、そのような、物体ではない路面の線を特定点と誤判定する問題が起きやすいが、本手法ではこのような問題も解消できる。
【００３４】
実施の形態２
次に、本発明の実施の形態２について説明する。
本実施の形態２では、ネット型基準テンプレートの作成を、各格子点の輝度平均と水平、垂直エッジ成分からなる値として作成し、車両追跡の相関において、同じ計算方法で計算したテンプレートとの相関を計算することで画像上の車両位置を求める。
【００３５】
図１１（ａ）は領域内の画像（升目は画素）、（ｂ）は実際の車両上にネットを張る様子を示す。（ｃ）、（ｄ）、（ｅ）は、実際の車両上に張られたネット上において、格子点毎のそれぞれ輝度平均と水平、垂直エッジ成分から作成したネット型基準テンプレートを示す図である。（ｃ）は格子点毎の輝度平均画像、（ｄ）は格子点毎の垂直エッジ成分、（ｅ）は格子点毎の水平エッジ成分で作成したネット型基準テンプレートである。
これらの図からわかるように、輝度の平均は、明るさ情報、水平、垂直エッジは、車両の持つ特徴であるエッジの位置情報を持つ。図１１（ｆ）は１つの格子点データの計算方法を示す。ある格子点付近の画素２０の値と、そこから得られる輝度平均と、水平、垂直エッジ成分の算出結果の例である。輝度の平均は格子点２２を含む画素２０の周囲（図では３×３画素）の平均として求めることができる。また、水平、垂直エッジ成分は、水平、垂直微分画像、つまり、図１１（ｂ）に示すように、エッジ算出用フィルタとのコンボリューションを取ることでエッジ成分を算出することができる。図１１（ｃ）〜（ｅ）のネット型基準テンプレートは、各格子点において、同じ計算を行うことで算出できる。また、相関計算も、ネットを入力画像上で操作し、格子点２２にあたる位置において同じ計算を施して得られたテンプレートを作成することで計算できる。位置検出における一致度は、それぞれで求めた輝度、水平、垂直エッジ成分からなるテンプレートの相関を計算すればよい。相関の計算は、例えば、図１１の３つのテンプレートを連結させたもののテンプレートの相関、もしくは、３つそれぞれの相関の合計として計算とすればよい。これにより、輝度情報とエッジ成分情報の両方の一致度を確認した位置検出が可能となる。
【００３６】
このように、本実施の形態２では、ネットの格子点上の情報として、格子点付近の画素の輝度平均、垂直エッジ、水平エッジの少なくとも１つを用いることにより、一般的に特徴となるエッジのある物体はエッジを捉え、エッジのない物体を追跡対象とする場合では、エッジ以外の特徴、例えば、その物体上の格子点の位置が持つ明るさや色などの特徴を利用した追跡が可能となり、様々な種類に順応した追跡が可能となる。
【００３７】
実施の形態３
次に、本発明の実施の形態３について説明する。
図１２は、本実施の形態３（および実施の形態４）を説明する図で、格子点毎の信頼性判断、およびテンプレートからの背景除去を説明する図である。
【００３８】
この図において、（ａ）はネット型基準テンプレート作成時の入力画像（車間距離：ｚ）、（ｂ）は車両発見時に作成したネット型基準テンプレート、（ｃ）はその後の新規入力画像（車間距離：ｚ′）、（ｄ）はその新規入力画像上で相関が高いと判定された位置の画像（ネット格子点の情報）、（ｅ）は（ｄ）の画像のネット型テンプレート、（ｆ）は信頼性が高いと判定された格子点位置だけの情報を残したネット型基準テンプレートである。背景は変化するため、車両に乗る位置の格子点情報だけが残る。
【００３９】
ここでの信頼性は、格子点の情報が車両上の情報となっていること、その情報が安定して得られること、追跡中の車両の特徴が明確な場合は、その特徴と捉えている部位の信頼度を高くするなどを基準として判定すればよい。例えば、背景と車両との分離では、図３の車両検出で検出した車両の上下エッジの外側を背景とみなし、外側に属する格子点を信頼性が低い点とみなすことなどで行うことができる。車両の特徴的な部位を、信頼性の高い部分とする場合は、例えば、検出対象車が、エッジの形、強度、本数などが捉えやすい車両と判定された場合は、図１１に示した輝度平均、水平、垂直エッジなどを計算した後、エッジ度の高い格子点を信頼性の高い格子点とみなす。逆の場合、例えば、ボディ面が広く、エッジは少ないが、ボディ色を捉えやすいなどの特徴がある場合は、輝度や色の情報を持つ格子点を信頼性の高い格子点として残す、などで行うことができる。
【００４０】
上記のように、本実施の形態３では、格子点毎に信頼性を示す値を持たせ、車両の特徴を捉えている点だけを用いた相関計算、または信頼性に応じた重みを持つ相関の計算を行う。このように、定義した格子点において、格子点毎の信頼性を示す値を持たせ、車両の特徴を捉えている点だけを用いた相関計算、または、その信頼性に応じた重みを持つ相関の計算を行う構成とした。本発明では対象物発見時に定義するネット型基準テンプレートを対象物の存在するある所定の範囲内に格子点を設けることで定義する。対象物の形状や高さは様々であるため、物体の存在する所定の範囲内であるにもかかわらず、その物体上以外、例えば背景に相当する位置に格子点が定義される場合もある。そこで、相関による追跡をより確実に行うために、初期テンプレートの定義時もしくは追跡開始後に対象物の形状や背景分離判定などを元に格子点の中で物体を確実に捉えている点を抽出、もしくは物体上に乗る確率を示す信頼度を計算し、物体上の点もしくは物体上である確率の高い点だけを用いて相関の計算を行うようにする。これにより、背景に影響されにくい追跡を行うことができる。
【００４１】
実施の形態４
次に、本発明の実施の形態４について説明する。
本実施の形態４は、前に述べたの信頼性の算出方法に関する。前述したように、車両追跡中における格子点は、車両上に存在し、車両の特徴として捉えた部位の信頼性を高くするものである。なお、図８で説明したように、画像上における各格子点の間隔は、実際の車両上において同じ長さに相当するように長さを調整するため、同じ車両を正しく追跡している場合、車両上を捉えているある格子点は車両の同じ部位を常に追跡している。そのため、その輝度、水平、垂直微分値は、同じになるはずである（図８、図１２参照）。一方、その格子点の間隔は、車間距離に応じて調整され、かつ、車両以外の背景部分は時間的に変化するため、車両以外の部分の格子点は、時系列的にその値を見ると変化する。このことは、図１２（ａ）〜（ｅ）の車両上における格子点と背景上に存在する格子点位置の輝度やエッジの比較からもわかる。このことから、相関が高い、つまり、車両を追跡していると判定された場合における各格子点の情報（そのときの相関計算に利用していた輝度、水平、垂直微分値などの情報）を時系列的に保存し、その値が変化する、つまり、保存された各格子点の分散が大きい位置は、信頼性の低い点であると判定できる。
【００４２】
上記のように、本実施の形態４では、信頼性を示す値は、相関が所定の値以上である車両の複数回の追跡結果において、同じ位置に相当する格子点が持つ情報の分散が所定の値より小さい格子点とする。対象物が正しく追跡できている場合、各格子点は、同じ対象物の同じ位置に定義されるよう計算されているため、画像が理想状態であれば同じ格子点は同じ輝度、水平垂直エッジ値を持つ。このことから、相関が高く追跡できている場合は、時系列的に追跡中の各格子点は、異なる時間で得られた画像でも同じ輝度、水平垂直エッジ値である可能性が高い。逆に、背景など、物体以外の部分は、同じ位置であることが保証されていないため、輝度やエッジ度が毎回ことなる。すなわち、相関が高く追跡できているときにおける各格子点の情報が安定している点は追跡対象物上の点である可能性が高いという判断、つまり、時系列的な点の輝度やエッジ強度などの分散を判断基準として、各格子点の信頼度を判定することで実施の形態３の効果をより一層高めることができる。
【００４３】
実施の形態５
次に、本発明の実施の形態５について説明する。
本発明の実施の形態５におけるセンサ構成は、実施の形態１の単眼カメラ２に、レーダなどの距離計測装置を加えた構成とする。ここでは、レーダとして、車両の車間距離と方位の計測が可能なスキャニングレーザレーダ２６を設けた場合を例にとって説明する。
図１３は本実施の形態５のセンサ構成を示し、実施の形態１の図２と同様の図である。図１４は本実施の形態５のシステム構成を示し、実施の形態１の図１と同様の図である。
図１３において、２７はスキャニングレーザレーダのスキャニング面（中心軸）である。
図１４において、カメラ２、画像メモリ３、車両発見部４、ネット型基準テンプレート作成部５、ネット型基準テンプレート格納用メモリ６、新規入力画像用ネット定義部８、車両追跡処理部９、追跡信頼性判定部１０、処理結果出力部１１は、実施の形態１と同様である。
ここでは、実施の形態１と異なるレーダによる車間距離・方位計測部２８の説明と、レーダによる車間距離・方位計測部２８の結果を利用する、車両発見部４、新規入力画像用ネット定義部８における結果の利用方法について説明する。
【００４４】
レーダによる車間距離・方位計測部２８では、図１３の自車両１に設置されたスキャニングレーザレーダ２６からの情報により、前方に存在する車両等の対象物の距離と方位を計測する。車両の車間距離、方位計測は、特願平２００２−２０５５７号公報などに記載された従来手法を用いればよい。
【００４５】
次に、この結果の利用方法、つまり、車両発見部４、新規入力画像用ネット定義部８における結果の利用方法について説明する。
本実施の形態５では、車両発見部４における画像内の車両の撮像領域をレーダによる車間距離・方位計測部２８で検出した位置、距離を元に計算する。
スキャニングレーザレーダ２６で計測した対象物までの位置とカメラ２からの距離は、図１３から求められる互いの設置位置の関係から補正できる。ここで、スキャニングレーザレーダ２６からの計測結果より、カメラ２に対する前方車両の中心までの３次点的な位置は（ｘＬ、ｚＬ）であると仮定する。距離、位置が求められた場合、その位置（ｘＬ、ｚＬ）に相当する画像上の位置（ｘｃ、ｙｃ）は、図９や式１、式４で説明した原理により比例計算で計算できる。画像上の車両の中心位置（ｘｃ、ｙｃ）を求めることができれば、車両の領域は通常の車両の幅、高さを考慮することで、その領域は決められる。例えば、車両の高さがＨ、幅がＷの場合、そのときの距離とそれらの値を利用することで、式２の原理により画像上の領域の枠の幅ｗｃ、高さｈｃを求めることができる（図１５参照）。
図１５は、３次元上の位置から車両の存在する画像上の範囲を求める方法を説明する図である。
【００４６】
また、新規入力画像用ネット定義部８では、新規画像が入力されるときの車間距離または車間距離の変化率から新規ネットを定義している。ここでは、スキャニングレーザレーダ２６により車両までの距離ｚＬが常に計測されているので、ネットの格子間間隔はその距離を利用すればよい。また、相関計算の際のスキャン領域は、前回の車両検出結果の位置または、スキャニングレーザレーダ２６で計測した車両位置のどちらかを基準としてその周囲を探索すればよい。
【００４７】
上記のように、本実施の形態５では、対象物までの距離または距離と方位を計測する計測器であるスキャニングレーザレーダ２６を有し、前記計測手段（ここではレーダによる車間距離・方位計測部）の計測をスキャニングレーザレーダ２６からの計測結果を用い、初回のネット型基準テンプレートの作成時においてネットの位置を定義する。これにより、ネットの格子点間隔の調整を実際の距離計測結果を元に行えるようになるため、より正確に行うことができる。さらに、方位をも計測可能な装置を用いることで、エッジが不鮮明で、画像処理での初期の物体検出・発見が困難な物体の追跡にも本発明を適用可能となり、実施の形態１〜４に示した手法をより一層確実なものとすることができる。
【００４８】
実施の形態６
最後に、本発明の実施の形態６を説明する。
【００４９】
実施の形態１〜実施の形態５では、格子点の間隔だけを距離の変化に合わせて調整していた。しかし、車両を検出対象とする場合、追跡対象車両の実際の形状変化はないものの、右左折や勾配のある道路では、その前方車両のカメラに対する姿勢が変化することがある。
【００５０】
図１６は、追跡対象車両の右折時における車両端の撮像位置の算出方法を説明する図である。（ａ）は前方車両と自車両が同じ向きを向いている場合、（ｂ）は前方車両が自車両に対してθ度右に向いている場合を示す。
以下、図１６を用いて、前方車両の右左折時などで、前方車両が左右に回転したときにおける車両とカメラ２との位置関係およびそのときに撮像される画像上での撮像位置の関係を説明する。ここで、計算の説明上、レンズ２４の中心を原点、撮像面に平行で路面に水平な軸をＸｃ、光軸と同一な軸をＺｃとする基準座標系を設ける。この説明では、３次元的な位置はこの座標系からの位置とする。図１６（ａ）は、車両中心が（ｘＣ１、ｚ）に、その車両の右端が（ｘＲ１、ｚ）、左端が（ｘＬ１、ｚ）に位置する場面であり、（ｂ）は（ａ）に対して、車両中心の位置が同じで、向きだけがθ度傾いている場面である。また、説明をわかりやすくするため、ｘＣ１は光軸上とする。
【００５１】
図からわかるように、図１６（ａ）における（ｘＣ１、ｚ）、（ｘＲ１、ｚ）、（ｘＬ１、ｚ）が撮像される、画像上におけるｘ座標上の位置ｘｃｌ１、ｘｃ１、ｘｃｒ１は、図９や式１、式４で説明してきたとおり、３次元上の位置と焦点距離ｆにより計算できる。例えば、画像上における車両右端の撮像位置ｘｃｒ１は、ｘｃｒ１＝ｆ・ｘＲ１／ｚで計算できる。一方、図１６（ｂ）の場合、車が回転しているため、車両中心の位置の画像上への撮像位置ｘｃ１は、図１６（ａ）に対して不変であるが、左右端の位置は、その３次元上の位置が変化しているため、画像上への撮像位置も変化する。例えば図１６（ｂ）のように、θ度回転している場合、左右端の位置、距離はそれぞれ、（ｘＬ１・ｃｏｓθ，ｚ＋ｘＬ１・ｓｉｎθ），（ｘＲ１・ｃｏｓθ，ｚ−ｘＲ１・ｓｉｎθ）となる。つまり、撮像位置は、これらの座標を用いて計算されるため、例えば、回転後の右端の画像上の位置ｘｃｒ２は、式５で計算される。
【００５２】
Ｘｃｒ２＝ｆ・ｘＲ１・ｃｏｓθ／（ｚ−ｘＲ１・ｓｉｎθ） …式５
また、同様に勾配のある道路などでは、上下方向の回転がかかるため、同様の考え方で画像上のｙ座標を計算できる。
【００５３】
このようなことから、交差点や勾配のある道路などにおいて、追跡車両の角度が変化する場合は、各格子点の位置を図１６の原理より、回転がかかることを考慮した位置として計算すればよい。図１６では、説明をわかりやすくするために、車両の左右端が撮像されるべき位置を例にとったが、車両が回転した場合の格子点の画像上における対応位置は、前述同様、次の考え方で計算できる。
【００５４】
各格子点間隔の実際の車両における長さは、前に説明したとおり、距離と画像上の格子の間隔より計算済みである。回転を考慮する際の、光軸からの距離ｘＲ１に相当する値は、格子点の間隔から計算できる。例えばある格子点が光軸上（画像上での中心）に位置し、格子点間隔の車両上に相当する距離が式３と同様に、ａである場合、その隣の格子点位置に相当する画像上の位置ａｃは、ａｃ＝ｆ・ａ・ｃｏｓθ／（ｚ−ａ・ｓｉｎθ）で計算できる。
【００５５】
このような計算により、図７で説明したように、画像が理想状態であれば、各格子点は常に車両の同じ部位を指すという変換が、車両が回転を含む運動をした場面にも成り立つようになる。つまり、距離変化だけでなく、右左折や勾配のある場面にも、実施の形態１〜５と同様の効果が維持され、よりロバストな追跡が可能となる。
【００５６】
上記のように、本実施の形態６では、毎回新たに入力される画像上において、自車両に搭載されたカメラに対する検出対象物の距離だけでなく、左右上下の回転の姿勢変化も考慮して格子点の位置を計算し、相関計算を行うことにより、例えば、追跡対象物が前方の車両である場合の前方車両の右左折時や勾配のある道路などで前方車両の左右や上下方向回転が加わり見え方が変化する場面でも確実な追跡可能となる。
【００５７】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１のシステム構成図である。
【図２】本発明の実施の形態１のカメラの車両への搭載位置と座標系設定の説明図である。
【図３】本発明の実施の形態１の画像から車両を検出する様子の説明図である。
【図４】本発明の実施の形態１の画像の検出位置から車間距離を計測する方法の説明図である。
【図５】本発明の実施の形態１の画像へのネットの定義とネット型基準テンプレートの作成方法の説明図である。
【図６】本発明の実施の形態１の画像上の車幅と実際の車幅、および１つの格子点に対応する車両上における長さとの間隔との関係の説明図である。
【図７】本発明の実施の形態１の各格子点に対応する車両上の位置が車間距離変化後も同じ位置となることの説明図である。
【図８】本発明の実施の形態１のネット型基準テンプレート利用による画像上における車両位置検出の説明図である。
【図９】本発明の実施の形態１のカメラに対する車両の３次元的位置と、画像上における撮像位置の関係の説明図である。
【図１０】本発明の実施の形態１の大型バス追跡時における効果の説明図である。
【図１１】本発明の実施の形態２の格子点情報を輝度平均、水平・垂直微分としたときの画像の様子である。
【図１２】本発明の実施の形態３、４の格子点毎の信頼性判断およびテンプレートからの背景除去の説明図である。
【図１３】本発明の実施の形態５のカメラとスキャニングレーザレーダの車両への搭載位置と座標系設定の説明図である。
【図１４】本発明の実施の形態６のシステム構成図である。
【図１５】本発明の実施の形態６の３次元上の位置から車両の存在する画像上の範囲を求める方法の説明図である。
【図１６】本発明の実施の形態６の追跡対象車両右折時における車両端の撮像位置の算出方法の説明図である。
【符号の説明】
…自車両、２…カメラ、３…画像メモリ、４…車両発見部、５…ネット型基準テンプレート作成部、６…ネット型基準テンプレート格納用メモリ、７…距離または距離変化計測部、８…新規入力画像用ネット定義部、９…車両追跡処理部、１０…追跡信頼性判定部、１１…処理結果出力部、１２…車両位置、距離、１３…カメラの光軸、１４…基準座標系、１５…車両、１６…白線、１７…道路面、１８…縦方向の画角、１９…撮像面、２０…画素、２１…格子（ネット）、２２…格子点、２３…車両領域、２４…カメラレンズ、２５…実際の車両の中心、２６…スキャニングレーザレーダ、２７…スキャニング面、２８…レーダによる車間距離・方位計測部。

Claims

カメラからの入力画像から対象物を検出する対象物発見手段と、
前記対象物までの距離または相対距離変化を計測する計測手段と、
前記対象物上の所定の長さに相当する画像上の長さを、１つの格子点間隔とする仮想のネットを画像上に作成し、前記ネットの格子点上の情報を前記対象物追跡用のネット型基準テンプレートとして定義する基準テンプレート作成手段と、
前記対象物を含む新たな入力画像において、新たに得られた前記対象物までの距離または前記基準テンプレートに対する距離変化に応じて、前記ネットの格子点間隔を実際の前記対象物上の所定の長さになるように調整し、新たな前記ネットの格子点上の情報を収集する新規入力画像用ネット定義手段と、
画像上における所定の範囲内において前記ネットの位置をずらしながら得られる前記格子点上の情報と、あらかじめ定義した前記基準テンプレートとの相関を計算し、もっとも相関の高くなる位置から新たな前記対象物の位置を算出する追跡処理手段と
を有することを特徴とする対象物追跡システム。
前記情報が、前記格子点付近の画素の輝度平均、垂直エッジ、水平エッジの少なくとも１つであることを特徴とする請求項１記載の対象物追跡システム。
前記格子点毎に信頼性を示す値を持たせ、前記対象物の特徴を捉えている点だけを用いた相関計算、または前記信頼性に応じた重みを持つ相関の計算を行うことを特徴とする請求項１記載の対象物追跡システム。
前記信頼性を示す値は、相関が所定の値以上である前記対象物の複数回の追跡結果において、同じ位置に相当する格子点が持つ情報の分散が所定の値より小さい格子点とすることを特徴とする請求項３記載の対象物追跡システム。
前記対象物までの距離または距離と方位を計測する計測器を有し、前記計測手段の計測を前記計測器からの計測結果を用い、初回の前記基準テンプレートの作成時において前記ネットの位置を定義することを特徴とする請求項１記載の対象物追跡システム。
毎回新たに入力される画像上において、左右上下の回転の姿勢変化も考慮して前記格子点の位置を計算し、前記相関計算を行うことを特徴とする請求項１記載の対象物追跡システム。
カメラからの入力画像から対象物を検出する手順と、
前記対象物までの距離または相対距離変化を計測する手順と、
前記対象物上の所定の長さに相当する画像上の長さを、１つの格子点間隔とする仮想のネットを画像上に作成し、前記ネットの格子点上の情報を前記対象物追跡用のネット型基準テンプレートとして定義する手順と、
前記対象物を含む新たな入力画像において、新たに得られた前記対象物までの距離または前記基準テンプレートに対する距離変化に応じて、前記ネットの格子点間隔を実際の前記対象物上の所定の長さになるように調整し、新たな前記ネットの格子点上の情報を収集する手順と、
画像上における所定の範囲内において前記ネットの位置をずらしながら得られる前記格子点上の情報と、あらかじめ定義した前記基準テンプレートとの相関を計算し、もっとも相関の高くなる位置から新たな前記対象物の位置を算出する手順と
を有することを特徴とする対象物追跡方法。