JP2004260527A - 対象物検知装置及び方法 - Google Patents

Abstract

【課題】簡単な構成で、対象物に対する検知精度と識別精度の両方を確保できる対象物検知装置及び方法を提供する。
【解決手段】赤外線カメラ１１により得られた赤外画像情報は、熱源検知装置１３に伝達される。一方、可視カメラ１２により得られた可視画像情報は、車種判別装置１４に伝達される。さらに、熱源検知装置１３からは、前記赤外画像情報に基づくホットポイント領域情報が、車種判別装置１４に伝達される。このような構成により、対象物検知が行われる。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、車両等の対象物をカメラを用いて画像処理により検知，追尾する、対象物検知装置及び方法に関するものである。
【０００２】
【従来の技術】
従来より、車両等の対象物を、カメラを用いて画像処理により検知，追尾することが行われている。この場合、赤外線カメラ（赤外の波長領域の光を検出するカメラ）で熱源（ホットポイント）を捉えるといった手法がよく使われている。このような手法によれば、熱源としてはフロント等のエンジン部分を計測することができ、また車両全体を捉える必要はないので、比較的容易に車両等を検出することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように赤外線カメラにより対象物を検知する場合、実際には車両以外で熱を発しているものや、熱を反射しているもの等を、車両として誤検知することがある。また、熱源を捉えるだけであるので、形状としての特徴が得られないため、車種の識別はできない。具体的には、普通車，トラック，バス等のように、一般車両か特殊車両かについても見分けるのが難しい。
【０００４】
一方、赤外線カメラではなく、可視カメラのみを用いて、形状識別により対象物を検知しようとすると、周囲の外乱成分、具体的には樹木や地面等のうち、見掛け上の形状パターンが車両と似通っているものを、車両として誤検知してしまうことがある。
【０００５】
本発明は、このような問題点に鑑み、簡単な構成で、対象物に対する検知精度と識別精度の両方を確保できる対象物検知装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、赤外線カメラと可視カメラとで同時に対象物を撮影し、その対象物を検知する対象物検知装置であって、前記赤外線カメラにて熱源を抽出し、その熱源を対象物の候補として、その近傍にて前記可視カメラ上の領域で識別処理を行い、その領域に前記対象物があるか否かを判定することを特徴とする。
【０００７】
また、前記可視カメラによる前記対象物の輪郭と、前記赤外線カメラによる前記熱源との相対位置関係により、前記対象物の種類を判別することを特徴とする。或いは、前記可視カメラによる前記対象物の輪郭と、前記赤外線カメラによる前記熱源との相対的な大きさ比により、前記対象物の種類を判別することを特徴とする。
【０００８】
また、前記相対位置関係に関して、複数の所定の条件下でデータを集めて統計分析し、マハラノビス距離を用いて前記対象物の種類を判別することを特徴とする。或いは、前記相対的な大きさ比に関して、複数の所定の条件下でデータを集めて統計分析し、マハラノビス距離を用いて前記対象物の種類を判別することを特徴とする。
【０００９】
また、赤外線カメラと可視カメラとで同時に対象物を撮影し、その対象物を検知する対象物検知方法であって、前記赤外線カメラにて熱源を抽出し、その熱源を対象物の候補として、その近傍にて前記可視カメラ上の領域で識別処理を行い、その領域に前記対象物があるか否かを判定する方法を行う。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。本発明では、赤外線カメラと可視カメラとで同時に対象物を撮影し、精度良く対象物を検知，識別する構成としている。即ち、赤外線カメラ画像と可視カメラ画像とを併用して、検知精度と識別精度の両方を確保できる対象物検知装置及び方法を提供する。
【００１１】
具体的には、赤外線カメラにて熱源（ホットポイント）を抽出し、それを車両候補とした上で、その近傍にて可視カメラ上の領域で車両識別処理を行い、その領域に車両があるか否かを判定する。その上で、車両の形状パターンや、大きさ、車両領域と熱源との相対的な関係の情報を用いて、詳細な車種を判定する。
【００１２】
図１は、本発明において対象物検知に用いる画像の具体例を模式的に示す図である。同図において、まず、赤外線カメラにより得られた画像Ｐ中に、赤外線カメラで見つけられた熱源（ホットポイント）が映し出される。同図ではこれを熱源Ｉ_１，Ｉ_２，Ｉ_３として斜線で示している。そして、これらをそれぞれターゲット（目標）である車両の候補における熱源とする。なお、本例では車両の候補の数を３台としているが、このような数値に限定されるものではない。このことは、以下においても同様である。
【００１３】
次に、可視カメラにより得られた、画像Ｐと全く同じ視野の画像において、上記各熱源近傍にそれぞれ領域Ｖ_１，Ｖ_２，Ｖ_３を設定し、それぞれ車両の候補における領域とする。そして、各車両の候補の領域で、実際にパターンマッチング等の手法を使って識別処理をすることにより、例えばそれぞれ車両１が普通車，車両２がトラック，車両３がバスというように判別し、目標とする車両を最終的に割り出す。この場合、各車種の各方向から見た形状の情報を予め登録しておき、これらと比較して各領域内の形状がそれぞれどれに一番近いかを割り出す。
【００１４】
図２は、本発明の対象物検知装置の概略構成を示すブロック図である。同図において、赤外線カメラ１１により得られた赤外画像情報は、熱源検知装置１３に伝達される。一方、可視カメラ１２により得られた可視画像情報は、車種判別装置１４に伝達される。さらに、熱源検知装置１３からは、前記赤外画像情報に基づくホットポイント領域情報が、車種判別装置１４に伝達される。このような構成により、上述したような手順で対象物（本例では車両）検知が行われる。なお、熱源検知装置１３及び車種判別装置１４は、通常、コンピュータに実装されたソフトウェアＳとして用いられる。
【００１５】
図３は、赤外線カメラで熱源検知を行うときの、概略フローチャートである。同図において、まず、ステップ＃１０で赤外線カメラにより得られた赤外画像情報を読み込む。次にステップ＃２０で、読み込んだ画像情報を閾値処理で２値化する。この場合、閾値は検知したい熱源の温度に応じて設定する。つまり、どれぐらいの温度なら画像上でどれぐらいの明るさになるかが予め分かっているので、それに基づいて対象物の熱源が検知できるように閾値を設定する。
【００１６】
続いてステップ＃３０で、検知された各熱源に対してラベリングを行う。最後にステップ＃４０で、熱源の大きさで対象物の候補か否かを判定する。これは、ここで撮像する視野においては、対象物の熱源が画像上でどのくらいの大きさになるかが予め分かっているので、これに対して熱源の画像上での幅や高さ等を比較することにより、その熱源が対象物（例えば車両）の候補となるか否かを判定するものである。
【００１７】
図４は、可視カメラで車種判別を行うときの、概略フローチャートである。同図において、まず、ステップＳ１０で可視カメラにより得られた可視画像情報を読み込む。次にステップＳ２０で、読み込んだ画像情報をエッジ画像として２値化する。続いてステップＳ３０で、パターン特徴量計算用矩形領域を切り出す。ここでの領域は、上記熱源近傍で設定される領域である。
【００１８】
引き続き、ステップＳ４０で、パターン特徴量計算用矩形領域のパターン特徴量を抽出する。これは、パターン特徴量計算用矩形領域内の、エッジが強調されたパターンの輪郭線のそれぞれが、どの方向にどの程度の成分があるか、即ち輪郭線の方向と大きさのベクトル量を見てパターン特徴量を計算するものである。さらに、ステップＳ５０において、抽出されたパターン特徴量データと車両形状テンプレートとを比較，照合し、類似度を算出する。
【００１９】
この車両形状テンプレートは、各車種の各方向から見た形状と、その車両領域と熱源との相対的な関係を登録したものである。最後にステップＳ６０で、類似度の最も高い車種をここでの領域にある車種として判別する。なお、毎回の車種判別で実際に読み込んだ画像のデータをデータベースにフィードバックし、車両形状テンプレートに加えて判別の精度を高めるといった学習機能を持たせることも可能である。
【００２０】
以下、車種判別の実施例について述べる。
〔実施例１〕
各車種の車両領域と熱源（ホットポイント）との相対位置関係のデータを用いて、車種判別する。例えば、車両領域と熱源との相対関係を識別した結果、図５のような画像になったとする。この場合、可視カメラによる車両の輪郭と、赤外線カメラによる斜線で示した熱源との位置関係により、概ね車種が分かるので、同図で車両１が普通車，車両２がトラックというように、車種又はその形状を判別することができる。
【００２１】
〔実施例２〕
各車種の車両領域と熱源との相対的な大きさ比を用いて、車種判別する。例えば、実施例１と同様にして、車両領域と熱源との相対関係を識別した結果、図６のような画像になったとする。この場合、例えば、可視カメラによる車両の輪郭の長さをＬとし、赤外線カメラによる斜線で示した熱源の長さをｌとすると、これらの比（Ｌ：ｌ）について、各車種の各方向から見たときの情報を予め登録しておき、これらと比較して、得られた画像の前記比がそれぞれどの車種のものに一番近いかを割り出し、車両１が普通車，車両２がトラックというように車種又はその形状を判別する。
【００２２】
〔実施例３〕
実施例１の応用として、車両領域と熱源との相対位置関係に関して、様々な条件下でのデータを集めて統計分析し、マハラノビス距離を用いて車種又はその形状を判別する。
〔実施例４〕
実施例２の応用として、車両領域と熱源との相対的な大きさ比に関して、様々な条件下でのデータを集めて統計分析し、マハラノビス距離を用いて車種又はその形状を判別する。
【００２３】
このマハラノビス距離は、観測値と目標値の差分と分散共分散行列の逆行列との積で表され、確率分布上の距離を示すものである。この距離が小さいものを選択することにより、得られたデータに対して確率的にどの車種が近いかが分かる。マハラノビス距離は、ユークリッド距離に分散まで考慮したもので、距離尺度としてよく用いられている。
【００２４】
ここで、実施例１，２の場合は、車両領域と熱源との相対関係に対して、車種の判別を断定的に行うものである。これに対して、実施例３，４のようにマハラノビス距離を用いる場合は、車の相対的な位置関係、即ち車の全身に対して熱源はこうなるといった過去の事例について、大量にデータを集める。そして、例えば普通車の或る大きさのものに対して大体熱源がどの辺りに位置する確率が非常に高いかといった統計データを集めてきて、実際に得られた画像に対する過去の図の確率分布を比較する。そして、最も類似する車種は多分これだというような判定をする。
【００２５】
本発明は、上述したような構成により、主として特殊車両の検知，識別を行うことが有効である。例えば、建築現場や採石場等において、トラック，ブルドーザー，ショベルカー等と普通車とを識別するといった用途が挙げられる。また、高速道路の監視カメラにより交通量の計測を行う場合に、普通車，トラック，バス等の車種毎に統計をとったり、更にはＥＴＣ，ＩＴＳ等において通行量の計測を行う場合に、車種毎に統計をとるといった用途が考えられる。
【００２６】
上記の説明により、本発明については様々な修飾や変形をすることが可能であることは明らかである。よって、本発明は、具体的な記述にとらわれることなく、付記した請求の範囲内で実施されるものと解されたい。
【００２７】
【発明の効果】
以上説明したように、本発明によれば、簡単な構成で、対象物に対する検知精度と識別精度の両方を確保できる対象物検知装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】本発明での対象物検知に用いる画像の具体例を模式的に示す図。
【図２】本発明の対象物検知装置の概略構成を示すブロック図。
【図３】赤外線カメラで熱源検知を行うときの概略フローチャート。
【図４】可視カメラで車種判別を行うときの概略フローチャート。
【図５】実施例１における画像の具体例を模式的に示す図。
【図６】実施例２における画像の具体例を模式的に示す図。
【符号の説明】
１〜３ 車両
１１ 赤外線カメラ
１２ 可視カメラ
１３ 熱源検知装置
１４ 車種判別装置
Ｐ 画像
Ｓ ソフトウェア

Claims (6)

1. 赤外線カメラと可視カメラとで同時に対象物を撮影し、該対象物を検知する対象物検知装置であって、
   前記赤外線カメラにて熱源を抽出し、該熱源を対象物の候補として、その近傍にて前記可視カメラ上の領域で識別処理を行い、該領域に前記対象物があるか否かを判定することを特徴とする対象物検知装置。
2. 前記可視カメラによる前記対象物の輪郭と、前記赤外線カメラによる前記熱源との相対位置関係により、前記対象物の種類を判別することを特徴とする請求項１に記載の対象物検知装置。
3. 前記可視カメラによる前記対象物の輪郭と、前記赤外線カメラによる前記熱源との相対的な大きさ比により、前記対象物の種類を判別することを特徴とする請求項１に記載の対象物検知装置。
4. 前記相対位置関係に関して、複数の所定の条件下でデータを集めて統計分析し、マハラノビス距離を用いて前記対象物の種類を判別することを特徴とする請求項２に記載の対象物検知装置。
5. 前記相対的な大きさ比に関して、複数の所定の条件下でデータを集めて統計分析し、マハラノビス距離を用いて前記対象物の種類を判別することを特徴とする請求項３に記載の対象物検知装置。
6. 赤外線カメラと可視カメラとで同時に対象物を撮影し、該対象物を検知する対象物検知方法であって、
   前記赤外線カメラにて熱源を抽出し、該熱源を対象物の候補として、その近傍にて前記可視カメラ上の領域で識別処理を行い、該領域に前記対象物があるか否かを判定することを特徴とする対象物検知方法。

Images