JP2013134667A

JP2013134667A - 車両検知装置

Info

Publication number: JP2013134667A
Application number: JP2011285473A
Authority: JP
Inventors: Yasuhiro Aoki; 泰浩青木; Toshio Sato; 俊雄佐藤; Yusuke Takahashi; 雄介高橋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2013-07-08
Anticipated expiration: 2031-12-27
Also published as: JP5677281B2

Abstract

【課題】光学条件の変化に影響されず、入退出した車両を検知する。
【解決手段】実施形態の車両検知装置は、ステレオカメラにより、車両が進行する道路を撮影した各々の撮影画像を得る一方、前記ステレオカメラに近接して配置されたレーザセンサにより、前記車両が進行する道路との間の距離をスキャンして計測した距離データを得ることにより、前記距離データを結合したスキャン画像と、前記各々の撮影画像とに基づいて前記ステレオカメラの視野内を入退出した車両を検知する。
【選択図】図１

Description

本発明の実施形態は、車両検知装置に関する。

料金収受システムでは、一般に、赤外線を用いた透過型のポールセンサによって車両の通過を検知する。この種のポールセンサは、車両が横切った瞬間に安定して車両の通過を検知できる。

しかしながら、ポールセンサは、設置時に掘削工事が必要であり、左右のセンサの位置を調整する設備も別途必要であることから、工事・調整コストがかかる。

特許第４１２３１３８号公報

従って、工事・調整コストを極力抑えたい場合、ポールセンサを、別の手段の車両検知装置に代替する必要がある。

一方、カメラは、近年、値段が下がってきており、比較的安価に入手可能となっている。カメラを用いて車両の存在を検知する方法は、交通状況把握装置などで実用化されている。この種の交通状況把握装置は、動画処理による車両検知を行っている。

しかしながら、カメラを用いる方法は、光学条件の変化の影響を大きく受ける。例えば、料金所の環境下では、照明や車両のヘッドライトの点灯や消灯による変化、太陽や照明による車両の影などを検知する可能性がある。このため、料金所の環境下でカメラを用いた車両検知装置は実例が無い。

本発明が解決しようとする課題は、光学条件の変化に影響されず、入退出した車両を検知し得る車両検知装置を提供することである。

実施形態の車両検知装置は、ステレオカメラにより、車両が進行する道路を撮影した各々の撮影画像を得る一方、前記ステレオカメラに近接して配置されたレーザセンサにより、前記車両が進行する道路との間の距離をスキャンして計測した距離データを得ることにより、前記距離データを結合したスキャン画像と、前記各々の撮影画像とに基づいて前記ステレオカメラの視野内を入退出した車両を検知する。

前記車両検知装置は、距離画像作成手段、使用許可手段、立体形状近似手段、オブジェクトデータ作成手段、判定履歴記憶手段及び車両検知手段を備えている。

前記距離画像作成手段は、前記各々の撮影画像における画素間の視差データを画素毎に求め、当該視差データから前記ステレオカメラと撮影対象との間の距離を示す距離データを画素毎に求め、この距離データを画素毎に有する距離画像を作成する。

前記使用許可手段は、前記距離画像における前記進行する方向に沿った幅よりも短い所定幅に関し、前記距離画像内の前記所定幅における距離データと、前記スキャン画像内の前記所定幅における距離データとの誤差がしきい値以内になるか否かを判定し、前記しきい値以内になる場合に当該距離画像の使用を許可し、否の場合に当該距離画像の使用を禁止する。

前記立体形状近似手段は、前記使用が許可された距離画像により表される立体の形状を近似して表すように、予め記憶した複数の部品データを選択する。

前記オブジェクトデータ作成手段は、前記選択された各部品データを前記立体の形状に基づいて結合することにより、前記立体の形状を近似して表すオブジェクトデータを作成する。

前記判定履歴記憶手段は、前記オブジェクトデータについて車両の一部を表すか否かを判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する。

前記車両検知手段は、前記判定履歴情報内の判定結果の変化に基づいて、前記入退出した車両を検知する。

第１の実施形態に係る車両検知装置を適用した車両検知システムの構成を示す模式図である。同実施形態における車両検知装置の構成を示す模式図である。同実施形態におけるスキャン画像、撮影画像及び距離画像の一例を示す図である。同実施形態における誤差の判定を説明するための模式図である。同実施形態における連結成分の判定を説明するための模式図である。同実施形態における動作を説明するためのフローチャートである。同実施形態における動作を説明するためのフローチャートである。第３の実施形態に係る車両検知装置の動作を説明するためのフローチャートである。第４の実施形態に係る車両検知装置の動作を説明するためのフローチャートである。第５の実施形態に係る車両検知装置の動作を説明するためのフローチャートである。

以下、各実施形態について図面を用いて説明する。

＜第１の実施形態＞
図１は第１の実施形態に係る車両検知装置を適用した車両検知システムの構成を示す模式図である。この車両検知システムは、レーザセンサ１０、ステレオカメラ２０、ＥＴＣ(Electronic Toll Collection)システム３０及び車両検知装置１００を備えている。

レーザセンサ１０は、ステレオカメラ２０に近接して配置され、車両が進行する道路との間の距離をスキャンして計測した距離データを得るセンサであり、得られた距離データを車両検知装置１００に送出している。

補足すると、レーザセンサ１０は、ステレオカメラ２０に近接した位置から下方の道路に向けて垂直に且つ道路を横切る方向に沿ってレーザビームをスキャンし、レーザビームが反射する地点までの距離を計測した距離データを得るセンサである。なお、レーザセンサ１０は、レーザビームをスキャンし、反射したレーザビームを受波した受波データを車両検知装置１００に送出するセンサとしてもよい。この場合、車両検知装置１００は、受波データから距離データを算出する機能を備える必要がある。

ステレオカメラ２０は、上下方向に配置された複数のカメラを含む撮影装置である。ステレオカメラ２０は、車両が進行する道路を撮影した各々の撮影画像を得ると共に、当該各々の撮影画像を車両検知装置１００に送出する機能をもっている。ステレオカメラ２０内の各カメラは、予め設定したフレームレートで動画像を撮影するディジタルカメラである。

ステレオカメラ２０は、料金所のアイランド部分に立つポールに設置され、車両の進行方向に対し、上斜め方向から撮影し、車両が横方向に通過するように視野（撮影領域）が設定されている。すなわち、ステレオカメラ２０は、上方から路面を撮影可能な位置に設置される。また、ステレオカメラ２０は、カメラ視野内を走行する車両について、タイヤ（車軸）と地面との接地部分が映るよう調整される。また、ステレオカメラ２０は、牽引棒などの牽引構造物を撮影する際に、車両による死角が発生しないように、車両の進行方向に対して垂直な方向から撮影可能な位置に設置される。なお、料金所では、車線内の車両の位置を適切に把握するため、１車線あたり３〜４箇所にステレオカメラ２０及び車両検知装置１００を設置してもよい。

ステレオカメラ２０としては、上下のカメラに代えて、１枚のレンズで光学的に車両の上下の撮影画像を得る撮影装置としてもよい。例えば、ステレオカメラ２０は、特殊なレンズにより、１台のカメラで同時に双方向からの映像を一度に分岐できる場合には、単数のカメラでハードウェアを構築してもよい。例えば、光の入り口には２つのレンズを備え、内部には光路を曲げるプリズムが配置されたウェッジプリズム偏光方式を用いたレンズ等が、適宜使用可能となっている。

ステレオカメラ２０によって得られた撮影画像は、撮影時刻を示すタイムコードを含んでいる。ステレオカメラ２０、ＥＴＣシステム３０及び車両検知装置１００は、同期した時刻情報を生成する時計装置（図示せず）を有する。なお、撮影画像は、他の手法によって、ステレオカメラ２０、ＥＴＣシステム３０及び車両検知装置１００が同期して動作すれば（ステレオカメラ２０の画像データの撮影時刻をＥＴＣシステム３０及び車両検知装置１００が認識できれば）、必ずしもタイムコードを含まなくてもよい。

ＥＴＣシステム３０は、高速道路などの有料道路を通行する車両に対して課せられる通行料金を自動的に徴収する料金収受装置であり、車両に搭載されるＥＴＣ車載器と無線通信し、通過車両を特定する情報を取得する。ＥＴＣ車載器は、一般に、少なくとも無線通信を行うためのアンテナがフロントガラスを介して視認できる位置に設置される。

車両検知装置１００は、図２に示すように、表示部１１０、ユーザインタフェース１２０、記憶部１３０、ネットワークインタフェース１４０及び制御部１５０を備えている。

表示部１１０は、ＬＣＤ(Liquid Crystal Display)などを用いたディスプレイ装置であり、当該車両検知装置１００の運用状況を初めとする種々の情報を表示する。

ユーザインタフェース１２０は、キーボード、マウス、タッチパネルなどのユーザから指示を受け付けるインタフェースである。

記憶部１３０は、制御部１５０の制御プログラムや制御データを記憶する記憶装置であり、ＨＤＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの記憶手段を１つまたは複数用いたものである。制御データとしては、例えば、立体の形状を表す複数の部品データ（例、牽引棒の形状パターン、車軸の円形部分の形状データ、人物の一部の形状データ）などがある。すなわち、記憶部１３０は、複数の部品データを予め記憶する。牽引棒の形状パターンは、例えば、車両の進行方向に沿って長辺を有する長方形を示す形状パターンの如き、牽引棒の典型的な形状パターンを示す情報である。牽引棒の形状パターンは、近接した２台の車両と、被牽引車を牽引棒で牽引する１台の車両と、を区別する場合に記憶される。そのため、牽引棒の形状パターンは、両者を区別しない場合には省略可能となっている。

ネットワークインタフェース１４０は、ＬＡＮなどのネットワークを通じて、ステレオカメラ２０及びＥＴＣシステム３０と通信するインタフェースである。

制御部１５０は、メモリを有するマイクロプロセッサを備え、記憶部１３０が記憶する制御プログラムや制御データにしたがって動作し、当該車両検知装置１００の各部を統括して制御する制御手段であり、レーザセンサ１０により得られた距離データを結合したスキャン画像（図３（Ａ））と、ステレオカメラ２０により得られた各々の撮影画像（図３（Ｂ））とに基づいて、ステレオカメラ２０の視野内（撮影領域内）を入退出した車両を検知する機能をもっている。なお、制御部１５０は、入退出車両の検知に加え、実空間上における通過時刻（ＥＴＣシステム３０の通信エリアの通過時刻）を予測する機能を有していてもよい。

制御部１５０は、具体的には例えば、以下の各機能(f1)〜(f6)を備えている。

(f1) 各々の撮影画像における画素間の視差データを画素毎に求め、当該視差データからステレオカメラ２０と撮影対象との間の距離を示す距離データを画素毎に求め、この距離データを画素毎に有する距離画像（図３Ｃ）を作成する距離画像作成機能。

(f2) 図４に示すように、距離画像Ｆ_T0における車両の進行する方向ｘに沿った幅よりも短い所定幅ｗに関し、当該距離画像Ｆ_T0内の当該所定幅ｗにおける距離データｆ_T0（ｙ）と、スキャン画像Ｓ内の当該所定幅ｗにおける距離データｓ_t0（ｙ）との誤差がしきい値以内になるか否かを判定し、しきい値以内になる場合に当該距離画像Ｆ_t0の使用を許可し、否の場合に当該距離画像Ｆ_t0の使用を禁止する使用許可機能。ここで、距離画像Ｆ_t0の撮影時刻Ｔ０と、スキャン画像Ｓ内の距離データｓ_t0の撮影時刻ｔ０とは、｜Ｔ０−ｔ０｜＜εの関係にある（但し、εは許容される時間差）。言い換えると、使用許可機能は、距離画像Ｆ_t0の撮影時刻Ｔ０から時間差ε内の撮影時刻ｔ０における距離データｓ_t0をスキャン画像Ｓから抽出することにより、スキャン画像Ｓ内の距離データｓ_t0を得る。しかる後、使用許可機能は、距離画像Ｆ_T0内の当該所定幅ｗにおける距離データｆ_T0（ｙ）と、スキャン画像Ｓ内の当該所定幅ｗにおける距離データｓ_t0（ｙ）との誤差がしきい値以内になるか否かを判定する。また、この判定は、次のように変形してもよい。すなわち、ステレオ視より得られる距離画像Ｆ_t（ｘ，ｙ）（＝図４のＦ_t0に対応）を車両の進行方向に切断した画像をｆ_t（ｔ，ｙ）（＝図４のｆ_t0（ｙ）に対応）とし、スキャン画像をｓ_t（ｙ）（＝図４のｓ_t0（ｙ）に対応）とすれば、図４と同様に両者を比較し、誤差関数Ｅ＝ｍｉｎ_ｔ｜ａ＊ｆ_t（ｔ，ｙ）−ｓ_t（ｙ）｜（ａは定数）を最小化するパラメータｔを求める。最小化されたパラメータｔにより画像ｆ_t（ｔ，ｙ）に修正が施される。

(f3) 当該使用が許可された距離画像Ｆ_t0により表される立体の形状を近似して表すように、予め記憶した複数の部品データを選択する立体形状近似機能。

(f4) 当該選択された各部品データを当該立体の形状に基づいて結合することにより、当該立体の形状を近似して表すオブジェクトデータを作成するオブジェクトデータ作成機能。

(f5) 当該オブジェクトデータについて車両の一部を表すか否かを判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する判定履歴記憶機能。なお、判定履歴記憶機能は、車両の一部と判定された複数のオブジェクトデータが同時に検出された場合、両オブジェクトデータの間に、図５に示す如き、車両ｖｅｈと被牽引車両ｔｖとを連結する連結棒ｔｂに相当する形状をもつ連結成分があるか否かを判定し、連結成分があれば両オブジェクトデータを１台の車両の一部と判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する構成としてもよい。

(f6) 当該判定履歴情報内の判定結果の変化に基づいて、入退出した車両を検知する車両検知機能。

次に、以上のように構成された車両検知システムの動作について図６及び図７のフローチャートを用いて説明する。

車両検知装置１００は、電源が投入されて起動されると、図１０に示す動作を、電源が切られるまで繰り返し実行する。なお、この動作は、制御部１５０が、記憶部１３０に記憶される制御プログラムや制御データにしたがって動作することにより実現する。

レーザセンサ１０及びステレオカメラ２０は、車両検知装置１００の起動に先立って起動される。

レーザセンサ１０は、車両が進行する道路を横切る方向のスキャンを開始し、電源が切られるまで、距離データを車両検知装置１００に伝送する。これにより、高精度の距離データが車両検知装置１００に入力される。

ステレオカメラ２０は、所定のフレームレートによる撮影を開始し、電源が切られるまで、各カメラが撮影した各々の撮影画像を車両検知装置１００に伝送する。これにより、同期のとれた各々の撮影画像が車両検知装置１００に入力される。

車両検知装置１００内の制御部１５０は、距離画像作成機能が実行する前処理として、視野内に車両の進入（図３（Ａ））を判定する注視領域を予め設定し、その領域内にて、進入物体のテクスチャー解析、エッジ等の検出を随時行ない、検出したエッジ等に基づいて各々の撮影画像から特徴点を抽出する。

制御部１５０の距離画像作成機能は、各々の撮影画像における画素間の視差データを画素毎に求め、当該視差データからステレオカメラ２０と撮影対象との間の距離を示す距離データを画素毎に求め、この距離データを画素毎に有する距離画像を作成する（ＳＴ１）。視差データは、注視領域近傍を探索領域とし、各々の撮影画像の特徴点についてマッチング処理を行うことにより、求められる。

制御部１５０の使用許可機能は、距離画像Ｆ_T0における車両の進行する方向ｘに沿った幅よりも短い所定幅ｗに関し、当該距離画像Ｆ_T0内の当該所定幅ｗにおける距離データｆ_T0（ｙ）と、スキャン画像Ｓ内の当該所定幅ｗにおける距離データｓ_t0（ｙ）との誤差がしきい値以内になるか否かを判定し（ＳＴ２）、しきい値以内になる場合に当該距離画像Ｆ_t0の使用を許可し、否の場合に当該距離画像Ｆ_t0の使用を禁止する。

制御部１５０の立体形状近似機能は、当該使用が許可された距離画像Ｆ_t0により表される立体の形状を近似して表すように、予め記憶した複数の部品データを選択する（ＳＴ３）。例えば、立体形状近似機能は、距離画像により表される対象を適切な大きさの立体を表す部品データで近似する。複数の部品データが車両の進行方向に分布する場合には、独立した車両として扱う。これらは、車両が接近した状態を保ったまま視野内で観測されたことに相当している。また、車両の進行方向に垂直な方向に複数の部品データが分布する場合は、同一車両として捉える。このように部品データを、位置関係によって統合、分割する処理はオブジェクトデータ作成機能で行う。

制御部１５０のオブジェクトデータ作成機能は、当該選択された各部品データを当該立体の形状に基づいて結合することにより、立体の形状を近似して表すオブジェクトデータを作成する（ＳＴ４）。

制御部１５０の判定履歴記憶機能は、作成されたオブジェクトデータの有無により、視野内の障害物の有無を判定し（ＳＴ５）、障害物が無ければステップＳＴ６に移行する。ステップＳＴ６では、判定履歴に変更が無いので、通過した台数“０”台を計測する。

ステップＳＴ５の判定の結果、障害物があれば、作成されたオブジェクトデータについて車両の一部を表すか否かを判定し（ＳＴ７）、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する（ＳＴ８）。具体的には、車両の一部と判定された場合には、車両進入の状態をメモリ（内部記憶）に保存する。前フレームに車両進入の記録がない場合には、車両進入の記録を開始させる。車両進入の記録がある場合には、前フレームとの対応関係を特徴量ベースで照合することにより、前後の位置関係をフレーム毎に記録する。車両が退出すると、車両進入の記録が更新されないこととなり、複数フレームにて車両の検知状況が記録されていたものが退出したとみなす。なお、判定履歴記憶機能は、車両の一部と判定された複数のオブジェクトデータが同時に検出された場合、両オブジェクトデータの間に連結成分があるか否かを判定し、連結成分があれば両オブジェクトデータを１台の車両の一部と判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する。連結成分が無ければ、両オブジェクトデータを独立した２台の車両の一部と判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する。

制御部１５０の車両検知機能は、当該判定履歴情報内の判定結果の変化に基づいて、入退出した車両を検知し、通過した台数を計測する（ＳＴ６）。

上述したように本実施形態によれば、ステレオカメラ２０と撮影対象との間の距離を示す距離データを画素毎に有する距離画像を作成し、距離画像Ｆ_T0内の距離データｆ_T0（ｙ）と、スキャン画像Ｓ内の距離データｓ_t0（ｙ）との誤差がしきい値以内になる場合に当該距離画像Ｆ_t0の使用を許可し、当該使用が許可された距離画像Ｆ_t0により表される立体の形状を近似して表すように、予め記憶した複数の部品データを選択し、当該選択された各部品データを当該立体の形状に基づいて結合することにより、当該立体の形状を近似して表すオブジェクトデータを作成し、当該オブジェクトデータについて車両の一部を表すか否かを判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶し、当該判定履歴情報内の判定結果の変化に基づいて、入退出した車両を検知する構成により、光学条件の変化に影響されず、入退出した車両を検知することができる。

補足すると、車両検知装置にステレオカメラ２０を単独で用いた場合、距離を計測する対象となる車両については、形状の変化が大きいことと、日照条件の変化の影響を大きく受けることにより、特徴点の抽出精度にリスクを残すこととなる。一方、レーザセンサ１０を単独で用いた場合、前述の変化による影響をあまり受けずに距離データを抽出できるものの、天候や埃などの影響が無視できないことにより、時間分解能が不足するリスクが存在する。そこで、本実施形態では、ステレオカメラ２０による距離画像と、レーザセンサ１０によるスキャン画像との双方を車両の検知に活用している。

＜第２の実施形態＞
次に、第２の実施形態に係る車両検知装置について説明する。以下の説明は、前述した説明に重複しないように、前述した部分については適宜、記載を省略する。このことは、他の各実施形態でも同様である。

本実施形態は、第１の実施形態の変形例であり、視野内を高速に車両が通過する場合に動きボケ誤差を減らすための形態である。例えば、視野内を高速に車両が通過する場合、通過時の撮影画像のフレーム数およびレーザセンサ１０の取得スキャン数が減少する。さらに撮影画像のフレームについては、車両の進行方向について動きボケ誤差が発生する可能性がある。

このため、制御部１５０の距離画像作成機能(f1)は、高速で進入する車両に対しては各々の撮影画像から車両進行方向に沿ったエッジの広がり（動きブレ）を検出し、当該エッジを鮮明化するように補正した後、視差データを求める機能を含む構成としている。ここで、エッジの鮮明化とは、横方向に広がったエッジを先鋭化すること（車両の輪郭を復元すること）を意味している。

車両検知装置１００の他の構成は、第１の実施形態と同様である。

以上のような構成によれば、高速で進入する車両に対しては各々の撮影画像から車両進行方向に沿ったエッジの広がりを検出し、当該エッジを鮮明化するように補正した後、視差データを求めることにより、第１の実施形態の効果に加え、距離画像に含まれる距離データの誤差を低減させることができる。

＜第３の実施形態＞
次に、第３の実施形態に係る車両検知装置について説明する。

本実施形態は、第１の実施形態の変形例であり、視野内を人物やネコ等の動物などのように、車両以外の非検知対象が通過する場合の形態である。具体的には、制御部１５０は、オブジェクトデータについて人物の一部を表すか否かを判定し、人物の一部を表す場合には警報信号を出力する警報出力機能(f7)を更に備えている。例えば、人物などの非検知対象が視野内を通過すると、制御部１５０が、非検知対象のオブジェクトデータに基づき、車両以外の非検知対象と判定する。人物がカメラの視野内に入る場合、頭部、腕、胴体などの形状を表す部品データに基づき、人物と判断する。この際、単眼のカメラ映像での照合を用いてもよい。警報出力機能(f7)に対する「例えば」以降の補足説明は、他の実施形態で人物の一部を判定する場合でも同様である。

制御部１５０は、人物以外の非検知対象物については、ステレオカメラ２０による撮影画像、撮影時刻、レーザセンサ１０による距離データ、及び非検知対象名などを記憶部１３０に書込んでもよい。

次に、以上のように構成された車両検知装置の動作について図８のフローチャートを用いて説明する。

ステップＳＴ１〜ＳＴ６は、第１の実施形態と同様に実行される。本実施形態では、第１の実施形態のステップＳＴ７〜ＳＴ８に代えて、ステップＳＴ１１〜ＳＴ１６が実行される。

制御部１５０は、オブジェクトデータについて車両の一部を表すか否かを判定し（ＳＴ１１）、車両の一部であれば、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶して（ＳＴ１２）、ステップＳＴ６に移行する。

ステップＳＴ１１の判定の結果、否の場合には、制御部１５０は、当該オブジェクトデータについて人物の一部を表すか否かを判定する（ＳＴ１３）。判定の結果、人物の一部を表す場合には、制御部１５０は警報信号を出力し（ＳＴ１４）、処理を終了する。

制御部１５０は、ステップＳＴ１３の判定結果が否の場合には、警報信号を出力すると共に（ＳＴ１５）、当該オブジェクトデータの元となる距離画像の元となる撮影画像、撮影画像に含まれるタイムコードが示す撮影時刻、当該撮影時刻前後のレーザセンサ１０の距離データ、及び非検知対象名を関連付けて記憶部１３０に保存し（ＳＴ１６）、処理を終了する。非検知対象名は、車両以外の非検知対象を表し、撮影画像内に撮影されて検知された対象の名称であり、操作者の操作により、ユーザインタフェース１２０から設定する。

上述したように本実施形態によれば、オブジェクトデータについて人物の一部を表すか否かを判定し、人物の一部を表す場合には警報信号を出力する構成により、第１の実施形態の効果に加え、検知された人物に車道からの退出を促すと共に、車道内で人物が検知された旨の注意を車両の運転手に促すので、道路交通の安全性を向上させることができる。

＜第４の実施形態＞
次に、第４の実施形態に係る車両検知装置について説明する。

本実施形態は、第１の実施形態の変形例であり、車両の挙動などを検知する形態である。具体的には、制御部１５０は、以下の各機能(f8),(f9)を更に備えている。

(f8) 距離画像毎に特徴点を抽出し、当該特徴点を含む距離画像内の距離データとの誤差がしきい値以内に収まるスキャン画像内の距離データを求める特徴点抽出機能。例えば、オブジェクトデータについて、車両の一部を表すか否かを判定し、車両の一部と判定された場合について、前フレームとの位置関係の変位をメモリに保存しておく。

ステレオ視より得られる距離画像ｄ_ｃ（ｘ，ｙ）について、ステレオの対応づけに活用する代表的な特徴点ｃ_ｉ（ｘ，ｙ）の３次元空間上の位置としては、スキャン画像Ｄ_ｌ（ｙ）を参照することにより、正確な距離を得ることができる。

(f9) 当該求めた距離データに基づき、距離画像間の特徴点の移動量を算出し、当該移動量の方向と大きさにより、車両の前進、停止又は後退を示す挙動を判定する車両挙動判定機能。例えば、車両は時間の変化に従って通路内を並行移動するとする。撮影画像フレームの撮影内容が変化した際に特徴点が視野内に納まっている場合、フレーム間の移動距離は三角測量の原理を用いて、フレーム更新後の特徴点の位置ｃ_ｉ＋１（ｘ’，ｙ）との移動距離を測ればよい。

撮影画像フレーム間の微小時間δｔ内に特徴点が変位した距離Ｌ（ｃ_ｉ（ｘ，ｙ）−ｃ_ｉ＋１（ｘ’，ｙ））から、平均速度ｖ＝Ｌ／δｔが求められる。平均速度ｖの大きさおよび方向を計測することにより、車両の前進・停止・後退の状態を推測できる。

これにより、ステレオ視で得られた距離画像について、レーザセンサ１０のスキャン画像から、距離画像内の特徴点の３次元空間上の位置を参照出来るため、ステレオ視単独で推定した距離よりも正確であり、従って映像中の車両の移動速度に関しても精度向上が望める。平均速度ｖの大きさを測定して、視野内の車両についての挙動（前進、停止、後退）計測機能が実現できる。

ここで、制御部１５０は、距離画像間の移動量を車両の先端から後端まで加算することにより、車両の長さを算出する車長算出機能(f10)を更に備えてもよい。補足すると、視野内を通過中の車両の平均速度ｖが求まっており、車両の先端部分、および車両の後端部分については内部記憶に特徴量、フレーム情報にその位置が保存されている。このため、撮影画像１フレーム内に複数の特徴量を抽出し、各フレーム毎に特徴量の移動量を算出し、車両の進入から退出までの移動量を足し合わせることによって、車両の長さを算出することが可能である。

次に、以上のように構成された車両検知装置の動作について図９のフローチャートを用いて説明する。

ステップＳＴ１〜ＳＴ８は、第１の実施形態と同様に実行される。本実施形態では、第１の実施形態のステップＳＴ１〜ＳＴ８に追加して、ステップＳＴ２１〜ＳＴ２４が実行される。

制御部１５０は、前述したステップＳＴ８の後、距離画像毎に特徴点を抽出し、当該特徴点を含む距離画像内の距離データとの誤差がしきい値以内に収まるスキャン画像内の距離データを求める。

制御部１５０は、当該求めた距離データに基づき、距離画像間の特徴点の移動量を算出する（ＳＴ２１）。

制御部１５０は、当該移動量の大きさを当該距離画像間の時刻差で除算することにより、車両の平均速度を計測すると共に（ＳＴ２２）、当該移動量の方向と大きさにより、車両の前進、停止又は後退を示す挙動を判定し（ＳＴ２３）、平均速度及び判定結果をそれぞれ出力する。なお、挙動の判定内容が停止を示す場合、制御部１５０は、一定時間、停止の状態が続くようであれば、警報信号を出力する。また、挙動の判定内容が後退を示す場合、制御部１５０は、短時間だけ後退した状態であっても、警報信号を出力する。

制御部１５０は、ステップＳＴ２２で求めた距離画像間の移動量を車両の先端から後端まで加算することにより、車両の長さを算出し（ＳＴ２４）、算出結果を出力する。

上述したように本実施形態によれば、距離画像毎に特徴点を抽出し、当該特徴点を含む距離画像内の距離データとの誤差がしきい値以内に収まるスキャン画像内の距離データに基づき、距離画像間の特徴点の移動量を算出し、当該移動量の方向と大きさにより、車両の前進、停止又は後退を示す挙動を判定する構成により、第１の実施形態の効果に加え、車両の挙動を検知することができる。

補足すると、ステレオ映像とレーザセンサ１０のスキャンデータを統合することにより、車両映像中の特徴点の３次元位置を正確に求め、その軌跡をフレーム毎に追跡することにより、特徴点の移動速度を求めることが可能となり、車両挙動の精度を向上させることが可能となる。

なお、料金収受システムでは、車両の通過を検知する機能のほかに、車両の後退を検知する機能といった複数の機能が求められる場合があるが、これらの機能にそれぞれ専用のセンサを用いると、設置および調整コストが上昇する。しかしながら、本実施形態では、車両の通過や後退を検出するための専用のセンサを用いることなく、車両の通過や後退といった車両の挙動を求めることができる。

また、本実施形態によれば、距離画像間の移動量を車両の先端から後端まで加算する場合には、車両の長さを算出することができる。

＜第５の実施形態＞
次に、第５の実施形態に係る車両検知装置について説明する。

本実施形態は、第４の実施形態の変形例であり、車軸の数などを検知する形態である。具体的には、制御部１５０は、以下の各機能(f11)〜(f13)を更に備えている。

(f11) 使用が許可された距離画像から道路に車両が接地する接地部分を抽出する接地部分抽出機能。

(f12) 接地部分の近傍領域の距離画像により表される車軸に相当する円形部分の立体を近似して表すように、各部品データのいずれかを選択する円形部分近似機能。

(f13) 円形部分近似機能により選択された部品データをオブジェクトデータ作成機能により結合して得られたオブジェクトデータについて、車軸に相当する円形部分の立体を近似して表す部品データの個数を計測することにより、視野内を通過する車軸の数を計測する車軸数計測機能。

補足すると、制御部１５０は、距離画像中より路面と車軸の接地面を抽出し、複数の車両接地位置から、距離画像中でその位置に対応する領域と立体で表現されたオブジェクトデータを参照し、車軸に相当する円形部分を抽出することにより、車軸の数を計測する。

制御部１５０は、二輪車が進入した場合に対し、順次検出される第１の車軸に相当する部品データの位置と、人物の一部と判定されたオブジェクトデータの位置と、第２の車軸に相当する部品データの位置とに基づいて、前輪及び後輪の車軸に相当する２つの部品データの間に人物の一部（例、足部）がある場合には二輪車と判定する機能を更に備えてもよい。

次に、以上のように構成された車両検知装置の動作について図１０のフローチャートを用いて説明する。

ステップＳＴ１〜ＳＴ７，ＳＴ２１〜ＳＴ２３は、第４の実施形態と同様に実行される。第４の実施形態のステップＳＴ２４は実行してもよいが、ここでは省略している。

本実施形態では、第４の実施形態のステップＳＴ１〜ＳＴ７，ＳＴ２１〜ＳＴ２３に追加して、ステップＳＴ３１〜ＳＴ３７が実行される。

制御部１５０は、前述したステップＳＴ７の後、使用が許可された距離画像から道路に車両が接地する接地部分を抽出する（ＳＴ３１）。また、制御部１５０は、接地部分の近傍領域の距離画像により表される車軸に相当する円形部分の立体を近似して表すように、各部品データのいずれかを選択し、当該選択された部品データをオブジェクトデータ作成機能により結合して得られたオブジェクトデータについて、車軸に相当する円形部分の立体を近似して表す部品データの個数を計測することにより、視野内を通過する車軸の数を計測する（ＳＴ３２）。

制御部１５０は、２つの車軸に相当する部品データ間に位置するオブジェクトデータについて人物（ヘルメット、腕、胴体、足）の一部を表すか否かを判定し（ＳＴ３３）、人物の一部を表す場合には当該車両が二輪車である旨を検出する（ＳＴ３４）。ステップＳＴ３３で否を表す場合には、ステップＳＴ３４では、当該車両が２輪車ではない旨を判定する。

制御部１５０は、この判定の結果に応じて、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶して（ＳＴ３５）、ステップＳＴ６に移行する。

制御部１５０は、ステップＳＴ３５の後、距離画像毎に特徴点を抽出し、当該特徴点を含む距離画像内の距離データとの誤差がしきい値以内に収まるスキャン画像内の距離データを求める。

制御部１５０は、当該特徴点が車両の先端、前輪の車軸、後輪の車軸、及び車両の後端である場合に、距離画像間の移動量を車両の先端から前輪の車軸まで加算し、前輪の車軸から後輪の車軸まで加算し、後輪の車軸から車両の後端まで加算することにより、車軸の位置を算出すると共に、距離画像間の移動量を前輪の車軸から人物の一部まで加算することにより、人物の位置を算出する（ＳＴ３６）。制御部１５０は、算出した車軸の位置と、人物の位置と、二輪車を示す車両種類とを含む二輪車判定情報を記憶部１３０に保存する（ＳＴ３７）。二輪車判定情報は、ステップＳＴ３４で用いてもよい。二輪車判定情報をステップＳＴ３４で用いる場合、ステップＳＴ３２及びＳＴ３３と並行して、ステップＳＴ２１及びＳＴ３６を実行して車軸の位置及び人物の位置を得ると、ステップＳＴ３４では、この車軸の位置及び人物の位置と、記憶部１３０内の二輪車判定情報とを比較することにより、車両が二輪車か否かを判定する。

以下、ステップＳＴ２２〜ＳＴ２３は、第４の実施形態と同様に実行される。

上述したように本実施形態によれば、使用が許可された距離画像から道路に車両が接地する接地部分を抽出し、接地部分の近傍領域の距離画像により表される車軸に相当する円形部分の立体を近似して表すように、各部品データのいずれかを選択し、選択された部品データをオブジェクトデータ作成機能により結合して得られたオブジェクトデータについて、車軸に相当する円形部分の立体を近似して表す部品データの個数を計測する構成により、第４の実施形態の効果に加え、視野内を通過する車軸の数を計測することができる。

また、車軸の数の計測と、人物の一部の判定とを用いる場合、車両が二輪車であるか否かを判定することができる。すなわち、画像処理特有のパターンマッチングや追跡技術を活用して、車種の判別などの新しい機能を提供することができる。

以上説明した少なくとも一つの実施形態によれば、ステレオカメラ２０と撮影対象との間の距離を示す距離画像を作成し、距離画像Ｆ_T0内の距離データｆ_T0（ｙ）と、スキャン画像Ｓ内の距離データｓ_t0（ｙ）との誤差がしきい値以内になる場合に当該距離画像Ｆ_t0の使用を許可し、当該使用が許可された距離画像Ｆ_t0により表される立体の形状を近似して表すオブジェクトデータを作成し、当該オブジェクトデータについて車両の一部を表すか否かを判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶し、当該判定履歴情報内の判定結果の変化に基づいて、入退出した車両を検知する構成により、光学条件の変化に影響されず、入退出した車両を検知することができる。

補足すると、ステレオカメラ２０を料金収受システムに応用する場合、左右カメラの対応点を正確にとることにより、カメラの視野に進入した対象物体との距離画像を正確に推定することが出来る。但し、物体の形状に関するバリエーションに対して高い精度で距離画像を推定するにはリスクが伴う。そこで、ステレオ視単独で、距離画像を推定する精度を向上させるのではなく、レーザセンサ１０による距離データを用いた評価を行うことにより、対応点マッチングの精度を保証させている。

なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、各実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…レーザセンサ、２０…ステレオカメラ、３０…ＥＴＣシステム、１００…車両検知装置、１１０…表示部、１２０…ユーザインタフェース、１３０…記憶部、１４０…ネットワークインタフェース、１５０…制御部。

Claims

ステレオカメラにより、車両が進行する道路を撮影した各々の撮影画像を得る一方、前記ステレオカメラに近接して配置されたレーザセンサにより、前記車両が進行する道路との間の距離をスキャンして計測した距離データを得ることにより、前記距離データを結合したスキャン画像と、前記各々の撮影画像とに基づいて前記ステレオカメラの視野内を入退出した車両を検知する車両検知装置であって、
前記各々の撮影画像における画素間の視差データを画素毎に求め、当該視差データから前記ステレオカメラと撮影対象との間の距離を示す距離データを画素毎に求め、この距離データを画素毎に有する距離画像を作成する距離画像作成手段と、
前記距離画像における前記進行する方向に沿った幅よりも短い所定幅に関し、前記距離画像内の前記所定幅における距離データと、前記スキャン画像内の前記所定幅における距離データとの誤差がしきい値以内になるか否かを判定し、前記しきい値以内になる場合に当該距離画像の使用を許可し、否の場合に当該距離画像の使用を禁止する使用許可手段と、
前記使用が許可された距離画像により表される立体の形状を近似して表すように、予め記憶した複数の部品データを選択する立体形状近似手段と、
前記選択された各部品データを前記立体の形状に基づいて結合することにより、前記立体の形状を近似して表すオブジェクトデータを作成するオブジェクトデータ作成手段と、
前記オブジェクトデータについて車両の一部を表すか否かを判定し、当該判定結果と時刻情報とを含む判定履歴情報をメモリに記憶する判定履歴記憶手段と、
前記判定履歴情報内の判定結果の変化に基づいて、前記入退出した車両を検知する車両検知手段と
を備えたことを特徴とする車両検知装置。
請求項１に記載の車両検知装置において、
前記距離画像作成手段は、高速で進入する車両に対しては前記各々の撮影画像から車両進行方向に沿ったエッジの広がりを検出し、当該エッジを鮮明化するように補正した後、前記視差データを求めることを特徴とする車両検知装置。
請求項１に記載の車両検知装置において、
前記オブジェクトデータについて人物の一部を表すか否かを判定し、人物の一部を表す場合には警報信号を出力する警報出力手段
を更に備えたことを特徴とする車両検知装置。
請求項１に記載の車両検知装置において、
前記距離画像毎に特徴点を抽出し、当該特徴点を含む距離画像内の距離データとの誤差が前記しきい値以内に収まる前記スキャン画像内の距離データを求める特徴点抽出手段と、
当該求めた距離データに基づき、前記距離画像間の前記特徴点の移動量を算出し、前記移動量の方向と大きさにより、車両の前進、停止又は後退を示す挙動を判定する車両挙動判定手段
を更に備えたことを特徴とする車両検知装置。
請求項４に記載の車両検知装置において、
前記距離画像間の移動量を前記車両の先端から後端まで加算することにより、前記車両の長さを算出する車長算出手段
を更に備えたことを特徴とする車両検知装置。
請求項４に記載の車両検知装置において、
前記使用が許可された距離画像から前記道路に車両が接地する接地部分を抽出する接地部分抽出手段と、
前記接地部分の近傍領域の距離画像により表される車軸に相当する円形部分の立体を近似して表すように、前記各部品データのいずれかを選択する円形部分近似手段と、
前記円形部分近似手段により選択された部品データを前記オブジェクトデータ作成手段により結合して得られたオブジェクトデータについて、前記車軸に相当する円形部分の立体を近似して表す部品データの個数を計測することにより、前記視野内を通過する車軸の数を計測する車軸数計測手段と、
を更に備えたことを特徴とする車両検知装置。