JP2016192177A - 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム - Google Patents

Abstract

【課題】並走する他の車両について、より多くの情報を取得できる車両検出システムを提供する。【解決手段】車両検出システム１００は、車両に搭載され、車両の側方を撮像して画像を示す撮像データを生成する撮像部１１と、撮像データが示すサイドビュー画像から、タイヤを検出するタイヤ検出部１３と、検出されたタイヤを含むサイドビュー画像内の領域において動き情報を算出する動き算出部１４と、サイドビュー画像から検出された複数のタイヤの動き情報を比較することで、同一の他車両のタイヤであるか否かを判断する車両認識部１５とを備えている。【選択図】図１

Description

本発明は、並走する他車両を検出する車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラムに関するものである。

従来、サイドミラーで視認できる範囲と同様の車両の側方から後方にかけての範囲を撮像するサイドビューカメラが車両に搭載されている。図８は、車両に対するサイドビューカメラの撮像範囲を示す模式図である。サイドビューカメラ５０１は、例えば車両Ｖの左右のドアミラーにそれぞれ設置され、車両Ｖの左右の後ろ側の範囲を撮影する。

サイドビューカメラで撮像された画像（以下、「サイドビュー画像」という。）を車内のモニタに表示することで、ドライバは、ドアミラーでは死角になる領域の状況を視認することができる。また、サイドビュー画像に対して画像解析を行い、自車両の側方で並走する車両を検出することで、危険を察知して、警告を発したり、ステアリングの負荷を増大させて衝突の危険がある車線変更を制限したりすることができる。

サイドビュー画像に基づいて危険を察知するためには、サイドビュー画像から正確に車両が検出されることが望まれる。しかしながら、サイドビュー画像に映る車両の態様は様々であり、例えば、図９（ａ）に示すように、サイドビュー画像に、並走する他車両の後方の一部分しか撮影されていないことがある。また、図９（ｂ）に示すように、走行する他車両には二輪車も含まれる。そこで、サイドビュー画像からタイヤを検出することで、他車両を検出する技術が提案されている（例えば、特許文献１）。

特開２００８−１３４８７７号公報

しかしながら、タイヤから車両の存在を検出する方法では、撮影範囲内に車両が存在していることは検知できるが、車両の進行方向の位置や車両の大きさまでも認識することはできない。例えば、一つのサイドビュー画像から前後に並ぶ２つのタイヤが検出された場合には、それらのタイヤが、図１０に示すように１台の前後方向に長い車両Ｖ１の前後のタイヤＴ１、Ｔ２である場合と、図１１に示すように前方の車両Ｖ２の後タイヤＴＲ２と後方の車両Ｖ３の前タイヤＴＦ３である場合とがある。単にタイヤから他車両を検出するのみでは、他車両の存在は認識できるものの、図１０の状況であるか図１１の状況であるかの判断ができない。

また、トラックやトレーラやバス等の大型車両の場合には、タイヤが前後方向に３つ以上並んで設けられることもあるが、このことも上記の判断を困難にしている。さらに、単にタイヤから他車両を検出するのみでは、その車両が普通車両であるのか、二輪車であるのか、大型車両であるのかの判断、すなわち車両タイプの判断もできない。

本発明は、並走する他の車両を検出する車両検出システムにおいて、他の車両についてより多くの情報を取得することを目的とする。

本発明の一態様は、車両検出システムであって、この車両検出システムは、車両に搭載され、前記車両の側方を撮像して撮像データを生成する撮像部と、前記撮像データが示す画像から、タイヤを検出するタイヤ検出部と、検出されたタイヤについて動き情報を算出する動き算出部と、前記画像から検出された複数のタイヤについての動き情報を比較することで、同一の他車両のタイヤであるか否かを判断する車両認識部とを備えた構成を有している。

この構成によれば、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一の他車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることができる。

上記の車両検出システムにおいて、前記動き検出部は、検出されたタイヤの周囲を含む動き算出領域でオプティカルフローを生成することで、前記動き情報を算出してよい。

この構成によれば、タイヤの周囲を含む動き算出領域でオプティカルフローが生成されて、動き情報が算出される。オプティカルフローを算出する動き算出領域がタイヤの周囲を含む領域であるので、タイヤの回転成分を含まず、タイヤの並進移動成分のみを含むオプティカルフローを生成できる。

上記の車両検出システムにおいて、前記動き情報は、速度及び方向の情報を含んでいてよく、前記車両認識部は、速度及び方向が同じである複数のタイヤを同一車両のタイヤであると判断してよい。

この構成によれば、同一車両の複数のタイヤは速度と方向が同じであることを利用して、検出された複数のタイヤが同一車両のものであるか否かを判断できる。なお、この時の速度及び方向は、自車両に対する相対的な速度及び方向であってよい。

上記の車両検出システムにおいて、前記車両認識部は、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、当該他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別してよい。

この構成によれば、他車両のタイヤ間の距離から他車両の大きさないし車両タイプが判別できるので、この情報を各種の制御に有効に活用できる。

上記の車両検出システムにおいて、前記車両認識部は、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、前記画像における検出されたタイヤの位置に基づいて、前記他車両の位置を求めてよい。

この構成によれば、同一の他車両の複数のタイヤが認識されると、そのうちのいずれが前方のタイヤでありいずれが後方のタイヤであるかを判断できるので、特に、前方のタイヤの位置に基づいて、他車両の先端の位置を推定でき、この情報を各種の制御に有効に活用できる。

上記の車両検出システムにおいて、前記車両認識部は、前記画像からタイヤが検出された場合において、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがないときは、他車両が存在すると認識してよい。

この構成によれば、検出されたタイヤが同一の他車両であると判断されなかった場合には、車両が存在していることが認識される。なお、「同一の他車両のタイヤであると判断される複数のタイヤがないとき」には、及び画像から複数のタイヤが検出されたがそれらが同一の他車両のものであると判断されなかった場合、及び画像から１つのタイヤしか検出されなかった場合が含まれる。

上記の車両検出システムにおいて、前記車両認識部は、前記画像から検出されたタイヤの大きさに基づいて、当該タイヤを備えた他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別してよい。

この構成によれば、タイヤの大きさから他車両の大きさや車両タイプを判断できる。特に、仮に同一車両のタイヤであると認定される複数のタイヤがない場合にも、他車両の大きさや車両タイプを判断できる。

上記の車両検出システムにおいて、前記車両認識部は、前記画像から検出されたタイヤの速度に基づいて、当該タイヤを備えた車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別してよい。

この構成によれば、タイヤの速度から他車両の大きさや車両タイプを判断できる。例えば、速度が所定の閾値よりも低い場合には、駆動装置によって駆動されていない自転車等であると判断できる。

上記の車両検出システムにおいて、前記タイヤ検出部は、前記画像内の一部領域である対象領域にてタイヤを検出してよい。

この構成によれば、タイヤの誤検出を軽減できる。なお、関心領域は、カメラの設置角度に応じて設定されてよい。

本発明の別の態様は、車両検出装置であって、この車両検出装置は、車両の側方を撮像して生成された撮像データを取得し、前記撮像データが示す画像から、タイヤを検出するタイヤ検出部と、検出されたタイヤについて動き情報を算出する動き算出部と、前記画像から検出された複数のタイヤについての動き情報を比較することで、同一の他車両のタイヤであるか否かを判断する車両認識部とを備えた構成を有している。

この構成によっても、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることができる。

本発明のさらに別の態様は、車両検出方法であって、この車両検出方法は、車両に搭載された撮像装置により、前記車両の側方を撮像して撮像データを生成する撮像ステップと、前記撮像データが示す画像から、タイヤを検出するタイヤ検出ステップと、検出されたタイヤについて動き情報を算出する動き算出ステップと、前記画像から検出された複数のタイヤについての動き情報を比較することで、同一車両のタイヤであるか否かを判断する車両認識ステップとを含む構成を有している。

この構成によっても、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることができる。

本発明のさらに別の態様は、車両検出プログラムであって、この車両検出プログラムは、コンピュータにて実行されることにより、前記コンピュータを、車両の側方を撮像して生成された撮像データを取得し、前記撮像データが示す画像から、タイヤを検出するタイヤ検出部と、検出されたタイヤについて動き情報を算出する動き算出部と、前記画像から検出された複数のタイヤについての動き情報を比較することで、同一の他車両のタイヤであるか否かを判断する車両認識部とを備えた車両検出装置として機能させる。

この構成によっても、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることができる。

本発明によれば、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることできる。

本発明の実施の形態に係る車両検出システムのブロック図 本発明の実施の形態に係る対象領域の例を示す図 本発明の実施の形態に係るタイヤ検出部の構成を示す図 本発明の実施の形態に係る動き算出領域の設定例を示す図 本発明の実施の形態に係るオプティカルフローの算出例を示す図 本発明の実施の形態に係る車両認識部の処理の例を示す図 本発明の実施の形態に係る車両検出システムの処理を示すフロー図 車両に対するサイドビューカメラの撮像範囲を示す模式図 （ａ）並走する他車両の後方の一部分しか映っていないサイドビュー画像の例を示す図 （ｂ）並走する二輪車が映っているサイドビュー画像の例を示す図 サイドビュー画像に１台の長い車両の前後のタイヤが映る状況を示す模式図 サイドビュー画像に前方の車両の後タイヤと後方の車両の前タイヤが映る状況を示す模式図

以下、本発明の実施の形態の車両検出システムについて、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施の形態に係る車両検出システムのブロック図である。車両検出システム１００は、車両に搭載される。車両検出システム１００は、自車両の側方を撮像してサイドビュー画像を示す撮像データを生成する撮像部１１と、サイドビュー画像の画像解析の対象とする領域を設定する対象領域設定部１２と、サイドビュー画像を解析して、タイヤを検出するタイヤ検出部１３と、タイヤ検出部１３にて検出されたタイヤを含むサイドビュー画像内の領域において動き情報を算出する動き算出部１４と、サイドビュー画像から検出された複数のタイヤの動き情報を比較することで、それらの複数のタイヤが同一車両のタイヤであるか否かを判断する車両認識部１５とを備えている。

タイヤ検出部１３、動き算出部１４、及び車両認識部１５は、車両検出装置１６を構成する。すなわち、本実施の形態の車両検出システムは、撮像部１１と車両検出装置１６とからなる。車両検出装置１６は、コンピュータが本実施の形態の車両検出プログラムを実行することで実現される。即ち、タイヤ検出部１３、動き検出部１３、及び車両認識部１５からなる車両検出装置１６は、車両検出プログラムを実行するコンピュータによって構成される。このコンピュータのハードウェアは車両に備えられる。車両検出プログラムは、車両の出荷時にインストールされていてもよいし、車両の購入後に所有者ないしはディーラによってインストールされてもよい。なお、車両検出装置１６は、必ずしも車両に搭載されていなくてもよく、車両と通信可能な他のコンピュータに実装されてもよい。

撮像部１１は、左右のドアミラーの各々に、自車両の側方及び後方を含む範囲を撮像する姿勢で設けられる。なお、撮像部１１の設置個所はこれに限られず、ドアミラーの付け根付近の車体に設けられてもよく、その他の場所に設けられてもよいが、並走する車両の側面を撮影できるように設けられる。

撮像部１１は、光学系及び撮像素子を含む小型のデジタルカメラであり、例えば３０ｆｐｓのフレームレートで連続的に撮像データを出力する。各フレームの撮像データは、サイドビュー画像を示すデータである。なお、本願で「画像」というときは、画像ファイルの形式を有しているか否か、及び何らかの媒体に表現されているか否かを問わずに、撮像データによって示される抽象的なイメージをいう。例えば、タイヤ検出部１３は、サイドビュー画像からタイヤを検出するが、このときのサイドビュー画像は、何らかの媒体に表現されていれているものでなくてよい。また、撮像データは、撮像部１１によって生成されるが、この撮像データは、車両検出装置１６において何らかの加工を施されてもよく、そのように加工されたデータも撮像データというものとする。

撮像部１１で生成された撮像データは、車両検出装置１６に出力されてそこで用いられるが、これに加えて、車内に備えられたモニタ等の他の機器に出力されてもよい。また、車両認識部１５における車両の認識結果は、車内に備えられたモニタから視覚情報の形式で出力されてよく、車内のスピーカから音声情報の形式で出力されてもよい。また、撮像データは、動画像ファイルの形式又は連続する静止画ファイルの形式で所定の記憶媒体に記憶されてもよい。

対象領域設定部１２は、撮像部１１から撮像データを取得して、サイドビュー画像のうちの一部領域である関心領域（Region Of Interest：ＲＯＩ）を対象領域として設定する。この関心領域は、自車両が走行する道路が平面であることを前提として、車両のタイヤという性質を考慮して、サイドビュー画像内において並走する車両のタイヤが検出され得ない領域を除いた領域として設定される。図２は対象領域の例を示す図である。図２の例は、自車両の左側の撮像部１１によって得られたサイドビュー画像を示しており、この場合には、サイドビュー画像２１の右下に対象領域２２が設定されている。なお、右側の撮像部１１によって得られたサイドビュー画像の場合には、サイドビュー画像の左下に対象領域が設定される。

対象領域２２は、固定であっても可変であってもよい。対象領域２２が可変である場合には、ユーザが自ら設定可能であってよい。また、対象領域２２が可変である場合には、撮像部１１の設置角度や検出の対象とするタイヤの最大距離などに基づいて、キャリブレーションを行うことで自動的に対象領域２２が設定されてもよい。また、対象領域２２が固定である場合には、その固定値を、サイドビュー画像２１を目視しながら設定してもよいし、撮像部１１の設置角度や検出の対象とするタイヤの最大距離などに基づいて、キャリブレーションを行うことで自動的に設定してもよい。

さらに、対象領域２２が可変である場合には、特定の対象領域変更操作を行わない限り対象領域２２を変更しないようにしてもよいし（静的な対象領域の可変設定）、走行中に、白線検知の結果や動き情報に基づいて設定してもよい（動的な対象領域の可変設定）。以下の処理は、以上のようにして設定された対象領域２２を処理対象として行われる。

図３は、タイヤ検出部１３の構成を示す図である。タイヤ検出部１３は、サイドビュー画像の対象領域２２からタイヤを検出する。タイヤ検出には、種々の画像解析方法を採用できるが、本実施の形態のタイヤ検出部１３は、パターンマッチングの手法を採用している。図３に示すように、タイヤ検出部１３は、検出窓設定部１３１と、特徴量抽出部１３２と、辞書記憶部１３３と、検出判定部１３４とを備えている。これらの検出窓設定部１３１と、特徴量抽出部１３２と、辞書記憶部１３３と、検出判定部１３４も、本実施の形態の検出プログラムがコンピュータによって実行されることで実現される機能である。

検出窓設定部１３１は、関心領域内に検出窓（枠）３１を設定する。特徴量抽出部１３２、検出判定部１３４における処理は、検出窓設定部１３１が設定する検出窓３１の対象領域２２内での位置又は大きさを変更して新たな検出窓３１を設定するごとに繰り返し行われる。特徴量抽出部１３２は、検出窓設定部１３１が検出窓３１を設定するごとに、その検出窓３１内の特徴点を抽出して、抽出された特徴点の特徴量ｘを算出する（以下、特徴点の抽出及び特徴量の算出をまとめて、「特徴量の抽出」という。）。

辞書記憶部１３３は、サイドビュー画像内に映るタイヤの多数の例を学習して得られた辞書Ｗが記憶されている。学習に用いるタイヤの画像は、車両中のタイヤ及びその周辺のみを含む画像である。また、学習に用いるタイヤの画像は、タイヤを側方ないし斜め側方から見たときの画像である。パターンマッチングの際に、タイヤが取り付けられる車両の違いによってマッチングの確率が低下しないように、学習用のタイヤ画像はタイヤ以外（車体や道路）の領域が小さくなるように用意される。

検出判定部１３４は、辞書Ｗと検出窓３１の特徴量ｘとを用いて、ｆ（ｘ）＝Ｗ^Tｘ＋ｂが正であるときは、その検出窓３１の画像をタイヤの画像であると判定し、ｆ（ｘ）＝Ｗ^Tｘ＋ｂが負であるときは、その検出窓３１の画像をタイヤ以外即ち背景の画像であると判定する。ここで、ｂはタイヤであると判定するための閾値である。

検出窓設定部１３１にて検出窓を対象領域内で移動させながら、また、検出窓の大きさを変えながら、上記の認識処理を繰り返し行う。これによって、入力された撮像データが示すサイドビュー画像において、タイヤの画像であると認識された検出窓がタイヤ画像の領域（以下、「タイヤ領域」という。）３２として検出される。サイドビュー画像に複数のタイヤ領域３２がある場合には、それらの複数のタイヤ領域３２がすべて検出される。

タイヤ検出部１３は、サイドビュー画像から複数のタイヤ領域が検出されると、その検出結果（サイドビュー画像におけるタイヤ領域の位置）を動き算出部１４に入力する。また、タイヤ検出部１３は、サイドビュー画像から１つのタイヤ領域が検出された場合には、その旨を車両認識部１５に出力する。

サイドビュー画像２１から複数のタイヤ領域３２が検出されると、動き算出部１４は、各タイヤ領域３２について、それより大きい動き算出領域４１を設定し、その動き算出領域４１内で特徴点を抽出し、特徴点の動き情報を算出する。特徴点の動き情報は、複数のフレームのサイドビュー画像２１において互いに対応する動き算出領域４１内の互いに対応する特徴点どうしを、サイドビュー画像２１内で結ぶことで生成される。このように、動き情報は特徴点の移動量及び移動方向の情報を含み、ここで、動き情報を算出するのに用いる複数のフレームの間隔は既知であるので、特徴点の移動量は即ち特徴点の速度を意味する。

図４は、動き算出領域４１の設定例を示す図である。図４の例では、２つのタイヤ領域３２ａ、３２ｂが検出されている。本実施の形態の動き算出部１４は、タイヤ領域３２ａ、３２ｂをそれぞれ含み、タイヤ領域３２ａ、３２ｂを左右方向及び上方向に所定の割合ないし所定の量だけ広げた領域を、それぞれ動き算出領域４１ａ、４１ｂとして設定する。

このように、タイヤ領域３２より大きい動き算出領域４１を設定するのは以下の理由による。即ち、動き算出部１４の目的は、動き情報として、車両の動き情報（速度及び方向）を求めることであるが、タイヤ上の点は車両の進行方向に移動しているとともに、タイヤの回転方向にも移動しているので、特にタイヤのホイール部分で特徴点が抽出されると、その動き方向は車両の移動方向のみならず、回転方向も含むことになる。従って、そのような回転方向の動きを有する部分の動き情報が算出されると、その車両の進行方向の動きの情報が正しく得られないことになる。

一方、上述のように、タイヤ検出部１３の辞書記憶部１３３の辞書の学習に用いられるタイヤ画像としては、極力タイヤ以外の部分を含まない画像が用いられているので、サイドビュー画像から抽出されたタイヤ領域３２にもタイヤ以外の部分が多くは含まれないことになる。そこで、本実施の形態の動き算出部１４は、パターンマッチングによってタイヤと判定されたタイヤ領域３２よりも若干広い範囲を動き算出領域４１として、動き情報を算出する。

具体的には、動き算出部１４は、複数のタイヤが検出された場合に、所定のフレーム間隔（例えば、３０ｆｐｓの場合には３フレーム間隔（０．１秒））にある２つのサイドビュー画像のそれぞれについて、動き算出領域４１から特徴点を抽出する。そして、各フレームの特徴点どうしを対応付けて、その間を結ぶことで、各特徴点のオプティカルフローを生成する。このオプティカルフローが動き情報となる。

図５は、オプティカルフローの算出例を示す図である。サイドビュー画像２１の左側の動き算出領域４１Ｌからは、特徴点ａ〜ｅが抽出されて、オプティカルフローｖａ〜ｖｅが算出される。また、サイドビュー画像２１の右側の動き算出領域４１Ｒからは、特徴点ｆ〜ｋが抽出されて、オプティカルフローｖｆ〜ｖｋが算出される。

図５に示すように、多くの特徴点は、ほぼ同じ方向に動いているが、特徴点ｅ、ｉ、ｋは、タイヤのホイール部分から抽出されており、タイヤの回転による動き成分を含んでいるため、他とは異なる方向を向いている。動き算出部１４は、このようなオプティカルフローが多くの他の特徴点と大きくずれている特徴点を除いて、動き算出領域４１Ｌと動き算出領域４１Ｒのそれぞれの動き情報を求める。具体的には、動き算出部１４は、各動き算出領域４１Ｌ、４１Ｒの各領域において複数のオプティカルフロー（他と大きくずれているもものを除く）を平均して各領域の動き情報とする。

車両認識部１５は、動き算出領域４１Ｌと動き算出領域４１Ｒの動き情報が動き算出部１４にて得られると、これを用いて車両を認識する。車両認識部１５は、動き算出領域４１Ｌの動き情報と動き算出領域４１Ｒの動き情報の大きさ（速度）及び方向が同じである場合に、両領域を同一車両の動き算出領域であると認識する。具体的には、車両認識部１５は、動き算出領域４１Ｌの動き情報と動き算出領域４１Ｒの動き情報の大きさ（速度）及び方向の差分が所定の閾値よりも小さい場合に、両領域が同一車両の動き算出領域である（すなわち両タイヤが同一車両のタイヤである）と認識する。

車両認識部１５は、複数の動き算出領域が同一車両の動き算出領域であると認識した場合には、その前方の動き算出領域の位置に基づいて、当該車両の位置を推定する。具体的には、車両認識部１５は、同一車両の動き算出領域であると認識された複数の動き算出領域の内の最も前方にある動き算出領域の位置からさらに所定の距離だけ前方の位置を当該車両（並走する他車両）の先端位置であると認識する。

また、車両認識部１５は、複数の動き算出領域を同一車両の動き算出領域であると認識した場合に、その間の距離を求める。図６は、車両認識部１５の処理の例を示す図である。具体的には、矩形の動き算出領域の下辺の中央を結ぶ線分６１の長さを求める。この線分６１の長さはタイヤ間の距離を表しており、車両の大きさを表している。３以上の動き算出領域が同一車両の動き算出領域であると判断される場合には、最も遠い２つの動き算出領域の間の距離を求める。

車両認識部１５は、さらに、同一車両のタイヤ間の距離に基づいて、並走する他車両の車両タイプを判別する。具体的には、車両認識部１５は、タイヤ間の距離が比較的短いときは二輪車であると判断し、タイヤ間の距離が中程度であるときは普通車であると判断し、タイヤ間の距離が比較的長いときはトラックやバス等の大型車両であると判断する。それぞれタイヤ間の距離を所定の閾値と比較することにより、上記の判別を行うことができる。また、３以上の動き算出領域が同一車両のものであると認識された場合に、大型車両であると判断してもよい。

但し、他車両が自車両から遠くにある場合には、他車両が自車両の近くにある場合と比較して、実際の長さに対して線分６１は短くなっているので、タイヤ間の距離を求めるのに、サイドビュー画像上での線分６１の長さをそのまま用いることはできない。そこで、車両認識部１５は、線分６１の位置に応じて換算をしてタイヤ間の距離を求める。

具体的には、車両認識部１５は、消失点６２からの距離に応じて、線分６１の長さを換算する。消失点６２に近いほど実際の距離は線分６１の長さに対して長くなる。消失点６２のサイドビュー画像２１内での位置は、既知の撮像部１１の配置（撮像方向）の情報を用い、かつ、自車両が前方に直進していると仮定することで、幾何学的に算出される。なお、車両認識部１５は、サイドビュー画像内の背景部分のオプティカルフローから消失点を算出してもよい。また、図６に示す白線６３ａ、６３ｂのように、サイドビュー画像から車両の進行方向に延びる複数の白線を検知した場合には、それらの交点を消失点として代用してもよい。

なお、車両認識部１５は、複数の動き算出領域４１が同一車両のものであるか否かの判定条件として、動き情報の大きさ及び方向が同じであるという上記の条件に加えて、二つの動き算出領域の下辺の中心を結ぶ線分が、（１）消失点に向かうこと、及び／又は、（２）検知された白線との間の角度が所定の範囲内にあること、という条件を付加して、判断をするようにしてもよい。

また、上記の実施の形態では、動き算出領域４１は、パターンマッチングによってタイヤであると判断された検出窓３１を含み、検出窓３１の左右方向及び上方向に拡大された領域として設定されたが（図４参照）、動き算出部１４は、図４における動き算出領域４１から検出窓３１を除いた「冂」字状の領域を動き算出領域としてオプティカルフローを生成してもよい。

また、車両認識部１５は、複数の動き算出領域が同一の他車両のものであると判断された場合に、車両の大きさ、ないし大きさに基づく車両タイプ、車両の位置等の他車両に関する情報を求めるが、これらに加えて、又は、これらに代えて、オプティカルフローの長さから他車両の自車両に対する相対速度を求め、及び／又は、オプティカルフローの方向から他車両の自車両に対する相対的な移動方向を求めてもよい。このような情報も、警告や車両制御等の制御に有効に活用できる。

なお、オプティカルフローから直接得られるのは、上述のように自車両に対する他車両の相対速度及び相対的な移動方向であれるが、これらから自車両の移動速度及び移動方向を減算して、他車両の地面に対する移動速度及び移動方向を求めてもよい。

さらに、他車両の移動速度が求められると、それに基づいて車両タイプを判断することもできる。即ち、エンジンやモータ等の駆動源を持たない車両の上限の速度（例えば３０ｋｍ／ｈ）を閾値として設定し、移動速度が当該閾値より低い動き算出領域は、例えば自転車等の駆動源を持たない車両であると認識することができる。この判断は、同一の他車両に属する複数の動き算出領域がない場合に特に有効である。即ち、同一の他車両に属する複数の動き算出領域がない場合であっても、動き算出領域の速度から、自転車であるか何らかの駆動源を有する車両（普通車、バイク、原付、大型車両等）であるかの判断が可能である。

車両認識部１５は、さらに、タイヤの大きさに基づいて、車両の大きさ、ないし大きさに基づく車両タイプを求めてもよい。例えば、Ｔ１、Ｔ２、Ｔ３を閾値として（但し、Ｔ１＜Ｔ２＜Ｔ３）、タイヤの大きさＳに応じて、Ｓ＜Ｔ１のときは原付、Ｔ１≦Ｓ＜Ｔ２のときは軽自動車、Ｔ２≦Ｓ＜Ｔ３のときは普通乗用車、Ｔ３≦Ｓのときは大型車両というように区別をすることができる。なお、上述のように、画像内の同じ大きさの物体であっても、遠い物体ほど小さく映るので、画像中のタイヤの大きさは小さくなる考慮して算出される。よって、画像における動き算出領域の大きさを直ちにタイヤの大きさとするのではなく、動き算出領域の位置に従って、動き算出領域の大きさから実空間でのタイヤの大きさを算出する。

動き算出領域の大きさに基づく車両タイプの判断は、同一の他車両に属する複数の動き算出領域がない場合に特に有効である。即ち、同一の他車両に属する複数の動き算出領域がない場合であっても、動き算出領域の大きさから、自転車であるか何らかの駆動源を有する車両（普通車、バイク、原付、大型車両等）であるかの判断が可能である。

車両検出システム１００が実装された車両（自車両）は、車両認識部１５における認識の結果、すなわち、他車両の大きさ、ないし大きさに基づく車両タイプ（普通車、二輪車、大型車両等）、他車両の位置（特に先端部の位置）、自車両に対する相対的速度や相対的移動方向等に基づいて、制御を行う。この制御としては、モニタを用いた表示、モニタ、ランプ、警告音を用いた警告、ステアリングの操作制限等の制御がある。

図７は、車両検出システム１００の処理を示すフロー図である。撮像部１１が撮像をしてサイドビュー画像を示す撮像データを生成すると（ステップＳ７１）、対象領域対象領域設定部１２が、撮像データが示すサイドビュー画像について対象領域を設定する（ステップＳ７２）。次に、タイヤ検出部１３が、対象領域からタイヤを検出する（ステップＳＳ７３）。具体的には上述した通りであり、タイヤ検出部１３は、検出窓を対象領域内でスライドさせながら辞書とのパターンマッチングを行う。

タイヤ検出の結果、タイヤが検出されなかった場合は（ステップＳ７４でＮＯ）、ステップＳ７１に戻って上記の処理を繰り返す。タイヤ検出の結果、タイヤが検出された場合において（ステップＳ７４でＹＥＳ）、１つのサイドビュー画像から複数のタイヤが検出されたときは（ステップＳ７５でＹＥＳ）、動き算出部１４は、検出された各タイヤの周囲にそれぞれ動き算出領域を設定して、動き情報を算出する（ステップＳ７６）。

動き情報が算出されると、車両認識部１５は、検出された複数のタイヤの間で動き情報を比較し（ステップＳ７７）、それらが同一である場合にはそれらのタイヤが同一の車両のものであると判断する（ステップＳ７８でＹＥＳ）。この場合には、タイヤ間の距離、タイヤの位置等に基づいて、他車両の大きさ、ないし、大きさに基づく車両タイプ、位置等の他車両に関する情報を求める（ステップＳ７９）。

そして、自車両は、車両認識部１５にて取得した他車両の情報に基づいて、表示、警告、車両制御等の制御を行う（ステップＳ８０）。また、１つのタイヤが検出された場合（ステップ（ステップＳ７５でＮＯ）、及び複数のタイヤが検出されたがそれらが同一の他車両の物でないと判断された場合（ステップＳ７８でＮＯ）は、車両認識部１５は、他車両の存在を示す車両有という認識結果を出力し、自車両はこの認識結果を受けて、並走する他車両が存在するという情報（但し、位置や大きさ等は不明）に基づく制御を行う（ステップＳ８１）。

車両検出システム１００は、撮像部１１が所定のフレーム間隔で撮像データを入力するごとに上記の処理を繰り返す。なお、上記の処理は、必ずしも撮像部１１から入力されるすべてのフレームについて行う必要はない。例えば撮像部１１が３０ｆｐｓで撮像をしている場合において、上記の処理を毎３フレームにつき１回の間隔（０．１秒間隔）で行ってもよい。

本発明は、画像から検出された複数のタイヤの動き情報を比較して同一車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報が得られるという効果を有し、並走する他車両を検出する車両検出システム等として有用である。

１００ 車両検出システム
１１ 撮像部
１２ 対象領域設定部
１３ タイヤ検出部
１３１ 検出窓設定部
１３２ 特徴量抽出部
１３３ 辞書記憶部
１３４ 検出判定部
１４ 動き算出部
１５ 車両認識部
２１ サイドビュー画像
２２ 対象領域
３１ 検出窓
３２ タイヤ領域
４１ 動き算出領域
６１ 線分
６２ 消失点
６３ａ、６３ｂ 白線

Claims (12)

1. 車両に搭載され、前記車両の側方を撮像して撮像データを生成する撮像部と、
   前記撮像データが示す画像から、タイヤを検出するタイヤ検出部と、
   検出されたタイヤについて動き情報を算出する動き算出部と、
   前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一の他車両のタイヤであるか否かを判断する車両認識部と、
   を備えたことを特徴とする車両検出システム。
2. 前記動き検出部は、検出されたタイヤの周囲を含む動き算出領域でオプティカルフローを生成することで、当該タイヤについての前記動き情報を算出することを特徴とする請求項１に記載の車両検出システム。
3. 前記動き情報は、速度及び方向の情報を含み、
   前記車両認識部は、速度及び方向が同じである複数のタイヤを同一車両のタイヤであると判断することを特徴とする請求項１又は２に記載の車両検出システム。
4. 前記車両認識部は、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、当該他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別することを特徴とする請求項１ないし３のいずれか一項に記載の車両検出システム。
5. 前記車両認識部は、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、前記画像における検出されたタイヤの位置に基づいて、前記他車両の位置を求めることを特徴とする請求項１ないし４のいずれか一項に記載の車両検出システム。
6. 前記車両認識部は、前記画像からタイヤが検出された場合において、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがないときは、他車両が存在すると認識することを特徴とする請求項１ないし５のいずれか一項に記載の車両検出システム。
7. 前記車両認識部は、前記画像から検出されたタイヤの大きさに基づいて、当該タイヤを備えた他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別することを特徴する請求項１ないし６のいずれか一項に記載の車両検出システム。
8. 前記車両認識部は、前記画像から検出されたタイヤの速度に基づいて、当該タイヤを備えた車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別することを特徴する請求項３に記載の車両検出システム。
9. 前記タイヤ検出部は、前記画像内の一部領域である対象領域にてタイヤを検出することを特徴とする請求項１ないし８のいずれか一項に記載の車両検出システム。
10. 車両の側方を撮像して生成された撮像データを取得し、前記撮像データが示す画像からタイヤを検出するタイヤ検出部と、
    検出されたタイヤについて動き情報を算出する動き算出部と、
    前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一の他車両のタイヤであるか否かを判断する車両認識部と、
    を備えたことを特徴とする車両検出装置。
11. 車両に搭載された撮像装置により、前記車両の側方を撮像して撮像データを生成する撮像ステップと、
    前記撮像データが示す画像から、タイヤを検出するタイヤ検出ステップと、
    検出されたタイヤについて動き情報を算出する動き算出ステップと、
    前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一車両のタイヤであるか否かを判断する車両認識ステップと、
    を含むことを特徴とする車両検出方法。
12. コンピュータにて実行されることにより、前記コンピュータを、
    車両の側方を撮像して生成された撮像データを取得し、前記撮像データが示す画像から、タイヤを検出するタイヤ検出部と、
    検出されたタイヤについて動き情報を算出する動き算出部と、
    前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一の他車両のタイヤであるか否かを判断する車両認識部と、
    を備えた車両検出装置として機能させることを特徴とする車両検出プログラム。

Images