JP2014153167A - 物体認識装置、物体認識方法及び物体認識プログラム - Google Patents
物体認識装置、物体認識方法及び物体認識プログラム Download PDFInfo
- Publication number
- JP2014153167A JP2014153167A JP2013022578A JP2013022578A JP2014153167A JP 2014153167 A JP2014153167 A JP 2014153167A JP 2013022578 A JP2013022578 A JP 2013022578A JP 2013022578 A JP2013022578 A JP 2013022578A JP 2014153167 A JP2014153167 A JP 2014153167A
- Authority
- JP
- Japan
- Prior art keywords
- sign
- recognition
- image
- highway section
- expressway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】標識認識処理によって道路標識を認識する際の処理負荷を低減する。
【解決手段】カメラＥＣＵ１０は、カメラ１１により自車両の前方を撮像した画像を標識認識部１３１によって解析して道路標識を認識する。標識認識部１３１は、高速道路区間判定部１３１ｃにより認識情報記憶部１３４に時系列で記憶されている標識の認識情報を参照して、走行中の道路が高速道路区間か否かを判定する。標識認識部１３１は、標識検出部１３１ａにより、高速道路区間か否かに対応して、道路標識を検出するためにカメラ１１が撮像した画像の走査範囲を変更するとともに、認識対象とする道路標識の種別を変更する。
【選択図】図１
【解決手段】カメラＥＣＵ１０は、カメラ１１により自車両の前方を撮像した画像を標識認識部１３１によって解析して道路標識を認識する。標識認識部１３１は、高速道路区間判定部１３１ｃにより認識情報記憶部１３４に時系列で記憶されている標識の認識情報を参照して、走行中の道路が高速道路区間か否かを判定する。標識認識部１３１は、標識検出部１３１ａにより、高速道路区間か否かに対応して、道路標識を検出するためにカメラ１１が撮像した画像の走査範囲を変更するとともに、認識対象とする道路標識の種別を変更する。
【選択図】図１
Description
本発明は、物体認識装置及びこれに用いるコンピュータプログラムに関し、特に、道路標識の認識に好適な装置と方法、及びこれに用いるコンピュータプログラムに関する。
車載カメラで撮像した道路標識を認識することにより、車両内に標識情報を表示（乗員への警報）したり、車両の速度設定を補助（速度制御）したりする装置がある。一般的に道路標識を認識するには、パターン認識、テンプレートマッチング等の技術が用いられている。例えば、特許文献１には、速度制限標識を認識する装置及び方法が開示されている。また、近年の車載用物体認識装置は、道路標識認識の他に、他の車両や歩行者などの認識も行い、１つの装置内で多種類の物体を認識対象とする物体認識と、これらの認識結果を利用した制御とが行われている。
特許文献１に記載された交通標識識別装置は、速度制限標識を認識するものであるが、欧州地域等では、追い越禁止や制限解除（全解除、速度制限解除、追越し禁止解除がある）等の標識も認識すると便利である。また、前記した標識だけでなく、それ以外の標識についても認識する方がより利便性が向上する。しかし、認識する標識の種類が増える程、誤認識の確率が上昇する。また、一般的にパターン認識は演算負荷が重い処理であるので、多種類の標識を同時に認識すると、標識認識処理の負荷（又はリソース使用量）が増大することになる。しかも、車載用の物体認識装置は、四輪自動車、二輪自動車、自転車、歩行者など、一つの装置内で多種類の対象物体の認識が行われるので、一つ一つの認識処理の負荷（又はリソース使用量）は制限しなければならない。
特許文献２には、直近に認識された標識を記憶し、この記憶標識に応じて、次に識別する標識のマッチング対象から出現可能性のない標識を除外することで、標識の誤認識を低減する車載用の標識識別装置が記載されている。
特許文献２に記載の物体認識装置は、認識処理の際のマッチング対象を選別することで、マッチング処理の回数を低減することはできるが、カメラで撮影した画像の全領域を検査するため、認識処理全体としての負荷はまだ大きいものである。
そこで、本発明は前記した問題を解決するために、道路区間に応じて標識認識処理の負荷を低減した車載用として利用できる物体認識装置、物体認識方法及び物体認識プログラムを提供することを課題とする。
所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識装置であって、前記画像を解析することで、前記道路標識を認識する標識認識手段と、前記標識認識手段が認識した標識認識結果を時系列に記憶する標識認識結果記憶手段と、前記標識認識結果記憶手段に記憶されている標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定手段と、を備える構成とした。
かかる構成において、物体認識装置は、前記高速道路区間判定手段によって、前記標識認識結果記憶手段に前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定する。また、物体認識装置は、前記標識認識手段によって、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更する。
このように、物体認識装置は、走行中の道路区間に対応して、当該道路区間に設置された標識の位置に応じた画像内の範囲について標識認識処理を行うことで、認識処理の負荷を低減する。
このように、物体認識装置は、走行中の道路区間に対応して、当該道路区間に設置された標識の位置に応じた画像内の範囲について標識認識処理を行うことで、認識処理の負荷を低減する。
請求項２に記載の発明は、請求項１に記載の物体認識装置において、前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、認識する対象とする道路標識の種別を変更するように構成した。
かかる構成によれば、物体認識装置は、走行中の道路区間に対応して、当該道路区間に設置された標識の種別に応じた標識認識処理を行うことで、道路標識の種別を識別するためのパターン認識などの処理負荷を低減する。
かかる構成によれば、物体認識装置は、走行中の道路区間に対応して、当該道路区間に設置された標識の種別に応じた標識認識処理を行うことで、道路標識の種別を識別するためのパターン認識などの処理負荷を低減する。
請求項３に記載の発明は、請求項１又は請求項２に記載の物体認識装置において、前記高速道路区間判定手段は、高速道路の開始を示す標識を認識したときから、高速道路の終了を示す標識を認識したときまでを、前記高速道路区間と判定するように構成した。
かかる構成によれば、物体認識装置は、道路標識の認識結果を用いて高速道路区間か否かの判定を行う。
かかる構成によれば、物体認識装置は、道路標識の認識結果を用いて高速道路区間か否かの判定を行う。
請求項４に記載の発明は、請求項３に記載の物体認識装置において、前記標識認識手段は、高速道路の走行車線上部に設けられる可変情報表示装置（ＶＭＳ；Variable Message Signs）によって表示される標識であるＶＭＳ標識を、前記高速道路区間において認識する対象とするように構成した。
かかる構成によれば、物体認識装置は、高速道路区間において、道路の左右に設置された標識に加えて、道路の上部に設置されたＶＭＳ標識を検出する。
かかる構成によれば、物体認識装置は、高速道路区間において、道路の左右に設置された標識に加えて、道路の上部に設置されたＶＭＳ標識を検出する。
請求項５に記載の発明は、請求項４に記載の物体認識装置において、前記高速道路区間判定手段は、前記ＶＭＳ標識を、前記高速道路区間の開始を示す標識に加えるように構成した。
かかる構成によれば、高速道路判定手段は、高速道路区間の開始を示す本来の道路標識又はＶＭＳ標識を認識したときから、走行中の道路が高速道路区間であると判定する。
かかる構成によれば、高速道路判定手段は、高速道路区間の開始を示す本来の道路標識又はＶＭＳ標識を認識したときから、走行中の道路が高速道路区間であると判定する。
請求項６に記載の発明は、請求項４又は請求項５に記載の物体認識装置において、前記撮像手段は、第１露光時間で第１画像を撮像するとともに、前記第１露光時間よりも長い第２露光時間で第２画像を撮像し、前記標識認識手段は、前記第１画像を用いて前記ＶＭＳ標識が撮像された画像領域を検出するＶＭＳ標識検出手段を有し、前記標識認識手段は、前記ＶＭＳ標識検出手段が検出した前記ＶＭＳ標識が撮像された画像領域に対応する領域の前記第２画像を用いて、前記ＶＭＳ標識の種別を識別し、前記第２露光時間は、前記第２画像において撮像されたＶＭＳ標識の画像に前記可変情報表示装置の点滅周期に起因する欠損が生じない露光時間であるように構成した。
かかる構成によれば、物体認識装置は、ＶＭＳ標識でない通常の標識については、露光時間が短い第１画像を用いて認識し、ＶＭＳ標識については、露光時間が長く、例えば、発光ダイオードを用いた表示装置で表示されたＶＭＳ標識を画像欠損なく撮像した第２画像を用いて認識する。
請求項７に記載の発明は、請求項６に記載の物体認識装置において、前記ＶＭＳ標識検出手段は、前記第１画像において、オプティカルフロー法により、前記高速道路区間における道路上部の静止物が撮像された画像領域を検出するとともに、当該静止物が撮像された画像領域の近傍に、前記第１画像のフレーム間の輝度差が大きい画像領域を、前記ＶＭＳ標識が撮像された画像領域として検出するように構成した。
かかる構成によれば、物体認識装置は、ＶＭＳ標識検出手段によって、第１画像にオプティカルフロー法を適用して動きベクトルを検出し、当該動きベクトルの、例えば、方向や長さなどの特徴を利用して、ＶＭＳ標識の表示装置又は表示装置が設置された設備である道路上部の静止物を検出する。物体認識装置は、更に、視認できない程度の短周期で明滅発光する方式で表示されたＶＭＳ標識の特徴を利用して、道路上部の静止物の近傍にフレーム間の輝度変化が大きな画像領域をＶＭＳ標識が撮像された画像領域として検出する。
請求項８に記載の発明は、請求項１ないし請求項７の何れか一項に記載の物体認識装置において、前記物体認識装置が搭載された車両の周囲の所定の範囲の領域について、歩行者の有無を検出する歩行者認識処理を行う歩行者認識手段を更に備え、前記歩行者認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間の場合に、前記歩行者認識処理を行わないように構成した。
かかる構成によれば、物体認識装置は、歩行者認識手段によって、非高速道路区間では歩行者認識処理を行い、歩行者がいない高速道路区間では歩行者認識処理を中断する。これによって、物体認識装置は、高速道路区間における物体認識処理の負荷又はリソースの使用量を低減することができる。
請求項９に記載の発明は、所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識方法であって、前記画像を解析することで、前記道路標識を認識する標識認識処理ステップと、前記標識認識処理ステップにおいて認識した標識認識結果を時系列に記憶する標識認識結果記憶ステップと、前記標識認識結果記憶ステップにおいて記憶した標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定処理ステップと、を含む手順とした。
かかる手順において、前記高速道路区間判定処理ステップにおいて、前記標識認識結果記憶ステップにおいて前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定する。また、前記標識認識処理ステップにおいて、前記高速道路区間判別処理ステップにおける判定結果が高速道路区間か非高速道路区間かに応じて、前記標識認識処理ステップにおいて道路標識を認識するために解析する前記画像内の領域を変更する。
このように、走行中の道路区間に対応して、当該道路区間に設置された標識の位置に応じた画像内の範囲について標識認識処理を行うことで、認識処理の負荷が低減される。
このように、走行中の道路区間に対応して、当該道路区間に設置された標識の位置に応じた画像内の範囲について標識認識処理を行うことで、認識処理の負荷が低減される。
また、請求項１に記載の物体認識装置は、一般的なコンピュータが備えるＣＰＵ（中央演算装置）、メモリなどのハードウェア資源を、標識認識手段、標識結果記憶手段、高速道路区間判定手段、として機能させるための請求項１０に記載の物体認識プログラムによって実現することもできる。
請求項１、請求項９又は請求項１０に記載の発明によれば、当該道路区間に対応して、画像内の解析する範囲が変更されるため、標識認識処理のための処理負荷又はリソース使用量を低減することができる。
請求項２に記載の発明によれば、当該道路区間に対応して、道路標識の種別を識別するためのパターン認識などの処理負荷が低減されるため、標識認識処理のための処理負荷又はリソース使用量を更に低減することができる。
請求項２に記載の発明によれば、当該道路区間に対応して、道路標識の種別を識別するためのパターン認識などの処理負荷が低減されるため、標識認識処理のための処理負荷又はリソース使用量を更に低減することができる。
請求項３に記載の発明によれば、物体認識装置は、道路標識の認識結果を用いて高速道路区間か否かの判定を行うため、他の特別な装置を用いることなく高速道路区間か否かを判定することができる。
請求項４に記載の発明によれば、物体認識装置は、高速道路区間においてのみ道路上部に設置されたＶＭＳ標識を検出し、非高速道路区間において、道路の左右に設置された道路標識のみを認識することで、非高速道路区間における標識認識処理の負荷又はリソース使用量を低減することができる。
請求項５に記載の発明によれば、高速道路判定手段は、高速道路区間の開始を示す本来の道路標識又はＶＭＳ標識を認識したときから、走行中の道路が高速道路区間であると判定するため、例えば、高速道路の入り口で高速道路区間の開始を示す標識の認識に失敗した場合でも、ＶＭＳ標識が高速道路区間に設置される地域においては、高速道路区間であることを適切に判定することができる。
請求項４に記載の発明によれば、物体認識装置は、高速道路区間においてのみ道路上部に設置されたＶＭＳ標識を検出し、非高速道路区間において、道路の左右に設置された道路標識のみを認識することで、非高速道路区間における標識認識処理の負荷又はリソース使用量を低減することができる。
請求項５に記載の発明によれば、高速道路判定手段は、高速道路区間の開始を示す本来の道路標識又はＶＭＳ標識を認識したときから、走行中の道路が高速道路区間であると判定するため、例えば、高速道路の入り口で高速道路区間の開始を示す標識の認識に失敗した場合でも、ＶＭＳ標識が高速道路区間に設置される地域においては、高速道路区間であることを適切に判定することができる。
請求項６に記載の発明によれば、物体認識装置は、ＶＭＳ標識か否かに応じて、異なる露光時間で撮像した画像を用いて標識認識処理を行うため、何れの道路標識も適切に認識することができる。
請求項７に記載の発明によれば、物体認識装置は、ＶＭＳ標識の設置場所の特徴及びＶＭＳ標識の表示特性を利用して、適切にＶＭＳ標識が撮像された画像領域を検出することができる。このため、ＶＭＳ標識を精度よく認識することができる。
請求項８に記載の発明によれば、物体認識装置は、高速道路区間では歩行者認識処理を中断して物体認識処理の負荷又はリソース使用量を低減するため、高速道路区間と非高速道路区間とで負荷又はリソース使用量が変化する標識認識処理と合わせた物体認識処理全体として、負荷又はリソース使用量を最適化することができる。
請求項７に記載の発明によれば、物体認識装置は、ＶＭＳ標識の設置場所の特徴及びＶＭＳ標識の表示特性を利用して、適切にＶＭＳ標識が撮像された画像領域を検出することができる。このため、ＶＭＳ標識を精度よく認識することができる。
請求項８に記載の発明によれば、物体認識装置は、高速道路区間では歩行者認識処理を中断して物体認識処理の負荷又はリソース使用量を低減するため、高速道路区間と非高速道路区間とで負荷又はリソース使用量が変化する標識認識処理と合わせた物体認識処理全体として、負荷又はリソース使用量を最適化することができる。
本発明の実施形態を、道路標識を認識する標識認識部を備えた車載用のカメラＥＣＵ（Electronic Control Unit；電子制御ユニット）を例として説明する。なお、以降の説明においては、特に断らない限り、「標識」とは「道路標識」を指すものとする。また、以降の説明において、「標識を認識する」とは、特に断らない限り、画像内で標識が撮像された画像領域を検出し、更に検出した画像領域に撮像されている標識の種別を識別することをいうものとする。
＜第１実施形態＞
まず、図１を参照して、本発明の第１実施形態に係るカメラＥＣＵの構成について説明する。
［カメラＥＣＵの構成］
図１に示すように、第１実施形態に係るカメラＥＣＵ１０は、カメラ１１、画像取得部１２、物体認識部１３及び制御部１４を備えている。
カメラＥＣＵ１０は、カメラ１１を用いて、所定の周期で当該カメラＥＣＵ１０を搭載した車両（以下、適宜に「自車両」という）の前方を撮像し、この撮像した画像を物体認識部１３によってリアルタイムに解析することで、標識を含め、他の車両や人、障害物などの物体を認識する装置である。
まず、図１を参照して、本発明の第１実施形態に係るカメラＥＣＵの構成について説明する。
［カメラＥＣＵの構成］
図１に示すように、第１実施形態に係るカメラＥＣＵ１０は、カメラ１１、画像取得部１２、物体認識部１３及び制御部１４を備えている。
カメラＥＣＵ１０は、カメラ１１を用いて、所定の周期で当該カメラＥＣＵ１０を搭載した車両（以下、適宜に「自車両」という）の前方を撮像し、この撮像した画像を物体認識部１３によってリアルタイムに解析することで、標識を含め、他の車両や人、障害物などの物体を認識する装置である。
カメラＥＣＵ１０が認識した標識等の認識結果である認識情報は、警報装置２０、表示装置３０、制御ＥＣＵ４０などの他の装置やＥＣＵに出力され、各種の運転の支援のために用いられる。例えば、不図示の速度検知部によって検知された自車両の速度と、カメラＥＣＵ１０が認識した標識で示される速度規制情報等とに基づき、警報や自車両の速度制御などに利用される。
また、本実施形態に係るカメラＥＣＵ１０は、物体認識部１３によって標識を認識する際に、自車両が走行中の道路が高速道路区間か非高速道路区間かに対応して、カメラ１１で撮像した画像内において標識が撮像された画像領域を検出するための走査領域と、検出した画像領域について識別対象とする標識の種別と、を変更するものである。これによって、標識の認識処理の負荷又はリソース使用量を低減することができる。
なお、高速道路区間か否かに対応して、走査する画像領域と、識別対象とする標識の種別との詳細については後記する。
なお、高速道路区間か否かに対応して、走査する画像領域と、識別対象とする標識の種別との詳細については後記する。
カメラ１１は、例えば、車両のフロントガラス付近に設置され、車両の前方を撮像し、画像データを生成する。カメラ１１は、撮像した画像データを画像取得部１２に出力する。カメラ１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子やＣＣＤ（Charge Coupled Device）撮像素子などを用いたデジタルカメラを用いることができる。また、カメラ１１は、モノクロ画像を撮像するものでもよいが、標識の検出及び識別をする際に標識の色彩情報を利用できるように、カラー画像を撮像するものが好ましい。
また、カメラ１１は、所定のフレーム率、例えば、３０〜６０ｆｐｓ（フレーム／秒）程度で常時撮像してもよいし、物体認識処理のための所定のサイクルに合わせて、間欠的に撮像するようにしてもよい。なお、フレーム率は、この範囲に限定されるものではなく、更に低くてもよく、更に高くてもよい。
なお、本実施形態では、標識を認識するために、カメラ１１によって撮像された車両前方の画像を用いるが、更に他のカメラを搭載し、車両の側方や後方を撮像し、他の車両、歩行者、障害物などの物体の認識に用いるようにしてもよい。また、以降の説明では、特に断らない限り、車両の前方を撮影するカメラ１１で撮像した画像を用いて標識の認識を行うものとする。
画像取得部１２は、カメラ１１が撮像した画像データを入力し、入力した画像データを物体認識部１３へ出力するインターフェース部である。
物体認識部１３は、カメラ１１が撮像した車両前方の画像データを、画像取得部１２を介して入力し、標識を含めた各種物体を認識する画像認識手段である。
物体認識部１３は、標識を認識する標識認識部１３１と、他の車両を認識する車両認識部１３２と、歩行者を認識する歩行者認識部１３３と、各認識部１３１〜１３３による認識結果である認識情報を記憶する認識情報記憶部１３４と、を備えている。物体認識部１３は、各種物体についての認識情報を、制御部１４を介して、警報装置２０、表示装置３０及び制御ＥＣＵ４０などに出力する。
なお、物体認識部１３は、図１に示した例に限定されず、更に他の種類の物体を認識する手段を設けるようにしてもよい。
物体認識部１３は、標識を認識する標識認識部１３１と、他の車両を認識する車両認識部１３２と、歩行者を認識する歩行者認識部１３３と、各認識部１３１〜１３３による認識結果である認識情報を記憶する認識情報記憶部１３４と、を備えている。物体認識部１３は、各種物体についての認識情報を、制御部１４を介して、警報装置２０、表示装置３０及び制御ＥＣＵ４０などに出力する。
なお、物体認識部１３は、図１に示した例に限定されず、更に他の種類の物体を認識する手段を設けるようにしてもよい。
物体認識部１３は、画像認識を高速にリアルタイム処理するために、専用のハードウェア回路、例えば、ＦＰＧＡ（Field Programable Gate Array）又はＤＳＰ（Digital Signal Processor）を用いて構成するようにしてもよく、汎用のＣＰＵ（Central Processing Unit）を用いて構成することもできる。
また、物体認識部１３は、ＦＰＧＡなどのハードウェア回路とＣＰＵとを組み合わせて、処理を分担して行うように構成することもできる。例えば、物体認識部１３が行う処理の内で、認識処理の前処理として行うフィルタ処理や階調補正などの画像処理やパターン認識処理のような負荷の大きな処理は、ハードウェア回路を用いて処理するように構成し、認識情報を用いた判断や制御はＣＰＵを用いて行うようにしてもよい。
標識認識部１３１は、カメラ１１が撮像した車両前方の画像データを用いて、標識を認識する手段である。
本実施形態における標識認識部１３１は、標識検出部１３１ａと、標識識別部１３１ｂと、高速道路区間判定部１３１ｃと、を備えている。
本実施形態における標識認識部１３１は、標識検出部１３１ａと、標識識別部１３１ｂと、高速道路区間判定部１３１ｃと、を備えている。
標識検出部１３１ａは、高速道路区間及び非高速道路区間の道路の左右及び上部に設けられた標識を検出するための手段である。標識検出部１３１ａは、検出した標識が撮像された画像領域についての情報を、標識識別部１３１ｂに出力する。
なお、標識検出部１３１ａから標識識別部１３１ｂに出力する画像領域についての情報は、標識が撮像された画像領域の画像データを切り出したものであってもよいし、当該画像領域の範囲を示す位置情報であってもよい。
なお、標識検出部１３１ａから標識識別部１３１ｂに出力する画像領域についての情報は、標識が撮像された画像領域の画像データを切り出したものであってもよいし、当該画像領域の範囲を示す位置情報であってもよい。
標識検出部１３１ａは、カメラ１１が撮像した車両前方の画像において、高速道路区間か非高速道路区間かに対応して予め定められた標識認識領域（図４参照）を走査することで、高速道路区間か非高速道路区間かに対応して予め定められた認識対象とする標識（図５参照）が撮像された画像領域を検出する。画像領域の検出法としては、例えば、認識対象とする標識の図形の形状又は形状及び色の情報を用いて検出することができる。例えば、速度規制などの規制標識は赤い太線で縁取られた円形の図形を有し、給油や救護のサービスを示す標識は青い太線で縁取られた四角形の図形を有することを特徴として検出することができる。
標識識別部１３１ｂは、標識検出部１３１ａから、標識が撮像された画像領域についての情報を入力し、当該画像領域に撮像されている標識の種別を識別するための手段である。標識識別部１３１ｂは、当該画像領域に撮像されている標識が、高速道路区間か非高速道路区間かに対応して予め定められた認識対象とする標識（図５参照）の何れに一致するかを、例えば、テンプレートマッチングや文字認識の技術を用いて識別する。
標識識別部１３１ｂは、識別した標識を、認識情報記憶部１３４に時系列に記憶する。
標識識別部１３１ｂは、識別した標識を、認識情報記憶部１３４に時系列に記憶する。
高速道路区間判定部１３１ｃは、認識情報記憶部１３４に記憶されている標識識別部１３１ｂが識別した標識の認識情報を用いて、自車両が走行している道路が高速道路区間か非高速道路区間かを判定する手段である。
本実施形態においては、高速道路区間判定部１３１ｃは、標識識別部１３１ｂによって高速道路区間の開始を示す標識を認識した地点から、標識識別部１３１ｂによって高速道路区間の終了を示す標識を認識した地点までを高速道路区間と判定する。
ここで、高速道路とは、例えば、ドイツにおいては、アウトバーンと自動車専用道路とが該当し、自動車のみが通行できる道路を指すものである。
なお、高速道路区間判定処理の詳細については後記する。
本実施形態においては、高速道路区間判定部１３１ｃは、標識識別部１３１ｂによって高速道路区間の開始を示す標識を認識した地点から、標識識別部１３１ｂによって高速道路区間の終了を示す標識を認識した地点までを高速道路区間と判定する。
ここで、高速道路とは、例えば、ドイツにおいては、アウトバーンと自動車専用道路とが該当し、自動車のみが通行できる道路を指すものである。
なお、高速道路区間判定処理の詳細については後記する。
車両認識部１３２は、カメラ１１が撮像した車両前方の画像データを用いて、他の車両の位置を認識する手段である。
また、歩行者認識部（歩行者認識手段）１３３は、カメラ１１が撮像した車両前方の画像データを用いて、自車両の周囲の所定の範囲の領域について歩行者の有無を認識する手段であり、当該歩行者の位置を認識することが更に好ましい。なお、ここで歩行者とは、歩行中の人物に限定されるものではなく、立位、座位、伏臥の姿勢の人物など、人物全般を指すものである。また、本実施形態において、歩行者を認識する自車両の周囲の所定の範囲の領域は、自車両の前方（進行方向）であるが、これに限定されるものではなく、更に他のカメラ画像を用いて、自車両の側方や後方についても歩行者の認識を行うようにしてもよい。
また、歩行者認識部（歩行者認識手段）１３３は、カメラ１１が撮像した車両前方の画像データを用いて、自車両の周囲の所定の範囲の領域について歩行者の有無を認識する手段であり、当該歩行者の位置を認識することが更に好ましい。なお、ここで歩行者とは、歩行中の人物に限定されるものではなく、立位、座位、伏臥の姿勢の人物など、人物全般を指すものである。また、本実施形態において、歩行者を認識する自車両の周囲の所定の範囲の領域は、自車両の前方（進行方向）であるが、これに限定されるものではなく、更に他のカメラ画像を用いて、自車両の側方や後方についても歩行者の認識を行うようにしてもよい。
車両認識部１３２及び／又は歩行者認識部１３３は、カメラ１１が撮像した車両前方の画像データに加えて、他のカメラ（不図示）が撮影した車両の側方や後方の画像データを用いて車両や歩行者を認識するように構成することもできる。
車両認識部１３２及び歩行者認識部１３３は、認識結果を認識情報記憶部１３４に記憶する。
車両認識部１３２及び歩行者認識部１３３は、認識結果を認識情報記憶部１３４に記憶する。
また、歩行者認識部１３３は、高速道路区間判定部１３１ｃが非高速道路区間と判定した区間において歩行者認識処理を行い、高速道路区間判定部１３１ｃが高速道路区間と判定した区間において歩行者認識処理を中断するようにしてもよい。特に画像処理による歩行者の認識処理は、処理の負荷が大きい。このため、高速道路区間において、本実施形態のように、標識認識部１３１が標識の認識処理を行う対象とする画像領域が多くなる場合や、後記する第２実施形態のように、更にＶＭＳ標識の認識のために負荷の大きな処理を行う場合には、歩行者認識処理と標識認識処理とを合わせた物体認識処理の負荷を効果的に最適化することができる。
なお、歩行者認識部１３３による歩行者認識処理の手法は特に限定されるものではない。例えば、標識検出部１３１ａによる道路標識の検出処理と同様に、テンプレートを用いたパターンマッチングにより、予め定めた歩行者の形状を検出することで歩行者の有無を認識することができる。パターンマッチングの手法を用いる場合は、歩行者の様々な姿勢に対応した複数のテンプレートを用いることが好ましい。
また、カメラ１１が撮影した画像から個々の物体の領域を検出し、検出した領域の縦横比が所定の範囲に該当する物体を歩行者であると認識することもできる。また、人体の形状を、例えば、頭部、首、肩、足などに分解して検出し、更にこれらの要素の接続関係を利用して歩行者であることを認識することもできる。
また、歩行者認識処理は、画像処理によって歩行者を認識するものに限らず、例えば、レーダー装置を用いるものであってもよい。その他、種々の歩行者（人物）認識手法を用いることができる。更に、これらの中の複数の手法を組み合わせて用いるようにしてもよい。
また、歩行者認識処理は、画像処理によって歩行者を認識するものに限らず、例えば、レーダー装置を用いるものであってもよい。その他、種々の歩行者（人物）認識手法を用いることができる。更に、これらの中の複数の手法を組み合わせて用いるようにしてもよい。
認識情報記憶部１３４は、標識認識部１３１、車両認識部１３２及び歩行者認識部１３３が認識した認識結果である認識情報を、時系列で記憶する手段である。
認識情報記憶部１３４に記憶された認識情報は、高速道路区間判定部１３１ｃによって参照される。また、認識情報記憶部１３４に記憶されている認識情報は、例えば、制御部１４によって参照され、各種アプリケーション機能に伝送される。
認識情報記憶部１３４に記憶された認識情報は、高速道路区間判定部１３１ｃによって参照される。また、認識情報記憶部１３４に記憶されている認識情報は、例えば、制御部１４によって参照され、各種アプリケーション機能に伝送される。
また、本実施形態では、認識情報記憶部１３４は、揮発性メモリと不揮発性メモリとを備え、物体認識部１３が認識した認識情報は、揮発性メモリ及び不揮発性メモリの両方に記憶される。通常の動作時は、揮発性メモリに記憶した認識情報が用いられる。また、装置の電源をＯＦＦされた後に、電源が再投入された場合に、不揮発性メモリに記憶されている認識情報が、揮発性メモリのその認識情報に対応する領域に複写され、以後の動作の際に用いられる。これによって、電源を一旦ＯＦＦしても、電源を再投入することで、認識情報を連続して利用することができる。例えば、高速道路のパーキングエリアに駐車する際に電源をＯＦＦしても、高速道路区間の開始を示す標識を識別した認識情報が保存されているため、電源を再投入した後でも高速道路区間を正しく判定することができる。
制御部１４は、物体認識部１３から各種物体についての認識情報を用いて、各種アプリケーション機能との通信処理等を行うものである。
また、本実施形態においては、カメラＥＣＵ１０は、図示しないが、画像取得部１２を介して入力されるカメラ１１が撮像した画像データを一時的に保持するフレームバッファメモリ、装置内で必要とする諸々の情報を記憶するメモリなどを有している。
前記した認識情報記憶部１３４、フレームバッファメモリ、その他の情報用のメモリなどは、それらの使用量や使用形態に応じて、ＦＰＧＡ、ＤＳＰ、ＣＰＵの内部メモリ、外部メモリなどを適宜に用いて構成することができる。
前記した認識情報記憶部１３４、フレームバッファメモリ、その他の情報用のメモリなどは、それらの使用量や使用形態に応じて、ＦＰＧＡ、ＤＳＰ、ＣＰＵの内部メモリ、外部メモリなどを適宜に用いて構成することができる。
警報装置２０、表示装置３０及び制御ＥＣＵ４０は、カメラＥＣＵ１０の制御部１４を介して、各種のアプリケーション機能を実行するよう設けられている。警報装置２０は、カメラＥＣＵ１０から入力した各種物体の認識情報に基づいて危険な状態を検知した場合に、アラームや音声などにより危険を知らせる装置である。また、表示装置３０は、カメラＥＣＵ１０から入力した各種物体の認識情報や、認識情報から判断される車両の運転状況などを表示する装置である。また、制御ＥＣＵ４０は、不図示のブレーキ制御やステアリング制御と連携しており、カメラＥＣＵ１０による物体の認識情報を用いて判断される車両の運転状況に応じて、例えば、衝突回避の動作を行うようなアプリケーションを実行させることもできる。
［カメラＥＣＵの動作］
次に、図２を参照（適宜図１参照）して、第１実施形態に係るカメラＥＣＵ１０による標識の認識処理である標識認識処理の動作について説明する。なお、本実施形態では、カメラＥＣＵ１０は、物体認識部１３の標識認識部１３１によって、カメラ１１が撮像した車両前方の画像データを用いて標識認識処理を行う。また、標識認識処理は、予め定められた所定のサイクル（周期）で繰り返し実行される。この所定のサイクルは、カメラ１１のフレーム率に相当する周期と同じか、これよりも長い周期とすることができ、例えば、１６ミリ秒から１秒（６０〜１Ｈｚ）程度とすることができる。
次に、図２を参照（適宜図１参照）して、第１実施形態に係るカメラＥＣＵ１０による標識の認識処理である標識認識処理の動作について説明する。なお、本実施形態では、カメラＥＣＵ１０は、物体認識部１３の標識認識部１３１によって、カメラ１１が撮像した車両前方の画像データを用いて標識認識処理を行う。また、標識認識処理は、予め定められた所定のサイクル（周期）で繰り返し実行される。この所定のサイクルは、カメラ１１のフレーム率に相当する周期と同じか、これよりも長い周期とすることができ、例えば、１６ミリ秒から１秒（６０〜１Ｈｚ）程度とすることができる。
図２に示すように、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路が高速道路区間か否（非高速道路区間）かを、認識情報記憶部１３４に時系列で記憶されている標識識別部１３１ｂが識別した標識の認識情報を用いて判定する（ステップＳ１０１）。なお、高速道路区間判定部１３１ｃによる高速道路区間判定処理の詳細については後記する。
判定結果が高速道路区間である場合は（ステップＳ１０１でＹｅｓ）、カメラＥＣＵ１０は、標識検出部１３１ａによって、カメラ１１が撮像した画像内の全標識認識領域（Ａ＋Ｂ）について、ラスタスキャンする（ステップＳ１０２）。
ここで、図４を参照して、カメラ１１が撮像した画像において、標識を検出する画像領域である標識認識領域について説明する。
図４に示すように、画像Ｇの水平方向の画像幅をＸ、垂直方向の画像高さをＹとする。例えば、図１０に示すように、画像Ｇには、上部領域にＶＭＳ（Variable Message Signs；可変情報表示方式）標識などの道路の上部に設けられた標識が撮像され、中部領域に道路の左右に設けられた標識が撮像される。そこで、本実施形態においては、画像Ｇの上半分の領域の更に下半分の領域ＲＡを、道路の左右に設けられた標識を検出するための左右標識認識領域（Ａ）とし、画像Ｇの上半分の領域の更に上半分の領域ＲＢを、ＶＭＳ標識などの道路の上部に設けられた標識を検出するための上部標識認識領域（Ｂ）とする。
図４に示すように、画像Ｇの水平方向の画像幅をＸ、垂直方向の画像高さをＹとする。例えば、図１０に示すように、画像Ｇには、上部領域にＶＭＳ（Variable Message Signs；可変情報表示方式）標識などの道路の上部に設けられた標識が撮像され、中部領域に道路の左右に設けられた標識が撮像される。そこで、本実施形態においては、画像Ｇの上半分の領域の更に下半分の領域ＲＡを、道路の左右に設けられた標識を検出するための左右標識認識領域（Ａ）とし、画像Ｇの上半分の領域の更に上半分の領域ＲＢを、ＶＭＳ標識などの道路の上部に設けられた標識を検出するための上部標識認識領域（Ｂ）とする。
ここで、道路にはカーブがあるため、道路の左右に設けられた標識が撮像される位置は、水平方向の広範囲に亘る。このため、左右標識認識領域（Ａ）は、画像Ｇの水平方向Ｘの全幅とすることが好ましい。
また、道路の上部に設けられたＶＭＳ標識などの上部標識は、自車両から遠方にあるときには、領域ＲＡに撮像され、自車両に近づくと領域ＲＢに撮像される。従って、上部標識を認識するためには、領域ＲＡ及び領域ＲＢを検出領域として走査することが好ましい。なお、上部標識が遠方にあるときには、認識対象から除外するようにして、領域ＲＢのみを上部標識認識領域（Ｂ）とすることもできる。
また、道路の上部に設けられたＶＭＳ標識などの上部標識は、自車両から遠方にあるときには、領域ＲＡに撮像され、自車両に近づくと領域ＲＢに撮像される。従って、上部標識を認識するためには、領域ＲＡ及び領域ＲＢを検出領域として走査することが好ましい。なお、上部標識が遠方にあるときには、認識対象から除外するようにして、領域ＲＢのみを上部標識認識領域（Ｂ）とすることもできる。
なお、左右標識認識領域（Ａ）とする領域ＲＡ及び上部標識認識領域（Ｂ）とする領域ＲＢは、図４に示した例に限定されず、カメラ１１の画角や光軸の設定方向、それぞれ認識対象とする標識が設けられる位置や認識するタイミング（自車両と標識との距離）などに応じて、適宜に設定するようにすることができる。
図２を参照（適宜図１参照）して、カメラＥＣＵ１０による標識認識処理について説明を続ける。
カメラＥＣＵ１０は、標識認識部１３１の標識検出部１３１ａによって、高速道路区間において標識を検出する画像領域として、左右標識認識領域（Ａ）と上部標識認識領域（Ｂ）とからなる全標識認識領域（Ａ＋Ｂ）をラスタスキャンしながら、高速道路区間で認識対象とする標識群の何れかの図形的特徴を有する画像領域を検出する標識検出処理を行う（ステップＳ１０３）。
カメラＥＣＵ１０は、標識認識部１３１の標識検出部１３１ａによって、高速道路区間において標識を検出する画像領域として、左右標識認識領域（Ａ）と上部標識認識領域（Ｂ）とからなる全標識認識領域（Ａ＋Ｂ）をラスタスキャンしながら、高速道路区間で認識対象とする標識群の何れかの図形的特徴を有する画像領域を検出する標識検出処理を行う（ステップＳ１０３）。
標識検出処理は、カメラ１１が撮像したカラー画像から必要な色成分を抽出した画像や輝度画像などを用いて行う。標識検出処理は、形状（円、四角、三角など）と色（赤、青、黄など）とで標識が撮像された画像領域であることを検出する。形状の検出は、ハフ変換などの技術を用いることができる。
また、カメラＥＣＵ１０は、標識検出部１３１ａによって、所定の標識認識領域についてラスタスキャンが終了したかを確認し（ステップＳ１０４）、終了していない場合は（ステップＳ１０４でＮｏ）、ステップＳ１０２に戻る。また、ラスタスキャンが終了した場合は（ステップＳ１０４でＹｅｓ）、ステップＳ１０５に進む。
すなわち、ラスタスキャン（ステップＳ１０２）及び標識検出処理（ステップＳ１０３）は、所定の標識認識領域についてラスタスキャンが終了するまで（ステップＳ１０４）、繰り返し行われる。
すなわち、ラスタスキャン（ステップＳ１０２）及び標識検出処理（ステップＳ１０３）は、所定の標識認識領域についてラスタスキャンが終了するまで（ステップＳ１０４）、繰り返し行われる。
ここで、図５を参照して、各道路区間で認識対象とする標識について説明する。なお、図５に示した標識の例は、ドイツにおいて用いられているものであるが、これに限定されるものではなく、車両が走行する国に応じて、適宜に認識対象とする標識を定めることができる。
図５に示すように、本実施形態において認識対象とする標識は、Ａ群〜Ｄ群に分類される。
Ａ群に含まれる標識Ａ１〜Ａ５は、高速道路区間及び非高速道路区間の両方に設けられるものであり、両方の区間で認識の対象とする。Ａ群には、各種の規制標識とその規制解除標識が含まれる。例えば、標識Ａ１は速度を６０ｋｍ／ｈに規制する標識であり、標識Ａ３は、６０ｋｍ／ｈの速度規制を解除する標識である。
Ａ群に含まれる標識Ａ１〜Ａ５は、高速道路区間及び非高速道路区間の両方に設けられるものであり、両方の区間で認識の対象とする。Ａ群には、各種の規制標識とその規制解除標識が含まれる。例えば、標識Ａ１は速度を６０ｋｍ／ｈに規制する標識であり、標識Ａ３は、６０ｋｍ／ｈの速度規制を解除する標識である。
Ｂ群に含まれる標識Ｂ１〜Ｂ９は、高速道路区間にのみ設けられるため、高速道路区間においてのみ認識対象とする。Ｂ群には、各種の案内情報を示す標識が含まれる。例えば、標識Ｂ１は、給油所があることを示す標識であり、標識Ｂ８は、道路の行き先を示す標識である。また、Ｂ群には、アウトバーンの終了を示す標識Ｂ５と、自動車専用道路の終了を示す標識Ｂ６とが含まれる。
Ｃ群に含まれる標識Ｃ１〜Ｃ１７は、非高速道路区間にのみ設けられるため、非高速道路区間においてのみ認識対象とする。Ｃ群には、歩行者や自転車についての標識が多く含まれる。例えば、標識Ｃ４は歩道を示す標識であり、標識Ｃ１４は市街地への入り口を示す標識であり、標識Ｃ１５は市街地からの出口を示す標識である。また、Ｃ群には、アウトバーンの開始を示す標識Ｃ１２と、自動車専用道路の開始を示す標識Ｃ１３とが含まれる。
Ｄ群に含まれる標識Ｄ１〜Ｄ５は、ＶＭＳ標識として、高速道路区間にのみ設けられるため、高速道路区間においてのみ認識対象とする。Ｄ群には、各種の規制標識とその規制解除標識とが含まれる。例えば、標識Ｄ１は速度を６０ｋｍ／ｈに規制する標識であり、標識Ｄ３は、６０ｋｍ／ｈの速度規制を解除する標識である。
以上のように、本実施形態では、高速道路区間においては、図５に、Ａ群、Ｂ群及びＤ群として例示した高速道路区間で認識対象とする標識群の図形的特徴を有する画像領域を検出する。
図２を参照（適宜図１参照）して、標識認識処理について説明を続ける。
カメラＥＣＵ１０は、次に、標識識別部１３１ｂによって、ステップＳ１０３で検出した標識が撮像された画像領域について、図５にＡ群、Ｂ群及びＤ群として例示した高速道路区間で認識対象とする標識群の何れが撮像されているかを識別する標識識別処理を行う（ステップＳ１０５）。カメラＥＣＵ１０は、標識識別部１３１ｂによって識別した標識の種別を、標識の認識結果である認識情報として、時系列に認識情報記憶部１３４に記憶する。
なお、時系列で認識情報を記憶するとは、所定の記憶領域に、各認識情報を認識した順番に記憶することに限定されず、各認識情報を認識時刻に対応付けて記憶するようにしてもよい。
カメラＥＣＵ１０は、次に、標識識別部１３１ｂによって、ステップＳ１０３で検出した標識が撮像された画像領域について、図５にＡ群、Ｂ群及びＤ群として例示した高速道路区間で認識対象とする標識群の何れが撮像されているかを識別する標識識別処理を行う（ステップＳ１０５）。カメラＥＣＵ１０は、標識識別部１３１ｂによって識別した標識の種別を、標識の認識結果である認識情報として、時系列に認識情報記憶部１３４に記憶する。
なお、時系列で認識情報を記憶するとは、所定の記憶領域に、各認識情報を認識した順番に記憶することに限定されず、各認識情報を認識時刻に対応付けて記憶するようにしてもよい。
また、標識のすべての認識情報を認識情報記憶部１３４に記憶する必要はないが、少なくとも、高速道路の開始を示す標識Ｃ１２，Ｃ１３（図５参照）の直近の認識情報と、高速道路の終了を示す標識Ｂ５，Ｂ６（図５参照）の直近の認識情報とは、時系列で認識情報記憶部１３４に記憶するものとする。更に、これらの認識情報は、高速道路区間判定処理に用いられるため、前記したように、揮発性メモリ及び不揮発性メモリの両方に記憶することが好ましい。これによって、装置の電源がＯＦＦされても、電源再投入後に高速道路区間判定に用いられる認識情報が復帰できるため、適切に高速道路区間の判定を行うことができる。
一方、判定結果が高速道路区間でない場合は（ステップＳ１０１でＮｏ）、カメラＥＣＵ１０は、標識検出部１３１ａによって、カメラ１１が撮像した画像内の左右標識認識領域（Ａ）について、ラスタスキャンする（ステップＳ１０６）。
なお、本実施形態では、非高速道路区間において、図４に示した画像Ｇの上部領域ＲＢに撮像される位置に設けられる標識はないものとしている。すなわち、非高速道路区間において標識が撮像される可能性のある画像領域のみを標識認識領域としてスキャンするものである。
なお、本実施形態では、非高速道路区間において、図４に示した画像Ｇの上部領域ＲＢに撮像される位置に設けられる標識はないものとしている。すなわち、非高速道路区間において標識が撮像される可能性のある画像領域のみを標識認識領域としてスキャンするものである。
カメラＥＣＵ１０は、標識検出部１３１ａによって、左右標識認識領域（Ａ）をラスタスキャンしながら、図５に、Ａ群及びＣ群として例示した、非高速道路区間で認識対象とする標識群の何れかの図形的特徴を有する画像領域を検出する標識検出処理を行う（ステップＳ１０７）。
また、カメラＥＣＵ１０は、標識検出部１３１ａによって、所定の標識認識領域についてラスタスキャンが終了したかを確認し（ステップＳ１０８）、終了していない場合は（ステップＳ１０８でＮｏ）、ステップＳ１０６に戻る。また、ラスタスキャンが終了した場合は（ステップＳ１０８でＹｅｓ）、ステップＳ１０９に進む。
すなわち、ラスタスキャン（ステップＳ１０６）及び標識検出処理（ステップＳ１０７）は、所定の標識認識領域についてラスタスキャンが終了するまで（ステップＳ１０８）、繰り返し行われる。
すなわち、ラスタスキャン（ステップＳ１０６）及び標識検出処理（ステップＳ１０７）は、所定の標識認識領域についてラスタスキャンが終了するまで（ステップＳ１０８）、繰り返し行われる。
次に、カメラＥＣＵ１０は、標識識別部１３１ｂによって、ステップＳ１０７で検出した標識が撮像された画像領域について、図５にＡ群及びＣ群として例示した非高速道路区間で認識対象とする標識群の何れが撮像されているかを識別する標識識別処理を行う（ステップＳ１０９）。カメラＥＣＵ１０は、標識識別部１３１ｂによって識別した標識の種別を、標識の認識結果である認識情報として、時系列に認識情報記憶部１３４に記憶する。
なお、カメラＥＣＵ１０は、所定のサイクルで、図２に示した標識認識処理を行う。
なお、カメラＥＣＵ１０は、所定のサイクルで、図２に示した標識認識処理を行う。
次に、図３を参照（適宜図１及び図２参照）して、図２に示した標識認識処理における高速道路区間判定処理（ステップＳ１０１）について詳細に説明する。
図３に示すように、本実施形態における高速道路区間判定処理では、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に時系列で記憶されている標識の認識情報を参照し、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ２０１）。
図３に示すように、本実施形態における高速道路区間判定処理では、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に時系列で記憶されている標識の認識情報を参照し、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ２０１）。
ここで、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されている場合は（ステップＳ２０１でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報よりも時系列で後の時刻にアウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ２０２）。
ここで、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されていない場合は（ステップＳ２０２でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、高速道路区間であると判定する（ステップＳ２０３）。
一方、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されている場合は（ステップＳ２０２でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ２０６）。
一方、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されている場合は（ステップＳ２０２でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ２０６）。
また、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されていない場合は（ステップＳ２０１でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に記憶されている標識の認識情報を参照し、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ２０４）。
ここで、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されている場合は（ステップＳ２０４でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ２０５）。
ここで、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されていない場合は（ステップＳ２０５でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、高速道路区間であると判定する（ステップＳ２０３）。
一方、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されている場合は（ステップＳ２０５でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ２０６）。
また、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されていない場合は（ステップＳ２０４でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ２０６）。
また、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されていない場合は（ステップＳ２０４でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ２０６）。
以上のようにして、本実施形態に係るカメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、高速道路の開始を示す標識を認識してから、高速道路の終了を示す標識を認識するまでの区間を高速道路区間と判定し、それ以外の区間を非高速道路区間と判定する。
以上説明したように、高速道路区間か非高速道路区間かに対応して、標識を認識するために走査する画像領域を限定したため、標識認識部１３１による標識認識処理の負荷又はリソース使用量を低減することができる。また、高速道路区間か非高速道路区間かに対応して、識別する標識の種別を限定したため、標識認識部１３１による標識認識処理の負荷又はリソース使用量を低減することができる。
なお、認識対象とする標識は、高速道路区間及び非高速道路区間のそれぞれに設けられる可能性のある標識のすべてとすることに限定されず、可能性のある標識の一部を認識対象とするようにしてもよい。例えば、車両乗員に有用性の高い標識を認識対象として適宜に選択するようにしてもよい。
なお、認識対象とする標識は、高速道路区間及び非高速道路区間のそれぞれに設けられる可能性のある標識のすべてとすることに限定されず、可能性のある標識の一部を認識対象とするようにしてもよい。例えば、車両乗員に有用性の高い標識を認識対象として適宜に選択するようにしてもよい。
また、標識認識部１３１による標識認識処理と、歩行者認識部１３３による歩行者認識処理とを合わせた処理の負荷又はリソース使用量について考えると、高速道路区間では、歩行者認識部１３３による歩行者認識処理を中断することで、高速道路区間における物体認識処理全体についての負荷又はリソースの使用量を最適化することができる。一方、非高速道路区間では、標識認識領域を高速道路区間よりも限定して走査するため、標識認識処理のスキャン処理の負荷が低減でき、非高速道路区間で処理が必要となる歩行者認識処理と合わせた処理の負荷又はリソース使用量を最適化することができる。
また、歩行者認識部１３３は、カメラ１１が撮像した画像において、歩行者が撮像されない領域（例えば、図４の上部領域ＲＢ）を予め定めておき、歩行者認識処理の対象から除外するようにしてもよい。これによって、歩行者認識処理の負荷を低減することができる。
＜変形例＞
次に、第１実施形態の変形例について説明する。
第１実施形態の変形例に係るカメラＥＣＵは、図１に示した第１実施形態に係るカメラＥＣＵ１０の高速道路区間判定処理において、高速道路の開始を示す標識として、図５にＤ群として例示したＶＭＳ標識を加えるものである。これによって、高速道路の入り口で、高速道路の開始を示す本来の標識Ｃ１２，Ｃ１３の認識に失敗した場合や、高速道路走行の途中で、例えば、パーキングエリアなどで電源をＯＦＦし、認識情報を不揮発性メモリに記憶しない場合であっても、高速道路の走行を再開した途中でＶＭＳ標識を認識することで、自車両が走行中の道路が高速道路区間であることを適切に判定することができる。
なお、本変形例においては、例えばドイツのように、非高速道路区間においては、道路の上部にＶＭＳ標識が設けられていないことを前提とするものである。
次に、第１実施形態の変形例について説明する。
第１実施形態の変形例に係るカメラＥＣＵは、図１に示した第１実施形態に係るカメラＥＣＵ１０の高速道路区間判定処理において、高速道路の開始を示す標識として、図５にＤ群として例示したＶＭＳ標識を加えるものである。これによって、高速道路の入り口で、高速道路の開始を示す本来の標識Ｃ１２，Ｃ１３の認識に失敗した場合や、高速道路走行の途中で、例えば、パーキングエリアなどで電源をＯＦＦし、認識情報を不揮発性メモリに記憶しない場合であっても、高速道路の走行を再開した途中でＶＭＳ標識を認識することで、自車両が走行中の道路が高速道路区間であることを適切に判定することができる。
なお、本変形例においては、例えばドイツのように、非高速道路区間においては、道路の上部にＶＭＳ標識が設けられていないことを前提とするものである。
本変形例に係るカメラＥＣＵは、図１に示した第１実施形態に係るカメラＥＣＵ１０とは、高速道路区間判定処理が異なるだけである。従って、本変形例に係るカメラＥＣＵとして、図１に示したハードウェア構成のカメラＥＣＵ１０を用いることができるため、構成についての説明は省略する。
また、高速道路区間判定処理以外の処理も、第１実施形態と同様であるから、説明は省略する。
また、高速道路区間判定処理以外の処理も、第１実施形態と同様であるから、説明は省略する。
次に、図６を参照（適宜図１参照）して、本変形例に係るカメラＥＣＵによる高速道路区間判定処理について説明する。
図６に示すように、本変形例における高速道路区間判定処理では、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に時系列で記憶されている標識の認識情報を参照し、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０１）。
図６に示すように、本変形例における高速道路区間判定処理では、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に時系列で記憶されている標識の認識情報を参照し、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０１）。
ここで、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されている場合は（ステップＳ３０１でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報よりも時系列で後の時刻にアウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０２）。
ここで、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０２でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、高速道路区間であると判定する（ステップＳ３０３）。
一方、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されている場合は（ステップＳ３０２でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
一方、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されている場合は（ステップＳ３０２でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
また、アウトバーンの開始を示す標識Ｃ１２（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０１でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に記憶されている標識の認識情報を参照し、図５にＤ群で示した何れかのＶＭＳ標識の認識情報が記憶されているかどうかを確認する（ステップＳ３０４）。ＶＭＳ標識の認識情報が記憶されている場合は（ステップＳ３０４でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該ＶＭＳ標識の認識情報よりも時系列で後の時刻にアウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０２）。
ここで、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０２でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、高速道路区間であると判定する（ステップＳ３０３）。
一方、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されている場合は（ステップＳ３０２でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
一方、アウトバーンの終了を示す標識Ｂ５（図５参照）の認識情報が記憶されている場合は（ステップＳ３０２でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
また、ＶＭＳ標識の認識情報が記憶されていない場合は（ステップＳ３０４でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に記憶されている標識の認識情報を参照し、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０５）。
ここで、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されている場合は（ステップＳ３０５でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０６）。
ここで、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０６でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、高速道路区間であると判定する（ステップＳ３０３）。
一方、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されている場合は（ステップＳ３０６でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
また、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０５でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に記憶されている標識の認識情報を参照し、図５にＤ群で示した何れかのＶＭＳ標識の認識情報が記憶されているかどうかを確認する（ステップＳ３０８）。ＶＭＳ標識の認識情報が記憶されている場合は（ステップＳ３０８でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該ＶＭＳ標識の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０６）。
また、自動車専用道路の開始を示す標識Ｃ１３（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０５でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、認識情報記憶部１３４に記憶されている標識の認識情報を参照し、図５にＤ群で示した何れかのＶＭＳ標識の認識情報が記憶されているかどうかを確認する（ステップＳ３０８）。ＶＭＳ標識の認識情報が記憶されている場合は（ステップＳ３０８でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、更に認識情報記憶部１３４を参照し、当該ＶＭＳ標識の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されているかどうかを確認する（ステップＳ３０６）。
ここで、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されていない場合は（ステップＳ３０６でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、高速道路区間であると判定する（ステップＳ３０３）。
一方、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されている場合は（ステップＳ３０６でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
一方、自動車専用道路の終了を示す標識Ｂ６（図５参照）の認識情報が記憶されている場合は（ステップＳ３０６でＹｅｓ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
また、ＶＭＳ標識の認識情報が記憶されていない場合は（ステップＳ３０８でＮｏ）、カメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、自車両が走行中の道路は、非高速道路区間であると判定する（ステップＳ３０７）。
以上のようにして、本実施形態に係るカメラＥＣＵ１０は、高速道路区間判定部１３１ｃによって、高速道路の開始を示す標識又は高速道路区間にのみ設置されるＶＭＳ標識を認識してから、高速道路の終了を示す標識を認識するまでの区間を高速道路区間と判定し、それ以外の区間を非高速道路区間と判定する。
なお、高速道路区間の開始を示す標識の認識を失敗して高速道路区間に進入した場合、又は高速道路区間で標識の認識情報を消失した場合は、高速道路区間であるにもかかわらず、高速道路区間判定部１３１ｃは、高速道路区間であると判定することができない。また、高速道路区間であると判定されない場合は、上部標識認識領域（Ｂ）を標識認識処理の対象としないため、自車両が接近したときに、道路上部に設けられたＶＭＳ標識を認識することができず、高速道路区間判定部１３１ｃは、高速道路区間であることを適切に判定することができない場合が考えられる。
そこで、例えば、高速道路区間の開始を示す標識の認識情報が、高速道路区間の終了を示す標識の認識情報よりも時系列で後に又は全く記憶されておらず、かつ、自車両の速度が非高速道路区間で定められる上限速度（例えば、６０ｋｍ／ｈ）を超えていることを条件として、カメラＥＣＵ１０は、標識認識部１３１によって、一定の走行距離又は走行時間が経過するまでの期間に、全標識認識領域（Ａ＋Ｂ）及び全標識（図５にＡ群〜Ｄ群として例示した標識）を認識対象として標識認識処理を行うようにしてもよい。
なお、カメラＥＣＵ１０は、自車両の速度及び走行距離を、制御部１４を介して、不図示の速度検出手段及び走行距離計測手段から取得するものとする。
なお、カメラＥＣＵ１０は、自車両の速度及び走行距離を、制御部１４を介して、不図示の速度検出手段及び走行距離計測手段から取得するものとする。
ここで、一定の走行距離は、例えば、ＶＭＳ標識が設置される最長の間隔とすることが好ましい。また、一定の走行時間を定める場合は、例えば、前記したＶＭＳ標識の最長の設置間隔を現在の速度で除した時間とすることが好ましい。このように一定の走行距離又は走行時間を定めることにより、ＶＭＳ標識を認識し、高速道路区間であることを適切に判定できるようになる。
また、一定の走行時間、左右標識認識領域（Ａ）で、高速道路区間に固有の標識（図５にＢ群として例示した標識）を認識させて、高速道路区間の開始を示す標識を認識したものとするようにしてもよい。
なお、前記した一定の走行距離又は走行時間が経過するまでの期間において、ＶＭＳ標識を認識できなかった場合、又は左右標識認識領域（Ａ）で非高速道路区間に固有の標識（図５にＣ群として例示した標識）を認識した場合は、カメラＥＣＵ１０は、警報装置２０や表示装置３０を介して、非高速道路区間でスピード違反をしている可能性があることを乗員に知らせるようにしてもよい。
また、一定の走行時間、左右標識認識領域（Ａ）で、高速道路区間に固有の標識（図５にＢ群として例示した標識）を認識させて、高速道路区間の開始を示す標識を認識したものとするようにしてもよい。
なお、前記した一定の走行距離又は走行時間が経過するまでの期間において、ＶＭＳ標識を認識できなかった場合、又は左右標識認識領域（Ａ）で非高速道路区間に固有の標識（図５にＣ群として例示した標識）を認識した場合は、カメラＥＣＵ１０は、警報装置２０や表示装置３０を介して、非高速道路区間でスピード違反をしている可能性があることを乗員に知らせるようにしてもよい。
以上によって、高速道路の出入口で高速道路の開始を示す標識を見落とした場合や、電源をＯＦＦすることなどにより標識の認識情報を消失した場合であっても、高速道路区間の判定を適切に行うようにリカバリーすることができる。
＜第２実施形態＞
次に、本発明の第２実施形態に係るカメラＥＣＵについて説明する。
［カメラＥＣＵの構成］
まず、図７を参照して、第２実施形態に係るカメラＥＣＵの構成について説明する。
図７に示すように、第２実施形態に係るカメラＥＣＵ１０Ａは、図１に示した第１実施形態に係るカメラＥＣＵ１０に対して、標識認識部１３１を有する物体認識部１３に代えて、標識認識部１３１Ａを有する物体認識部１３Ａを備えている。また、第２実施形態における標識認識部１３１Ａは、第１実施形態における標識認識部１３１に対して、標識検出部１３１ａに代えて標識検出部１３１Ａａを備えるとともに、ＶＭＳ標識検出部１３１ｄを更に備えている。
なお、第１実施形態に係るカメラＥＣＵ１０と同様の構成要素については、同じ符号を付して、説明は適宜に省略する。
次に、本発明の第２実施形態に係るカメラＥＣＵについて説明する。
［カメラＥＣＵの構成］
まず、図７を参照して、第２実施形態に係るカメラＥＣＵの構成について説明する。
図７に示すように、第２実施形態に係るカメラＥＣＵ１０Ａは、図１に示した第１実施形態に係るカメラＥＣＵ１０に対して、標識認識部１３１を有する物体認識部１３に代えて、標識認識部１３１Ａを有する物体認識部１３Ａを備えている。また、第２実施形態における標識認識部１３１Ａは、第１実施形態における標識認識部１３１に対して、標識検出部１３１ａに代えて標識検出部１３１Ａａを備えるとともに、ＶＭＳ標識検出部１３１ｄを更に備えている。
なお、第１実施形態に係るカメラＥＣＵ１０と同様の構成要素については、同じ符号を付して、説明は適宜に省略する。
ここで、ＶＭＳ標識を撮像する際の問題点について説明する。
ＶＭＳ標識は、道路状況に応じて表示する標識内容を変更できるように構成された標識である。ＶＭＳ標識としては、ＬＥＤ（発光ダイオード）などの発光体を表示素子として、複数のセグメントやドットで構成したセグメント表示方式やドットマトリクス表示方式の表示装置が多用されている。特にＬＥＤを表示素子として用いたＶＭＳ標識は、消費電力、視認性、寿命などの点で優れているが、カメラ１１による撮像時に露光時間が短いと、表示素子の一部が写らずに、ＶＭＳ標識画像の一部が欠損するという問題がある。
ＶＭＳ標識は、道路状況に応じて表示する標識内容を変更できるように構成された標識である。ＶＭＳ標識としては、ＬＥＤ（発光ダイオード）などの発光体を表示素子として、複数のセグメントやドットで構成したセグメント表示方式やドットマトリクス表示方式の表示装置が多用されている。特にＬＥＤを表示素子として用いたＶＭＳ標識は、消費電力、視認性、寿命などの点で優れているが、カメラ１１による撮像時に露光時間が短いと、表示素子の一部が写らずに、ＶＭＳ標識画像の一部が欠損するという問題がある。
ＬＥＤは、正負電極間に電圧を印加することで発光するが、白熱電球などと比べて、発光の慣性がなく、電圧が印加されなくなると、直ぐに消灯する特性がある。このため、ＬＥＤを点灯するために交流電源を用いると、交流の周波数でＬＥＤが点滅することになる。例えば、交流の周波数が６０Ｈｚの場合は、６０ＨｚでＬＥＤが点滅する。また、交流電源を全波整流して用いた場合には、１２０ＨｚでＬＥＤが点滅することになる。人の視覚特性では、３０Ｈｚ程度以上で点滅する光は、連続して発光するように視認される。このため、通常の商用の交流電源を用いて、人が視認するためのＶＭＳ標識を表示することに問題はない。しかし、カメラで撮像する場合には、交流電源の周期よりも短い露光時間で撮像すると、ＶＭＳ標識を構成する各発光素子の消灯期間のタイミングで撮像された画像において、当該発光素子が表示する部分が欠損してしまうことがある（例えば、図１０参照）。特に電源の交流周波数とカメラ１１による撮像のフレーム率とが整数倍に近い関係となる場合には、長時間に亘り、ＶＭＳ標識の一部又は全部が欠損して撮像されることもある。このため、ＶＭＳ標識を適切に認識できない場合がある。
そこで、第２実施形態に係るカメラＥＣＵ１０Ａは、前記したように、標識認識部１３１ＡにＶＭＳ標識検出部１３１ｄを備え、カメラ１１が撮像した画像からＶＭＳ標識が撮像されている画像領域を検出し、ＶＭＳ標識が検出された画像領域については、露出時間を長くして撮像した画像を用いてＶＭＳ標識の認識を行うものである。すなわち、発光ダイオードを発光素子として用いた表示装置により表示されたＶＭＳ標識の認識については、画像欠損を生じないように露光時間を長くして撮像した画像を用いるため、適切に認識することができる。以降の説明では、特に断らない限り、ＶＭＳ標識は、発光ダイオードを発光素子として用いた表示装置により表示されたものとする。
本実施形態では、カメラ１１は、露光制御を行うことで、露光時間を変更して撮像することができるものとする。このとき、カメラ１１は、露光時間に応じて、適宜にフレーム率も変更できるものとする。
すなわち、カメラ１１は、通常撮像モードとして、例えば、３０〜６０ｆｐｓ程度の第１フレーム率にて、第１露光時間で第１画像を撮像する。また、カメラ１１は、ＶＭＳ標識撮像モードとして、露光時間とフレーム率とを制御して、ＶＭＳ標識を撮像しても画像欠損が生じないように、第１露光時間よりも長い第２露光時間で第２画像を撮像する。なお、第２画像を撮像する際には、各フレームにおいて当該第２露光時間を確保できるようにフレーム率を、第１フレーム率よりも低い第２フレーム率に変更することができる。
但し、第１フレーム率で撮像しても第２露光時間を確保することができれば、第２フレーム率は第１フレーム率と同じとしてもよい。すなわち、フレーム率を変更せずに、露光時間のみ変更するようにしてもよい。
すなわち、カメラ１１は、通常撮像モードとして、例えば、３０〜６０ｆｐｓ程度の第１フレーム率にて、第１露光時間で第１画像を撮像する。また、カメラ１１は、ＶＭＳ標識撮像モードとして、露光時間とフレーム率とを制御して、ＶＭＳ標識を撮像しても画像欠損が生じないように、第１露光時間よりも長い第２露光時間で第２画像を撮像する。なお、第２画像を撮像する際には、各フレームにおいて当該第２露光時間を確保できるようにフレーム率を、第１フレーム率よりも低い第２フレーム率に変更することができる。
但し、第１フレーム率で撮像しても第２露光時間を確保することができれば、第２フレーム率は第１フレーム率と同じとしてもよい。すなわち、フレーム率を変更せずに、露光時間のみ変更するようにしてもよい。
なお、本実施形態では、カメラ１１は、露光時間及びフレーム率を２段階に制御して、第１画像及び第２画像を撮像するようにしたが、これに限定されるものではない。例えば、カメラ１１として、第１露光時間及び第１フレーム率で第１画像を撮像する第１カメラと、第２露光時間及び第２フレーム率で第２画像を撮像する第２カメラと、を備えるようにしてもよい。この場合は、第１カメラ及び第２カメラは、自車両の前方の略同じ領域を撮像するように互いに近接して、例えば、車両のフロントガラス付近に設けるようにすることが好ましい。
また、カメラ１１が撮像した第１画像及び第２画像についての画像データは、画像取得部１２を介して物体認識部１３Ａに入力され、それぞれ不図示のフレームバッファメモリに記憶される。フレームバッファメモリに記憶された各カメラにより撮像された画像データは、標識認識部１３１Ａ、車両認識部１３２及び歩行者認識部１３３から適宜に参照される。なお、車両認識部１３２及び歩行者認識部１３３は、カメラ１１により通常の露光時間で撮像した第１画像を用いるものとする。
物体認識部１３Ａは、標識認識部１３１Ａ、車両認識部１３２、歩行者認識部１３３及び認識情報記憶部１３４を備えている。
なお、車両認識部１３２、歩行者認識部１３３及び認識情報記憶部１３４は、第１実施形態と同様の構成であるから、詳細な説明は省略する。
なお、車両認識部１３２、歩行者認識部１３３及び認識情報記憶部１３４は、第１実施形態と同様の構成であるから、詳細な説明は省略する。
標識認識部１３１Ａは、標識検出部１３１Ａａ、標識識別部１３１ｂ、高速道路区間判定部１３１ｃ及びＶＭＳ標識検出部１３１ｄを備えている。
なお、標識識別部１３１ｂ及び高速道路区間判定部１３１ｃは、第１実施形態と同様の構成であるから、詳細な説明は省略する。
なお、標識識別部１３１ｂ及び高速道路区間判定部１３１ｃは、第１実施形態と同様の構成であるから、詳細な説明は省略する。
標識検出部１３１Ａａは、カメラ１１により第１露光時間及び第１フレーム率で撮像した第１画像と、ＶＭＳ標識を撮像したときに画像欠損が生じない第２露光時間及び第２フレーム率で撮像した第２画像とを用いて標識が撮像された画像領域を検出する。このとき、標識検出部１３１Ａａは、ＶＭＳ標識検出部１３１ｄが検出したＶＭＳ標識の画像領域の情報に基づいて、ＶＭＳ標識が検出されない画像領域については第１画像を用いて、ＶＭＳ標識が検出された画像領域については第２画像を用いて、認識対象とする所定の標識が撮像された画像領域を検出する。
標識検出部１３１Ａａは、検出した標識の画像領域の画像データを、標識識別部１３１ｂに出力する。
標識検出部１３１Ａａは、検出した標識の画像領域の画像データを、標識識別部１３１ｂに出力する。
ＶＭＳ標識検出部１３１ｄは、カメラ１１により、通常撮像モードである第１露光時間及び第１フレーム率で撮像された第１画像について、ＶＭＳ標識が撮像されている画像領域を検出する手段である。また、ＶＭＳ標識検出部１３１ｄは、検出したＶＭＳ標識の画像領域についての情報を標識検出部１３１ａに出力する。
なお、ＶＭＳ標識の画像領域の検出方法の詳細については後記する。
なお、ＶＭＳ標識の画像領域の検出方法の詳細については後記する。
［カメラＥＣＵの動作］
（高速道路区間での標識認識処理）
次に、図８を参照（適宜図７参照）して、第２実施形態に係るカメラＥＣＵ１０Ａによる、高速道路区間における標識の認識処理である標識認識処理の動作について説明する。
なお、非高速道路区間における標識認識処理は、図２に示した第１実施形態における非高速道路区間における標識認識処理（図２のステップＳ１０６〜Ｓ１０９が相当する）と同様であるから、詳細な説明は省略する。なお、非高速道路区間においては、第１画像を用いて標識認識処理を行うものとする。
（高速道路区間での標識認識処理）
次に、図８を参照（適宜図７参照）して、第２実施形態に係るカメラＥＣＵ１０Ａによる、高速道路区間における標識の認識処理である標識認識処理の動作について説明する。
なお、非高速道路区間における標識認識処理は、図２に示した第１実施形態における非高速道路区間における標識認識処理（図２のステップＳ１０６〜Ｓ１０９が相当する）と同様であるから、詳細な説明は省略する。なお、非高速道路区間においては、第１画像を用いて標識認識処理を行うものとする。
図８に示すように、高速道路区間では、カメラＥＣＵ１０Ａは、標識認識部１３１Ａの標識検出部１３１Ａａによって、第１画像を用いてＶＭＳ標識検出処理を行い、ＶＭＳ標識が撮像された画像領域を検出する（ステップＳ４０１）。
なお、ＶＭＳ標識検出処理の詳細については後記する。
なお、ＶＭＳ標識検出処理の詳細については後記する。
次に、カメラＥＣＵ１０Ａは、標識検出部１３１Ａａによって、第１画像の全標識対象領域（Ａ＋Ｂ）（図４の領域ＲＡ及び領域ＲＢ参照）をラスタスキャンする（ステップＳ４０２）。
また、カメラＥＣＵ１０Ａは、標識検出部１３１Ａａによって、ラスタスキャン中の１ライン毎に、ステップＳ４０１で検出したＶＭＳ標識の画像領域についての情報を参照し、処理対象のラインがＶＭＳ標識の画像領域かどうかを確認する（ステップＳ４０３）。
処理対象のラインがＶＭＳ標識の画像領域の場合は（ステップＳ４０３でＹｅｓ）、カメラＥＣＵ１０Ａは、標識検出部１３１Ａａによって、ラスタスキャンする画像を第２画像に変更して、対応するラインを走査する（ステップＳ４０５）。そして、カメラＥＣＵ１０Ａは、標識検出部１３１Ａａによって、走査した第２画像を用いて、図５にＤ群として例示したＶＭＳ標識群に含まれる標識が撮像された画像領域を検出する（ステップＳ４０６）。
一方、ＶＭＳ標識の画像領域でない場合は（ステップＳ４０３でＮｏ）、カメラＥＣＵ１０Ａは、標識検出部１３１Ａａによって、ステップＳ４０２で走査した第１画像を用いて、図５にＡ群及びＢ群として例示した高速道路区間で認識対象とする標準標識群に含まれる標識が撮像された画像領域を検出する（ステップＳ４０４）。
カメラＥＣＵ１０Ａは、処理対象のラインについての標識検出処理（ステップＳ４０４又はステップＳ４０６）が終了すると、標識検出部１３１Ａａによって、標識認識対象領域についてのラスタスキャンが終了したかどうかを確認し（ステップＳ４０７）、終了していない場合は（ステップＳ４０７でＮｏ）、ステップＳ４０２に戻り、次のラインについてラスタスキャンする。
また、ラスタスキャンが終了した場合は（ステップＳ４０７でＹｅｓ）、ステップＳ４０８に進む。
また、ラスタスキャンが終了した場合は（ステップＳ４０７でＹｅｓ）、ステップＳ４０８に進む。
ラスタスキャンが終了すると、カメラＥＣＵ１０Ａは、標識識別部１３１ｂによって、
ステップＳ４０４又はステップＳ４０６で検出された標識が検出された画像領域が、ステップＳ４０１で検出したＶＭＳ標識の画像領域かどうかを確認する（ステップＳ４０８）。
ステップＳ４０４又はステップＳ４０６で検出された標識が検出された画像領域が、ステップＳ４０１で検出したＶＭＳ標識の画像領域かどうかを確認する（ステップＳ４０８）。
ＶＭＳ標識の画像領域でない場合は（ステップＳ４０８でＮｏ）、カメラＥＣＵ１０Ａは、標識識別部１３１ｂによって、ステップＳ４０４で検出した標識の画像領域に対応する第１画像を用いて、撮像されている標識の種別が、図５にＡ群及びＢ群として例示した高速道路区間で認識対象とする標準標識群の何れであるかを識別する（ステップＳ４０９）。
一方、ＶＭＳ標識の画像領域である場合は（ステップＳ４０８でＹｅｓ）、カメラＥＣＵ１０Ａは、標識識別部１３１ｂによって、ステップＳ４０６で検出した標識の画像領域に対応する第２画像を用いて、撮像されている標識の種別が、図５にＤ群として例示したＶＭＳ標識群の何れであるかを識別する（ステップＳ４１０）。
カメラＥＣＵ１０Ａは、以上の手順によって、高速道路区間において標識を認識する。
カメラＥＣＵ１０Ａは、以上の手順によって、高速道路区間において標識を認識する。
（ＶＭＳ標識検出処理）
次に、図９及び図１０を参照（適宜図７参照）して、図８に示した高速道路区間での標識認識処理におけるＶＭＳ標識検出処理ステップＳ４０１について、詳細に説明する。
本実施形態において、ＶＭＳ標識検出処理は、ＶＭＳ標識検出部１３１ｄによって、第１画像を用いて行われ、道路上部の静止物の画像領域を検出するステップＳ５０１と、道路上部の静止物近傍において、フレーム間輝度差が大きい画像領域を検出するステップＳ５０２とが含まれる。
次に、図９及び図１０を参照（適宜図７参照）して、図８に示した高速道路区間での標識認識処理におけるＶＭＳ標識検出処理ステップＳ４０１について、詳細に説明する。
本実施形態において、ＶＭＳ標識検出処理は、ＶＭＳ標識検出部１３１ｄによって、第１画像を用いて行われ、道路上部の静止物の画像領域を検出するステップＳ５０１と、道路上部の静止物近傍において、フレーム間輝度差が大きい画像領域を検出するステップＳ５０２とが含まれる。
ステップＳ５０１において、カメラＥＣＵ１０Ａは、ＶＭＳ標識検出部１３１ｄによって、走行中の道路上部に設けられたＶＭＳ標識の表示装置又はその表示装置が設置された静止物を検出する。走行中の道路上部の静止物の検出は、例えば、オプティカルフロー法により被写体の動きベクトル検出し、検出対象である静止物の動きベクトルの特徴を利用することで、当該静止物の画像領域を検出することができる。
図１０は、ＶＭＳ標識が撮像された第１画像の連続する２フレームを示したものであり、右側が現フレーム（ｎ）であり、左側が前フレーム（ｎ−１）である。ＶＭＳ標識は道路上部に設置されるため、前記したように、ＶＭＳ標識は、自車両から遠距離にある場合は画像内の中部（図４の領域ＲＡ参照）に撮像され、近距離にある場合は画像内の上部（図４の領域ＲＢ参照）に撮像される。また、走行中の車線の上部に設けられた静止物の動きベクトルは、自車両の進行方向及び速度から定められる。従って、静止物の動きベクトルは、図１０に示すように、走行中の車線の消失点付近から伸びるような特徴がある。
そして、このような特徴を有する動きベクトルの終点の近傍を、道路上の静止物として検出することができる。
そして、このような特徴を有する動きベクトルの終点の近傍を、道路上の静止物として検出することができる。
続いて、ステップＳ５０２において、カメラＥＣＵ１０Ａは、ＶＭＳ標識検出部１３１ｄによって、ステップＳ５０１で検出した道路上部の静止物が撮像された画像領域の近傍において、フレーム間の対応する画素の輝度変化が大きい画像領域を、ＶＭＳ標識が撮像された画像領域として検出する。
ここで、輝度変化を利用したＶＭＳ標識の検出方法の原理について説明する。
前記したように、通常のフレーム率でＶＭＳ標識を撮像すると、ＶＭＳ標識が撮像された画像領域に欠損が生じる。この画像の欠損は、ＶＭＳ標識を表示する表示装置の発光素子の点滅タイミングと、第１画像を撮像するときの露光時間である第１露光時間との関係で変化する。従って、一定のフレーム率で撮像されたＶＭＳ標識の画像は、その発光部位である標識の図形及び文字に対応する画素がフレーム毎に輝度変化する、いわゆるチラつき画像として観察される。
前記したように、通常のフレーム率でＶＭＳ標識を撮像すると、ＶＭＳ標識が撮像された画像領域に欠損が生じる。この画像の欠損は、ＶＭＳ標識を表示する表示装置の発光素子の点滅タイミングと、第１画像を撮像するときの露光時間である第１露光時間との関係で変化する。従って、一定のフレーム率で撮像されたＶＭＳ標識の画像は、その発光部位である標識の図形及び文字に対応する画素がフレーム毎に輝度変化する、いわゆるチラつき画像として観察される。
図１０に示したＶＭＳ標識は、円形の太枠図形と、その円の内側に配置された文字「１２０」から構成される速度規制の標識である。図１０に示したように、例えば、矢印で示したＶＭＳ標識は、２つのフレーム間で輝度が部分的に異なっており、それぞれ異なる箇所が欠損しているのが分かる。
そこで、本実施形態では、ＶＭＳ標識検出部１３１ｄは、第１画像を用いて、ＶＭＳ標識の発光部の画像のチラつきを検出することで、ＶＭＳ標識の画像領域を検出する。これらの道路上部の静止物の近傍に、フレーム間の輝度変化が所定の値よりも大きな画素が存在する領域を、ＶＭＳ標識の画像領域として検出する。輝度変化が大きいと判定するための閾値は、例えば、発光素子が点灯しているときの最高輝度と、消灯しているときの輝度との平均値とすることができる。なお、判定閾値は、これに限定されるものではなく、実験的に定めることができる。
また、輝度変化の大きな画素の検出は、２つのフレーム間の輝度変化だけでなく、更に多数のフレームについての輝度変化を検出するようにしてもよい。これによって、輝度変化の大きな画素を検出する信頼度が向上する。
このようにして、静止物の近傍において、輝度変化の大きな画像領域をＶＭＳ標識の画像領域として検出することができる。
なお、図１０に示した例では、４つのＶＭＳ標識が横方向に並置されているため、画像の上部領域に横長の四角形で囲んだ領域がＶＭＳ標識の画像領域として検出されている。
なお、図１０に示した例では、４つのＶＭＳ標識が横方向に並置されているため、画像の上部領域に横長の四角形で囲んだ領域がＶＭＳ標識の画像領域として検出されている。
以上に説明したように、ＶＭＳ標識でない標準標識については、通常の短い露光時間で撮像した第１画像を用いて標識を認識するため、高速で走行中であっても、ボケや流れなどの少ない画像を用いて標識を精度よく識別することができる。
また、ＶＭＳ標識については、露光時間を長くして撮像した第２画像を用いて標識を認識するため、画像欠損のない画像を用いて標識を精度よく識別することができる。
なお、第２実施形態におけるＶＭＳ標識の認識手法は、第１実施形態の変形例におけるＶＭＳ標識の認識処理に適用することができる。
また、ＶＭＳ標識については、露光時間を長くして撮像した第２画像を用いて標識を認識するため、画像欠損のない画像を用いて標識を精度よく識別することができる。
なお、第２実施形態におけるＶＭＳ標識の認識手法は、第１実施形態の変形例におけるＶＭＳ標識の認識処理に適用することができる。
また、本実施形態において、高速道路区間における標識認識処理は、高速道路区間だけでなく、一般の道路区間にＶＭＳ標識及び標準標識の両方が設置される国や地域においては、当該一般の道路区間においても適用することができる。
１０，１０Ａ カメラＥＣＵ（物体認識装置）
１１ カメラ（撮像手段）
１２ 画像取得部
１３，１３Ａ 物体認識部
１３１，１３１Ａ 標識認識部（標識認識手段）
１３１ａ 標識検出部（標識検出手段）
１３１ｂ 標識識別部（標識識別手段）
１３１ｃ 高速道路区間判定部（高速道路区間判定手段）
１３１ｄ ＶＭＳ標識検出部（ＶＭＳ標識検出手段）
１３２ 車両認識部
１３３ 歩行者認識部（歩行者認識手段）
１３４ 認識情報記憶部（標識認識結果記憶手段）
１４ 制御部
２０ 警報装置
３０ 表示装置
４０ 制御ＥＣＵ
１１ カメラ（撮像手段）
１２ 画像取得部
１３，１３Ａ 物体認識部
１３１，１３１Ａ 標識認識部（標識認識手段）
１３１ａ 標識検出部（標識検出手段）
１３１ｂ 標識識別部（標識識別手段）
１３１ｃ 高速道路区間判定部（高速道路区間判定手段）
１３１ｄ ＶＭＳ標識検出部（ＶＭＳ標識検出手段）
１３２ 車両認識部
１３３ 歩行者認識部（歩行者認識手段）
１３４ 認識情報記憶部（標識認識結果記憶手段）
１４ 制御部
２０ 警報装置
３０ 表示装置
４０ 制御ＥＣＵ
Claims (10)
- 所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識装置であって、
前記画像を解析することで、前記道路標識を認識する標識認識手段と、
前記標識認識手段が認識した標識認識結果を時系列に記憶する標識認識結果記憶手段と、
前記標識認識結果記憶手段に記憶されている標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定手段と、を備え、
前記高速道路区間判定手段は、前記標識認識結果記憶手段に前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定し、
前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更することを特徴とする物体認識装置。 - 前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、認識する対象とする道路標識の種別を変更することを特徴とする請求項１に記載の物体認識装置。
- 前記高速道路区間判定手段は、高速道路の開始を示す標識を認識したときから、高速道路の終了を示す標識を認識したときまでを、前記高速道路区間と判定することを特徴とする請求項１又は請求項２に記載の物体認識装置。
- 前記標識認識手段は、高速道路の走行車線上部に設けられる可変情報表示装置（ＶＭＳ；Variable Message Signs）によって表示される標識であるＶＭＳ標識を、前記高速道路区間において認識する対象とすることを特徴とする請求項３に記載の物体認識装置。
- 前記高速道路区間判定手段は、前記ＶＭＳ標識を、前記高速道路区間の開始を示す標識に加えることを特徴とする請求項４に記載の物体認識装置。
- 前記撮像手段は、第１露光時間で第１画像を撮像するとともに、前記第１露光時間よりも長い第２露光時間で第２画像を撮像し、
前記標識認識手段は、前記第１画像を用いて前記ＶＭＳ標識が撮像された画像領域を検出するＶＭＳ標識検出手段を有し、
前記標識認識手段は、前記ＶＭＳ標識検出手段が検出した前記ＶＭＳ標識が撮像された画像領域に対応する領域の前記第２画像を用いて、前記ＶＭＳ標識の種別を識別し、
前記第２露光時間は、前記第２画像において撮像されたＶＭＳ標識の画像に前記可変情報表示装置の点滅周期に起因する欠損が生じない露光時間であることを特徴とする請求項４又は請求項５に記載の物体認識装置。 - 前記ＶＭＳ標識検出手段は、前記第１画像において、オプティカルフロー法により、前記高速道路区間における道路上部の静止物が撮像された画像領域を検出するとともに、当該静止物が撮像された画像領域の近傍に、前記第１画像のフレーム間の輝度差が大きい画像領域を、前記ＶＭＳ標識が撮像された画像領域として検出することを特徴とする請求項６に記載の物体認識装置。
- 前記物体認識装置が搭載された車両の周囲の所定の範囲の領域について、歩行者の有無を検出する歩行者認識処理を行う歩行者認識手段を更に備え、
前記歩行者認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間の場合に、前記歩行者認識処理を行わないことを特徴とする請求項１ないし請求項７の何れか一項に記載の物体認識装置。 - 所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識方法であって、
前記画像を解析することで、前記道路標識を認識する標識認識処理ステップと、
前記標識認識処理ステップにおいて認識した標識認識結果を時系列に記憶する標識認識結果記憶ステップと、
前記標識認識結果記憶ステップにおいて記憶した標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定処理ステップと、を含み、
前記高速道路区間判定処理ステップにおいて、前記標識認識結果記憶ステップにおいて前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定し、
前記標識認識処理ステップにおいて、前記高速道路区間判別処理ステップにおける判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更することを特徴とする物体認識方法。 - 所定の処理サイクル毎に車載の撮像手段を用いて撮像した画像を解析することで、道路標識を認識するために、コンピュータを、
前記画像を解析することで、前記道路標識を認識する標識認識手段、
前記標識認識手段が認識した標識認識結果を時系列に記憶する標識認識結果記憶手段、
前記標識認識結果記憶手段に記憶されている標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定手段、として機能させ、
前記高速道路区間判定手段は、前記標識認識結果記憶手段に前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定し、
前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更することを特徴とする物体認識プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013022578A JP2014153167A (ja) | 2013-02-07 | 2013-02-07 | 物体認識装置、物体認識方法及び物体認識プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013022578A JP2014153167A (ja) | 2013-02-07 | 2013-02-07 | 物体認識装置、物体認識方法及び物体認識プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014153167A true JP2014153167A (ja) | 2014-08-25 |
Family
ID=51575175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013022578A Pending JP2014153167A (ja) | 2013-02-07 | 2013-02-07 | 物体認識装置、物体認識方法及び物体認識プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014153167A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106168728A (zh) * | 2015-05-21 | 2016-11-30 | 株式会社电装 | 图像生成设备 |
| JP2016223847A (ja) * | 2015-05-28 | 2016-12-28 | 日産自動車株式会社 | 自車位置判定装置及び自車位置判定方法 |
| JP2016224713A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社デンソー | 車両の運転支援装置、及び運転支援方法 |
| JP2017009554A (ja) * | 2015-06-26 | 2017-01-12 | 日産自動車株式会社 | 車両位置判定装置及び車両位置判定方法 |
| JP2017009553A (ja) * | 2015-06-26 | 2017-01-12 | 日産自動車株式会社 | 車両位置判定装置及び車両位置判定方法 |
| JP2017151541A (ja) * | 2016-02-22 | 2017-08-31 | 日立オートモティブシステムズ株式会社 | 情報処理装置 |
| JP2018136932A (ja) * | 2017-01-27 | 2018-08-30 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ | 画像分析による点滅除去のための装置及び方法 |
| WO2018213092A1 (en) | 2017-05-19 | 2018-11-22 | Waymo Llc | Camera systems using filters and exposure times to detect flickering illuminated objects |
| JP2019212189A (ja) * | 2018-06-08 | 2019-12-12 | スズキ株式会社 | 車両用運転支援装置 |
| JP2020030200A (ja) * | 2018-06-06 | 2020-02-27 | トヨタ リサーチ インスティテュート，インコーポレイティド | 精度仕様を用いてビークルを位置特定するためのシステムおよび方法 |
| CN112104813A (zh) * | 2019-06-18 | 2020-12-18 | 爱信精机株式会社 | 拍摄控制装置 |
| US20220196431A1 (en) * | 2020-12-18 | 2022-06-23 | Denso Corporation | Driving assistance system, driving assistance apparatus, driving assistance method, image recognition apparatus, and image recognition method |
| JP2022102515A (ja) * | 2020-12-25 | 2022-07-07 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置、物体検出方法、およびプログラム |
| JP7214329B2 (ja) | 2016-08-09 | 2023-01-30 | 日立Astemo株式会社 | 表示内容認識装置、および車両制御装置 |
-
2013
- 2013-02-07 JP JP2013022578A patent/JP2014153167A/ja active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10228699B2 (en) | 2015-05-21 | 2019-03-12 | Denso Corporation | Image generation apparatus |
| JP2016220056A (ja) * | 2015-05-21 | 2016-12-22 | 株式会社デンソー | 画像生成装置 |
| CN106168728A (zh) * | 2015-05-21 | 2016-11-30 | 株式会社电装 | 图像生成设备 |
| CN106168728B (zh) * | 2015-05-21 | 2019-11-05 | 株式会社电装 | 图像生成设备 |
| JP2016223847A (ja) * | 2015-05-28 | 2016-12-28 | 日産自動車株式会社 | 自車位置判定装置及び自車位置判定方法 |
| JP2016224713A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社デンソー | 車両の運転支援装置、及び運転支援方法 |
| JP2017009553A (ja) * | 2015-06-26 | 2017-01-12 | 日産自動車株式会社 | 車両位置判定装置及び車両位置判定方法 |
| JP2017009554A (ja) * | 2015-06-26 | 2017-01-12 | 日産自動車株式会社 | 車両位置判定装置及び車両位置判定方法 |
| JP2017151541A (ja) * | 2016-02-22 | 2017-08-31 | 日立オートモティブシステムズ株式会社 | 情報処理装置 |
| US10657670B2 (en) | 2016-02-22 | 2020-05-19 | Hitachi Automotive Systems, Ltd. | Information processing apparatus |
| JP7214329B2 (ja) | 2016-08-09 | 2023-01-30 | 日立Astemo株式会社 | 表示内容認識装置、および車両制御装置 |
| JP7208712B2 (ja) | 2017-01-27 | 2023-01-19 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 画像分析による点滅除去のための装置及び方法 |
| JP2018136932A (ja) * | 2017-01-27 | 2018-08-30 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ | 画像分析による点滅除去のための装置及び方法 |
| IL270477B2 (en) * | 2017-05-19 | 2024-08-01 | Waymo Llc | Camera systems that use filters and exposure times to detect flashing illuminated objects |
| IL270477B1 (en) * | 2017-05-19 | 2024-04-01 | Waymo Llc | Camera systems that use filters and exposure times to detect flashing illuminated objects |
| EP3606798A4 (en) * | 2017-05-19 | 2021-01-13 | Waymo LLC | CAMERA SYSTEM WITH FILTER AND EXPOSURE TIMES TO DETECT FLICKER LIGHTED OBJECTS |
| CN113329189A (zh) * | 2017-05-19 | 2021-08-31 | 伟摩有限责任公司 | 检测闪烁照明的物体的方法以及车辆 |
| US11341667B2 (en) | 2017-05-19 | 2022-05-24 | Waymo Llc | Camera systems using filters and exposure times to detect flickering illuminated objects |
| CN113329189B (zh) * | 2017-05-19 | 2023-12-01 | 伟摩有限责任公司 | 检测闪烁照明的物体的方法以及车辆 |
| WO2018213092A1 (en) | 2017-05-19 | 2018-11-22 | Waymo Llc | Camera systems using filters and exposure times to detect flickering illuminated objects |
| JP2020030200A (ja) * | 2018-06-06 | 2020-02-27 | トヨタ リサーチ インスティテュート，インコーポレイティド | 精度仕様を用いてビークルを位置特定するためのシステムおよび方法 |
| JP7124472B2 (ja) | 2018-06-08 | 2022-08-24 | スズキ株式会社 | 車両用運転支援装置 |
| JP2019212189A (ja) * | 2018-06-08 | 2019-12-12 | スズキ株式会社 | 車両用運転支援装置 |
| CN112104813A (zh) * | 2019-06-18 | 2020-12-18 | 爱信精机株式会社 | 拍摄控制装置 |
| US20220196431A1 (en) * | 2020-12-18 | 2022-06-23 | Denso Corporation | Driving assistance system, driving assistance apparatus, driving assistance method, image recognition apparatus, and image recognition method |
| JP7138157B2 (ja) | 2020-12-25 | 2022-09-15 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置、物体検出方法、およびプログラム |
| JP2022102515A (ja) * | 2020-12-25 | 2022-07-07 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置、物体検出方法、およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014153167A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
| CN113284366B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
| CN111212772B (zh) | 用于确定车辆的驾驶策略的方法和设备 | |
| CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
| JP4654163B2 (ja) | 車両の周囲環境認識装置及びシステム | |
| US8543254B1 (en) | Vehicular imaging system and method for determining roadway width | |
| CN108496176B (zh) | 识别机动车辆的周围区域中的对象的方法，驾驶员辅助系统和机动车辆 | |
| JP6082802B2 (ja) | 物体検知装置 | |
| JP5774770B2 (ja) | 車両周辺監視装置 | |
| US20140226015A1 (en) | Apparatus for monitoring surroundings of vehicle | |
| EP2639742A2 (en) | Vehicle periphery monitoring apparatus | |
| JP5547160B2 (ja) | 車両周辺監視装置 | |
| JP4807354B2 (ja) | 車両検出装置、車両検出システム及び車両検出方法 | |
| JP2009298344A (ja) | 車両灯火判定装置及びプログラム | |
| JP2011090556A (ja) | 遠赤外線歩行者検知装置 | |
| Lin et al. | Adaptive IPM-based lane filtering for night forward vehicle detection | |
| KR20080004833A (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
| JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
| CN105389993B (zh) | 视觉交通信号的处理与识别方法 | |
| CN114582146A (zh) | 红绿灯剩余时长智能提醒方法、系统、存储介质及汽车 | |
| JP2005318408A (ja) | 車両周囲監視装置および方法 | |
| JP2009230530A (ja) | 車両認識装置、車両、及び車両認識用プログラム | |
| KR102544640B1 (ko) | 차선 감지 및 예측 시스템, 장치 및 방법 | |
| KR101850030B1 (ko) | 조도를 이용한 차선 변경 보조 방법 및 장치 | |
| JP5479438B2 (ja) | 車両周辺監視装置 |