JP2008046947A - 周辺監視システム - Google Patents

周辺監視システム Download PDF

Info

Publication number
JP2008046947A
JP2008046947A JP2006222985A JP2006222985A JP2008046947A JP 2008046947 A JP2008046947 A JP 2008046947A JP 2006222985 A JP2006222985 A JP 2006222985A JP 2006222985 A JP2006222985 A JP 2006222985A JP 2008046947 A JP2008046947 A JP 2008046947A
Authority
JP
Japan
Prior art keywords
image
vehicle
camera
edge
wheeled vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006222985A
Other languages
English (en)
Other versions
JP4772622B2 (ja
Inventor
Akihiko Sasajima
晃彦 笹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006222985A priority Critical patent/JP4772622B2/ja
Publication of JP2008046947A publication Critical patent/JP2008046947A/ja
Application granted granted Critical
Publication of JP4772622B2 publication Critical patent/JP4772622B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

【課題】背景に四輪車が写り込んだ状態で撮影された自動二輪車を良好に検出できる「周辺監視システム」を提供する。
【解決手段】
カメラ2で撮影した画像中の物体が写り込んでいる領域を物体画像領域310として抽出し、物体画像領域310のエッジ画像に対する画像認識処理によって自動二輪車と四輪車とを識別する。エッジ画像に対する画像認識処理によって自動二輪車が識別されず、かつ、レーダ装置1が、物体画像領域310に写り込む方向に、当該方向について前後に接近している複数の相対位置を計測している場合には、物体画像領域310のエッジ画像から水平方向に所定長さ以上長いエッジを消去した縦エッジ強調画像320を作成し、縦エッジ強調画像320に対する画像認識処理によって自動二輪車を識別する。
【選択図】図3

Description

本発明は、自動車周辺に存在する物体を検出する技術に関するものである。
自動車周辺に存在する物体を検出する技術としては、自動車に搭載したカメラによって自動車周辺を撮影した画像に写り込んだ他車を、画像中の水平及び垂直方向のエッジパターンに基づく画像認識処理によって認識する技術が知られている(たとえば、特許文献1)。
特開平7-334799号公報
さて、カメラで撮影した画像に対する画像認識処理によって他車を検出する場合、自動二輪車の、カメラから見て後方に四輪車が存在すると、カメラが撮影した画像中において、自動二輪車の画像パターンが、四輪車の画像パターンと混在してしまい、当該自動二輪車の画像パターンが認識できなくなってしまうことがある。そして、このような場合には、自動二輪車の検出漏れが発生することになる。
そこで、本発明は、二輪車後方に四輪車が存在する場合にも、当該二輪車を良好に検出することのできる周辺監視システムを提供することを課題する。
前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車周辺の物体の位置を測定するレーダ装置と、自車周辺を撮影するカメラと、前記カメラが撮影した画像に対して、四輪車と二輪車を識別する画像認識処理である他車認識処理を実施する他車認識処理部と、前記レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合に、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、前記他車認識処理において二輪車を識別する画像認識アルゴリズムと異なる画像認識アルゴリズムによって二輪車を識別する画像認識処理である二輪車認識処理を実施する二輪車認識処理部とを含めて構成したものである。なお、二輪車とは、自動二輪車であっても自転車であっても、その双方であってもよい。
このような周辺監視システムによれば、他車認識処理部によって、前記カメラが撮影した画像に対して、四輪車と二輪車を識別する画像認識処理である他車認識処理を実施するが、レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合には、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に、四輪車を背景として撮影されているために他車認識処理で識別しきれない二輪車が写り込んでいる可能性があるものとして、当該領域に対して、他車認識処理とは異なる画像認識アルゴリズムで二輪車を識別する二輪車認識処理を実施する。
したがって、カメラが撮影した画像中の四輪車を背景として撮影された二輪車が写り込んでいる可能性のある領域に対してのみ、他車認識処理の画像認識アルゴリズムと二輪車認識処理の画像認識アルゴリズムとの複数の異なる画像認識アルゴリズムを適用した二輪車の識別を行うようにしたり、カメラが撮影した画像中の四輪車を背景として撮影された二輪車が写り込んでいる可能性のある領域に対してのみ、四輪車を背景として撮影された二輪車の識別に、より好適化された画像認識アルゴリズムによる二輪車の識別を行ったりすることができるようになる。ここで、一般に、単一の画像認識アルゴリズムを適用して二輪車を識別する場合に比べ、複数の画像認識アルゴリズムを適用して二輪車を識別した方が、当該二輪車の識別精度は向上する。
そして、これらのようにすることにより、効率良く、カメラが撮影した画像中に四輪車を背景として写り込んだ二輪車を確実に識別することができるようになる。
ここで前記二輪車認識処理部は、より具体的には、前記二輪車認識処理において、前記カメラが撮影した画像中の前記方向の物体が写り込む領域中のエッジを水平方向のエッジ成分を抑制した形態で表す縦エッジ強調画像を生成し、生成した縦エッジ強調画像に含まれるエッジパターンが、予め設定した二輪車のエッジパターンの特徴に整合するか否かに基づいて二輪車を識別するものであってもよい。
ここで、縦エッジ強調画像は、四輪車の特徴である長い水平方向エッジが除去され、二輪車に強く表れる特徴である縦エッジパターンが強調されたものとなる。よって、このような縦エッジ強調画像を用いることにより、二輪車をより適正に認識することができるようになる。
ここで、このような周辺監視システムにおいて、前記他車認識処理部は、前記他車認識処理において、前記カメラが撮影した画像中のエッジを表すエッジ画像を生成し、生成したエッジ画像に含まれるエッジパターンが、予め設定した四輪車のエッジパターンの特徴に整合するか否かに基づいて四輪車を識別すると共に、生成したエッジ画像に含まれるエッジパターンが、予め設定した二輪車のエッジパターンの特徴に整合するか否かに基づいて二輪車を識別するものであってもよい。
また、この場合に、前記二輪車認識処理部において、前記他車認識処理部が、前記他車認識処理によってカメラが撮影した画像中の前記方向の物体が写り込む領域に写り込んだ二輪車を認識しなかった場合にのみ、前記二輪車認識処理を実施するようにすることも、処理の効率化を図る上で好ましい。
ここで、以上の各周辺監視システムは、他車認識処理を車両と歩行者を識別する画像認識処理である周辺物体認識処理に置き換え、二輪車認識処理を歩行者を識別する画像認識処理である歩行者認識処理に置き換えて構成するようにしてもよい。
このようにすることにより、効率良く、カメラが撮影した画像中に、車両を背景として写り込んだ歩行者を確実に識別することができるようになる。
また、前記課題達成のために、本発明は、自動車に搭載され、自車周辺を撮影するカメラで撮影した画像に基づいて当該自動車である自車周辺の他車を検出する周辺監視システムにおいて、前記カメラによって四輪車を背景として撮影された二輪車を検出する二輪車検出方法として、レーダ装置を用いて自車周辺の物体の位置を測定するステップと、前記レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合に、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、四輪車を背景として撮影された二輪車を識別する画像認識処理を実施するステップとを行う方法を提供する。
このような二輪車検出方法によれば、レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合には、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に、四輪車を背景として撮影された二輪車が写り込んでいる可能性があるものとして、当該領域に対して、四輪車を背景として撮影された二輪車を識別する画像認識処理を実施する。
したがって、四輪車を背景として撮影された二輪車を識別する画像認識処理を実施する領域を、そのような二輪車が写り込んでいる可能性がある領域にのみに適正に限定した、効率的な、四輪車を背景として撮影された二輪車の検出を行うことができるようになる。
ここで、この二輪車検出方法における、前記画像認識処理は、たとえば、前記カメラが撮影した画像中の前記方向の物体が写り込む領域中のエッジを水平方向のエッジ成分を抑制した形態で表す縦エッジ強調画像を生成し、生成した縦エッジ強調画像に含まれるエッジパターンが、予め設定した二輪車のエッジパターンの特徴に整合するか否かに基づいて二輪車を識別するものとする。前述のように、このような縦エッジ強調画像を用いることにより、二輪車をより適正に認識することができるようになる。
ここで、本発明は、併せて、以上の二輪車検出方法の、前記画像認識処理を、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、車両を背景として撮影された歩行者を識別する画像認識処理に置き換えた構成によって、前記カメラによって車両を背景として撮影された歩行者を検出する歩行者検出方法も提供する。
このような歩行者検出方法によれば、車両を背景として撮影された歩行者を識別する画像認識処理を実施する領域を、そのような歩行者が写り込んでいる可能性がある領域にのみに適正に限定した、効率的な、車両を背景として撮影された歩行者の検出を行うことができるようになる。
以上のように、本発明によれば、二輪車後方に四輪車が存在する場合にも、当該二輪車を良好に検出することができる。
以下、本発明の実施形態を説明する。
図1aに、本第実施形態に係る周辺監視システムの構成を示す。
本周辺監視システムは、自動車に搭載されるシステムであり、図示するように、周辺監視システムは、レーダ装置1、カメラ2、他車認識処理部3、物標追尾部4、周辺状況提示部5、表示装置6、音声出力装置7とを有している。
ここで、本周辺監視システムが搭載された自動車を自車100として、図1bに示すようにレーダ装置1とカメラ2は、自車100の後部に配置される。そして、レーダ装置1は、自車100後方をスキャン範囲としてスキャン範囲内にある他車の自車100に対する相対位置(相対方位、相対距離)を測定しレーダ測定データとして出力するスキャン処理を繰り返し行う。そして、カメラ2は自車100後方を繰り返し撮影する。
また、他車認識処理部3は、カメラ2が撮影した画像に対して、後述する他車認識処理を実行し、画像中に他車が写り込んでいる領域を抽出し、抽出した領域に写り込んだ他車の自動四輪車/自動二輪車等の種別を認識すると共に、抽出した領域の画像中の位置より、当該他車の自車100に対する相対位置(相対方位、相対距離)を算定する。そして、認識した他車の種別と算定した他車の相対位置とをカメラ測定データとして出力する処理を繰り返し行う。
次に、物標追尾部4は、レーダ装置1から出力されたレーダ測定データやカメラ測定データに基づいて、自車100後方の他車の位置を追尾する。
そして、周辺状況提示部5は、物標追尾部4が追尾している他車の現在位置や位置の履歴に基づいて、自車100後方の他車の配置や挙動の状況などを表示装置6に表示したり、自車100後方の他車の配置や挙動と自車100の挙動との関係等より危険の発生を予知して警告を表す音声を音声出力装置7から出力する処理などを行う。
以下、上述のように他車認識処理部3が行う他車認識処理について説明する。
図2に、この他車認識処理の手順を示す。
図示するように、この処理では、まず、カメラ2が撮影した画像を取得し(ステップ202)、取得した画像中の画素値の不連続箇所をエッジとして抽出して、抽出したエッジを表すエッジ画像を作成する(ステップ204)。
すなわち、たとえば、図3a1に示すように、自車100後方を自動二輪車301と四輪車302が当該順序で走行している場合において、図3a2に示すように、カメラ2によって、四輪車302の画像パターンと当該四輪車の画像パターン上に重なった自動二輪車301の画像パターンとを含む画像が撮影された場合には、この画像より図3bに示すようなエッジ画像を作成する。
そして、次にエッジ画像中の物体が写り込んでいる領域を物体画像領域として抽出する(ステップ206)。
すなわち、たとえば、図3bに示すようにエッジ画像が作成されている場合には、図3cに示すように、四輪車302のエッジの領域と自動二輪車301のエッジの領域の双方を結合した領域に外接する矩形の領域を、物体画像領域310として抽出する。
ここで、このような物体画像領域310の抽出のアルゴリズムは種々存在するが、たとえば、カメラ2で撮影した画像中の、道路上の物体が撮影される範囲内に存在する、エッジで囲まれた部分に外接する領域を物体画像領域310として抽出したり、レーダ装置1から出力されたレーダ測定データが示す物体の相対位置に車両が存在する場合に当該車両が写り込むことになる部分に外接する領域を物体画像領域310として抽出することなどにより物体画像領域310の抽出を行う。
なお、カメラ2で撮影した画像中の、道路上の物体が撮影される範囲は、カメラ2の配置と撮影方向より定めることができる。また、画像中に写り込む道路上の白線を認識すると共に当該白線の配置に応じて道路上の領域が撮影される範囲を定めたりすることもできる。
図2に戻り、物体画像領域310を抽出したならば(ステップ206)、次に、エッジ画像の物体画像領域310に対して、四輪車識別用のパターンマッチング処理と、自動二輪車識別用のパターンマッチング処理とを実行する(ステップ208)。
ここで、このステップ208における四輪車識別用のパターンマッチング処理では、たとえば、四輪車のエッジ画像に表れる四輪車としての標準的な特徴を表す四輪車エッジテンプレートと、物体画像領域310とのパターンマッチングを行い、四輪車エッジテンプレートと所定レベル以上整合するパターンを物体画像領域310中から見つけ出すことができた場合に四輪車を認識する。また、同様に、このステップ208における自動二輪車識別用のパターンマッチング処理では、たとえば、自動二輪車のエッジ画像に表れる自動二輪車としての標準的な特徴を表す自動二輪車エッジテンプレートと、物体画像領域310とのパターンマッチングを行い、自動二輪車エッジテンプレートと所定レベル以上整合するパターンを物体画像領域310中から見つけ出すことができた場合に自動二輪車を認識する。
ただし、ステップ208では、以上のようなパターンマッチング処理に代えて、他の画像認識アルゴリズムによって四輪車や二輪車を認識する画像認識処理を行うようにしてもよい。
そして、次に、ステップ210において、ステップ208で行った各パターンマッチング処理による認識結果をメラ測定データとして出力し、ステップ212に進む。すなわち、ステップ210では、ステップ208で行った四輪車識別用のパターンマッチング処理で四輪車が認識されていれば、四輪車エッジテンプレートと所定レベル以上整合した物体画像領域310中のパターンの位置に相当するカメラ2が撮影した画像中の位置より、当該四輪車の自車100に対する相対位置(相対方位、相対距離)を算定し、算定した相対位置に四輪車が存在することを表すカメラ測定データを出力する。また、さらに、ステップ208で行ったニ輪車識別用のパターンマッチング処理で四輪車が認識されていれば、自動二輪車エッジテンプレートと所定レベル以上整合した物体画像領域310中のパターンの位置に相当するカメラ2が撮影した画像中の位置より、当該自動ニ輪車の自車100に対する相対位置(相対方位、相対距離)を算定し、算定した相対位置に自動ニ輪車が存在することを表すカメラ測定データを出力する。なお、ステップ208で行ったパターンマッチングで、四輪車と自動二輪車の双方共認識されなかった場合には、ステップ210ではカメラ測定データの出力は行われず、そのまま、次のステップ212に進むことになる。
そして、ステップ212では、ステップ208で自動二輪車が認識されたかどうかを調べる。そして、自動二輪車が認識されていれば、ステップ202からの処理に戻る(ステップ212)。
一方、ステップ208で自動二輪車が認識されていなければ、レーダ装置1のレーダ測定データを取得し、物体画像領域310のカメラ2が撮影した画像中の位置より求まる、当該物体画像領域310に写り込む物体の自車100に対する方向を、相対方位として持つ当該方向について前後に接近した複数の相対位置を、レーダ装置1が計測しているかどうかを調べる(ステップ216)。すなわち、ここでは、レーダ装置1が、物体画像領域310に写り込む方向に、当該方向について前後に接近した複数の相対位置を検出しているかどうかを調べる。ここで、図3a1に示すように、自車100後方を自動二輪車301と四輪車302が当該順序で走行している場合には、レーダ装置1によって自動二輪車301に対する相対位置と四輪車302に対する相対位置が計測されるので、図3cに示すように抽出された物体画像領域310に写り込む方向に、当該方向について前後に接近した複数の相対位置が、レーダ装置1によって検出されることになる。
そして、レーダ装置1が、物体画像領域310に写り込む方向に、当該方向について前後に接近した複数の相対位置を検出していなければ、そのままステップ202からの処理に戻る。
一方、レーダ装置1が、物体画像領域310に写り込む方向に、当該方向について前後に接近した複数の相対位置を検出していれば、物体画像領域310に含まれるエッジの内の、水平方向に所定長さ以上長いエッジを消去し、縦エッジを強調した縦エッジ強調画像を作成する(ステップ218)。すなわち、図3cのように物体画像領域310が抽出されていれば、この物体画像領域310より、図3dに示すように縦エッジ強調画像320が作成されることになる。
そして、このように縦エッジ強調画像320を作成したならば、縦エッジ強調画像320に対して、自動二輪車識別用のパターンマッチング処理を実行する(ステップ220)。ここで、このステップ220で行うパターンマッチング処理では、たとえば、自動二輪車の縦エッジ強調画像320に表れる自動二輪車としての標準的な特徴を表す自動二輪車縦エッジテンプレートと、縦エッジ強調画像320とのパターンマッチングを行い、自動二輪車縦エッジテンプレートと所定レベル以上整合するパターンを縦エッジ強調画像320中から見つけ出すことができた場合に自動二輪車を認識する。ただし、このステップ220では、前述した自動二輪車エッジテンプレートと、縦エッジ強調画像320とのパターンマッチングを行い、自動二輪車エッジテンプレートと所定レベル以上整合するパターンを縦エッジ強調画像320中から見つけ出すことができた場合に自動二輪車を認識するようにすることもできる。
さて、ここで、図3dに示すように、水平方向に所定長さ以上長いエッジを消去した縦エッジ強調画像320は、四輪車の特徴である長い水平方向のエッジパターンが失われたものとなり、この結果、縦エッジ強調画像320では、エッジ画像において自動二輪車の背景となっている四輪車のエッジパターンから自動二輪車に強く表れる特徴である縦エッジパターンを抜き出して強調したものとなる。よって、このような縦エッジ強調画像320を用いたパターンマッチングによって、図3a2のように、四輪車302の画像パターンと当該四輪車の画像パターン上に重なった自動二輪車301の画像パターンとを含む画像が撮影された場合にも、自動二輪車を適正に認識することができるようになる。
ところで、第1の四輪車の画像パターンと当該四輪車の画像パターン上に重なった第2の四輪車の画像パターンとを含む画像が撮影された場合には、一般的に言って、エッジ画像に、第2の四輪車の輪郭を成す縦横エッジや左右のライトのエッジが明瞭に表れるので、エッジ画像に対する四輪車識別用のパターンマッチング処理によって支障無く当該第2の四輪車を認識することができる。
なお、ステップ220では、以上のようなパターンマッチング処理に代えて、ステップ209における自動二輪車の識別に用いる画像認識アルゴリズムと異なる他の画像認識アルゴリズムによって自動二輪車を認識する画像認識処理を行うようにしてもよい。
さて、次に、ステップ222において、ステップ220で行ったパターンマッチング処理による認識結果をメラ測定データとして出力し、ステップ202からの処理に戻る。すなわち、ステップ222では、ステップ220で行った自動二輪車識別用のパターンマッチング処理で自動二輪車が認識されていれば、自動二輪車縦エッジテンプレート(または自動二輪車エッジテンプレート)と所定レベル以上整合した縦エッジ強調画像320中のパターンにの位置に相当するカメラ2が撮影した画像中の位置より、ニ輪車の自車100に対する相対位置(相対方位、相対距離)を算定し、算定した相対位置にニ輪車が存在することを表すカメラ測定データを出力する。なお、ステップ220で行ったパターンマッチングで、自動二輪車が認識されなかった場合には、ステップ222ではカメラ測定データの出力は行われず、そのまま、ステップ202からの処理に戻ることになる。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、四輪車と自動二輪車の検出を行う場合について示したが、本実施形態に係る周辺監視システムにおいて自転車や歩行者も検出するようにしてもよい。
すなわち、この場合には、図2に示した他車認識処理のステップ208において、四輪車識別用のパターンマッチング処理と自動二輪車識別用のパターンマッチング処理に加え、自転車識別用のパターンマッチング処理と歩行者識別用のパターンマッチング処理も、物体画像領域310に対して行うようにする。また、ステップ212を、ステップ208で行った各パターンマッチング処理で、自動二輪車と自転車と歩行者のいずれが認識されなかった場合にステップ214に進み、全てが認識された場合にステップ202に進む処理とする。また、ステップ220では、縦エッジ強調画像320に対して、自動二輪車識別用のパターンマッチング処理に加え、自転車識別用のパターンマッチング処理と歩行者識別用のパターンマッチング処理も行うようにする。
なお、この場合に、ステップ208における自転車識別用のパターンマッチング処理では、たとえば、自転車のエッジ画像に表れる自転車としての標準的な特徴を表す自転車エッジテンプレートと、物体画像領域310とのパターンマッチングを行い、自転車エッジテンプレートと所定レベル以上整合するパターンを物体画像領域310中から見つけ出すことができた場合に自転車を認識する。また、同様に、このステップ208における歩行者識別用のパターンマッチング処理では、たとえば、歩行者のエッジ画像に表れる歩行者としての標準的な特徴を表す歩行者エッジテンプレートと、物体画像領域310とのパターンマッチングを行い、歩行者エッジテンプレートと所定レベル以上整合するパターンを物体画像領域310中から見つけ出すことができた場合に歩行者を認識する。また、ステップ220における自転車識別用のパターンマッチング処理では、たとえば、自転車の縦エッジ強調画像320に表れる自転車としての標準的な特徴を表す自転車縦エッジテンプレートと、縦エッジ強調画像320とのパターンマッチングを行い、自転車縦エッジテンプレートと所定レベル以上整合するパターンを縦エッジ強調画像320中から見つけ出すことができた場合に自転車を認識する。また、同様にステップ220における歩行者識別用のパターンマッチング処理では、たとえば、歩行者の縦エッジ強調画像320に表れる歩行者としての標準的な特徴を表す歩行者縦エッジテンプレートと、縦エッジ強調画像320とのパターンマッチングを行い、歩行者縦エッジテンプレートと所定レベル以上整合するパターンを縦エッジ強調画像320中から見つけ出すことができた場合に歩行者を認識する。
ここで、縦エッジパターンは自転車や歩行者にも強く表れる特徴であるので、このように周辺監視システムにおいて自転車や歩行者も検出するようにすることにより四輪車の画像パターンと当該四輪車の画像パターン上に重なった自転車または歩行者の画像パターンとを含む画像が撮影された場合にも、自転車や歩行者を適正に認識することができるようになる。
本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。 本発明の実施形態に係る他車認識処理を示すフローチャートである。 本発明の実施形態に係る他車認識処理の処理例を示す図である。
符号の説明
1…レーダ装置、2…カメラ、3…他車認識処理部、4…物標追尾部、5…周辺状況提示部、6…表示装置、7…音声出力装置、100…自車、310…物体画像領域、320…縦エッジ強調画像。

Claims (11)

  1. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
    自車周辺の物体の位置を測定するレーダ装置と、
    自車周辺を撮影するカメラと、
    前記カメラが撮影した画像に対して、四輪車と二輪車を識別する画像認識処理である他車認識処理を実施する他車認識処理部と、
    前記レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合に、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、前記他車認識処理において二輪車を識別する画像認識アルゴリズムと異なる画像認識アルゴリズムによって二輪車を識別する画像認識処理である二輪車認識処理を実施する二輪車認識処理部とを有することを特徴とする周辺監視システム。
  2. 請求項1記載の周辺監視システムであって、
    前記二輪車認識処理は、前記他車認識処理において二輪車を識別する画像認識アルゴリズムに比べ、四輪車を背景として撮影された二輪車の識別に、より好適化された画像認識アルゴリズムによって二輪車を識別する画像認識処理であることを特徴とする周辺監視システム。
  3. 請求項1または2記載の周辺監視システムであって、
    前記二輪車認識処理部は、前記二輪車認識処理において、前記カメラが撮影した画像中の前記方向の物体が写り込む領域中のエッジを水平方向のエッジ成分を抑制した形態で表す縦エッジ強調画像を生成し、生成した縦エッジ強調画像に含まれるエッジパターンが、予め設定した二輪車のエッジパターンの特徴に整合するか否かに基づいて二輪車を識別することを特徴とする周辺監視システム。
  4. 請求項1、2または3記載の周辺監視システムであって、
    前記他車認識処理部は、前記他車認識処理において、前記カメラが撮影した画像中のエッジを表すエッジ画像を生成し、生成したエッジ画像に含まれるエッジパターンが、予め設定した四輪車のエッジパターンの特徴に整合するか否かに基づいて四輪車を識別すると共に、生成したエッジ画像に含まれるエッジパターンが、予め設定した二輪車のエッジパターンの特徴に整合するか否かに基づいて二輪車を識別することを特徴とする周辺監視システム。
  5. 請求項1、2、3または4記載の周辺監視システムであって、
    前記二輪車認識処理部は、前記他車認識処理部が、前記他車認識処理によってカメラが撮影した画像中の前記方向の物体が写り込む領域に写り込んだ二輪車を認識しなかった場合にのみ、前記二輪車認識処理を実施することを特徴とする周辺監視システム。
  6. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
    自車周辺の物体の位置を測定するレーダ装置と、
    自車周辺を撮影するカメラと、
    前記カメラが撮影した画像に対して、車両と歩行者を識別する画像認識処理である周辺物体認識処理を実施する周辺物体認識処理部と、
    前記レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合に、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、前記周辺物体認識処理において歩行者を識別する画像認識アルゴリズムと異なる画像認識アルゴリズムによって歩行者を識別する画像認識処理である歩行者認識処理を実施する歩行者認識処理部とを有することを特徴とする周辺監視システム。
  7. 請求項6記載の周辺監視システムであって、
    前記歩行者認識処理部は、前記歩行者認識処理において、前記カメラが撮影した画像中の前記方向の物体が写り込む領域中のエッジを水平方向のエッジ成分を抑制した形態で表す縦エッジ強調画像を生成し、生成した縦エッジ強調画像に含まれるエッジパターンが、予め設定した歩行者のエッジパターンの特徴に整合するか否かに基づいて歩行者を識別することを特徴とする周辺監視システム。
  8. 自動車に搭載され、自車周辺を撮影するカメラで撮影した画像に基づいて当該自動車である自車周辺の他車を検出する周辺監視システムにおいて、前記カメラによって四輪車を背景として撮影された二輪車を検出する二輪車検出方法であって、
    レーダ装置を用いて自車周辺の物体の位置を測定するステップと、
    前記レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合に、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、四輪車を背景として撮影された二輪車を識別する画像認識処理を実施するステップとを有することを特徴とする二輪車検出方法。
  9. 請求項8記載の二輪車検出方法であって、
    前記画像認識処理において、前記カメラが撮影した画像中の前記方向の物体が写り込む領域中のエッジを水平方向のエッジ成分を抑制した形態で表す縦エッジ強調画像を生成し、生成した縦エッジ強調画像に含まれるエッジパターンが、予め設定した二輪車のエッジパターンの特徴に整合するか否かに基づいて二輪車を識別することを特徴とする二輪車検出方法。
  10. 自動車に搭載され、自車周辺を撮影するカメラで撮影した画像に基づいて当該自動車である自車周辺の物体を検出する周辺監視システムにおいて、前記カメラによって車両を背景として撮影された歩行者を検出する歩行者検出方法であって、
    レーダ装置を用いて自車周辺の物体の位置を測定するステップと、
    前記レーダ装置が、前記カメラから見て同じ方向に存在する複数の物体の位置を測定した場合に、前記カメラが撮影した画像中の前記方向の物体が写り込む領域に対して、車両を背景として撮影された歩行者を識別する画像認識処理を実施するステップとを有することを特徴とする歩行者検出方法。
  11. 請求項10記載の歩行者検出方法であって、
    前記画像認識処理において、前記カメラが撮影した画像中の前記方向の物体が写り込む領域中のエッジを水平方向のエッジ成分を抑制した形態で表す縦エッジ強調画像を生成し、生成した縦エッジ強調画像に含まれるエッジパターンが、予め設定した歩行者のエッジパターンの特徴に整合するか否かに基づいて歩行者を識別することを特徴とする歩行者検出方法。
JP2006222985A 2006-08-18 2006-08-18 周辺監視システム Expired - Fee Related JP4772622B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006222985A JP4772622B2 (ja) 2006-08-18 2006-08-18 周辺監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006222985A JP4772622B2 (ja) 2006-08-18 2006-08-18 周辺監視システム

Publications (2)

Publication Number Publication Date
JP2008046947A true JP2008046947A (ja) 2008-02-28
JP4772622B2 JP4772622B2 (ja) 2011-09-14

Family

ID=39180622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006222985A Expired - Fee Related JP4772622B2 (ja) 2006-08-18 2006-08-18 周辺監視システム

Country Status (1)

Country Link
JP (1) JP4772622B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047054A1 (ja) * 2008-10-20 2010-04-29 本田技研工業株式会社 車両の周辺監視装置
JP2010134821A (ja) * 2008-12-08 2010-06-17 Omron Corp 車両種別判別装置
CN102473281A (zh) * 2009-09-03 2012-05-23 本田技研工业株式会社 车辆周围监测装置
WO2016186039A1 (ja) * 2015-05-20 2016-11-24 修一 田山 自動車周辺情報表示システム
CN110969055A (zh) * 2018-09-29 2020-04-07 百度在线网络技术(北京)有限公司 用于车辆定位的方法、装置、设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353231A (ja) * 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
JP2002099905A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体判別装置
JP2004265238A (ja) * 2003-03-03 2004-09-24 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2005202878A (ja) * 2004-01-19 2005-07-28 Toyota Motor Corp 物体検出装置
JP2006155388A (ja) * 2004-11-30 2006-06-15 Honda Motor Co Ltd 車両周辺監視装置
JP2007233487A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 歩行者検出方法、装置、およびプログラム
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353231A (ja) * 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
JP2002099905A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体判別装置
JP2004265238A (ja) * 2003-03-03 2004-09-24 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2005202878A (ja) * 2004-01-19 2005-07-28 Toyota Motor Corp 物体検出装置
JP2006155388A (ja) * 2004-11-30 2006-06-15 Honda Motor Co Ltd 車両周辺監視装置
JP2007233487A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 歩行者検出方法、装置、およびプログラム
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047054A1 (ja) * 2008-10-20 2010-04-29 本田技研工業株式会社 車両の周辺監視装置
JP2010097541A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 車両の周辺監視装置
CN102187377A (zh) * 2008-10-20 2011-09-14 本田技研工业株式会社 车辆的周围监测装置
US8648912B2 (en) 2008-10-20 2014-02-11 Honda Motor Co., Ltd. Vehicle periphery monitoring apparatus
JP2010134821A (ja) * 2008-12-08 2010-06-17 Omron Corp 車両種別判別装置
CN102473281A (zh) * 2009-09-03 2012-05-23 本田技研工业株式会社 车辆周围监测装置
WO2016186039A1 (ja) * 2015-05-20 2016-11-24 修一 田山 自動車周辺情報表示システム
JP2016218732A (ja) * 2015-05-20 2016-12-22 修一 田山 自動車周辺情報表示システム
CN107615353A (zh) * 2015-05-20 2018-01-19 日本艺美极株式会社 汽车周边信息显示系统
US10302448B2 (en) 2015-05-20 2019-05-28 Shuichi Toyama Automobile periphery information display system
CN110969055A (zh) * 2018-09-29 2020-04-07 百度在线网络技术(北京)有限公司 用于车辆定位的方法、装置、设备和计算机可读存储介质
JP2020057387A (ja) * 2018-09-29 2020-04-09 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 車両位置決め方法、車両位置決め装置、電子機器及びコンピュータ読み取り可能な記憶媒体
US11144770B2 (en) 2018-09-29 2021-10-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for positioning vehicle, device, and computer readable storage medium
CN110969055B (zh) * 2018-09-29 2023-12-19 阿波罗智能技术(北京)有限公司 用于车辆定位的方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
JP4772622B2 (ja) 2011-09-14

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
WO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US9239380B2 (en) Driver assistance system for avoiding collisions of a vehicle with pedestrians
US9280900B2 (en) Vehicle external environment recognition device
JP5774770B2 (ja) 車両周辺監視装置
JP2008165765A (ja) 車両側面画像取得方法及び装置、車灯誤識別検出方法及び安全運転予測方法
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US20150092989A1 (en) Vehicle external environment recognition device
JP2012185588A (ja) 車戴カメラ及び車載カメラシステム
JP2007188417A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP2005196590A (ja) 歩行者抽出装置
JP4772622B2 (ja) 周辺監視システム
US9524645B2 (en) Filtering device and environment recognition system
JP6411933B2 (ja) 車両状態判定装置
JP2014146267A (ja) 歩行者検出装置、運転支援装置
KR101519261B1 (ko) 차량의 모니터링 방법 및 자동 제동 장치
JP4762830B2 (ja) 周辺監視システム
JP2011103058A (ja) 誤認識防止装置
JP2008287692A (ja) 障害物認識装置
JP2009230530A (ja) 車両認識装置、車両、及び車両認識用プログラム
JP5832850B2 (ja) 車線監視システム及び車線監視方法
Muzammel et al. Rear-end vision-based collision detection system for motorcyclists
JP4768499B2 (ja) 車載周辺他車検出装置
Satzoda et al. Vision-based front and rear surround understanding using embedded processors
JP4817982B2 (ja) 車両識別システム及び車両識別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4772622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees