JP2006191210A - 車両周辺認識システム及び画像処理装置 - Google Patents

Abstract

【課題】 撮像装置で撮像して得られた撮像画像から、外界の人工構造物を示す人工構造物領域を除去して車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供する。
【解決手段】 画像処理部４５は、撮像画像を該撮像画像の湾曲部分を矯正した矯正画像に変換するための変換テーブルを有するＬＵＴ４５１と、矯正画像の画素が有する輝度に基づいてエッジを検出するエッジ検出部４５２と、検出されたエッジ画像に基づいて直線又は角を検出する直線・角検出部４５３と、検出された直線又は角に基づいて外界の人工構造物に対応する人工構造物領域を特定する人工構造物領域特定部４５４と、特定された人工構造物領域を除いた矯正画像に基づいて歩行者認識処理を行う歩行者認識部４５５と、矯正画像を記憶するフレームメモリ４５６とを有する。
【選択図】 図３

Description

本発明は、撮像装置で撮像して得られた撮像画像から、外界の人工構造物を示す人工構造物領域を特定し、特定した人工構造物領域を除いた撮像画像を画像処理装置で処理して車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置に関する。

車両（例えば、自動車）の前部に遠赤外光用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、障害物、移動物体などを撮像し、撮像した映像をヘッドアップディスプレイなどの表示装置で表示して、運転者に注意を促す前方監視システムが提案されている。

このようなシステムで使用される遠赤外光用のビデオカメラは、車両が高速で走行した場合であっても、車両前方の遠方（例えば、３０〜１５０ｍ）の歩行者、移動物体などをディスプレイ上で所要の大きさで認識できるように、視野角が１０〜１５°程度の狭角レンズ（望遠レンズ）を備えている。また、ビデオカメラで撮像して得られた撮像画像から、直線パターン又は直線で構成される角パターンを検出し、検出した直線パターン又は角パターンに基づいて人工構造物を示す人工構造物領域を特定し、特定した人工構造物領域を除去することにより、人工構造物を歩行者、障害物又は移動物体と誤認識することを防止して歩行者、障害物、移動物体などの認識率の向上を図るシステムもある。

しかしながら、従来のシステムにあっては、ビデオカメラの視野角が狭く、車両の発進時、後退時、又は低速走行時においては、車両の周辺の広い範囲を撮像できるように広角レンズを有するビデオカメラで撮像することが安全上望ましい。広角レンズを有するビデオカメラで撮像した撮像画像は、視野の中央部よりも端部において撮像画像の湾曲度合いが大きくなり、直線パターン又は角パターンを検出することができず、人工構造物領域を除去して歩行者（人間）の認識をすることができず、歩行者、障害物、移動物体などの車両周辺の認識率が低下する虞があった。

本発明は、斯かる事情に鑑みてなされたものであり、広範囲の撮像画像を、該撮像画像の湾曲部分を矯正した矯正画像に変換する変換手段を備ることにより、広角レンズを有する撮像装置を用いた場合であっても、車両周辺の認識率を低下させることなく、車両周辺を認識することができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供することを目的とする。

また、本発明の他の目的は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換する変換手段を備えることにより、矯正後の画像を得ることができる車両周辺認識システムを提供することにある。

また、本発明の他の目的は、前記撮像装置は、超広角レンズ又は魚眼レンズを有することにより、車両周辺の広い範囲において、車両周辺を認識することができる車両周辺認識システムを提供することにある。

第１発明に係る車両周辺認識システムは、車両の外界を撮像装置で撮像し、撮像して得られた撮像画像から外界の人工構造物を示す人工構造物領域を除去し、該人工構造物領域を除去した撮像画像を画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、前記撮像装置は、広範囲の撮像画像を撮像するようにしてあり、前記画像処理装置は、前記撮像画像を該撮像画像が有する湾曲部分を矯正した矯正画像に変換する変換手段と、前記矯正画像の画素が有する輝度に基づいて、画像中の直線又は角を検出する検出手段と、検出した直線又は角に基づいて前記人工構造物領域を特定する特定手段とを備え、特定した人工構造物領域を除いた矯正画像に基づいて車両周辺を認識するようにしてあることを特徴とする。

第２発明に係る車両周辺認識システムは、第１発明において、前記変換手段は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換するように構成してあることを特徴とする。

第３発明に係る車両周辺認識システムは、第１発明又は第２発明において、前記撮像装置は、超広角レンズ又は魚眼レンズを有することを特徴とする。

第４発明に係る画像処理装置は、取得した撮像画像から外界の人工構造物を示す人工構造物領域を除去し、該人工構造物領域を除去した撮像画像を処理して車両周辺を認識する画像処理装置において、前記撮像画像を該撮像画像が有する湾曲部分を矯正した矯正画像に変換する変換手段と、前記矯正画像の画素が有する輝度に基づいて、画像中の直線又は角を検出する検出手段と、検出した直線又は角に基づいて前記人工構造物領域を特定する特定手段とを備え、特定した人工構造物領域を除いた矯正画像に基づいて車両周辺を認識するようにしてあることを特徴とする。

第１発明及び第４発明にあっては、撮像装置は、広範囲の撮像画像を撮像する。変換手段は、前記撮像画像の湾曲部分を矯正して、前記撮像画像を矯正画像に変換する。検出手段は、前記矯正画像の画素が有する輝度に基づいて、画像中の直線又は角を検出する。特定手段は、検出された直線又は角に基づいて、前記直線又は角を境界とする領域を人工構造物領域として特定する。これにより、画像処理装置は、前記矯正画像から前記人工構造物領域を除いて車両周辺を認識する。

第２発明にあっては、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換することにより、撮像画像における湾曲部分を矯正して矯正画像を得る。

第３発明にあっては、前記撮像装置は、超広角レンズ又は魚眼レンズを有する。超広角レンズ又は魚眼レンズの画角は、例えば、１００°〜１９０°であり、前記撮像装置で撮像する撮像領域を広くする。

第１発明及び第４発明にあっては、広角レンズを有する撮像装置で車両周辺の広い範囲を撮像する場合であっても、撮像画像を該撮像画像が有する湾曲部分を矯正した矯正画像に変換して、画像中の直線又は角を検出することができる。さらに、前記直線又は角に基づいて人工構造物領域を特定し、特定した人工構造物領域を除いて車両周辺を認識することができるため、車両周辺の歩行者、障害物、移動物体などの認識率を低下させることなく、車両周辺の広い範囲を認識することができる。

第２発明にあっては、撮像画像の湾曲部分を矯正した矯正画像を得ることができ、人工構造物領域を抽出することができる。

第３発明にあっては、超広角レンズ又は魚眼レンズを用いることにより、車両周辺のさらに広い範囲を認識することができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る車両周辺認識システムの概要を示す模式図である。図において、１は車両のフロントグリルの中央部に設置した前方監視用のビデオカメラである。ビデオカメラ１は、魚眼レンズを有し、魚眼レンズの光軸が車両前方斜め下方向になるように取り付けてある。車両の左側ドアミラーの下部には、ビデオカメラ１と同様の魚眼レンズを有し、該魚眼レンズの光軸が鉛直下方向になるように、左側監視用のビデオカメラ２が取り付けてある。また、車両の後部バンパ中央部には、ビデオカメラ１と同様の魚眼レンズを有し、該魚眼レンズの光軸が車両後方斜め下方向になるように取り付けてある。

ビデオカメラ１、２、３は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ用の通信線６を介して画像処理装置４に接続されている。画像処理装置４には、通信線６を介して操作部及び警報部を有する表示装置５を接続してある。

図２は、ビデオカメラ１の構成を示すブロック図である。１１は撮像部である。撮像部１１は、外界からの遠赤外光を受光するゲルマニウム製の魚眼レンズ１１１と、魚眼レンズ１１１の光軸が撮像面の中心に位置するように配置した遠赤外線撮像素子１１２とを有する。遠赤外線撮像素子１１２で撮像される撮像画像のサイズは、例えば、３２０ｘ２４０画素である。ビデオカメラ１、２、３で撮像して得られた撮像画像は、標準レンズに比較して、撮像画像の中央部から端部に近づくにつれて撮像した画像の湾曲度合い（歪み）が大きくなる湾曲画像となる。

魚眼レンズ１１１を透過した遠赤外光は、遠赤外線撮像素子１１２に入力される。遠赤外線撮像素子１１２は、入力された遠赤外光を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部１２へ出力する。

信号処理部１２は、撮像部１１から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を画像データとして一旦画像メモリ１４へ記憶する。

インタフェース部１３は、画像処理装置４から送信される指令に従って、画像メモリ１４に記憶された撮像画像を画像処理装置４へ出力するための制御、ビデオカメラ１、２、３で撮像した画像の解像度による転送レートの変換、撮像画像が有する画像データからパケットデータの作成などを行う。また、インタフェース部１３は、制御部１５の制御に従って、画像メモリ１４に記憶された撮像画像を画像処理装置４へ出力する。

制御部１５は、バス１６を介して、撮像部１１、信号処理部１２、インタフェース部１３の処理を制御する。例えば、画像処理装置４からの指令を解釈して、撮像部１１が撮像した撮像画像を画像メモリ１４に記憶する。また、記憶された撮像画像を読み出し、インタフェース部１３を介して画像処理装置４へ出力する。なお、ビデオカメラ２、３も同様の構成を有するので、説明は省略する。

図３は画像処理装置４の構成を示すブロック図である。図において、４１はインタフェース部であり、ビデオカメラ１、２、３に対する指令の転送、ビデオカメラ１、２、３からの撮像画像が有する画像データの転送を行う。

記憶部４３は、歩行者を認識するための標準パターンＨ１、Ｈ２、…を記憶する標準パターン部４３１を有する。標準パターンＨ１、Ｈ２、…は人間の輝度分布に対応した輝度分布を有し、人間の体形、子供と大人の区別、服装、姿勢などに応じて複数のパターンを有する。

制御部４６は、インタフェース部４１を介してビデオカメラ１、２、３から入力された撮像画像夫々を、ビデオカメラ１、２、３のフレームレートと同期して、１フレーム単位で画像メモリ４２の異なる領域に記憶する。また、制御部４６は、画像メモリ４２に記憶された撮像画像をフレーム単位で画像処理部４５へ出力する。

画像処理部４５は、撮像画像を該撮像画像の湾曲部分を矯正した矯正画像に変換するための変換テーブル４５１ａ、４５１ｂ、４５１ｃ（夫々ビデオカメラ１、２、３用）を有するＬＵＴ４５１と、変換された矯正画像の画素が有する輝度に基づいて、エッジを検出するエッジ検出部４５２と、エッジ検出部５４２で検出されたエッジ画像に基づいて、直線、又は２直線により構成される角を検出する直線・角検出部４５３と、直線・角検出部４５３で検出された直線又は角に基づいて、外界の人工構造物に対応する人工構造物領域を特定する人工構造物領域特定部４５４と、特定された人工構造物領域を除いた矯正画像に基づいて、歩行者認識処理を行う歩行者認識部４５５と、撮像画像から変換された矯正画像を記憶するフレームメモリ４５６とを有する。

図４は撮像画像の画素の変位量の例を示す説明図である。適長の間隔を有する二次元格子状のドットパターンをビデオカメラ１で撮像し、格子上の点Ａを撮像して得られた撮像画像における格子上の点ａの座標（ａ１、ａ２）と、点Ａの座標（Ａ１、Ａ２）とを算出し、点Ａに対する点ａの変位量を算出する。同様の処理を格子上の他の点について行うことにより、撮像画像の画素の（ｘ、ｙ）座標から変換後の矯正画像の画素の（Ｘ、Ｙ）座標に変換するための変換テーブルを作成することができる。ビデオカメラ２、３についても同様である。

図５は変換テーブル４５１ａの構成を示すレコードレイアウトである。変換テーブル４５１ａは、撮像画像の各画素を入力画素とし、変換後の矯正画像の各画素を出力画素として、どの入力画素（ｘ、ｙ）をどの出力画素（Ｘ、Ｙ）にマッピングするかを示す。変換テーブル４５１ａには、撮像画像の左上の画素から右下の画素まで順次走査した各画素について所定数（例えば、３２ビット）のビットデータが割り当てられている。前記ビットデータは、入力番号、フラグ、画素のＸ座標及びＹ座標に区分してある。

入力番号は、撮像画像における左上の画素を１とし、撮像画像における右下の画素をｎ（ｎは整数）としている。例えば、撮像画像のサイズが３２０ｘ２４０画素である場合は、ｎは７６８００となる。フラグは、入力画素を出力画素にマッピングするか否かを定めている。例えば、フラグが１の場合は、入力画素を出力画素にマッピングし、フラグが０の場合には、入力画素を出力画素にマッピングしない。これにより、矯正画像に変換する場合に、撮像画像の湾曲部分の画素を適宜無効にすることができる。画素のＸ座標及びＹ座標は、入力番号に対応する撮像画像の画素を矯正画像上の画素にマッピングする場合の矯正画像における画素の座標を示す。なお、変換テーブル４５１ｂ、４５１ｃも同様の構成を有するので、説明は省略する。

図６は撮像画像の湾曲部分を矯正する例を示す説明図である。魚眼レンズ（例えば、等距離射影方式）を有するビデオカメラ１により等間隔の格子状マークを撮像した場合、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝ｆθで表される。標準レンズに比較して、入射角θが増加するに伴って像高ｙは小さいため、ビデオカメラ１で撮像した撮像画像５０は、画像の中心から離れるにつれて直線の間隔は徐々に狭くなり湾曲する。

変換テーブル４５１ａにより、撮像画像５０上の画素ｇ１の座標（ｘ１、ｘ２）は、変換後の矯正画像６０上の画素Ｇ１の座標（Ｘ１、Ｘ２）にマッピングされる。撮像画像５０の他の画素についても同様である。これにより、撮像画像５０を変換テーブル４５１ａにより変換した後の矯正画像６０では、等間隔の直線が表示される。

画像処理部４５は、画像メモリ４２から１フレーム単位のビデオカメラ１で撮像した撮像画像を読み出し、読み出した撮像画像を変換テーブル４５１ａで変換し、変換後の矯正画像をフレームメモリ４５６に記憶する。ビデオカメラ２、３で撮像した撮像画像夫々についても、同様に変換テーブル４５１ｂ、４５１ｃで変換し、変換後の矯正画像夫々をフレームメモリ４５６の異なる領域に記憶する。

エッジ検出部４５２は、フレームメモリ４５６から矯正画像を読み出し、矯正画像の各画素に対して、例えば、３ｘ３の加重マトリクスを用いた空間フィルタリングにより、矯正画像に対してラプラシアン・オペレータを施した微分画像を二値化して得られたエッジ画像をフレームメモリ４５６へ記憶する。

直線・角検出部４５３は、フレームメモリ４５６からエッジ画像を読み出し、検出された各エッジ点が、予め直線・角検出部４５３に記憶してある直線・角パターン（直線又は角パターン上の所定の基準値から直線又は角パターン上の各画素の前記基準値からの相対座標で構成される）に属しているか否かの判定をする。すなわち、エッジ画像の各エッジ点に対して、エッジ点を基準点とした直線・角パターン上に存在するエッジ点の数が、所定の閾値Ｔｅより大きい場合には、前記エッジ点を基準とした直線・角が存在するとして、検出した直線・角上に存在するエッジ画像中のすべての画素に対してラベリングを行い、ラベリングされたエッジ画像を人工構造物領域特定部４５４へ出力する。

人工構造物領域特定部４５４は、直線・角検出部４５３から入力されたエッジ画像の直線・角に基づいて、直線・角を境界とする領域を人工構造物領域として特定し、矯正画像の中で特定した人工構造物領域に属する画素の輝度値を０（最低輝度）にすることにより人工構造物領域を除去し、人工構造物領域を除去した矯正画像を歩行者認識部４５５へ出力する。

より具体的には、人工構造物領域特定部４５４は、ラベリング済の画素を中心とする４ｘ４画素ブロックにおいて、未ラベリングの画素の有無を判定し、未ラベリングの画素が存在する場合は、これを検索画素として反時計回りに探索し、未ラベリングであって、かつ、検索画素との輝度差が所定の閾値Ｔｒより小さい画素を検出し、除去用のラベリングを行う。以下、同様に探索を続けることにより、検出した直線・角を境界とて輝度差が少ない領域を人工構造物領域として特定する。

歩行者認識処理部４５５は、人工構造物領域特定部４５４から入力された矯正画像と、標準パターン部４３１から読み出した標準パターンＨ１、Ｈ２、…との類似度を判定する。すなわち、歩行者認識処理部４５５は、矯正画像と標準パターンＨ１、Ｈ２、…との所定の相関値を算出し、算出した相関値が、予め歩行者認識処理部４５５に記憶してある閾値Ｔｈより大きい場合には、歩行者が存在するとして、認識された歩行者を強調表示すべく、歩行者を囲む矩形状の枠を付ける処理をして、処理後の画像データを入出力４４へ出力する。

画像処理部４５は、上述の処理を１フレーム単位で行い、１フレーム分の撮像画像に対して処理が終了すると、次のフレームに対して同様の処理を続け、処理後の画像データを入出力４４へ出力する。

入出力部４４は、入力された画像データを表示装置５へ出力する。また、入出力部４４は、表示装置５の操作部で操作された信号を受け取り、制御部４６へ出力する。

表示装置５は、画像処理装置４から出力された画像データに基づき、外界の状況とともに、認識した歩行者の存在をディスプレイに表示する。また、歩行者が認識された場合には、歩行者の位置、距離などに応じて警告音を発する。

次に本発明に係る車両周辺認識システムの動作について説明する。運転者が、表示装置５に備えられた操作部を操作してビデオカメラ１の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置４は、インタフェース部４１を介して、初期コマンドをビデオカメラ１へ送出する。

初期コマンドを受信したビデオカメラ１は、撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像して得られた撮像画像を一旦画像メモリ１４に記録した後に、ビデオカメラ１のフレームレートと同期して１フレーム分の撮像画像を、インタフェース部１３を介して、画像処理装置４へ送出する。

画像処理装置４は、１フレーム分の撮像画像を一旦画像メモリ４２に記憶する。画像処理部４５は、画像メモリ４２に記憶された撮像画像を読み出し、ＬＵＴ４５１の変換テーブル４５１ａにより、読み出した撮像画像を矯正画像に変換し、変換後の矯正画像をフレームメモリ４５６へ記憶する。

エッジ検出部４５２は、フレームメモリ４５６から矯正画像を読み出し、矯正画像の各画素に対して、加重マトリクスによる空間フィルタリング処理を行い、処理後のエッジ画像をフレームメモリ４５６へ記憶する。

直線・角検出部４５３は、フレームメモリ４５６からエッジ画像を読み出し、検出された各エッジ点が、予め直線・角検出部４５３に記憶してある直線・角パターンに属しているか否かの判定をすることにより、直線・角を検出し、検出した直線・角上に存在するエッジ画像中のすべての画素に対してラベリングを行い、ラベリングされたエッジ画像を人工構造物領域特定部４５４へ出力する。

人工構造物領域特定部４５４は、直線・角検出部４５３から入力されたエッジ画像の直線・角に基づいて、直線・角を境界とする領域を人工構造物領域として特定し、矯正画像の中で特定した人工構造物領域に属する画素の輝度値を０（最低輝度）にすることにより人工構造物領域を除去し、人工構造物領域を除去した矯正画像を歩行者認識部４５５へ出力する。

歩行者認識処理部４５５は、人工構造物領域特定部４５４から入力された矯正画像と、標準パターン部４３１から読み出した標準パターンＨ１、Ｈ２、…との所定の相関値を算出し、算出した相関値が、予め歩行者認識処理部４５５に記憶してある閾値Ｔｈより大きい場合には、歩行者が存在するとして、認識された歩行者を強調表示すべく、歩行者を囲む矩形状の枠を付ける処理をして、処理後の画像データを入出力４４へ出力する。

入出力部４４は、入力された画像データを表示装置５へ出力する。表示装置５は、画像処理装置４から出力された画像データに基づき、外界の状況とともに、認識した歩行者の存在をディスプレイに表示する。また、歩行者が認識された場合には、歩行者の位置、距離などに応じて警告音を発する。

運転者が、表示装置５に備えられた操作部を操作してビデオカメラ２又は３の動作スイッチをオンにした場合も同様であるので、説明は省略する。

以上説明したように、本発明にあっては、魚眼レンズを有するビデオカメラで撮像した撮像画像を変換テーブルにより変換することにより、撮像画像の湾曲部分を矯正した矯正画像を得る。矯正画像に対して加重マトリクスによる空間フィルタリングを行うことによりエッジ画像を生成し、生成したエッジ画像から直線・角を検出し、検出した直線・角を境界とする領域を人工構造物領域として特定する。矯正画像の中から特定した人工構造物領域に属する画素を除去して歩行者認識処理を行ことにより、魚眼レンズを有するビデオカメラを用いた場合であっても、直線・角が湾曲することなく検出でき、人間の認識率を低下させることなく、車両周辺の広い範囲で人間を認識することができる。

上述の実施の形態においては、車両周辺を認識する一例として歩行者を認識する構成であったが、歩行者に限定されるものではなく、車両周辺の障害物、移動物体などを認識する構成でもよい。この場合には、歩行者認識部４５５に代えて、車両周辺の認識対象に応じて、認識部を適宜変更することができる。

上述の実施の形態においては、ビデオカメラは、遠赤外線撮像素子を有する遠赤外線光用のビデオカメラであったが、これに限定されるものではなく、ＣＣＤ、ＣＭＯＳなどの撮像素子を有する可視光用のビデオカメラであってもよい。

上述の実施の形態において、遠赤外線撮像素子は、ボロメータ型、サーモパイル型、焦電型、ＳＯＩダイオードなど、いずれのものであってもよい。また、中赤外光用のビデオカメラ又は近赤外光用のビデオカメラを用いる構成であってもよい。

上述の実施の形態においては、ビデオカメラ１、２、３を搭載する構成であったが、車両に搭載するビデオカメラの場所又は数量は、これに限定されるものではない。

上述の実施の形態においては、ＬＵＴに変換テーブルを記憶してある構成であったが、これに限定されるものではなく、所要の変換式用いて算出する構成であってもよい。

上述の実施の形態においては、魚眼レンズを有するビデオカメラを用いる構成であったが、これに限定されるものではなく、画角が３０°〜５０°の標準レンズ、画角が５０°〜１００°程度の広角レンズ、画角が１００°〜１３０°程度の超広角レンズを用いる構成であってもよい。この場合は、車両の周辺の所要の撮像範囲に応じて、適宜所要の画角を有するレンズを用いることができる。標準レンズを用いる場合であっても、視野の端部における湾曲を矯正して、視野端部における歩行者認識率を向上させることができる。なお、画角に応じて変換テーブルのデータを変更することはいうまでもない。

本発明に係る車両周辺認識システムの概要を示す模式図である。 ビデオカメラの構成を示すブロック図である。 画像処理装置の構成を示すブロック図である。 撮像画像の画素の変位量の例を示す説明図である。 変換テーブルの構成を示すレコードレイアウトである。 撮像画像の湾曲部分を矯正する例を示す説明図である。

符号の説明

１、２、３ ビデオカメラ
４ 画像処理装置
５ 表示装置
１１ 撮像部
１１１ 魚眼レンズ
４５ 画像処理部
４５１ ＬＵＴ
４５２ エッジ検出部
４５３ 直線・角検出部
４５４ 人工構造物領域特定部
４５５ 歩行者認識部
４５６ フレームメモリ

Claims (4)

1. 車両の外界を撮像装置で撮像し、撮像して得られた撮像画像から外界の人工構造物を示す人工構造物領域を除去し、該人工構造物領域を除去した撮像画像を画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、
   前記撮像装置は、
   広範囲の撮像画像を撮像するようにしてあり、
   前記画像処理装置は、
   前記撮像画像を該撮像画像が有する湾曲部分を矯正した矯正画像に変換する変換手段と、
   前記矯正画像の画素が有する輝度に基づいて、画像中の直線又は角を検出する検出手段と、
   検出した直線又は角に基づいて前記人工構造物領域を特定する特定手段と
   を備え、
   特定した人工構造物領域を除いた矯正画像に基づいて車両周辺を認識するようにしてあることを特徴とする車両周辺認識システム。
2. 前記変換手段は、
   撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換するように構成してあることを特徴とする請求項１に記載の車両周辺認識システム。
3. 前記撮像装置は、
   超広角レンズ又は魚眼レンズを有することを特徴とする請求項１又は請求項２に記載の車両周辺認識システム。
4. 取得した撮像画像から外界の人工構造物を示す人工構造物領域を除去し、該人工構造物領域を除去した撮像画像を処理して車両周辺を認識する画像処理装置において、
   前記撮像画像を該撮像画像が有する湾曲部分を矯正した矯正画像に変換する変換手段と、
   前記矯正画像の画素が有する輝度に基づいて、画像中の直線又は角を検出する検出手段と、
   検出した直線又は角に基づいて前記人工構造物領域を特定する特定手段と
   を備え、
   特定した人工構造物領域を除いた矯正画像に基づいて車両周辺を認識するようにしてあることを特徴とする画像処理装置。

Images