JP2008108135A - 障害物検出システム、及び障害物検出方法 - Google Patents

Abstract

【課題】車道を示す領域を外部装置、例えばナビゲーション装置等から取得可能な情報に基づいて正確に取得することで、衝突危険性の高い障害物候補領域のみを正確に抽出することができる障害物検出システム、及び障害物検出方法を提供する。
【解決手段】車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。外部装置から車両の位置及び車道に関する情報を受信し、受信した車両の位置及び車道に関する情報に基づいて撮像装置で撮像された画像中の車道を示す領域を推定する。一方、撮像装置から取得した画像データに基づいて、車道を示す領域を検出する。推定された車道を示す領域と、検出された車道を示す領域とを重ね合わせ、両者の差分領域を抽出し、該差分領域を障害物候補領域として特定する。
【選択図】図４

Description

本発明は、車両の周辺を撮像する撮像装置で撮像した画像データ及びナビゲーション装置（車両の位置及び道路に関する情報を、取得、記憶、送信等する装置を言う。以下単にナビゲーション装置と言う。）で取得した情報に基づいて、障害物を検出することができる障害物検出システム、及び障害物検出方法に関する。

自動車等の車両に、照度が低く可視光カメラでは撮像することが困難な夜間であっても周囲を撮像することが可能な赤外線撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。赤外線撮像装置は、近赤外線を用いるもの及び遠赤外線を用いるものの２種類に大別されている。

例えば非特許文献１には、遠赤外線撮像装置を用いた障害物検出システムが開示されている。非特許文献１では、撮像した画像に対してノイズ除去処理、及び二値化処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに、障害物の下端は道路に接していることを利用して画像中にて道路を示す領域を抽出し、道路を示す領域の上端を障害物の下端として利用することにより、障害物候補領域を拡張する。そして、該障害物候補領域から抽出した特徴量に基づいて障害物判定処理を行い、画像中に存在する歩行者、自転車等の障害物を検出している。
H.Xu、他２名、「ナイトビジョンによる歩行者検出及び追尾（Pedestrian Detection and Tracking with Night Vision）」、ＩＥＥＥ知的車両シンポジウム、ｐ．６３−７１、２００５年３月

自車両の前方の障害物を検出してドライバに警告を行うシステムでは、煩雑な情報提供を抑止するため、衝突危険性の高い障害物、すなわち車道上に存在する障害物を重点的に検出する必要がある。この際、障害物が車道上、あるいは車道の外のどちらに存在するかを判断する必要があるが、赤外線撮像装置で撮像した画像から道路を示す領域を抽出する手法では、障害物の存在位置を正確に判断できない場合があり、煩雑な警告が生じかねないという問題点があった。

例えば非特許文献１では、道路を示す領域として画像下方の輝度エッジが存在しない領域全てを抽出している。ここで、縁石がない場合等の車道脇に輝度エッジが得られない場合においては、道路を示す領域に歩道等が含まれてしまうため車道上に存在しない障害物候補領域まで抽出される。したがって、障害物検出システムを安全側で動作させる場合には、障害物候補領域を検出したときに、実際には歩道上に立っているために衝突の可能性がほとんど無い場合であっても、運転者に対して警告情報を出力することになる。

本発明は、斯かる事情に鑑みてなされたものであり、画像中の車道を示す領域をナビゲーション装置から取得可能な情報に基づいて正確に取得することで、衝突危険性の高い障害物候補領域のみを正確に抽出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、取得した又は記憶してある車両の位置及び車道に関する情報を前記検出装置へ送信するナビゲーション装置を有し、前記検出装置は、前記ナビゲーション装置から車両の位置及び車道に関する情報を受信する手段と、受信した車両の位置及び車道に関する情報に基づいて前記撮像装置で撮像された画像中の車道を示す領域を推定する車道領域推定手段と、前記撮像装置から取得した画像データに基づいて、車道を示す領域を検出する車道領域検出手段と、前記車道領域推定手段で推定された車道を示す領域と、前記車道領域検出手段で検出された車道を示す領域とを重ね合わせ、両者の差分領域を抽出する差分領域抽出手段とを備え、該差分領域抽出手段で抽出された差分領域を障害物候補領域として特定するようにしてあることを特徴とする。

第２発明に係る障害物検出方法は、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、外部から取得した又は外部に記憶してある車両の位置及び車道に関する情報を受信し、受信した車両の位置及び車道に関する情報に基づいて前記撮像装置で撮像された画像中の車道を示す領域を推定し、前記撮像装置から取得した画像データに基づいて、車道を示す領域を検出し、推定された車道を示す領域と、検出された車道を示す領域とを重ね合わせ、両者の差分領域を抽出し、抽出された差分領域を障害物候補領域として特定することを特徴とする。

第１及び第２発明では、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。外部に設置してあるナビゲーション装置から車両の位置及び車道に関する情報を受信し、受信した車両の位置及び車道に関する情報に基づいて撮像装置で撮像された画像中の車道を示す領域を推定する。一方、撮像装置から取得した画像データに基づいて、車道を示す領域を検出する。推定された車道を示す領域と、検出された車道を示す領域とを重ね合わせ、両者の差分領域を抽出し、抽出された差分領域を障害物候補領域として特定する。外部から車両の位置及び車道に関する情報を取得することにより、車両周辺の車道の状況を把握することができ、車道との関係を正しく反映させた障害物候補領域を特定することができる。したがって、例えば障害物が歩行者である場合、側道に存在する歩行者等については、車両の位置及び車道に関する情報に基づき推定された車道を示す領域と、画像データに基づき検出された車道を示す領域とが略一致することにより、差分領域がほとんど存在せず、障害物として検出されない。したがって、運転者に対して不要な警告がなされるのを未然に防止することが可能となる。

本発明によれば、外部から車両の位置及び車道に関する情報を取得することにより、車両周辺の車道の状況を把握することができ、車道との関係を正しく反映させた障害物候補領域を特定することができる。したがって、例えば障害物が歩行者である場合、側道に存在する歩行者等については、車両の位置及び車道に関する情報に基づき推定された車道を示す領域と、画像データに基づき検出された車道を示す領域とが略一致することにより、差分領域がほとんど存在せず、障害物として検出されない。したがって、運転者に対して不要な警告がなされるのを未然に防止することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に障害物、特に歩行者の存在を検出する場合を例として説明する。

図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１を、車両前方の中央近傍のフロントグリル内に搭載している。なお、遠赤外線撮像装置１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。遠赤外線撮像装置１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３は、遠赤外線撮像装置１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

また、車両の位置及び車道に関する情報をＧＰＳ通信等により外部から取得する、あるいは内蔵する記憶装置から読み出すナビゲーション装置２を備えており、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して検出装置３と接続されている。

図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。

図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。また、通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介してナビゲーション装置２からの車両の位置及び車道に関する情報を受信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１から入力された画像データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１から取得した画像データに基づいて、車道を示す領域を検出する。ＬＳＩ３３は、ナビゲーション装置２から受信した車両の位置及び車道に関する情報に基づいて車道を示す領域を推定し、両領域を重ね合わせることにより両者の差分領域を特定する。なお、車道を示す領域を推定する方法は特に限定されるものではなく、車道の標高、道幅、遠赤外線撮像装置１の取り付け高さ、角度等に基づいて擬似的な車道撮像画像を生成してから推定する方法であっても良い。

ＬＳＩ３３は、差分領域を障害物候補領域であると特定し、該障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある遠赤外線撮像装置１から取得した画像データを読み出す（ステップＳ４０１）。ＬＳＩ３３は、読み出した画像データに対してエッジ抽出処理を行い（ステップＳ４０２）、車道を示す領域の画面上の座標値を取得する（ステップＳ４０３）。

図５は、エッジ抽出を通じて検出された車道を示す領域の一例を示す図である。図５に示すように、抽出されたエッジで囲繞され、車両の前方に相当する領域５１、５２が車道を示す領域の候補領域として検出されている。一般に車道は画像の下方に存在することから、複数の領域が検出された場合、下方の候補領域を車道を示す領域として検出する。本実施の形態では、領域５２を車道を示す領域として特定する。ここで、車道を示す領域を検出する方法は特に限定されるものではなく、画像にハフ（Ｈｏｕｇｈ）変換を施す方法であっても良い。

一方、ＬＳＩ３３は、ナビゲーション装置２から受信した車両の位置及び車道に関する情報、ＲＡＭ３３１に記憶してある遠赤外線撮像装置１の取り付け高さ及び角度を用いて、遠赤外線撮像装置１で前方の車道を撮像した場合の推定画像を生成する（ステップＳ４０４）。すなわち、ナビゲーション装置２により生成される鳥瞰画像を視点変換し、視点を遠赤外線撮像装置１の取り付け高さへ補正することにより再生成する。ＬＳＩ３３は、推定画像に基づいて車道を示す領域を推定する（ステップＳ４０５）。

ＬＳＩ３３は、画像データに基づいて座標値を特定した車道を示す領域と、ナビゲーション装置２から受信した車両の位置及び車道に関する情報に基づいて推定した車道を示す領域との重ね合わせ処理を行い（ステップＳ４０６）、両領域の差分領域を抽出する（ステップＳ４０７）。具体的には、車両の位置及び車道に関する情報に基づいて推定した車道を示す領域の画面上の座標値を算出して、遠赤外線撮像装置１で撮像された画像データに基づいて検出された車道を示す領域との差分領域を抽出する。ＬＳＩ３３は、抽出された差分領域を障害物候補領域として特定して、以下の障害物検出処理を実行する。

図６は、画像データに基づいて座標値を特定した車道を示す領域と、ナビゲーション装置２から受信した車両の位置及び車道に関する情報に基づいて推定した車道を示す領域とを重ね合わせた状態を示す図である。図６に示すように、画像データに基づいて特定された車道を示す領域５２と、ナビゲーション装置２から受信した車両の位置及び車道に関する情報に基づいて推定した車道を示す領域６１とを画面上で重ね合わせた場合、車道を示す領域６１には障害物の存在が想定されていないことから、障害物が車道上に存在する場合には差分領域６２が存在する。斯かる差分領域６２を障害物候補領域として特定する。

ＬＳＩ３３は、抽出した差分領域を障害物候補領域として、該障害物候補領域内の画像の特徴量を抽出する（ステップＳ４０８）。抽出する画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等を用いることができる。

ＬＳＩ３３は、障害物候補領域から抽出された特徴量に基づいて障害物の存否を判定する（ステップＳ４０９）。障害物の存在の判定方法は特に限定されるものではなく、周知の判定法であればなんでも良い。例えば障害物が歩行者である場合、歩行者が車道を示す領域には存在せず路肩に存在する場合には、差分領域６２が抽出されないことから障害物候補領域自体が検出されない。したがって、危険の低い障害物に対する警告を運転者に対して発することが無く、煩雑な警告を未然に回避することが可能となる。

また、車道を示す領域上に歩行者が存在する場合には、必ず差分領域６２が抽出されることから、車道上に存在する歩行者を看過することがなく、運転者に対して確実に警告を発することが可能となる。

以上のように本実施の形態によれば、ナビゲーション装置２から車両の位置及び車道に関する情報を取得することにより、車両前方の車道の状況を把握することができ、車道との関係を正しく反映させた障害物候補領域を特定することができる。したがって、例えば障害物が歩行者である場合、歩道等に存在する歩行者等については、車両の位置及び車道に関する情報に基づき推定された車道を示す領域と、画像データに基づき検出された車道を示す領域とが略一致することにより、差分領域がほとんど存在せず、障害物として検出されない。したがって、運転者に対して不要な警告がなされることを未然に防止することが可能となる。

また、上述した実施の形態では、１基の遠赤外線撮像装置１で撮像された画像データに基づいて障害物を検出する処理について説明しているが、遠赤外線撮像装置１の個数、搭載位置等は特に上述した実施の形態に限定されるものではない。例えばステレオ視により障害物までの測距処理を実行することができるように、遠赤外線撮像装置１、１を、車両前方の左右に並置するものであっても良い。

さらに、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。 本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。 本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。 生成された推定画像から特定された車道を示す領域の一例を示す図である。 障害物候補領域と車道を示す領域とを重ね合わせた状態を示す図である。

符号の説明

１ 遠赤外線撮像装置
２ ナビゲーション装置
３ 検出装置
４ 表示装置
５ 警報装置
６ 車載ＬＡＮケーブル
７ 映像ケーブル
８ ケーブル
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 映像出力部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ

Claims (2)

1. 車両の周辺を撮像する撮像装置と、
   該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
   を備える障害物検出システムにおいて、
   取得した又は記憶してある車両の位置及び車道に関する情報を前記検出装置へ送信するナビゲーション装置を有し、
   前記検出装置は、
   前記ナビゲーション装置から車両の位置及び車道に関する情報を受信する手段と、
   受信した車両の位置及び車道に関する情報に基づいて前記撮像装置で撮像された画像中の車道を示す領域を推定する車道領域推定手段と、
   前記撮像装置から取得した画像データに基づいて、車道を示す領域を検出する車道領域検出手段と、
   前記車道領域推定手段で推定された車道を示す領域と、前記車道領域検出手段で検出された車道を示す領域とを重ね合わせ、両者の差分領域を抽出する差分領域抽出手段と
   を備え、
   該差分領域抽出手段で抽出された差分領域を障害物候補領域として特定するようにしてあることを特徴とする障害物検出システム。
2. 車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
   外部から取得した又は外部に記憶してある車両の位置及び車道に関する情報を受信し、
   受信した車両の位置及び車道に関する情報に基づいて前記撮像装置で撮像された画像中の車道を示す領域を推定し、
   前記撮像装置から取得した画像データに基づいて、車道を示す領域を検出し、
   推定された車道を示す領域と、検出された車道を示す領域とを重ね合わせ、両者の差分領域を抽出し、
   抽出された差分領域を障害物候補領域として特定することを特徴とする障害物検出方法。

Images