JP2010128842A - 周辺監視装置 - Google Patents

Abstract

【課題】より効率よく、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行う「周辺監視装置」を提供する。
【解決手段】車両３００のドライバが左または右方向を注視している場合には（ａ）、前方カメラ１によって撮影された画像３１０中の、注視方向と反対側の部分３０２を（ｂ）、検出対象画像３２０として抽出する。そして、検出対象画像３２０に基づいて障害物３０３の検出や、障害物警告処理部４の警告出力を行う（ｃ）
【選択図】図３

Description

本発明は、自動車に搭載したカメラで撮影した画像を用いて周辺監視を行う技術に関するものである。

自動車に搭載したカメラで撮影した画像を用いて周辺監視を行う技術としては、カメラで撮影した画像中から白線を検出する領域を、当該画像中の車両走行方向の領域が写り込んでいる部分のみに限定することにより、画像処理に要する処理量を低減する技術が知られている（たとえば、特許文献１）。
特開2007-156777号公報

さて、カメラで撮影した画像を用いて周辺の障害物の検出を行う場合、障害物を検出する領域はできるだけ広く確保することが好ましい。しかしながら、その一方で、カメラで撮影した画像の全体に対して障害物の検出のための画像処理を感度良く行うと、障害物検出に要する時間が長大化してしまうことになる。

そこで、本発明は、より効率よく、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行うことを課題とする。

前記課題達成のために、本発明は、自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置に、自動車前方を撮影する前方カメラと、前記自動車のドライバの眼を含む部分を撮影する車内カメラと、前記車内カメラが撮影した画像に基づいて、自動車のドライバの視線方向を検出する視線方向検出手段と、前記前方カメラの撮影した画像中の、前記視線方向検出手段が検出した視線方向と異なる方向を撮影した領域を検出対象画像として抽出する検出対象画像抽出手段と、前記検出対象画像抽出手段が抽出した検出対象画像に写り込んだ障害物を検出する障害物検出手段とを設けたものである。

このような周辺監視装置によれば、前方カメラで撮影した画像内の、ドライバの視線方向と異なる方向を撮影した領域のみを対象として障害物の検出を行うので、前方カメラで撮影した画像全体を対象として障害物の検出を行う場合に比べ、同じ処理負荷量で、ドライバが注視していない方向、すなわち、監視の必要性の大きな方向についてより精度よく遠方の障害物まで検出できるようになる。

ここで、このような周辺監視装置は、前記検出対象画像抽出手段を、前記視線方向検出手段が検出した視線方向が、前記自動車のまっすぐ前方方向である場合には、前記前方カメラの撮影した画像の全領域を前記検出対象画像として抽出するように構成してもよい。
また、この場合には、前記検出対象画像抽出手段を、前記視線方向検出手段が検出した視線方向が、前記自動車のまっすぐ前方方向である場合には、前記前方カメラの撮影した画像を、画素サイズがより小さくなるように変換した上で前記検出対象画像として抽出するように構成し、前方カメラの撮影した画像全体より障害物を検出する場合における処理負荷を低減するようにしてもよい。

以上のように、本発明によれば、より効率よく、カメラで撮影した画像を用いて周辺の障害物の検出を効果的に行うことができる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
図示するように、車載システムは、前方カメラ１、画像変換部２、障害物検出部３、障害物警告処理部４。表示装置５、音声出力装置６、車内カメラ７、注視方向算出部８、検出対象画像設定部９とを有している。
ここで、前方カメラ１は、図１ｂに示すように車両前端に設置され、車両前方を広角に撮影する。また、車内カメラ７は、図１ｃに示すように、車内に設置され、ドライバの、少なくとも両眼を含む部分を撮影する。
次に、注視方向算出部８は、車内カメラ７が撮影したドライバの両眼の画像より、ドライバの視線方向を注視方向として算定する。そして、検出対象画像設定部９は、後述する検出対象画像設定処理によって、前方カメラ１が撮影した画像のうちの、障害物を検出する対象とする領域を検出対象領域として設定すると共に、障害物の検出に用いる当該検出対象領域の画像の画素サイズを設定する。

そして、画像変換部２は、前方カメラ１が撮影した画像から、検出対象画像設定部９が設定した検出対象領域の部分の画像を検出対象画像として抽出すると共に、当該検出対象画像の画素サイズを検出対象画像設定部９が設定した画素サイズに変換する画像変換を行う。

障害物検出部３は、画像変換部２が変換した検出対象画像に対して障害物の画像認識処理を行って、障害物の存在や方向を検出する。障害物の検出は、たとえば、検出対象画像中のエッジを抽出し、抽出したエッジが輪郭を表す物体を、パターンマッチングその他の手法により認識することにより行う。また、障害物の方向は、たとえば、物体が認識された前方カメラ１が撮影した画像中の位置より算出する。

そして、障害物警告処理部４は、障害物検出部３が障害物を検出したならば、当該障害物を前方カメラ１が撮影した画像上で強調表示した画像を表示装置５に表示したり、当該障害物の存在やその方向を警告する音声メッセージを音声出力部から出力するなどの形態によって、障害物の存在をドライバに対して警告する処理を行う。

ここで、検出対象画像設定部９が行う検出対象画像設定処理について説明する。
図２に、この検出対象画像設定処理の手順を示す。
図示するように、この検出対象画像設定処理では、まず、注視方向算出部８が算出しているドライバの注視方向を取得する（ステップ２０２）。
そして、注視方向が、おおよそ車両のまっすぐ前方の方向であるかどうかを判定し（ステップ２０４）、車両のまっすぐ前方の方向であれば、前方カメラ１が撮影した画像の全領域を検出対象領域として設定すると共に、検出対象画像の画素サイズを、前方カメラ１が撮影した画像の画素サイズよりも小さな所定のサイズに設定し（ステップ２０８）、ステップ２０２からの処理に戻る。ここで、このようなステップ２０８における検出対象領域と検出対象画像の画素サイズの設定の結果、画像変換部２では、前方カメラ１が撮影した画像を、画素数を減少することにより低解像度に変換した画像が検出対象画像として生成される。そして、この検出対象画像に基づいて障害物検出部３における障害物の検出や、障害物警告処理部４の警告出力が行われることになる。

一方、注視方向が、おおよそ車両のまっすぐ前方の方向でなく、左に偏った方向か右に偏った方向であれば（ステップ２０４）、前方カメラ１が撮影した画像の注視方向と異なる方向の部分を検出対象領域として設定し（ステップ２０６）、ステップ２０２からの処理に戻る。ここで、このステップ２０６で検出対象領域として設定する、注視方向と異なる方向の部分とは、注視方向が左に偏った方向であれば、たとえば、前方カメラ１が撮影した画像中の右側の、予め定めておいた、または、注視方向に応じて定めた位置にある部分であり、注視方向が右に偏った方向であれば、たとえば、前方カメラ１が撮影した画像中の左側の、予め定めておいた、または、注視方向に応じて定めた位置にある部分とする。また、このステップ２０６で設定する検出対象領域として設定する部分は、その画素サイズが、前述した所定のサイズとなるように定めておく。

ここで、このようなステップ２０８における検出対象領域と検出対象画像の画素サイズの設定の結果、図３ａのように、右折しようとしている車両３００のドライバが、左方向からくる他車両を確認するために、矢印３０１で視線方向を示すように左方向を注視している場合には、図３ｂに示すように前方カメラ１によって撮影された画像３１０中の右側の部分３０２が、図３ｃに示すように、検出対象画像３２０として画像変換部２によって抽出される。そして、この検出対象画像３２０に基づいて障害物検出部３における障害物３０３の検出や、障害物警告処理部４の警告出力が行われることになる。ここで、この場合の検出対象画像３２０は、前方カメラ１によって撮影された画像の一部の所定画素サイズの画像であるので、ステップ２０８において前方カメラ１によって撮影された画像全体を所定画素サイズに低解像度化した検出対象画像に対して画像認識処理を行って障害物を検出する場合に比べ、同じ処理負荷量で、前方カメラ１によって撮影された画像に小さく写り込む遠方の障害物まで、より精度よく障害物を検出することができる。

以上、本発明の実施形態について説明した。
なお、以上の検出対象画像設定処理のステップ２０８では、前方カメラ１が撮影した画像の全領域を検出対象領域として設定すると共に、前方カメラ１が撮影した画像の画素サイズをそのまま検出対象画像の画素サイズとして設定するようにしてもよい。この場合、画像変換部２では、前方カメラが撮影した画像をそのまま検出対象画像とし、障害物検出部３では、この検出対象画像に基づいて障害物検出部３における障害物の検出を行うことになる。

また、以上の検出対象画像設定処理のステップ２０８で設定する検出対象画像の画素サイズは、前述した所定サイズとしなくてもよい。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態に係る検出対象画像設定処理を示すフローチャートである。 本発明の実施形態に係る検出対象画像設定処理の処理例を示す図である。

符号の説明

１…前方カメラ、２…画像変換部、３…障害物検出部、４…障害物警告処理部、５…表示装置、６…音声出力装置、７…車内カメラ、８…注視方向算出部、９…検出対象画像設定部。

Claims (4)

1. 自動車に搭載される、前記自動車周辺の障害物を検出する周辺監視装置であって、
   自動車前方を撮影する前方カメラと、
   前記自動車のドライバの眼を含む部分を撮影する車内カメラと、
   前記車内カメラが撮影した画像に基づいて、自動車のドライバの視線方向を検出する視線方向検出手段と、
   前記前方カメラの撮影した画像中の、前記視線方向検出手段が検出した視線方向と異なる方向を撮影した領域を検出対象画像として抽出する検出対象画像抽出手段と、
   前記検出対象画像抽出手段が抽出した検出対象画像に写り込んだ障害物を検出する障害物検出手段とを有することを特徴とする周辺監視装置。
2. 請求項１記載の周辺監視装置であって、
   前記検出対象画像抽出手段は、前記視線方向検出手段が検出した視線方向が、前記自動車のまっすぐ前方方向である場合には、前記前方カメラの撮影した画像の全領域を前記検出対象画像として抽出することを特徴とする周辺監視装置。
3. 請求項２記載の周辺監視装置であって、
   前記検出対象画像抽出手段は、前記視線方向検出手段が検出した視線方向が、前記自動車のまっすぐ前方方向である場合には、前記前方カメラの撮影した画像を、画素サイズがより小さくなるように変換した上で前記検出対象画像として抽出することを特徴とする周辺監視装置。
4. 自動車に搭載される、自動車前方を撮影する前方カメラを備えた周辺監視装置において、前記自動車周辺の障害物を検出する障害物検出方法であって、
   自動車のドライバの視線方向を検出するステップと、
   前記前方カメラの撮影した画像中の、検出した視線方向と異なる方向を撮影した部分を検出対象画像として抽出するステップと、
   前記抽出した検出対象画像に写り込んだ障害物を検出するステップとを有することを特徴とする障害物検出方法。