JP2011178301A - 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 - Google Patents

Abstract

【課題】 撮像装置以外のセンサを別途必要とせずに、低照度の環境でも車両後方の障害物を検知できる障害物検知装置を提供する。
【解決手段】 障害物検知装置２０は、車両の後退時に車両後方の映像から障害物を検知する障害物検知装置であって、車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成部２３と、差分映像生成部２３で得られた差分映像にて差分が生じている映像中の位置に基づいて障害物の有無を判定する障害物判定部２６とを備える。
【選択図】 図１

Description

本発明は、障害物を検知する障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法に関し、特に、低照度の環境で車両後方の障害物を検知するための障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法に関する。

近年、車載カメラの利用が拡大している。車載カメラは、自動車の安全運転を支援する目的で車両に搭載される。その中でも、特に、車両の後退時に車両後方を撮影して運転手に映像を提示する使い方が広く採用されている。車両の後退時における運転動作は運転手の姿勢が不自然になり、運転操作の困難さを伴う。また、車両の後退時には、運転席からは車両後方の状況を視認しにくい。カメラを車両後方に設置することで、運転手は、このカメラの映像を通じて、車両の後退時に、車両の後方に存在している歩行者や立体物などの障害物の有無を目視判断することが可能になる。

ところが、特に夜間など低照度の環境では、車載カメラの性能が十分に発揮できず、不鮮明な映像しか提示できないことがある。このため、単に車両後方の映像を提示しただけでは運転手が障害物の有無を判断するには不十分であり、運転手が障害物の存在を見落としてしまう可能性があった。

このような課題に対して、特許文献１では、車両後方を撮影するカメラとは別に、超音波、電波、レーザ等を用いたセンサを別途併用することにより、夜間においてはカメラ映像ではなくセンサ情報を使って障害物の有無を判定し、映像と合わせて障害物の有無を提示する手法が紹介されている。

特開２００２−０２９３４５号公報

しかしながら、従来手法においてはカメラとは別のセンサが必要となるため、コストが増加し、かつ車両設置が煩雑になるという課題があった。また、近年は、カメラが魚眼レンズ等を使用して広角の映像を提示する傾向があるので、障害物の検知のために広い映像画角の範囲内をレーザセンサ等で満遍なく走査するためには、複数個のセンサが必要となるという課題があった。

本発明は、従来の問題を解決するためになされたもので、カメラ以外のセンサを別途必要とせずに、低照度の環境でも車両後方の障害物を検知できる障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法を提供することを目的とする。

本発明の障害物検知装置は、車両の後退時に車両後方の映像から障害物を検知する障害物検知装置であって、車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成部と、前記差分映像にて差分が生じている映像中の位置に基づいて障害物の有無を判定する障害物判定部とを備えた構成を有する。

この構成により、車両後方の障害物の検知に、撮像装置と元々車両に搭載されているブレーキランプを用いるので、低照度の環境でも、撮像装置以外のセンサを別途必要とせずに、車両後方の障害物を検知できる。

また、本発明の障害物検知装置において、前記障害物判定部は、映像中の水平線の位置よりも上部に映像の差分が生じているときに障害物があると判定する。

この構成により、路面上に存在する一定以上の高さを持った障害物を検知することができる。

また、本発明の障害物検知装置において、前記障害物判定部は、車両から当該車両の舵角情報を取得し、前記舵角情報に応じて、映像中において車両が進行する可能性がある車両進行領域のみを対象として、障害物の有無を判定する。

この構成により、撮像装置で撮影された映像中において衝突の危険性がある障害物だけを検知して運転手に警告することができる。

また、本発明の障害物検知装置において、前記障害物検知装置は、車両から当該車両のブレーキランプの点消灯状態の情報を取得し、前記差分映像生成部は、前記ブレーキランプの点消灯状態の情報に基づいて、車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する。

この構成により、撮影中におけるブレーキランプの点灯時と消灯時にそれぞれ対応する映像フレームを判断することができる。

また、本発明の障害物検知装置において、前記差分映像生成部は、映像中の赤色成分の差分を示す差分映像を生成する。

この構成により、車両の移動に伴って生じる映像の差分を差分映像として生成してしまうことを防止し、ブレーキランプの点消灯の違いによって生じる映像の差分を差分映像として生成できる。

また、本発明の障害物検知装置は、さらに、映像を複数のブロックに分割して、前記ブロックごとに代表値を求めるブロック分割部を備え、前記差分映像生成部は、車両のブレーキランプの点灯時に撮像された映像の前記ブロック分割部で求められた各ブロックの代表値と、車両のブレーキランプの消灯時に撮像された映像の前記ブロック分割部で求められた各ブロックの代表値との差分を、前記差分映像として取得する。

この構成により、映像の全画素値を記憶せずとも各領域の代表値だけ記憶しておけばいいので記憶メモリの容量を節約できるとともに、映像上のノイズ成分などの偶発的に生じる差分を差分映像として生成することを防止できる。

また、本発明の撮像装置は、車両の後退時に車両後方を撮影する撮像素子と、前記撮像素子によって撮影された映像から障害物を検知する請求項１〜６のいずれかに記載の障害物検知装置とを備えた構成を有する。

この構成により、車両後方の障害物の検知に、撮像装置と元々車両に搭載されているブレーキランプを用いるので、低照度の環境でも、撮像装置以外のセンサを別途必要とせずに、車両後方の障害物を検知できる。本発明の上記の障害物検知装置の各種の構成を、本発明の撮像装置に適用することも可能である。

また、本発明の撮像装置は、さらに、前記差分映像生成部において差分映像を生成するブレーキランプ点灯時の映像とブレーキランプ消灯時の映像における露光条件が同一となるように、前記撮像素子における露光条件を制御する露光制御機構を備えた構成を有する。

この構成により、ブレーキランプの照射による映像の差分を差分映像として生成できる。

また、本発明の障害物検知方法は、車両の後退時に車両後方の映像から障害物を検知する障害物検知方法であって、車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成ステップと、前記差分映像にて差分が生じている映像中の位置に基づいて、障害物の有無を判定する障害物判定ステップとを備えた構成を有する。

この構成により、車両後方の障害物の検知に、車両後方の映像と元々車両に搭載されているブレーキランプを用いるので、低照度の環境でも、撮像装置以外のセンサを別途必要とせずに、車両後方の障害物を検知できる。本発明の上記の障害物検知装置の各種の構成を、本発明の障害物検知方法に適用することも可能である。

また、本発明の障害物検知プログラムは、車両の後退時に車両後方の映像から障害物を検知する障害物検知装置に、車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成ステップと、前記差分映像にて差分が生じている映像中の位置に基づいて、障害物の有無を判定する障害物判定ステップとを実行させる構成を有する。

本発明によれば、車両後方の障害物の検知に、撮像装置と元々車両に搭載されているブレーキランプを用いるので、低照度の環境でも、撮像装置以外のセンサを別途必要とせずに、車両後方の障害物を検知できるという優れた効果を有する。

本発明の第１の実施の形態における撮像装置の概略構成を示すブロック図 本発明の実施の形態における赤色を特定色とした場合の特定色抽出方法を示す図 本発明の実施の形態におけるブロック分割の例を示す図 （ａ）本発明の実施の形態におけるブロック分割された現フレーム示す図 （ｂ）本発明の実施の形態におけるブロック分割された旧フレームを示す図 （ｃ）本発明の実施の形態における差分映像を示す図 （ａ）本発明の実施の形態における差分映像を示す図 （ｂ）本発明の実施の形態における差分閾値処理結果を示す図 （ａ）本発明の実施の形態におけるブレーキランプ消灯時の映像フレームの例を示す図 （ｂ）本発明の実施の形態におけるブレーキランプ点灯時の映像フレームの例を示す図 （ｃ）本発明の実施の形態における有差分ブロックを示す図 （ｄ）本発明の実施の形態における有差分ブロックの抽出結果を示す図 本発明の実施の形態における障害物検知装置の動作フロー図 本発明の第２の実施の形態における撮像装置の概略構成を示すブロック図 （ａ）本発明の実施の形態における直進後退時の抽出対象領域を示す図 （ｂ）本発明の実施の形態におけるハンドル左回転後退時の抽出対象領域を示す図 （ｃ）本発明の実施の形態におけるハンドル右回転後退時の抽出対象領域を示す図

以下に、本発明の実施の形態おける障害物検知システムについて、図面を参照しながら説明する。

（第１の実施の形態）
図１は、第１の実施の形態の障害物検知システムの構成を示す図である。障害物検知システム１は、被写体を撮像して映像信号を出力する撮像装置としてのカメラ１０と、障害物を検知する障害物検知装置２０から構成される。カメラ１０は、車両の後方を撮影できるように、車両の後方ナンバープレート周辺の所定位置に所定の角度で取り付けられる。

カメラ１０は、レンズ１１、撮像素子１２、Ａ／Ｄ変換器１３、カメラ信号処理部１４を備えており、車両後方の被写体を撮影して映像信号を生成する。レンズ１１は、被写体からの光を撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。カメラ信号処理部１４は、Ａ／Ｄ変換されたデジタル信号に対して映像信号を生成するためのカメラ信号処理を行う。カメラ信号処理部１４は、輝度信号生成、色信号生成、アパーチャ信号生成などの信号処理のほか、ＯＢ減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。なお、本実施の形態では、カメラ１０は、水平６４０画素、垂直４８０画素の映像信号を出力する。

障害物検知装置２０は、特定色抽出部２１、ブロック分割部２２、差分映像生成部２３、差分閾値処理部２４、有差分ブロック抽出部２５、障害物判定部２６、ブレーキ状態変化判定部２７、リバース判定部２８、旧フレーム映像データ記憶メモリ２９、および旧フレームブレーキ状態記憶メモリ３０を備える。障害物検知装置２０は、カメラ１０から入力される映像信号および車両から入力される運転状態情報に基づいて、障害物の検知を行う。ここで、運転状態情報には、ブレーキ押下情報とギア選択情報が含まれる。ブレーキ押下情報とは、運転手がブレーキペダルを踏み込むことによってブレーキランプが点灯している状態であるか否かを示す情報であり、ギア選択情報とは、選択されているギアポジションを示す情報である。障害物検知装置２０は、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）やＣＡＮ（Ｃｏｎｔｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの車載ネットワークを介してこれらの運転状態情報を取得する。

特定色抽出部２１は、カメラ１０の出力である映像信号において映像中の色を判別して、映像中から特定の色の被写体のみを抽出する。本実施の形態では、ブレーキランプが赤色であることから、特定色抽出部２１は、赤色の被写体を抽出する。特定色抽出部２１は、映像信号がＹＵＶ信号であるときは、色成分であるＵＶ信号値が特定の色範囲内にあるか否かを判断することにより特定の色を判別すればよい。

図２は、ＵＶ信号値により赤色成分を判定する方法の一例を示す図である。特定色抽出部２１は、ＵＶ色空間において赤色領域を区切る閾値ｔｈ１とｔｈ２を設定し、対象画素のＵＶ値がｔｈ１とｔｈ２で囲まれる赤色領域に存在していれば、その対象画素は赤色の画素と判定する。対象画素のＵＶ値が赤色領域に存在していなければ、その対象画素は赤色の画素ではないので、映像信号中の当該画素値を無効とする（例えば画素値を０とする）。これにより、映像信号中の赤色成分のみを残すことができる。

図３は、映像をブロックに分割の例を示す図である。ブロック分割部２２は、映像信号を所定の画素数のブロックごとに分割して、各ブロックの代表値を算出する。ブロック分割部２２は、図３に示すように、カメラ１０から出力された水平６４０画素、垂直４８０画素の映像を、水平８画素、垂直８画素の計６４画素ごとに、複数のブロックに分割する。このブロック分割により、１フレームの映像は４８００個のブロックに分割される。

ブロック分割部２２は、各ブロックについて、そこに含まれる画素から１つの代表値を算出する。ブロック分割部２２以降の処理には、ここで算出した代表値が用いられる。代表値としては、各ブロックに含まれる画素の平均値や最頻値を用いることができる。特に、平均値を用いる場合には、映像中に含まれるノイズ成分を除去する効果があるため、夜間等の低照度の環境におけるノイズに対して強固となり検知性能の向上につながる。

ブロック分割部２２で算出された各ブロックの代表値は、差分映像生成部２３および旧フレーム映像データ記憶メモリ２９に入力される。旧フレーム映像データ記憶メモリ２９は、１フレームの映像における各ブロックの代表値を保存する。

図４は、差分映像の生成を説明するための図である。差分映像生成部２３は、図４に示すように、ブロック分割部２２で算出された各ブロックの代表値（図４（ａ））と、旧フレーム映像データ記憶メモリ２９に記憶されている過去のフレーム（旧フレーム）における各ブロックの代表値（図４（ｂ））との差分を領域ごとに求めて、差分映像（図４（ｃ））を生成する。すなわち、異なるフレーム間における代表値の差分もまたブロック数だけ求まる。異なるフレーム間の差分を取って差分映像を生成することにより、２枚のフレームにおける映像の変化を知ることができる。

差分映像生成部２３は、すべてのフレームについてフレーム間の差分映像を生成するのではなく、ブレーキ状態が変化したときにのみフレーム間の差分映像を生成する。このために、障害物検知装置２０は、車両からブレーキ押下情報を取得し、これをブレーキ状態変化判定部２７に入力するとともに、旧フレームブレーキ状態記憶メモリ３０に記憶する。ブレーキ状態変化判定部２７は、車両から得た現在のブレーキ状態と旧フレームブレーキ状態記憶メモリ３０に記憶された過去のブレーキ状態とを比較することで、ブレーキ状態の変化の有無を判定する。即ち、ブレーキ状態変化判定部２７は、運転手によってブレーキペダルが押下された状態から押下されていない状態に変化したとき、および、逆にブレーキペダルが押下されていない状態から押下された状態に変化したときに、ブレーキ状態に変化があったと判定する。ブレーキ状態変化判定部２７は、ブレーキ状態に変化があったときは、差分映像生成部２３に通知する。

差分映像生成部２３は、ブレーキ状態に変化あったという通知を受けると、上記で説明したようにして、ブロック分割部２２から入力された現在のフレームと旧フレーム映像データ記憶メモリ２９に記憶された過去のフレームとの間の差分映像を生成する。ここで、旧フレーム映像データ記憶メモリ２９と旧フレームブレーキ状態記憶メモリ３０は、それぞれ同一フレームについて映像データおよびブレーキ状態を記憶している。よって、旧フレームブレーキ状態記憶メモリ３０は、旧フレーム映像データ記憶メモリ２９に記憶されているフレームについて、ブレーキが押下されている（ブレーキランプが点灯している）状態で撮影されたのか、ブレーキが押下されていない（ブレーキランプが消灯している）状態で撮影されたのかの情報を記憶している。これによって、差分映像生成部２３は、ブレーキランプの照射状態によって生ずる映像の差分を算出することができとともに、ブレーキランプの状態とは関係なく車体の移動や被写体の移動によって発生する映像の差分を処理の対象としないので、誤って障害物を検知することを防止できる。

差分閾値処理部２４は、差分映像生成部２３で生成された差分映像に対して差分閾値処理を行う。具体的には、差分閾値処理部２４は、差分映像のブロックごとの差分値に対して、差分閾値処理を行う。ここで、差分閾値処理とは、各ブロックの差分値が、あらかじめ定めた閾値ｄｉｆｆＴＨより大きいか小さいかを判定し、閾値ｄｉｆｆＴＨより大きい場合には、そのブロックを差分があるブロック（有差分ブロック）とし、閾値ｄｉｆｆＴＨより小さい場合には、その領域を差分がないブロック（無差分ブロック）とする処理である。

図５は、閾値処理の具体例を説明するための模式図である。図５（ａ）のように算出された各ブロックの差分値に対して、閾値ｄｉｆｆＴＨ＝１５０で差分閾値処理を行うと、差分映像中のブロックは、図５（ｂ）のように、有差分ブロックと無差分ブロックとに区別される。閾値ｄｉｆｆＴＨを適切に調整することによって、例えば映像中のノイズ成分によって生じた微小な差分や、フレーム間における車両の走行によって生じる被写体のズレに起因する微小な差分を除外することができるので、ブレーキランプの照射変化によって生じる映像差分を好適に抽出できる。

有差分ブロック抽出部２５は、差分閾値処理部２４における閾値処理の結果に対して、映像フレーム中における障害物の検出に必要な領域だけを抽出対象領域として、有差分ブロックを抽出する。本実施の形態では、路面上に存在する一定以上の高さのある障害物を検出することを目的としているため、有差分ブロック抽出部２５は、映像中の水平線を検出して、その水平線の位置よりも上の部分の領域を抽出対象領域とする。

図６は、有差分ブロック抽出部２５による有差分ブロックの抽出処理を説明するための図である。図６は、路面Ｒ上に障害物である歩行者Ｐが存在しているシーンにおいて有差分ブロックを抽出する例を示している。図６（ａ）はブレーキランプ消灯時に撮影した映像フレームであり、図６（ｂ）はブレーキランプ点灯時に撮影した映像フレームである。図６（ｂ）の斜線部は、ブレーキランプの点灯により明るさが変化した箇所を示している。図６（ｂ）の例では、路面Ｒの一部および歩行者Ｐがブレーキランプにより照射されている。

図６（ｃ）は、映像フレームをブロック分割した上で、図６（ａ）の映像フレームと図６（ｂ）の映像フレームとの差分をとり、差分閾値処理をした結果である。図６（ｃ）に示すように、ブレーキランプの点灯／消灯の切換えによって、障害物ではない路面Ｒの領域にも差分が生じてしまう。そこで、有差分ブロック抽出部２５は、図６（ｃ）の結果に対して、映像中の水平線Ｈより下の領域は考慮せずに、即ち水平線Ｈより下の領域に存在する有差分ブロックは除外し、水平線Ｈより上の領域（抽出対象領域）に存在する有差分ブロックのみを抽出する。この結果が図６（ｄ）のようになり、障害物である歩行者Ｐ（の頭部）によって生じた有差分ブロックだけが残る。仮に、図６において歩行者Ｐが存在しなかった場合を考えると、図６（ｃ）において有差分ブロックは全て水平線Ｈよりも下の領域に存在するため、最終的に抽出される有差分ブロックは存在しないという結果になる。

障害物判定部２６は、有差分ブロック抽出部２５での抽出結果とリバース判定部２８の出力に基づいて、最終的に障害物の有無を判定する。リバース判定部２８は、車両から現在のギア選択情報を取得し、ギアがリバースであるかどうかを判定する。障害物判定部２６は、現在選択されているギアがリバースであり、かつ、有差分ブロック抽出部２５の抽出結果にて有差分ブロックが存在した場合に、障害物が存在すると判定する。

以上のように構成された障害物検知システム１の障害物検知装置２０について、図７を用いてその動作を説明する。障害物検知装置２０は、カメラ１０から映像信号を１フレームずつ入力して（ステップＳ７０）、特定色抽出部２１にて、その映像から赤色の被写体を抽出する（ステップＳ７１）。次に、ブロック分割部２２にて、１フレームの映像信号を所定の大きさのブロックに分割して、各ブロックの代表値として、各ブロックに含まれる画素の赤色成分の平均値を計算する（ステップＳ７２）。続いて、その１フレームの各ブロックの代表値を、差分映像生成部２３に入力し、かつ旧フレームの映像データメモリ２９に保存する（ステップＳ７３）。

ここまでの処理を、ブレーキ状態に変化が発生するまで、カメラ基本機能１０から入力される１フレームの映像信号毎に行う。即ち、ブレーキ状態が変化したかを判定し（ステップＳＳ７４）、変化が生じていなければ（ステップＳ７４でＮＯ）、ステップＳ７１に戻って、次のフレームの映像信号について、ステップＳ７１〜Ｓ７３を繰り返す。

ブレーキ状態に変化があった場合には（ステップＳ７４でＹＥＳ）、ブレーキ状態が変化した後のフレームと、旧フレーム画像データ記憶メモリ２９に記憶されている、ブレーキ状態が変化する前のフレームとの間で、各ブロックについて差分値を求める（即ち、差分映像を生成する）（ステップＳ７５）。次に、各ブロックについて、差分値が所定の閾値以上であるブロックを有差分ブロックとし、差分値が所定の閾値に満たないブロックを無差分ブロックとする、差分閾値処理を行う（ステップＳ７６）。

続いて、映像中の水平線Ｈより上の領域（抽出対象領域）から有差分ブロックを抽出することにより有差分ブロックがあるか否かを判定する（ステップＳ７７）。抽出対象領域に有差分ブロックがある場合は（ステップＳ７７でＹＥＳ）、ギア選択情報に基づいてギアがリバースであるかどうかを判定する（ステップＳ７８）。ステップＳ７８にて、ギアがリバースであれば（ステップＳ７８でＹＥＳ）、障害物が存在するとの検知結果を出力する（ステップＳ７９）。ステップＳ７７で、抽出対象領域に有差分ブロックがない場合（ステップＳ７７でＮＯ）、およびステップＳ７８でギアがリバースでない場合（ステップＳ７８でＮＯ）には、障害物の検知結果は出力しない。

このような第１の実施の形態の障害物検知システムによれば、ブレーキランプの点灯時および消灯時の間の映像の差分を利用することで夜間における車両後方の障害物を検知し、車両が後退する場合に、車両後方の映像を出力すると同時に映像中に存在する障害物の有無を運転手に提示することができる。

（第２の実施の形態）
以下に、本発明の第２の実施の形態の障害物検知システムについて、図面を参照しながら説明する。

図８は、第２の実施の形態の障害物検知システムの構成を示す図である。障害物検知システム２は、被写体を撮像して映像信号を生成する撮像装置としてのカメラ１００と、障害物を検知する障害物検知装置２００から構成される。カメラ１００は、車両の後方ナンバープレート周辺の所定位置に所定の角度で取り付けられる。本実施の形態の障害物検知システム２において、第１の実施の形態の障害物検知システム１と同一の符号を付した要素は、第１の実施の形態の障害物検知システム１の対応する要素と同一の構成を有する。

カメラ１００は、レンズ１１、絞り１５、撮像素子１２、Ａ／Ｄ変換器１３、カメラ信号処理部１４、露光パラメータ算出部１６、露光パラメータ選択部１７、露光条件調整部１８、旧フレーム露光パラメータ記憶メモリ１９を備えている。カメラ１００は、車両後方の被写体を撮影して映像信号を生成する。レンズ１１を通った光は、絞り１５で光量調整されて撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。カメラ信号処理部１４は、Ａ／Ｄ変換されたデジタル信号に対して映像を生成するためのカメラ信号処理を行う。

障害物検知装置２００は、特定色抽出部２１、ブロック分割部２２、差分映像生成部２３、差分閾値処理部２４、有差分ブロック抽出部２５、障害物判定部２６、ブレーキ状態変化判定部２７、リバース判定部２８、旧フレーム映像データ記憶メモリ２９、旧フレームブレーキ状態記憶メモリ３０を備え、カメラ１００から出力される映像信号および運転状態情報に基づいて、障害物の検知を行う。本実施の形態の運転状態情報には、ブレーキ押下情報およびギア選択情報のほか、舵角情報が含まれる。舵角情報とは、ハンドルもしくはタイヤの切れ角を示す情報であり、車両の進行方向を示す情報である。

以下、本実施の形態において、第１の実施の形態と異なる部分を特に説明する。本実施の形態は、第１の実施の形態と比較して、障害物検知装置２００における障害物検知と連動してカメラ１００の露光条件を制御する点、および車両の舵角に応じて有差分ブロックを抽出する領域を可変とする点が特徴的である。以下、順に説明する。

本実施の形態の障害物検知システム２は、障害物検知装置２００における障害物検知と連動してのカメラ１００の露光条件を制御するための構成（露光制御機構）を有している。まず、露光制御について説明する。露光制御とは、撮像素子１２で受光される被写体の光量が適切な量になるように撮像装置の露光条件を調整することをいう。露光制御では、例えば、１フレームの全画素の画素値の平均値、または画面中央に存在する画素の画素値の平均値を露光量としてこの露光量が適切な値になるように露光条件の調整を行う。

露光制御では、予め所定の露光量を目標値として定めておき、現在の映像フレームの露光量が目標値よりも小さければ、露光量が増加するように露光条件を調整し、逆に目標値よりも大きければ、露光量が減少するように露光条件を調整する。露光条件の調整は、絞りの絞り量や撮像素子での光量増幅ゲインを調整することで行うことができる。即ち、映像が暗すぎる場合には、絞りを開けたり、撮像素子の光量増幅ゲインを大きくすることで映像を明るくしたり、逆に映像が明るすぎる場合には、絞りを絞ったり、撮像素子の光量増幅ゲインを小さくすることで映像を暗くしたりすることが可能となる。

本実施の形態の障害物検知システム２においても、カメラ１００は、露光制御機構として、露光パラメータ算出部１６、露光パラメータ選択部１７、露光条件調整部１８、及び旧フレーム露光パラメータ記憶メモリ１９を備えており、上記の露光制御を行うことで、運転手に見やすい映像を提供する。しかしながら、ブレーキランプ点灯時の映像とブレーキランプ消灯時の映像との間で差分映像を生成する際には、上記のような露光制御を行うことは好ましくない。ブレーキランプ点灯時の映像とブレーキランプ消灯時の映像との間で露光制御を行うとすれば、露光条件の調整量によってはブレーキランプに照らされていない被写体部分についても比較的大きな差分が生じてしまい、障害物ではない被写体を障害物として誤って検知してしまうおそれがあるからである。そこで、本実施の形態では、通常時には上記のような露光制御を行うとともに、差分映像を生成する際には、上記のような露光制御を行わない。即ち、差分映像は、ブレーキランプ点灯時の映像とブレーキランプ消灯時の映像との間で生成されるが、このブレーキランプ点灯時の映像とブレーキランプ消灯時の映像との間では、露光制御を行わず、両映像の露光条件が同一になるようにする。以下、このための構成を説明する。

露光パラメータ算出部１６は、Ａ／Ｄ変換後のデジタル信号に基づいて、被写体が適切な明るさで撮像されるような露光パラメータを求める。ここで、露光パラメータとは、撮像装置の露光条件を決定するパラメータである。露光パラメータには、絞り１５の絞り量のパラメータおよび撮像素子１２の光量増幅ゲイン量のパラメータが含まれる。なお、露光パラメータは、絞り１５の絞り量のパラメータのみであってもよく、または撮像素子１２の光量増幅ゲインのパラメータのみであってもよい。露光パラメータ算出部１６で求められた露光パラメータは、露光パラメータ選択部１７と旧フレーム露光パラメータ記憶メモリ１９に送られる。旧フレーム露光パラメータ記憶メモリ１９は、１フレームの映像信号ごとに露光パラメータを記憶する。

露光パラメータ選択部１７には、ブレーキ状態変化判定部２７から、ブレーキ状態の変化が通知される。露光パラメータ選択部１７は、ブレーキ状態変化判定部２７から通知されたブレーキ状態の変化の情報に基づいて、露光パラメータ算出部１６から入力された露光パラメータ、即ち現在のフレームで求めた露光パラメータと、旧フレーム露光パラメータ記憶メモリ１９から入力された露光パラメータ、即ち過去のフレームで求めた露光パラメータのいずれかを選択する。具体的には、露光パラメータ選択部１７は、ブレーキ状態変化判定部２７においてブレーキ状態が変化したと判定され、その旨の通知を受けたときは、旧フレーム露光パラメータ記憶メモリ１９からの露光パラメータを選択し、それ以外のときは露光パラメータ算出部１６からの露光パラメータを選択する。即ち、露光パラメータ選択部１７は、ブレーキランプの点灯／消灯が変化した場合において、変化後の映像フレームについては、変化前の映像フレームにおける露光パラメータと同一の露光パラメータを選択する。露光パラメータ選択部１７は選択した露光パラメータを露光条件調整部１８に出力する。

露光条件調整部１８は、露光パラメータ選択部１７で選択された露光パラメータに基づいて、絞り１５の絞り量や撮像素子１２の光量増幅ゲイン量を増減させて、露光量を調整する。これにより、ブレーキランプの点灯／消灯が変化した前後では露光パラメータを固定することができるので、露光調整によって生じる映像フレーム間の差分がなくなり、ブレーキランプの照射変化によって生じる映像フレーム間の差分を正しく求めやすくなる。

なお、旧フレーム露光パラメータ記憶メモリ１９に記憶されている露光パラメータは、旧フレーム映像データ記憶メモリ２９に保存されている映像、および旧フレームブレーキ状態記憶メモリ３０に記憶されているブレーキ状態の情報と連動しているので、３つの記憶メモリに記憶されている情報は同一フレームの情報である。以上、障害物検知と連動した露光量の制御について説明した。

次に、舵角に応じた有差分ブロックの抽出対象領域の変更について説明する。本実施の形態では有差分ブロック抽出部２５に対して、車両から舵角情報を入力する。有差分ブロック抽出部２５は、舵角情報に基づいて、有差分ブロックを抽出する領域（抽出対象領域）を変更する。第１の実施の形態では水平線Ｈより上部の領域を抽出対象領域としたが、本実施の形態では、さらにこの抽出対象領域から具体的な抽出箇所を絞り込む。具体的には、本実施の形態では、有差分ブロック抽出部２５は、舵角情報を利用することで、水平線Ｈより上部の領域のうち、車体の進行方向に応じた一部領域のみを有差分ブロックの抽出対象領域とする。

図９は、ハンドルの舵角に応じた抽出対象領域の変化例を示す図である。図９（ａ）は、直進して後退する時（舵角０°）の抽出対象領域を示す図である。有差分ブロック抽出部２５は、ハンドルが切られていないときには、水平線Ｈより上部でかつ水平中央近辺を有差分ブロックの抽出対象領域ＥＡとする。図９（ｂ）は、ハンドルを左回転させて後退する時（反時計回りに舵角ｘ°）の抽出対象領域を示す図である。有差分ブロック抽出部２５は、ハンドルが左回転しているときは、水平線より上部でかつ水平中央より右側を有差分ブロックの抽出対象領域ＥＡとする。ここで、車両後方の映像は、鏡面反転した映像になっているので、ハンドルが左に切られているときは、車両後退時の進行方向は画面右側になる。

図９（ｃ）は、ハンドルを右回転させて後退する時（時計回りに舵角ｘ°）の抽出対象領域を示す図である。有差分ブロック抽出部２５は、ハンドルが右に切られているときは、水平線より上部でかつ水平中央より左側を有差分ブロックの抽出対象領域ＥＡとする。ハンドルが右に切られているときは、車両後退時の進行方向は画面左側になる。有差分ブロック抽出部２５は、舵角角度に応じて有差分ブロックの抽出対象領域ＥＡを右または左にずらす量を変化させる。この構成により、現在の車両の舵角により車両が進行する方向のみを対象に障害物を検知することができるため、より精度の高い障害物検知が可能になる。

以上のように、第２の実施の形態の障害物検知装置を備えた撮像装置によれば、通常時には露光量調整をすることで運転手に見やすい映像を提供できるとともに、ブレーキランプの点灯状態が変化して差分映像を生成する際には差分をとる映像フレーム間で露光パラメータを変化させないようにするので、露光量調整によって障害物でない被写体が障害物であると検知される誤った検知を軽減できる。また、第２の実施の形態の撮像装置では、車両の舵角に応じて有差分ブロックの抽出対象領域を変化さて、車両が衝突する可能性のない領域については障害物を検知しないようにするので、車両が諸欝する可能性のない領域についての誤った検知を防止することができ、より精度の高い障害物検知が可能になる。

以上、本発明の第１および第２の実施の形態を説明したが、本発明はこれらの実施の形態に限られない。

例えば、上記の実施の形態では、映像フレームから赤色成分を抽出する例を説明したが、必ずしも赤色を抽出する必要はない。例えば、撮像装置に赤外光を遮断するＩＲ（Infrared）カットフィルターが存在しない場合には、赤外光の影響によりブレーキランプが必ずしも赤色に撮像されるとは限らず、場合によっては白く撮像される。この場合、赤色成分だけを対象にすると、ブレーキランプによる差分が正しく求められないことが考えられる。よって、必要に応じて抽出する色成分を指定することが有効である。

また、上記の実施の形態では、ブロック分割数を水平８０領域、垂直６０領域としたが分割数はこれに限るものではない。分割数を大きくするほど小さな障害物でも検知することが可能になる。

また、上記の実施の形態において旧フレームの映像データの記憶は、毎フレーム更新する必要はない。撮像装置のフレームレートによっては、１フレーム期間中にブレーキランプの点灯／消灯の切換えが終了しない場合があり、１フレーム差の差分映像では差分が十分に求まらない可能性がある。この場合、１フレームごとに映像データを記憶するのではなく、数フレームおきに記憶することができる。このとき、旧フレームのブレーキ状態の記憶も映像データに合わせて数フレームおきに記憶する。

また、上記の実施の形態では、有差分ブロック抽出部２５が映像中の水平線を検出して、抽出対象領域を求めたが、抽出対象領域は映像に係らず固定されたものであってもよい。また、映像中に水平線が映っておらず、水平線が抽出できない場合にのみ固定された水平線を採用してもよい。車両が障害物のない水平な路面に有るとすると、路面上でブレーキランプが届く範囲は限られている。上記の実施の形態の差分閾値処理も考慮すると、夜間に路面からのブレーキランプの反射光が写ったブロックが有差分ブロックであると判定される距離は限られている。よって、固定された水平線の位置は、ブレーキランプの照射角度及び照射強度、想定する夜間の暗さ、および差分閾値処理における閾値等を勘案して設定することができる。

本発明は、車両の後退時における車体後方の障害物の検知をすることを目的とするので、リバースギアが選択されているときだけ障害物を検知する使い方をしているが、常に車体後方の障害物を検知したい場合はリバース判定部２８の情報を使わないという構成を採用してもよい。逆に、最初の段階でリバース判定を行ってもよい。即ち、撮像装置は、ギア選択情報を参照して、リバースギアが選択されている場合にのみカメラおよび障害物検知装置を作動させ、リバースギアが選択されていないときにはカメラおよび障害物検知装置を全く作動させないようにしてもよい。

また、上記の実施の形態では、ブレーキペダルの押下の有無を検知することにより間接的にブレーキランプの状態の変化を判定しているが、ブレーキペダルの押下の有無ではなく、ブレーキランプの状態の変化を直接検知してもよい。この場合は、差分映像生成部２３は、ブレーキランプの状態の変化があったとき、すなわちブレーキランプが点灯から消灯、あるいは消灯から点灯への変化があった場合、それぞれのブレーキランプの状態で取得された映像フレームの差分を計算する。

また、上記の実施の形態では、撮像装置と障害物検知装置とが別体で構成されて、全体として障害物検知システムを構成したが、撮像装置と障害物検知装置とが一体的に構成されてもよい。本願では、このように、撮像装置と障害物検知装置とが一体的に構成されてなるものも障害物検知システムと呼ぶ。

以上のように、本発明に係る障害物検知装システムは、車両後方の障害物の検知に、撮像装置と元々車両に搭載されているブレーキランプを用いるので、低照度の環境でも、撮像装置以外のセンサを別途必要とせずに、車両後方の障害物を検知できるという優れた効果を有し、低照度の環境で車両後方の障害物を検知するための障害物検知システム等として有用である。

１、２ 障害物検知システム
１０、１００ カメラ
１１ レンズ
１２ 撮像素子
１３ Ａ／Ｄ変換器
１４ カメラ信号処理部
１５ 絞り
１６ 露光パラメータ算出部
１７ 露光パラメータ選択部
１８ 露光条件調整部
１９ 旧フレーム露光パラメータ記憶メモリ
２０、２００ 障害物検知装置
２１ 特定色抽出部
２２ ブロック分割部
２３ 差分映像生成部
２４ 差分閾値処理部
２５ 有差分ブロック抽出部
２６ 障害物判定部
２７ ブレーキ状態変化判定部
２８ リバース判定部
２９ 旧フレーム映像データ記憶メモリ
３０ 旧フレームブレーキ状態記憶メモリ

Claims (10)

1. 車両の後退時に車両後方の映像から障害物を検知する障害物検知装置であって、
   車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成部と、
   前記差分映像にて差分が生じている映像中の位置に基づいて障害物の有無を判定する障害物判定部と、
   を備えたことを特徴とする障害物検知装置。
2. 前記障害物判定部は、映像中の水平線の位置よりも上部に映像の差分が生じているときに障害物があると判定することを特徴とする請求項１記載の障害物検知装置。
3. 前記障害物判定部は、車両から当該車両の舵角情報を取得し、前記舵角情報に応じて、映像中において車両が進行する可能性がある車両進行領域のみを対象として、障害物の有無を判定することを特徴とする請求項１または請求項２記載の障害物検知装置。
4. 前記障害物検知装置は、車両から当該車両のブレーキランプの点消灯状態の情報を取得し、
   前記差分映像生成部は、前記ブレーキランプの点消灯状態の情報に基づいて、車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成することを特徴とする請求項１記載の障害物検知装置。
5. 前記差分映像生成部は、映像中の赤色成分の差分を示す差分映像を生成することを特徴とする請求項１記載の障害物検知装置。
6. 前記障害物検知装置は、映像を複数のブロックに分割して、前記ブロックごとに代表値を求めるブロック分割部を備え、
   前記差分映像生成部は、車両のブレーキランプの点灯時に撮像された映像の前記ブロック分割部で求められた各ブロックの代表値と、車両のブレーキランプの消灯時に撮像された映像の前記ブロック分割部で求められた各ブロックの代表値との差分を、前記差分映像として取得することを特徴とする請求項１記載の障害物検知装置。
7. 車両の後退時に車両後方を撮影する撮像装置と、
   前記撮像装置によって撮影された映像から障害物を検知する請求項１〜６のいずれかに記載の障害物検知装置と、
   を備えたことを特徴とする障害物検知システム。
8. 前記撮像装置は、前記差分映像生成部において差分映像を生成するブレーキランプ点灯時の映像とブレーキランプ消灯時の映像における露光条件が同一となるように、前記撮像装置における露光条件を制御する露光制御機構を備えたことを特徴とする請求項７記載の障害物検知システム。
9. 車両の後退時に車両後方の映像から障害物を検知する障害物検知方法であって、
   車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成ステップと、
   前記差分映像にて差分が生じている映像中の位置に基づいて、障害物の有無を判定する障害物判定ステップと、
   を含むことを特徴とする障害物検知方法。
10. 車両の後退時に車両後方の映像から障害物を検知する障害物検知装置に、
    車両のブレーキランプの点灯時に撮像された映像と車両のブレーキランプの消灯時に撮像された映像との差分映像を生成する差分映像生成ステップと、
    前記差分映像にて差分が生じている映像中の位置に基づいて、障害物の有無を判定する障害物判定ステップと、
    を実行させることを特徴とする障害物検知プログラム。