JP2008132895A - 車載監視装置 - Google Patents

Abstract

【課題】坂によって隠された他車を、より早期の時点において検出する「車載監視装置」を提供する。
【解決手段】自車１００が上り坂を進行しており、当該坂の頂上の向こう側には他車２００が故障により停車しているａ１、ｂ１、ｃ１、ｄ１の各時点において、車両前方を撮影するカメラ１によって画像ａ２、ｂ２、ｃ２、ｄ２が撮影され、下部が地平線下に隠れた物体が写り込んでいると推定される領域である隠蔽物体領域３１０、３２０が抽出されるａ３、ｂ３、ｃ３、ｄ３。そして、その大きさが地平線から徐々に上方に迫り上がってくるように変化する、車両として矛盾のない大きさ、位置、大きさの変化を示す隠蔽物体領域３１０の系列を、地平線下に部分的に隠れた接近中の他車が写り込んだ領域の系列であるとして検出する。
【選択図】図３

Description

本発明は、自動車前方の状況を監視する技術に関するものである。

自動車前方の状況を監視する技術としては、カメラを用いて自動車前方を撮影した画像に対して、車両の特徴パターンを認識する画像認識処理を行って、画像中に写り込んだ自動車前方に存在する他車を検出する技術が知られている（たとえば、特許文献１）。
特開2004-280194号公報

さて、上り坂を走行している場合、当該坂の頂上のすぐ向こう側に他車が停車していたとしても、頂上に接近するまで、自動車前方を撮影するカメラによって、当該他車の全体像は撮影することができない。そして、このように全体像を撮影できない場合、当該他車を、車両の特徴パターンを認識する画像認識処理によって検出することは比較的困難である。

したがって、前記特許文献１の技術によれば、このような場合に、他車との間に充分な距離が確保できている時点において、当該他車を検出できないことがある。
そこで、本発明は、坂によって隠された他車を、より早期の時点において検出することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車載監視装置に、前記自動車の前方を撮影するカメラと、前記カメラが撮影した画像に基づいて、道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を検出する隠蔽他車検出部とを備えたものである。ただし、隠蔽他車検出部は、前記カメラによって撮影された画像中の、時間の経過に伴って地平線上に迫り上がってくる物体が写り込んだ領域を隠蔽物体領域として抽出する隠蔽物体領域抽出手段と、前記隠蔽物体領域抽出手段が抽出した隠蔽物体領域が、車両が写り込んだ領域であるかどうかを、当該隠蔽物体領域の位置と大きさと大きさの変化とのうちの少なくとも一つに基づいて判定する判定手段と、車両が写り込んだ領域であると前記判定手段が判定した前記隠蔽物体領域に基づいて、前記自動車前方の、前記道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を識別する他車識別手段とを含んで構成されるものである。なお、道路の凸形状部とは、たとえば、上り坂道とそれに続く下り坂道によって形成される凸形状部や、比較的急な勾配の上り坂道とそれに続く比較的緩やかな勾配の上り坂道によって形成される凸形状部や、平坦な道とそれに続く下り坂道によって形成される凸形状部などを指す。

このような車載監視装置によれば、画像中の車両の特徴パターンを認識する画像認識処理によらず、画像中の時間の経過に伴って地平線上に迫り上がってくる物体が写り込んだ領域を検出することにより、道路の凸形状部によってカメラに対して部分的に隠蔽された他車を識別するので、坂等の道路の凸形状部によって隠された他車を、より早期の時点において検出することができるようになる。

ここで、このような車載監視装置は、前記隠蔽他車検出部に、前記自動車前方の道路勾配が減少方向に変化する地点の存在を検出する道路凸形状部検出手段を備えると共に、当該隠蔽他車検出部において、前記道路凸形状部検出手段が、前記道路勾配が減少方向に変化する地点の存在を検出している場合にのみ、道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を検出するように構成しても良い。

また、これらの車載監視装置は、前記他車検出手段において、前記隠蔽物体領域の位置と大きさと大きさの変化との少なくとも一つに基づいて、前記識別した他車と前記自動車との相対距離と相対速度とのうちの少なくとも一方を算定するように構成することも好ましい。

以上のように、本発明によれば、坂によって隠された他車を、より早期の時点において検出することができる。

以下、本発明の実施形態を説明する。
図１ａに本実施形態に係る前方監視システムの構成を示す。
前方監視システムは、自動車に搭載されたシステムであり、図示するように、カメラ１、前方他車検出部２、坂隠蔽他車検出部３、車両のピッチ角（走行路面の傾斜）を検出する傾斜センサ４、ナビゲーション装置５、車両の速度を検出する車速センサ６、警告部７とを有している。

そして、このような構成において、カメラ１は、図１ｂに示すように車両前部に装着され、車両前方を撮影する。また、ナビゲーション装置５は、地図データを備え、地図データを用いて車両の現在位置の算定する処理等を行う。
また、前方他車検出部２は、カメラ１が撮影した画像に対して、画像中に写り込んだ車両を認識する画像認識処理を行って、自動車前方に存在する他車を検出し、検出した他車が自車の安全上の障害となるかとどうかを判定する。そして、検出した他車が自車の安全上の障害となると判定された場合には、警告部７に警告出力要求を発行する。なお、検出した他車が自車の安全上の障害となるかどうかは、たとえば、車速センサ６で検出した自車の車速や、他車の自車に対する相対速度からみて、検出した他車と自車との相対距離が充分に安全を確保できる程度に離れていない場合に、検出した他車が自車の安全上の障害となると判定することにより行う。

なお、他車と自車との間の相対距離や相対速度は、カメラ１が撮影した画像中の他車の大きさや大きさの変化より求めるようにしてもよいし、カメラ１をステレオカメラとして構成し、他車と自車との間の相対距離や、その変化率である相対速度を求めるようにしてもよい。

次に、坂隠蔽他車検出部３は、勾配のある道路によって部分的にカメラ１に対して隠されてしまう他車の検出と、検出した当該他車の報知のために坂隠蔽他車検出処理を行う。
図２に、この坂隠蔽他車検出処理の手順を示す。
図示するように、この処理では、自車の前方の所定距離内に、道路勾配が減少方向（下る方向）に変化する地点、すなわち、道路の凸形状の頂点となる地点が存在するかどうかを判定し（ステップ２０２）、存在しない場合には、そのまま、存在するようになるのを待つ。なお、道路勾配が減少方向（下る方向）に変化する地点である道路の凸形状の頂点とは、道路が上り坂道から下り坂道に変化する地点や、道路が比較的急な勾配の上り坂道から比較的緩やかな勾配の上り坂道に変化する地点や、道路が平坦な道から下り坂道に変化する地点などを指す。

ここで、ステップ２０２の判定は、たとえば、次のように行う。すなわち、まず、ナビゲーション装置５に、自車の前方の所定距離内に道路勾配が減少方向に変化する地点が存在するかどうかを問い合わせる。問い合わせを受けたナビゲーション装置５は、保持している地図データが、現在走行している道路の高度の情報を含んでいる場合には、この高度情報に基づいて、そのような地点が存在するかどうかを調べ、そのような地点の存在の有無を坂隠蔽他車検出処理に応答する。一方、保持している地図データが、現在走行している道路の高度の情報を含んでいない場合には、問い合わせを受けたナビゲーション装置５は、不明を坂隠蔽他車検出処理に応答する。そして、坂隠蔽他車検出処理は、存在の有無をナビゲーション装置５から応答された場合には、当該通知に基づいて、自車の前方の所定距離内に道路勾配が減少方向に変化する地点が存在するかどうかを判定する。一方、不明をナビゲーション装置５から応答された場合には、傾斜センサ４の検出している車両のピッチ角（走行路面の傾斜）を取得し、ピッチ角が、現在自車が坂道登っていることを表している場合に、自車の前方の所定距離内に道路勾配が減少方向に変化する地点が存在すると判定する。

次に、ステップ２０２において、自車の前方の所定距離内に道路勾配が減少方向に変化する地点が存在すると判定された場合には、カメラ１が撮影した画像中の地平線の位置を特定し、自車前方の地平線周辺の領域を画像中から地平線周辺画像として切り出す（ステップ２０４）。

また、次に、ステップ２０４で抽出した地平線周辺領域画像に対して区画線（黄線や白線などの中央線や車線境界線）認識処理を施して、地平線高さにおける車線の水平方向位置と水平方向幅を算定する（ステップ２０６）。
そして、地平線周辺画像に含まれる、下部が地平線下に隠れた物体が写り込んでいると推定される領域を隠蔽物体領域として検出する（ステップ２０８）。この隠蔽物体領域は、たとえば、地平線周辺画像に含まれるエッジを抽出して作成したエッジ画像において、エッジで囲まれた領域であって、地平線であるエッジが、当該領域の下辺となっている領域として抽出する。または、この隠蔽物体の領域の抽出は、次のように行うようにしてもよい。すなわち、ステップ２０２で車の前方の所定距離内に道路勾配が減少方向に変化する地点が存在すると判定されたならば、前方他車検出部２が自動車前方に存在する他車を検出しなくなるのを待ち、前方他車検出部２が自動車前方に存在する他車を検出しなくなったならば、前述した地平線周辺画像を抽出しリファレンス画像として記憶する。そして、以降のステップ２０８において、このリファレンス画像と地平線周辺画像との差分画像を生成し、差分画像に基づいて、リファレンス画像に対する差分が生じた領域を隠蔽物体領域として抽出する。

そして、次に抽出した各隠蔽物体領域を系列化する（ステップ２１０）。ここで、隠蔽物体領域の系列化は、各時点においてカメラ１が撮影した画像から上述のように抽出した各隠蔽物体領域を、時系列に、当該隠蔽物体領域に写り込んでいる物体が同じである隠蔽物体領域毎の系列に系列化することによる行う。より具体的には、このステップ２１０では、たとえば、ステップ２０８で抽出した各隠蔽物体領域を、当該隠蔽物体領域と水平方向の位置が近い位置を有する過去所定期間内に抽出された隠蔽物体領域が含まれている系列の隠蔽物体領域とする。また、当該隠蔽物体領域と水平方向の位置が近い位置を有する過去所定期間内に抽出された隠蔽物体領域が含まれている系列が存在しない場合には、当該隠蔽物体領域が属する新たな系列を生成する。また、所定期間以上、当該系列に含める隠蔽物体領域が抽出されなかった系列を無効化する処理なども行うようにする。

さて、このようにして隠蔽物体領域を系列化したならば、次に、隠蔽物体領域の系列のうちから、接近中物体の隠蔽物体領域の系列を抽出する（ステップ２１２）。接近中物体の隠蔽物体領域の系列の抽出は、地平線から上方に迫り上がってくるように隠蔽物体領域の大きさが変化している系列を接近中物体の隠蔽物体領域の系列として抽出することにより行う。

すなわち、垂直、水平方向の大きさが時間の経過と共に増大する隠蔽物体領域の系列であって、垂直方向の大きさの増大の速度が、水平方向の大きさの増大の速度に比べ大きい隠蔽物体領域の系列を、接近中物体の隠蔽物体領域の系列として抽出する。
なお、隠蔽物体領域の垂直方向の大きさが時間の経過と共に増減する系列、すなわち、地平線上に出入りするように隠蔽物体領域の大きさが変化している系列については、その増減の全体的な傾向に応じて、接近中物体の隠蔽物体領域の系列であるかどうかを判定するようにする。すなわち、たとえば、所定の単位時間毎の、垂直方向の大きさの最大値を求め、当該最大値を当該単位時間内の各時点の垂直方向の大きさとして代用して、接近中物体の隠蔽物体領域の系列であるかどうかの判定を行うようにするなどしてよい。

そして、抽出した接近中物体の隠蔽物体領域の系列のうちに、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列が存在するかどうかを判定し（ステップ２１４）、存在しない場合には、ステップ２０２で検出した道路勾配が減少方向に変化する地点を通過しているかどうかを調べ（ステップ２２０）、通過していればステップ２０２からの処理に戻り、通過していなければ、ステップ２０４からの処理に戻る。

ここで接近中物体の隠蔽物体領域の系列のうちからの、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列の弁別は、当該系列に属する隠蔽物体領域の位置、大きさ、大きさの変化などに基づいて行う。
すなわち、隠蔽物体領域の水平方向位置が当該隠蔽物体領域を抽出した地平線周辺画像から認識した車線上に無い隠蔽物体領域を所定の比率以上多く含む系列は、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列でないものとする。また、隠蔽物体領域の水平方向幅が、当該隠蔽物体領域を抽出した地平線周辺画像から認識した車線の水平方向幅から見て、車両の幅としては大きすぎるか小さすぎる隠蔽物体領域を所定の比率以上多く含む系列は、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列でないものとする。また、時間に沿った隠蔽物体領域の大きさの変化が、車速センサ６で検出した各時点における自車の車速や、車両の一般的な速度からみて、自車から所定距離内に存在する車両が写り込んだ領域の大きさの変化として大きすぎるか小さすぎる系列は、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列でないものとする。また、時間に沿った隠蔽物体領域の水平方向の大きさの変化が、時間に沿った隠蔽物体領域の垂直方向の大きさの変化に比べ、自車から所定距離内に存在する物体の変化として小さすぎる系列は、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列でないものとする。

そして、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列でないものとした系列以外の、接近中物体の隠蔽物体領域の系列は、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列であるものと判定する。
さて、ステップ２１２において、接近中の隠蔽物体領域の系列のうちに、地平線下に部分的に隠れた接近中の他車が写り込んでいる隠蔽物体領域の系列が存在すると判定された場合には、当該系列の隠蔽物体領域に写り込んでいる他車が自車の安全上の障害となるかとどうかを判定する（ステップ２１６）。この判定は、車速センサ６で検出した自車の車速や、他車の自車に対する相対速度からみて、当該系列の隠蔽物体領域に写り込んでいる他車と自車との相対距離が充分に安全を確保できる程度に離れていない場合に、当該系列の隠蔽物体領域に写り込んでいる他車が自車の安全上の障害となると判定することにより行う。なお、当該系列の隠蔽物体領域に写り込んでいる他車と自車との間の相対距離や相対速度は、当該系列の隠蔽物体領域の水平方向の大きさや、当該系列の隠蔽物体領域の水平方向や垂直方向の大きさの変化より求めるようにしてもよいし、カメラ１をステレオカメラとして構成し、当該系列の隠蔽物体領域内の物体と自車との間の相対距離や、その変化率である相対速度を求めるようにしてもよい。

そして、ステップ２１６において自車の安全上の障害となると判定された場合には、警告部７に警告出力要求を発行し（ステップ２１８）、ステップ２０２で検出した道路勾配が減少方向に変化する地点を通過しているかどうかを調べ（ステップ２２０）、通過していればステップ２０２からの処理に戻り、通過していなければ、ステップ２０４からの処理に戻る。

一方、ステップ２１６において、自車の安全上の障害にならないと判定された場合には、ステップ２０２で検出した道路勾配が減少方向に変化する地点を通過しているかどうかを調べ（ステップ２２０）、通過していればステップ２０２からの処理に戻り、通過していなければ、ステップ２０４からの処理に戻る。

以上、坂隠蔽他車検出処理について説明した。
さて、図１に戻り、警告部７は、前方他車検出部２や坂隠蔽他車検出部３から警告出力要求が発行されたならば、前方に注意を要する他車が存在する旨を運転者に報知する。この報知は、たとえば、警告音の出力や、警告を表す音声メッセージの出力や、ランプの点滅等などにより行う。

ここで、以上に説明した坂隠蔽他車検出処理による処理例を図３に示す。
いま、図３ａ１、ｂ１、ｃ１、ｄ１のように、自車１００が上り坂を進行しており、当該坂の頂上の向こう側には他車２００が故障により停車しているものとする。この場合、ａ１、ｂ１、ｃ１、ｄ１の各時点において、カメラ１によって撮影される画像は、各々ａ２、ｂ２、ｃ２、ｄ２のようになり、各画像より、地平線周辺画像として領域３００内の画像が抽出される。

また、各地平線周辺画像より、ａ１、ｂ１、ｃ１、ｄ１の各時点において、ａ３、ｂ３、ｃ３、ｄ３に示すように、下部が地平線下に隠れた物体が写り込んでいると推定される領域である隠蔽物体領域として、地平線下に部分的に隠れた他車２００が写り込んだ隠蔽物体領域３１０と、遠方のビルが写り込んだ３２０が抽出され、各々系列化される。

また、隠蔽物体領域３１０と３２０の系列は、その大きさが地平線から徐々に上方に迫り上がってくるように変化するので、双方とも、地平線下に部分的に隠れた接近中の物体が写り込んだ隠蔽物体領域として抽出される。
そして、地平線下に部分的に隠れた他車２００が写り込んだ隠蔽物体領域３１０が、その位置、大きさ、大きさの変化などに基づいて、地平線下に部分的に隠れた接近中の他車が写り込んだ領域の系列であると判定され、当該領域３１０に写り込んだ他車が自車の安全上の障害となるかとどうかが、当該隠蔽物体領域３１０の大きさや大きさの変化等に基づいて判定され、この場合には障害となるので、警告が出力されることになる。

一方、遠方のビルが写り込んだ領域３２０の系列は、大きさの変化が、車両が写り込んだ領域として整合しないので、車両が写り込んだ領域ではないと判定され、警告の対象から除外されることになる。すなわち、ビルが写り込んだ領域３２０は、遠方にあるため、その大きさの変化が、車速センサ６で検出した各時点における自車の車速や、車両の一般的な速度からみて、自車から所定距離内に存在する車両が写り込んだ領域の大きさの変化として小さすぎることになり、また、ビルが写り込んだ領域３２０は、遠方にあるため、水平方向の大きさの変化が、地平線からの上方への迫り上がりによる垂直方向の大きさの変化に比べ、自車から所定距離内に存在する物体の変化として小さすぎることにもなるので、地平線下に部分的に隠れた接近中の他車が写り込んだ領域ではないと認識される。

以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、画像中の車両の特徴パターンを認識する画像認識処理によらず、画像中の時間の経過に伴って地平線上に迫り上がってくる物体が写り込んだ領域を検出することにより、道路の凸形状部によってカメラ１に対して部分的に隠蔽された他車を他車を識別するので、坂等の道路の凸形状部によって隠された他車を、より早期の時点において検出することができるようになる。

本発明の実施形態に係る前方監視システムの構成を示すブロック図である。 本発明の実施形態に係る坂隠蔽他車検出処理を示すフローチャートである。 本発明の実施形態に係る前方監視システムの動作例を示す図である。

符号の説明

１…カメラ、２…前方他車検出部、３…坂隠蔽他車検出部、４…傾斜センサ、５…ナビゲーション装置、６…車速センサ、７…警告部。

Claims (4)

1. 自動車に搭載される車載監視装置であって、
   前記自動車の前方を撮影するカメラと、
   前記カメラが撮影した画像に基づいて、前記自動車前方の、道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を検出する隠蔽他車検出部とを有し、
   前記隠蔽他車検出部は、
   前記カメラによって撮影された画像中の、時間の経過に伴って地平線上に迫り上がってくる物体が写り込んだ領域を隠蔽物体領域として抽出する隠蔽物体領域抽出手段と、
   前記隠蔽物体領域抽出手段が抽出した隠蔽物体領域が、車両が写り込んだ領域であるかどうかを、当該隠蔽物体領域の位置と大きさと大きさの変化とのうちの少なくとも一つに基づいて判定する判定手段と、
   車両が写り込んだ領域であると前記判定手段が判定した前記隠蔽物体領域に基づいて、前記自動車前方の、前記道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を識別する他車識別手段とを有することを特徴とする車載監視装置。
2. 請求項１記載の車載監視装置であって、
   前記隠蔽他車検出部は、
   前記自動車前方の道路勾配が減少方向に変化する地点の存在を検出する道路凸形状部検出手段を備え、
   前記隠蔽他車検出部は、前記道路凸形状部検出手段が、前記道路勾配が減少方向に変化する地点の存在を検出している場合にのみ、道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を検出することを特徴とする車載監視装置。
3. 請求項１または２記載の車載監視装置であって、
   前記他車識別手段は、前記隠蔽物体領域の位置と大きさと大きさの変化との少なくとも一つに基づいて、前記識別した他車と前記自動車との相対距離と相対速度とのうちの少なくとも一方を算定することを特徴とする車載監視装置。
4. 自動車に搭載される車載監視装置において、自車前方の他車を検出する他車検出豊富尾であって、
   カメラを用いて前記自動車の前方を撮影するステップと、
   前記カメラによって撮影された画像中の、時間の経過に伴って地平線上に迫り上がってくる物体が写り込んだ領域を隠蔽物体領域として抽出するステップと、
   抽出した隠蔽物体領域が、車両が写り込んだ領域であるかどうかを、当該隠蔽物体領域の位置と大きさと大きさの変化とのうちの少なくとも一つに基づいて判定するステップと、
   車両が写り込んだ領域であると判定した前記隠蔽物体領域に基づいて、前記自動車前方の、前記道路の凸形状部によって前記カメラに対して部分的に隠蔽された他車を検出するステップとを有することを特徴とする他車検出方法。