JP2018112889A - 運転支援装置 - Google Patents

Abstract

【課題】信号機が画角切れしたことを運転者に適切に報知することができる運転支援装置を提供する。【解決手段】運転支援装置１は、車両Ｖに搭載され、該車両Ｖの前方を所定の画角Ａで撮像して撮像画像Ｐを取得するカメラ２と、カメラ２で取得した撮像画像Ｐの上側の端部に設定された検出エリアＤ内に赤信号の信号機Ｓが表示されていることを検知した後において、カメラ２で取得した撮像画像Ｐ内に信号機Ｓが表示されていないことを検知した場合に、画角Ａに対応する撮像範囲Ｒ外に信号機Ｓが位置していると判定する処理部１１と、処理部１１により信号機Ｓが撮像範囲Ｒ外に位置していると判定された場合に、その旨を車両Ｖの運転者に報知するＨＭＩ４と、を備える。【選択図】図４

Description

本発明は、運転支援装置に関する。

特許文献１に記載された運転支援装置では、車両に搭載されたカメラにより、車両の前方を所定の画角で撮像して撮像画像を取得する。そして、カメラで取得した撮像画像内に表示されている信号機が赤信号から青信号に変わったことを検知すると、その旨を車両の運転者に報知する。

特開２００７−１８８２７１号公報

上述したような運転支援装置では、カメラは、その向きが固定された状態で車両に搭載されており、且つ、その画角（見える範囲）は有限である。このため、例えば地面から高い位置に設置された信号機をカメラで撮像する場合、車両が信号機に接近するに連れて、撮像画像内に表示される信号機の位置は上方に移動し、やがて信号機の位置は撮像範囲外となる（すなわち、信号機が画角切れする）。上述したような運転支援装置では、このような画角切れの状態を運転者が認識できない可能性がある。

そこで、例えば、点灯している信号機が撮像画像内に表示されていないことを検知した場合に、一律に、信号機が画角切れしたと判定して、その旨を運転者に報知することも考えられる。しかしながら、信号機は供給電源周波数に応じて点滅しており、且つ、カメラは所定の撮像周期にて撮像画像を取得している。このため、信号機の瞬間的な消灯とカメラの撮像とのタイミングによっては、信号機が撮像範囲内に位置しているにもかかわらず、当該信号機が点灯している状態で撮像画像内に表示されない場合がある。よって、この場合にも信号機が画角切れしたと判定して、その旨が運転者に報知されてしまう。

本発明は、上記実情に鑑みてなされたものであり、信号機が画角切れしたことを運転者に適切に報知することができる運転支援装置を提供することを目的とする。

本発明に係る運転支援装置は、車両に搭載され、該車両の前方を所定の画角で撮像して撮像画像を取得するカメラと、カメラで取得した撮像画像の端部に設定された検出エリア内に赤信号の信号機が表示されていることを検知した後において、カメラで取得した撮像画像内に信号機が表示されていないことを検知した場合に、画角に対応する撮像範囲外に信号機が位置していると判定する処理部と、処理部により信号機が撮像範囲外に位置していると判定された場合に、その旨を車両の運転者に報知する報知部と、を備える。

この運転支援装置では、撮像画像の端部に設定された検出エリア内に表示されている赤信号の信号機が、撮像画像内に表示されなくなった場合に、当該信号機が画角切れしたと判定される。ここで、車両が信号機に接近するに連れて、撮像画像内に表示される信号機の位置は中央から端部に向かう方向に移動するため、撮像画像の端部に設定された検出エリア内に表示されている信号機は、間もなく画角切れする可能性が高い。従って、運転支援装置による上記判定は正しい可能性が高く、上記判定に基づく報知は適切なものである可能性が高い。

本発明によれば、信号機が画角切れしたことを運転者に適切に報知することができる。

本実施形態に係る運転支援装置を示すブロック図である。 信号機が画角切れしていない状態を示す図である。 信号機が画角切れしている状態を示す図である。 車速に応じた検出エリアの上下幅の変化を説明するための図である。 車速に応じた検出エリアの上下幅の変化を説明するための図である。 車速に応じた検出エリアの上下幅の変化を説明するための図である。 運転支援装置の動作を示すフローチャートである。

以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、同一又は相当要素には同一符号を付し、重複する説明は省略する。

図１は、本実施形態に係る運転支援装置を示すブロック図である。図２は、信号機が画角切れしていない状態を示す図である。図３は、信号機が画角切れしている状態を示す図である。図１、図２及び図３に示すように、運転支援装置１は、車両Ｖの前方の信号機Ｓが赤信号から青信号に変わったことを検知し、その旨を車両Ｖの運転者に報知する装置である。運転支援装置１は、車両Ｖに搭載されている。

本実施形態において「信号機」とは、青、黄及び赤の三色が水平方向に並んで配置された発光装置部である。なお、「信号機」は、例えば青、黄及び赤の三色が鉛直方向に並んで配置された発光装置部であってもよく、矢印信号部を含んでいてもよい。また、「信号機」は、青、黄及び赤の三色のすべてを含んでいなくてもよく、少なくとも赤を含んでいればよい。

運転支援装置１は、カメラ２、車輪速センサ３、ＨＭＩ４及びＥＣＵ［Electronic Control Unit］１０を備えている。

カメラ２は、車両Ｖに搭載され、車両Ｖの前方を所定の画角Ａで撮像して撮像画像Ｐを取得する撮像機器である。カメラ２は、車両Ｖのフロントガラスの裏側に設けられている。カメラ２は、取得した撮像画像Ｐに関する撮像情報をＥＣＵ１０に送信する。カメラは、例えば単眼カメラである。なお、カメラ２が設けられる位置は、車両Ｖの前方を撮像することが可能であればフロントガラスの裏側に限られない。

カメラ２は、その向きが固定された状態で車両Ｖに搭載されている。また、カメラの画角Ａは有限である。このため、地面から高い位置（少なくとも、カメラ２が車両Ｖに搭載されている位置よりも高い位置）に設置された信号機Ｓをカメラ２で撮像する場合、車両Ｖが信号機Ｓに接近するに連れて、撮像画像Ｐ内に表示される信号機Ｓの位置は中央から上側の端部に向かう方向（上方）に移動する。例えば、図２に示すように、車両Ｖが信号機Ｓまで十分に離間している場合には、信号機Ｓは画角Ａに対応する撮像範囲Ｒ内に位置している。この位置から車両Ｖが信号機Ｓに接近すると、信号機Ｓの位置はカメラ２の画角Ａに対応する撮像範囲Ｒ外となる。なお、本実施形態において、画角Ａに対応する撮像範囲Ｒ外に信号機Ｓが位置することを「信号機Ｓが画角切れする」という場合がある。

車輪速センサ３は、車両Ｖの速度を検出する車速センサである。車輪速センサ３は、車両Ｖの車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する。車輪速センサ３は、検出した車速情報をＥＣＵ１０に送信する。

ＨＭＩ（報知部）４は、ＥＣＵ１０から運転者に情報の出力を行うためのインターフェイスである。ＨＭＩ４は、警報音又は音声の出力により運転者に情報を報知するためのスピーカである。ＨＭＩ４は、複数のスピーカから構成されていてもよい。ＨＭＩ４は、例えば、車両Ｖのインストルメントパネル裏に設けられたスピーカ、車両Ｖの運転席のドア内側に設けられたスピーカ等のうち少なくとも一つを含んでいる。ＨＭＩ４は、ＥＣＵ１０からの制御信号に応じて警報音又は音声を出力する。なお、ＨＭＩ４は、運転者等に画像情報を表示するディスプレイであってもよい。この場合、ＨＭＩ４は、ＥＣＵ１０からの制御信号に応じた画像情報の表示により運転者に情報を報知する。

ＥＣＵ１０は、物理的な構成としてＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子制御ユニットから構成されていてもよい。また、以下に説明するＥＣＵ１０の機能の一部は、車両Ｖと通信可能な管理センターなどの施設のコンピュータにおいて実行される態様であってもよい。ＥＣＵ１０は、機能的な構成として処理部１１を有している。

処理部１１は、カメラ２で取得した撮像画像Ｐ内に信号機Ｓが表示されているか否かを検知する。処理部１１は、公知技術を用いて、撮像画像Ｐ内に信号機Ｓが表示されているか否かを検知する。例えば、処理部１１は、エッジ形状やＲ、Ｇ、Ｂ画素値等の画像特徴量を用いて、信号機Ｓにおいて何れかの色が点灯しているか否か、及び、何れかの色が点灯している場合には、何色が点灯しているか、について判別する。処理部１１は、撮像画像Ｐに関する撮像情報をカメラ２から受信すると共に、車速情報を車輪速センサ３から受信する。処理部１１は、ＨＭＩ４において警報音又は音声を出力させる制御信号をＨＭＩ４に出力する。

処理部１１は、カメラ２から受信した撮像画像Ｐに関する撮像情報に基づいて、撮像画像Ｐを取得する（図４参照）。撮像画像Ｐは、四角形状を呈し、その上側の端部に四角形状の検出エリアＤが設定されている。

処理部１１は、図４、図５及び図６に示すように、車輪速センサ３から受信した車速情報に基づいて、検出エリアＤの広さを変更する。具体的には、処理部１１は、車両Ｖの速度が高いほど検出エリアＤの上下幅を広く設定し、車両Ｖの速度が低いほど検出エリアＤの上下幅を狭く設定する。これにより、以下のような効果が得られる。車両Ｖの速度が高いほど、撮像画像Ｐの１フレームあたりにおける信号機Ｓの移動量が大きい。このため、車両Ｖの速度によらず検出エリアの上下幅を一定とすると、車両Ｖの速度が高い場合に、撮像画像Ｐ内の検出エリアＤ外（検出エリアＤよりも下側のエリア）に表示されていた信号機Ｓが、撮像画像Ｐの１フレーム後に、検出エリアＤを飛び越えて撮像範囲Ｒ外（撮像範囲Ｒの上側）まで移動してしまうおそれがある。そこで、車両Ｖの速度が高いほど検出エリアＤの上下幅を広く設定することで、上述した現象を回避することができる。

処理部１１は、例えば、下記の式（１）〜（４）に従って検出エリアＤの上下幅を設定する。

ここで、ｄ_１は画角外発生時距離（信号機Ｓが画角切れしたときの車両Ｖと信号機Ｓとの間の距離）［ｍ］、ｄ_２は撮像画像Ｐの１フレーム前の距離（信号機Ｓが画角切れする１フレーム前の車両Ｖと信号機Ｓとの間の距離）［ｍ］、ｈ_１は信号機Ｓの取付高さ（信号機Ｓの取付最低高さ）［ｍ］、ｈ_２は車両高さ［ｍ］、ｙ_１は撮像画像Ｐの１フレーム前のピクセル位置（信号機Ｓが画角切れする１フレーム前において撮像画像Ｐ内に信号機Ｓが表示されるピクセル位置）［pix.］、ｙ_２は検出エリアＤの上下幅（検出エリアＤの上下方向ピクセル数）［pix.］、Ａはカメラ２の画角［度］、ａはカメラ２の軸の上向き角度［度］、ｐは撮像画像Ｐの上下方向ピクセル数［pix.］、Ｔはカメラ２の撮像周期［fps］、ｖは車両Ｖの速度［km/h］、αはマージン係数、をそれぞれ表す。

上記の式（１）〜（４）に従って設定される検出エリアＤの一例として、Ｔ＝１０［fps］、ｐ＝１０８０［pix.］、Ａ＝６７．５［度］、ａ＝０［度］（すなわち、カメラ２の軸が水平）、ｖ＝３６［km/h］、ｈ_１＝５［ｍ］、ｈ_２＝１［ｍ］を代入すると、ｙ_１＝６３．３１［pix.］が得られる。このｙ_１に対して、適宜設定されたαを掛けることで、ｙ_２を得ることができる。このようにして得られた検出エリアＤの例を図４、図５及び図６に示す。図４は車両Ｖが６０［km/h］で走行している場合の検出エリアＤを示しており、図５は車両Ｖが３０［km/h］で走行している場合の検出エリアＤを示しており、図６は車両Ｖが１０［km/h］で走行している場合の検出エリアＤを示している。

続いて、図７のフローチャートを参照しながら、運転支援装置１の動作について説明する。図７に示すフローチャートは、例えば車両Ｖが停車状態から走行状態に移行したタイミングで処理が開始される。

ステップＳ１において、処理部１１は、通過フラグを「０」に設定する。通過フラグは、赤信号の信号機Ｓが検出エリアＤ内に表示されたか否かを示すフラグである。処理部１１は、通過フラグを「０」に設定すると、ステップＳ２に移行する。

ステップＳ２において、処理部１１は、カメラ２で取得した撮像画像Ｐに関する撮像情報をカメラ２から受信し、当該撮像情報に基づいて最新の撮像画像Ｐを取得する。また、処理部１１は、車輪速センサ３で取得した車両Ｖの速度に関する車速情報を車輪速センサ３から受信し、当該車速情報に基づいて最新の車両Ｖの速度を取得する。処理部１１は、最新の撮像画像Ｐ及び車両Ｖの速度を取得すると、ステップＳ３に移行する。

ステップＳ３において、処理部１１は、最新の車両Ｖの速度に基づいて検出エリアＤを設定する。具体的には、処理部１１は、上記の式（１）〜（４）を用いて検出エリアＤの上下幅を設定する。処理部１１は、検出エリアＤを設定すると、ステップＳ４に移行する。

ステップＳ４において、処理部１１は、撮像画像Ｐ内に信号機Ｓが表示されているか否かを判定する。撮像画像Ｐ内に信号機Ｓが表示されている場合には、処理部１１はステップＳ５に移行する。一方、撮像画像Ｐ内に信号機Ｓが表示されていない場合には、処理部１１はステップＳ８に移行する。

ステップＳ５において、処理部１１は、撮像画像Ｐ内に表示されている信号機Ｓが赤信号であるか否かを判定する。撮像画像Ｐ内に表示されている信号機Ｓが赤信号である場合には、処理部１１はステップＳ６に移行する。一方、撮像画像Ｐ内に表示されている信号機Ｓが赤信号でない場合には、処理部１１はステップＳ１に戻る。

ステップＳ６において、処理部１１は、撮像画像Ｐ内に表示されている赤信号の信号機Ｓが、検出エリアＤ内に表示されているか否かを判定する。赤信号の信号機Ｓが検出エリアＤ内に表示されている場合には、処理部１１はステップＳ７に移行する。一方、赤信号の信号機Ｓが検出エリアＤ内に表示されていない場合には、処理部１１はステップＳ２に戻る。

ステップＳ７において、処理部１１は、通過フラグを「１」に設定する。これにより、処理部１１は、ステップＳ６において赤信号の信号機Ｓが検出エリアＤ内に表示されていることを検知したことを記録する。処理部１１は、通過フラグを「１」に設定すると、ステップＳ２に戻る。

上述したようにステップＳ４からステップＳ８に移行した場合、ステップＳ８において、処理部１１は、通過フラグが「０」であるか否かを判定する。通過フラグが「０」である場合には、赤信号の信号機Ｓが検出エリアＤ内に表示されていることを未だ検知していない状態で、撮像画像Ｐ内に信号機Ｓが表示されていないこととなる。これは、例えば、信号機Ｓが瞬間的に消灯しているタイミングでカメラ２が撮像画像Ｐを取得した状況、或いは、そもそも車両Ｖの前方に信号機Ｓが存在していない状況であるため、処理部１１は、運転者に報知しない。通過フラグが「０」であると判定すると、処理部１１はステップＳ２に戻る。

一方、ステップＳ８において、通過フラグが「０」でない場合（すなわち、通過フラグが「１」である場合）には、処理部１１は、赤信号の信号機Ｓが検出エリアＤ内に表示されていることを検知した後において、撮像画像Ｐ内に信号機Ｓが表示されていないことを検知したこととなる。この場合、処理部１１は、信号機Ｓが画角切れしたと判定する。通過フラグが「０」でないと判定すると、処理部１１はステップＳ９に移行する。

ステップＳ９において、処理部１１は、信号機Ｓが画角切れしたことを運転者に報知するための警報音又は音声を出力させる制御信号をＨＭＩ４に出力する。ＨＭＩ４は、処理部１１からの制御信号に応じて警報音又は音声を出力する。ＨＭＩ４が警報音又は音声を出力すると、図７に示すフローチャートが終了する。その後、処理部１１は、再びステップＳ１に戻り図７に示すフローチャートを繰り返し実行する。

以上、本実施形態に係る運転支援装置１では、撮像画像Ｐの上側の端部に設定された検出エリアＤ内に表示されている赤信号の信号機Ｓが、撮像画像Ｐ内に表示されなくなった場合に、当該信号機Ｓが画角切れしたと判定される。ここで、車両Ｖが信号機Ｓに接近するに連れて、撮像画像Ｐ内に表示される信号機Ｓの位置は中央から上側の端部に向かう方向に移動するため、撮像画像Ｐの上側の端部に設定された検出エリアＤ内に表示されている信号機Ｓは、間もなく画角切れする可能性が高い。従って、運転支援装置１による上記判定は正しい可能性が高く、上記判定に基づく報知は適切なものである可能性が高い。

また、運転支援装置１では、信号機Ｓが赤信号から青信号に変わったことを検知して停車状態から自動発進する自動運転制御を車両Ｖが実行中の場合、信号機Ｓが画角切れしたと判定したときには、信号機Ｓが赤信号から青信号に変わったことを検知できないために当該自動運転制御を実行不能であるとして、車両Ｖの運転に関する主権を運転者に移してもよい。

以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用してもよい。

例えば、上記実施形態では車輪速センサ３を車速センサとして用いて車両Ｖの速度を検出したが、速度メーターに対して入力又は出力される信号を取得して車両Ｖの速度を検出してもよい。

また、ステップＳ７において処理部１１が通過フラグを「１」に設定した後、ステップＳ９まで移行する前に所定時間が経過した場合、処理部１１は、通過フラグを「０」に設定してもよい。

また、ステップＳ７において処理部１１が通過フラグを「１」に設定した後、青信号の信号機Ｓが撮像画像Ｐ内、或いは、検出エリアＤ内に表示されていることを検知した場合、処理部１１は、通過フラグを「０」に設定してもよい。

また、ステップＳ９において信号機Ｓが画角切れしたことをＨＭＩ４が運転者に報知した場合、処理部１１は、通過フラグを「０」に設定してもよい。

また、ステップＳ９において信号機Ｓが画角切れしたことをＨＭＩ４が運転者に報知した後に、車両Ｖが前方に走行して別の信号機を検知した場合、処理部１１は、通過フラグを「０」に設定してもよい。

また、ステップＳ９において、ＨＭＩ４は、車両Ｖが停止した後に警報音又は音声を出力してもよい。これにより、次の作用効果が奏される。すなわち、車両Ｖが自動運転で走行中、例えば車両Ｖの前方に赤信号の信号機Ｓが存在するが、この信号機Ｓが例えば青信号に間もなく切り替わるために、車両Ｖを手動運転に切り替えて（オーバーライドして）当該車両Ｖを当該信号機Ｓで停止させない場合がある。この場合において、不必要な警報音又は音声を出力することを避けることができる。或いは、信号機Ｓが赤信号であるにもかかわらず何らかの理由により車両Ｖが停止することができなかった場合において、不必要な警報音又は音声を出力することを避けることができる。

１…運転支援装置、２…カメラ、３…車輪速センサ、４…ＨＭＩ（報知部）、１０…ＥＣＵ、１１…処理部、Ａ…画角、Ｄ…検出エリア、Ｐ…撮像画像、Ｒ…撮像範囲、Ｓ…信号機、Ｖ…車両。

Claims (1)

1. 車両に搭載され、該車両の前方を所定の画角で撮像して撮像画像を取得するカメラと、
   前記カメラで取得した撮像画像の端部に設定された検出エリア内に赤信号の信号機が表示されていることを検知した後において、前記カメラで取得した撮像画像内に前記信号機が表示されていないことを検知した場合に、前記画角に対応する撮像範囲外に前記信号機が位置していると判定する処理部と、
   前記処理部により前記信号機が前記撮像範囲外に位置していると判定された場合に、その旨を前記車両の運転者に報知する報知部と、を備える、運転支援装置。

Images