JP2010113601A

JP2010113601A - 車両用警告装置

Info

Publication number: JP2010113601A
Application number: JP2008286768A
Authority: JP
Inventors: Kazushi Kuroda; 和士黒田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-11-07
Filing date: 2008-11-07
Publication date: 2010-05-20

Abstract

【課題】自車両の側方に存在する車外の人に、右左折する車両の運転者がその人を認識しているか否かを通知できる車両用警報装置を提供すること。
【解決手段】自車両の側方に存在する車外の人に車両の右折又は左折を警告する車両用警告装置１００において、車両の走行状況に応じた車両情報を取得する車両情報取得手段２５と、車両情報から自車両が右折又は左折する可能性を予測する右左折予測手段２６と、運転者の顔画像を撮影する撮影手段２１と、顔画像を画像処理して得られた顔向き角度に基づき、運転者が側方を十分に視認したか否かを推定する視認度推定手段２３と、十分に視認していないと推定された場合、側方に存在する車外の人に右折又は左折することを警告する警告手段２４と、を有することを特徴とする。
【選択図】図１

Description

本発明は、車両と障害物の異常接近を車外の人又は乗員に警告する車両用警告装置に関し、特に、車外の人に車両の接近を警告する車両用警告装置に関する。

車両運転中の運転者にとって死角に当たる領域の状況を運転者に通知することで運転者を支援する技術が考えられている（例えば、特許文献１、２参照。）。特許文献１には、サイドミラーに設置した距離センサが車体側方の物体との障害物までの距離を検出し、距離に応じて発光色を変えるサイドミラーに設けられたＬＥＤが開示されている。特許文献２には、後続車両と自車両との距離、相対速度から算出された車線変更の危険度に応じて、発光色を変えるサイドミラーに設けられたＬＥＤが開示されている。
特開平９−２４０３９８号公報特開平８−２４１４９９号公報

しかしながら、特許文献１，２記載のＬＥＤはいずれも自車両の運転者に向けて点灯し、自車両の運転者に、死角に存在する障害物を警告するものである。ところが、車両の右左折時における歩行者や自転車の巻き込み事故を想定すると、運転者に警告するだけでは運転者の認知・判断・操作に時間がかかり、巻き込み事故の効果的な抑制にはならないという問題がある。

例えば交差点を横断しようする歩行者は、右左折する車両の運転者が自分（歩行者）を認識しているか否かにより、進行するか停止するかを判断することが多い。この判断を誤ると歩行者は停止せずに直進するので、運転者が歩行者を認識していない場合、又は、警告されても操作まで時間がかかる場合、歩行者を巻き込むおそれがある。

本発明は、上記課題に鑑み、自車両の側方に存在する車外の人に、右左折する車両の運転者がその人を認識しているか否かを通知できる車両用警報装置を提供することを目的とする。

上記課題に鑑み、本発明は、自車両の側方に存在する車外の人に車両の右折又は左折を警告する車両用警告装置において、車両の走行状況に応じた車両情報を取得する車両情報取得手段と、車両情報から自車両が右折又は左折する可能性を予測する右左折予測手段と、運転者の顔画像を撮影する撮影手段と、顔画像を画像処理して得られた顔向き角度に基づき、運転者が側方を十分に視認したか否かを推定する視認度推定手段と、十分に視認していないと推定された場合、側方に存在する車外の人に右折又は左折することを警告する警告手段と、を有することを特徴とする。

自車両の側方に存在する車外の人に、右左折する車両の運転者がその人を認識しているか否かを通知できる車両用警報装置を提供することができる。

以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図１は、本実施形態の車両用警告装置１００の概略を説明するための図の一例である。車両用警告装置１００は運転者の顔向きを検出する顔向きカメラ２１、運転席からの死角における障害物（歩行者）を検出する歩行者検出センサ２２、及び、運転者が歩行者を認識しているか否かを歩行者に警告する警告装置２４を備える。

そして、車両用警告装置１００は次のような手順で歩行者に警告する。
１）右左折することを検出
２）死角を歩行者が歩行していることを検出
３）運転者の顔向きから視認確度を決定
４）視認確度から運転者が歩行者を認識していないと判定されると、運転者が歩行者を認識していない可能性があることを警告装置２４から歩行者に警告する
したがって、歩行者は警告装置２４からの警告に基づき進行するか停止するかを判断でき、右左折時に歩行者を巻き込むことを確実に回避できる。

なお、視認確度とは、運転者が死角を視認した程度を示すための指標である。また、以下では歩行者を例に説明するが、歩行者には車両の右左折に巻き込まれるおそれがある、自転車の運転者及びバイクの運転者を含む。

図２は、本実施形態の車両用警告装置１００の機能ブロック図の一例を示す。車両用警告装置１００は、顔向きカメラ２１、警告装置２４、歩行者検出センサ２２及び１以上のＥＣＵ（Electronic Control Unit）を有する。ＥＣＵは、ＣＰＵ、メモリ及びＡＳＩＣ（Application Specific Integrated Circuit）等を備え、プログラムの実行やハードウェア回路により視認確度算出部２３、車両情報取得部２５及び右左折予測部２６を実現する。各機能ブロックは、必要であればＣＡＮ（Controller Area Network）等の車載ＬＡＮ用で相互に通信可能に接続されている。

＜右左折の予測＞
まず、右左折の予測について説明する。右左折予測部２６は車両情報取得部２５が取得した車両情報に基づき自車両が右折又は左折する（以下、単に右左折という）可能性を数値化する（以下、数値化された可能性を予測値という）。自車両が右左折する予測値は、ウィンカ操作、ナビゲーションシステムが提供する道路形状・経路、車線の増減やカーブなど周辺の情報、から見積もることができる。

ウィンカ操作はウィンカレバーから検出される。道路形状は、例えば、ＧＰＳ（Global Positioning System）により検出された現在位置、現在位置と進行方向に基づき道路地図ＤＢから読み出される。また、目的地までの経路が設定されている場合は、その経路が道路形状である。また、周辺の情報は、カメラが撮影した画像データを画像処理して得られる白線情報や車線変更、カメラやレーダセンサが検出する前方車両の右左折である。また、右左折する際は車速が低くなるので、車輪速センサから車速情報を取得する。

これらの車両情報はそれぞれ異なる右左折の可能性を提供するので、右左折予測部２６は、これらの車両情報にそれぞれ点数を与えておき、その合計から右左折する予測値を算出する。

例えば、次のように車両情報を点数化しておく。
ウィンカ操作が検出された場合：５０点
道路形状から前方にＴ字路が検出された場合：５０点
経路が右左折することを示す場合：４０点
自車両が左車線又は右車線に移動した場合：３０点
車速が所定値以下に低下した場合：２０点
右左折予測部２６はこれらの点数を合計して得られた予測値を所定の閾値と比較して右左折する可能性が高いか否かを判定する。例えば、ウィンカを操作した状態で、車速が所定値以下に低下した場合は、ほぼ右左折することが間違いないので、閾値を６０〜７０点程度にしておくことで、右左折することを予測できる。

＜死角の歩行者の検出＞
歩行者検出センサ２２は、歩行者が死角を歩行していることを検出する。本実施形態の死角は、運転席からではサイドミラーには映らない所定領域を含むが、さらに、運転席から直接目視しにくい領域も含む。すなわち、狭義の死角よりも広い意味で用いられる。これは、本実施形態の車両用警告装置１００は、運転者がサイドミラーだけでなく顔向きを変えて歩行者を認識しているか否かを検出し、顔向きが不十分な場合に歩行者に警告するものだからである。

歩行者検出センサ２２は、例えば、車両後方を光軸にサイドミラーに配置された後方撮影カメラ、車両側方の障害物を検出する超音波センサ若しくはレーダセンサ、又は、これらを組み合わせたもの実体とする。後方カメラの場合、撮影された画像に歩行者が存在するか否かを画像処理により判定する。例えば、エッジ処理して歩行者候補を監視し、パターンマッチングにより歩行者を検出する。また、歩行者は移動するという前提の元、移動速度が所定範囲に入る歩行者候補を歩行者であると検出する。また、夜間であれば歩行者が赤外光を発することを利用して、高輝度な物体を歩行者として検出することができる。

超音波センサの場合、５０〜１ｍ内の障害物を検出できるので、複数箇所の超音波センサが障害物の移動を検出した場合、その障害物を歩行者であると特定できる。

また、レーザレーダであればスキャンした範囲の詳細な距離情報を取得できるので、歩行者とその背景の距離情報の違い、歩行者の立体形状から、歩行者を検出することができる。また、距離情報の変化から移動速度も容易に検出できる。

歩行者検出センサ２２は、歩行者が検出されるとその検出結果を右左折予測部２６に通知する。ところで、歩行者がいない場合又は検出されない場合でも、自車両が右左折する際には警告装置２４が常に警告するように構成してもよい。例えば、警告装置２４の警告態様が運転者や周囲に煩わしさを感じさせることが少ないような場合である。したがって、車両用警告装置１００は歩行者検出センサ２２を備えていなくてもよく、歩行者が存在するか否かが不明の場合には存在するものとして警告してもよい。

＜運転者の顔向き検出＞
視認確度算出部２３は、２つのプロセスから１つの視認確度を算出する。プロセスの１つは顔向きカメラ２１を用いるものであり、もう１つは車速情報を用いるものである。

まず、視認確度算出部２３は、顔向きカメラ２１が撮影した運転者の顔画像を解析して顔向き角度を検出すると共に、その顔向き角度や顔向き角度を維持した時間から第１の視認確度を算出する。

顔向きカメラ２１は、例えばステアリングコラムのアッパーカバーの上側に、運転者の顔をほぼ正面から撮影するように配置されている。夜間における運転者の顔の撮影を可能とするため赤外光を投光する赤外線投光器を備えていることが好ましい。顔向き角度は顔の中心線の位置から決定される。

視認確度算出部２３は、顔画像の背景部が静止しているのに対し、運転者の顔は撮影毎に位置がずれることを利用して、顔の左右の輪郭を決定する。背景部と顔部の境界は画素値の変動が大きいので、画像データ毎に画素値の変化を監視した場合に画素値の変動が最も大きい画素位置（左右方向の）が顔の左右の輪郭位置となる。

顔の中心線は、輪郭位置内のエッジ情報の数が左右で等しくなるように決定される。顔には眉、上下の瞼、鼻孔、口角、上下の唇の境などの特徴点があり、エッジ処理することでこれら特徴点のエッジ情報が検出される。人の顔の特徴点は左右対称に配置されているので、左右のエッジ情報の数がほぼ均等になる線が顔の中央線である。この顔の中心線を監視することで顔向き角度を決定する。具体的には、正面方向を基準に狭くなった方の輪郭線までの距離に三角関数の演算を施すことで、正面方向を基準（０度）として顔向き角度が算出される。

視認確度算出部２３は、顔向き角度とその顔向き角度を維持した時間から第１の視認確度を算出する。例えば、「顔向き角度×その顔向き角度を維持した時間（顔向き角度が増減する一連の時間）」が顔向きによる視認の指標となると考えられる。なお、右左折する方向と逆方向に顔向き角度が検出されても、第１の視認確度はゼロである。

顔向き角度は、０度から９０度の間を例えば１度刻みで決定され、その顔向き角度を維持した時間は長くても数秒であるが、第１の視認角度は規格化されていることが好ましい。そこで、例えば「顔向き角度×その顔向き角度を維持した時間（顔向き角度が増減する一連の時間）」の値に応じて、比例的に０〜５０の数値に変換（規格化）する。具体的には、例えば、「３秒」を維持する時間の最大値とした場合、「実際の算出結果×５０／（３×９０度）」とする。

また、視認確度算出部２３は、自車両の車速から第２の視認確度を算出する。右左折前に十分に車速が低下していないと歩行者を視認する十分な時間は取れないし、車速が十分に低下することで巻き込み至ることを予防しやすいからである。車速が低下している必要があるのは、顔向き角度が大きくなった時とその前後の数秒（以下、顔向き有り時間という）であるので、顔向き有り時間の平均車速から第２の視認確度を算出する。例えば、顔向き有り時間の平均車速と第２の視認確度を対応づけたテーブル（平均車速が小さいほど大きな第２の視認確度が対応づけられている）を記憶しておき、視認確度算出部２３は、顔向き有り時間の平均車速に対応づけられた第２の視認確度を読み出す。

第２の視認確度は、第１の視認確度を大きく又は小さくする補正項なので０〜２とする。すなわち、１より大きければ、第１の視認確度の影響を大きくでき、１より小さければ第１の視認確度の影響を小さくできる。

そして、視認確度算出部２３は、第１及び第２の視認確度から、最終的な視認確度を算出する。例えば、「視認確度＝第１の視認確度×第２の視認確度」である。したがって、視認確度は「０〜１００」の値をとる。以上の算出により、仮に車速が十分に低くなっていても顔向き角度が小さければ、視認確度も小さくなるので、運転者による歩行者の視認が十分でないと判定できる。同様に、車速が十分に低くなっていなければ、顔向き確度が大きくても視認確度が小さくなるので、運転者による歩行者の視認が十分でないと判定できる。

＜警告装置２４＞
警告装置２４について説明する。図３は警告装置２４の概略斜視図の一例を示す。図３の警告装置２４は左側のサイドミラーであり、右側のサイドミラーも車体に対し線対称に構成することができる。警告装置２４は、ミラーの周囲に複数のランプ（ＬＥＤ）を有する。なお、図３にはカメラを実体とする歩行者検出センサ２２を図示した。

この複数のランプの点灯色により、運転者が歩行者を認識しているか否かを歩行者に通知する。例えば、警告装置２４が赤ランプ２４ａ、黄ランプ２４ｂ、青ランプ２４ｃを有するとすると、視認確度が大きい場合は青ランプ２４ｃを、視認確度が低い場合には赤ランプ２４ａを、視認確度が中程度の場合には黄ランプ２４ｂを、それぞれ点灯する。このようにランプを点灯するだけであれば、歩行者がいない状態で警告しても運転者が煩わしく感じたり、周囲の人間に迷惑がかかることは少ない。なお、本実施形態の車両用警告装置１００は、運転者が側方を十分に視認したか否かを歩行者に通知できればよいので、青ランプ２４ｃ、黄ランプ２４ｂはなくてもよい。

また、図では、ミラーの周囲に複数のランプを配置したが、ミラーをハーフミラーに置き換えれば、ミラーの内側にランプを配置できサイドミラーの大きさを低減できる。また、図では３つのランプを独立に設けたが、多色のランプ１つを設けてもよい。また、ランプをサイドミラーに搭載するのでなく、車体の側方にランプを搭載してもよい。

また、警報音や音声メッセージにより警告してもよい。警報音や音声メッセージにより注意喚起することで、運転者が歩行者を認識しているか否かを確実に通知できる。またこの場合、歩行者が検出され、かつ、視認確度が低い場合に限定することで、不要警報を最小限に抑制できる。

〔警告手順〕
図４は、車両用警告装置１００が警告する手順を示すフローチャート図の一例である。図４のフローチャート図は、例えばイグニッションがオンになるとスタートする。

走行中、右左折予測部２６は車両情報に基づき自車両が右左折する可能性の予測値を算出し、予測値と閾値を比較する（Ｓ１０）。比較の結果、予測値が閾値よりも小さい場合（Ｓ１０のＮｏ）、右左折する可能性が低いとして警告せずに処理を終了する。

予測値が閾値以上の場合（Ｓ１０のＹｅｓ）、歩行者検出センサ２２が死角に歩行者を検出しているか否かを判定する（Ｓ２０）。歩行者が検出されない場合（Ｓ２０のＮｏ）、警告する必要はないので処理を終了する。なお、歩行者検出センサ２２を搭載していない場合、歩行者が検出されたものとして処理する。

歩行者が検出された場合（Ｓ２０のＹｅｓ）、視認確度算出部２３は算出した視認確度と閾値α、閾値βを比較して、ランプの点灯色を変更する（Ｓ３０）。なお、閾値β＞閾値αであり、閾値α＝５０、閾値β＝７０程度に設定することができる。閾値α、βの大きさは、実際に歩行者を視認したと見なせる運転者の動作、視認したか否か曖昧な動作、明らかに視認していないと見なせる動作と、その動作時に決定されたそれぞれの視認確度から実験的に調整できる。

視認確度が閾値β以上の場合、運転者が歩行者を視認した確度が高いと推定でき、警告装置２４は青ランプ２４ｃを点灯する（Ｓ４０）。歩行者は青ランプ２４ｃを視認して、そのまま通過してよいことを視認できる。

青ランプ２４ｃはなくてもよいとしたが、青ランプ２４ｃの有効性について説明する。青ランプ２４ｃがない場合、歩行者は車両の運転者が自身を認識しているか否か不明なので、車両を先に行かせようとする。また、車両の運転者も歩行者を先に行かせようとして停止する。このため、歩行者を認識した先頭の車両に後続する車両も停止し渋滞を招くおそれがある。これに対し、青ランプ２４ｃがあることで歩行者と車両の運転者の意思疎通が容易になりこのような渋滞を招くことを回避できる。

視認確度が閾値β未満α以上の場合、運転者が歩行者を視認したとは限らないと推定でき、警告装置２４は黄ランプ２４ｂを点灯する（Ｓ５０）。歩行者は黄ランプ２４ｂを視認して、注意して通過すべきであることを視認できる。また、黄ランプ２４ｂは運転者からも視認できるので、運転者も歩行者に気を配ることができる。

視認確度が閾値α未満の場合、運転者が歩行者を視認していないと推定でき、警告装置２４は赤ランプ２４ａを点灯する（Ｓ６０）。歩行者は赤ランプ２４ａを視認して、通過せず停止すべきであることを視認できる。また、赤ランプ２４ａは運転者からも視認できるので、運転者も車両を停止させたり、改めて歩行者を視認することができる。

以上説明したように、本実施形態の車両用警告装置１００は、歩行者に運転者が歩行者を認識しているか否かを警告するので、歩行者が進行するか停止するかを判断でき、右左折する車両による巻き込み事故を確実に回避できる。

〔その他の構成〕
上記では、車両が右左折する際の歩行者（自転車、バイクの運転者）への警告を例に説明したが、車両が車線変更する際の、運転者が後側方の死角の他車両を視認する動作から視認確度を算出することで、車線変更時に、自車両の運転者が後側方を視認したか否かを他車両の運転者に警告することもできる。

この場合、右左折予測部２６は自車両が車線変更することを予測する。例えば、右左折の場合と同様に、ウィンカ操作、ナビゲーション又は白線情報から検出された車線数の減少・増加、目的地までの経路等から、予測値を算出できる。

視認確度の算出については、車線変更の際は減速する必要があるとは限らないので、第２の視認確度を用いず、第１の視認確度を最終的な視認確度とすればよい。したがって、車線変更の際も同様に他車両の運転者に警告でき、車線変更に伴う車両同士の異常接近を防止することができる。

車両用警告装置の概略を説明するための図の一例である。車両用警告装置の機能ブロック図の一例である。警告装置の概略斜視図の一例である。車両用警告装置が警告する手順を示すフローチャート図の一例である。

符号の説明

２１顔向きカメラ
２２歩行者検出センサ
２３視認確度算出部
２４警告装置
２５車両情報取得部
２６右左折予測部
１００車両用警告装置

Claims

自車両の側方に存在する車外の人に自車両の右折又は左折を警告する車両用警告装置において、
車両の走行状況に応じた車両情報を取得する車両情報取得手段と、
前記車両情報から自車両が右折又は左折する可能性を予測する右左折予測手段と、
運転者の顔画像を撮影する撮影手段と、
顔画像を画像処理して得られた顔向き角度に基づき、運転者が側方を十分に視認したか否かを推定する視認度推定手段と、
十分に視認していないと推定された場合、側方に存在する車外の人に右折又は左折することを警告する警告手段と、
を有することを特徴とする車両用警告装置。