JP2013114290A - 安全支援装置、及び、安全支援方法 - Google Patents

Abstract

【課題】車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができるようにすること。
【解決手段】車両から所定範囲の画像を撮像する撮像装置と、撮像した前記画像から対象者を検出する対象者検出装置と、前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、を備える安全支援装置。
【選択図】図３

Description

本発明は、安全支援装置、及び、安全支援方法に関する。

車両を運転する際、運転者は目視と経験に基づいて、自車両の走行エリアの予測を行っている。しかしながら、予測が外れた場合には車両と歩行者との接触が発生することがある。よって、このような事故を防止するための装置が考えられている。

特許文献１には、車両に人検出手段を搭載し、歩行者が検出された場合に歩行者の周囲に可視光を照射することが示されている。

特開２００６−２５２２６４号公報

しかしながら、特許文献１の手法では、歩行者にとって車両の運転者が自分の存在を認識しているか否かが分からない。運転者が自分の存在を認識しているときには、歩行者は比較的安心して歩行動作を継続することができるが、運転者が自分の存在を認識していないときには、歩行者は接触回避行動をとる必要がある。よって、運転者が自分の存在を認識しているか否かを歩行者などの対象者が知ることができるようにすることが望ましい。

本発明は、このような事情に鑑みてなされたものであり、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができるようにすることを目的とする。

上記目的を達成するための主たる発明は、
車両から所定範囲の画像を撮像する撮像装置と、
撮像した前記画像から対象者を検出する対象者検出装置と、
前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、
を備える安全支援装置である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本実施形態における安全支援装置１のブロック図である。 車両５における各装置の取り付け位置の説明図である。 本実施形態における安全支援方法のフローチャートである。 図４Ａは、投影パターンの投影の第１の説明図であり、図４Ｂは、投影パターンの投影の第２の説明図である。 投影パターンＰの一例を示す図である。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
車両から所定範囲の画像を撮像する撮像装置と、
撮像した前記画像から対象者を検出する対象者検出装置と、
前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、
を備える安全支援装置である。
このようにすることで、運転者が対象者を認識しているか否かで投影パターンが異ならされるので、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。そして、運転者が対象者の存在を認識していない場合には、より注意深く歩行するなどして安全対策をとることができる。

かかる安全支援装置であって、前記制御装置は、前記運転者の視線の方向を検出し、当該視線の方向が前記対象者の方向と一致するときに、前記対象者が前記車両の運転者に認識されたと判定することが望ましい。
このようにすることで、運転者の視線の方向に基づいて、運転者が対象者を認識したか否かを検出することができる。

また、前記投影装置は、レーザープロジェクターを含むことが望ましい。
レーザープロジェクターは、レンズを通さず、常にピントが合っている状態であるので、車両のフロントグリルに取り付けた場合であっても、路面のどの領域でもピントが合い、常に明瞭に投影パターンを投影することができる。

また、前記撮像装置は、赤外線カメラを含むことが望ましい。
このようにすることで、対象者の温度に応じた画像を出力できるので、夜間の暗闇などであっても対象者を含む画像を撮像することができる。

また、前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの色を異ならせて前記対象者から所定距離の位置に投影を行うことが望ましい。
このようにすることで、投影パターンの色に基づいて、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。

また、前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの輝度を異ならせて前記対象者から所定距離の位置に投影を行うこととしてもよい。
このようにすることで、投影パターンの輝度に基づいて、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。

また、前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときにおいて前記対象者から所定距離の位置に前記投影パターンの投影を行い、前記対象者が前記車両の運転者に認識されたと判定されなかったときにおいて前記投影を行わないこととしてもよい。
このようにすることで、投影パターンが投影されているか否かに基づいて、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
車両から所定範囲の画像を撮像することと、
撮像した前記画像から対象者を検出することと、
前記対象者が前記車両の運転者に認識されたか否かを判定することと、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行うことと、
を含む安全支援方法である。
このようにすることで、運転者が対象者を認識しているか否かで投影パターンが異ならされるので、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。そして、運転者が対象者の存在を認識していない場合には、より注意深く歩行するなどして安全対策をとることができる。

＝＝＝実施形態＝＝＝
図１は、本実施形態における安全支援装置１のブロック図である。図には、レーザープロジェクター１０と、対象者検出装置２０と、赤外線カメラ３０と、制御装置４０と、視線検出装置５０が示されている。

レーザープロジェクター１０（投影装置）は、ヘッドライトとは別に用意され、後述する投影パターンＰを検出された歩行者Ｍの足下（対象者から所定の距離の位置）に投影する。ここでレーザープロジェクター１０を採用するのは、レーザープロジェクター１０は、レンズを通さず投影されるため、いずれの位置でもピントが合っている状態になるからである。そのため、いずれの位置に投影パターンＰを投影する場合であっても、投影パターンＰをぼかすことなく投影することが可能である。

例えば、車両５のフロントグリル部から投影を行った場合、フロントグリル部に近い位置と離れた位置とでは距離が異なる。よって、レンズを通すとピントの合う位置とピントが合わない位置が生ずるおそれがあるが、レーザープロジェクター１０は、レンズを通さないためいずれの位置でもピントが合い、投影パターンＰをぼかすことなく投影することができる。

なお、投影装置は、レーザープロジェクター１０には限られず、投影パターンＰを投影することができれば他の装置を用いることとしてもよい。

対象者検出装置２０は、後述する赤外線カメラ３０によって撮像された画像に歩行者Ｍが含まれるか否かの検出を行う。また、検出された歩行者Ｍの方向、及び、車両５からの距離を推定する。歩行者Ｍの検出手法は種々存在するが、ここでは後述するようにＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量を用いた識別器を用いて検出が行われる。

赤外線カメラ３０は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を対象者検出装置２０に送信する。ここで、中赤外線は２．５μｍ〜４μｍの波長、遠赤外線は、４μｍ〜１０００μｍの波長を有する光である。本実施形態では、８〜１４μｍの波長を用いて体温を検出し、これに対応する映像を出力するが、この波長に限られず、温度を検出できる波長であればよい。

制御装置４０は、後述する投影パターンＰの生成を行う。また、制御装置４０は、対象者検出装置２０による検出結果と後述する視線検出装置５０からの情報に基づいて、運転者が歩行者Ｍを認識したか否かの判定を行う。そして、この判定結果に基づいて、投影パターンＰを様々に異ならせる。

視線検出装置５０は、車両５の運転者の視線の方向を検出し、視線の方向に関する情報を制御装置４０に送る。具体的には、視線検出装置５０は、運転者の視線ベクトルと眼の位置を検出するために、運転者の顔周辺の画像を取得するためのステレオカメラであり、二台のカメラからなる。運転者用カメラは、運転席前方に運転者の顔周辺の方向に向けて取り付けられ、二台のカメラが水平方向に所定間隔離間されて配置されている。

このように、視線検出装置５０から送られた視線の方向に関する情報に基づき、制御装置４０は、運転者の眼の位置を検出し、視線ベクトルを求める。制御装置４０では、運転者画像から、眼のテンプレートによるパターンマッチング等を行い、眼の部分を抽出する。そして、制御装置４０は、その眼の部分の画像から視線ベクトルを検出する。この視線ベクトルの検出方法は、一般的な視線検出技術を利用することができる。

制御装置４０は、後述する手法により検出された歩行者Ｍの位置と、視線ベクトルに基づいて、運転者が歩行者Ｍを認識したか否かの判定を行う。具体的には、視線ベクトルの直線上に、検出された歩行者Ｍが存在した場合には、運転者が歩行者Ｍを認識したものと判定する。

なお、このようにして運転者が歩行者Ｍを認識したもののうち、車両５から所定距離以上離れているものについては、運転者が歩行者Ｍを認識していないものと判定することもできる。所定距離以上離れた場合、視線ベクトル上にあっても歩行者Ｍであると認識することが困難な場合があるためである。

図２は、車両５における各装置の取り付け位置の説明図である。図２には、車両５のフロントグリル部にレーザープロジェクター１０と赤外線カメラ３０が取り付けられている様子が示されている。このようにすることによって、赤外線カメラ３０は前方の歩行者Ｍ等の対象者を撮像し、また、レーザープロジェクター１０は前方の歩行者Ｍ等の足下に後述する投影パターンＰを投影する。なお、これらレーザープロジェクター１０と赤外線カメラ３０の取り付け位置は、これに限られず、車両後方部に取り付けられることとしてもよい。

また、制御装置４０は、車両５の内部に設置される。また、視線検出装置５０は、前述のように、車両５内部において、運転席前方に設置される。

図３は、本実施形態における安全支援方法のフローチャートである。以下、本フローチャートを参照しつつ、本実施形態における安全支援方法について説明を行う。

まず、車両５が走行中であるか否かの判定が行われる（Ｓ１０２）。走行中であるか否かは、車両５の速度情報を取得することによって行うことができる。そして、走行中である場合には、ステップＳ１０４に進む。一方、走行中ではない場合には、本プロセスを終了する。

ステップＳ１０４では、赤外線カメラ３０によって、車両５の周囲（車両５から所定範囲）の撮像が行われる（Ｓ１０４）。そして、撮像された画像に基づいて車両５の前方を含む周囲に歩行者Ｍ（対象者）が存在するか否かの検出が行われる（Ｓ１０６）。

歩行者Ｍの検出方法は、既存の様々な手法を適用することができるが、ここでは一例としてＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量を用いた検出手法を用いる。歩行者Ｍの検出は、その前段階である学習過程と、実際に検出を行う検出過程とに分けられる。ステップＳ１０６では検出過程が用いられ、学習過程は事前に行われているものとする。

まず、学習過程について概略を説明する。学習過程では、歩行者Ｍを含む多量の画像（赤外線画像）、及び、歩行者Ｍを含まない多量の画像（赤外線画像）のそれぞれから輝度勾配が算出される。次に、勾配強度と勾配方向から輝度の勾配方向ヒストグラムが作成される。また、勾配方向ヒストグラムは、正規化が行われる。なお、勾配方向ヒスグラムは、複数ピクセル（例えば５×５ピクセル）を１つのセルとして取り扱うこととしてもよい。

このような勾配方向ヒストグラムを特徴量として、Ａｄａｂｏｏｓｔを適用する。学習後のＡｄａｂｏｏｓｔの弱識別器により特徴量が自動的に選択され、最終的に、多数ある弱識別器の重み付き多数決により歩行者Ｍと歩行者Ｍ以外に判別することができる識別器が生成される。

識別器は、歩行者Ｍが向かっている方向毎（例えば、右方向に歩行している識別器、左方向に歩行している識別器、車両５に近づく方向に歩行している識別器、及び、車両５から遠ざかる方向に歩行している識別器）に生成されていることが望ましい。これらそれぞれの識別器を適用することにより、歩行者Ｍを検出することだけでなく、検出された歩行者Ｍが向かう方向をも検出できるからである。

これらの識別器は、対象者検出装置２０に設定される。そして、対象者検出装置２０は、赤外線カメラ３０から送られた画像に歩行者Ｍが含まれるか否かの検出を行う。

次に、検出過程（Ｓ１０６）について説明する。検出過程では、学習過程で生成された識別器を用いて、赤外線カメラ３０が撮像した画像（撮像画像）から歩行者Ｍを検出する。具体的には、識別器を撮像画像の左上から検出ウィンドウをスケール変化させ、複数回のラスタスキャンを行う。そして、各検出ウィンドウに対して歩行者Ｍを含むか否かの検出を行う。

歩行者Ｍが検出された場合、その検出ウィンドウの位置及びスケールのサイズが記憶される。また、検出に用いられた識別器の種類（右方向に歩行している識別器、左方向に歩行している識別器、車両５に近づく方向に歩行している識別器、及び、車両５から遠ざかる方向に歩行している識別器のいずれか）も記憶される。

また、対象者検出装置２０は、その検出ウィンドウの位置に基づいて、車両５からの歩行者Ｍの方向を求める。また、そのスケールのサイズから車両５からの歩行者Ｍの距離を求める（そのスケールのサイズが大きければ車両５からの距離は近く、サイズが小さければ車両５からの距離は遠い）。さらに、検出に用いられた識別器の種類に基づいて、歩行者Ｍの進行方向を求める。これらの情報は、投影パターンＰの生成及び投影に用いられる。

次に、車両５の運転者の視線検出が行われる（Ｓ１０８）。視線検出は、前述のように、視線検出装置５０から送られた情報に基づいて、制御部４０が運転手の視線ベクトルを求める。

次に、運転者の視線ベクトルの方向と、対象者検出装置２０によって検出された歩行者Ｍの方向に基づいて、運転者が歩行者Ｍを認識しているか（気づいているか）否かの判定が行われる（Ｓ１１０）。判定は、前述のように、対象者検出装置２０によって検出された歩行者Ｍが運転者の視線ベクトル上にいるか否かに基づいて行われる。そして、検出された歩行者Ｍが運転者の視線ベクトル上にいる場合には、運転者が歩行者Ｍを認識していると判定される。一方、検出された歩行者Ｍが運転者の視線ベクトル上に一度も入らなかった場合には、運転者が歩行者Ｍを認識していないと判定される。

なお、検出された歩行者Ｍが運転者の視線ベクトル上に所定時間以上（例えば、１秒以上）存在した場合においてのみ、運転者が歩行者Ｍを認識していると判定することとしてもよい。また、前述のように、視線ベクトル上に検出された歩行者Ｍがある場合であっても、その検出された歩行者Ｍが車両５から所定距離以上離れていた場合には、運転者は歩行者Ｍを認識していないと判定することもできる。

運転者が歩行者Ｍを認識している場合には、黄色の可視光で検出した歩行者Ｍの足下に投影パターンＰの投影を行う（Ｓ１１２）。ここでの投影パターンＰは、黄色の円形パターンである。一方、運転者が歩行者Ｍを認識していない場合には、赤色の可視光で検出した歩行者Ｍの足下に投影パターンＰの投影を行う（Ｓ１１４）。ここでの投影パターンＰは、赤色の円形パターンである。

図４Ａは、投影パターンＰの投影の第１の説明図であり、図４Ｂは、投影パターンＰの投影の第２の説明図である。図４Ａ及び図４Ｂには、走行中の車両５と歩行者Ｍと投影パターンＰが示されている。図４Ａにおいて、投影パターンＰは黄色で投影されており、図４Ｂにおいて投影パターンＰは赤色で投影されているものとする。

図に示されるように、車両５のレーザープロジェクター１０から歩行者Ｍの足下に投影パターンＰが投影される。歩行者Ｍは投影された投影パターンＰを視認し、その色に基づいて、車両５の運転者が自分に気づいているのか否かを知ることができる。具体的には、黄色い投影パターンＰが投影されている場合には、運転者が歩行者Ｍを認識していることを知ることができる。また、赤色の投影パターンＰが投影されている場合には、運転者が歩行者Ｍを認識していないことを知ることができる。そして、車両５との接触を避ける安全対策を考えることができる。

なお、図４Ａ及び図４Ｂでは、投影パターンＰは、歩行者Ｍと車両５とを結ぶ線分上に投影されているが、投影される位置はこれに限られない。例えば、検出された歩行者Ｍの進行方向先に投影することもできる。また、投影は路面に限られず、壁面に行うこととしてもよい。

ところで、上述の投影パターンＰは、運転者が歩行者Ｍを認識しているか否かによって、単に投影される色が異ならされるだけであったが、実施形態はこれに限られない。例えば、運転者が歩行者Ｍを認識しているか否かによって、投影パターンＰの形状を異ならせることもできる。また、運転者が歩行者Ｍを認識しているか否かによって、投影パターンＰの輝度を異ならせることもできる。また、運転者が歩行者Ｍを認識している場合には、投影パターンＰの投影を行わないこととし、運転者が歩行者Ｍを認識していない場合にのみ、投影パターンＰの投影を行うこともできる。さらに後述するように、投影パターンＰには、接近する車両５の情報を含ませることもできる。

図５は、投影パターンＰの一例を示す図である。図には、円形のパターン内に方向を示す矢印と距離が示されている。円形のパターンは、前述のように運転者が歩行者Ｍを認識したか否かに応じて異なる色とすることができる。そして、この中に、投影する車両５が向かう方向を示す矢印を含ませることができる。また、円形のパターンの中に、接近する車両５と歩行者Ｍとの距離を示す文字情報を含ませることができる。また、投影するパターン内に、投影する車両５の速度を含めることもできる。また、投影パターンＰの色も、その危険度によって輝度を異ならせることもできる。

また、ここでは、対象者を歩行者Ｍとして歩行者Ｍから所定距離の位置に投影パターンＰを投影することとしたが、対象者検出装置２０が他車両を検出することとして、これら他車両から所定距離の位置に投影パターンＰを投影することとしてもよい。このようにすることによって、他車両を運転する運転者に接近しつつある車両５の運転者が他車両を認識しているか否かを知らせることができる。

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

１ 安全支援装置、
５ 車両、
１０ レーザープロジェクター（投影装置）、
２０ 対象者検出装置、
３０ 赤外線カメラ（撮像装置）、
４０ 制御装置、
５０ 視線検出装置

Claims (8)

1. 車両から所定範囲の画像を撮像する撮像装置と、
   撮像した前記画像から対象者を検出する対象者検出装置と、
   前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、
   前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、
   を備える安全支援装置。
2. 前記制御装置は、前記運転者の視線の方向を検出し、当該視線の方向が前記対象者の方向と一致するときに、前記対象者が前記車両の運転者に認識されたと判定する、請求項１に記載の安全支援装置。
3. 前記投影装置は、レーザープロジェクターを含む、請求項１又は２に記載の安全支援装置。
4. 前記撮像装置は、赤外線カメラを含む、請求項１〜３のいずれかに記載の安全支援装置。
5. 前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの色を異ならせて前記対象者から所定距離の位置に投影を行う、請求項１〜４のいずれかに記載の安全支援装置。
6. 前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの輝度を異ならせて前記対象者から所定距離の位置に投影を行う、請求項１〜４のいずれかに記載の安全支援装置。
7. 前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときにおいて前記対象者から所定距離の位置に前記投影パターンの投影を行い、前記対象者が前記車両の運転者に認識されたと判定されなかったときにおいて前記投影を行わない、請求項１〜４のいずれかに記載の安全支援装置。
8. 車両から所定範囲の画像を撮像することと、
   撮像した前記画像から対象者を検出することと、
   前記対象者が前記車両の運転者に認識されたか否かを判定することと、
   前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行うことと、
   を含む安全支援方法。

Images