JP2022161464A - 運転支援装置、移動装置、運転支援方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

【課題】移動装置の運転者のための報知を効果的に行うことができる運転支援装置等を提供する。【解決手段】運転支援装置であって、移動装置の周辺の状況を表す周辺状況情報を生成する周辺監視手段と、前記移動装置の運転者の視線方向の視線領域を表す視線領域情報を生成する運転者監視手段と、前記周辺状況情報を用いて前記移動装置の進行方向に設定された第１の領域内に存在する対象物の数と位置を検出する対象物検出手段と、前記対象物が前記視線領域に含まれる場合、前記対象物に関する第１の報知を実行し、前記対象物が前記視線領域に含まれない場合、前記対象物に関する第２の報知を実行する報知制御手段と、を有する。【選択図】 図１

Description

本発明は、移動装置の運転者のための運転支援装置、移動装置、運転支援方法、コンピュータプログラム、及び記憶媒体等に関する。

自動車等の移動装置において、車載カメラを用いて、車両の周囲状況を監視し、車両の進行を妨げる物体（以下、対象物）がある場合には、運転者に対象物の存在を知らせる手法が提案されている。例えば、特許文献１では、車両の前方にある対象物を強調する強調画像を表示装置に表示することで、運転者に対象物を早く認識させる手法が記載されている。

特開２０１９－１２０９９４号公報 特開２０１９－００９５１１号公報

しかしながら、対象物を強調表示させたままでは、運転者は強調表示された領域を注視してしまう。そのため、他の視野への注意が低下し、却って交通安全上好ましくないという問題がある。

上記の課題に鑑み、本発明は、移動装置の運転者のための報知を効果的に行うことができる運転支援装置等を提供することを目的とする。

上記目的を達成するために、本発明の運転支援装置は、
移動装置の周辺の状況を表す周辺状況情報を生成する周辺監視手段と、
前記移動装置の運転者の視線方向の視線領域を表す視線領域情報を生成する運転者監視手段と、
前記周辺状況情報を用いて前記移動装置の進行方向に設定された第１の領域内に存在する対象物の数と位置を検出する対象物検出手段と、
前記対象物が前記視線領域に含まれる場合、前記対象物に関する第１の報知を実行し、前記対象物が前記視線領域に含まれない場合、前記対象物に関する第２の報知を実行する報知制御手段と、を有することを特徴とする。

本発明によれば、移動装置の運転者のための報知を効果的に行うことができる運転支援装置等を実現することができる。

実施例１に係る運転支援装置の構成を示すブロック図である。 （Ａ）は運転者監視部１１０の構成例を示す図、（Ｂ）は、注視領域検出装置８４０が行う処理フローを説明するフローチャートである。 実施例１における第１の領域を説明する図である。 実施例１のフローチャートである。 （Ａ）は実施例１における車両と対象物の関係の例を示す図、（Ｂ）は対象物の位置を表す情報を説明する図、（Ｃ）は、報知制御部を用いた対象物の位置を報知する方法について説明する図である。（Ｄ）は、運転者の注視領域と対象物の位置の関係を説明する図、（Ｅ）は、報知制御部を用いた対象物の位置の報知を抑制する方法について説明する図である。 実施例２における、第２の領域について説明する図である。 実施例２における運転支援装置のフローチャートである。 （Ａ）は、実施例２における、車両と対象物の関係の他の例を示す図、（Ｂ）は、図８（Ａ）の場合に、報知制御部を用いて対象物の位置を報知する方法の例について説明する図、（Ｃ）は、図８（Ａ）の状況を上方から見た図である。 実施例２に係る、路上に設置される周辺監視装置について説明するための図である。 （Ａ）は実施例３の運転支援装置の構成を模式的に示したシステム構成図、（Ｂ）は実施例３の運転支援装置のフローチャートである。 （Ａ）は実施例３に係る中低速時における第１領域の例を説明する図、（Ｂ）は高速時における第１領域の例を説明する図である。（Ｃ）は進行方向の道路に横断歩道がある場合の第１領域の例を説明する図、（Ｄ）は進行方向の道路の側方にガードレールがある場合の第１領域の例を説明する図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
又、実施例においては、運転支援装置として自動車等の車両に搭載された運転支援装置の例について説明する。しかし、運転支援装置は飛行機、船舶、電車等の移動装置に搭載された運転支援装置も含む。更に、ドローン、ロボット等の移動装置をリモートで操作する運転支援装置も含む。

＜実施例１＞
以下、図面を参照しながら本発明の実施例１に関して詳細に説明する。
図１は、実施例１に係る運転支援装置の構成を示すブロック図である。運転支援装置１００は、例えば移動装置としての自動車等の車両に搭載され、運転者監視部１１０、周辺監視部１２０、制御ユニット１０１、報知部１６０等を含む。

制御ユニット１０１は、取得部１３０、対象物検出部１４０、報知制御部１５０、判定部１７０等を含む。
運転支援装置にはコンピュータとしてのＣＰＵが内蔵されており、メモリ(記憶媒体)にコンピュータが読出し可能に格納（記憶）されたコンピュータプログラムに基づき運転支援装置１００内の各部の動作を制御する制御部として機能する。

運転者監視手段としての運転者監視部１１０は、車内を撮像する撮像装置にて取得した撮像画像を用いて、車両の運転者の視線方向を検出し、視線方向の所定角度範囲である視線領域を表す視線領域情報を生成する（運転者監視工程）。尚、運転者の視線方向の視線領域は、運転者が運転している状態では、運転者が注視している注視領域とみなすことができ、実施例では、視線領域情報を注視領域情報とも呼ぶ。
以下、図２（Ａ）及び（Ｂ）を用いて、運転者監視部１１０により運転者８０１の注視領域を検出する方法について説明する。図２（Ａ）は運転者監視部１１０の構成例を示す図である。

運転者監視部１１０が備える撮像装置８３０は、結像光学系と、結像光学系によって結像された像を撮像する撮像素子を備え、運転者８０１を含む車内を撮像して運転者画像を生成する。図２（Ａ）中の８２０は撮像装置８３０の画角を表し、８１０は結像光学系の光軸を表している。運転者監視部１１０は、撮像装置８３０が取得した運転者画像を用いて、注視領域検出装置８４０にて運転者の注視領域（視線領域）を検出する処理を行う。注視領域検出装置８４０にもコンピュータとしてのＣＰＵが内蔵されており、メモリに格納（記憶）されたコンピュータプログラムに基づき注視領域検出装置８４０の動作を制御する。なお、運転者監視部１１０は、運転支援装置１００と別体として設けられた撮像装置から撮像画像を取得して、運転者画像を生成するものであってもよい。

図２（Ｂ）は、注視領域検出装置８４０が行う処理フローを説明するフローチャートである。注視領域検出装置８４０に内蔵されたＣＰＵがメモリに格納（記憶）されたコンピュータプログラムを実行することで、図２（Ｂ）の各ステップの処理を行う。
ステップＳ８５０では、注視領域検出装置８４０は、運転者画像から顔領域の検出を行う。ステップＳ８５１では、注視領域検出装置８４０は、ステップＳ８５０にて検出した顔領域から、目・鼻・口などの各器官を検出する。顔領域と各器官の検出では、公知の手法を用いることができる。例えば、ＨｏＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などの特徴量をサポートベクタマシン（ＳＶＭ）で識別することで、検出することができる。

ステップＳ８５２では、注視領域検出装置８４０は、ステップＳ８５１にて検出した各器官の位置を用いて、運転者の顔が向いている方向を検出する。即ち、注視領域検出装置８４０は、運転者の顔内の各器官の位置と、顔の基準モデルの各器官の位置を照らし合わせ、各器官の位置が最もよく一致する顔の基準モデルの方向を算出する。算出された顔の基準モデルの方向を、運転者の顔が向いている方向とする。

ステップＳ８５３では、注視領域検出装置８４０は、ステップＳ８５１にて検出した目領域の画像を抽出し、瞳孔中心位置を算出する。瞳孔は目の中で最も輝度値が低く撮像される領域のため、目の領域中で最も輝度値が低い領域を探索することで、瞳孔中心の位置を検出することができる。
ステップＳ８５４では、注視領域検出装置８４０は、撮像装置８３０の光軸８１０と、ステップＳ８５２にて検出した運転者の顔の向き、ステップＳ８５３にて検出した瞳孔中心の位置を用いて、運転者の視線方向を検出する。

運転者の顔の向きと瞳孔中心を用いることで、光軸８１０に対する運転者の視線方向を算出することができる。光軸８１０と車両の所定の方向（例えば、車両の進行方向）との角度を用いることで、運転者の視線方向を車両の所定の方向と対応付けて算出することができる。予め設定した車両中の運転者の頭部位置を起点に、運転者の視線方向を設定することで、運転者の注視している領域（注視領域、視線領域）を算出することができる。

運転者の頭部位置は、予め設定した位置を用いているが、より精度よく注視領域を算出するためには、運転者の動きに合わせた頭部位置を算出することが望ましい。例えば特許文献２に記載の撮像装置では、撮像装置が備える結像光学系の異なる瞳領域を通過した光束による像を取得することで、撮影画像と被写体までの距離を同時に取得している。撮像装置８３０から運転者の頭部までの距離を撮影画像と同時に取得することで、より高精度に運転者の頭部を算出することができる。

図１の周辺監視手段としての周辺監視部１２０は、車室外を撮像する撮像装置にて取得した撮像画像を用いて、移動装置としての車両の周辺の状況を表す周辺状況情報を生成する（周辺監視工程）。本実施例の周辺監視部１２０が備える撮像装置として、２つの結像光学系と夫々の予定焦点面に配置された２つの撮像素子を備えたステレオカメラを用いることができる。ステレオカメラの各撮像素子から出力される撮像画像は、距離に応じた視差を有する画像となる。

ステレオカメラから出力される撮像画像に基づき公知の手法により視差量を検出し、検出した視差量を、所定の変換係数を用いて変換することで、撮像画像中の対象物までの距離情報を算出する。更に、ステレオカメラのいずれか一方の撮像素子から出力される撮像画像に対して、公知の機械学習を用い、対象物や対象物のカテゴリ等を検出する。車両周辺の対象物の距離情報は、ステレオカメラの各撮像素子から出力される撮像画像の画素位置ごとに算出することができる。従って、対象物の検出結果と車両周辺の距離情報を用いることで、対象物の数と位置を算出することができる。

取得部１３０は、運転者監視部１１０から視線領域情報（注視領域情報）を取得し、周辺監視部１２０から周辺状況情報を取得する（取得工程）。
対象物検出手段としての対象物検出部１４０は、取得部１３０が取得した周辺状況情報を用いて、予め設定した第１の領域内に存在する対象物の数と位置を検出する（対象物検出工程）。第１の領域は、車両の周辺の領域のうち、車両の進行方向に位置する領域として設定されるとする。

図３は、実施例１における第１の領域を説明する図であり、車道を走行している車両２００を上から見たところを表している。図３において、本実施例の運転支援装置１００を備えた車両２００は、図の下から上に向かって進行している。第１の領域２１０は、車両２００の前方（進行方向）に設定される。尚、実施例３で後述するように、第１の領域２１０の位置と形状は車両２００の速度等に応じて変化させても良い。

判定部１７０は、取得部１３０が取得した視線領域情報と、対象物検出部１４０が検出した第１の領域内に存在する対象物の数と位置に基づき、対象物ごとに存在と位置を車両の運転者が確認したか（対象物が視線領域内か）否かを判定する。
報知制御手段としての報知制御部１５０は、判定部１７０の判定結果、又は対象物検出部１４０の検出結果の少なくとも一方と、周辺状況情報に含まれる周辺監視部１２０が撮像した画像情報に基づき、報知情報を生成する。そして、報知部１６０により、報知情報に基づき、運転者への報知を行う。

報知部１６０は、報知情報を表示するために液晶ディスプレイ等の表示装置を有する。
図４は実施例１のフローチャートであり、本実施例の運転支援装置１００の動作について、図４を用いて説明する。運転支援装置内のコンピュータがメモリに格納（記憶）されたコンピュータプログラムを実行することで、図４の各ステップの処理を行う。

ステップＳ４１０では、取得部１３０が、周辺監視部１２０から、周辺状況情報を取得する。
図５（Ａ）は実施例１における車両と対象物の関係の例を示す図である。車両２００が図５（Ａ）の状況にあるとして、周辺状況情報について説明する。図５（Ａ）において、第１の領域２１０内に、対象物である人物３１０と人物３１１が存在している。又、第１の領域２１０外に対象物である人物３１２が存在している。

車両２００が備える周辺監視部１２０は、人物３１０～３１２を検出し、対象物の数と人物３１０～３１２の位置を周辺状況情報として生成する。
図５（Ｂ）は対象物の位置を表す情報を説明する図である。車両２００の所定の位置を原点にとり、車両の進行方向をＹ軸、Ｙ軸と垂直な方向をＸ軸としている。ＸＹ平面上での人物３１０～３１２が位置する座標情報を対象物の位置を表す情報とすることができる。

ステップＳ４２０では、対象物検出部１４０が周辺状況情報を用いて検出（算出）した第１の領域内に存在する対象物の数が０より大きいか否かを判定する。図５（Ａ）、（Ｂ）の状況では、人物３１０～３１２の夫々のＸＹ平面上での座標情報と、第１の領域２１０の領域情報とを照らし合わせ、第１の領域２１０内の対象物数は２であると算出される。ステップＳ４２０において、対象物の数が０よりも大きい場合（Ｓ４２０ Ｙｅｓ）は、ステップＳ４３０に進み、対象物の数が０の場合（Ｓ４２０ Ｎｏ）は、報知すべき対象物がないため、処理を終了する。

ステップＳ４３０では、対象物検出部１４０が検出した第１の領域内に存在する対象物の数と位置の情報を用いて、報知制御部１５０が報知情報を生成し、報知部１６０を用いて運転者に対象物の位置を報知する（報知制御工程）。
図５（Ｃ）は、報知制御部を用いた対象物の位置を報知する方法について説明する図である。
表示領域３６０は報知部１６０の液晶ディスプレイ等の画像表示領域である。表示領域３６０に表示している報知情報は、周辺監視部１２０が撮像した画像情報に、枠３２０と枠３２１を重畳した情報である。

枠３２０と枠３２１の位置は、人物３１０と人物３１１のＸＹ平面上での位置情報を用いて、車両２００が走行する路面と周辺監視部１２０が備える撮像装置の光軸が平行であると仮定して算出している。枠３２０と枠３２１の大きさは、人物３１０と人物３１１のＹ座標値に基づき設定する。尚、人物３１２は第１の領域外にいるため、枠が重畳されていない。報知部１６０に、枠３２０と枠３２１を重畳して表示することで、運転者は車両の進路及び進路近傍に注意すべき対象物がいることを速やかに認識することができる。

なお、報知部１６０は、車両２００に設けられた液晶ディスプレイなどの表示装置に限らず、車両２００のフロントガラスに画像を投影して実像に虚像を合成するヘッドアップディスプレイであってもよい。この場合、報知制御部１５０は、運転者がフロントガラスを介して視認する人物３１０および人物３１１に対応する位置に、枠３２０と枠３２１とがそれぞれ重畳して表示されるように虚像を生成する。

ステップＳ４４０では、取得部１３０が、運転者監視部１１０から、注視領域情報（視線領域情報）を取得する。
ステップＳ４５０では、判定部１７０が、対象物検出部１４０が検出した第１の領域内に存在する対象物の数と位置の情報と、注視領域情報（視線領域情報）を用いて、運転者が対象物の位置を確認したか否かについて判定を行う。即ち、対象物が視線領域内にあるか否かについて判定を行う。

このように、本実施例では、視線領域内にある場合は、通常の運転状況では、注視領域にあるとみなすと共に、運転者が対象物の位置を確認しているとみなしている。しかし、例えば運転者の視線が対象物に向けられた時間当たりの頻度を検出し、頻度が所定回数以上の場合には、対象物が注視領域にある、或いは運転者が対象物の位置を確認していると判別するようにしても良い。そのように構成することで、注視領域にあるか否かや運転者が対象物の位置を確認しているか否かの判断の精度を高めることができる。

図５（Ｄ）は、運転者の注視領域（視線領域）と対象物の位置の関係を説明する図であり、図５（Ｂ）と同様に、車両２００の所定の位置を原点にとり、車両の進行方向をＹ軸、Ｙ軸と垂直な方向をＸ軸としている。

３７０は運転者の注視領域（視線領域）であり、運転者の頭部位置を起点に、運転者が注視している方向を領域３７０として表している。運転者の注視領域と対象物（人物３１０、人物３１１）の位置とを比較し、注視領域（視線領域）内にある対象物を判定する。図５（Ｄ）の例では、運転者の注視領域（視線領域）内に人物３１０がいるため、運転者は人物３１０を確認していると判定する。

ステップＳ４６０では、報知制御部１５０が、車両の運転者が位置を確認した対象物（注視領域（視線領域）内にある対象物）について、対象物の位置の報知を抑制する報知情報を生成し、報知部１６０を用いて運転者に報知する（報知制御工程）。

図５（Ｅ）は、報知制御部を用いた対象物の位置の報知を抑制する方法について説明する図である。運転者が位置を確認した対象物である人物３１０と対応する枠３２０について、図５（Ｃ）における報知状態と比較して抑制して表示している。即ち、図５（Ｅ）では枠３２０は細い破線で表すことで抑制した報知（第１の報知）をしている。一方、運転者が位置を確認していない対象物である人物３１１と対応する枠３２１については、強調した報知（第２の報知）を継続している。

即ち、図５（Ｃ）、（Ｅ）において枠３２１は太い破線で表しており、運転者が位置を確認した対象物（注視領域内にある対象物）については、枠の太さを細くすることによって対象物の位置の報知を抑制している。抑制する方法としては、例えば枠の色を目立たない色に変更したり、枠の色の彩度を落としたり、枠の輝度を低くしたり、枠を点滅させる場合には、点滅周期を長くしたり、或いは、枠を消すことで報知をしないようにしても良い。即ち、報知を抑制する場合には、報知をしないという場合も含む。更には枠の内側の色や枠の内側の輝度などを目立たないように変更しても良く、それらの組み合わせでも良いし、どのような方法であっても目立たなくすれば良い。目立たなくするという制御は、運転者からの視認性を低下させるとも言い換えることができる。

このように、本実施例の報知制御部は、画像表示装置を用いて所定の画像を表示することによって報知を行なわせている。又、周辺状況情報は移動装置周辺を撮像した撮像画像を含み、報知制御部は、撮像画像に対して、対象物検出部が検出した対象物を強調表示するために枠情報を生成している。
又、報知制御部は、視線領域外にある対象物について強調表示を行うことで報知を行うと共に、注視領内にある対象物については強調表示を抑制している。

このように、本実施例の運転支援装置においては、運転者が位置を確認した対象物（注視領域内にある対象物）について、報知を抑制している。その結果、位置を確認していない対象物がいる視野への運転者の注意低下を抑制することができる。
尚、ステップＳ４６０において、車両の運転者が位置を確認した対象物（注視領域内にある対象物）については位置の報知を抑制している。しかし、その際に、運転者が位置を確認していない対象物（注視領域外にある対象物）に対しては、位置の報知を通常よりも強調する報知情報を生成しても良い。

例えば、図５（Ｅ）において、枠３２１をより太い破線にしたり、より目立つようにしたりしても良い。即ち、視線領域内にある対象物について報知を抑制する際に、視線領域外にある対象物については報知をより一層強調するようにしても良い。
又、本実施例の報知制御部は、画像を表示する表示装置を用いて報知を行っているが、音声や振動を用いて運転者への報知を行っても良い。その場合、報知部としてスピーカーやバイブレーターを用いることができ、報知の強弱を音声や振動の強弱で行うことができる。又、画像表示、音声、振動の内の複数を用いて運転者への報知を行っても良い。

又、実施例の運転支援装置が搭載される移動装置は、実施例の報知制御部の動作と連動して移動装置の移動動作（移動速度、移動方向等）の制御を行う移動制御部を設けることが望ましい。移動制御部は、例えば、報知制御部によって報知をしたにも拘わらず、移動装置と対象物との距離が所定距離よりも短くなった場合には、移動装置にブレーキをかけて移動速度を低下させたり停止させて、衝突を回避させる。

上記の場合、移動制御部は移動装置の移動方向を変更して対象物との衝突を回避するようにしても良い。又、移動装置内の移動制御部の動作は、移動装置内に設けたコンピュータがメモリに格納（記憶）されたコンピュータプログラムを実行することによって行っても良い。

＜実施例２＞
実施例２では、対象物検出部１４０は、第１の領域２１０の外側に第２の領域を設定する。そして第１の領域に対象物が位置する場合と、第２の領域に対象物が位置する場合とで、判定部１７０と報知制御部１５０が行う動作を異ならせる。
図６は、実施例２における、第２の領域について説明する図である。第１の領域２１０の車両２００の進行方向側の外側に例えば図６のようなコの字状の第２の領域２２０を設定している。第１の領域２１０内に対象物がいる場合は、第２の領域と比較して車両２００との衝突可能性が高い領域となる。尚、図３や図６における領域の大きさはそれぞれ例であって、各領域の大きさは図に示される大きさには限定されない。

図７は、実施例２における運転支援装置のフローチャートであり、対象物検出部１４０が用いる第１の領域の外側に第２の領域を設定した場合の、運転支援装置１００の動作を説明している。運転支援装置内のコンピュータがメモリに格納（記憶）されたコンピュータプログラムを実行することで、図７の各ステップの処理を実行する。

図７において、ステップＳ４１０からステップＳ４６０までの処理内容は、図４と同じであり、ステップＳ４１０では、取得部１３０が、周辺監視部１２０から、周辺状況情報を取得する。
図８（Ａ）は、実施例２における、車両と対象物の関係の他の例を示す図である。
図８（Ａ）において、第１の領域２１０内に対象物である人物３１０と人物３１１が存在している。又、第１の領域２１０の外側の第２の領域２２０に対象物である人物３１２が存在している。

車両２００が備える周辺監視部１２０は、人物３１０～３１２を検出し、対象物の数と人物３１０～３１２の位置を周辺状況情報として生成する。
図７のフローにおいては、車両２００が図８（Ａ）の状況にあるとして、周辺状況情報について説明する。
ステップＳ４１１からステップＳ４６０までの処理内容は、図４の処理と同じなので説明は省略し、ステップＳ４２１以降の処理内容について説明する。

ステップＳ４２１では、対象物検出部１４０が、周辺状況情報を用いて第２の領域内に含まれる対象物の数を算出する。図８（Ａ）の状況では、人物３１０～３１２の夫々のＸＹ平面上での座標情報と、第２の領域２２の領域情報とを比較することによって、第２の領域２２０内の対象物数は１であると算出する。ステップＳ４２１において、対象物の数が０よりも大きい場合は、ステップＳ４３１に進み、対象物の数が０の場合は、報知すべき対象物がないため、処理を終了する。

ステップＳ４３１では、対象物検出部１４０が検出した第２の領域２２０内に含まれる対象物の数と位置の情報を用いて、報知制御部１５０が報知情報を生成し、報知部１６０を用いて運転者に対象物の位置を報知する。
図８（Ｂ）は、図８（Ａ）の場合に、報知制御部を用いて対象物の位置を報知する方法の例について説明する図である。
図８（Ｂ）においては、第２の領域２２０にいる対象物（人物３１２）に対して、枠５２２を重畳して表示している。

ステップＳ４３１において、枠３２０と枠３２１よりも細い破線で枠５２２を表すことにより、第２の領域内の対象物について第１の領域にいる対象物に対する報知より抑制した報知をしている。即ち、報知制御部は、第１の領域にいる対象物について第２の報知をする場合より、第２の領域にいる対象物について行う第２の報知を抑制している。人物３１２は第２の領域２２０に位置するため、人物３１０や人物３１１と比較して、衝突可能性が低い対象物だからである。

しかし、第２の領域２２０は第１の領域２１０と近接した領域であるため、第２の領域２２０に位置する対象物は、第１の領域２１０に移動する可能性がある。そのため、第２の領域２２０に位置する対象物も報知するが、抑制して表示することで報知している。運転者に対して直ちに注意すべき対象物と、今後注意すべき対象物となりうる物体とを区別して速やかに認識させることができる。

ステップＳ４４１では、取得部１３０が、運転者監視部１１０から注視領域情報（視線領域情報）を取得する。
ステップＳ４５１では、対象物検出部１４０が検出した第２の領域内に含まれる対象物の数と位置の情報と、視線領域情報（注視領域情報）とに基づき、運転者が第２の領域内の対象物の位置を確認したか否かについて判定部１７０が判定を行う。即ち、注視領域内にある対象物か否かについて判定を行う。

ステップＳ４６１では、報知制御部１５０が、第２の領域２２０に位置してかつ運転者が位置を未確認であるとステップＳ４５１にて判定した対象物について、対象物の位置に応じた報知情報を生成し、報知部１６０を用いて運転者に報知する。ここで、位置に応じた報知情報について、図８（Ｃ）を用いて説明する。

図８（Ｃ）は、図８（Ａ）の状況を上方から見た図である。
報知制御部１５０は、第２の領域２２０内にいる人物３１２から、第１の領域２１０への距離５３２が近いほど、又は人物３１２の第１の領域２１０への接近速度が大きいほど、枠５２２を太い破線で表すなどして強調する。それによって、対象物の位置に応じた報知情報を生成している。即ち、報知制御部は、第２の領域にいる対象物の位置が第１の領域に近づくほど、或いは第１の領域への接近速度が大きいほど報知をより強調する。

第２の領域２２０に位置する対象物は、今後注意すべき対象物になる可能性があり、第１の領域２１０への距離が近いほど、或いは接近速度が大きいほど、その可能性は高い。従って、距離５３２又は接近速度に応じて報知を強調することで、運転者に今後注意すべき対象物がどの程度注意すべきなのかを認識させることができる。

本実施例の周辺監視部１２０として、撮像画像と距離情報を同時に取得可能なステレオカメラを用いているが、本実施例の運転支援装置は自車両の周辺状況情報を取得することができれば良い。周辺監視部１２０としては、例えばミリ波レーダーやＬｉＤＡＲなどで車外の周辺状況を監視するものであっても良い。

図９は、実施例２に係る、路上に設置される周辺監視装置について説明するための図である。図９に示すように路上の、例えば急カーブの先に周辺監視装置９２０が設置されており、周辺監視装置９２０から無線通信を介して、車両２００の周辺状況情報を取得しても構わない。又、車両２００が備える周辺監視部１２０と路上に設置される周辺監視装置９２０の夫々から周辺状況情報を取得しても構わない。路上に設置される周辺監視装置９２０から周辺状況情報を取得することで、車両２００から死角となる領域についても、対象物の検出を行うことができ、車両走行時の安全性がより向上する。

＜実施例３＞
以下、図面を参照しながら本発明の実施例３に関して詳細に説明する。
図１０（Ａ）は、実施例３の運転支援装置の構成を模式的に示したシステム構成図である。運転支援装置６００は、車両用センサ６７０を更に備えている。
車両用センサ６７０は、車速センサ、方向指示器、操舵センサ、ナビゲーションシステム等を含んでおり、移動装置の移動状況を検出するセンサとして機能している。取得部６３０は、車両用センサ６７０から、走行状況情報（車速、予定進路、周辺の道路の種類（歩道の有無など））を取得することができる。６０１は制御ユニットである。

本実施例の対象物検出部６４０は、取得部６３０が取得した走行状況情報を用いて第１の領域を設定し、周辺状況情報を用いて第１の領域内に含まれる対象物の数を算出する。運転支援装置６００にはコンピュータとしてのＣＰＵが内蔵されており、メモリに格納（記憶）されたコンピュータプログラムに基づき運転支援装置１００全体の動作等を制御する制御部として機能する。

図１０（Ｂ）は実施例３の運転支援装置のフローチャートであり、実施例３の運転支援装置６００の動作について、図１０（Ｂ）のフローチャートを用いて説明する。運転支援装置６００内のコンピュータがメモリに格納（記憶）されたコンピュータプログラムを実行することで、図１０（Ｂ）の各ステップを処理する。
ステップＳ７１０では、取得部１３０が、車両用センサ６７０から走行状況情報を取得する。

ステップＳ７２０では、対象物検出部６４０が、走行状況情報を用いて、第１の領域を設定する。第１の領域の設定方法について図１１を用いて説明する。
図１１（Ａ）は実施例３に係る中低速時における第１領域の例を説明する図、（Ｂ）は高速時における第１領域の例を説明する図である。図１１（Ａ）、（Ｂ）においては、図２と同様に車両２００の前方に設定した第１の領域を表している。走行状況情報に含まれる車両２００の車速情報から、車両２００が中速度（例えば時速２０ｋｍ～５０ｋｍ）の場合には、図１１（Ａ）に示すような第１の領域２１０を設定する。

走行状況情報に含まれる車両２００の車速情報から、車両２００が高速度（例えば時速５０ｋｍ～１００ｋｍ）の場合には、図１１（Ｂ）に示す第１の領域２１０を設定する。すなわち、対象物検出部６４０は、車両２００の速度に応じて第１の領域を設定している。車両２００の速度が速いほど、第１の領域２１０は車両２００の進行方向に沿って長くなり、かつ進行方向と垂直な方向には狭くなるように第１の領域２１０を設定している。即ち、対象物検出部は、移動装置の移動速度が速いほど、第１の領域を移動装置の進行方向に沿って長く設定し、第１の領域を前記移動装置の進行方向に垂直な方向に沿って短く設定している。

又、図１１（Ｃ）は進行方向の道路に横断歩道がある場合の第１領域の例を説明する図、（Ｄ）は進行方向の道路の側方にガードレールがある場合の第１領域の例を説明する図である。図１１（Ｃ）、（Ｄ）に示すように、走行状況情報に含まれる周囲の道路の種類等に応じて第１の領域２１０の形状を異ならせても良い。

即ち、周辺状況情報に含まれる移動装置の進行方向の道路に関する情報に基づき、対象物検出部が第１の領域を設定するようにしても良い。例えば、図１１（Ｃ）に示すように、周囲の道路に横断歩道７２０が含まれる場合は、歩行者などが横断する可能性があるため、横断歩道を含むように、横長の第１の領域２１０を設定している。即ち、周辺状況情報に含まれる移動装置の進行方向の横断歩道に関する情報に基づき、対象物検出部が、横断歩道を含むように第１の領域を設定している。

図１１（Ｄ）に示すように、車道の側方にガードレール７３０がある場合には、側方から対象物が侵入する可能性が低いため、第１の領域２１０を進行方向に沿って細長く設定している。即ち、移動装置の進行方向の道路の側方にガードレールがある場合には、第１の領域を移動装置の進行方向に沿って長く、かつ進行方向と垂直な方向に沿って短く設定するようにしている。又、他には、走行状況情報に含まれる車両の方向指示器の情報に基づき、車両の進行方向を予測し、進行方向側に第１の領域を広げたり位置をシフトしたりしても良い。

本実施例の運転支援装置においては、第１の領域を車両の走行状況に応じて設定している。即ち、移動装置の移動状況を検出するセンサを有し、センサから移動状況情報を取得し、対象物検出部は、第１の領域の形状等を移動状況情報に応じて設定している。
このように、運転者に報知する対象物を検出する領域を走行状況に応じて設定することで、より早期に対象物を運転者に報知することができるため、車両走行時の安全性がより向上する。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して運転支援装置や移動装置等に供給するようにしてもよい。そしてその運転支援装置や移動装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムをコンピュータが読出し可能に格納した記憶媒体は本発明を構成することとなる。

１００ 運転支援装置
１１０ 運転者監視部
１２０ 周辺監視部
１３０ 取得部
１４０ 対象物検出部
１５０ 報知制御部
１６０ 報知部
１７０ 判定部

上記目的を達成するために、本発明の運転支援装置は、
移動装置の周辺の状況を表す周辺状況情報を生成する周辺監視手段と、
前記移動装置の運転者の視線方向の視線領域を表す視線領域情報を生成する運転者監視手段と、
前記周辺状況情報を用いて前記移動装置の進行方向に設定された第１の領域内に存在する対象物の数と位置を検出する対象物検出手段と、
前記対象物が前記視線領域に含まれる場合、前記対象物に関する第１の報知を実行し、前記対象物が前記視線領域に含まれない場合、前記対象物に関する第２の報知を実行する報知制御手段と、を有し、
前記対象物検出手段は、前記第１の領域の外側に更に第２の領域を設定し
前記報知制御手段は、前記第２の領域にいる前記対象物について行う前記第２の報知を抑制することを特徴とする。

Claims (19)

1. 移動装置の周辺の状況を表す周辺状況情報を生成する周辺監視手段と、
   前記移動装置の運転者の視線方向の視線領域を表す視線領域情報を生成する運転者監視手段と、
   前記周辺状況情報を用いて前記移動装置の進行方向に設定された第１の領域内に存在する対象物の数と位置を検出する対象物検出手段と、
   前記対象物が前記視線領域に含まれる場合、前記対象物に関する第１の報知を実行し、前記対象物が前記視線領域に含まれない場合、前記対象物に関する第２の報知を実行する報知制御手段と、を有することを特徴とする運転支援装置。
2. 前記第１の報知は、前記第２の報知よりも抑制された報知であることを特徴とする請求項１に記載の運転支援装置。
3. 前記第１の報知は、報知をしない場合を含むことを特徴とする請求項１または２に記載の運転支援装置。
4. 前記報知制御手段は、画像表示装置を用いて所定の画像を表示することによって前記報知を行うことを特徴とする請求項１乃至３のいずれか１項に記載の運転支援装置。
5. 前記周辺状況情報は前記移動装置の周辺を撮像した撮像画像を含み、
   前記報知制御手段は、前記撮像画像に対して、前記対象物検出手段が検出した前記対象物を強調する強調表示を行うことで、少なくとも前記第２の報知を行うことを特徴とする請求項１乃至４のいずれか１項に記載の運転支援装置。
6. 前記報知制御手段は、前記第２の報知において前記視線領域外にある前記対象物について前記強調表示を行い、前記第１の報知において前記視線領域内にある前記対象物については前記強調表示を抑制することを特徴とする請求項５に記載の運転支援装置。
7. 前記報知制御手段は、音声又は振動による報知を行うことを特徴とする請求項１に記載の運転支援装置。
8. 前記対象物検出手段は、前記第１の領域の外側に更に第２の領域を設定し
   前記報知制御手段は、前記第２の領域にいる前記対象物について行う前記第２の報知を抑制することを特徴とする請求項１乃至７のいずれか１項に記載の運転支援装置。
9. 前記報知制御手段は、前記第２の領域にいる前記対象物の位置が前記第１の領域に近づくほど、当該対象物に対する前記第２の報知をより強調することを特徴とする請求項８に記載の運転支援装置。
10. 前記移動装置の移動状況を検出するセンサを有し、
    前記対象物検出手段は、前記センサから取得した移動状況情報に応じて前記第１の領域を設定することを特徴とする請求項１乃至９のいずれか１項に記載の運転支援装置。
11. 前記移動状況情報は前記移動装置の移動速度に関する情報を含み、
    前記対象物検出手段は、前記移動速度が速いほど、前記第１の領域を前記移動装置の進行方向に沿って長く設定することを特徴とする請求項１０に記載の運転支援装置。
12. 前記対象物検出手段は、前記移動速度が速いほど、前記第１の領域を前記移動装置の進行方向に垂直な方向に沿って短く設定することを特徴とする請求項１１に記載の運転支援装置。
13. 前記周辺状況情報は前記移動装置の進行方向の道路に関する情報を含み、
    前記対象物検出手段は、前記道路に関する情報に基づき、前記第１の領域を設定することを特徴とする請求項１０乃至１２のいずれか１項に記載の運転支援装置。
14. 前記周辺状況情報は前記移動装置の進行方向の横断歩道に関する情報を含み、
    前記対象物検出手段は、前記横断歩道を含むように前記第１の領域を設定することを特徴とする請求項１０乃至１３のいずれか１項に記載の運転支援装置。
15. 前記対象物検出手段は、前記移動装置の進行方向の道路の側方にガードレールがある場合には、前記第１の領域を前記移動装置の進行方向に沿って長く、かつ進行方向と垂直な方向に沿って短く設定することを特徴とする請求項１０乃至１４のいずれか１項に記載の運転支援装置。
16. 請求項１乃至１５のいずれか１項に記載の運転支援装置を搭載した移動装置であって、
    前記報知制御手段の動作と連動して前記移動装置の移動動作の制御を行う移動制御手段を有する移動装置。
17. 移動装置の周辺の状況を表す周辺状況情報を生成する周辺監視工程と、
    前記移動装置の運転者の視線方向の視線領域を表す視線領域情報を生成する運転者監視工程と、
    前記周辺状況情報を用いて前記移動装置の進行方向に設定された第１の領域内にある対象物の数と位置を検出する対象物検出工程と
    前記対象物検出工程で検出された前記対象物が前記視線領域に含まれる場合、前記対象物に関する第１の報知を実行し、前記対象物が前記視線領域に含まれない場合、前記対象物に関する第２の報知を実行する報知制御工程と、を有することを特徴とする運転支援方法。
18. 請求項１～１５のいずれか１項に記載の運転支援装置又は請求項１６に記載の移動装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
19. 請求項１～１５のいずれか１項に記載の運転支援装置又は請求項１６に記載の移動装置の各手段をコンピュータにより制御するためのコンピュータプログラムをコンピュータが読み出し可能に格納する記憶媒体。
    
    

Images