JP2020197952A - 状況認識推定システム及び運転支援システム - Google Patents

Abstract

【課題】所定の環境中を移動する対象者がその周囲に存在する認識対象物の状況を適切に認識しているか否かを推定する状況認識推定システム及び運転支援システムを提供する。【解決手段】運転支援システム１０において、状況認識推定システム１１は、各種情報を取得する情報取得手段１４と、運転者の認識対象物の視認状況を把握する視認状況把握手段１５と、近い将来行われる運転タスクを特定するタスク特定手段１６と、状況認識について判定する認識判定手段１７とを備えている。認識判定手段は、基準となる状況認識に対応する視線モデルが運転タスク毎に記憶され、視線データと視線モデルから、運転者が認識対象物を視認すべき各視認エリアにおいて認識対象物を視認するタイミングと、認識対象物を視認する視認時間とが適切か否かを判定する。【選択図】図１

Description

本発明は、状況認識推定システム及び運転支援システムに係り、更に詳しくは、所定の対象者の周囲を相対移動する認識対象物について、その対象者が適切に認識しているか否かを推定する状況認識推定システム、及び当該状況認識推定システムを利用して、対象者による自動車等の移動体の運転支援を行う運転支援システムに関する。

自動車を安全且つ効率的に運転するには、運転者の正しい状況認識が極めて重要となる。運転者が行うべき状況認識は、右折、合流等の運転タスクや車の混雑具合、周辺車両や歩行者の存在等によって大きく異なる。ここでの状況認識は、環境に存在する要素の状態や特性を知る知覚のみならず、知覚した要素を統合し、現在の事象について把握する理解と、理解した情報と自らの知識や経験から将来の動きを推定する予測とを段階的に行うことで十分となる。

ところで、特許文献１には、運転者が本来確認しなければならない方向を見落としている場合に、当該方向への視認を運転者に伝達する運転支援装置が開示されている。この運転支援装置では、ＧＰＳ信号により、対象となる運転者が運転する自車両の位置情報を獲得するとともに、予め記憶された地図情報に基づいて自車両の走行する分岐の種類等の道路情報が判定され、当該道路情報と、探索された経路による進行方向とに応じ、この時点で運転者が目視すべき目視必要方向が決定される。そして、撮像された運転者の映像から運転者の視線方向が取得され、所定時間内における目視必要方向における視認の有無により、注意喚起すべき見落とし方向が特定される。

特許第６４１９４０１号公報

しかしながら、前記特許文献１の運転支援装置にあっては、運転者の視線が目視必要方向に向けられたか否かについて判断するに過ぎず、目視必要方向に実際に存在する人や物等の認識対象物を視認したか否かについて検討されず、前述の状況認識が十分になされているか否かについてまで推定できない。すなわち、例えば、自車両の周囲の交通状況が経時的に変化する中で、前記所定時間内において、視認すべき他車両等の認識対象物が前記目視必要方向に出現したり消滅したりするような場合に、前記運転支援装置では、その認識対象物が出現している適切なタイミングで、運転者が前記目視必要方向を実際に視認したか否かまでは特定できない。また、前記運転支援装置では、認識対象物が出現しているタイミングで運転者が前記目視必要方向を実際に視認したとしても、状況認識を十分に行うための前述の理解及び予測に必要な時間の視認がなされているか否かまでは特定できない。つまり、前記運転支援装置では、運転者が前記目視必要方向に一度でも目を向ければ、当該目視必要方向に存在する認識対象物を全く視認していない、若しくは、当該認識対象物を十分な時間視認していないときでも、必要方向への見落としが無いと判断され、注意喚起がなされないことになる。従って、特許文献１の運転支援装置では、前述の状況認識が適切になされているか否かまで推定できず、安全運転に対する運転者に対する運転評価や運転支援として、必ずしも十分とは言えない。

本発明は、このような課題を解決するために案出されたものであり、その目的は、所定の環境中を移動する対象者がその周囲に存在する認識対象物の状況を適切に認識しているか否かを推定することができる状況認識推定システム及び運転支援システムを提供することにある。

前記目的を達成するため、本発明は、主として、対象者の周囲を相対移動する認識対象物について、前記対象者が適切に認識しているか否かを推定する状況認識推定システムにおいて、前記対象者の動作及び前記対象者の周辺環境に関係する各種情報を取得する情報取得手段と、当該情報取得手段からの情報により、前記対象者における前記認識対象物の視認状況を把握する視認状況把握手段と、前記情報に基づき、前記対象者によって近い将来行われるタスクを特定するタスク特定手段と、前記視認状況に基づき、前記タスクにおける前記対象者の状況認識について判定する認識判定手段とを備え、前記視認状況把握手段は、前記対象者の視線方向を複数の視認エリア毎に分類する視認エリア特定部と、当該視認エリア特定部での分類結果から、前記視認エリア毎に、前記認識対象物の存在と前記視認状況を各時刻で対応させてなる時系列の視線データを生成する視線データ生成部とを備え、前記認識判定手段は、基準となる状況認識に対応する視線モデルが前記タスク毎に記憶され、前記視線データと前記視線モデルから、前記認識対象物に対する状況認識が適切になされているか否かを判定する判定部を備え、前記判定部では、前記対象者が前記認識対象物を視認すべき前記各視認エリアにおいて前記認識対象物を視認するタイミングと、当該認識対象物を視認する視認時間とが適切か否かを判定することで、前記状況認識の判定を行う、という構成を採っている。

また、本発明は、前記状況認識推定システムが適用され、前記対象者を移動体の運転者とし、前記状況認識推定システムによる前記移動体の周囲の状況認識の推定結果により、前記運転者への運転支援を行う運転支援システムにおいて、前記認識判定手段で前記運転者の運転中の状況認識が適切になされていないと判定された場合に、前記運転者に対するサポートを行うサポート手段を備える、という構成を採っている。

本発明によれば、視線データにより、各時刻において、各視認エリアにおける認識対象物の存在状況と対象者における各視認エリアの視認状況とを対応させ、これにより、各時刻において各認識対象物を対象者が視認しているか否かを推定可能になる。また、視線モデルとして、タスク毎、若しくは当該タスクを構成するフェーズ単位で、視認すべき視認エリアを設定するとともに、状況認識を十分に行うための理解及び予測に必要な視認時間となる基準時間を設定することにより、認識対象物が実際に存在しているタイミングで、対象者が当該視認エリアを視認しているか否かと、このときの視認時間が基準時間に達しているか否かが分かることになる。これにより、対象者による状況認識が適切に行われているか否かの推定が可能となる。

また、対象者を移動体の運転者としたその周囲の状況認識の推定に、本発明の状況認識推定システムを利用することにより、運転者の状況認識能力の客観的な評価が可能になり、当該評価内容を運転者にフィードバックすること等により、事故防止の観点での運転者の運転能力の向上に資することになる。また、実際の運転時において、各運転タスクで運転者が不足している状況認識をリアルタイムで推定できるため、当該状況認識が不足している場合に、注意喚起等により運転者に再度の視認を促し、或いは、状況認識の低下による事故等を抑制するための機器やシステムに対して動作指令する等の各種サポートが可能になる。このため、運転者の横に、あたかも運転協力者が存在するかのような安全運転のための支援が可能となる。

本実施形態に係る運転支援システムの全体構成を表したブロック図である。 視認エリアを説明するための概念図である。 第１のケースにおける交通状況を表した概略図である。 第１のケースにおける視線データの構成をグラフで概念的に表した図である。 第２のケースにおける交通状況を表した概略図である。 第２のケースにおける視線データの構成をグラフで概念的に表した図である。 第３のケースにおける交通状況を表した概略図である。 第３のケースにおける視線データの構成をグラフで概念的に表した図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る運転支援システムの全体構成を表したブロック図が示されている。この図において、前記運転支援システム１０には、所定の環境中を移動する対象者がその周囲に存在する人や物等の認識対象物の状況を適切に認識しているか否かを推定する状況認識推定システム１１が適用されている。この運転支援システム１０では、前記対象者を自動車の運転者として、当該運転者における運転中の状況認識が適切か否かを判断し、当該状況認識が適切になされていない場合に、運転者に対するサポートを行うようになっている。なお、以下の説明において、状況認識の対象者となる運転者が運転する自動車を「自車両」と称し、当該自動車の周囲に位置する自動車等を「他車両」と称する。

すなわち、この運転支援システム１０は、自車両の運転者における運転中の状況認識が適切になされているか否かを推定する状況認識推定システム１１と、状況認識推定システム１１により、運転中の状況認識が適切になされていないと推定された場合に、運転者に対するサポートを行うサポート手段１２とにより構成される。

前記状況認識推定システム１１は、運転者の視線や運転操作等の動作及び自車両の周囲の周辺環境に関係する各種情報を取得する情報取得手段１４と、自車両周辺に対する運転者の視認状況を把握する視認状況把握手段１５と、運転者により近い将来行われる運転タスクを特定するタスク特定手段１６と、当該運転タスクにおいて、運転者の視認状況に基づいて当該運転者の状況認識について判定する認識判定手段１７とを備えている。

前記情報取得手段１４は、自車両に取り付けられた所定のセンサやカメラ等からなる情報取得用機器１９と、情報取得用機器１９からの信号から各種情報を検出する検出部２０とからなる。

前記情報取得用機器１９は、自車両の周囲に存在する人や物等の認識対象物の存在及び相対位置関係を表す周辺車両情報を検知するためのライダ等の測域センサ２２と、自車両周囲の一定範囲内となる周辺空間を撮像可能に設けられた車外撮像用カメラ２３と、運転者の顔部分を含む自車両の車内空間を撮像可能に設けられた車内撮像用カメラ２４と、自車両周辺の降雨量を測定するための降雨センサ２５と、自車両周囲の明るさを測定するための光センサ２６と、ＧＰＳを利用するためのＧＰＳ送受信機２７と、外部で生成された地図情報や渋滞情報等の道路交通情報等を受信可能なデータ通信機２８と、自車両に対する運転者の操作状態を検出する運転操作状態検出機２９とからなる。この運転操作状態検出機２９は、運転者による方向指示器（ウインカー）の点滅操作や、運転者によるハンドルの操作に対応する操舵角や、運転者によるブレーキやアクセルの操作に対応する運転時の速度変化、加速度変化等を検知する各種センサ類からなる。

前記検出部２０は、ＧＰＳ送受信機２７を利用して自車両の現在位置情報を特定する自車両位置情報検出部３１と、自車両の周辺における各種の外部環境情報を検出する周辺環境情報検出部３２と、運転操作状態検出機２９からのデータにより自車両に対する運転者の操作情報を検出する自車両操作情報検出部３３と、車内撮像用カメラ２４で取得した運転者の顔部分の画像データから機械学習を利用した公知の画像処理手法を用いて、運転者の視線方向に関する視線情報を検出する運転者視線情報検出部３４からなる。

なお、特に限定されるものではないが、検出部２０は、自車両内に配置しても良いし、自車両に取り付けられた情報取得用機器１９との間でデータ通信が可能となるように、自車両から離れた外部のサーバ等に配置しても良い。

前記周辺環境情報検出部３２では、前記外部環境情報として、次の第１〜第６の周辺環境情報が取得される。

前記第１の周辺環境情報として、自車両が走行する道路が交差点かそうでない単路かについての道路情報について、自車両の現在位置と併せて取得される。すなわち、この道路情報は、出発地から目的地まで自車両が走行する地図情報を取得若しくは新たに作成し、ＧＰＳによる自車両の現在位置情報と組み合わせることで、現在及び想定される近未来において通過する道路について求められる。

前記第２の周辺環境情報として、車外撮像用カメラ２３により取得した自車両の前方空間の画像データから、公知の画像処理手法を利用し、道路レーンを仕切る白線や白い停止線と黒色の通行部分とを区別する車線情報について求められる。すなわち、この車線情報は、自車両が走行する道路の車線数と、自車両前方の停止線の存在と、自車両が現在走行している走行車線が特定された情報となる。

前記第３の周辺環境情報として、車外撮像用カメラ２３により取得した自車両の前方空間の画像データから、公知の画像処理手法を利用し、自車両前方の信号の存在及びその灯色と、自車両前方に存在する道路標識の種類とからなる信号標識情報が求められる。なお、特に限定されるものではないが、この信号標識情報は、Ｒ−ＣＮＮ(Regions with Convolutional Neural Networks)等の公知の物体検出手法により求められる。

前記第４の周辺環境情報として、自車両の周辺に存在する他車両の走行方向及び相対位置からなる周辺車両情報が求められる。ここでは、車外撮像用カメラ２３により取得した自車両周囲の画像データから他車両の存在や走行方向が求められるとともに、測域センサ２２の検出結果により他車両との相対距離が求められる。

前記第５の周辺環境情報として、自車両の周辺空間の降雨量及び明るさ等からなる気象情報が求められる。すなわち、ここでは、降雨センサ２５の検出結果により自車両の周辺空間の降雨量が求められ、光センサ２６の検出結果により自車両の周辺空間の明るさが求められる。

前記第６の周辺環境情報として、自車両の周辺に存在する歩行者の走行方向及び相対位置からなる周辺歩行者情報が求められる。ここでは、車外撮像用カメラ２３により取得した自車両周囲の画像データから歩行者の存在や走行方向が求められるとともに、測域センサ２２の検出結果により歩行者との相対距離が求められる。

前記自車両操作情報検出部３３では、運転者の方向指示器操作や、運転者によるハンドル操作による操舵角や、ブレーキやアクセルの操作量及び当該操作量に対応した運転時の速度変化や、自車両の加速度変化等の自車両操作情報が逐次検出される。

次に、前記視認状況把握手段１５、前記タスク特定手段１６、及び前記認識判定手段１７について説明する。

これら各手段１５〜１７は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって実行される。このコンピュータは、特に限定されるものではないが、自車両の内部又は外部に配置される他、当該コンピュータを自車両の内部及び外部に配置し、一部手段を自車両の内部で実行させ、残り手段を自車両の外部で実行させる態様を採ることもできる。

前記視認状況把握手段１５は、運転者視線情報検出部３４で検出した運転者の視線情報から、運転者の視線方向を複数の視認エリア毎に分類する視認エリア特定部３７と、視認エリア特定部３７での分類結果から、視認エリア毎に、自車両から所定範囲の空間内に存在する認識対象物の存在と運転者の視認状況を各時刻で対応させてなる時系列の視線データを生成する視線データ生成部３８とを備えている。

前記視認エリア特定部３７では、各時刻で取得した運転者の視線情報から、各時刻における運転者の視線方向がどの視認エリアの方向かが特定される。特に限定されるものではないが、本実施形態では、図２に示されるように、以下の７つの視認エリアＡ１〜Ａ７が設定されており、各時刻における運転者の視線方向を視認エリアＡ１〜Ａ７の何れかに振り分けるようになっている。すなわち、本実施形態における視認エリアとして、自車両のフロントガラス越しに視認される正面前方の前方エリアＡ１と、同バックミラーを通じて視認される真後方向のバックミラーエリアＡ２と、同左側の窓越しに視認される左側方の左ウインドウエリアＡ３と、同左側のサイドミラーを通じて視認される左後方の左サイドミラーエリアＡ４と、同右側の窓越しに視認される右側方の右ウインドウエリアＡ５と、同右側のサイドミラーを通じて視認される右後方の右サイドミラーエリアＡ６と、車内前方に存在するスピードメータエリアＡ７とが設定されている。

前記視線データ生成部３８では、視認エリア毎の時系列データとなる視線データが生成される。この視線データは、周辺環境情報検出部３２での検出結果から特定された他車両、歩行者、信号、標識等の認識対象物の位置情報と、視認エリア特定部３７で特定された運転者の視線方向とを各時刻で対応させてなる。換言すると、視線データは、各時刻における自車両の周辺の認識対象物の存在状況が視認エリア毎に区分され、各時刻における運転者の視線が存在する視認エリアを重畳することにより生成される。従って、この視線データにより、各視認エリアに存在する認識対象物を運転者が同時刻で視認できたか否かが推定可能になる。

前記タスク特定手段１６では、自車両操作情報検出部３３で検出される自車両の操作状態に基づいて、これから運転者が行う運転タスクを特定するようになっている。ここでの運転タスクとしては、右左折、車線変更、直進、左右カーブ走行、合流、駐車、追い越し、停止、発進等を例示でき、各パターンの運転タスクが予め記憶されている。例えば、運転者による方向指示器の点滅操作により、記憶された各運転タスクの中から次の運転タスクが選択される。先ず、方向指示器が操作され、且つ、周辺環境情報検出部３２で検出された道路情報から自車両の進行方向の直近に交差点が存在する場合には、方向指示器の点滅方向に自車両が右折若しくは左折する運転タスクが選択される。また、方向指示器の点滅操作がなされ、且つ、前記道路情報から直近で自車両が単路を進行する場合には、自車両が車線変更する運転タスクが選択される。一方、方向指示器の点滅操作がなされない場合には、自車両が直進する運転タスクが選択される。

前記認識判定手段１７は、基準となる適切な状況認識に対応する運転者の視線モデルを運転タスク毎に生成する視線モデル生成部４１と、視線モデル生成部４１で生成された視線モデルが記憶され、当該視線モデルと視線データ生成部３８で生成された実際の運転者の視線データとにより、運転者の状況認識が適切になされているか否かを判定する判定部４２とを備えている。

前記視線モデル生成部４１では、各運転タスクについて、過去に、状況認識が適切とされた過去の多数の視線データを統計処理することで、運転タスク毎の視線モデルが生成される。

前記視線モデルは、各運転タスクそれぞれについて、運転タスクを構成するフェーズ単位で、運転者が認識対象物を視認すべき視認エリアと、自車両の周辺で視認すべき認識対象物に対する視認時間の基準値である基準時間と、直進時等の運転タスクの際に運転者がどの位の時間間隔で周辺の状況を確認すべきかを表す視認間隔とがそれぞれ設定されてなる。

前記基準時間は、状況認識を行うのに必要となる運転者の視認時間に相当する時間であり、仮設定されたデフォルト時間に対して、判定部４２での判定の際に実際取得した各種情報に関するデータに基づき更新されるようになっている。つまり、ここでは、当該データとして、自車両の周辺空間における光の伝達性に影響する光学要素、視認エリアに対する運転者の視覚上のアクセス容易性に影響する位置要素、及び／又は、同一のタイミングでターゲットとなる認識対象物に対する運転者の視認回数が挙げられる。本実施形態では、次式の通り、光学要素、位置要素、及び視認回数にそれぞれ対応するパラメータである光学要素項、位置要素項、及び視認回数項をデフォルト時間にそれぞれ乗ずることにより、基準時間が求められる。
基準時間＝光学要素項×位置要素項×視認回数項×デフォルト時間

前記光学要素項は、降雨センサ２５から取得した降雨量に基づく降雨要素項と光センサ２６から取得した明るさに基づく明るさ要素項とを乗じてなる。前記降雨要素項は、判定部４２での判定時に取得した降雨量を、予め設定された降雨量係数に乗じることにより求められ、降雨量に対し比例関係となる。また、前記明るさ要素項は、判定部４２での判定時に取得した明るさを、予め設定された明るさ係数で除することにより求められ、明るさに対し反比例関係となる。

前記位置要素項は、視認すべき認識対象物が存在する視認エリアの位置に応じて、視認エリア毎に設定されたエリア係数からなる。例えば、運転者にとって、左ウインドウエリアＡ３は、前方エリアＡ１よりも見難い等、各視認エリアで運転者の見易さが異なることから、エリア係数は、各視認エリアでの運転者の見難さに対応して重み付けするための係数となっており、見難い視認エリアである程、高い数値を採る。

前記視認回数項は、視認回数に応じて定まる視認回数係数からなる。例えば、同一のフェーズにおいて、ある視認エリアで視認すべき認識対象物を視認した回数が２回に分割した場合には、１回目と２回目の視認の間に時間差が生じる。このことから、これら２回の合計時間は、１回のみの視認の場合の時間と変えた基準時間にする必要があり、視認回数に応じて定まる視認回数係数が設定されている。

以上の視線モデルを生成する際において、各運転タスクのフェーズ毎に運転者が認識対象物を視認すべき視認エリアと、前述した各種係数の設定とが必要となる。これらの設定においては、様々な運転者が過去に実際に行った各種の運転タスクについて、当該運転タスクが適切な状況認識の下に行われたとき、つまり、安全運転と判断されたときに取得した前記視線データを集め、統計処理を行うことで求められる。

ここで、運転者による実際の運転が安全運転であったか否かは、情報取得手段１４によって得られた検出結果に基づき自動的に判定される。すなわち、安全運転としては、無事故、無違反、自車両の移動軌跡が滑らかである等が挙げられ、運転タスクの前後で取得したデータにより安全運転か否かが判定される。例えば、アクセルペダルの操作状態が一定であるにも関わらず、急激に自車両の速度が低下した場合には、他車両との衝突等の何らかの事故が発生しており、その場合に得られた運転者の視線データは安全運転のものではないと判定される。また、ブレーキペダルを操作しているにも関わらず、急に加速度が増大した場合には、自車両が他車両に追突された等の何らかの事故が発生していると考えられ、その場合に得られた運転者の視線データは安全運転のものではないと判定される。換言すれば、ここでは、運転者における自車両への操作に関する入力値と、自車両からの出力値とが対比され、期待した出力値が得られないような場合に、その際の視線データが安全運転際のデータでない旨、判定される。従って、視線モデル生成部４１では、それ以外の安全運転時の視線データのみが抽出されて統計処理される。ここで、前述の各種係数は、多数集めた安全運転時の視線データを使って、重回帰分析等の統計手法を用いて求められる。

また、前記視認間隔については、直進時等の運転タスク時における過去の安全運転時の視線データから、平均的にどの位の間隔でルームミラー、サイドミラー、窓を見ているかにより決定される。

前記判定部４２では、次のようにして状況認識の判定がなされる。すなわち、先ず、タスク特定手段１６で特定された運転者がこれから行う運転タスクについて、当該運転タスクに係る視線モデルが抽出され、実際に得られた視線データと比較される。この際、運転者が、視線モデルで設定された適切な視認エリアについて、適切なタイミングにより、適切な視認時間で視認しているか否かが判断される。つまり、運転タスクの各フェーズで視認すべき視認エリア内に存在する認識対象物を十分な視認時間で運転者が視認しているか否かが判定される。ここでの視認時間は、自車両の周辺空間の降雨量及び明るさ、対象となる視認エリアの位置、及び各視認エリアでのフェーズ毎の視認回数に応じて定まる前述の基準時間により適否が判定される。すなわち、視認すべき視認エリアに存在する認識対象物に対する何れかの視認時間が基準時間に達しない場合には、当該運転タスクにおける認識対象物の状況認識が適切になされていないと推定される一方、そうでない場合には、状況認識が適切になされていると推定される。

前記サポート手段１２では、対象となる運転タスクにおける状況認識が適切でないと判定されたときに、運転者に正しい認識行動を適正なタイミングで促し、或いは、不十分とされた状況認識を十分に行うように、所定の伝達装置を通じて、運転者に注意喚起する運転支援情報を発するようになっている。

ここでの伝達装置としては、特に限定されるものではなく、運転者の視覚、聴覚、及び／又は触覚を通じて運転支援情報を伝達可能なディスプレイ、スピーカ、振動発生器等の機器類であれば何でも良く、各種の感覚を通じて各種の運転支援情報を伝達できる限りにおいて、他の様々なヒューマンインターフェースを適用可能である。

なお、サポート手段１２によるサポートとしては、前述した注意喚起等により運転者に再度の視認を促すものの他に、状況認識の低下による事故等を抑制するための機器やシステムに対して動作指令する等の各種サポートが可能である。

次に、前記運転支援システム１０による状況認識評価と当該評価に基づく運転支援の手順について、幾つかの運転タスク毎に例示的に設定したケースにより以下に説明する。

先ず、第１のケースとして、図３に示される交通状況を想定し、その状況下で自車両Ｍが右車線に車線変更を行う運転タスクについて、次のように、状況認識評価と運転支援が行われる。

先ず、このケースでの交通状況は次の通りである。自車両Ｍが、現時点で三車線の道路のうち中央車線を走行しており、同一車線において、自車両Ｍの前方に他車両Ａが走行し、同後方に他車両Ｂが走行している。また、中央車線の左側に位置する左車線において、自車両Ｍの斜め左後方を他車両Ｃが走行している。更に、中央車線の右側に位置する右車線（追い越し車線）において、自車両Ｍの斜め右後方から、自車両Ｍよりも高速で他車両Ｄ及び他車両Ｅが順に走行している。そして、この交通状況下において、図３中１点鎖線で示されるように、自車両Ｍの運転者が、右車線に車線変更をしながら、他車両Ｄ及び他車両Ｅの間に入り込むシナリオとなっている。

ここで、前提として、情報取得手段１４により、自車両Ｍの現在位置情報、自車両Ｍの周辺の各種環境情報、及び自車両Ｍに対する運転者の操作情報が、一定時間毎に取得されて図示しないメモリに記憶される。

そして、視線状況把握手段１５では、情報取得手段１４で取得した各種情報から運転者の視線データが逐次生成されて前記メモリに記憶される。このケースにおける視線データは、図４に模式的に図示される構成となっている。すなわち、この図では、視線データについて、同図中縦軸を視認エリアＡ１〜Ａ６とし、同横軸を時間ｔとしたグラフとして表現しており、この視線データにより、視認エリアＡ１〜Ａ６毎に、運転者の視線が存在する視認時間帯Ｔｍ（同図中ハッチング部分）と他車両Ａ〜Ｅの存在する時間帯Ｔａ〜Ｔｅとが重畳して特定される。この視線データは、自車両Ｍの速度や道路の法定速度に応じて定まる対象範囲Ｒ（図３中破線部分）内で生成される。この対象範囲Ｒは、自車両Ｍを中心に前後左右の所定距離の範囲内となる。

次に、タスク特定手段１６で運転タスクが特定される。第１のケースでは、情報取得手段１４で取得した情報により、右折方向に方向指示器を点滅させる操作を行い、且つ、交差点でない単路を走行していることが検知されたときに、これからなされる運転タスクとして、右方向への車線変更と特定される。

そして、認識判定手段１７において、右方向への車線変更に関する運転タスクにおける運転者の状況認識が適切にされているか否かを判定し、適切でない場合には、サポート手段１２によりサポートがなされる。

すなわち、この第１のケースでは、右折の方向指示器の点滅を開始した方向指示器の入力時の前後の時間帯の視線データから、運転者の状況認識について判定される。具体的に、ここで用いる視線データとしては、方向指示器の入力時から予め設定された所定時間前（例えば３秒前）である車線変更計画開始時から、ハンドル操作の操舵角が所定角度（例えば５度）以上になった車線変更開始時までの間の時間帯のものが用いられる。

ここで、右方向への車線変更に関する運転タスクにおいては、次の状況認識が必要となる。先ず、車線変更計画開始時から方向指示器入力時までの第１のフェーズでは、ルームミラーを通じて後方車両を確認し、後方車両が追い越ししようとしている場合には、自車両Ｍの車線変更ができない。また、この第１のフェーズでは、右サイドミラーと右窓を通じて他車両の存在をある程度確認する必要がある。

方向指示器入力時から車線変更開始時までの第２のフェーズでは、右サイドミラーや右窓を通じて、自車両Ｍ近傍における右車線に存在する他車両を確認し、何れの他車両の後方に入るのか等を想定する必要がある。

加えて、第１及び第２のフェーズでは、他の車線の他車両に気を取られて、同一車線を先行する前方の他車両Ａと衝突しないように、前方確認も必要となる。

そこで、認識判定手段１７の判定部４２では、当該運転タスクにおいて必要となる前述の状況認識が視認エリア毎に設定された視線モデルにより、実際の視線データについての判定がなされる。つまり、運転者により、適切な視認エリアを適切なタイミング及び視認時間で視認がなされたか否かにより、状況認識が適切になされたか否かが判断される。そして、状況認識が適切になされていないと判断された場合に、サポート手段１２による注意喚起がなされる。

第１のケースでは、第１のフェーズにおいて、前方エリアＡ１に存在する他車両Ａと、バックミラーエリアＡ２に存在する他車両Ｂと、右サイドミラーエリアＡ６に存在する他車両Ｄ、Ｅに対し、運転者の目視確認が必要となる。従って、判定部４２では、これらの視認エリアにおいて、認識対象物である各他車両の目視確認の有無及び視認時間が視線データから抽出され、予め生成された視線モデルを使って判定される。視認時間としては、第１のフェーズにおける各視認エリアで視認すべき他車両を視認した合計時間が、視線モデルの基準時間に達しているか否かが判定される。ここでの基準時間は、情報取得手段１４での情報取得結果から、前述の関係式により特定される。

図４の視線データの例では、第１のフェーズにおいて、前方エリアＡ１に存在する他車両Ａを２回視認していると考えられるが、その合計時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、方向指示器入力時の直後に、サポート手段１２によって、前方の確認が不十分である旨のサポートがなされる。

また、バックミラーエリアＡ２に存在する他車両Ｂについては、第１のフェーズで運転者が一度も視認していないことから、基準時間に達しておらず、方向指示器入力時の直後に、サポート手段１２によって、後方確認を要請する旨のサポートがなされる。

更に、第１のフェーズにおいて、右サイドミラーエリアＡ６に存在する他車両Ｄ、Ｅを１回視認していると考えられるが、その時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、方向指示器入力時の直後に、サポート手段１２によって、右側後方の確認が不十分である旨のサポートがなされる。更に、視線モデルにおいて、例えば、右サイドミラーエリアＡ６での視認後に右ウインドウエリアＡ５での認識対象物の確認も必要とされていれば、それがなされていないと、同様にサポート手段１２によるサポートがなされる。

なお、第１のフェーズにおいて、例えば、運転者が所定の視認エリアを基準時間以上視認した時間帯があっても、当該時間帯が、同フェーズで視認すべき認識対象物である他車両が存在する同フェーズ内の何れかの時間帯とずれている場合には、適切な視認タイミングを外しているとして、前記サポートがなされる。このように、基準時間との対比は、適切な視認タイミングの評価の関係から、各フェーズにおける実際の視認エリア内での視認時間のうち、当該フェーズで存在する当該視認エリア内の他車両が存在する時間との重複時間について行われる。このことは、以下の全ての基準時間による評価について同様である。

図４の例では、第２のフェーズにおいて、車線変更開始の直前に、前方エリアＡ１に存在する他車両Ａと、右ウインドエリアＡ５及び右サイドミラーエリアＡ６に存在する他車両Ｅについて、運転者の目視確認が必要となる。そこで、車線変更開始時から所定時間（例えば３秒）前までの自車両Ｍの運転者の視線データから、第１のフェーズと同様にして、各視認エリアＡ１、Ａ５、Ａ６における他車両の視認時間が基準時間に達しているか否かが判定される。その結果、目視していない視認エリアがあれば、サポート手段１２によって、当該視認エリアへの視認を促すサポートが車線変更開始時の直後になされ、目視をしていても基準時間に達していない視認エリアがあれば、当該視認エリアへの視認が不十分である旨のサポートがなされる。ここでのサポートは、第１のフェーズのサポートに比べ、運転者への働きかけをより強く行えるように設定される。

なお、左への車線変更をする運転タスクについても、左右の視認エリアを変えて第１のケースと同様の処理により、状況認識評価と運転支援が行われるが、基準時間については、前述した位置要素による係数の関係から、右への車線変更の運転タスクの場合と異なることになる。

次に、第２のケースとして、図５に示される交通状況を想定し、その状況下で自車両Ｍが交差点を右折する運転タスクについて、次のように、状況認識評価と運転支援が行われる。このケースでの交通状況は次の通りである。自車両Ｍの後方右寄りから右側方に向かってバイクである他車両Ｂが走行し、対向車線を走行する対向車両となる他の自動車である他車両Ｃが交差点を通過しようとしている。更に、自車両Ｍが交差点を右折する際に、その横断歩道上を歩行者Ｈが歩行している。

この第２のケースにおいても、情報取得手段１４により、各種情報が一定時間毎に取得されて記憶され、その情報により、視認状況把握手段１５において、運転者の視線データが逐次生成されて記憶される。このケースにおける視線データは、図６に示されるように、各視認エリアＡ１〜Ａ６について、運転者の視認の有無及びその視認時間帯Ｔｍと、自車両Ｍ周囲の他車両Ｂ、Ｃ及び歩行者Ｈの存在と、交差点における自車両Ｍの右折を判断する信号Ｓの存在及び灯色とを対応させた形で記憶される。なお、ここでの視線データについても、自車両Ｍを中心した前後左右の一定範囲Ｒ内で生成される。

次に、タスク特定手段１６で運転タスクが特定される。第２のケースでは、情報取得手段１４で取得した情報から、右折方向の方向指示器を点滅させる操作を行い、且つ、これから交差点を通過することが検知されたときに、交差点の右折に関する運転タスクが特定される。

そして、認識判定手段１７において、交差点の右折に関する運転タスクにおける運転者の状況認識が適切になされているか否かを判定した上で、適切になされていない場合には、サポート手段１２でのサポートがなされる。

すなわち、この第２のケースでも、情報取得手段１４での検出結果によって特定されたフェーズ毎に、視線データから運転者の状況認識について判定される。

ここでのフェーズとしては、右折方向の方向指示器の点滅を開始した方向指示器の入力時から、停止線から所定距離（例えば３０ｍ）以内に自車両Ｍが侵入した停止線直前侵入時までの第１のフェーズと、停止線直前侵入時から自車両Ｍが発進し若しくは停止線を越える停止線通過時までの第２のフェーズと、停止線通過時から右折が完了する第３のフェーズそれぞれに対し、運転者の状況認識について判定される。

ここで、交差点の右折に関する運転タスクにおいては、次の状況認識が必要となる。先ず、前記第１のフェーズにおいては、自車両Ｍを右方に幅寄せする前に、右サイドミラーや右窓を通じてバイク等の二輪車の存在を確認するとともに、前方を見て信号等を確認する必要がある。

そして、前記第２のフェーズにおいては、信号の変化状況を把握するために、再度前方を見て信号等を確認する必要がある。また、この際にも、右サイドミラーや右窓を通じてバイク等の二輪車の存在を確認する必要がある。

更に、前記第３のフェーズにおいては、赤信号により自車両Ｍが一時停止した場合、発進時にもう一度、信号確認を行うとともに、自車両Ｍの右側方のバイク等の二輪車の存在を確認する必要がある。一方、青信号で自車両Ｍが一時停止せずにそのまま右折する場合でも、もう一度、信号確認を行うとともに、自車両Ｍの右側方のバイク等の二輪車の存在を確認する必要がある。また、右折中は、前方から対向車両や歩行者を確認する必要がある。

そこで、認識判定手段１７の判定部４２では、第１のケースと同様に、得られた視線データについて、視線モデルに基づき、運転者が、適切な視認エリアを適切なタイミング及び視認時間で、運転者による視認が行われたか否かが判断され、状況認識が適切になされていないと判断された場合に、サポート手段１２による注意喚起がなされる。

この第２のケースでは、第１のフェーズにおいて、前方エリアＡ１に存在する信号Ｓと、右ウインドエリアＡ５若しくは右サイドミラーエリアＡ６に存在する他車両Ｂに対し、運転者の目視確認が必要となる。従って、判定部４２では、これらの視認エリアでの目視確認の有無及び視認時間が視線データから抽出され、予め生成された視線モデルの基準時間と対比される。ここでも、第１のケースと同様、視線データにおいて、視認すべき他車両を視認した視認時間の合計時間が基準時間に達しているか否かが判定される。

図６の視線データの例では、第１のフェーズにおいて、前方エリアＡ１に存在する信号Ｓを２回視認していると考えられるが、その合計時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、自車両Ｍが停止線に達する前に、サポート手段１２によって、前方の確認が不十分である旨のサポートがなされる。

更に、前記第１のフェーズにおいて、右サイドミラーエリアＡ６に存在する他車両Ｂを１回視認していると考えられるが、その時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、自車両Ｍが停止線に達する前に、サポート手段１２によって、右側方の確認が不十分である旨のサポートがなされる。

また、停止線直前侵入時において、その前後で信号が変化した場合に、当該停止線直前侵入時に前方エリアＡ１に存在する信号を視認しているか否かが判定され、視認していない場合には、停止線直前侵入時の直後に、サポート手段１２によって、前方の信号を再確認すべき旨のサポートがなされる。

図６の例では、第２のフェーズにおいて、停止線通過時の直前に、前方エリアＡ１に存在する信号Ｓ及び対向車両となる他車両Ｃと、右ウインドエリアＡ５若しくは右サイドミラーエリアＡ６に存在する他車両Ｂに対し、運転者の目視確認が必要となる。そこで、停止線通過時から所定時間（例えば１．５秒）前までの自車両Ｍの運転者の視線データから、第１のフェーズと同様にして、視認エリアＡ１と、視認エリアＡ５若しくはＡ６に存在する認識対象物に対する視認時間が基準時間に達しているか否かが判定される。この第２のフェーズにおいては、前方エリアＡ１に存在する信号Ｓ及び対向車両となる他車両Ｃを１回視認していると考えられる。そこで、その際の視認時間が、基準時間に達しているか否かが判定され、当該基準時間に達していない場合には、サポート手段１２により、停止線通過時の直後に、基準時間に達していない視認エリアへの視認が不十分である旨のサポートがなされる。また、右ウインドウエリアＡ５への視認が行われておらず、右サイドミラーエリアＡ６に対する視認タイミングがずれていることから、これらエリアＡ５，Ａ６に存在する他車両Ｂの視認がされていないと考えられる。そこで、サポート手段１２により、停止線通過時の直後に、当該視認エリアへの視認を要請する旨のサポートがなされる。

また、前記第３のフェーズでは、前方エリアＡ１に存在する対向車両である他車両Ｃ及び歩行者Ｈに対し、運転者の目視確認が必要となる。ところが、図６の例では、第３のフェーズにおける前方エリアＡ１には、他車両Ｃが既に通過して存在しておらず、また、歩行者Ｈが存在するのみである。従って、当該第３のフェーズにおける前方エリアＡ１での認識対象物は、歩行者Ｈのみであり、運転者は、歩行者Ｈが存在するタイミングで前方エリアＡ１を１回視認しており、その視認時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、サポート手段１２によって、前方の確認が不十分である旨のサポートがなされる。

なお、交差点を左折する運転タスクについても、左右の視認エリアを変えて第２のケースと同様の処理により、状況認識評価と運転支援が行われるが、基準時間については、前述した位置要素による係数の関係から、右への車線変更の運転タスクの場合と異なることになる。

次に、第３のケースとして、図７に示される交通状況を想定し、その状況下で自車両Ｍが直進する運転タスクについて、次のように運転支援が行われる。このケースでの交通状況は次の通りである。自車両Ｍが、現時点で３車線の道路のうち左車線を走行しており、同一車線において、自車両Ｍの前方に他車両Ａが走行し、同後方に他車両Ｂが走行している。また、自車両Ｍの右側の車線には、自車両Ｍの斜め後方から、自車両Ｍよりも高速で他車両Ｃ及び他車両Ｄが順に走行している。

この第３のケースにおいても、情報取得手段１４により、各種情報が一定時間毎に取得されて記憶され、その情報により、視認状況把握手段１５において、運転者の視線データが逐次生成されて記憶される。このケースにおける視線データは、図８に示されるように、各視認エリアＡ１〜Ａ６について、運転者の視認の有無及びその視認時間帯Ｔｍと、他車両Ａ〜Ｄの存在とが対応した形で記憶される。なお、ここでの視線データについても、前述と同様に、自車両Ｍを中心した前後左右の一定範囲Ｒ内で生成される。

次に、タスク特定手段１６で運転タスクが特定される。第３のケースでは、情報取得手段１４で取得した情報から、右折の方向指示器を点滅させる操作が無く、且つ、交差点でない単路を今後走行することが検知されたときに、直進に関する運転タスクが特定される。

そして、認識判定手段１７において、直進に関する運転タスクにおける運転者の状況認識が適切になされているか否かを判定し、適切になされていないと判定された場合には、サポート手段１２でのサポートがなされる。

この第３のケースについては、視線モデルの生成時に設定された視認間隔毎に、視線データから運転者の状況認識について判定される。

ここで、直進に関する運転タスクにおいては、次の状況認識が必要となる。一定間隔毎に、ルームミラーやサイドミラー等により、運転者が一定範囲内に存在する他車両を確認することが必要となる。つまり、最も左側の車線を直進する第３のケースでは、視認間隔毎の時間帯において、運転者は、フロントガラスから前方車両を確認し、ルームミラーを通じて後方車両を確認し、更に、右サイドミラーを通じて、自車両Ｍの右側車線に存在する他車両を確認する必要がある。

すなわち、図７及び図８から、前方エリアＡ１と、バックミラーエリアＡ２と、右サイドミラーエリアＡ６とに存在する他車両Ａ〜Ｄに対し、運転者の目視確認が必要となる。従って、判定部４２では、これらの視認エリアでの目視確認の有無及び視認時間が視線データから抽出され、予め生成された視線モデルの基準時間と対比される。ここでも、前述の各ケースのときと同様に、視線データにおいて、視認すべき他車両を視認した視認時間の合計時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、運転者の状況認識が適切になされていないと判断され、サポート手段１２により、その都度、必要な視認エリアでの視認がなされていない、若しくは、視認時間が不足している旨の注意喚起がなされる。

なお、前記実施形態では、自動車の運転者を対象者として、注意喚起情報を含む各種の運転支援情報を提示する場合を図示説明したが、本発明はこれに限らず、所定の移動体等を操作しながら当該移動体とともに所定の環境中を移動する対象者が、その周辺環境の状況を適切に認識しているか否かを推定する状況認識推定システム１１として利用可能である。つまり、本発明に係る状況認識推定システム１１としては、対象者の周囲を相対移動する認識対象物について、その対象者が適切に認識しているか否かを推定するシステムとして、種々の態様での利用が可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０ 運転支援システム
１１ 状況認識推定システム
１２ サポート手段
１４ 情報取得手段
１５ 視認状況把握手段
１６ タスク特定手段
１７ 認識判定手段
３７ 視認エリア特定部
３８ 視線データ生成部
４１ 視線モデル生成部
４２ 判定部

Claims (7)

1. 対象者の周囲を相対移動する認識対象物について、前記対象者が適切に認識しているか否かを推定する状況認識推定システムにおいて、
   前記対象者の動作及び前記対象者の周辺環境に関係する各種情報を取得する情報取得手段と、当該情報取得手段からの情報により、前記対象者における前記認識対象物の視認状況を把握する視認状況把握手段と、前記情報に基づき、前記対象者によって近い将来行われるタスクを特定するタスク特定手段と、前記視認状況に基づき、前記タスクにおける前記対象者の状況認識について判定する認識判定手段とを備え、
   前記視認状況把握手段は、前記対象者の視線方向を複数の視認エリア毎に分類する視認エリア特定部と、当該視認エリア特定部での分類結果から、前記視認エリア毎に、前記認識対象物の存在と前記視認状況を各時刻で対応させてなる時系列の視線データを生成する視線データ生成部とを備え、
   前記認識判定手段は、基準となる状況認識に対応する視線モデルが前記タスク毎に記憶され、前記視線データと前記視線モデルから、前記認識対象物に対する状況認識が適切になされているか否かを判定する判定部を備え、
   前記判定部では、前記対象者が前記認識対象物を視認すべき前記各視認エリアにおいて前記認識対象物を視認するタイミングと、当該認識対象物を視認する視認時間とが適切か否かを判定することで、前記状況認識の判定を行うことを特徴とする状況認識推定システム。
2. 前記認識判定手段は、前記状況認識が適切とされた過去の前記視線データを使って前記視線モデルを生成する視線モデル生成部を更に備えたことを特徴とする請求項１記載の状況認識推定システム。
3. 前記視線モデルは、前記タスク毎に、視認すべき前記視認エリアと、前記状況認識を行うのに必要となる前記視認時間に相当する基準時間とが設定され、
   前記判定部では、前記視線データから、視認すべき前記視認エリアで前記認識対象物を視認し、且つ、実際の前記視認時間が前記基準時間に達しているか否かが判定されることを特徴とする請求項１又は２記載の状況認識推定システム。
4. 前記基準時間は、前記状況認識の判定時における前記対象者の周辺空間の光の伝達性に影響する光学要素、前記各視認エリアに対する前記対象者の視覚上のアクセス容易性に影響する位置要素、及び／又は、同一のタイミングでターゲットとなる前記認識対象物に対する前記対象者の視認回数をパラメータとした所定の関係式により求められることを特徴とする請求項３記載の状況認識推定システム。
5. 前記関係式を構成する定数は、前記状況認識が適切とされた過去の前記視線データを統計処理することで求められることを特徴とする請求項４記載の状況認識推定システム。
6. 前記タスクは、前記対象者を移動体の運転者とした運転タスクであり、
   前記情報取得手段では、前記移動体の現在位置情報と、前記移動体が走行する道路が交差点かそうでない単路かについての道路情報と、前記移動体に対する運転者の操作情報とを含む各種情報が取得され、
   前記タスク特定手段では、前記現在位置情報、前記道路情報、及び前記操作情報に基づき、前記運転タスクについて予め記憶された複数のパターンの中から該当する前記運転タスクが選択されることを特徴とする請求項１記載の状況認識推定システム。
7. 請求項１〜６の何れかに記載の状況認識推定システムが適用され、前記対象者を移動体の運転者とし、前記状況認識推定システムによる前記移動体の周囲の状況認識の推定結果により、前記運転者への運転支援を行う運転支援システムにおいて、
   前記認識判定手段で前記運転者の運転中の状況認識が適切になされていないと判定された場合に、前記運転者に対するサポートを行うサポート手段を備えたことを特徴とする運転支援システム。