JP2020154375A

JP2020154375A - 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム

Info

Publication number: JP2020154375A
Application number: JP2019049533A
Authority: JP
Inventors: 瑠一澄川; Ryuichi Sumikawa; 圭一渡邉; Keiichi Watanabe
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2020-09-24
Anticipated expiration: 2039-03-18
Also published as: JP7376996B2

Abstract

【課題】簡素な構成で車両外の危険状況を判別する。【解決手段】車両の乗員の視線の動きを取得する視線情報取得部５０２と、視線の動きに基づいて車両外の危険状況を判別する危険状況判別部５０４と、を備える、車両の危険状況判別装置が提供される。この構成により、簡素な構成で車両外の危険状況を判別することが可能となり、危険状況に対して適切な対処を行うことが可能となる。【選択図】図１

Description

本発明は、車両の危険状況判別装置、車両の危険状況判別方法、及びプログラムに関する。

従来、例えば下記の特許文献１には、移動体の搭乗者の状態変化を検知し、状態変化に応じて移動体の外部の撮影画像を含む外部状況情報を送信する
ことが記載されている。

特開２０１７−２１７４５号公報

しかし、上記特許文献に記載された技術は、車内撮影カメラで搭乗者の動作を撮影することで、搭乗者の状態の変化を検知した場合は、車外撮影カメラから受信した画像の一部を抽出して送信を行うものである。このため、道路等の経路で発生する事象についての個々の判断は画像によるものとなる。このため、画像を判断するために煩雑な処理が必要になる問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、簡素な構成で車両外の危険状況を判別することが可能な、新規かつ改良された車両の危険状況判別装置、車両の危険状況判別方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、車両の乗員の視線の動きを取得する視線情報取得部と、前記視線の動きに基づいて車両外の危険状況を判別する危険状況判別部と、を備える、車両の危険状況判別装置が提供される。

前記危険状況判別部は、前記視線の動きと、予め定められた所定の軌跡とを比較することで、前記危険状況を判別するものであっても良い。

また、前記危険状況判別部により、前記危険状況が存在すると判定された場合に、当該危険状況の位置情報を取得する位置情報取得部を備えるものであっても良い。

また、前記危険状況と前記位置情報を車両外に送信する処理を行う送信処理部を備えるものであっても良い。

また、前記危険状況判別部により、前記危険状況が存在すると判定された場合に、前記乗員に前記危険状況に関する質問を提示する処理を行う提示処理部を備えるものであっても良い。

また、前記危険状況判別部は、前記質問に対する回答を考慮して、前記危険状況を判別するものであっても良い。

また、前記提示処理部は、前記質問に対する回答を選択肢の形式で提示するものであっても良い。

また、前記質問に対する前記選択肢の選択による回答を取得する回答取得部を備えるものであっても良い。

また、前記質問に対する回答を乗員の音声により取得する回答取得部を備えるものであっても良い。

また、上記課題を解決するために、本発明の別の観点によれば、車両の乗員の視線の動きを取得するステップと、前記視線の動きに基づいて車両外の危険状況を判別するステップと、を備える、車両の危険状況判別方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、車両の乗員の視線の動きを取得する手段、前記視線の動きに基づいて車両外の危険状況を判別する手段、としてコンピューターを機能させるためのプログラムがが提供される。

以上説明したように本発明によれば、簡素な構成で車両外の危険状況を判別することが可能な、車両の危険状況判別装置、車両の危険状況判別方法、及びプログラムを提供することが可能となる。

本発明の一実施形態に係る車両システム１０００と、その周辺の構成を示す模式図である。本実施形態で行われる処理を示すフローチャートである。本実施形態で行われる処理を示すフローチャートである。サーバ２０００側に送信された危険な状況を示す情報の一覧を示す模式図である。座標Ｐｅの算出方法を示す模式図である。道路上にある落下物などを乗員が見ている場合を示す模式図である。進行方向の道路上を横断する人や動物などを見ている状態を示す模式図である。座標Ｐｅの移動軌跡と別のモデルとの適合を確認する場合を示す模式図である。動物や人などの移動体との判別方法を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本実施形態では、人間が有する危険認知能力、判断能力を危険判定に組み込むことで、車両が検出できない危険状況を検出し、車車間通信などによって送信し、危険情報を共有する。図１は、本発明の一実施形態に係る車両システム１０００と、その周辺の構成を示す模式図である。車両システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、車両システム１０００は、視線計測装置１００、位置検出装置２００、情報提示装置３００、情報入力装置４００、制御装置５００、ナビゲーション装置７００、通信装置８００、データベース９５０を有して構成されている。車両システム１０００は、外部のサーバ２０００と通信可能に構成されている。

視線計測装置１００は、例えば車内のダッシュパネル等に設置され、乗員の視線を計測する。車両位置計測装置２００は、グローバル・ポジショニング・システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等により車両の現在位置を取得する。

情報提示装置３００は、スピーカ、モニタ、ＨＵＤ（Ｈｅａｄ−ｕｐＤｉｓｐｌａｙ）装置等から構成され、乗員に情報を提示する。情報入力装置４００は、乗員が情報を入力する装置である。情報入力装置４００は、例えばボタン、タッチパネルなどの操作により情報を入力するものであっても良い。また、情報入力装置４００は、マイクロフォンなど、乗員の音声を入力するものであっても良い。

制御装置５００は、視線計測装置１００が計測した乗員の視線に基づいて、車両外の危険な状況を認識し、危険な状況に関する情報をサーバ２０００へ送信するための処理を行う。このため、制御装置５００は、視線情報取得部５０２、危険状況判別部５０４、位置情報取得部５０６、送信処理部５０８、提示処理部５１０、回答取得部５１２、を有している。視線情報取得部５０２は、視線計測装置１００から乗員の視線の動きを取得する。危険状況判別部５０４は、視線の動きに基づいて車両外の危険状況を判別する。位置情報取得部５０６は、危険状況が存在すると判定された場合に、危険状況の位置情報を取得する。送信処理部５０８は、危険状況と位置情報を、通信装置８００を介して車両外のサーバ２０００や他車両に送信する処理を行う。提示処理部５１０は、危険状況に関する質問を、情報提示装置３００を介して乗員に提示するための処理を行う。回答取得部５１２は、質問に対する回答を、情報入力装置４００を介して取得する処理を行う。なお、制御装置５００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。

通信装置８００は、車両外部のサーバ２０００と通信を行い、各種情報を送受信する。ナビゲーション装置７００は、地図情報に基づいて、現在地から目的地までの経路を検索する。このため、ナビゲーション装置７００は、グローバル・ポジショニング・システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等により車両の現在位置を取得することができる。また、ナビゲーション装置７００は現在地まで車両が走行してきた経路を記憶している。

サーバ２０００は、車両システム１０００から危険な状況に関する情報を取得し、データベースに登録する。また、サーバ２０００は、蓄積した情報を車両システム１０００へ送信する処理を行う。このため、サーバ２０００は、危険状況取得部２０１０、データ登録部２０２０、送信処理部２０３０、データベース２０４０を備えている。危険状況取得部２０１０は、車両システム１０００から危険な状況に関する情報を取得する。データ登録部２０４０は、危険状況取得部２０１０が取得した情報をデータベース２０４０に登録する処理を行う。通信処理部２０３０は、車両システム１０００の通信装置８００と通信を行うための処理を行う。データベース２０４０には、車両システム１０００から取得した危険な状況に関する情報が登録される。なお、サーバ２０００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。

図２及び図３は、本実施形態で行われる処理を示すフローチャートである。先ず、ステップＳ１０では、視線計測装置１００をオンにした状態で、車両の運転を開始する。次のステップＳ１２では、乗員の閉眼率Ｅを計算する。次のステップＳ１４では、乗員の視線が向いている座標Ｐｅを計算する。なお、乗員としてドライバを例示するが、乗員はドライバ以外であっても良い。次のステップＳ１６では、座標Ｐｅの変化が事前に設定したパラメータと一致したか否かを判定し、一致した場合はステップＳ１８へ進む。

後述するが、事前に視線の変化を表す複数のパラメータが設定され、複数のパラメータのそれぞれは、複数の危険な状況に対応している。従って、座標Ｐｅの変化がいずれかのパラメータと一致する場合は、視線が滞留し、乗員がいずれかの危険な状況を認識したと判断できる。また、座標Ｐｅの変化がいずれのパラメータと一致するかを判定することで、乗員が注視した危険な状況の種類を判別できる。一方、ステップＳ１６で、座標Ｐｅの変化が事前に設定したパラメータと一致しない場合は、ステップＳ１４へ戻る。

ステップＳ１８では、閉眼率Ｅが所定のしきい値Ｅ１以内であるか否かを判定し、閉眼率Ｅが所定のしきい値Ｅ１以内の場合はステップＳ１９へ進む。一方、ステップＳ１８で閉眼率Ｅが所定のしきい値Ｅ１を超える場合は、ステップＳ１２へ戻る。

ステップＳ１９へ進んだ場合は、座標Ｐｅの変化が事前に設定したパラメータと一致し、且つ、閉眼率Ｅが所定のしきい値Ｅ１以内であるため、乗員が覚醒している状態で車両外の危険な状況を認識したと判断できる。このため、ステップＳ１９では、ステップＳ１６の条件が成立した時点の自車両の位置座標Ｐｖと、視線が滞留した座標Ｐｅを取得する。なお、位置座標Ｐｖは地理座標系（緯度、経度、高度など）の位置情報であり、座標Ｐｅは車両座標系（X,Y,Z）などの位置情報である。

次のステップＳ２０では、乗員の注視点の座標Ｐｅを地理座標系に変換し、乗員の注意ポイントＰｖｅを求める。なお、座標Ｐｅの注意ポイントＰｖｅへの変換は、車両位置を原点として基準とする座標Ｐｅに対し、原点を地理座標系である自車両位置Ｐｖとすることで行うことができる。次のステップＳ２１では、座標Ｐｅの変化と事前に設定したパラメータとの一致に基づいて、危険な状況を判別する。これにより、注意ポイントＰｖｅの位置情報と、危険な状況の詳細が車両システム１０００側に認識される。次のステップＳ２２では、注意ポイントＰｖｅの位置情報、ステップＳ１６の条件が成立した時点の時刻情報、危険な状況の詳細などをデータベース９５０に登録し、サーバ２０００へ送信する。

以降の処理では、乗員に質問を出すことで、危険な状況の詳細を明らかにする。なお、以降の処理を行わなくても良い。先ず、ステップＳ２２では、情報提示装置３００から質問を出す。質問は、複数の種類を選択肢の形式で表示することによって行われる。質問の選択肢として、事故、故障車両など（選択肢１−１）、落下物、道路や器物の破損など（選択肢１−２）、人や動物などの飛び出しなど移動物体によるもの（選択肢１−３）、道路の凍結や雪、深い水たまりなど（選択肢１−４）、その他（選択肢１−５）を挙げる。

ステップＳ２４では、乗員が情報入力装置４００を操作することで、これらの選択肢の中から認識した危険状況に合致するものを選択する。乗員による選択結果は、ステップＳ２６で車両のデータベース９５０に登録され、またステップＳ２８でサーバ２０００へ送信される。なお、乗員がいずれの選択肢も選択しなかった場合、すなわち、質問に対して回答しなかった場合は、ステップＳ１２に戻る。

次のステップＳ３０では、乗員に対して更に補足するか否かを質問し、補足する旨の回答が得られた場合は、ステップＳ３２へ進む。一方、ステップＳ３０で補足しない旨の回答が得られた場合は、ステップＳ１２に戻る。

ステップＳ３２では、発話によって乗員が補足した音声データを情報入力装置４００により取得する。次のステップＳ３４では、取得した音声データをデータベース９５０に登録する。なお、データベース９５０への登録は、音声データのまま登録しても良いし、音声データをテキスト化して登録しても良い。また、音声データをテキスト化し、詳細な項目に分類した上でデータベース９５０に登録しても良い。次のステップＳ３６では、ステップＳ３４で登録した情報をサーバ２０００へ送信する。また、音声データの処理は、車両システム１０００側で行っても良いし、サーバ２０００側で行っても良い。

次のステップＳ３８では、車車間通信が可能な車両が存在するか否かを判定し、車車間通信が可能な車両が存在する場合は、ステップＳ４０へ進む。ステップＳ４０では、ステップＳ２２，Ｓ２６，Ｓ３６で登録した情報を車車間通信が可能な車両へ送信する。

以上のように、図２の処理によれば、視線が向いている座標Ｐｅに基づいて危険な状況の種類を判別でき、位置情報とともに車両に登録し、またサーバ２０００や他車両へ送信することができる。また、乗員に質問を投げることで、危険な状況をより詳細に判別することができ、危険な状況の詳細な情報を車両に登録し、またサーバ２０００や他車両へ送信することができる。危険な状況を判別した車両システム１０００は、情報提示装置３００により乗員に警告をすることもできる。また、危険な状況を判別した車両システム１０００は、車両の減速制御や操舵制御など、車両制御に活用することもできる。

図４は、サーバ２０００側に送信された危険な状況を示す情報の一覧を示す模式図である。図４に示す情報は、複数の車両からサーバ２０００へ送信され、サーバ２０００のデータベース２０４０に登録される。図４において、「発生時刻」はステップＳ１６の条件が成立した時点の時刻情報であり、「緯度、経度」は注意ポイントＰｖｅの位置情報である。「判定手段」の「自動」は、ステップＳ２１において、座標Ｐｅの変化と事前に設定したパラメータとの一致に基づいて、危険な状況を判別した場合を示している。「判定手段」の「手動」は、ステップＳ２１に加えて、ステップＳ２４の質問に対する回答、ステップＳ３２の音声データによる補足に基づいて、危険な状況を判別した場合を示している。「音声」は、乗員が発話した音声のデータファイルを示している。「テキスト」は、ステップＳ３２の音声データによるテキストの数を示している。また、「詳細な分類」は、危険状況を詳細に分類した内容を示している。「カウント」は、各注意ポイントＰｖｅの情報を送信した車両システム１０００の数を示している。なお、車両システム１０００またはサーバ２０００は、視線の動きと詳細な分類の対応を学習する機械学習部を備えていても良い。視線の動きと詳細な分類の対応を大量のデータに基づいて学習することで、視線の動きに基づく危険状況の判別の精度をより高めることが可能となる。

次に、図５〜図９に基づいて、図２のステップＳ１４における座標Ｐｅの計算と、ステップＳ１６における座標Ｐｅの変化とパラメータとの一致の判定について説明する。図５〜図９では、車両１０に乗員２０が乗車している様子を上から見た状態を示している。図５は、座標Ｐｅの算出方法を示す模式図である。視線計測装置１００により、左右の目の視線を検出し、左右の目の視線が交差している点を座標Ｐｅとする。座標Ｐｅの原点は車両１０の基準点とするが、注意ポイントＰｖｅの緯度、経度に変換できるように、位置検出装置２００から車両１０の基準点の緯度、経度を求めておく。

図６は、道路上にある落下物などを乗員２０が見ている場合を示している。この場合、車両１０が前進するに従って、視線が向いている座標Ｐｅの位置が車両１０側に近づいていく。ここで、Ｖｖを車両１０の速度ベクトル、Ｖｅを座標Ｐｅの速度ベクトルとする。また、ＶｅｘをＶｅのｘ成分とし、ＶｅｙをＶｅのｙ成分とする。この場合に、ステップＳ１６における判定条件として、乗員２０が道路上のある一点を見つめている状態を、以下の条件（１）、条件（２）、条件（３）のアンド条件で定義する。
条件（１）｜Ｖｖ＋Ｖｅｘ｜≦Ｖｘ１（但し、Ｖｘ１は０に近い値とする）
条件（２）｜Ｖｅｙ｜≦Ｖｙ１（但し、Ｖｙ１は０に近い値とする）
条件（３）条件（１）、条件（２）の状態がＴ１［ｓ］以上継続（但し、Ｔ１は任意の値とする）
なお、上記の条件に加えて、「高低差が無いこと」などの条件を更に加えても良い。

図７は、乗員２０が進行方向の道路上を横断する人や動物などを見ている状態を示している。この場合、視線が向いている座標Ｐｅの位置が車両１０の前方左から前方右へ移動していく。この場合に、ステップＳ１６における判定条件として、道路上を横断している人や動物などを見つめている状態を、以下の条件（４）、条件（５）、条件（６）のアンド条件で定義する。
条件（４）｜Ｖｖ＋Ｖｅｘ｜≦Ｖｘ２（但し、Ｖｘ２は０に近い値とする）
条件（５）｜Ｖｅｙ｜≧Ｖｙ２（但し、Ｖｙ２は所定値とする）
条件（６）条件（１）、条件（２）の状態がＴ１［ｓ］以上継続（但し、Ｔ１は任意の値とする）
なお、上記の条件に加えて、「高低差が無いこと」などの条件を更に加えても良い。

図８は、座標Ｐｅの移動軌跡と別のモデルとの適合を確認する場合を示している。この場合に、ステップＳ１６における判定条件として、予め設定された移動体モデルＰｔｈと、座標Ｐｅの一致度合を判定する。移動体モデルＰｔｈは、人や動物などの動きを想定しており、複数種類が予め設定されていても良い。

図９は、動物や人などの移動体との判別方法を示している。周辺状況の確認を行う際の視線移動は、様々な場所を確認するため非常に速い速度で変化する。その速度は、動物や人などの移動体が移動する速度とは異なるため、速度を用いて判別する。この場合に、ステップＳ１６における判定条件として、以下を定義する。なお、図９の判定は、他の判定と組み合わせて行うことができる。
Ｖｅ≧Ｖ１の場合、人や動物などの移動体は存在しない。
Ｖｅ＜Ｖ１の場合、人や動物などの移動体が存在する可能性あり。
Ｖｅ＜Ｖ１が一定時間以上継続した場合は、人や動物などの移動体があったと判定する。
また、Ｖｅが静止（または、ほぼ静止）の状態であるときは、人や動物が静止しているリスクがあると推定しても良い。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

５０２視線情報取得部
５０４危険情報判別部
５０６位置情報取得部
５０８送信処理部
５１０提示処理部
５１２回答取得部

Claims

車両の乗員の視線の動きを取得する視線情報取得部と、
前記視線の動きに基づいて車両外の危険状況を判別する危険状況判別部と、
を備えることを特徴とする、車両の危険状況判別装置。
前記危険状況判別部は、前記視線の動きと、予め定められた所定の軌跡とを比較することで、前記危険状況を判別することを特徴とする、請求項１に記載の車両の危険状況判別装置。
前記危険状況判別部により、前記危険状況が存在すると判定された場合に、当該危険状況の位置情報を取得する位置情報取得部を備えることを特徴とする、請求項１又は２に記載の車両の危険状況判別装置。
前記危険状況と前記位置情報を車両外に送信する処理を行う送信処理部を備える、請求項３に記載の車両の危険状況判別装置。
前記危険状況判別部により、前記危険状況が存在すると判定された場合に、前記乗員に前記危険状況に関する質問を提示する処理を行う提示処理部を備えることを特徴とする、請求項１〜４のいずれかに記載の車両の危険状況判別装置。
前記危険状況判別部は、前記質問に対する回答を考慮して、前記危険状況を判別することを特徴とする、請求項５に記載の車両の危険状況判別装置。
前記提示処理部は、前記質問に対する回答を選択肢の形式で提示することを特徴とする、請求項５又は６に記載の車両の危険状況判別装置。
前記質問に対する前記選択肢の選択による回答を取得する回答取得部を備えることを特徴とする、請求項７に記載の車両の危険状況判別装置。
前記質問に対する回答を乗員の音声により取得する回答取得部を備えることを特徴とする、請求項５〜７のいずれかに記載の車両の危険状況判別装置。
車両の乗員の視線の動きを取得するステップと、
前記視線の動きに基づいて車両外の危険状況を判別するステップと、
を備えることを特徴とする、車両の危険状況判別方法。
車両の乗員の視線の動きを取得する手段、
前記視線の動きに基づいて車両外の危険状況を判別する手段、
としてコンピューターを機能させるためのプログラム。