JP2016192128A - 情報提供装置および情報提供方法 - Google Patents
情報提供装置および情報提供方法 Download PDFInfo
- Publication number
- JP2016192128A JP2016192128A JP2015072461A JP2015072461A JP2016192128A JP 2016192128 A JP2016192128 A JP 2016192128A JP 2015072461 A JP2015072461 A JP 2015072461A JP 2015072461 A JP2015072461 A JP 2015072461A JP 2016192128 A JP2016192128 A JP 2016192128A
- Authority
- JP
- Japan
- Prior art keywords
- information
- vehicle
- driver
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】車両の状態または当該車両の走行環境に関する情報を、直感的に運転者に伝達する。【解決手段】車両の状態または当該車両の走行環境に関する情報であるセンサ情報を取得するセンサ情報取得手段と、所定のパラメータを用いて、前記センサ情報またはセンサ情報の変化を、図形または色彩によって表現した映像を生成する映像生成手段と、前記生成した映像を、前記車両の運転者の体の少なくとも一部に投影する投影手段と、を有する。【選択図】図1
Description
本発明は、車両の走行に関する情報を運転者に提供する装置に関する。
車両の運転者に対して、車両周辺にある障害物の存在を伝達する技術の一つとして、車外カメラによって撮像した映像を車内のモニタに表示する装置がある。
しかし、このような装置では、カメラから見た映像をモニタに出力するため、車両と障害物とがどのような位置関係にあるのかを運転者に直感的に把握させることが難しい。例えば、車両のコーナーにカメラが設けられている場合、障害物がコーナーに接触するか否かを知ることはできても、映っている障害物が、自分から見てどの方向にあるかを瞬時に把握することは難しい。
これを解決するための発明として、特許文献1に記載の情報提示装置がある。当該情報提示装置によると、物体によって隠蔽される情報を、当該物体の表面に投影することで、あたかもその物体が透明であるかのように見せることができる。これを、車両に適用することで、例えば、後方の風景を後部座席に投影することができ、後方にある障害物の方向と距離を、運転席から直感的に把握できるようになる。
特許文献1に記載の発明を用いることで、運転者に対して、障害物の位置をより直感的に提示することができる。
しかし、当該技術では、距離感覚と方向を提示することはできるが、車両が透明であるかのような効果を出すため、車体(ボディ)がどこにあるかを示すことができない。すなわち、どの程度進行すれば障害物と接触するかについては、従来通りの運転者の感覚に頼らざるを得ない。
しかし、当該技術では、距離感覚と方向を提示することはできるが、車両が透明であるかのような効果を出すため、車体(ボディ)がどこにあるかを示すことができない。すなわち、どの程度進行すれば障害物と接触するかについては、従来通りの運転者の感覚に頼らざるを得ない。
本発明は上記の課題を考慮してなされたものであり、車両の状態または当該車両の走行環境に関する情報を、直感的に運転者に伝達することを目的とする。
本発明に係る情報提供装置は、
車両の状態または車両の走行環境に関する情報であるセンサ情報を取得するセンサ情報取得手段と、所定のパラメータを用いて、前記センサ情報またはセンサ情報の変化を、図形または色彩を用いて表現した映像を生成する映像生成手段と、前記生成した映像を、前記車両の運転者の体の少なくとも一部に投影する投影手段と、を有することを特徴とする。
車両の状態または車両の走行環境に関する情報であるセンサ情報を取得するセンサ情報取得手段と、所定のパラメータを用いて、前記センサ情報またはセンサ情報の変化を、図形または色彩を用いて表現した映像を生成する映像生成手段と、前記生成した映像を、前記車両の運転者の体の少なくとも一部に投影する投影手段と、を有することを特徴とする。
センサ情報とは、車両の状態または車両の走行環境に関する情報であって、典型的には、車速、加速度、ヨーレート、車両から障害物までの距離、車両から見た障害物の方向、
車間距離などであるが、これらに限られない。例えば、車両の周辺にある、他の車両や歩行者に関する情報であってもよいし、車線や道路標識、交通信号に関する情報などであってもよい。また、運転者の状態を表す情報などであってもよい。このように、センサ情報は、車両が走行する環境に関係するものであれば、どのようなものであってもよい。
車間距離などであるが、これらに限られない。例えば、車両の周辺にある、他の車両や歩行者に関する情報であってもよいし、車線や道路標識、交通信号に関する情報などであってもよい。また、運転者の状態を表す情報などであってもよい。このように、センサ情報は、車両が走行する環境に関係するものであれば、どのようなものであってもよい。
映像生成手段は、センサ情報やセンサ情報の変化を、図形または色彩を用いて表現した映像を生成する手段である。映像とは、静止したものであってもよいし、動きを有するものであってもよい。
例えば、映像生成手段は、図形を含んだ映像を生成し、値の大小を、当該図形の移動速度、大きさ、色彩などによって表現してもよいし、図形の位置によって方向を表現してもよい。また、これらを組み合わせることで、ベクトル(例えば、障害物に対する方向と距離)を表現してもよい。また、図形の動きや位置の変化などによって、値の変化量を表現してもよい。
なお、図形とは、必ずしも幾何学的な図形である必要はなく、例えば、アイコン等の画像であってもよいし、点の集合やパターン、模様などであってもよい。
例えば、映像生成手段は、図形を含んだ映像を生成し、値の大小を、当該図形の移動速度、大きさ、色彩などによって表現してもよいし、図形の位置によって方向を表現してもよい。また、これらを組み合わせることで、ベクトル(例えば、障害物に対する方向と距離)を表現してもよい。また、図形の動きや位置の変化などによって、値の変化量を表現してもよい。
なお、図形とは、必ずしも幾何学的な図形である必要はなく、例えば、アイコン等の画像であってもよいし、点の集合やパターン、模様などであってもよい。
映像生成手段は、センサ情報やセンサ情報の変化を、所定のパラメータを用いて映像に変換する。所定のパラメータとは、映像を提示した際に運転者に与える感覚の大小を調整するためのパラメータである。
例えば、図形を含んだ映像を生成する場合、提示すべき情報に対応した、図形の大きさ、移動速度、色彩などを、パラメータを用いて決定する。このように、パラメータを調整することで、映像によって運転者に与える感覚の大小(ボリューム感)を調整することができる。
なお、パラメータは、センサ情報やセンサ情報の変化に応じて、単一の値を出力する関数であってもよいし、複数の入力に対して複数の出力を提供する数学的なモデル等であってもよい。
例えば、図形を含んだ映像を生成する場合、提示すべき情報に対応した、図形の大きさ、移動速度、色彩などを、パラメータを用いて決定する。このように、パラメータを調整することで、映像によって運転者に与える感覚の大小(ボリューム感)を調整することができる。
なお、パラメータは、センサ情報やセンサ情報の変化に応じて、単一の値を出力する関数であってもよいし、複数の入力に対して複数の出力を提供する数学的なモデル等であってもよい。
投影手段は、生成した映像を、運転者の体の少なくとも一部に投影する手段である。運転者の体とは、例えばステアリングホイールを握る腕や、腹部、下半身などであるが、これらに限られない。このように構成することで、運転者が比較的強く知覚できる範囲に情報を投影することができ、直感的に情報を伝達することができる。
また、前記所定のパラメータは、前記映像を視認した運転者に与える速度感または距離感に関連するパラメータであることを特徴としてもよい。
センサ情報またはセンサ情報の変化を、図形または色彩によって表現した場合、絶対的な指標を示すことができない場合がある。また、このような場合、運転者によって受け止められた感覚と、実際の値との間にずれが生じる場合がある。
例えば、車体を表す仮想的な領域を運転者の近傍に設定し、車両に障害物が接近すると、図形が運転者側に移動してくる(すなわち、図形の位置によって車両と障害物との位置関係を提示する)ようなケースを考える。この場合、図形がどこまで接近すれば接触の危険があると感じるかは、運転者や環境によって異なる。そこで、運転者に与える速度感や距離感を、パラメータによって調整するようにしてもよい。
例えば、車体を表す仮想的な領域を運転者の近傍に設定し、車両に障害物が接近すると、図形が運転者側に移動してくる(すなわち、図形の位置によって車両と障害物との位置関係を提示する)ようなケースを考える。この場合、図形がどこまで接近すれば接触の危険があると感じるかは、運転者や環境によって異なる。そこで、運転者に与える速度感や距離感を、パラメータによって調整するようにしてもよい。
また、本発明に係る情報提供装置は、前記生成した映像を投影した結果想定される運転行動である第一の運転行動を取得する運転行動予測手段と、前記生成した映像を投影した後、実際に運転者が行った運転行動である第二の運転行動を取得する運転行動取得手段と、前記第一の運転行動と、前記第二の運転行動とを比較した結果に基づいて、前記映像生成手段が使用するパラメータを生成する生成手段と、をさらに有することを特徴としてもよい。
前述したように、映像を投影することで運転者に与える速度感や距離感は、同一ではない。そこで、情報を提示することで予想される運転行動(第一の運転行動)と、情報を提示した結果、実際に運転者が行った運転行動(第二の運転行動)とを比較した結果に基づいて、使用するパラメータを補正、変更ないし生成するようにしてもよい。
例えば、障害物が接近している旨を提示したにもかかわらず、行われた回避操作の量が想定よりも小さかった場合、図形を接近させる速度を速くするなどして、運転者に対してより大きい感覚を与えるようにパラメータを補正する。
かかる構成によると、情報の提示方法が適切であったか否かを判断してフィードバックすることができるため、情報の提示方法を運転者の感覚に適合させることができる。
例えば、障害物が接近している旨を提示したにもかかわらず、行われた回避操作の量が想定よりも小さかった場合、図形を接近させる速度を速くするなどして、運転者に対してより大きい感覚を与えるようにパラメータを補正する。
かかる構成によると、情報の提示方法が適切であったか否かを判断してフィードバックすることができるため、情報の提示方法を運転者の感覚に適合させることができる。
また、本発明に係る情報提供装置は、車両の運転者を識別する識別手段をさらに有し、前記生成手段は、前記映像生成手段が使用したパラメータ、前記第一の運転行動と前記第二の運転行動との一致度、および、運転者を識別する情報を用いて学習を行い、学習結果に基づいて、使用するパラメータを運転者ごとに生成することを特徴としてもよい。
前述したように、パラメータは、運転者個人に依存する場合がある。そこで、運転者を識別する情報を用いて、最適なパラメータを学習させ、その学習結果に基づいて、使用するパラメータを生成するようにしてもよい。
また、前記生成手段は、車両の走行環境を識別する情報をさらに用いて学習を行い、車両の走行環境にさらに基づいて、使用するパラメータを生成することを特徴としてもよい。
パラメータは、運転者個人のほか、車両の走行環境に依存する場合がある。例えば、高速で走行している場合と、低速で走行している場合とでは、運転者の感覚に差異が生じる場合がある。そこで、学習を行う際に、車両の走行環境に関する情報をさらに用い、当該車両の走行環境を加味してパラメータを生成する。これにより、より適切なパラメータを得ることができる。
なお、車両の走行環境とは、車両内部の環境であってもよいし、車両外部の環境であってもよい。例えば、速度、明るさ、着座位置などであってもよいし、運転者本人の状態などであってもよい。
なお、車両の走行環境とは、車両内部の環境であってもよいし、車両外部の環境であってもよい。例えば、速度、明るさ、着座位置などであってもよいし、運転者本人の状態などであってもよい。
また、前記センサ情報は、前記車両の速度を含み、前記映像生成手段が生成する映像は、前記車両の速度に対応した速度で図形が移動するものであり、前記パラメータは、前記車両の速度と、前記図形の移動速度との関係を表した情報であることを特徴としてもよい。
このように、移動する図形によって、車両の速度(車速)を表現してもよい。例えば、走行中において、所定の模様やパターンを一方向に移動させてもよいし、近傍に障害物がある場合、障害物に対応する図形を、車速に対応した速度で移動させてもよい。また、この場合、パラメータによって、車速と図形の移動速度との関係を表すことが好ましい。
また、前記センサ情報は、前記車両から見た障害物の位置に関する情報を含み、前記映像生成手段は、運転者の体の近傍にある所定の領域を自車両に対応する領域と仮定し、障害物の位置を、前記領域と投影された図形との位置関係によって表した映像を生成し、前記パラメータは、前記所定の領域の大きさを表した情報であることを特徴としてもよい。
障害物に対応する図形を用いて、自車両と障害物との位置関係を表現した場合、接触の危険を感じる位置は、人によって異なる。そこで、自車両に対応する領域の大きさを、パ
ラメータによって定義するようにしてもよい。
ラメータによって定義するようにしてもよい。
また、前記投影手段は、前記生成した映像の少なくとも一部を、運転者の腕に投影することを特徴としてもよい。
腕は、人が自分の体と強く認識できる部位であるため、腕に映像を投影することで、運転者に対してより強く知覚をさせることができる。
また、前記投影手段は、前記運転者の姿勢に関する情報である姿勢情報をさらに取得し、前記姿勢情報に基づいて、投影する映像を変形させることを特徴としてもよい。
運転者の体格は、個人によって異なる場合がある。また、同じ運転者であっても、運転中に姿勢が変わることもある。そこで、運転者の姿勢に関する情報である姿勢情報を取得し、当該情報を用いて、投影する映像を変形させてもよい。例えば、腕が曲がっているような場合、腕に沿って図形を表示できるようにマッピングを行ってもよい。このように、立体物に対するマッピング技術を用いることで、運転者の姿勢に関わらず同じ情報を提示することができる。
なお、本発明は、上記手段の少なくとも一部を含む情報提供装置として特定することができる。また、前記情報提供装置が行う情報提供方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
本発明によれば、車両の状態または当該車両の走行環境に関する情報を、直感的に運転者に伝達することができる。
(第一の実施形態)
本発明に係る情報提供装置は、車両に備えられたセンサから取得した情報(以下、センサ情報)を、映像に変換し、運転者の周囲に投影する装置である。変換した映像を、運転者の体の近くに投影することで、車両の状態や、車両周辺の状態を運転者に直感的に伝達することができる。
本発明に係る情報提供装置は、車両に備えられたセンサから取得した情報(以下、センサ情報)を、映像に変換し、運転者の周囲に投影する装置である。変換した映像を、運転者の体の近くに投影することで、車両の状態や、車両周辺の状態を運転者に直感的に伝達することができる。
第一の実施形態に係る情報提供装置について、システム構成図である図1を参照しながら説明する。第一の実施形態に係る情報提供装置100は、センサ情報取得部101、映像生成部102、映像出力部103、制御部104からなる。
センサ情報取得部101は、車両に搭載された複数のセンサからセンサ情報を取得する
手段である。車両に搭載されたセンサとは、車両の状態や挙動を表す情報、あるいは、当該車両の周辺の状態を表す情報を取得するセンサである。このようなセンサとして、例えば、速度センサ、加速度センサ、ヨーレートセンサ、操舵角センサ、レーダー、LIDAR(Laser Imaging Detection and Ranging)等などがあるが、これらに限定されない。
例えば、車外カメラであってもよい。このように、カメラによって取得された画像に基づいて検出された、障害物の位置情報などもセンサ情報に含まれる。
センサ情報は、所定の時間ごとに取得され、後述する映像生成部102に送信される。
手段である。車両に搭載されたセンサとは、車両の状態や挙動を表す情報、あるいは、当該車両の周辺の状態を表す情報を取得するセンサである。このようなセンサとして、例えば、速度センサ、加速度センサ、ヨーレートセンサ、操舵角センサ、レーダー、LIDAR(Laser Imaging Detection and Ranging)等などがあるが、これらに限定されない。
例えば、車外カメラであってもよい。このように、カメラによって取得された画像に基づいて検出された、障害物の位置情報などもセンサ情報に含まれる。
センサ情報は、所定の時間ごとに取得され、後述する映像生成部102に送信される。
映像生成部102は、センサ情報取得部101から送信されたセンサ情報に基づいて、投影する映像を生成する手段である。映像生成部102が生成する映像は、図形の位置や移動速度、色彩や、色彩の変化などによってセンサ情報を表現したものである。具体的なセンサ情報と、生成される映像の例については後述する。
また、映像生成部102は、センサ情報を映像に変換する際に、後述する変換パラメータを用いて変換を行う。
また、映像生成部102は、センサ情報を映像に変換する際に、後述する変換パラメータを用いて変換を行う。
映像出力部103は、プロジェクタを有し、映像生成部102が生成した映像を車内に投影する手段である。図2および図3は、車内におけるプロジェクタ200の設置位置と、プロジェクタ200によって映像が投影される範囲を説明する図である。プロジェクタ200は、例えば、図示したように天井付近に設置され、運転者の胸部からハンドルにかけての領域に映像を投影できるような構成となっている。図3の符号301で示した領域が、プロジェクタ200が映像を投影する領域(以下、投影領域)である。投影領域は、運転者の両腕が含まれるような位置に設定される。
制御部104は、情報提供装置100全体の制御を司る手段である。また、映像生成部102が使用する変換パラメータを生成する手段でもある。詳細な処理内容については後述する。
情報提供装置100は、CPU(中央演算処理装置)、RAM(Random Access Memory)、補助記憶装置(例えば、フラッシュメモリ、ハードディスク)、入力装置(例えば、マウス、タッチパネル)、表示装置などを有するコンピュータにより構成することができる。上述した各機能は、補助記憶装置に格納されたプログラムがRAMにロードされ、CPUにより実行されることで実現されてもよい。また、上述した機能の一部又は全部は、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などで実現してもよいし、他のコンピュータ(例えばクラウドサーバ)で処理してもよい。また、専用のハードウェア等を用いて実現してもよい。
次に、センサ情報を映像に変換する方法と、変換を行う際に用いる変換パラメータについて説明する。
本発明に係る情報提供装置が提供できるセンサ情報には様々なものがあるが、ここでは、(1)車両の速度(車速)、(2)車両の近傍にある障害物の位置情報、(3)駐車場の枠線の位置情報を通知する例をそれぞれ挙げる。
本発明に係る情報提供装置が提供できるセンサ情報には様々なものがあるが、ここでは、(1)車両の速度(車速)、(2)車両の近傍にある障害物の位置情報、(3)駐車場の枠線の位置情報を通知する例をそれぞれ挙げる。
第一の例(図4)は、車速を映像に変換した場合の例である。本例では、投影領域内に、所定の間隔で縞模様(符号401)を投影し、車速に応じた速度で前方から後方へ移動させる。これにより、現在の車速を運転者に通知することができる。
このように、映像によって車速を表す場合、現在の車速と、模様の移動速度との関係を定義する必要がある。そこで、本例では、変換パラメータを用いて当該関係を定義する。本例の場合、変換パラメータは、例えば、車速と模様の移動速度との関係を表した関数として定義できる。
第二の例(図5)は、車両の近傍にある障害物の位置情報を映像に変換した場合の例である。本例では、投影領域内に、自車両に対応する領域(符号501。以下、自車領域)を定義し、その周辺に、障害物を表す図形(符号502)を投影する。これにより、自車両と障害物との位置関係を運転者に通知することができる。
このように、自車両に対する障害物の位置を映像によって表す場合、以下のような情報を定義する必要がある。一つ目は、投影領域内において自車領域をどこに設定するかである。また、二つ目は、障害物までの距離に応じて、障害物を表す図形を投影領域内のどこに表示するかである。そこで、本例では、変換パラメータを用いて、前述した二つの情報を定義する。例えば、自車領域は、矩形の中心座標と幅、長さによって定義することができる。また、障害物の位置は、実際の距離と、映像上における距離との関係を表した関数によって定義することができる。なお、この他にも、障害物を表す図形の大きさを定義する情報などを追加してもよい。
第三の例(図6)は、第二の例と同様に、車両の近傍にある物体の位置情報を映像に変換する例であるが、対象が障害物ではなく、駐車場における駐車枠線であるという点において相違する。本例では、センサ情報は、車外を撮像した画像に基づいて得られた枠線の位置情報である。すなわち、投影領域内に、当該枠線を表す線を投影することで、自車両との位置関係を提示する。図6中、符号601および符号602が駐車枠線であり、符号603が、車止め(停止位置)を表す線である。
第三の例においても、第二の例と同様に、投影領域における自車領域の位置と、距離に応じた境界線または車止めの投影位置を、変換パラメータによって定義する。
次に、変換パラメータをどのように設定するかについて説明する。
前述したように、本実施形態に係る情報提供装置は、変換パラメータを変更することによって、図形や色彩の提示方法を変更することができる。例えば、センサ情報に応じて、図形をどのような速度で移動させるか、どこに投影するか、どのような色彩で投影するかを定義することができる。すなわち、変換パラメータを調整することによって、運転者に与える距離感や速度感を調整することができる。
前述したように、本実施形態に係る情報提供装置は、変換パラメータを変更することによって、図形や色彩の提示方法を変更することができる。例えば、センサ情報に応じて、図形をどのような速度で移動させるか、どこに投影するか、どのような色彩で投影するかを定義することができる。すなわち、変換パラメータを調整することによって、運転者に与える距離感や速度感を調整することができる。
一方、映像を視認することで運転者が感じる距離感や速度感は、個人によって差がある。例えば、障害物に対応する図形が接近してくるケースを考えた場合、早い段階で接触の危険を感じる人もいれば、遅くまで接触の危険を感じない人もいる。例えば、パーソナルスペースが広い人は、狭い人と比較して、より早い段階で接触の危険を感じる傾向がある。同様に、運転者が感じる距離感や速度感は、運転者自身の体格や、コンディション等によっても変化する。
これに対応させるため、本実施形態における情報提供装置は、運転者個人に適した変換パラメータを自動的に生成し、当該生成した変換パラメータを用いて情報の提供を行う。
これに対応させるため、本実施形態における情報提供装置は、運転者個人に適した変換パラメータを自動的に生成し、当該生成した変換パラメータを用いて情報の提供を行う。
変換パラメータを生成する、具体的な方法について説明する。
本実施形態に係る情報提供装置は、所定の変換パラメータを使用して情報を提供する際に、当該情報を提供した結果想定される運転行動(第一の運転行動)を決定し、当該第一の運転行動と、実際に行われた運転行動(第二の運転行動)との差異を比較する。
本実施形態に係る情報提供装置は、所定の変換パラメータを使用して情報を提供する際に、当該情報を提供した結果想定される運転行動(第一の運転行動)を決定し、当該第一の運転行動と、実際に行われた運転行動(第二の運転行動)との差異を比較する。
例えば、前述した第二の例(図5)のように、車両の近傍にある障害物を表す図形を投影することで、運転者に障害物の接近を通知する場合を考える。
本例の場合、第一の運転行動とは、障害物の接近に伴って一般的な運転者が取ると想定される運転行動(ステアリング操作や加減速操作)である。図7は、第二の例において、
駐車車両の位置を障害物として通知した場合の、車両の進路を示した図である。符号701が、想定される運転行動に基づいた走行軌跡である。
本例の場合、第一の運転行動とは、障害物の接近に伴って一般的な運転者が取ると想定される運転行動(ステアリング操作や加減速操作)である。図7は、第二の例において、
駐車車両の位置を障害物として通知した場合の、車両の進路を示した図である。符号701が、想定される運転行動に基づいた走行軌跡である。
ここで、通知の結果得られた、第一の運転行動と第二の運転行動の乖離が大きい場合、すなわち、想定されるタイミングで運転者が回避行動を取り始めない場合や、回避量が十分ではない場合、接触の危険性が十分に伝わっていないことが考えられる。例えば、走行軌跡が符号702のようなパターンであった場合である。
そこで、このような場合には、接触の危険性をより強く表現するため、図形の移動量や移動速度を大きくしたり、自車領域を大きくするように補正された変換パラメータを生成する。
そこで、このような場合には、接触の危険性をより強く表現するため、図形の移動量や移動速度を大きくしたり、自車領域を大きくするように補正された変換パラメータを生成する。
反対に、接触の危険性が少ない段階で回避行動がとられた場合、接触の危険性が過剰に伝わっていることが考えられる。例えば、走行軌跡が符号703のようなパターンであった場合である。そこで、自車領域に対する図形の移動量や移動速度を小さくしたり、自車領域を小さくするように補正された変換パラメータを生成する。
また、例えば、前述した第三の例(図6)のように、枠線に対応する図形によって、運転者に車両の駐車位置を通知する場合を考える。ここで、通知の結果、車両が駐車枠に平行に入っていない、または、中心からずれて入ってしまった場合、駐車枠の方向や位置がずれて運転者に伝わっていることが考えられる。そこで、方向や位置ずれが解消する方向に補正された変換パラメータを生成する。
このように、第一の運転行動や第二の運転行動は、ステアリング操作や加減速操作など、特定の操作に限られず、操作の結果得られた車両の状態(駐車位置等)であってもよい。また、第一の運転行動や第二の運転行動は、所定の期間における操作量によって表されてもよいし、操作量の時系列変化などによって表されてもよい。
なお、運転行動を取得する期間は、予想される運転行動に応じて適宜設定すればよい。例えば、障害物を回避する場合、障害物の表示を開始してから15秒程度としてもよいし、駐車を行う場合、バックギアに入れてから60秒程度としてもよい。
また、変換パラメータの補正は、例示したものに限られず、第一の運転行動と第二の運転行動の一致度を上げるためのものであれば、どのようになされてもよい。例えば、図形やパターン(模様)の移動速度、移動方向、投影位置、大きさ、色彩などを変更するものであってもよい。
また、変換パラメータの補正は、例示したものに限られず、第一の運転行動と第二の運転行動の一致度を上げるためのものであれば、どのようになされてもよい。例えば、図形やパターン(模様)の移動速度、移動方向、投影位置、大きさ、色彩などを変更するものであってもよい。
本実施形態に係る情報提供装置は、このように、制御部104が、第一の運転行動と第二の運転行動を比較した結果を用いて、映像の生成に用いる変換パラメータを補正ないし生成する。これにより、運転者に適した情報の提示を行うことができる。
<処理フローチャート>
次に、第一の実施形態に係る情報提供装置が行う具体的な処理について、処理フローチャートである図8および図9を参照しながら説明する。図8に示した処理は、センサ情報に基づいて映像を生成し、投影する処理であり、図9に示した処理は、変換パラメータを更新する処理である。図8および図9に示した処理は、車両の走行中、制御部104によってそれぞれ独立して実行される。
次に、第一の実施形態に係る情報提供装置が行う具体的な処理について、処理フローチャートである図8および図9を参照しながら説明する。図8に示した処理は、センサ情報に基づいて映像を生成し、投影する処理であり、図9に示した処理は、変換パラメータを更新する処理である。図8および図9に示した処理は、車両の走行中、制御部104によってそれぞれ独立して実行される。
まず、図8を参照しながら、映像を生成する処理について説明する。
ステップS11では、センサ情報取得部101を介してセンサ情報を取得する。センサ情報は、前述した通り、車両の状態や車両周辺の環境、走行状態などに関するものであって、運転者に提示する情報であれば、どのようなものであってもよい。
ステップS11では、センサ情報取得部101を介してセンサ情報を取得する。センサ情報は、前述した通り、車両の状態や車両周辺の環境、走行状態などに関するものであって、運転者に提示する情報であれば、どのようなものであってもよい。
次に、ステップS12で、変換パラメータを取得する。ここで取得する変換パラメータは、制御部104によって一時的に記憶されているものである。当該変換パラメータは、図9に示した処理によって随時更新される。なお、図9に示した処理が一度も行われていない場合、デフォルトの変換パラメータを用いてもよい。当該処理については後述する。
次に、ステップS13で、映像生成部102を介して、取得したセンサ情報を映像に変換する。映像は、単一のセンサ情報に基づいて生成されてもよいし、複数のセンサ情報に基づいて生成されてもよい。また、センサ情報の時間的な変化に基づいて生成されてもよい。映像の生成は、ステップS12で取得した変換パラメータを用いて行う。
ステップS14では、ステップS13で生成した映像を、プロジェクタ200を通して投影する。その後、処理はステップS11へ遷移し、同様の処理を繰り返す。
次に、図9を参照しながら、変換パラメータを更新する処理について説明する。
まず、ステップS14で映像が投影された結果、所定の運転行動が予想される状況であるか否かを判定する(ステップS21)。例えば、「障害物に対応する図形を運転者の体に向けて移動させる」という投影が行われた結果、運転者が回避行動を取ると予想される場合、肯定判定がなされる。本ステップで肯定判定がなされた場合、処理はステップS22へ遷移する。なお、特段の運転行動が予想されない場合や、ステップS14がまだ実行されていない場合、所定の時間だけスリープし、同じ処理を繰り返す。
まず、ステップS14で映像が投影された結果、所定の運転行動が予想される状況であるか否かを判定する(ステップS21)。例えば、「障害物に対応する図形を運転者の体に向けて移動させる」という投影が行われた結果、運転者が回避行動を取ると予想される場合、肯定判定がなされる。本ステップで肯定判定がなされた場合、処理はステップS22へ遷移する。なお、特段の運転行動が予想されない場合や、ステップS14がまだ実行されていない場合、所定の時間だけスリープし、同じ処理を繰り返す。
ステップS22では、予想される運転行動(第一の運転行動)と、実際に運転者によって行われた運転行動(第二の運転行動)を取得する。運転行動は、所定の期間における運転操作量であってもよいし、運転操作の順番や運転操作量の変化などの時系列情報であってもよい。また、図7に示したような、車両の軌跡を表す情報であってもよい。
ステップS23では、第一の運転行動と、第二の運転行動とを比較し、両者の間にどの程度の差異があるかを表す情報を取得する。例えば、回避行動が予想よりも遅い(あるいは早い)場合、予想よりもどの程度遅いか(早いか)を表す情報を取得する。また、回避量が予想よりも小さい(あるいは大きい)場合、予想よりもどの程度小さいか(大きいか)を表す情報を取得する。このような情報は、例えば、運転行動が単一の値によって表される場合、当該値同士を比較したものであってもよいし、運転行動が時系列データによって表される場合、当該時系列データ同士を比較した結果に基づいて得たものであってもよい。例えば、図7における軌跡のずれ量を表す時系列データなどであってもよい。
ステップS24では、ステップS23で取得した一致度に基づいて、補正後の変換パラメータを生成する。前述したように、変換パラメータの補正量は、第一の運転行動と第二の運転行動との一致度が低いほど大きくなる。また、変換パラメータの補正は、第二の運転行動が第一の運転行動に近くなるように、運転者の速度感や距離感を補正する方向に行われる。そして、生成された変換パラメータは、制御部104によって記憶され、図8の処理にて使用される。
以上説明したように、第一の実施形態に係る情報提供装置は、運転者に情報を提示した結果予想される運転行動と、実際に行われた運転行動との一致度に基づいて、映像を生成する際の変換パラメータを補正する。これにより、運転者による感覚の違いや、体型・姿勢などの違いを吸収することができ、より正確な情報を伝達することができる。
なお、本実施形態では、ステップS24で毎回変換パラメータを補正しているが、このように逐次補正を行った場合、突発的に生じた事象(危険回避による急ハンドルなど)が
変換パラメータに反映されてしまうことがある。そこで、ステップS24で即座に補正を行わず、情報を蓄積したのち、所定の周期で変換パラメータの補正を行うようにしてもよい。例えば、運転行動のヒストグラムを生成したうえで、異常値を除外して処理を行うようにしてもよい。
変換パラメータに反映されてしまうことがある。そこで、ステップS24で即座に補正を行わず、情報を蓄積したのち、所定の周期で変換パラメータの補正を行うようにしてもよい。例えば、運転行動のヒストグラムを生成したうえで、異常値を除外して処理を行うようにしてもよい。
(第二の実施形態)
第一の実施形態では、第一の運転行動と第二の運転行動との一致度に基づいて、補正された変換パラメータを生成した。これに対し、第二の実施形態は、機械学習を用いて、運転者ごとに最も適した変換パラメータを生成する実施形態である。
第二の実施形態に係る情報提供装置は、以下に説明する通り、図9に示した処理の一部が異なるという点を除き、第一の実施形態と同様である。
第一の実施形態では、第一の運転行動と第二の運転行動との一致度に基づいて、補正された変換パラメータを生成した。これに対し、第二の実施形態は、機械学習を用いて、運転者ごとに最も適した変換パラメータを生成する実施形態である。
第二の実施形態に係る情報提供装置は、以下に説明する通り、図9に示した処理の一部が異なるという点を除き、第一の実施形態と同様である。
第二の実施形態では、制御部104が識別器を有しており、機械学習によって、最適な変換パラメータを生成する。具体的には、ステップS24において、以下の4つの情報を用いて識別器を学習させる。
(1)第一の運転行動と第二の運転行動との一致度を表す値
(2)運転者を識別する情報
(3)使用した変換パラメータ
(4)運転環境に依存する情報
(1)第一の運転行動と第二の運転行動との一致度を表す値
(2)運転者を識別する情報
(3)使用した変換パラメータ
(4)運転環境に依存する情報
なお、運転者を識別する情報とは、運転者個人を特定するための識別子であってもよいし、運転者の体格や特徴などを識別するための情報等であってもよい。例えば、身長、体の大きさ、性別、服装などであってもよい。
また、運転環境に依存する情報とは、運転者の知覚に変化をもたらす可能性がある情報であり、例えば、車種、時間帯、同乗者の有無、シートの位置、照明条件、運転者の緊張状態などの生理的条件などであるが、これらに限られない。例えば、センサ情報に基づいて取得した情報であってもよい。
なお、識別器を学習させるフェーズにおいては、様々な内容の変換パラメータの適用を試みることが好ましい。
また、運転環境に依存する情報とは、運転者の知覚に変化をもたらす可能性がある情報であり、例えば、車種、時間帯、同乗者の有無、シートの位置、照明条件、運転者の緊張状態などの生理的条件などであるが、これらに限られない。例えば、センサ情報に基づいて取得した情報であってもよい。
なお、識別器を学習させるフェーズにおいては、様々な内容の変換パラメータの適用を試みることが好ましい。
第二の実施形態では、このようにして識別器を学習させ、ある程度の学習が完了した段階で、識別器を利用した変換パラメータの生成を開始する。具体的には、ステップS12において、学習済みの識別器に対して、前述した(2)と(4)を入力し、一致度の高い変換パラメータを取得する。このように、様々な変換パラメータを適用して識別器を学習させることで、運転者に適した変換パラメータを得ることができる。
(第三の実施形態)
第一ないし第二の実施形態では、映像生成部102によって生成された映像をそのまま投影領域301に投影した。しかし、映像を投影する場所が平面でない場合、投影された映像が歪んだり、段差が生じたりしてしまうことがある。第三の実施形態は、これに対応するため、投影場所の三次元形状を取得し、立体的に映像をマッピングする実施形態である。
第一ないし第二の実施形態では、映像生成部102によって生成された映像をそのまま投影領域301に投影した。しかし、映像を投影する場所が平面でない場合、投影された映像が歪んだり、段差が生じたりしてしまうことがある。第三の実施形態は、これに対応するため、投影場所の三次元形状を取得し、立体的に映像をマッピングする実施形態である。
第三の実施形態に係る情報提供装置は、投影場所の立体的な形状を取得するためのセンサ手段をさらに有している。センサ手段は、例えば、プロジェクタ200と隣接する位置に配置された、距離画像センサ等であってもよい。当該センサ手段は、ステップS13を実行するタイミングで、運転者の体や、座席、運転機器など、投影領域内にある物体の立体形状を取得する。
また、第三の実施形態では、映像生成部102が、ステップS13を実行した後で、生
成した映像を取得した立体形状にマッピングし、変形させる。これにより、ずれの無い映像が投影される。なお、立体物に対する映像のマッピングと変形は、公知の技術を用いることができる。
成した映像を取得した立体形状にマッピングし、変形させる。これにより、ずれの無い映像が投影される。なお、立体物に対する映像のマッピングと変形は、公知の技術を用いることができる。
このように、第三の実施形態では、体の形状や姿勢に合わせて、投影される映像をマッピングするため、運転者に対してより自然な映像を提示させることができる。
例えば、車両の両サイドを表す線を投影する際に、マッピングを行わない場合、運転者の腕が曲がっていると、腕から外れた領域に線が投影されてしまうが、マッピングを行うことで、腕に沿って線を投影することができるようになる。
例えば、車両の両サイドを表す線を投影する際に、マッピングを行わない場合、運転者の腕が曲がっていると、腕から外れた領域に線が投影されてしまうが、マッピングを行うことで、腕に沿って線を投影することができるようになる。
なお、本実施形態では、投影領域内にある全ての物体の立体形状を取得したが、プロジェクタに対して位置が大きく変わることがないもの(例えば、シートの座面など)については、予め記憶された情報を用いるようにしてもよい。
(変形例)
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、運転者に情報を提示する方法を3種類挙げたが、例示した方法以外を用いて情報を提示してもよい。例えば、図形ではなく、パターンや模様を投影することで情報を伝達してもよいし、パターン(模様)自体を変化させたり、色彩を変化させることで情報を伝達するようにしてもよい。また、距離に応じて色彩を変化させるようにしてもよい。
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、運転者に情報を提示する方法を3種類挙げたが、例示した方法以外を用いて情報を提示してもよい。例えば、図形ではなく、パターンや模様を投影することで情報を伝達してもよいし、パターン(模様)自体を変化させたり、色彩を変化させることで情報を伝達するようにしてもよい。また、距離に応じて色彩を変化させるようにしてもよい。
また、提示する情報も、車両に備えられたセンサやカメラ等によって取得できるものであれば、どのようなものであってもよい。例えば、車間距離、車線との間隔、加速度、ヨーレートなどであってもよいし、運転者をサポートするシステムが車両に搭載されている場合、当該システムが検出している対象物(例えば、歩行者や先行車両、周辺の車両等)などであってもよい。また、運転者自身に関する情報(例えば、運転者の覚醒度)などであってもよい。
また、各実施形態では、センサ情報(車速や障害物までの距離、障害物の方向)を直接提示する例を挙げたが、センサ情報の変化を提示するようにしてもよい。例えば、車速の変化に基づいて加減速度を演算し、提示するようにしてもよい。
また、第一の実施形態では、第一の運転行動と第二の運転行動との間にどの程度の差異があるかを算出したが、これ以外の情報を用いて変換パラメータを補正してもよい。例えば、運転行動を行った結果の安全マージン、運転行動の滑らかさ、運転者の生理的反応などをさらに取得し、変換パラメータの補正量を決定するようにしてもよい。同様に、第二の実施形態においても、これらの情報を識別器に入力して学習を実施するようにしてもよい。
100 情報提供装置
101 センサ情報取得部
102 映像生成部
103 映像出力部
104 制御部
101 センサ情報取得部
102 映像生成部
103 映像出力部
104 制御部
Claims (10)
- 車両の状態または車両の走行環境に関する情報であるセンサ情報を取得するセンサ情報取得手段と、
所定のパラメータを用いて、前記センサ情報またはセンサ情報の変化を、図形または色彩を用いて表現した映像を生成する映像生成手段と、
前記生成した映像を、前記車両の運転者の体の少なくとも一部に投影する投影手段と、
を有する、情報提供装置。 - 前記所定のパラメータは、前記映像を視認した運転者に与える速度感または距離感に関連するパラメータである、
請求項1に記載の情報提供装置。 - 前記生成した映像を投影した結果想定される運転行動である第一の運転行動を取得する運転行動予測手段と、
前記生成した映像を投影した後、実際に運転者が行った運転行動である第二の運転行動を取得する運転行動取得手段と、
前記第一の運転行動と、前記第二の運転行動とを比較した結果に基づいて、前記映像生成手段が使用するパラメータを生成する生成手段と、
をさらに有する、
請求項1または2に記載の情報提供装置。 - 車両の運転者を識別する識別手段をさらに有し、
前記生成手段は、前記映像生成手段が使用したパラメータ、前記第一の運転行動と前記第二の運転行動との一致度、および、運転者を識別する情報を用いて学習を行い、学習結果に基づいて、使用するパラメータを運転者ごとに生成する
請求項3に記載の情報提供装置。 - 前記生成手段は、車両の走行環境を識別する情報をさらに用いて学習を行い、車両の走行環境にさらに基づいて、使用するパラメータを生成する
請求項4に記載の情報提供装置。 - 前記センサ情報は、前記車両の速度を含み、
前記映像生成手段が生成する映像は、前記車両の速度に対応した速度で図形が移動するものであり、
前記パラメータは、前記車両の速度と、前記図形の移動速度との関係を表した情報である、
請求項1から5のいずれかに記載の情報提供装置。 - 前記センサ情報は、前記車両から見た障害物の位置に関する情報を含み、
前記映像生成手段は、運転者の体の近傍にある所定の領域を自車両に対応する領域と仮定し、障害物の位置を、前記領域と投影された図形との位置関係によって表した映像を生成し、
前記パラメータは、前記所定の領域の大きさを表した情報である、
請求項1から6のいずれかに記載の情報提供装置。 - 前記投影手段は、前記生成した映像の少なくとも一部を、運転者の腕に投影する、
請求項1から7のいずれかに記載の情報提供装置。 - 前記投影手段は、前記運転者の姿勢に関する情報である姿勢情報をさらに取得し、前記
姿勢情報に基づいて、投影する映像を変形させる、
請求項8に記載の情報提供装置。 - 生成した映像を投影することで、車両の状態または当該車両の走行環境に関する情報を運転者に提示する情報提供装置が行う情報提供方法であって、
車両の状態または車両の走行環境に関する情報であるセンサ情報を取得するセンサ情報取得ステップと、
所定のパラメータを用いて、前記センサ情報またはセンサ情報の変化を、図形または色彩を用いて表現した映像を生成する映像生成ステップと、
前記生成した映像を、前記車両の運転者の体の少なくとも一部に投影する投影ステップと、
を含む、情報提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072461A JP2016192128A (ja) | 2015-03-31 | 2015-03-31 | 情報提供装置および情報提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072461A JP2016192128A (ja) | 2015-03-31 | 2015-03-31 | 情報提供装置および情報提供方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016192128A true JP2016192128A (ja) | 2016-11-10 |
Family
ID=57245699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015072461A Pending JP2016192128A (ja) | 2015-03-31 | 2015-03-31 | 情報提供装置および情報提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016192128A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019092094A (ja) * | 2017-11-16 | 2019-06-13 | 株式会社豊田中央研究所 | 画像生成装置、表示システム、及びプログラム |
JP7468463B2 (ja) | 2021-06-11 | 2024-04-16 | トヨタ自動車株式会社 | 画像投影装置、プログラム及び画像投影方法 |
-
2015
- 2015-03-31 JP JP2015072461A patent/JP2016192128A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019092094A (ja) * | 2017-11-16 | 2019-06-13 | 株式会社豊田中央研究所 | 画像生成装置、表示システム、及びプログラム |
JP7468463B2 (ja) | 2021-06-11 | 2024-04-16 | トヨタ自動車株式会社 | 画像投影装置、プログラム及び画像投影方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11977675B2 (en) | Primary preview region and gaze based driver distraction detection | |
KR102629651B1 (ko) | 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출 | |
JP6608146B2 (ja) | ライブ映像を有する仮想透過型インストルメントクラスタ | |
JP6106229B2 (ja) | 車線認識装置 | |
US9463743B2 (en) | Vehicle information display device and vehicle information display method | |
JP4872245B2 (ja) | 歩行者認識装置 | |
JP2011119917A (ja) | 車両用表示装置 | |
CN102975718B (zh) | 用以确定车辆驾驶员对物体状态预期的方法、系统和收录计算机程序产品的计算机可读介质 | |
US11904688B2 (en) | Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program | |
JP6929177B2 (ja) | 運転支援表示方法及び運転支援表示装置 | |
US9836814B2 (en) | Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio | |
JP2016009251A (ja) | 車両用制御装置 | |
JP6948210B2 (ja) | 運転支援装置及び運転支援方法 | |
JP2010002714A (ja) | シミュレータ装置、運転課題提供方法 | |
US20190061742A1 (en) | Driving support device and driving support method | |
JP2016192128A (ja) | 情報提供装置および情報提供方法 | |
JP2010205117A (ja) | 運転支援情報提供装置及び運転支援方法 | |
JP6821124B2 (ja) | 運転支援装置、運転支援方法およびプログラム | |
KR102621245B1 (ko) | 차량 및 그 제어방법 | |
JP6948209B2 (ja) | 運転支援装置及び運転支援方法 | |
JP2013086614A (ja) | 駐車支援装置 | |
CN113525389A (zh) | 驾驶员警觉性检测方法、设备和系统 | |
CN115088028A (zh) | 绘制系统、显示系统、移动体、绘制方法以及程序 | |
JP6933949B2 (ja) | 運転支援装置及び運転支援方法 | |
JP2005275702A (ja) | 車両用運転操作補助装置および車両用運転操作補助装置を備える車両 |