JP2019006165A

JP2019006165A - 表示システム

Info

Publication number: JP2019006165A
Application number: JP2017120957A
Authority: JP
Inventors: 吉越　鉄太郎; Tetsutaro Yoshikoshi; 鉄太郎吉越; 坂本　務; Tsutomu Sakamoto; 務坂本
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2017-06-21
Filing date: 2017-06-21
Publication date: 2019-01-17
Anticipated expiration: 2037-06-21
Also published as: JP6813437B2

Abstract

【課題】ユーザーにとって拡張現実が正しく表示されているか否かを判定することができる表示システムを提供する。【解決手段】ＡＲ表示システム１００は、拡張現実を画像投射により表示可能なＨＵＤ１５０と、車両の座席に関する座席情報を取得する座席情報取得部１２０と、座席情報に基づき当該座席の搭乗者の視線位置を推定する視線位置推定部と、ＨＵＤの投射光学系に基づき拡張現実を見ることができる基準範囲を算出する基準範囲算出部と、視線位置が基準範囲から逸脱しているか否かを判定する逸脱判定部と、視線位置が基準範囲から逸脱していると判定された場合に、拡張現実が正しく見えるべき画像をディスプレイに表示する表示部１７０とを有する。【選択図】図１

Description

本発明は、ヘッドアップディスプレイ（ＨＵＤ）を用いた拡張現実（ＡＲ：Augmented Reality）を表示可能な表示システムに関する。

運転者の視線移動を減らす表示システムとして、運転者の視線方向に映像を映し出すヘッドアップディスプレイ（以下、ＨＵＤという）が実用化されている。代表的なＨＵＤは、車内に設置された画像投射装置（プロジェクター）により画像をフロントウィンドに投射し、運転者がスクリーン越しの現実空間上にＡＲ表示（虚像）を見ることを可能にする。さらに近年では、撮像カメラなどで撮像された現実空間の画像データにＡＲ画像を重畳するような表示も行われている。

ＨＵＤによるＡＲ表示は、例えば、特許文献１に記載されている。特許文献１は、ＡＲ表示が見える視線位置とカメラにより認識される視線位置とのズレを検出し、運転者の視線が最適位置となるようにシートの位置を自動的に調整している。

特許第５９９２１３０号公報

ＨＵＤによるＡＲ表示機能を搭載した車両では、運転者は、自身にとって快適と思われるシート位置に座って、その状態からＡＲ表示の位置を調整することが一般的である。しかし、ＡＲ表示は、運転者の視線方向でしか見ることができないため、もし、運転者がＡＲ表示を見ることができなければ、ＡＲ表示機能が車両に搭載されていることすら運転者は分からない。また、運転者がＡＲ表示の位置を自分で調整しても、そのＡＲ表示の位置が本当に正しいのか否かを判定することができない。

図７は、従来のＡＲ表示システムの課題を説明する図である。車両の前方に２つの対象物Ｐ、Ｑがあり、対象物Ｐに関してＡＲ表示１０が行われたとする。しかし、本来、ＡＲ表示１０が対象物Ｑに対するものだとしても、運転者にとっては、ＡＲ表示１０が誤りであることを判断することはできない。

さらに、運転者が代わると、運転者の個体差（身長、座高、目の位置等）によって座席位置も変更されるので、代わった運転者は、ＡＲ表示１０を見ることができない可能性がある。このような場合、運転者は、ＡＲ表示機能の存在に気が付かずに運転を行うことになる。

特許文献１は、ＡＲ表示が見える視線位置とカメラにより認識される視線位置とのズレを検出し、シートの位置を自動的に調整するものであるが、仮にシート位置の自動調整を行ったとしても、調整後の視界にあるＡＲ表示の位置が本当に正しいものなのか否かを運転者は判断する術がない。

本発明は、このような従来の課題を解決するものであり、ユーザーにとって拡張現実が正しく表示されているか否かを判定することができる、表示システムを提供することを目的とする。

本発明に係る表示システムは、拡張現実を画像投射により表示可能な画像投射手段と、車両の座席に関する座席情報を取得する取得手段と、前記座席情報に基づき当該座席の搭乗者の視線位置を推定する推定手段と、前記画像投射手段の投射光学系に基づき前記拡張現実を見ることができる基準範囲を算出する算出手段と、前記視線位置が前記基準範囲から逸脱しているか否かを判定する判定手段と、前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記拡張現実が正しく見えるべき画像をディスプレイに表示する表示手段と、を含む。

好ましくは表示システムはさらに、前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記画像投射手段の投射光学系の調整を促す案内手段を含む。好ましくは表示システムはさらに、好ましくはユーザー入力に基づき前記画像投射手段の投射光学系の調整を行う調整手段を含む。好ましくは前記画像投射手段は、前記拡張現実のための画像をフロントガラスに投射するミラーを含み、前記調整手段は、前記ミラーの光軸方向を調整する。好ましくは前記視線位置が前記基準範囲から逸脱していないと判定された場合であっても前記調整手段が実施される場合には、前記表示手段は、前記拡張現実が正しく見えるべき画像をディスプレイに表示する。好ましくは前記表示手段により表示される画像は、車両の前方を撮像した画像に前記拡張現実のための画像を重畳したものである。好ましくは前記画像投射手段は、ヘッドアップディスプレイ（ＨＵＤ）を含み、前記算出手段は、前記推定手段により推定された視線位置の面上における基準範囲を算出する。

本発明によれば、視線位置が基準範囲から逸脱していると判定された場合には、拡張現実が正しく見えるべき画像をディスプレイに表示するようにしたので、ユーザーは、ディスプレイの画像を基準に、拡張現実が正しく表示されているか否かを判定することができる。さらに、ユーザーが画像投射手段の投射光学系の調整を行う場合にも、拡張現実が正しく見えるべき画像をディスプレイに表示するようにしたので、その調整を容易に行うことができる。

本発明の実施例に係るＡＲ表示システムの構成を示すブロック図である。本発明の実施例に係るＨＵＤの構成例を示す図である。本発明の実施例に係るＡＲ表示システムの調整プログラムの機能的な構成を示すブロック図である。運転席、座席、ＨＵＤを側方から模式的に表した図である。図５（Ａ）は、運転席から見たＡＲ表示を示し、図５（Ｂ）は、ＡＲ表示が正しく見えるべき画像を示す図である。本発明の実施例に係るＡＲ表示システムのＨＵＤの調整動作を説明するフローである。本発明の実施例に係るＡＲ表示システムのＨＵＤの他の調整動作を説明するフローである。従来のＡＲ表示システムの課題を説明する図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る表示システムは、ヘッドアップディスプレイ（ＨＵＤ）に代表される画像投射装置を含み、ＨＵＤにより車両のフロントガラスに画像を投射し、この画像を実空間に重畳させ、ＡＲ表示を行う。ＡＲ表示は、実空間上に虚像を表示することである。

図１は、本発明の実施例に係るＡＲ表示システムの構成を示すブロック図である。本実施例のＡＲ表示システム１００は、ユーザーからの指示を受け取る入力部１１０、座席に関する座席情報を取得する座席情報取得部１２０、車両周辺の画像を撮像する撮像部１３０、記憶部１４０、ＡＲ表示を行うＨＵＤ１５０、ＨＵＤ１５０の光学調整を行う調整部１６０、ディスプレイに種々の情報を表示する表示部１７０、音声出力部１８０および制御部１９０を含む。

座席情報取得部１２０は、運転者の座席（シート）の前後位置、背もたれの角度、ヘッドレストの高さ方向の位置に関する座席情報を取得する。この座席情報は、座席に着座した運転者の視線位置を推定するために用いられる。また、座席に着座センサが搭載されている場合には、座席情報取得部１２０は、当該着座センサの検出結果も併せて取得するようにしてもよい。

撮像部１３０は、少なくとも車両の前方を撮像する撮像カメラを含み、撮像された画像データは制御部１９０へ提供される。制御部１９０は、画像データを画像処理し、その結果を表示部１７０に表示させることが可能である。また、撮像部１３０は、車内の運転者を撮像する車内カメラを含むことができる。車内カメラは、例えば、インスツルメンツパネル内やハンドル近傍に設置され、運転者の顔を撮像する。制御部１９０は、運転者の顔を撮像した画像データを画像処理し、運転者の視線位置を検出することが可能である。記憶部１４０は、ＡＲ表示システム１００にとって必要な情報などを格納する。例えば、ＡＲ表示用の画像データを格納する。

ＨＵＤ１５０は、車両のフロントガラス等にＡＲ表示用の画像を投射し、運転者は、視線方向にＡＲ表示を見ることができる。図２は、ＨＵＤ１５０の構成の一例である。ＨＵＤ１５０は、光源１５１、光源１５１からの光を集光する光学系１５２、光学系１５２からの光を画像データに基づき変調する光変調手段１５３、光変調手段１５３により変調された光を投射する投射光学系１５４、投射光学系１５４の光学系（例えば、光軸や焦点距離など）を調整するためのアクチュエータ１５５を含む。

調整部１６０は、アクチュエータ１５５を介して投射光学系１５４の調整を行う。１つの態様では、入力部１１０からのユーザー入力に応答してＨＵＤ１５０の調整を行う。例えば、運転者は、ＡＲ表示の初期設定を行うとき、入力部１１０を介して調整部１５０に指示を与える。また、他の態様では、制御部１９０からの指示に応答して調整部１５０は、ＨＵＤ１５０の調整を行う。

表示部１７０は、ＨＵＤ１５０とは異なる表示媒体であり、インスツルメンツパネル内あるいはその近傍に配置された液晶ディスプレイまたは有機ＥＬディスプレイを含む。表示部１７０は、後述するようにＡＲ表示の設定が必要なときに、ＡＲ表示が正しく見えるべき画像を表示する。表示部１７０は、これ以外にも、ＡＲ表示システム１００がナビゲーション機能やビデオ機能と結合される場合には、それらによって再生された画像を表示することも可能である。音声出力部１８０は、ＡＲ表示システム１００においてＡＲ表示の調整が必要であるとき等の案内を音声出力する。

制御部１９０は、ＡＲ表示システム１００の各部を制御する。好ましい態様では、制御部１９０は、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、ＨＵＤを調整するための調整プログラム２００を実行する。

図４に、本実施例の調整プログラムの機能的な構成を示す。本実施例の調整プログラム２００は、運転者の視線位置を推定する視線位置推定部２１０、ＨＵＤの光学情報を取得するＨＵＤ情報取得部２２０、ＡＲ表示を正しく見るための視線位置の基準範囲を算出する基準範囲算出部２３０、運転者の視線位置が基準範囲から逸脱しているか否かを判定する逸脱判定部２４０、運転者にＨＵＤを正しく調整するための判定用画像を提示する判定用画像提示部２５０を含む。

視線位置推定部２１０は、座席情報取得部１２０によって取得された座席情報に基づき、運転者の視線位置を推定する。座席センサが搭載されている場合には、座席への着座があったときに座席情報が取得されるようにしてもよい。座席情報は、運転席の前後位置、運転席の背もたれの角度、ヘッドレストの位置を含み、視線位置推定部２１０は、これらの座席情報に基づき運転者の視線位置を推定する。

図４は、運転者と座席の模式的な側面図である。座席３００は、前後方向Ｘに移動可能であり、背もたれが軸３１０を介して角度θで回転可能であり、ヘッドレスト３２０は、高さ方向Ｚに移動可能である。座席情報は、座席３００のＸ方向の位置、角度θ、ヘッドレスト３２０のＺ方向の高さを含む。視線位置推定部２１０は、運転者が座席３００に着座したときの運転者の視線位置を推定する。視線位置は、好ましくは、ＸＺ平面における２次元座標であるが、これに限定されず３次元座標であってもよい。また、視線位置推定部２１０は、座席情報に加えて、標準的な身体情報を用いて視線位置を推定するようにしてもよい。

図４の例では、運転者Ａが着座するとき、座席３００のＸ方向の位置が幾分前方であり、かつヘッドレスト３２０の高さは幾分低い。視線位置推定部２１０は、ＸＺ座標空間において運転者Ａの視線位置ＥＡ（Ｘ_Ａ、Ｚ_Ａ）を算出する。また、運転者Ｂが着座したとき、座席３００のＸ方向の位置が幾分後方である、かつヘッドレスト３２０の高さが幾分高い。視線位置推定部２１０は、ＸＺ座標空間において運転者Ｂの視線位置ＥＢ（Ｘ_Ｂ、Ｘ_Ｂ）を算出する。なお、上記の推定は、座席情報を利用するものであるが、これに代えて、あるいはこれとともに車内カメラにより撮像された運転者の顔画像から視点位置を検出するようにしてもよい。

ＨＵＤ情報取得部２２０は、ＨＵＤ１５０の投射光学系の情報を取得する。例えば、ＨＵＤ１５０の投射光学系が、図４に示すように、画像をフロントガラス３３０に投射するためのメインミラー３３０を含むとき、メインミラー３３０の光軸Ｏの角度または方向を表す光軸情報が取得される。メインミラー３３０の光軸Ｏは、フロントガラス３４０上の画像の投射位置および投射角度を決定する。光軸Ｏが変更されれば、運転者にとってのＡＲ表示を正しく見ることができる視線位置も変更される。

基準範囲算出部２３０は、ＨＵＤ情報取得部２２により取得された光学情報および座席情報に基づき、ＡＲ表示を正しく見ることができる運転者の視線位置の基準範囲を算出する。つまり、基準範囲とは、その座席位置に着座したならば、ＡＲ表示を正しく見ることができる視線範囲である。ＨＵＤ１５０により画像がフロントガラス３４０に投射されるとき、投射された画像は、入射角と等しい反射角で反射され、この反射光が運転者の視線位置に向かえば、運転者は、その視線方向にＡＲ表示を正しく見ることできるが、この反射光が運転者の視線位置からズレていれば、運転者は、その視線方向にＡＲ表示を正しくみることができない。従って、基準範囲算出部２３０は、投射光学系（メインミラー３３０）の光軸Ｏとフロントガラス３４０との成す入射角を算出し、その入射角と等しい反射角で進行する反射光が、推定された視線位置のＸ平面と交差するＺ座標を基準点として算出する。例えば、図４に示すように、運転者Ａの視線位置ＥＡ（Ｘ_Ａ、Ｚ_Ａ）が推定された場合、視線位置ＥＡのＸ_Ａ面と反射光との交点が基準点Ｃ（Ｘ_Ａ、Ｚ_Ｃ）として算出される。そして、基準点Ｃを中心に一定のＺ方向のマージンαを加えて基準範囲（Ｘ_Ａ、Ｚ_Ｃ−α）〜（Ｘ_Ａ、Ｚ_Ｃ＋α）を算出する。マージンαは、ＡＲ表示を正しく見ることができる範囲である。

逸脱判定部２４０は、視線位置推定部２１０によって推定された視線位置と基準範囲算出部２３０によって算出された基準範囲とを比較し、視線位置が基準範囲から逸脱するか否かを判定する。視線位置が基準範囲を逸脱するということは、運転者にとって、ＡＲ表示を正しく見ることができないことを意味し、視線位置が基準範囲内にあれば、運転者にとって、ＡＲ表示を正しく見ることができることを意味する。例えば、図４に示すように、運転者Ａの視線位置ＥＡが基準範囲内にあれば、運転者Ａは、その視線方向に虚像Ａを正しい位置で見ることができる。

逸脱判定部２４０の判定結果は、判定用画像提示部２５０へ提供される。そして、判定用画像提示部２５０は、推定された視線位置が基準範囲を逸脱している場合には、表示部１７０に、運転者が本来見えるべき正しいＡＲ表示の画像を表示させ、かつ運転者にＨＵＤの調整の必要性があることを案内する。この場合、判定用画像提示部２５０は、音声出力部１８０を介して音声により調整を促すようにしてもよい。

好ましい態様では、判定用画像提示部２５０は、撮像部１３０から車両前方の画像データ（運転者が見ることができる前方画像）を取得し、取得した画像データを画像処理し、そこに含まれる対象物を抽出し、抽出した対象物を認識し、認識された対象物に関連するＡＲ画像を、例えば記憶部１４０から読出し、対象物に関連するようにＡＲ画像データを取得した画像データに合成し、合成した画像を表示部１７０に表示する。認識された対象物にどのようなＡＲ画像を関連付けるかは予め決定される。このＡＲ画像が合成された車両前方の画像は、ＨＵＤの調整が適切に行われたときのＡＲ表示が正しく見えるべき画像である。

図５（Ａ）は、運転者の視線位置が基準範囲から逸脱しているときの運転席から見たＡＲ表示であり、フロントガラス越しの左右の白線Ｌ１、Ｌ２からＡＲ表示ＡＲ１、ＡＲ２、ＡＲ３が幾分ずれている。図５（Ｂ）は、判定用画像提示部２５０により生成された、ＡＲ表示が正しく見えるときの画像である。図５（Ａ）に示すように、運転者の視線位置が基準範囲から逸脱している場合には、ＡＲ表示ＡＲ１、ＡＲ２、ＡＲ３が本来表示されるべき位置からずれている。一方、図５（Ｂ）に示すように、判定用画像提示部２５０は、車両前方を撮像した画像データから白線Ｌ１、Ｌ２を認識し、白線Ｌ１、Ｌ２に関連するＡＲ画像ＡＲ１、ＡＲ２を重畳し、さらに白線Ｌ１、Ｌ２の中心を示し、かつその進行方向を示すＡＲ画像ＡＲ３を重畳する判定用画像を生成し、これをセンターのディスプレイ１７０に表示する。運転者は、表示部１７０に表示された判定用画像を基準に、図５（Ａ）に示すＡＲ表示が正確でないことを認識し、ＨＵＤ１５０を調整する。

次に、本実施例のＡＲ表示システムにおけるＨＵＤの調整動作について図６のフローを参照して説明する。着座センサが搭載されている場合には、その検出結果が座席情報取得部１２０により取得され（Ｓ１００）、運転者の着座が検出されると、座席情報が取得され（Ｓ１０２）、この座席情報が視線位置推定部２１０へ提供される。視線位置推定部２１０は、座席情報に基づき運転者の視線位置を推定し（Ｓ１０４）、次に、ＨＵＤ情報取得部２２０がＨＵＤの光学情報を取得し（Ｓ１０６）、基準範囲算出部２３０は、ＨＵＤの光学情報に基づき基準範囲を算出する（Ｓ１０８）。次に、逸脱判定部２４０は、推定された視線位置が基準範囲を逸脱するか否かを判定し（Ｓ１１０）、逸脱していると判定された場合には、判定用画像提示部２５０が判定用画像を生成し、生成した判定用画像を表示部１７０に表示し、さらにＨＵＤの調整を促す案内を行う（Ｓ１１２）。

運転者は、ＨＵＤ１５０の調整が必要であることの案内を報知されると、入力部１１０を介して調整の指示を与え、調整部１５０は、この指示に従いアクチュエータ１５５を介して投射光学系１５４の光軸方向を変更する。このとき、運転者は、表示部１７０に表示された判定用画像を基準に、ＨＵＤ１５０の最適な調整を行うことができる。

図６Ａに、本実施例の変形例を示す。ステップＳ１００〜Ｓ１１２は、図６の場合と同様である。本変形例では、推定された視線位置が基準範囲を逸脱すると判定された場合であっても、運転者がＨＵＤ１５０の調整を行った場合には（Ｓ１２０）、判定用画像提示部２５０は、判定用画像を表示部１７０に表示させる（Ｓ１１２）。運転者は、表示部１７０に表示された画像を基準に、ＨＵＤ１５０の正確な調整を行うことができる。

このように本実施例によれば、運転者の視線位置が基準範囲から逸脱している場合には、表示部１７０に、ＨＵＤ１５０の調整が最適であるときに運転者が見えるべき本来のＡＲ表示の画像を表示するようにしたので、運転者は、どのようなＡＲ表示が正しいものであるかを判定することができ、ＨＵＤの調整を容易に行うことができる。また、運転者は、調整を促す案内を受けることで、自動的に、ＨＵＤの設定が適切でないことを知ることができる。

ＡＲ表示は、虚像と実際の現実世界が一致して表示されていなければ意味がないので、ユーザーである運転者が初期調整を行う必要がある。しかし、ＨＵＤの表示は、虚像かつ運転者自身しか見られない映像であり、どこに何を合わせればいいのか分からない可能性が高い。本実施例で示した表示システム１００は、このような課題に対しても、効果を発揮できる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：ＡＲ表示システム１１０：入力部
１２０：座席情報取得部１３０：撮像部
１４０：記憶部１５０：ＨＵＤ部
１５１：光源１５２：光学系
１５３：光変調手段１５４：投射光学系
１５５：アクチュエータ１６０：調整部
１７０：表示部１８０：音声出力部
１９０：制御部２００：調整プログラム
３００：座席３１０：軸
３２０：ヘッドレスト３３０：メインミラー
３４０：フロントガラス

Claims

拡張現実を画像投射により表示可能な画像投射手段と、
車両の座席に関する座席情報を取得する取得手段と、
前記座席情報に基づき当該座席の搭乗者の視線位置を推定する推定手段と、
前記画像投射手段の投射光学系に基づき前記拡張現実を見ることができる基準範囲を算出する算出手段と、
前記視線位置が前記基準範囲から逸脱しているか否かを判定する判定手段と、
前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記拡張現実が正しく見えるべき画像をディスプレイに表示する表示手段と、
を含む表示システム。
表示システムはさらに、
前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記画像投射手段の投射光学系の調整を促す案内手段を含む、請求項１に記載の表示システム。
表示システムはさらに、
ユーザー入力に基づき前記画像投射手段の投射光学系の調整を行う調整手段を含む、請求項１に記載の表示システム。
前記画像投射手段は、前記拡張現実のための画像をフロントガラスに投射するミラーを含み、前記調整手段は、前記ミラーの光軸方向を調整する、請求項３に記載の表示システム。
前記視線位置が前記基準範囲から逸脱していないと判定された場合であっても前記調整手段が実施される場合には、前記表示手段は、前記拡張現実が正しく見えるべき画像をディスプレイに表示する、請求項１ないし４いずれか１つに記載の表示システム。
前記表示手段により表示される画像は、車両の前方を撮像した画像に前記拡張現実のための画像を重畳したものである、請求項１に記載の表示システム。
前記画像投射手段は、ヘッドアップディスプレイ（ＨＵＤ）を含み、前記算出手段は、前記推定手段により推定された視線位置の面上における基準範囲を算出する、請求項１に記載の表示システム。