JP2020163942A - 表示装置 - Google Patents

Abstract

【課題】運転を阻害しない重畳表示を行うことができる表示装置を提供すること。【解決手段】本開示の表示装置１００は、センサー（位置検出部１０２、測距部１０３）のセンシングの信頼度に応じて、互いに同一の意味をもつ第１の画像と第２の画像を、第１の画像として第１の投影領域に重畳表示するのか、或いは、第２の画像として第２の投影領域に非重畳表示するかを切り換えるようにしたので、センシング精度が悪いことに起因する精度の悪い重畳表示を回避でき、運転を阻害しないＡＲ表示を実現できる。【選択図】図４

Description

本開示は、例えば車載用の表示装置に関する。

表示装置として、ヘッドアップディスプレイ（Head‐Up Display、以下、ＨＵＤとも表記する）が知られている。ＨＵＤは、透光性の表示媒体に画像を投影し、この画像を、表示媒体越しに見える物に重畳するようユーザーに提示して、いわゆる拡張現実（ＡＲ: Augmented Reality）表示を実現することができる。

そして車載用のＨＵＤには、運転を支援する情報などを、ウインドシールドの前方に、現実の景色と重畳して見える虚像として運転者に提示するものがある。この種の表示装置は、例えば特許文献１、２などで開示されている。

特開平７−２５７２２８号公報 特開２０１８−０４５１０３号公報

ところで、ＡＲ表示は、運転にとって最も重要な前方視界においてなされるので、運転者の運転の邪魔になってならない。従来からこのような表示については様々な工夫がなされているが、未だ十分とは言えない。

本開示は、以上の点を考慮してなされたものであり、運転を阻害しない重畳表示を行うことができる表示装置を提供する。

本開示の表示装置の一つの態様は、
画像形成部と、
前記画像形成部で形成された画像を、ユーザーに対して視認可能な虚像として投影可能な投影部と、
前記投影部が投影する前記虚像の投影位置を決めるための位置情報を検出するセンサーと、
を備える画像表示装置であり、
前記投影部による投影領域は、前記実像に前記画像形成部で形成された第１の画像が前記虚像として重なるように重畳表示される第１の投影領域と、前記第１の領域とは異なる位置に位置し、前記画像形成部で形成された第２の画像が非重畳表示される第２の投影領域と、を含み、
前記センサーのセンシングの信頼度に応じて、互いに同一の意味をもつ前記第１の画像と前記第２の画像を、前記第１の画像として前記第１の投影領域に重畳表示するのか、或いは、前記第２の画像として前記第２の投影領域に非重畳表示するかが切り換えられる。

本開示によれば、センサーのセンシングの信頼度に応じて、互いに同一の意味をもつ第１の画像と第２の画像が重畳表示されるのか、或いは、非重畳表示するかが切り換えられるので、運転を阻害しないＡＲ表示を実現できる。

実施の形態に係る表示装置の車両への搭載例を示す図 実施の形態における表示装置によって光が投射される領域の一例を示す図 前景に重なるように虚像を表示した一例を示す図 表示装置の構成例を示すブロック図 正しい虚像が表示された例を示す図 間違った虚像が表示された例を示す図 ＨＵＤの表示領域を示す図 非重畳表示領域における表示例を示す図 同一の意味をもつ画像の重畳表示領域への表示と非重畳表示領域への表示の例を示す図であり、図９Ａは重畳表示領域への表示を示す図、図９Ｂは非重畳表示領域への表示を示す図 重畳表示と非重畳表示の切換動作の説明に供するフローチャート 重畳表示と非重畳表示の切換動作の説明に供するフローチャート

以下、本発明の実施の形態を、図面を参照して説明する。

＜１＞表示装置の概略構成
図１は、本開示の実施の形態に係る表示装置１００の車両２００への搭載例を示す図である。

本実施の形態における表示装置１００は、車載用のヘッドアップディスプレイ（ＨＵＤ）として具現化されている。表示装置１００は、車両２００のダッシュボード２２０の上面付近に取り付けられる。

表示装置１００は、ウインドシールド（いわゆるフロントガラス）２１０における、一点鎖線で示される運転手の視界内にある領域Ｄ１０に光を投射する。投射された光の一部はウインドシールド２１０を透過するが、他の一部はウインドシールド２１０に反射される。この反射光は、運転者の目に向かう。運転者は、目に入ったその反射光を、ウインドシールド２１０越しに見える実在の物体を背景に、ウインドシールド２１０を挟んで反対側（車両２００の外側）にある物体の像のように見える虚像Ｖｉとして知覚する。

図２は、本実施の形態における表示装置１００によって光が投射される領域である領域Ｄ１０の一例を示す図である。

領域Ｄ１０は、例えば図２に破線で囲まれた領域として示されるように、ウインドシールド２１０の運転席側の下寄りに位置する。ダッシュボード２２０に取り付けられた表示装置１００は、図１に示されるように領域Ｄ１０に光を投射することでウインドシールド２１０に画像を投影する。これにより運転者からは車両２００の外側にある物体の像のように見える虚像Ｖｉが生成される。

図３は、本実施の形態における表示装置１００によって生成される虚像の一例、及びこの虚像と、走行中の車両２００の運転者から見た車両２００前方の景色との重畳の一例を示す図である。

図３全体は、車両２００を運転中の運転者（図示なし）の視界内の景色の一部を模式的に示す。ただし表示装置１００から画像が投影される領域Ｄ１０を示す破線の枠は、本実施の形態の説明の便宜上示されるものであり、存在して運転者に知覚されるものではない。また、参照符号Ｖ１０が付された矢印の像は、表示装置１００によって生成されて運転者に知覚されている虚像Ｖｉの例であるＡＲ（Augmented Reality）ルートである。

図３に示されるように、虚像Ｖ１０は、運転者の視界内で実際に見える景色に重畳するように表示される。実際上、虚像Ｖ１０は、道路上に重畳して表示される。これにより、運転者は虚像Ｖ１０で示される帯状の領域上を走行するように誘導される。

図４は、表示装置１００の構成例を示すブロック図である。

表示装置１００は、地図情報取得部１０１、位置検出部１０２、測距部１０３、車両挙動検出部１０４、視点検出部１０５、画像形成部１１０、表示制御部１２０、ＨＵＤ１３０及び判定部１５０を有する。

地図情報取得部１０１は、地形や道路形状等を絶対座標系の座標で表した情報が含まれた地図情報を取得する。地図情報取得部１０１により取得される地図情報は、車両２００に搭載された地図情報記憶媒体に記憶されているものであってもよいし、外部装置との通信により取得されるものであってもよい。本実施の形態の場合、地図情報取得部１０１は、いわゆるナビゲーションシステムであり、現在地から目的地までの経路を取得する。地図情報取得部１０１は、地図情報及び経路情報を画像形成部１１０に出力する。

位置検出部１０２は、ＧＰＳ受信機や、ジャイロスコープ、車速センサーなどによって具現化され、自車両２００の現在地を検出する。

測距部１０３は、レーダーやカメラ、赤外線センサーなどであり、対象物の有無や対象物までの距離を検出する。

車両挙動検出部１０４は、ジャイロスコープ、サスペンションストロークセンサー、車速センサー、加速度センサーなどによって具現化され、車両の挙動を示す物理量を検出する。

視点検出部１０５は、例えば赤外線カメラにより運転者の眼を撮像し、撮像した眼の画像から画像処理により、車両座標系における運転者の眼の位置の座標を測定する。視点検出部１０５による検出結果は、表示制御部１２０に出力される。

画像形成部１１０は、地図情報取得部１０１、位置検出部１０２、測距部１０３及び車両挙動検出部１０４からの入力信号に基づいて、虚像Ｖｉの基になる画像を形成する。

表示制御部１２０は、画像形成部１１０によって形成された画像と、視点情報とに基づいて、ＨＵＤ１３０を構成する光源部、走査部、スクリーン駆動部などを制御することにより、ウインドシールドの領域Ｄ１０に虚像Ｖｉを表示する。

表示制御部１２０及びＨＵＤ１３０は、画像形成部１１０で形成された画像を、ユーザー（本実施の形態の場合、運転者）から見える実像に重なる虚像として投影可能な投影部１６０として機能する。また、表示制御部１２０及びＨＵＤ１３０は、画像形成部１１０で形成された画像を、ユーザーから見える実像に重ならならない非重畳の虚像として投影可能な投影部１６０としても機能する。

これらに加えて、本実施の形態の場合、位置検出部１０２及び測距部１０３は、図中点線で示したように、判定部１５０にセンシングの信頼度情報を出力する。判定部１５０は、信頼度情報に基づいて後述するような判定処理を行い、判定結果を画像形成部１１０に出力する。画像形成部１１０は、判定結果に基づいて重畳表示と非重畳表示を切り換える。

＜２＞重畳領域と非重畳領域での関連付け表示
図５及び図６は、運転者が見える前方視界の例を示す。図５は正しい虚像Ｖ１０が表示された例であり、図６は間違った虚像Ｖ１０が表示された例である。図５の正しい表示例では、進行方向の前方に障害物Ｘ１の奥側を走行するよう指示する虚像Ｖ１０が表示されている。これに対して、図６の間違った表示例では、障害物Ｘ１の手前に虚像Ｖ１０が表示されている。このような間違った表示の一因は、位置検出部１０２や測距部１０３から画像形成部１１０に出力されるセンシング信号の精度が悪いことである。

よって、本実施の形態の表示装置１００は、位置検出部１０２及び測距部１０３から出力されるセンシングの信頼度情報を判定部１５０に入力し、信頼度情報に基づいて、ＨＵＤ１３０で表示する表示画像を切り換えるようになっている。

換言すれば、投影部１５０が投影する虚像の投影位置を決めるための位置情報を得るセンサー（位置検出部１０２、測距部１０３）の信頼度に応じて、重畳表示を行うか、或いは、非重畳表示を行うのかを選択するようになっている。これにより、図６のような間違った（精度の悪い）虚像Ｖ１０が表示されるのを防止できる。

図７は、ＨＵＤ１３０の表示領域を示す。ＨＵＤの表示領域は、実像に画像形成部１１０で形成された第１の画像が虚像として重なるように重畳表示される重畳表示領域（第１の投影領域）１０と、第１の領域とは異なる位置に位置し、画像形成部１１０で形成された第２の画像が非重畳表示される非重畳表示領域（第２の投影領域）２０と、に分割されている。

本実施の形態の場合、重畳表示領域（第１の投影領域）１０は、運転者の前方正面に位置する。換言すれば、重畳表示領域（第１の投影領域）１０は、運転者の主たる視界に位置する。実施の形態では、非重畳表示領域（第２の投影領域）２０は、重畳表示領域（第１の投影領域）１０に隣接する下方位置にある。なお、重畳表示領域（第１の投影領域）１０と非重畳表示領域（第２の投影領域）２０とは必ずしも隣接していなくてもよい。非重畳表示領域２０は、ＳＴ(Static)表示領域と呼んでもよい。。

非重畳表示領域２０には、重畳表示領域１０に表示されなかった第１の画像と同一の意味をもつ第２の画像が表示される。また、非重畳表示領域２０には、車速などの車両の挙動を表す数値画像などが表示される。

図８は、非重畳表示領域２０における表示例を示す図である。図５や図６では重畳表示領域１０に表示されていた虚像Ｖ１０が、図８では画像Ｗ１０として非重畳表示領域に切り換え表示されている。重畳表示から非重畳表示に切り換えられるトリガーは、例えば上述したようなセンシングの信頼度の低下であってもよく、運転者による操作であってもよい。

図９は、同一の意味をもつ画像の重畳表示領域１０への表示と、非重畳表示領域２０への表示の例を示す。図９Ａの重畳表示領域１０への表示例では、歩行者の足元に、運転者への注意喚起を行うための楕円状の虚像Ｖ１０が表示されている。図９Ｂの非重畳表示領域２０への表示例では、歩行者を示す人型の画像Ｗ１０が表示されている。そして、上述したように、例えばセンシングの信頼度や運転者の操作をトリガーとして、図９Ａに示した表示と図９Ｂに示した表示とが切り換えられる。

このように、本実施の形態においては、同一の意味をもつ画像が、例えば、センシングの信頼度が高い場合には重畳表示領域１０に表示され、センシングの信頼度が低い場合には非重畳表示領域２０に表示される。これにより、センシングの信頼度の低い場合に、重畳表示領域１０に実像に対する位置精度の悪い虚像を表示することを防ぐことができる。また、運転者は、非重畳表示領域２０に表示された画像Ｗ１０を見れば、現在重畳表示領域１０には表示されてはいないが、実際には画像Ｗ１０が意味する情報を運転者に伝えることができ、さらには、センシング処理が稼動していることを認識できる。

因みに、このような重畳表示と非重畳表示との切換制御は、図示しない操作部を介して運転者の操作によって行うこともできるようになっている。例えば、運転者が重畳表示したくない場合には、コンテンツを重畳表示せずに、アイコン画像として非重畳表示することもできる。

ここで、本発明の発明者は、このように、同一の意味をもつ第１の画像と第２の画像を、重畳表示領域１０と非重畳表示領域２０とで切換表示する場合に、重畳表示領域１０に表示されるときの画像と、非重畳表示領域に表示されるときの画像とで関連性をもたせれば、運転者はコンテンツの意味を即座に理解でき非常に便利であると考えた。

このような考察の下、本実施の形態においては、互いに同一の意味をもつ第１の画像と第２の画像を、重畳表示領域１０と非重畳表示領域２０とで切換表示する場合に、重畳表示領域１０に表示する第１の画像と非重畳表示領域２０に表示する第２の画像とに対して、関連付け処理を施す。実際上、このような互いに関連付いた第１の画像と第２の画像の形成処理は、画像形成部１１０によって行われる。

本実施の形態では、第１の画像と第２の画像の関連付けの方法として、以下の方法を提示する。なお、関連付けには、以下の方法のいずれか１つを用いてもよく、複数を組み合わせて用いてもよい。

関連付け方法１）
同一の意味をもつ第１の画像と第２の画像を色で関連付ける。例えば第１の画像と第２の画像を同じ色にする。例えば図９の楕円状の虚像Ｖ１０を黄色にするとともに、図９Ｂの人型の画像Ｗ１０を黄色にする。

関連付け方法２）
同一の意味をもつ第１の画像と第２の画像を形状で関連付ける。例えば第１の画像と第２の画像を同じ形状又は類似した形状にする。例えば図５と図８がこれに対応する例であり、虚像Ｖ１０（図５）と画像Ｗ１０（図８）は類似した形状とされている。

関連付け方法３）
同一の意味をもつ第１の画像と第２の画像を位置で関連付ける。例えば、図９Ａの虚像Ｖ１０が画面の左端の位置に表示される場合には、図９Ｂの画像Ｗ１０も画面の左端の位置に表示する。

関連付け方法５）
同一の意味をもつ第１の画像と第２の画像を一時的に重畳表示領域１０と非重畳表示領域２０の両方に表示させてから、いずれか一方に表示を切り換える。

＜３＞重畳表示と非重畳表示の切換制御
上述したように本実施の形態の表示装置１００は、センサー（位置検出部１０２、測距部１０３）のセンシングの信頼度に応じて、互いに同一の意味をもつ第１の画像と第２の画像（図９の例では歩行者）を、第１の画像（図９の例では楕円状）として第１の投影領域（重畳表示領域１０）に重畳表示するのか、或いは、第２の画像（図９の例では人型のアイコン）として第２の投影領域（非重畳表示領域２０）に非重畳表示するかが切り換えられる。

図１０は、重畳表示と非重畳表示の切換動作の説明に供するフローチャートである。

ステップＳ１において、位置検出部１０２及び測距部１０３などによりセンシングが行われる。表示装置１００は、センシング信号が有る場合には、センシング結果に対応した画像を表示する処理行う。

具体的には、センシング信号が有る場合には、ステップＳ２からステップＳ３に移る。ステップＳ３においては、判定部１５０がセンシング信号の信頼度が所定の閾値を超えているか否か判定する。信頼度が閾値を超えている場合、ステップＳ４に移って重畳表示領域１０に虚像Ｖ１０が表示される。これに対して、信頼度が閾値以下の場合、ステップＳ５に移って非重畳表示領域に画像Ｗ１０が表示される。具体的に、図９の例に説明すると、信頼度が閾値を超えている場合、画像形成部１１０により図９Ａに示したような楕円状の画像が形成され、この画像が重畳表示領域１０に虚像Ｖ１０として表示される。これに対して、信頼度が閾値以下の場合、画像形成部１１０により図９Ｂに示したような人型の画像が形成され、この画像が非重畳表示領域２０に画像Ｗ１０として表示される。

処理は、ステップＳ４又はステップＳ５の後、ステップＳ２に戻る。ステップＳ２でセンシング信号が無い判断すると、当該コンテンツ（例えば歩行者）の表示処理が終了する。

このようにすることで、センシングの信頼度が低い場合に、図６のような間違った（換言すれば、位置精度の悪い）重畳表示が行われるのを防止でき、運転者に誤った情報を伝えてしてしまうことを防止できる。

ところで、このようなセンシングの信頼度に基づいて重畳表示と非重畳表示との切換を行う場合、センシングの信頼度が短時間に頻繁に変化すると、重畳表示と非重畳表示との切換も頻繁に行われるので、運転者にとって煩わしい表示となるおそれがある。例えば、並木道を車両２００が走行し、明るい場所と暗い場所とが頻繁に切り換わって現れる場合には、センサーの信頼度が頻繁に変化するため、重畳表示と非重畳表示との切換も頻繁に行われる可能性が高い。

そこで、本実施の形態では、切換制御の改善策として以下の方法を提示する。

センシングの信頼度が、所定の閾値を超えている時間が所定の時間（例えば０．５秒）以上続いた場合に、重畳表示し、それ以外は非重畳表示する。図１０との対応部分に同一符号を付して示す図１１は、この切換制御方法に対応するフローチャートである。図１１が図１０と異なるのは、ステップＳ１１の判定基準である。センシングの信頼度が短時間に頻繁に変化すると、ステップＳ１１からステップＳ５に移るようになる。この結果、センシングの信頼度が短時間に頻繁に変化したとしても、重畳表示と非重畳表示との切換は頻繁には行われず、煩わしい表示を抑制できる。

因みに、この切換制御方法は、重畳表示から非重畳表示に切り換わるための信頼度の条件と、非重畳表示から重畳表示に切り換わるための信頼度の条件を異なるようにした一つの例であると言うことができる。このように切換の条件を異ならせることで、頻繁な切換による悪影響を防止できる。

なお、重畳表示が誤ると非常に危険なので、非重畳表示から重畳表示に切り換わるための信頼度の条件は、重畳表示から非重畳表示に切り換わるための信頼度の条件よりも厳しくすることが好ましい。

また、一旦非重畳表示された第２の画像は、当該第２の画像が意味する情報が無効になるまで重畳表示には切り換えられないことが好ましい。例えば、第２の画像が図８に示したような左折を誘導するための画像であれば、車両が交差点を曲がり終わるまで重畳表示に切り換えない。また、例えば、第２の画像が図９Ｂに示したような歩行者警告のための画像であれば、その歩行者が警告対象から外れるまで重畳表示に切り換えない。このようにすることで、突然コンテンツが重畳表示されるのを防止でき、運転者を驚かせなくてすむようになる。

＜４＞まとめ
以上説明したように、本実施の形態によれば、センサー（位置検出部１０２、測距部１０３）のセンシングの信頼度に応じて、互いに同一の意味をもつ第１の画像と第２の画像（図９の例では歩行者）を、第１の画像（図９の例では楕円状）として第１の投影領域（重畳表示領域１０）に重畳表示するのか、或いは、第２の画像（図９の例では人型のアイコン）として第２の投影領域（非重畳表示領域２０）に非重畳表示するかを切り換えるようにしたので、センシング精度が悪いことに起因する精度の悪い重畳表示を回避でき、運転を阻害しないＡＲ表示を実現できる。

また、重畳表示と非重畳表示との切換の条件を工夫したことにより、より運転者の運転を阻害しないＡＲ表示を実現できる。

上述の実施の形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することの無い範囲で、様々な形で実施することができる。

上述の実施の形態では、本開示の表示装置を車載用のＨＵＤに適用した場合について述べたが、これに限らず、要は同一の意味をもつ第１の画像と第２の画像を、重畳表示と非重畳表示とで切換表示する表示装置に広く適用可能である。

上述の実施の形態の各処理は、ソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本発明の表示装置は、例えば車載用のＨＵＤに好適である。

１０ 重畳表示領域
２０ 非重畳表示領域
１００ 表示装置
１０１ 地図情報取得部
１０２ 位置検出部
１０３ 測距部
１０４ 車両挙動検出部
１０５ 視点検出部
１１０ 画像形成部
１２０ 表示制御部
１３０ ＨＵＤ（ヘッドアップディスプレイ）
１５０ 判定部
１６０ 投影部
２００ 車両
２１０ ウインドシールド
２２０ ダッシュボード
Ｖｉ、Ｖ１０ 虚像
Ｗ１０ アイコン画像

Claims (6)

1. 画像形成部と、
   前記画像形成部で形成された画像を、ユーザーに対して視認可能な虚像として投影可能な投影部と、
   前記投影部が投影する前記虚像の投影位置を決めるための位置情報を検出するセンサーと、
   を備える画像表示装置であり、
   前記投影部による投影領域は、前記実像に前記画像形成部で形成された第１の画像が前記虚像として重なるように重畳表示される第１の投影領域と、前記第１の領域とは異なる位置に位置し、前記画像形成部で形成された第２の画像が非重畳表示される第２の投影領域と、を含み、
   前記センサーのセンシングの信頼度に応じて、互いに同一の意味をもつ前記第１の画像と前記第２の画像を、前記第１の画像として前記第１の投影領域に重畳表示するのか、或いは、前記第２の画像として前記第２の投影領域に非重畳表示するかが切り換えられる、
   表示装置。
2. 前記信頼度が所定の閾値を超えている場合に、前記第１の投影領域に前記第１の画像が表示され、前記信頼度が所定の閾値以下の場合に、前記第２の投影領域に前記第２の画像が表示される、
   請求項１に記載の表示装置。
3. 前記信頼度が、所定の閾値を超えている時間が所定の時間以上続いた場合に、前記第１の投影領域に前記第１の画像が表示され、それ以外は前記第２の投影領域に前記第２の画像が表示される、
   請求項１に記載の表示装置。
4. 前記重畳表示から前記非重畳表示に切り換わるための前記信頼度の条件と、前記非重畳表示から前記重畳表示に切り換わるための前記信頼度の条件が異なる、
   請求項１に記載の表示装置。
5. 前記非重畳表示から前記重畳表示に切り換わるための前記信頼度の条件は、前記重畳表示から前記非重畳表示に切り換わるための前記信頼度の条件よりも厳しい、
   請求項４に記載の表示装置。
6. 一旦前記非重畳表示された前記第２の画像は、前記第２の画像が意味する情報が無効になるまで前記重畳表示には切り換えられない、
   請求項１から５のいずれか一項に記載の表示装置。