JP2020179745A - 表示システム - Google Patents

Abstract

【課題】像の表示位置の位置ずれを抑制する表示システムを提供する。【解決手段】表示システムは、移動体の位置および移動体の外の情報の少なくとも一つを取得する情報取得装置と、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の第１補正量を設定する補正処理装置と、移動体の位置および像の表示方向の実景に対して像を重畳させる重畳先位置の勾配情報に基づいて像の表示位置の第２補正量を設定する勾配補正処理装置と、を備え、勾配補正処理装置は、勾配情報に基づいて、第２補正量を用いた勾配補正を実施するか否かを判定し、表示処理装置は、情報取得装置が取得した情報と第１補正量と第２補正量とに基づいて、像の表示を制御する。【選択図】図２

Description

本開示は、像の表示位置を移動体の動きに応じて制御する表示システムに関する。

特許文献１は、ヘッドアップディスプレイ（ＨＵＤ）装置を用いて、拡張現実（ＡＲ）表示を行う車両情報投影システムを開示している。ＨＵＤ装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象（例えば、道路）に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献１の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。

特開２０１５−１０１３１１号公報

本開示は、像の表示位置の位置ずれを抑制する表示システムを提供する。

本開示の表示システムは、移動体の位置および移動体の外の情報の少なくとも一つを取得する情報取得装置と、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の第１補正量を設定する補正処理装置と、移動体の位置および像の表示方向の実景に対して像を重畳させる重畳先位置の勾配情報に基づいて像の表示位置の第２補正量を設定する勾配補正処理装置と、を備え、勾配補正処理装置は、勾配情報に基づいて、第２補正量を用いた勾配補正を実施するか否かを判定し、表示処理装置は、情報取得装置が取得した情報と第１補正量と第２補正量とに基づいて、像の表示を制御する。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の表示システムによれば、像の表示位置の位置ずれを抑制することができる。

ヘッドアップディスプレイ（ＨＵＤ）を説明するための図 第１実施形態における表示システムの内部構成を示すブロック図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 虚像が基準位置に表示される例を示す図 拡張現実（ＡＲ）表示の一例を示す図 車両の後傾姿勢を示す図 車両が後傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 振動補正処理後の虚像の表示例を示す図 勾配差補正処理の一例を説明するための図 振動補正処理と補正処理との両方が実施される場合に、過補正となる例を示す説明図 第１実施形態における表示処理を示すフローチャート 第１実施形態における振動補正処理を示すフローチャート 第１実施形態における勾配差補正処理を示すフローチャート 走路の勾配の算出の一例を示す説明図 勾配補正制御部の制御の一例を示す図 第１実施形態における変形例の表示システムの内部構成を示すブロック図

（本開示の基礎となった知見）
表示システムとして、例えば、実景である特定対象に対して所定の情報（虚像）を重畳させるヘッドアップディスプレイ（ＨＵＤ）システムが知られている。例えば、ＨＵＤシステムでは、路面の凹凸や移動体の加減速などにより動的に変化する移動体の状態（例えば、姿勢）をジャイロセンサの出力から算出し表示位置を補正する振動補正処理が行われている。また、ＨＵＤシステムでは、自己位置と前方の路面勾配差を算出し表示(位置、傾き)を補正する勾配補正処理が行われている。

勾配補正処理は、自己位置と前方の重畳先位置の勾配差に応じて虚像の表示ずれを補正している。自己位置の勾配情報の変化は、ジャイロセンサの出力にも含まれるため、振動補正処理と勾配補正処理とによる表示ズレ補正が重複してしまう場合がある。この場合、表示ずれ補正が過補正になり、補正後の虚像の表示位置の精度が低下することがある。

そこで、本発明者らは、鋭意検討したところ、自己位置と重畳先位置との勾配差に基づいて、勾配補正処理を実施するか否かを判定する表示システムを考案した。これにより、虚像の表示ずれ補正の過補正を抑制し、補正後の虚像の表示位置の低下を抑制することができる。以下、本開示の表示システムについて説明する。

（第１実施形態）
以下、第１実施形態について、図面を参照しながら説明する。第１実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に像として虚像を表示するヘッドアップディスプレイ（ＨＵＤ）システムである場合を例にして説明する。

１． 表示システムの構成
図１は、ＨＵＤシステムを説明するための図である。図１において、車両２００のロール軸をＸ軸とし、車両２００のピッチ軸をＹ軸とし、車両２００のヨー軸をＺ軸としている。すなわち、Ｘ軸は、Ｙ軸及びＺ軸と直交し、虚像Ｉｖを視認する乗員Ｄの視線方向に沿った軸である。Ｙ軸は、虚像Ｉｖを視認する乗員Ｄから見て左右方向に沿った軸である。Ｚ軸は、車両２００の高さ方向に沿った軸である。

本実施形態の表示システム１００は、車両２００のフロントガラス２１０の前方の実景に虚像Ｉｖを重畳する、所謂、拡張現実（ＡＲ）表示を行うＨＵＤシステムである。虚像Ｉｖは、所定の情報を示す。例えば、虚像Ｉｖは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム１００は、車両２００に設置され、虚像Ｉｖを表す表示光Ｌｃを車両２００のフロントガラス２１０の表示領域２２０内に投影する。本実施形態において、表示領域２２０は、フロントガラス２１０の一部の領域である。なお、表示領域２２０は、フロントガラス２１０の全領域であってもよい。表示光Ｌｃは、フロントガラス２１０によって、車内の方向に反射される。これにより、車両２００内の乗員（視認者）Ｄは、反射された表示光Ｌｃを、車両２００の前方にある虚像Ｉｖとして視認する。

表示システム１００は、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、補正処理装置５０、及び勾配補正処理装置６０を含む。

投影装置１０は、虚像Ｉｖを表す表示光Ｌｃを表示領域２２０内に投影する。投影装置１０は、例えば、虚像Ｉｖの画像を表示する液晶表示素子、液晶表示素子を照明するＬＥＤなどの光源、液晶表示素子が表示する画像の表示光Ｌｃを表示領域２２０に反射するミラー及びレンズなどを含む。投影装置１０は、例えば、車両２００のダッシュボード内に設置される。

情報取得装置２０は、車両２００の位置及び車外の情報を取得する。具体的には、情報取得装置２０は、車両２００の位置を測定して位置を示す位置情報を生成する。情報取得装置２０は、さらに、対象物、及び対象物までの距離などを示す車外情報を取得する。対象物は、人、標識、道路などである。情報取得装置２０は、車両２００の位置情報及び車外情報のうちの少なくとも１つを含む車両関連情報を出力する。

表示処理装置３０は、情報取得装置２０から得られる車両関連情報などに基づいて、虚像Ｉｖの表示を制御し、虚像Ｉｖの画像データを投影装置１０に出力する。表示処理装置３０は、虚像Ｉｖの表示タイミング（表示時間）、又は車両関連情報と表示タイミングの組み合わせに基づいて、虚像Ｉｖの表示を制御してもよい。表示タイミングは、例えば、１０秒間の表示と１秒間の非表示とを繰り返すことである。

姿勢検出装置４０は、車両２００の姿勢変動を検出する。本実施形態において、姿勢検出装置４０は、例えば、角速度を検出するジャイロセンサ４１（図２参照）を含む。ジャイロセンサ４１は、検出した角速度を、車両２００の姿勢変動を示す姿勢変動情報として補正処理装置５０に出力する。

補正処理装置５０は、姿勢検出装置４０によって検出された車両２００の姿勢変動に基づいて、虚像Ｉｖの表示位置の補正量を算出する。言い換えると、補正処理装置５０は、車両２００の姿勢変動による虚像Ｉｖの表示ずれを補正する振動補正処理を実施するための補正量を算出する。

勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配差に基づいて、虚像Ｉｖの表示位置の補正量を算出する。言い換えると、勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配差による虚像Ｉｖの表示ずれを補正する勾配補正処理を実施するための補正量を算出する。本明細書において、重畳先位置とは、虚像Ｉｖの表示方向の実景に対して虚像Ｉｖを重畳させる位置であって、車両２００の前方へ所定距離離れた位置である。本実施形態では、一例として、重畳先位置は、車両２００の前方の実景に対して虚像Ｉｖを重畳させる位置であって、車両２００の前方５０ｍの位置である。なお、重畳先位置は、車両２００の前方５０ｍの位置に限定されるものではなく、例えば、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに応じて変更してもよい。

図２は、表示システム１００の内部構成を示すブロック図である。

本実施形態において、情報取得装置２０は、地理座標系における車両２００の現在地を示す位置を検出するＧＰＳ（Global Positioning System）モジュール２１を含む。具体的には、ＧＰＳモジュール２１は、ＧＰＳ衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。ＧＰＳモジュール２１は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置２０は、さらに、外景を撮像して撮像データを生成するカメラ２２を含む。情報取得装置２０は、例えば、画像処理により撮像データから対象物を特定し、対象物までの距離を測定する。情報取得装置２０は、対象物及び対象物までの距離を示す情報を車外情報として生成する。情報取得装置２０は、位置情報及び車外情報を含む車両関連情報を表示処理装置３０に出力する。なお、カメラ２２によって生成された撮像データが表示処理装置３０に出力されてもよい。

表示処理装置３０は、通信部３１、表示制御部３２、及び記憶部３３を含む。

通信部３１は、所定の通信規格（例えば、ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。

表示制御部３２は、半導体素子などで実現可能である。表示制御部３２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部３２は、記憶部３３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。

記憶部３３は、表示処理装置３０の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。

記憶部３３には、虚像Ｉｖを表す複数の画像データ３３ｉが格納されている。表示制御部３２は、情報取得装置２０から得られる車両関連情報に基づいて、表示する虚像Ｉｖを決定する。表示制御部３２は、決定した虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出して、投影装置１０に出力する。さらに、表示制御部３２は、虚像Ｉｖの表示位置を設定する。表示制御部３２は、虚像Ｉｖを表示するか否か又は表示中か否かを示す表示情報を補正処理装置５０に出力する。

また、記憶部３３には、経路情報３４が格納されている。経路情報３４は、車両２００が走行する経路の情報を意味する。例えば、経路情報３４は、経路上において、所定の間隔を有する複数の位置の高度情報を含む。高度情報は、例えば、国土地理院の標高データを使用することができる。表示処理装置３０は、外部から経路情報３４を取得し、記憶部３３に格納する。また、表示処理装置３０は、経路情報３４を記憶部３３から読み出し、勾配補正処理装置６０に出力する。

補正処理装置５０は、通信部５１と補正制御部５２と記憶部５３とを含む。

通信部５１は、所定の通信規格（例えばＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。

補正制御部５２は、半導体素子などで実現可能な演算装置である。補正制御部５２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。補正制御部５２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部５２は、補正処理装置５０内の記憶部５３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。

補正制御部５２は、機能的構成として、ずれ量算出部５２ａ及び補正量算出部５２ｂを含む。

ずれ量算出部５２ａは、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）を算出する。例えば、ずれ量算出部５２ａは、ジャイロセンサ４１が検出した角速度を積分演算することによって、車両２００のピッチ軸周りの角度（ピッチ角）を算出する。これにより、図１に示すＹ軸（ピッチ軸）を中心とした回転方向における車両２００のずれ量（角度）を算出することができる。なお、本実施形態では、ピッチ角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、Ｘ軸、Ｙ軸及びＺ軸周りの角度を全て算出してもよい。

補正量算出部５２ｂは、車両２００の姿勢（角度のずれ量）に応じて、虚像Ｉｖの表示位置の補正量を算出する。具体的には、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した角度（ピッチ角）のずれ量を画素数に換算して、ずれている分の画素数を元に戻すような補正量を決定する。例えば、補正量算出部５２ｂは、ピッチ角のずれ量を元に戻すような補正量を決定する。補正量算出部５２ｂは、算出した補正量を表示処理装置３０に出力する。なお、本実施形態では、ピッチ軸方向の補正量を算出するが、ヨー軸方向及びロール方向の補正量を算出してもよい。ロール角については、角度のまま、ロール角のずれ量を元に戻すような補正量を決定する。

姿勢検出装置４０の出力の演算処理は、姿勢検出装置４０又は補正処理装置５０のずれ量算出部５２ａ、又は、他の構成で行われてもよい。

記憶部５３は、補正制御部５２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を補正制御部５２として機能させるために必要なプログラム及びデータが記憶部５３に格納されている。記憶部５３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。

補正処理装置５０は、表示処理装置３０に補正量を出力する。

勾配補正処理装置６０は、通信部６１と勾配補正制御部６２と記憶部６３とを含む。

通信部６１は、所定の通信規格（例えばＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。

勾配補正制御部６２は、半導体素子などで実現可能な演算装置である。勾配補正制御部６２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。勾配補正制御部６２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。

勾配補正制御部６２は、車両２００の自己位置と虚像Ｉｖの重畳先位置との勾配差を算出し、算出した勾配差に応じて虚像Ｉｖの表示位置の補正量を算出する。具体的には、勾配補正制御部６２は、算出した勾配差をずれ量の画素数に変換して、ずれている分の画素数を元に戻すような補正量を決定する。勾配補正制御部６２は、算出した補正量を表示処理装置３０に出力する。

記憶部６３は、勾配補正制御部６２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を勾配補正制御部６２として機能させるために必要なプログラム及びデータが記憶部５３に格納されている。記憶部６３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。

なお、本明細書では、補正処理装置５０により算出された補正量を振動補正量又は第１補正量と称し、勾配補正処理装置６０により算出された補正量を勾配補正量又は第２補正量と称する場合がある。

図３Ａ〜図３Ｄを参照して、ＡＲ表示について説明する。図３Ａは、車両２００が傾いていないときの例を示している。図３Ｂは、図３Ａに示す車両２００のフロントガラス２１０から見える実景の例を示している。図３Ｃは、表示領域２２０から見える虚像Ｉｖの一例を示している。図３Ｄは、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖが重なって表示される例を示している。表示システム１００は、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖを重畳させる。虚像Ｉｖの基準位置（初期位置）Ｐ０は、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに基づいて決定された位置であり、当該基準位置Ｐ０は、外部装置により決定される。例えば、表示対象２３０が走行車線であって、虚像Ｉｖが進行方向を示す矢印の場合、基準位置Ｐ０は走行車線の中央を矢印の先端が指し示すときの液晶上の表示位置である。基準位置Ｐ０は、例えば、図３Ｃにおいて、表示領域２２０内におけるＹ座標とＺ座標の値に対応する液晶表示上の画素の位置で設定される。

基準位置Ｐ０は、外部装置から取得される。外部装置は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、または、ＡＳＩＣと、ＧＰＳモジュール２１とで構成することができる。外部装置の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。外部装置から出力される基準位置Ｐ０は、乗員数、荷重の変動、及び燃料の減少などによる姿勢の変動に基づいて変化する場合があるため、例えば、最初に取得した基準位置（初期位置）と異なる場合がある。それ故、表示処理装置３０は、外部装置から取得される基準位置Ｐ０を、乗員数、荷重の変動、及び燃料の減少などによる姿勢の変動に基づいて変更してもよい。なお、表示処理装置３０が、車両関連情報及び地図データなどに基づいて、基準位置Ｐ０を設定してもよい。表示処理装置３０は、車両関連情報に基づいて、虚像Ｉｖの大きさを設定してもよい。

図４Ａ〜４Ｃを参照して、振動補正処理について説明する。図４Ａは、車両２００が後傾姿勢になった状態の例を示している。図４Ｂは、車両２００の姿勢変動に応じて、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。図４Ｃは、振動補正後の虚像Ｉｖの表示位置を示している。

路面の凹凸、車両２００の急加速又は急減速などにより、車両２００が傾く場合がある。例えば、車両２００が路面３０１の凸部３０３に乗り上げると、図４Ａに示すように車両２００は後傾姿勢になる。この場合、図４Ｂに示すように、フロントガラス２１０から見える表示対象２３０の位置が車両２００の走路に対する傾きθ１に応じて変動する。そのため、虚像Ｉｖを基準位置Ｐ０に表示した場合、虚像Ｉｖが表示対象２３０からずれる。

例えば、図４Ｂに示すように、車両２００が路面３０１の凸部３０３により後傾姿勢になると、表示対象２３０の位置が通常走行時よりもう下方に変動する。したがって、基準位置Ｐ０に表示を出力すると、表示される虚像Ｉｖの矢印の先が車線外にずれてしまう。よって、表示システム１００は、車両２００の姿勢に応じてずれを戻す方向に虚像Ｉｖの表示位置を調整する。

具体的には、図４Ｃに示すように、補正処理装置５０が、車両２００の角度に起因した表示位置のずれがない位置Ｐ１となるように補正量Ｃ１を算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ１」に設定する。これにより、投影装置１０は、虚像Ｉｖを表示対象２３０に対応する位置Ｐ１に表示することができる。このように、車両２００が傾いた場合であっても、虚像Ｉｖの表示位置を補正量Ｃ１に基づいて基準位置Ｐ０から変更することで、実景内の表示対象２３０に対応する位置Ｐ１に虚像Ｉｖを表示することができる。

図５を参照して、勾配補正処理について説明する。図５は、勾配補正処理の一例を説明するための図である。図５に示すように、車両２００の前方に斜度θ２を有する坂道３０２があり、車両２００の自己位置Ｑ０から前方へ所定距離Ｌ１離れた重畳先位置Ｑ１に虚像Ｉｖを表示する場合を例として説明する。なお、説明を容易にするため、車両２００の自己位置Ｑ０における勾配はないものとする。

車両２００の前方に斜度θ２を有する坂道３０２がある場合、虚像Ｉｖを基準位置Ｐ０に表示すると、車両２００の自己位置Ｑ０と重畳先位置Ｑ１との勾配差によって、重畳先位置Ｑ１に対して虚像Ｉｖの表示位置がずれる。具体的には、虚像Ｉｖが重畳先位置Ｑ１よりも下方に表示されてしまう。よって、勾配補正処理装置６０は、車両２００の自己位置Ｑ０と重畳先位置Ｑ１の勾配差によるずれを戻す方向に虚像Ｉｖの表示位置を調整する。

具体的には、勾配補正処理装置６０は、車両２００の自己位置Ｑ０と重畳先位置Ｑ１との勾配差に基づいて、虚像Ｉｖの表示位置を重畳先位置Ｑ１に対応するように補正量Ｃ２を算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ２」に設定する。これにより、投影装置１０は、表示領域２２０において虚像Ｉｖを重畳先位置Ｑ１に対応する位置に表示することができる。このように、自己位置に対して重畳先の勾配が変化している場合であっても、虚像Ｉｖの表示位置を補正量Ｃ２に基づいて基準位置Ｐ０から変更することで、重畳先位置Ｑ１に対応する位置に虚像Ｉｖを表示することができる。

しかしながら、自己位置Ｑ０の勾配情報の変化は、ジャイロセンサ４１の出力にも含まれるため、振動補正処理と勾配補正処理とによる表示ズレ補正が重複してしまう場合がある。即ち、振動補正と勾配補正が互いに干渉して過補正になり、虚像Ｉｖの表示位置の補正精度が低下する。

図６は、振動補正処理と補正処理との両方が実施される場合に、過補正となる例を示す説明図である。図６に示す例において、車両２００が凸部を有する路面３０４を走行しており、車両２００が走路に対する傾きθ１で前傾姿勢となっている。また、車両２００の自己位置Ｑ２から所定距離Ｌ１離れた重畳先位置Ｑ３は、斜度θ３の坂道３０５に位置する。斜度θ３は、例えば、斜度θ１と同程度の大きさである。

補正処理装置５０は、路面３０４の凸部により生じる振動による虚像Ｉｖの表示位置のずれを補正するための補正量Ｃ３を算出する。具体的には、補正処理装置５０は、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）を算出する。補正処理装置５０は、車両２００の姿勢に起因した虚像Ｉｖの表示位置のずれがなくなるように補正量Ｃ３を算出する。図６に示す例においては、補正処理装置５０は、基準位置Ｐ０から、車両２００の姿勢に起因した虚像Ｉｖの表示位置のずれがなくなる位置Ｐ３に虚像Ｉｖの表示位置が移動するように、補正量Ｃ３を算出する。

勾配補正処理装置６０は、車両２００の自己位置Ｑ２と重畳先位置Ｑ３との勾配差に基づいて、勾配差により生じる虚像Ｉｖの表示位置ずれのずれを補正するための補正量Ｃ４を算出する。具体的には、勾配補正処理装置６０は、斜度θ１の凸部を有する路面３０４の勾配と、斜度θ３を有する坂道３０５の勾配とに基づいて勾配差を算出し、勾配差に起因した虚像Ｉｖの表示位置のずれがなくなるように補正量Ｃ４を算出する。

このように、補正処理装置５０による振動補正処理と勾配補正処理装置６０による勾配補正処理とが重複する場合、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ３＋補正量Ｃ４」に設定する。図６に示す例では、車両２００の自己位置Ｑ２と重畳先位置Ｑ３との勾配差が小さいため、振動補正処理と勾配補正処理とが重複すると、過補正となる。これにより、補正後の虚像Ｉｖの表示位置が、重畳先位置Ｑ３に対応せず、実景に対してずれる。

そこで、本実施形態の表示システム１００は、車両２００の自己位置と重畳先位置との勾配差が所定の閾値以上の場合に勾配補正処理をＯｎにし、勾配差が所定の閾値より小さい場合に勾配補正処理をＯｆｆにする。これにより、勾配差が小さいときに振動補正処理を行い、勾配差が大きいときに振動補正処置及び勾配補正処理を行う。

２． 表示処理装置の動作
図７は、表示処理装置３０の表示制御部３２が行う表示処理を示している。図７に示す表示処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。

表示制御部３２は、情報取得装置２０から車両関連情報を取得する（Ｓ１０１）。表示制御部３２は、車両関連情報に基づいて、表示する虚像Ｉｖを決定する（Ｓ１０２）。表示制御部３２は、虚像Ｉｖの基準位置Ｐ０を外部装置から取得する（Ｓ１０３）。表示制御部３２は、補正処理装置５０から出力される表示位置の補正量Ｃ１、及び勾配補正処理装置６０から出力される表示位置の補正量Ｃ２を取得する（Ｓ１０４）。

表示制御部３２は、基準位置Ｐ０と補正量Ｃ１，Ｃ２とに基づいて、投影装置１０に虚像Ｉｖを表示させる（Ｓ１０５）。例えば、表示制御部３２は、表示対象に対応する虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出し、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ１＋補正量Ｃ２」に設定して、投影装置１０に出力する。

表示制御部３２は、表示処理を継続するか否かを判断する（Ｓ１０６）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部３２は表示処理を終了する。表示処理を継続する場合は、ステップＳ１０１に戻る。

なお、上述したステップＳ１０４及びＳ１０５は、振動補正処理と勾配補正処理とを重複して実施する例について説明しているが、これに限定されない。例えば、勾配補正処理を実施せず、振動補正処理を実施する場合、ステップＳ１０４においては、補正処理装置５０から出力される表示位置の補正量Ｃ１を取得する。ステップＳ１０５においては、表示制御部３２は、基準位置Ｐ０と補正量Ｃ１とに基づいて、投影装置１０に虚像Ｉｖを表示させる。

３． 補正処理装置の動作
図８は、補正処理装置５０の補正制御部５２が行う振動補正処理を示している。図８に示す振動補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。図８の振動補正処理は、例えば、図７の表示処理と共に開始される。なお、図８に示す振動補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。

ずれ量算出部５２ａは、ジャイロセンサ４１から出力される角速度を示す姿勢変動情報を取得する（Ｓ２０１）。ずれ量算出部５２ａは、取得した姿勢変動情報に基づいて、車両２００の姿勢、すなわち、ピッチ方向に対する角度であるずれ量を算出する（Ｓ２０２）。具体的には、ずれ量算出部５２ａは、角速度を積分演算することによって、車両２００のピッチ角を算出する。補正量算出部５２ｂは、ピッチ方向に対するずれ量に基づいて、虚像Ｉｖの表示位置の振動補正量Ｃ１を算出する（Ｓ２０３）。具体的には、補正量算出部５２ｂは、ピッチ方向における車両２００のずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような振動補正量Ｃ１を決定する。

補正量算出部５２ｂは、算出した補正量Ｃ１を表示処理装置３０に出力する（Ｓ２０４）。これにより、虚像Ｉｖが「基準位置Ｐ０＋振動補正量Ｃ１」で示される位置に表示される。

補正制御部５２は、振動補正処理を継続するか否かを判断する（Ｓ２０５）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部５２は振動補正処理を終了する。振動補正処理を継続する場合は、ステップＳ２０１に戻る。

４． 勾配補正処理装置の動作
図９は、勾配補正処理装置６０の勾配補正制御部６２が行う勾配補正処理を示している。図９に示す勾配補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。図９の勾配補正処理は、例えば、図７の表示処理と共に開始される。なお、図９に示す勾配補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。

勾配補正制御部６２は、経路上の各位置の高度情報から各位置の勾配を算出する（Ｓ３０１）。勾配補正処理装置６０は、表示処理装置３０から経路情報３４を取得し、経路情報３４に含まれる経路上の複数の位置における高度情報に基づいて各位置の勾配を算出する。

図１０は、走路３０６、３０７の勾配の算出の一例を示す説明図である。図１０に示すように、勾配補正処理装置６０は、走路３０６，３０７上の所定の距離毎の複数の位置の勾配をそれぞれ算出する。例えば、走路３０６上の車両２００の自己位置Ｐ_Ｍの勾配の算出の一例について説明する。勾配補正処理装置６０は、車両２００の自己位置Ｐ_Ｍの周囲の複数の位置の高度情報に基づいて、自己位置Ｐ_Ｍの勾配を算出する。例えば、勾配補正制御部６２は、自己位置Ｐ_Ｍの高度Ｈ_Ｍと、自己位置Ｐ_Ｍの前後の２つの位置Ｐ_Ｍ−１，Ｐ_Ｍ＋１の高度Ｈ_Ｍ−１，Ｈ_Ｍ＋１とに基づいて、自己位置Ｐ_Ｍの勾配を算出する。例えば、Ｐ_Ｍ−１，Ｐ_Ｍ，Ｐ_Ｍ＋１の高度の傾きを算出する。同様に、走路３０７上の位置Ｐ_Ｎの勾配は、位置Ｐ_Ｎの高度Ｈ_Ｎと、位置Ｐ_Ｎの前後の２つの位置Ｐ_Ｎ−１，Ｐ_Ｎ＋１の高度Ｈ_Ｎ−１，Ｈ_Ｎ＋１とに基づいて、位置Ｐ_Ｎの勾配を算出する。なお、勾配の算出は、これに限定されず、地図データから複数の位置の勾配情報を取得したり、任意の様々な方法で、勾配を算出することができる。

勾配補正制御部６２は、自己位置から重畳先位置までの距離Ｌ１を取得する（Ｓ３０２）。勾配補正制御部６２は、例えば、自己位置から重畳先位置までの距離Ｌ１を表示処理装置３０から取得する。本実施形態では、自己位置から重畳先位置までの距離Ｌ１は、５０ｍに設定されている。

勾配補正制御部６２は、自己位置と重畳先位置との勾配差ｄを算出する（Ｓ３０３）。勾配補正制御部６２は、情報取得装置２０で取得された車両２００の位置の情報を表示処理装置３０から取得し、車両２００の位置の情報に基づいて車両２００の自己位置の勾配情報を取得する。具体的には、勾配補正制御部６２は、車両２００の位置情報と、ステップＳ３０１で算出した各位置の勾配情報とに基づいて、車両２００の自己位置の勾配情報を取得する。次に、勾配補正制御部６２は、ステップＳ３０１で取得した各位置の勾配情報と、ステップＳ３０２で取得した自己位置から重畳先位置までの距離Ｌ１の情報と、に基づいて、重畳先位置の勾配情報を取得する。勾配補正制御部６２は、自己位置の勾配情報と重畳先位置の勾配情報とに基づいて、自己位置と重畳先位置との勾配差ｄを算出する。

勾配補正制御部６２は、算出した勾配差ｄの絶対値が閾値Ｔ１以上であるか否かを判定する（Ｓ３０４）。勾配差ｄの絶対値が閾値Ｔ１より小さい場合、勾配補正処理がＯｆｆに設定される（Ｓ３０５）。これにより、表示処理装置３０は、勾配補正処理を実施せずに、振動補正処理を実施する。具体的には、虚像Ｉｖは、「基準位置Ｐ０＋振動補正量Ｃ１」で示される位置に表示される。勾配差ｄの絶対値が閾値Ｔ１以上である場合、勾配補正処理がＯｎに設定され、勾配補正量Ｃ２が算出される（Ｓ３０６）。算出された勾配補正量Ｃ２は、表示処理装置３０に出力される（Ｓ３０７）。これにより、表示処理装置３０は、前勾配補正処理と振動補正処理との両方を実施する。具体的には、虚像Ｉｖは、「基準位置Ｐ０＋振動補正量Ｃ１＋勾配補正量Ｃ２」で示される位置に表示される。

勾配補正制御部６２は、勾配補正処理を継続するか否かを判断する（Ｓ３０８）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、勾配補正制御部６２は勾配補正処理を終了する。勾配補正処理を継続する場合は、ステップＳ３０１に戻る。

図１１は、勾配補正制御部６２の制御の一例を示す。図１１には、（ａ）経路上の位置の高度と、（ｂ）自己位置と重畳先位置との勾配差と、（ｃ）勾配補正のＯＮ／ＯＦＦ判定処理との関係の一例が示されている。

図１１（ａ）に示すように、車両２００の自己位置からの経路上の位置の高度が大きくなっている例について説明する。図１１（ｂ）に示すように、自己位置と重畳先位置との勾配差ｄの絶対値が大きくなり、所定の閾値Ｔ１以上になると、図１１（ｃ）に示すように、勾配補正がＯｎになる。勾配補正がＯｎになると、勾配補正制御部６２は、勾配補正量Ｃ２を算出し、算出した勾配補正量Ｃ２を表示処理装置３０に出力する。これにより、表示処理装置３０は「基準位置Ｐ０＋振動補正量Ｃ１＋勾配補正量Ｃ２」で示される位置に虚像Ｉｖを表示する。

勾配差ｄの絶対値が所定の閾値Ｔ１より小さくなると、勾配補正がＯｆｆになる。勾配補正がＯｆｆになると、表示処理装置３０は「基準位置Ｐ０＋振動補正量Ｃ１」で示される位置に虚像Ｉｖを表示する。

５． 効果及び補足等
本開示の表示システム１００は、情報取得装置２０と、表示処理装置３０と、姿勢検出装置４０と、補正処理装置５０と、勾配補正処理装置６０と、を備える。情報取得装置２０は、車両２００の位置情報および車外情報のうち少なくとも１つを含む車両関連情報を取得する。表示処理装置３０は、情報取得装置２０が取得した車両関連情報に基づいて、虚像Ｉｖの表示を制御する。姿勢検出装置４０は、車両２００の姿勢変動を検出する。補正処理装置５０は、車両２００の姿勢変動に基づいて虚像Ｉｖの表示位置の第１補正量Ｃ１を設定する。勾配補正処理装置６０は、車両２００の位置および車両２００の前方の実景に対して虚像Ｉｖを重畳させる重畳先位置との勾配差に基づいて虚像Ｉｖの表示位置の第２補正量Ｃ２を設定する。また、勾配補正処理装置６０は、勾配差に基づいて、第２補正量Ｃ２を用いた勾配補正を実施するか否かを判定する。

このような構成により、虚像Ｉｖの表示位置の位置ずれを抑制することができる。具体的には、動補正処理と勾配補正処理との両方を実施する表示システム１００において、勾配補正を必要に応じて実施することができるため、振動補正処理と勾配補正処理とが重複して実施されることによる過補正を抑制することができる。これにより、虚像Ｉｖの表示位置の補正精度の低下を抑制することができる。

勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配差ｄを算出し、勾配差ｄの絶対値が閾値Ｔ１以上であるとき、勾配補正を実施する。このような構成により、勾配差ｄの絶対値が閾値Ｔ１以上であるとき、勾配補正を実施し、勾配差ｄの絶対値が閾値Ｔ１より小さいとき、勾配補正を実施しないようにすることができる。これにより、勾配差ｄの絶対値が大きいとき、すなわち、勾配差による虚像Ｉｖの表示位置の位置ずれが大きく、勾配補正が必要不可欠な場合に、振動補正処理と勾配補正処理の両方を実施し、勾配差ｄの絶対値が小さいときに、勾配補正を実施せず、振動補正処理を実施することで過補正となることを抑制し、虚像Ｉｖの表示位置の補正精度の低下をより抑制することができる。

なお、本実施形態では、表示処理装置３０と勾配補正処理装置６０とが、それぞれ、別個の装置である例を説明したが、これに限定されない。図１１は、第１実施形態における変形例の表示システム１００Ａの内部構成を示すブロック図である。勾配補正処理装置６０は、表示処理装置３０に含まれていてもよい。この場合、勾配補正処理装置６０は、通信部６１及び記憶部６３を有していなくてもよい。このような構成においても、虚像Ｉｖの表示位置の位置ずれを抑制することができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

上記実施形態では、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、補正処理装置５０、及び勾配補正処理装置６０がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置３０と補正処理装置５０が一つの装置として一体的に形成されてもよい。情報取得装置２０と表示処理装置３０とが一つの装置として一体的に形成されてもよい。姿勢検出装置４０と補正処理装置５０が一つの装置として一体的に形成されてもよい。表示処理装置３０と勾配補正処理装置６０が一つの装置として一体的に形成されてもよい。補正処理装置５０と勾配補正処理装置６０が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、補正処理装置５０、及び勾配補正処理装置６０の全てが一つの装置として形成されてもよい。この場合、通信部３１，５１，６１はなくてもよい。

上記実施形態では、勾配補正処理装置６０は、車両２００の自己位置と虚像Ｉｖの重畳先位置との勾配差に基づいて、勾配補正を実施するか否かを判定する例について説明したが、これに限定されない。勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配情報に基づいて、勾配補正を実施するか否かを判定してもよい。例えば、勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配比に基づいて、勾配補正を実施するか否かを判定してもよい。

上記実施形態では、情報取得装置２０がＧＰＳモジュール２１とカメラ２２を含む例について説明した。しかし、情報取得装置２０は、車両２００から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置３０に出力してもよい。情報取得装置２０は、車両２００の速度を検出する車速センサを含んでもよいし、ナビゲーションシステムを含んでもよい。情報取得装置２０は、ＧＰＳモジュール２１、距離センサ、及びカメラ２２などのうち、１つ以上を含んでもよい。この場合、情報取得装置２０としての機能を有するＧＰＳモジュール２１、距離センサ、及びカメラ２２などは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。

上記実施形態では、姿勢検出装置４０がジャイロセンサ４１を含む例について説明した。しかし、姿勢検出装置４０は、車両２００の加速度を検出する加速度センサを含んでもよく、検出した加速度を姿勢変動情報として出力してもよい。姿勢検出装置４０は、路面からの高さを検出する車高センサを含んでもよく、検出した高さを姿勢変動情報として出力してもよい。姿勢検出装置４０は、他の公知のセンサを含んでもよい。姿勢検出装置４０は、ジャイロセンサ４１、加速度センサ、及び車速センサなどのうちの１つ以上を含んでもよい。この場合、姿勢検出装置４０としての機能を有するジャイロセンサ４１、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。

上記実施形態では、移動体が、自動車などの車両２００である場合について説明した。しかし、移動体は車両２００に限らない。移動体は、地上を走行する乗り物であってもよく、例えば、列車又はオートバイであってもよい。移動体は、自動運転で走行することができる無人機であってもよい。

上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。

上記実施形態では、表示システム１００がＨＵＤシステムである例について説明した。しかし、表示システム１００はＨＵＤシステムでなくてもよい。表示システム１００は、投影装置１０に代えて、液晶ディスプレイ又は有機ＥＬディスプレイを備えてもよい。表示システム１００は、スクリーン及びプロジェクタを含んでもよい。

（実施形態の概要）
（１）本開示の表示システムは、移動体の位置および移動体の外の情報の少なくとも一つを取得する情報取得装置と、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の第１補正量を設定する補正処理装置と、移動体の位置および像の表示方向の実景に対して像を重畳させる重畳先位置の勾配情報に基づいて像の表示位置の第２補正量を設定する勾配補正処理装置と、を備え、勾配補正処理装置は、勾配情報に基づいて、第２補正量を用いた勾配補正を実施するか否かを判定し、表示処理装置は、情報取得装置が取得した情報と第１補正量と第２補正量とに基づいて、像の表示を制御する。これにより、像の表示位置の位置ずれを抑制することができる。

（２）（１）の表示システムにおいて、勾配補正処理装置は、移動体の位置と重畳先位置との勾配差を算出し、勾配差が閾値以上であるとき、勾配補正を実施してもよい。

（３）（１）又は（２）の表示システムにおいて、移動体の位置の勾配情報は、移動体の位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含み、重畳先位置の勾配情報は、重畳先位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含んでもよい。

（４）（１）〜（３）の表示システムにおいて、像を表す光を投影する投影装置をさらに含んでもよい。

（５）（１）〜（４）の表示システムにおいて、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像であってもよい。

本開示は、虚像をフロントガラスの前方に表示する表示システムに適用可能である。

１０ 投影装置
２０ 情報取得装置
２１ ＧＰＳモジュール
２２ カメラ
３０ 表示処理装置
３１ 通信部
３２ 表示制御部
３３ 記憶部
４０ 姿勢検出装置
４１ ジャイロセンサ
５０ 補正処理装置
５１ 通信部
５２ 補正制御部
５２ａ ずれ量算出部
５２ｂ 補正量算出部
６０ 勾配補正処理装置
６１ 通信部
６２ 勾配補正制御部
６３ 記憶部
１００ 表示システム
２００ 車両
２１０ フロントガラス
２２０ 表示領域

Claims (5)

1. 移動体の位置および前記移動体の外の情報の少なくとも一つを取得する情報取得装置と、
   像の表示を制御する表示処理装置と、
   前記移動体の姿勢変動を検出する姿勢検出装置と、
   前記移動体の姿勢変動に基づいて前記像の表示位置の第１補正量を設定する補正処理装置と、
   前記移動体の位置および前記像の表示方向の実景に対して前記像を重畳させる重畳先位置の勾配情報に基づいて前記像の表示位置の第２補正量を設定する勾配補正処理装置と、
   を備え、
   前記勾配補正処理装置は、前記勾配情報に基づいて、前記第２補正量を用いた勾配補正を実施するか否かを判定し、
   前記表示処理装置は、前記情報取得装置が取得した情報と前記第１補正量と前記第２補正量とに基づいて、前記像の表示を制御する、表示システム。
2. 前記勾配補正処理装置は、
   前記移動体の位置と前記重畳先位置との勾配差を算出し、
   前記勾配差が閾値以上であるとき、前記勾配補正を実施する、
   請求項１に記載の表示システム。
3. 前記移動体の位置の勾配情報は、前記移動体の位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含み、
   前記重畳先位置の勾配情報は、前記重畳先位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含む、
   請求項１又は２に記載の表示システム。
4. 前記像を表す光を投影する投影装置をさらに含む、
   請求項１〜３のいずれか一項に記載の表示システム。
5. 前記移動体は、車両であり、
   前記像は、車両のフロントガラスの前方に表示される虚像である、
   請求項１〜４のいずれか一項に記載の表示システム。