JP2021111317A - 回路装置、電子機器及び移動体 - Google Patents

Abstract

【課題】ヘッドアップディスプレイにおいて、レイテンシーによる実オブジェクトと仮想オブジェクトの位置ずれを小さくできる回路装置等を提供すること。【解決手段】回路装置１６０はインターフェース１６１とパラメーター演算部１４０とワープ処理部１３０とを含む。インターフェース１６１にはレンダリング画像とトラッキング情報が入力される。パラメーター演算部１４０は、トラッキング情報に基づいて、レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算する。ワープ処理部１３０は、表示領域における仮想オブジェクトの位置をレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。【選択図】 図６

Description

本発明は、回路装置、電子機器及び移動体等に関する。

透明スクリーン等に画像を表示することで、ユーザーの視界に情報を重ねて表示するヘッドアップディスプレイが知られている。このようなヘッドアップディスプレイとＡＲ技術を組み合わせることで、前走車又は道路等の実オブジェクトに対して仮想オブジェクトが追従するように、仮想オブジェクトをヘッドアップディスプレイに表示させることができる。ＡＲはAugmented Realityの略である。

特許文献１に開示される技術では、低周波帯域の姿勢変化を画像処理により補正し、高周波帯域の姿勢変化を投影光学ユニットで補正する。高周波帯域の姿勢変化を投影光学ユニットで補正することで、車両の姿勢変化が生じる場合において、虚像が実像に対して正しい位置に重畳されるように投影画像の位置が修正される。

特開２０１９−９８７５６号公報

ＡＲ技術を用いるヘッドアップディスプレイでは、センサー出力を取得し、そのセンサー出力を用いて仮想オブジェクトをレンダリングし、レンダリング画像をワープ処理し、ワープ処理後の画像をヘッドアップディスプレイに表示する。このような表示システムにおいて、レンダリングに用いられるセンサー出力のサンプリング時点から、ヘッドアップディスプレイに表示されるまでに時間があるため、その間に生じた車両等の動きは仮想オブジェクトの表示位置に反映されていない。このため、レンダリングされた仮想オブジェクトと、表示時点での実オブジェクトとの間に位置ずれが生じるが、このようなレイテンシーによる位置ずれを出来るだけ小さくすることが望ましいという課題がある。

本開示の一態様は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示制御を行う回路装置であって、前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報と、前記仮想オブジェクトを含むレンダリング画像と、が入力されるインターフェースと、前記トラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、を含み、前記ワープ処理部は、前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う回路装置に関係する。

また本開示の他の態様は、上記に記載の回路装置を含む電子機器に関係する。

また本開示の更に他の態様は、上記に記載の回路装置を含む移動体に関係する。

ＨＵＤによるＡＲ表示の例。 ピッチ変位又は垂直変位による表示位置ずれの説明図。 本実施形態のレイテンシー補償を説明する図。 従来技術における表示システムの構成例。 従来技術における表示システムの処理フロー。 本実施形態の回路装置、及び回路装置を含む表示システムの第１構成例。 トラッキング処理部の詳細な処理フロー。 第１構成例における表示システムの処理フロー。 本実施形態の回路装置、及び回路装置を含む表示システムの第２構成例。 第２構成例における表示システムの処理フロー。 本実施形態におけるワープ処理の説明図。 移動体等のトラッキング情報と、そのトラッキング情報に基づくレイテンシー補償との対応を示す図。 補償手法を実現するレイテンシー補償パラメーターの例。 トラッキング情報からレイテンシー補償パラメーターを演算する手法を説明する図。 電子機器の構成例。 移動体の例。

以下、本開示の好適な実施形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。

１．第１構成例
図１は、ＨＵＤによるＡＲ表示の例である。ＨＵＤはヘッドアップディスプレイの略語であり、ＡＲは拡張現実の略語である。以下では、自動車３０にＨＵＤを搭載した例を主に説明するが、本実施形態のＨＵＤは、飛行機、船舶又は二輪車等の様々な移動体に搭載されてもよい。

図１には、ドライバーがＨＵＤを介して見るＡＲ表示を示している。ドライバーは、フロントガラスを通して、前走車１０、前走車１０が走る道路、及びそれらの周囲の風景を見ている。またドライバーは、ＨＵＤがフロントガラスの表示領域４０内に投影した虚像を見ており、その虚像は、ドライバーからは、実空間に重なる仮想オブジェクト２０として見える。表示領域４０は、ＨＵＤが虚像を投影可能な範囲を示しており、この表示領域４０内において仮想オブジェクト２０が表示される。図１における仮想オブジェクト２０は、ＡＲの表示オブジェクトであり、前走車１０又は道路に対して表示位置が追従するように表示される。即ち、ＨＵＤは、ドライバーから見た前走車１０又は道路と仮想オブジェクト２０との相対的な位置関係が変わらないように、仮想オブジェクト２０を表示しようとする。

ＨＵＤの表示システムは、Ｌｉｄａｒ等のセンサーを用いて前走車１０等をトラッキングし、そのトラッキング結果に基づいて仮想オブジェクト２０をレンダリングし、そのレンダリング画像をワープ処理してＨＵＤに表示させる。このとき、センサーがサンプリングしたタイミングから、仮想オブジェクト２０をＨＵＤに表示するタイミングまでの間に、トラッキング処理、レンダリング処理、ワープ処理、又はデータ通信等による遅延がある。このような処理又は通信等によって発生する遅延を、レイテンシーと呼ぶ。

レイテンシーは、仮想オブジェクト２０と前走車１０等との位置ずれの原因となる。即ち、表示システムが仮想オブジェクト２０をレンダリングしたときの前走車１０等の位置と、実際に仮想オブジェクト２０がＨＵＤに表示されるときの前走車１０等の位置とがずれていることによって、仮想オブジェクト２０と前走車１０等とがずれて表示されてしまう。例えば、レンダリング処理において、未来の表示タイミングにおける前走車１０等の位置を予測したとしても、その予測時点から表示までに時間があるため、予測した前走車１０等の位置と、実際に仮想オブジェクト２０がＨＵＤに表示されるときの前走車１０等の位置とがずれる可能性がある。

図２に、一例として、ピッチ変位又は垂直変位による表示位置ずれの説明図を示す。ｘｙｚは自動車３０に固定された座標系である。ｚ方向は自動車の進行方向であり、ｘ方向とｙ方向はｚ方向に直交し且つ互いに直交する。ｙ方向が鉛直方向に一致したとき、ｘ方向は水平方向であり、ｙ方向は垂直方向又は上下方向である。ｙ方向が鉛直方向に一致しないような自動車の姿勢となっているとき、ｘ方向とｙ方向は水平垂直に一致しないが、以下では便宜的にｘ方向を水平方向とも呼び、ｙ方向を垂直方向又は上下方向とも呼ぶこととする。図に示す矢印方向を正方向とし、方向の正負を明示したい場合には＋ｘ方向、−ｘ方向等と記載する。

図２の１段目図は、仮想オブジェクト２１と実オブジェクト１１との位置ずれがない状態を示している。実オブジェクト１１は、実空間に存在するオブジェクトであって、且つＡＲ表示のトラッキング対象となっているオブジェクトのことである。例えば図１の前走車１０等が実オブジェクトである。ＨＵＤの投影ユニット３６がフロントガラス３５に虚像を投影し、その虚像が仮想オブジェクト２１としてドライバーの目５０に見える。

図２の２段目図は、フロントガラス３５及び投影ユニット３６が＋ｙ方向にＷＳＭだけシフトしたときの、仮想オブジェクト２１と実オブジェクト１１との位置ずれを示している。垂直シフトＷＳＭは、自動車３０のピッチ回転又は垂直シフトによって生じる。ピッチ回転はｘ方向に平行な軸を中心とする回転であり、垂直シフトは、ｙ方向における平行移動である。ＨＵＤの表示システムが仮想オブジェクト２１をレンダリングしたときには１段目図の状態が想定されているが、ＨＵＤに表示されるまでの間に時間があるため、その時間内に垂直シフトＷＳＭが生じると、その垂直シフトＷＳＭはレンダリング画像に反映されていないことになる。このため、フロントガラス３５等の垂直シフトＷＳＭによって仮想オブジェクト２１の表示位置が＋ｙ方向にシフトし、実オブジェクト１１に対して仮想オブジェクト２１が＋ｙ方向にずれて見える。例えば、自動車３０が道路の凹凸によってピッチ運動を繰り返した場合には、実オブジェクト１１に対して仮想オブジェクト２１が上下に揺れるように、ずれて見えることになる。

図２の３段目図は、ドライバーの目５０が＋ｙ方向にＤＥＭだけシフトしたときの、仮想オブジェクト２１と実オブジェクト１１との位置ずれを示している。フロントガラス３５は移動しないが、フロントガラス３５に対して目５０が＋ｙ方向にシフトするため、仮想オブジェクト２１の表示位置が−ｙ方向にシフトする。このため、実オブジェクト１１に対して仮想オブジェクト２１が−ｙ方向にずれて見える。

図２の４段目図は、実オブジェクト１１が−ｙ方向にＲＪＭだけシフトしたときの、仮想オブジェクト２１と実オブジェクト１１との位置ずれを示している。フロントガラス３５及び目５０は移動しないため仮想オブジェクト２１の表示位置はシフトしないが、実オブジェクト１１が−ｙ方向にシフトするため、実オブジェクト１１に対して仮想オブジェクト２１が＋ｙ方向にずれて見える。

図３は、本実施形態のレイテンシー補償を説明する図である。図３には、ドライバーから見た仮想オブジェクト２１、実オブジェクト１１及び仮想オブジェクト２１を示している。図３の左図は、ドライバーから見て実オブジェクト１１と仮想オブジェクト２１の表示位置が一致している状態である。図３の中図に示すように、ドライバーが頭を左上に動かした場合、実オブジェクト１１が左上にＭＶだけシフトする。仮想オブジェクト２１の表示位置は変わらないので、実オブジェクト１１と仮想オブジェクト２１がＭＶだけずれる。図３の右図に示すように、本実施形態では、レイテンシーによるシフト量ＭＶを補償することで、実オブジェクト１１と仮想オブジェクト２１の表示位置を一致させる。このようなレイテンシー補償を行うことで、ドライバーが頭を左上に動かしたときに左図から右図の状態に移行し、中図のような位置ずれ状態を避けることができる。詳細については後述するが、本実施形態では表示タイミングにできるだけ近いワープ処理においてレイテンシー補償を行うことで、出来るだけレイテンシーによる位置ずれを小さくする。

ＨＵＤの表示システムにおいて、どのようなレイテンシーが存在するかを考えるために、従来技術における典型的な表示システムと、その表示システムにおいて発生するレイテンシーと、を説明する。

図４は、従来技術における表示システム９０の構成例である。表示システム９０はセンサー６５と処理装置６０とＨＵＤコントローラー７０とＨＵＤ８０とを含む。

センサー６５は、自動車、ドライバー又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーである。

処理装置２７０は、センサーインターフェース６１とトラッキング処理部６２とレンダリング画像生成部６３とを含む。センサーインターフェース６１は、センサー６５の出力信号を受信するインターフェース回路である。トラッキング処理部６２は、ＣＰＵにより構成され、センサー６５の出力信号に基づいて、自動車、ドライバー又は実オブジェクトの位置、姿勢又はモーションをトラッキングする。レンダリング画像生成部６３は、ＧＰＵにより構成され、自動車、ドライバー又は実オブジェクトのトラッキング情報に基づいて、実オブジェクトに追従して表示されるように仮想オブジェクトをレンダリングする。

ＨＵＤコントローラー７０は、レンダリング画像をワープ処理するワープ処理部７１を含む。ＨＵＤ８０は、ワープ処理後の画像を表示するディスプレイ８１を含む。ディスプレイ８１は、液晶表示装置等の表示装置である。ディスプレイ８１に表示された画像が光学系によってフロントガラスに投影されることで、レンダリング画像の仮想オブジェクトが表示される。

図５に、表示システム９０の処理フローを示す。ここではセンサー６５としてＩＭＵとカメラを用いる例を示す。ＩＭＵは、カメラのフレームレートに比べて十分速いサンプリングレートでセンシングを行っている。Ｔｃｋ、Ｔｃｋ＋１、Ｔｃｋ＋２は、カメラの露出タイミングを示している。即ち、カメラによって得られる画像は、タイミングＴｃｋ等における実オブジェクトの位置を示す。画像信号処理は、カメラの露出終了後に行われる処理であり、イメージセンサーからの信号読み出し、及び現像処理等を含む。

トラッキング処理部６２は、ビジュアル慣性オドメトリにより、画像信号処理後の画像から実オブジェクトの位置をトラッキングする。この段階では、カメラの露出タイミングｔｃｋにおける実オブジェクトの位置が検出される。トラッキング処理部６２は、ビジュアル慣性オドメトリが終了した後のタイミングｔｏｄにおけるＩＭＵの出力信号と、ビジュアル慣性オドメトリの結果とに基づいて、慣性オドメトリにより実オブジェクトの位置をトラッキングする。この処理によって、カメラの露出タイミングｔｃｋから慣性オドメトリのタイミングｔｏｄまでのレイテンシーが補償され、タイミングｔｏｄにおける実オブジェクトの位置が検出されることになる。

レンダリング画像生成部６３は、慣性オドメトリにより検出された実オブジェクトに対応させた位置に、仮想オブジェクトをレンダリングし、そのレンダリング画像をワープ処理部７１に出力する。このとき、レンダリング画像生成部６３を構成するＧＰＵからＨＵＤコントローラー７０へのデータ通信時間が発生する。ワープ処理部７１は、レンダリング画像に対するワープ処理を行い、ワープ処理後の画像がＨＵＤ８０に表示される。第１ライン〜最終ラインはディスプレイ８１の水平走査ラインであり、１ラインずつ走査される。このため１フレームの画像表示には、第１ライン〜最終ラインを走査する時間が必要であるが、ここでは第１ラインの表示を行うタイミングを代表として表示タイミングｔｄｐとする。

ＨＵＤ８０に表示される仮想オブジェクトは、タイミングｔｏｄにおける実オブジェクトの位置に対応している。このため、タイミングｔｏｄから表示タイミングｔｄｐまでのレイテンシーが存在しており、この期間における自動車、ドライバー又は実オブジェクトのモーションによって実オブジェクトと仮想オブジェクトにずれが発生する可能性がある。

以上のように、表示タイミングｔｄｐより前に検出されたトラッキング情報を用いてレンダリングされた仮想オブジェクトを表示することで、トラッキング情報を検出したタイミングから表示タイミングｔｄｐまでのレイテンシーによって表示位置ずれが生じるという課題がある。

上記特許文献１では、画像データ等の通信時間よりも姿勢データの計測時間を短くし、その姿勢データを用いて投影光学ユニットが高周波領域での補正を行うことで、通信時間による実像と投影画像との位置ずれを抑制する。しかし、投影光学ユニットを制御するためのデータ処理時間、及び構成部材の作動時間が必要であることから、その時間によって生じる位置ずれは依然として残る。

図６は、本実施形態における回路装置１６０、及び回路装置１６０を含む表示システムの第１構成例を示す。図６に示す表示システムは、センサー５００と処理装置１５０と回路装置１６０とＨＵＤ４００とを含み、センサー５００の出力信号に基づいて、実オブジェクトに対応した仮想オブジェクトをＨＵＤ４００に表示させる。

センサー５００は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーである。具体的には、センサー５００は、実オブジェクトの２次元情報又は３次元情報を取得する第１センサー、移動体のモーションを検出する第２センサー、及び観者の視点又は視線方向を検出する第３センサーの少なくとも１つを含む。センサー５００は移動体に設けられており、例えばＬｉｄａｒ、ＩＭＵ、カメラ、アイトラキングセンサー又はヘッドトラッキングセンサー等を含む。この例では、Ｌｉｄａｒ又はカメラが第１センサーに対応し、ＩＭＵが第２センサーに対応し、アイトラキングセンサー又はヘッドトラッキングセンサーが第３センサーに対応する。Ｌｉｄａｒは、Light Detection and Rangingの略であり、ｚマップのような３次元情報を取得するセンサーである。ＩＭＵは、Inertial Measurement Unitの略であり、一軸又は複数軸のモーションを検出するセンサーである。ＩＭＵは、例えば加速度センサー、ジャイロセンサー、又はそれらの組み合わせによって構成される。カメラは、２次元情報である画像を撮像するセンサーである。アイトラキングセンサーは、観者の目の位置、視線方向又はそれら両方を検出するセンサーである。ヘッドトラッキングセンサーは、観者の頭部の位置、姿勢又はそれら両方を検出するセンサーである。

移動体は、ＨＵＤ４００、観者及びセンサー５００を載せて実空間内を移動する物体であり、例えば自動車、二輪車、飛行機又は船舶等である。観者は、ＨＵＤ４００に投影される虚像を見るユーザーであり、移動体の操縦者又は搭乗者である。実オブジェクトは、実空間内に存在する物体である。実オブジェクトは、移動体、観者又は実オブジェクトの位置又は姿勢が変動したときに、観者から見たＨＵＤ表示領域内における実オブジェクトの位置又は姿勢が変動するような物体であればよい。

センサー５００は、レンダリング用のトラッキング情報を求めるためのレンダリング用センサー５１０と、レイテンシー補償パラメーターを求めるためのレイテンシー補償用センサー５２０と、を含む。レンダリング用センサー５１０は、例えばＬｉｄａｒ、ＩＭＵ、及びカメラを含む。レイテンシー補償用センサー５２０は、例えばＩＭＵ及びヘッドトラッキングセンサーを含む。なお、レンダリング用センサー５１０とレイテンシー補償用センサー５２０が含むセンサーの種類は、上記に限定されず、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーであればよい。レイテンシー補償用センサー５２０とレンダリング用センサー５１０は別のセンサーであって、同種のセンサーを含む場合であっても、その同種のセンサーがレイテンシー補償用センサー５２０とレンダリング用センサー５１０に個別に設けられる。

処理装置１５０は、例えばＳｏＣにより構成され、インターフェース１５１とトラッキング処理部１１０とレンダリング画像生成部１２０とを含む。ＳｏＣはSystem on Chipの略である。

インターフェース１５１は、レンダリング用センサー５１０の出力信号を処理装置１５０に入力するためのインターフェースである。インターフェース１５１は、例えばレンダリング用センサー５１０の出力信号を受信する受信回路である。或いは、インターフェース１５１は、レンダリング用センサー５１０の出力信号が入力される端子であってもよい。その場合、端子に入力されたレンダリング用センサー５１０の出力信号が、トラッキング処理部１１０を構成するプロセッサーに入力され、そのプロセッサーがレンダリング用センサー５１０の出力信号を受信処理する。

トラッキング処理部１１０は、センサー５００の出力信号に基づいて、移動体、観者又は実オブジェクトの位置、姿勢又はモーションをトラッキングし、その結果をトラッキング情報として出力する。例えば、トラッキング処理部１１０は、Ｌｉｄａｒからの２次元測距情報又はカメラからの２次元画像に基づいて、実オブジェクトをトラッキングする。またトラッキング処理部１１０は、ＩＭＵからの加速度又は角速度の情報に基づいて、自動車をトラッキングする。またトラッキング処理部１１０は、アイトラキングセンサーからの目の位置又は視線方向の情報に基づいて、ドライバーの目をトラッキングする。

トラッキング情報は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを示す情報であれば、どのような形態の情報であってもよい。例えば、トラッキング情報は、実空間における位置を示す座標、姿勢を示す角度、平行移動を示すベクトル、又は回転を示す角速度等である。或いは、トラッキング情報は、上記実空間における座標等を画像上における座標、角度、ベクトル又は角速度等に換算した情報であってもよい。トラッキング情報は、移動体の第１トラッキング情報、観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報を含む。但し、トラッキング情報は、第１〜第３トラッキング情報のうち少なくとも１つを含んでいればよく、例えば観者の第２トラッキング情報が省略されてもよい。

レンダリング画像生成部１２０は、移動体、観者又は実オブジェクトのトラッキング情報に基づいて仮想オブジェクトをレンダリングし、仮想オブジェクトを含むレンダリング画像を出力する。具体的には、レンダリング画像生成部１２０は、ＨＵＤ４００の表示領域において実オブジェクトの見える位置を求め、その実オブジェクトの位置に対応した位置に仮想オブジェクトをレンダリングする。レンダリング画像生成部１２０は、レンダリング画像と共に、トラッキング処理部１１０が取得したトラッキング情報を、回路装置１６０に出力する。

トラッキング処理部１１０及びレンダリング画像生成部１２０は、ＣＰＵ又はＧＰＵ等のプロセッサーにより構成される。ＣＰＵはCentral Processing Unitの略である。ＧＰＵはGraphical Processing Unitの略である。トラッキング処理部１１０及びレンダリング画像生成部１２０は、１つのプロセッサーで実現されてもよいし、それぞれ個別のプロセッサーで実現されてもよい。

回路装置１６０は、いわゆるＨＵＤコントローラーであり、ＨＵＤ４００に表示させる画像の歪み補正、及び表示タイミング制御等を行う。回路装置１６０は、例えば集積回路装置により構成され、インターフェース１６１とワープ処理部１３０とパラメーター演算部１４０と記憶部１４５とを含む。

インターフェース１６１は、レンダリング画像とトラッキング情報とを回路装置１６０に入力するためのインターフェースである。具体的には、処理装置１５０から送信されるレンダリング画像及びトラッキング情報がインターフェース１６１に入力される。また、レイテンシー補償用センサー５２０の出力信号がトラッキング情報としてインターフェース１６１に入力される。インターフェース１６１は、例えばレンダリング画像、トラッキング情報及びレイテンシー補償用センサー５２０の出力信号を受信する受信回路である。或いは、インターフェース１６１は、レンダリング画像及びトラッキング情報を受信する受信回路と、レイテンシー補償用センサー５２０の出力信号が入力される端子と、であってもよい。その場合、端子に入力されたレイテンシー補償用センサー５２０の出力信号が、パラメーター演算部１４０に入力され、パラメーター演算部１４０がレイテンシー補償用センサー５２０の出力信号を受信処理する。

記憶部１４５は、ＲＡＭ又は不揮発性メモリー等の半導体メモリーであり、レンダリング補償前のワープパラメーターを記憶する。ＲＡＭはRandom Access Memoryの略である。上述したように、ワープパラメーターはマトリックス又はテーブルである。ワープパラメーターは、フォワードマップパラメーター又はインバースマップパラメーターのいずれであってもよい。フォワードマップパラメーターは、入力画像の各画素と、その各画素に対応した移動先座標とを対応付けるパラメーター、或いは、入力画像の各画素と、その各画素に対応した移動先座標への相対移動量とを対応付けるパラメーターである。インバースマップパラメーターは、出力画像の各画素と、その各画素に対応した参照元座標とを対応付けるパラメーター、或いは、出力画像の各画素と、その各画素に対応した参照元座標からの相対移動量とを対応付けるパラメーターである。

パラメーター演算部１４０は、処理装置１５０からレンダリング画像と共に送信されたトラッキング情報と、レイテンシー補償用センサー５２０の出力信号とに基づいてレイテンシー補償パラメーターを求める。パラメーター演算部１４０は、パラメーター演算部１４０は、記憶部１４５から読み出したワープパラメーターをレイテンシー補償パラメーターに基づいて補正し、補正後ワープパラメーターを出力する。ここで用いられるトラッキング情報は、レンダリング処理に用いられるトラッキング情報よりも後にサンプリングされたものである。レイテンシーを最小限にする観点から、パラメーター演算の直前又はできるだけ近いタイミングで取得されたトラッキング情報を用いることが、望ましい。

レイテンシー補償パラメーターは、レンダリング画像における仮想オブジェクトの位置と、表示タイミングにおける仮想オブジェクトの位置との差を補償するパラメーターである。レイテンシー補償パラメーターは、画像データ上におけるシフト量又は回転角度を示す。より具体的には、レイテンシー補償パラメーターは、ワープ処理前の歪んでいない画像におけるシフト量又は回転角度を示す。

ワープパラメーターは、ワープ処理における座標変換のパラメーターであり、ワープ処理における入力画像の座標と出力画像の座標とを対応付けるパラメーターである。ワープパラメーターは、例えば入力画像と出力画像の間の座標変換を表したマトリックス又はテーブルである。

ワープ処理部１３０は、湾曲したスクリーンにレンダリング画像が投影されたときに歪んでいない画像となるように、レンダリング画像をワープ処理する。具体的には、ワープ処理部１３０は、パラメーター演算部１４０が出力した補正後ワープパラメーターを用いてレンダリング画像を座標変換することで、表示画像を生成する。この座標変換は、スクリーンの湾曲による画像歪みをキャンセルするような座標変換である。表示画像は、ＨＵＤ４００の表示パネルに表示される画像であり、その表示パネルに表示された表示画像が投影ユニットによってスクリーンに投影されることで、歪みのない虚像として表示される。

ワープ処理部１３０及びパラメーター演算部１４０はロジック回路により構成され、例えば自動配置配線されたゲートアレイ又は自動配線されたスタンダードセルアレイ等により構成される。

ＨＵＤ４００はディスプレイ４１０を含み、表示画像をディスプレイ４１０に表示させる。ディスプレイ４１０は、液晶表示装置等の表示装置である。ＨＵＤ４００は、スクリーンに虚像を投影するための不図示の光学系を含み、その光学系は、表示パネルに表示された表示画像を虚像としてスクリーンに投影することで、仮想オブジェクトを実空間に重ねて表示する。スクリーンは移動体のウィンドスクリーン等である。或いは、ＨＵＤ４００は専用のスクリーンを含み、そのスクリーンに虚像が投影されてもよい。

図７に、トラッキング処理部１１０の詳細な処理フローを示し、図８に、第１構成例における表示システムの処理フローを示す。なお、図７に示すトラッキング処理は一例であって、実オブジェクト等をトラッキングする手法はこれに限定されない。また、トラッキング処理に用いられるセンサーも、採用する手法に応じて選択されればよい。

図８に示すセンサーの基本的な動作は図５で説明した通りである。但し図８では、ＩＭＵ１及びカメラがレンダリング用センサー５１０であり、ＩＭＵ２がレイテンシー補償用センサー５２０である。

トラッキング処理部１１０は、タイミングｔｃｋにおいてカメラが撮像した画像ＩＭＧ（ｔｃｋ）と、タイミングｔｃｋにおいてＩＭＵ１がサンプリングした移動体のモーション情報ＭＴＩ（ｔｃｋ）とに基づいて、ビジュアル慣性オドメトリ処理１１１を行い、タイミングｔｃｋにおける実オブジェクトと移動体の位置及び姿勢Ｐｒ（ｔｃｋ）を推定する。

トラッキング処理部１１０は、位置及び姿勢Ｐｒ（ｔｃｋ）と、タイミングｔｎｏｗ１においてＩＭＵ１がサンプリングした移動体のモーション情報ＭＴＩ（ｔｎｏｗ１）とに基づいて、慣性オドメトリ処理１１２を行い、タイミングｔｎｏｗ１における実オブジェクトと移動体の位置及び姿勢Ｐｃ（ｔｃｋ，ｔｎｏｗ１）を推定する。ｔｎｏｗ１は、ｔｃｋより後であり、且つ慣性オドメトリ処理１１２の開始前である。より望ましくは、ｔｎｏｗ１は、ビジュアル慣性オドメトリ処理１１１の終了後、且つ慣性オドメトリ処理１１２の開始前である。

トラッキング処理部１１０は、位置及び姿勢Ｐｃ（ｔｃｋ，ｔｎｏｗ１）に基づいて予測処理１１３を行い、ｔｎｏｗ１より後のタイミングｔｆｕｔｕｒｅにおける実オブジェクトと移動体の位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｆｕｔｕｒｅ）を予測する。図８では、ｔｆｕｔｕｒｅ＝ｔｄｐとし、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）を予測する例を示す。ｔｄｐはＨＵＤの表示タイミングである。予測処理１１３は、例えば、時系列に得られる位置及び姿勢Ｐｃの微分値に基づいて、未来の位置及び姿勢Ｐｐを予測する。

レンダリング画像生成部１２０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）に基づいて仮想オブジェクトをレンダリングし、レンダリング画像を出力する。仮に、このレンダリング画像をそのままＨＵＤ４００に表示させたとすると、位置及び姿勢Ｐｐが示す実オブジェクトの位置に対応して仮想オブジェクトが表示されることになる。

ここで、予測された位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）は、ｔｃｋ、ｔｎｏｗ１における情報を用いて予測されたものであり、ｔｄｐにおける実際のセンサー出力に基づく位置ではない。即ち、ｔｎｏｗ１とｔｄｐの間に生じた実際の動きが、予測処理１１３により予測された動きと異なった場合には、仮想オブジェクトと実オブジェクトの間にレイテンシーによる位置ずれが生じ得る。即ち、図８の例で補償対象となるレイテンシーは、ｔｎｏｗ１とｔｄｐの間の処理時間によるレイテンシーである。なお補償対象となるレイテンシーは、これに限定されない。例えば慣性オドメトリと予測処理を省略し、Ｐｒ（ｔｃｋ）を用いてレンダリング処理を行った場合、ｔｃｋとｔｄｐの間の処理時間によるレイテンシーが補償対象となる。

本実施形態では、上記のレイテンシーによる位置ずれを以下のようにして補償する。トラッキング処理部１１０は、タイミングｔｃｋ＋１においてカメラが撮像した画像ＩＭＧ（ｔｃｋ＋１）と、タイミングｔｃｋ＋１においてＩＭＵがサンプリングした移動体のモーション情報ＭＴＩ（ｔｃｋ＋１）とに基づいて、ビジュアル慣性オドメトリ処理１１１を行い、タイミングｔｃｋ＋１における実オブジェクトと移動体の位置及び姿勢Ｐｒ（ｔｃｋ＋１）を推定する。ｔｃｋ＋１は、ｔｃｋの次のカメラ露出タイミングである。

レンダリング画像生成部１２０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）に基づいてレンダリングしたレンダリング画像と共に、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）及び位置及び姿勢Ｐｒ（ｔｃｋ＋１）を回路装置１６０に出力する。

パラメーター演算部１４０は、インターフェース１６１を介して入力される位置及び姿勢Ｐｒ（ｔｃｋ＋１）と、タイミングｔｎｏｗ２においてＩＭＵ２がサンプリングした移動体のモーション情報ＭＴＩ’（ｔｎｏｗ２）とに基づいて、慣性オドメトリ処理を行い、タイミングｔｎｏｗ２における実オブジェクトと移動体の位置及び姿勢Ｐｃ’（ｔｃｋ＋１，ｔｎｏｗ２）を推定する。

パラメーター演算部１４０は、位置及び姿勢Ｐｃ’（ｔｃｋ＋１，ｔｎｏｗ２）に基づいて予測処理を行い、ｔｄｐにおける実オブジェクトと移動体の位置及び姿勢Ｐｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）を予測する。

パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）に基づいてレイテンシー補償パラメーターを求める。具体的には、パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）の差による仮想オブジェクトの位置ずれをキャンセルするようなレイテンシー補償パラメーターを求める。パラメーター演算部１４０は、レイテンシー補償パラメーターを用いてワープパラメーターを補正し、補正後ワープパラメーターを出力する。

ワープ処理部１３０は、補正後ワープパラメーターを用いてレンダリング画像をワープ処理し、表示画像を生成する。ワープ処理部１３０は、ＨＵＤ４００の表示パネルにおける第１ラインから最終ラインまでの走査タイミングに応じて、第１ラインから最終ラインのワープ処理を順次に行い、そのワープ処理後の各ラインのデータを走査タイミングに合わせて順次にＨＵＤ４００に出力する。図８では、第１ラインの表示タイミングをｔｄｐとしたが、ｔｄｐは、第１ラインから最終ラインを表示するまでのフレーム期間における任意のタイミングであってよい。

本実施形態によれば、ワープ処理部１３０は、ワープ処理において、表示領域における仮想オブジェクトの位置をレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

このようにすれば、ｔｎｏｗ１とｔｄｐの間のレンダリング処理等によるレイテンシーによって発生する仮想オブジェクトの位置ずれが、レイテンシー補償パラメーターに基づいて補償される。表示の直前に行われるワープ処理においてレイテンシー補償を行うことで、残存するレイテンシーを最小限にできるため、実オブジェクトに対する仮想オブジェクトの追従性が高いＡＲ表示を実現できる。また特許文献１のような光学的な補償機構を用いず、本実施形態では画像データ処理によってレイテンシー補償を行うので、投影ユニット等の構成を変更することなくレイテンシー補償を実現できる。またワープ処理において一体としてレイテンシー補償を行うので、正確な歪み補正とレイテンシー補償とを実現できる。

また本実施形態では、インターフェース１６１には、第１タイミングにおけるトラッキング情報に基づいて生成されたレンダリング画像と、第１タイミングにおけるトラッキング情報と、が入力される。パラメーター演算部１４０は、第１タイミングより後で且つ画像の表示タイミングｔｄｐより前の第２タイミングにおけるトラッキング情報と、第１タイミングにおけるトラッキング情報とに基づいて、レイテンシー補償パラメーターを演算する。図８の例では、ｔｎｏｗ１が第１タイミングに相当し、ｔｎｏｗ２が第２タイミングに相当する。

このようにすれば、第１タイミングと表示タイミングの間のレイテンシーが、第２タイミングと表示タイミングの間のレイテンシーに短縮されるので、レイテンシーによる位置ずれが削減される。図８の例を用いて説明すると、ワープパラメーターを補正するレイテンシー補償パラメーターは、ｔｎｏｗ１より後のｔｎｏｗ２においてＩＭＵ２がサンプリングしたモーション情報が反映されている。このレイテンシー補償パラメーターによって仮想オブジェクトの表示位置が補正されることで、ｔｎｏｗ１とｔｄｐの間のレイテンシーが、ｔｎｏｗ２とｔｄｐの間のレイテンシーに短縮されることになる。ワープ処理はＨＵＤ表示の直前に行われる処理であることから、ｔｎｏｗ２はｔｄｐに近いタイミングとなっており、可能な限りレイテンシーを小さくして、レイテンシーによる仮想オブジェクトの表示位置ずれを小さくできる。

また本実施形態では、パラメーター演算部１４０は、表示領域の湾曲に応じた座標変換のワープパラメーターをレイテンシー補償パラメーターに基づいて補正することで、補正後ワープパラメーターを出力する。ワープ処理部１３０は、補正後ワープパラメーターを用いてワープ処理を行うことで、レイテンシー補償処理を行う。

このように、レイテンシー補償パラメーターに基づく補正後ワープパラメーターを用いてワープ処理を行うことで、ワープ処理においてレイテンシー補償を行うことができる。例えば、レイテンシー補償の画像処理をワープ処理とは別に行う構成も考えられるが、レイテンシー補償の画像処理の分だけ処理負荷が重くなり、またレイテンシー補償後にワープ処理を行うことによって、ワープ処理のレイテンシーが残存してしまう。本実施形態では、レイテンシー補償とワープ処理が一体になることで、処理負荷の増加を抑えつつ、レイテンシーを最小限にできる。

また本実施形態では、トラッキング情報は、移動体の進行方向に垂直な第１軸変位及び第２軸変位の少なくとも１つを含む変位を示す情報である。進行方向はｚ方向に対応し、第１軸はｘ方向の軸に対応し、第２軸はｙ方向の軸に対応する。パラメーター演算部１４０は、上記変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力する。

レイテンシー補償では、短期間に生じる位置又は姿勢の変化を補償するが、短期間に生じる位置又は姿勢の変化としては移動体又は観者の揺れの影響が大きいと考えられる。移動体又は観者が揺れた場合、観者が表示領域を通して見る実オブジェクトはシフト変位すると考えられる。本実施形態によれば、移動体の進行方向に垂直な第１軸変位及び第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体又は観者の揺れによる表示位置ずれを補償できる。

また本実施形態では、移動体の進行方向に垂直な第１軸変位及び第２軸変位のうち、移動体の上下方向における変位が第２軸変位である。このとき、トラッキング情報は、移動体のピッチ変位によるＨＵＤ４００又は観者の第２軸変位を示す情報を含む。パラメーター演算部１４０は、上記第２軸変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力する。

上述した移動体の揺れとしてピッチ変位が想定されるが、移動体のピッチ変位はＨＵＤのスクリーン又は観者の第２軸変位を生じさせる。このＨＵＤのスクリーン又は観者の第２軸変位は、観者が表示領域を通して見る実オブジェクトに第２軸方向のシフト変位を生じさせる。本実施形態によれば、ＨＵＤのスクリーン又は観者の第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体のピッチ変位による表示位置ずれを補償できる。

また本実施形態では、ワープ処理部１３０は、ワープ処理において、表示領域における仮想オブジェクトの回転及びスケールの少なくとも１つをレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

このように、シフト変位のレイテンシー補償だけでなく、回転又はスケールのレイテンシー補償を行ってもよい。スケールは、仮想オブジェクトを縮小又はズームすることである。本実施形態によれば、レイテンシーによる仮想オブジェクトの回転誤差、スケール誤差又はその両方が補償されるので、より追従性が高いＡＲ表示を実現できる。

また本実施形態では、インターフェース１６１には、レンダリング用センサー５１０の出力信号に基づくトラッキング処理により生成されたレンダリング用トラッキング情報と、レンダリング用トラッキング情報に基づいて生成されたレンダリング画像と、レンダリング用センサー５１０とは別のレイテンシー補償用センサー５２０の出力信号であるレイテンシー補償用トラッキング情報と、が入力される。パラメーター演算部１４０は、レンダリング用トラッキング情報とレイテンシー補償用トラッキング情報に基づいて、レイテンシー補償パラメーターを演算する。図８の例において、Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）がレンダリング用トラッキング情報に対応する。またパラメーター演算部１４０は、レイテンシー補償用トラッキング情報であるレイテンシー補償用センサー５２０の出力信号に基づいてＰｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）を求め、Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）とＰｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）からレイテンシー補償パラメーターを演算する。

このようにすれば、パラメーター演算部１４０が任意のタイミングでレイテンシー補償用センサー５２０の出力信号を取得できるので、表示タイミングｔｄｐに出来るだけ近いタイミングのレイテンシー補償用センサー５２０の出力信号を取得し、レイテンシー補償パラメーターを演算できる。

２．第２構成例
図９は、本実施形態における回路装置１６０、及び回路装置１６０を含む表示システムの第２構成例を示す。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

図９では、トラッキング処理部１１０がトラッキング情報を回路装置１６０に出力し、レンダリング画像生成部１２０がレンダリング画像を回路装置１６０に出力する。回路装置１６０のインターフェース１６１は、レンダリング画像生成部１２０からのレンダリング画像と、トラッキング処理部１１０からのトラッキング情報とを受信する。

図１０に、第２構成例における表示システムの処理フローを示す。なお、図１０に示す処理フローは一例であって、例えばトラッキング手法は図１０に限定されない。また、トラッキングに用いるセンサーも、採用するトラッキング手法に応じて選択されればよい。

トラッキング処理部１１０が位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）を予測する処理、レンダリング画像生成部１２０がレンダリング画像を生成する処理、及びトラッキング処理部１１０が位置及び姿勢Ｐｒ（ｔｃｋ＋１）を求める処理は、第１構成例と同様である。

第２構成例では、トラッキング処理部１１０は、位置及び姿勢Ｐｒ（ｔｃｋ＋１）と、タイミングｔｎｏｗ２においてＩＭＵがサンプリングした移動体のモーション情報ＭＴＩ（ｔｎｏｗ２）とに基づいて、慣性オドメトリ処理１１２を行い、タイミングｔｎｏｗ２における実オブジェクトと移動体の位置及び姿勢Ｐｃ（ｔｃｋ＋１，ｔｎｏｗ２）を推定する。

トラッキング処理部１１０は、位置及び姿勢Ｐｃ（ｔｃｋ＋１，ｔｎｏｗ２）に基づいて予測処理１１３を行い、ｔｄｐにおける実オブジェクトと移動体の位置及び姿勢Ｐｐ（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）を予測する。

パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）に基づいてレイテンシー補償パラメーターを求める。具体的には、パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）の差による仮想オブジェクトの位置ずれをキャンセルするようなレイテンシー補償パラメーターを求める。パラメーター演算部１４０は、レイテンシー補償パラメーターを用いてワープパラメーターを補正し、補正後ワープパラメーターを出力する。

ワープ処理部１３０は、補正後ワープパラメーターを用いてレンダリング画像をワープ処理し、表示画像を生成する。

３．ワープ処理
以下、インバースワープを例にワープ処理の詳細を説明する。但し、ワープ処理はフォワードワープ又はインバースワープのいずれであってもよく、ワープ処理部１３０はフォワードワープエンジン又はインバースワープエンジンのいずれであってもよい。フォワードワープとは、ワープエンジンに対する入力画像の各画素を、出力画像における任意の位置に移動させる変換である。フォワードワープエンジンとは、フォワードワープの機能を有するワープエンジンである。インバースワープとは、ワープエンジンの出力画像の各画素を、入力画像における任意の位置の画素から求める変換である。インバースワープエンジンとは、インバースワープの機能を有するワープエンジンである。

図１１は、本実施形態におけるワープ処理の説明図である。入力画像はレンダリング画像である。出力画像は、ＨＵＤの液晶表示パネル等に表示される表示画像である。（ｘｓｒｃ，ｙｓｒｃ）は入力画像における水平方向の位置と垂直方向の位置を示す。（ｘｄｓｔ，ｙｄｓｔ）は出力画像における水平方向の位置と垂直方向の位置を示す。

レイテンシー補償パラメーターを用いたワープパラメーターの補正をｇ（）で表すと、レイテンシー補償画像における位置は下式（１）のように表される。
（ｘｌａｔ，ｙｌａｔ）＝ｇ（ｘｓｒｃ，ｙｓｒｃ） ・・・（１）

スクリーンの湾曲に応じたワープパラメーターによる歪み補正をｆ（）と表すと、出力画像における位置は下式（２）のように表される。
（ｘｄｓｔ，ｙｄｓｔ）＝ｆ（ｘｌａｔ，ｙｌａｔ） ・・・（２）

上式（１）（２）より、入力画像と出力画像の間の座標変換は下式（３）のように表される。
（ｘｄｓｔ，ｙｄｓｔ）＝ｆ・ｇ（ｘｓｒｃ，ｙｓｒｃ） ・・・（３）

インバースワープは上式（３）の逆変換を用いるので、下式（４）のようになる。
（ｘｓｒｃ，ｙｓｒｃ）＝ｇ^−１・ｆ^−１（ｘｄｓｔ，ｙｄｓｔ） ・・・（４）

本実施形態では、パラメーター演算部１４０が、レイテンシー補償パラメーターｇ^−１を求め、ｇ^−１・ｆ^−１を演算することでワープパラメーターｆ^−１を補正し、補正後ワープパラメーターｇ^−１・ｆ^−１を出力する。ワープ処理部１３０は、補正後ワープパラメーターｇ^−１・ｆ^−１を用いて上式（４）のワープ処理を行うことで、出力画像を生成する。

図１２は、移動体等のトラッキング情報と、そのトラッキング情報に基づくレイテンシー補償との対応を示す図である。ここでは、トラッキング情報として６軸のモーション情報が得られるとする。

ヨー変位Δαは、垂直方向であるｙ方向に平行な軸を回転軸とする回転変位である。ヨー変位Δαは、観者がスクリーンを通してみた実オブジェクトに、水平シフトを生じさせる。水平シフトは、水平方向であるｘ方向のシフトである。このため、レイテンシー補償の手法は水平シフトとなる。

ピッチ変位Δβは、水平方向であるｘ方向に平行な軸を回転軸とする回転変位である。ピッチ変位Δβは、観者がスクリーンを通してみた実オブジェクトに、垂直シフトを生じさせる。垂直シフトは、垂直方向であるｙ方向のシフトである。このため、レイテンシー補償の手法は垂直シフトとなる。

ロール変位Δγは、移動体の前後方向であるｚ方向に平行な軸を回転軸とする回転変位である。ロール変位Δγは、観者がスクリーンを通してみた実オブジェクトに、回転を生じさせる。このため、レイテンシー補償の手法は回転となる。

水平シフトΔｘは、ｘ方向のシフトであり、観者がスクリーンを通してみた実オブジェクトに、水平シフトを生じさせる。このため、レイテンシー補償の手法は水平シフトとなる。

垂直シフトΔｙは、ｙ方向のシフトであり、観者がスクリーンを通してみた実オブジェクトに、垂直シフトを生じさせる。このため、レイテンシー補償の手法は垂直シフトとなる。

前後シフトΔｚは、ｚ方向のシフトであり、観者がスクリーンを通してみた実オブジェクトに、縮小又は拡大を生じさせる。このため、レイテンシー補償の手法は縮小又はズームとなる。

図１３に、上記補償手法を実現するレイテンシー補償パラメーターの例を示す。図１３に示す式の右辺のマトリックスが図１１で説明したｇ^−１に対応する。ｍ１３は水平シフトを示し、ｍ２３は垂直シフトを示す。ｍ１２は水平スキューを示す。水平スキューは、矩形を平行四辺形に歪ませるような変換であるが、ここでは回転の近似として用いている。ｍ１１は水平スケールを示し、ｍ２２は垂直スケールを示す。ｍ１１とｍ２２は縮小又はズームに相当する。

例えば垂直シフトのみ発生した場合を考えると、ｍ１１＝ｍ２２＝１、ｍ１２＝ｍ１３＝０である。このとき、図１３の式は下式（５）となる。
（ｘｓｒｃ，ｙｓｒｃ）＝（ｘｌａｔ，ｙｌａｔ＋ｍ２３） ・・・（５）

図１１において、歪み補正の逆変換ｆ^−１（）は（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ）に移動させる。上式（５）は、この移動量を、ｍ２３だけ垂直方向にシフトさせることに相当し、そのシフトによってレイテンシー補償が実現されている。

図１４は、トラッキング情報からレイテンシー補償パラメーターを演算する手法を説明する図である。

ヨー、ロール及びピッチの回転中心、観者の頭部、ＨＵＤスクリーン、及び実オブジェクトの幾何学的な位置関係から、移動体、観者又は実オブジェクトに生じた変位を、スクリーン上のシフト量又は回転角度に換算できる。そして、そのシフト量又は回転角度から図１３の右辺のマトリックスを決定できる。

図１４では、図１３において垂直シフトを示すｍ２３を例に、トラッキング情報からレイテンシー補償パラメーターを求める手法を説明する。ここでは、トラッキング情報として、移動体３２のピッチ変位Δβ及び垂直シフトΔｙｍと、観者５２の垂直シフトΔｙｐとを用いる例を説明する。

ピッチの回転中心ＰＴＣとスクリーン３４との距離をＤＣＦとすると、移動体３２のピッチ変位Δβは、スクリーン３４をＤＣＦ×Δβだけ垂直シフトさせる。また移動体３２の垂直シフトΔｙｍは、スクリーン３４をΔｙｍだけ垂直シフトさせる。これらを合計すると、スクリーン３４の垂直シフト量はＤＣＦ×Δβ＋Δｙｍである。観者５２の頭部と実オブジェクト１２が動かないと仮定すると、例えばスクリーン３４が＋（ＤＣＦ×Δβ＋Δｙｍ）だけ上がったとき、観者から見たスクリーン３４上の実オブジェクト１２の位置は、スクリーン３４に対して相対的に−（ＤＣＦ×Δβ＋Δｙｍ）だけ下がって見える。従って、この場合のレイテンシー補償パラメーターはｍ２３＝−（ＤＣＦ×Δβ＋Δｙｍ）となる。

観者５２の頭部と実オブジェクト１２との距離をＤＰＴとし、スクリーン３４と実オブジェクト１２との距離をＤＦＴとする。スクリーン３４と実オブジェクト１２が動かないと仮定すると、例えば観者が＋Δｙｐだけ上がったとき、観者５２から見たスクリーン３４上の実オブジェクト１２の位置は、スクリーン３４に対して相対的に＋（ＤＦＴ／ＤＰＴ）×Δｙｐだけ上がって見える。実オブジェクト１２が十分遠くにあると仮定すれば、ＤＦＴ／ＤＰＴ＝１と近似できるので、実オブジェクト１２の垂直シフト量はΔｙｐである。従って、この場合のレイテンシー補償パラメーターはｍ２３＝Δｙｐとなる。

本実施形態によれば、回路装置１６０は記憶部１４５を含み、記憶部１４５は、表示画像における座標と、その座標の移動先を示す移動量とを対応づけるテーブルをワープパラメーターとして記憶する。パラメーター演算部１４０は、テーブルの移動量をレイテンシー補償パラメーターに基づいてシフトし、移動量がシフトされたテーブルを補償後ワープパラメーターとして出力する。

図１１の例では、ｆ^−１（）がテーブルとして記憶部１４５に記憶される。図１３及び上式（５）で説明した例では、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ）に移動させるテーブルの移動量が、例えばｍ２３だけ垂直方向にシフトされる。即ち、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ＋ｍ２３）に移動させるテーブルに補正される。

或いは、記憶部１４５は、表示画像における座標を、移動先の座標に変換する変換式のパラメーターをワープパラメーターとして記憶してもよい。パラメーター演算部１４０は、移動先の座標をレイテンシー補償パラメーターに基づいてシフトし、移動先の座標がシフトされた変換式のパラメーターを補償後ワープパラメーターとして出力する。

変換式は例えば多項式であり、その多項式の係数が変換式のパラメーターとして記憶部１４５に記憶される。図１１の例では、ｆ^−１（）を示す変換式のパラメーターが記憶部１４５に記憶される。図１３及び上式（５）で説明した例では、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ）に移動させる変換式の移動量が、例えばｍ２３だけ垂直方向にシフトされる。即ち、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ＋ｍ２３）に移動させる変換式に補正される。

４．電子機器、移動体
図１５は、本実施形態の回路装置１６０を含む電子機器３００の構成例である。電子機器３００は、処理装置１５０、回路装置１６０、記憶装置３５０、操作装置３６０、通信装置３７０、ヘッドアップディスプレイ４００、センサー５００を含む。

処理装置１５０は、仮想オブジェクトをレンダリングしたレンダリング画像を回路装置１６０に出力する。また処理装置１５０は、記憶装置３５０に記憶された画像データ、又は通信装置３７０が受信した画像データと、仮想オブジェクトとを合成したレンダリング画像を、回路装置１６０に出力してもよい。回路装置１６０は、レンダリング画像に対するワープ処理と共にレイテンシー補償を行う。また回路装置１６０は表示タイミング制御等を行う。ヘッドアップディスプレイ４００は、回路装置１６０から転送された画像データと、回路装置１６０による表示タイミング制御に基づいて、表示パネルを駆動し、表示パネルに画像を表示させる。表示パネルは、例えば液晶表示パネル、或いはＥＬ表示パネル等である。ヘッドアップディスプレイ４００は、表示パネルに表示された画像を投影光学ユニットによりスクリーンに投影する。記憶装置３５０は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置３６０は、電子機器３００をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置３７０は、例えば有線通信を行う装置、或いは無線通信を行う装置である。有線通信は、例えばＬＡＮ、又はＵＳＢ等である。無線通信は、例えば無線ＬＡＮや、無線近接通信等である。

本実施形態の回路装置を含む電子機器としては、車載用の電子機器、工場設備等の表示端末、ロボットに搭載された表示装置、又は情報処理装置等の種々の機器を想定できる。車載用の電子機器は、例えばメーターパネル等である。情報処理装置は例えばＰＣ等である。

図１６は、本実施形態の回路装置１６０を含む移動体の例である。移動体は、制御装置２０８、ヘッドアップディスプレイ４００、センサー５００を含む。制御装置２０８は、処理装置１５０、回路装置１６０を含む。制御装置２０８はＥＣＵ（Electronic Control Unit）であり、ＥＣＵに処理装置１５０と回路装置１６０が組み込まれる。なお回路装置１６０はヘッドアップディスプレイ４００に組み込まれてもよい。本実施形態の回路装置１６０は、例えば、車、飛行機、バイク、自転車、或いは船舶等の種々の移動体に組み込むことができる。移動体は、例えばエンジンやモーター等の駆動機構、ハンドルや舵等の操舵機構、各種の電子機器を備えて、地上や空や海上を移動する機器又は装置である。図１６は移動体の具体例としての自動車２０６を概略的に示している。自動車２０６は車体２０７と車輪２０９を有する。上記のＥＣＵは、ドライバーによる操作に基づいて、エンジン、ブレーキ又は操舵等を制御することで自動車２０６の走行を制御する。ヘッドアップディスプレイ４００は透明スクリーンを有し、その透明スクリーンは運転席とフロントガラスの間に設置される。或いは、ヘッドアップディスプレイは、フロントガラスを透明スクリーンとして用い、フロントガラスに画像を投影してもよい。ヘッドアップディスプレイ４００は、ＡＲ表示を行うと共に、例えば自動車２０６のメーターパネルとして機能してもよい。

以上に説明した本実施形態の回路装置は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示制御を行う。回路装置は、インターフェースとパラメーター演算部とワープ処理部とを含む。インターフェースには、ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、ヘッドアップディスプレイの観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報と、仮想オブジェクトを含むレンダリング画像と、が入力される。パラメーター演算部は、トラッキング情報に基づいて、レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算する。ワープ処理部は、レンダリング画像を表示領域の湾曲に応じて座標変換するワープ処理を行い、表示領域に表示される表示画像を生成する。ワープ処理部は、ワープ処理において、表示領域における仮想オブジェクトの位置をレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

このようにすれば、レンダリング処理レイテンシーを含むレイテンシーによって発生する仮想オブジェクトの位置ずれが、レイテンシー補償パラメーターに基づいて補償される。表示の直前に行われるワープ処理においてレイテンシー補償を行うことで、残存するレイテンシーを最小限にできるため、実オブジェクトに対する仮想オブジェクトの追従性が高いＡＲ表示を実現できる。

また本実施形態では、インターフェースには、第１タイミングにおけるトラッキング情報に基づいて生成されたレンダリング画像と、第１タイミングにおけるトラッキング情報と、が入力されてもよい。パラメーター演算部は、第１タイミングより後で且つ表示画像の表示タイミングより前の第２タイミングにおけるトラッキング情報と、第１タイミングにおけるトラッキング情報とに基づいて、レイテンシー補償パラメーターを演算してもよい。

このようにすれば、第１タイミングと表示タイミングの間のレイテンシーが、第１タイミングより後の第２タイミングと表示タイミングの間のレイテンシーに短縮されるので、レイテンシーによる位置ずれが削減される。

また本実施形態では、パラメーター演算部は、表示領域の湾曲に応じた座標変換のワープパラメーターをレイテンシー補償パラメーターに基づいて補正することで、補正後ワープパラメーターを出力してもよい。ワープ処理部は、補正後ワープパラメーターを用いてワープ処理を行うことで、レイテンシー補償処理を行ってもよい。

このように、レイテンシー補償パラメーターに基づく補正後ワープパラメーターを用いてワープ処理を行うことで、ワープ処理においてレイテンシー補償を行うことができる。

また本実施形態では、トラッキング情報は、移動体の進行方向に垂直な第１軸変位及び第２軸変位の少なくとも１つを含む変位を示す情報であってもよい。パラメーター演算部は、変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力してもよい。

レイテンシー補償では、短期間に生じる位置又は姿勢の変化を補償するが、短期間に生じる位置又は姿勢の変化としては移動体又は観者の揺れの影響が大きいと考えられる。移動体又は観者が揺れた場合、観者が表示領域を通して見る実オブジェクトはシフト変位すると考えられる。本実施形態によれば、移動体の進行方向に垂直な第１軸変位及び第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体又は観者の揺れによる表示位置ずれを補償できる。

また本実施形態では、移動体の進行方向に垂直な第１軸変位及び第２軸変位のうち、移動体の上下方向における変位が第２軸変位であってもよい。このとき、トラッキング情報は、移動体のピッチ変位によるヘッドアップディスプレイ又は観者の第２軸変位を示す情報であってもよい。パラメーター演算部は、第２軸変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力してもよい。

上述した移動体の揺れとしてピッチ変位が想定されるが、移動体のピッチ変位はヘッドアップディスプレイのスクリーン又は観者の第２軸変位を生じさせる。このヘッドアップディスプレイのスクリーン又は観者の第２軸変位は、観者が表示領域を通して見る実オブジェクトに第２軸方向のシフト変位を生じさせる。本実施形態によれば、ヘッドアップディスプレイのスクリーン又は観者の第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体のピッチ変位による表示位置ずれを補償できる。

また本実施形態では、回路装置は、表示画像における座標と、座標の移動先を示す移動量とを対応づけるテーブルをワープパラメーターとして記憶する記憶部を含んでもよい。パラメーター演算部は、テーブルの移動量をレイテンシー補償パラメーターに基づいてシフトし、移動量がシフトされたテーブルを補正後ワープパラメーターとして出力してもよい。

このようにすれば、テーブルの移動量がレイテンシー補償パラメーターに基づいてシフトされ、その補正されたテーブルによりワープ処理が行われることで、レイテンシー補償が実現される。

また本実施形態では、回路装置は、表示画像における座標を、移動先の座標に変換する変換式のパラメーターをワープパラメーターとして記憶する記憶部を含んでもよい。パラメーター演算部は、移動先の座標をレイテンシー補償パラメーターに基づいてシフトし、移動先の座標がシフトされた変換式のパラメーターを補正後ワープパラメーターとして出力してもよい。

このようにすれば、変換式の移動先の座標がレイテンシー補償パラメーターに基づいてシフトされ、その補正された変換式によりワープ処理が行われることで、レイテンシー補償が実現される。

また本実施形態では、ワープ処理部は、ワープ処理において、表示領域における仮想オブジェクトの回転及びスケールの少なくとも１つをレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行ってもよい。

このように、シフト変位のレイテンシー補償だけでなく、回転又はスケールのレイテンシー補償を行ってもよい。スケールは、仮想オブジェクトを縮小又はズームすることである。本実施形態によれば、レイテンシーによる仮想オブジェクトの回転誤差、スケール誤差又はその両方が補償されるので、より追従性が高いＡＲ表示を実現できる。

また本実施形態では、インターフェースには、レンダリング用センサーの出力信号に基づくトラッキング処理により生成されたレンダリング用トラッキング情報と、レンダリング用トラッキング情報に基づいて生成されたレンダリング画像と、レンダリング用センサーとは別のレイテンシー補償用センサーの出力信号であるレイテンシー補償用トラッキング情報と、が入力されてもよい。パラメーター演算部は、レンダリング用トラッキング情報とレイテンシー補償用トラッキング情報に基づいて、レイテンシー補償パラメーターを演算してもよい。

このようにすれば、パラメーター演算部が任意のタイミングでレイテンシー補償用センサーの出力信号を取得できるので、表示タイミングに出来るだけ近いタイミングのレイテンシー補償用センサーの出力信号を取得し、レイテンシー補償パラメーターを演算できる。

また本実施形態の電子機器は、上記のいずれかに記載の回路装置を含む。

また本実施形態の移動体は、上記のいずれかに記載の回路装置を含む。

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。またセンサー、ヘッドアップディスプレイ、処理装置、ヘッドアップディスプレイコントローラー、表示システム、電子機器及び移動体等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０…前走車、１１，１２…実オブジェクト、２０，２１…仮想オブジェクト、３０…自動車、３２…移動体、３４…スクリーン、３５…フロントガラス、３６…投影ユニット、４０…表示領域、５０…目、５２…観者、１１０…トラッキング処理部、１１１…ビジュアル慣性オドメトリ処理、１１２…慣性オドメトリ処理、１１３…予測処理、１２０…レンダリング画像生成部、１３０…ワープ処理部、１４０…パラメーター演算部、１４５…記憶部、１５０…処理装置、１５１…インターフェース、１６０…ＨＵＤコントローラー、１６１…インターフェース、２０６…自動車、２０８…制御装置、２７０…処理装置、３００…電子機器、３５０…記憶装置、３６０…操作装置、３７０…通信装置、４００…ヘッドアップディスプレイ、４１０…ディスプレイ、５００…センサー、５１０…レンダリング用センサー、５２０…レイテンシー補償用センサー

Claims (11)

1. 実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示制御を行う回路装置であって、
   前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報と、前記仮想オブジェクトを含むレンダリング画像と、が入力されるインターフェースと、
   前記トラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、
   前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
   を含み、
   前記ワープ処理部は、
   前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行うことを特徴とする回路装置。
2. 請求項１に記載の回路装置において、
   前記インターフェースには、第１タイミングにおける前記トラッキング情報に基づいて生成された前記レンダリング画像と、前記第１タイミングにおける前記トラッキング情報と、が入力され、
   前記パラメーター演算部は、
   前記第１タイミングより後で且つ前記表示画像の表示タイミングより前の第２タイミングにおける前記トラッキング情報と、前記第１タイミングにおける前記トラッキング情報とに基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする回路装置。
3. 請求項１又は２に記載の回路装置において、
   前記パラメーター演算部は、
   前記表示領域の湾曲に応じた前記座標変換のワープパラメーターを前記レイテンシー補償パラメーターに基づいて補正することで、補正後ワープパラメーターを出力し、
   前記ワープ処理部は、
   前記補正後ワープパラメーターを用いて前記ワープ処理を行うことで、前記レイテンシー補償処理を行うことを特徴とする回路装置。
4. 請求項３に記載の回路装置において、
   前記トラッキング情報は、
   前記移動体の進行方向に垂直な第１軸変位及び第２軸変位の少なくとも１つを含む変位を示す情報であり、
   前記パラメーター演算部は、
   前記変位により生じる前記仮想オブジェクトの位置の誤差を補正することで前記補正後ワープパラメーターを出力することを特徴とする回路装置。
5. 請求項３に記載の回路装置において、
   前記移動体の進行方向に垂直な第１軸変位及び第２軸変位のうち、前記移動体の上下方向における変位が前記第２軸変位であるとき、
   前記トラッキング情報は、
   前記移動体のピッチ変位による前記ヘッドアップディスプレイ又は前記観者の前記第２軸変位を示す情報であり、
   前記パラメーター演算部は、
   前記第２軸変位により生じる前記仮想オブジェクトの位置の誤差を補正することで前記補正後ワープパラメーターを出力することを特徴とする回路装置。
6. 請求項３乃至５のいずれか一項に記載の回路装置において、
   前記表示画像における座標と、前記座標の移動先を示す移動量とを対応づけるテーブルをワープパラメーターとして記憶する記憶部を含み、
   前記パラメーター演算部は、
   前記テーブルの前記移動量を前記レイテンシー補償パラメーターに基づいてシフトし、前記移動量がシフトされた前記テーブルを前記補正後ワープパラメーターとして出力することを特徴とする回路装置。
7. 請求項３乃至５のいずれか一項に記載の回路装置において、
   前記表示画像における座標を、移動先の座標に変換する変換式のパラメーターをワープパラメーターとして記憶する記憶部を含み、
   前記パラメーター演算部は、
   前記移動先の座標を前記レイテンシー補償パラメーターに基づいてシフトし、前記移動先の座標がシフトされた前記変換式のパラメーターを前記補正後ワープパラメーターとして出力することを特徴とする回路装置。
8. 請求項１乃至７のいずれか一項に記載の回路装置において、
   前記ワープ処理部は、
   前記ワープ処理において、前記表示領域における前記仮想オブジェクトの回転及びスケールの少なくとも１つを前記レイテンシー補償パラメーターに基づいて補償する前記レイテンシー補償処理を行うことを特徴とする回路装置。
9. 請求項１乃至８のいずれか一項に記載の回路装置において、
   前記インターフェースには、レンダリング用センサーの出力信号に基づくトラッキング処理により生成されたレンダリング用トラッキング情報と、前記レンダリング用トラッキング情報に基づいて生成された前記レンダリング画像と、前記レンダリング用センサーとは別のレイテンシー補償用センサーの出力信号であるレイテンシー補償用トラッキング情報と、が入力され、
   前記パラメーター演算部は、
   前記レンダリング用トラッキング情報と前記レイテンシー補償用トラッキング情報に基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする回路装置。
10. 請求項１乃至９のいずれか一項に記載の回路装置を含むことを特徴とする電子機器。
11. 請求項１乃至９のいずれか一項に記載の回路装置を含むことを特徴とする移動体。

Images