JP2023132157A - 画像表示装置、画像表示方法、及びプログラム - Google Patents

Abstract

【課題】高精度な画像補正を実現可能にする。【解決手段】画像表示装置は、現実空間における画像表示装置の動きを検出し、画像表示の第１の遅延時間を計測し、画像に対して補正処理を行う。ここで、画像表示装置は、計測された第１の遅延時間と画像表示装置の動作に関連する設定値とを基に第２の遅延時間を推定し、その推定した第２の遅延時間と、検出された動きとを基に、補正処理を制御する。【選択図】図２

Description

本発明は、画像を処理して提示する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実感）技術が知られている。ＭＲ技術を実現する装置の１つとして、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている。ビデオシースルー型ＨＭＤは、使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳したＭＲ画像を、液晶や有機ＥＬ等の表示デバイスに表示する。

撮像画像にＣＧ画像を重畳したＭＲ画像を生成する処理は、ＨＭＤと通信可能になされた外部の画像処理装置によって行われることが多い。すなわちＨＭＤのカメラで撮像された撮像画像は画像処理装置に送信され、画像処理装置ではＨＭＤから受信した撮像画像を基に当該ＨＭＤの位置姿勢を計算し、その計算結果を基に撮像画像に対してＣＧ画像を重畳したＭＲ画像を生成してＨＭＤへ送信する。

ここで、ＨＭＤではＣＧ画像を生成するが、そのＣＧ画像の生成にはある程度時間がかかり、ＨＭＤ使用者の頭部の動きに対して画像遅延が生じることがあり、その画像遅延がＨＭＤ使用者にとって違和感となっていた。これに対し、特許文献１では、表示の更新レートの低下を検知した場合には、頭部の位置姿勢を基に表示する画像を補正することでＨＭＤ使用者の違和感を低減する技術が開示されている。また、特許文献２では、実物体が表示されるまでの遅延情報に基づいて、遅延による位置ずれを補正するような画像補正技術が開示されている。

特開２０１９－１８４８３０号公報 特開２０２０－４２５９２号公報

しかしながら、画像の遅延は一定ではなく動的に変化することがあり、この場合、上述した特許文献に開示された技術では、高精度な画像補正を行うことができず、ＨＭＤ使用者にとって違和感が残ってしまう。

そこで本発明は、高精度な画像補正を実現可能にすることを目的とする。

本発明の画像表示装置は、現実空間における画像表示装置の動きを検出する検出手段と、画像表示の第１の遅延時間を計測する計測手段と、画像に対して補正処理を行う補正手段と、前記計測された第１の遅延時間と前記画像表示装置の動作に関連する設定値とを基に第２の遅延時間を推定し、前記推定した第２の遅延時間と、前記検出手段にて検出された前記動きとを基に、前記補正手段を制御する制御手段と、を有することを特徴とする。

本発明によれば、高精度な画像補正を実現可能となる。

頭部装着型の画像表示装置とその周辺装置の構成例を示す図である。 第１の実施形態の画像表示システムの機能構成図である。 頭部の動作と表示画像例の説明に用いる図である。 頭部の動作と画像補正の説明に用いる図である。 遅延時間が動的に変化する際の各部のタイミングチャートである。 遅延時間計測処理のフローチャートである。 遅延時間計測の説明に用いるタイミングチャートである。 高精度遅延時間推定処理と補正値生成処理のフローチャートである。 本実施形態に係る効果説明に用いる図である。 第２の実施形態の画像表示システムの機能構成図である。

以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係る画像表示装置および画像処理装置を含む画像表示システムの概略的な構成例を示す図である。
図１において、画像表示システムは、一例として、頭部装着型の画像表示装置であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１０１と、表示装置１０２および操作部１０４を有する画像処理装置１０３と、を有して構成されている。

ＨＭＤ１０１は、ビデオシースルー型ＨＭＤであり、使用者の頭部に装着される。ＨＭＤ１０１は、使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラ等の撮像装置にて撮像し、その撮像画像にＣＧ画像（コンピュータグラフィックス画像）を重畳したＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実感）画像を表示する。本実施形態の画像処理装置１０３は、ＣＧ画像の生成処理とそのＣＧ画像を撮像画像に重畳する合成処理とを含む所定の画像処理を行い、その合成処理により得られた合成画像を、使用者に提示するＭＲ画像としてＨＭＤ１０１に送信する。

ＨＭＤ１０１は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような小規模ネットワークを構成する無線接続を介して画像処理装置１０３と通信する。なお、ＨＭＤ１０１と画像処理装置１０３との間の通信は、無線による通信に限らず、有線による通信であってもよい。また図１の例では、画像処理装置１０３とＨＭＤ１０１を別々のハードウェア構成としているが、画像処理装置１０３の持つ機能のすべてをＨＭＤ１０１内に実装して、一体化することも可能である。

［画像表示システムの各装置の機能構成］
図２は、図１に示した画像表示装置（ＨＭＤ１０１）および画像処理装置１０３の機能構成を示した機能ブロック図である。
ＨＭＤ１０１は、例えば、撮像部２０１、表示部２０２、空間情報取得部２０４、センシング部２０３、制御部２０５、遅延計測部２０６、および補正部２１０を有して構成されている。

ＨＭＤ１０１の撮像部２０１は、当該ＨＭＤ１０１が存在している現実空間（外界）を撮像する撮像装置であり、例えば動画撮像を行うビデオカメラであるとする。撮像部２０１は、制御部２０５により撮像パラメータ等が設定され、その撮像パラメータ等の設定値に応じた撮像動作を行って、外界（現実空間）を撮像し、時系列に連続するフレームごとの撮像画像を出力する。撮像部２０１の設定値としては、例えば、フレームレート、解像度、シャッタースピード、およびゲイン等が挙げられる。第１の実施形態の場合、撮像部２０１が外界を撮像して取得したフレームごとの撮像画像は、画像処理装置１０３へと送られる。

表示部２０２は、ＨＭＤ１０１を頭部に装着した状態の使用者が観る画像を表示する液晶や有機ＥＬ等の画像形成素子と、ＨＭＤ１０１を頭部に装着した使用者の両眼に対応した接眼光学系とを有して構成された表示装置である。

空間情報取得部２０４は、このＨＭＤ１０１が存在している現実空間（外界）に関する空間情報を取得する。空間情報取得部２０４としては、例えば、Ｄｅｐｔｈセンサ、ステレオカメラ、光学式センサなどがある。すなわち、空間情報取得部２０４は、Ｄｅｐｔｈセンサ、ステレオカメラ、光学式センサなどの出力情報を基に、現実空間におけるＨＭＤ１０１の位置関係などを表す空間情報を取得する。空間情報取得部２０４にて取得された空間情報は画像処理装置１０３に送られる。なお、空間情報取得部２０４は、Ｄｅｐｔｈセンサ等に限定されず、現実空間内におけるＨＭＤ１０１の空間情報を取得することができるのであれば他の構成が用いられてもよい。

センシング部２０３は、現実空間におけるＨＭＤ１０１の動きを検出するセンサを有する。ＨＭＤ１０１の動きを検出するセンサとしては、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）や加速度センサ、角速度センサなどを挙げることができる。本実施形態においては、センシング部２０３のセンサはＩＭＵであるする。センシング部２０３は、現実空間に対するＨＭＤ１０１の動きの検出結果の情報であるセンシングデータを、制御部２０５に送る。

遅延計測部２０６は、撮像部２０１で画像が撮像されてから、後述する画像処理装置１０３での画像処理により生成された画像が当該ＨＭＤ１０１に出力されてくるまでの、第１の遅延時間(以下適宜、計測遅延時間と呼ぶ）を計測する。この遅延時間は、画像処理による遅延だけでなく、通信などによる遅延も含まれている。遅延計測部２０６における遅延時間計測処理の詳細は後述する。

制御部２０５は、ＨＭＤ１０１内の各機能部の動作制御を行う。また本実施形態に係る制御部２０５は、動画のフレームごとに、ＨＭＤ１０１の各機能部の動作を設定するための設定値（パラメータ）を変更するような制御も可能となされている。また制御部２０５は、センシング部２０３からのセンシングデータを基に、ＨＭＤ１０１の移動、傾き、回転等を算出する。すなわちＨＭＤ１０１の移動、傾き、回転等は、ＨＭＤ使用者が頭部を動かした時の移動、傾き、回転等に相当し、これにより制御部２０５は、ＨＭＤ使用者がどの現実空間のどの方向を向いている（見ている）のかを認識することができる。また詳細は後述するが、制御部２０５は、ＨＭＤ１０１の動作に関連する設定値と計測遅延時間とを基に第２の遅延時間としての高精度な遅延時間を推定し、その高精度遅延時間とＨＭＤ１０１の移動、傾き、回転等とを基に補正部２１０を制御する。すなわち制御部２０５は、高精度遅延時間とＨＭＤ１０１の移動、傾き、回転等を基に、画像補正に用いられる補正値を生成し、その補正値を補正部２１０に設定することによって、補正部２１０における画像補正処理を制御する。制御部２０５が高精度遅延時間を推定する際に用いる設定値と計測遅延時間、画像補正に用いる補正値の生成等の詳細は後述する。

補正部２１０は、画像処理装置１０３から送られてきた画像、つまり使用者に提示するために生成された画像に対して、制御部２０５からの補正値に基づいた画像補正処理を行う。そして、補正部２１０からの出力画像が表示部２０２に送られて表示される。補正部２１０における画像補正処理の詳細は後述する。

画像処理装置１０３は、例えば、画像処理部２０７、コンテンツＤＢ（データベース）２０８、および出力制御部２０９を有して構成されている。
コンテンツＤＢ２０８は、ＣＧ画像の生成に用いるコンピュータグラフィックスデータ（ＣＧデータ）を格納している。

第１の実施形態に係る画像処理部２０７は、コンテンツＤＢ２０８のＣＧデータから描画用のＧＧ画像を生成し、そのＣＧ画像を、ＨＭＤ１０１の撮像部２０１にて撮像された現実空間の撮像画像に対して重畳して合成画像を生成するような画像処理を行う。すなわち画像処理部２０７は、ＨＭＤ１０１から撮像画像及び空間情報が入力されると、それらを基に、撮像画像のどの位置にＣＧ画像を重畳すればよいかを計算する。そして、画像処理部２０７は、コンテンツＤＢ２０８からＣＧデータを読み出し、撮像画像に対して、先に計算した重畳位置にＣＧ画像を重畳するようにして合成画像を生成する。

出力制御部２０９は、画像処理部２０７にて現実空間の撮像画像にＣＧ画像が重畳された合成画像をＨＭＤ１０１に出力する画像出力制御を行う。すなわち出力制御部２０９は、画像処理部２０７によって生成された合成画像をＨＭＤ１０１に出力するタイミングを制御する。ここで、合成画像は、ＨＭＤ１０１の表示部２０２へ表示される画像であるため、出力制御部２０９による出力タイミング制御とは、ＨＭＤ１０１の表示部２０２への表示画像の出力タイミング制御に相当する。

前述したように、ＨＭＤ１０１の制御部２０５は、ＨＭＤ１０１の各機能部の動作に関連する設定値を制御可能となされている。例えば、制御部２０５は、撮像部２０１の設定値の一つであるシャッタースピードを、フレームごとに動的に変化させるような制御を行うことができる。このため、制御部２０５が撮像部２０１のシャッタースピードをフレームごとに動的に変化させた場合、撮像部２０１においてシャッターが開放されている時間（つまり露光時間）は変化することになる。一方、撮像部２０１が画像を出力する撮像フレームレートが一定である場合に、シャッタースピードを動的に変化させると、撮像部２０１の露光終了から撮像画像の出力開始までの遅延時間はフレームごとに動的に変化する。

また、画像処理装置１０３の画像処理部２０７にて行われる画像処理は、コンテンツＤＢ２０８から読み出すＣＧデータによって処理負荷が大きく変動する。このように、画像処理部２０７の処理負荷が大きく変動すると、当該画像処理部２０７から出力制御部２０９へ画像が送出される時間間隔が変化することになる。一方、出力制御部２０９の出力フレームレートが一定である場合に、画像処理部２０７から画像が送出される時間間隔が変化すると、画像処理部２０７の画像送出終了から出力制御部２０９の画像出力開始までの遅延時間がフレームごとに動的に変化する。

さらに撮像部２０１の撮像フレームレートと、出力制御部２０９からＨＭＤ１０１への出力フレームレートつまり表示部２０２における表示フレームレートとは一致しない場合がある。例えば、撮像部２０１が６０ｆｐｓ（フレーム／秒）のフレームレートで撮像画像を出力し、表示部２０２が６０ｆｐｓのフレームレートで画像を表示する場合、出力制御部２０９の出力フレームレートも６０ｆｐｓとなされる。一方、撮像部２０１が６０ｆｐｓのフレームレートであるのに対し、例えば表示部２０２のフレームレートが５９ｆｐｓであり、出力制御部２０９の出力フレームレートが５９ｆｐｓになっている場合がある。すなわちこの場合、撮像画像と表示画像の更新レートに偏差がある状態となる。そして、撮像画像と表示画像の更新レートの偏差がある状態では、それら更新レートの偏差が動的に変動することがあり、表示部２０２に画像を表示する際の遅延時間が一定ではなくなる。

このように、画像表示システムにおいては、撮像部２０１や表示部２０２などの各種の設定値、画像処理部２０７における画像処理の負荷などによって、フレームごとに遅延時間が動的に変化することがある。

そこで、本実施形態において、制御部２０５は、撮像部２０１や表示部２０２等の設定値と計測遅延時間とを基に高精度遅延時間を推定し、その推定した高精度遅延時間とセンシングデータとを基に、補正部２１０の画像補正に用いる補正値を算出する。補正部２１０は、出力制御部２０９から送られてきた画像を、制御部２０５にて算出された補正値を用いて補正する。そして、その補正後の画像を表示部２０２に表示する。これにより、ＨＭＤ利用者にとって違和感が少ない画像を提供可能とする。

［補正部の詳細］
制御部２０５における高精度遅延時間の推定および画像の補正値の算出処理の説明を行う前に、補正部２１０における画像補正処理について説明する。
本実施形態の補正部２１０における画像補正処理は、例えば、画像の水平移動、垂直移動、拡大・縮小、回転、台形補正、射影変換等の、いずれか若しくはそれらの組み合わせの処理となされている。すなわち補正部２１０は、画像処理装置１０３にて使用者への提示用として生成された画像に対して、水平移動、垂直移動、拡大・縮小、回転、台形補正、射影変換等の処理を行うことで、ＨＭＤ１０１の移動、傾き、回転等の動作に追従するような画像補正を行う。なお、画像に遅延がある場合でもＨＭＤ１０１の動作に追従するように画像補正を行う手段であれば、方法は特に限定されない。

補正部２１０の詳細な動作について、図３および図４を用いて説明する。
ここではまず、本実施形態に係る高精度遅延時間推定に基づく画像補正処理との比較のために、高精度遅延時間推定を行わずに画像補正処理を実行した場合の例を説明する。以下、本実施形態に係る高精度遅延時間の推定処理を「高精度推定」と呼び、本実施形態に係る高精度推定を行わない場合を「非高精度推定」と呼ぶことにする。なお、非高精度推定時の画像補正処理の説明では、フレームごとの遅延時間に変動はなく一定でありかつ、撮像画像と表示画像の更新レートに偏差はないものとする。フレームごとの一定な遅延時間は、例えば予め算出した遅延時間の平均値（一例として４６ｍｓ）とし、非高精度推定時の画像補正処理の際には当該一定の遅延時間に対応するような補正値が用いられるとする。

図３（ａ）はＨＭＤを装着した使用者の頭部の動き（頭部の向き）を示している。図３（ｂ）は図３（ａ）に示した各頭部１４０１の向きの時にＨＭＤ１０１に表示される画像例を示している。図３（ｃ）は図３（ｂ）に示した各画像における描画と表示のタイミングを表した図である。

図３（ａ）には使用者の頭部１４０１と、その頭部１４０１に装着されたＨＭＤ１０１とを示しており、頭部１４０１を上から見た図である。図３（ａ）の例の場合、使用者は、頭部１４０１を右回りに回転させることで、頭部１４０１の向きを左から右を徐々に変化させている状態を表している。なお、時間は図３の左から右に従って進んでいるとする。また、説明を分かりやすくするために、頭部１４０１の動きは等速運動であるとする。

図３（ｂ）に示されている各太枠内は、図３（ａ）に示した頭部１４０１の各向きの際に、ＨＭＤ１０１に表示されている画像例を示しており、それら画像内にはＣＧ画像１４０３、１４０４などが表示されている。なお、図３（ｂ）において括弧が付けられた番号（１４１０）～（１４１６）はそれぞれ各画像を示した番号である。図３（ｃ）は図３（ｂ）に例示した各画像における描画と表示のタイミングを表した図である。図３（ｃ）中に記載した各番号（１４１０）～（１４１６）は、図３（ｂ）で各画像に付与した番号と対応している。これら図３（ｂ）と図３（ｃ）は、頭部１４０１の向きの変化に対して表示される画像に遅延が生じておらず、正常に画像が描画されている場合の例を示している。

一方、図３（ｄ）は、図３（ｂ）同様に図３（ａ）に示した各頭部１４０１の向きの時にＨＭＤ１０１に表示されている画像例を示している。ただし、図３（ｄ）の例では、頭部１４０１の向きの変化に対して表示される画像に遅延が生じている。すなわち図３（ｄ）の例では、使用者の頭部１４０１の動きに対して描画が間に合わず、頭部の向きが変わっているのにＨＭＤ１０１には同じ画像が表示されてしまっている状態の例を示している。図３（ｅ）は図３（ｄ）に例示した各画像における描画と表示のタイミングを表した図である。図３（ｄ）において括弧が付けられた番号（１４１０）～（１４１６）、図３（ｃ）中に記載した各番号（１４１０）～（１４１６）は、図３（ｂ）、図３（ｃ）と同様に付与された番号である。

図３（ｄ）および図３（ｅ）に示した例の場合、ＣＧ画像１４０３と１４０４の描画に時間がかかり、フレームレートで決まる規定時間内に描画が終了しなかったため、番号（１４１１）と番号（１４１２）の画像がそれぞれ２回連続で表示されている。すなわち図３（ｄ）と図３（ｅ）の例の場合、ＣＧ画像１４０３，１４０４を表示するための描画処理が規定時間内に終了しないため、画像の更新レートが低下している。この更新レート低下はＨＭＤ１０１の使用者にとって違和感として感じられることが多く、使用者は映像酔いになってしまうことがある。

図４は、非高精度推定時において画像補正処理が行われた場合の例を示した図である。図４（ａ）～図４（ｄ）は、図３（ａ）～図３（ｄ）と同様の図であるためその説明を省略する。図４（ｆ）は画像の更新レートが低下していない場合の理想画像（図３（ｂ）の画像）を示している。図４（ｆ）のように理想画像の表示がなされている場合、ＨＭＤ１０１の使用者は違和感をもつことはない。

図４（ｅ）は、非高精度推定時の画像補正処理による各画像の例を示している。画像補正処理では、頭部の動きがあるのに同じ画像を受け取った場合に、１フレーム分の頭部の動き量だけ、画像を移動（シフト）させるような補正が行われる。例えば図４（ｄ）に示すように同じ画像を２回受け取った場合、画像補正処理では、１フレーム分の頭部の動き量だけ左に画像を移動（シフト）する。これにより、図４（ｅ）の画像１５０１～１５０４に示すように、図４（ｆ）の理想画像に対応した画像を表示することができる。ただし、画像をシフトしたことで画像が無くなった領域には、図４（ｅ）の画像１５０１～１５０４に示したように黒画像が配置される。なおここでは、黒画像を配置する例を挙げているが、表示画像よりも領域の大きい画像を画像処理装置から受信するような構成にし、その画像から表示する画像を切り出すことで、黒画像を表示しないようにすることも可能である。またこの例では、頭部の動きが左右である例を挙げているため、画像を左右に移動する例を説明したが、頭部の動きが上下や斜めである場合にはそれら上下や斜めの動きに応じて画像を上下や斜めに移動させる。
このように、非高精度推定時の画像補正処理であっても、画像の遅延時間が例えば一定であれば、使用者にとって違和感のない画像表示を行うことができる。

［遅延時間が動的に変化する例の説明］
前述したように、撮像部２０１のシャッタースピードがフレームごとに変化する場合や、画像処理部２０７の処理負荷が変動する場合、あるいは撮像画像と表示画像のフレームレートが一致していない場合などでは、画像の遅延時間が動的に変化することになる。

以下、それらシャッタースピード、処理負荷、フレームレートなどの要因によって画像の遅延時間が一定ではなく動的に変化することについて、図５を用いて説明する。図５は、撮像部２０１で撮像した画像に対し、画像処理部２０７がＣＧ画像を重畳した後、出力制御部２０９から合成画像の出力がなされる時のタイミングチャートを示している。

図５（ａ）は、撮像部２０１において撮像フレームごとにシャッタースピードを変化させたときの露光時間を示している。図中に記号で示すＣ₁，Ｃ₂，・・・は、連続する撮像フレームを特定する番号を示している。例えば露光時間３１０１は、撮像フレーム番号Ｃ₁のフレームの画像を取得するために、１／６０秒のシャッタースピードで撮像が行われたことを示している。シャッタースピードの１／６０秒は１６ｍｓであるため、撮像フレーム番号Ｃ₁のフレームの撮像画像を取得した時の露光時間３１０１は１６ｍｓである。同様に、露光時間３１０２は、撮像フレーム番号Ｃ₂のフレームの画像を取得するために、１／１２０秒のシャッタースピードで撮像が行われたことを示している。シャッタースピードの１／１２０秒は８ｍｓであるため、撮像フレーム番号Ｃ₂のフレームの撮像画像を取得した時の露光時間３１０２は８ｍｓである。

図５（ｂ）は、撮像部２０１から撮像フレーム番号Ｃ₁，Ｃ₂，・・・の各フレームの撮像画像が出力される様子を示している。本実施形態の場合、撮像部２０１のフレームレートが６０ｆｐｓであり撮像更新周期は１６ｍｓであるため、当該撮像部２０１からは、１６ｍｓの更新周期ごとに、次の撮像フレーム番号の撮像画像が出力される。例えば、フレーム３２０１として撮像フレーム番号Ｃ₁の撮像画像の出力が開始されると、その出力開始タイミングから１６ｍｓ経過後に、次のフレーム３２０２として撮像フレーム番号Ｃ₂の撮像画像の出力が開始される。

図５（ａ）と図５（ｂ）に示すように、１／６０秒のシャッタースピードで撮像フレーム番号Ｃ₁のフレームの露光時間３１０１が終了すると、直ぐに１／１２０秒のシャッタースピードで撮像フレーム番号Ｃ₂の露光時間３１０２が開始されている。また、撮像部２０１からは、撮像フレーム番号Ｃ₁の露光時間３１０１が終了すると直ぐに、当該撮像フレーム番号Ｃ₁のフレーム３２０１の撮像画像の出力が開始される。一方、撮像フレーム番号Ｃ₂のフレーム３２０２の撮像画像の出力は、撮像フレーム番号Ｃ₂の露光時間３１０２が終了してから８ｍｓ経過後に開始されている。また、撮像フレーム番号Ｃ₂の露光時間３１０２が終了してから８ｍｓ経過後には、１／１８０秒のシャッタースピードで撮像フレーム番号Ｃ₃のフレームの露光が開始されている。この撮像フレーム番号Ｃ₃のフレームの撮像画像の出力は、撮像フレーム番号Ｃ₃のフレームの露光が終了してから１１ｍｓ経過後に開始される。すなわち、シャッタースピード１／６０秒（露光時間１６ｍｓ）に設定されたフレームに対して、シャッタースピード１／１２０秒（露光時間８ｍｓ）に設定されたフレームでは８ｍｓ分の時間遅延が発生することになる。同様に、例えばシャッタースピード１／１８０秒（露光時間５ｍｓ）に設定されたフレームの場合は、シャッタースピード１／６０秒（露光時間１６ｍｓ）に設定されたフレームに対して１１ｍｓ分の時間遅延が発生することになる。

図５（ｃ）は、画像処理部２０７による画像処理に要する処理時間を示している。例えば撮像フレーム番号Ｃ₁に対応した画像処理３３０１の場合、画像処理部２０７は、撮像部２０１から撮像フレーム番号Ｃ₁のフレーム３２０１の撮像画像を受信したことをトリガとして処理を開始してから画像処理終了までに８ｍｓの時間を費やしたとする。また撮像フレーム番号Ｃ₂に対応した画像処理３３０２の場合、画像処理部２０７は、撮像フレーム番号Ｃ₂のフレーム３２０２の撮像画像を受信したことをトリガとして処理を開始してから画像処理終了までに１６ｍｓの時間を費やしたとする。同様に、撮像フレーム番号Ｃ₃の撮像画像の画像処理には８ｍｓの時間が費やされたとする。

図５（ｄ）は、出力制御部２０９からフレームの画像を出力する際の出力タイミング、つまり出力制御部２０９から出力される表示フレームのタイミングを示している。図中に記号で示すＰ₁，Ｐ₂，・・・は、連続する表示フレームを特定する番号（表示フレーム番号とする）を示している。図５（ｄ）と図５（ｂ）からわかるように、撮像部２０１からの撮像フレームレートと、出力制御部２０９からの表示フレームレートは同じではなく、表示フレームレートは５９ｆｐｓ（つまり更新周期は１７ｍｓ）であるとする。すなわち、出力制御部２０９は、１７ｍｓごとに、次の表示フレーム番号の画像を出力する。

また図５（ｄ）において、フレーム３４０１は表示フレーム番号Ｐ₁の画像である。出力制御部２０９は、フレーム３４０１の出力開始タイミングの時、画像処理部２０７で画像処理３３０１が完了しているフレームを、表示フレームとして出力する。すなわち、表示フレーム番号Ｐ₁の画像としては、撮像フレーム番号Ｃ₁の画像に対して画像処理が行われた後の画像となる。

また図５（ｄ）において、フレーム３４０２の画像は表示フレーム番号Ｐ₂の画像である。ここで、フレーム３４０２の出力開始タイミングの際、画像処理部２０７で画像処理３３０１が完了しているのは、撮像フレーム番号Ｃ₁のフレームである。この時、表示フレーム番号Ｐ₂の画像としては、撮像フレーム番号Ｃ₁の画像処理後の画像となる。すなわちフレーム３４０２の出力開始タイミングでは、画像処理部２０７による撮像フレーム番号Ｃ₂の画像に対する画像処理３３０２は未だ完了していない。このため、出力制御部２０９は、画像処理部２０７で完了している画像処理３３０１の撮像フレーム番号Ｃ₁のフレームを表示フレームとして再度出力し、ＨＭＤ１０１の表示部２０２には同じ画像が表示されることになる。

このように、同じ画像が再度表示される場合、それは画像の遅延時間が動的に変化していることによって生じていると考えられる。例えば、表示フレーム番号Ｐ₁として表示されている画像の場合、撮像から表示までの遅延時間は、露光時間３１０１の終了時点からフレーム３４０１の終了時点までを基準として考えると、４７ｍｓ経過していることがわかる。また、表示フレーム番号Ｐ₂として表示されている画像の場合、撮像から表示までの遅延時間は、露光時間３１０１の終了時点からフレーム３４０２の終了時点までを基準として考えると、６４ｍｓ経過していることがわかる。

［遅延計測部の説明］
次に、遅延計測部２０６における遅延時間の計測処理の詳細を説明する。遅延計測部２０６は、画像処理部２０７の画像処理によって発生する遅延時間を計測する。
図６は、遅延計測部２０６における遅延時間計測処理の流れを示すフローチャートである。なお、これ以降の各フローチャートにおいて、符号のＳは処理ステップを表しているとする。

まずＳ７０１において、遅延計測部２０６は、撮像部２０１から時系列のフレーム単位で撮像画像が入力されるのを待つ。
撮像部２０１から撮像画像がフレーム単位で入力されると、遅延計測部２０６は、Ｓ７０２の処理として、それら撮像フレームごとにユニークに付与されている撮像フレーム番号Ｃ_Aを取得する。なお撮像フレーム番号Ｃ_Aは前述した撮像フレーム番号Ｃ₁，Ｃ₂，・・・に対応する。撮像フレーム番号Ｃ_Aは、撮像画像に埋め込まれていてもよいし、メタデータとして撮像フレームに紐付けられていてもよい。

Ｓ７０２において撮像フレーム番号を取得すると、遅延計測部２０６は、Ｓ７０３の処理として、時間計測を開始する。計測時間の計測単位は、遅延時間に基づく画像補正が行われた場合に違和感が生じない計測単位で行えばよい。
Ｓ７０３で時間計測を開始した後、遅延計測部２０６は、Ｓ７０４の処理として、出力制御部２０９から表示フレームの画像が入力されるのを待つ。

Ｓ７０４において表示フレームの画像が入力されると、遅延計測部２０６は、Ｓ７０５の処理として、その表示フレームに対応した撮像フレーム番号Ｃ_Mを取得する。なお、撮像フレーム番号Ｃ_Mは前述した撮像フレーム番号Ｃ₁，Ｃ₂，・・・に対応する。表示画像に撮像フレーム番号を埋め込む手法は前述同様に画像に埋め込む手法でもよいし、メタデータとして紐付ける手法でもよい。

次にＳ７０６の処理として、遅延計測部２０６は、Ｓ７０２で取得した撮像フレーム番号Ｃ_AとＳ７０４で取得した撮像フレーム番号Ｃ_Mとが一致するか否かを判定する。そして、遅延計測部２０６は、それら撮像フレーム番号Ｃ_AとＣ_Mとが一致しない場合、遅延計測部２０６は、それらは時間計測の対象フレームではないと判断し、Ｓ７０４に処理を戻して、再度表示フレームが入力されるのを待つ。一方、撮像フレーム番号Ｃ_AとＣ_Mとが一致する場合、遅延計測部２０６は、それらは時間計測の対象フレームであると判断し、次のＳ７０７の処理に進む。

Ｓ７０７に進むと、遅延計測部２０６は、表示フレーム番号Ｐ_Nを表示フレームの画像から取得する。なお、表示フレーム番号Ｐ_Mは前述した表示フレーム番号Ｐ₁，Ｐ₂，・・・に対応する。表示フレーム番号は、撮像フレーム番号と同様の方法で表示画像に紐付けられていてもよいし、別の方法で紐付けられていてもよい。

Ｓ７０７の処理後、遅延計測部２０６は、Ｓ７０８の処理として、撮像フレーム番号Ｃ_Aのフレームを画像処理装置１０３に出力した時刻と、表示フレームＰ_Mが画像処理装置１０３からＨＭＤ１０１に入力した時刻との時間差を、時間の計測値として取得する。そして、遅延計測部２０６は、その時間の計測値を表示フレーム番号Ｐ_Nにおける計測遅延時間Ｄ_Nとして保持する。

Ｓ７０８の処理後、遅延計測部２０６は、Ｓ７０９の処理として、計測値が、予め時間閾値として決められている一定時間以上経過したか否かを判定する。遅延計測部２０６は、計測値が一定時間以上経過していないと判断した場合にはＳ０４に処理を戻し、再度表示フレームが入力されるのを待つ。ここで、再度表示フレームが入力されるのを待つのは、画像処理部２０７での画像処理及び出力制御部２０９からの画像出力が遅延し、別の表示フレーム番号のフレームに対して同じ撮像フレーム番号が付与される場合があるためである。すなわち、遅延計測部２０６は、同じ撮像フレーム番号が連続する可能性がある間は時間計測を継続する。
そして、Ｓ７０９において計測値が一定時間以上経過したと判断した場合、遅延計測部２０６は、次のＳ７１０の処理として、遅延時間の計測処理を終了する。

続けて、図７を参照しながら、遅延計測部２０６で計測される遅延時間について具体的に説明する。図７は、図５と同様に撮像部２０１で撮像した画像を画像処理部２０７で処理した後、出力制御部２０９から画像が出力されるまでのタイミングチャートを示している。図７（ａ）～図７（ｄ）は、それぞれ図５（ａ）～図５（ｄ）と同様であるため説明を省略する。

図７において、遅延時間Ｔ６１０１は、撮像フレーム番号Ｃ₁の撮像フレームが画像処理部２０７に入力され、表示フレーム番号Ｐ₁の表示フレームとして出力制御部２０９から出力された時に、遅延計測部２０６で計測された遅延時間を示している。前述したように、遅延計測部２０６では、画像処理部２０７への撮像フレーム入力をトリガとして時間計測が開始され、出力制御部２０９からの表示フレーム出力をトリガとしてその計測値を保持する。図７に示しているように、遅延時間Ｔ６１０１は１４ｍｓとなっている。

同様に、遅延時間Ｔ６１０２は、撮像フレーム番号Ｃ₁の撮像フレームが画像処理部２０７に入力され、出力制御部２０９から表示フレーム番号Ｐ₂の表示フレームの出力が開始される時に、遅延計測部２０６で計測された計測遅延時間を示している。すなわち表示フレーム番号Ｐ₂の表示フレームでは、撮像フレーム番号Ｃ₁が表示フレーム換算で２フレーム分連続出力されるため、その分の遅延時間が加算され、計測遅延時間の値は３１ｍｓとなっている。

このように、遅延計測部２０６は、画像処理装置１０３への撮像画像の入力をトリガとして時間計測を開始し、画像処理装置１０３から表示画像が出力されたタイミングで時間計測を停止することで、画像の遅延時間を計測している。

［制御部の説明］
以下、制御部２０５における高精度な遅延時間の推定および画像の補正値の算出処理について説明する。
前述したように、制御部２０５は、センシング部２０３よりＨＭＤ１０１の動きを検出し、その動きの検出結果（センシングデータ）と遅延時間とを基に、その遅延時間分に相当する画像補正処理のための補正値を生成して補正部２１０に設定する。したがって、遅延時間が正確であればあるほど、補正部２１０での画像補正も正確に行われることになり、ＨＭＤ１０１の使用者に対して違和感のない画像を提供可能となる。本実施形態の場合、制御部２０５において、ＨＭＤ１０１の各機能部の設定値と、遅延計測部２０６による計測遅延時間とを基に、動的に変化する遅延時間を高精度に推定し、当該高精度推定した遅延時間を補正値の生成に用いる。

図８は、制御部２０５における高精度な遅延時間推定処理とそれを用いた補正値の生成処理の流れを示すフローチャートである。
まずＳ８０１において、制御部２０５は、表示フレーム番号の更新を待つ。表示フレーム番号の更新とは、出力制御部２０９から表示フレームが出力された時が該当する。制御部２０５は、表示フレーム番号の更新がなされたかどうかを、例えば、遅延計測部２０６から割り込み信号を受信すること、あるいは、制御部２０５に接続されたバスを経由して表示フレーム番号が更新されているかをポーリングすることなどにより判断する。
そして、表示フレーム番号が更新されると、制御部２０５は、Ｓ８０２の処理として、更新された表示フレーム番号Ｐ_Nを取得する。

表示フレーム番号Ｐ_Nを取得した後、制御部２０５は、Ｓ８０３の処理として、表示フレームの画像の基になっている撮像画像の撮像フレーム番号Ｃ_Mを取得する。
次いで制御部２０５は、Ｓ８０４の処理として、撮像フレーム番号Ｃ_Mの撮像画像が撮像された時の撮像部２０１の設定値として、シャッタースピードＳ_Mを取得する。なお、シャッタースピードＳ_Mの「Ｍ」は撮像フレーム番号Ｃ₁，Ｃ₂，・・・における数字の１，２，・・・に対応する。このとき、取得したいシャッタースピードＳ_Mの値は、過去に設定した値である。そのため、撮像フレーム番号Ｃ_MにおけるシャッタースピードＳ_Mの値を取得する方法としては、撮像フレーム番号ごとに設定したシャッタースピードの値を履歴として保存しておき、その履歴からシャッタースピードＳ_Mの値を読み出す方法が考えられる。

次に制御部２０５は、Ｓ８０５の処理として、Ｓ８０４で取得したシャッタースピードＳ_Mから、シャッタースピードの動的な変化によって生じる遅延時間Ｔ_Mを計算する。なお、遅延時間Ｔ_Mの「Ｍ」は、前述同様に撮像フレーム番号Ｃ₁，Ｃ₂，・・・における数字の１，２，・・・に対応する。遅延時間Ｔ_Mは、シャッタースピードＳ_Mと撮像時のフレームレートより求めることができる。例えば、図５の露光時間３１０２～フレーム３２０２の間に生じる遅延時間Ｔ₁は、フレームレート６０ｆｐｓ（更新周期１６ｍｓs）、シャッタースピード１／１２０秒（露光時間８ｍｓ）であるため、Ｔ₁＝１６－８＝８ｍｓとなる。

次に制御部２０５は、Ｓ８０６の処理として、当該画像表示システムにおける固定遅延時間Ｆを求める。本実施形態の場合、撮像画像の更新周期は１６ｍｓ、表示画像の更新周期は１７ｍｓであるため、システムの固定遅延時間Ｆは、Ｆ＝１６＋１７＝３３ｍｓとなる。
次に制御部２０５は、Ｓ８０７の処理として、遅延計測部２０６が計測した、表示フレーム番号Ｐ_Nにおける計測遅延時間Ｄ_Nを読み出す。

次に制御部２０５は、Ｓ８０８の処理として、それら遅延時間Ｔ_M、固定遅延時間Ｆ、および計測遅延時間Ｄ_Nの値を基に、遅延時間Ｚ_Nを取得する。すなわち遅延時間Ｚ_Nは、制御部２０５における高精度推定による遅延時間である。なおここでは設定値としてシャッタースピードを例に挙げているが、他の設定値を用いてもよい。すなわち制御部２０５は、当該ＨＭＤ１０１の各設定値の少なくとも一つと遅延計測部２０６の計測遅延時間とを基に高精度推定による遅延時間Ｚ_Nを算出してもよい。

また制御部２０５は、Ｓ８０９の処理として、センシング部２０３によるセンシングデータとして、ＨＭＤ１０１の動作情報Ｖを取得する。
そして制御部２０５は、Ｓ８１０の処理として、その動作情報Ｖと高精度推定による遅延時間Ｚ_Nとを用いて、画像補正に用いられる補正値Ｕを算出する。
その後、制御部２０５は、Ｓ８１１の処理として、Ｓ８１０で算出した画像補正値Ｕを、補正部２１０へと設定する。

この図８のフローチャートに示したような流れにより、制御部２０５は、画像の遅延時間が動的に変化するような場合においても正確で高精度な遅延時間を推定することができ、これによって補正部２１０では正確な画像補正を実行することが可能となる。

［第１の実施形態における効果の説明］
第１の実施形態における遅延時間の高精度推定と画像補正処理による効果について図９を参照して説明する。図９は、図５のタイミングチャートで説明した表示フレーム番号Ｐ₁～Ｐ₇までの各表示フレームの画像を表示部２０２に表示する場合に、本実施形態に係る高精度推定による遅延時間を用いた画像補正と、前述した非高精度推定時の画像補正とを表した図である。

図９において、項目（ａ）は、画像処理装置１０３より出力される表示画像の表示フレーム番号を示している。例えば表示フレーム番号Ｐ₁は、図５のフレーム３４０１のフレームを示している。
項目（ｂ）は、表示画像に用いられた撮像画像の撮像フレーム番号を示している。項目（ａ）の表示フレーム番号Ｐ₂と項目（ｂ）の撮像フレーム番号Ｃ₁とで示される列は、図５のフレーム３４０２の場合を示している。
項目（ｃ）は、実際に発生している遅延時間を示している。前述したように、撮像画像を画像処理して表示するような画像表示システムにおいては、画像の遅延時間が動的に変化しており、項目（ｃ）は各表示フレーム番号にそれぞれ対応した実際の遅延時間を示している。

項目（ｄ）は、撮像部２０１に設定されたシャッタースピードによる遅延時間Ｔ_Mを示している。遅延時間Ｔ_Mの算出については、本実施形態では図８のＳ８０５の処理が行われるものとすると、図５より、撮像フレーム番号Ｃ₁はシャッタースピードが１／６０秒であるため、遅延時間Ｔ₁＝０ｍｓとなる。また、撮像フレーム番号Ｃ₃はシャッタースピードが１／１８０秒であるため、遅延時間Ｔ₃＝１１ｍｓとなる。

項目（ｅ）は、遅延計測部２０６による計測遅延時間Ｄ_Nを示している。図７を用いて説明した通り、表示フレーム番号Ｐ₁の場合は計測遅延時間Ｄ₁＝１４ｍｓとなり、表示フレーム番号Ｐ₂の場合は計測遅延時間Ｄ₂＝３１ｍｓとなっている。
項目（ｆ）は、画像表示システムにおける固定遅延時間を示しており、本実施形態の場合、撮像画像の更新周期が１６ｍｓ、表示画像の更新周期が１７ｍｓであるため、システムの固定遅延時間Ｆは、Ｆ＝１６＋１７＝３３ｍｓとなる。撮像画像や表示画像のフレームレートが異なる場合は固定遅延時間Ｆやシャッタースピードによる遅延時間Ｔ_Mの計算値も変化するということは言うまでもない。

項目（ｇ）は、本実施形態における高精度推定による遅延時間を示している。画像補正のための補正値は当該高精度推定による遅延時間と前述した動作情報Ｖとを基に算出され、補正部２１０では当該補正値を基に画像補正が行われる。本実施形態した例の場合、高精度推定による遅延時間は、シャッタースピードによる遅延時間Ｔ_Mと遅延計測部２０６による計測遅延時間Ｄ_Nとシステムの固定遅延時間Ｆとの合計値である。
項目（ｈ）は、本実施形態における高精度推定による遅延時間を用いて算出された補正値を基に画像補正を行った場合の補正誤差を示している。補正誤差は、項目（ｃ）の実際の遅延時間と項目（ｇ）の遅延時間との差であり、この項目（ｃ）の各値から判るように補正誤差は０ｍｓであり、補正誤差は生じていない。

項目（ｉ）は、前述した非高精度推定時に算出された補正値を基に換算した遅延時間を示している。すなわち非高精度推定時の補正値を算出する際には、前述した項目（ｄ）のシャッタースピードによる遅延時間Ｔ_Mや項目（ｅ）の遅延計測部による計測遅延時間Ｄ_Nについては考慮されていない。非高精度推定時の補正値を算出する際には、遅延時間の例えば平均値（図９の例では４６ｍｓ）に対応するような補正値が取得されており、その補正値に基づく画像補正処理が行われる。なおそれに加えて、撮像フレーム番号が同一で表示フレーム番号が異なる場合は、さらに表示画像の更新周期１７ｍｓを加えた値を基に補正値が求められる。
項目（ｊ）は、前述した非高精度推定時の補正値を基に画像補正が行われた場合の補正誤差を示している。この項目（ｊ）に示すように、補正誤差は、項目（ｃ）に示した実際の遅延時間と項目（ｉ）に示した遅延時間との差分となる。例えば、表示フレーム番号Ｐ₁やＰ₂では補正誤差は１ｍｓであるが、表示フレーム番号Ｐ₃では補正誤差が１４ｍｓのように大きくなってしまっている。

このように、前述した非高精度推定では、本実施形態の高精度推定のような正確な遅延時間の推定がなされていないため、項目（ｊ）に示すように、補正誤差が大きくなることがあり、画像補正を適切に行うことができなくなることがある。
これに対し、本実施形態に係る高精度推定を行った場合、正確な遅延時間を取得することが可能となり、項目（ｈ）に示す通り、補正誤差は小さくなり、画像補正を適切に行うことができる。

＜第２の実施形態＞
次に、第２の実施形態について説明する。
前述した第１の実施形態では、ＨＭＤ１０１から画像処理装置１０３へ撮像画像を送信し、画像処理装置１０３では撮像画像にＣＧ画像を重畳した合成画像を使用者への提示用の画像として生成してＨＭＤ１０１へ送信する構成を説明した。第２の実施形態では、ＨＭＤ１０１から画像処理装置１０３へ撮像画像を送信せず、画像処理装置１０３は描画用のＣＧ画像のみを生成する画像処理を行い、ＨＭＤ１０１側において表示する直前に撮像画像とＣＧ画像とを合成する構成について説明する。第２の実施形態の場合、撮像部２０１にて撮像された撮像画像と画像処理装置１０３で生成されたＣＧ画像とに対してそれぞれ画像補正処理が行われる。そして、それら画像補正処理後の撮像画像とＣＧ画像とを合成し、その合成画像を表示部２０２に表示する。

図１０は、第２の実施形態の画像表示システムにおける各機能構成を示した機能ブロック図である。
ＨＭＤ１０１は、図２と同様に、撮像部２０１、表示部２０２、空間情報取得部２０４、センシング部２０３、制御部２０５、および遅延計測部２０６を有している。これら撮像部２０１、表示部２０２、空間情報取得部２０４、センシング部２０３、制御部２０５、および遅延計測部２０６は第１の実施形態同様に動作するためその説明は省略する。

画像処理装置１０３は、画像処理部２０７、コンテンツＤＢ２０８、および出力制御部２０９を有して構成されている。第２の実施形態の場合、画像処理部２０７はＨＭＤ１０１からの空間情報を基に、コンテンツＤＢ２０８のＣＧデータからＣＧ画像を生成し、出力制御部２０９は画像処理部２０７にて生成されたＣＧ画像をＨＭＤ１０１に出力する際の出力制御を行う。

すなわち第２の実施形態の場合、画像処理装置１０３では画像処理部２０７によってＣＧ画像を生成する画像処理のみを行い、ＨＭＤ１０１では画像処理装置１０３からのＣＧ画像を撮像部２０１からの撮像画像に合成して表示部２０２に表示する。したがって、合成される前の撮像画像とＣＧ画像とでは遅延時間が異なる。

このため、第２の実施形態の場合、ＨＭＤ１０１は、撮像画像補正部１０１１、ＣＧ画像補正部１０１２、および合成部１０１３を有している。撮像画像補正部１０１１は、前述同様にして制御部２０５が高精度推定した遅延時間を基に算出した補正値を用いて、撮像部２０１からの撮像画像に対して時間遅延分を補正する画像補正処理を行う。ＣＧ画像補正部１０１２は、同様に補正値を用いて、画像処理装置１０３からのＣＧ画像に対して遅延時間分を補正する画像補正処理を行う。合成部１０１３はそれら画像補正処理後の撮像画像とＣＧ画像とを合成し、表示部２０２はその合成画像を表示する。なお、撮像画像とＣＧ画像の合成手法としては、例えばクロマキー合成やＣＧ画像以外を透明としたαブレンディングなどの手法を用いることができる。合成手法は、それらの手法に限定されず、画像を合成することができれば他の手法が用いられてもよい。

第２の実施形態によれば、撮像画像とＣＧ画像とでそれぞれ遅延時間が異なる場合においても、適切な画像補正が可能となり、ＨＭＤ１０１の使用者に対して違和感のない画像を提供することができる。

前述した実施形態では、画像形成素子として液晶や有機ＥＬ等を用い、その画像形成素子にて形成（表示）された画像の光を接眼光学系に入射し、虚像として拡大投影して観察者の眼に導く例を挙げた。この他に、例えばいわゆるマックスウェル視の原理を利用し、観察者に提示するために形成された画像に応じた光を、当該観察者の眼の瞳孔中心で収束させてから網膜上に投影するような光学系を有する構成にも、本実施形態は適用可能である。つまり本実施形態における表示とは、マックスウェル視の原理を利用して、観察者に提示するために形成された画像に応じた光を、当該観察者の眼の瞳孔中心で収束させてから網膜上に投影する場合をも含む。この例としては、観察者に提示するために形成された画像の画像信号に応じて強度変調した光束をラスタ走査しつつ、観察者の眼の瞳孔中心で収束させてから網膜上に投影する光学系を備えた、いわゆる網膜走査型を挙げることができる。更に他の例として、点光源光を平行光線とし、その平行光線を観察者に提示する画像を基に空間光変調した後、レンズとピンホールで構成された再回析光学系に通し、さらにその平行光線を集光して観察者の瞳孔中心に導く光学系を有する構成にも適用可能である。これらのマックスウェル視の原理を利用する光学系はあくまで一例であり、本実施形態はそれら以外の各種光学系を有する画像表示装置であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、上述の実施形態では、ＭＲを表示する画像表示装置を示したが、ＡＲを表示する画像表示装置やＶＲを表示する画像表示装置に対して本発明を適用することができる。

１０１：ＨＭＤ、１０３：画像処理装置、２０１：撮像部、２０２：表示部、２０５：制御部、２０６：遅延計測部、２１０：補正部、１０１１：撮像画像補正部、１０１２：ＣＧ画像補正部、１０１３：合成部

Claims (15)

1. 現実空間における画像表示装置の動きを検出する検出手段と、
   画像表示の第１の遅延時間を計測する計測手段と、
   画像に対して補正処理を行う補正手段と、
   前記計測された第１の遅延時間と前記画像表示装置の動作に関連する設定値とを基に第２の遅延時間を推定し、前記推定した第２の遅延時間と、前記検出手段にて検出された前記動きとを基に、前記補正手段を制御する制御手段と、
   を有することを特徴とする画像表示装置。
2. 前記制御手段は、前記推定した第２の遅延時間と前記検出された動きとを基に、前記補正手段が前記補正処理に用いる補正値を生成することを特徴とする請求項１に記載の画像表示装置。
3. 前記画像表示装置が存在している現実空間を撮像した撮像画像を取得する取得手段と、
   前記画像表示装置が存在している現実空間に関する空間情報を取得する情報取得手段と、を有し、
   前記画像表示までには、前記空間情報に応じた画像を生成する処理と、前記生成した画像を前記撮像画像に重畳する合成処理とが行われ、
   前記補正手段は、前記合成処理による合成画像に対して前記補正値に応じた前記補正処理を行い、
   前記補正手段からの出力画像を表示することを特徴とする請求項２に記載の画像表示装置。
4. 前記画像表示装置が存在している現実空間を撮像した撮像画像を取得する取得手段と、
   前記画像表示装置が存在している現実空間に関する空間情報を取得する情報取得手段と、を有し、
   前記画像表示までには、前記空間情報に応じた画像を生成する処理が行われ、
   前記補正手段は、前記生成された画像と前記撮像画像とに対して前記補正値に応じた前記補正処理を行い、
   前記補正処理がなされた後の、前記撮像画像と前記生成された画像とを合成した合成画像を表示することを特徴とする請求項２に記載の画像表示装置。
5. 前記補正手段は、前記補正処理として、前記補正値に応じて、画像の水平移動、垂直移動、拡大、縮小、回転、台形補正、射影変換の、少なくともいずれかを行うことを特徴とする請求項３または４に記載の画像表示装置。
6. 前記画像表示装置の動作に関連する設定値は、前記撮像に関する設定値と、前記表示に関する設定値と、前記画像表示装置の動きの検出に関する設定値と、前記空間情報の取得に関する設定値との、少なくともいずれかを含むことを特徴とする請求項３乃至５のいずれか１項に記載の画像表示装置。
7. 前記撮像に関する設定値はシャッタースピードとフレームレートとの少なくともいずれかを含み、
   前記表示に関する設定値はフレームごとに表示する際の更新レートであり、
   前記画像表示装置の動きの検出に関する設定値は前記動きを検出する際の更新レートであり、
   前記空間情報の取得に関する設定値は前記空間情報を取得する際の更新レートであることを特徴とする請求項６に記載の画像表示装置。
8. 前記表示する際の更新レートと、前記画像表示装置の動きを検出する際の更新レートと、前記空間情報を取得する際の更新レートとの、少なくともいずれかは、他の更新レートとは異なることを特徴とする請求項７に記載の画像表示装置。
9. 前記制御手段は、前記設定値の制御および保持を行うことを特徴とする請求項５乃至８のいずれか１項に記載の画像表示装置。
10. 前記空間情報に応じて画像を生成する処理は、コンピュータグラフィックスデータを用いてコンピュータグラフィックス画像を生成する処理であることを特徴とする請求項３乃至９のいずれか１項に記載の画像表示装置。
11. 前記検出手段は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）により画像表示装置の動きを検出することを特徴とする請求項１乃至１０のいずれか１項に記載の画像表示装置。
12. 前記計測手段は、所定の画像処理の開始をトリガとして前記第１の遅延時間の計測を開始し、前記画像処理が行われた後の画像の出力をトリガとして、前記第１の遅延時間の計測を終了することを特徴とする請求項１乃至１１のいずれか１項に記載の画像表示装置。
13. 頭部装着型の画像表示装置であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像表示装置。
14. 現実空間における画像表示装置の動きを検出する検出工程と、
    画像表示の第１の遅延時間を計測する計測工程と、
    画像に対して補正処理を行う補正工程と、
    前記計測された第１の遅延時間と前記画像表示装置の動作に関連する設定値とを基に第２の遅延時間を推定し、前記推定した第２の遅延時間と、前記検出手段にて検出された前記動きとを基に、前記補正工程における前記補正処理を制御する制御工程と、
    を有することを特徴とする画像表示方法。
15. コンピュータを請求項１乃至１３のいずれか１項に記載の画像表示装置として機能させるためのプログラム。

Images