JP2021071672A

JP2021071672A - 表示システム、表示方法、及び、表示プログラム

Info

Publication number: JP2021071672A
Application number: JP2019199704A
Authority: JP
Inventors: 佐藤　慎也; Shinya Sato; 慎也佐藤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2021-05-06
Also published as: CN112782855A; US11327705B2; CN112782855B; US20210132889A1

Abstract

【課題】ＡＲ表示を行うための環境再構築を回避する。【解決手段】表示システムは、ホスト機器とＨＭＤとを有する。ホスト機器は、ホスト機器に掛かる慣性を検知する第１慣性センサーと、画像処理部と、を有し、ＨＭＤは、外景を撮像するカメラと、ＨＭＤに掛かる慣性を検知する第２慣性センサーと、外景と共に、ホスト機器から送信された画像を表示可能な画像表示部と、を有し、画像処理部は、ＨＭＤが接続されていることを検出した場合には、第１慣性センサーからの第１センサーデータと第２慣性センサーからの第２センサーデータとを関連付け、カメラで撮像された画像中の対象を認識し、第２センサーデータを用いて画像処理を行い、画像処理後の画像を対象に関連づけて画像表示部に表示させ、ＨＭＤとの接続がされていないことを検出した場合には、ＨＭＤと再接続されるまでの間、第１センサーデータを用いて外景における対象の状態の推定を維持する。【選択図】図１

Description

本開示は、表示システム、表示方法、及び、表示プログラムに関する。

特許文献１には、対象の認識を行う際に、シーン認識を組み合わせるトラッキング方法が開示されている。

特開２０１８−６７１１５号公報

ホスト機器と接続されるヘッドマウントディスプレイ（「ＨＭＤ」と略す）において、上記特許文献１の技術のように、現実空間にある物体などの対象に対して画像を重畳する拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、「ＡＲ」と略す）表示を行うことが考えられる。しかし、ＨＭＤのカメラが撮像した画像に基づいて対象の認識などを行っていた場合において、ホスト機器からＨＭＤの接続が抜けてしまったりすると、ＨＭＤのカメラからの撮像画像の供給が停止してしまい、情報が更新されなくなってしまう。その後、ＨＭＤを接続し直したとしてもＨＭＤが抜けたときの状態とは異なる状態となっている場合がある。かかる場合、ＨＭＤが抜ける前にＨＭＤから得た情報と、ＨＭＤを再接続した後にＨＭＤから得た情報について、情報の連続性がないため、ＡＲ表示を行うための環境構築を再度行う必要があった。

本開示の一形態によれば、ホスト機器と前記ホスト機器に接続されたヘッドマウントディスプレイとを有する表示システムが提供される。この表示システムでは、前記ホスト機器は、前記ホスト機器に掛かる慣性を検知する第１慣性センサーと、画像処理部と、を有し、前記ヘッドマウントディスプレイは、外景を撮像するカメラと、前記ヘッドマウントディスプレイに掛かる慣性を検知する第２慣性センサーと、外景と共に、前記ホスト機器から送信された画像を表示可能な画像表示部と、を有し、前記画像処理部は、前記ヘッドマウントディスプレイが接続されていることを検出した場合には、前記第１慣性センサーからの第１センサーデータと前記第２慣性センサーから受信した第２センサーデータとを関連付け、前記カメラで撮像された画像中の対象を認識し、前記第２センサーデータを用いて画像処理を行い、画像処理後の画像を前記対象に関連づけて前記画像表示部に表示させ、前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記ヘッドマウントディスプレイと再接続されるまでの間、前記第１センサーデータを用いて前記外景における前記対象の状態の推定を維持する。この形態によれば、画像処理部は、ホスト機器とヘッドマウントディスプレイとの接続が切れ、第２慣性センサーからのデータを得ることができなくなっても、第１慣性センサーからのデータを用いて、対象の状態の推定を維持できる。

頭部装着型表示装置の概略構成を示す説明図である。ホスト機器の概略構成を示す説明図である。ホスト機器のＣＰＵが実行するＡＲ表示の制御フローチャートである。ＣＰＵが実行するケーブルが非接続になったとき、及び、再接続されたときの６ＤｏＦ情報の処理フローチャートである。第２実施形態の頭部装着型表示装置の概略構成を示す説明図である。第２実施形態におけるＣＰＵとＨＭＤが実行するケーブルが非接続になったとき、及び、再接続されたときの６ＤｏＦ情報の処理フローチャートである。

・第１実施形態：
図１は、頭部装着型表示装置１０（「ヘッドマウントディスプレイ（Head Mounted Display）１０」、以下、「ＨＭＤ１０」と略す。）の概略構成を示す説明図である。本実施形態のＨＭＤ１０は、光学透過型である。つまり、ＨＭＤ１０は、ユーザーに対して、虚像を知覚させると同時に、オブジェクトを含む外景（シーン）から到来する光も直接視認させることができる。

ＨＭＤ１０は、ユーザーの頭部に装着可能な装着帯９０と、画像を表示する表示部２０と、イヤホン３０と、ケーブル４０と、カメラ６０と、表示部２０を制御するホスト機器１００と、を備えている。表示部２０は、ユーザーの頭部に装着された状態においてユーザーに拡張現実画像（ＡＲ画像）を知覚させる。ＡＲとは、「Augmented Reality」の略で、一般的に「拡張現実」と訳される。ＡＲは、実在する風景等にバーチャルの視覚情報を重ねて表示することで、目の前にある世界を“仮想的に拡張する”ものである。ＡＲでは、例えば、カメラ６０で撮像された画像、映像に、バーチャルの視覚情報が重畳され、表示部２０に表示される。

装着帯９０は、樹脂製の装着基部９１と、装着基部９１に連結される布製のベルト９２と、慣性センサー５０と、カメラ６０と、を備える。装着基部９１は、人の前頭部の形に合った湾曲した形状を有する。ベルト９２は、ユーザーの頭部の周りに装着される。

カメラ６０は、例えばＲＧＢセンサーであり、撮像部として機能する。カメラ６０は、外景を撮像可能で、装着基部９１の中心部分に配置されている。すなわち、カメラ６０は、装着帯９０がユーザーの頭部に装着された状態で、ユーザーの額の中央に対応する位置に配置されている。そのため、カメラ６０は、ユーザーが装着帯９０を頭部に装着した状態において、ユーザーの視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。

慣性センサー５０（Inertial Measurement Unit７５、以下「ＩＭＵ５０」と呼ぶ。）は、６自由度の慣性計測装置である。ＩＭＵ５０は、ｘ軸、ｙ軸、ｚ軸の３軸方向の加速度センサーと、３軸回りのジャイロセンサーとを有しており、ＨＭＤ１０の６ＤｏＦ（six degrees of freedom）情報を取得する。６ＤｏＦは、動きの自由度であり、ｘ軸、ｙ軸、ｚ軸方向の動きと、ｘ軸、ｙ軸、ｚ軸回りの回転の動きを含む。ＩＭＵ５０は、装着基部９１に内蔵されている。そのため、ＩＭＵ５０は、ＨＭＤ１０の６ＤｏＦ情報を取得する。

表示部２０は、表示駆動部２１と、保持部２２とを備え、装着帯９０の装着基部９１に連結されている。なお、表示部２０は、眼鏡型である。したがって、表示部２０は、右表示部２０Ｒと、左表示部２０Ｌを備える。表示駆動部２１、保持部２２についても同様に、右表示駆動部２１Ｒ、左表示駆動部２１Ｌ、右保持部２２Ｒ、左保持部２２Ｌを備える。

右表示部２０Ｒ及び左表示部２０Ｌは、それぞれ、フレーム２３の左右に組み込まれ、ユーザーが表示部２０を装着した際にユーザーの右および左の眼前に位置する。右表示部２０Ｒおよび左表示部２０Ｌは、各々の中央側端部で互いに接続されている。

右保持部２２Ｒは、右表示部２０Ｒの端部ＥＲから略水平方向に延び、途中から斜め上方へ傾斜した形状を有し、端部ＥＲと装着基部９１の右側の連結部９３との間を結んでいる。同様に、左保持部２２Ｌは、左表示部２０Ｌの端部ＥＬから略水平方向に延び、途中から斜め上方へ傾斜した形状を有し、端部ＥＬと装着基部９１の左側の連結部（図示せず）との間を結んでいる。各連結部９３は、右保持部２２Ｒ及び左保持部２２Ｌを連結部９３回りに回転可能に、且つ任意の回転位置に固定可能に連結する。この結果、表示部２０は、装着基部９１に対して回転可能に設けられる。

右表示駆動部２１Ｒ及び左表示駆動部２１Ｌは、それぞれ、ＨＭＤ１０のテンプルに想到する部分である右保持部２２Ｒ、左保持部２２Ｌの内側に配置されている。

ＨＭＤ１０は、イヤホン３０として、ユーザーの右耳に装着される右イヤホン３０Ｒと、左耳に装着される左イヤホン３０Ｌとを備える。

ＨＭＤ１０の表示駆動部２１と、イヤホン３０と、慣性センサー５０と、カメラ６０とは、ケーブル４０により、ホスト機器１００に接続されている。ケーブル４０は、ホスト機器１００からＨＭＤ１０に電力を供給するとともに、ＨＭＤ１０とホスト機器１００との間の情報のやり取りを行う。ケーブル４０の先端には、コネクター４２が設けられている。ケーブル４０は、コネクター４２を用いてホスト機器１００に接続されている。ホスト機器１００は、例えば、スマートフォンである。ホスト機器１００は、ＨＭＤ１０から得た画像や映像に重畳させるバーチャルの視覚情報を生成し、ＨＭＤ１０に送る。ＨＭＤ１０は、バーチャルの視覚情報を表示部２０に表示する。

図２は、ホスト機器１００の概略構成を示す説明図である。ホスト機器１００は、上述したように、スマートフォンであり、ＣＰＵ１１０と、メモリー１２０と、タッチパネル１３０と、カメラ１４０と、慣性センサー１５０と、コネクター１６０と、を備える。メモリー１２０には、コンピュータプログラムであるＡＰアプリ１２５が格納されている。ＡＰアプリ１２５は、ＣＰＵ１１０により実行されることで、ＨＭＤ１０から得た画像や映像にバーチャルの視覚情報を重畳させる。

タッチパネル１３０は、ホスト機器１００の入力装置兼出力装置である。慣性センサー１５０（以下「ＩＭＵ１５０」と略す。）は、６自由度の慣性計測装置である。ＩＭＵ１５０は、３軸（ｘ軸、ｙ軸、ｚ軸）の加速度センサーと、３軸回り（ｘ軸回り、ｙ軸回り、ｚ軸回り）のジャイロセンサーとを有しており、ホスト機器１００の６ＤｏＦ（six degrees of freedom）を取得する。なお、便宜上、ＩＭＵ１５０を第１慣性センサー、ＩＭＵ５０を第２慣性センサーとも呼ぶ。

コネクター１６０には、ケーブル４０のコネクター４２が接続される。すなわち、ホスト機器１００は、コネクター１６０に接続されたコネクター４２及びケーブル４０を介して、ＨＭＤ１０のカメラ６０が撮像した画像や映像、ＩＭＵ５０の６ＤｏＦ情報を取得し、ＨＭＤ１０に、ＡＲ画像を送信する。

図３は、ホスト機器１００のＣＰＵ１１０が実行するＡＲ表示の制御フローチャートである。ステップＳ１００において、ユーザーが、ＨＭＤ１０のケーブル４０のコネクター４２をホスト機器１００のコネクター１６０に差し込むと、ＣＰＵ１１０は、ＨＭＤ１０がホスト機器１００に接続されたことを検知し、処理をステップＳ１１０に移行する。

ステップＳ１１０では、ユーザーが、ホスト機器１００のＡＰアプリ１２５を選択し、実行すると、ＣＰＵ１１０は、ＡＰアプリ１２５を実行する。ユーザーによるＡＰアプリ１２５の選択や実行は、例えば、タッチパネル１３０に表示されたＡＰアプリ１２５のアイコンをタップすることで行われる。

ステップＳ１２０では、ＣＰＵ１１０は、ＨＭＤ１０からカメラ６０の撮像画像を取得し、ＩＭＵ５０からセンサーデータを取得する。センサーデータは、例えば、６ＤｏＦ情報である。

ステップＳ１３０では、ＣＰＵ１１０は、第１のサンプリングレート（低レート）でホスト機器１００のＩＭＵ１５０からセンサーデータを取得する。

ステップＳ１４０では、ＣＰＵ１１０は、環境を構築する。環境構築とは、ＨＭＤ１０とホスト装置１００との相対的位置を認識し、ＩＭＵ５０とＩＭＵ１５０のセンサーデータの相関をとることを意味する。すなわち、ＨＭＤ１０とホスト機器１００とがケーブル４０で接続されている場合、ＨＭＤ１０の動きとホスト機器１００の動きは、ほぼ同じであると仮定する。しかし、ＩＭＵ５０の３軸の向きと、ＩＭＵ１５０の３軸の向きとは必ずしも一致しないので、ＣＰＵ１１０は、ＩＭＵ５０からのセンサーデータとＩＭＵ１５０からのセンサーデータとを関連づける。これにより、ＣＰＵ１１０は、いずれか一方のＩＭＵのセンサーデータを取得した場合には、他方のＩＭＵのセンサーデータを予測できる。その後、ＨＭＤ１０から取得した画像中の対象を認識し、該対象を追跡するトラッキングを実行し、対象の姿勢を算出する。

ステップＳ１５０では、ＣＰＵ１１０は、トラッキングした対象の画像に対し、画像を重畳する拡張現実処理（「ＡＲ処理」とも呼ぶ。）を実行し、ＡＲ処理後の画像データをＨＭＤ１０に送信する。

ステップＳ１６０では、ＣＰＵ１１０は、所定の時間経過後、ＨＭＤ１０から撮像画像、センサーデータを取得し、画像中の対象を追跡するトラッキングデータを更新する。ステップＳ１７０では、ＣＰＵ１１０は、ＡＲ処理後の画像データを更新し、ＨＭＤ１０に送信する。ステップＳ１６０、Ｓ１７０は、次のステップＳ１８０でケーブル４０のコネクター４２がホスト機器１００のコネクター１６０から抜けて非接続になるまで、所定の時間間隔で繰り返し実行される。

ステップＳ１８０では、ＣＰＵ１１０は、ケーブル４０のコネクター４２がホスト機器１００のコネクター１６０から抜けて非接続になったことを検知すると、処理をステップＳ１９０に移行する。なお、ＨＭＤ１０とホスト機器１００の接続が切れていない場合には、ＣＰＵ１１０は、処理をステップＳ２６０に移行する。

ステップＳ１９０では、ＣＰＵ１１０は、ホスト機器１００のＩＭＵ１５０から第１センサーデータを取得するサンプリングレートを、第１のサンプリングレートよりも高レートの第２のサンプリングレート（高レート）に切り替える。サンプリングレートを高レートとすることで、ホスト機器１００の動きをより細かく検出できる。ステップＳ２００では、ＣＰＵ１１０は、ホスト機器１００のＩＭＵ１５０からホスト機器１００のＩＭＵ１５０から第１センサーデータ、すなわち、６ＤｏＦ情報を取得する。

ステップＳ２１０では、ＣＰＵ１１０は、ＩＭＵ１５０から取得した６ＤｏＦ情報を用いて、ケーブル４０が非接続の状態になる前にＨＭＤ１０に設けられたカメラ６０から取得した画像中の対象を認識し、画像中の対象を追跡するトラッキングデータを更新する。
ステップＳ２２０では、ＣＰＵ１１０は、ユーザーによるＡＰアプリが終了されたか否かを検知する。ＣＰＵ１１０は、ＡＰアプリの終了を検知すると、本フローチャートによる処理を終了する。ＣＰＵ１１０は、ＡＰアプリの終了を検知しない場合には、処理をステップＳ２３０に移行する。

ステップＳ２３０では、ＣＰＵ１１０は、ケーブル４０のコネクター４２がホスト機器１００のコネクター１６０に接続されたことを検知すると、処理をステップＳ２４０に移行する。なお、ＨＭＤ１０とホスト機器１００の接続が検知されない場合には、ＣＰＵ１１０は、処理をステップＳ２００に移行する。

ステップＳ２４０では、ＣＰＵ１１０は、ＨＭＤ１０からカメラ６０の撮像画像の取得し、ＩＭＵ５０からセンサーデータの取得を再開する。

ステップＳ２５０では、ＣＰＵ１１０は、ホスト機器１００のＩＭＵ１５０からセンサーデータを取得するときのサンプリングレートを、第２のサンプリングレート（高レート）から第１のサンプリングレート（低レート）に切り替える。その後、ＣＰＵ１１０は、処理をステップＳ１６０に移行する。

ステップＳ２６０では、ＣＰＵ１１０は、ユーザーによるＡＰアプリが終了されたか否かを検知する。ＣＰＵ１１０は、ＡＰアプリの終了を検知すると、本フローチャートによる処理を終了する。ＣＰＵ１１０は、ＡＰアプリの終了を検知しない場合には、処理をステップＳ１６０に移行する。

図４は、ＣＰＵ１１０が実行するケーブル４０が非接続になったとき、及び、再接続されたときの６ＤｏＦ情報の処理フローチャートである。ステップＳ３００では、ＣＰＵ１１０は、ＨＭＤ１０とホスト機器１００との間の接続がはずれ、非接続になったことを検知すると処理をステップＳ３１０に移行する。

ステップＳ３１０では、ＣＰＵ１１０は、ＨＭＤ１０とホスト機器１００との間の接続が非接続になる直前のＨＭＤ１０のＩＭＵ５０の６ＤｏＦ情報をメモリー１２０に記憶する。例えば、ＣＰＵ１１０は、ＨＭＤ１０のＩＭＵ５０の６ＤｏＦ情報をメモリー１２０に記憶し、一定時間毎に更新する。ＨＭＤ１０とホスト機器１００との間の接続が非接続になると、ＣＰＵ１１０は、ＨＭＤ１０のＩＭＵ５０の６ＤｏＦ情報を取得できなくなり、メモリー１２０の６ＤｏＦ情報を更新できなくなる。ＣＰＵ１１０は、このメモリー１２０の６ＤｏＦ情報を更新できなくなった直前の６ＤｏＦ情報を、ＨＭＤ１０とホスト機器１００との間の接続が非接続になる直前のＨＭＤ１０のＩＭＵ５０の６ＤｏＦ情報としてもよい。

ステップＳ３２０では、ＣＰＵ１１０は、ホスト機器１００のＩＭＵ１５０の第２センサーデータ（６ＤｏＦ情報）を用いて、メモリー１２０に記憶したＩＭＵ５０の６ＤｏＦ情報を更新する。

ステップＳ３３０では、ステップＳ３００では、ＣＰＵ１１０は、ＨＭＤ１０とホスト機器１００との間の接続が再接続されたことを検知すると処理をステップＳ３４０に移行する。なお、再接続が検知しない場合には、ＣＰＵ１１０は処理をステップＳ３２０に移行する。

ステップＳ３４０では、ＣＰＵ１１０は、ＨＭＤ１０のＩＭＵ５０の最新の６ＤｏＦ情報を用いて、ＨＭＤ１０のＩＭＵ５０の６ＤｏＦ情報を更新する。具体的には、ＣＰＵ１１０は、ステップＳ３２０におけるホスト機器１００のＩＭＵ１５０の６ＤｏＦ情報を用いて更新したステップＳ３１０で記憶したＨＭＤ１０とホスト機器１００とが非接続になる直前におけるＨＭＤ１０のＩＭＵ５０の６ＤｏＦ情報の情報を、さらにＨＭＤ１０のＩＭＵ５０の最新の６ＤｏＦ情報を用いて補正することでＨＭＤ１０のＩＭＵ５０の６ＤＯＦ情報を連続的なデータとみなすようにデータ補正を再度行う。これにより、ＨＭＤ１０とホスト機器１００との間の相対的位置及び第１センサーデータと第２センサーデータとの関係を、ＨＭＤ１０の接続が切れた場合とＨＭＤ１０が再接続された場合とで同じ関係として扱えるように補正することができる。なお、上記のようにＨＭＤ１０が再接続されてＨＭＤ１０のＩＭＵ５０の６ＤＯＦ情報の再補完が行われた後に、ＨＭＤ１０のカメラの撮像範囲にホスト機器１０が含まれた場合にＨＭＤ１０とホスト機器１００との相対位置関係、第１センサーデータと第２センサーデータとの関係を再構成してもよい。このようにすることで、ＨＭＤ１０が再接続されてセンサーデータの補完が行われる際などに発生する誤差などの影響をリセットすることができる。

ステップＳ３５０では、ＣＰＵ１１０は、新たにＨＭＤ１０のＩＭＵ５０から取得した第２慣性データを用いて、ステップＳ３４０で初期化したＨＭＤ１０の６ＤｏＦ情報を更新する。

以上、本実施形態によれば、ＣＰＵ１１０は、ＨＭＤ１０とホスト機器１００との間の接続が切れ、ＨＭＤ１０のＩＭＵ５０から第２センサーデータを取得できない場合であっても、ホスト機器１００のＣＰＵ１１０は、ホスト機器１００のＩＭＵ１５０からの第１センサーデータを用いて、ＨＭＤ１０のカメラ６０の撮像画像中の対象の認識を継続し、ＡＲ処理を実行できる。その結果、ＨＭＤ１０とホスト機器１００との再接続後、ＡＲ表示を行うための環境構築として、例えば、ＨＭＤ１０とホスト機器１００との間の相対的位置及び第１センサーデータと第２センサーデータとの関係を初期化して構築し直す必要が無くなった。なお、ＣＰＵ１１０は、第１センサーデータを用いて対象の認識の状態変化量の差分を推定してもよい。対象の認識を維持し易くできる。ここで、状態とは、対象の位置や姿勢を意味する。なお、ＣＰＵ１１０は、対象の認識を維持できれば、対象の認識の状態変化量の差分を推定しなくても良い。

ＣＰＵ１１０は、同時に取得した第１センサーデータと第２センサーデータとに同一のタイムスタンプを付加してもよい。両者の関連付けを容易にできる。なお、ＣＰＵ１１０は、第１センサーデータと第２センサーデータとの時間差が分かっていれば、異なるタイムスタンプを付加しても良い。

上記実施形態において、ＨＭＤ１０とホスト機器１００とが接続されている場合には、ＣＰＵ１１０は、低レートの第１のサンプリングレートでホスト機器１００のＩＭＵ１５０から第１センサーデータを取得する。一方、ＨＭＤ１０とホスト機器１００とが接続されていない場合には、ＣＰＵ１１０は、高レートの第２のサンプリングレートでホスト機器１００のＩＭＵ１５０から第１センサーデータを取得する。しかし、ＨＭＤ１０とホスト機器１００とが接続されている場合、接続されていない場合のいずれであっても、CPU１１０は、同じサンプリングレートでホスト機器１００のＩＭＵ１５０から第１センサーデータを取得してもよい。

実施形態において、カメラ６０がホスト機器１００を撮像した場合には、ＣＰＵ１１０は、その画像から、カメラ６０、すなわちＨＭＤ１０と、ホスト機器１００との相対的位置を認識し、初期化しても良い。ＣＰＵ１１０は、ＨＭＤ１０と、ホスト機器１００との相対的位置や第１センサーデータと第２センサーデータとの関係をより高精度に認識できる。

・第２実施形態：
図５は、第２実施形態の頭部装着型表示装置１１（「ＨＭＤ１１」と呼ぶ。）の概略構成を示す説明図である。ＨＭＤ１１は、ＨＭＤ１０の構成に加え、電池７０と、メモリー８０を備える。ＨＭＤ１０と同一乃構成については、同一の符号を付している。電池７０は、ケーブル４０のコネクター４２がホスト機器１００から抜けていても、ＨＭＤ１１に電力を供給する。メモリー８０は、ＩＭＵ５０の第２センサーデータを記憶する。

図６は、第２実施形態におけるＣＰＵ１１０とＨＭＤ１０が実行するケーブル４０が非接続になったとき、及び、再接続されたときの６ＤｏＦ情報の処理フローチャートである。図４に示すフローチャートとの違いは、ステップＳ３２０を備えない点、ステップＳ３４０の代わりにステップＳ３４５を備える点、及び、ＨＭＤ１０が実行するステップＳ４００を備える点である。以下、異なる点について説明する。

ＨＭＤ１０は、ケーブル４０の接続がされていない場合、ステップＳ４００を実行する。ステップＳ４００では、ＨＭＤ１０は、所定時間毎に、ＩＭＵ５０の第２センサーデータをメモリー８０に記憶する。このときに必要とされる電力は、電池７０から供給される。

他方、ホスト機器１００のＣＰＵ１１０は、ステップＳ３３０では、ＣＰＵ１１０は、ＨＭＤ１０とホスト機器１００との間の接続が再接続されたことを検知すると、処理をステップＳ３４５に移行する。なお、再接続を検知するまでの期間は、ＣＰＵ１１０は、ステップＳ３３０を繰り返し実行する。

ステップＳ３４５では、ＣＰＵ１１０は、メモリー８０に記憶されたＩＭＵ５０の第２センサーデータ（６ＤｏＦ情報）を取得し、メモリー１２０に記憶したＩＭＵ５０の第２センサーデータを最新状態に更新する。

以上、第２実施形態によれば、ＨＭＤ１１は、電池７０を備えているので、ＨＭＤ１１とホスト機器１００との接続がされていない場合でも、ＩＭＵ５０の第２センサーデータをメモリー８０に記憶できる。そのため、その後、ＨＭＤ１１とホスト機器１００との再接続が行われた場合には、ＣＰＵ１１０は、メモリー８０に記憶された第２センサーデータを取得することにより、ＨＭＤ１１の動きを取得できる。その結果、ＨＭＤ１０とホスト機器１００との再接続後、ＡＲ表示を行うための環境構築を再度行う必要がない。

上記説明では、ＨＭＤ１０、ＨＭＤ１１は、光学透過型のＨＭＤとしたが、光学透過型でないＨＭＤであってもよい。この場合、ＣＰＵ１１０は、カメラ６０が撮像した画像にＡＲ画像を重畳した画像をＨＭＤ１０に送信する。また、この場合にＡＲ画像以外の画像としてカメラの撮像範囲内の対象物に基づいて構成された仮想空間の画像を表示するＶＲ画像や、カメラの撮像画像に対して仮想空間の画像を重畳して表示するＭＲ画像などとしてもよい。

本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の一形態によれば、ホスト機器と前記ホスト機器に接続されたヘッドマウントディスプレイとを有する表示システムが提供される。この表示システムでは、前記ホスト機器は、前記ホスト機器に掛かる慣性を検知する第１慣性センサーと、画像処理部と、を有し、前記ヘッドマウントディスプレイは、外景を撮像するカメラと、前記ヘッドマウントディスプレイに掛かる慣性を検知する第２慣性センサーと、外景と共に、前記ホスト機器から送信された画像を表示可能な画像表示部と、を有し、前記画像処理部は、前記ヘッドマウントディスプレイが接続されていることを検出した場合には、前記第１慣性センサーからの第１センサーデータと前記第２慣性センサーから受信した第２センサーデータとを関連付け、前記カメラで撮像された画像中の対象を認識し、前記第２センサーデータを用いて画像処理を行い、画像処理後の画像を前記画像表示部に表示させ、前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記ヘッドマウントディスプレイと再接続されるまでの間、前記第１センサーデータを用いて前記外景における前記対象の状態の推定を維持する。この形態によれば、画像処理部は、ホスト機器とヘッドマウントディスプレイとの接続が切れ、第２慣性センサーからのデータを得ることができなくなっても、第１慣性センサーからのデータを用いて、対象を認識できる。

（２）上記形態の表示システムにおいて、前記画像処理部は、前記第１センサーデータを用いて対象の認識の状態変化量である差分を推定してもよい。この形態によれば、対象の認識を維持し易くできる。

（３）上記形態の表示システムにおいて、前記画像処理部は、前記第１センサーデータと前記第２センサーデータとに同一のタイムスタンプを付加してもよい。この形態によれば、第１センサーデータと第２センサーデータとの関連付けを容易にできる。

（４）上記形態の表示システムにおいて、前記画像処理部は、前記ヘッドマウントディスプレイが接続されていることを検出している場合には、第１のサンプリングレートで前記第１センサーデータを取得し、前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記第１のサンプリングレートよりも高い第２のサンプリングレートで前記第１センサーデータを取得してもよい。この形態によれば、ホスト機器の動きをより細かく検出でき、対象の認識をより高精度にできる。

（５）上記形態の表示システムにおいて、画像処理部は、前記ヘッドマウントディスプレイとの再接続を検出し、かつ、前記第２慣性センサーの初期化を検知した場合には、前記第１慣性センサーから第１のサンプリングレートでデータを取得してもよい。この形態によれば、ヘッドマウントディスプレイとの再接続を検出した場合には、ヘッドマウントディスプレイから第２センサーデータを得ることができるので、第１センサーデータを細かく検出する必要が無い。

（６）上記形態の表示システムにおいて、前記画像処理部は、前記カメラが前記ホスト機器を撮像した時には、前記カメラに対する前記ホスト機器の相対的位置を認識し、初期化してもよい。この形態によれば、画像処理部は、カメラ（ヘッドマウントディスプレイ）と、ホスト機器との間の相対的位置を高精度に認識できる。

（７）上記形態の表示システムにおいて、前記ヘッドマウントディスプレイは、電源及び記憶部を有し、前記ヘッドマウントディスプレイと前記ホスト機器との接続がされていない場合には、前記電源の電力を用いて前記記憶部に前記第２センサーデータを記憶し、前記画像処理部は、前記ヘッドマウントディスプレイと前記ホスト機器とが再接続された場合には、前記ヘッドマウントディスプレイと前記ホスト機器との接続がされなくなった後の前記第２センサーデータを取得し、対象の認識を実行してもよい。この形態によれば、ヘッドマウントディスプレイとホスト機器とが非接続状態にあるときの第２センサーデータは、記憶部に記憶されるので、ヘッドマウントディスプレイとホスト機器とが再接続された後は、画像処理部は、記憶部の第２センサーデータを取得することで、対象の認識を容易にできる。

本開示は、表示システム以外の種々の形態で実現することも可能である。例えば、表示方法、その表示方法を実現するコンピュータプログラムである表示プログラム、その表示プログラムを記録した一時的でない記録媒体等の形態で実現することができる。

１０…頭部装着型表示装置、１１…頭部装着型表示装置、２０…表示部、２０Ｌ…左表示部、２０Ｒ…右表示部、２１…表示駆動部、２１Ｌ…左表示駆動部、２１Ｒ…右表示駆動部、２２…保持部、２２Ｌ…左保持部、２２Ｒ…右保持部、２３…フレーム、３０…イヤホン、３０Ｌ…左イヤホン、３０Ｒ…右イヤホン、４０…ケーブル、４２…コネクター、５０…慣性センサー、６０…カメラ、７０…電池、８０…メモリー、９０…装着帯、９１…装着基部、９２…ベルト、９３…連結部、１００…ホスト機器、１１０…ＣＰＵ、１２０…メモリー、１２５…ＡＰアプリ、１３０…タッチパネル、１４０…カメラ、１５０…慣性センサー、１６０…コネクター、ＥＬ…端部、ＥＲ…端部

Claims

ホスト機器と前記ホスト機器に接続されたヘッドマウントディスプレイとを有する表示システムであって、
前記ホスト機器は、
前記ホスト機器に掛かる慣性を検知する第１慣性センサーと、
画像処理部と、を有し、
前記ヘッドマウントディスプレイは、
外景を撮像するカメラと、
前記ヘッドマウントディスプレイに掛かる慣性を検知する第２慣性センサーと、
外景と共に、前記ホスト機器から送信された画像を表示可能な画像表示部と、を有し、
前記画像処理部は、
前記ヘッドマウントディスプレイが接続されていることを検出した場合には、前記第１慣性センサーからの第１センサーデータと前記第２慣性センサーから受信した第２センサーデータとを関連付け、前記カメラで撮像された画像中の対象を認識し、前記第２センサーデータを用いて画像処理を行い、画像処理後の画像を前記対象に関連づけて前記画像表示部に表示させ、
前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記ヘッドマウントディスプレイと再接続されるまでの間、前記第１センサーデータを用いて前記外景における前記対象の状態の推定を維持する、
表示システム。
請求項１に記載の表示システムであって、
前記画像処理部は、前記第１センサーデータを用いて前記対象の認識の状態変化量である差分を推定する、表示システム。
請求項１または２に記載の表示システムであって、
前記画像処理部は、前記第１センサーデータと前記第２センサーデータとに同一のタイムスタンプを付加する、表示システム。
請求項１から請求項３のいずれか一項に記載の表示システムであって、
前記画像処理部は、
前記ヘッドマウントディスプレイが接続されていることを検出している場合には、第１のサンプリングレートで前記第１センサーデータを取得し、
前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記第１のサンプリングレートよりも高い第２のサンプリングレートで前記第１センサーデータを取得する、表示システム。
請求項４に記載の表示システムであって、
前記画像処理部は、前記ヘッドマウントディスプレイとの再接続を検出し、かつ、前記第２慣性センサーの初期化を検知した場合には、前記第１慣性センサーから前記第１のサンプリングレートでデータを取得する、表示システム。
請求項１から請求項５のいずれか一項に記載の表示システムであって、
前記画像処理部は、前記カメラが前記ホスト機器を撮像した時には、前記カメラに対する前記ホスト機器の相対的位置を認識し、初期化する、表示システム。
請求項１から請求項６のいずれか一項に記載の表示システムであって、
前記ヘッドマウントディスプレイは、電源及び記憶部を有し、前記ヘッドマウントディスプレイと前記ホスト機器との接続がされていない場合には、前記電源の電力を用いて前記記憶部に前記第２センサーデータを記憶し、
前記画像処理部は、前記ヘッドマウントディスプレイと前記ホスト機器とが再接続された場合には、前記ヘッドマウントディスプレイと前記ホスト機器との接続がされなくなった後の前記第２センサーデータを取得し、前記対象の認識を実行する、表示システム。
ホスト機器に接続されたヘッドマウントディスプレイへの画像の表示方法であって、
前記ホスト機器に前記ヘッドマウントディスプレイが接続されていることを検出した場合には、前記ホスト機器の第１慣性センサーの第１センサーデータと前記ヘッドマウントディスプレイの第２慣性センサーから受信した第２センサーデータとを関連付け、前記ヘッドマウントディスプレイのカメラで撮像された外景の画像中の対象を認識し、前記第２センサーデータを用いて画像処理を行い、画像処理後の画像を前記ヘッドマウントディスプレイの画像表示部に表示し、
前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記ヘッドマウントディスプレイと再接続されるまでの間、前記第１センサーデータを用いて前記外景における前記対象の状態の推定を維持する、表示方法。
ホスト機器に接続されたヘッドマウントディスプレイへ画像を表示する表示プログラムであって、
前記ホスト機器に前記ヘッドマウントディスプレイが接続されていることを検出した場合には、前記ホスト機器の第１慣性センサーの第１センサーデータと前記ヘッドマウントディスプレイの第２慣性センサーから受信した第２センサーデータとを関連付け、前記ヘッドマウントディスプレイのカメラで撮像された外景の画像中の対象を認識し、前記第２センサーデータを用いて画像処理を行い、画像処理後の画像を前記ヘッドマウントディスプレイの画像表示部に表示する機能と、
前記ヘッドマウントディスプレイとの接続がされていないことを検出した場合には、前記ヘッドマウントディスプレイと再接続されるまでの間、前記第１センサーデータを用いて前記外景における前記対象の状態の推定を維持する機能と、
を前記ホスト機器に実行させる表示プログラム。