JP2021105782A - 表示システム、表示方法、及び、プログラム - Google Patents

Abstract

【課題】２つの表示部を使用して表示を行うシステムにおいて、より直感的な操作を可能とする。【解決手段】表示システム１は、ＨＭＤ１００と、制御装置３００と、を備える。表示システム１は、画像表示部２０とタッチパネル３５０の表示を共通とする第１表示モード、および、画像表示部２０とタッチパネル３５０との表示が異なる第２表示モードを含む複数の表示モードを有し、画像表示部２０およびタッチパネル３５０の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を実行可能であり、第１状態、第２状態、または第３状態から他の状態へ移行する特定の移行において、表示モードを第１表示モードとする。【選択図】図１

Description

本発明は、表示システム、表示方法、及び、プログラムに関する。

従来、ＨＭＤを処理装置に接続した構成において、処理装置の表示画像をＨＭＤに表示し、処理装置の表示画像をユーザーインターフェイス表示に切り替える技術が開示されている（例えば、特許文献１参照）。特許文献１に記載された構成では、２つの表示部を連携させることでユーザビリティーの向上を図っている。

特開２０１９−１１４０５０公報

特許文献１に記載された構成では、ユーザーインターフェイスに対する操作を処理装置によって行うので、ＨＭＤを装着した使用者が、処理装置の表示画像を見ながら操作を行う必要があった。このため、２つの表示部を使用する場合に、より直感的な操作を可能とすることが望まれていた。

上記課題を解決する一態様は、第１表示部を有する表示装置と、前記表示装置に接続される制御装置と、を備え、前記制御装置は、第２表示部、および、前記第２表示部に重ねて配置されたタッチセンサーを備え、前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを有し、前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を実行可能であり、前記第１状態、前記第２状態、または前記第３状態から他の状態へ移行する特定の移行において、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、表示システムである。

上記課題を解決する別の一態様は、使用者の頭部に装着される第１表示部を有する頭部装着型表示装置と、前記頭部装着型表示装置に接続される制御装置と、を備える表示システムであって、前記制御装置は、第２表示部、および、前記第２表示部に重ねて配置されたタッチセンサーを備え、前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを有し、前記表示システムの動作状態として、前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を実行可能であり、前記表示システムの動作状態が特定の移行をする場合に、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、表示システムである。

上記課題を解決するさらに別の一態様は、第１表示部を有する表示装置と、前記表示装置に接続され、第２表示部および前記第２表示部に重ねて配置されたタッチセンサーを備える制御装置と、による表示方法であって、前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを実行し、前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を遷移させ、前記第１状態、前記第２状態、または前記第３状態から他の状態へ移行する特定の移行において、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、表示方法である。

上記課題を解決するさらに別の一態様は、第１表示部を有する表示装置に接続され、第２表示部、および、前記第２表示部に重ねて配置されたタッチセンサーを備える制御装置を制御するコンピューターが実行可能なプログラムであって、前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを切り替え可能であり、前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を切り替えて実行し、前記第１状態、前記第２状態、または前記第３状態から他の状態へ移行する特定の移行において、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、プログラムである。

表示システムの概略構成を示す図。 画像表示部の光学系の構成を示す要部平面図。 表示システムのブロック図。 制御装置のブロック図。 制御装置のソフトウェアプラットフォームの構成を示す模式図。 タッチセンサーに対する操作の検出方式の説明図。 制御装置の向きと操作の検出方向の対応の例を示す模式図。 表示システムの表示モードの例を示す模式図。 表示システムの表示モードの例を示す模式図。 表示システムの表示モードの例を示す模式図。 表示システムの表示モードの例を示す模式図。 表示システムの表示モードの例を示す模式図。 表示システムの動作状態の遷移を示す説明図。 制御装置の動作を示すフローチャート。 制御装置の動作を示すフローチャート。

［１．表示システムの構成］
以下、図面を参照して、本発明を適用した実施形態について説明する。
図１は、表示システム１の概略構成を示す図である。
表示システム１は、ＨＭＤ１００と、制御装置３００とを備える。ＨＭＤ１００は、使用者Ｕの頭部に装着される画像表示部２０を備え、使用者Ｕに画像や映像を視認させる頭部装着型表示装置であり、本発明の表示装置の一例である。ＨＭＤはＨｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略である。

ＨＭＤ１００は、画像表示部２０に接続された接続装置１０を有する。接続装置１０は、ＨＭＤ１００を、ＨＭＤ１００とは異なる装置に接続するインターフェイスとして機能する。表示システム１では、接続装置１０に制御装置３００が接続される。
以下の説明及び図面においては、説明の便宜のため、ＨＭＤ１００を構成するいくつかの機能部の名称に接頭辞ＤＰを付し、制御装置３００を構成するいくつかの機能部の名称に接頭辞ＣＯを付す。

制御装置３００は、文字や画像を表示する表示画面、および、タッチ操作や押圧操作を検出する操作部として機能するタッチパネル３５０を備え、携帯可能なサイズの端末装置であり、例えばスマートフォンを用いることができる。タッチパネル３５０は、図４を参照して後述するＬＣＤ３３１、および、タッチセンサー３３６により構成される。ＬＣＤはＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。制御装置３００は、デスクトップ型パーソナルコンピューター、ノート型パーソナルコンピューター、タブレット型パーソナルコンピューター等であってもよい。

接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには接続ケーブル４０を介して画像表示部２０が接続され、コネクター１１ＤにはＵＳＢケーブル４６を介して制御装置３００が接続される。これにより、画像表示部２０と制御装置３００は相互にデータを送受信可能に接続される。例えば、制御装置３００は、画像表示部２０が映像を表示するための映像データや、音声データを画像表示部２０に出力する。例えば、画像表示部２０は、後述するように画像表示部２０が備える各種センサーの検出データを制御装置３００に送信する。制御装置３００は、画像表示部２０に対して電力を供給可能であってもよい。ＵＳＢはＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。

ＵＳＢケーブル４６を用いて接続装置１０と制御装置３００とを接続する構成は一例にすぎず、接続装置１０と制御装置３００との具体的な接続形態は制限されない。例えば、他の種類のケーブルを用いて有線接続してもよいし、無線通信を介して接続してもよい。例えば、ＵＳＢケーブル４６がＵＳＢ−ＴｙｐｅＣ規格のコネクター１１Ｄに接続される構成では、ＵＳＢケーブル４６により２０ボルトの直流電流の供給が可能であり、ＵＳＢ−ＴｙｐｅＣの代替モードの機能としてＨＤＭＩ規格の映像データ等を伝送できる。ＨＤＭＩ及びＭＨＬは登録商標である。

画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。右保持部２１は、前部フレーム２７において使用者Ｕの右側に位置する端部ＥＲに連結され、左保持部２３は使用者Ｕの左側に位置する端部ＥＬに連結される。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者Ｕの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者Ｕの左眼の眼前に位置し、左眼に画像を視認させる。右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者Ｕの眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２０を装着する装着状態で、使用者Ｕの眉間に対応する。前部フレーム２７は、画像表示部２０の装着状態で使用者Ｕの鼻に当接する鼻当て部を備えてもよく、右保持部２１及び左保持部２３にベルトを連結して、ベルトによって画像表示部２０を使用者Ｕの頭部に保持する構成であってもよい。

右表示部２２及び左表示部２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。右表示部２２は、右導光板２６により画像を表示させ、左表示部２４は左導光板２８により画像を表示させる。右表示部２２は右保持部２１に設けられ、左表示部２４は左保持部２３に設けられる。

使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。使用者Ｕの眼には、右導光板２６及び左導光板２８からの画像光と、右導光板２６及び左導光板２８を透過する外光とが入射する。これにより、使用者Ｕは画像表示部２０が表示する画像と、右導光板２６及び左導光板２８を透過する外景とを重ねて視認する。

前部フレーム２７には、ＤＰ照度センサー６５が配置される。ＤＰ照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光するセンサーである。ＤＰ照度センサー６５によって、右導光板２６及び左導光板２８を透過して使用者Ｕの眼に入射する外光の照度や光量を検出できる。
ＤＰ外側カメラ６１は、前部フレーム２７において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。ＤＰ外側カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。ＤＰ外側カメラ６１の画角は、画像表示部２０を装着した使用者Ｕが右導光板２６及び左導光板２８を透過して視認する外景の範囲の少なくとも一部を含む。ＤＰ外側カメラ６１は広角カメラであってもよく、画像表示部２０を装着した使用者Ｕが視認する外景の全体を撮像可能なものであってもよい。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略であり、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。
前部フレーム２７には、ＤＰ外側カメラ６１の動作中に点灯するＬＥＤインジケーター６７が配置される。

前部フレーム２７には、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４が設けられる。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等を用いた光反射式距離センサー、赤外線式深度センサー、超音波式の距離センサー、或いは、レーザーレンジスキャナーである。距離センサー６４は、画像検出と音声検出とを組み合わせた距離検出ユニットや、カメラによるステレオ撮影で得られる画像を処理して距離を検出する装置であってもよい。距離センサー６４の測定方向は、例えば、右導光板２６及び左導光板２８を透過して使用者Ｕが視認する外景の方向である。

右表示部２２及び左表示部２４は、それぞれ、接続ケーブル４０により接続装置１０に接続される。接続ケーブル４０は、オーディオコネクター３６を備える。オーディオコネクター３６には、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が接続される。右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。マイク６３は、音声を集音して音声信号を接続装置１０に出力する。

［２．画像表示部の光学系の構成］
図２は、画像表示部２０の光学系の構成を示す要部平面図である。図２には説明のため使用者Ｕの左眼ＬＥ及び右眼ＲＥを図示する。
右表示部２２と左表示部２４とは、例えば、左右対称に構成される。
右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２２１、及び、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６に導く右光学系２５１を備える。ＯＬＥＤはＯｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、例えばＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。ＯＬＥＤ駆動回路２２５は、ＤＰ制御部１２０の制御に従ってＯＬＥＤパネル２２３を駆動する。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３の裏面に固定される不図示の基板に実装され、この基板に、図３に示す温度センサー２１７が実装される。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌをコリメートレンズによって並行状態の光束にし、右導光板２６に入射させる。右導光板２６の内部において画像光Ｌは複数の反射面で反射し、右眼ＲＥの眼前に位置するハーフミラー２６１で反射して、右眼ＲＥに向けて右導光板２６から射出される。

左眼ＬＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２４１、及び、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８に導く左光学系２５２を備える。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、例えばＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、ＤＰ制御部１２０の制御に従ってＯＬＥＤパネル２４３を駆動する。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３の裏面に固定される不図示の基板に実装され、この基板には図３に示す温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌをコリメートレンズによって並行状態の光束にし、左導光板２８に入射させる。左導光板２８の内部において画像光Ｌは複数の反射面で反射し、左眼ＬＥの眼前に位置するハーフミラー２６１で反射して、左眼ＬＥに向けて左導光板２８から射出される。

ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者Ｕの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者Ｕの眼に入射させる。このため、使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部を構成する。

［３．ＨＭＤの制御系］
図３は、表示システム１のブロック図であり、特に、ＨＭＤ１００の構成を詳細に示す。
画像表示部２０において、右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、及びＬＥＤインジケーター６７を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。

左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１、及び、左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。左表示部基板２３０には、ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。

本実施形態の説明及び図面において、Ｉ／Ｆはインターフェイスの略記である。ＥＥＰＲＯＭはＥｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙの略記である。受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。

ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２または左表示部２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等をＤＰ制御部１２０により読取り可能に記憶する。

ＤＰ外側カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。ＤＰ照度センサー６５は、外光を受光し、受光量または受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号または駆動電流に従って点灯する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。

距離センサー６４は、距離を検出した検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。

受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する映像データに基づく映像を表示する。
受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する映像データに基づく映像を表示する。

ＤＰ６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。ＤＰ磁気センサー２３７は、例えば、３軸の地磁気センサーである。ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７は、上記の各センサーがモジュール化されたＩＭＵであってもよく、ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７を一体化したモジュールであってもよい。ＩＭＵは、Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔの略記である。温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出する。ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７、及び温度センサー２３９は、それぞれ、検出値を接続装置１０に出力する。

画像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。画像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。電源部２２９、２４９は、電圧を変換する変換回路等を備えてもよい。

接続装置１０は、Ｉ／Ｆ部１１０、ＤＰ制御部１２０、センサー制御部１２２、表示制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び、音声処理部１４７を備える。

Ｉ／Ｆ部１１０は、コネクター１１Ｄ、及び、コネクター１１Ｄにより各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板である。Ｉ／Ｆ部１１０は、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。

ＤＰ制御部１２０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーがプログラムを実行することにより、接続装置１０の各部を制御する。ＤＰ制御部１２０は、プロセッサーのワークエリアを構成するＲＡＭを備えてもよい。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略記である。

ＤＰ制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び音声処理部１４７が接続される。不揮発性記憶部１３０は、ＤＰ制御部１２０が実行するプログラムやデータを不揮発的に記憶するＲＯＭである。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略記である。

センサー制御部１２２は、画像表示部２０が備える各センサーを動作させる。ここで、各センサーとは、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、温度センサー２１７、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７及び温度センサー２３９の各々を指す。各センサーは、少なくとも、ＤＰ外側カメラ６１、ＤＰ照度センサー６５、ＤＰ６軸センサー２３５、及びＤＰ磁気センサー２３７のいずれか１以上を含む。センサー制御部１２２は、ＤＰ制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

センサー制御部１２２は、各センサーの検出値や検出結果を示す検出データを、予め設定されたタイミングで、Ｉ／Ｆ部１１０に出力する。ここで、ＤＰ外側カメラ６１の撮像画像データを、他のセンサーの検出値や検出結果と同様に、検出データと呼ぶ。
センサー制御部１２２は、アナログ信号をデジタルデータに変換するＡ／Ｄコンバーターを備えてもよい。この場合、センサー制御部１２２は、画像表示部２０のセンサーから取得した検出値や検出結果のアナログ信号を検出データに変換して出力する。センサー制御部１２２は、画像表示部２０のセンサーから検出値や検出結果のデジタルデータを取得し、データフォーマットの変換や出力タイミングの調整等を行って、検出データをＩ／Ｆ部１１０に出力してもよい。

センサー制御部１２２の動作により、Ｉ／Ｆ部１１０に接続された制御装置３００は、ＨＭＤ１００の各センサーの検出値や、ＤＰ外側カメラ６１の撮像画像データを取得できる。

センサー制御部１２２は、上述した各センサーの検出値をもとに演算処理した結果を、検出データとして出力してもよい。例えば、センサー制御部１２２は、複数のセンサーの検出値や検出結果を統合的に処理し、いわゆるセンサーフュージョン処理部として機能してもよい。この場合、センサー制御部１２２は、センサーフュージョンによって、画像表示部２０の各センサーに含まれない仮想のセンサーの検出データを生成してもよい。例えば、センサー制御部１２２は、画像表示部２０が移動した軌跡を示す軌跡データ、画像表示部２０の３次元空間における位置を示す座標データ、画像表示部２０の方向を示す方向データを、検出データとして出力してもよい。ここで、座標データは、接続装置１０の位置を基準とする相対座標を示すデータであってもよいし、画像表示部２０が存在する空間に設定された基準位置に対する位置を示すデータであってもよい。方向データは、接続装置１０の位置や方向を基準とする方向を示すデータであってもよいし、画像表示部２０が存在する空間に設定された基準位置に対する方向を示すデータであってもよい。
センサー制御部１２２は、コネクター１１ＤにＵＳＢケーブル４６により接続された装置との間で通信プロトコルを実行し、検出データを出力する。

表示制御部１２４は、Ｉ／Ｆ部１１０に入力される表示データ、および／または表示制御データに基づき、画像表示部２０に画像を表示させるための各種処理を実行する。表示データは、例えば、映像データを含む。本実施形態では、ＵＳＢ−ＴｙｐｅＣコネクターで構成されるコネクター１１Ｄを通じて、ＵＳＢ−ＴｙｐｅＣの代替モードで映像データが伝送される。表示制御部１２４は、例えば、フレームの切り出し、解像度変換、スケーリング、中間フレーム生成、フレームレート変換等の各種処理を実行する。表示制御部１２４は、ＯＬＥＤユニット２２１、２４１に対応する映像データを接続部１４５に出力する。接続部１４５に入力された映像データは、コネクター１１Ａから、映像信号２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。表示制御部１２４は、本発明の第１表示制御部の一例に対応し、制御装置３００が送信する表示データに従って、右表示部２２および左表示部２４に画像を表示させる。表示制御部１２４は、Ｉ／Ｆ部１１０に入力される表示制御データに従って、画像表示部２０の表示状態を調整、変更する。

センサー制御部１２２、及び／または表示制御部１２４は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び表示制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び表示制御部１２４は、ＤＰ制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、ＤＰ制御部１２０、表示制御部１２４、及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。センサー制御部１２２及び表示制御部１２４は、データ処理を行うためのワークメモリーを具備してもよく、ＤＰ制御部１２０のメモリーを利用して処理を行ってもよい。

表示制御部１２４、及び、センサー制御部１２２は、ＤＳＰやＦＰＧＡ等、プログラムされたハードウェアにより構成されてもよい。センサー制御部１２２及び表示制御部１２４を統合して、ＳｏＣ−ＦＰＧＡとして構成してもよい。ＤＳＰはＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略記であり、ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略記であり、ＳｏＣはＳｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐの略記である。

電源制御部１２６は、コネクター１１Ｄに接続され、コネクター１１Ｄから供給される電力に基づき接続装置１０の各部及び画像表示部２０に電源を供給する回路である。

操作部１４０は、接続装置１０が備えるスイッチ等の操作を検出し、操作内容を示すデータをＤＰ制御部１２０に出力する。

音声処理部１４７は、ＤＰ制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、ＤＰ制御部１２０に出力する。音声処理部１４７が出力する音声データは、画像表示部２０が備えるセンサーの検出データと同様に、センサー制御部１２２により処理されてもよい。

［４．制御装置の構成］
図４は、制御装置３００のブロック図である。
制御装置３００は、ＣＯ制御部３１０を備える。ＣＯ制御部３１０は、プロセッサー３１１、メモリー３１２、及び、不揮発性メモリー３１３を備える。プロセッサー３１１は、ＣＰＵ、マイコン、ＤＳＰ等で構成され、プログラムを実行することにより制御装置３００の各部を制御する。メモリー３１２は、プロセッサー３１１のワークエリアを形成する。不揮発性メモリー３１３は、半導体メモリーデバイス等で構成され、プロセッサー３１１が実行するプログラムや、プロセッサー３１１により処理される各種データを不揮発的に記憶する。例えば、不揮発性メモリー３１３は、プロセッサー３１１が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。不揮発性メモリー３１３は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。オペレーティングシステムを、以下、ＯＳと略記する。
ＣＯ制御部３１０は、プロセッサー３１１、メモリー３１２、及び不揮発性メモリー３１３を統合したＳｏＣであってもよい。

ＣＯ制御部３１０には、ＧＮＳＳ３２１、ＣＯカメラ３２２、ＣＯ６軸センサー３２３、ＣＯ磁気センサー３２４、ＣＯ照度センサー３２５、バイブレーター３２６、音声出力部３２７、ＣＯ表示部３３０、及び、ＣＯ入力部３３５が接続される。
ＧＮＳＳ３２１は、衛星測位システムを利用して測位を行い、制御装置３００の位置をＣＯ制御部３１０に出力する。ＧＮＳＳは、Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍの略である。

ＣＯカメラ３２２は、制御装置３００の本体に設けられるデジタルカメラであり、例えば、タッチパネル３５０に隣接して配置され、タッチパネル３５０に対向する方向を撮像する。ＣＯカメラ３２２は、ＣＯ制御部３１０の制御に従って撮像を実行し、撮像画像データをＣＯ制御部３１０に出力する。

ＣＯ６軸センサー３２３は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーであり、検出値を示す検出データをＣＯ制御部３１０に出力する。ＣＯ磁気センサー３２４は、例えば、３軸の地磁気センサーであり、検出値を示す検出データをＣＯ制御部３１０に出力する。ＣＯ６軸センサー３２３及びＣＯ磁気センサー３２４は、上記の各センサーがモジュール化されたＩＭＵであってもよく、ＣＯ６軸センサー３２３及びＣＯ磁気センサー３２４を一体化したモジュールであってもよい。
ＣＯ照度センサー３２５は、外光を受光し、受光量または受光強度に対応する検出値を示す検出データをＣＯ制御部３１０に出力する。

バイブレーター３２６は、ＣＯ制御部３１０の制御に従って振動を発生し、制御装置３００の本体の一部または全部を振動させる。バイブレーター３２６は、例えば、偏心錘とモーターとを備えて構成される。
音声出力部３２７は、スピーカーを備え、ＣＯ制御部３１０の制御に従ってスピーカーから音声を出力する。音声出力部３２７は、ＣＯ制御部３１０が出力する音声信号を増幅してスピーカーに出力するアンプを備えてもよい。ＣＯ制御部３１０がデジタル音声データを出力する構成である場合、音声出力部３２７は、デジタル音声データをアナログ音声信号に変換するＤ／Ａコンバーターを備えてもよい。

ＣＯ表示部３３０は、ＬＣＤ３３１を有し、ＣＯ制御部３１０の制御に従ってＬＣＤ３３１に文字や画像を表示させる。
ＣＯ入力部３３５は、タッチセンサー３３６、及び、スイッチ３３７に対する操作を検出し、検出した操作を示す操作データをＣＯ制御部３１０に出力する。タッチセンサー３３６は、ＬＣＤ３３１の表面に重畳配置され、ＬＣＤ３３１とともにタッチパネル３５０を構成する。タッチセンサー３３６は、使用者Ｕによる接触操作や押圧操作を検出する。スイッチ３３７は、例えば、制御装置３００の電源スイッチ、音量調整スイッチ等のハードウェアスイッチである。スイッチ３３７は、接触式または非接触式のセンサーであってもよく、例えば、タッチパネル３５０に埋設された指紋センサー等であってもよい。スイッチ３３７は、本発明の操作子の一例に対応する。ＣＯ入力部３３５は、本発明の操作部の一例に対応する。また、スイッチ３３７は、タッチセンサー３３６の一部または全部を利用して形成されるソフトウェアスイッチであってもよい。

ＣＯ制御部３１０には、バッテリー３４１、通信部３４２、及び、Ｉ／Ｆ部３４３が接続される。
バッテリー３４１は、制御装置３００の本体に内蔵される二次電池であり、制御装置３００の各部に電力を供給する。バッテリー３４１は、電力の出力や二次電池への充電を制御する不図示の制御回路を備えていてもよい。

通信部３４２は、ＢｌｕｅｔｏｏｔｈやＷｉ−Ｆｉ等の無線通信プロトコルに対応し、表示システム１の外部の装置と無線通信を実行する。Ｂｌｕｅｔｏｏｔｈ及びＷｉ−Ｆｉは登録商標である。通信部３４２は、ＬＴＥや第５世代移動体通信システム等の移動体通信ネットワークを利用して、モバイルデータ通信を実行する構成であってもよい。ＬＴＥは登録商標である。

Ｉ／Ｆ部３４３は、データ通信ケーブルが接続される不図示のコネクター、及び、コネクターにより各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。例えば、Ｉ／Ｆ部３４３は、ＵＳＢ規格に準拠したコネクター及びインターフェイス回路を備え、ＵＳＢケーブル４６を通じてデータを送受信する。

本実施形態では、制御装置３００は、Ｉ／Ｆ部３４３を介してＨＭＤ１００に対し映像データを送信し、ＨＭＤ１００からセンサーの検出データを受信する。制御装置３００は、Ｉ／Ｆ部３４３を介してＨＭＤ１００に対し、電力を供給する。

本実施形態のＩ／Ｆ部３４３はＵＳＢインターフェイスを備え、Ｉ／Ｆ部３４３に接続されるＵＳＢケーブル４６を用いて、制御装置３００がＨＭＤ１００とデータを送受信する構成を例示する。
制御装置３００は、例えば、通信部３４２によってＨＭＤ１００と無線データ通信を実行してもよい。

［５．ソフトウェアプラットフォームの構成］
図５は、制御装置３００のソフトウェアプラットフォームの構成を示す模式図である。制御装置３００は、プロセッサー３１１がオペレーティングシステムを実行して、ハードウェアとソフトウェアとの協働により、アプリケーションソフトウェアを動作させるプラットフォーム４００を構成する。

プロセッサー３１１が実行するオペレーティングシステムは、プロセッサー３１１が実行するプログラムの実行ファイル、及び、このプログラムで処理するデータファイル等を含むファイル群で構成される。制御装置３００のオペレーティングシステムとしては、例えば、Ａｎｄｒｏｉｄ、ｉＯＳ、ｉＰａｄ ＯＳ、Ｗｉｎｄｏｗｓ、Ｍａｃ ＯＳ、Ｌｉｎｕｘ、Ｕｎｉｘ、Ｔｒｏｎ等の汎用オペレーティングシステムが挙げられる。プロセッサー３１１が実行するオペレーティングシステムは、上記の汎用オペレーティングシステムを一部改変したものであってもよい。Ａｎｄｒｏｉｄ、ｉＯＳ、ｉＰａｄ、Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ、Ｕｎｉｘ、及び、Ｔｒｏｎは登録商標である。Ｍａｃは商標である。

プラットフォーム４００は、多数の機能モジュールを含んで構成される。図５には、プラットフォーム４００の機能モジュールの一部を示す。プラットフォーム４００は、制御装置３００が備えるＣＯカメラ３２２、ＣＯ６軸センサー３２３、ＣＯ磁気センサー３２４、ＣＯ照度センサー３２５等の各種センサーや、ＨＭＤ１００が備えるセンサー等を制御可能である。図５には一例として、タッチセンサー３３６の検出データを取得し、タッチパネル３５０に対する操作を検出する構成を示す。

プラットフォーム４００は、カーネル４１０、ＨＡＬ４３０、フレームワーク４４０、及び、アプリケーション実行部４５０で構成される。カーネル４１０、ＨＡＬ４３０、及び、フレームワーク４４０は、プロセッサー３１１が実行するオペレーティングシステムの機能により実現される。オペレーティングシステムは、１または複数のプログラム、データ、ライブラリー、ランタイムモジュール等を含んで構成され、これらをプロセッサー３１１が実行し又は処理することで、プロセッサー３１１がカーネル４１０、ＨＡＬ４３０、および、フレームワーク４４０として機能する。アプリケーション実行部４５０は、プロセッサー３１１がオペレーティングシステムを実行することで構成される。アプリケーション実行部４５０は、プラットフォーム４００が提供する実行環境を利用して、プロセッサー３１１がアプリケーション４５１を実行する機能を指す。すなわち、アプリケーション実行部４５０を構成するハードウェア主体はプロセッサー３１１であり、カーネル４１０、ＨＡＬ４３０、およびフレームワーク４４０についても同様である。
カーネル４１０は、プラットフォーム４００の基本機能を実現する機能部である。カーネル４１０は、制御装置３００のハードウェアを制御するドライバーを有する。カーネル４１０が備えるドライバーは、例えば、ハードウェアの種類毎に対応する。

一例として、Ａｎｄｒｏｉｄ ＯＳのプラットフォーム４００は、カーネル４１０がＬｉｎｕｘカーネルで構成される。フレームワーク４４０は、Ｊａｖａフレームワークに相当し、Ａｎｄｒｏｉｄランタイムモジュールやネイティブライブラリーを利用して実現されてもよい。Ｊａｖａは登録商標である。

図５に示す例で、カーネル４１０は、制御装置３００の外部のハードウェアを制御するドライバーとして、タッチセンサードライバー４１１を有する。タッチセンサードライバー４１１は、タッチセンサー３３６を制御するドライバーであり、タッチセンサー３３６へのタッチ操作または押圧操作を検出し、操作位置を示すデータを取得する。

図６は、タッチセンサー３３６に対する操作の検出方式の説明図である。タッチセンサー３３６は、例えば矩形の検出領域を有する。タッチセンサー３３６の検出領域には、例えば、図６に示すようにＸ軸およびＹ軸からなるＸ−Ｙ直交座標が設定されている。タッチセンサードライバー４１１は、タッチセンサー３３６が出力するアナログ信号である検出信号ＳＤ１を取得し、タッチセンサー３３６の検出領域において操作がなされた位置のＸ座標およびＹ座標を含む検出データＳＤ２を生成する。タッチセンサー３３６は、デジタルデータを生成する周辺回路を含むセンサーユニットであってもよい。この場合、タッチセンサー３３６は、検出信号ＳＤ１を出力せず、操作位置のＸ座標およびＹ座標を含む検出データＳＤ２を出力すする。タッチセンサードライバー４１１は、タッチセンサー３３６が出力する検出データＳＤ２を取得する。

センサーデータ提供部４０１がタッチセンサー３３６の操作位置を出力する態様は、絶対座標、および、相対座標の２通りがある。絶対座標は操作位置のＸ座標およびＹ座標を、操作位置のデータとしてアプリケーション実行部４５０に提供する態様である。例えば、図６に示すように位置Ｐ１から位置Ｐ２にかけて接触位置が移動した場合、絶対座標としては位置Ｐ１から位置Ｐ２までの各位置のＸ座標およびＹ座標が出力される。これに対し、相対座標は、タッチセンサー３３６で検出された複数の操作位置の相対的な位置関係を出力する態様である。図６の例では、位置Ｐ２と位置Ｐ１の座標の差分、或いは、位置Ｐ１から位置Ｐ２までの方向と距離が出力される。

タッチセンサードライバー４１１は、予め設定されたサンプリング周期で、検出タイミング毎にタッチセンサー３３６の操作位置を取得する処理を行う。タッチセンサードライバー４１１は、検出タイミングにおけるタッチセンサー３３６の操作位置の座標を取得する。従って、検出信号ＳＤ１、或いは検出信号ＳＤ１の代わりに出力される検出データは、操作位置の絶対座標であるＸ座標およびＹ座標である。

ＨＡＬ４３０、及び、フレームワーク４４０は、カーネル４１０が処理したデータをアプリケーション実行部４５０に受け渡すように機能する。ＨＡＬは、Ｈａｒｄｗａｒｅ Ａｂｓｔｒｕｃｔｉｏｎ Ｌａｙｅｒの略である。

ＨＡＬ４３０は、カーネル４１０との間でハードウェア制御に関するデータを入出力する。ＨＡＬ４３０は、カーネル４１０に対してハードウェアの制御を要求し、カーネル４１０が取得したデータを取得する。図５には、ＨＡＬ４３０が有する入力イベント４３１を例示する。入力イベント４３１は、タッチセンサードライバー４１１がタッチセンサー３３６の検出信号ＳＤ１を取得する毎に、カーネル４１０がＨＡＬ４３０に対して通知するイベントである。入力イベント４３１は、タッチセンサードライバー４１１が取得した検出データを含む。

本実施形態では、ＨＡＬ４３０が、図５に示すようにカーネル４１０の上位レイヤーで動作するが、アプリケーション実行部４５０に対するセンサーデータ提供部４０１の機能が相違しなければ、オペレーティングシステムの仕様により異なる構成を採用できる。例えば、ＨＡＬ４３０は、ハードウェアとカーネル４１０との間で動作するミドルウェアとして実装されてもよい。この場合、ＨＡＬ４３０は、ハードウェアを制御し、ハードウェアから取得した検出データをカーネル４１０に渡す。

フレームワーク４４０は、入力イベント４３１の検出データを、入力データ４４１として保持する。入力データ４４１は、タッチセンサー３３６からタッチセンサードライバー４１１が取得した検出データ、或いは、この検出データを処理したデータである。本実施形態では、入力データ４４１はタッチセンサー３３６の操作位置の絶対座標の座標データを含む。

プラットフォーム４００において、カーネル４１０、ＨＡＬ４３０、及びフレームワーク４４０は、アプリケーション４５１に入力データ４４１及び後述する入力データ４４２を提供するセンサーデータ提供部４０１として機能する。センサーデータ提供部４０１は、入力データ４４１、４４２をアプリケーション実行部４５０に提供可能であればよく、図に示すアーキテクチャーは一例である。入力データ４４１、４４２は検出データともいえる。

アプリケーション実行部４５０は、制御装置３００にインストールされたアプリケーションプログラムを実行する。図５には、アプリケーションの一例として、アプリケーション４５１、および、ＵＩアプリケーション４５２を示す。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

アプリケーション実行部４５０が実行するアプリケーションの数や種類に制限はない。例えば、アプリケーション実行部４５０により、制御装置３００が基本機能として、カレンダー、時計、アラーム、電卓、通話、メッセージング、電子メール、カメラ撮影、写真管理等の機能を実現するアプリケーションを実行してもよい。

アプリケーション４５１は、タッチセンサー３３６に対する操作位置に基づき処理を行うアプリケーションである。例えば、アプリケーション４５１は、画像表示部２０によって文字や画像を表示する機能を実現する。この場合、ＣＯ制御部３１０は、アプリケーション４５１を実行することにより、画像表示部２０に表示させるための表示データを生成し、Ｉ／Ｆ部３４３によりＨＭＤ１００に出力する。ＣＯ制御部３１０は、アプリケーション４５１を実行して、画像表示部２０の表示を制御する表示制御データを生成し、Ｉ／Ｆ部３４３によりＨＭＤ１００に出力する。表示データは、映像データあるいは動画像データであってもよく、例えば、ＨＤＭＩフォーマットの映像データである。表示データは静止画像データであってもよく、文字や記号のデータであってもよい。表示制御データは、例えば、画像表示部２０の表示輝度やコントラストを設定する制御データである。ＣＯ制御部３１０は、第２制御部の一例に対応する。

ＨＭＤ１００は、制御装置３００が出力する表示データに基づき画像表示部２０に画像、映像あるいは文字を表示する。
ＨＭＤ１００は、制御装置３００が出力する表示制御データに従って、画像表示部２０の表示状態を調整、変更する。

カーネル４１０は、タッチセンサードライバー４１１の他にも各種センサーの検出データを取得するドライバーを動作させることが可能であり、これらのドライバーは、それぞれＨＡＬ４３０にイベントを通知する。各ドライバーによるイベントの通知は、タッチセンサードライバー４１１の動作のタイミングに制約されず、例えば並行して実行可能である。同様に、ＨＡＬ４３０に通知されるイベントの数に制限はなく、フレームワーク４４０が保持するデータの数や種類も制限されない。

アプリケーション実行部４５０には、上述のように入力データ４４１、４４２が提供される。アプリケーション実行部４５０は、フレームワーク４４０に対して入力データ４４１、４４２のどちらも要求することができ、この要求に応じて、入力データ４４１または入力データ４４２が提供される。アプリケーション実行部４５０で動作するアプリケーションが入力データ４４１、４４２を参照してもよい。

一例として、アプリケーション４５１が、タッチセンサー３３６の操作に係る相対座標のデータや、タッチパネル３５０に表示されたグラフィカルユーザーインターフェースに特有の操作のデータを利用する場合を想定する。本実施形態のプラットフォーム４００は、アプリケーション４５１に対して、タッチセンサードライバー４１１が取得した検出データをもとに生成される様々な種類の入力データを提供する機能を有する。

ＵＩアプリケーション４５２は、制御装置３００のグラフィカルユーザーインターフェースを構成するアプリケーションである。タッチパネル３５０に入力用の画像を表示させ、タッチパネル３５０の操作位置と入力用の画像との対応に基づいて、入力用の画像に対応する入力データを生成する。

詳細には、ＵＩアプリケーション４５２は、センサーデータ提供部４０１に対しアクセスする権限を有するアプリケーションであり、例えば、制御装置３００のオペレーティングシステムに対してプラグインとして機能する。ＵＩアプリケーション４５２は、ＵＩアプリケーション４５２は、ＨＡＬ４３０に入力イベント４３２を通知する機能を有する。入力イベント４３２は、ＵＩアプリケーション４５２が生成した入力データを含み、タッチセンサー３３６へのタッチ操作の座標とは異なる入力操作を示すイベントである。

ＵＩアプリケーション４５２が入力イベント４３２を通知することにより、ＨＡＬ４３０からフレームワーク４４０に対し、入力イベント４３２に基づく入力データ４４２が渡される。入力データ４４２は、入力イベント４３２に対応する入力操作のデータである。これにより、フレームワーク４４０からアプリケーション４５１に、入力データ４４２が提供される。

入力データ４４２は、Ｘ軸およびＹ軸に基づく絶対座標のデータであってもよい。例えば、入力データ４４２は、入力データ４４１とは異なる方向の座標軸であるＸ軸およびＹ軸を基準とする座標のデータとすることができる。

使用者Ｕが制御装置３００を手に持ったときの制御装置３００の向きは、基本的な位置とは限らない。このため、ＣＯ制御部３１０は、制御装置３００の向きをＣＯ６軸センサー３２３やＣＯ磁気センサー３２４の検出データを用いて判定し、制御装置３００の向きに対応してＬＣＤ３３１の表示を回転させてもよい。この場合、ＣＯ制御部３１０は、タッチセンサー３３６の見かけ上のＸ座標およびＹ座標を、制御装置３００の向きに応じて変更する。

図７は、制御装置３００の向きと操作の検出方向の対応の例を示す模式図である。図７において、制御装置３００の基本的な位置における上端を符号ＴＰで示し、下端を符号ＢＭで示す。

ＵＩアプリケーション４５２は、ＣＯ６軸センサー３２３やＣＯ磁気センサー３２４の検出データに基づいて制御装置３００の向きを判定し、９０度ごとに、ＬＣＤ３３１の表示方向およびタッチセンサー３３６の検出座標のＸ軸、Ｙ軸を変更する。例えば、図７に示したように、上端ＴＰが上、右、下、左の各位置になるよう制御装置３００が回転した場合、Ｙ軸が、現実の上下方向すなわち鉛直方向に沿う向きとなるように回転する。

タッチセンサー３３６におけるＸ軸およびＹ軸方向は、ハードウェアに対して固定的に設定されている。このため、タッチセンサー３３６の検出座標のＸ軸、Ｙ軸を、制御装置３００の向きに応じて変換する処理が行われる。この処理は、例えば、ＵＩアプリケーション４５２によって実行される。

ＵＩアプリケーション４５２は、ＣＯ６軸センサー３２３やＣＯ磁気センサー３２４の検出データを取得し、制御装置３００の向きを判定する。ＵＩアプリケーション４５２は、制御装置３００の向きに応じて入力データ４４１を変換して、変更されたＸ軸およびＹ軸方向を基準とする絶対座標の入力データ４４２を生成する。このように、ＵＩアプリケーション４５２の用途は、絶対座標のデータを他の種類のデータに変換する用途に限定されない。例えば、センサーデータ提供部４０１が提供する絶対座標の入力データ４４１に対し、座標軸を変換する処理に利用可能である。

入力データ４４２の種類および内容は、ＵＩアプリケーション４５２が実行するユーザーインターフェイスによって異なる。以下、制御装置３００においてＵＩアプリケーション４５２により実現されるユーザーインターフェイスについて説明する。

［６．表示システムの表示モード］
図８、図９、図１０、図１１、および図１２は、表示システム１の表示モードの例を示す模式図である。
図８、図９、図１０、図１２では、画像表示部２０の表示と制御装置３００の表示とを対応付けて示す。画像表示部２０は、右表示部２２および左表示部２４の各々が画像を表示するため２つの画像を表示するといえるが、使用者Ｕには１つの画像が認識されるよう動作する。このため、各図には、画像表示部２０を１つの表示部２０５として示し、画像表示部２０が使用者Ｕに視認させる画像を１つの矩形の画像として示す。表示部２０５に表示される各種の画面や表示オブジェクトは、制御装置３００がＨＭＤ１００に出力する表示データに従って表示される。このため、表示システム１の表示モードは、制御装置３００の制御によって実現される。画像表示部２０、および表示部２０５は第１表示部の一例に対応する。ＬＣＤ３３１、およびタッチパネル３５０は、第２表示部の一例に対応する。

図８には、表示システム１の表示モードの一例として、ミラーリングモードを示す。ミラーリングモードは、制御装置３００と画像表示部２０とが同一の画像を表示する表示モードである。図８は、ミラーリングモードでホーム画面５１５、５１６を表示する例を示している。ホーム画面５１５は、制御装置３００の動作の基本状態で表示される画面である。ホーム画面５１５には、操作対象のオブジェクト５１５ａが配置される。各々のオブジェクト５１５ａは、制御装置３００にインストールされている各々のアプリケーション４５１に対応するアイコンである。オブジェクト５１５ａの位置にタッチ操作が行われると、オブジェクト５１５ａに対応するアプリケーション４５１が実行される。

ホーム画面５１５を表示する機能、および、オブジェクト５１５ａに対する操作に応じてアプリケーション４５１を起動する機能は、例えば、ホーム画面用のアプリケーション４５１により提供される。

ミラーリングモードでは、制御装置３００が、タッチパネル３５０に表示する画面と共通の画面を表示するための表示データを生成して、ＨＭＤ１００に出力する。図８に示すミラーリングモードでは、タッチパネル３５０にホーム画面５１５が表示され、表示部２０５にホーム画面５１５と同じホーム画面５１６が表示される。タッチパネル３５０と表示部２０５のアスペクト比は異なっているが、ミラーリングモードでは、表示部２０５に、タッチパネル３５０と同じアスペクト比でホーム画面５１６が表示される。ホーム画面５１５とホーム画面５１６の解像度は完全同一でなくてもよい。
ホーム画面５１６には、ホーム画面５１５のオブジェクト５１５ａと共通のオブジェクト５１６ａが配置されている。

ミラーリングモードでは、センサーデータ提供部４０１は、タッチパネル３５０の操作位置とオブジェクト５１５ａの操作位置との関係を示す入力データ４４２を提供する。例えば、操作位置がいずれかのオブジェクト５１５ａに重なった場合、このオブジェクト５１５ａに対する操作を示す入力データ４４２がＵＩアプリケーション４５２により生成される。この場合、入力データ４４２は、操作されたオブジェクト５１５ａを特定するデータである。入力データ４４２は、オブジェクト５１５ａに対する操作態様を示すデータを含んでもよい。操作態様とは、１回の接触、複数回の連続した接触、基準より長い時間の接触、基準の力を超える圧力の押圧操作等である。

ホーム画面５１５を表示するアプリケーション４５１は、タッチパネル３５０における操作位置の絶対位置を示す入力データ４４１を用いて、オブジェクト５１５ａに対する操作を検出してもよい。
ホーム画面５１５を表示するアプリケーション４５１が入力データ４４２に対応している場合、アプリケーション４５１は、入力データ４４２を参照して、操作されたオブジェクト５１５ａを容易に特定できる。このため、操作されたオブジェクト５１５ａに対応するアプリケーション４５１の起動等を行える。

図９には、表示システム１の表示モードの一例として、表示部２０５とタッチパネル３５０とに異なる表示がなされる拡張スクリーンモードを示す。拡張スクリーンモードは、表示部２０５に加え、タッチパネル３５０を補助的な表示領域として利用することで、表示部２０５を拡張した大きな表示領域を利用する表示モードである。拡張スクリーンモードでは、表示部２０５とタッチパネル３５０に異なる表示がなされ、例えば、表示部２０５が主たる表示領域であり、タッチパネル３５０は補助的な表示領域である。

図９の例では、制御装置３００が動画再生のアプリケーション４５１を実行する。動画再生のアプリケーション４５１の機能により、制御装置３００は、動画再生の操作を行うための操作画面５１８をタッチパネル３５０に表示させ、動画を表示する再生画面５１９を表示部２０５に表示させる。操作画面５１８には、再生する動画を一覧表示し、動画を選択する操作が可能な動画リスト５１８ａと、動画の再生、停止、一次停止等を指示するための操作オブジェクト５１８ｂとが配置されている。一方、再生画面５１９には、再生中の動画、および、再生位置や音量を示すインジケーターが配置される。操作画面５１８を表示中に、タッチパネル３５０に対する操作に応じて、操作位置と動画リスト５１８ａや操作オブジェクト５１８ｂの表示位置とに基づく入力データ４４２が提供される。

図９の例では、動画再生のアプリケーション４５１が、タッチパネル３５０における操作位置の絶対位置を示す入力データ４４１を用いて、動画リスト５１８ａや操作オブジェクト５１８ｂに対する操作を検出してもよい。
動画再生のアプリケーション４５１が入力データ４４２に対応している場合、アプリケーション４５１は、入力データ４４２を参照して、操作された動画リスト５１８ａや操作オブジェクト５１８ｂを容易に特定できる。このため、操作に対応して動画再生動作を実行できる。

図１０には、表示システム１の表示モードの一例として、トラックパッドモードを示す。トラックパッドモードでは、タッチパネル３５０は接触操作を行う入力デバイスとして機能する。トラックパッドモードは、本発明の入力パッドモードの一例に対応する。

トラックパッドモードにおいて、ＬＣＤ３３１には、トラックパッド画面５２４が表示される。トラックパッド画面５２４は、表示されるオブジェクトを含まず、非表示状態に見える画面であってもよい。また、トラックパッド画面５２４は、例えば、ＬＣＤ３３１により、図１０に示すようにガイド５２５を含み、タッチパネル３５０がトラックパッドとして操作を検出する検出領域を使用者Ｕに示してもよい。また、トラックパッド画面５２４は、図１０に示すようにタッチパネル３５０がトラックパッドとして機能することを示す文字列を含んでもよい。

トラックパッドモードでは、使用者Ｕがタッチパネル３５０により、表示部２０５に表示されたホーム画面５２１に対する操作を行う。ホーム画面５２１には、アプリケーション４５１に対応するアイコン等のオブジェクト５２１ａが配置されている。ホーム画面５２１には、タッチパネル３５０における操作位置を示すポインター５２２、あるいは、カーソル５２３が表示され、使用者Ｕはポインター５２２やカーソル５２３を見ながら、タッチパネル３５０を操作する。

トラックパッドモードでは、ホーム画面５２１を表示するアプリケーション４５１は、操作位置の絶対座標のデータを含む入力データ４４１を参照して、動作してもよい。

トラックパッドモードにおいて、ＵＩアプリケーション４５２は、入力データ４４１を表示部２０５における操作位置に換算して、入力データ４４２を生成する。つまり、タッチパネル３５０の操作位置を、アスペクト比や形状が異なる表示部２０５における操作位置に変換したデータを、入力データ４４２として提供する。この場合、アプリケーション４５１は、表示部２０５に配置されたオブジェクト５２１ａと、入力データ４４２とに基づいて、オブジェクト５２１ａに対する操作を検出できる。
入力データ４４２は、表示部２０５を基準として変換された操作位置を示すため、入力データ４４２に従ってポインター５２２やカーソル５２３を表示できる。

トラックパッドモードは、図８に示したミラーリングモードを変形した表示モードということができる。例えば、制御装置３００において、ホーム画面を表示する際の表示モードが予め設定されていてもよい。この場合、ＣＯ制御部３１０は、ホーム画面の表示が指示された場合に設定を参照し、ミラーリングモードでホーム画面５１５、５１６を表示する動作、および、トラックパッドモードでホーム画面５２１を表示する動作のいずれかを行う。

図１１には、表示システム１の表示モードの一例として、仮想デバイスモードを示す。仮想デバイスモードでは、タッチパネル３５０を、いわゆるゲームパッド等の入力デバイスとして機能させる。図１１は仮想デバイスモードにおけるタッチパネル３５０の表示例を示し、図１１（ａ）は第１仮想デバイスモードにおける表示例、図１１（ｂ）は第２仮想デバイスモードにおける表示例、図１１（ｃ）は第３仮想デバイスモードにおける表示例である。

第１仮想デバイスモードでは、タッチパネル３５０に、入力デバイス画面５３１が表示される。入力デバイス画面５３１には、表示オブジェクトとして、方向キーを模したオブジェクト５３１ａ、および、トラックパッドとして機能する領域を示すガイド画像５３１ｂが配置されている。オブジェクト５３１ａは、上、下、左、右の各方向を指示するキーが一体となった、いわゆる十字キーの形状を模した画像である。使用者Ｕは、オブジェクト５３１ａの位置にタッチ操作を行うことで、十字キーと同様の操作を行う。使用者Ｕは、ガイド画像５３１ｂの枠内にタッチ操作を行うことで、トラックパッドと同様の操作を行う。

第１仮想デバイスモードの実行時、センサーデータ提供部４０１は、入力データ４４１に基づいて、オブジェクト５３１ａおよびガイド画像５３１ｂに対する操作を示す入力データ４４２を提供する。この場合の入力データ４４２は、オブジェクト５３１ａの上、下、左、右の方向の操作データ、および、ガイド画像５３１ｂにおける操作位置の座標のデータを含む。

入力データ４４１は、タッチパネル３５０の全体における操作位置の絶対座標のデータである。ＵＩアプリケーション４５２は、入力データ４４１の座標のデータから、入力デバイス画面５３１で指定された範囲の座標のデータを取得し、表示部２０５、或いは予め設定された操作領域の全体を基準とする座標のデータに変換する。これにより、入力データ４４２は、入力デバイス画面５３１の外観と同じハードウェア入力デバイスを使用した場合のような、入力データとなる。

第２仮想デバイスモードでは、タッチパネル３５０に、入力デバイス画面５３２が表示される。入力デバイス画面５３２には、表示オブジェクトとして、方向キーを模したオブジェクト５３２ａ、および、ボタンを模した複数のオブジェクトを含むオブジェクト群５３２ｂが配置されている。オブジェクト５３２ａは、オブジェクト５３１ａと同様に十字キーの形状を模した画像である。使用者Ｕは、オブジェクト５３２ａの位置にタッチ操作を行うことで、十字キーと同様の操作を行う。また、使用者Ｕは、オブジェクト群５３２ｂの各オブジェクトの位置にタッチ操作を行うことで、ハードウェアキーと同様の押圧操作を行う。

第２仮想デバイスモードの実行時、センサーデータ提供部４０１は、入力データ４４１に基づいて、オブジェクト５３２ａおよびオブジェクト群５３２ｂに対する操作を示す入力データ４４２を提供する。この場合の入力データ４４２は、オブジェクト５３２ａの上、下、左、右の方向の操作データ、および、オブジェクト群５３２ｂの各オブジェクトに対する操作を示すデータを含む。

ＵＩアプリケーション４５２は、タッチパネル３５０の全体における絶対座標のデータを含む入力データ４４１を、オブジェクト５３２ａおよびオブジェクト群５３２ｂの表示位置に基づいて変換し、入力データ４４２を生成する。これにより、入力データ４４２は、入力デバイス画面５３２の外観と同じハードウェア入力デバイスを使用した場合のような、入力データとなる。

第１仮想デバイスモード、および、第２仮想デバイスモードにおいて、表示部２０５には、オブジェクト５３１ａ、５３２ａによるカーソル操作を利用するアプリケーション４５１の画面が表示される。例えば、ゲームや描画を行うアプリケーション４５１が利用可能である。また、第１仮想デバイスモード、および、第２仮想デバイスモードにおいて表示部２０５にホーム画面５２１が表示されてもよく、この場合、例えばオブジェクト５３１ａ、５３２ａによりポインター５２２を移動させる操作を行うことができる。

第３仮想デバイスモードでは、タッチパネル３５０に、入力デバイス画面５３３が表示される。入力デバイス画面５３３には、表示オブジェクトとして、音声や映像の再生に係る操作を行うキーを模したオブジェクト５３３ａ、５３３ｂ、５３３ｃ、５３３ｄが配置されている。図１１（ｃ）の例では、オブジェクト５３３ａは再生キー、オブジェクト５３３ｂは停止キー、オブジェクト５３３ｃは戻しキー、オブジェクト５３３ｄは送りキーを模している。使用者Ｕは、オブジェクト５３３ａ、５３３ｂ、５３３ｃ、５３３ｄの各々の表示位置にタッチ操作を行うことで、ハードウェアキーと同様の操作を行う。第３仮想デバイスモードにおいて、表示部２０５には、例えば再生画面５１９が表示される。

第３仮想デバイスモードの実行時、センサーデータ提供部４０１は、入力データ４４１に基づいて、オブジェクト５３３ａ、５３３ｂ、５３３ｃ、５３３ｄに対する操作を示す入力データ４４２を提供する。この場合の入力データ４４２は、例えば、再生キー、停止キー、戻しキー、送りキーに対する操作を示すデータを含む。

ＵＩアプリケーション４５２は、タッチパネル３５０の全体における絶対座標のデータを含む入力データ４４１を、オブジェクト５３３ａ、５３３ｂ、５３３ｃ、５３３ｄの表示位置に基づいて変換し、入力データ４４２を生成する。これにより、入力データ４４２は、入力デバイス画面５３２の外観と同じハードウェア入力デバイスを使用した場合のような、入力データとなる。

このように、第１、第２および第３仮想デバイスモードでは、タッチパネル３５０を、仮想的にハードウェア入力デバイスの代替として機能させることができる。このため、ハードウェア入力デバイスの使用を前提に作成されたアプリケーション４５１を、タッチパネル３５０により操作できる。

図１２には、表示システム１の表示モードの一例として、ソフトウェアキーボードモードを示す。ソフトウェアキーボードモードは、タッチパネル３５０を用いて文字入力を行う場合に実行される、文字入力用の表示モードである。ソフトウェアキーボードモードは、本発明の文字入力モードの一例に対応する。
表示部２０５には、文字入力部５４１ａが配置された文字入力画面５４１が表示される。文字入力画面５４１は、例えば、ウェブブラウザーのアプリケーション４５１が、検索文字列やＵＲＬの入力を受け付ける場合に表示される。

タッチパネル３５０には、ソフトウェアキーボード５４２ａが配置されたキーボード画面５４２が表示される。ソフトウェアキーボード５４２ａは、キーボードを模した入力用の画像である。制御装置３００が縦方向で使用される場合、タッチパネル３５０に、キーボード画面５４２に代えてキーボード画面５４３を表示することが可能である。キーボード画面５４３は、タッチパネル３５０が縦長となる場合に対応するソフトウェアキーボード５４３ａを含む。ソフトウェアキーボード５４３ａは、ソフトウェアキーボード５４２ａに比べてキーの数が少ない画像であってもよい。

ソフトウェアキーボードモードでは、使用者Ｕがタッチパネル３５０により、ソフトウェアキーボード５４２ａ、５４３ａに対する操作を行うことで、文字入力部５４１ａに文字が入力される。

ＵＩアプリケーション４５２は、入力データ４４１を、ソフトウェアキーボード５４２ａ、５４３ａにおける操作位置に換算し、操作された文字や記号を含む入力データ４４２を生成する。つまり、タッチパネル３５０の操作位置を、ソフトウェアキーボード５４２ａ、５４３ａで操作されたキーに変換したデータを、入力データ４４２として提供する。この場合、アプリケーション４５１は、キー入力に応じた動作を実行できる。

［７．制御装置の動作］
図１３は、表示システム１の動作状態の遷移を示す説明図である。
表示システム１の動作状態は、第１状態ＳＴ１、第２状態ＳＴ２、および第３状態ＳＴ３の３つに大別される。

第１状態ＳＴ１は、ＨＭＤ１００および制御装置３００が表示をしていない状態である。第１状態ＳＴ１は、ＨＭＤ１００および制御装置３００が通常動作可能であり、表示をオフにしている状態を含む。また、第１状態ＳＴ１には、ＨＭＤ１００および制御装置３００の停止状態、および、スリープ状態を含む。

停止状態は、制御装置３００、またはＨＭＤ１００と制御装置３００の両方の電源がオフにされている状態である。スリープ状態は、いわゆる省電力状態であり、ＨＭＤ１００および制御装置３００は表示を行っていない。スリープ状態において、制御装置３００は、ＣＯ制御部３１０、ＣＯ入力部３３５、およびＩ／Ｆ部３４３を含む最小限の機能部が動作し、他の機能部は停止する。スリープ状態において、ＨＭＤ１００が、ＤＰ制御部１２０およびＩ／Ｆ部１１０を含む最小限の機能部が動作し、他の機能部への電源供給がなされていない状態であってもよい。
第１状態ＳＴ１で、制御装置３００およびＨＭＤ１００が通常動作可能である場合、ＣＯ制御部３１０は、画面表示を伴わない態様でアプリケーション４５１を実行可能である。

第２状態ＳＴ２は、制御装置３００の制御により、ＨＭＤ１００および制御装置３００の少なくともいずれかがロック画面を表示している状態である。ＨＭＤ１００および制御装置３００の機能部は通常動作を実行可能である。第２状態ＳＴ２は、ロック状態ということもできる。
第２状態ＳＴ２では、アプリケーション４５１の起動や停止等の操作が受け付けられない。使用者Ｕによって、予め設定されたロック解除操作が行われるまで第２状態ＳＴ２が継続する。例えば、ロック解除操作以外の操作が行われても、ロック画面の表示が維持される。第２状態ＳＴ２において、ＣＯ制御部３１０は、画面表示を伴わない態様で、バックグラウンドでアプリケーション４５１を実行可能である。

第３状態ＳＴ３は、表示システム１の通常動作状態に相当する。第３状態ＳＴ３では、ＨＭＤ１００は、制御装置３００が送信する表示データに基づいて、画像表示部２０により画像を表示する。制御装置３００は、タッチパネル３５０により操作を受け付けて、アプリケーション４５１を実行し、タッチパネル３５０に画像を表示する。

ＣＯ制御部３１０は、予め設定された起動条件が成立した場合に、表示システム１を第１状態ＳＴ１から第２状態ＳＴ２へ移行させる。起動条件は、スイッチ３３７の操作等が挙げられる。例えば、制御装置３００がスリープ状態である場合の起動条件は、スイッチ３３７の押下であり、制御装置３００が停止状態である場合の起動条件は、スイッチ３３７を所定時間以上、押し続ける操作である。

起動条件は、スイッチ３３７の操作に限定されず、ＣＯ制御部３１０が検知可能な操作であればよい。例えば、起動条件は、制御装置３００の本体を動かす操作であってもよい。この場合、ＣＯ制御部３１０は、ＣＯ６軸センサー３２３やＣＯ磁気センサー３２４により制御装置３００の動きや変位を検知し、駆動条件を判定できる。また、ＣＯカメラ３２２により撮像される使用者Ｕの腕や足等の身体の動き、または、使用者Ｕが手に持つデバイス等の指示体の動きを、起動条件とすることもできる。この場合、ＣＯ制御部３１０は、ＣＯカメラ３２２の撮像画像をもとに起動条件を判定できる。また、起動条件は、操作部１４０に対する操作であってもよいし、画像表示部２０に搭載されたＤＰ外側カメラ６１や各種センサーが検出する操作であってもよい。例えば、ＣＯ制御部３１０は、ＤＰ外側カメラ６１の撮像画像に基づき、使用者Ｕの身体の動きや使用者Ｕが手に持つデバイス等の指示体の動きからなる起動条件を判定してもよい。また、画像表示部２０を装着した使用者Ｕの頭部の動きを、起動条件としてもよい。また、画像表示部２０を叩く操作、タップする操作を、起動条件としてもよい。この場合、画像表示部２０が搭載するＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７、或いは不図示のタッチセンサーの検出値に基づいて、ＣＯ制御部３１０が、起動条件の有無を判定できる。すなわち、画像表示部２０がタッチセンサーを備え、使用者Ｕによるタッチ操作を検出可能な構成において、タッチセンサーへのタッチ操作を起動条件としてもよい。この場合、タッチ操作の操作位置の変化や軌跡等に条件を設け、予め設定された態様のタッチ操作を起動条件としてもよい。

ＣＯ制御部３１０は、第２状態ＳＴ２において予め設定されたロック解除操作が行われると、表示システム１を第３状態ＳＴ３に移行させる。ロック解除操作は、ＣＯ入力部３３５が検出する操作や、ＣＯカメラ３２２または各種センサーが検出する操作であってもよい。例えば、制御装置３００の本体を動かす操作をロック解除操作としてもよく、この場合、ＣＯ制御部３１０は、ＣＯ６軸センサー３２３やＣＯ磁気センサー３２４により制御装置３００の動きや変位を検知し、ロック解除操作の有無を判定できる。また、ＣＯカメラ３２２により撮像される使用者Ｕの腕や足等の身体の動き、または、使用者Ｕが手に持つデバイス等の指示体の動きを、ロック解除操作とすることもできる。この場合、ＣＯ制御部３１０は、ＣＯカメラ３２２の撮像画像をもとにロック解除操作の有無を判定できる。また、ロック解除操作は、操作部１４０に対する操作であってもよいし、画像表示部２０に搭載されたＤＰ外側カメラ６１や各種センサーが検出する操作であってもよい。ロック解除操作の具体例としては、タッチパネル３５０において特定の軌跡を描くようにタッチする操作が挙げられる。例えば、ＣＯ制御部３１０は、ＤＰ外側カメラ６１の撮像画像に基づき、使用者Ｕの身体の動きや使用者Ｕが手に持つデバイス等の指示体の動きからなるロック解除操作の有無を判定してもよい。また、画像表示部２０を装着した使用者Ｕの頭部の動きを、ロック解除操作としてもよい。また、画像表示部２０を叩く操作、タップする操作を、ロック解除操作としてもよい。この場合、画像表示部２０が搭載するＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７、或いは不図示のタッチセンサーの検出値に基づいて、ＣＯ制御部３１０が、ロック解除操作の有無を判定できる。

ＣＯ制御部３１０は、第２状態ＳＴ２において、画面表示をオフにする操作、または、電源をオフにする操作が行われると、第１状態ＳＴ１に移行する。この場合の操作は、ロック解除操作とは異なる操作であればよい。例えば、スイッチ３３７の押下、スイッチ３３７の所定時間以上の押下等が挙げられるが、制御装置３００およびＨＭＤ１００が検知可能な操作であればよい。

また、ＣＯ制御部３１０は、第３状態ＳＴ３において、画面表示をオフにする操作、または、電源をオフにする操作が行われると、第１状態ＳＴ１に移行する。この場合の操作は、制御装置３００およびＨＭＤ１００が検知可能な操作であれば制限はない。例えば、スイッチ３３７の押下、スイッチ３３７の所定時間以上の押下等が挙げられる。

図１４および図１５は、制御装置３００の動作を示すフローチャートであり、表示システム１の表示モードの選択に関する動作を示す。
図１４の動作は、制御装置３００の電源がオフの状態で開始される。ＣＯ制御部３１０は、起動条件が成立したことをトリガーとして起動シーケンスを実行する（ステップＳ１１）。これにより、制御装置３００は第１状態ＳＴ１から第２状態ＳＴ２に移行する。

起動シーケンスの後、ＣＯ制御部３１０は、ＨＭＤ１００が有効であるか否かを判定する（ステップＳ１２）。ステップＳ１２では、制御装置３００にＨＭＤ１００が接続され、ＨＭＤ１００が制御装置３００の制御により有効に動作するか否かが判定される。
ＨＭＤ１００が有効でない場合（ステップＳ１２；ＮＯ）、ＣＯ制御部３１０は、ステップＳ１２で待機する。ＨＭＤ１００が有効である場合（ステップＳ１２；ＹＥＳ）、ＣＯ制御部３１０は、ロック画面を表示するか否かを判定する（ステップＳ１３）。例えば、制御装置３００が起動して最初にステップＳ１３を実行する場合にはロック画面を表示する。

ロック画面を表示する場合（ステップＳ１３；ＹＥＳ）、ＣＯ制御部３１０は、表示システム１の表示モードをミラーリングモードにする（ステップＳ１４）。これにより、表示システム１が第１状態ＳＴ１から第２状態ＳＴ２に移行する際にミラーリングモードが実行される。
ＣＯ制御部３１０は、ロック画面の表示を最初に表示した状態か否かを判定する（ステップＳ１５）。

ロック画面を最初に表示した状態である場合、すなわち第２状態ＳＴ２に移行してから最初にステップＳ１５を実行する場合、ＣＯ制御部３１０は肯定判定する（ステップＳ１５；ＹＥＳ）。この場合、ＣＯ制御部３１０はステップＳ１５で待機する。ロック画面を表示してから処理が経過している場合（ステップＳ１５；ＮＯ）、ＣＯ制御部３１０は、ロック解除操作が行われたか否かを判定する（ステップＳ１６）。

ロック解除操作が行われていない、或いは、タッチパネル３５０に対する操作がロック解除操作に該当しない場合、ＣＯ制御部３１０は否定判定する（ステップＳ１６；ＮＯ）。この場合、ＣＯ制御部３１０は、表示システム１の表示を終了するイベントの有無を判定する（ステップＳ１７）。表示システム１の表示を終了するイベントは、例えば、ＨＭＤ１００が制御装置３００から取り外されたこと等である。表示を終了するイベントがあった場合（ステップＳ１７；ＹＥＳ）、ＣＯ制御部３１０は、制御装置３００の動作を終了するか否かを判定する（ステップＳ１８）。動作を終了する場合（ステップＳ１８；ＹＥＳ）、ＣＯ制御部３１０は終了シーケンスを実行して本処理を終了する。動作を終了しない場合（ステップＳ１８；ＮＯ）、ＣＯ制御部３１０はステップＳ１２に戻る。

ロック解除操作が行われた場合（ステップＳ１６；ＹＥＳ）、ＣＯ制御部３１０は、表示システム１を第２状態ＳＴ２から第３状態ＳＴ３に移行させ、ステップＳ１８の動作に移行する。

表示システム１の表示を終了するイベントがない場合（ステップＳ１７；ＮＯ）、ＣＯ制御部３１０はステップＳ１５に戻る。

一方、表示システム１がロック画面でない場合（ステップＳ１３；ＮＯ）、ＣＯ制御部３１０は、ステップＳ１２の前に実行していた表示モード、すなわち直前の表示モードを示す情報を取得する（ステップＳ１９）。ＣＯ制御部３１０は、例えば、現在の表示モードを示す情報を不揮発性メモリー３１３に記憶させ、表示システム１の表示モードを切り替える毎に情報を更新する。ＣＯ制御部３１０は、直前の表示モードがミラーリングモードであるか否かを判定する（ステップＳ２０）。直前の表示モードがミラーリングモードであった場合（ステップＳ２０；ＹＥＳ）、ＣＯ制御部３１０はステップＳ１４に移行する。

直前の表示モードがミラーリングモードでない場合（ステップＳ２０；ＮＯ）、ＣＯ制御部３１０は、直前の表示モードが仮想デバイスモードであるか否かを判定する（ステップＳ２１）。直前の表示モードが仮想デバイスモードでない場合（ステップＳ２１；ＮＯ）、ＣＯ制御部３１０は、表示システム１の表示モードをトラックパッドモードにする（ステップＳ２２）。ＣＯ制御部３１０は、表示システム１の表示を終了するイベントの有無を判定し（ステップＳ２３）、表示を終了するイベントがあった場合（ステップＳ２３；ＹＥＳ）、ステップＳ１８に移行する。表示を終了するイベントがない場合（ステップＳ２３；ＮＯ）、ＣＯ制御部３１０は、ステップＳ２３でトラックパッドモードを継続する。

直前の表示モードが仮想デバイスモードであった場合（ステップＳ２１；ＹＥＳ）、ＣＯ制御部３１０は、表示システム１の表示モードを仮想デバイスモードにする（ステップＳ３１）。ここで、ＣＯ制御部３１０は、ソフトウェアキーボードを使用する状態か否かを判定する（ステップＳ３２）。ソフトウェアキーボードを使用しない場合（ステップＳ３２；ＮＯ）、ＣＯ制御部３１０は、表示システム１の表示を終了するイベントの有無を判定する（ステップＳ３３）。表示を終了するイベントがあった場合（ステップＳ３３；ＹＥＳ）、ＣＯ制御部３１０は仮想デバイスモードを終了し（ステップＳ３４）、ステップＳ１８に移行する。表示を終了するイベントがない場合（ステップＳ３３；ＮＯ）、ＣＯ制御部３１０は、ステップＳ３１に戻る。

ステップＳ３２において、ＣＯ制御部３１０は、アプリケーション４５１により表示された画面が文字入力を要する画面である場合、または、タッチパネル３５０の操作により文字入力の開始が指示された場合に、肯定判定する（ステップＳ３２；ＹＥＳ）。この場合、ＣＯ制御部３１０は、ソフトウェアキーボードモードを実行する（ステップＳ３５）。ＣＯ制御部３１０は、ソフトウェアキーボードによる入力が完了したか否かを判定し（ステップＳ３６）、入力が完了した場合（ステップＳ３６；ＹＥＳ）、ステップＳ３１に戻って表示モードを仮想デバイスモードに切り替える。

ソフトウェアキーボードによる入力が完了していない場合（ステップＳ３６；ＮＯ）、ＣＯ制御部３１０は、表示システム１の表示を終了するイベントの有無を判定する（ステップＳ３７）。表示を終了するイベントがあった場合（ステップＳ３７；ＹＥＳ）、ＣＯ制御部３１０はソフトウェアキーボードモードを終了し（ステップＳ３８）、ステップＳ１８に移行する。表示を終了するイベントがない場合（ステップＳ３７；ＮＯ）、ＣＯ制御部３１０は、ステップＳ３６に戻る。

図１４および図１５に示す動作において、ＣＯ制御部３１０は、表示モードを切り替えた場合に、表示モードの切り替えを使用者Ｕに通知する動作を行ってもよい。例えば、ＣＯ制御部３１０は、表示モードの切り替えに伴って表示部２０５の表示が変更しない場合に、バイブレーター３２６による振動発生、および／または音声出力部３２７による音声出力を行って、表示モードの切り替えを報知してもよい。具体的には、仮想デバイスモードにおける第１、第２、第３仮想デバイスモード間の変更や、仮想デバイスモードからソフトウェアキーボードモードへの変更およびその逆の変更を行う場合が挙げられる。このような場合に、ＣＯ制御部３１０は、表示モードの切り替えを知らせるメッセージを表示するための表示データを生成し、ＨＭＤ１００に送信してもよい。さらに、ＣＯ制御部３１０は、変更前または変更後の表示モードに関する情報を表示するための表示データを生成し、ＨＭＤ１００に送信してもよい。また、ＣＯ制御部３１０は、表示モードの切り替えに伴って表示部２０５の表示が変更する場合に、変更前または変更後の表示モードに関する情報を表示するための表示データを生成し、ＨＭＤ１００に送信して、表示部２０５の表示による通知を行ってもよい。また、上記実施形態では、一例として、図１４および図１５に示したように、ＣＯ制御部３１０が、第１状態ＳＴ１から第２状態ＳＴ２に移行してロック解除操作を要求する場合に、表示モードをミラーリングモードにする例を説明した。ＣＯ制御部３１０は、第２状態ＳＴ２から第３状態ＳＴ３に移行する際に、表示モードをミラーリングモードに切り替えてもよい。また、第２状態ＳＴ２から第３状態ＳＴ３に移行する際に表示モードをミラーリングモードに切り替えてもよく、その他の例も実行可能である。

［８．実施形態の作用及び効果］
以上説明したように、本発明を適用した実施形態における表示システム１は、画像表示部２０を有するＨＭＤ１００と、ＨＭＤ１００に接続される制御装置３００と、を備える。制御装置３００は、ＬＣＤ３３１、および、ＬＣＤ３３１に重ねて配置されたタッチセンサー３３６を備える。表示システム１は、画像表示部２０およびＬＣＤ３３１の表示を共通とする第１表示モード、および、画像表示部２０とＬＣＤ３３１との表示が異なる第２表示モードを含む複数の表示モードを有する。表示システム１は、画像表示部２０およびＬＣＤ３３１の少なくともいずれかの表示を停止する第１状態ＳＴ１、特定の操作を要求する第２状態ＳＴ２、および、アプリケーション４５１を実行可能な第３状態ＳＴ３を実行可能である。表示システム１は、第１状態ＳＴ１から他の状態への移行、第２状態ＳＴ２から他の状態への移行、または第３状態ＳＴ３から他の状態への移行のうち特定の移行において、画像表示部２０およびＬＣＤ３３１の表示モードを第１表示モードとする。

表示システム１により実行される表示方法は、画像表示部２０およびＬＣＤ３３１の表示を共通とする第１表示モード、および、画像表示部２０とＬＣＤ３３１との表示が異なる第２表示モードを含む複数の表示モードを実行する。画像表示部２０およびＬＣＤ３３１の少なくともいずれかの表示を停止する第１状態ＳＴ１、ロック解除操作を要求する第２状態ＳＴ２、および、アプリケーション４５１を実行可能な第３状態ＳＴ３を実行可能である。第１状態ＳＴ１から他の状態への移行、第２状態ＳＴ２から他の状態への移行、または第３状態ＳＴ３から他の状態への移行のうち特定の移行において、画像表示部２０およびＬＣＤ３３１の表示モードを第１表示モードとする。

制御装置３００のＣＯ制御部３１０が実行するプログラムは、画像表示部２０およびＬＣＤ３３１の表示を共通とする第１表示モード、および、画像表示部２０とＬＣＤ３３１との表示が異なる第２表示モードを含む複数の表示モードを切り替え可能である。画像表示部２０およびＬＣＤ３３１の少なくともいずれかの表示を停止する第１状態ＳＴ１、特定の操作を要求する第２状態ＳＴ２、および、アプリケーション４５１を実行可能な第３状態ＳＴ３を切り替えて実行する。第１状態ＳＴ１から他の状態への移行、第２状態ＳＴ２から他の状態への移行、または第３状態ＳＴ３から他の状態への移行のうち特定の移行において、画像表示部２０およびＬＣＤ３３１の表示モードを第１表示モードとする。

表示システム１が切り替えて実行可能な表示モードは、例えば、ミラーリングモード、拡張スクリーンモード、トラックパッドモード、仮想デバイスモード、ソフトウェアキーボードモードである。第１表示モードは、例えば、ミラーリングモードである。第２表示モードは、拡張スクリーンモード、トラックパッドモード、仮想デバイスモード、ソフトウェアキーボードモードから選択される。第１仮想デバイスモード、第２仮想デバイスモード、および、第３仮想デバイスモードは、それぞれ異なる表示モードということができ、１つの仮想デバイスモードの異なる態様といってもよい。

特定の移行は、例えば、第１状態ＳＴ１から第２状態ＳＴ２への移行、第２状態ＳＴ２から第３状態ＳＴ３への移行、第３状態ＳＴ３から第１状態ＳＴ１への移行のいずれかのうち、予め設定された移行である。例えば、表示システム１は、第１状態ＳＴ１から第２状態ＳＴ２に移行する際に、画像表示部２０およびＬＣＤ３３１の表示モードを第１表示モードとする。

表示システム１、表示システム１が実行する表示方法、および、上記プログラムによれば、表示システム１の状態が第１状態ＳＴ１、第２状態ＳＴ２、第３状態ＳＴ３の間で遷移する際に、画像表示部２０およびＬＣＤ３３１の表示を共通とする第１表示モードが実行される。このため、使用者Ｕは、タッチパネル３５０または表示部２０５のいずれか所望の表示を見ながら、特定の操作を行うことができる。このため、使用者Ｕは、手探りで実行することが困難な場合に、表示部２０５とタッチパネル３５０のいずれか一方を見れば、簡単にロック解除操作を行える。これにより、２つの表示部である画像表示部２０とＬＣＤ３３１とを利用する場合に、使用者Ｕが直感的な操作を行える。特に、上述したロック解除操作のように、タッチパネル３５０に対する操作を行う場合、第２状態ＳＴ２でミラーリングモードが実行されると、表示部２０５の表示状態に関わらず、タッチパネル３５０の表示を見ながら容易に操作できる。従って、複数の表示部を使用者Ｕが使用する場合の利便性の向上を図ることができる。

例えば、表示システム１は、第１状態ＳＴ１から第２状態ＳＴ２に移行する際に、画像表示部２０およびＬＣＤ３３１の表示モードを第１表示モードとする。第２状態ＳＴ２で要求される特定の操作は、例えば、上述したロック解除操作であり、使用者Ｕが手探りで実行することが困難な場合がある。表示システム１では、第２状態ＳＴ２に移行してロック解除操作が要求された場合に、使用者Ｕが、表示部２０５とタッチパネル３５０のいずれか一方を見れば、簡単にロック解除操作を行える。このため、２つの表示部である画像表示部２０とＬＣＤ３３１とを利用する場合に、使用者Ｕが直感的な操作を行える。特に、上述したロック解除操作のように、タッチパネル３５０に対する操作を行う場合、第２状態ＳＴ２でミラーリングモードが実行されると、表示部２０５の表示状態に関わらず、タッチパネル３５０の表示を見ながら容易に操作できる。従って、複数の表示部を使用者Ｕが使用する場合の利便性の向上を図ることができる。

ＨＭＤ１００は、使用者Ｕの頭部に装着される画像表示部２０を備える頭部装着型表示装置である。このため、画像表示部２０を装着した状態において、使用者Ｕが手探りで操作することが難しい場合に、表示モードを第１表示モードとすることで操作の利便性を向上できる。さらに、画像表示部２０のように、外景を視認可能に画像を表示する表示部の場合には、画像表示部２０を装着した使用者Ｕが、タッチパネル３５０を見ながら操作を行うことが可能である。このため、画像表示部２０の表示のみに頼らない操作が可能となるため、利便性のより一層の向上を図ることができる。
例えば、使用者Ｕが画像表示部２０を装着した状態で、ロック解除操作を行う場合、画像表示部２０によってロック画面が視認される一方、タッチパネル３５０に画面が表示されていないと、使用者Ｕは画像表示部２０の表示を頼りにタッチパネル３５０や、他の操作部を操作する必要がある。このような場合、表示システム１によれば、表示がミラーリングモードに設定されるので、使用者Ｕは、画像表示部２０を装着した状態であってもタッチパネル３５０の表示を見ながらロック解除操作を行うことができる。

ＨＭＤ１００は、制御装置３００から入力されるデータに基づき画像表示部２０の表示を制御する表示制御部１２４を備える。制御装置３００は、画像表示部２０の表示を制御するデータを生成し、ＬＣＤ３３１の表示を制御し、アプリケーション４５１を実行するＣＯ制御部３１０を備える。ＣＯ制御部３１０は、第１状態ＳＴ１において起動条件が成立した場合に制御装置３００を第２状態ＳＴ２に移行させる。ＣＯ制御部３１０は、第２状態ＳＴ２においてタッチセンサー３３６により特定の操作を検出した場合に、制御装置３００を第３状態ＳＴ３に移行させる。この構成では、ＣＯ制御部３１０によって、表示部として表示部２０５とタッチパネル３５０とを利用可能な表示システム１の動作状態を、制御装置３００によって適切に制御できる。また、第１状態ＳＴ１から第２状態ＳＴ２に移行した場合に、表示部２０５とタッチパネル３５０の表示が共通となるので、使用者Ｕは、画像表示部２０を装着したままで、表示システム１を制御する制御装置３００に対する操作を容易に行える。

タッチセンサー３３６により特定の操作を検出した場合に、予め設定された表示モードで、第２状態ＳＴ２から第３状態ＳＴ３に移行する。これにより、使用者Ｕは、制御装置３００に対するタッチ操作によってロックを解除し、アプリケーション４５１を実行させることができる。

制御装置３００は、スイッチ３３７を有するＣＯ入力部３３５を備え、ＣＯ入力部３３５に対する操作に応じて第１状態ＳＴ１から第２状態ＳＴ２に移行する。この構成では、使用者Ｕは、簡単な操作によって表示システム１を第１状態ＳＴ１から第２状態ＳＴ２に移行させることができる。

表示システム１は、画像表示部２０の表示によって、実行中の表示モードを通知してもよい。この場合、表示モードが切り替わったことを、使用者Ｕが装着する画像表示部２０の表示によって、使用者Ｕに確実に知らせることができる。

第２表示モードは、仮想デバイスモード、ソフトウェアキーボードモード、および、入力パッドモードのいずれかを含む。このため、制御装置３００を利用する入力操作の操作性の向上を図ることができる。

ＣＯ制御部３１０は、アプリケーション４５１が文字入力を必要とする場合に表示モードをソフトウェアキーボードモードに切り替え、文字入力が完了した場合に、ソフトウェアキーボードモードに切り替える前の表示モードを実行する。このため、制御装置３００を用いて文字入力を行う場合の操作性を、より一層、向上させることができる。

本発明は上記各実施形態で説明した構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、表示システム１は頭部装着型の表示装置であるＨＭＤ１００を備える構成を例示したが、本発明はこれに限定されず、各種の表示装置を採用できる。例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

ＨＭＤ１００は、本発明の適用対象となる表示装置の一例であり、図３に示す構成に限定されない。例えば、上記実施形態では、画像表示部２０と接続装置１０とが分離された構成を例に挙げて説明したが、接続装置１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、画像表示部２０の光学系の構成は任意であり、例えば、使用者Ｕの眼の前方に位置して使用者Ｕの視界の一部または全部に重なる光学部材を用いてもよい。或いは、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。或いは、光学部材の内部で画像光を導光させるものに限らず、使用者Ｕの眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
また、表示装置として、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを採用してもよい。プラズマディスプレイパネル、有機ＥＬ表示パネルを備えた表示装置を用いてもよい。この場合、表示パネルが本発明の表示部に相当する。また、表示装置として、画像光をスクリーン等に投射するプロジェクターを用いてもよい。

また、例えば、図３に示したＨＭＤ１００において、接続装置１０を、ＵＳＢ−ＴｙｐｅＣコネクター、ＵＳＢ−ＴｙｐｅＣコントローラー、及び、ＵＳＢハブを利用して構成してもよい。この場合、ＤＰ外側カメラ６１や、その他のセンサーを、ＵＳＢハブに接続してもよい。また、画像表示部２０における右表示部２２と左表示部２４の表示を制御するコントローラーとして、表示データを右表示部２２及び左表示部２４に出力するＦＰＧＡを、右表示部２２または左表示部２４のいずれかに配置してもよい。この場合、接続装置１０は、ＵＳＢ−ＴｙｐｅＣコントローラーとＦＰＧＡとを接続するブリッジコントローラーを備えてもよい。また、画像表示部２０において、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７、ＥＥＰＲＯＭ２１５等をＦＰＧＡと同じ基板に実装した構成としてもよい。その他のセンサーの配置についても適宜に変更可能である。例えば、距離センサー６４やＤＰ照度センサー６５は、測定または検出に適した位置に配置されて、ＦＰＧＡやＵＳＢ−ＴｙｐｅＣコントローラーに接続される構成としてもよい。
また、ＯＬＥＤユニット２２１、２４１を含む表示装置の具体的な仕様についても制限はなく、例えば、ＯＬＥＤユニット２２１、２４１が共通の構成を有していてもよい。

図３、図４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、プロセッサー３１１が実行するプログラムは、外部の装置に記憶されたプログラムを通信部３４２又はＩ／Ｆ部３４３を介して取得して実行する構成としてもよい。

１０…接続装置、１１Ａ…コネクター、１１Ｄ…コネクター、２０…画像表示部（第１表示部）、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、３６…オーディオコネクター、４０…接続ケーブル、４６…ＵＳＢケーブル、６１…ＤＰ外側カメラ、６３…マイク、６４…距離センサー、６５…ＤＰ照度センサー、６７…ＬＥＤインジケーター、１００…ＨＭＤ（表示装置）、１２４…表示制御部（第１表示制御部）、２０５…表示部（第１表示部）、３００…制御装置、３１０…ＣＯ制御部（第２制御部）、３１１…プロセッサー、３１２…メモリー、３１３…不揮発性メモリー、３２６…バイブレーター、３２７…音声出力部、３３０…ＣＯ表示部、３３１…ＬＣＤ（第２表示部）、３３５…ＣＯ入力部（操作部）、３３６…タッチセンサー、３３７…スイッチ（操作子）、３５０…タッチパネル（第２表示部）、４００…プラットフォーム、４０１…センサーデータ提供部、４１０…カーネル、４１１…タッチセンサードライバー、４３０…ＨＡＬ、４３１、４３２…入力イベント、４４０…フレームワーク、４４１、４４２…入力データ、４５０…アプリケーション実行部、４５１…アプリケーション、４５２…ＵＩアプリケーション、５１５…ホーム画面、５１８…操作画面、５２４…トラックパッド画面、５３１…入力デバイス画面、５３２…入力デバイス画面、５３３…入力デバイス画面、５４２…キーボード画面、５４３…キーボード画面、Ｕ…使用者。

Claims (12)

1. 第１表示部を有する表示装置と、前記表示装置に接続される制御装置と、を備え、
   前記制御装置は、第２表示部、および、前記第２表示部に重ねて配置されたタッチセンサーを備え、
   前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを有し、
   前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を実行可能であり、
   前記第１状態、前記第２状態、または前記第３状態から他の状態へ移行する特定の移行において、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、表示システム。
2. 前記第１状態から前記第２状態に移行する際に、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、請求項１記載の表示システム。
3. 前記表示装置は、前記制御装置から入力されるデータに基づき前記第１表示部の表示を制御する第１表示制御部を備え、
   前記制御装置は、前記第１表示部の表示を制御するデータを生成し、前記第２表示部の表示を制御し、アプリケーションを実行する第２制御部を備え、
   前記第２制御部は、前記第１状態において起動条件が成立した場合に前記制御装置を前記第２状態に移行させ、前記第２状態において前記タッチセンサーにより前記特定の操作を検出した場合に、前記制御装置を前記第３状態に移行させる、請求項１または２記載の表示システム。
4. 前記タッチセンサーにより前記特定の操作を検出した場合に、予め設定された前記表示モードで、前記第２状態から前記第３状態に移行する、請求項１から３のいずれか１項に記載の表示システム。
5. 前記特定の操作は、前記制御装置のロック状態の解除を指示するロック解除操作であり、
   前記第２制御部は、前記第２状態において前記タッチセンサーにより前記特定の操作を検出した場合に、前記制御装置を前記第３状態に移行させる、請求項３記載の表示システム。
6. 前記制御装置は、操作子を有する操作部を備え、
   前記操作部に対する操作に応じて前記第１状態から前記第２状態に移行する、請求項１から５のいずれか１項に記載の表示システム。
7. 前記第１表示部の表示によって、実行中の前記表示モードを通知する、請求項１から６のいずれか１項に記載の表示システム。
8. 前記第２表示モードは、前記第２表示部に仮想の入力デバイスを表示する仮想デバイスモード、前記第２表示部に文字入力用のユーザーインターフェイスを表示する文字入力モード、および、前記第２表示部を入力パッドとして用いる入力パッドモードのいずれかを含む、請求項１から７のいずれか１項に記載の表示システム。
9. 前記第２表示モードは、前記文字入力モードを含み、
   前記アプリケーションが文字入力を必要とする場合に前記表示モードを前記文字入力モードに切り替え、前記文字入力が完了した場合に、前記文字入力モードに切り替える前の前記表示モードを実行する、請求項８記載の表示システム。
10. 使用者の頭部に装着される第１表示部を有する頭部装着型表示装置と、前記頭部装着型表示装置に接続される制御装置と、を備える表示システムであって、
    前記制御装置は、第２表示部、および、前記第２表示部に重ねて配置されたタッチセンサーを備え、
    前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを有し、
    前記表示システムの動作状態として、前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を実行可能であり、
    前記表示システムの動作状態が特定の移行をする場合に、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、表示システム。
11. 第１表示部を有する表示装置と、前記表示装置に接続され、第２表示部および前記第２表示部に重ねて配置されたタッチセンサーを備える制御装置と、による表示方法であって、
    前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを実行し、
    前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を遷移させ、
    前記第１状態、前記第２状態、または前記第３状態から他の状態へ移行する特定の移行において、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、表示方法。
12. 第１表示部を有する表示装置に接続され、第２表示部、および、前記第２表示部に重ねて配置されたタッチセンサーを備える制御装置を制御するコンピューターが実行可能なプログラムであって、
    前記第１表示部および前記第２表示部の表示を共通とする第１表示モード、および、前記第１表示部と前記第２表示部との表示が異なる第２表示モードを含む複数の表示モードを切り替え可能であり、
    前記第１表示部および前記第２表示部の少なくともいずれかの表示を停止する第１状態、特定の操作を要求する第２状態、および、アプリケーションを実行可能な第３状態を切り替えて実行し、
    前記第１状態、前記第２状態、または前記第３状態から他の状態へ移行する特定の移行において、前記第１表示部および前記第２表示部の前記表示モードを前記第１表示モードとする、プログラム。

Images