JP2022065826A - 操作方法及びプログラム - Google Patents

Abstract

【課題】情報処理装置により行う操作の操作性を向上させた操作方法及びプログラムを提供する。【解決手段】外景を視認可能であって、ＤＰ外側カメラ６１を搭載した、外景に重ねて画像を表示する画像表示部２０及び画像表示部２０及び制御装置３００に接続する接続装置１０を備え、画像表示部２０が使用者Ｕの頭部に装着されるＨＭＤ１００と、操作を受け付けるタッチパネル３５０を有する制御装置３００と、を備える表示システム１の操作方法であって、タッチパネル３５０に使用者Ｕの操作を受け付ける操作画像を表示し、画像表示部２０の画像の表示領域に、ＤＰ外側カメラ６１が撮像する撮像画像を調整する調整画像を表示し、操作画像に対する操作により、調整画像の表示位置を変更し、操作画像に対する操作によりＤＰ外側カメラ６１に撮像を実行させる。【選択図】図１

Description

本発明は、操作方法及びプログラムに関する。

従来、使用者の頭部に装着された表示部を備え、表示部に搭載された撮像部が撮像した撮像画像を表示部に表示させる表示装置が知られている（例えば、特許文献１参照）。

特開２００５－３８３２１公報

しかしながら、表示装置に情報処理装置を接続し、使用者の操作を情報処理装置により受け付ける場合、使用者の頭部には表示部が装着されているため、情報処理装置の視認性が低下し、情報処理装置の操作性が低下する課題があった。

上記課題を解決する一態様は、外景を視認可能であって、前記外景に重ねて画像を表示する表示部、及び前記表示部に搭載された撮像部を備え、使用者の頭部に装着される表示装置と、操作を受け付ける操作面を有する情報処理装置と、を備える表示システムの操作方法であって、前記操作面に前記使用者の操作を受け付ける操作画像を表示し、前記表示部の画像の表示領域に、前記撮像部、又は前記撮像部が撮像する撮像画像を調整する調整画像を表示し、受け付けた前記操作画像に対する操作により前記調整画像の表示を変更し、受け付けた前記操作画像に対する操作により前記撮像部に撮像を実行させる操作方法である。

上記課題を解決する一態様は、外景を視認可能であって、前記外景に重ねて画像を表示する表示部、及び前記表示部に搭載された撮像部を備え、使用者の頭部に装着される表示装置と、操作を受け付ける操作面を有する情報処理装置と、が備えるコンピューターに実行させるプログラムであって、前記操作面に前記使用者の操作を受け付ける操作画像を表示し、前記表示部の画像の表示領域に、前記撮像部、又は前記撮像部が撮像する撮像画像を調整する調整画像を表示し、受け付けた前記操作画像に対する操作により前記調整画像の表示を変更し、受け付けた前記操作画像に対する操作により前記撮像部に撮像を実行させるプログラムである。

表示システムの概略構成を示す図。 画像表示部の光学系の構成を示す要部平面図。 表示システムのブロック図。 制御装置及び主制御部のブロック図。 第１表示形態の仮想ジョイスティックコントローラーを示す図。 第２表示形態の仮想ジョイスティックコントローラーを示す図。 第３表示形態の仮想ジョイスティックコントローラーを示す図。 使用者の親指がタッチした位置に仮想ジョイスティックコントローラーを表示した状態を示す図。 画像表示部が表示する表示画像を、仮想ジョイスティックコントローラーにより操作する場合について説明する説明図。 画像表示部が表示する表示画像を、仮想ジョイスティックコントローラーにより操作する場合について説明する説明図。 ＤＰ外側カメラの撮像に関する設定を、仮想ジョイスティックコントローラーにより操作する場合について説明する説明図。 ＤＰ外側カメラの撮像に関する設定を、仮想ジョイスティックコントローラーにより操作する場合について説明する説明図。 ＣＯ制御部の動作を示すフローチャート。

［１．表示システムの構成］
以下、図面を参照して、本発明を適用した実施形態について説明する。
図１は、表示システム１の概略構成を示す図である。
表示システム１は、ＨＭＤ１００と、制御装置３００とを備える。ＨＭＤ１００は、使用者Ｕの頭部に装着される画像表示部２０を備え、使用者Ｕに画像や映像を視認させる頭部装着型表示装置であり、本発明の表示装置の一例である。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略である。制御装置３００は、本発明の情報処理装置の一例である。また、画像表示部２０は、本発明の表示部の一例である。

ＨＭＤ１００は、画像表示部２０に接続された接続装置１０を有する。接続装置１０は、ＨＭＤ１００を、ＨＭＤ１００とは異なる装置に接続するインターフェイスとして機能する。表示システム１では、接続装置１０に制御装置３００が接続される。
以下の説明及び図面においては、説明の便宜のため、ＨＭＤ１００を構成するいくつかの機能部の名称に接頭辞ＤＰを付し、制御装置３００を構成するいくつかの機能部の名称に接頭辞ＣＯを付す。

制御装置３００は、文字や画像を表示する表示画面、及び、タッチ操作や押圧操作を検出する操作部として機能するタッチパネル３５０を備え、携帯可能なサイズの端末装置であり、例えばスマートフォンを用いることができる。タッチパネル３５０は、表示パネル及びタッチセンサーにより構成される。ＬＣＤはＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。制御装置３００は、デスクトップ型パーソナルコンピューター、ノート型パーソナルコンピューター、タブレット型パーソナルコンピューター等であってもよい。

接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには接続ケーブル４０を介して画像表示部２０が接続され、コネクター１１ＤにはＵＳＢケーブル４６を介して制御装置３００が接続される。これにより、画像表示部２０と制御装置３００は相互にデータを送受信可能に接続される。例えば、制御装置３００は、画像表示部２０が映像を表示するための映像データや、音声データを画像表示部２０に出力する。また、画像表示部２０は、後述するように画像表示部２０が備える各種センサーの検出データを制御装置３００に送信する。制御装置３００は、画像表示部２０に対して電力を供給可能であってもよい。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。

ＵＳＢケーブル４６を用いて接続装置１０と制御装置３００とを接続する構成は一例にすぎず、接続装置１０と制御装置３００との具体的な接続形態は制限されない。例えば、他の種類のケーブルを用いて有線接続してもよいし、無線通信を介して接続してもよい。例えば、ＵＳＢケーブル４６がＵＳＢ－ＴｙｐｅＣ規格のコネクター１１Ｄに接続される構成では、ＵＳＢケーブル４６により２０ボルトの直流電流の供給が可能であり、ＵＳＢ－ＴｙｐｅＣの代替モードの機能としてＨＤＭＩ規格の映像データ等を伝送できる。ＨＤＭＩ及びＭＨＬは、登録商標である。

画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。右保持部２１は、前部フレーム２７において使用者Ｕの右側に位置する端部ＥＲに連結され、左保持部２３は使用者Ｕの左側に位置する端部ＥＬに連結される。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者Ｕの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者Ｕの左眼の眼前に位置し、左眼に画像を視認させる。右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者Ｕの眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２０を装着する装着状態で、使用者Ｕの眉間に対応する。前部フレーム２７は、画像表示部２０の装着状態で使用者Ｕの鼻に当接する鼻当て部を備えてもよく、右保持部２１及び左保持部２３にベルトを連結して、ベルトによって画像表示部２０を使用者Ｕの頭部に保持する構成であってもよい。

右表示部２２及び左表示部２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。右表示部２２は、右導光板２６により画像を表示させ、左表示部２４は左導光板２８により画像を表示させる。右表示部２２は右保持部２１に設けられ、左表示部２４は左保持部２３に設けられる。

使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射される。使用者Ｕの眼には、右導光板２６及び左導光板２８からの画像光と、右導光板２６及び左導光板２８を透過する外光とが入射される。つまり、画像表示部２０を頭部に装着したまま外景を視認可能である。これにより、使用者Ｕは、画像表示部２０が表示する画像を、右導光板２６及び左導光板２８を透過した外景に重ねて視認する。

前部フレーム２７には、ＤＰ照度センサー６５が配置される。ＤＰ照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光するセンサーである。ＤＰ照度センサー６５によって、右導光板２６及び左導光板２８を透過して使用者Ｕの眼に入射する外光の照度や光量を検出できる。

ＤＰ外側カメラ６１は、本発明の撮像部に相当する。ＤＰ外側カメラ６１は、前部フレーム２７において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。ＤＰ外側カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。ＤＰ外側カメラ６１の画角は、画像表示部２０を装着した使用者Ｕが右導光板２６及び左導光板２８を透過して視認する外景の範囲の少なくとも一部を含む。ＤＰ外側カメラ６１は広角カメラであってもよく、画像表示部２０を装着した使用者Ｕが視認する外景の全体を撮像可能なものであってもよい。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略であり、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。
前部フレーム２７には、ＤＰ外側カメラ６１の動作中に点灯するＬＥＤインジケーター６７が配置される。

前部フレーム２７には、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４が設けられる。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等を用いた光反射式距離センサー、赤外線式深度センサー、超音波式の距離センサー、或いは、レーザーレンジスキャナーである。距離センサー６４は、画像検出と音声検出とを組み合わせた距離検出ユニットや、カメラによるステレオ撮影で得られる画像を処理して距離を検出する装置であってもよい。距離センサー６４の測定方向は、例えば、右導光板２６及び左導光板２８を透過して使用者Ｕが視認する外景の方向である。

右表示部２２及び左表示部２４は、それぞれ、接続ケーブル４０により接続装置１０に接続される。接続ケーブル４０は、オーディオコネクター３６を備える。オーディオコネクター３６には、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が接続される。右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。マイク６３は、音声を集音して音声信号を接続装置１０に出力する。

［２．画像表示部の光学系の構成］
図２は、画像表示部２０の光学系の構成を示す要部平面図である。図２には説明のため使用者Ｕの左眼ＬＥ及び右眼ＲＥを図示する。
右表示部２２と左表示部２４とは、例えば、左右対称に構成される。
右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２２１、及び、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６に導く右光学系２５１を備える。ＯＬＥＤはＯｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、例えばＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。ＯＬＥＤ駆動回路２２５は、ＤＰ制御部１２０の制御に従ってＯＬＥＤパネル２２３を駆動する。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３の裏面に固定される不図示の基板に実装され、この基板に、図３に示す温度センサー２１７が実装される。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌをコリメートレンズによって並行状態の光束にし、右導光板２６に入射させる。右導光板２６の内部において画像光Ｌは複数の反射面で反射し、右眼ＲＥの眼前に位置するハーフミラー２６１で反射して、右眼ＲＥに向けて右導光板２６から射出される。

左眼ＬＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２４１、及び、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８に導く左光学系２５２を備える。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５と、を有する。ＯＬＥＤパネル２４３は、例えばＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、ＤＰ制御部１２０の制御に従ってＯＬＥＤパネル２４３を駆動する。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３の裏面に固定される不図示の基板に実装され、この基板には図３に示す温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌをコリメートレンズによって並行状態の光束にし、左導光板２８に入射させる。左導光板２８の内部において画像光Ｌは複数の反射面で反射し、左眼ＬＥの眼前に位置するハーフミラー２６１で反射して、左眼ＬＥに向けて左導光板２８から射出される。

ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者Ｕの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者Ｕの眼に入射させる。このため、使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部を構成する。

［３．ＨＭＤの制御系］
図３は、表示システム１のブロック図であり、特に、ＨＭＤ１００の構成を詳細に示す。
画像表示部２０において、右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、及びＬＥＤインジケーター６７を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。

左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１、及び、左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。左表示部基板２３０には、ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。

本実施形態の説明及び図面において、Ｉ／Ｆはインターフェイスの略記である。ＥＥＰＲＯＭは、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙの略記である。受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。

ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２又は左表示部２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等をＤＰ制御部１２０により読取り可能に記憶する。

ＤＰ外側カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像を右Ｉ／Ｆ部２１１に出力する。ＤＰ照度センサー６５は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号又は駆動電流に従って点灯する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。

距離センサー６４は、距離を検出した検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。

受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する映像データに基づく映像を表示する。
受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する映像データに基づく映像を表示する。

ＤＰ６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。ＤＰ磁気センサー２３７は、例えば、３軸の地磁気センサーである。ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７は、上記の各センサーがモジュール化されたＩＭＵであってもよく、ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７を一体化したモジュールであってもよい。ＩＭＵは、Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔの略記である。温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出する。ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７、及び温度センサー２３９は、それぞれ、検出値を接続装置１０に出力する。

画像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。画像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。電源部２２９、２４９は、電圧を変換する変換回路等を備えてもよい。

接続装置１０は、Ｉ／Ｆ部１１０、ＤＰ制御部１２０、センサー制御部１２２、主制御部１２３、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び、音声処理部１４７を備える。主制御部１２３の詳細については、図４を参照しながら説明する。

Ｉ／Ｆ部１１０は、コネクター１１Ｄ、及び、コネクター１１Ｄにより各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板である。Ｉ／Ｆ部１１０は、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。

ＤＰ制御部１２０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーがプログラムを実行することにより、接続装置１０の各部を制御する。ＤＰ制御部１２０は、プロセッサーのワークエリアを構成するＲＡＭを備えてもよい。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略記である。

ＤＰ制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び音声処理部１４７が接続される。不揮発性記憶部１３０は、ＤＰ制御部１２０が実行するプログラムやデータを不揮発的に記憶するＲＯＭである。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略記である。

センサー制御部１２２は、画像表示部２０が備える各センサーを動作させる。ここで、各センサーとは、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、温度センサー２１７、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７及び温度センサー２３９の各々を指す。各センサーは、少なくとも、ＤＰ外側カメラ６１、ＤＰ照度センサー６５、ＤＰ６軸センサー２３５、及びＤＰ磁気センサー２３７のいずれか１以上を含む。センサー制御部１２２は、ＤＰ制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

センサー制御部１２２は、各センサーの検出値や検出結果を示す検出データを、予め設定されたタイミングでＩ／Ｆ部１１０に出力する。センサー制御部１２２は、アナログ信号をデジタルデータに変換するＡ／Ｄコンバーターを備えてもよい。この場合、センサー制御部１２２は、画像表示部２０のセンサーから取得した検出値や検出結果のアナログ信号を検出データに変換して出力する。センサー制御部１２２は、画像表示部２０のセンサーから検出値や検出結果のデジタルデータを取得し、データフォーマットの変換や出力タイミングの調整等を行って、検出データをＩ／Ｆ部１１０に出力してもよい。

センサー制御部１２２の動作により、Ｉ／Ｆ部１１０に接続された制御装置３００は、ＨＭＤ１００の各センサーの検出値や、ＤＰ外側カメラ６１の撮像画像を取得できる。

センサー制御部１２２は、上述した各センサーの検出値をもとに演算処理した結果を、検出データとして出力してもよい。例えば、センサー制御部１２２は、複数のセンサーの検出値や検出結果を統合的に処理し、いわゆるセンサーフュージョン処理部として機能してもよい。この場合、センサー制御部１２２は、センサーフュージョンによって、画像表示部２０の各センサーに含まれない仮想のセンサーの検出データを生成してもよい。例えば、センサー制御部１２２は、画像表示部２０が移動した軌跡を示す軌跡データ、画像表示部２０の３次元空間における位置を示す座標データ、画像表示部２０の方向を示す方向データを、検出データとして出力してもよい。ここで、座標データは、接続装置１０の位置を基準とする相対座標を示すデータであってもよいし、画像表示部２０が存在する空間に設定された基準位置に対する位置を示すデータであってもよい。方向データは、接続装置１０の位置や方向を基準とする方向を示すデータであってもよいし、画像表示部２０が存在する空間に設定された基準位置に対する方向を示すデータであってもよい。
センサー制御部１２２は、コネクター１１ＤにＵＳＢケーブル４６により接続された装置との間で通信プロトコルを実行し、検出データを出力する。

センサー制御部１２２及び主制御部１２３は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び主制御部１２３は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び主制御部１２３は、ＤＰ制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、ＤＰ制御部１２０、主制御部１２３、及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。センサー制御部１２２及び主制御部１２３は、データ処理を行うためのワークメモリーを具備してもよく、ＤＰ制御部１２０のメモリーを利用して処理を行ってもよい。

また、主制御部１２３及びセンサー制御部１２２は、ＤＳＰやＦＰＧＡ等、プログラムされたハードウェアにより構成されてもよい。センサー制御部１２２及び主制御部１２３を統合して、ＳｏＣ－ＦＰＧＡとして構成してもよい。ＤＳＰはＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略記であり、ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略記であり、ＳｏＣはＳｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐの略記である。

電源制御部１２６は、コネクター１１Ｄに接続され、コネクター１１Ｄから供給される電力に基づき接続装置１０の各部及び画像表示部２０に電源を供給する回路である。

操作部１４０は、接続装置１０が備えるスイッチ等の操作を検出し、操作内容を示すデータをＤＰ制御部１２０に出力する。

音声処理部１４７は、ＤＰ制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、ＤＰ制御部１２０に出力する。音声処理部１４７が出力する音声データは、画像表示部２０が備えるセンサーの検出データと同様に、センサー制御部１２２により処理されてもよい。

［４．制御装置の構成］
図４は、制御装置３００及び主制御部１２３のブロック図である。
まず、制御装置３００について説明する。
制御装置３００は、ＣＯ制御部３１０を備える。ＣＯ制御部３１０は、プロセッサー３１１、メモリー３１２、及び、不揮発性メモリー３１３を備える。プロセッサー３１１は、ＣＰＵ、マイコン、ＤＳＰ等で構成され、プログラムを実行することにより制御装置３００の各部を制御する。メモリー３１２は、プロセッサー３１１のワークエリアを形成する。不揮発性メモリー３１３は、半導体メモリーデバイス等で構成され、プロセッサー３１１が実行するプログラムや、プロセッサー３１１により処理される各種データを不揮発的に記憶する。例えば、不揮発性メモリー３１３は、プロセッサー３１１が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。不揮発性メモリー３１３は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。オペレーティングシステムを、以下、ＯＳと略記する。
ＣＯ制御部３１０は、プロセッサー３１１、メモリー３１２、及び不揮発性メモリー３１３を統合したＳｏＣであってもよい。

ＣＯ制御部３１０には、ＧＮＳＳ３２１、ＣＯカメラ３２２、ＣＯ６軸センサー３２３、ＣＯ磁気センサー３２４、ＣＯ照度センサー３２５、バイブレーター３２６、音声出力部３２７、ＣＯ表示部３３０、及び、ＣＯ入力部３３５が接続される。
ＧＮＳＳ３２１は、衛星測位システムを利用して測位を行い、制御装置３００の位置をＣＯ制御部３１０に出力する。ＧＮＳＳは、Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍの略である。

ＣＯカメラ３２２は、制御装置３００の本体に設けられるデジタルカメラであり、例えば、タッチパネル３５０に隣接して配置され、タッチパネル３５０に対向する方向を撮像する。ＣＯカメラ３２２は、ＣＯ制御部３１０の制御に従って撮像を実行し、撮像画像をＣＯ制御部３１０に出力する。

ＣＯ６軸センサー３２３は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーであり、検出値を示す検出データをＣＯ制御部３１０に出力する。ＣＯ磁気センサー３２４は、例えば、３軸の地磁気センサーであり、検出値を示す検出データをＣＯ制御部３１０に出力する。ＣＯ６軸センサー３２３及びＣＯ磁気センサー３２４は、上記の各センサーがモジュール化されたＩＭＵであってもよく、ＣＯ６軸センサー３２３及びＣＯ磁気センサー３２４を一体化したモジュールであってもよい。
ＣＯ照度センサー３２５は、外光を受光し、受光量又は受光強度に対応する検出値を示す検出データをＣＯ制御部３１０に出力する。

バイブレーター３２６は、ＣＯ制御部３１０の制御に従って振動を発生し、制御装置３００の本体の一部又は全部を振動させる。バイブレーター３２６は、例えば、偏心錘とモーターとを備えて構成される。
音声出力部３２７は、スピーカーを備え、ＣＯ制御部３１０の制御に従ってスピーカーから音声を出力する。音声出力部３２７は、ＣＯ制御部３１０が出力する音声信号を増幅してスピーカーに出力するアンプを備えてもよい。ＣＯ制御部３１０がデジタル音声データを出力する構成である場合、音声出力部３２７は、デジタル音声データをアナログ音声信号に変換するＤ／Ａコンバーターを備えてもよい。

ＣＯ表示部３３０は、タッチパネル３５０を有し、ＣＯ制御部３１０の制御に従ってタッチパネル３５０に文字や画像を表示させる。タッチパネル３５０は、本発明の操作面の一例である。
ＣＯ入力部３３５は、スイッチ３３７に対する操作を検出し、検出した操作を示す操作データをＣＯ制御部３１０に出力する。スイッチ３３７は、例えば、制御装置３００の電源スイッチ、音量調整スイッチ等のハードウェアスイッチである。スイッチ３３７は、接触式又は非接触式のセンサーであってもよく、例えば、タッチパネル３５０に埋設された指紋センサー等であってもよい。また、スイッチ３３７は、タッチパネル３５０の一部又は全部を利用して形成されるソフトウェアスイッチであってもよい。

ＣＯ制御部３１０には、バッテリー３４１、通信部３４２、及び、Ｉ／Ｆ部３４３が接続される。
バッテリー３４１は、制御装置３００の本体に内蔵される二次電池であり、制御装置３００の各部に電力を供給する。バッテリー３４１は、電力の出力や二次電池への充電を制御する不図示の制御回路を備えていてもよい。

通信部３４２は、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の無線通信プロトコルに対応し、表示システム１の外部の装置と無線通信を実行する。Ｂｌｕｅｔｏｏｔｈ及びＷｉ－Ｆｉは登録商標である。通信部３４２は、ＬＴＥや第５世代移動体通信システム等の移動体通信ネットワークを利用して、モバイルデータ通信を実行する構成であってもよい。ＬＴＥは登録商標である。

Ｉ／Ｆ部３４３は、データ通信ケーブルが接続される不図示のコネクター、及び、コネクターにより各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。例えば、Ｉ／Ｆ部３４３は、ＵＳＢ規格に準拠したコネクター及びインターフェイス回路を備え、ＵＳＢケーブル４６を通じてデータを送受信する。

本実施形態では、制御装置３００は、Ｉ／Ｆ部３４３を介してＨＭＤ１００に対し映像データを送信し、ＨＭＤ１００からセンサーの検出データを受信する。制御装置３００は、Ｉ／Ｆ部３４３を介してＨＭＤ１００に対し、電力を供給する。

本実施形態のＩ／Ｆ部３４３はＵＳＢインターフェイスを備え、Ｉ／Ｆ部３４３に接続されるＵＳＢケーブル４６を用いて、制御装置３００がＨＭＤ１００とデータを送受信する構成を例示する。
制御装置３００は、例えば、通信部３４２によってＨＭＤ１００と無線データ通信を実行してもよい。

主制御部１２３は、不揮発性メモリー１２４及びプロセッサー１２５を備える。
不揮発性メモリー１２４は、半導体メモリーデバイス等で構成され、プロセッサー１２５が実行するプログラムや、プロセッサー１２５により処理される各種データを不揮発的に記憶する。
プロセッサー１２５は、ＣＰＵ、マイコン、ＤＳＰ等で構成され、プログラムを実行することにより接続装置１０を制御する。

主制御部１２３は、機能ブロックとして、表示制御部１２５ａを備える。

表示制御部１２５ａは、Ｉ／Ｆ部１１０に入力される表示データに基づき、画像表示部２０に画像を表示させるための各種処理を実行する。表示データは、例えば、映像データを含む。本実施形態では、ＵＳＢ－ＴｙｐｅＣコネクターで構成されるコネクター１１Ｄを通じて、ＵＳＢ－ＴｙｐｅＣの代替モードで映像データが伝送される。表示制御部１２５ａは、例えば、フレームの切り出し、解像度変換、スケーリング、中間フレーム生成、フレームレート変換等の各種処理を実行する。表示制御部１２５ａは、ＯＬＥＤユニット２２１、２４１に対応する映像データを接続部１４５に出力する。接続部１４５に入力された映像データは、コネクター１１Ａから、映像信号２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。表示制御部１２５ａは、制御装置３００が送信する表示データに従って、右表示部２２及び左表示部２４に画像を表示させる。
画像表示部２０の右表示部２２及び左表示部２４により画像が表示される領域を表示領域２００という。表示領域２００は、ＯＬＥＤパネル２２３及び２４３により射出され、右導光板２６及び左導光板２８により使用者Ｕの右眼及び左眼に入射された画像光Ｌを使用者Ｕが視認できる範囲である。表示領域２００は、図９に示すように、上下、左右及び前後の３軸の方向を有する３次元の領域である。以下では、使用者Ｕから見て表示領域２００の上方向を＋Ｘ方向、下方向を－Ｘ方向、左方向を－Ｙ方向、右方向を＋Ｙ方向という。また、表示領域２００の奥行方向である前方向を＋Ｚ方向、後ろ方向を－Ｚ方向という。

図５～図８は、タッチパネル３５０に表示される仮想ジョイスティックコントローラー５００を示す図である。図５～図８を参照しながら仮想ジョイスティックコントローラー５００について説明する。
操作面であるタッチパネル３５０には、ＣＯ制御部３１０の制御により仮想ジョイスティックコントローラー５００が表示される。
仮想ジョイスティックコントローラー５００は、使用者Ｕの操作を受け付ける操作画像であり、実際のジョイスティックコントローラーが受け付け可能な操作と同等の操作を受け付けることが可能な操作画像である。特に、仮想ジョイスティックコントローラー５００は、方向の入力を受け付けることが可能である。仮想ジョイスティックコントローラー５００は、複数の表示形態を備え、表示形態に応じて受け付け可能な方向を変更することができる。具体的には、仮想ジョイスティックコントローラー５００は、使用者Ｕの操作によりタッチパネル３５０での表示位置が変化する操作子画像５０１を備え、この操作子画像５０１が表示位置を変更できる方向に制限を設けることで、３つの表示形態を有する。

仮想ジョイスティックコントローラー５００は、第１表示形態、第２表示形態及び第３表示形態の３つの表示形態を備える。主制御部１２３が表示領域２００に表示させる表示画像に応じて、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００を、第１表示形態、第２表示形態及び第３表示形態のいずれかの形態で表示させる。
具体的には、表示領域２００に表示された表示画像が、上下方向や左右方向等の２方向への入力を受け付ける画像である場合、ＣＯ制御部３１０は、第１表示形態又は第２表示形態の仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる。また、表示領域２００に表示された表示画像が、全方向への入力を受け付ける画像である場合、ＣＯ制御部３１０は、第３表示形態の仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる。

図５は、第１表示形態の仮想ジョイスティックコントローラー５００を示す図である。特に、図５に示す（Ａ）は、操作子画像５０１がスライダーバー５０３Ａの中央に位置する場合を示し、（Ｂ）は、操作子画像５０１がスライダーバー５０３Ａの上側に位置する場合を示す。
第１表示形態の仮想ジョイスティックコントローラー５００は、使用者Ｕにより操作される操作子画像５０１と、操作子画像５０１の移動範囲を示すスライダーバー５０３Ａとを備える。操作子画像５０１は、使用者Ｕの操作に対応して表示位置が変更される画像である。本実施形態の操作子画像５０１の形状は正円形であるが、正円形に限定されることはなく、使用者Ｕが操作しやすい形状であればよい。スライダーバー５０３Ａは、タッチパネル３５０の長手方向である上下方向に延伸した縦長形状であり、使用者Ｕの操作によって操作子画像５０１を移動させることが可能な移動範囲を示す。すなわち、操作子画像５０１をスライダーバー５０３Ａの上側の上限まで移動させた場合、これ以上、操作子画像５０１を上側に移動させることはできず、操作子画像５０１をスライダーバー５０３Ａの下側の下限まで移動させた場合、これ以上、操作子画像５０１を下側に移動させることはできない。
また、制御装置３００としてタブレットＰＣを使用した場合、タブレットＰＣのタッチパネル３５０に占める操作子画像５０１の割合は小さく、制御装置３００としてスマートフォンを使用した場合、スマートフォンのタッチパネル３５０に占める操作子画像５０１の割合は大きい。

第１表示形態の仮想ジョイスティックコントローラー５００は、操作子画像５０１を、スライダーバー５０３Ａの延伸方向である上下方向にだけ移動させることが可能な態様である。上下方向は、本発明の第１の方向に対応する。ＣＯ制御部３１０は、主制御部１２３から画像表示部２０が表示領域２００に表示させた表示画像に関する情報を取得し、取得した情報に基づき仮想ジョイスティックコントローラー５００の表示態様を決定する。例えば、ＣＯ制御部３１０は、表示画像が、上下方向の入力を受け付けて、受け付けた入力に対応した処理を実行したり、表示画像の表示形態を変更したりする画像である場合、第１表示形態の仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる。

図６は、第１表示形態の仮想ジョイスティックコントローラー５００を示す図である。特に、図６に示す（Ａ）は、操作子画像５０１がスライダーバー５０３Ｂの中央に位置する場合を示し、（Ｂ）は、操作子画像５０１がスライダーバー５０３Ｂの右側に位置する場合を示す。
第２表示形態の仮想ジョイスティックコントローラー５００は、使用者Ｕにより操作される操作子画像５０１と、操作子画像５０１が移動可能な範囲を示すスライダーバー５０３Ｂとを備える。第２表示形態の操作子画像５０１の形状も正円形であるが、正円形に限定されることはなく、使用者Ｕが操作しやすい形状であればよい。スライダーバー５０３Ｂは、タッチパネル３５０の短手方向である左右方向に延伸した横長形状であり、使用者Ｕの操作によって操作子画像５０１を移動させることが可能な移動範囲を示す。すなわち、操作子画像５０１をスライダーバー５０３Ｂの左端まで移動させた場合、これ以上、操作子画像５０１を左側に移動させることはできず、操作子画像５０１をスライダーバー５０３Ｂの右端まで移動させた場合、これ以上、操作子画像５０１を右側に移動させることはできない。

第２表示形態の仮想ジョイスティックコントローラー５００は、操作子画像５０１を、スライダーバー５０３Ｂの延伸方向である左右方向にだけ移動させることが可能な態様である。左右方向は、本発明の第２の方向に対応する。ＣＯ制御部３１０は、主制御部１２３から画像表示部２０が表示領域２００に表示させた表示画像に関する情報を取得し、取得した情報に基づき仮想ジョイスティックコントローラー５００の表示態様を決定する。例えば、ＣＯ制御部３１０は、表示画像が、左右方向の入力を受け付けて、受け付けた入力に対応した処理を実行したり、表示画像の表示形態を変更したりする画像である場合、第２表示形態の仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる。

また、ＣＯ制御部３１０は、ＣＯ６軸センサー３２３から入力される検出データに基づいて制御装置３００の姿勢を判定し、判定した姿勢に応じて仮想ジョイスティックコントローラー５００の表示を変更してもよい。
例えば、使用者Ｕが制御装置３００を手に持った状態で、制御装置３００を回転させ、タッチパネル３５０の短手方向が鉛直方向に平行になるように、制御装置３００を持ち替えたと仮定する。この場合、ＣＯ制御部３１０は、スライダーバー５０３Ａの延伸方向が、タッチパネル３５０の短手方向になるように第１表示形態の仮想ジョイスティックコントローラー５００の表示を変更する。また、ＣＯ制御部３１０は、スライダーバー５０３Ｂの延伸方向が、タッチパネル３５０の長手方向になるように第２表示形態の仮想ジョイスティックコントローラー５００の表示を変更する。

また、図５には、スライダーバー５０３Ａの延伸方向がタッチパネル３５０の長手方向であり、図６には、スライダーバー５０３Ｂの延伸方向がタッチパネル３５０の短手方向である場合を示したが、スライダーバー５０３Ａ及びスライダーバー５０３Ｂの延伸方向は、タッチパネル３５０の長手方向及び短手方向に限定されない。例えば、スライダーバー５０３Ａ及びスライダーバー５０３Ｂを、タッチパネル３５０の対角線方向に平行になるように表示させてもよい。

図７は、第３表示形態の仮想ジョイスティックコントローラー５００の構成を示す図である。
第３表示形態の仮想ジョイスティックコントローラー５００は、使用者Ｕにより操作される操作子画像５０１と、操作子画像５０１が移動可能な範囲を示す範囲画像５０５とを備える。操作子画像５０１及び範囲画像５０５の形状は正円形であり、範囲画像５０５の半径は、操作子画像５０１の半径よりも大きい。

第３表示形態の仮想ジョイスティックコントローラー５００は、第１及び第２表示形態の仮想ジョイスティックコントローラー５００とは異なり、操作子画像５０１を移動可能な方向に制限がなく、範囲画像５０５の範囲内で３６０°全方向に移動させることができる。
図７に示す（Ａ）は、操作子画像５０１が範囲画像５０５の中央に位置し、使用者Ｕの操作を受ける前の操作子画像５０１の表示位置を示す。また、図７に示す（Ｂ）は、操作子画像５０１が範囲画像５０５の左側に位置し、使用者Ｕの操作を受ける前の操作子画像５０１の表示位置を示す。ＣＯ制御部３１０は、操作を受ける前の操作子画像５０１の表示位置と、操作を受けた後の操作子画像５０１の表示位置と、に基づいて、使用者Ｕにより入力された方向を特定する。すなわち、ＣＯ制御部３１０は、操作を受ける前の操作子画像５０１の表示位置を基準として、この基準位置から操作子画像５０１が移動した方向を特定して、使用者Ｕにより入力された方向を特定する。

また、第３表示形態の仮想ジョイスティックコントローラー５００において、操作子画像５０１に対する操作には、操作子画像５０１を右回り又は左回りに回転させたり、左回りに回転させたり、タップしたり、長押したりする操作が含まれる。これらの操作についても、ＣＯ制御部３１０は、操作を受ける前の操作子画像５０１の表示位置と、操作を受けた後の操作子画像５０１の表示位置と、に基づいて、使用者Ｕにより入力された方向を特定する。

ＣＯ制御部３１０は、主制御部１２３から画像表示部２０が表示領域２００に表示させた表示画像に関する情報を取得し、取得した情報に基づき仮想ジョイスティックコントローラー５００の表示態様を決定する。
例えば、ＣＯ制御部３１０は、表示画像が、上下及び左右の４方向の入力を受け付けて、受け付けた入力に対応した処理を実行したり、表示画像の表示形態を変更したりする画像である場合、第３表示形態の仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる。使用者Ｕが、操作子画像５０１を操作することで、例えば、後述する図９に示すキャプチャー範囲画像７１０の表示領域２００での表示位置を、±Ｘ方向、±Ｙ方向及び±Ｚ方向に移動させることができる。

第３表示形態の仮想ジョイスティックコントローラー５００の場合、使用者Ｕは、仮想ジョイスティックコントローラー５００の表示位置に指をタッチさせ、タッチさせた指をタッチパネル３５０から離すことなく、入力したい方向に移動させる。このため、十字キーのように、操作のたびにキーの位置を確認する場合と比べて、使用者Ｕがタッチパネル３５０を確認する回数を低減することができる。従って、画像表示部２０を頭部に装着し、画像表示部２０越しにタッチパネル３５０を視認する使用者Ｕにとっての操作性を向上させることができる。

図８は、使用者Ｕが制御装置３００を片手で持った状態を示す図であり、特に、使用者Ｕの親指がタッチした位置に仮想ジョイスティックコントローラー５００を表示した状態を示す図である。
図５～図７には、仮想ジョイスティックコントローラー５００をタッチパネル３５０の画面中央に表示した場合を示した。図８には、指示体である使用者Ｕの指が最初に触れたタッチパネル３５０の位置を基準として、仮想ジョイスティックコントローラー５００を表示した場合を示す。
ＣＯ制御部３１０は、タッチパネル３５０から入力される信号が示すタッチパネル３５０の座標位置を中心にして仮想ジョイスティックコントローラー５００を表示する。例えば、タッチパネル３５０の座標位置に、操作子画像５０１の中心が表示されるように仮想ジョイスティックコントローラー５００を表示させる。

使用者Ｕの手の大きさには個人差があり、タッチパネル３５０の画面中央に仮想ジョイスティックコントローラー５００を表示させた場合、片手での操作が難しい場合もある。このため、使用者Ｕの指の接触が検出されたタッチパネル３５０の位置を基準として、仮想ジョイスティックコントローラー５００を表示することで、仮想ジョイスティックコントローラー５００の片手での操作性を向上させることができる。また、使用者Ｕは、指をタッチパネル３５０にタッチさせ、タッチさせた指をタッチパネル３５０から離すことなく、入力したい方向に移動させる。使用者Ｕがタッチした位置に仮想ジョイスティックコントローラー５００が表示されるため、使用者Ｕは、タッチパネル３５０を見ることなく、ブライドタッチによる操作が可能になる。

図５～図８に示すように、タッチパネル３５０には、仮想ジョイスティックコントローラー５００の他に、戻るボタン５２０や、ＯＫボタン５３０が表示される。戻るボタン５２０は、現在表示中の画面の１つ前の画面に戻す操作を受け付けるボタンである。ＯＫボタンは、仮想ジョイスティックコントローラー５００の操作により変更した表示画像の表示や、ＤＰ外側カメラ６１の設定を確定させる操作を受け付けるボタンである。

以上のような第１表示形態、第２表示形態及び第３表示形態を備える仮想ジョイスティックコントローラー５００により操作可能な操作対象には、画像表示部２０により表示領域２００に表示される表示画像や、ＤＰ外側カメラ６１の撮像に関する設定が含まれる。
ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の予め設定された操作を受け付けた場合に、操作対象を表示画像又はＤＰ外側カメラ６１に切り替える。例えば、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作子画像５０１を１回タップする操作を受け付けた場合、仮想ジョイスティックコントローラー５００の操作対象を表示画像に設定する。また、ＣＯ制御部３１０は、操作子画像５０１を２回タップする操作を受け付けた場合、仮想ジョイスティックコントローラー５００の操作対象をＤＰ外側カメラ６１に設定する。この場合、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００により受け付けた操作情報を主制御部１２３に出力する。

また、ＣＯ制御部３１０は、主制御部１２３が実行するアプリケーションプログラムや、画像表示部２０に表示された表示画像に基づいて、仮想ジョイスティックコントローラー５００の操作対象を変更してもよい。例えば、ＣＯ制御部３１０は、画像表示部２０が表示領域２００に表示画像を表示した場合、仮想ジョイスティックコントローラー５００の操作対象を表示画像に変更する。また、ＣＯ制御部３１０は、主制御部１２３からカメラアプリを起動させたとの通知を受信した場合、仮想ジョイスティックコントローラー５００の操作対象をＤＰ外側カメラ６１に変更する。

図９及び図１０は、仮想ジョイスティックコントローラー５００により、画像表示部２０が表示する表示画像を操作する場合について説明する説明図である。
以下では、使用者Ｕが仮想ジョイスティックコントローラー５００を操作して、表示画像の一例であるキャプチャー範囲画像７１０を、ＤＰ外側カメラ６１により画像を撮像したい範囲に移動させる場合について説明する。キャプチャー範囲画像７１０は、ＤＰ外側カメラ６１が撮像した撮像画像のうち、キャプチャー画像として取り込む範囲を示す画像である。なお、本実施形態では、キャプチャー範囲画像７１０を用いて、ＤＰ外側カメラ６１の撮像画像のうちキャプチャー画像として取り込む範囲を変更する場合について説明するが、実際に、仮想ジョイスティックコントローラー５００の操作により、ＤＰ外側カメラ６１の画角等を調整して、ＤＰ外側カメラ６１の撮像範囲を変更するようにしてもよい。
図９及び図１０において、画像表示部２０を頭部に装着した使用者Ｕには、実空間の物体として机６１０及びボトル６２０が視認できる。また、使用者Ｕは、画像表示部２０が表示する表示画像として、キャプチャー範囲画像７１０が視認できる。図９及び図１０に破線で示すキャプチャー範囲画像７１０は、半球形状の画像であり、表示領域２００の３軸であるＸ、Ｙ及びＺ軸の方向に領域を有する３次元画像である。

表示領域２００には、キャプチャー範囲画像７１０の他に、第１アイコン８１０及び第２アイコン８３０が表示される。第１アイコン８１０は、仮想ジョイスティックコントローラー５００の操作対象が、表示画像であるキャプチャー範囲画像７１０であることを示すアイコンである。第２アイコン８３０は、仮想ジョイスティックコントローラー５００の操作対象が、ＤＰ外側カメラ６１であることを示すアイコンである。図９及び図１０では、第１アイコン８１０の表示領域にハッチングを付すことで、第１アイコン８１０が選択され、点灯又は点滅した状態を示す。

制御装置３００のタッチパネル３５０には、仮想ジョイスティックコントローラー５００、戻るボタン５２０及びＯＫボタン５３０に加え、案内表示５４０が表示される。案内表示５４０には、仮想ジョイスティックコントローラー５００による操作内容が表示される。例えば、仮想ジョイスティックコントローラー５００の操作対象が表示画像である場合、案内表示５４０には、操作内容として表示位置又は表示サイズが表示される。
表示位置は、仮想ジョイスティックコントローラー５００の操作が、キャプチャー範囲画像７１０の表示位置を変更する操作であることを示す。
表示サイズは、仮想ジョイスティックコントローラー５００の操作が、キャプチャー範囲画像７１０の表示サイズである大きさを拡大又は縮小する操作であることを示す。

仮想ジョイスティックコントローラー５００の操作内容の切り替えは、例えば、案内表示５４０に対するタッチ操作により行うことができる。タッチパネル３５０の案内表示５４０に「表示位置」が表示された状態で、案内表示５４０へのタッチ操作が検出された場合、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作内容を「表示サイズ」に変更する。このとき、案内表示５４０の表示も、表示サイズに変更される。
また、タッチパネル３５０の案内表示５４０に「表示サイズ」が表示された状態で、案内表示５４０へのタッチ操作が検出された場合、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作内容を「表示位置」に変更する。このとき、案内表示５４０の表示も、表示位置に変更される。

図９に示す表示領域２００の表示例では、キャプチャー範囲画像７１０が、ボトル６２０から外れた位置に表示されており、図９に示すキャプチャー範囲画像７１０が示す範囲の撮像画像をキャプチャーしても、ボトル６２０の全体画像をキャプチャーすることができない。このため、使用者Ｕは、仮想ジョイスティックコントローラー５００の操作子画像５０１を操作して、キャプチャー範囲画像７１０を±Ｘ、±Ｙ及び±Ｚ方向に移動させ、図１０に示すように、キャプチャー範囲画像７１０が撮像対象のボトル６２０の全体を覆うように表示位置を変更する。

例えば、使用者Ｕが、仮想ジョイスティックコントローラー５００の操作子画像５０１を上方向に移動させたと仮定する。ＣＯ制御部３１０は、操作子画像５０１を上方向に移動させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の上方向である＋Ｘ方向に移動する。
使用者Ｕが、仮想ジョイスティックコントローラー５００の操作子画像５０１を下方向に移動させたと仮定する。ＣＯ制御部３１０は、操作子画像５０１を下方向に移動させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の下方向である－Ｘ方向に移動する。
以下、同様に、ＣＯ制御部３１０は、操作子画像５０１を左方向又は右方向に移動させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の左方向である－Ｙ方向、又は右方向である＋Ｙ方向に移動する。

また、使用者Ｕが、仮想ジョイスティックコントローラー５００の操作子画像５０１を右回転させたと仮定する。ＣＯ制御部３１０は、操作子画像５０１を右回転させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の前方向である＋Ｚ方向に移動する。
同様に、使用者Ｕが、仮想ジョイスティックコントローラー５００の操作子画像５０１を左回転させたと仮定する。ＣＯ制御部３１０は、操作子画像５０１を左回転させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の後ろ方向である－Ｚ方向に移動する。

また、ＣＯ制御部３１０は、ＣＯ６軸センサー３２３から入力される検出データに基づいて制御装置３００の姿勢を判定し、判定した姿勢に応じてキャプチャー範囲画像７１０を＋Ｚ方向又は－Ｚ方向に移動させてもよい。
例えば、制御装置３００を手に持った使用者Ｕが、タッチパネル３５０の長手方向の上側を、使用者Ｕの方向とは反対側に傾くように、制御装置３００を操作したと仮定する。ＣＯ制御部３１０は、ＣＯ６軸センサー３２３から入力される検出データに基づいて制御装置３００の姿勢である傾きを検出し、検出した傾きに対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の後ろ方向である－Ｚ方向に移動する。
また、使用者Ｕが、タッチパネル３５０の長手方向の上側を、使用者Ｕの方向に傾くように、制御装置３００を操作したと仮定する。ＣＯ制御部３１０は、ＣＯ６軸センサー３２３から入力される検出データに基づいて制御装置３００の姿勢である傾きを検出し、検出した傾きに対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０が表示領域２００の前方向である＋Ｚ方向に移動する。
使用者Ｕは、キャプチャー範囲画像７１０の表示位置の変更が完了すると、ＯＫボタン５３０を押下し、キャプチャー範囲画像７１０の表示位置の変更が完了したことを入力する。

次に、使用者Ｕは、キャプチャー範囲画像７１０の表示位置の変更が完了すると、操作子画像５０１を２回タップする等の所定の操作を入力して、仮想ジョイスティックコントローラー５００の操作対象をＤＰ外側カメラ６１に切り替える。
使用者Ｕは、仮想ジョイスティックコントローラー５００により所定の操作を入力して、ＤＰ外側カメラ６１に撮像を実行させる。所定の操作は、例えば、操作子画像５０１を長押しする操作である。ＣＯ制御部３１０は、操作対象がＤＰ外側カメラ６１に切り替えられた状態で、操作子画像５０１を長押しする操作が検出された場合、主制御部１２３に撮像指示を出力する。主制御部１２３は、ＣＯ制御部３１０から撮像指示が入力されると、ＤＰ外側カメラ６１に撮像を実行させる。また、主制御部１２３は、ＤＰ外側カメラ６１の撮像画像から、キャプチャー範囲画像７１０に対応する領域の画像を切り出し、切り出した画像を不揮発性記憶部１３０に記憶させる。これにより、不揮発性記憶部１３０には、ボトル６２０の撮像が保存される。ＤＰ外側カメラ６１の撮像画像から、キャプチャー範囲画像７１０に対応する領域の画像を切り出すことで、撮像画像の取得範囲が変更される。

また、仮想ジョイスティックコントローラー５００の操作によりキャプチャー範囲画像７１０の表示サイズを変更する場合、まず、使用者Ｕは、案内表示５４０にタッチして、案内表示５４０の表示内容を「表示サイズ」に変更する。
次に、使用者Ｕは、仮想ジョイスティックコントローラー５００により所定の操作を入力して、キャプチャー範囲画像７１０の表示サイズを変更する。所定の操作は、例えば、操作子画像５０１を上下方向に移動させる操作である。
ＣＯ制御部３１０は、操作子画像５０１を上方向に移動させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０の表示サイズが拡大される。また、ＣＯ制御部３１０は、操作子画像５０１を下方向に移動させる操作を検出すると、検出した操作に対応した操作信号を主制御部１２３に出力する。これにより、キャプチャー範囲画像７１０の表示サイズが縮小される。

また、ＤＰ外側カメラ６１に撮像を実行させる場合に、左表示部２４にだけキャプチャー範囲画像７１０を表示させ、仮想ジョイスティックコントローラー５００の操作によりキャプチャー範囲画像７１０の表示位置を調整した状態で、ＤＰ外側カメラ６１に撮像を実行させてもよい。主制御部１２３は、このときＤＰ外側カメラ６１が撮像した撮像画像を、左眼用画像として不揮発性記憶部１３０に記憶させる。
同様に、ＤＰ外側カメラ６１に撮像を実行させる場合に、右表示部２２にだけキャプチャー範囲画像７１０を表示させ、仮想ジョイスティックコントローラー５００の操作によりキャプチャー範囲画像７１０の表示位置を調整した状態で、ＤＰ外側カメラ６１に撮像を実行させてもよい。主制御部１２３は、このときＤＰ外側カメラ６１が撮像した撮像画像を、右眼用画像として不揮発性記憶部１３０に記憶させる。

図１１及び図１２は、仮想ジョイスティックコントローラー５００によりＤＰ外側カメラ６１を操作する場合について説明する説明図である。
次に、図１１及び図１２を参照しながら、仮想ジョイスティックコントローラー５００によりＤＰ外側カメラ６１を操作する場合について説明する。
以下では、使用者Ｕが仮想ジョイスティックコントローラー５００の操作により、ＤＰ外側カメラ６１の撮像範囲や、ＤＰ外側カメラ６１の焦点調整を行う場合について説明する。
図１１及び図１２において、画像表示部２０を装着した使用者Ｕには、実空間の物体として、撮像対象者６５０である赤ちゃんが視認される。また、画像表示部２０が表示する表示画像としてキャプチャー範囲画像７３０が視認される。キャプチャー範囲画像７３０も、ＤＰ外側カメラ６１の撮像画像のうち、キャプチャー画像として取り込む範囲を示す画像である。
図１１に破線で示す画像がキャプチャー範囲画像７３０である。図１１及び図１２に示すキャプチャー範囲画像７３０は、矩形の画像であり、Ｘ軸方向及びＹ軸方向である表示領域２００の上下方向及び左右方向に領域を有する２次元画像である。
また、仮想ジョイスティックコントローラー５００の操作対象が、ＤＰ外側カメラ６１である場合、表示領域２００の第２アイコン８３０が点灯又は点滅した状態となる。図１１及び図１２には、第２アイコン８３０の表示領域にハッチングを付し、第２アイコン８３０が選択され、点滅又は点灯した状態を示す。

仮想ジョイスティックコントローラー５００の操作対象が、ＤＰ外側カメラ６１である場合、タッチパネル３５０に表示される案内表示５４０には、キャプチャー範囲又はフォーカス調整が表示される。
仮想ジョイスティックコントローラー５００の操作対象が、ＤＰ外側カメラ６１である場合も、仮想ジョイスティックコントローラー５００の操作内容の切り替えは、案内表示５４０に対するタッチ操作により行うことができる。タッチパネル３５０の案内表示５４０に「キャプチャー範囲」が表示された状態で、案内表示５４０へのタッチ操作が検出された場合、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作内容を「フォーカス調整」に変更する。このとき、案内表示５４０の表示も、フォーカス調整に変更される。
また、タッチパネル３５０の案内表示５４０に「フォーカス調整」が表示された状態で、案内表示５４０へのタッチ操作が検出された場合、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作内容を「キャプチャー範囲」に変更する。このとき、案内表示５４０の表示も、キャプチャー範囲に変更される。

使用者Ｕは、図１１に示すように、仮想ジョイスティックコントローラー５００の操作子画像５０１を上下、又は左右に移動させて、キャプチャー範囲画像７３０内に撮像対象者６５０が入るようにキャプチャー範囲画像７３０の表示位置を変更する。
次に、使用者Ｕは、案内表示５４０にタッチして、仮想ジョイスティックコントローラー５００の操作内容を、フォーカス調整に変更する。

図１２は、仮想ジョイスティックコントローラー５００の操作がフォーカス調整に変更された場合に、表示領域２００に表示される画像を示す図である。
仮想ジョイスティックコントローラー５００の操作がフォーカスの調整に変更された場合、表示領域２００には、複数のフォーカスポイント７５０が表示される。フォーカスポイント７５０は、本発明の調整画像であり、焦点調整用の画像である。主制御部１２３は、表示領域２００に複数のフォーカスポイント７５０を表示させる場合、いずれか１つのフォーカスポイント７５０を点滅させた状態で表示する。使用者Ｕは、仮想ジョイスティックコントローラー５００を操作して、点滅した状態のフォーカスポイント７５０を変更する。点滅した状態のフォーカスポイント７５０が変更されることで、ＤＰ外側カメラ６１が焦点を合わせる位置を変更することができる。使用者Ｕは、フォーカスポイント７５０を変更すると、ＯＫボタン５３０を押下し、フォーカスポイント７５０の調整が完了したことを入力する。

次に、使用者Ｕは、仮想ジョイスティックコントローラー５００の操作子画像５０１を長押しして、ＤＰ外側カメラ６１に撮像を実行させる。
ＣＯ制御部３１０は、操作子画像５０１を長押しする操作が検出された場合、主制御部１２３に撮像指示を出力する。主制御部１２３は、ＣＯ制御部３１０から撮像指示が入力されると、ＤＰ外側カメラ６１に撮像を実行させる。主制御部１２３は、ＤＰ外側カメラ６１に撮像を実行させると、ＤＰ外側カメラ６１の撮像画像から、キャプチャー範囲画像７３０に対応する領域の画像を切り出し、切り出した画像を不揮発性記憶部１３０に記憶させる。これにより、不揮発性記憶部１３０には、撮像対象者６５０の赤ちゃんの画像が保存される。ＤＰ外側カメラ６１の撮像画像から、キャプチャー範囲画像７３０に対応する領域の画像を切り出すことで、撮像画像の取得範囲が変更される。

また、画像表示部２０の左表示部２４にだけキャプチャー範囲画像７３０やフォーカスポイント７５０を表示して、使用者Ｕの左眼の視点から見た左眼用の撮像画像を生成してもよい。
主制御部１２３は、まず、左表示部２４にだけキャプチャー範囲画像７３０を表示させ、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作により受け付けた操作情報を主制御部１２３に出力する。主制御部１２３は、入力された操作情報によりキャプチャー範囲画像７３０の表示位置を変更する。
次に、主制御部１２３は、左表示部２４にだけフォーカスポイント７５０を表示させ、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作により受け付けた操作情報を主制御部１２３に出力する。主制御部１２３は、入力された操作情報によりＤＰ外側カメラ６１が焦点を合わせる位置を変更する。
次に、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作により撮像指示を受け付けると、受け付けた情報を主制御部１２３に出力する。主制御部１２３は、ＤＰ外側カメラ６１に撮像を実行させ、ＤＰ外側カメラ６１が撮像した撮像画像を、左眼用画像として不揮発性記憶部１３０に記憶させる。
従って、画像表示部２０を装着した使用者Ｕ用に調整された右眼用の撮像画像を取得することができる。

同様に、画像表示部２０の右表示部２２にだけキャプチャー範囲画像７３０やフォーカスポイント７５０を表示して、使用者Ｕの右眼の視点から見た左眼用の撮像画像を生成する。
主制御部１２３は、まず、右表示部２２にだけキャプチャー範囲画像７３０を表示させ、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作により受け付けた操作情報を主制御部１２３に出力する。主制御部１２３は、入力された操作情報によりキャプチャー範囲画像７３０の表示位置を変更する。
次に、主制御部１２３は、右表示部２２にだけフォーカスポイント７５０を表示させ、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作により受け付けた操作情報を主制御部１２３に出力する。主制御部１２３は、入力された操作情報によりＤＰ外側カメラ６１が焦点を合わせる位置を変更する。
次に、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作により撮像指示を受け付けると、受け付けた情報を主制御部１２３に出力する。主制御部１２３は、ＤＰ外側カメラ６１に撮像を実行させ、ＤＰ外側カメラ６１が撮像した撮像画像を、右眼用画像として不揮発性記憶部１３０に記憶させる。
従って、画像表示部２０を装着した使用者Ｕ用に調整された右眼用の撮像画像を取得することができる。

［５．動作］
図１３は、ＣＯ制御部の動作を示すフローチャートである。
図１３に示すフローチャートを参照しながらＣＯ制御部３１０の動作について説明する。以下では、図９及び図１０を参照して説明したキャプチャー範囲画像７１０によりキャプチャー範囲を設定し、ＤＰ外側カメラ６１の撮像画像のうち、キャプチャー範囲画像７１０に対応した範囲の画像をキャプチャーする場合について説明する。
まず、ＣＯ制御部３１０は、画像表示部２０により表示領域２００に表示画像が表示されたか否かを判定する（ステップＳ１）。例えば、ＣＯ制御部３１０は、タッチパネル３５０の操作により、キャプチャー範囲画像７１０の表示を要求する操作を受け付けたか否かを判定する。ＣＯ制御部３１０は、キャプチャー範囲画像７１０の表示を要求する操作を受け付けた場合、表示領域２００に表示画像であるキャプチャー範囲画像７１０が表示されたと判定する（ステップＳ１／ＹＥＳ）。ＣＯ制御部３１０は、表示領域２００にキャプチャー範囲画像７１０が表示されていない場合（ステップＳ１／ＮＯ）、キャプチャー範囲画像７１０が表示されるまで待機する。

ＣＯ制御部３１０は、表示領域２００にキャプチャー範囲画像７１０が表示されると（ステップＳ１／ＹＥＳ）、仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる（ステップＳ２）。
次に、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作内容として表示位置の変更が設定されたか否かを判定する（ステップＳ３）。ＣＯ制御部３１０は、タッチパネル３５０に表示された案内表示５４０がタッチされ、案内表示５４０の表示が「表示位置」に変更された場合に、表示位置の変更が設定されたと判定する。

ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作が、表示位置の変更に設定された場合（ステップＳ３／ＹＥＳ）、仮想ジョイスティックコントローラー５００の操作を受け付けたか否かを判定する（ステップＳ４）。ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作を受け付けていない場合（ステップＳ４／ＮＯ）、ステップＳ６の判定に移行する。また、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作を受け付けた場合（ステップＳ４／ＹＥＳ）、受け付けた操作に応じて、キャプチャー範囲画像７１０の表示位置を変更する（ステップＳ５）。ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作情報を主制御部１２３に出力する。主制御部１２３は、ＣＯ制御部３１０から入力される操作情報に従い、キャプチャー範囲画像７１０の表示位置を変更する。

次に、ＣＯ制御部３１０は、ＯＫボタン５３０の押下操作を受け付けたか否かを判定する（ステップＳ６）。ＣＯ制御部３１０は、ＯＫボタン５３０の押下操作を受け付けていない場合（ステップＳ６／ＮＯ）、ステップＳ４の判定に戻る。また、ＣＯ制御部３１０は、ＯＫボタン５３０の操作を受け付けた場合（ステップＳ６／ＹＥＳ）、ステップＳ７の判定に移行する。

ＣＯ制御部３１０は、ステップＳ３の判定が否定判定であった場合、又はステップＳ６でＯＫボタン５３０の操作を受け付けた場合、仮想ジョイスティックコントローラー５００の操作として、キャプチャー範囲画像７１０の表示サイズを変更する操作が設定されたか否かを判定する（ステップＳ７）。ＣＯ制御部３１０は、タッチパネル３５０に表示された案内表示５４０がタッチされ、案内表示５４０の表示が「表示サイズ」に変更された場合に、表示サイズの変更が設定されたと判定する。

ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作が、表示サイズの変更に設定されると（ステップＳ７／ＹＥＳ）、仮想ジョイスティックコントローラー５００の操作を受け付けたか否かを判定する（ステップＳ８）。ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作を受け付けていない場合（ステップＳ８／ＮＯ）、ステップＳ１０の判定に移行する。また、ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作を受け付けた場合（ステップＳ１０／ＹＥＳ）、受け付けた操作に応じて、キャプチャー範囲画像７１０の表示サイズを変更する。ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作情報を主制御部１２３に出力する。主制御部１２３は、ＣＯ制御部３１０から入力される操作情報に従い、キャプチャー範囲画像７１０の表示サイズを変更する。

次に、ＣＯ制御部３１０は、ＯＫボタン５３０の押下操作を受け付けたか否かを判定する（ステップＳ１０）。ＣＯ制御部３１０は、ＯＫボタン５３０の押下操作を受け付けていない場合（ステップＳ１０／ＮＯ）、ステップＳ７の判定に戻る。また、ＣＯ制御部３１０は、ＯＫボタン５３０の操作を受け付けた場合（ステップＳ１０／ＹＥＳ）、ステップＳ１１の判定に移行する。

ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作対象を、ＤＰ外側カメラ６１に切り替える操作を受け付けたか否かを判定する（ステップＳ１１）。例えば、ＣＯ制御部３１０は、操作子画像５０１が２回タップされた場合、仮想ジョイスティックコントローラー５００の操作対象をＤＰ外側カメラ６１に切り替える。

ＣＯ制御部３１０は、仮想ジョイスティックコントローラー５００の操作対象を、ＤＰ外側カメラ６１に切り替える操作を受け付けていない場合（ステップＳ１１／ＮＯ）、ステップＳ３の判定に戻る。また、ＣＯ制御部３１０は、ＤＰ外側カメラ６１に切り替える操作を受け付けた場合（ステップＳ１１／ＹＥＳ）、仮想ジョイスティックコントローラー５００の操作により撮像指示に対応する操作を受け付けたか否かを判定する（ステップＳ１２）。

ＣＯ制御部３１０は、撮像指示に対応する操作を受け付けていない場合（ステップＳ１１／ＮＯ）、ステップＳ３の判定に戻る。また、ＣＯ制御部３１０は、撮像指示に対応する操作を受け付けた場合（ステップＳ１１／ＹＥＳ）、主制御部１２３に撮像指示を出力する（ステップＳ１２）。主制御部１２３は、ＣＯ制御部３１０から撮像指示が入力されると、ＤＰ外側カメラ６１に撮像を実行させる。

主制御部１２３は、ＤＰ外側カメラ６１から撮像画像が入力されると、入力された撮像画像から、キャプチャー範囲画像７１０に対応する領域の画像を切り出す（ステップＳ１３）。その後、主制御部１２３は、切り出した画像を不揮発性記憶部１３０に記憶させる（ステップＳ１４）。また、主制御部１２３は、画像表示部２０を制御して、Ｋ切り出した画像を表示領域２００に表示させる（ステップＳ１４）。

［６．効果］
以上説明したように本実施形態の表示システム１は、ＨＭＤ１００と、ＨＭＤ１００に接続された制御装置３００とを備える。
ＨＭＤ１００は、外景を視認可能であって、外景に重ねて画像を表示する画像表示部２０、及び画像表示部２０に搭載されたＤＰ外側カメラ６１を備え、使用者Ｕの頭部に装着される。制御措置３００は、操作を受け付けるタッチパネル３５０を有する。
制御装置３００のタッチパネル３５０に使用者Ｕの操作を受け付ける操作画像である仮想ジョイスティックコントローラー５００を表示し、画像表示部２０の画像の表示領域２００に、ＤＰ外側カメラ６１、又はＤＰ外側カメラ６１が撮像する撮像画像を調整する調整画像を表示する。
表示システム１は、受け付けた仮想ジョイスティックコントローラー５００に対する操作により調整画像の表示を変更し、受け付けた仮想ジョイスティックコントローラー５００に対する操作によりＤＰ外側カメラ６１に撮像を実行させる。

従って、タッチパネル３５０に表示された仮想ジョイスティックコントローラー５００を操作することで、ＤＰ外側カメラ６１、又はＤＰ外側カメラ６１が撮像する撮像画像を調整することができる。タッチパネル３５０に表示される仮想ジョイスティックコントローラー５００は、ジョイスティックコントローラーに対応した操作を受け付けることができる。このため、使用者Ｕは、仮想ジョイスティックコントローラー５００の表示位置に指をタッチさせ、タッチさせた指をタッチパネル３５０から離すことなく、入力したい方向に移動させる。このため、十字キーのように、操作のたびにキーの位置を確認する場合と比べて、使用者Ｕがタッチパネル３５０を確認する回数を低減することができる。従って、画像表示部２０を頭部に装着し、画像表示部２０越しにタッチパネル３５０を視認する使用者Ｕにとっての操作性を向上させることができる。

画像表示部２０により表示領域２００に表示される調整画像は、ＤＰ外側カメラ６１の撮像画像の取得範囲を調整する画像であり、受け付けた操作画像に対する操作により、表示領域に表示された調整画像の表示位置又は大きさを変更することで調整画像の表示を変更して、撮像画像の取得範囲を変更する。
従って、仮想ジョイスティックコントローラー５００の操作によりＤＰ外側カメラ６１が撮像した撮像画像の取得範囲を変更することができる。このため、使用者Ｕは、使用者Ｕの頭部を動かすことなく、画像表示部２０に搭載されたＤＰ外側カメラ６１が撮像する撮像画像の取得範囲を変更することができる。また、使用者Ｕは、ジョイスティックコントローラーを操作するような直感的な操作により、ＤＰ外側カメラ６１が撮像した撮像画像の取得範囲を変更することができ、操作性を向上させることができる。

画像表示部２０により表示領域に表示される調整画像は、複数の焦点位置を有する焦点調整用のフォーカスポイント７５０であり、受け付けた操作画像に対する操作によりＤＰ外側カメラ６１の焦点を合わせる焦点位置を選択することで調整画像の表示を変更し、ＤＰ外側カメラ６１が焦点を合わせる位置を変更する。
従って、仮想ジョイスティックコントローラー５００の操作によりＤＰ外側カメラ６１の焦点位置を変更することができる。このため、使用者Ｕは、使用者Ｕの頭部を動かすことなく、画像表示部２０に搭載されたＤＰ外側カメラ６１の焦点位置を変更することができる。

制御装置３００は、指示体である使用者Ｕの指が接触したタッチパネル３５０の位置を検出する。制御装置３００は、使用者Ｕの指の接触が検出されたタッチパネル３５０の位置を基準として、仮想ジョイスティックコントローラー５００を表示させる。
従って、使用者Ｕの操作が容易なタッチパネル３５０の位置に、仮想ジョイスティックコントローラー５００を表示させることができ、操作性を向上させることができる。

仮想ジョイスティックコントローラー５００は、操作に対応して表示位置が変更される操作子画像５０１を有する。仮想ジョイスティックコントローラー５００は、表示形態として第１表示形態、第２表示形態及び第３表示形態を有する。
第１表示形態は、操作子画像５０１の移動方向が上下方向に制限される形態である。
第２表示形態は、操作子画像５０１の移動方向が左右方向に制限される形態である。
第３表示形態は、操作子画像５０１をタッチパネル３５０の全方向に移動可能な形態である。
制御装置３００は、画像表示部２０により表示領域２００に表示されたキャプチャー範囲画像７１０に対応して、第１表示形態、第２表示形態及び第３表示形態のいずれかの表示形態の仮想ジョイスティックコントローラー５００をタッチパネル３５０に表示させる。
従って、表示領域２００に表示されるキャプチャー範囲画像７１０が受け付け可能な方向を入力可能な表示形態の可能な仮想ジョイスティックコントローラー５００を表示させることができる。

［７．変形例］
上述の実施形態では、仮想ジョイスティックコントローラー５００の操作対象となる表示画像が、撮像画像のキャプチャー範囲を示すキャプチャー範囲画像７１０又は７３０である場合について説明した。この変形例では、表示画像が実空間の実物体に対応づけられ、実物体に重畳表示される画像であり、この表示画像の表示位置を変更する操作を仮想ジョイスティックコントローラー５００により行う場合について説明する。

主制御部１２３は、ＤＰ外側カメラ６１に撮像を実行させ、撮像画像から予め登録された登録物体を検出する。主制御部１２３は、撮像画像から登録物体が検出されると、この登録物体に対応づけられた表示画像を画像表示部２０に表示させる。
使用者Ｕは、実物体に対応づけて表示される表示画像が画像表示部２０により表示されると、仮想ジョイスティックコントローラー５００の操作子画像５０１を予め設定された時間以上長押しする。ＣＯ制御部３１０は、操作子画像５０１が長押しされる操作を受け付けると、実物体に対応づけられた表示画像の表示位置の変更を許可する。
次に、使用者Ｕは、操作子画像５０１を長押ししたまま、表示画像を表示させたい位置に移動する。ＣＯ制御部３１０は、操作子画像５０１が長押しされたまま、ＣＯ６軸センサー３２３のセンサデータにより、制御装置３００の移動が検出されると、ＣＯ６軸センサー３２３のセンサデータにより制御装置３００が移動した移動量を検出する。

使用者は、表示画像を表示させたい位置まで移動すると、操作子画像５０１の長押し操作を終了させる。ＣＯ制御部３１０は、操作子画像５０１の長押しが検出されなくなると、表示画像の表示位置を、ＣＯ６軸センサー３２３のセンサデータにより検出した移動量により移動させる。

すなわち、変形例は、ＤＰ外側カメラ６１が撮像した撮像画像から、外景に含まれる予め設定された登録物体を検出し、登録物体が検出された場合に、画像表示部２０により、登録物体に対応づけられた表示画像を登録物体に対応する位置に表示させ、操作画像に対する予め設定された操作を受け付けた場合、制御装置３００の移動量を検出し、検出した制御装置３００の移動量に対応して表示画像の表示位置を変更する。
従って、可能な仮想ジョイスティックコントローラー５００の操作により登録物体に対応づけられた表示画像の表示位置を調整することができる。

本発明は上記各実施形態で説明した構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、表示システム１は頭部装着型の表示装置であるＨＭＤ１００を備える構成を例示したが、本発明はこれに限定されず、各種の表示装置を採用できる。例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

ＨＭＤ１００は、本発明の適用対象となる表示装置の一例であり、図３に示す構成に限定されない。例えば、上記実施形態では、画像表示部２０と接続装置１０とが分離された構成を例に挙げて説明したが、接続装置１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、画像表示部２０の光学系の構成は任意であり、例えば、使用者Ｕの眼の前方に位置して使用者Ｕの視界の一部又は全部に重なる光学部材を用いてもよい。或いは、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。或いは、光学部材の内部で画像光を導光させるものに限らず、使用者Ｕの眼に向けて画像光を屈折及び／又は反射させて導く機能のみを有するものであってもよい。
また、表示装置として、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを採用してもよい。プラズマディスプレイパネル、有機ＥＬ表示パネルを備えた表示装置を用いてもよい。また、表示装置として、画像光をスクリーン等に投射するプロジェクターを用いてもよい。

また、例えば、図３に示したＨＭＤ１００において、接続装置１０を、ＵＳＢ－ＴｙｐｅＣコネクター、ＵＳＢ－ＴｙｐｅＣコントローラー、及び、ＵＳＢハブを利用して構成してもよい。この場合、ＤＰ外側カメラ６１や、その他のセンサーを、ＵＳＢハブに接続してもよい。また、画像表示部２０における右表示部２２と左表示部２４の表示を制御するコントローラーとして、表示データを右表示部２２及び左表示部２４に出力するＦＰＧＡを、右表示部２２又は左表示部２４のいずれかに配置してもよい。この場合、接続装置１０は、ＵＳＢ－ＴｙｐｅＣコントローラーとＦＰＧＡとを接続するブリッジコントローラーを備えてもよい。また、画像表示部２０において、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７、ＥＥＰＲＯＭ２１５等をＦＰＧＡと同じ基板に実装した構成としてもよい。その他のセンサーの配置についても適宜に変更可能である。例えば、距離センサー６４やＤＰ照度センサー６５は、測定又は検出に適した位置に配置されて、ＦＰＧＡやＵＳＢ－ＴｙｐｅＣコントローラーに接続される構成としてもよい。
また、ＯＬＥＤユニット２２１、２４１を含む表示装置の具体的な仕様についても制限はなく、例えば、ＯＬＥＤユニット２２１、２４１が共通の構成を有していてもよい。

図３、図４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、プロセッサー３１１が実行するプログラムは、外部の装置に記憶されたプログラムを通信部３４２又はＩ／Ｆ部３４３を介して取得して実行する構成としてもよい。

１…表示システム、１１Ａ…コネクター、１１Ｄ…コネクター、２０…画像表示部、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、３６…オーディオコネクター、４０…接続ケーブル、４６…ＵＳＢケーブル、６１…ＤＰ外側カメラ、６３…マイク、６４…距離センサー、６５…ＤＰ照度センサー、６７…ＬＥＤインジケーター、１００…ＨＭＤ、１１０…Ｉ／Ｆ部、１２０…ＤＰ制御部、１２２…センサー制御部、１２３…主制御部、１２４…不揮発性メモリー、１２５…プロセッサー、１２５ａ…表示制御部、１２６…電源制御部、１３０…不揮発性記憶部、１４０…操作部、１４５…接続部、１４７…音声処理部、２０１…映像信号、２１０…右表示部基板、２１１…右Ｉ／Ｆ部、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２９…電源部、２３０…左表示部基板、２３１…左Ｉ／Ｆ部、２３３…受信部、２３５…ＤＰ６軸センサー、２３７…ＤＰ磁気センー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４９…電源部、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００…制御装置、３１０…ＣＯ制御部、３１１…プロセッサー、３１２…メモリー、３１３…不揮発性メモリー、３２１…ＧＮＳＳ、３２２…ＣＯカメラ、３２３…ＣＯ６軸センサー、３２４…ＣＯ磁気センサー、３２５…ＣＯ照度センサー、３２６…バイブレーター、３２７…音声出力部、３３０…ＣＯ表示部、３３５…ＣＯ入力部、３３７…スイッチ、３４１…バッテリー、３４２…通信部、３４３…Ｉ／Ｆ部、３５０…タッチパネル、５００…仮想ジョイスティックコントローラー、５０１…操作画像、５０３Ａ、５０３Ｂ…スライダーバー、５０５…範囲画像、５２０…戻るボタン、５３０…ＯＫボタン、５４０…案内表示、６１０…机、６２０…ボトル、６５０…対象者、７１０、７３０…キャプチャー範囲画像、７５０…フォーカスポイント、８１０…第１アイコン、８３０…第２アイコン。

Claims (9)

1. 外景を視認可能であって、前記外景に重ねて画像を表示する表示部、及び前記表示部に搭載された撮像部を備え、使用者の頭部に装着される表示装置と、操作を受け付ける操作面を有する情報処理装置と、を備える表示システムの操作方法であって、
   前記操作面に前記使用者の操作を受け付ける操作画像を表示し、
   前記表示部の画像の表示領域に、前記撮像部、又は前記撮像部が撮像する撮像画像を調整する調整画像を表示し、
   受け付けた前記操作画像に対する操作により前記調整画像の表示を変更し、
   受け付けた前記操作画像に対する操作により前記撮像部に撮像を実行させる、
   操作方法。
2. 前記操作画像は、操作により前記操作面の表示位置が変更される操作子を有し、
   前記操作を受ける前の前記操作子の表示位置と、前記操作を受けた後の前記操作子の表示位置とに基づき、前記使用者の入力を特定する、請求項１記載の操作方法。
3. 前記表示部により前記表示領域に表示される前記調整画像は、前記撮像部の撮像画像の取得範囲を調整する画像であり、
   受け付けた前記操作画像に対する操作により、前記表示領域に表示された前記調整画像の表示位置又は大きさを変更することで前記調整画像の表示を変更して、前記撮像画像の取得範囲を変更する、請求項１又は２記載の操作方法。
4. 前記表示部により前記表示領域に表示される前記調整画像は、複数の焦点位置を有する焦点調整用の画像であり、
   受け付けた前記操作画像に対する操作により前記撮像部の焦点を合わせる焦点位置を選択することで前記調整画像の表示を変更し、前記撮像部が焦点を合わせる位置を変更する、請求項１又は２記載の操作方法。
5. 指示体が接触した前記操作面の位置を検出し、
   検出した前記操作面の位置を基準として前記操作画像を表示させる、請求項１から４のいずれか一項に記載の操作方法。
6. 前記操作画像は、操作に対応して表示位置が変更される操作子を有し、
   前記操作子の移動方向が第１の方向に制限される第１表示形態と、
   前記操作子の移動方向が前記第１の方向とは異なる第２の方向に制限される第２表示形態と、
   前記操作子を前記操作面の全方向に移動可能な第３表示形態と、を備え、
   前記表示部により前記表示領域に表示された前記調整画像に対応して、前記第１表示形態、第２表示形態及び前記第３表示形態のいずれかの表示形態の前記操作画像を前記操作面に表示させる、請求項１から５のいずれか一項に記載の操作方法。
7. 前記撮像部が撮像した撮像画像から、前記外景に含まれる予め設定された登録物体を検出し、
   前記登録物体が検出された場合に、前記表示部により、前記登録物体に対応づけられた表示画像を前記登録物体に対応する位置に表示させ、
   前記操作画像に対する予め設定された操作を受け付けた場合、前記情報処理装置の移動量を検出し、
   検出した前記情報処理装置の移動量に対応して前記表示画像の表示位置を変更する、請求項１から６のいずれか一項に記載の操作方法。
8. 前記表示部は、前記使用者の左眼に画像を視認させる左表示部と、前記使用者の右眼に画像を視認させる右表示部と、を備え、
   前記左表示部に前記調整画像を表示させた状態で、前記操作画像に対する操作を受け付けて、受け付けた前記操作により前記調整画像の表示を変更し、
   前記操作画像に対する操作を受け付けて、受け付けた前記操作により前記撮像部に撮像を実行させて左眼用の撮像画像を取得し、
   前記右表示部に前記調整画像を表示させた状態で、前記操作画像に対する操作を受け付けて、受け付けた前記操作により前記調整画像の表示を変更し、
   前記操作画像に対する操作を受け付けて、受け付けた前記操作により前記撮像部に撮像を実行させて右眼用の撮像画像を取得する、請求項１記載の操作方法。
9. 外景を視認可能であって、前記外景に重ねて画像を表示する表示部、及び前記表示部に搭載された撮像部を備え、使用者の頭部に装着される表示装置と、操作を受け付ける操作面を有する情報処理装置と、が備えるコンピューターに実行させるプログラムであって、
   前記操作面に前記使用者の操作を受け付ける操作画像を表示し、
   前記表示部の画像の表示領域に、前記撮像部、又は前記撮像部が撮像する撮像画像を調整する調整画像を表示し、
   受け付けた前記操作画像に対する操作により前記調整画像の表示を変更し、
   受け付けた前記操作画像に対する操作により前記撮像部に撮像を実行させる、
   プログラム。

Images