JP2012173476A - 表示システム、端末装置、端末装置の制御方法、および、プログラム - Google Patents
表示システム、端末装置、端末装置の制御方法、および、プログラム Download PDFInfo
- Publication number
- JP2012173476A JP2012173476A JP2011034705A JP2011034705A JP2012173476A JP 2012173476 A JP2012173476 A JP 2012173476A JP 2011034705 A JP2011034705 A JP 2011034705A JP 2011034705 A JP2011034705 A JP 2011034705A JP 2012173476 A JP2012173476 A JP 2012173476A
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- head
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】第三者に覗き見されるのを防止する。
【解決手段】本発明の表示システムは、映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、利用者の視界内に映像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、を具備し、ＨＭＤは、利用者の視界方向に向かって撮影した撮影画像の画像データを出力し、端末装置は、出力された画像データに基づいて、ＨＭＤに対する表示部の位置関係を検出する検出部と、表示部およびＨＭＤのいずれか一方を映像の表示先として決定し、ＨＭＤを映像の表示先として決定した場合には、検出された位置関係に基づいて、ＨＭＤが映像表示可能な表示可能領域における、利用者から見て表示部と重複する領域を特定し、ＨＭＤに特定した領域および特定した領域の周辺領域に映像を表示させるとともに、表示部に映像の表示を停止させる制御部と、を有する。
【選択図】図１
【解決手段】本発明の表示システムは、映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、利用者の視界内に映像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、を具備し、ＨＭＤは、利用者の視界方向に向かって撮影した撮影画像の画像データを出力し、端末装置は、出力された画像データに基づいて、ＨＭＤに対する表示部の位置関係を検出する検出部と、表示部およびＨＭＤのいずれか一方を映像の表示先として決定し、ＨＭＤを映像の表示先として決定した場合には、検出された位置関係に基づいて、ＨＭＤが映像表示可能な表示可能領域における、利用者から見て表示部と重複する領域を特定し、ＨＭＤに特定した領域および特定した領域の周辺領域に映像を表示させるとともに、表示部に映像の表示を停止させる制御部と、を有する。
【選択図】図１
Description
本発明は、表示システム、端末装置、端末装置の制御方法、および、プログラムに関する。
利用者に対して映像を表示する表示装置の１つとして、利用者の頭部に装着され、利用者の視界内に映像を表示するヘッドマウントディスプレイ（ＨＭＤ）がある。
近年、ＨＭＤと携帯電話などの端末装置とを連動させ、ＨＭＤを端末装置の外部表示装置として使用する表示システムが検討されている。
例えば、特許文献１（特開２００６−２６７６０４号公報）には、表示部を有する端末装置とＨＭＤとからなる表示システムにおいて、端末装置の表示部に映像を表示させるとともに、ＨＭＤが映像表示可能な表示可能領域における、利用者から見て端末装置の表示部と重複する領域を特定し、ＨＭＤに特定した領域の周辺領域に種々の映像を表示させる技術が開示されている。
特許文献１に開示の技術によれば、端末装置の表示部とは重複しないように、ＨＭＤの表示可能領域に映像を表示させることができる
しかしながら、特許文献１に開示の技術によれば、端末装置の表示部に表示された映像を利用者以外の第三者に覗き見されるおそれがあるという課題がある。
本発明の目的は、上述した課題を解決し、第三者に映像が覗き見される可能性を低減することができる表示システム、端末装置、端末装置の制御方法、および、プログラムを提供することにある。
上記目的を達成するために本発明の第１の表示システムは、
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部を有し、
前記端末装置は、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有する。
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部を有し、
前記端末装置は、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有する。
上記目的を達成するために本発明の第２の表示システムは、
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部と、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部を有する。
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部と、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部を有する。
上記目的を達成するために本発明の第３の表示システムは、
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイおよび前記端末装置とネットワークを介して接続されるサーバと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを前記サーバに出力する撮影部を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記映像を示す映像データを前記サーバに出力するとともに、前記表示部に映像の表示を停止させる第１の制御部を有し、
前記サーバは、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に、前記第１の制御部より出力された映像データに示される映像を表示させる第２の制御部と、を有する。
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイおよび前記端末装置とネットワークを介して接続されるサーバと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを前記サーバに出力する撮影部を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記映像を示す映像データを前記サーバに出力するとともに、前記表示部に映像の表示を停止させる第１の制御部を有し、
前記サーバは、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に、前記第１の制御部より出力された映像データに示される映像を表示させる第２の制御部と、を有する。
上記目的を達成するために本発明の端末装置は、
映像を表示する表示部と、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有する。
映像を表示する表示部と、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有する。
上記目的を達成するために本発明の端末装置の制御方法は、
映像を表示する表示部を有する端末装置の制御方法であって、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力し、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる。
映像を表示する表示部を有する端末装置の制御方法であって、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力し、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる。
上記目的を達成するために本発明のプログラムは、
映像を表示する表示部を有する端末装置に、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する処理と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる処理と、を実行させる。
映像を表示する表示部を有する端末装置に、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する処理と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる処理と、を実行させる。
本発明によれば、ヘッドマウントディスプレイに映像を表示する場合に、端末装置の表示部への映像の表示を停止させるので、第三者に映像が覗き見される可能性を低減することができる。
以下に、本発明を実施するための形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態の表示システム１０の構成を示すブロック図である。
図１は、本発明の第１の実施形態の表示システム１０の構成を示すブロック図である。
図１に示す表示システム１０は、端末装置１００とヘッドマウントディスプレイ（ＨＭＤ）２００とを具備する。
端末装置１００は、表示部１１０を有しており、表示部１１０およびＨＭＤ２００のいずれかを一方を映像の表示先として決定し、ＨＭＤ２００を映像の表示先として決定した場合には、映像データをＨＭＤ２００に送信する。なお、端末装置１００の具体例としては、携帯電話がある。
ＨＭＤ２００は、図２に示すように、利用者の頭部に装着され、端末装置１００から送信されてきた映像データを受信し、映像データに示される映像を表示する。
次に、端末装置１００の構成について説明する。なお、図３は、端末装置１００の外観を示す図である。
端末装置１００は、表示部１１０と、キー操作部１２０と、通信部１３０と、演算回路１４０と、を有する。
また、演算回路１４０は、表示制御部１４１と、キー制御部１４２と、通信制御部１４３と、アプリケーション部１４４と、ＨＭＤ制御部１４５と、端末姿勢取得部１４６と、を備える。
表示部１１０は、端末装置１００に付属する付属ディスプレイであり、演算回路１４０から出力された映像データに示される映像を表示する。
キー操作部１２０は、利用者が操作したキーの状態を示す信号を演算回路１４０に出力する。
通信部１３０は、ＨＭＤ２００と有線または無線通信を用いて相互にデータの送受信を行う。なお、本実施形態においては、ＨＭＤ２００との通信方法は、特に限定されるものではなく、既存の通信方法を用いるものとする。
演算回路１４０は、キー操作部１２０を介した操作などのイベントを入力とし、入力されたイベントの内容に応じて種々の情報処理を行い、上述した各部を制御する。
表示制御部１４１は、アプリケーション部１４４からの指示に従い、映像を表示部１１０に表示させ、また、映像の表示を停止させる。さらに、表示制御部１４１は、ＨＭＤ制御部１４５からの指示に従い、ＨＭＤ２００に対する表示部１１０の相対的な位置関係を検出するための位置合わせ用パターンを表示部１１０に表示させる。
キー制御部１４２は、キー操作部１２０から出力された信号に基づいて生成した、利用者の操作内容を示すイベントデータをアプリケーション部１４４に出力する。
通信制御部１４３は、通信部１３０を介したＨＭＤ２００との通信を制御する。
アプリケーション部１４４は、キー制御部１４２から出力されたイベントデータに応じて種々の情報処理を行い、表示制御部１４１に指示して表示部１１０に処理結果を表示させ、また、ＨＭＤ制御部１４５に指示してＨＭＤ２００に処理結果を表示させる。なお、アプリケーション部１４４が行う処理は、端末装置１００に内蔵されたソフトウェア全般を用いて実現される。
ＨＭＤ制御部１４５は、アプリケーション部１４４からの指示に従い、ＨＭＤ２００との接続状況の確認、ＨＭＤ２００の使用開始、ＨＭＤ２００への画像表示、ＨＭＤ２００の使用終了などの処理を行う。
端末姿勢取得部１４６は、通信部１３０を介して受信された、後述するＨＭＤ２００のカメラが撮影した撮影画像を示す画像データを取得する。また、端末姿勢取得部１４６は、表示部１１０に表示される位置合わせ用パターンを予め記憶しており、取得した画像データに示される撮影画像における位置合わせ用パターンの画像認識を行うことで、ＨＭＤ２００に対する表示部１１０の相対的な位置関係（相対位置および相対姿勢）を検出し、検出した位置関係を示す位置情報をＨＭＤ制御部１４５に出力する。なお、以下では、ＨＭＤに対する端末装置の表示部の相対的な位置関係を相対位置関係と称する。
次に、ＨＭＤ２００の構成について説明する。なお、図４は、ＨＭＤ２００の外観を示す図である。
ＨＭＤ２００は、カメラ２１０と、表示部２２０と、通信部２３０と、演算回路２４０と、を有する。
また、演算回路２４０は、カメラ制御部２４１と、表示制御部２４２と、通信制御部２４３と、を備える。
カメラ２１０は、撮影部の一例であり、撮影した撮影画像を示す画像データを出力する。なお、カメラ２１０は、図４に示すように、ＨＭＤ２００の正面に設けられ、ＨＭＤ２００を装着した利用者の視界方向に向けられる。したがって、カメラ２１０の撮影範囲は、利用者の視界の範囲とほぼ一致する。
表示部２２０は、演算回路２４０から出力された映像データに示される映像を表示する。なお、表示部２２０としては、非透過スクリーン型のものと透過スクリーン型のものとがある。表示部２２０が非透過スクリーン型のものである場合には、利用者の視界は完全に遮断される。また、表示部２２０が透過スクリーン型のものである場合には、利用者の視界に重ね合わせて映像が表示される。また、図４に示すように、表示部２２０として、スクリーンを両眼に設けたものと片眼に設けたものとがある。また、スクリーンではなく、利用者の網膜へ直接映像を投射する方式のものを用いてもよい。
通信部２３０は、端末装置１００と有線または無線通信を用いて相互にデータの送受信を行う。なお、本実施形態においては、端末装置１００との通信方法は、特に限定されるものではなく、既存の通信方法を用いるものとする。
演算回路２４０は、種々の情報処理を行い、上述した各部を制御する。
カメラ制御部２４１は、カメラ２１０への撮影要求があると、カメラ２１０に撮影を行わせ、カメラ２１０から出力された画像データを通信制御部２４３に出力する。
表示制御部２４２は、通信制御部２４３から映像データが出力されると、その映像データに示される映像を表示部２２０に表示させる。
通信制御部２４３は、通信部２３０を介した端末装置１００との通信を制御する。
次に、本実施形態の表示システム１０の動作について説明する。
図５は、表示システム１０の動作の一例を示すフローチャートである。
端末装置１００の動作開始時に、アプリケーション部１４４は、ＨＭＤ２００との接続状況の確認処理を行う旨をＨＭＤ制御部１４５に指示する（ステップＳ０１）。
アプリケーション部１４４からの指示を受けて、ＨＭＤ制御部１４５は、通信制御部１４３に通信部１３０を介したＨＭＤ２００との通信の確立を試みさせる。ＨＭＤ制御部１４５は、通信の確立に成功したら、ＨＭＤ２００と接続中である旨をアプリケーション部１４４に通知し、通信の確立に失敗したら、ＨＭＤ２００と未接続である旨をアプリケーション部１４４に通知する。
ＨＭＤ２００と接続中である旨が通知されると、アプリケーション部１４４は、ＨＭＤ２００の使用開始処理を行う旨をＨＭＤ制御部１４５に指示し、ＨＭＤ制御部１４５は、ＨＭＤ２００の使用開始処理を行う（ステップＳ０２）。なお、使用開始処理の詳細については後述する。
次に、アプリケーション部１４４は、例えば、ＨＭＤ２００を映像の表示先とする操作入力がキー操作部１２０を介して行われたか否かに応じて、ＨＭＤ２００を映像の表示先として使用する否かを判定する（ステップＳ１０３）。なお、ＨＭＤ２００と未接続である旨が通知された場合には、アプリケーション部１４４は、ＨＭＤ２００を使用しないと判定する。
ＨＭＤ２００を使用する場合には（ステップＳ０３：Ｙｅｓ）、アプリケーション部１４４は、映像データをＨＭＤ制御部１４５に出力し、ＨＭＤ２００への画像表示処理を行う旨をＨＭＤ制御部１４５に指示する。なお、画像表示処理の詳細については後述する。
アプリケーション部１４４からの指示を受けて、ＨＭＤ制御部１４５は、通信制御部１４３に通信部１３０を介してＨＭＤ２００に映像データを送信させる。
ＨＭＤ２００では、通信部２３０が、端末装置１００から送信されてきた映像データを受信して通信制御部２４３に出力し、通信制御部２４３は、その映像データを表示制御部２４２に出力する。
表示制御部２４２は、通信制御部２４３から出力された映像データに示される映像を表示部２２０に表示させる（ステップＳ０４）。
一方、ＨＭＤ２００を使用しない場合には（ステップＳ０３：Ｎｏ）、アプリケーション部１４４は、映像データを表示制御部１４１に出力し、表示制御部１４１は、その映像データに示される映像を表示部１１０に表示させる（ステップＳ０５）。
次に、アプリケーション部１４４は、キー操作部１２０あるいはシステム内の他の入力手段を介して入力されたイベントについてイベントデータを取得し（ステップＳ０６）、入力されたイベントに応じた処理を行う。
例えば、端末装置１００の動作を終了すべき旨を示すイベントが入力された場合には、アプリケーション部１４４は、各部の動作を終了させる。
また、ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力された場合には、アプリケーション部１４４は、使用終了処理を行う旨をＨＭＤ制御部１４５に指示し、ＨＭＤ制御部１４５は、端末姿勢取得部１４６の動作を停止させるとともに、通信制御部１４３にＨＭＤ２００との通信を解除させる（ステップＳ０７）。
また、ＨＭＤ２００の使用開始処理を行うべき旨を示すイベントが入力された場合には、アプリケーション部１４４は、ステップＳ０１に戻る。
また、上述したイベント以外のイベントが入力された場合には、アプリケーション部１４４は、入力されたイベントに応じた処理を行い（ステップＳ０８）、処理結果を表示するために、ステップＳ０３の処理に戻る。
次に、図５のステップＳ０２における、ＨＭＤ２００の使用開始処理時の表示システム１０の動作について、図６に示すフローチャートを参照して説明する。
まず、ＨＭＤ制御部１４５は、位置合わせ用パターンを表示部１１０に表示させるように表示制御部１４１に指示し、表示制御部１４１は、位置合わせ用パターンを表示部１１０に表示させる（ステップＳ１１）。
次に、ＨＭＤ制御部１４５は、カメラ２１０への撮影要求をＨＭＤ２００に送信するように通信制御部１４３に指示し、通信制御部１４３は、通信部１３０を介してカメラ２１０への撮影要求をＨＭＤ２００に送信する。
ＨＭＤ２００では、通信部２３０が、端末装置１００から送信されてきたカメラ２１０への撮影要求を受信し、通信制御部２４３に出力する。通信制御部２４３は、カメラ２１０への撮影要求があった旨をカメラ制御部２４１に通知し、カメラ制御部２４１は、カメラ２１０に撮影を行わせる（ステップＳ１２）。
カメラ２１０は、撮影画像を示す画像データをカメラ制御部２４１に出力し、カメラ制御部２４１は、その画像データを通信制御部２４３に出力する。通信制御部２４３は、カメラ制御部２４１から出力された画像データを、通信部２３０を介して端末装置１００に送信する。
端末装置１００では、通信部１３０が、ＨＭＤ２００から送信されてきた画像データを受信して通信制御部１４３に出力し、通信制御部１４３は、その画像データを端末姿勢取得部１４６に出力する。
端末姿勢取得部１４６は、通信制御部１４３から出力された画像データに示される撮影画像における位置合わせ用パターンの検出を行う（ステップＳ１３）。次に、端末姿勢取得部１４６は、検出した位置合わせ用パターンの大きさと歪みとに基づいて相対位置関係を計算する（ステップＳ１４）。なお、ステップＳ１３における位置合わせ用パターンの検出、および、ステップＳ１４における相対位置関係の計算は、例えば、ARToolKit(http://www.hitl.washington.edu/artoolkit/)などの既存のソフトウェアを用いて行われる。
相対位置関係の計算結果は、ＨＭＤ２００の表示部２２０に全画面表示した矩形の位置合わせ用パターンを、ステップＳ１３において検出した位置合わせ用パターンの形にアフィン変換するためのアフィン変換行列として、端末姿勢取得部１４６に保持される。
ＨＭＤ２００を映像の表示先として使用する場合には、ＨＭＤ制御部１４５は、映像表示処理に進み、端末姿勢取得部１４６が検出した相対位置関係に基づいて、表示部２２０の表示可能領域における特定の領域に映像を表示させる。また、ＨＭＤ制御部１４５は、表示制御部１４１に、位置合わせ用パターン以外の表示部１１０への表示を停止させる。
なお、ＨＭＤ２００の表示部２２０における映像を表示する領域が頻繁に（フレーム毎に）変化すると、利用者にとって見難いため、相対位置関係の計算結果の変化量を平滑化するようにしてもよい。
次に、ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力された場合には（ステップＳ１５：Ｙｅｓ）、ＨＭＤ制御部１４５は、表示制御部１４１に、表示部１１０に表示されている位置合わせ用パターンを消去させ（ステップＳ１６）、通常の画面に戻させる。
一方、ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力されていない場合には（ステップＳ１５：Ｎｏ）、ＨＭＤ制御部１４５は、ステップＳ１２の処理に戻る。
次に、図５のステップＳ０４における、ＨＭＤ２００への映像表示処理時の表示システム１０の動作について、図７に示すフローチャートを参照して説明する。
ＨＭＤ制御部１４５は、アフィン変換行列を端末姿勢取得部１４６から取得し（ステップＳ２１）、アプリケーション部１４４から出力された映像データに対して、取得したアフィン変換行列を用いてアフィン変換を施す（ステップＳ２２）。
図８Ａは、アフィン変換後の映像データに示される映像の一例を示す図である。
アフィン変換が施されることで、利用者から見て表示部２２０の表示可能領域Ｐと端末装置１００の表示部１１０とが重複する領域Ａが特定され、その領域Ａに映像が表示される。
なお、領域Ａのサイズは、利用者から見た端末装置１００の表示部１１０のサイズと一致する。領域Ａのサイズが小さいと、表示部２２０の解像度によっては文字などがつぶれて見難くなる場合がある。この場合、変換後の画像データにおいて、領域Ａのサイズを適当な倍率で拡大することが望ましい。ここで、領域Ａのサイズを拡大する場合には、キー操作部１２０がＨＭＤ００の表示部２２０に表示される映像のために隠れないように、表示部２２０の表示可能領域の下端と端末装置１００の表示部１１０の下端とを揃え、上方向に拡大することが望ましい。
また、ＨＭＤ制御部１４５は、図８Ａに示すように、例えば、領域Ａの右側の領域Ｂおよび左側の領域Ｃのように、領域Ａの周辺領域にも映像を表示させる。なお、図８Ａにおいては、領域Ａの左右の領域を周辺領域として映像を表示する例を示しているが、これに限られるものではなく、領域Ａの上下の領域を周辺領域としてもよい。
領域Ａとその周辺領域に表示される映像の具体例としては、例えば、字幕つきの映像を表示する場合に、領域Ａに映像を表示し、周辺領域に字幕を表示する例がある。また、操作入力が階層的に構成された操作画面に応じて行われる場合には、現在の操作画面を領域Ａに表示し、その１つ前の階層の操作画面を周辺領域に表示する例などがある。
さらに、ＨＭＤ制御部１４５は、図８Ｂに示すように、表示可能領域Ｐ内の固定領域Ｄに映像を表示する映像データを生成する。
固定領域Ｄに表示される映像としては、電波強度、電池残量、メール着信通知、現在時刻などがある。なお、図８Ｂにおいては、表示可能領域Ｐ内の上端に固定領域Ｄが位置する例を示しているが、これに限られるものではなく、固定領域Ｄは、表示可能領域Ｐ内の任意の位置に設定される。
次に、ＨＭＤ制御部１４５は、図８Ａおよび図８Ｂに示される映像の映像データを合成する。ここで、表示部２２０が非透過スクリーン型のものである場合には、ＨＭＤ制御部１４５は、カメラ２１０が取得した最新の撮影画像に、領域Ａから領域Ｄに表示する映像を上書きする。一方、表示部２２０が透過スクリーン型のものである場合には、ＨＭＤ制御部１４５は、領域Ａから領域Ｄ以外の領域は透明色とする。領域Ａから領域Ｄ以外の領域を透明色とすることで、利用者の視界を確保することができる。
ＨＭＤ制御部１４５は、合成後の映像データを通信制御部１４３に出力し、通信制御部１４３は、通信部１３０を介してその映像データをＨＭＤ２００に送信する（ステップＳ２３）。また、ＨＭＤ制御部１４５は、位置合わせ用パターン以外の映像の表示部１１０への表示を表示制御部１４１に停止させる。
ＨＭＤ２００では、通信部２３０が、端末装置１００から送信されてきた映像データを受信し、表示制御部２２０は、その映像データに示される映像を表示部２２０に表示させる。
図９は、利用者に視認される映像の一例を示す図である。
図９に示すように、表示部２２０の表示可能領域Ｐ内における、利用者から見て端末装置１００の表示部１１０と重複する領域のサイズを拡大した領域Ａおよびその周辺領域（領域Ｂおよび領域Ｃ）と固定領域Ｄとに映像が表示される。また、端末装置１００の表示部１１０への映像の表示は停止される。
なお、利用者が自宅などの安全な場所で表示システム１０を使用する場合には、表示部２２０の固定領域に映像を表示するようにしてもよい。この場合、利用者が所定の操作入力を行うと、表示システム１０は、表示部２２０の固定領域に映像を表示する固定モードに移行する。固定モードに移行した場合には、ＨＭＤ制御部１４５は、図７におけるステップＳ２１の処理を行わず、ステップＳ２２において、アプリケーション部１４４から出力された映像データをＨＭＤ２００の表示部２２０に適したサイズに拡大または縮小する処理を行う。また、ステップＳ０２および図６に示される処理は不要となる。
このように本実施形態によれば、端末装置１００は、ＨＭＤ２００に対する表示部１１０の位置関係を検出し、その位置関係に基づいて、ＨＭＤ２００の表示部２２０の表示可能領域における、利用者から見て表示部１１０と重複する領域を特定し、ＨＭＤ２００に特定した領域およびその周辺領域に映像を表示させるとともに、表示部１１０に映像の表示を停止させる。
そのため、以下のような効果が得られる。
第１の効果は、常に、表示部２２０の固定領域に映像が表示されるのではなく、利用者が見たいときだけ、端末装置１００の表示部１１０の方向を見れば、ＨＭＤ２００の表示部２２０に映像が表示されるので、周囲の状況の確認を表示部１１０から視線をそらすという自然な動作で実現することができる。
第２の効果は、利用者から見て、端末装置１００の表示部１１０に映像を表示する場合よりも大きい映像を、ＨＭＤ２００を用いて表示することができるため、映像の視認性を向上させることができる。
第３の効果は、ＨＭＤ２００を映像の表示先とする場合には、端末装置１００の表示部１１０への映像の表示が停止されるので、第三者に覗き見られるのを防止することができる。
（第２の実施形態）
第１の実施形態においては、相対位置関係を検出するために表示部１１０に位置合わせ用パターンを表示していた。しかし、表示部２２０が透過スクリーン型のものである場合、あるいは、片眼のものである場合には、利用者に位置合わせ用パターンが見えてしまい、映像の閲覧の邪魔になる。また、例えば、端末装置１００の表示部１１０がタッチパネルである場合には、タッチパネルへの操作を行うことで、位置合わせ用パターンが隠れてしまい、相対位置関係を検出できない可能性がある。
第１の実施形態においては、相対位置関係を検出するために表示部１１０に位置合わせ用パターンを表示していた。しかし、表示部２２０が透過スクリーン型のものである場合、あるいは、片眼のものである場合には、利用者に位置合わせ用パターンが見えてしまい、映像の閲覧の邪魔になる。また、例えば、端末装置１００の表示部１１０がタッチパネルである場合には、タッチパネルへの操作を行うことで、位置合わせ用パターンが隠れてしまい、相対位置関係を検出できない可能性がある。
そこで、本実施形態においては、端末装置は、表示部１１０に位置合わせ用パターンを表示することなく相対位置関係を検出する。
図１０は、本実施形態の表示システム２０の構成を示す図である。なお、図１０において、図１と同様の構成については同じ符号を付し、説明を省略する。
図１０に示す端末装置３００は、図１に示す端末装置１００と比較して、ＬＥＤ（Light Emitting Diode）３１０を追加した点が主に異なる。
ＬＥＤ３１０は、発光部の一例であり、表示制御部１４１からの指示に従い、赤外線を発光する。なお、赤外線は、可視光の範囲から外れるため利用者には視認されないが、カメラ２１０は検出することができる。したがって、ＬＥＤ３１０を発光させても、利用者の映像の閲覧の邪魔とはならない。
図１１は、端末装置３００の外観の一例を示す図である。
図１１に示すように、端末装置３００は、表示部１１０の近傍に３つのＬＥＤ３１０を備える。また、表示部１１０がタッチパネルである場合には、図１２に示すように、ＬＥＤ３１０は、利用者が指などで操作入力を行う場合に指で隠れない位置に配置される。
図１３は、ＨＭＤ２００の使用開始処理時の表示システム２０の動作を示すフローチャートである。なお、図１３において、図６と同様の処理については同じ符号を付し、説明を省略する。
まず、ＨＭＤ制御部１４５は、表示部１１０の映像表示の停止とＬＥＤ３１０の点灯とを表示制御部１４１に指示し、表示制御部１４１は、表示部１１０の映像表示を停止させるとともに、複数のＬＥＤ３１０を点灯させる（ステップＳ３１）。なお、表示制御部１４１は、複数のＬＥＤ３１０の各々の点滅パターン、あるいは、点灯する光の周波数を変える。各ＬＥＤ３１０の点滅パターン、あるいは、点灯する光の周波数を変えることで、端末姿勢取得部１４６が各ＬＥＤ３１０を識別することが可能となる。
端末姿勢取得部１４６は、カメラ２１０の撮影画像の解析を行い、撮影画像における複数のＬＥＤ３１０の位置を検出し（ステップＳ３２）、検出した複数のＬＥＤ３１０の位置に基づいて相対位置関係を計算する。なお、相対位置関係の計算は、第１の実施形態と同様の方法を用いて行われる。
ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力された場合には（ステップＳ１５：Ｙｅｓ）、ＨＭＤ制御部１４５は、ＬＥＤ３１０を消灯させる旨を表示制御部１４１に指示し、表示制御部１４１は、ＬＥＤ３１０を消灯させる（ステップＳ３３）。
このように、本実施形態によれば、端末装置３００は、赤外線を発光する複数のＬＥＤ３１０を有し、カメラ２１０の撮影画像におけるＬＥＤ３１０の位置に基づいて相対位置関係を検出する。
そのため、位置合わせ用パターンを表示部１１０に表示する必要がなくなり、また、赤外線は利用者に視認されないので、利用者の映像の閲覧を妨げることなく、相対位置関係を検出することができる。
（第３の実施形態）
第１および第２の実施形態においては、カメラ２１０の撮影画像の画像データを端末装置に送信するため、ＨＭＤ２００と端末装置との間で送受信されるデータ量が増大する。
第１および第２の実施形態においては、カメラ２１０の撮影画像の画像データを端末装置に送信するため、ＨＭＤ２００と端末装置との間で送受信されるデータ量が増大する。
そこで、本実施形態においては、ＨＭＤ側で相対位置関係の検出を行う。
図１４は、本実施形態の表示システム３０の構成を示す図である。なお、図１４において、図１と同様の構成については同じ符号を付し、説明を省略する。
図１４に示すＨＭＤ４００は、図１に示すＨＭＤ２００と比較して、端末姿勢取得部４１０を追加した点が主に異なる。
端末姿勢取得部４１０は、カメラ制御部２４１から出力された画像データに基づいて相対位置関係を検出し、検出した相対位置関係を示す位置情報を通信制御部２４３に出力する。通信制御部２４３に出力された位置情報は、通信部２３０を介して端末装置１００に送信され、端末姿勢取得部１４６に保持される。
すなわち、端末姿勢取得部４１０は、図６におけるステップＳ１２からステップＳ１５までの処理を行い、ステップＳ１４において計算した相対位置関係を示す位置情報を、通信制御部２４３を用いて端末装置１０に送信する。
なお、第２の実施形態のように、端末装置がＬＥＤを備える場合には、端末姿勢取得部４１０は、図１３におけるステップＳ１２からステップＳ１５までの処理を行う。
このように本実施形態によれば、ＨＭＤ４００が、相対位置関係を検出し、検出した相対位置関係を示す位置情報を端末装置１００に出力する。
相対位置関係の検出処理をＨＭＤ４００側で行うことで、端末装置１００とＨＭＤ４００との間で画像データを送受信する必要がなくなるので、通信量を削減することができ、また、端末装置１００の演算回路１４０の処理量を低減することができる。
（第４の実施形態）
第１から第３の実施形態においては、相対位置関係の検出などの処理を端末装置またはＨＭＤで行っていたため、端末装置およびＨＭＤの演算回路の処理量が増加してしまう。
第１から第３の実施形態においては、相対位置関係の検出などの処理を端末装置またはＨＭＤで行っていたため、端末装置およびＨＭＤの演算回路の処理量が増加してしまう。
そこで、本実施形態においては、ネットワーク上のサーバが、相対位置関係の検出などの処理を行うようにする。
図１５は、本実施形態の表示システム４０の構成を示す図である。なお、図１５において、図１と同様の構成については同じ符号を付し、説明を省略する。
図１５に示す表示システム４０は、端末装置５００と、ＨＭＤ６００と、端末装置５００およびＨＭＤ６００とネットワークを介して接続されるサーバ７００と、を具備する。
端末装置５００は、図１に示す端末装置１００と比較して、端末姿勢取得部１４６を削除した点と、通信部１３０を通信部５１０に変更した点と、が異なる。
また、ＨＭＤ６００は、図１に示すＨＭＤ２００と比較して、通信部２３０を通信部６１０に変更した点が異なる。
端末装置５００は、ＨＭＤ６００を映像の表示先として決定した場合には、通信部５１０を介して映像データをサーバ７００に送信する。また、端末装置５００は、通信部５１０を介してＨＭＤ６００のカメラ２１０への撮影要求をサーバ７００に送信する。
ＨＭＤ６００は、通信部６１０を介してカメラ２１０の撮影画像の画像データをサーバ７００に送信する。また、ＨＭＤ６００は、サーバ７００から送信されてきたカメラ２１０への撮影要求および映像データを、通信部６１０を介して受信する。
サーバ７００は、端末装置側通信部７１０と、ＨＭＤ側通信部７２０と、端末姿勢取得部７３０と、制御部７４０と、を有する。
端末装置側通信部７１０は、端末装置５００から送信されてきたＨＭＤ６００のカメラ２１０への撮影要求および映像データを受信し、制御部７４０に出力する。
ＨＭＤ側通信部７２０は、制御部７４０から出力されたカメラ２１０への撮影要求および映像データをＨＭＤ６００に送信する。また、ＨＭＤ側通信部７２０は、ＨＭＤ６００から送信されてきた画像データを受信し、端末姿勢取得部７３０に出力する。
端末姿勢取得部７３０は、ＨＭＤ側通信部７２０から出力された画像データに基づいて相対位置関係を検出し、検出した相対位置関係を示す位置情報を制御部７４０に出力する。
制御部７４０は、端末装置側通信部７１０から出力されたカメラ２１０への撮影要求をＨＭＤ側通信部７２０に出力する。また、制御部７４０は、端末姿勢取得部７３０から出力された位置情報に基づいて、表示部２２０の表示可能領域における、利用者から見て端末装置５００の表示部１１０と重複する領域を特定し、特定した領域とその周辺領域とに映像が表示されるように、端末装置側通信部７１０から出力された映像データを変換してＨＭＤ側制御部７２０に出力する。
このように本実施形態によれば、サーバ７００が、相対位置関係の検出および相対位置関係に応じた映像データの変換を行う。
そのため、端末装置５００およびＨＭＤ６００の演算回路の処理量を低減することができる。
（第５の実施形態）
図１６は、本発明の第５の実施形態の表示システム５０の構成を示す図である。
図１６は、本発明の第５の実施形態の表示システム５０の構成を示す図である。
図１６に示す表示システム５０は、端末装置８００と、ＨＭＤ９００と、を具備する。
ＨＭＤ９００は、ＨＭＤ９００の備えるディスプレイへの映像の表示、あるいは、利用者の網膜に直接映像を投射することで、端末装置７００から出力された映像データに示される映像を利用者の視界内に表示する。なお、図１６においては、ＨＭＤ９００が備える、ディスプレイ、あるいは、利用者の網膜に映像を投射する投射機構については記載を省略する。
次に、ＨＭＤ９００の構成について説明する。
ＨＭＤ９００は、撮影部９１０を有する。
撮影部９１０は、利用者の視界方向に向かって撮影した撮影画像の画像データを、有線または無線通信を用いて端末装置８００に出力する。
次に、端末装置８００の構成について説明する。
端末装置８００は、表示部８１０と、検出部８２０と、制御部８３０と、を有する。
表示部８１０は、制御部８３０から出力される映像データに示される映像を表示する。
検出部８２０は、撮影部９１０より出力された画像データに基づいて、ＨＭＤ９００に対する表示部８１０の相対的な位置関係を検出し、検出した位置関係を示す位置情報を出力する。
制御部８３０は、表示部８１０およびＨＭＤ９００のいずれか一方を映像の表示先として決定し、ＨＭＤ９００を映像の表示先として決定した場合には、検出部８２０より出力された位置情報に基づいて、ＨＭＤ９００の表示可能領域における、利用者から見て表示部８１０と重複する領域を特定し、検出部８２０を介して、ＨＭＤ９００に特定した領域および特定した領域の周辺領域に表示させる映像を示す映像データを出力して映像を表示させるとともに、表示部８１０に映像の表示を停止させる。
このように本実施形態によれば、端末装置８００は、ＨＭＤ９００に対する表示部８１０の位置関係を検出し、その位置関係に基づいて、ＨＭＤ９００の表示可能領域における、利用者から見て表示部８１０と重複する領域を特定し、ＨＭＤ９００に特定した領域およびその周辺領域に映像を表示させるとともに、表示部８１０に映像の表示を停止させる。
そのため、上述した第１から第３の効果を得ることができる。
（第６の実施形態）
図１７は、本発明の第６の実施形態の表示システム６０の構成を示す図である。
図１７は、本発明の第６の実施形態の表示システム６０の構成を示す図である。
図１７に示す表示システム６０は、端末装置１０００と、ＨＭＤ１１００と、を具備する。
ＨＭＤ１１００は、ＨＭＤ１１００の備えるディスプレイへの映像の表示、あるいは、利用者の網膜に直接映像を投射することで、端末装置１０００から出力された映像データに示される映像を利用者の視界内に表示する。なお、図１７においては、ＨＭＤ１１００が備える、ディスプレイ、あるいは、利用者の網膜に映像を投射する投射機構については記載を省略する。
次に、ＨＭＤ１１００の構成について説明する。
ＨＭＤ１１００は、撮影部１１１０と、検出部１１２０と、を有する。
撮影部１１１０は、利用者の視界方向に向かって撮影した撮影画像の画像データを検出部１１２０に出力する。
検出部１１２０は、撮影部１１１０より出力された画像データに基づいて、ＨＭＤ１１００に対する後述する端末装置１０００の表示部の相対的な位置関係を検出し、検出した位置関係を示す位置情報を、有線または無線通信を用いて端末装置１０００に出力する。
次に、端末装置１０００の構成について説明する。
端末装置１０００は、表示部１０１０と、制御部１０２０と、を有する。
表示部１０１０は、制御部１０２０から出力される映像データに示される映像を表示する。
制御部１０２０は、表示部１０１０およびＨＭＤ１１００のいずれか一方を映像の表示先として決定し、ＨＭＤ１１００を映像の表示先として決定した場合には、検出部１１２０より出力された位置情報に基づいて、ＨＭＤ１１００の表示可能領域における、利用者から見て表示部１０１０と重複する領域を特定し、ＨＭＤ１１００に特定した領域および特定した領域の周辺領域に表示させる映像を示す映像データを出力して、映像を表示させるとともに、表示部１０１０に映像の表示を停止させる。
このように本実施形態によれば、ＨＭＤ１１００は、ＨＭＤ１１００に対する表示部１０１０の位置関係を検出し、端末装置１０００は、ＨＭＤ１１００が検出した位置関係に基づいて、ＨＭＤ１１００の表示可能領域における、利用者から見て表示部１０１０と重複する領域を特定し、ＨＭＤ１１００に特定した領域およびその周辺領域に映像を表示させるとともに、表示部１０１０に映像の表示を停止させる。
そのため、上述した第１から第３の効果に加えて、端末装置１０００とＨＭＤ１１００との間で画像データを送受信する必要がなくなるので、通信量を削減することができ、また、端末装置１０００の制御部１０２０の処理量を低減することができるという効果を得ることができる。
（第７の実施形態）
図１８は、本発明の第７の実施形態の表示システム７０の構成を示す図である。
図１８は、本発明の第７の実施形態の表示システム７０の構成を示す図である。
図１８に示す表示システム７０は、端末装置１２００と、ＨＭＤ１３００と、サーバ１４００と、を具備する。
端末装置１２００は、ＨＭＤ１３００を映像の表示先とする場合には、その映像を示す映像データをサーバ１４００に出力する。
ＨＭＤ１３００は、ＨＭＤ１３００の備えるディスプレイへの映像の表示、あるいは、利用者の網膜に直接映像を投射することで、サーバ１４００から出力された映像データに示される映像を利用者の視界内に表示する。なお、図１８においては、ＨＭＤ１３００が備える、ディスプレイ、あるいは、利用者の網膜に映像を投射する投射機構については記載を省略する。
サーバ１４００は、端末装置１２００およびＨＭＤ１３００とネットワークを介して接続される。
次に、端末装置１２００の構成について説明する。
端末装置１２００は、表示部１２１０と、制御部１２２０と、を有する。なお、制御部１２２０は、第１の制御部の一例である。
表示部１２１０は、制御部１２２０から出力される映像データに示される映像を表示する。
制御部１２２０は、表示部１２１０およびＨＭＤ１３００のいずれか一方を映像の表示先として決定し、ＨＭＤ１３００を映像の表示先として決定した場合には、その映像を示す映像データをサーバ１４００に出力するとともに、表示部１２１０に映像の表示を停止させる
次に、ＨＭＤ１３００の構成について説明する。
次に、ＨＭＤ１３００の構成について説明する。
ＨＭＤ１３００は、撮影部１３１０を有する。
撮影部１３１０は、利用者の視界方向に向かって撮影した撮影画像の画像データをサーバ１４００に有線または無線通信を用いて出力する。
次に、サーバ１４００の構成について説明する。
サーバ１４００は、検出部１４１０と、制御部１４２０と、を有する。なお、制御部１４２０は、第２の制御部の一例である。
検出部１４１０は、撮影部１３１０より出力された画像データに基づいて、ＨＭＤ１３００に対する端末装置１２００の表示部１２１０の相対的な位置関係を検出し、検出した位置関係を示す位置情報を制御部１４２０に出力する。
制御部１４２０は、検出部１４１０より出力された位置情報に基づいて、ＨＭＤ１３００の表示可能領域における、利用者から見て端末装置１２００の表示部１２１０と重複する領域を特定し、ＨＭＤ１３００に特定した領域およびその特定した領域の周辺領域に、端末装置１２００より出力された映像データに示される映像を表示させる。
このように本実施形態によれば、サーバ１４００が、位置関係の検出および検出した位置関係に応じた映像データの変換を行う。
そのため、上述した第１から第３の効果に加えて、端末装置１２００およびＨＭＤ１３００における処理量を低減することができる。
なお、第１から第７の実施形態においては、端末装置が携帯電話である場合を例として説明したが、これに限られるものではなく、例えば、携帯型ゲーム機、据え置き型のパーソナルコンピュータなどであってもよい。
また、第１から第７の実施形態においては、ＨＭＤの使用終了処理を行うべき旨を示すイベントの入力に応じて、ＨＭＤの使用を終了する例を用いて説明したが、これに限られるものではない。
例えば、端末装置が、第１および第２の筐体からなり、ヒンジを介して第１の筐体と第２の筐体とが開閉可能に連結される折り畳み構造を有する場合、あるいは、第１の筐体と第２の筐体とがスライド可能に連結されるスライド構造を有する場合には、筐体の開閉あるいはスライドに応じて、ＨＭＤの使用終了処理を行うようにしてもよい。
また、第１から第７の実施形態においては、端末装置の表示部に表示された位置合わせ用パターン、または、端末装置のＬＥＤの位置に基づいて相対位置関係を検出する例を用いて説明したが、これに限られるものではない。
例えば、端末姿勢取得部において、端末装置の外部筐体の形状を予め記憶しておき、カメラの撮影画像からその端末装置の外部筐体の形状を検出することで相対位置関係を検出するようにしてもよい。
なお、本発明の端末装置にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。
１０，２０，３０，４０，５０，６０，７０ 表示システム
１００，３００，５００，８００，１０００，１２００ 端末装置
１１０，８１０，１０１０，１２１０ 表示部
１２０ キー操作部
１３０ 通信部
１４０ 演算回路
１４１ 表示制御部
１４２ キー制御部
１４３ 通信制御部
１４４ アプリケーション部
１４５ ＨＭＤ制御部
１４６ 端末姿勢取得部
２００，４００，６００，９００，１１００，１３００ ヘッドマウントディスプレイ（ＨＭＤ）
２１０ カメラ
２２０ 表示部
２３０ 通信部
２４０ 演算回路
２４１ カメラ制御部
２４２ 表示制御部
２４３ 通信制御部
３１０ ＬＥＤ
４１０ 端末姿勢取得部
７００，１４００ サーバ
７１０ 端末装置側通信部
７２０ ＨＭＤ側通信部
７３０ 端末姿勢取得部
７４０ 制御部
８２０ 検出部
８３０，１０２０，１２２０ 制御部
９１０，１１１０，１３１０ 撮影部
１１２０ 検出部
１４１０ 検出部
１４２０ 制御部
１００，３００，５００，８００，１０００，１２００ 端末装置
１１０，８１０，１０１０，１２１０ 表示部
１２０ キー操作部
１３０ 通信部
１４０ 演算回路
１４１ 表示制御部
１４２ キー制御部
１４３ 通信制御部
１４４ アプリケーション部
１４５ ＨＭＤ制御部
１４６ 端末姿勢取得部
２００，４００，６００，９００，１１００，１３００ ヘッドマウントディスプレイ（ＨＭＤ）
２１０ カメラ
２２０ 表示部
２３０ 通信部
２４０ 演算回路
２４１ カメラ制御部
２４２ 表示制御部
２４３ 通信制御部
３１０ ＬＥＤ
４１０ 端末姿勢取得部
７００，１４００ サーバ
７１０ 端末装置側通信部
７２０ ＨＭＤ側通信部
７３０ 端末姿勢取得部
７４０ 制御部
８２０ 検出部
８３０，１０２０，１２２０ 制御部
９１０，１１１０，１３１０ 撮影部
１１２０ 検出部
１４１０ 検出部
１４２０ 制御部
Claims (9)
- 映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部を有し、
前記端末装置は、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有することを特徴とする表示システム。 - 映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部と、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部を有することを特徴とする表示システム。 - 映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイおよび前記端末装置とネットワークを介して接続されるサーバと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを前記サーバに出力する撮影部を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記映像を示す映像データを前記サーバに出力するとともに、前記表示部に映像の表示を停止させる第１の制御部を有し、
前記サーバは、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に、前記第１の制御部より出力された映像データに示される映像を表示させる第２の制御部と、を有することを特徴とする表示システム。 - 映像を表示する表示部と、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有することを特徴とする端末装置。 - 請求項４記載の端末装置であって、
前記制御部は、前記表示可能領域における固定領域に映像をさらに表示させることを特徴とする端末装置。 - 請求項４または５記載の端末装置において、
前記表示部は、位置合わせ用パターンを表示し、
前記検出部は、前記撮影部の撮影画像における前記位置合わせ用パターンを検出し、該検出結果に基づいて、前記位置関係を検出することを特徴とする端末装置。 - 請求項４または５記載の端末装置において、
前記表示部の近傍に設けられ、赤外線を発光する複数の発光部をさらに有し、
前記検出部は、前記撮影部の撮影画像における前記複数の発光部の位置を検出し、該検出結果に基づいて、前記位置関係を検出することを特徴とする端末装置。 - 映像を表示する表示部を有する端末装置の制御方法であって、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力し、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させることを特徴とする端末装置の制御方法。 - 映像を表示する表示部を有する端末装置に、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する処理と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる処理と、を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011034705A JP2012173476A (ja) | 2011-02-21 | 2011-02-21 | 表示システム、端末装置、端末装置の制御方法、および、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011034705A JP2012173476A (ja) | 2011-02-21 | 2011-02-21 | 表示システム、端末装置、端末装置の制御方法、および、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012173476A true JP2012173476A (ja) | 2012-09-10 |
Family
ID=46976435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011034705A Withdrawn JP2012173476A (ja) | 2011-02-21 | 2011-02-21 | 表示システム、端末装置、端末装置の制御方法、および、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012173476A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014181380A1 (ja) * | 2013-05-09 | 2014-11-13 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置およびアプリケーション実行方法 |
| JP2014219448A (ja) * | 2013-05-01 | 2014-11-20 | コニカミノルタ株式会社 | 表示システム、表示方法、表示端末および表示プログラム |
| WO2014188797A1 (ja) * | 2013-05-21 | 2014-11-27 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
| JP2015184920A (ja) * | 2014-03-24 | 2015-10-22 | 富士ゼロックス株式会社 | 情報表示装置、情報表示システム及びプログラム |
| KR101670815B1 (ko) * | 2016-02-11 | 2016-10-31 | (주)건우애듀 | Ｖｒ 및 ａｒ 기반 실시간 지식 공유 서비스 제공 방법 |
| JP2020166040A (ja) * | 2019-03-28 | 2020-10-08 | ファナック株式会社 | 制御システム |
| JP2023075353A (ja) * | 2018-07-04 | 2023-05-30 | マクセル株式会社 | 仮想オブジェクト操作方法およびヘッドマウントディスプレイ |
-
2011
- 2011-02-21 JP JP2011034705A patent/JP2012173476A/ja not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9542562B2 (en) | 2013-05-01 | 2017-01-10 | Konica Minolta, Inc. | Display system, display method, display terminal and non-transitory computer-readable recording medium stored with display program |
| JP2014219448A (ja) * | 2013-05-01 | 2014-11-20 | コニカミノルタ株式会社 | 表示システム、表示方法、表示端末および表示プログラム |
| WO2014181380A1 (ja) * | 2013-05-09 | 2014-11-13 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置およびアプリケーション実行方法 |
| JP5898378B2 (ja) * | 2013-05-09 | 2016-04-06 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置およびアプリケーション実行方法 |
| WO2014188797A1 (ja) * | 2013-05-21 | 2014-11-27 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
| JP2015184920A (ja) * | 2014-03-24 | 2015-10-22 | 富士ゼロックス株式会社 | 情報表示装置、情報表示システム及びプログラム |
| KR101670815B1 (ko) * | 2016-02-11 | 2016-10-31 | (주)건우애듀 | Ｖｒ 및 ａｒ 기반 실시간 지식 공유 서비스 제공 방법 |
| JP2023075353A (ja) * | 2018-07-04 | 2023-05-30 | マクセル株式会社 | 仮想オブジェクト操作方法およびヘッドマウントディスプレイ |
| JP7498330B2 (ja) | 2018-07-04 | 2024-06-11 | マクセル株式会社 | 仮想オブジェクト操作方法およびヘッドマウントディスプレイ |
| JP2020166040A (ja) * | 2019-03-28 | 2020-10-08 | ファナック株式会社 | 制御システム |
| CN111752221A (zh) * | 2019-03-28 | 2020-10-09 | 发那科株式会社 | 控制系统 |
| JP6997129B2 (ja) | 2019-03-28 | 2022-01-17 | ファナック株式会社 | 制御システム |
| US11480940B2 (en) | 2019-03-28 | 2022-10-25 | Fanuc Corporation | Control system |
| CN111752221B (zh) * | 2019-03-28 | 2024-02-20 | 发那科株式会社 | 控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5681850B2 (ja) | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 | |
| US11449133B2 (en) | Information processing apparatus and information processing method | |
| US10579320B2 (en) | Display system, display device, information display method, and program | |
| US10198870B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| US9965048B2 (en) | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program | |
| JP2012173476A (ja) | 表示システム、端末装置、端末装置の制御方法、および、プログラム | |
| US10642564B2 (en) | Display system, display device, information display method, and program | |
| US11445026B2 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
| US20150168729A1 (en) | Head mounted display device | |
| US20200322506A1 (en) | Image processing system, non-transitory recording medium, and image processing method | |
| JP2014157482A (ja) | 操作表示システム | |
| JP2010128778A (ja) | 情報表示装置、情報表示装置の覗き見防止方法及び覗き見防止プログラム | |
| JP5464130B2 (ja) | 情報表示システム、装置、方法及びプログラム | |
| JP6295995B2 (ja) | 情報処理装置、画像処理装置へのジョブ指示方法 | |
| US20150271457A1 (en) | Display device, image display system, and information processing method | |
| US20170295492A1 (en) | Authentication management method, information processing apparatus, wearable device, and computer program | |
| WO2019058641A1 (ja) | 電子機器、プログラム、制御装置および制御方法 | |
| JP6540426B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| JP6319220B2 (ja) | 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム | |
| JP6308842B2 (ja) | 表示システム及びプログラム | |
| JP2018018315A (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| WO2015194286A1 (ja) | ヘッドマウントディスプレイ、その制御方法、及び、制御プログラム | |
| WO2017122508A1 (ja) | 情報表示システムおよび情報表示方法 | |
| JP2018185638A (ja) | 表示装置、透過型ヘッドマウントディスプレイ、制御装置および表示システム | |
| EP3187963A1 (en) | Display device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |