JP2022126548A - メガネ型情報機器、その方法及びプログラム - Google Patents

Abstract

【課題】 スマートグラスなどのメガネ型情報機器が、スマートフォンに替わり、日常的に装着して利用される可能性があり、将来的には、メガネ型情報機器の機能性を別ウェアラブル端末からリモートコントロールする際のユーザビリティを向上させる必要があると考えられる。【解決手段】 連携デバイスをもつユーザに装着されるメガネ型情報機器であって、メガネ型情報機器で実行されるアプリケーションに対する前記連携デバイスによるリモートコントロールにかかる操作部に対応する画像が、前記ユーザの視界に投影されるよう表示を制御する第１の制御手段と、前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記アプリケーションの機能を制御する第２の制御手段と、を有することを特徴とする。【選択図】 図４

Description

本発明は、スマートグラスなどのメガネ型情報機器に係る技術に関するものである。

近年、ウェアラブル端末の多様化（スマートグラス、スマートウォッチ、スマートフォンなど）は進んでおり、同時に複数の端末を身に付けるケースも多く、それらのウェアラブル端末を連携する技術が提案されている。それらの中で、スマートフォンとヘッドマウントディスプレイに（ＨＭＤ）との連携において、スマートフォンで表示中の画像の一部領域である部分画像データをＨＭＤで表示する技術が提案されている（特許文献１）。

特開２０１９－３６９１４号公報

今後、スマートグラスなどのメガネ型情報機器は、スマートフォンに替わり、日常的に装着して利用される可能性がある。一方で、スマートウォッチなどメガネ型情報機器とは別のウェアラブル端末は、そのまま併用されることが想定される。将来的には、それらの機器を連携させ、メガネ型情報機器の機能性を別ウェアラブル端末からリモートコントロールする際のユーザビリティを向上させる必要があると考えられる。

そこで、本発明におけるメガネ型情報機器は、連携デバイスをもつユーザに装着されるメガネ型情報機器であって、メガネ型情報機器で実行されるアプリケーションに対する前記連携デバイスによるリモートコントロールにかかる操作部に対応する画像が、前記ユーザの視界に投影されるよう表示を制御する第１の制御手段と、前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記アプリケーションの機能を制御する第２の制御手段と、を有することを特徴とする。

本発明によれば、メガネ型情報機器を別ウェアラブル端末（スマートウォッチなど）と連携させ、リモートコントロールする際のユーザビリティが向上し得る。

メガネ型情報機器とその他のウェアラブル端末を含むシステム構成図の例を示す図 各機器のハードウェア構成の例を示す図 各機器のソフトウェアのモジュール構成の例を示す図 実施例１におけるメガネ型情報機器と連携するウェアラブル端末における処理に係るフローチャート 実施例１におけるその他ウェアラブル端末と連携するメガネ型情報機器側の処理に係るフローチャート リモートコントロール開始時の各機器における表示制御の例 リモートコントロールのために制御アプリケーション選択時の各機器における表示制御の例 リモートコントロールにおいてミラーリング表示が行われる際の各機器における表示制御の例１ リモートコントロールにおいてミラーリング表示が行われる際の各機器における表示制御の例２ リモートコントロールにおいてミラーリング表示が行われない場合の各機器における表示制御の例 実施例２におけるウェアラブル端末と連携するメガネ型情報機器の環境変化の検知処理に係るフローチャート 実施例２におけるメガネ型情報機器と連携するウェアラブル端末の環境変化検知時の処理に係るフローチャート 実施例２におけるウェアラブル端末と連携するメガネ型情報機器側の処理を説明するためのフローチャート

以下、本発明を実施するための形態について図面を用いて説明する。

＜実施形態１＞
図１は、メガネ型情報機器とそれと連携するウェアラブル端末を含むシステム構成図の例を示す。メガネ型情報機器は、直接、もしくはモバイルルーター（不図示）を経由してモバイルネットワーク（移動体通信網）１３０、およびインターネット１４０と通信可能な機器であり、本発明ではその一例としてスマートグラス１０１を挙げている。メガネ型情報機器としては、複眼だけでなく、単眼のスマートグラスや、ヘッドマウントディスプレイなども適用可能である。また、ウェアラブル端末はディスプレイやバイブレーション機能などの通知機能と、メガネ型情報機器と通信できるＢｌｕｅｔｏｏｔｈ（登録商標）などの通信機能とを備えた情報機器であり、本発明ではその一例としてスマートウォッチ１１０を挙げている。

スマートグラス１０１は、ユーザが目付近に装着する装着型情報端末であって、ユーザの視界を遮ることなく視界内に虚像である映像を表示部１０２にて表示する。このような表示方法は、いわゆるＡＲ（拡張現実／Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＭＲ（複合現実／Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と呼ばれ、透過型のディスプレイ（レンズ１０５）やユーザの網膜（不図示）などに情報投影する機能により提供される。図示は、片目に対して映像を提供するものだが、本発明においては、両目の視界に対して映像を投影するスマートグラス１０１を適用することも可能である。

また、表示部１０２には、ユーザの視線方向の被写体を撮影するためのカメラ部１０３が設けられている。１０４はフレームであると同時にタッチセンサーを備えており、端末を操作するための操作フレーム部である。フレーム１０４には、スピーカー機能が内蔵され、音をユーザに伝えることが可能である。

スマートグラス１０１は、ｅＳＩＭ（ｅｍｂｅｄｄｅｄ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）といった内蔵モジュールを実装することが可能で、４Ｇや５Ｇ回線を利用するモバイルネットワーク１３０を経由して、インターネット１４０に接続可能である。また、ユーザが保有するモバイルルーターとＷｉ－ＦｉまたはＵＳＢなどで接続し、モバイルルーター経由でモバイルネットワーク１３０に接続することも可能である。スマートグラス１０１は、モバイルネットワーク１３０を経由せずに、Ｗｉ－Ｆｉなどを経由してインターネット１４０に接続することも可能である。

スマートウォッチ１１０は、ユーザが手首に装着する腕時計型情報端末であって、表示部１１１は時刻などの情報を表示するだけでなく、タッチパネルとして機能し、端末を操作することが可能である。１２０はスマートグラス１０１とスマートウォッチ１１０がデータをやり取りするための無線通信を示しており、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格の無線通信を想定するが、これに限るものではない。スマートウォッチ１１０は、表示以外にも、バイブレーション機能による通知機能を有している。

図２は、本発明に係る各機器のハードウェア構成の例を示す図である。

図２（Ａ）は、スマートグラス１０１のハードウェア構成を示す図である。

ＣＰＵ２０１は、ＲＯＭ２０３に格納されているプログラムにより、内部バス２０６を介してスマートグラス１０１の各種機能を総括的に制御する。ＣＰＵ２０１によるプログラムの実行結果はディスプレイ２０２により、ユーザの視界に映像として投影表示することができる。本実施例では表示方式については、ユーザが透過型のレンズ１０５を介した視界にディスプレイ２０２が投影したものを見る方式を想定している。しかしながら、ディスプレイ２０２が網膜に直接投影する方式などを採用することも可能である。ＲＯＭ２０３は、フラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。ＲＡＭ２０４は、ＣＰＵ２０１のメモリやワークエリアとして機能する。なお、図を用いて後述される本実施例の特徴となるフローチャートで示す処理は、ＣＰＵ２０１が対応するプログラムを実行することにより実現される処理である。

ネットワークＩ／Ｆ（インターフェース）２０５は、モバイルネットワーク１３０やＷｉ－Ｆｉに接続するためのネットワークモジュールである。このモジュールにより、インターネットに接続可能となる。なお、モバイルルーターを利用する場合には、スマートグラス１０１のＵＳＢ Ｉ／Ｆ（不図示）を利用して、接続することも可能である。

操作部２０７は、操作フレーム１０４でユーザからの入力を受け付け、該入力に対応する信号を操作部Ｉ／Ｆ２０８によって前述した各処理部へ伝える。センサー部２０９は、１以上のセンサーを簡易的に図示している。具体的には、スマートグラス１０１には、ＧＰＳ、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス１０１には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。カメラ２１０は、撮影機能を備えており、撮影された画像データはＲＯＭ２０３に格納される。レーザー２１１は、ディスプレイ２０２に各種コンテンツを投影、また、網膜投影方式の場合は網膜に直接コンテンツを投影する。ストレージ装置２１２は、記憶媒体であり、アプリケーションなどの各種データを格納する装置である。また、記憶媒体のデータを読み出す装置や、削除する装置なども含む。端末によっては、ストレージ装置２１２がなく、ＲＯＭ２０３だけの場合もある。近距離通信Ｉ／Ｆ２１３は、スマートウォッチ１１０等との通信で利用するインターフェースであり、例えば、無線通信１２０を実現する。

なお、図示されていないが、スマートグラス１０１は、現代のスマートフォンに代わって利用することが可能なように、ネットワークや電話回線を利用した音声通話を実現するための構成をさらに備えることができる。具体的には、スマートグラス１０１に、電話回線に接続するためのコンポーネントと、スピーカーとマイクと、音声制御チップなどを実装することになる。

図２（Ｂ）は、スマートウォッチ１１０のハードウェア構成を示す図である。

ＣＰＵ２２１は、ＲＯＭ２２３に格納されているプログラムにより、内部バス２２６を介してスマートウォッチ１１０の各種機能を総括的に制御する。ＣＰＵ２２１によって実行されたアプリケーションプログラムの結果、スマートグラス１０１からの通知などは、ディスプレイ２２２に表示される。ＲＯＭ２２３はフラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。ＲＡＭ２２４は、ＣＰＵ２２１のメモリやワークエリアとして機能する。なお、図を用いて後述される本実施例の特徴となるフローチャートで示す処理は、ＣＰＵ２２１が対応するプログラムを実行することにより実現される処理である。

近距離通信Ｉ／Ｆ２２５は、スマートウォッチ１１０が無線通信１２０を介して、外部のネットワーク機器と片方向または双方向にデータをやり取りするための制御を行う。操作部２２７は、表示部１１１でユーザからの入力を受け付け、該入力に対応する信号を操作部Ｉ／Ｆ２２８によって前述した各処理部へ伝える。タッチパネルなどを利用し、ディスプレイ２２２と操作部２２７とが一体となっている形態も実現可能である。センサー部２２９は、１以上のセンサーを簡易的に図示している。具体的には、スマートウォッチ１１０には、ＧＰＳ、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス１０１には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。

なお、前述したが、スマートグラス１０１は、さらに、音声による通話機能を実現するためのソフトウェアを実行することができる。

図３は、本発明に係る各機器のソフトウェアのモジュール構成の例を示す図である。

図３（Ａ）は、スマートグラス１０１のソフトウェアのモジュール構成を示している。

通信部３０１はスマートウォッチ１１０への指示情報や、スマートグラス１０１のステータス情報をスマートウォッチ１１０へ送信する。また、スマートウォッチ１１０から送信される指示情報を受信するだけでなく、ネットワークＩ／Ｆ２０５を利用してネットワークを介して連携するアプリケーションサーバからの通知も受信する。ステータス情報とはスマートグラス１０１がユーザに利用されているのか否か、また、スマートグラス１０１のモード情報（スタンバイモード、省電力モードなど）を意味する。記憶部３０２はＲＯＭ２０３、ＲＡＭ２０４とその他処理部との情報のやり取りを行う。また、カメラ２１０で撮影された画像データなどを記憶する。

表示部３０３は、ＡＲ／ＭＲ表示など、ＣＰＵ２０１により実行された各種アプリケーションの結果を表示する。例えば、ＡＲ技術を利用して、実空間に対して仮想的なコンテンツが重畳するように、ディスプレイ２０２にコンテンツを表示（情報投影）する。なお、本発明は、網膜に直接投影する方式を採用することも可能である。ここで、情報投影においては、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）といった技術に基づき、実空間における自身の位置及び姿勢を推定してもよい。推定結果は、仮想的なコンテンツの表示処理に利用される。

操作部３０４は操作フレーム１０４でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ２０２への表示に対する操作の指示を受け付け、制御する。カメラ制御部３０５はカメラ２１０の起動、制止、撮影を制御し、撮影された画像データを記憶部３０２と連携してＲＯＭ２０３に格納する。モード制御部３０６はスマートグラス１０１が備えている複数のモード間におけるモードの切り替えを制御し、スマートグラス１０１の状態をユーザが所望するモードへ切り替える。ステータス検知部３０７はセンサー部２０９により検知されたステータスの変化や利用状態などの情報を管理し、ＲＯＭ２０３で保持する。ペアリング部３０８は無線通信１２０を介して、外部のネットワーク機器と双方向にデータ通信を可能とするよう近距離通信Ｉ／Ｆ２１３の御を行う。

アプリケーション管理部３０９は各種アプリケーションの実行状況、バージョン情報、サーバから受信した通知、省電力モードか否かの状態などを管理し、記憶部３０２を介してＲＯＭ２０３とＲＡＭ２０４で管理する。省電力モード（スリープモードを含む）はスマートグラス１１０のバッテリー残量が所定値以下である場合に消費電量を最小限とするよう制御するモードである。

またアプリケーション管理部３０９は、「操作部３０４を介したユーザ入力」や「連携（ペアリング）済みの外部端末から通信部３０１を介して受信した指示」に基づき各種アプリケーションを制御する。連携済みの外部端末は、本実施例では、スマートグラス１０１を装着したユーザが身に着けているウェアラブル端末であり、その具体例がスマートウォッチ１１０である。

ここでアプリケーション管理部３０９が「操作部３０４を介したユーザ入力指示」と「通信部３０１を介した外部端末からからの指示」とのいずれか一方を先に受け付け、もう一方を後から受け付ける場合がある。この場合、先に受け付けた方の指示を優先しても良いし、一律またはアプリ毎にどちらを優先するかアプリケーション管理部３０９にて事前既定しても良いし、ユーザ設定可能としても良い。

また、アプリケーション制御時にディスプレイ２０２へコンテンツ表示する場合は、アプリケーション管理部３０９は表示部３０３を介して、ディスプレイ２０２にコンテンツを表示する。

以上の図３（Ａ）にて本実施例におけるスマートグラス１０１のソフトウェアのモジュール構成を示した。しかしながら、スマートグラス１０１が、種々の連携端末個別ではなく、連携端末に非依存で共通に操作指示を受付け可能な、共通操作部のモジュールを別途設けても良い。この操作指示には、リモートコントロールによるスマートグラス１０１上のアプリケーションに対する操作指示や、ミラーリング表示の表示・非表示の指示など、の連携機能における指示を含む。ミラーリング表示についての定義については後述する。

そして、共通操作部と各連系端末で共通の標準化された指示情報を用意し、各連携端とスマーツグラス１０１が指示情報をやりとしても良い。また、末共通操作部が各連携端末で共通の操作指示ＵＩを生成または事前保持し、各連携端末に配布した上で、各連携端末が配布された該当ＵＩを表示してユーザ操作の受け付けるように、受付けた情報スマートグラス１０１に通知するようにしても良い。

図３（Ｂ）は、スマートウォッチ１１０のソフトウェアのモジュール構成を示している。

時計部３２１はディスプレイ２２２に表示するための時刻情報を管理、制御する。時刻情報の管理、制御はＲＯＭ２２３に格納されるアプリケーションプログラムでも構わない。通信部３２２はスマートグラス１０１への指示情報を送信、また、スマートグラス１０１のステータス情報を受信するだけでなく、アプリケーションサーバからの通知も受信する。記憶部３２３はＲＯＭ２２３、ＲＡＭ２２４とその他処理部との情報のやり取りを行う。表示部３２４は時計部３２１により管理されている時刻情報や、ＣＰＵ２２１により実行された各種アプリケーションの結果を表示する。また、スマートグラス１０１から転送されたアプリケーション通知を表示する。操作部３２５は表示部１１１でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ２２２への表示を制御する。ステータス検知部３２６はセンサー部２２９により検知されたステータスの変化を情報として管理し、ＲＯＭ２２３で保持する。ペアリング部３２７は無線通信１２０を介して、外部のネットワーク機器と双方向にデータ通信を可能とするよう近距離通信Ｉ／Ｆ２２５の制御を行う。

アプリケーション管理部３２８は各種アプリケーションの実行状況、バージョン情報、サーバから受信した通知、スリープモード中であるか否かの状態などを管理し、記憶部３２３を介してＲＯＭ２２３とＲＡＭ２２４で管理する。スリープモードは、スマートウォッチ１１０への操作部３２５による操作が所定時間以上ない場合に移行するモードであり、ディスプレイ２２２の画面消灯や画面ロックなどを行う。

またアプリケーション管理部３２８は、操作部３２４を介したユーザ入力に基づき各種アプリケーションを制御する。アプリケーション管理部３２８にてアプリケーションを制御する際にディスプレイ２２２へコンテンツ表示する場合、アプリケーション管理部３２８は表示部３２３を介して、ディスプレイ２２２にコンテンツを表示する。

更にアプリケーション管理部３２８は、スマートウォッチ１１０上の各種アプリケーションとスマートグラス１０１が連携する際に、どの機能を有効とするか既定するアプリ毎グラス連携情報もＲＯＭ２２３とＲＡＭ２２４で管理する。

ここでの連携は、スマートウォッチ１１０によるスマートグラス１０１上のアプリケーションのリモートコントロールを想定している。リモートコントロール時には、スマートグラス１０１が提供するユーザーの視界への投影画像の一部として、スマートウォッチ１１０に対応する操作盤の簡易表示が提供される。このスマートウォッチ１１０などのリモートコントロールに用いるウェアラブル端末に対応する操作盤の簡易表示のことを、本実施例ではミラーリング表示とも呼んでいる。

アプリ毎グラス連携情報は、アプリケーション毎に、リモートコントロールの機能を有効にするか否かのＯＮ／ＯＦＦ、ミラーリング表示の機能を有効にするか否かのＯＮ／ＯＦＦを既定する（表１参照）。

このミラーリング表示するか否かを示すＯＮ／ＯＦＦの設定値は、スマートウォッチ１０１での各種アプリケーションのインストールインストール情報に含めても良いし、アプリケーション管理部３２８が管理する非図示の設定アプリにてユーザ設定可能としても良い。

以上で説明した図３のスマートグラス１０１やスマートウォッチ１１０のソフトモジュール構成を前提とし、本特許を特徴とするスマートグラス１０１とスマートウォッチ１１０との連携機能について説明する。また説明では、前述のアプリ毎グラス連携情報（表１）において、リモートコントロールとミラーリング表示が共にＯＮであるアプリケーション時の動作を前提とする。

本実施例のスマートグラス１０１は、連携デバイス（本実施例ではスマートウォッチ１１０）からスマートグラス１０１のアプリケーションを制御するユーザ指示情報を受信し、ユーザ指示情報に基づきアプリケーションが機能提供するよう処理するリモートコントロール機能を搭載する。スマートグラス１０１は、さらに、スマートグラス１０１上の制御対象アプリケーションを直接コントロールするために、スマートウォッチ１１０上の操作部３２５を介したユーザ入力もユーザ指示情報として受け付ける。また、それらユーザ指示情報には制御対象を示すスマートグラス１０１上のアプリケーションＩＤも含む場合もある。

そして、スマートグラス１０１は、スマートグラス１０１の制御対象アプリケーションへの制御指示を行うためのＯＳの機能および／または専用の制御アプリケーションを搭載しているものとする。この搭載された機能性により、入力されたユーザ指示情報に対応するデータが制御対象のアプリケーションに引き渡され、対象アプリケーションのユーザ指示通りの制御が実現される。例えば、この制御アプリケーションは、スマートグラス１０１の各アプリケーションそれぞれに対応するアプリケーションや、文字入力専用や画面スクロール専用などの専用機能に特化して共通利用するアプリケーションなどである。また、例えば、制御アプリケーション終了時は、スマートグラス１０１へ通知するユーザ指示情報に、対象アプリケーションに対する制御終了を示す情報を含めることもできる。アプリケーション管理部３２８において、スマートウォッチ１１０の状態がスリープモードに遷移してから所定時間経過したことを検知した場合に、ユーザ指示情報として、対象アプリケーションに対する制御終了を示す情報を含めても良い。

スマートグラス１０１は、このリモートコントロール時に操作する連携デバイス（スマートウォッチ１１０）のＵＩ情報を受信し、ディスプレイ２０２によりＵＩ情報に基づくＡＲ操作部を投影するミラーリング表示機能を搭載する。スマートグラス１０１に搭載するリモートコントロール機能およびミラーリング表示機能は、アプリケーション管理部３０９の管理機能として搭載しても良いし、アプリケーション管理部３０９の管理対象の各種アプリケーションの１つとして搭載しても良い。

この時、リモートコントロール機能の制御対象アプリケーションのコンテンツをスマートグラス１１０上で投影表示中に、ミラーリング表示機能により制御対象アプリケーションを制御するための前述のＵＩ情報に基づくＡＲ操作部（ミラーリング表示）をユーザーの視界に対して提供する。

本実施例におけるスマートグラス１０１では、ミラーリング表示を提供する際には、制御対象アプリケーションのコンテンツ画像を少し縮小して空き領域を作り、その空き領域にＵＩ情報に基づくＡＲ操作部を提供する自動制御も実現する。しかし、状況に応じ、表示中の制御対象アプリケーションのコンテンツ画像上に、ＡＲ操作部に対応する画像の一部または全てを重ねて表示して、ミラーリング表示を実現することもできる。例えば、制御対象アプリケーションがバックグラウンド動作している場合など、ミラーリング表示を全画面で表示しても良い。

ミラーリング表示に用いるＵＩ情報には、スマートウォッチ１１０での操作部の投影に利用される画面情報などが含まれる。画面情報は連携デバイス（スマートウォッチ１１０）の見た目をコピーしたようなものであってもよい。また、この画面情報は、静止画・動画等のデータそのものでも良いし、スマートグラス１０１で画像情報を生成可能とするＪＳＯＮやＸＭＬ形式の構造化データなどで実現しても良い。

また、連携デバイス（スマートウォッチ１１０）側にリモートコントロールに利用できるハードウェア（ボタンやマウスボール）を搭載している場合（不図示）もあり、その場合は当該ハードウェアによって入力されたデータがユーザ指示情報としてスマートグラス１０１に渡される。その際には、ＵＩ情報には、当該ハードウェアに対応するような描画データが含まれるものとする。

また、リモートコントロール時のミラーリング表示におけるスマートウォッチ１１０上の画面情報には、制御対象のスマートグラス１０１上のアプリケーションへの制御情報インプットとなる「文字入力画面」や「スクロール画面」などの制御画面の画面情報がある。またミラーリング表示中のアプリケーション終了時は、スマートグラス１０１へ通知するＵＩ情報にミラーリング表示終了を示す情報を含める。その他、アプリケーション管理部３２８において、スマートウォッチ１１０がスリープモードへ入ってから所定時間経過したことを検知した際に、ＵＩ情報にミラーリング表示終了を示す情報を含めても良い。

更に、ユーザーは、スマートグラス１０１に対して、連携デバイス（スマートウォッチ１１０）からのリモートコントロールおよび／またはミラーリング表示の許可／非許可を指定することも可能である。ペアリングしているデバイスを選択して指定することが可能である。また、連携されるデバイスを特定するためのＩＤや製品種別、製品搭載のＯＳ・ＯＳバージョン、アプリ種別・アプリバージョンなど各種条件を任意にユーザーに指定させて、条件を満たす連携デバイスに対するリモートコントロールおよび／またはミラーリング表示の許可／非許可をスマートグラス１０１で自動決定することもできる。本実施例においては、スマートウォッチ１１０の情報に関係なくリモートコントロールやミラーリング表示をスマートグラス１０１で一律許可した場合について説明を進める。

図４、図５にて、ペアリング中のスマートウォッチ１１０とスマートグラス１０１に連携おいて、スマートウォッチ１１０がスマートグラス１１０に搭載のアプリケーションを制御する際の本実施例の特徴となるフローチャートを示す。図４、図５において、スマートウォッチ１１０とスマートグラス１０１が、それぞれペアリング部３２７とペアリング部３０８により既にペアリング実施済みの状態であるものとする。

図４は、スマートウォッチ１１０における処理を説明するためのフローチャートである。本フローチャートは、ユーザがスマートウォッチ１１０上のアプリケーションを操作した際に、リモートコントロールやミラーリング表示のための情報をスマートグラス１０１に送信するなどの処理を説明する。このフローチャートに含まれる処理ステップの主体は、アプリケーション管理部３２８である。

アプリケーション管理部３２８は、「操作部３２５からのユーザ入力」や「通信部３０１からのスマートグラス１０１による指示情報」の通知により、スマートウォッチ１１０上の任意アプリケーションへの操作情報を検知する（Ｓ４０１）。この時、検知する操作情報は、アプリケーションの操作開始や操作中、操作終了などの情報である。すると、アプリケーション管理部３２８は制御指示のあったアプリケーションの制御を開始すると共に、アプリ毎グラス連携情報（表１）にて該当アプリケーションのリモートコントロールのＯＮ／ＯＦＦの既定値が確認される（Ｓ４０２）。リモートコントロールがＯＮの場合は、更にアプリ毎グラス連携情報（表１）にて該当アプリケーションのミラーリング表示のＯＮ／ＯＦＦの既定値が確認される（Ｓ４０３）。Ｓ４０３でミラーリング表示がＯＮの場合は、通信部３２１を介してスマートグラス１０１にユーザ指示情報とＵＩ情報が送信される（Ｓ４０４）。

Ｓ４０３でミラーリング表示がＯＦＦの場合は、通信部３２１を介してスマートグラス１１０にユーザ指示情報のみが送信される（Ｓ４０５）。

Ｓ４０２にてリモートコントロールがＯＦＦの場合も同様に、アプリ毎グラス連携情報（表１）にて該当アプリケーションのミラーリング表示のＯＮ／ＯＦＦの既定値が確認される（Ｓ４０６）。Ｓ４０６でミラーリング表示がＯＮである場合は、通信部３２１を介してスマートグラス１１０にＵＩ情報のみが送信される（Ｓ４０７）。そして、Ｓ４０６でミラーリング表示がＯＦＦの場合は、図４のフローが終了する。

一方で、Ｓ４０１において、任意アプリケーションへの操作情報を検知しない場合、アプリケーション管理部３２８は、スマートウォッチ１１０がスリープモードであるか否かを判定する（Ｓ４０８）。なお、以下の判定におけるスリープモードであるか否かの判定は、スマートグラス１０１が状態遷移し得る所望の省電力モードであるか否かの判定に置換されてもよい。Ｓ４０８にてスリープモードではないと判定した場合は図４のフローが終了する。

Ｓ４０８にてスリープモードであると判定した場合は、更に、スリープモードへ移行してから所定時間経過したか否かの判定が実施される（Ｓ４０９）。Ｓ４０９にて所定時間経過していないと判断した場合には図４のフローが終了し、Ｓ４０９にて所定時間経過したと判断した場合にはＳ４１０へ進む。Ｓ４１０では、ユーザ指示情報にリモートコントロールによる制御終了を示す情報が設定され、ＵＩ情報にミラーリング表示による表示終了を示す情報が設定される。そして、Ｓ４１１で、スマートグラス１０１に対して、それらユーザ指示情報とＵＩ情報が送信される。

図５は、スマートグラス１０１のフローチャートであり、スマートウォッチ１１０からリモートコントロールやミラーリング表示の制御情報を受信し、制御情報に基づき制御するフローチャートである。このフローチャートに含まれる処理ステップの主体は、アプリケーション管理部３０９である。

アプリケーション管理部３０９は、通信部３０１を介して連携デバイスからデータを受信すると、受信データにユーザ指示情報を含むか否かを確認する（Ｓ４２１）。ユーザ指示情報を含む場合、更に、受信データにＵＩ情報を含むか否かが確認される（Ｓ４２２）。そして、受信データにＵＩ情報を含む場合は、ユーザ指示情報に基づきスマートグラス１０１上のアプリケーションを制御するリモートコントロールの開始・継続・終了が実行され、更に、ＵＩ情報に基づきミラーリング表示の開始・継続・終了も実行される。

Ｓ４２２にて受信データにＵＩ情報を含まない場合、アプリケーション管理部３０９は、管理中のアプリケーションの実行状況よりミラーリング表示中か否かを確認する（Ｓ４２４）。Ｓ４２４にてミラーリング表示中の場合は、スマートグラス１０１がスリープモードであるか否かが判定される（Ｓ４２５）。なお、以下の判定におけるスリープモードであるか否かの判定は、スマートグラス１０１が状態遷移し得る所望の省電力モードであるか否かの判定に置換されてもよい。

Ｓ４２５にてスリープモードではない場合、ユーザ指示情報に基づくリモートコントロールの開始・継続・終了が実行されると共に、ミラーリング表示が継続される（Ｓ４２６）。Ｓ４２５にてスリープモードである場合は、更に、前回連携デバイス（スマートウォッチ１１０）よりＵＩ情報を受信してから所定時間経過したか否かが判定される（Ｓ４２７）。そして所定時間経過している場合は、ミラーリング表示が終了され（Ｓ４２８）、所定時間経過していない場合はＳ４２６へ進む。Ｓ４２４でミラーリング表示中ではない場合、ユーザ指示情報に基づくリモートコントロールの開始・継続・終了のみが実行される（Ｓ４２６）。

Ｓ４２１にて、連携デバイスからの受信データにユーザ指示情報を含まない場合、Ｓ４２２同様に、受信データにＵＩ情報を含むか否かが確認される（Ｓ４３０）。そして、受信データにＵＩ情報を含む場合は、ＵＩ情報に基づくミラーリング表示の開始・継続・終了のみが実行される（Ｓ４３１）。

Ｓ４３０にて受信データにＵＩ情報を含まない場合は、Ｓ４２４同様、ミラーリング表示中であるか否かが確認される（Ｓ４３２）。Ｓ４３２にてミラーリング表示中の場合は、スマートグラス１０１がスリープモードであるか否かが判定される（Ｓ４３３）。Ｓ４３３にてスリープモードではない場合、ミラーリング表示が継続される（Ｓ４３４）。

Ｓ４３３にてスリープモードである場合は、更に、前回連携デバイス（スマートウォッチ１１０）よりＵＩ情報を受信してから所定時間経過したか否かが判定される（Ｓ４３５）。そして、所定時間経過している場合は、ミラーリング表示が終了される（Ｓ４３６）。所定時間経過していない場合はＳ４３４へ進む。Ｓ４３２でミラーリング表示中ではない場合、図５のフローを終了する。

図６～図１０に、リモートコントロール、ミラーリング表示の連携機能を実行する際の、「スマートウォッチ１１０のディスプレイ２２２」および「スマートグラス１０１のディスプレイ２０２」での表示例を示す。図６～図１０は、ユーザがスマートウォッチ１１０からスマートグラス１０１に対するリモートコントロールを開始し、スマートグラス１０１上のＷｅｂブラウザアプリケーションによるＷｅｂ検索を実行する際のユースケースを想定した、ＡＲ表示も含む一連のＵＩ操作を順に示している。以下、アプリケーションを“アプリ”と略称している。

図６（Ａ）の５００、５０４はそれぞれ、スマートウォッチ１１０およびスマートグラス１０１の初期画面である。５０１、５０２、５０３はいずれもスマートウォッチ１１０上のアプリアイコンであり、それぞれスマートウォッチ設定アプリ、Ｗｅｂブラウザアプリ、スマートグラス１０１上のアプリを制御するリモートコントロールアプリである。

また、５０５、５０６、５０７はいずれもスマートグラス１０１で実行されるアプリのＡＲ技術でユーザーの視界に投影されることで、表示が実現されるアイコンである。それぞれスマートグラスの設定のためのアプリ、Ｗｅｂブラウザアプリ、家電リモコン機能を有するリモコンアプリのためのアイコンである。また、５００や５０４の画面上に示した上記アプリ以外も同様にアプリアイコンとして表示可能である。スマートグラス１０１がユーザーの指を認識し、ＡＲで提供されるいずれかのアイコンの選択操作を検出した場合には、選択されたアプリが起動して、ユーザーの視界に該アプリのコンテンツがさらに表示されることになる。なお、以降ではスマートウォッチ１１０によるリモートコントロールについて説明するが、それら処理とスマートグラス１０１におけるユーザーからの入力を認識したことに応じた操作を併用することも可能である。

ここで、図６（Ａ）にて、リモートコントロールアプリ５０３を押下すると、図６（Ｂ）５０８のリモートコントロール設定画面が表示される。この画面では、リモートコントロールを有効化して開始するためコントロール有効化ボタン５０９と、スマートグラス１０１上のアプリを制御する際の制御対象アプリ選択画面へ遷移するための対象アプリ選択ボタン５０９を有する。コントロール有効化ボタン５０９は初期状態ではＯＦＦとなっており、図６（Ｂ）のように、コントロール有効化ボタン５０９を押下することで、ＯＮ／ＯＦＦのトグルボタンがスライドして制御ＯＮに切り替わる。

なお、コントロール有効化ボタン５０９を制御ＯＮに切り替え際、スマートウォッチ１１０とスマートグラス１０１のペアリングがまだされていない場合は、図６（Ｃ）のようにペアリング未実行時ポップアップ画面５１１を表示する。ペアリング未実行時ポップアップ画面５１１は、まだペアリングされていないことを示す警告メッセージとともに、ペアリング可能な対象のスマートグラス１０１の候補一覧５１２を表示している。ペアリング未実行時ポップアップ画面５１１の事例では、候補一覧５１１に「Ｇｌａｓｓｅｓ－１」と「Ｇｌａｓｓｅｓ－２」の名前のスマートグラス１０１が近距離通信によるペアリングが可能であることを示している。そして、ユーザが「Ｇｌａｓｓｅｓ－１」を選択すると、ペアリングのための非図示の認証画面を表示してユーザが認証ＩＤや認証パスワードなどを入力し、認証実行およびペアリング実行を完了する。また、ペアリング未実行時ポップアップ画面５１１を閉じる場合は、Ｃｌｏｓｅボタン５１３を押下する。

図６（Ｂ）でのコントロール有効化ボタン５０９における制御ＯＮ時に既にペアリング済みである場合、または、図６（Ｃ）のペアリング未実行時ポップアップ画面５１１でのペアリング実行が完了した場合、リモートコントロールを開始する。

図７（Ａ）は、リモートコントロール中の状態において、具体的に制御するスマートグラス１０１上のアプリを制御するための制御対象の対象アプリ選択画面５１４を表示しているＵＩ表示状態である。この状態へは図６（Ｂ）にて、ユーザが前述の対象アプリ選択ボタン５１０を押下することで遷移する。対象アプリ選択画面５１４上に表示している設定制御アプリ５１５、Ｗｅｂブラウザ制御アプリ５１６、リモコン制御アプリ５１７は、それぞれ、スマートグラス１０１上のアプリ５０５～５０７を制御するための制御アプリアイコンである。

ユーザーによるスマートウォッチ１１０に対するＷｅｂブラウザ制御アプリ５１６の選択操作を検出すると、スマートウォッチ１１０上で図７（Ｂ）のＷｅｂブラウザ制御画面５１９を表示する。またスマートグラス１０１上に、制御対象であるＷｅｂブラウザアプリ５０６の起動後の画面であるＷｅｂブラウザ画面５２８と、スマートグラス１０１上にてリモートコントロール中であることを示すコントロール中表示５２７を表示する。スマートウォッチ１１０における表示は、前述の通り、ＡＲ技術によるユーザー視界に対する投影表示になる。

コントロール中表示５２７では、どの連携端末からコントロールされているか分かるようにリモートコントロールを指示している連携端末の名称を表示しており、ここではＷａｔｃｈ－１によりコントロールされていることを示している。Ｗｅｂブラウザ画面５２８は検索画面である。Ｗｅｂブラウザ画面５２８は、検索画面で検索後に、検索前の画面に戻るための戻るボタン５２８や、検索文言を入力する入力欄５３０、入力欄５３０に入力された文言にて検索実行するためのＣｌｉｃｋボタン５３１を有する。更に、Ｗｅｂブラウザ画面５２８は、Ｗｅｂブラウザ画面上の領域を移動して指定するためのポインタ５３２、ブラウザ更新ボタン、ブラウザ表示の最小化・最大化を示すボタン、ブラウザを閉じるボタン、ＵＲＬ表示欄なども有する。

スマートウォッチ１１０側のＷｅｂブラウザ制御画面５１９上の、戻るボタン５２０は、前述した戻るボタン５２９に対応したものであり、戻るボタン５２９を実行するための指示ボタンである。また、Ｗｅｂブラウザ制御画面５１９上のＢＡＣＫボタン５２４は、Ｗｅｂブラウザ制御アプリ５１６を終了して、前画面である対象アプリ選択画面５１４へ戻るためのボタンである。ＥＮＤボタン５２５を押下すると、Ｗｅｂブラウザ制御アプリ５１６及びリモートコントロールアプリ５０３を終了して画面を閉じ、起動初期画面５００を表示する。

Ｗｅｂブラウザ制御画面５１９は、スマートグラス１０１上のＷｅｂブラウザアプリ５０６への制御を指示する指示画面であるが、本画面内は更に、特定の操作指示へと機能分解した指示制御アプリを有する。

指示制御アプリには、例えば、ポインタ移動指示制御アプリ５２１、キーボード指示制御アプリ５２２、タッチパッド指示制御アプリ５２３などがある。ポインタ移動指示制御アプリ５２１は、ポインタ５３２の十字方向に移動指示し、キーボード指示制御アプリ５２２は文字入力を指示する。また、タッチパッド指示制御アプリ５２３は、従来のノートＰＣが備えるタッチパッド機能と同等の指示をすることが可能である。その他、制御指示アプリには、スクロール指示を出すスクロールアプリ、ピンチイン・ピンチアウト指示を出すピンチイン・アウトアプリ、フリックで画面を上下左右にスライドさせるフリックアプリ、タップ指示に特化したタップアプリ、などもある。

ここで、ここまでの図６、図７で示したスマートウォッチ１１０上のアプリおける、前述表１のアプリ毎グラス連携情報を表２に具体的に示す。

前述した図６のリモートコントロール開始は、表２においてリモートコントロールアプリ５０３（アプリケーションＩＤ：０００４の行）がリモートコントロールＯＮであることに基づき実行される。一方、この時、ミラーリング表示ＯＦＦであるため、ミラーリング表示はこの時点ではされていない。リモートコントロールアプリ５０３の際に、ミラーリング表示ＯＮと既定してもよく、その際は、図６のリモートコントロール開始のタイミングで、リモートコントロール設定画面５０８が、スマートグラス１０１上にミラーリング表示される。

た、図７（Ａ）にてＷｅｂブラウザ制御アプリ５１６を押下後、前述の通り図７（Ｂ）のような画面表示となるが、この際もリモートコントロール中ではあるが、ミラーリング表示はされていない。この状態は、表２において、Ｗｅｂブラウザ制御アプリ５１６（アプリケーションＩＤ：０００６の行）がリモートコントロールＯＮ、ミラーリング表示ＯＦＦと既定されていることに基づく。Ｗｅｂブラウザ制御アプリ５１６でミラーリング表示ＯＮと既定した場合、図７（Ｂ）のタイミングで、スマートグラス１０１上にＷｅｂブラウザ制御画面５１９がミラーリング表示される。

図８は、続いて図７（Ｂ）にてポインタ移動指示制御アプリ５２１を選択した場合に遷移する、ミラーリング表示を行う制御アプリ実行時の表示例である。図８（Ａ）は、ミラーリング表示が開始された場合の表示例である。

表２において、ポインタ移動指示制御アプリ５２１（アプリケーションＩＤ：０００８の行）がリモートコントロールＯＮ、ミラーリング表示ＯＮであり、この既定に基づきリモートコントロール継続と共に、ミラーリング表示を開始している。

スマートウォッチ１１０では、ポインタ移動指示画面５３３を表示し、十字キー５３４にて、ポインタを上下左右に移動させるための指示が可能である。また、十字キー５３４の中央にあるＴＡＰボタンを押下することでタップ指示も可能としている。また、ＢＡＣＫボタン５３５は、ポインタ移動指示制御アプリ５２１を終了し、前画面であるＷｅｂブラウザ制御画面５１９に戻るためのボタンである。ＥＮＤボタン５３５を押下すると、ポインタ移動指示制御アプリ５２１、Ｗｅｂブラウザ制御アプリ５１６、リモートコントロールアプリ５０３を終了して画面を閉じ、起動初期画面５００を表示する。

図８（Ａ）では、スマートグラス１０１を介したユーザーの視界に、ミラーリング表示中であることを示すミラーリング表示中５３６の文言が追加で表示されている。この表示には、どの連携端末のＵＩをミラーリング表示しているか分かるように該当の連携端末の名称を表示しており、ここではＷａｔｃｈ－１のＵＩを表示していることを示している。５３７はミラーリング表示画像であり、このタイミングでＷａｔｃｈ－１のスマートウォッチ１１０に表示されているポインタ移動指示制御画面５３３のＵＩをミラーリング表示している。また、図８（Ａ）におけるＷｅｂブラウザ画面５２８は、ミラーリング表示前の図６（Ｉ）から表示位置の移動と画面サイズ縮小をしている。なお、本例では、前述のミラーリング表示画像５３７を表示するための領域を確保するために、このような自動制御を追加している。

また図８（Ａ）にてスマートウォッチ１１０でユーザが十字キー５３４の下矢印を操作した場合、ミラーリング表示画像５３７には該操作が行われたことが反映されると共に、Ｗｅｂブラウザ画面５２８上のポインタ５２３が指示に従い下に移動する。ミラーリング表示画像５３７にスマートウォッチ１１０で受け付けた操作内容が反映されることで、ユーザは自分の操作を視界で再認識でき、重複操作や誤操作が防止できる。図８（Ａ）では、入力欄５３０上までポインタを移動したことを示している。

続いて、図８（Ｂ）にてユーザが十字キー５３４の中央にあるＴＡＰボタンを押下すると、同様にミラーリング表示画像５３７に該操作が表示反映されると共に、ポインタが入力欄５３０上にあるため入力欄５３０が選択される。

図８にてユーザがＢＡＣＫボタン５３５を押下すると、ＢＡＣＫ押下時の画面も同様にミラーリング表示画像５３７に反映されると共に、図７（Ｂ）のＷｅｂブラウザ制御画面５１９に戻る。すると、ポインタ移動指示制御アプリ５２１が終了し、Ｗｅｂブラウザ制御アプリ５１６の操作中となるため、表２のアプリケーションＩＤ「０００６」の情報に従い、ミラーリング表示を終了（ＯＦＦ）する。

本図のミラーリング表示画像５３７に示すようなシンプルな操作部の場合、ユーザーはスマートウォッチ１１０の表示を見なくても、ミラーリング表示画像５３７を確認しつつ、スマートウォッチ１１０に対して操作入力が可能になるかもしれない。したがって、ユーザーはスマートウォッチ１１０の方向に顔を下げるといったよそ見など無しに、手元でのわずかな操作のみでＡＲアプリを制御できるようになる。

図９は、続いて図７（Ｂ）にてキーボード入力指示制御アプリ５２２を選択した場合に遷移する、ミラーリング表示を行う制御アプリ実行時の図８とは別の表示例であり、図９（Ａ）のようにミラーリング表示が開始される。スマートウォッチ１１０ではキーボード入力指示制御画面５３８を表示する。そしてキーボード入力指示制御画面５３８上では、キーボード５３９及び、キーボード入力指示制御アプリ５２１を終了して前画面のＷｅｂブラウザ制御画面５１９に戻るためのＢＡＣＫボタン５４０を表示する。この時、キーボード入力指示制御アプリ５２２が操作中となるため、表２のアプリケーションＩＤ「０００８」の情報に従い再度ミラーリング表示を開始（ＯＮ）し、ミラーリング表示画像５４１をミラーリング表示する。ミラーリング表示画像５４１は、このタイミングでＷａｔｃｈ－１のスマートウォッチ１１０に表示されているキーボード入力指示制御画面５３８のＵＩをミラーリング表示しているものである。

図９（Ｂ）にてユーザがキーボード５３９上で、例えば「や」の文字選択をしたとすると、「や」で始まる入力候補文字が候補文字一覧５４２に表示される。候補文字一覧５４２からユーザが文字選択した際に選択確定をするための確定ボタン５４３も表示される。そして、このタイミングのキーボード入力指示制御画面５３８のＵＩがミラーリング表示画像５４１に表示反映されると共に、Ｗｅｂブラウザ画面５２８上の入力欄５３０に選択中の文字「や」が表示される。

例えば、図９（Ｂ）の候補文字一覧５４２の候補文字からユーザが「山」を選択すると、ミラーリング表示画像５４１に表示反映され、Ｗｅｂブラウザ画面５２８上の入力欄５３０に「山」が候補選択中の状態で表示される。この状態で、図６（Ｓ）にて確定ボタン５４３をユーザが押下すると、同様にミラーリング表示画像５４１に表示反映され、Ｗｅｂブラウザ画面５２８上の入力欄５３０の「山」も確定状態で表示されて次の文字の入力待ちとなる。

図９にてＢＡＣＫボタン５４０を押下すると、図７（Ｂ）のＷｅｂブラウザ制御画面５１９に戻る。このタイミングで、キーボード入力指示制御アプリ５２２が終了し、Ｗｅｂブラウザ制御アプリ５１６の操作中となるため、表２のアプリケーションＩＤ「０００６」の情報に従い、ミラーリング表示を終了（ＯＦＦ）する。

図１０は、図７（Ｂ）にてタッチパッド指示制御アプリ５２３を選択した場合に遷移する、ミラーリング表示を行わない制御アプリ実行時の表示例であり、図１０（Ａ）のようにミラーリング表示せずにＷｅｂブラウザ画面５２８のアプリを制御する。スマートウォッチ１１０ではタッチパッド指示制御画面５４４を表示する。タッチパッド指示制御画面５４４上には、タッチパッド指示するためのタッチパッド領域５４５と、タッチパッド指示制御アプリを終了して前画面のＷｅｂブラウザ制御画面５１９に戻るＢＡＣＫボタン５４６が表示される。タッチパッド指示制御アプリ５２３は、表２のアプリケーションＩＤ「００１０」の情報に従い、ミラーリング表示ＯＦＦにてリモートコントロールを続ける。よって、図７（Ｂ）から図１０（Ａ）への状態遷移時には、スマートグラス１０１上の表示変化はない。図１０（Ａ）のタッチパッド領域５４５にて、ユーザが指を右にスライドさせるように動かすと、その動きに連動してＷｅｂブラウザ５２８上のポインタ５３２も右に移動する。ここでは、Ｃｌｉｃｋボタン５３１上までポインタが移動したものとする。

続いて、図１０（Ｂ）のタッチパッド領域５４５にて、ユーザが指を２回タップさせると、その動きに連動してＷｅｂブラウザ５２８上のポインタ５３２が指定するＣｌｉｃｋ５３１をクリックする。これにより、入力欄５３０に入力されている「山」の文言にてＷｅｂ検索が実行される。図１０（Ｃ）は、検索操作後の画面で、Ｗｅｂブラウザ画面５２８のように、検索結果が表示される。Ｗｅｂブラウザ画面５２８には、５４７の検索結果情報領域に、ヒット件数やヒットした記事へのリンク情報、画像情報などが一覧のようにして表示される。

図１０にてＢＡＣＫボタン５４６を押下すると、図７（Ｂ）のＷｅｂブラウザ制御画面５１９へ戻る。

以上の図６～図１０に示したＵＩ操作により、スマートウォッチ１１０からスマートグラス１０１上のアプリをリモートコントロールする際に、操作アプリに応じてミラーリング表示をＯＮ／ＯＦＦすることが可能である。

ここで図６～図１０のような一連のＵＩ操作において、スマートウォッチ１１０からスマートグラス１１０をリモートコントロールしている際にも、前述した通り、スマートグラス１１０は操作部３０４などを介したユーザ入力指示を受付け可能である。よって、スマートウォッチ１１０のＵＩをミラーリング表示中に、スマートグラス１１０の操作部３０４によるユーザ操作が割り込む場合が有る。この場合、スマートグラス１１０はミラーリング表示を一度終了する。この場合、スマートウォッチ１１０が表示２におけるミラーリング表示ＯＮのアプリ操作を再度検知し、スマートグラス１１０にミラーリング指示すると、スマートグラス１１０はミラーリング開始を再開する。

また図６～図１１に示したＵＩ操作のユースケースでは、図６（Ｂ）上の制御対象アプリ選択ボタン５１０をユーザが選択し、その後、図７（Ａ）にてＷｅｂブラウザ制御アプリ５１６を押下することでミラーリング表示を開始していた。つまり、これはスマートウォッチ１１０上のアプリケーション管理部３２８が「操作部３２５からのユーザ入力」の通知を受けて、スマートウォッチ１１０上のＷｅｂブラウザ制御アプリ５１６への操作情報を検知（Ｓ４０１）するユースケースである。

一方、別のユースケースとして、スマートウォッチ１１０上のアプリケーション管理部３２８が、通信部３０１を介して「スマートグラス１０１からの制御指示アプリ起動依頼」を受け、スマートウォッチ１１０上の制御指示アプリを起動するユースケースもある。この時、通知を受けたスマートウォッチ１１０が制御指示アプリを起動し、その制御指示アプリの起動を検知（Ｓ４０１）することとなる。この別のユースケースについて、図６を用いて簡単に説明する。

まず、このユースケースの場合、図６（Ｂ）で制御対象アプリ選択ボタン５１０を選択せず、リモートコントロール設定画面５０８上の非図示のＣｌｏｓｅボタンし、バックグラウンドでリモートコントロール中とし、初期画面５００が表示されたままになる。

続いてこの初期画面５００での待ち状態中に、例えば、スマートグラス１０１上の操作部３０４を用いてユーザがスマートグラス１０１上で表示中のＷｅｂブラウザ画面５２８の入力欄５３０を選択する。すると、「入力欄の選択」をアプリケーション管理部３０９が検知し、アプリケーション管理部３０９が通信部３０１を介してスマートウォッチ１１０に対して「図６で示したキーボード入力指示制御アプリ５２２の起動」を依頼する。

そして、スマートウォッチ１１０は、キーボード入力指示制御アプリ５２２の起動依頼を受けるとキーボード入力指示制御アプリ５２２を起動し、キーボード入力指示画面５３８を表示する。ユーザは、表示されたキーボード入力指示画面５３８を用いて入力する。

その後、ユーザが文字入力を終えてキーボード入力指示画面５３８上の非図示のＣｌｏｓｅボタンを押下すると、スマートウォッチ１１０はキーボード入力指示制御アプリ５２２を終了し、スマートウォッチ１１０は再び初期画面５００での待ち状態へと戻る。

以上で説明した実施例によれば、スマートグラスのアプリケーションの機能をスマートウォッチでリモートコントロールする際の連携におけるユーザビリティを、ＡＲ技術を用いて向上することが可能である。

なお、本実施例では、ミラーリング表示との名称での説明を行っているが、スマートウォッチ１１０で表示される操作部や操作性と完全一致するような表示画像（例えば、図８（Ａ）のミラーリング表示画像５３７）がスマートグラス１０１により投影される必要はない。操作性を把握できる程度に操作部の仮想表示が実現されればよく、ユーザーやアプリ提供元、スマートグラス１０１などがカスタマイズした操作部を示す任意の画像で、ミラーリング表示を実現してもよい。

＜実施形態２＞
ユーザがスマートウォッチ１１０とスマートグラス１０１を併用する際の利用環境は様々である。そのため、それらの機器の連携時の利用環境や環境変化を考慮することで、連携時のユーザビリティをユーザにとって更に向上させることが可能となる。

実施形態２では、連携時の利用環境や環境変化を考慮した実施形態について、実施形態１と差異がある箇所を示し、説明する。

本実施形態のスマートウォッチ１１０のソフトモジュール構成（図３（Ｂ））において、アプリケーション管理部３２８では、スマートグラス１０１との連携時に、どの利用環境においてどの機能を有効とするかをアプリ毎グラス連携情報として、予め設定することを可能とする。また、ユーザの利用環境の変化が検出された際に発動する機能についても設定できる。これらの設定は、スマートウォッチ１１０上の各種アプリケーション毎に行われる。例として、表３のように既定する。

表３のアプリ毎グラス連携情報に基づくグラス連携では、実施形態１の際に記述したリモートコントロールとミラーリング表示を、どの利用環境において有効とするか既定している。実施形態２においては、機能の有効・無効を設定する「ＯＮ／ＯＦＦ設定」のみならず、有効（ＯＮ）である場合の利用環境も「利用環境設定」として設定されている。

例えば、表３のアプリケーションＩＤ「０００１」のアプリケーションを例にすると、まずリモートコントロールのＯＮ／ＯＦＦ設定が「ＯＮ」であり、利用環境設定が「満員電車ｏｒ歩行中」となっている。この場合、ユーザ環境が「満員電車」または「歩行中」であることを検知すると、リモートコントロールの機能が開始される。その後、ユーザ環境が「満員電車」または「歩行中」のいずれでもないことを検知すると、リモートコントロールの機能が終了する。アプリケーションＩＤ「０００１」のミラーリング表示のＯＮ／ＯＦＦ設定も「ＯＮ」であり、利用環境設定が「満員電車」となっている。この場合、ユーザ環境が「満員電車」であることを検知すると、ミラーリング表示機能によるミラーリング表示が開始される。また、「満員電車」ではないことを検知すると、ミラーリング表示機能によるミラーリング表示が終了する。

ここで、ユーザ環境が「満員電車」であるか否か「歩行中」であるか否かの環境変化検知は、スマートグラス１１０が備えるセンサー部２０９やカメラ２１０からの情報に基づき、アプリケーション管理部３０９で検知する。また、現在のユーザ環境を示す環境状況も、プリケーション管理部３０９が記憶部３０２を介してＲＯＭ２０３，ＲＯＡ２０４で管理する。スマートグラス１０１がアプリケーション管理部３０９にて環境変化を検知すると、スマートウォッチ１１０へ通知する。スマートウォッチ１１０は、環境変化検知を受信すると、自身の操作中アプリケーションを確認する。そして、操作中アプリケーションがある場合は表３のアプリ毎グラス連携情報に基づき、「リモートコントロール」「ミラーリング表示」をＯＮまたはＯＦＦする。

表３の利用環境設定に「‐（ハイフン）」で指定しているアプリケーションがあるが、これは未指定であることを示し、この場合は、全環境において「ＯＮ／ＯＦＦ設定」の設定に従う。また、表３の利用環境設定に「連携画面直視中」を指定しているアプリケーションもある。これは、スマートグラス１０１のレンズ越しに、ユーザが物理的に連携しているスマートウォッチ１１０の画面（ディスプレイ２２２）を見ている状態を示す。表３のアプリケーションＩＤ「０００３」のように、ミラーリング表示においてＯＮ／ＯＦＦ設定をＯＦＦとし、利用環境設定を「連携画面直視中」としている。この場合、スマートグラス１０１でミラーリング表示中に、ユーザがスマートウォッチ１１０の画面を直接見るとミラーリング表示を終了し、ユーザがスマートウォッチ１１０の画面から目線を外すと再度ミラーリング表示を開始する。これによりユーザは、スマートウォッチ１１０の画面を直接見ている場合にスマートグラス１０１にも同一画面がミラーリング表示される、といった同一画面の二重表示に相当する煩わしさから解放される。

更に、前述したように利用環境設定に「満員電車ｏｒ歩行中」が設定されている場合は、「満員電車」または「歩行中」を示すことを述べた。類似する設定として、表３の事例では未記載であるが、もし利用環境設定に「連携画面直視中ａｎｄ歩行中」が設定されている場合は、「連携画面直視中」かつ「歩行中」を示すものとする。

以上のように本実施形態２における「環境」の定義は、表３の利用環境設定で示したように「満員電車」というユーザがいる環境そのものに限らず、「歩行中」「連携画面直視中」などのユーザ状況も含めたものを「環境」と定義する。また、表３では、「利用環境設定」には、「満員電車」、「歩行中」などの値を管理している例を挙げているが、これは説明のためである。実際には、それら各環境に対応するそれぞれに割り当てられた設定値ＩＤが表で管理されていてもよい。

更に、実施形態２では、特定の環境変化を検知した場合にスマートウォッチ１１０の画面をロックするウォッチ画面ロックの機能も搭載する。これは表３の「ウォッチ画面ロック」列の中で、「ＯＮ／ＯＦＦ設定」と「発動環境」の列を設けて既定する。例えば、表３のアプリケーションＩＤ「０００１」では、「ウォッチ画面ロック」列のＯＮ／ＯＦＦ設定が「ＯＮ」であり、発動環境が「満員電車」となっている。この場合、ユーザ環境が「満員電車以外の環境」から「満員電車の環境」へと遷移したことを検知すると、ウォッチ画面ロックの機能が実行されることを示している。このウォッチ画面ロックの機能は、満員電車状態において、スマートウォッチ１１０の画面（表示部１１１）に他のユーザが触れてしまい、スマートグラス１０１に対するリモートコントロールにおいて誤制御させる可能性を低減する用途に利用する。満員電車の状態になった際に、一旦スマートウォッチ１１０の画面をロックしてしまえば、他のユーザが触れることによる誤制御は防げる。

ウォッチ画面ロックの機能による画面ロック後、例えば、画面にて指紋認証させる再ログインさせるなどすれば、ユーザ自身が触れた状態での画面操作を確実とすることも可能である。

その他、ウォッチ画面ロックの機能の用途として、「歩行中」へと遷移した際にスマートウォッチ１１０を画面ロックすることも有効である。ユーザがスマートウォッチ１１０の画面からスマートウォッチ１０１をリモートコントロールする際に、スマートウォッチ１１０の画面を直接目視するケースがある。この状態において、歩行開始すると、スマートウォッチ１１０の画面を直視しながら歩きこととなり、ユーザは周囲に危険な環境があっても気が付くことができない。そのため、「歩行中」へと遷移した際に一旦画面をロックすることで、ユーザのスマートウォッチ１１０の画面への注意を一旦退け、周囲の環境に目を向ける機会を提供することが可能である。この時のウォッチ画面ロックの機能による画面ロック時、画面上に警告表示をしても良い。

また、「歩行中」の状態を継続中に再度画面ロック解除した際は、ミラーリング表示するように誘導しても良い。この時、画面ロック時の警告表示し、画面ロック解除後にミラーリング表示するまでの一連の処理を、「ウォッチ画面ロック」の機能の中に含んでも良い。

更に、「ウォッチ画面ロック」による画面ロックを解除する際の手段として、表３に未記載の「ウォッチ画面解除」機能を連携機能の１つとして既定しても良い。例えば、表３の利用環境設定において「停止中（歩行中ＯＦＦ）」を示す環境を指定して、その際に「ウォッチ画面解除」のＯＮ／ＯＦＦ設定をＯＮで設定する、といった方法がある。

図１１～図１３は、ペアリング中のスマートウォッチ１１０とスマートグラス１０１において、スマートウォッチ１１０がスマートグラス１１０に搭載のアプリケーションを制御する際の、本実施形態２を特徴とする処理を示すフローチャートである。また図１１～図１３において、スマートウォッチ１１０とスマートグラス１０１がそれぞれペアリング部３２７とペアリング部３０８により既にペアリング実施済みの状態であるものとする。

図１１は、スマートグラス１０１において、ユーザ環境の変化を検知した際に、環境変化検知をスマートウォッチ１１０に送信する処理に係るフローチャートである。このフローチャートに含まれる処理の主体は、アプリケーション管理部３０９である。

アプリケーション管理部３０９は、センサー部２０９やカメラ２１０からの情報に基づき、ユーザがいる周囲の環境変化を検知する（Ｓ６０１）。例えば、センサー部２０９ではＧＰＳや加速度センサーの情報により歩行中か否かを検知する。また、センサー部２０９による近接センサーやカメラ２１０からの画像情報に基づき満員電車状態か否かを検知する。更に、カメラ２１０がスマートグラス１０１のユーザとほぼ同一目線の先にあるものを捉える機能を備える場合は、カメラ２１０からの画像情報に基づき、ユーザが連携中の連携デバイス（スマートウォッチ１１０）の画面を直接目視している最中か否かを検知する。上記検知方法は一つの例であり、スマートグラス１０１が備える機能に基づき検知する。

アプリケーション管理部３０９は、Ｓ６０１にて環境変化検知が無い場合は図１１のフローを終了し、環境変化を検知した場合は記憶部３０２を介してＲＡＭ２０４に最新環境情報として記憶する。そして、スマートウォッチ１１０に対し、検出された環境情報を通知する（Ｓ６０３）。

ここで、最新の環境情報は表４のようなテーブルで記憶される。

アプリケーション管理部３０９では自身が検知可能である、表４の「環境」列にあるような環境項目を既定する。そして例えば、立ち止まっている状態から歩行中へと環境が変化した場合、「歩行中」の状態をＯＮへと更新する。その後、歩行中から立ち止まっている状態へと環境変化した場合は、「歩行中」の状態をＯＦＦへと更新する。

図１２は、スマートウォッチ１１０において、スマートグラス１０１から環境情報を受信した際に、受信情報に基づき決定したリモートコントロールやミラーリング表示の制御情報をスマートグラス１０１に送信する処理に係るフローチャートである。このフローチャートに含まれる処理の主体は、アプリケーション管理部３２８である。

まず、アプリケーション管理部３２８は、Ｓ６１１にて、スマートグラス１０１から環境情報を受信した場合はＳ６１２へ進み、受信していない場合はＳ６１３へ進む。Ｓ６１２では記憶部３２３介してＲＡＭ２２４に受信した最新環境情報（表４）を記憶する。Ｓ６１３はＳ４０１と同等であり、アプリ操作があればＳ６１４へ進み、アプリ操作がなければＳ６２１へ進む。

ここでＳ６２１、Ｓ６２２はそれぞれＳ４０８、Ｓ４０９と同等である。またＳ６２３は、Ｓ４１０とＳ４１１の両方をまとめた処理と同等である。Ｓ６２３では、前述したアプリ毎グラス連携情報（表３）にリモートコントロールやミラーリング機能以外にスマートグラス１０１で実行する連携機能が既定されている場合、それらの連携機能も全て終了する。この終了した結果については、スマートグラス１０１にも通知される。

Ｓ６１４にてＳ６１２で記憶した最新環境情報（表４）を取得し、表４の状態がＯＮである環境に基づき、表３の利用環境設定での既定に合致する「自端末で実行すべき連携機能」があれば（Ｓ６１５）、該当連携機能が自端末にて実行される（Ｓ６１６）。ここで「自端末で実行すべき連携機能」とは、表３を例にすると「ウォッチ画面ロック」の機能が該当する。ウォッチ画面ロックの機能は、スマートウォッチ１１０の画面をロックするものであるため、自端末で実行されるべき機能である。また表３で前述した通り、「ウォッチ画面ロック」機能には、ロック中の警告表示やロック解除後のミラーリング表示実行まで含めても良い。その他、表３で同様に前述した、「ウォッチ画面解除」機能も「自端末で実行すべき連携機能」に含む。

続いて、Ｓ６１７にて、表４の状態がＯＮである環境に基づき、表３の利用環境設定での既定に合致する「スマートグラスで実行すべき連携機能」があれば（Ｓ６１７）、該当連携機能の状態情報を通知する（Ｓ６１８）。ここで「スマートグラスで実行すべき連携機能」とは、表３を例にすると「リモートコントロール」や「ミラーリング表示」の機能が該当する。リモートコントロールの機能では、スマートグラス１０１上のアプリケーションを制御する。また、ミラーリング表示へはスマートグラス１０１上でミラーリング表示する。よって、これらの機能は、スマートグラス１０１で実行必要な機能である。またＳ６１８にて通知する連携機能の状態情報は、例えば、表４に基づき、リモートコントロールやミラーリング表示について、ＯＮであるかＯＦＦのどちらとすべきか判断した結果である。またこの通知の際、Ｓ６１３で操作検知したアプリケーションのアプリーションＩＤやアプリケーション名等の情報も情報に含めて通知する。

ここまでに、表３，４で設定された自端末で実行すべき機能やスマートグラスで実行すべき機能について説明した。しかしながら、対象となる連携機能がどちらであるかを判別する情報は、アプリ毎グラス連携情報（表３）にさらに属性を追加して設定できるようにしても良いし、別テーブルで管理するようにしても良い。

Ｓ６１９では、スマートグラス１０１と連携中の機能があるか否かが判断される。この判断は、Ｓ６１７同様に、表４の状態がＯＮである環境に基づき、表４の状態がＯＮである環境に基づき、表３の利用環境設定での既定に合致する「スマートグラスで実行すべき連携機能」があり、更に機能ＯＮとすべき機能があれば、連携中の機能ありと判断する。またこのような判断方法以外にも、Ｓ６１８での過去の状態情報の通知履歴を、記憶部３２３により記憶しておき、過去の通知履歴に基づき、連携中の機能があるか否かが判断されても良い。Ｓ６１９にて、スマートグラス１０１と連携中の機能があればＳ６２０へ進み、スマートグラス１０１と連携中の機能がなければ図１２で示すフローチャートを終了する。

Ｓ６２０は、図４におけるＳ４０４、Ｓ４０５、Ｓ４０７の処理に相当する。例えば、リモートコントロール機能にて連携中であればアプリ操作情報としてユーザ指示情報を送信する。また、ミラーリング表示にて連携中であればアプリ操作情報としてＵＩ情報を送信する。

図１３は、スマートグラス１０１において、スマートウォッチ１１０から「連携機能をＯＮ／ＯＦＦする状態情報」または「連携中の連携機能に対応するアプリ操作情報」を受信した際の処理に係るフローチャートである。このフローチャートに含まれる処理の主体は、ｃである。

アプリケーション管理部３０９は、Ｓ６３１にて連携デバイス（スマートウォッチ１１０）から「連携機能の状態情報」を受信した場合はＳ６３２へ進み、受信していない場合はＳ６３３へ進む。Ｓ６３１において受信する「連携機能の状態情報」は、図１２のＳ６１８またはＳ６２３によりスマートウォッチ１１０から通知された情報である。

Ｓ６３２では、この受信情報がスマートグラス１０１で実行される処理として、反映される。具体的には、リモートコントロールＯＮを受信した場合は、Ｓ６１８の通知情報に含むスマートウォッチ１１０上のアプリケーションＩＤにて制御可能な、スマートグラス１０１上のアプリケーションの制御が開始される。また、リモートコントロールＯＦＦを受信した場合は、このアプリケーションの制御が終了される。また、ミラーリング表示ＯＮを受信した場合は、アプリケーション管理部３０９はスマートグラス１０１上のミラーリング表示アプリケーションを起動し、それによりミラーリング表示が開始される。また、ミラーリング表示ＯＦＦを受信した場合は、ミラーリング表示が終了する。

Ｓ６３３にて、スマートウォッチ１１０から「連携中の連携機能に対応するアプリ操作情報」を受信した場合はＳ６３４へ進み、受信していない場合はＳ６３５へ進む。「連携中の連携機能に対応するアプリ操作情報」は、図１２のＳ６２０によりスマートウォッチ１１０から通知された情報である。

Ｓ６３４ではこの受信情報がスマートグラス１０１で実行される処理として、反映される。具体的には、連携中の連携機能がリモートコントロールである場合は、スマートグラス１０１上のアプリケーションに対して、アプリ操作情報としてのユーザ指示情報に基づく制御が反映される。また、連携中の連携機能がミラーリング表示である場合は、アプリ操作情報はスマートグラス１０１上のミラーリング表示で提供される表示コンテンツの情報に対応するＵＩ情報となる。ここでは、例えば、ユーザがスマートウォッチ１１０上のアプリを操作することにより変更される表示コンテンツがＵＩ情報であり、該ＵＩ情報に基づきミラーリング表示が更新される。

Ｓ６３５～Ｓ６３９はそれぞれ順に、Ｓ４２４～Ｓ４２８の処理と同等であるため説明を省略する。

以上のフローチャートによれば、スマートグラス機能をスマートウォッチでリモートコントロールする際の連携において、ユーザの利用環境を考慮したユーザビリティ向上を実現することが可能である。

また本実施形態２では、スマートグラス１０１で環境変化検知を行いスマートウォッチ１１０へ通知する構成（図１１）としたが、別の構成により環境変化検知を実施しても良い。例えば、スマートウォッチ１１０自身が自身の搭載するセンサー部２２９などからの情報に基づきアプリケーション管理部３２８で環境変化検知しても良い。また、スマートグラス１０１またはスマートウォッチ１１０に通常モード、満員電車モード、歩行中モードなどのようにして、各環境モードを用意しておき、ユーザによりいずれの環境モードであるか選択可能としても良い。そして、ユーザによるこの環境モードのモード切替えを環境変化検知の代替手段としても良い。

以上で説明した、本実施形態１、２の実施例において、各ウェアラブル端末の構成、ソフトモジュールの構成、また、ウェアラブル端末のアプリケーション通知に関するフローチャートを示してきたが、これらは一例であり、これに限るものではない。

上記された実施形態のそれぞれおよびそれら組合せを含む本発明によれば、スマートグラスに多様なアプリケーションに必要な様々な操作に対応するための高性能な操作部が必須でなくなる。そのため、そのような操作部をスマートグラスに多く実装することによるデザイン性の制約も取り除くことができる。つまり、本発明は、ユーザビリティの向上だけでなく、スマートグラスのデザイン性の向上にも大きく寄与するといえ、軽量化にも寄与する可能性がある。

（他の実施例）
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。

ここで、本発明は、上述した実施形態の機能を実現する１以上のソフトウェア（プログラム）を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の１以上のコンピュータ（ＣＰＵやＭＰＵ等）によりそのプログラムが１以上のメモリーに読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピュータにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路（例えば、ＡＳＩＣ）によっても、本発明は実現可能である。

１０１ スマートグラス
１１０ スマートウォッチ

Claims (13)

1. 連携デバイスをもつユーザに装着されるメガネ型情報機器であって、
   メガネ型情報機器で実行されるアプリケーションに対する前記連携デバイスによるリモートコントロールにかかる操作部に対応する画像が、前記ユーザの視界に投影されるよう表示を制御する第１の制御手段と、
   前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記アプリケーションの機能を制御する第２の制御手段と、を有することを特徴とするメガネ型情報機器。
2. 前記操作部に対応する画像は、前記連携デバイスから受信した情報に基づく画像であることを特徴とする請求項１に記載のメガネ型情報機器。
3. 前記第１の制御手段は、前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記操作部に対応する画像に対して前記ユーザの操作を反映させるようさらに表示を制御することを特徴とする請求項１または２に記載のメガネ型情報機器。
4. 前記リモートコントロールに際して、前記操作部に対応する画像を表示するか否かの設定を行う設定手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載のメガネ型情報機器。
5. 前記設定手段は、前記メガネ型情報機器のアプリケーションごとに、前記設定を行うことを特徴とする請求項４に記載のメガネ型情報機器。
6. 前記設定手段は、前記メガネ型情報機器で検出される環境に応じた前記設定を行うことを特徴とする請求項４また５に記載のメガネ型情報機器。
7. 前記メガネ型情報機器は、複眼のスマートグラス、単眼のスマートグラス、または、ヘッドマウントディスプレイの何れかであることを特徴とする請求項１乃至６のいずれか１項に記載のメガネ型情報機器。
8. 前記メガネ型情報機器は、インターネットと接続するためのネットワークモジュールを内蔵することを特徴とする請求項１乃至７のいずれか１項に記載のメガネ型情報機器。
9. 連携デバイスをもつユーザに装着されるメガネ型情報機器における方法であって、
   メガネ型情報機器で実行されるアプリケーションに対する前記連携デバイスによるリモートコントロールにかかる操作部に対応する画像が、前記ユーザの視界に投影されるよう表示を制御する第１の制御工程と、
   前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記アプリケーションの機能を制御する第２の制御工程と、を有することを特徴とする方法。
10. 連携デバイスをもつユーザに装着されるメガネ型情報機器としてのコンピュータを、
    メガネ型情報機器で実行されるアプリケーションに対する前記連携デバイスによるリモートコントロールにかかる操作部に対応する画像が、前記ユーザの視界に投影されるよう表示を制御する第１の制御手段と、
    前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記アプリケーションの機能を制御する第２の制御手段として機能させるためのプログラム。
11. 前記操作部に対応する画像は、前記連携デバイスから受信した情報に基づく画像であることを特徴とする請求項１０に記載のプログラム。
12. 前記第１の制御手段は、前記連携デバイスで行われた前記ユーザの操作に応じて受信した前記アプリケーションのための情報に基づき、前記操作部に対応する画像に対して前記ユーザの操作を反映させるようさらに表示を制御することを特徴とする請求項１０または１１に記載のプログラム。
13. 前記コンピュータを、前記リモートコントロールに際して、前記操作部に対応する画像を表示するか否かの設定を行う設定手段としてさらに機能させるための請求項１０乃至１２のいずれか１項に記載のプログラム。

Images