JP2017152890A - Remote control system, wearable terminal and remote control method - Google Patents
Remote control system, wearable terminal and remote control method Download PDFInfo
- Publication number
- JP2017152890A JP2017152890A JP2016032955A JP2016032955A JP2017152890A JP 2017152890 A JP2017152890 A JP 2017152890A JP 2016032955 A JP2016032955 A JP 2016032955A JP 2016032955 A JP2016032955 A JP 2016032955A JP 2017152890 A JP2017152890 A JP 2017152890A
- Authority
- JP
- Japan
- Prior art keywords
- wearable terminal
- user
- sight
- remote control
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明の実施形態は、リモートコントロールシステム、ウェアラブル端末およびリモートコントロール方法に関する。 Embodiments described herein relate generally to a remote control system, a wearable terminal, and a remote control method.
近年、ウェアラブル端末などと称される、腕時計型やメガネ型などの装用可能な電子機器が普及し始めている。この種のウェアラブル端末は、エアコンディショナー、テレビジョン受像機、照明器具などの複数の家庭電化製品を操作することのできるマルチリモートコントローラとして利用し得る。 In recent years, wearable electronic devices called wearable terminals and the like, which can be worn, such as wristwatches and glasses, have begun to spread. This type of wearable terminal can be used as a multi-remote controller capable of operating a plurality of home appliances such as an air conditioner, a television receiver, and a lighting fixture.
ウェアラブル端末をマルチリモートコントローラとして利用する場合、複数の家庭電化製品の中から目的の家庭電化製品を選択する操作が必要となる。ウェアラブル端末においては、このような操作がユーザに煩わしさを感じさせてしまう可能性がある。 When a wearable terminal is used as a multi-remote controller, an operation for selecting a target home appliance from a plurality of home appliances is required. In a wearable terminal, such an operation may make the user feel bothersome.
本発明が解決しようとする課題は、ウェアラブル端末をリモートコントローラとして利用する場合の利便性を向上させるリモートコントロールシステム、ウェアラブル端末およびリモートコントロール方法を提供することである。 The problem to be solved by the present invention is to provide a remote control system, a wearable terminal, and a remote control method that improve convenience when a wearable terminal is used as a remote controller.
実施形態によれば、リモートコントロールシステムは、第１ウェアラブル端末と、第２ウェアラブル端末とを具備する。リモートコントロールシステムは、前記第２ウェアラブル端末で操作可能な電子機器へユーザの視線が向けられたことを前記第１ウェアラブル端末により検出し、前記電子機器へ前記ユーザの視線が向けられたことが検出されてから第１期間内に前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを前記第１ウェアラブル端末または前記第２ウェアラブル端末により検出して、前記電子機器の操作画面を前記第２ウェアラブル端末により表示する。 According to the embodiment, the remote control system includes a first wearable terminal and a second wearable terminal. The remote control system uses the first wearable terminal to detect that the user's line of sight is directed to an electronic device operable by the second wearable terminal, and detects that the user's line of sight is directed to the electronic device. The first wearable terminal or the second wearable terminal detects that the user's line of sight has been directed to the second wearable terminal within a first period of time, and the operation screen of the electronic device is displayed on the second wearable terminal. Display on wearable terminal.
以下、実施の形態について図面を参照して説明する。 Hereinafter, embodiments will be described with reference to the drawings.
（第１実施形態）
まず、第１実施形態について説明する。
(First embodiment)
First, the first embodiment will be described.
図１は、本実施形態のリモートコントロールシステムが利用される環境の一例を示す図である。 FIG. 1 is a diagram illustrating an example of an environment in which the remote control system of the present embodiment is used.
本実施形態のリモートコントロールシステムは、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携して、たとえば室内に設置されている、エアコンディショナー、テレビジョン受像機、照明器具などの複数の家庭電化製品３を腕時計型ウェアラブル端末２上で操作することを可能とするシステムである。より具体的には、腕時計型ウェアラブル端末２を、複数の家庭電化製品３を操作することのできるマルチリモートコントローラとして動作させるシステムであって、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２との協働により、ある家庭電化製品３をユーザが操作する際、その家庭電化製品３を複数の家庭電化製品３の中から選択するといった煩わしい操作を腕時計型ウェアラブル端末２上で行うことを不要とするシステムである。
The remote control system according to the present embodiment includes a plurality of home appliances such as an air conditioner, a television receiver, and a lighting device installed indoors in cooperation with the glasses-type wearable terminal 1 and the wristwatch-type
図１に示されるように、複数の家庭電化製品３は、それぞれＩＲ（Infrared Ray）発光部３Ａを有している。ＩＲ発光部３Ａは、家庭電化製品３を識別可能な赤外線信号を出力するためのモジュールであり、家庭電化製品３に予め搭載されてもよいし、外付けされてもよい。なお、図１には示されないが、複数の家庭電化製品３は、それぞれリモートコントロール信号（赤外線信号）を受信するためのＩＲ受光部を有している。または、複数の家庭電化製品３は、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信を行うための無線通信モジュールを有していてもよい。この場合、複数の家庭電化製品３は、ルータを介して接続される家庭内ネットワーク経由でリモートコントロール信号を受信することができる。
As shown in FIG. 1, each of the plurality of
図２は、本実施形態のリモートコントロールシステムに適用されるメガネ型ウェアラブル端末１の外観の一例を示す図である。 FIG. 2 is a diagram showing an example of the appearance of the glasses-type wearable terminal 1 applied to the remote control system of the present embodiment.
図２に示されるように、メガネ型ウェアラブル端末１は、ユーザの頭部に装着されるメガネ部１１と、メガネ部１１に着脱自在な外部ユニット部１２とを有している。外部ユニット部１２を装着することにより、汎用的なメガネをメガネ型ウェアラブル端末１として利用してもよい。即ち、メガネ部１１は、汎用的なメガネであってもよい。また、メガネ部１１と外部ユニット部１２とを一体構造としてもよい。
As shown in FIG. 2, the glasses-type wearable terminal 1 includes a
外部ユニット部１２には、メガネ型ウェアラブル端末１を装着するユーザの視線が向けられている方向から送信されてくる赤外線信号を受信するためのＩＲ受光部１３が設けられている。また、外部ユニット部１２には、たとえばメガネ型ウェアラブル端末１を電源オン／オフする等の各種操作を行うための操作部１４が設けられている。
The
一方、図３は、本実施形態のリモートコントロールシステムに適用される腕時計型ウェアラブル端末２の外観の一例を示す図である。
On the other hand, FIG. 3 is a diagram showing an example of the appearance of the wristwatch-type
図３に示されるように、腕時計型ウェアラブル端末２は、時計部２１と、時計部２１をユーザの腕部に装着するためのベルト（バンド）部２２Ａ，２２Ｂとを有している。時計部２１には、表示画面上でのタッチ操作が可能なタッチスクリーンディスプレイ２３が設けられている。また、時計部２１には、赤外線信号を出力するためのＩＲ発光部２４が設けられている。時計部２１のＩＲ発光部２４からは、時計部２１を識別可能な赤外線信号と、家庭電化製品３向けのリモートコントロール信号（赤外線信号）が出力され得る。家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信によりルータ経由で家庭内ネットワークへ接続される場合、腕時計型ウェアラブル端末２は、家庭電化製品３向けのリモートコントロール信号を、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信により出力するようにしてもよい。また、家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信に対応していない場合においても、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信データを赤外線信号に変換するデバイスを用いることにより、腕時計型ウェアラブル端末２は、家庭電化製品３向けのリモートコントロール信号を、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信により出力するようにしてもよい。
As shown in FIG. 3, the wristwatch-type
さらに、時計部２１には、たとえば腕時計型ウェアラブル端末２を電源オン／オフする等の各種操作を行うための操作部２５が設けられている。（電源オン状態で表示画面が提示されている）腕時計型ウェアラブル端末２を電源オフする操作は、タッチスクリーンディスプレイ２３上でのタッチ操作で行ってもよい。
Further, the
図４を参照して、本実施形態のリモートコントロールシステムにおけるメガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２との連携の一例を概略的に説明する。本実施形態のリモートコントロールシステムでは、ユーザが、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２との両方を装着していることを想定している。腕時計型ウェアラブル端末２は、たとえばタッチスクリーンディスプレイ２３上でのタッチ操作が一定期間行われなかった場合、タッチスクリーンディスプレイ２３をオフする等のスリープ状態に移行する省電力機能を有している。
With reference to FIG. 4, an example of cooperation between the glasses-type wearable terminal 1 and the wristwatch-type
いま、腕時計型ウェアラブル端末２は、スリープ状態であるものとする。そして、腕時計型ウェアラブル端末２がスリープ状態である状況のまま、ユーザが、ある家庭電化製品３を見たとする（図４（Ａ））。このとき、メガネ型ウェアラブル端末１が、その家庭電化製品３へユーザの視線が向けられたことを検知する。たとえば、家庭電化製品３のＩＲ発光部３Ａから出力される赤外線信号をＩＲ受光部１３で受信することにより、メガネ型ウェアラブル端末１は、その家庭電化製品３へユーザの視線が向けられたことを検知することができる。
Now, it is assumed that the wristwatch type
次に、ユーザが、ある家庭電化製品３を見てから一定期間内に、腕時計型ウェアラブル端末２を見たとする（図４（Ｂ１））。このとき、メガネ型ウェアラブル端末１が、腕時計型ウェアラブル端末２へユーザの視線が向けられたことを検知する。たとえば、腕時計型ウェアラブル端末２のＩＲ発光部２４から出力される赤外線信号をＩＲ受光部１３で受信することにより、メガネ型ウェアラブル端末１は、腕時計型ウェアラブル端末２へユーザの視線が向けられたことを検知することができる。なお、腕時計型ウェアラブル端末２は、スリープ状態である期間中も、腕時計型ウェアラブル端末２を識別可能な赤外線信号をＩＲ発光部２４から出力している。
Next, it is assumed that the user views the wristwatch-type
ある家庭電化製品３へユーザの視線が向けられ、かつ、その直後（一定期間内）に腕時計型ウェアラブル端末２へユーザの視線が向けられた場合、メガネ型ウェアラブル端末１は、たとえばWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信により、ユーザの視線が向けられた家庭電化製品３の識別情報を腕時計型ウェアラブル端末２へ通知する。前述したように、家庭電化製品３のＩＲ発光部３Ａは、家庭電化製品３を識別可能な赤外線信号を出力するので、この赤外線信号に基づき、メガネ型ウェアラブル端末１は、家庭電化製品３の識別情報を腕時計型ウェアラブル端末２へ通知することができる。
When the user's line of sight is directed to a
一方、メガネ型ウェアラブル端末１からの通知（家庭電化製品３の識別情報）を受信した腕時計型ウェアラブル端末２は、（スリープ状態であるならば）スリープ状態から復帰して、識別情報で示される家庭電化製品３用のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（図４（Ｃ１））。なお、腕時計型ウェアラブル端末２は、スリープ状態である期間中も、無線通信機能は稼働している。
On the other hand, the wristwatch-type
つまり、本実施形態のリモートコントロールシステムでは、ユーザが、ある家庭電化製品３を腕時計型ウェアラブル端末２で操作したいと考えて、その家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るという行動を取った場合、その家庭電化製品３用のリモートコントロール画面が自動的に腕時計型ウェアラブル端末２上に表示されるようにする。これにより、スリープ状態から復帰させたり、複数の家庭電化製品３の中から目的の家庭電化製品３を選択したりといった腕時計型ウェアラブル端末２上での煩わしい操作を省くことができる。
That is, in the remote control system according to the present embodiment, the user wants to operate a
もし、ユーザが、ある家庭電化製品３を見てから一定期間内に、腕時計型ウェアラブル端末２を見なかったとすると（図４（Ｂ２））、メガネ型ウェアラブル端末１から腕時計型ウェアラブル端末２への通知は行われない。したがって、腕時計型ウェアラブル端末２は、スリープ状態が維持される（図４の（Ｃ２））。
If the user does not look at the wristwatch-type
なお、ここでは、家庭電化製品３を操作する端末として、腕時計型ウェアラブル端末２を想定するが、ユーザの視線が向けられたことが検出できる端末であれば、ウェアラブル端末に限らず、たとえばスマートフォンなどであってもよい。
Here, the wristwatch-type
図５は、メガネ型ウェアラブル端末１のシステム構成の一例を示す図である。 FIG. 5 is a diagram illustrating an example of a system configuration of the glasses-type wearable terminal 1.
図５に示されるように、メガネ型ウェアラブル端末１は、（図２に示される）ＩＲ受光部１３および操作部１４のほか、プロセッサ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３および無線通信部１０４を有している。
As shown in FIG. 5, the glasses-type wearable terminal 1 includes a
プロセッサ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２に保持される各種プログラムを実行して、メガネ型ウェアラブル端末１の動作を制御する。各種プログラムの中には、メガネ型ウェアラブル端末１をリモートコントロールシステムの一要素として動作させるためのリモートコントロール支援プログラム３１０が含まれている。
The
無線通信部１０４は、たとえばWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信を実行する無線通信モジュールである。
The
一方、図６は、腕時計型ウェアラブル端末２のシステム構成の一例を示す図である。
On the other hand, FIG. 6 is a diagram illustrating an example of a system configuration of the wristwatch type
図６に示されるように、腕時計型ウェアラブル端末２は、（図３に示される）タッチスクリーンディスプレイ２３、ＩＲ発光部２４および操作部２５のほか、プロセッサ２０１、ＲＯＭ２０２、ＲＡＭ２０３および無線通信部２０４を有している。
As shown in FIG. 6, the wristwatch type
プロセッサ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２に保持される各種プログラムを実行して、腕時計型ウェアラブル端末２の動作を制御する。各種プログラムの中には、腕時計型ウェアラブル端末２をリモートコントロールシステムの一要素として動作させるためのリモートコントロール支援プログラム４１０が含まれている。メガネ型ウェアラブル端末１のリモートコントロール支援プログラム３１０と、腕時計型ウェアラブル端末２のリモートコントロール支援プログラム４１０とは、各々単体のプログラムとして用意されるものでもよいし、１つのプログラム内の異なるサブプログラムとして用意され、パラメータ設定などにより使い分けが行われるものでもよい。
The
無線通信部２０４は、たとえばWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信を実行する無線通信モジュールである。
The
図７は、リモートコントロール支援プログラム３１０によってリモートコントロールシステムの一要素として動作するメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。
FIG. 7 is a diagram illustrating an example of an operation flow of the glasses-type wearable terminal 1 that operates as an element of the remote control system by the remote
メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＡ１）。受信されている場合（ブロックＡ１のＹＥＳ）、メガネ型ウェアラブル端末１は、今度は、この赤外線信号の受信から一定期間内に腕時計型ウェアラブル端末２から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＡ２）。
The glasses-type wearable terminal 1 monitors whether an infrared signal transmitted from the
受信されている場合（ブロックＡ２のＹＥＳ）、メガネ型ウェアラブル端末１は、赤外線信号が受信された家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＡ３）。
If received (YES in block A2), the glasses-type wearable terminal 1 transmits the identification information of the
一方、図８は、リモートコントロール支援プログラム４１０によってリモートコントロールシステムの一要素として動作する腕時計型ウェアラブル端末２の動作の流れの一例を示す図である。
On the other hand, FIG. 8 is a diagram showing an example of the operation flow of the wristwatch-type
腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信されていないかを監視する（ブロックＢ１）。受信されている場合（ブロックＢ１のＹＥＳ）、腕時計型ウェアラブル端末２は、その識別情報で示される家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＢ２）。識別情報の受信時、スリープ状態であった場合、腕時計型ウェアラブル端末２は、リモートコントロール画面のタッチスクリーンディスプレイ２３への表示前に、スリープ状態から復帰する処理（たとえばタッチスクリーンディスプレイ２３をオンする）を行う。
The wristwatch-type
なお、リモートコントロール画面の表示後、タッチスクリーンディスプレイ２３上でのタッチ操作に応じて、腕時計型ウェアラブル端末２は、リモートコントロール信号（赤外線信号）をＩＲ発光部２４から送信する処理を実行するが、ここでは、この処理の詳細については、その説明を省略する。家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信によりルータ経由で家庭内ネットワークへ接続される場合、腕時計型ウェアラブル端末２は、タッチスクリーンディスプレイ２３上でのタッチ操作に応じて、リモートコントロール信号を無線通信部２０４から送信する処理を実行する。家庭電化製品３がWi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信に対応していない場合においても、Wi-Fi（登録商標）規格やBluetooth（登録商標）規格等に準拠した無線通信データを赤外線信号に変換するデバイスを用いることにより、腕時計型ウェアラブル端末２は、タッチスクリーンディスプレイ２３上でのタッチ操作に応じて、リモートコントロール信号を無線通信部２０４から送信する処理を実行するようにしてもよい。
Note that, after the remote control screen is displayed, the wristwatch-type
このように、本実施形態のリモートコントロールシステムにおいては、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。つまり、スリープ状態から復帰させたり、複数の家庭電化製品３の中から目的の家庭電化製品３を選択したりといった腕時計型ウェアラブル端末２上での煩わしい操作を行う必要がない。よって、本実施形態のリモートコントロールシステムは、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることを実現する。
As described above, in the remote control system of the present embodiment, the glasses-type wearable terminal 1 and the wristwatch-type
なお、腕時計型ウェアラブル端末２は、スリープ状態から復帰させたり、複数の家庭電化製品３の中から目的の家庭電化製品３を選択したりするためのユーザインタフェースを有してよいことはいうまでもない。
Needless to say, the wristwatch-type
また、たとえば複数の家庭電化製品３の配置によっては、メガネ型ウェアラブル端末１のＩＲ受光部１３は、２つの家庭電化製品３から送信されてくる赤外線信号を同時に受信する可能性もある。このような場合、メガネ型ウェアラブル端末１は、（その直後に腕時計型ウェアラブル端末２から送信されてくる赤外線信号を受信したならば）これら２つの識別情報を腕時計型ウェアラブル端末２に送信するようにしてもよい。この時、腕時計型ウェアラブル端末２は、これら２つの家庭電化製品３を選択肢とする選択画面をタッチスクリーンディスプレイ２３上に表示するようにしてもよい。この場合でも、スリープ状態から復帰させるための操作を省くことができ、また、腕時計型ウェアラブル端末２で操作可能な家庭電化製品３が多数存在する場合、その中から候補を自動的に絞り込んで提示することができる。
Further, for example, depending on the arrangement of a plurality of
さらに、腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる識別情報で示される家庭電化製品３用のリモートコントロール画面を表示する前に、その家庭電化製品３で正しいかを確認するための画面を表示するようにしてもよい。正しいとの回答（タッチ操作）を受けた場合、その家庭電化製品３用のリモートコントロール画面を表示し、誤っているとの回答を受けた場合、たとえば複数の家庭電化製品３の中から目的の家庭電化製品３を選択するための画面を表示してもよい。
Further, the wristwatch-type
（第２実施形態）
次に、第２実施形態について説明する。
(Second Embodiment)
Next, a second embodiment will be described.
第１実施形態では、ユーザの視線が家庭電化製品３に向けられた直後（一定期間内）に腕時計型ウェアラブル端末２に向けられたことを、メガネ型ウェアラブル端末１が、腕時計型ウェアラブル端末２から送信されてくる赤外線信号をＩＲ受光部１３により受信することで検出した。これに対して、本実施形態では、腕時計型ウェアラブル端末２が、メガネ型ウェアラブル端末１から送信されてくる赤外線信号を受信することにより検出する。
In the first embodiment, the glasses-type wearable terminal 1 indicates that the user's line of sight is directed to the wristwatch-type
図９は、本実施形態におけるメガネ型ウェアラブル端末１の外観の一例を示す図であり、図１０は、本実施形態におけるメガネ型ウェアラブル端末１のシステム構成の一例を示す図である。図９および図１０に示されるように、本実施形態のメガネ型ウェアラブル端末１は、赤外線信号を出力するためのＩＲ発光部１５を有している。
FIG. 9 is a diagram illustrating an example of the appearance of the glasses-type wearable terminal 1 in the present embodiment, and FIG. 10 is a diagram illustrating an example of a system configuration of the glasses-type wearable terminal 1 in the present embodiment. As shown in FIGS. 9 and 10, the glasses-type wearable terminal 1 of this embodiment has an IR
また、図１１は、本実施形態における腕時計型ウェアラブル端末２の外観の一例を示す図であり、図１２は、本実施形態における腕時計型ウェアラブル端末２のシステム構成の一例を示す図である。図１１および図１２に示されるように、本実施形態の腕時計型ウェアラブル端末１は、赤外線信号を受信するためのＩＲ受光部２６を有している。
FIG. 11 is a diagram showing an example of the appearance of the wristwatch-type
まず、図１３を参照して、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を説明する。 First, an example of the operation flow of the glasses-type wearable terminal 1 in the present embodiment will be described with reference to FIG.
メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＨ１）。受信されている場合（ブロックＨ１のＹＥＳ）、メガネ型ウェアラブル端末１は、一定期間、赤外線信号が受信された家庭電化製品３の識別情報を通知するための赤外線信号をＩＲ発光部１５により出力する（ブロックＣ２）。この赤外線信号は、受信側において、（識別情報で示される家庭電化製品３から送信されてきたのではなく）メガネ型ウェアラブル端末１から送信されてきたことが認識できる信号である。
The glasses-type wearable terminal 1 monitors whether an infrared signal transmitted from the
続いて、図１４を参照して、本実施形態における腕時計型ウェアラブル端末２の動作の流れの一例を説明する。
Next, an example of the operation flow of the wristwatch-type
腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる、家庭電化製品３の識別情報を通知するための赤外線信号がＩＲ受光部２０４により受信されていないかを監視する（ブロックＩ１）。受信されている場合（ブロックＩ１のＹＥＳ）、腕時計型ウェアラブル端末２は、その識別情報で示される家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＩ２）。
The wristwatch-type
このように、本実施形態のリモートコントロールシステムにおいても、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
Thus, also in the remote control system of this embodiment, the glasses-type wearable terminal 1 and the wristwatch-type
（第３実施形態）
次に、第３実施形態について説明する。
(Third embodiment)
Next, a third embodiment will be described.
第１実施形態では、ユーザの視線が家庭電化製品３に向けられた直後（一定期間内）に腕時計型ウェアラブル端末２に向けられたことを、メガネ型ウェアラブル端末１が、腕時計型ウェアラブル端末２から送信されてくる赤外線信号をＩＲ受光部１３により受信することで検出した。これに対して、本実施形態では、腕時計型ウェアラブル端末２が、たとえば腕時計を見る場合に（腕時計が装着された）腕を持ち上げながら内側に捻転させるといった典型的な行動が取られたかを判定することにより検出する。また、本実施形態では、メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信された時点で、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する。
In the first embodiment, the glasses-type wearable terminal 1 indicates that the user's line of sight is directed to the wristwatch-type
図１５は、本実施形態における腕時計型ウェアラブル端末２のシステム構成の一例を示す図である。
FIG. 15 is a diagram illustrating an example of a system configuration of the wristwatch-type
図１５に示されるように、本実施形態の腕時計型ウェアラブル端末２は、加速度センサ２０５を有している。（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０は、加速度センサ２０５の検出値に基づき、ユーザの視線が腕時計型ウェアラブル端末２に向けられたことを検出する。なお、加速度センサ２０５は、腕時計型ウェアラブル端末２がスリープ状態である期間中も動作している。
As shown in FIG. 15, the wristwatch type
図１６は、本実施形態における（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０の機能ブロック図である。 FIG. 16 is a functional block diagram of the remote control support program 410 (of the wristwatch type wearable terminal 2) in the present embodiment.
図１６に示されるように、リモートコントロール支援プログラム４１０は、行動監視部４１１およびリモートコントロール支援処理部４１２を有している。また、リモートコントロール支援プログラム４１０は、行動パターンＤＢ（Database）４１１Ａおよびリモートコントロール支援ＤＢ４１２Ａを有している。
As illustrated in FIG. 16, the remote
行動監視部４１１は、一定期間分の加速度センサ２０５の検出値群と行動パターンＤＢ４１１Ａに格納されている加速度センサ２０５の検出値群とを比較して、ユーザが所定の行動を取ったことを検出する（ユーザによる所定の動作を検出する）。行動パターンＤＢ４１１Ａには、ユーザが腕時計型ウェアラブル端末２を見るという行動を取った場合の腕時計型ウェアラブル端末２の位置的な変動量を示す加速度センサ２０５の検出値群が少なくとも格納されている。様々な行動に対応する加速度センサ２０５の検出値群を行動パターンＤＢ４１１Ａに格納しておくことで、行動監視部４１１は、ユーザの様々な行動を検出することができる。たとえば、スリープ状態から復帰させるための操作を、腕時計型ウェアラブル端末２が装着される腕を所定の手順で動かすこと（ジェスチャ）で行えるようにする等への利用が考えられ得る。なお、ここでは、ユーザの行動を検出するために加速度センサ２０５を用いる例を示すが、他のセンサを用いてもよいし、他のセンサを併用してもよい。
The
リモートコントロール支援処理部４１２は、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信された場合、この識別情報の受信から一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されるか否かを確認する。この行動が一定期間内に検出された場合、リモートコントロール支援処理部４１２は、識別情報で示される家庭電化製品３用のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する。
When the identification information of the
リモートコントロール支援ＤＢ４１２Ａには、たとえば、識別情報と家庭電化製品３との対応を示すデータ、各家庭電化製品３用のリモートコントロール画面を表示するためのデータ、各家庭電化製品３用のリモートコントロール信号（赤外線信号）を出力するためのデータなどが格納されている。なお、第１および第２実施形態では説明を省略したが、第１および第２実施形態における（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０も、リモートコントロール支援処理部４１２およびリモートコントロール支援ＤＢ４１２Ａに相当するモジュールを備えている。
The remote
このように、本実施形態のリモートコントロールシステムにおいても、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
Thus, also in the remote control system of this embodiment, the glasses-type wearable terminal 1 and the wristwatch-type
なお、行動監視部４１１が、腕時計型ウェアラブル端末２を見るという行動の検出のみに利用される場合、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信されたことを契機として、行動監視部４１１を動作させるようにしてもよい。加速度センサ２０５の検出値がＲＡＭ２０３に一定期間分蓄積されるようにしておくことで、タイムラグを吸収することは可能である。
When the
図１７は、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。 FIG. 17 is a diagram illustrating an example of an operation flow of the glasses-type wearable terminal 1 according to the present embodiment.
メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号がＩＲ受光部１３により受信されていないかを監視する（ブロックＣ１）。受信されている場合（ブロックＣ１のＹＥＳ）、メガネ型ウェアラブル端末１は、赤外線信号が受信された家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＣ２）。
The glasses-type wearable terminal 1 monitors whether an infrared signal transmitted from the
一方、図１８は、本実施形態における腕時計型ウェアラブル端末２の動作の流れの一例を示す図である。
On the other hand, FIG. 18 is a diagram showing an example of the operation flow of the wristwatch-type
腕時計型ウェアラブル端末２は、メガネ型ウェアラブル端末１から送信されてくる家庭電化製品３の識別情報が無線通信部２０４により受信されていないかを監視する（ブロックＤ１）。受信されている場合（ブロックＤ１のＹＥＳ）、腕時計型ウェアラブル端末２は、今度は、この識別情報の受信から一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されていないかを監視する（ブロックＤ２）。
The wristwatch-type
検出されている場合（ブロックＤ２のＹＥＳ）、腕時計型ウェアラブル端末２は、受信された識別情報で示される家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＤ３）。
If detected (YES in block D2), the wristwatch-type
以上のように、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。 As described above, also in the remote control system of the present embodiment, it is possible to improve the operation efficiency when the wearable terminal is used as a remote controller.
（第４実施形態）
次に、第４実施形態について説明する。
(Fourth embodiment)
Next, a fourth embodiment will be described.
第１乃至第３実施形態では、ユーザの視線が家庭電化製品３に向けられたことを、メガネ型ウェアラブル端末１は、家庭電化製品３から送信されてくる赤外線信号をＩＲ受光部１３により受信することで検出した。これに対して、本実施形態では、ユーザの視線方向の画像をカメラで撮像し、この画像を認識することにより検出する。なお、カメラで撮像された画像を認識することにより、ユーザの視線が腕時計型ウェアラブル端末２に向けられたことを検出することも可能であるが、ここでは、第２および第３実施形態と同様、腕時計型ウェアラブル端末２側において検出するものとする。
In the first to third embodiments, the glasses-type wearable terminal 1 receives an infrared signal transmitted from the
図１９は、本実施形態におけるメガネ型ウェアラブル端末１のシステム構成の一例を示す図である。 FIG. 19 is a diagram illustrating an example of a system configuration of the glasses-type wearable terminal 1 according to the present embodiment.
図１９に示されるように、本実施形態のメガネ型ウェアラブル端末１は、ＩＲ受光部１３に替えて、カメラ１０５を有している。（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０は、カメラ１０５で撮像された画像に基づき、ユーザの視線が家庭電化製品３に向けられたことを検出する。
As shown in FIG. 19, the glasses-type wearable terminal 1 of this embodiment has a
図２０は、本実施形態における（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０の機能ブロック図である。 FIG. 20 is a functional block diagram of the remote control support program 310 (of the glasses-type wearable terminal 1) in the present embodiment.
図２０に示されるように、リモートコントロール支援プログラム３１０は、画像認識部３１１およびリモートコントロール支援処理部３１２を有している。また、リモートコントロール支援プログラム３１０は、イメージＤＢ３１１Ａおよびリモートコントロール支援ＤＢ３１２Ａを有している。
As illustrated in FIG. 20, the remote
画像認識部３１１は、カメラ１０５で撮像された画像中から物体が撮像されている部分領域を抽出し、この部分領域上の画像とイメージＤＢ３１１Ａに格納されている画像とを比較して、カメラ１０５で撮像された画像上の家庭電化製品３を検出する。即ち、ユーザの視線が家庭電化製品３へ向けられたことを検出する。イメージＤＢ３１１Ａには、たとえば、各家庭電化製品３を様々な角度から撮像した画像などが格納されている。画像間の類似度を算出する手法は、既存のいずれの手法でも構わない。
The
リモートコントロール支援処理部３１２は、カメラ１０５で撮像された画像上の家庭電化製品３が画像認識部３１１により検出された場合、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する。リモートコントロール支援ＤＢ３１２Ａには、たとえば、イメージＤＢ３１１Ａに格納されている画像の識別子と家庭電化製品３の識別情報との対応を示すデータなどが格納されている。なお、第１乃至第３実施形態では説明を省略したが、第１乃至第３実施形態における（メガネ型ウェアラブル端末２の）リモートコントロール支援プログラム３１０も、リモートコントロール支援処理部３１２およびリモートコントロール支援ＤＢ３１２Ａに相当するモジュールを備えている。第１乃至第３実施形態におけるリモートコントロール支援ＤＢ３１２Ａには、たとえば、ＩＲ受光部１３により受信される赤外線信号と、無線通信部１０４により送信すべき家庭電化製品３の識別情報との対応を示すデータなどが格納される。
When the
図２１は、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。 FIG. 21 is a diagram illustrating an example of an operation flow of the glasses-type wearable terminal 1 in the present embodiment.
メガネ型ウェアラブル端末１は、カメラ１０５で撮像された画像を入力し（ブロックＥ１）、この画像に対する画像認識処理を実行する（ブロックＥ２）。メガネ型ウェアラブル端末１は、この画像中から家庭電化製品３が検出されたかどうかを判定し（ブロックＥ３）、検出されている場合（ブロックＥ３のＹＥＳ）、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＥ４）。
The glasses-type wearable terminal 1 inputs an image captured by the camera 105 (block E1), and executes an image recognition process on the image (block E2). The glasses-type wearable terminal 1 determines whether or not the
このように、本実施形態のリモートコントロールシステムにおいても、メガネ型ウェアラブル端末１と腕時計型ウェアラブル端末２とが連携することにより、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
Thus, also in the remote control system of this embodiment, the glasses-type wearable terminal 1 and the wristwatch-type
即ち、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。 That is, also in the remote control system of the present embodiment, it is possible to improve the operation efficiency when the wearable terminal is used as a remote controller.
（第５実施形態）
次に、第５実施形態について説明する。
(Fifth embodiment)
Next, a fifth embodiment will be described.
図２２は、本実施形態のリモートコントロールシステムの動作原理を概略的に説明するための図である。図２２に示されるように、本実施形態のリモートコントロールシステムにおいては、腕時計型ウェアラブル端末２上で操作可能な家庭電化製品３が配置されているたとえば屋内などに、１以上のカメラ４が設置されていることを想定する。
FIG. 22 is a diagram for schematically explaining the operation principle of the remote control system of the present embodiment. As shown in FIG. 22, in the remote control system of this embodiment, one or more cameras 4 are installed, for example, indoors where a
第３実施形態では、ユーザの視線が家庭電化製品３に向けられたことを、メガネ型ウェアラブル端末１が、ユーザの視線方向の画像をカメラで撮像し、この画像を認識することで検出した。これに対して、本実施形態では、腕時計型ウェアラブル端末２が、カメラ４で撮像される画像を無線通信部２０４により取得し、この画像に基づき、ユーザの視線が家庭電化製品３に向けられたことを検出する。本実施形態においては、メガネ型ウェアラブル端末１は不要である。
In the third embodiment, the glasses-type wearable terminal 1 detects that the user's line of sight is directed to the
図２３は、本実施形態における（腕時計型ウェアラブル端末２の）リモートコントロール支援プログラム４１０の機能ブロック図である。 FIG. 23 is a functional block diagram of the remote control support program 410 (of the wristwatch type wearable terminal 2) in the present embodiment.
図２３に示されるように、リモートコントロール支援プログラム４１０は、行動監視部４１１、リモートコントロール支援処理部４１２、画像認識部４１３および視線検出部４１４を有している。また、リモートコントロール支援プログラム４１０は、行動パターンＤＢ４１１Ａおよびリモートコントロール支援ＤＢ４１２Ａを有している。
As shown in FIG. 23, the remote
画像認識部４１３は、無線通信部２０４により受信された画像中から人物の顔部が撮像されている部分領域を抽出する。視線検出部４１４は、画像認識部４１３が抽出した部分領域上の画像を解析して、ユーザの視線が向けられている方向を検出する。たとえば、顔部の傾きや目の黒目部分の中心部からのずれなどにより、ユーザの視線が向けられている方向を検出することができる。本実施形態のリモートコントロール支援ＤＢ４１２Ａにおいては、カメラ４毎に、どの方向に家庭電化製品３が配置されているかを示す情報が格納されている。視線検出部４１４は、リモートコントロール支援ＤＢ４１２Ａを参照し、ユーザの視線が向けられている方向と一致する家庭電化製品３が存在する場合、その家庭電化製品３の識別情報を行動監視部４１１に通知する。
The
行動監視部４１１は、前述した第２実施形態と同様の動作を行う。つまり、行動監視部４１１は、一定期間分の加速度センサ２０５の検出値群と行動パターンＤＢ４１１Ａに格納されている加速度センサ２０５の検出値群とを比較して、たとえばユーザが腕時計型ウェアラブル端末２を見るという所定の行動を取ったことを検出する。行動監視部４１１は、視線検出部４１４から識別情報の通知を受けてから一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されるか否かを確認する。
The
また、リモートコントロール支援処理部４１２も、前述した第２実施形態と同様の動作を行う。つまり、行動監視部４１１により所定の行動が一定期間内に検出された場合、リモートコントロール支援処理部４１２は、識別情報で示される家庭電化製品３用のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する。
In addition, the remote control
図２４は、本実施形態における腕時計型ウェアラブル端末２の動作の流れの一例を示す図である。
FIG. 24 is a diagram illustrating an example of an operation flow of the wristwatch type
腕時計型ウェアラブル端末２は、（腕時計型ウェアラブル端末２上で操作可能な家庭電化製品３が配置されているたとえば屋内などに設置されている）カメラ４で撮像された画像を入力し（ブロックＦ１）、この画像に対する画像認識処理および視線検出処理を実行する（ブロックＦ２）。
The wristwatch-type
腕時計型ウェアラブル端末２は、ユーザの視線が向けられている方向と一致する家庭電化製品３が存在するかどうかを判定する（ブロックＦ３）。存在する場合（ブロックＦ３のＹＥＳ）、腕時計型ウェアラブル端末２は、今度は、ユーザの視線が家庭電化製品３向けられていることが検出されてから一定期間内に腕時計型ウェアラブル端末２を見るという行動が行動監視部４１１により検出されていないかを監視する（ブロックＦ４）。
The wristwatch-type
検出されている場合（ブロックＦ４のＹＥＳ）、腕時計型ウェアラブル端末２は、その家庭電化製品３のリモートコントロール画面をタッチスクリーンディスプレイ２３に表示する（ブロックＦ５）。
If detected (YES in block F4), the wristwatch-type
このように、本実施形態のリモートコントロールシステムにおいても、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
As described above, even in the remote control system of the present embodiment, only by looking at the wristwatch-type
即ち、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。 That is, also in the remote control system of the present embodiment, it is possible to improve the operation efficiency when the wearable terminal is used as a remote controller.
（第６実施形態）
次に、第６実施形態について説明する。
(Sixth embodiment)
Next, a sixth embodiment will be described.
図２５は、本実施形態のリモートコントロールシステムの動作原理を概略的に説明するための図である。図２５に示されるように、本実施形態のリモートコントロールシステムにおいては、メガネ型ウェアラブル端末１が、ユーザにより装着される前、常に、所定の位置（１Ａ）に所定の状態で置かれていることを想定する。つまり、メガネ型ウェアラブル端末１を所定の状態で支持するホルダーのようなものが所定の位置に配置されているものと想定する。 FIG. 25 is a diagram for schematically explaining the operation principle of the remote control system of the present embodiment. As shown in FIG. 25, in the remote control system of the present embodiment, the glasses-type wearable terminal 1 is always placed in a predetermined state at a predetermined position (1A) before being worn by the user. Is assumed. That is, it is assumed that something like a holder that supports the glasses-type wearable terminal 1 in a predetermined state is arranged at a predetermined position.
第１乃至第５実施形態では、ユーザの視線が家庭電化製品３に向けられたことを、家庭電化製品３から送信されてくる赤外線信号に基づき検出したり、カメラで撮像した画像に基づき検出したりしていた。これに対して、本実施形態では、メガネ型ウェアラブル端末１が、所定の位置（１Ａ）での所定の状態からの空間的な遷移を追跡することにより検出する。なお、ユーザの視線が腕時計型ウェアラブル端末２に向けられたことは、第２および第３実施形態と同様、腕時計型ウェアラブル端末２側において検出する。
In the first to fifth embodiments, the fact that the user's line of sight is directed to the
図２６は、本実施形態におけるメガネ型ウェアラブル端末１のシステム構成の一例を示す図である。 FIG. 26 is a diagram illustrating an example of a system configuration of the glasses-type wearable terminal 1 according to the present embodiment.
図２６に示されるように、本実施形態のメガネ型ウェアラブル端末１は、ＩＲ受光部１３やカメラ１０５に替えて、ジャイロセンサ１０６および加速度センサ１０７を有している。（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０は、所定の位置（１Ａ）での所定の状態を初期状態として、ジャイロセンサ１０６の検出値および加速度センサ１０７の検出値に基づき、（ユーザの頭部に装着される）メガネ型ウェアラブル端末１の状態を追跡し、ユーザの視線が家庭電化製品３に向けられたことを検出する。なお、ここでは、メガネ型ウェアラブル端末１の状態を追跡するためにジャイロセンサ１０６と加速度センサ１０７を用いる例を示すが、他のセンサを用いてもよいし、他のセンサを併用してもよい。
As shown in FIG. 26, the glasses-type wearable terminal 1 according to the present embodiment includes a
図２７は、本実施形態における（メガネ型ウェアラブル端末１の）リモートコントロール支援プログラム３１０の機能ブロック図である。 FIG. 27 is a functional block diagram of the remote control support program 310 (of the glasses-type wearable terminal 1) in the present embodiment.
図２７に示されるように、リモートコントロール支援プログラム３１０は、視線監視部３１３およびリモートコントロール支援処理部３１２を有している。また、リモートコントロール支援プログラム３１０は、リモートコントロール支援ＤＢ３１２Ａを有している。本実施形態におけるリモートコントロール支援ＤＢ３１２Ａには、メガネ型ウェアラブル端末１を装着したユーザが家庭電化製品３を見た場合のメガネ型ウェアラブル端末１の状態を示す情報などが格納されている。
As illustrated in FIG. 27, the remote
視線監視部３１３は、ジャイロセンサ１０６の検出値および加速度センサ１０７の検出値に基づき、メガネ型ウェアラブル端末１の状態を追跡する。リモートコントロール支援ＤＢ３１２Ａに格納されている状態と一致する状態が存在する場合、視線監視部３１３は、その状態の識別子をリモートコントロール支援処理部３１２に通知する。この通知を受けたリモートコントロール支援処理部３１２は、その識別子に対応づけられる家庭電化製品３の識別情報をリモートコントロール支援ＤＢ３１２Ａから取得し、無線通信部１０４により腕時計型ウェアラブル端末２に送信する。
The line-of-
図２８は、本実施形態におけるメガネ型ウェアラブル端末１の動作の流れの一例を示す図である。 FIG. 28 is a diagram illustrating an example of an operation flow of the glasses-type wearable terminal 1 according to the present embodiment.
メガネ型ウェアラブル端末１は、ジャイロセンサ１０６の検出値および加速度センサ１０７の検出値を入力し（ブロックＧ１）、メガネ型ウェアラブル端末１の状態、具体的には、メガネ型ウェアラブル端末１を装着するユーザの視線が向けられている方向を検出する（ブロックＧ２）。メガネ型ウェアラブル端末１は、ユーザの視線が向けられている方向と一致する家庭電化製品３が存在するかどうかを判定し（ブロックＧ３）、存在する場合（ブロックＧ３のＹＥＳ）、その家庭電化製品３の識別情報を無線通信部１０４により腕時計型ウェアラブル端末２へ送信する（ブロックＧ４）。
The glasses-type wearable terminal 1 inputs the detection value of the
このように、本実施形態のリモートコントロールシステムにおいても、操作したい家庭電化製品３を見てから腕時計型ウェアラブル端末２を見るだけで、腕時計型ウェアラブル端末２上で何らの操作を行うことなく、その家庭電化製品３用のリモートコントロール画面を腕時計型ウェアラブル端末２上に表示させることが可能となる。
As described above, even in the remote control system of the present embodiment, only by looking at the wristwatch-type
即ち、本実施形態のリモートコントロールシステムにおいても、ウェアラブル端末をリモートコントローラとして利用する場合における操作の効率を向上させることが実現される。 That is, also in the remote control system of the present embodiment, it is possible to improve the operation efficiency when the wearable terminal is used as a remote controller.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１…メガネ型ウェアラブル端末、２…腕時計型ウェアラブル端末、３…家庭電化製品、３Ａ…ＩＲ発光部、４…カメラ、１３…ＩＲ受光部、１５…ＩＲ発光部、２３…タッチスクリーンディスプレイ、２４…ＩＲ発光部、２６…ＩＲ受光部、１０１…プロセッサ、１０４…無線通信部、１０５…カメラ、１０６…ジャイロセンサ、１０７…加速度センサ、２０１…プロセッサ、２０４…無線通信部、２０５…加速度センサ、３１０…リモートコントロール支援プログラム、３１１…画像認識部、３１１Ａ…イメージＤＢ、３１２…リモートコントロール支援処理部、３１２Ａ…リモートコントロール支援ＤＢ、３１３…視線監視部、４１０…リモートコントロール支援プログラム、４１１…行動監視部、４１１Ａ…行動パターンＤＢ、４１２…リモートコントロール支援処理部、４１２Ａ…リモートコントロール支援ＤＢ、４１３…画像認識部、４１４…視線検出部。
DESCRIPTION OF SYMBOLS 1 ... Glasses type wearable terminal, 2 ... Wristwatch type wearable terminal, 3 ... Home appliance, 3A ... IR light emission part, 4 ... Camera, 13 ... IR light reception part, 15 ... IR light emission part, 23 ... Touch screen display, 24 ... IR light emitting unit, 26 ... IR light receiving unit, 101 ... processor, 104 ... wireless communication unit, 105 ... camera, 106 ... gyro sensor, 107 ... acceleration sensor, 201 ... processor, 204 ... wireless communication unit, 205 ... acceleration sensor, 310 ... Remote control support program, 311 ... Image recognition unit, 311A ... Image DB, 312 ... Remote control support processing unit, 312A ... Remote control support DB, 313 ... Gaze monitoring unit, 410 ... Remote control support program, 411 ...
Claims (17)
第２ウェアラブル端末とを具備し、
前記第２ウェアラブル端末で操作可能な電子機器へユーザの視線が向けられたことを前記ユーザに装着される前記第１ウェアラブル端末により検出し、前記電子機器へ前記ユーザの視線が向けられたことが検出されてから第１期間内に前記ユーザに装着される前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを前記第１ウェアラブル端末または前記第２ウェアラブル端末により検出して、前記電子機器の操作画面を前記第２ウェアラブル端末により表示するリモートコントロールシステム。 A first wearable terminal;
A second wearable terminal,
That the user's line of sight is directed to the electronic device operable by the second wearable terminal is detected by the first wearable terminal attached to the user, and the user's line of sight is directed to the electronic device. The electronic device detects by the first wearable terminal or the second wearable terminal that the user's line of sight is directed to the second wearable terminal worn by the user within a first period after the detection. A remote control system for displaying the operation screen of the second wearable terminal.
前記電子機器へ前記ユーザの視線が向けられたことを検出する第１検出手段と、
前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する第２検出手段と、
前記電子機器へ前記ユーザの視線が向けられたことが前記第１検出手段により検出されてから前記第１期間内に前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことが前記第２検出手段により検出された場合、前記ユーザの視線が向けられたことが前記第１検出手段により検出された前記電子機器を示す識別情報を前記第２ウェアラブル端末へ送信する送信処理手段とを具備し、
前記第２ウェアラブル端末は、
前記識別情報を受信する受信処理手段と、
前記受信処理手段により受信される前記識別情報で示される前記電子機器の操作画面を表示する表示処理手段とを具備する請求項１に記載のリモートコントロールシステム。 The first wearable terminal is
First detecting means for detecting that the user's line of sight is directed toward the electronic device;
Second detection means for detecting that the user's line of sight is directed to the second wearable terminal;
The second detection that the user's line of sight is directed to the second wearable terminal within the first period after the first detection unit detects that the line of sight of the user is directed to the electronic device. Transmission processing means for transmitting to the second wearable terminal identification information indicating the electronic device detected by the first detection means that the user's line of sight is directed when detected by the means,
The second wearable terminal is
Receiving processing means for receiving the identification information;
The remote control system according to claim 1, further comprising: a display processing unit that displays an operation screen of the electronic device indicated by the identification information received by the reception processing unit.
前記第１ウェアラブル端末の前記第１検出手段は、前記電子機器を識別可能な赤外線信号を前記受光部にて受光することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出し、
前記第１ウェアラブル端末の前記第２検出手段は、前記第２ウェアラブル端末を識別可能な赤外線信号を前記受光部にて受光することにより、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する請求項２に記載のリモートコントロールシステム。 The first wearable terminal includes a light receiving unit that receives an infrared signal,
The first detection means of the first wearable terminal detects that the user's line of sight is directed to the electronic device by receiving an infrared signal that can identify the electronic device at the light receiving unit,
The second detection means of the first wearable terminal receives an infrared signal that can identify the second wearable terminal by the light receiving unit, and thereby the user's line of sight is directed to the second wearable terminal. The remote control system according to claim 2, wherein the remote control system is detected.
前記電子機器へ前記ユーザの視線が向けられたことを検出する第１検出手段と、
前記電子機器へ前記ユーザの視線が向けられたことが前記第１検出手段により検出された場合、一定期間、前記第１検出手段により検出された前記電子機器を示す識別情報を前記第２ウェアラブル端末へ送信する送信処理手段とを具備し、
前記第２ウェアラブル端末は、
前記識別情報を受信する受信処理手段と、
前記受信処理手段により前記識別情報が受信された場合、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する第２検出手段と、
前記受信処理手段により受信される前記識別情報で示される前記電子機器の操作画面を表示する表示処理手段とを具備する請求項１に記載のリモートコントロールシステム。 The first wearable terminal is
First detecting means for detecting that the user's line of sight is directed toward the electronic device;
When the first detection unit detects that the user's line of sight is directed to the electronic device, identification information indicating the electronic device detected by the first detection unit for a certain period is displayed on the second wearable terminal. Transmission processing means for transmitting to,
The second wearable terminal is
Receiving processing means for receiving the identification information;
Second detection means for detecting that the user's line of sight is directed to the second wearable terminal when the identification information is received by the reception processing means;
The remote control system according to claim 1, further comprising: a display processing unit that displays an operation screen of the electronic device indicated by the identification information received by the reception processing unit.
赤外線信号を受光する第１受光部と、
赤外線信号を発光する発光部とを具備し、
前記第１ウェアラブル端末の前記第１検出手段は、前記電子機器を識別可能な赤外線信号を前記第１受光部にて受光することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出し、
前記第１ウェアラブル端末の前記送信処理手段は、前記第１ウェアラブル端末により送信された信号であることを認識でき、かつ、前記電子機器を識別可能な赤外線信号を前記発光部により発光し、
前記第２ウェアラブル端末は、赤外線信号を受光する第２受光部を具備し、
前記第２ウェアラブル端末の前記受信処理手段は、前記電子機器を識別可能な赤外線信号を前記第２受光部にて受光する請求項４に記載のリモートコントロールシステム。 The first wearable terminal is:
A first light receiving portion for receiving an infrared signal;
A light emitting unit for emitting an infrared signal,
The first detection means of the first wearable terminal detects that the user's line of sight is directed to the electronic device by receiving an infrared signal capable of identifying the electronic device at the first light receiving unit. And
The transmission processing means of the first wearable terminal emits an infrared signal that can be recognized as a signal transmitted by the first wearable terminal and that can identify the electronic device, using the light emitting unit,
The second wearable terminal includes a second light receiving unit that receives an infrared signal,
The remote control system according to claim 4, wherein the reception processing unit of the second wearable terminal receives an infrared signal capable of identifying the electronic device by the second light receiving unit.
前記電子機器へ前記ユーザの視線が向けられたことを検出する第１検出手段と、
前記電子機器へ前記ユーザの視線が向けられたことが前記第１検出手段により検出された場合、前記第１検出手段により検出された前記電子機器を示す識別情報を前記第２ウェアラブル端末へ送信する送信処理手段とを具備し、
前記第２ウェアラブル端末は、
前記識別情報を受信する受信処理手段と、
前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する第２検出手段と、
前記受信処理手段により前記識別情報が受信されてから前記第１期間内に前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことが前記第２検出手段により検出された場合、前記識別情報で示される前記電子機器の操作画面を表示する表示処理手段とを具備する請求項１に記載のリモートコントロールシステム。 The first wearable terminal is
First detecting means for detecting that the user's line of sight is directed toward the electronic device;
When the first detection unit detects that the user's line of sight is directed to the electronic device, identification information indicating the electronic device detected by the first detection unit is transmitted to the second wearable terminal. Transmission processing means,
The second wearable terminal is
Receiving processing means for receiving the identification information;
Second detection means for detecting that the user's line of sight is directed to the second wearable terminal;
When the second detection means detects that the user's line of sight is directed to the second wearable terminal within the first period after the identification information is received by the reception processing means, the identification information The remote control system according to claim 1, further comprising display processing means for displaying an operation screen of the electronic device shown.
前記第２ウェアラブル端末の前記第２検出手段は、前記ユーザによる第１動作を前記センサの検出値を用いて検出することにより、前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する請求項６に記載のリモートコントロールシステム。 The second wearable terminal includes a sensor for detecting a positional variation amount of the second wearable terminal,
The second detection means of the second wearable terminal detects that the user's line of sight is directed to the second wearable terminal by detecting a first action by the user using a detection value of the sensor. The remote control system according to claim 6.
前記第１ウェアラブル端末の前記第１検出手段は、前記電子機器を識別可能な赤外線信号を前記受光部にて受光することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出する請求項６に記載のリモートコントロールシステム。 The first wearable terminal includes a light receiving unit that receives an infrared signal,
The first detection means of the first wearable terminal detects that the user's line of sight is directed to the electronic device by receiving an infrared signal that can identify the electronic device at the light receiving unit. Item 7. The remote control system according to Item 6.
前記第１ウェアラブル端末の前記第１検出手段は、前記カメラで撮像される画像に対する画像認識処理により、前記電子機器へ前記ユーザの視線が向けられたことを検出する請求項２、４または６に記載のリモートコントロールシステム。 The first wearable terminal comprises a camera,
The first detection unit of the first wearable terminal detects that the user's line of sight is directed to the electronic device by image recognition processing on an image captured by the camera. The described remote control system.
前記第１ウェアラブル端末の前記第１検出手段は、前記第１ウェアラブル端末の第１位置からの変動量を前記センサの検出値を用いて追跡することにより、前記電子機器へ前記ユーザの視線が向けられたことを検出する請求項２または６に記載のリモートコントロールシステム。 The first wearable terminal includes a sensor for detecting a positional variation amount of the first wearable terminal,
The first detection means of the first wearable terminal tracks the amount of variation from the first position of the first wearable terminal using the detection value of the sensor, so that the line of sight of the user is directed to the electronic device. The remote control system according to claim 2 or 6, wherein the remote control system detects that it has been performed.
前記第２ウェアラブル端末は、腕時計型ウェアラブル端末である請求項１に記載のリモートコントロールシステム。 The first wearable terminal is a glasses-type wearable terminal,
The remote control system according to claim 1, wherein the second wearable terminal is a wristwatch type wearable terminal.
前記ウェアラブル端末で操作可能な電子機器へ前記ウェアラブル端末を装着するユーザの視線が向けられたことを検出する第１検出手段と、
前記ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する第２検出手段と、
前記電子機器へ前記ユーザの視線が向けられたことが前記第１検出手段により検出されてから第１期間内に前記ウェアラブル端末へ前記ユーザの視線が向けられたことが前記第２検出手段により検出された場合、前記電子機器の操作画面を表示する表示処理手段と、
を具備するウェアラブル端末。 A wearable device,
First detection means for detecting that a user's line of sight wearing the wearable terminal is directed to an electronic device operable by the wearable terminal;
Second detection means for detecting that the user's line of sight is directed to the wearable terminal;
The second detection means detects that the user's line of sight is directed to the wearable terminal within a first period after the first detection means detects that the user's line of sight is directed to the electronic device. Display processing means for displaying an operation screen of the electronic device,
A wearable terminal comprising:
前記第１検出手段は、前記画像入力手段により入力される画像に対する画像認識処理および解析処理により、前記電子機器へ前記ユーザの視線が向けられたことを検出する請求項１３に記載のウェアラブル端末。 An image input means for inputting an image;
The wearable terminal according to claim 13, wherein the first detection unit detects that the user's line of sight is directed to the electronic device by an image recognition process and an analysis process on the image input by the image input unit.
前記第２検出手段は、前記ユーザによる第１動作を前記センサの検出値を用いて検出することにより、前記ウェアラブル端末へ前記ユーザの視線が向けられたことを検出する請求項１３に記載のウェアラブル端末。 Comprising a sensor for detecting a positional variation of the wearable terminal;
The wearable according to claim 13, wherein the second detection means detects that the user's line of sight is directed to the wearable terminal by detecting a first action by the user using a detection value of the sensor. Terminal.
前記第２ウェアラブル端末で操作可能な電子機器へユーザの視線が向けられたことを前記ユーザに装着される前記第１ウェアラブル端末により検出することと、
前記電子機器へ前記ユーザの視線が向けられたことが検出された場合、前記電子機器へ前記ユーザの視線が向けられてから第１期間内に前記ユーザに装着される前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことを前記第１ウェアラブル端末または前記第２ウェアラブル端末により検出することと、
前記第２ウェアラブル端末へ前記ユーザの視線が向けられたことが検出された場合、前記電子機器の操作画面を前記第２ウェアラブル端末により表示することと、
を具備するリモートコントロール方法。 An electronic device remote control method using a first wearable terminal and a second wearable terminal,
Detecting by the first wearable terminal worn by the user that the user's line of sight is directed to an electronic device operable by the second wearable terminal;
When it is detected that the user's line of sight is directed to the electronic device, the second wearable terminal attached to the user within a first period after the user's line of sight is directed to the electronic device. Detecting that the user's line of sight is directed by the first wearable terminal or the second wearable terminal;
When it is detected that the user's line of sight is directed to the second wearable terminal, an operation screen of the electronic device is displayed on the second wearable terminal;
A remote control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016032955A JP6758856B2 (en) | 2016-02-24 | 2016-02-24 | Remote control system, wearable device and remote control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016032955A JP6758856B2 (en) | 2016-02-24 | 2016-02-24 | Remote control system, wearable device and remote control method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017152890A true JP2017152890A (en) | 2017-08-31 |
| JP2017152890A5 JP2017152890A5 (en) | 2019-03-28 |
| JP6758856B2 JP6758856B2 (en) | 2020-09-23 |
Family
ID=59742002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016032955A Active JP6758856B2 (en) | 2016-02-24 | 2016-02-24 | Remote control system, wearable device and remote control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6758856B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
| US20130007668A1 (en) * | 2011-07-01 | 2013-01-03 | James Chia-Ming Liu | Multi-visor: managing applications in head mounted displays |
| US20150324567A1 (en) * | 2014-05-06 | 2015-11-12 | Pegatron Corporation | Remote control method with identity verification mechanism and wearable device for performing the method |
| US20150378938A1 (en) * | 2014-06-30 | 2015-12-31 | Nate L. Lyman | Wearable computer with expandable link capabilities |
| WO2016005649A1 (en) * | 2014-07-09 | 2016-01-14 | Nokia Technologies Oy | Device control |
-
2016
- 2016-02-24 JP JP2016032955A patent/JP6758856B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
| US20130007668A1 (en) * | 2011-07-01 | 2013-01-03 | James Chia-Ming Liu | Multi-visor: managing applications in head mounted displays |
| US20150324567A1 (en) * | 2014-05-06 | 2015-11-12 | Pegatron Corporation | Remote control method with identity verification mechanism and wearable device for performing the method |
| US20150378938A1 (en) * | 2014-06-30 | 2015-12-31 | Nate L. Lyman | Wearable computer with expandable link capabilities |
| WO2016005649A1 (en) * | 2014-07-09 | 2016-01-14 | Nokia Technologies Oy | Device control |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6758856B2 (en) | 2020-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110168485B (en) | Augmented reality control of internet of things devices | |
| CA2959707C (en) | Home automation control using context sensitive menus | |
| US9927877B2 (en) | Data manipulation on electronic device and remote terminal | |
| KR102212030B1 (en) | Glass type terminal and control method thereof | |
| US9760169B2 (en) | Line-of-sight processing method, line-of-sight processing system and wearable device | |
| US20170123747A1 (en) | System and Method for Alerting VR Headset User to Real-World Objects | |
| EP3510522B1 (en) | A method of locating a mobile device in a group of mobile devices | |
| CN109243153A (en) | mobile device and control method | |
| KR20160079664A (en) | Device and control method for controlling a wearable device | |
| US9668319B2 (en) | Lighting system and control method thereof | |
| CN104182051A (en) | Headset intelligent device and interactive system with same | |
| CN104536561A (en) | Wearable device and method for controlling terminal device in operation by wearable device | |
| US11216066B2 (en) | Display device, learning device, and control method of display device | |
| KR20180096622A (en) | Information processing apparatus, information processing method, and program | |
| KR20170001434A (en) | Mobile terminal capable of remotely controlling a plurality of device, and case for moblie terminal | |
| US20210160150A1 (en) | Information processing device, information processing method, and computer program | |
| US20130124210A1 (en) | Information terminal, consumer electronics apparatus, information processing method and information processing program | |
| KR20150086807A (en) | Method and apparatus of universal remocon based on object recognition | |
| JP6758856B2 (en) | Remote control system, wearable device and remote control method | |
| CN107148604B (en) | Electronic device and feedback providing method | |
| CN102136185B (en) | Signal processing system, electronic device and peripheral device lighting device thereof | |
| CN103823560A (en) | Control method and device | |
| JP2016192096A (en) | Object recognition and selection device, object recognition and selection method, and program | |
| US20170031586A1 (en) | Terminal device, system, method of information presentation, and program | |
| US20140214185A1 (en) | Somatosensory Household Electricity Control Equipment and System Thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20181206 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20181207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190124 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6758856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |