JP2015509629A - リモートコントロールデバイス - Google Patents

リモートコントロールデバイス Download PDF

Info

Publication number
JP2015509629A
JP2015509629A JP2014558240A JP2014558240A JP2015509629A JP 2015509629 A JP2015509629 A JP 2015509629A JP 2014558240 A JP2014558240 A JP 2014558240A JP 2014558240 A JP2014558240 A JP 2014558240A JP 2015509629 A JP2015509629 A JP 2015509629A
Authority
JP
Japan
Prior art keywords
user
remote control
mode
control device
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014558240A
Other languages
English (en)
Other versions
JP6129214B2 (ja
Inventor
ヴィクトロヴィッチ アリアクセイェウ,ディミトリー
ヴィクトロヴィッチ アリアクセイェウ,ディミトリー
デイヴィッド メイソン,ジョナサン
デイヴィッド メイソン,ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48087649&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2015509629(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2015509629A publication Critical patent/JP2015509629A/ja
Application granted granted Critical
Publication of JP6129214B2 publication Critical patent/JP6129214B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/31Voice input
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/91Remote control based on location and proximity
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/93Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Abstract

機器(A)をリモート制御するリモートコントロールデバイス(1)を提供する。リモート制御デバイス(1)は、コンタクトセンシング部(10)、制御モード選択部(20)、入力部(30)、プロセッサ部(40)、及び送信部(50)を有する。コンタクトセンシング部(10)は、リモートコントロールデバイスとユーザ(U)との間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号(Smc)を発生する。制御モード選択部(20)は、モード制御信号により示された程度に応じてリモートコントロールデバイスの選択可能な複数の動作モード(M1、M2、M3)のうち1つを選択する。選択可能な動作モードは複数のユーザコントロールモードからそのサブセットをイネーブルする。入力部(30)は、ユーザ入力を受け取り、そのユーザ入力を示すユーザ入力信号(Sinp)を発生するように構成されている。プロセッサ部(40)は、選択可能動作モードによりイネーブルされた機能により、ユーザ入力信号から機器の機器制御情報(Saci)を求め、送信部(50)は、機器に機器制御情報を送信する。

Description

本発明はリモートコントロールデバイスに関する。
本発明は、さらに、リモートコントロールデバイスで機器をリモート制御する方法に関する。
本発明は、さらに、プロセッサに上記方法を実行させるコンピュータプログラムを記憶した記憶媒体に関する。
テレビジョンやオーディオセットなどの多くのコンシューマ機器により、リモートコントロールデバイスによるリモート制御が幾つかの形式でできる。ユーザは、キーボードを押すことにより制御入力をする。特許文献1は、デバイス自体の動きを検出して、その動きをコマンドとして解釈して、そのコマンドを実行または転送するハンドヘルドデバイスを説明している。
米国特許第7,777,649号明細書
本発明の一目的は、リモートコントロールデバイスの改良である。
本発明の別の一目的は、リモートコントロールデバイスで機器をリモート制御する方法の改良である。
本発明のさらに別の一目的は、プロセッサに上記の改良された方法を実行させるコンピュータプログラムを記憶した記憶媒体を提供することである。
本発明の第1の態様によると、機器をリモート制御するリモートコントロールデバイスを提供する。前記リモートコントロールデバイスは、
前記リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号を発生するコンタクトセンシング部と、
前記モード制御信号により示された程度に応じて前記リモートコントロールデバイスの選択可能な複数の動作モードであって複数のユーザ制御モードのうちのユーザ制御モードの各サブセットをイネーブルする複数の動作モードのうち一動作モードを選択する制御モード選択部と、
ユーザ入力を受け取り、前記ユーザ入力を示すユーザ入力信号を発生するように構成された入力部と、
前記選択された動作モードによりイネーブルされた機能により、前記ユーザ入力信号から前記機器の機器制御情報を求めるプロセッサ部と、
前記機器制御情報を前記機器に送信する送信部とを有する。
本発明の第1の態様によるリモートコントロールデバイスにおいて、様々なユーザ制御モードを利用できる。リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度に応じて、リモート制御に最も適した利用可能なユーザ制御モードのサブセットが選択される。互いに干渉しないユーザ制御モードがイネーブルされることを考慮できる。
一実施形態では、前記選択可能な複数の動作モードは少なくとも第1と第2と第3の動作モードのうち二動作モードを含み、第1の動作モードは少なくとも第1のユーザ制御モードをイネーブルし、第2の動作モードは第2のユーザ制御モードのみをイネーブルし、第3の動作モードは第3のユーザ制御モードのみをイネーブルし、前記第1のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにビジュアル入力を提供することにより、前記機器を制御でき、前記第2のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスの空間的状態を制御することにより、前記機器を制御でき、前記第3のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる。
リモートコントロールデバイス、またはリモートコントロールデバイスを加速して、またはリモートコントロールデバイスの空間的状態を制御して、前記第3のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる。
リモートコントロールデバイスの各動作モードにおいて、ユーザ制御モードのサブセットが選択される。一動作モードにおけるユーザ制御モードのサブセットは、そのサブセット中のユーザ制御モードが互いに干渉しすぎないことを条件に、二以上のユーザ制御モードを含む。例えば、オーディオ入力に基づくユーザ制御モードは、ビジュアル入力に基づくユーザ制御モードと同じ動作モードで用いることができる。しかし、リモートコントロールデバイスの空間的状態に基づきユーザ制御モードをイネーブルする動作モードと、タッチ入力に基づくユーザ制御モードをイネーブルするものを有することが望ましい。
用途とコスト仕様とに応じて、コンタクトセンシング部は、リモートコントロールデバイスとユーザとの間のコンタクトの程度を示すパラメータを検知して、対応する検知信号を発生する一以上のセンサを有する。複数のセンサからの検知信号は、論理的機能その他の機能により結合される。一実施形態では、前記コンタクトセンシング部は、前記リモートコントロールデバイスと前記ユーザとの間の物理的接触の在否、ユーザの顔に対する前記リモートコントロールデバイスの方向、前記リモートコントロールデバイスが手に持たれている方法でのユーザの顔に対する前記リモートコントロールデバイスの距離、リモートコントロールデバイスが手に持たれている方向との条件のうち少なくとも一条件を検出するように構成されている。
一実施形態では、前記接触検知部は、少なくとも、デバイスをユーザが手に持っているか判断し、この判断を示すグリップ表示信号を生成するタッチセンシング部を有する。
一実施形態では、前記コンタクトセンシング部は、少なくとも、デバイスが人の顔に向けられているか判断し、この判断を示すオリエンテーション表示信号を発生する顔認識部を有する。
一実施形態では、前記コンタクトセンシング部は、前記リモートコントロールデバイスと前記ユーザとの間の距離を判断し、この判断を示す距離表示信号を発生する距離センサ部を有する。
アプリケーションに対して条件付きで許されるべきユーザ制御モードに応じて、第1の態様によるリモートコントロールデバイスの入力部は、可能性のある入力センサの選択を含む。
一実施形態では、前記入力部は、ビジュアル入力センサを有し、前記リモートコントロールデバイスは、第1のユーザ制御モードを有し、前記第1のユーザ制御モードでは、前記リモートコントロールデバイスは、前記ビジュアル入力センサで善意ユーザによるビジュアル入力を検知し、ビジュアル入力信号を発生し、第1の機能に応じて前記ビジュアル入力信号から前記機器の機器制御情報を求め、前記送信部で、前記機器に前記機器制御情報を送信するようにイネーブルされる。
一実施形態では、前記入力部は、空間的状態センサを有し、前記リモートコントロールデバイスは、第2のユーザ制御モードを有し、前記第2のユーザ制御モードでは、前記空間的状態センサは、前記ユーザによる前記リモートコントロールデバイスの空間的状態を検出し、前記ユーザ入力信号として空間的状態信号を発生し、第2の機能に応じて前記ユーザ入力信号から前記機器の機器制御情報を求め、前記送信部で、前記機器に前記機器制御情報を送信するようにイネーブルされる。空間的状態は、リモートコントロールデバイスの位置と方向を含み、またそれらの一次または高次の時間微分も含む。
一実施形態では、前記入力部は、タッチ入力センサを有し、前記リモートコントロールデバイスは、第3のユーザ制御モードを有し、前記第3のユーザ制御モードでは、前記リモートコントロールデバイスは、前記タッチ入力センサからユーザ入力を受け取り、第3の機能に応じて前記ユーザ入力から前記機器の機器制御情報を求め、前記送信部で前記機器に前記機器制御情報を送信するようにイネーブルされる。
一実施形態では、前記入力部は、オーディオ入力センサを有し、前記リモートコントロールデバイスは、第4のユーザ制御モードを有し、前記第4のユーザ制御モードでは、前記リモートコントロールデバイスは、前記オーディオ入力センサからユーザ入力を受け取り、第4の機能に応じて前記ユーザ入力から前記機器の機器制御情報を求め、前記送信部で前記機器に前記機器制御情報を送信するようにイネーブルされる。
本発明の第2の態様によると、リモートコントロールデバイスで機器をリモート制御する方法を提供する。この方法は次のステップを有する:
前記リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号を発生するステップと、
前記モード制御信号により示された前記程度に応じて選択可能な複数の動作モードであって複数のユーザ制御モードからユーザ制御モードの各サブセットをイネーブルする複数の動作モードのうちの一動作モードを選択するステップと、
前記イネーブルされたユーザ制御モードのサブセットに応じた機能により、ユーザ入力から機器制御情報を求めるステップと、
前記機器制御情報を前記機器に送信するステップ。
本発明の第3の態様によると、プロセッサに第2の態様による改良された方法を実行させるコンピュータプログラムを格納した記憶媒体が提供される。
本発明によるリモートコントロールデバイスとリモート制御方法では、許容されるユーザ入力及び/または機器制御情報を取得するためにそれが処理される方法は、リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度に依存する。これにより、ユーザは機器を制御するより多くのオプションを有し、リモートコントロールデバイスとリモート制御方法が改良される。
これらの態様及びその他の態様を、図面を参照してより詳細に説明する。図中、
従来技術のリモートコントロールデバイスを示す図である。 本発明の第1の態様によるリモートコントロールデバイスの第1の実施形態を示す図である。 本発明の第1の態様によるリモートコントロールデバイスの第2の実施形態を示す図である。 本発明の第1の態様によるリモートコントロールデバイスの第3の実施形態を示す図である。 本発明の第1の態様によるリモートコントロールデバイスの第4の実施形態を示す図である。 本発明の第1の態様によるリモートコントロールデバイスの第5の実施形態を示す図である。 本発明の第2の態様による方法の一実施形態を示す図である。 各ユーザコントロールモードがどのように異なるインターラクションレンジに関連しているか示す図である。 いろいろなユーザコントロールモードにおけるユーザコントロール動作の例を示す図である。
特に断らない限り、図中、同じ参照符号は同じ要素を示す。
言うまでもなく、いろいろな要素、コンポーネント、ステップ及び/又はモードを記述するため第1、第2、第3等の用語を用いる場合もあるが、これらの要素、コンポーネント、ステップ及び/又はモードはこれらの用語により限定されない。これらの用語は、ある要素、コンポーネント、ステップ及び/またはモードを、他の要素、コンポーネント、ステップ及び/またはモードから区別するためだけに使われる。このように、本発明の教示から逸脱することなく、以下に説明する第1の要素、コンポーネント、ステップ及び/またはモードは、第2の要素、コンポーネント、ステップ及び/またはモードと呼ぶこともできる。
図1は、ユーザUが機器Aをリモート制御する先行技術のリモートコントロールデバイスを示す図である。この機器は、例えば、オーディオまたはテレビジョンセットまたはハードディスクレコーダである。リモートコントロールデバイス1は、ユーザ入力を受け取るボタン2などの入力部(input facility)と、ユーザ入力を処理する処理部(processing facility)(図示せず)と、機器Aに制御信号Sを送信して、ユーザ入力に応じて機器Aの機能を起動または制御する送信手段(図示せず)とを有する。
図2は、機器Aをリモート制御する、本発明の第1の態様によるリモートコントロールデバイス1の第1の実施形態を示す図である。リモートコントロールデバイス1は、リモートコントロールデバイスとユーザUとの間の物理的接触の程度を決定する接触検出部10を有する。接触検出部10は、この程度を示すモード制御信号Smcを発生する。リモートコントロールデバイス1は、さらに、モード制御信号により示された接触の程度に応じてリモートコントロールデバイスの選択可能な複数の動作モードのうちの1つを選択するコントロールモード選択部20を有する。選択可能な各動作モードにより、複数のユーザコントロールモードからそのサブセットが得られる。
リモートコントロールデバイス1は、さらに、ユーザ入力を受け取り、前記ユーザ入力を示すユーザ入力信号Sinpを発生する入力部30を有する。リモートコントロールデバイス1は、さらに、選択された動作モードによりイネーブルされる機能により、ユーザ入力信号から聞きに対する機器制御情報を求める処理部40を有する。リモートコントロールデバイス1は、さらに、前記機器制御情報Saciを機器Aに送信する送信部50を有する。
図3は、第1の態様によるリモートコントロールデバイスの第2の実施形態をより詳細に示す図である。入力部30はビジュアル入力センサ31を有し、処理部40はビジュアル入力センサ31により生成されたユーザ入力信号Svinを処理するビジュアル入力処理部42を有する。リモートコントロールデバイス1は第1のユーザコントロールモードUI1を有する。このとき、リモートコントロールデバイスがイネーブルされ、ビジュアル入力センサによりユーザにより提供されるビジュアル入力、例えばジェスチャを検出し、第1の機能によりユーザ入力信号から機器に対する機器制御情報を求め、前記送信部により機器に前記機器制御情報を送信する。ビジュアル入力センサ31は、例えば、フォトディテクタなどの少数のビジュアル入力センサ要素を有する。このビジュアル入力センサ要素により、ビジュアル入力処理部42は、リモートコントロールデバイスの表面がユーザの手の影にあるか、及び/またはある方向にどんな速さで影が動くか、判断できる。それにより、ビジュアル入力処理部42は、フォトディテクタにより提供されるユーザ入力信号Svinから機器制御情報Saci、ここでは機器に対するビジュアル入力制御情報Svciを求める。例えば、リモートコントロールデバイスの第1の方向での影の動きにより、機器Aに第1の設定、例えばテレビジョンセットのチャンネル選択を変更させる制御信号が得られる。リモートコントロールデバイスの第2の方向での影の動きにより、機器Aに第2の設定、例えばテレビジョンセットの音量を変更させる制御信号が得られる。他の一実施形態では、ビジュアル入力センサ31は例えばカメラである。これは、より高度なビジュアル入力処理機能42と組み合わせて、もっと異なる特異なタイプのビジュアルユーザ入力、例えば顔の表情などの認識が可能になる。
図3に示したリモートコントロールデバイスの入力部30は、空間的状態センサ32も有する。空間的状態センサ32は、リモートコントロールデバイスの空間的状態(における変化)を検出し、それを示すユーザ入力信号Sminを提供するように構成されている。リモートコントロールデバイス1は、第2のユーザコントロールモードU2を有する。このモードでは、空間的状態センサを利用して、ユーザにより制御されたリモートコントロールデバイスの空間的状態(における変化)を検出する。一般的に、空間的状態センサ32は、一以上の加速度センサを含む。しかし、他のタイプの空間的状態センサ、例えば位置の3次微分を検知する加加速度センサ(jerk sensor)も利用可能である。また、チルトセンサを用いて、リモートコントロールデバイスの方向を示す出力信号を提供してもよい。処理部40は、空間的状態センサ入力信号を処理する空間的状態信号処理機能42を有する。それにより、空間的状態信号処理機能42は、ユーザ入力信号Sminから、この機器の機器制御情報Saci、ここでは空間的状態制御情報Smciを求める。例えば、第1の方向でリモートコントロールデバイスを加速すると、機器Aに第1の設定を変更させる制御信号Smciが生成され、第2の方向でリモートコントロールデバイスを加速すると、機器Aに第2の設定を変更させる制御信号Smciが生成される。第1と第2の設定は、例えば、テレビジョンセットやオーディオセットのチャンネルと音量である。
図3に示した実施形態では、接触検知部10は、デバイスをユーザが手に持っているか判断し、この判断を示すグリップ表示信号Sgiを生成するタッチセンシング部11を有する。制御モード選択部20は、グリップ表示信号Sgiに基づき、リモートコントロールデバイスの選択可能な複数の動作モードのうちの1つを選択する。
この場合、制御モード選択部は、リモートコントロールデバイスをユーザが手に持っていないことをグリップ表示信号Sgiが示す場合、第1の動作モードM1を選択する。タッチセンシング部11は、例えば、リモートコントロールデバイスの対向側にかかる圧力を検知する圧力感知要素を有する。圧力検知要素は、感圧ベベル(pressure sensitive bevels)により構成されてもよい。これらを用いて、リモートコントロールデバイスがユーザの手の中にあるか、あれば、ユーザはそのリモートコントロールデバイスをどのように持っているかを検出する。その場合、タッチセンシング部11は、検知された圧力がある閾値を超える場合、リモートコントロールデバイスが手に持たれていることを示す。あるいは、タッチセンシング部11は、圧力パターンを検出できるタッチセンサアレイを含む。その場合、タッチセンシング部11は、検知された圧力がある閾値を超える場合、リモートコントロールデバイスが手に握られていることを示す。他の一実施形態では、タッチセンシング部11は温度センサを有する。検知された温度が室温より所定レベルだけ高い場合、タッチセンシング部11は、リモートコントロールが手に握られていることを示す。
第1の態様によるリモートコントロールデバイスは、複数のユーザモードを有する。図3に示した実施形態では、リモートコントロールデバイスは、第1のユーザ制御モードUC1を有し、ユーザにより提供されたビジュアル入力がリモート制御に用いられ、第2のユーザ制御モードUC2を有し、リモートコントロールデバイスの空間的状態情報をリモート制御に用いる。
モード制御信号Smc、ここではタッチセンシング部11により供給されるグリップ表示信号Sgiの値に応じて、制御モード選択部20は、選択可能な複数の動作モードM1,M2のうちの1つを選択する。選択可能な各動作モードM1,M2により、複数のユーザコントロールモードUC1、UC2からユーザコントロールモードのサブセットが得られる。リモートコントロールデバイスが手でもたれていないことを表示信号Sgiが示すとき、制御モード選択部20により第1の動作モードM1が選択される。その場合、デバイスは第1と第2のユーザコントロールモードを両方ともイネーブルする。その状況で第1のユーザコントロールモードUC1が使われていなくても、リモートコントロールデバイスの動作をじゃましない。すなわち、この場合に利用可能なユーザコントロールモードのサブセットは、複数のユーザコントロールモードに対応する。あるいは、第2のユーザコントロールモードUC2はモードM1でディスエーブルされてもよい。しかし、このユーザコントロールモードを利用できるようにしておき、ユーザがリモートコントロールデバイスを取ったときには、動き制御をすぐに適用できるようにすると都合がよい。
リモートコントロールデバイスが手に握られていることを表示信号Sgiが示す場合、コントロールモード選択部20は動作モードM2を選択する。この場合、第2のユーザ制御モードUC2がイネーブルされ(続け)、第1のユーザ制御モードUC1がディスエーブルされる。したがって、利用可能なユーザ制御モードのサブセットは第2のユーザ制御モードUC2を含む。第1のユーザコントロールモードUC1はディスエーブルされ、制御信号の提供に使われる動きにより、付随的なビジュアル入力から生じる不要な制御信号が発生することを防止するようにする。
具体的に、コントロールモード選択部20により、それぞれ第1のユーザコントロールモードと第2のユーザコントロールモードをイネーブルするイネーブル信号Se1,Se2による複数のユーザコントロールモードからの選択が可能である。イネーブル信号は選択をイネーブルするいろいろな方法で用いることができる。例えば、イネーブル信号Se1,Se2により、センサ(例えば31または32)、処理部(例えば41または42)、または両者(例えば31と41または32と42)を選択的にイネーブルできる。
図4は、第3の態様によるリモートコントロールデバイスの第2の実施形態をより詳細に示す図である。第3の実施形態は、タッチ入力部33が設けられている点で、第2の実施形態と異なる。タッチ入力は、ここでは、リモートコントロールデバイスの表面に圧力がかかるか否かにかかわらず、その表面にタッチすることにより提供されるリモート制御の入力であると定義する。したがって、タッチ入力部は、例えば一以上のキー、タッチパネル(場合によってはディスプレイに組み込まれているもの)、別のタッチセンシティブ要素などのセットを含む。第3のユーザ制御モードUC3では、ユーザは、タッチ入力部33にユーザ入力を提供することにより、機器Aをリモート制御できる。この場合、タッチ入力処理部43が、タッチ入力部33により供給される入力信号Stinから機器制御情報Stciを求める。この第3の実施形態では、ビジュアル入力センサ31と関連処理部41を用いて、第1のユーザ制御モードUC1が可能になり、及び/またはタッチまたは圧力センサ33と関連処理部43を用いて、第3のユーザ制御モードUC3が可能になる。
この第3の実施形態では、リモートコントロールデバイスは、動作モードM1とM3のうち一方を仮定してもよい。リモートコントロールデバイスが手でもたれていないことを表示信号Sgiが示すとき、制御モード選択部20により第1の動作モードM1が選択される。その場合、モード選択部20は第1と第3のユーザ制御モードを両方ともイネーブルする。その状況で第3のユーザコントロールモード(UC3)が使われていなくても、リモートコントロールデバイスの動作をじゃましない。すなわち、この場合に利用可能なユーザコントロールモードUC1、UC3のサブセットは、複数のユーザコントロールモードに対応する。あるいは、第3のユーザコントロールモードUC3はモードM1でディスエーブルされてもよい。しかし、ユーザがタッチ制御をすぐに利用できるように、このユーザ制御モードUC3を利用できるようにしておけば都合がよい。ユーザは、例えば、リモートコントロールデバイスがテーブル上に置かれている時、そのリモートコントロールデバイスをタップすることにより、シンプルなデバイス機能を起動できる。これは、例えば、機器をスイッチオン/オフするのに用いることができる。
リモートコントロールデバイスが手に握られていることを表示信号Sgiが示す場合、コントロールモード選択部20は動作モードM3を選択する。この場合、第3のユーザ制御モードUC3がイネーブルされ(続け)、第1のユーザ制御モードUC1がディスエーブルされる。したがって、利用可能なユーザ制御モードのサブセットは第3のユーザ制御モードUC3を含む。第1のユーザ制御モードUC1はこの動作モードM3ではディスエーブルされる。実際には、タッチ入力信号を提供する間、ユーザは、例えばリモートコントロールデバイスの前で動いたり、リモートコントロールデバイス自体を動かしたりして、無意識にビジュアル効果を生じてしまうからである。動作モードM3において第1のユーザ制御モードUC1がまだイネーブルされている場合、付随的な好ましくない機器制御信号Svciが生じることがある。
第3の実施形態のバリエーションでは、コンタクトセンシング部10は、デバイスが人の顔に向けられているか判断し、この判断を示すオリエンテーション表示信号Soiを発生する顔認識部12を少なくとも有する。このバリエーションでは、コンタクトセンシング部10は、リモートコントロールデバイスとユーザとの間の距離を判断し、この判断を示す距離表示信号Sdiを発生する距離センサ部13も有する。
コンタクトセンシング部10のこれらのエクステンション12、13により、第3のユーザ制御モードを精密化できる。モード制御部20は、リモートコントロールデバイス1とユーザUの顔との間の距離に依存する制御信号Sc3を提供する。
制御信号Sc3は、その値に応じてタッチ入力信号処理部43の動作を制御する。例えばタッチ入力部33がタッチパッドであるとき、制御信号Sc3は、距離が短いとき、タッチパッド上の動きが強く増幅され、距離が長いとき、タッチパッド上の動きが比較的弱く増幅される。これにより、リモートコントロールが比較的近ければ、ユーザは比較的高い精度でタッチパッドをポイントでき、リモートコントロールが遠いとき、精度は落ちることを考慮できる。リモートコントロールデバイスにディスプレイが設けられているとき、制御信号Sc3を用いて、距離にほぼ比例するサイズで、ディスプレイに関する情報を提供してもよい。
図5は、第1の態様によるリモートコントロールデバイスの第4の実施形態をより詳細に示す図である。この実施形態では、リモートコントロールデバイスは、図3を参照して第2の実施形態で説明したように、空間的状態センサ32及び関連する処理部42を有する。この実施形態では、リモートコントロールデバイスは、図4を参照して第3の実施形態で説明したように、タッチ入力部33及び関連する処理部43をさらに有する。コンタクトセンシング部10は、デバイスが人の顔に向けられているか判断し、この判断を示すオリエンテーション表示信号Soiを発生する顔認識部12を有する。この第4の実施形態では、コンタクトセンシング部10は、図3、4の実施形態で説明したような、デバイスがユーザにより手に持たれているか判断するタッチセンシング部11は有さない。この実施形態では、コンタクトセンシング部10は、距離センサ部(13)も含まない。しかし、これら11,13は、点線で示したように、任意的に含まれてもよい。
この第4の実施形態にある入力部により第2と第3のユーザ制御モードUC2,UC3が実現される。リモートコントロールデバイスは、ユーザがリモートコントロールデバイスの空間的状態を設定/変更することにより入力を提供する第2のユーザ制御モードUC2のみがイネーブルされる第2の動作モードM2と、ユーザがタッチ入力を提供する第3のユーザ制御モードUC3のみがイネーブルされる第3の動作モードM3とを有する。
コントロールモード選択部20は、モード制御信号(この場合、顔認識部12により提供される方向表示信号Soi)により示される程度に応じて、これらの動作モードM2、M3のうち一方を選択する。方向表示信号Soiが、タッチ入力部に設けられたリモートコントロールデバイスがユーザに向いていることを示す場合、第3の動作モードM3が選択され、ユーザがタッチ入力を提供できるようにされる。しかし、その第3の動作モードM3において、ユーザがリモートコントロールデバイスの空間的状態を設定/変更することにより機器をリモート制御できないようにされ、意図しないタッチ入力により、空間的状態センシング部32及び関連する処理部42により間違って機器制御信号が生成されないようにする。あるいは、タッチ入力部が設けられたリモートコントロールデバイスの面がユーザに向いていないことを方向表示信号Soiが示す場合、第2の動作モードM2が選択され、第2のユーザ制御モードUC2がイネーブルされ、リモートコントロールデバイスの空間的状態を設定/変更(例えば、デバイスを加速したり傾けたり)することにより、ユーザがリモートコントロールの入力を提供できるようにする。リモートコントロールデバイスを手に持つことによりタッチ入力制御部33,43により間違って機器制御信号が生じることを防ぐため、第3のユーザ制御モードUC3によるタッチ入力信号処理はしない。
より経済的な実施形態では、コンタクトセンシング部10は、顔認識部12ではなく、チルトセンシング部を有し、方向表示信号を提供しても良い。しかし、動きとタッチ入力との間の選択をする目的のため、顔認識部はより信頼性高く動作する。一実施形態では、チルトセンシング部と顔認識部が組み合わされてモード制御信号を発生する。
チルトセンシング部は、動きセンシング部の替わりまたは追加として用いることもできる。その場合、チルトセンシング部は、リモートコントロールデバイスの方向を変えることにより、ユーザに入力を提供させる。一実施形態では、チルトセンシング部(tilt sensing facility)は、モード制御信号を提供する手段(facility)として、及びユーザ入力信号を提供する手段として用いることができる。他の一実施形態では、コンタクトセンシング部10は、ユーザがリモートコントロールデバイスを手に持った持ち方を示すグリップ表示信号Sgiを提供するように構成されたタッチセンシング部11を有する。例えば、リモートコントロールデバイスはバックサイドとフロントサイドとを有し、フロントサイドには機器の機能を制御する複数のキーを有するキーボード33が設けられている。その場合、バックサイドがユーザの手により覆われていることをタッチセンシング部11が検知すると、グリップ表示信号Sgiが、キーボードでの入力によるリモート制御のみがイネーブルされるサブセットUC3のみが許される第3の動作モードM3を選択するモード制御信号として機能する。しかし、フロントサイドがユーザの手により実質的に覆われていることをタッチセンシング部11が検知すると、グリップ表示信号Sgiは、第2のユーザ制御モードUC2によるリモート制御のみがイネーブルされる(例えば、リモートコントロールデバイスの方向または加速度の変化によりリモート制御が可能となる)第2の動作モードM2を選択するモード制御信号として機能する。
図6は、第1の態様によるリモートコントロールデバイスの第5の実施形態をより詳細に示す図である。第5の実施形態では、リモートコントロールデバイスは、タッチセンシング部11と顔認識部12と距離センサ部13とを有するコンタクトセンシング部10を有する。入力部30は、関連する処理部41を有するビジュアル入力部31(例えば、カメラ)と、関連する処理部42を有する空間的状態センシング部32(例えば、疎きまたはチルトセンサ)と、関連する処理部43を有するタッチ入力部33(例えば、タッチパネル)とを有する。これらを有する入力部30は、第1の制御モードUC1と第2の制御モードUC2と第3の制御モードUC3とを実施可能である。第1のユーザ制御モードでは、機器Aのリモート制御に、ビジュアルユーザ入力、例えばジェスチャや顔の表情を用いる。第2のユーザ制御モードUC2では、ユーザは、リモートコントロールデバイスの空間的状態を設定及び/または変更することにより、例えばリモートコントロールデバイスを異なる角度で手に持ったり、リモートコントロールデバイスを動かしたりして、リモート制御用の入力を提供する。第3のユーザ制御モードUC3では、ユーザは、タッチパネルにタッチして、またはボタンを押してリモート制御用入力を提供してもよい。この場合、リモートコントロールデバイスは、第1の動作モードM1、第2の動作モードM2、及び第3の動作モードM3を有し、各モードはにより潜在的に可能なユーザ制御モードUC1、UC2、UC3を選択できる。
制御モード選択部20は、表1に示した条件により、複数の選択可能な動作モードM1、M2、M3のうちの1つを選択するように構成されている。
Figure 2015509629
リモートコントロールデバイスがユーザにより手に持たれていない場合、例えばテーブル上に置かれている場合、コントロールモード選択部20は動作モードとしてモードM1を選択する。ユーザがリモートコントロールデバイスを手に持っている場合、リモートコントロールデバイスがユーザに向いていなければ、制御モード選択部20は、第2の動作モードM2を選択する。ユーザがリモートコントロールデバイスを手に持ち、リモートコントロールデバイスがユーザに向いているとき、制御モード選択部20は第3の動作モードM3を選択する。
各動作モードM1、M2、M3において許容されるユーザ制御モードの概要を表2に示す。
Figure 2015509629
この実施形態では、第1のユーザ制御モードUC1は、第1の動作モードM1でのみイネーブルされる。第2のユーザ制御モードは、第2の動作モードM2でイネーブルされ、任意的に第1の動作モードM1でイネーブルされるが、第3の動作モードM3では常にディスエーブルされている。第3のユーザ制御モードUC3は、第3の動作モードM3でイネーブルされ、任意的に第1の動作モードM1でイネーブルされるが、第2の動作モードM2では常にディスエーブルされている。
図7は、リモートコントロールデバイスを有する機器をリモート制御する方法を示す。本方法は、リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号を生成する第1のステップS1を含む。第2のステップS2では、モード制御信号により示された程度に応じて、選択可能な複数の動作モードの1つを選択する。この場合、動作モードM1、M2及びM3が選択可能である。これらの動作モードの各々により、例えば、上記の表2に示したように、複数のユーザ制御モードからユーザ制御モードの各サブセットがイネーブルされる。他の実施形態では、例えば、リモートコントロールデバイスがユーザ入力に反応しない動作モードなど、他の動作モードも選択可能である。一実施形態では、かかる動作モードは、エネルギー節約を目的として、一定の時間中動きがなければ、自動的に起動される。
第3のステップS3A、S3B、S3Cにおいて、イネーブルされたユーザ制御モードのサブセットに応じた機能により、ユーザ入力から機器制御情報(Saci)が求められる。ここで、モードM1が選択された場合、第3のステップはS3Aであり、ビジョンユーザ入力、動きユーザ入力及びタッチユーザ入力のそれぞれから機器制御情報(Saci)が求められる。
第4のステップS4では、このように取得した機器制御情報を機器に送信する。
図7では、第2の態様による方法の例を順次的手順として示し、関連するいろいろな態様とその相互関係とを明確に示す。これは可能性のある実装であるが、実際には必要ない。様々なステップは並列に実行してもよい。例えば、時刻tにおいてリモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を示すモード制御信号を生成している間に(S1)、このモード制御信号に基づき時刻t−Δt1の動作モードを選択してもよい(S2)。同様に、デバイスは、時刻t−Δt1−Δt2において動作モード選択S2によりイネーブルされたユーザ制御モードのサブセットに応じた機能により、ユーザ入力から機器制御情報(Saci)を求める(S3)。同時に、時刻t−Δt1−Δt2−Δt3において、ステップS3で求めた機器制御情報を機器に送信してもよい(S4)。
あるいは、例えばハードウェア機能が時分割されている場合など、これらのステップの一部は並列に行われても良い。例えば、1つの汎用プロセッサを用いて様々な処理ステップを実行してもよい。
要約すると、本発明は、なかんずく、機器Aをリモート制御するリモートコントロールデバイス1を提供する。リモート制御デバイス1は、コンタクトセンシング部10、制御モード選択部20、入力部30、プロセッサ部40、及び送信部50を有する。コンタクトセンシング部10は、リモートコントロールデバイスとユーザUとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号Smcを発生する。制御モード選択部20は、モード制御信号により示された程度に応じてリモートコントロールデバイスの選択可能な複数の動作モードM1、M2、M3のうち1つを選択する。選択可能な動作モードは複数のユーザコントロールモードからそのサブセットをイネーブルする。入力部30は、ユーザ入力を受け取り、そのユーザ入力を示すユーザ入力信号Sinpを発生するように構成されている。プロセッサ部40は、選択可能動作モードによりイネーブルされた機能により、ユーザ入力信号から機器の機器制御情報Saciを求め、送信部50は、機器に機器制御情報を送信する。
図8において、矢印の方向はユーザとリモートコントロールデバイスとの間の近接性の増加(increasing proximity)を示す。矢印の下のボックスは、リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度に対応する典型的なレンジを示す。レンジR1において、リモートコントロールデバイスはユーザの腕の長さ以内にある。レンジR2において、リモートコントロールデバイスはユーザによりゆるく手に持たれている。レンジR3において、リモートコントロールデバイスはユーザにより、よりしっかりと手に持たれている。レンジR4において、リモートコントロールデバイスは、ユーザによりしっかり手に持たれ、ユーザにより見られている。矢印の上のボックスは、イネーブルされるユーザ制御モードを示す。レンジR1において、一般的にはコースユーザ制御モードがイネーブルされ、レンジR4においては、一般的に精密なユーザ制御モードがイネーブルされる。
ユーザは、リモートコントロールデバイスまたは機器をスタートし制御をイネーブルする必要がある。あるいは、デバイスまたはアプリケーションが、短距離無線通信を用いてTVの近くで自動的にスタートしてもよい。アプリケーションが起動されると、ユーザは、リモートコントロールデバイスを自分の近くに置くか、自分の手で持つことができる。リモートコントロールデバイスがユーザの近くに置かれると、レンジ1のインターラクションが利用可能となる。レンジ1では、基本的な機能のみが利用できる(2−3機能)。限定された数の制御のみがサポートされているので、非常に単純なインターラクション手法を使うことができる。例えば、チャンネルを変更するスワイピング/フリッキングジェスチャ、連続的チャンネル変更(ザッピング)する連続的円運動、ボリュームを制御する上下のドラッグ運動、消音のためのシングルタップなどである。もちろん、これは可能性のあるインターラクション設定のセットに過ぎない。ユーザが、リラックスした握り方で(レンジR2)、リモートコントロールを手に持っているとき、同様の制御が利用できる(例えば、他方の手でジェスチャをできる)。しかし、ユーザはすでにリモートコントロールを手に持っているので、基本的なテレビ機能を、リモートコントロールに組み込まれた加速時計その他のセンサを用いる異なるインターラクションにマッピングできる。例えば、リモートコントロールを少し左または右に傾けるとチャンネルが変わり、リモートコントロールを前または後に傾けるとボリュームが変わり、リモートコントロールを振ると消音する(あるいは、ランダムなチャンネルを選択する)。
最後に、ユーザがリモートコントロールをコントロールグリップで(すなわち、リモートコントロールのサイドに高い圧力をかけ、スクリーンを顔に向けて)手に持つと、標準的なタッチインタフェースを通してすべての機能が利用できるようになる。イネーブルされていれば、ズーミング機能(すなわち、リモートコントロールを顔の近くに動かす)を用いて、リモートコントロールのディスプレイに(あるいは、テレビスクリーンに)提供される情報を変更する。すなわち、リモートコントロールが遠くにあるときチャンネルのオーバービューが提供され、リモートコントロールが近づくと、1つのチャンネルにズームし、さらに近づくと、1つのショーにズームする。
図9は、テレビジョンセットをリモート制御する様々なユーザ制御モードで用いられるユーザ制御動作の例を示す。図9の左上の図は、第1のユーザ制御モードにおいて第1のジェスチャをどのように使って、テレビジョンセットは自動的に利用可能なチャンネルを回るチャンネルザッピングモードを開始するかを示す。左下の図は、第2のジェスチャをどのように使って、テレビジョンセットを制御して、次のチャンネルまたは前のチャンネルを選択するかを示す。両方の場合において、ユーザの指は、リモートコントロールデバイスの前で動いており、デバイスには接触していない。中央の2つの図は、第3のユーザ制御モードにおいて、こんどはリモートコントロールデバイスにタッチして、同じジェスチャを用いるかを示す。図9の右の図は、第2のユーザ制御モードで、別のユーザ制御オプションをどのようにしてイネーブルするかを示す。この例では、ユーザは、リモートコントロールデバイスを回転させるまたは傾けることにより、ユーザ制御を提供する。
上記のインターラクションのユーザレンジに割り当てられた異なる動作モードを有するアプローチは、オーディオプレーヤや照明器具などの制御にも使うことができる。主な相違点は、インターラクションと制御する機能との間のマッピングであり、例えば、スクリーン上のタップにより消音の替わりに再生が一時停止され、シェークによりランダムチャンネルの替わりに歌がダウンランクされ、リモートコントロールを左または右に少し回すことにより歌が変更され、より大きな角度を回すことによりアルバムが変更される。
本発明の好ましい実施形態を添付図面に示し、上記の通り説明したが、言うまでもなく、本発明は開示した実施形態には限定されず、特許請求の範囲に記載した本発明の範囲から逸脱することなく多くの修正ができる。例えば、リモートコントロールデバイスがフレキシブルデバイスとして生産された場合、デバイスの形状状態を決定して、それを用いて形状状態信号を発生してもよい。この入力機能はユーザ制御モードUC4をイネーブルする。ユーザはリモートコントロールデバイスの形状状態を制御することにより、アプリケーションをリモート制御することができる。タッチ入力に基づくユーザ制御モードUC3は、形状状態入力に基づくユーザ制御モードUC4とは異なる動作モードの一部であり、これらのユーザ制御モードUC3、UC4は互いに干渉できない。さらに別の例として、リモートコントロールデバイスにはオーディオ入力センサが、例えば音声コメントを認識するように構成された好適な処理機能と組み合わせて、設けられていても良い。デバイスは、各々がボイスコマンドを認識する異なるユーザ制御モードUC5A,UC5B,UC5C・・・を有する。リモートコントロールデバイスの近さと、ユーザに対する方向とに応じて、異なるユーザ制御モードが選択され、期待される信号/ノイズ比を考慮してもよい。信号/ノイズ比が高いことが期待されるとき、比較的大きな制御コマンドのセットから制御コマンドを認識するユーザ制御モードが選択される。信号/ノイズ比が低いことが期待されるとき、比較的小さな制御コマンドのセットから、例えばオン/オフコマンドのみから制御コマンドを認識するユーザ制御モードが選択される。
リモートコントロールデバイスは、スタンドアロンデバイスであってもよいが、他のデバイスの一部であっても、スマートホンなどの他のデバイス上に追加機能としてインストールされてもよい。リモートコントロールアプリケーションは、例えばappストアからダウンロードできる。テレビジョンとリモートコントロールアプリケーションとの間の接続を使用する追加機能を使うこともできる。例えば、appはスマートホン上にインストールされ、スマートホンが呼ばれていることを検出する検出機能を有する。この検出時、または呼を受けたことを検出した時、appはテレビジョン番組を一時停止する、または音声を消音する(または通話中に字幕を表示する)マニュアル的または自動的手段を提供できる。appを介したインターラクションを用いて、例えば、どの番組をとばしたか、どの番組を一時停止したか、どれを見たか、どの番組により多くの情報が見いだせたかなど、視聴上の嗜好に関するデータをマイニングできる。これは、部分的にはユーザとappとの間のインターラクションを介して取得できる、テレビジョン番組のプロバイダには有用なデータである。
留意点として、リモートコントロールデバイスにより制御される機器は、オーディオビジュアル機器に限定されず、どんなリモート制御可能機器であってもよい。例えば、様々な家庭用デバイスは、本発明によるリモートコントロールデバイス及びリモート制御方法でリモート制御できる。料理用レンジ上で何かが沸騰していることに気づいたユーザは、急いで、例えば、スマートホンに組み込まれているリモートコントロールデバイスを振って、加熱を弱くすることができる。より精密な制御が必要であれば、ユーザはリモートコントロールデバイスを見て、より精密なリモート制御オプションをイネーブルしてもよい。同様に、本発明によるリモートコントロールデバイス及び方法を用いて、他の機器例えば照明装置やスプリンクラーを制御してもよい。
当業者には言うまでもないが、「部(facility)」は任意の(個別回路または集積回路または電子要素などの)ハードウェアまたは(プログラムやその一部なのどの)ソフトウェアを含み、指定された機能を単独で、または他の機能と共に、それだけで独立して、または他の要素と協働して、動作時に再生または再生するように設計されたものである。本発明は、複数のエレメントを有するハードウェアによっても、好適にプログラムされたコンピュータによっても実施することができる。複数の部(facilities)を挙げる装置クレームにおいて、これらの部(facilities)は、まったく同一のハードウェアにより実施することができる。「コンピュータプログラム製品」は、フロッピー(登録商標)ディスクなどのコンピュータ読み取り可能媒体に格納された、インターネットなどのネットワークを介してダウンロード可能な、またはその他の方法で上市可能な任意のソフトウェア製品を意味するものと理解すべきである。
ここで、「comprises」、「comprising」、「includes」、「including」、「has」、「having」との用語は、またはこれらのその他のバリエーションは、非排他的包含を言うものである。例えば、要素のリストを含むプロセス、方法、製品または装置は、必ずしも、これらの要素のみに限定されず、かかるプロセス、方法、製品または装置に明示的には列挙されていない、または本来的な他の要素を含み得る。さらに、特に断らなければ、「or」はinclusive orを言い、exclusive orではない。例えば、AまたはBとの条件は、Aが真でありBが偽である、Aが偽でありBが真である、及びAとBが真である場合に満たされる。本発明の要素及びコンポーネントを記載するために「a」または「an」を用いた。これは便宜上、本発明の一般的意味を与えるためだけである。この記載は、1つまたは少なくとも1つを含み、単数は、そうでないと明確でない限り、複数を含むものと読むべきである。
テレビジョンやオーディオセットなどの多くのコンシューマ機器により、リモートコントロールデバイスによるリモート制御が幾つかの形式でできる。ユーザは、キーボードを押すことにより制御入力をする。特許文献1は、デバイス自体の動きを検出して、その動きをコマンドとして解釈して、そのコマンドを実行または転送するハンドヘルドデバイスを説明している。
特許文献1は、電子デバイスのI/Oモードを選択するシステムを開示している。ハンドディテクタのイン/アウトによる決定に基づいて、I/Oセレクタを利用して一または複数のI/Oデバイス及び/またはエッジセンサを選択的にイネーブルまたはディスエーブルできる。一実施形態では、電子デバイスがユーザの手のなかにあることがハンドディテクタのイン/アウトにより決定された時、I/Oセレクタは、電子デバイスがユーザの手にないことがハンドディテクタのイン/アウトにより決定された時、一または複数のマイクロホンまたはスピーカを起動し、一または複数のタッチスクリーンまたはディスプレイスクリーンを停止する。
特許文献3は、消費者用電子デバイス及び消費者用電子デバイスのコントローラを含むインターラクティブ入力システムを記載している。コントローラは、タッチ入力モードとジェスチャ入力モードの一方で動作可能であり、コントローラの動作モードに応じて検出されたユーザタッチ入力とユーザジェスチャ入力の一方に応じて消費者用電子デバイスを制御する。
米国特許第7,777,649号明細書 米国特許出願公開第2010/138680号明細書 米国特許出願公開第2009/102800号明細書
記選択可能な複数の動作モードは少なくとも2と第3の動作モード含み、2の動作モードは第2のユーザ制御モードのみをイネーブルし、第3の動作モードは第3のユーザ制御モードのみをイネーブルし、前記第2のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスの空間的状態を制御することにより、例えば前記リモートコントロールデバイスを加速することまたは傾けることにより、前記機器を制御でき、前記第3のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる。コンタクトセンシング部は、物理的接触の存在の相互に異なる程度を決定し、物理的接触があるとき、前記決定された物理的接触の存在の程度に応じて前記第2または第3の動作モードを設定するように構成されている。
一実施形態では、前記選択可能な複数の動作モードはさらに少なくとも第1のユーザ制御モードをイネーブルする第1の動作モードを含み、前記第1のユーザ制御モードでは前記ユーザは前記リモートコントロールデバイスにビジュアル入力を提供することにより前記機器を制御でき、第2の動作モードではユーザは前記リモートコントロールデバイスの空間的状態を制御することにより前記機器を制御でき、前記第3の動作モードでは前記ユーザは前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる。
本発明の第2の態様によると、リモートコントロールデバイスで機器をリモート制御する方法を提供する。この方法は次のステップを有する:
前記リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号を発生するステップであって、、前記選択可能な複数の動作モードは、少なくとも第2と第3の動作モードを含み、第2の動作モードは第2のユーザ制御モードのみをイネーブルし、第3の動作モードは第3のユーザ制御モードのみをイネーブルし、前記第3のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる、ステップと、
前記モード制御信号により示された前記程度に応じて選択可能な複数の動作モードであって複数のユーザ制御モードからユーザ制御モードの各サブセットをイネーブルする複数の動作モードのうちの一動作モードを選択するステップと、
前記イネーブルされたユーザ制御モードのサブセットに応じた機能により、ユーザ入力から機器制御情報を求めるステップと、
前記機器制御情報を前記機器に送信するステップとを有し、
前記第2のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスの空間的状態を制御することにより、前記機器を制御でき、前記コンタクトセンシング部は、物理的接触の存在の相互に異なる程度を決定し、物理的接触があるとき、前記決定された物理的接触の存在の程度に応じて前記第2または第3の動作モードを設定するように構成されている

Claims (14)

  1. 機器をリモート制御するリモートコントロールデバイスであって、
    前記リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号を発生するコンタクトセンシング部と、
    前記モード制御信号により示された程度に応じて前記リモートコントロールデバイスの選択可能な複数の動作モードであって複数のユーザ制御モードのうちのユーザ制御モードの各サブセットをイネーブルする複数の動作モードのうち一動作モードを選択する制御モード選択部と、
    ユーザ入力を受け取り、前記ユーザ入力を示すユーザ入力信号を発生するように構成された入力部と、
    前記選択された動作モードによりイネーブルされた機能により、前記ユーザ入力信号から前記機器の機器制御情報を求めるプロセッサ部と、
    前記機器制御情報を前記機器に送信する送信部とを有する、
    リモートコントロールデバイス。
  2. 前記選択可能な複数の動作モードは少なくとも第1と第2と第3の動作モードのうち二動作モードを含み、第1の動作モードは少なくとも第1のユーザ制御モードをイネーブルし、第2の動作モードは第2のユーザ制御モードのみをイネーブルし、第3の動作モードは第3のユーザ制御モードのみをイネーブルし、前記第1のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにビジュアル入力を提供することにより、前記機器を制御でき、前記第2のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスの空間的状態を制御することにより、前記機器を制御でき、前記第3のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる、請求項1に記載のリモートコントロールデバイス。
  3. 前記コンタクトセンシング部は、前記リモートコントロールデバイスと前記ユーザとの間の物理的接触の在否、ユーザの顔に対する前記リモートコントロールデバイスの方向、前記リモートコントロールデバイスが手に持たれている方法でのユーザの顔に対する前記リモートコントロールデバイスの距離、リモートコントロールデバイスが手に持たれている方向との条件のうち少なくとも一条件を検出するように構成されている、
    請求項1または2に記載のリモートコントロールデバイス。
  4. 前記接触検知部は、少なくとも、デバイスをユーザが手に持っているか判断し、この判断を示すグリップ表示信号を生成するタッチセンシング部を有する、
    請求項1に記載のリモートコントロールデバイス。
  5. 前記コンタクトセンシング部は、少なくとも、デバイスが人の顔に向けられているか判断し、この判断を示すオリエンテーション表示信号を発生する顔認識部を有する、
    請求項1に記載のリモートコントロールデバイス。
  6. 前記コンタクトセンシング部は、前記リモートコントロールデバイスと前記ユーザとの間の距離を判断し、この判断を示す距離表示信号を発生する距離センサ部を有する、
    請求項1に記載のリモートコントロールデバイス。
  7. 前記入力部は、ビジュアル入力センサを有し、第1のユーザ制御モードを有し、前記第1のユーザ制御モードでは、前記リモートコントロールデバイスは、前記ビジュアル入力センサで善意ユーザによるビジュアル入力を検知し、ビジュアル入力信号を発生し、第1の機能に応じて前記ビジュアル入力信号から前記機器の機器制御情報を求め、前記送信部で、前記機器に前記機器制御情報を送信するようにイネーブルされる、
    請求項1に記載のリモートコントロールデバイス。
  8. 前記入力部は、空間的状態センサを有し、第2のユーザ制御モードを有し、前記第2のユーザ制御モードでは、前記空間的状態センサは、前記ユーザによる前記リモートコントロールデバイスの空間的状態を検出し、前記ユーザ入力信号として空間的状態信号を発生し、第2の機能に応じて前記ユーザ入力信号から前記機器の機器制御情報を求め、前記送信部で、前記機器に前記機器制御情報を送信するようにイネーブルされる、
    請求項1に記載のリモートコントロールデバイス。
  9. 前記入力部は、タッチ入力センサを有し、第3のユーザ制御モードを有し、前記第3のユーザ制御モードでは、前記リモート制御デバイスは、前記タッチ入力センサからユーザ入力を受け取り、第3の機能に応じて前記ユーザ入力から前記機器の機器制御情報を求め、前記送信部で前記機器に前記機器制御情報を送信するようにイネーブルされる、
    請求項1に記載のリモートコントロールデバイス。
  10. 前記入力部は、オーディオ入力センサを有し、第4のユーザ制御モードを有し、前記第4のユーザ制御モードでは、前記リモート制御デバイスは、前記オーディオ入力センサからユーザ入力を受け取り、第4の機能に応じて前記ユーザ入力から前記機器の機器制御情報を求め、前記送信部で前記機器に前記機器制御情報を送信するようにイネーブルされる、
    請求項6に記載のリモートコントロールデバイス。
  11. リモートコントロールデバイスで機器をリモート制御する方法であって、
    前記リモートコントロールデバイスとユーザとの間の物理的コンタクトの程度を決定し、この程度を示すモード制御信号を発生するステップと、
    前記モード制御信号により示された前記程度に応じて選択可能な複数の動作モードであって複数のユーザ制御モードからユーザ制御モードの各サブセットをイネーブルする複数の動作モードのうちの一動作モードを選択するステップと、
    前記イネーブルされたユーザ制御モードのサブセットに応じた機能により、ユーザ入力から機器制御情報を求めるステップと、
    前記機器制御情報を前記機器に送信するステップとを有する、
    方法。
  12. 前記選択可能な複数の動作モードは少なくとも第1と第2と第3の動作モードのうち二動作モードを含み、第1の動作モードは少なくとも第1のユーザ制御モードをイネーブルし、第2の動作モードは第2のユーザ制御モードのみをイネーブルし、第3の動作モードは第3のユーザ制御モードのみをイネーブルし、前記第1のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにビジュアル入力を提供することにより、前記機器を制御でき、前記第2のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスの空間的状態を制御することにより、前記機器を制御でき、前記第3のユーザ制御モードでは、前記ユーザは、前記リモートコントロールデバイスにタッチ入力を提供することにより、前記機器を制御できる、請求項11に記載の方法。
  13. 物理的コンタクトの程度を決定するステップは、前記リモートコントロールデバイスと前記ユーザとの間の物理的接触の在否、ユーザの顔に対する前記リモートコントロールデバイスの方向、前記リモートコントロールデバイスが手に持たれている方法でのユーザの顔に対する前記リモートコントロールデバイスの距離、リモートコントロールデバイスが手に持たれている方向との条件のうち少なくとも一条件の検出を含む、
    請求項11に記載の方法。
  14. プロセッサに請求項11に記載の方法を実行させるコンピュータプログラムを格納した記憶媒体。
JP2014558240A 2012-02-23 2013-02-20 リモートコントロールデバイス Active JP6129214B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261602229P 2012-02-23 2012-02-23
US61/602,229 2012-02-23
PCT/IB2013/051363 WO2013124792A1 (en) 2012-02-23 2013-02-20 Remote control device

Publications (2)

Publication Number Publication Date
JP2015509629A true JP2015509629A (ja) 2015-03-30
JP6129214B2 JP6129214B2 (ja) 2017-05-17

Family

ID=48087649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014558240A Active JP6129214B2 (ja) 2012-02-23 2013-02-20 リモートコントロールデバイス

Country Status (7)

Country Link
US (1) US9715823B2 (ja)
EP (1) EP2817792B1 (ja)
JP (1) JP6129214B2 (ja)
CN (1) CN104115195B (ja)
BR (1) BR112014020968A2 (ja)
RU (1) RU2014138215A (ja)
WO (1) WO2013124792A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019503060A (ja) * 2015-12-14 2019-01-31 フィリップス ライティング ホールディング ビー ヴィ 照明デバイスを制御する方法
JP2022008551A (ja) * 2016-08-26 2022-01-13 ロヴィ ガイズ, インコーポレイテッド ユーザ入力デバイスがユーザ機器を制御することを防止するための方法およびシステム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238481A (zh) * 2013-06-24 2014-12-24 富泰华工业(深圳)有限公司 家电设备控制系统及方法
JP6178741B2 (ja) * 2013-09-24 2017-08-09 京セラドキュメントソリューションズ株式会社 電子機器
US20160097545A1 (en) * 2014-10-03 2016-04-07 Kyungdong One Corporation Remote control and management device for heating system using a smart phone application and method thereof
GB2532038B (en) * 2014-11-06 2018-08-29 Displaylink Uk Ltd System for controlling a display device
US9612680B2 (en) * 2015-01-28 2017-04-04 Qualcomm Incorporated Optimizing the use of sensors to improve pressure sensing
WO2016120849A1 (en) * 2015-01-30 2016-08-04 Pfizer Inc. Methoxy-substituted pyrrolopyridine modulators of rorc2 and methods of use thereof
KR20170106046A (ko) * 2016-03-11 2017-09-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 동작 방법
JP7170660B2 (ja) * 2017-04-06 2022-11-14 シグニファイ ホールディング ビー ヴィ 照明システムのためのコントローラ及び方法
KR20190017280A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US10032365B1 (en) 2017-10-16 2018-07-24 Universal Electronics Inc. Apparatus, system and method for using a universal controlling device for displaying a graphical user element in a display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090102800A1 (en) * 2007-10-17 2009-04-23 Smart Technologies Inc. Interactive input system, controller therefor and method of controlling an appliance
JP2009265897A (ja) * 2008-04-24 2009-11-12 Sony Corp ハンドヘルド型情報処理装置、制御装置、制御システム及び制御方法
US20100138680A1 (en) * 2008-12-02 2010-06-03 At&T Mobility Ii Llc Automatic display and voice command activation with hand edge sensing
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20110191108A1 (en) * 2010-02-04 2011-08-04 Steven Friedlander Remote controller with position actuatated voice transmission

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782297B2 (en) 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
JP3900136B2 (ja) * 2003-10-27 2007-04-04 オンキヨー株式会社 遠隔操作システム
EP1709609B1 (en) 2004-01-20 2020-05-27 III Holdings 6, LLC Advanced control device for home entertainment utilizing three dimensional motion technology
US7545362B2 (en) 2004-02-26 2009-06-09 Microsoft Corporation Multi-modal navigation in a graphical user interface computing system
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
TWI295024B (en) * 2005-12-07 2008-03-21 Wistron Corp Remote control system capable of controlling an electronic device at different modes and method thereof
US20080020803A1 (en) 2006-07-18 2008-01-24 Motorola, Inc. Methods and devices for restricting access to mobile communication device functionality
US20090262074A1 (en) 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US7889175B2 (en) * 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US20090295713A1 (en) 2008-05-30 2009-12-03 Julien Piot Pointing device with improved cursor control in-air and allowing multiple modes of operations
CN101667032B (zh) * 2008-09-03 2012-09-05 中国科学院自动化研究所 基于视觉的无人直升机目标跟踪系统
US20100121921A1 (en) 2008-11-10 2010-05-13 Dunton Randy R Proximity based user interface collaboration between devices
US8803655B2 (en) 2010-05-11 2014-08-12 Universal Electronics Inc. System and methods for enhanced remote control functionality
JP5625506B2 (ja) 2010-06-04 2014-11-19 ソニー株式会社 操作端末装置、電子機器、および電子機器システム
CN102184022A (zh) * 2011-02-14 2011-09-14 徐敬 六面体无线遥控器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090102800A1 (en) * 2007-10-17 2009-04-23 Smart Technologies Inc. Interactive input system, controller therefor and method of controlling an appliance
JP2009265897A (ja) * 2008-04-24 2009-11-12 Sony Corp ハンドヘルド型情報処理装置、制御装置、制御システム及び制御方法
US20100138680A1 (en) * 2008-12-02 2010-06-03 At&T Mobility Ii Llc Automatic display and voice command activation with hand edge sensing
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20110191108A1 (en) * 2010-02-04 2011-08-04 Steven Friedlander Remote controller with position actuatated voice transmission

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019503060A (ja) * 2015-12-14 2019-01-31 フィリップス ライティング ホールディング ビー ヴィ 照明デバイスを制御する方法
JP2022008551A (ja) * 2016-08-26 2022-01-13 ロヴィ ガイズ, インコーポレイテッド ユーザ入力デバイスがユーザ機器を制御することを防止するための方法およびシステム
JP7258979B2 (ja) 2016-08-26 2023-04-17 ロヴィ ガイズ, インコーポレイテッド ユーザ入力デバイスがユーザ機器を制御することを防止するための方法およびシステム

Also Published As

Publication number Publication date
JP6129214B2 (ja) 2017-05-17
CN104115195B (zh) 2018-06-01
BR112014020968A2 (pt) 2017-07-04
EP2817792A1 (en) 2014-12-31
US20150015378A1 (en) 2015-01-15
RU2014138215A (ru) 2016-04-10
EP2817792B1 (en) 2018-09-05
US9715823B2 (en) 2017-07-25
CN104115195A (zh) 2014-10-22
WO2013124792A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
JP6129214B2 (ja) リモートコントロールデバイス
US11243615B2 (en) Systems, methods, and media for providing an enhanced remote control having multiple modes
US10007424B2 (en) Mobile client device, operation method, recording medium, and operation system
US20120144299A1 (en) Blind Navigation for Touch Interfaces
US20120274547A1 (en) Techniques for content navigation using proximity sensing
US20120026105A1 (en) Electronic device and method thereof for transmitting data
JP2011253493A (ja) 操作端末装置、電子機器、および電子機器システム
US20090085764A1 (en) Remote control apparatus and method thereof
WO2012104288A1 (en) A device having a multipoint sensing surface
KR20130115452A (ko) 터치패드를 구비한 리모트 컨트롤러 및 그 제어 방법
KR20170009302A (ko) 디스플레이장치 및 그 제어방법
EP3016400A2 (en) Display apparatus, system, and controlling method thereof
US8780279B2 (en) Television and control device having a touch unit and method for controlling the television using the control device
KR101097364B1 (ko) 터치 리모컨 및 터치 리모컨을 이용하여 영상출력장치를 제어하는 제어시스템
US20240103630A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface
US20240134515A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved user interface controlling multiple applications simultaneously
TW201015879A (en) Control method using touchpad remote controller and its touchpad remote controller
WO2022184250A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved user interface controlling multiple applications simultaneously

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R150 Certificate of patent or registration of utility model

Ref document number: 6129214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250