JP2014512060A - ジェスチャーに基づく要素又はアイテムの制御 - Google Patents

ジェスチャーに基づく要素又はアイテムの制御 Download PDF

Info

Publication number
JP2014512060A
JP2014512060A JP2014505753A JP2014505753A JP2014512060A JP 2014512060 A JP2014512060 A JP 2014512060A JP 2014505753 A JP2014505753 A JP 2014505753A JP 2014505753 A JP2014505753 A JP 2014505753A JP 2014512060 A JP2014512060 A JP 2014512060A
Authority
JP
Japan
Prior art keywords
screen
feature
item
dimension
browsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014505753A
Other languages
English (en)
Other versions
JP6297484B2 (ja
JP2014512060A5 (ja
Inventor
ルーカス ジャコブス フランシスカス ゲウルツ
ポール カウフホルツ
ヘンドリクス ペトルス マリア ステルケン
ジャープ ノエスター
イヴォ ドン スタイフザンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2014512060A publication Critical patent/JP2014512060A/ja
Publication of JP2014512060A5 publication Critical patent/JP2014512060A5/ja
Application granted granted Critical
Publication of JP6297484B2 publication Critical patent/JP6297484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Abstract

スクリーン31に表示されうる要素40〜70、又は要素70によって表されうるアイテム71を制御するための装置1は、第一及び第二の次元において、例えば体の一部である物体2の特徴を検出するための検出器11〜13と、第一の特徴を要素40〜70又はアイテム71の動作に変換する変換器14を備える。動作を第二の特徴に依存するようにすることで、可能性の数を増やすことができる。第一の特徴は、物体2の動きでもよく、第二の特徴は、物体2の絶対的位置又は相対的位置でもよい。第一の次元は、スクリーン31に平行でもよく、第二の次元は、スクリーン31に垂直又は平行でもよく、また、この逆でもよい。動作は、要素40〜69からなる複数のグループ4〜6を、位置に応じた速度でブラウジングすることを含んでもよく、また、位置に応じて、グループ4〜6の一つ又は複数をブラウジングすることを含んでもよい。アイテム71は、ランプ、電気製品、オーディオプレイヤー、又はビデオプレイヤーでもよく、これらの機器のパラメーターは、動き及び位置に応じて調整される。

Description

本発明は、要素またはアイテムを制御するための装置に関する。
本発明は、さらにデバイス、方法、コンピュータプログラム製品、及び媒体に関する。
このような装置の例は、ジェスチャー認識、及び認識されたジェスチャーの使用に基づくユーザー・トラッキング(追跡)装置、及びユーザー・インターフェース装置である。
US2009/0217211Alは、認識されたジェスチャーを用いた改良入力を開示する。
US2010/0235786Alは、離れた位置にあるデバイス用の改良3Dインターフェイスを開示する。
本発明の目的は、改良された装置を提供することである。
本発明の他の目的は、デバイス、方法、コンピュータプログラム製品、及び媒体を提供することである。
第一の側面によれば、要素又はアイテムを制御するための装置であって、装置は、第一の次元において、物体の第一の特徴を、別の第二の次元において、物体の第二の特徴を検出するための検出器と、第一の特徴を、要素又はアイテムに対して実行される動作に変換するための変換器とを有し、動作は、第二の特徴に依存する、当該装置が提供される。
物体は、例えば体の一部、体の一部によって保持される有体の物体、又は体の一部に取り付けられる物体等でもよい。体の一部は、例えば手、指、腕、足、脚、又は鼻等でもよい。要素は、例えばスクリーン上のアイコン、シンボル(記号等)、サムネイル、又はウインドウ等でもよい。要素は、コンピュータに保存されたデータ、例えば写真、プログラム、音声若しくは音楽、又は映像等を表してもよい。要素は、スクリーンから離れた位置にある制御可能なアイテム、例えばランプ、電気製品、オーディオプレイヤー、又はビデオプレイヤー等を表してもよい。
検出器は、第一の次元において、物体の第一の特徴を検出し、他の第二の次元において、物体の第二の特徴を検出するように構成されている。変換器は、第一の特徴を、要素又は要素によって表されるアイテムに対して実行される動作に変換するように構成されている。
したがって、動作は、第一の次元において検出された第一の特徴によって規定される。動作を第二の特徴に依存するようにすることで、動作の態様、種類、又はパラメーター等を、第二の特徴によって規定することができる。これは、可能性の数を増やすため、大きな改良である。
また、この装置は、ユーザーによる操作がより効率的になるという点でも有利である。従来、動作の態様、種類、又はパラメーターを適合(変更)するためには、ユーザーは、例えばスクリーン上の他のロケーションに行かなければならなかった。これは非効率的な作業である。この装置によれば、ユーザーは、スクリーン上の当該要素から去ることなく、適合を行うことができる。これはより効率的な作業である。
上記装置の一実施形態は、第一の特徴が、物体の動きであり、第二の特徴が、物体の位置であることによって定義される。この実施形態によれば、動きの解釈(判定)を、位置によって適合することができる。この位置は、スクリーン又は他の物体に対して規定することができる。動きは、回転、傾き、ピッチング、ローリング、ヨーイング、スワイプ、及びジャンプ等を含みうる。
上記装置の一実施形態は、要素は、スクリーン上に表示され、アイテムは、要素によって表され、第一の次元は、スクリーンに平行な方向であり、第二の次元は、スクリーンに垂直な方向であることによって定義される。この実施形態によれば、物体が、スクリーンのより近く、及び/又は他の物体からより遠くに位置するときの動きは、第一の結果を生じ、物体が、スクリーンからより遠く、及び/又は他の物体のより近くに位置するときの動きは、別の第二の結果を生じる。
上記装置の一実施形態は、上記要素を含む複数の要素からなる一つグループを、位置に依存した速度でブラウジング(閲覧)することを含むことによって定義される。この実施形態によれば、物体が、スクリーンのより近く、及び/又は他の物体からより遠くの位置で動くときは、第一の速度でブラウジングが行われ、物体が、スクリーンからより遠く、及び/又は他の物体のより近くの位置で動くときは、別の第二の速度、例えばより速い速度でブラウジングが行われる。
上記装置の一実施形態は、動作は、第一の位置においては、そのうちの一つのグループが上記要素を含む、複数の要素からなる複数のグループをブラウジングすることを含み、また、動作は、別の第二の位置においては、複数のグループのうちの一つをブラウジングすることを含むことによって定義される。この実施形態によれば、物体が、スクリーンのより近く、及び/又は他の物体からより遠くの位置で動くときは、第一のレベル、例えば要素レベルでブラウジングが行われ、物体が、スクリーンからより遠く、及び/又は他の物体のより近くの位置で動くときは、別の第二のレベル、例えばグループレベルでブラウジングが行われる。
上記装置の一実施形態は、動作は、第一の位置においては、比較的概括的なスケールでブラウジングすることを含み、また、動作は、別の第二の位置においては、比較的具体的なスケールでブラウジングすることを含むことによって定義される。この実施形態によれば、物体が、スクリーンのより近く、及び/又は他の物体からより遠くの位置で動くときは、第一のスケール、例えば具体的なスケールでブラウジングが行われ、物体が、スクリーンからより遠く、及び/又は他の物体のより近くの位置で動くときは、別の第二のスケール、例えば概括的なスケールでブラウジングが行われる。
上記装置の一実施形態は、要素は、スクリーン上に表示され、アイテムは、要素によって表され、第一の次元は、スクリーンに平行な方向であり、第二の次元は、スクリーンに平行な別の方向であることによって定義される。この実施形態によれば、物体が、高い(又は低い)位置で、例えば水平方向に動くときは第一の結果を生じ、物体が、より低い(又は高い)位置で水平方向に動くときは、別の第二の結果を生じる。同様に、物体が、左(又は右)側の位置で、例えば垂直方向に動くときは第三の結果を生じ、物体が、より右(又は左)側の位置で垂直方向に動くときは、別の第四の結果を生じる。
上記装置の一実施形態は、動作は、動きに応じて、アイテムの第一のパラメーターを調整することを含み、また、動作は、位置に応じて、アイテムの別の第二のパラメーターを調整することを含むことによって定義される。この実施形態によれば、光を発生するランプの形態のアイテムにおいては、動きによって、例えば光の明るさが適合され、位置によって、例えば光の色が適合されうる。音声又は音楽を再生するオーディオプレイヤーの形態のアイテムにおいては、動きによって、例えばボリューム(音量)が適合され、位置によって、例えば周波数が適合されるか、又は、異なる位置において、異なる周波数成分のボリュームを適合することができる。同一の要素が両方のオプションを実行することができ、各オプションのために新たな要素をつくる必要がない。
上記装置の一実施形態は、要素は、スクリーン上に表示され、アイテムは、要素によって表され、第一の次元は、スクリーンに垂直な方向であり、第二の次元は、スクリーンに平行な方向であることによって定義される。この実施形態によれば、物体が、スクリーンに対して垂直な方向に動くときは、物体が、例えばスクリーンに対して左側若しくは右側の位置、又は、高い若しくは低い位置にあるかに応じて、異なる結果が生じる。
上記装置の一実施形態は、物体は、体の一部、体の一部によって保持される有体の物体、又は体の一部に取り付けられる物体であり、上記位置は、好ましくは他の物体に対する相対的な位置であり、他の物体は、体の他の部分又は体の残りの部分であることによって定義される。上記制御は、ジェスチャーに基づく制御としても知られている。位置は、(例えばスクリーンに対して)絶対的な位置でもよいが、好ましくは、例えば体の他の部分又は体の残りの部分等の他の物体に対する相対的な位置でもよい。位置が絶対的位置の場合、検出器は、絶対的検出を実行できるべきである。位置が相対的位置の場合、検出器は、両物体及び両物体の相対的位置を検出することによる相対的検出を行うだけでよく、絶対的検出は必要ない。
上記装置の一実施形態は、変換器は、第二の特徴を、スクリーン上に表示されるか、又は他の手段で再現される情報に変換することによって定義される。この実施形態によれば、ユーザーを援助するために、ユーザーに対して、スクリーン上又は他の手段(例えば、音声、又は、物体若しくはアイテムに送信される信号等)でフィードバックが提供される。
なお、第一の次元における物体の第一の特徴、及び別の第二の次元における物体の第二の特徴は、いずれも同一の要素に関連するものである。したがって、スクリーン上で当該要素の隣に位置する要素が、例えばスクリーンに平行な第二の方向である第二の次元において移動したとき、第二の特徴は検出されない。また、第一の特徴は、要素又は要素によって表されるアイテムに対して実行される動作に変換され、この要素又は要素によって表されるアイテムに対して実行される動作は、第二の特徴に依存する。したがって、第二の特徴は、この動作の態様、種類、又はパラメーター等を定義する。
第二の側面によれば、前記装置と、アイテム及び/又はスクリーンとを備えるデバイスが提供される。
第三の側面によれば、要素又はアイテムを制御するための方法であって、当該方法は、第一の次元において、物体の第一の特徴を、別の第二の次元において、物体の第二の特徴を検出することと、第一の特徴を、要素又はアイテムに対して実行される動作に変換することとを含み、動作は、第二の特徴に依存する、方法が提供される。
第四の側面によれば、上記方法の工程を実行するためのコンピュータプログラムが提供される。
第五の側面によれば、上記コンピュータプログラムを記憶して含む媒体が提供される。
上記方法の実施形態は、上記装置の実施形態に対応する。
本発明の洞察は、スクリーン上に表示される可能性がある要素を制御するため、又は、要素によって表される可能性があるスクリーンから離れた位置にありうるアイテムを制御するために、二つ以上の次元を使用しうることでありうる。基本的な概念は、第一及び第二の次元において、物体の第一及び第二の特徴を検出し、検出された第一の特徴を、要素又はアイテムに対して実行される動作に変換し、動作を第二の特徴に依存するようにすることで、可能性の数を増やせることでありうる。
改良された装置を提供するという課題は解決された。他の利点は、ユーザーによる操作がより効率的になることである。
本発明のこれら及び他の側面は、以下に記載される実施形態を参照して説明され、明瞭になるであろう。
図1は、装置を含むデバイスを示す。 図2は、デバイス及び装置を、互いに分離して示す。 図3は、スクリーン上における、複数の要素からなる複数のグループのブラウジング(上部)、及び、スクリーン上における、複数の要素からなる一つのグループ内でのブラウジング(下部)を示す。 図4は、スクリーン上で要素によって表され、物体によって制御されるアイテムを示す。 図5は、スクリーン上で要素によって表されないが、物体によって制御されるアイテムを示す。
図1は、装置を含むデバイスを示す。装置1は、3Dカメラの形態の検出器11、及び検出器11に接続された変換器14を含む。デバイス3は、さらにスクリーン31、及びプロセッサー32を含む。変換器14は、別のプロセッサーであってもよく、且つ/又は、プロセッサー32の一部を構成してもよい。
図2は、デバイスと装置とを分離して示す。装置1は、第一の2Dカメラ及び第二の2Dカメラの形態の検出器12、13、並びに検出器12、13に接続された変換器14を含む。デバイス3は、スクリーン31、及び変換器14に接続されたプロセッサー32を含む。変換器14は、別のプロセッサーであってもよい。
他の種類の検出器、例えば、グローバル・ポジショニング・システム検出器やローカル・ポジショニング・システム検出器等の絶対的位置を検出する検出器、電磁場の乱れを検出する検出器、レーダー又はソナー技術に基づく検出器等も除外されない。
図3の上部は、スクリーン上における、複数の要素からなる複数のグループのブラウジング(閲覧)を示し、図3の下部は、スクリーン上における、複数の要素からなる一つのグループ内でのブラウジングを示す。図3の上部は、それぞれ10個の要素40〜49、50〜59、及び60〜69からなる3つのグループ4〜6を表示している、スクリーン31を示す(正面図)。さらに、例えば体の一部、体の一部によって保持される有体の物体、又は体の一部に取り付けられた有体の物体等である物体2が示されている(上面図)。体の一部は、例えば手、指、腕、足、脚、又は鼻等でもよい。要素40〜69は、例えば画面上のアイコン、シンボル、サムネイル、又はウインドウ等でもよい。要素40〜69は、コンピュータ中に保存されたデータ、例えば写真、プログラム、音声若しくは音楽、又は映像等を表してもよい。図3の上部においては、例えばユーザーが手の指を左(X方向)に振ることにより、物体2は、矢印で示されるように左に動いている。これは、スクリーン31から第一の距離(Z方向)で行われる。
図3の下部は、10個の要素50〜59を表示しているスクリーン31を示す(正面図)。さらに、物体2が示されている(上面図)。この場合においても、例えばユーザーが手の指を左(X方向)に振ることにより、物体2は、矢印で示されるように左に動いている。ただし、この場合においては、これはスクリーン31から、第一の距離より短い第二の距離において行われる(Z方向)。このため、ユーザーは、現在はグループ4〜6をブラウジングしておらず、グループ4〜6のうちの一つであるグループ5内の要素50〜59をブラウジングしている。これによって、要素50〜59は拡大されてもよいし、互いにより離れて示されてもよい。
したがって、概して言えば、この場合において、装置1は、スクリーン31上に示された要素40〜69を制御するように構成されている。検出器11〜13は、第一の次元において物体2の第一の特徴を、別の第二の次元において物体2の第二の特徴を検出するように構成されている。変換器14は、第一の特徴を、要素40〜69に対して実行される動作に変換するように構成されている。大きな改良によれば、動作は第二の特徴に依存してもよい。
好ましくは、第一の特徴は、物体2の動きでもよく、第二の特徴は、物体2の位置でもよい。第一の次元は、スクリーン31に平行な方向Xでもよく、第二の次元は、スクリーン31に垂直な方向Zでもよい。
図示のように、動作は、第一の位置においては、要素40〜69からなる複数のグループ4〜6のブラウジングを含んでもよく、別の第二の位置おいては、複数のグループ4〜6のうちの一つであるグループ5(内)のブラウジングを含んでもよい。
同様に、又は代替的に、動作は、要素40〜69からなる複数のグループ4〜6の一つ又は複数を、距離に応じた速度でブラウジングすることを含んでもよい。同様に、又は代替的に、動作は、第一の位置においては、比較的概括的なスケールでブラウジングすることを含んでもよく、別の第二の位置においては、比較的具体的なスケールでブラウジングすることを含んでもよい。
上記制御は、ジェスチャーに基づく制御とも知られている。位置は、スクリーン31及び/又は他の物体に対して規定することができる。位置は、例えばスクリーン31に対して絶対的な位置でもよく、例えば他の物体に対して相対的な位置でもよい。他の物体は、例えば体の他の部分、又は体の残りの部分でもよい。位置が絶対的位置の場合、検出器11〜13は、絶対的検出が実行できるべきである。位置が相対的位置の場合、検出器11〜13は、両物体及び両物体の位置を検出することによる相対的検出を行うだけでよく、絶対的検出は必要ない。
図4は、スクリーン31上で要素70によって示され、物体2によって制御されるアイテム71を示す。この場合においては、アイテム71はランプであるが、アイテムは、電気製品、オーディオプレイヤー、ビデオプレイヤー、又はコンシューマ向け製品若しくはプロフェッショナル向け製品等の製品等でもよい。アイテム71は、通常、スクリーン31から離れた位置にある制御可能なアイテムである。
概して言えば、この場合においては、装置1は、スクリーン31上で要素70によって表されるアイテム71を制御するように構成されている。検出器11〜13は、第一の次元では物体2の第一の特徴を、別の第二の次元では物体2の第二の特徴を検出するように構成されている。変換器14は、第一の特徴を、アイテム71に対して実行される動作に変換するよう構成されている。大きな改良によれば、動作は第二の特徴に依存してもよい。
好ましくは、第一の特徴は、物体2の動きでもよく、第二の特徴は、物体2の位置でもよい。この場合においては、第一の次元は、スクリーン31に平行な方向Xでもよく、第二の次元は、スクリーン31に平行な別の方向Yでもよい。方向X及びYは、例えば互いに直交する方向である。
動作は、動きに応じてアイテム71の第一のパラメーターを調整すること、位置に応じてアイテム71の別の第二のパラメーターを調整することを含んでもよい。光を発生するランプの形態のアイテム71においては、動きによって、例えば光の明るさが適合され、位置によって、例えば光の色が適合されうる。
あるいは、音(音声又は音楽)を発生するオーディオプレイヤーの形態のアイテムにおいては、動きによって、例えばボリュームが適合され、位置によって、例えば周波数が適合されるか、又は、異なる位置において、異なる周波数成分のボリュームが適合される等でもよい。
また、他の改良によれば、変換器14は、(ユーザーの)援助を目的として、ユーザーに、スクリーン31上、又は、音声若しくは物体2やアイテム71に送信される信号等の他の手段でフィードバックを提供するべく、第二の特徴を、スクリーン31上に表示される又は他の手段で再現される情報に変換するように構成されている。
あるいは又はさらに、第二の特徴は、物体2の位置の変化、言い換えれば、物体2の(一時的な)動きでもよく、この物体2の動きにより、第一の特徴を(一時的に)止めることができる。したがって、第一及び第二の特徴は、過度に限定的に捉えられるべきではない。同様に、図3における速度及び/又はブラウジングは、X及びY方向における動き及び位置に応じて調整されてもよく、図4におけるパラメーターは、X及びZ方向、又はY及びZ方向等における動き及び位置に応じて調整されてもよい。各場合において、二次元ではなく三次元が用いられてもよく、さらに、時間、日付、光量、音量、又は温度等の他の特徴を導入して、四次元として用いられてもよい。
図5は、スクリーン上で要素によって表されないが、物体によって制御されるアイテムを示す。この場合においては、アイテム71は、スピーカの形態をとる。アイテム71から第一の距離(方向Zで表される)において、物体2をスピーカと平行(例えばX方向)に動かくすことによって、ボリュームが制御される(例えば、左方向:ボリューム小、右方向:ボリューム大)。アイテム71から第二の距離(方向Zで表される)において、物体2をスピーカと平行(例えばX方向)に動かすことによって、トラック選択が制御される(例えば、左方向:前の曲、右方向:次の曲)。したがって、第二の距離は、第一の距離とは異なるべきであり、第一の距離より大きくとも小さくともよい。このようにすることで、異なるゾーン(区域)がつくられ、同じ動作が異なるゾーンごとに独自の意味を持つ。
図5に示すようなスピーカの形態のアイテム71においては、ここでは図示しない一つ又は複数の検出器が、アイテム71の一部を構成するか、又はここでは図示しない装置の一部を構成してもよい。また、アイテム71は、ユーザーを援助するため、ユーザーに、ユーザーがどのゾーンで物体2を動かしているのかを示すフィードバックを提供する図示しないユニット、例えば一つ又は複数の発光ダイオード等を備えてもよい。
したがって、例えば、体との相対的な、若しくはより絶対的なジェスチャー距離、又は、例えば体との相対的な、若しくはより絶対的な水平若しくは垂直方向位置は、ブラウジング又はスクローリングのレベルと関連付けられてもよい。ブラウズ又はスクロール可能な要素の範囲又は領域を表すブラウジング又はスクローリング・レベルを示すために、スクリーン上にフィードバックが提供されてもよい。
ジェスチャー・トラッキング(追跡)・バージョンによれば、要素をブラウズ又はスクロールするためにハンド(手)・トラッキング又はフィンガー(指)・トラッキングが用いられる。体の左側の手又は指が、グループの最初の要素に関連付けられてもよい。体の右側の手又は指が、グループの最後の要素に関連付けられてもよい。別のジェスチャー・バージョンによれば、左右へのスワイプは、グループ内の多数の要素をとばす(ジャンプする)ために用いられる。手又は指が体に近い場合、ジャンプは大きく、要素の完全なセットを検索することができる。手又は指が体から離れて動く場合、スワイプによる要素セット内のジャンプはより小さい。
モード切替については、画像ブラウザ・アプリケーションを作成してもよい。ユーザーは、水平方向のジェスチャーによって医療用XR画像をブラウズすることができる。体から近い位置でのジェスチャーは、個々のラン(ランとは、XR装置の一回転でつくられる一連の画像である)をブラウズするために用いられる。ユーザーが腕を広げると、ブラウジングモードが変わり、左右の動きで一つのラン内の個々の画像をブラウズすることができる。
ダイナミックレンジ画像ブラウジングによれば、ブラウズ可能な画像の範囲は、ジェスチャーの相互作用距離と結び付けられる。例えば、ユーザーが体の近くでジェスチャーをする場合、左から右への動きはラン内の全ての画像に関連付けられる。手が左側にある場合、最初の画像が提示される。左から右に動くことで、セット内の画像を素早くブラウズする(めくる)ことができる。手が右側にある場合、最後の画像が提示される。医療用XR環境においては、通常、一セットは数百の画像からなる。ユーザーがよりスクリーンの近くで手を動かす場合、画像の範囲は狭められてもよく、セレクション(選択)をブラウズすることができる。このセレクションにおいては、フォーカスされる画像は中間画像として用いられてもよい。マッピング(関連付け)は、よりダイナミックな特性を付与し、ユーザーに、より多くの制御、及び、より高精細な画像ごとの閲覧と組み合わされた高速ブラウジングを提供する。
ダイナミックレンジ・ジェスチャー制御の原理は、別のジェスチャー(左又は右スワイプ)を用いる場合にも適用することができる。上記の例において、スワイプは、左右何れかに第一の画像数ジャンプする(とばす)。スワイプのジェスチャーが、スクリーンのより近くで実行されると、ジャンプは、第一の画像数より小さい第二の画像数、場合によっては、画像ごとにブラウズするために一枚になる。
まとめると、スクリーン31に表示されうる要素40〜70、又は要素70によって表されうるアイテム71を制御するための装置1は、第一及び第二の次元において、例えば体の一部である物体2の特徴を検出するための検出器11〜13と、第一の特徴を要素40〜70又はアイテム71の動作に変換する変換器14を備える。動作を第二の特徴に依存するようにすることで、可能性の数を増やすことができる。第一の特徴は、物体2の動きでもよく、第二の特徴は、物体2の絶対的位置又は相対的位置でもよい。第一の次元は、スクリーン31に平行でもよく、第二の次元は、スクリーンに垂直又は平行でもよく、また、この逆でもよい。動作は、要素40〜69からなるグループ4〜6を、位置に応じた速度でブラウジングすることを含んでもよく、又は、位置に応じて、グループ4〜6の一つ又は複数をブラウジングすることを含んでもよい。アイテム71は、ランプ、電気製品、オーディオプレイヤー、又はビデオプレイヤーでもよく、したがって、これらの機器のパラメーターは動き及び位置に応じて調整される。
本発明は、図面及び上記記載において詳細に図示及び説明されるが、かかる図示及び説明は、本発明を説明するためのものとして解されるべきであり、本発明を制限するものではない。本発明は、開示の実施形態に限定されない。発明を実施するにあたり、当業者は図面、明細書、特許請求の範囲に基づき、開示された実施例への他の変更を理解及び実施できる。特許請求の範囲において、「有する(又は含む、備える)」という動詞及びその活用形の使用は、請求項内に記された以外の要素又は工程の存在を除外せず、また、要素は複数を除外しない。いくつかの手段が互いに異なる独立請求項に記載されているからといって、それらの手段の組み合わせを好適に使用できないとは限らない。特許請求の範囲において、括弧内のいかなる参照符号も特許請求の範囲を制限すると解釈されるべきではない。

Claims (15)

  1. 要素又はアイテムを制御するための装置であって、前記装置は、第一の次元において、物体の第一の特徴を、別の第二の次元において、前記物体の第二の特徴を検出するための検出器と、前記第一の特徴を、前記要素又は前記アイテムに対して実行される動作に変換するための変換器とを有し、前記動作は、前記第二の特徴に依存する、当該装置。
  2. 前記第一の特徴は、前記物体の動きであり、前記第二の特徴は、前記物体の位置である、請求項1に記載の装置。
  3. 前記要素は、スクリーン上に表示され、前記アイテムは、前記要素によって表され、前記第一の次元は、前記スクリーンに平行な方向であり、前記第二の次元は、前記スクリーンに垂直な方向である、請求項2に記載の装置。
  4. 前記動作は、前記要素を含む複数の要素からなるグループを、位置に依存した速度でブラウジングすることを含む、請求項3に記載の装置。
  5. 前記動作は、第一の位置においては、そのうちの一つのグループが前記要素を含む、複数の要素からなる複数のグループをブラウジングすることを含み、また、前記動作は、別の第二の位置においては、前記複数のグループのうちの一つをブラウジングすることを含む、請求項3に記載の装置。
  6. 前記動作は、第一の位置においては、比較的概括的なスケールでブラウジングすることを含み、別の第二の位置においては、比較的具体的なスケールでブラウジングすることを含む、請求項3に記載の装置。
  7. 前記要素は、スクリーン上に表示され、前記アイテムは、前記要素によって表され、前記第一の次元は、前記スクリーンに平行な方向であり、前記第二の次元は、前記スクリーンに平行な別の方向である、請求項2に記載の装置。
  8. 前記動作は、前記動きに応じて、前記アイテムの第一のパラメーターを調整することを含み、前記位置に応じて、前記アイテムの別の第二のパラメーターを調整することを含む、請求項7に記載の装置。
  9. 前記要素は、スクリーン上に表示され、前記アイテムは、前記要素によって表され、前記第一の次元は、前記スクリーンに垂直な方向であり、前記第二の次元は、前記スクリーンに平行な方向である、請求項2に記載の装置。
  10. 前記物体は、体の一部、体の一部によって保持される有体の物体、又は体の一部に取り付けられる有体の物体であり、前記位置は、好ましくは他の物体に対する相対的な位置であり、前記他の物体は、体の他の部分又は体の残りの部分である、請求項2に記載の装置。
  11. 前記変換器は、前記第二の特徴を、スクリーン上に表示されるか、又は他の手段で再現される情報に変換する、請求項1に記載の装置。
  12. 請求項1に記載の装置と、前記アイテム及び/又はスクリーンとを有する、デバイス。
  13. 要素又はアイテムを制御するための方法であって、前記方法は、第一の次元において物体の第一の特徴を、別の第二の次元において、前記物体の第二の特徴を検出することと、前記第一の特徴を、前記要素又は前記アイテムに対して実行される動作に変換することとを備え、前記動作は、前記第二の特徴に依存する、当該方法。
  14. 請求項13に記載の方法を実行するためのコンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記憶して含む、媒体。
JP2014505753A 2011-04-20 2012-04-13 ジェスチャーに基づく要素又はアイテムの制御 Active JP6297484B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11163125.5 2011-04-20
EP11163125 2011-04-20
PCT/IB2012/051810 WO2012143829A2 (en) 2011-04-20 2012-04-13 Gesture based control of element or item

Publications (3)

Publication Number Publication Date
JP2014512060A true JP2014512060A (ja) 2014-05-19
JP2014512060A5 JP2014512060A5 (ja) 2015-05-28
JP6297484B2 JP6297484B2 (ja) 2018-03-20

Family

ID=46062652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014505753A Active JP6297484B2 (ja) 2011-04-20 2012-04-13 ジェスチャーに基づく要素又はアイテムの制御

Country Status (7)

Country Link
US (1) US9417703B2 (ja)
EP (1) EP2699984A2 (ja)
JP (1) JP6297484B2 (ja)
CN (1) CN103477305B (ja)
BR (1) BR112013026624A2 (ja)
RU (1) RU2609066C2 (ja)
WO (1) WO2012143829A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112384972A (zh) * 2018-03-27 2021-02-19 维泽托有限责任公司 用于多屏幕显示和交互的系统和方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD749085S1 (en) * 2011-08-23 2016-02-09 Sony Corporation Display panel or screen with graphical user interface
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
JP2019528122A (ja) 2016-08-24 2019-10-10 ニューパルスシーブイ インコーポレイテッド 血液ポンプアセンブリおよびそれの使用方法
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302992A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法
JP2008210348A (ja) * 2007-02-28 2008-09-11 Univ Of Tokyo 画像表示装置
JP2009519553A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとのインタフェース時に深さと方向の検出を可能とする方法およびシステム
JP2010081466A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 操作制御装置及び操作表示方法
JP2010250492A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP2003280785A (ja) * 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
KR100811160B1 (ko) * 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US7975242B2 (en) * 2007-01-07 2011-07-05 Apple Inc. Portable multifunction device, method, and graphical user interface for conference calling
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
JP4670860B2 (ja) * 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
KR101012379B1 (ko) * 2008-03-25 2011-02-09 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
US20100235786A1 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
US8702485B2 (en) * 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
US8593331B2 (en) * 2010-06-16 2013-11-26 Qualcomm Incorported RF ranging-assisted local motion sensing
JP5802667B2 (ja) * 2010-07-20 2015-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America ジェスチャ入力装置およびジェスチャ入力方法
US9024166B2 (en) * 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8698092B2 (en) * 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
WO2012054063A1 (en) * 2010-10-22 2012-04-26 Hewlett-Packard Development Company L.P. An augmented reality display system and method of display
US8854802B2 (en) * 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR101567591B1 (ko) * 2011-12-02 2015-11-20 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 기반 게임 시스템을 위한 안전 체계
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8790179B2 (en) * 2012-02-24 2014-07-29 Empire Technology Development Llc Safety scheme for gesture-based game system
US8777226B1 (en) * 2012-06-21 2014-07-15 Robert Hubert Decker, Jr. Proxy target system
US8512140B1 (en) * 2012-07-26 2013-08-20 Zynga Inc. Gaming system for updating a presentation of a virtual game environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302992A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
JP2009519553A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとのインタフェース時に深さと方向の検出を可能とする方法およびシステム
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法
JP2008210348A (ja) * 2007-02-28 2008-09-11 Univ Of Tokyo 画像表示装置
JP2010081466A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 操作制御装置及び操作表示方法
JP2010250492A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112384972A (zh) * 2018-03-27 2021-02-19 维泽托有限责任公司 用于多屏幕显示和交互的系统和方法

Also Published As

Publication number Publication date
CN103477305A (zh) 2013-12-25
EP2699984A2 (en) 2014-02-26
WO2012143829A2 (en) 2012-10-26
US20140047395A1 (en) 2014-02-13
JP6297484B2 (ja) 2018-03-20
RU2609066C2 (ru) 2017-01-30
WO2012143829A3 (en) 2013-03-07
BR112013026624A2 (pt) 2016-12-27
CN103477305B (zh) 2017-06-13
RU2013151462A (ru) 2015-05-27
US9417703B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
JP5885309B2 (ja) ジェスチャ認識のためのユーザ・インタフェース、装置および方法
US20150370806A1 (en) Visual experience map for media presentations
JP6297484B2 (ja) ジェスチャーに基づく要素又はアイテムの制御
JP2018516422A (ja) スマートホームのためのジェスチャ制御システム及び方法
JP2012525773A (ja) 方向タッチリモート操作
CN106796810B (zh) 在用户界面上从视频选择帧
EP2870526B1 (en) Display device including touchscreen and method for controlling the same
WO2017187196A1 (en) Augmented media
KR20140089858A (ko) 전자 장치 및 그의 제어 방법
US9600170B2 (en) Video display device and control method for controlling multispeed video search
KR102317619B1 (ko) 전자 장치 및 이의 제어 방법
US10719147B2 (en) Display apparatus and control method thereof
US9304674B1 (en) Depth-based display navigation
EP3051835B1 (en) Acoustic output device and control method thereof
KR20200137594A (ko) 모바일 장치 및 모바일 장치의 제어 방법
KR20200041554A (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2013175341A2 (en) Method and apparatus for controlling multiple devices
KR20240009974A (ko) 증강 현실 경험들을 위한 가상 가이드 피트니스 루틴들
VERMEULEN et al. The Feedforward Torch

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180221

R150 Certificate of patent or registration of utility model

Ref document number: 6297484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250