JP2015108870A - 動作入力装置、動作入力プログラム及び動作入力方法 - Google Patents
動作入力装置、動作入力プログラム及び動作入力方法 Download PDFInfo
- Publication number
- JP2015108870A JP2015108870A JP2013250160A JP2013250160A JP2015108870A JP 2015108870 A JP2015108870 A JP 2015108870A JP 2013250160 A JP2013250160 A JP 2013250160A JP 2013250160 A JP2013250160 A JP 2013250160A JP 2015108870 A JP2015108870 A JP 2015108870A
- Authority
- JP
- Japan
- Prior art keywords
- user
- motion input
- input device
- motion
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 132
- 230000009471 action Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 106
- 230000006870 function Effects 0.000 description 80
- 238000003860 storage Methods 0.000 description 43
- 238000012545 processing Methods 0.000 description 38
- 238000003384 imaging method Methods 0.000 description 27
- 238000005259 measurement Methods 0.000 description 27
- 230000010365 information processing Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 208000003443 Unconsciousness Diseases 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
<実施例1>
図1に、本実施形態の動作入力装置を説明する説明図を例示する。本実施形態の動作入力装置10は、例えば、カメラ14aといった撮像装置を入力デバイスに備えるPC(Personal Computer)等の情報処理装置である。また、本実施形態の動作入力装置10は、
例えば、LCD(Liquid Crystal Display)15a等の表示デバイスを備える。また、本
実施形態の動作入力装置は、マイク等の音響を入力する装置を入力デバイスに備えてよい。動作入力装置10は、入力デバイスで検出した操作者(以下、ユーザと称す)の手の動き等の動作形態を該動作入力装置10への操作指示として反映する非接触UI(User Interface)機能を備える。
きを行ったり(ジェスチャ(gesture))する動作を検出し、無効モードから有効モードに
切り替えることの課題が検討される。また、動作入力装置10が一定時間内の所定回数の動作、例えば、特定の手形を突き出す、斜め方向に移動させるといった手振り動作の繰り返しを検出し、無効モードから有効モードに切り替えることの課題が検討される。
ことはない。
〔装置構成〕
図2に、動作入力装置10のハードウェア構成を例示する。図2に例示の動作入力装置は、いわゆる一般的なコンピュータの構成を有している。動作入力装置10は、接続バスB1によって相互に接続されたCPU(Central Processing Unit)11、主記憶部12
、補助記憶部13、入力部14、出力部15、通信部16を有する。主記憶部12及び補助記憶部13は、動作入力装置10が読み取り可能な記録媒体である。
テートドライブ装置、ハードディスクドライブ(HDD、Hard Disk Drive)装置等であ
る。また、補助記憶部13としては、例えば、CDドライブ装置、DVDドライブ装置、BDドライブ装置等が提示できる。記録媒体としては、例えば、不揮発性半導体メモリ(フラッシュメモリ)を含むシリコンディスク、ハードディスク、CD、DVD、BD、USB(Universal Serial Bus)メモリ、メモリカード等がある。
の表示デバイスを含む。また、出力部15には、プリンタ、スピーカ等の出力デバイスが含まれる。通信部16は、例えば、動作入力装置10が接続するネットワーク等とのインターフェースである。
〔機能ブロック構成〕
図3に、本実施形態の動作入力装置10における、機能ブロックの説明図を例示する。図3に例示の説明図において、動作入力装置10は、トラッキング入力部101、無効条件判定部102、無効状態制御部103、状態保持部104、有効状態制御部105の各機能手段を有する。さらに、動作入力装置10は、UI操作カウント部106、UI操作判定部107、UI操作処理部108、カーソル制御部109、画面表示部110の各機能手段を有する。なお、図3に例示の説明図において、動作入力装置10は、以上の各機能手段が参照し、或いは、管理するデータの格納先として、例えば、補助記憶部13を有する。
グと呼ぶことにする。
ィルタを用いる方法等が提示できる。
位置として特定する。例えば、深度値付きの画像上では、ユーザの腕部は棒状となる。動作入力装置10は、例えば、腕部が含まれる撮像画像内の極小点と該極小点周辺との深度差から棒状物体の先端部位を特定すればよい。動作入力装置10は、例えば、撮像画像に含まれる極小点周囲の一方向以外、或いは、全方向に対して深度差が大きい部分を検出し、先端部位とすることができる。
Field Communication)等で使用される電磁波を用いるとしてもよい。
を満たしたユーザの動作入力を検出する。そして動作入力装置10は、非接触UI機能の状態を有効状態から無効状態へモード切り替えを行い、無効モードに移行する。なお、本実施形態の動作入力装置10において、非接触UI機能の有効状態から無効状態へのモード切り替え条件に限定はない。
A5内を移動する。図5に説明例では、動作入力装置10は、無効状態のときのUIオブジェクトへの操作が一定時間内に一定回数に行われることで、有効状態に移行する。
10は、対象となるUIオブジェクトに対応付けられた所定機能、例えば、表示画面の切り替えや表示領域の画面スクロール等を実行することができる。つまり、非接触UI機能の状態を切り替えるための閾値を“0”とする場合、動作入力装置10は、非接触UI機能が無効状態であっても、有効状態と同じようにLCD15a等に表示されたUIオブジェクトに対する動作入力が可能となる。
用いて操作に係る動作入力間の動きの相違度を検出することにより、UIオブジェクトに対する動作入力の往復運動におけるイレギュラーな動きの検出が可能となる。
する。UI操作カウント部106で計数された計数値は、例えば、有効状態制御部105に通知される。
7は、操作に係る動作入力に応じて画面上の表示領域を移動するカーソルの表示位置がボタン部品の表示領域の境界を連続して跨ぐことを、押下操作の判定条件としてもよい。また、UIオブジェクトがスクロールバーの場合では、UI操作判定部107は、例えば、カーソルの表示位置がスクロールバーの表示領域の境界を表示領域外から表示領域内へ移動したことを検出し、表示領域のスクロール量に応じて回転する水車等の操作部品を表示するようにしてもよい。ユーザは、例えば、表示された水車等の操作部品に対してクロッシングを連続して行うことで回転量を調整し、表示領域のスクロール量を加減することができる。
ルの表示位置を更新する。カーソル制御部109は、例えば、トラッキング入力部101で検出された操作有効領域内の操作に係る動作入力の操作部位の位置情報と、LCD15a等の表示領域を移動するカーソルの位置情報との対応付けを行う。カーソル制御部109は、操作に係る動作入力の操作部位の位置情報と対応付けられたカーソルの位置情報を、画面表示部110に通知する。
、動画ビューワ画面、画像ビューワ画面等が例示できる。UIオブジェクトとして、例えば、操作ボタン、スクロールバー等が例示できる。
〔処理フロー〕
以下、図6A−6Fを参照し、本実施形態の動作入力装置10のモード切り替え処理を説明する。図6A−6Fは、動作入力装置10におけるユーザの動作入力による操作に対するモード切り替え処理のフローチャートの例示である。動作入力装置10は、例えば、主記憶部12に実行可能に展開されたコンピュータプログラムにより、図6A−6Fに例示のモード切り替え処理を実行する。なお、以下の説明において、動作入力装置10のLCD15a等の表示画面には、ユーザの操作対象となるアプリケーション画面、UIオブジェクト等が表示されているものとする。
置10は、S1−S2の処理で検出した操作に係る動作入力が、有効状態から無効状態へのモード切り替え条件を満たすか否かの判定を行う(S12)。S12の詳細な処理については、図6D−Fを用いて後述する。
で「仮操作」判定となった操作に係る動作入力に対する時間計測Tを行うため、動作入力装置10は、新たな履歴情報を主記憶部12の所定の領域に記憶する。つまり、動作入力装置10は、S22の処理で「仮操作」判定となった操作に係る動作入力を、起点として新たな時間計測Tを開始する。
示のフローチャートは、例えば、ユーザの操作に係る動作入力に対応付けられたカーソルの表示位置が、表示画面上の複数の領域を通過することを条件としたモード切り替え判定処理の一例である。
一点透視変換関数g(x)の逆変換関数g´(x)、行列Fの逆行列F−1を用いて数式(1)を変形すると、顔方向を表す回転行列Mを求める、次の数式(2)を得ることができる。
動作入力装置10は、撮像画像の時系列から取得した各パーツ領域の座標行列R等を数式(2)に代入することにより、操作に係る動作入力を行うユーザの顔方向を求めることができる。
を判定する(S48)。動作入力装置10は、画面平面上の2次元座標に変換された注視位置Wが、画面領域内に位置している場合には(S46,YES)、計測時間T2のリセットを行い(S47)、当該処理を終了する。計測時間T2は、例えば、変換された注視位置Wが画面領域内に位置していない期間を計測するタイマである。一方、動作入力装置10は、画面平面上の2次元座標に変換された注視位置Wが、画面領域内に位置していない場合には(S46,NO)、S48の処理に移行する。
の処理に移行する。S57の処理では、動作入力装置10は、例えば、S53の処理で主記憶部12の所定の領域に格納した、判定領域Riの領域番号を示す指示値Kに対して“1”のインクリメントを行う。そして、動作入力装置10は、インクリメントして得られた“K+1”を再び主記憶部12の所定の領域に格納し、当該処理を終了する。
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ら取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD−ROM、CD−R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。
《その他》
以上の実施形態は、さらに以下の付記と呼ぶ態様を含む。以下の各付記に含まれる構成要素は、他の付記に含まれる構成と組み合わせることができる。
(付記1)
ユーザの動作入力に係る動作部位の位置を取得する取得手段と、
前記取得手段で取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させる制御手段と、
を備えるユーザの動作入力装置。
(付記2)
前記動作部位の位置が、所定の有効領域から所定時間継続して離れたときに、表示部に表示された操作オブジェクトに対する前記ユーザの動作入力による操作を無効とする無効状態に切り替える切替手段と、をさらに備える付記1に記載のユーザの動作入力装置。
(付記3)
前記取得手段で取得された動作部位の位置情報に連動させて表示部の表示領域にカーソルを表示する表示手段と、をさらに備え、
前記制御手段は、前記表示部に表示された操作オブジェクトの表示位置と前記カーソルの表示位置との位置関係から、前記操作オブジェクトに対する操作を検出する、付記1または2に記載のユーザの動作入力装置。
(付記4)
前記表示手段は、前記無効状態のときのカーソル表示の態様を、前記有効状態のカーソル表示の態様とは異なる態様で表示する、付記3に記載のユーザの動作入力装置。
(付記5)
前記制御手段は、前記表示部に表示された一の操作オブジェクトに対する、一定時間内の連続した操作の検出を前記所定の操作条件とする、付記1から付記4の何れか一の付記に記載のユーザの動作入力装置。
(付記6)
前記制御手段は、前記無効状態から前記有効状態への切り替えが行なわれた直後に検出された第1の前記ユーザの動作入力を有効とし、前記有効状態への切り替えが行われた時点から一定時間を経過した後に検出した第2の前記ユーザの動作入力を有効とする、付記1から付記5の何れか一の付記に記載のユーザの動作入力装置。
(付記7)
前記制御手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向へ向いていることを、前記所定の操作条件に含む、付記1から付記6の何れか一の付記に記載のユーザの動作入力装置。
(付記8)
前記制御手段は、前記表示部に表示された操作オブジェクトに対する操作とみなせる度合いを計数し、該計数値が所定の閾値を超えることを、前記所定の操作条件に含む、付記1から付記7の何れか一の付記に記載のユーザの動作入力装置。
(付記9)
前記表示手段は、前記取得手段で取得された、前記ユーザの動作入力に係る複数の動作部位の中から、移動速度が所定値を超える動作部位ごとにカーソル表示を行い、
前記制御手段は、前記カーソル表示が行われた動作部位の中から所定の動作条件を満たす動作部位を検出すると共に、検出された操作に係る動作部位を前記有効状態時の動作入
力の動作部位とする、付記3から付記8の何れか一の付記に記載のユーザの動作入力装置。
(付記10)
前記表示手段は、前記動作部位ごとの移動速度に応じてカーソル表示の態様を変更する、付記9に記載のユーザの動作入力装置。
(付記11)
前記無効状態のときに、前記表示部の表示領域に前記操作を有効状態に復帰させるための1つ、または、複数の操作オブジェクトを表示する手段と、をさらに備え、
前記制御手段は、前記表示部に表示された前記操作を有効状態に復帰させるための1つの操作オブジェクトに対する一定時間内の一定回数の、ユーザの動作入力による操作、または、複数の操作オブジェクトに対する一定時間内の、所定順の一定回数の、ユーザの動作入力による操作の検出を前記所定の操作条件とする、付記1から付記10の何れか一の付記に記載のユーザの動作入力装置。
(付記12)
前記切替手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向に対し、一定時間に継続して向いていないときに、前記操作を無効とする無効状態に切り替える、付記2から付記11の何れか一の付記に記載のユーザの動作入力装置。
(付記13)
前記有効領域は、動作入力を行うユーザの位置と操作オブジェクトが表示される表示部の表示領域との対応関係に基づいて設定される、付記2から付記12の何れか一の付記に記載のユーザの動作入力装置。
(付記14)
特定の手形または特定の手の移動軌跡を検出する画像検出手段と、
特定の音声を検出する音声検出手段とをさらに備え、
前記切替手段は、前記特定の手形、前記特定の手の移動軌跡、または前記特定の音声が検出されたときに、前記操作を無効とする無効状態に切り替える、付記2から付記13の何れか一の付記に記載のユーザの動作入力装置。
(付記15)
前記切替手段は、前記表示部の特定領域を一定時間内に移動する操作を検出し、前記操作を無効とする無効状態に切り替える、付記2から付記14の何れか一付記に記載のユーザの動作入力装置。
(付記16)
操作オブジェクトを表示する表示部を備えるコンピュータに、
ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、
を実行させるためのユーザの動作入力プログラム。
(付記17)
操作オブジェクトを表示する表示部を備えるコンピュータが、
ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、
を実行するユーザの動作入力方法。
11 CPU
12 主記憶部
13 補助記憶部
14 入力部
14a カメラ
14b LED
14c 受光器
14d 装着物
15 出力部
15a LCD
16 通信部
101 トラッキング入力部
102 無効条件判定部
103 無効状態制御部
104 状態保持部
105 有効状態制御部
106 UI操作カウント部
107 UI操作判定部
108 UI操作処理部
109 カーソル制御部
110 画面表示部
Claims (17)
- ユーザの動作入力に係る動作部位の位置を取得する取得手段と、
前記取得手段で取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させる制御手段と、
を備えるユーザの動作入力装置。 - 前記動作部位の位置が、所定の有効領域から所定時間継続して離れたときに、表示部に表示された操作オブジェクトに対する前記ユーザの動作入力による操作を無効とする無効状態に切り替える切替手段と、をさらに備える請求項1に記載のユーザの動作入力装置。
- 前記取得手段で取得された動作部位の位置情報に連動させて表示部の表示領域にカーソルを表示する表示手段と、をさらに備え、
前記制御手段は、前記表示部に表示された操作オブジェクトの表示位置と前記カーソルの表示位置との位置関係から、前記操作オブジェクトに対する操作を検出する、請求項1または2に記載のユーザの動作入力装置。 - 前記表示手段は、前記無効状態のときのカーソル表示の態様を、前記有効状態のカーソル表示の態様とは異なる態様で表示する、請求項3に記載のユーザの動作入力装置。
- 前記制御手段は、前記表示部に表示された一の操作オブジェクトに対する、一定時間内の連続した操作の検出を前記所定の操作条件とする、請求項1から請求項4の何れか一項に記載のユーザの動作入力装置。
- 前記制御手段は、前記無効状態から前記有効状態への切り替えが行なわれた直後に検出された第1の前記ユーザの動作入力を有効とし、前記有効状態への切り替えが行われた時点から一定時間を経過した後に検出した第2の前記ユーザの動作入力を有効とする、請求項1から請求項5の何れか一項に記載のユーザの動作入力装置。
- 前記制御手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向へ向いていることを、前記所定の操作条件に含む、請求項1から請求項6の何れか一項に記載のユーザの動作入力装置。
- 前記制御手段は、前記表示部に表示された操作オブジェクトに対する操作とみなせる度合いを計数し、該計数値が所定の閾値を超えることを、前記所定の操作条件に含む、請求項1から請求項7の何れか一項に記載のユーザの動作入力装置。
- 前記表示手段は、前記取得手段で取得された、前記ユーザの動作入力に係る複数の動作部位の中から、移動速度が所定値を超える動作部位ごとにカーソル表示を行い、
前記制御手段は、前記カーソル表示が行われた動作部位の中から所定の動作条件を満たす動作部位を検出すると共に、検出された操作に係る動作部位を前記有効状態時の動作入力の動作部位とする、請求項3から請求項8の何れか一項に記載のユーザの動作入力装置。 - 前記表示手段は、前記動作部位ごとの移動速度に応じてカーソル表示の態様を変更する、請求項9に記載のユーザの動作入力装置。
- 前記無効状態のときに、前記表示部の表示領域に前記操作を有効状態に復帰させるための1つ、または、複数の操作オブジェクトを表示する手段と、をさらに備え、
前記制御手段は、前記表示部に表示された前記操作を有効状態に復帰させるための1つの操作オブジェクトに対する一定時間内の一定回数の、ユーザの動作入力による操作、または、複数の操作オブジェクトに対する一定時間内の、所定順の一定回数の、ユーザの動作入力による操作の検出を前記所定の操作条件とする、請求項1から請求項10の何れか一項に記載のユーザの動作入力装置。 - 前記切替手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向に対し、一定時間に継続して向いていないときに、前記操作を無効とする無効状態に切り替える、請求項2から請求項11の何れか一項に記載のユーザの動作入力装置。
- 前記有効領域は、動作入力を行うユーザの位置と操作オブジェクトが表示される表示部の表示領域との対応関係に基づいて設定される、請求項2から請求項12の何れか一項に記載のユーザの動作入力装置。
- 特定の手形または特定の手の移動軌跡を検出する画像検出手段と、
特定の音声を検出する音声検出手段と、をさらに備え、
前記切替手段は、前記特定の手形、前記特定の手の移動軌跡、または前記特定の音声が検出されたときに、前記操作を無効とする無効状態に切り替える、請求項2から請求項13の何れか一項に記載のユーザの動作入力装置。 - 前記切替手段は、前記表示部の特定領域を一定時間内に移動する操作を検出し、前記操作を無効とする無効状態に切り替える、請求項2から請求項14の何れか一項に記載のユーザの動作入力装置。
- 操作オブジェクトを表示する表示部を備えるコンピュータに、
ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出しとたきに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、
を実行させるためのユーザの動作入力プログラム。 - 操作オブジェクトを表示する表示部を備えるコンピュータが、
ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、
を実行するユーザの動作入力方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013250160A JP6255954B2 (ja) | 2013-12-03 | 2013-12-03 | 動作入力装置、動作入力プログラム及び動作入力方法 |
US14/548,789 US20150153834A1 (en) | 2013-12-03 | 2014-11-20 | Motion input apparatus and motion input method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013250160A JP6255954B2 (ja) | 2013-12-03 | 2013-12-03 | 動作入力装置、動作入力プログラム及び動作入力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015108870A true JP2015108870A (ja) | 2015-06-11 |
JP6255954B2 JP6255954B2 (ja) | 2018-01-10 |
Family
ID=53265305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013250160A Expired - Fee Related JP6255954B2 (ja) | 2013-12-03 | 2013-12-03 | 動作入力装置、動作入力プログラム及び動作入力方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150153834A1 (ja) |
JP (1) | JP6255954B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037351A (ja) * | 2015-08-06 | 2017-02-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体 |
JP2023523452A (ja) * | 2021-02-02 | 2023-06-05 | 北京地平▲線▼机器人技▲術▼研▲発▼有限公司 | 操作体に基づく動的表示方法、装置、記憶媒体及び電子機器 |
JP2023534589A (ja) * | 2021-06-15 | 2023-08-10 | 深▲せん▼地平▲線▼机器人科技有限公司 | 操作体をガイドして非接触操作を行う方法及び装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017016198A (ja) * | 2015-06-26 | 2017-01-19 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN111610858B (zh) * | 2016-10-26 | 2023-09-19 | 创新先进技术有限公司 | 基于虚拟现实的交互方法及装置 |
JP2018128829A (ja) * | 2017-02-08 | 2018-08-16 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP7180759B2 (ja) * | 2019-04-18 | 2022-11-30 | 日本電気株式会社 | 人物特定装置、人物特定方法およびプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001100903A (ja) * | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | 視線検出機能搭載装置 |
JP2005084817A (ja) * | 2003-09-05 | 2005-03-31 | Nippon Telegr & Teleph Corp <Ntt> | 3次元オブジェクト姿勢操作方法およびプログラム |
JP2006243784A (ja) * | 2005-02-28 | 2006-09-14 | Kobe Univ | ポインティングシステム及びポインティング方法 |
JP2008269174A (ja) * | 2007-04-18 | 2008-11-06 | Fujifilm Corp | 制御装置、方法およびプログラム |
JP2013016060A (ja) * | 2011-07-05 | 2013-01-24 | Shimane Prefecture | 操作入力装置および操作判定方法並びにプログラム |
JP2013037675A (ja) * | 2011-06-23 | 2013-02-21 | Omek Interactive Ltd | 近距離動作のトラッキングのシステムおよび方法 |
WO2013038293A1 (en) * | 2011-09-15 | 2013-03-21 | Koninklijke Philips Electronics N.V. | Gesture-based user-interface with user-feedback |
WO2013074333A1 (en) * | 2011-11-14 | 2013-05-23 | Microsoft Corporation | Adaptive area cursor |
JP2013186646A (ja) * | 2012-03-07 | 2013-09-19 | Toshiba Corp | 情報処理装置および情報処理装置の制御方法 |
JP2013239085A (ja) * | 2012-05-16 | 2013-11-28 | Yahoo Japan Corp | 表示制御装置、表示制御方法、情報表示システム、およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2417176A (en) * | 2004-08-12 | 2006-02-15 | Ibm | Mouse cursor display |
US20060267966A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Hover widgets: using the tracking state to extend capabilities of pen-operated devices |
US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
US7996793B2 (en) * | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US8847920B2 (en) * | 2011-02-28 | 2014-09-30 | Lenovo (Singapore) Pte. Ltd. | Time windows for sensor input |
US10620775B2 (en) * | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
-
2013
- 2013-12-03 JP JP2013250160A patent/JP6255954B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-20 US US14/548,789 patent/US20150153834A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001100903A (ja) * | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | 視線検出機能搭載装置 |
JP2005084817A (ja) * | 2003-09-05 | 2005-03-31 | Nippon Telegr & Teleph Corp <Ntt> | 3次元オブジェクト姿勢操作方法およびプログラム |
JP2006243784A (ja) * | 2005-02-28 | 2006-09-14 | Kobe Univ | ポインティングシステム及びポインティング方法 |
JP2008269174A (ja) * | 2007-04-18 | 2008-11-06 | Fujifilm Corp | 制御装置、方法およびプログラム |
JP2013037675A (ja) * | 2011-06-23 | 2013-02-21 | Omek Interactive Ltd | 近距離動作のトラッキングのシステムおよび方法 |
JP2013016060A (ja) * | 2011-07-05 | 2013-01-24 | Shimane Prefecture | 操作入力装置および操作判定方法並びにプログラム |
WO2013038293A1 (en) * | 2011-09-15 | 2013-03-21 | Koninklijke Philips Electronics N.V. | Gesture-based user-interface with user-feedback |
WO2013074333A1 (en) * | 2011-11-14 | 2013-05-23 | Microsoft Corporation | Adaptive area cursor |
JP2013186646A (ja) * | 2012-03-07 | 2013-09-19 | Toshiba Corp | 情報処理装置および情報処理装置の制御方法 |
JP2013239085A (ja) * | 2012-05-16 | 2013-11-28 | Yahoo Japan Corp | 表示制御装置、表示制御方法、情報表示システム、およびプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037351A (ja) * | 2015-08-06 | 2017-02-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体 |
JP2023523452A (ja) * | 2021-02-02 | 2023-06-05 | 北京地平▲線▼机器人技▲術▼研▲発▼有限公司 | 操作体に基づく動的表示方法、装置、記憶媒体及び電子機器 |
JP7495156B2 (ja) | 2021-02-02 | 2024-06-04 | 北京地平▲線▼机器人技▲術▼研▲発▼有限公司 | 操作体に基づく動的表示方法、装置、記憶媒体及び電子機器 |
JP2023534589A (ja) * | 2021-06-15 | 2023-08-10 | 深▲せん▼地平▲線▼机器人科技有限公司 | 操作体をガイドして非接触操作を行う方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US20150153834A1 (en) | 2015-06-04 |
JP6255954B2 (ja) | 2018-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6255954B2 (ja) | 動作入力装置、動作入力プログラム及び動作入力方法 | |
US10620712B2 (en) | Interactive input system and method | |
KR101572307B1 (ko) | 정보 처리 장치, 정보 처리 장치의 제어 방법, 및 저장 매체 | |
US9128526B2 (en) | Operation control device, operation control method, and computer-readable recording medium for distinguishing an intended motion for gesture control | |
EP2480955B1 (en) | Remote control of computer devices | |
US9529527B2 (en) | Information processing apparatus and control method, and recording medium | |
US9684372B2 (en) | System and method for human computer interaction | |
US9477324B2 (en) | Gesture processing | |
US9405373B2 (en) | Recognition apparatus | |
US20120274550A1 (en) | Gesture mapping for display device | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
US11054896B1 (en) | Displaying virtual interaction objects to a user on a reference plane | |
WO2014106219A1 (en) | User centric interface for interaction with visual display that recognizes user intentions | |
US9880684B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
US9262012B2 (en) | Hover angle | |
WO2017029749A1 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
US10346992B2 (en) | Information processing apparatus, information processing method, and program | |
US11886643B2 (en) | Information processing apparatus and information processing method | |
JP2012238293A (ja) | 入力装置 | |
JP2010205223A (ja) | 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置 | |
JP2015022624A (ja) | 情報処理装置およびその制御方法、コンピュータプログラム、記憶媒体 | |
JP2015084173A (ja) | 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体 | |
KR101374316B1 (ko) | 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법 | |
JP7489048B2 (ja) | ジェスチャ認識装置、システム及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6255954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |