JP2011081469A - 入力装置 - Google Patents

入力装置 Download PDF

Info

Publication number
JP2011081469A
JP2011081469A JP2009231110A JP2009231110A JP2011081469A JP 2011081469 A JP2011081469 A JP 2011081469A JP 2009231110 A JP2009231110 A JP 2009231110A JP 2009231110 A JP2009231110 A JP 2009231110A JP 2011081469 A JP2011081469 A JP 2011081469A
Authority
JP
Japan
Prior art keywords
pointer
input
movement
user
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009231110A
Other languages
English (en)
Inventor
Yuichi Kurosawa
Takashi Matsubara
孝志 松原
雄一 黒澤
Original Assignee
Hitachi Consumer Electronics Co Ltd
日立コンシューマエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd, 日立コンシューマエレクトロニクス株式会社 filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2009231110A priority Critical patent/JP2011081469A/ja
Publication of JP2011081469A publication Critical patent/JP2011081469A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

【課題】ユーザにとって使い勝手のよい入力装置を提供する。
【解決手段】入力装置100は、所定の動き画像信号が入力される入力部と、該入力部に入力された動き画像信号から動き検出を行う動き検出部と、所定の映像信号を出力する映像信号処理部と、制御部とを備え、該制御部は、該動き検出部により操作者が手を回転する動きが検出された場合に、該手を回転する動きに同期して、回転する動きの検出状況を操作者に説明する所定の第一の映像信号を前記映像信号処理部より出力し、該第一の映像信号に同期して、所定の操作を確定するまでの該操作の進行状況を操作者に説明する所定の第二の映像信号を前記映像信号処理部より出力するように前記映像信号処理部を制御する。
【選択図】図1

Description

本発明は、入力装置に関する。

グラフィカルユーザインタフェース(以下、GUI)を介して、ユーザ(操作者)の操作を受け付けると同時にユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している。

特許文献1では、ユーザの操作を支援するための操作ガイダンス情報を示す携帯端末が開示される。ユーザは、当該ガイダンスに従い、手指を上下左右に動かして、目的の機能を実行することができる。

特許文献2では、ユーザの操作となるジェスチャの認識対象を視覚的に表すためのジェスチャ画像表示を行うインタフェース装置が開示される。ユーザは、ジェスチャ画像を確認しながら、装置の操作を行うことができる。

特許文献3では、ユーザの操作となるジェスチャを表示したアイコンと行える操作を表示する車載機器が開示される。ユーザは、容易に行うべきジェスチャを知ることができる。

特許文献4では、ステアリング上の手の状態と操作対象機器を示す選択ガイド情報を表示する車両用操作入力装置が開示される。ユーザは、当該ガイドを参照して、手を動かして、目的の操作機器を選択することができる。

特開2007−213245号公報 特開2008−52590号公報 特開2001−216069号公報 特開2005−250785号公報

いずれの特許文献も、操作のための動き・ポーズが表示され、ユーザは、これらに従って、所定の装置に関する動作を実行することが開示されている。

しかしながら、ユーザが、操作のために、所定の動きをしたり、所定のポーズをとろうとする際、所定の動き、所定のポーズに至るまでに、たまたま、無意識に行う別の動き、別のポーズが、操作のためのものと認識されてしまい、意図しない装置に関する動作が実行されてしまう恐れがある。

例えば、ユーザが、表示されたコンテンツを右方向に動かすために、手を右方向に動かそうとする際、右方向にあった手を左方向に戻す動きが、コンテンツを左方向に動かすための操作であると認識され、実行されてしまう恐れがある。

つまり、いずれの特許文献も、ユーザが操作のためのジェスチャを行う際に、ユーザの動きの一つ一つが、認識されている状態なのかどうかをユーザに直感的に理解させることは考慮されていない。

そこで、本発明は、かかる事情を考慮した上で、ユーザが操作時に行う動きがどう認識されているのかを知らしめ、意図しない操作がされないようにした、使い勝手の良い入力装置を提供することを目的とする。

上記目的を達成するために、本発明の入力装置は、操作者の動きが画像信号として入力される入力部と、前記入力部に入力された画像信号から、手の動きを検出する動作検出部と、グラフィカルユーザインタフェースを表示する表示部と、前記動作検出部で検出された手の動きに従って、前記表示部で表示される前記グラフィカルユーザインタフェースを変更させる制御部と、を備え、前記制御部は、前記動作検出部で検出された手の動きに同期するようにポインタを動かし、ポインタが動いた量に対応した動作量を示すように、前記グラフィカルユーザインタフェースを変更させる。

本発明によれば、例えば、ユーザがジェスチャでテレビ等の装置の操作を行おうとした場合に、ユーザは今自分が行っているジェスチャが、どう認識されているのかを知り、意図した操作のみが行われるように、ジェスチャを行うことができる。

実施例1の入力装置を示す概観図である。 実施例1の入力装置の構成を示すブロック図である。 実施例1の入力装置のGUIの表示の一部を示す概観図である。 実施例1の入力装置の動作を説明する流れ図である。 実施例2のユーザ操作と入力装置の動作の対応を説明する概観図である。 実施例2の入力装置のGUIの表示の一部を示す概観図である。 実施例2の入力装置のGUIの表示の一部を示す概観図である。 実施例2の入力装置のGUIの表示の一部を示す概観図である。 実施例3のユーザ操作と入力装置の動作の対応を説明する概観図である。 実施例3の入力装置の動作を説明する流れ図である。

以下、本発明を適用した各実施例について説明する。

本実施例の入力装置100は、ユーザを撮像した動画像からユーザの手の動作を検出し、該動作に応じてGUIの表示を変更することが可能な装置である。

図1は、表示部101、撮像部102、ユーザ103、操作ガイド104により入力装置100をユーザが使用する際の動作環境の概観を示す。

表示部101は、入力装置100の表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成される。表示部101は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像信号処理部202から供給される映像データを該表示パネルに表示する。撮像部102は、入力装置100に動画像を入力するための装置であり、たとえばカメラである。ユーザ103は、入力装置100に対して操作を行うユーザである。ポインタ104は表示部101に表示されるGUIであり、前記ユーザ103に前記入力装置100の操作位置や操作状態を示すためのグラフィックスである。

入力装置100は、例えば図2に示すように、表示部101、撮像部102、動作検出(動き検出)部200、制御部201、映像信号処理部202、手位置検出部203、円動作検出部204を備える。

動作検出(動き検出)部200は、撮像部102から動画像信号を受信し、受信した動画像信号より、手位置検出部203において人物の手の位置を検出し、円動作検出部204において人物が手を回す動きを検出する。さらに、検出した動作に応じて該動作に対応する所定のコマンドを出力する。制御部201は例えばマイクロプロセッサから構成され、動作検出(動き検出)部200から受信した前記コマンドに応じて、映像信号処理部202の動作を制御する。映像信号処理部202は、例えば、ASIC、FPGA、MPU等の処理装置により構成される。映像信号処理部202は、制御部201の制御に従いGUIの映像データを、表示部101で処理可能な形態に変換して出力する。

図3は、本発明の入力装置100をユーザ103が操作する際のポインタ104の表示の変化を示す。アイコン300は、ユーザ103が入力装置100を操作する際に、特定の操作を確定するまでの操作過程の状態を示すグラフィックスである。図3の「操作開始状態」の図は、ユーザ103が入力装置100の操作を開始する際の状態を示している。本実施例の入力装置100は、ユーザ103が手を回す動作を認識し、手を回す動作に対応してポインタ104の表示が回転する構成となっている。また、ポインタ104の表示の回転に応じて、アイコン300の大きさが変化し、アイコン300の大きさの変化によって、特定の操作が確定するまでの操作過程の状態をユーザ103に示す。従って、ユーザ103が操作を開始した際は、図3の「操作開始状態」の図が表示され、ユーザ103が入力装置100に向かって時計回りに手を回す操作を行うと、図3の「操作開始状態」から「操作確定状態A」への変化に示すように、ポインタ104が回転しながらアイコン300が大きくなる。一方、ユーザ103が入力装置100に向かって反時計回りに手を回す操作を行うと、図3の「操作開始状態」から「操作確定状態B」への変化に示すようにポインタ104が回転しながらアイコン300が小さくなる。このようにして、ポインタ104及びアイコン300が、図3の「操作確定状態A」や「操作確定状態B」に示す状態になるまで、ユーザ103が手を回す操作を継続することにより、「操作確定状態A」や「操作確定状態B」に対応した操作が実行される。

次に、入力装置100の動作を、図1ないし図3、及び、図4のフローチャートを用いて説明する。

入力装置100は、ユーザ103を撮像した動画像信号からユーザ103の手の動作を検出し、該動作に応じてGUIの表示を変更することが可能な装置である。

まず、入力装置100がユーザ103の手の動きを検出し、該動作に応じてGUIを表示するまでの処理の流れについて、図2を参照して説明する。ユーザ103が、入力装置100に対し、図示しない電源ボタンの押下等により、入力装置100の動作を開始させたとする。制御部201は前記動作の開始に応答して、映像信号処理部202に所定の映像を表示する指示を与える。映像信号処理部202は前記指示に応答して、表示部101の入力に適した映像信号を出力する。これにより、表示部101には映像が表示される。

また、制御部201は前記動作の開始に応答して、撮像部102に対して動画像の撮像の開始を指示する。撮像部102は前記指示に応答して、動画像の撮像を開始し、撮像した動画像のデータを動作検出(動き検出)部200に出力する。動作検出(動き検出)部200は受信した前記動画像のデータから特徴点抽出などの方法を用いて、手位置検出部203にてユーザの手の位置を検出し、円動作検出部204にてユーザが手を回す動きを検出する。さらに、該手の位置や手を回す動きの検出結果に応じたコマンドを制御部201に出力する。制御部201は該コマンドに応じてGUIの表示や表示の変更を映像信号処理部202に指示する。映像信号処理部202は前記指示に応答して、出力する映像信号を変更し、これにより表示部101上のGUIの表示が変更される。

次に、入力装置100をユーザ103が操作する際のポインタ104及びアイコン300の表示方法を図4及び図5を用いて説明する。

まず、ユーザ103は所定の手順にて入力装置100の動作を開始させ、入力装置100の動作検出部200は先に述べた手順で人物の手の動き(ジェスチャ)の認識を開始する(ステップ400)。

次にユーザ103が入力装置100に向かって手を差し出したとする(ステップ401:Yes)。入力装置100はユーザ103の手の位置を認識し、該手の位置に応じてポインタ104を表示部101に表示する(ステップ402)。この際に、ユーザ103が手を下ろすと、入力装置100はポインタ104の表示を消す(ステップ401:No)。

次にユーザ103が入力装置100に向かって手を回す動作を行ったとする(ステップ403:Yes)。入力装置100は該手を回す動作を認識し、図3に示すように、ポインタ104を回転させ、ポインタ104の回転に応じてアイコン300の大きさを変化させる(ステップ404)。さらに、ユーザ103が手を回す動作を継続したことにより、ポインタ104が所定の角度まで回転し(ステップ405:Yes)、図3の「操作確定状態A」や「操作確定状態B」に示す状態になった場合、入力装置100はポインタ104の位置や回転方向に応じた操作を実行させる(ステップ406)。また、ポインタ104が操作開始状態から所定の角度まで回転していない場合は、前記ステップ403からステップ405が繰り返される(ステップ405:No)。この際に、ポインタ104は、ユーザ103が手を回す動きに同期するように回転し、さらにポインタ104の回転に応じてアイコン300の大きさが変化する。これにより、ユーザ103に対し、その瞬間にどのような操作状態にあり、どこまで操作を継続すれば操作が実行されるか、どの程度手を動かせばよいのかを直感的に説明することができる。

一方、前記ステップ403において、ユーザ103が手を回す動作をしていなかったとする(ステップ403:No)。入力装置100は手を回していない状態でのユーザ103の手の動きを認識し、例えば、上下左右の方向など、回転する方向とは関連のない方向にユーザの手が動いている場合には(ステップ407:Yes)、ポインタ104およびアイコン300の表示を、図3の「操作開始状態」に戻す。さらに、ユーザ103の手の位置に応じて、表示部101の表示領域内でのポインタ104およびアイコン300の位置を移動する。これにより、次にユーザ103が手を回す動きを行い、図3の「操作確定状態A」や「操作確定状態B」に示す状態になり、操作が実行される際には、GUI内のポインタ104およびアイコン300の位置に応じた操作が実行される。

なお、前記ステップ407において、ユーザ103の手が動いていない場合は、前記ステップ401に戻り、その後の処理が継続される(ステップ407:No)。また、ステップ409に続き、ユーザが所定の操作にて手の動きの認識の停止を指示した際(ステップ410)は、入力装置100は手の動きの認識を終了する。

このように、入力装置100は、ユーザ103が手を動かす動作を認識し、該動作に応じてポインタ104やアイコン300の表示を変化させ、ユーザ103に対して操作の状態を提示する。例えば、ユーザ103が表示部101に表示された地図を操作する際には、手を動かすことによりポインタ104およびアイコン300を移動し、表示する地図の位置を変更し、手を回す動きをすることにより、時計回りに回した際には地図を拡大し、反時計回りに回した際には地図を縮小するなどの操作を行うことができる。これにより、ユーザは、その瞬間にどのような操作状態にあり、どの程度手を動かせばよいのか、どこまで操作すれば所望の操作が実行されるかを、ユーザの動きの一つ一つに対応して確認することができるため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができ、GUIの操作を円滑に行うことができる。

次に、実施例2について説明する。本実施例では、実施例1の入力装置100とは異なり、複数の選択項目の中から任意の項目を選択する構成のGUIを、入力装置100において操作できるようにした場合の操作方法とGUIの表示方法について説明する。入力装置100の構成および操作方法は実施例1と同様であり、GUIの構成および、GUI内における前記ポインタ104の表示方法が異なる。

以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と同等なものには同一の符合を付し、その説明は割愛する。

図5は、本実施例において入力装置100をユーザ103が操作する際の、ユーザ103の手の動きと表示部101に表示されるGUIの動きの対応を示している。選択項目500は表示部101に表示されたGUIであり、該GUIに配置された複数の選択項目から任意の項目を選択する構成となっている。図5の「状態A」はユーザ103の手の移動に応じて、該GUI内のポインタ104の位置が変化し、ユーザ103がポインタ104によりGUI内の任意の位置を自由に指し示すことができる様子を示している。一方、図5の「状態B」は、ユーザ103が予めポインタ104を移動した位置において、ユーザ103が手を回す動作をした際に、ポインタ104が該手を回す動きに合わせて回転する様子を示している。

次に、本実施例の入力装置100におけるポインタ104の表示方法を、図6ないし図8を用いて説明する。本実施例の入力装置100は実施例1と同様の方法でユーザ103の手の動きを認識することが可能である。

図6は、実施例1と同様の方法でポインタ104が表示された際のポインタ104およびアイコン600の外観の動きの一例を示している。アイコン600はユーザ103が前記GUI内で任意の場所を指し示すために、矢印型の形状となっている。ユーザ103が入力装置100に対し手を差し出すと、図6の「操作開始状態」の図に示すようにポインタ104とアイコン600を表示する。また、ユーザ103が図5の「状態A」に示したようにポインタ104を移動させる際にも、ポインタ104およびアイコン600は図6の「操作開始状態」となる。

次に、図5の「状態B」に示すように、ユーザ103が手を回す動作をした場合、実施例1と同様にポインタ104が回転し、該回転に応じてアイコン600の大きさが変化する。図6における「操作開始状態」から「操作確定状態A」への変化は、ユーザが手を時計回りに回した際に、ポインタ104の回転に応じてアイコン600の大きさが小さくなる様子を示している。例えば、ユーザ103が手を時計回りに回し、図6の「操作確定状態A」になった際には、前記選択項目500の中でポインタ104およびアイコン600と同じ位置にある項目を選択する操作が実行される。一方、図6における「操作開始状態」から「操作確定状態B」への変化は、ユーザが手を反時計回りに回した際に、ポインタ104の回転に応じてアイコン600の大きさが大きくなる様子を示している。例えば、ユーザ103が手を反時計回りに回し、図6の「操作状態B」になった際には、前記GUIに対して、図示しない前回表示状態に戻るなど、いわゆる「戻る」や「取り消し」の操作が実行される。

図7は、実施例1と同様の方法でポインタ104が表示された際の、図6とは異なるポインタ104の外観の動きの一例を示している。ユーザ103が入力装置100に対し手を差し出すと、図7の「操作開始状態」の図に示すようにポインタ104を表示する。また、ユーザ103が図5の「状態A」に示したようにポインタ104を移動させる際にも、ポインタ104は図6の「操作開始状態」となる。

次に、図5の「状態B」に示すように、ユーザ103が手を回す動作をした場合、実施例1と同様にポインタ104が回転する。また同時に、該回転に応じてポインタ104の大きさが変化する。図7における「操作開始状態」から「操作確定状態A」への変化は、ユーザが手を時計回りに回した際に、ポインタ104が回転しながらポインタ104の大きさが小さくなる様子を示している。例えば、ユーザ103が手を時計回りに回し、図7の「操作確定状態A」になった際には、前記選択項目500の中でポインタ104と同じ位置にある項目を選択する操作が実行される。一方、図7における「操作開始状態」から「操作確定状態B」への変化は、ユーザが手を反時計回りに回した際に、ポインタ104が回転しながらポインタ104の大きさが大きくなる様子を示している。例えば、ユーザ103が手を反時計回りに回し、図7の「操作状態B」になった際には、前記GUIに対して、図示しない前回表示状態に戻るなど、いわゆる「戻る」や「取り消し」の操作が実行される。

図8は、実施例1と同様の方法でポインタ104が表示された際の、図6とは異なるポインタ104およびライン800の外観の動きの一例を示している。ライン800はユーザ103が前記GUI内で任意の場所を指し示すために、ポインタ104の動きに同期してGUIに描画されるグラフィックスである。ユーザ103が入力装置100に対し手を差し出すと、図8の「操作開始状態」の図に示すようにポインタ104を表示する。また、ユーザ103が図5の「状態A」に示したようにポインタ104を移動させる際にも、ポインタ104は図8の「操作開始状態」となる。

次に、図5の「状態B」に示すように、ユーザ103が手を回す動作をした場合、実施例1と同様にポインタ104が回転し、該回転に応じてポインタ104の周りにライン800が描画される。図8における「操作開始状態」から「操作確定状態」への変化は、ユーザが手を時計回りに回した際に、ポインタ104の回転に応じてライン800が描画される様子を示している。例えば、ユーザ103が手を時計回りに回し、図8の「操作確定状態」になった際には、前記選択項目500の中でポインタ104およびライン800で描画された円と同じ位置にある項目を選択する操作が実行される。

このように、入力装置100は、ユーザ103が手を動かす動作を認識し、該動作に応じてポインタ104やアイコン及びラインの表示を変化させ、ユーザ103に対して操作の状態を提示する。これにより、ユーザは、その瞬間にどのような操作状態にあり、どの程度手を動かせばよいのか、どこまで操作すれば所望の操作が実行されるかを、ユーザの動きの一つ一つに対応して確認することができるため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができ、GUIの操作を円滑に行うことができる。

次に、実施例3について説明する。本実施例では、実施例1および実施例2の入力装置100とは異なり、表示部101に表示したGUIにおいて特定の操作を行うことができる範囲が予め決められており、該特定の操作を行うことができる範囲の内側と外側で、操作方法やポインタの表示方法が切り替わる構成のGUIを、入力装置100において操作できるようにした場合の操作方法とGUIの表示方法について説明する。入力装置100の構成は実施例1と同様であり、GUIの構成および、GUI内における前記ポインタ104の表示方法が異なる。

以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と同等なものには同一の符合を付し、その説明は割愛する。

図9は、本実施例において入力装置100をユーザ103が操作する際の、ユーザ103の手の動きと表示部101に表示されるGUIの動きの対応を示している。ポインタ900は、実施例1と同様の方法を用いて、ユーザ103の手の動きに応じて、該GUI内の位置を指し示すことができるポインタである。操作領域901は、ポインタ900が移動し操作領域901の内側にある場合に、特定の操作が有効になる該GUI上の領域を示している。例えば、図9では、表示部101に地図を表示し、該地図上の特定の領域の中では地図を拡大する操作を行うことができるGUIを示している。従って、ポインタ900が操作領域901の内側にある場合には、地図を拡大する操作を行うことができ、ポインタ900が操作領域901の外側にある場合には、地図を拡大する操作を行うことができない。円操作ポインタ902は、ユーザ103の操作により、ポインタ900が操作領域901の内側に入った際に、ポインタ900に代わり該GUI内に表示されるポインタである。

図9の「状態A」はユーザ103の手の移動に応じて、該GUI内のポインタ900の位置が変化し、ユーザ103がポインタ900によりGUI内の任意の位置を自由に指し示すことができる様子を示している。また、図9の「状態B」は、ユーザ103がポインタ900を操作領域900のある方向に移動している様子を示している。さらに、図9の「状態C」は、ユーザ103がポインタ900を操作領域900の内側に移動したことにより、ポインタ900に代わり円操作ポインタ902が表示され、ユーザ103が手を回す操作により、円操作ポインタ902を操作する状態を示している。

次に、入力装置100をユーザ103が操作する際のポインタ900及び円操作ポインタ902の表示方法を図9及び図10を用いて説明する。

まず、ユーザ103は所定の手順にて入力装置100の動作を開始させ、入力装置100の動作検出部200は先に述べた手順で人物の手の動き(ジェスチャ)の認識を開始する(ステップ1000)。

次にユーザ103が入力装置100に向かって手を差し出したとする(ステップ1001:Yes)。入力装置100はユーザ103の手の位置を認識し、該手の位置に応じてポインタ900を表示部101に表示する(ステップ1002)。この際に、ユーザ103が手を下ろすと、入力装置100はポインタ900の表示を消す(ステップ1001:No)。

次に表示部101に表示されたポインタ900の位置が操作領域900の内側にあったとする(ステップ1003:Yes)。入力装置100はポインタ900に代わり円操作ポインタ902を表示する。また、実施例1および実施例2と同様に、ユーザ103の手の動きに応じて、円操作ポインタ902を回転させる(ステップ1004)。なお、実施例1および実施例2と同様に、円操作ポインタの動きに関連するアイコンを表示する際は、入力装置100は、円操作ポインタの回転に伴い該アイコンの大きさを変化させる。

さらに、ユーザ103が手を回す動作を継続したことにより、円操作ポインタ902が所定の角度まで回転した場合(ステップ1005:Yes)、入力装置100は円操作ポインタ902が位置する操作領域900や円操作ポインタ902の回転方向に応じた操作を実行させる(ステップ1006)。また、円操作ポインタ902が操作開始状態から所定の角度まで回転していない場合は、前記ステップ1003からステップ1005が繰り返される(ステップ1005:No)。この際に、円操作ポインタ902はユーザ103が手を回す動きに同期するように回転する。

一方、前記ステップ1003において、ポインタ900が操作領域901の外側にあったとする(ステップ1003:No)。入力装置100は、いずれかの操作領域901の中で円操作ポインタ902を表示していた際には、円操作ポインタ902に代わりポインタ900を表示し(ステップ1007)、ユーザ103が手を動かすと(ステップ1008:Yes)、ユーザ103の手の位置に応じてポインタ900の位置を移動する(ステップ1009)。 なお、前記ステップ1008において、ユーザ103の手が動いていない場合は、前記ステップ1001に戻り、その後の処理が継続される(ステップ1008:No)。また、ステップ1009に続き、ユーザが所定の操作にて手の動きの認識の停止を指示した際(ステップ1010)は、入力装置100は手の動きの認識を終了する。

このように、入力装置100は、ユーザ103が手を動かす動作を認識し、該動作に応じてポインタ900を移動させ、さらに表示部101におけるポインタ900の位置に応じて、ポインタ900に代わり円操作ポインタ902を表示することにより、ユーザ103に対して指示している位置で有効な操作を提示する。例えば、ユーザ103が表示部101に表示された地図を操作する際には、手を動かすことによりポインタ900を移動し、ポインタ900が円操作ポインタ902に変化することで、地図上で拡大ができる箇所を確認し、さらに円操作ポインタ902が表示される箇所で手を回す動きをすることにより、時計回りに回した際には地図を拡大するなどの操作を行うことができる。これにより、ユーザは、ポインタ900や円操作ポインタ902の表示を介して、その瞬間にどのような操作状態にあり、どのような操作を行えば操作が実行されるか、どの程度手を動かせばよいのかを、ユーザの動きの一つ一つに対応して確認することができるため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができ、GUIの操作を円滑に行うことができる。

100・・・入力装置、
101・・・表示部、
102・・・撮像部、
103・・・ユーザ、
104・・・ポインタ、
200・・・動作検出(動き検出)部、
201・・・制御部、
202・・・映像信号処理部、
203・・・手位置検出部、
204・・・円動作検出部、
300・・・アイコン、
500・・・選択項目、
600・・・アイコン、
800・・・ライン、
900・・・ポインタ、
901・・・操作領域、
902・・・円操作ポインタ。

Claims (8)

  1. 操作者の動きが画像信号として入力される入力部と、
    前記入力部に入力された画像信号から、手の動きを検出する動作検出部と、
    グラフィカルユーザインタフェースを表示する表示部と、
    前記動作検出部で検出された手の動きに従って、前記表示部で表示される前記グラフィカルユーザインタフェースを変更させる制御部と、を備え、
    前記制御部は、前記動作検出部で検出された手の動きに同期するようにポインタを動かし、ポインタが動いた量に対応した動作量を示すように、前記グラフィカルユーザインタフェースを変更させることを特徴とする入力装置。
  2. 前記動作検出部で検出される手の動きは、手を回す動きであり、
    手の動きに同期したポインタの動きは、ポインタを回転させる動きであることを特徴とする請求項1に記載の入力装置。
  3. 前記動作量は、アイコンの拡大量あるいは縮小量であることを特徴とする請求項1に記載の入力装置。
  4. 前記動作量は、ポインタが動いた軌跡であることを特徴とする請求項1に記載の入力装置。
  5. 前記制御部は、前記動作量が、所定の量になった場合に、所定の操作を実行させるように、前記グラフィカルユーザインタフェースを変更させることを特徴とする請求項1に記載の入力装置。
  6. 前記所定の操作の実行は、ポインタが示される位置の拡大表示や縮小表示であることを特徴とする請求項5に記載の入力装置。
  7. 前記所定の操作の実行は、複数の選択項目からポインタが示される任意の選択項目の選択であることを特徴とする請求項5に記載の入力装置。
  8. 前記制御部は、前記動作検出部で検出された手の動きに同期するようにポインタを動かし、ポインタが所定の表示領域内にある場合に、ポインタが動いた量に対応した動作量を示すように、前記グラフィカルユーザインタフェースを変更させることを特徴とする請求項1に記載の入力装置。
JP2009231110A 2009-10-05 2009-10-05 入力装置 Pending JP2011081469A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009231110A JP2011081469A (ja) 2009-10-05 2009-10-05 入力装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009231110A JP2011081469A (ja) 2009-10-05 2009-10-05 入力装置
US12/893,090 US20110083112A1 (en) 2009-10-05 2010-09-29 Input apparatus
CN2010105022831A CN102033703A (zh) 2009-10-05 2010-09-29 输入装置
EP20100012898 EP2328061A2 (en) 2009-10-05 2010-10-01 Input apparatus

Publications (1)

Publication Number Publication Date
JP2011081469A true JP2011081469A (ja) 2011-04-21

Family

ID=43778239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009231110A Pending JP2011081469A (ja) 2009-10-05 2009-10-05 入力装置

Country Status (4)

Country Link
US (1) US20110083112A1 (ja)
EP (1) EP2328061A2 (ja)
JP (1) JP2011081469A (ja)
CN (1) CN102033703A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064298A (ko) * 2012-11-20 2014-05-28 한국전자통신연구원 디스플레이 유닛의 문자 입력 시스템
WO2014119258A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 情報処理方法及び情報処理装置
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
WO2011056657A2 (en) * 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
TW201222429A (en) * 2010-11-23 2012-06-01 Inventec Corp Web camera device and operating method thereof
US9361009B2 (en) * 2010-12-01 2016-06-07 Adobe Systems Incorporated Methods and systems for setting parameter values via radial input gestures
EP2686254B1 (de) * 2011-03-17 2018-08-15 SSI Schäfer Automation GmbH Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
JP2012215963A (ja) 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
JP5715977B2 (ja) * 2012-03-05 2015-05-13 東芝テック株式会社 操作支援表示装置およびプログラム
CN109508091A (zh) * 2012-07-06 2019-03-22 原相科技股份有限公司 输入系统
CN103809846B (zh) * 2012-11-13 2019-07-26 联想(北京)有限公司 一种功能调用方法及电子设备
US9285972B2 (en) * 2012-12-18 2016-03-15 Sap Se Size adjustment control for user interface elements
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
CN103294197B (zh) * 2013-05-22 2017-06-16 深圳Tcl新技术有限公司 基于手势操作实现终端遥控的方法、终端
CN105264465B (zh) * 2013-06-18 2018-11-09 松下电器(美国)知识产权公司 输入装置以及输入动作要求的方法
CN104898931B (zh) * 2015-06-19 2018-06-19 胡月鹏 一种基于连续渐变操作的控件显示方法及装置
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US10678327B2 (en) * 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000196914A (ja) * 1998-10-13 2000-07-14 Sony Electronics Inc 動作検知インタ―フェ―ス
JP2004078977A (ja) * 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
WO2007135376A2 (en) * 2006-05-24 2007-11-29 Sony Computer Entertainment Europe Ltd Control of data processing using cumulative inter-frame motion
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256061B1 (en) * 1991-05-13 2001-07-03 Interactive Pictures Corporation Method and apparatus for providing perceived video viewing experiences using still images
US5706448A (en) * 1992-12-18 1998-01-06 International Business Machines Corporation Method and system for manipulating data through a graphic user interface within a data processing system
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
US6057844A (en) * 1997-04-28 2000-05-02 Adobe Systems Incorporated Drag operation gesture controller
US6233560B1 (en) * 1998-12-16 2001-05-15 International Business Machines Corporation Method and apparatus for presenting proximal feedback in voice command systems
JP2001169244A (ja) * 1999-12-07 2001-06-22 Nec Shizuoka Ltd ビデオ画像キャプチャ装置とそのキャプチャ画像表示方法およびコンピュータ
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2001273087A (ja) * 2000-03-23 2001-10-05 Olympus Optical Co Ltd 映像表示装置
US6642947B2 (en) * 2001-03-15 2003-11-04 Apple Computer, Inc. Method and apparatus for dynamic cursor configuration
US7210107B2 (en) * 2003-06-27 2007-04-24 Microsoft Corporation Menus whose geometry is bounded by two radii and an arc
JP3941786B2 (ja) 2004-03-03 2007-07-04 日産自動車株式会社 車両用操作入力装置および方法
US7984382B2 (en) * 2004-05-26 2011-07-19 Qualcomm Incorporated User interface action processing using a freshness status
JP4695384B2 (ja) * 2004-11-30 2011-06-08 株式会社日立製作所 カーソルの機能切り換え方法及びこれを使用する情報処理装置
EP2902883A1 (en) * 2005-05-04 2015-08-05 Hillcrest Laboratories, Inc. Method and system for scrolling in user interfaces
WO2006125133A2 (en) * 2005-05-19 2006-11-23 Hillcrest Laboratories, Inc. Global navigation objects in user interfaces
JP2006350838A (ja) * 2005-06-17 2006-12-28 Fujitsu Ltd 情報処理装置およびプログラム
JP2007213245A (ja) 2006-02-08 2007-08-23 Nec Commun Syst Ltd 携帯端末及びプログラム
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
WO2008029467A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Système, procédé et programme d'entrée de mouvement
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP2009080608A (ja) * 2007-09-26 2009-04-16 Panasonic Corp 入力装置
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
WO2010011923A1 (en) * 2008-07-24 2010-01-28 Gesturetek, Inc. Enhanced detection of circular engagement gesture
US20100192100A1 (en) * 2009-01-23 2010-07-29 Compal Electronics, Inc. Method for operating a space menu and electronic device with operating space menu
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US9141284B2 (en) * 2009-05-28 2015-09-22 Microsoft Technology Licensing, Llc Virtual input devices created by touch input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000196914A (ja) * 1998-10-13 2000-07-14 Sony Electronics Inc 動作検知インタ―フェ―ス
JP2004078977A (ja) * 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
WO2007135376A2 (en) * 2006-05-24 2007-11-29 Sony Computer Entertainment Europe Ltd Control of data processing using cumulative inter-frame motion
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064298A (ko) * 2012-11-20 2014-05-28 한국전자통신연구원 디스플레이 유닛의 문자 입력 시스템
KR102116406B1 (ko) * 2012-11-20 2020-05-28 한국전자통신연구원 디스플레이 유닛의 문자 입력 시스템
WO2014119258A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 情報処理方法及び情報処理装置
US9323343B2 (en) 2013-01-31 2016-04-26 Panasonic Intellectual Property Corporation Of America Information processing method and information processing apparatus
JPWO2014119258A1 (ja) * 2013-01-31 2017-01-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法及び情報処理装置
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
US10318007B2 (en) 2014-01-27 2019-06-11 Lg Electronics Inc. Head mounted display device for multi-tasking and method for controlling same

Also Published As

Publication number Publication date
US20110083112A1 (en) 2011-04-07
EP2328061A2 (en) 2011-06-01
CN102033703A (zh) 2011-04-27

Similar Documents

Publication Publication Date Title
US10671175B2 (en) Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image
US10866724B2 (en) Input and output method in touch screen terminal and apparatus therefor
US9798395B2 (en) Electronic control apparatus and method for responsively controlling media content displayed on portable electronic device
US10360655B2 (en) Apparatus and method for controlling motion-based user interface
US10761610B2 (en) Vehicle systems and methods for interaction detection
EP2482179B1 (en) Apparatus and method for controlling screen display in touch screen terminal
EP2631767B1 (en) Method, computer readable medium and portable apparatus for scrolling a screen in a touch screen display apparatus
JP6144242B2 (ja) 3dリモートコントローラ用のguiアプリケーション
JP3955042B2 (ja) 座標入力装置
US8667426B2 (en) Input apparatus
CN101375235B (zh) 信息处理装置
EP2256614B1 (en) Display control apparatus, display control method, and computer program
US8976140B2 (en) Touch input processor, information processor, and touch input control method
KR101556803B1 (ko) 셋톱 박스를 위한 사용자 인터페이스
US20180314294A1 (en) Information processing apparatus, information processing method, and program
JP4605170B2 (ja) 操作入力装置
JP2014167800A (ja) 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置
KR101453628B1 (ko) 사용자 인터페이스
JP5678324B2 (ja) 表示装置、コンピュータプログラム、及び表示方法
US8994656B2 (en) Method of controlling a control point position on a command area and method for control of a device
EP2141577B1 (en) Information display device, information display method, and program
US20160229052A1 (en) Robot operation apparatus, robot system, and robot operation program
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US20140055343A1 (en) Input method and apparatus of portable device
JP4977995B2 (ja) 携帯表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120321

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130709