JP2013235588A - 空間上の相互作用に基づく端末の制御方法及びその端末 - Google Patents

空間上の相互作用に基づく端末の制御方法及びその端末 Download PDF

Info

Publication number
JP2013235588A
JP2013235588A JP2013097719A JP2013097719A JP2013235588A JP 2013235588 A JP2013235588 A JP 2013235588A JP 2013097719 A JP2013097719 A JP 2013097719A JP 2013097719 A JP2013097719 A JP 2013097719A JP 2013235588 A JP2013235588 A JP 2013235588A
Authority
JP
Japan
Prior art keywords
terminal
screen
gesture
hand
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013097719A
Other languages
English (en)
Inventor
Jin Young Jeon
軫 泳 全
Ji Young Kang
志 營 姜
Boyoung Lee
寶 ヨン 李
Dae Seong Kim
大 成 金
Jinyong Kim
鎭 龍 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120047678A external-priority patent/KR20130124061A/ko
Priority claimed from KR1020120132223A external-priority patent/KR20130124139A/ko
Priority claimed from KR1020120132222A external-priority patent/KR20130124138A/ko
Priority claimed from KR1020120137740A external-priority patent/KR20130124143A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013235588A publication Critical patent/JP2013235588A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

【課題】空間上のジェスチャーを利用した端末の制御方法及びその端末を提供する。
【解決手段】本発明による端末の制御方法は、端末に近接して任意の方向に移動する使用者ジェスチャーを感知する段階と、使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断する段階と、判断結果によって現在作動中のアプリケーションに対する制御動作を行う段階と、を有する。
【選択図】図１

Description

本発明は、空間上の相互作用に基づく端末の制御方法及びその端末に関し、より詳細には、多様な空間ジェスチャーを認識し、認識された空間ジェスチャーに対応する動作を相互作用的に行う端末の制御方法及びその端末に関する。
近年、スマート電子器機の発達で、研究と開発は使用者が端末を便利に制御するようにするための多様な相互作用技術に集中している。
従来技術によると、端末制御のための相互作用としては、端末のタッチ入力又は運動状態に基づいて端末の動作を制御する技術、或いは手の平を用いた手の動作を用いて端末を制御する技術などがある。
従って、多様な空間認識ジェスチャーを認識し、認識された空間認識ジェスチャーに対応する入力を相互作用的に行う端末とこれを制御する方法に対する必要性が存在する。
上記内容は本発明の理解を助けるための背景情報としてのみ提供される。上記内容のうちのいずれかが本発明に関する先行技術として適用可能であるか否かについてどのような決定も判断もなされない。
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、空間上の多様なジェスチャーを認識し、これに対応する相互作用に基づいて端末の機能を制御する端末の制御方法及びその端末を提供することにある。
上記目的を達成するためになされた本発明の一態様による端末の制御方法は、端末に近接して任意の方向に移動するようにオブジェクトを動かす使用者ジェスチャーを感知する段階と、前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断する段階と、前記判断結果によって現在作動中のアプリケーションに対応する制御動作を行う段階と、を有する。
上記目的を達成するためになされた本発明の一態様による端末は、端末に近接して任意の方向に移動するようにオブジェクトを動かす使用者ジェスチャーを感知するセンサー部と、前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断し、前記判断結果によって現在作動中のアプリケーションに対応する制御動作を行う制御部と、前記制御部の制御によって前記アプリケーションの遂行画面を表示する表示部と、を備える。
本発明の他の態様による自動車内で端末を制御する方法は、端末の運動状態及び車両の運動状態のうちの少なくとも１つによって運転モードを始める段階と、前記端末が運転モードにある時に該端末に近接した使用者ジェスチャーを感知する段階と、前記端末が運転モードにある時に感知された使用者ジェスチャーに対応する機能を遂行する段階と、を有する。
本発明の他の態様による端末は、端末に近接して特定方向に動く使用者ジェスチャーを感知するセンサー部と、前記端末の運動状態及び車両の運動状態のうちの少なくとも１つに基づいて運転モードを開始し、該運転モードでセンサー部によって前記端末に近接した使用者ジェスチャーが感知されると、前記使用者ジェスチャーに対応する機能を行う制御部と、前記制御部の制御によって機能の遂行結果を表示する表示部と、を備える。
本発明の他の態様による端末を制御する方法は、端末の状態によって特定動作モードに進入する段階と、前記特定動作モードで端末に近接した使用者ジェスチャーを感知する段階と、前記使用者ジェスチャーに応答して特定動作モードに連関する情報を表示する段階と、を有する。
本発明の他の態様による端末は、端末に近接した使用者ジェスチャーを感知するセンサー部と、情報を表示する表示部と、前記端末の状態によって特定動作モードに進入し、前記特定動作モードでセンサー部を介して使用者ジェスチャーが感知されると、前記使用者ジェスチャーに応答して特定動作モードに対応する動作を表示するように表示部を制御する制御部と、を備える。
本発明の他の態様による端末を制御する方法は、端末に近接した使用者ジェスチャーを感知する段階と、前記使用者ジェスチャーの種類を判断する段階と、前記使用者ジェスチャーによる端末の制御動作を行う段階と、を有する。
本発明の他の態様による端末は、端末に近接した使用者ジェスチャーを感知するセンサー部と、前記使用者ジェスチャーの種類を判断し、前記使用者ジェスチャーによる端末の制御動作を行う制御部と、前記制御部の制御結果を表示する表示部と、を備える。
本発明による端末の制御方法及びその端末によれば、空間上のジェスチャーを用いて使用者がより便利で且つ直観的に端末を制御することができる。
また、本発明による端末の制御方法及びその端末によれば、手袋を着用したり手に異物がついたりした場合など、端末にタッチ入力ができない場合にも、空間上のジェスチャーを用いて効率的に端末を制御することができる。
本発明の一実施形態による空間上のジェスチャーを用いて端末を制御する方法を示したフローチャートである。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 本発明による端末が感知することができる多様な空間上のジェスチャーを示した図である。 空間上の相互作用セットの一実施例を示した図である。 本発明の第１実施例による端末制御方法を示した図である。 本発明の第２実施例による端末制御方法を示した図である。 本発明の第３実施例による端末制御方法を示した図である。 本発明の第４実施例による端末制御方法を示した図である。 本発明の第５実施例による端末制御方法を示した図である。 本発明の第６実施例による端末制御方法を示した図である。 本発明の第７実施例による端末制御方法を示した図である。 本発明の第８実施例による端末制御方法を示した図である。 本発明の第９実施例による端末制御方法を示した図である。 本発明の一実施形態による端末の構成を示すブロック図である。
本発明は、スマートフォン、携帯端末、移動端末、個人情報端末（ＰＤＡ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）端末、ノート型パソコン、タブレットコンピューター、ＰＣ、ワイブロ（Ｗｉｂｒｏ）端末、デジタルカメラ、ゲームコンソール、ＭＰ３プレーヤー、ハンドヘルド電子ブック、ナビゲーション、ＨＤＴＶなどの一般的な電子端末だけではなく、空間上のジェスチャーを感知することができる全ての装置又はサービスのために適用される。
本明細書で用いる技術的用語は、単に特定の実施例を説明するために用いたものであって、本発明の思想を限定しようとする意図はないことに留意すべきである。また、本明細書で用いる技術的用語は、本明細書で特別に他の意味に定義しない限り、本発明が属する分野で通常の知識を有する者にとって一般的に理解される意味に解釈しなければならない。なお、過度に包括的な意味に解釈したり、過度に縮小された意味に解釈したりしてはならない。
また、本明細書で用いる単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において、「構成される」又は「含む」などの用語は、明細書上に記載した多くの構成要素、或いは多くの段階を必ずしも共に含むと解釈してはならない。
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態による空間上のジェスチャーを用いて端末を制御する方法を示したフローチャートである。
図１を参照すると、本実施形態による端末制御方法は以下のような手順から成る。
先ず、端末は空間上のジェスチャーを感知する（ステップＳ１１０）。
空間上のジェスチャーは使用者の手（指を含む）などの入力手段によって形成される。
端末は、カメラを介して空間上のジェスチャーに対する映像入力を感知したり、近接センサーを用いて端末に近接する入力手段のジェスチャーを感知したりする。端末は複数の空間上のジェスチャーを同時に又は順次に感知する。
また、端末は空間上のジェスチャーと共にタッチ入力を感知する。端末は空間上のジェスチャーとタッチ入力を同時に又は順次に感知する。また、端末はタッチ入力が持続する間の空間上のジェスチャーを感知することもできる。
次に、端末は感知された空間上のジェスチャーを分析する（ステップＳ１２０）。
端末は入力された映像を分析したり近接センサーを用いて空間上のジェスチャーを感知したりする。端末は、入力手段が１つ以上の方向を向いたり任意の形態を形成したりする動き（掃いてから捲る、スイープ等に命名する）、動きの速度、動きの長さ、入力手段の模様（例えば、手又は指の模様、形態）又は入力手段が接近する１つ以上の座標、接近速度、接近距離などを分析する。
入力手段が手の場合を例えると、端末が感知することができる多様な空間上のジェスチャーは、タップ（手を前に下げてから上げる）、掃く（手を上／下／左／右方向に掃き出すように移動する）、振る（水平又は垂直に振る）、回す（時計方向、反時計方向）、握り締める（手を伸ばしてから拳を握る）、抓る（親指と人差し指を窄める）、接近、追跡（手の動きをリアルタイムで追跡する）、覆う（手で端末を覆った状態維持）、押す（手を端末方向に押す）、両手押し、両手を開く、両手回転、両手集め、タッチ後に掃く、近接する、のうちの何れかの１つである。上述したジェスチャーは、図２〜図２５に簡略に示す。
図２〜２５は、本発明による端末が感知することができる多様な空間上のジェスチャーを示した図であり、空間上の相互作用に基づく端末の制御方法で用いるために定義された空間ジェスチャーを示した図である。
図２を参照すると、空間上のジェスチャーはタッチレスタップ（ｔｏｕｃｈｌｅｓｓ ｔａｐ）である。例えば、タッチレスタップは画面に近接して手を動かす使用者の動作である。タッチレスタップは画面の特定の望む部分に近接して手を動かす使用者の動作である。本実施例よると、端末は使用者の手が画面に近接して移動することを判断することによってタッチレスタップを感知する。例えば、端末は、感知された使用者の手の座標を比べて、感知された手の座標が変わる場合にタッチレスタップと判断する．
図３を参照すると、空間上のジェスチャーはタッチレススイープ（ｔｏｕｃｈｌｅｓｓ ｓｗｅｅｐ）である。タッチレススイープは、上、下、左、右のうちの少なくとも一方向に対するスイープモーションである。例えば、タッチレススイープは、使用者の手の平表面が実質的にスクリーン表面に垂直するように配置され、使用者の手が上、下、左、右のうちの少なくとも一方向に移動する動作である。本実施例よると、端末は、使用者の手が予め定義された設定（例えば、手の平表面が実質的にスクリーン表面に垂直）に対応するように配置されていると判断し、感知された使用者の手が画面に対応して移動（例えば、画面を横切る）することを感知することによってタッチレススイープを感知する。例えば、端末は、感知された使用者の手の座標を比べ、手の座標が変化すると、タッチレススイープが感知されたと判断する。
図４を参照すると、空間上のジェスチャーはタッチレスホリゾンタルウェーブ（ｔｏｕｃｈｌｅｓｓ ｈｏｒｉｚｏｎｔａｌ ｗａｖｅ）である。タッチレスホリゾンタルウェーブは画面の一方から他の一方に多様に移動する使用者の手の動きである。例えば、使用者の手の動きは端末の画面の左側から画面の右側へ移動する動作である。使用者の手の動きはタッチレスホリゾンタルウェーブのために繰り返される。例えば、タッチレスホリゾンタルウェーブは使用者の手の平が画面に対向するように（例えば、実質的に平行）伸ばした使用者の手の動作を含む。本実施例において、端末は、使用者の手が予め定義された設定（例えば、手の平表面が画面と実質的に平行）に対応するように配置され、使用者の手が画面に対応して移動すること（例えば、左側から右側へ、右側から左側へなど）を感知することによってタッチレスホリゾンタルウェーブを感知する。例えば、端末は、感知された使用者の手の座標を比べ、使用者の手の座標が変化すると、タッチレスホリゾンタルウェーブが感知されたと判断する。
図５を参照すると、空間上のジェスチャーはタッチレスバーティカルウェーブ（ｔｏｕｃｈｌｅｓｓ ｖｅｒｔｉｃａｌ ｗａｖｅ）である。タッチレスバーティカルウェーブは端末の一方から反対の方へ画面を横切る多様な使用者の手の動きである。例えば、使用者の手の動きは画面下端から画面上端への動きである。使用者の手の動きはタッチレスバーティカルウェーブのために繰り返される。一例として、タッチレスバーティカルウェーブは、使用者の手の平が画面に対向するように（例えば、実質的に平行に）配置され、使用者の手が端末の上端と下端の間に位置し、上端と下端の間を移動する動きである。本実施例よると、端末は、使用者の手が予め定義された設定（例えば、手の平の表面が画面と実質的に平行）に対応して配置されているか否かを判断し、使用者の手（例えば、使用者の指が伸ばされた状態）が画面を基準に移動すること（例えば、上方から下方へ、下方から上方へ、等々）を感知する。例えば、端末は、感知された使用者の手（例えば、使用者の指を伸ばした状態）に対する座標を比べ、使用者の手の座標が変化すると、タッチレスバーティカルウェーブが感知されたと判断する。
図６を参照すると、空間上のジェスチャーはタッチレスカバー（ｔｏｕｃｈｌｅｓｓ ｃｏｖｅｒ）である。例えば、タッチレスカバーは画面を覆う使用者の手の動きに対応する。タッチレスカバーは画面に実質的に平行して実質的に画面を覆うように手の平が画面に向けている使用者の手の動作を含む。タッチレスカバーを行う間、使用者の指は伸びている。本実施例よると、端末は、使用者の手が予め定義された設定（例えば、手の平表面が実質的にスクリーン表面に平行）に対応するように配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、全体スクリーンを実質的に覆うように）することを判断することによって、タッチレスカバーを感知する。例えば、端末は、感知された使用者の手の座標を比べ、使用者の手の座標変化によってタッチレスカバーを感知する。例えば、タッチレスカバーは使用者の手が画面に近接するように移動して画面全体を実質的に覆う動作を含む。また他の例として、タッチレスカバーは実質的に画面全体を覆うようにその面に沿って移動する使用者の手の動作を含む。
図７を参照すると、空間上のジェスチャーはタッチレスパームプッシュ（ｔｏｕｃｈｌｅｓｓ ｐａｌｍ ｐｕｓｈ）である。例えば、タッチレスパームプッシュは画面の近くに移動する使用者の手の動作を含む。タッチレスパームプッシュは使用者の指を伸ばして手の平を画面に向ける動作（例えば、手の平表面が実質的に画面に平行）を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、手の平の表面がスクリーン面と略平行になるように）に対応して配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、使用者の手の平が画面の近くに移動）することを判断することによってタッチレスパームプッシュを感知する。例えば、端末は、感知された使用者の手の座標を比べて、使用者の手の座標が変化すると、タッチレスパームプッシュが感知されたと判断する。
図８を参照すると、空間上のジェスチャーは時計方向のタッチレスサークリング（ｔｏｕｃｈｌｅｓｓ ｃｉｒｃｌｉｎｇ）である。タッチレスサークリングは時計方向に使用者の手の部分を動かす動作を含む。例えば、タッチレスサークリングは画面を基準に時計方向に手の平を移動することを含む。また他の例として、タッチレスサークリングは画面に対して時計方向に手の平を移動させる動作を含む。他の実施例で、端末は、使用者の手が予め定義された設定によって配置（例えば、手の平の表面がスクリーン面と実質的に平行）されているか否かを判断し、使用者の手が画面に相対的に移動（例えば、使用者の手の少なくとも一部が時計方向に移動）することを判断してタッチレスサークリングを感知する。例えば、端末は、感知された使用者の手（例えば、手の平及び／又は少なくとも１つの指など）の座標を比べて、使用者の手（例えば、手の平、少なくとも１つの指及び／又はそれ等）の座標が時計方向に変化すると、タッチレスサークリングが感知されたと判断する。
図９を参照すると、空間上のジェスチャーは反時計方向のタッチレスサークリングである。タッチレスサークリングは反時計方向に使用者の手の部分を移動する動作を含む。例えば、タッチレスサークリングは画面に対応して反時計方向に手の平を移動することを含む。また他の例として、タッチレスサークリングは反時計方向に少なくとも１つの指を移動することを含む。本実施例において、端末は、使用者の手の少なくとも一部が予め定義された設定（例えば、手の平の表面がスクリーン面と実質的に平行）に対応して配置されているか否かを判断し、感知された手が画面に対応して移動（例えば、使用者の手が反時計方向に移動）することを判断してタッチレスサークリングを感知する。例えば、端末は、感知された使用者の手（例えば、手の平及び／又は少なくとも１つの指など）の座標を比べて、使用者の手（例えば、手の平、少なくとも１つの指及び／又はそれ等）の座標が反時計方向に変化すると、タッチレスサークリングが感知されたと判断する。
図１０を参照すると、空間上のジェスチャーはタッチレスグラブ（ｔｏｕｃｈｌｅｓｓ ｇｒａｂ）である。タッチレスグラブは、使用者の指を伸ばした状態で、親指に接近するとか拳を握る状態を含む。本実施例において、端末は、使用者の手が予め定義された設定（例えば、使用者の指が手の平又は親指に対して実質的に開かれる）に対応して配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、使用者の指が親指又は手の平のうちの少なくとも１つに向けて移動し、例えば拳を形成するか又は形成し始めるようにする）することを判断してタッチレスグラブを感知する。例えば、端末は、感知された使用者の手（例えば、手の平、少なくとも１つの指及び／又はそれ等）の座標を比べて、使用者の手の座標が変化すると、タッチレスグラブが感知されたと判断する。
図１１を参照すると、空間上のジェスチャーはタッチレスピンチ（ｔｏｕｃｈｌｅｓｓ ｐｉｎｃｈ）である。タッチレスピンチは、少なくとも１つの指を伸ばした状態で、少なくとも１つの指が実質的に親指に接触する状態で動く動作を含む。例えば、タッチレスピンチは伸ばした１つの指と伸ばした親指が互いに向けて動く動作を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、使用者の指を手の平及び／又は親指に対応して伸ばした状態）に対応して配置されているか否かを判断し、使用者の手が画面に対応して移動（例えば、少なくとも１つの伸ばした指を親指に向けて移動）することを判断してタッチレスピンチを感知する。例えば、端末は、感知された使用者の手（例えば、手の平、少なくとも１つの指、親指、及び／又はそれ等）の座標を比べて、使用者の手の座標が変化すると、タッチレスピンチが感知されたと判断する。
図１２を参照すると、空間上のジェスチャーはタッチレスアプローチ（ｔｏｕｃｈｌｅｓｓ ａｐｐｒｏａｃｈ）である。例えば、タッチレスアプローチは画面の近くに移動する使用者の手の動作を含む。タッチレスアプローチは使用者の指が伸ばされて手の平が画面に向かう動作（例えば、手の平表面がスクリーンに実質的に平行）を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、手の平の表面がスクリーン面と実質的に平行）に対応して配置されているか否かを判断し、使用者の手が画面に相対的に移動すること（例えば、使用者の手が画面に近くなるように移動）を判断してタッチレスアプローチを感知する。例えば、端末は、感知された使用者の手（例えば、使用者の手の平）の座標を比べて、使用者の手の座標が変化すると、タッチレスアプローチが感知されたと判断する。一実施例によると、端末は、画面方向に移動する画面に垂直な軸による距離に基づいてタッチレスパームプッシュとタッチレスアプローチを区分する。例えば、タッチレスアプローチは、タッチレスパームプッシュより、初期に手が画面からより遠く配置される。
図１３を参照すると、空間上のジェスチャーはタッチレストラッキング（ｔｏｕｃｈｌｅｓｓ ｔｒａｃｋｉｎｇ）である。例えば、タッチレストラッキングは画面を横切って伸ばした指を移動させる動作を含む。タッチレストラッキングは画面を横切る任意の経路に沿って指を移動させる動作を含む。本実施例によると、端末は、使用者の手が予め定義された設定（例えば、使用者の指のうちの少なくとも１つを使用者の手の平及び／又は親指に対して実質的に伸ばす）に対応して配置されているか否かを判断し、使用者の手が画面に相対的に移動（例えば、少なくとも１つの伸ばした指がスクリーンを横切って移動）することを判断してタッチレストラッキングを感知する。例えば、端末は、感知された使用者の手の座標（例えば、伸ばされた指の座標）を比べて、使用者の手の座標が変わると、タッチレストラッキングが感知されたと判断する。例えば、タッチレストラッキングジェスチャーのために、伸ばした指と画面の間の距離はトラッキングの間実質的に同様に維持される。
図１４を参照すると、空間上のジェスチャーは両手のタッチレスパームプッシュ（ｔｏｕｃｈｌｅｓｓ ｐａｌｍ ｐｕｓｈ）である。例えば、両手のタッチレスパームプッシュは両手が画面の近くに移動する動作を含む。両手のタッチレスパームプッシュは両手の開かれた少なくとも１つの指が画面に向けて（例えば、手の平表面がスクリーンに実質的に平行になるように）移動する動作を含む。本実施例よると、端末は、両手がそれぞれ予め定義された設定（例えば、手の平の表面がスクリーン面に略平行）に対応して配置されているか否かを判断し、両手が共に画面に相対的に移動（例えば、それぞれの手の平が画面に近付くように移動）することを判断して両手のタッチレスパームプッシュを感知する。例えば、端末は、感知された両手の座標を比べて、両手の座標が変化すると、両手のタッチレスパームプッシュが感知されたと判断する。
図１５を参照すると、空間上のジェスチャーは両手のタッチレスピンチ（ｔｏｕｃｈｌｅｓｓ ｐｉｎｃｈ）である。例えば、両手のタッチレスピンチは両手が画面に接近するように両手を画面に対応して移動させる動作を含む。両手タッチレスピンチは両手それぞれの少なくとも１つの指又は親指を伸ばして互いに近くなるように移動する動きを含む。両手のタッチレスピンチは両手それぞれの少なくとも１つの指又は親指を伸ばして互いに接触する動きを含む。本実施例よると、端末は、両手がそれぞれ予め定義された設定（例えば、両手それぞれの少なくとも１つの指又は親指が伸ばされる）に対応して配置されているか否か判断し、両手のうちで少なくとも１つが画面に対応して他の手に近くなるように（例えば、伸ばした少なくとも１つの指又は親指が近くなるとか、特に伸ばされた少なくとも１つの指又は親指が接触するように）移動することを感知して両手のタッチレスピンチを感知する。例えば、端末は、感知された両手の座標を比べて、両手の少なくとも１つの手の座標が変化すると、両手タッチレスピンチが感知されたと判断する。
図１６を参照すると、空間上のジェスチャーはタッチレスパラレルローテート（ｔｏｕｃｈｌｅｓｓ ｐａｒａｌｌｅｌ ｒｏｔａｔｅ）である。タッチレスパラレルローテートは互いに距離を置いて配置された両手が画面に垂直な軸の周りを移動する動きを含む。例えば、タッチレスパラレルローテートは両手の手の平表面がスクリーン表面に実質的に垂直であり、それぞれの手の平が互いに平行して配置され、配置された両手がスクリーンに垂直な軸の周りを移動する動きを含む。本実施例によると、端末は、両手が予め定義された設定（例えば、両手の手の平が画面に実質的に平行）に対応して配置されているか否かを判断し、両手が画面に対応して移動（例えば、画面に垂直な（画面から延長され）軸の周りを移動）することを判断してタッチレスパラレルローテートを感知する。例えば、端末は、感知された両手の座標を比べて、両手の座標の変化があると、タッチレスパラレルローテートが感知されたと判断する。
図１７を参照すると、空間上のジェスチャーはタッチレスクラップ（ｔｏｕｃｈｌｅｓｓ ｃｌａｐ）である。タッチレスクラップは互いに距離を置いて配置された両手（例えば、手のそれぞれの手の平が互いに向かい合うように）が互いに向けて移動（例えば、画面に実質的に平行な軸に沿って移動）する動きを含む。例えば、タッチレスクラップは両手それぞれの手の平表面が画面に略直交するように配置され（例えば、手の平が互いに向かい合う）、両手が画面に実質的に平行な軸に沿って移動する動作である。本実施例によると、端末は、各手が予め定義された設定（例えば手の平表面が実質的に画面に垂直）に対応するように配置されているか否かを判断し、両手の各手の平が互い向き合うか又は対向するかを判断し、両手が画面に対応して移動（例えば、画面に実質的に平行な軸に沿って移動）することを判断してタッチレスクラップを感知する。例えば、端末は、感知された両手の座標を比べて、両手の相手座標の変化があると、タッチレスクラップが感知されたと判断する。
図１８を参照すると、空間上のジェスチャーはタッチレススイープ（ｔｏｕｃｈｌｅｓｓ ｓｗｅｅｐ）と共に（例えば、結合して）発生するタッチに対応する。タッチレススイープと結合されたタッチは、入力手段（例えば、スタイラス、指、親指、及び／又はそれ等）で使用者が画面をタッチし、上、下、左、右のうちの少なくとも１つにスイープする動作を含む。例えば、タッチレススイープと結合されたタッチは、入力手段で使用者が画面をタッチし、手の平表面が実質的に画面に垂直するように配置された後、上、下、左、右のうちのいずれか一方向に移動する動作を含む。本実施例によると、端末は、タッチ（例えば、タッチスクリーンの静電容量変化）を感知した後、手が予め定義された設定（例えば、手の平表面がスクリーン表面に実質的に垂直）に対応して配置され、手が画面（例えば、画面の一領域）に対応して移動することを感知してタッチレススイープを感知する。例えば、端末は、感知された手の座標を比べ、感知された手の座標が変化すると、タッチレススイープに結合されたタッチイベントが感知されたと判断する。
図１９を参照すると、空間上のジェスチャーはフィンガーホバリング（ｆｉｎｇｅｒ ｈｏｖｅｒｉｎｇ）である。例えば、フィンガーホバリングは使用者が予め設定された時間の間画面の実質的に同じ位置に指（又は他の入力手段）を維持する動作である。フィンガーホバリングは画面表面と入力手段の間に接触が起きない状態で配置されている画面の実質的に一定の同じ位置に指が維持される動作を含む。本実施例によると、端末は、入力手段がスクリーンから離れて配置され、予め設定された時間の間実質的に同じ位置に固定されることを判断してフィンガーホバリングを感知する。例えば、端末は、感知された入力の座標を所定の時間の間比べて、座標の変化がなければ、フィンガーホバリングが感知されたと判断する。
図２０を参照すると、空間上のジェスチャーはパーム（ｐａｌｍ）である。例えば、パームは予め設定された時間の間実質的に同じ画面上の位置で指が伸ばされた手を固定させる動作を含む。パームは手の平とスクリーン表面が接触しない状態で手の平が実質的に同じ位置で予め設定された時間の間固定される動作である。本実施例において、端末は、予め設定された時間の間画面から離れた所で手の平が固定されていることを判断してパームを感知する。例えば、端末は、予め設定された時間の間感知された手の平の座標を比べて、座標が変化しなければ、パームが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手が開かれた状態で予め設定された時間の間固定されていると、パームが感知されたと判断する。
図２１を参照すると、空間上のジェスチャーはフィスト（ｆｉｓｔ）である。例えば、フィストは予め設定された時間の間画面の実質的に同じ位置に握り締めた状態で（例えば、指と親指が拳を握った状態）固定される動作を含む。フィストは握り締めた手（例えば、拳）がスクリーン表面と接触しない状態で実質的に画面の同じ位置に固定される動作を含む。本実施例において、端末は、手が予め定義された設定（例えば、手が拳を握った状態）に対応して配置されているか否かを判断し、握り締めた手が予め設定された時間の間画面上の実質的に同じ位置に固定されることを判断してフィストを感知する。例えば、端末は、予め設定された時間の間感知された拳の座標を比べて、座標が変化しなければ、フィストが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手が握り締めた状態で予め設定された時間の間固定されていると、フィストが感知されたと判断する。
図２２を参照すると、空間上のジェスチャーはサム−アップ（ｔｈｕｍｂ−ｕｐ）である。例えば、サム−アップは親指を伸ばして他の指を握り締めた手を予め設定された時間の間画面上の実質的に同じ位置で予め設定された時間の間固定させる動作を含む。サム−アップは手（例えば、伸ばされた親指）がスクリーン表面から離れた状態で予め設定された時間の間実質的に同じ位置に固定されることを含む。本実施例よると、端末は、予め定義された設定（例えば、手が親指を立てた模様を形成）に対応して配置されているか否かを判断し、手が予め設定された時間の間画面から離れて実質的に同じ位置に固定されていることを判断してサム−アップを感知する。例えば、端末は、予め設定された時間の間感知された親指を立てた手の座標を比べて、座標が変化しなければ、サム−アップが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手が親指を立てた状態で予め設定された時間の間固定されていると、サム−アップが感知されたと判断する．
図２３を参照すると、空間上のジェスチャーはポインティングジェスチャーである。例えば、ポインティングジェスチャーは入力手段（例えば伸ばされた指、親指など）を含む使用者の手を予め設定された時間の間画面の実質的に同じ位置に固定させる動作を含む。ポインティングジェスチャーは手（例えば、伸ばされた指）がスクリーン表面から離れた状態で予め設定された時間の間実質的に一定の同じ位置に固定されることを含む。本実施例において、端末は、手が予め定義された設定（例えば、手が少なくとも１つの指が伸ばされたポインティングジェスチャーを形成）に対応して配置されているか否かを判断し、ポインティングジェスチャーが予め設定された時間の間実質的に同じ画面上の位置に固定されることを判断してポインティングジェスチャーを感知する。例えば、端末は、予め設定された時間の間ポインティングジェスチャーの座標を判断し、感知された座標が変化しなければ、ポインティングジェスチャーが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手がポインティングジェスチャーの状態で予め設定された時間の間固定されていると、ポインティングジェスチャーが感知されたと判断する。
図２４を参照すると、空間上のジェスチャーはオーケイ（ｏｋａｙ）ジェスチャーである。例えば、オーケイジェスチャーは、円を形成する親指と人差し指、及び伸ばした残りの指を含む手が予め設定された時間の間画面上の実質的に同じ位置で固定される動作を含む。オーケイジェスチャーは手（例えば、人差し指と親指が円を形成して残りの指が伸ばされた手）がスクリーン表面から離れた状態で画面上の実質的に同じ位置で予め設定された時間の間固定される動作を含む。本実施例において、端末は、手が予め定義された設定（例えば、人差し指と親指が円を形成して残りの指は伸ばす）に対応して配置されているか否かを判断し、配置された手が予め設定された時間の間画面から離れて固定されていることを判断してオーケイジェスチャーを感知する。例えば、端末は、予め設定された時間の間オーケイジェスチャーの座標を感知し、感知された座標が変化しなければ、オーケイジェスチャーが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手がオーケイジェスチャーの状態で予め設定された時間の間固定されていると、オーケイジェスチャーが感知されたと判断する。
図２５を参照すると、空間上のジェスチャーはナンバリングジェスチャーである。例えば、ナンバリングジェスチャーは予め設定された数の指を伸ばした手を予め設定された時間の間画面上の実質的に同じ位置に固定させる動作を含む。ナンバリングジェスチャーは手（例えば、親指又は２つの指を伸ばした手など）がスクリーン表面から離れた状態で画面上の実質的に同じ位置に固定されることを含む。本実施例において、端末は、手が予め定義された設定（例えば、親指又は２つの指を伸ばした状態）に対応して配置されているか否かを判断し、配置された手が予め設定された時間の間画面から離れて固定されていることを判断してナンバリングジェスチャーを感知する。例えば、端末は、予め設定された時間の間ナンバリングジェスチャーの座標を感知し、感知された座標が変化しなければ、ナンバリングジェスチャーが感知されたと判断する。また他の例で、端末は、予め設定された時間の間手の模様を比べて、手がナンバリングジェスチャーの状態で予め設定された時間の間固定されていると、ナンバリングジェスチャーが感知されたと判断する。
図１に戻って、ステップＳ１２０の後に、端末は分析結果に対応する任意の動作を決定する（ステップＳ１３０）。
本実施形態によると、端末は分析された空間上のジェスチャーに対応する任意の動作を決定する。例えば、端末は端末の機能モードを判断する。端末の機能モードは感知された空間上のジェスチャーに対応する。
端末が支援する多様な機能モードは、カメラ撮影、マルチメディア再生、文字送受信、コール送受信、電子ブック読書機能、ナビゲーション、暦表示、電子メール送受信、ビデオゲーム等の各モードである。
端末は機能モードに基づいて空間上のジェスチャーに対応する任意の動作を決定する。
端末がマルチメディア再生中の場合、空間上のジェスチャーが任意の方向に向ける動きに対応することと判断された場合、端末は任意の機能で再生リストのうちの任意の方向に対応する曲を再生する動作を決定する。
また、例えば、読書機能中の場合、空間上のジェスチャーが任意の方向に向ける動きに対応することと判断された場合、端末は任意の機能で任意の方向に対応する本のページを表示する動作を決定する。
端末は、任意の動作を決定するために、図２６に示したような空間上の相互作用セットを利用する。
図２６は、空間上の相互作用セットの一実施例を示した図である。
図２６を参照すると、端末は、任意の空間上のジェスチャーに対する説明及びこれを指示する名称を定義し、当該の空間上のジェスチャーに対するメタファーを貯蔵する。メタファーは当該の空間上のジェスチャーに対応する任意の動作を表す。メタファーは、例えば、端末で感知された空間上のジェスチャーを分析し、分析結果に基づいて空間上の相互作用セットを利用して任意の動作を決定する。定義された空間上のジェスチャー及びその動作はルックアップテーブル（ＬＵＴ）形態で貯蔵される。
その後、端末は任意の動作を行う（ステップＳ１４０）。例えば、決定された空間上のジェスチャーに基づいて、端末は決定された空間上のジェスチャーに対応する動作を決める。
これにより、端末は決定された任意の動作を行う。
以下、空間上のジェスチャーを用いて端末が多様な任意の動作を行う具体的な実施例を、図面を参照しながら説明する。
図２７は、本発明の第１実施例による端末制御方法を示した図である。
図２７を参照すると、端末は、カメラを介して映像入力を感知し、これを分析する。端末は、映像入力を介して感知された入力手段の動きに対して少なくとも１つの方向、速度、移動距離などを分析する。例えば、端末は使用者の手が左／右に向けられる動きを感知する。
端末は分析結果によって任意の動作を行う。例えば、端末は表示部上のアイテムを左／右に移動させる。
端末は動きの速度によってアイテムを早く又は遅く移動させる。また、端末は、入力手段の動きの速度、長さに基づいて本の複数のページをめくったり、動きの速度で１つのチャプターをめくったりすることもできる。また、端末は、写真アルバムの写真をめくったり、マルチメディア再生の中で再生されるマルチメディアをリストの次のマルチメディアを再生したりする。
一例として、図２７は、画面の一方から他方へのタッチレストラッキング（ｔｏｕｃｈｌｅｓｓ ｔｒａｃｋｉｎｇ）の感知、画面一方から他方への遅い速度を有するタッチレススイープ（ｔｏｕｃｈｌｅｓｓ ｓｗｅｅｐ）の感知、画面一方から他方への早い速度を有するタッチレススイープ（ｔｏｕｃｈｌｅｓｓ ｓｗｅｅｐ）の感知に基づいて文書又は電子ブックのページをめくる例を示す。感知されたジェスチャーによって、端末は、１ページ、少ないページ、又は多数のページをめくる。例えば、めくられるページ数は、端末でジェスチャーがどの程度で感知されるかによって対応する。
図２８は、本発明の第２実施例による端末制御方法を示した図である。
図２８を参照すると、端末はタッチ入力と空間上のジェスチャーを同時に又は順次に感知する。また、端末は、タッチ入力が持続する間、空間上のジェスチャーを感知する。例えば、端末は、表示部の任意の位置に対するタッチ入力が発生し、タッチ入力が持続する状態で任意の方向に向ける動きの空間上のジェスチャーを感知する。
この場合、端末は、任意の位置に対するタッチ入力に基づいて、表示部に表示されたアイテムを選択し、空間上のジェスチャーに基づいて、表示部に表示されたアイテムを左／右に移動する。選択されたアイテムは、例えば背景画面のアイコン、ウィジェット、イメージなどである。
一方、端末は、空間上のジェスチャーに基づいて、タッチ入力によって選択されたアイテムを除いた残りのアイテムを左／右に移動させることもできる。残りのアイテムは、例えば選択されないアイコン／ウィジェット及び背景画面に表示される全てのＵＩを含む。
本実施例によると、タッチジェスチャーに対応する選択されたアイテムは表示された位置に残り、画面に表示された他のアイテムは感知された空間上のジェスチャー（例えば、タッチレススイープ）によって移動したり変更されたりする。
また、端末は、空間上のジェスチャーに基づいて、タッチ入力によって選択された使用者にコール、文字メッセージ、ファイルなどを送信する。
図２９は、本発明の第３実施例による端末制御方法を示した図である。
図２９を参照すると、端末は、カメラを介して映像入力を感知し、これを分析する。端末は映像入力を介して感知された動きに対して握り締める動きを分析する。
端末は分析結果に基づいて任意の動作を行う。例えば、拳に対応する空間上のジェスチャーの感知時、端末は該当する予め定義された動作を行う。
例えば、端末は、表示部に表示された内容をキャプチャーして貯蔵したり、表示されない内容を含む全体コンテンツの内容をキャプチャーして貯蔵したりする。端末はキャプチャーされた内容をイメージで貯蔵することができる。
端末は、キャプチャーされた内容をイメージで貯蔵する場合、イメージの大きさ、解像度、倍率などを変更したり、予め設定された値で設定したり、又は握り締める動きの速度、握り締める前の指を伸ばした程度、握りしめてから指を握りしめた程度などに基づいて任意の値で設定したりして貯蔵する。
図３０は、本発明の第４実施例による端末制御方法を示した図である。
図３０を参照すると、端末は、カメラを介して映像入力を感知し、これを分析する。端末は映像入力を分析して任意の方向に向ける空間上のジェスチャーを判断する。
端末は、判断された空間上のジェスチャーに基づいて、複数のウェブブラウザ間の移動動作を行う。端末は、複数のウェブブラウザが複数のタブ形態で表示された場合、複数のタブ間の移動動作を行う。或いは、端末は、複数のアプリケーションが作動中の場合、複数のアプリケーションの間の移動する動作を行うこともできる。
端末は、表示部に表示されているウェブブラウザに対して、左／右／上端／下端又は最上端／下端に移動された画面を表示する。また、端末は、表示部に表示されているウェブブラウザの更新を行ったり、拡大／縮小、ページコピー、検索、印刷、前／次のページに移動などの動作を行ったりする。
図３１は、本発明の第５実施例による端末制御方法を示した図である。
図３１を参照すると、端末は、カメラを介して映像入力を感知し、入力手段の模様を分析する。例えば、端末は手の模様を判断する。端末は、伸ばされた指の数、指の模様、手の平又は手の甲の形態、位置、大きさなどを分析する。
端末は入力手段の模様に基づいて任意の動作を行う。
本実施例によると、端末は伸ばされた指の数に基づいてカメラの撮影時間を決定する。例えば、端末は、伸ばされた指の数に対応する時間の後にカメラ撮影を行ったり、伸ばされた指の数に対応する時間の間の映像を撮影したりする。また、端末は手の模様に基づいて直ちに撮影を行うこともできる。
また、端末は手の模様に基づいてオートフォーカシングを行う。例えば、手の模様が親指を挙げた模様の場合、カメラはオートフォーカシングを行う。
また、端末は感知された空間上のジェスチャーに基づいて任意の撮影効果を適用することもできる。
図３２は、本発明の第６実施例による端末制御方法を示した図である。
図３２を参照すると、端末は入力手段の任意の方向に向ける動き又は端末に近接する入力手段のジェスチャーを感知する。例えば、端末は任意の方向に移動する手の動き又は端末の任意の位置に近接する指を感知する。
端末は、感知された動きの方向、速度又は近接する指の座標、距離などを分析する。
端末は分析結果に基づいて任意の動作を行う。
端末は任意の方向及び速度によって動く画面を表示する。また、端末は任意の座標で水滴が落ちる画面を表示する。この他にも、端末は多様な感性的な効果を示す画面を表示することができる。端末は、２Ｄ又は３Ｄで画面を表示し、表示される画面に対応して、振動、音響などを共に出力することもできる。
例えば、タッチレススイープが感知されると、端末は、波、又は画面を横切る波長の連続的な姿を画面に表示する。他の例として、ｐｏｉｎｔｉｎｇ ｏｆｆｅｒ又はタッチレスホバー（ｔｏｕｃｈｌｅｓｓ ｈｏｖｅｒ）が感知されると、端末は液体の中に物体又は水滴が落ちることに対応する波効果を表示する。
図３３は、本発明の第７実施例による端末制御方法を示した図である。
図３３を参照すると、端末は、端末に向けて近付く動き又は端末に近接した入力手段のジェスチャーを感知し、これを分析して任意の動作を行う。
端末は機能モードに基づいて簡単な情報を表示する。例えば、端末がロックモードの状態又は表示部が節電モードの状態の場合、端末は、日付、時間、バッテリー充填状態、警告窓などを表示する。
図３４は、本発明の第８実施例による端末の制御方法を示した図である。
図３４を参照すると、端末は任意の方向に向ける動きを感知してこれを分析する。また、端末は、端末の機能モードに基づいて任意の動作を行う。
端末は、速度／加速度センサー、ジャイロセンサーなどを介して端末が運転モードか否かを判断する。また、端末は、通話を受信した場合、任意の方向に向かう動きが感知されると、コールを受信したり又はコールを拒絶して運転中であることを知らせるメッセージをコールの相手に送出したりする。また、端末は運転モードの中で音楽のボリュームを調節したりメッセージを送受信する動作を行ったりすることもできる。例えば、空間上のジェスチャーは端末の運転モードで端末を制御するためのハンズフリー手段として用いることができる。
図３５は、本発明の第９実施例による端末の制御方法を示した図である。
図３５を参照すると、端末は、空間上のジェスチャーに基づいてマルチメディア再生を制御する。
例えば、端末は、カメラを介して映像入力を感知し、感知された入力手段の動き、模様などに基づいて、マルチメディアリストの前／後ファイルを再生したり、再生／静止を制御したり、シャッフル機能を行ったりする。
図３６は、本発明の一実施形態による端末の構成を示すブロック図である。
図３６を参照すると、端末１００は、入力部１１０、センサー部１２０、制御部１３０、カメラ部１４０、貯蔵部１５０、及び表示部１６０を含んで構成される。
入力部１１０は、使用者が端末１００の動作制御のための入力データを発生させる。入力部１１０は、キーパッド（ｋｅｙ ｐａｄ）、ドームスィッチ（ｄｏｍｅ ｓｗｉｔｃｈ）、タッチパッド（静圧／静電）、ジョグホイール、ジョグスィッチなどで構成される。
センサー部１２０は、タッチセンサー部１２１、近接センサー部１２２、速度／加速度センサー部１２３、及びジャイロセンサー部１２４を含んで構成される。
タッチセンサー部１２０は、タッチ入力を感知し、タッチフィルム、タッチシート、タッチパッドの中の少なくとも１つで構成される。
タッチセンサー部１２０は、表示部１６０と相互レイヤー構造を有することによってタッチスクリーンとして作動することができる。この時、タッチセンサー部１２０は、表示部１６０の特定部位に加えられた圧力又は表示部１６０の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成される。タッチセンサー部１２０は、タッチされる位置及び面積だけではなく、タッチ時の圧力までも検出するように構成される。
タッチセンサー部１２０によってタッチ入力が感知された場合、タッチセンサー部１２０は、それに対応する信号を処理して制御部１３０に送信する。これによって、制御部１３０は、表示部１６０のどの領域がタッチされたかなどが分かる。
近接センサー部１２２は、表示部１６０によって包まれる端末１００の内部領域又は表示部１６０の近くに配置される。近接センサー部１２２は、所定の検出面に近付く物体、或いは近傍に存在する物体の有無を電子系の力又は赤外線を利用して機械的接触なしに検出する。この時、表示部１６０はタッチスクリーンであり得る。
近接センサー部１２２は、透過型光電センサー、直接反射型光電センサー、ミラー反射型光電センサー、高周波発振型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーの中の少なくとも１つで構成される。表示部１６０が静電式タッチスクリーンの場合、近接センサー部１２２は、ポインタの近接による電界の変化でポインタの近接を検出するように構成される。
近接センサー部１２２は、近接タッチと、近接タッチパターン（例えば、近接タッチ距離、近接タッチ方向、近接タッチ速度、近接タッチ時間、近接タッチ位置、近接タッチ移動状態など）を感知する。感知された近接タッチ動作及び近接タッチパターンに相応する情報は表示部１６０に表示される。
速度／加速度センサー部１２３は、端末１００の動きを感知する。速度／加速度センサー部１２３は、ある一方向の加速度変化に対してこれを電気信号に変えられる素子で構成される。制御部１３０は、速度／加速度センサー部１２３によって感知された端末１００の動きに基づいて、端末１００が運転モードなのか否かを判断する。
ジャイロセンサー部１２４は、端末の回転状態を感知する。ジャイロセンサー部１２４は、端末１００の角速度を測定し、基準方向に対して回転された角度を感知する。例えば、ジャイロセンサー部１２４は、３方向の軸を基準にしたそれぞれの回転角度、即ち方位角（ａｚｉｍｕｔｈ）、ピッチ（ｐｉｔｃｈ）、及びロール（ｒｏｌｌ）を感知する。制御部１３０は、ジャイロセンサー部１２４によって感知された回転状態に基づいて、端末１００が床等に置かれた状態なのか、ドッキング状態なのかを判断する。
制御部１３０は、端末１００の各構成要素に対する全般的な動作を制御する。例えば、制御部１３０は、端末１００に対する空間上のジェスチャーを感知し、これを分析し、分析結果に基づいて任意の動作を決定し、これを行うように端末１００を制御する。
制御部１３０の詳細な動作は上述した通りである。
カメラ部１４０は、画像通話モード又は撮影モードでイメージセンサーによって得られた静止画像又は動画映像などの画像フレームを処理する。処理された画像フレームは表示部１６０に表示される。
カメラ部１４０で処理された画像フレームは、貯蔵部１５０に貯蔵されたり制御部１３０に送信されたりする。制御部１３０は、カメラ部１４０によって獲得された映像を分析して映像の模様、形態などを分析する。
貯蔵部１５０は、制御部１３０の動作のためのプログラムを貯蔵し、入／出力されるデータ（例えば、電話帳、メッセージ、静止映像、動映像など）を臨時貯蔵する。貯蔵部１５０は、タッチスクリーン上のタッチ入力時に出力される多様なパターンの振動及び音響に関するデータを貯蔵する。
また、貯蔵部１５０は、空間上のジェスチャーに基づいて任意の動作をマッチングさせた空間上の相互作用セットを貯蔵する。
貯蔵部１５０は、フラッシュメモリータイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリー（例えば、ＳＤ又はｘＤメモリーなど）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうちの少なくとも１つのタイプの貯蔵媒体を含む。
表示部１６０は、端末１００で処理される情報をＵＩ又はＧＵＩ形態で表示（出力）する。
表示部１６０は、液晶ディスプレー（ＬＣＤ）、薄膜トランジスター液晶ディスプレー（ＴＦＴ ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フレキシブルディスプレー、３次元ディスプレーのうちの少なくとも１つを含む。
表示部１６０は、タッチセンサー部１２１及び／又は近接センサー部１２２と相互レイヤー構造を成してタッチスクリーンとして作動することができる。この場合、表示部１６０は、出力装置以外に入力装置としても作動する。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
１００ 端末
１１０ 入力部
１２０ センサー部
１２１ タッチセンサー部
１２２ 近接センサー部
１２３ 速度／加速度センサー部
１２４ ジャイロセンサー部
１３０ 制御部
１４０ カメラ部
１５０ 貯蔵部
１６０ 表示部

Claims (20)

  1. 端末に近接して任意の方向に移動する使用者ジェスチャーを感知する段階と、
    前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断する段階と、
    前記判断結果によって現在作動中のアプリケーションに対する制御動作を行う段階と、を有することを特徴とする端末の制御方法。
  2. 前記使用者ジェスチャーは、
    入力を発生させるためのオブジェクトが前記端末から予め設定された距離内に接近し、前記予め設定された距離内で前記任意の方向に移動するジェスチャーで構成されることを特徴とする請求項１に記載の端末の制御方法。
  3. 前記使用者ジェスチャーは、
    左右又は上下に対する単方向移動、単方向スイープ、往復移動、両方向移動、及び振り（ｗａｖｅ）のうちのいずれか１つであることを特徴とする請求項１に記載の端末の制御方法。
  4. 前記制御動作を行う段階は、
    前記移動方向に電子ブックのページをめくる段階を含むことを特徴とする請求項１に記載の端末の制御方法。
  5. 前記電子ブックのページをめくる段階は、
    前記使用者ジェスチャーの移動速度及び移動距離のうちの少なくとも１つに基づいて複数のページ又は少なくとも１つのチャプターをめくる段階を含むことを特徴とする請求項４に記載の端末の制御方法。
  6. 前記制御動作を行う段階は、
    前記使用者ジェスチャーに基づいてメディアファイルの再生を制御する段階を含むことを特徴とする請求項１に記載の端末の制御方法。
  7. 前記メディアファイルの再生を制御する段階は、
    前記移動方向、前記移動速度、及び前記移動距離のうちの少なくとも１つに対応して前のメディアファイル又は次のメディアファイルの再生、ボリュームアップ又はダウン、再生の開始又は停止、及びシャッフル機能のうちの少なくとも１つの動作を行う段階を含むことを特徴とする請求項６に記載の端末の制御方法。
  8. 前記制御動作を行う段階は、
    前記移動方向、前記移動速度、及び前記移動距離のうちの少なくとも１つに対応して表示部上に表示された前記アプリケーションのコンテンツを上、下、左、又は右に移動、拡大／縮小、コピー、印刷、検索動作のうちの少なくとも１つを行う段階を含むことを特徴とする請求項１に記載の端末の制御方法。
  9. 前記コンテンツは、
    ウェプページ、リスト、イメージ、電子ブックのうちの少なくとも１つを含むことを特徴とする請求項８に記載の端末の制御方法。
  10. 前記制御動作を行う段階は、
    表示部上に表示された画面に前記使用者ジェスチャーに対応する効果を適用するように制御する段階を含むことを特徴とする請求項１に記載の端末の制御方法。
  11. 前記効果を適用するように制御する段階は、
    前記移動方向、前記移動速度、及び前記移動距離のうちの少なくとも１つに対応して波効果、水滴効果、風効果、色相変化効果、画面切替え効果のうちの少なくとも１つを適用する段階を含むことを特徴とする請求項１０に記載の端末の制御方法。
  12. 前記表示された画面は、
    待機画面、ロック画面、使用者インターフェース画面のうちの少なくとも１つを含むことを特徴とする請求項１０に記載の端末の制御方法。
  13. 前記制御動作を行う段階は、
    前記使用者ジェスチャーに対応してバックグラウンドで作動中のウェブブラウザのタブをナビゲーションする動作を行う段階を含むことを特徴とする請求項１に記載の端末の制御方法。
  14. 前記制御動作を行う段階は、
    前記使用者ジェスチャーに対応してウェブページのタブ又は現在作動中のアプリケーション間の切替えを行う段階を含むことを特徴とする請求項１に記載の端末の制御方法。
  15. 前記切替えを行う段階は、
    前記ウェブページ又は現在作動中のアプリケーションのリスト中で前記移動方向に対応するタブ又はバックグラウンドアプリケーションを判断する段階と、
    前記判断結果によって、前記移動方向に対応するタブ又はバックグラウンドアプリケーションが画面上に表示されるように切替えを行う段階と、を含むことを特徴とする請求項１４に記載の端末の制御方法。
  16. 端末に近接して任意の方向に移動する使用者ジェスチャーを感知するセンサー部と、
    前記使用者ジェスチャーの移動方向、移動速度、及び移動距離のうちの少なくとも１つを判断し、前記判断結果によって現在作動中のアプリケーションに対する制御動作を行う制御部と、
    前記制御部の制御によって前記アプリケーションの画面を表示する表示部と、を備えることを特徴とする端末。
  17. 前記使用者ジェスチャーは、
    入力を発生させるためのオブジェクトが前記端末から予め設定された距離内に接近し、前記予め設定された距離内で前記任意の方向に移動するジェスチャーで構成されることを特徴とする請求項１６に記載の端末。
  18. 前記制御部は、
    前記使用者ジェスチャーに対応して、ページめくり、再生制御、コンテンツ移動、ウェブブラウザのタブ切替え、アプリケーション切替え、及び表示された画面上での任意の効果適用のうちの少なくとも１つの制御動作を行うことを特徴とする請求項１６に記載の端末。
  19. 前記センサー部は、
    近接センサー、赤外線センサー、及びカメラセンサーのうちの少なくとも１つを用いて前記使用者ジェスチャーを感知し、該感知された使用者ジェスチャーに対する入力信号を生成して前記制御部に伝達することを特徴とする請求項１６に記載の端末。
  20. 前記使用者ジェスチャーは、
    左右又は上下に対する単方向移動、単方向スイープ、往復移動、両方向移動、ホバリング（ｈｏｖｅｒｉｎｇ）、及び振り（ｗａｖｅ）のうちのいずれか１つであることを特徴とする請求項１６に記載の端末。
JP2013097719A 2012-05-04 2013-05-07 空間上の相互作用に基づく端末の制御方法及びその端末 Pending JP2013235588A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020120047678A KR20130124061A (ko) 2012-05-04 2012-05-04 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR10-2012-0047678 2012-05-04
KR10-2012-0132222 2012-11-21
KR10-2012-0132223 2012-11-21
KR1020120132223A KR20130124139A (ko) 2012-11-21 2012-11-21 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR1020120132222A KR20130124138A (ko) 2012-11-21 2012-11-21 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR1020120137740A KR20130124143A (ko) 2012-11-30 2012-11-30 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR10-2012-0137740 2012-11-30

Publications (1)

Publication Number Publication Date
JP2013235588A true JP2013235588A (ja) 2013-11-21

Family

ID=48227029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013097719A Pending JP2013235588A (ja) 2012-05-04 2013-05-07 空間上の相互作用に基づく端末の制御方法及びその端末

Country Status (5)

Country Link
US (3) US20130293454A1 (ja)
EP (2) EP3742263A1 (ja)
JP (1) JP2013235588A (ja)
CN (2) CN110647244A (ja)
AU (1) AU2013205613B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530669A (ja) * 2012-09-29 2015-10-15 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 非接触ジェスチャを使用することにより端末機器を制御するための方法及び装置
WO2016021257A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
JP5869711B1 (ja) * 2015-04-07 2016-02-24 株式会社メディアドゥ コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法
JP2016058061A (ja) * 2014-09-08 2016-04-21 井上　文彦 電子機器
WO2016104266A1 (ja) * 2014-12-24 2016-06-30 ソニー株式会社 電子機器および電子機器の制御方法
JP2016148897A (ja) * 2015-02-10 2016-08-18 航 田中 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP2017510879A (ja) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． 端末デバイスを処理するための方法及び端末デバイス
CN107155009A (zh) * 2017-07-13 2017-09-12 彭声强 一种手机拍照方法
JP2018506089A (ja) * 2016-01-19 2018-03-01 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． ジェスチャーの識別方法及び装置
WO2018146922A1 (ja) * 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020017218A (ja) * 2018-07-27 2020-01-30 京セラ株式会社 電子機器、制御プログラム及び表示制御方法
JP2020017215A (ja) * 2018-07-27 2020-01-30 京セラ株式会社 電子機器、制御プログラム及び表示制御方法
US10775998B2 (en) 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
JP2021073579A (ja) * 2015-02-25 2021-05-13 京セラ株式会社 電子機器、方法及びプログラム
JP2021530032A (ja) * 2018-06-29 2021-11-04 北京微播視界科技有限公司Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ シナリオ制御方法、装置および電子装置

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463371B (zh) * 2012-06-20 2014-12-01 Pixart Imaging Inc 手勢偵測裝置以及根據速度判斷連續手勢的方法
US20140267094A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US20140368737A1 (en) 2013-06-17 2014-12-18 Spotify Ab System and method for playing media during navigation between media streams
US9430045B2 (en) * 2013-07-17 2016-08-30 Lenovo (Singapore) Pte. Ltd. Special gestures for camera control and image processing operations
US20150033121A1 (en) * 2013-07-26 2015-01-29 Disney Enterprises, Inc. Motion based filtering of content elements
US10110649B2 (en) 2013-08-01 2018-10-23 Spotify Ab System and method for transitioning from decompressing one compressed media stream to decompressing another media stream
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
US9785241B2 (en) * 2013-08-26 2017-10-10 Paypal, Inc. Gesture identification
US9917869B2 (en) 2013-09-23 2018-03-13 Spotify Ab System and method for identifying a segment of a file that includes target content
US9529888B2 (en) 2013-09-23 2016-12-27 Spotify Ab System and method for efficiently providing media and associated metadata
KR20150043149A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
KR102063349B1 (ko) * 2013-11-19 2020-01-08 엘지디스플레이 주식회사 표시장치와 그 구동 방법
CN104679230B (zh) * 2013-12-03 2018-05-18 华为终端（东莞）有限公司 一种非接触式输入信息的方法及终端
CN103645897A (zh) * 2013-12-05 2014-03-19 深圳市中兴移动通信有限公司 移动终端及其操作方法
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
CN104063047B (zh) * 2014-01-09 2018-02-02 朱明甫 基于手势遥控对电子书翻页的遥控装置及其翻页方法
KR20150087544A (ko) 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
GB2523132A (en) * 2014-02-13 2015-08-19 Nokia Technologies Oy An apparatus and associated methods for controlling content on a display user interface
WO2015126392A1 (en) * 2014-02-20 2015-08-27 Hewlett-Packard Development Company, L.P. Emulating a user performing spatial gestures
CN103838496B (zh) * 2014-02-20 2020-01-31 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN104866070A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 信息处理的方法及电子设备
WO2015148591A1 (en) 2014-03-25 2015-10-01 Analog Devices, Inc. Optical user interface
CN104978133A (zh) * 2014-04-04 2015-10-14 阿里巴巴集团控股有限公司 一种用于智能终端的截屏方法和装置
CN105021204B (zh) * 2014-04-24 2018-10-16 深圳市赛格导航科技股份有限公司 一种非接触式车载导航系统及导航方法
KR102251541B1 (ko) * 2014-06-23 2021-05-14 엘지전자 주식회사 이동단말기 및 그것의 제어방법
JP6401268B2 (ja) * 2014-06-30 2018-10-10 クラリオン株式会社 非接触操作検出装置
CN104219384B (zh) * 2014-08-21 2018-03-13 深圳市金立通信设备有限公司 一种终端
CN104219786B (zh) * 2014-08-21 2019-05-14 深圳市金立通信设备有限公司 一种终端连接的方法
CN104243693A (zh) * 2014-08-21 2014-12-24 深圳市金立通信设备有限公司 一种终端
CN104243692A (zh) * 2014-08-21 2014-12-24 深圳市金立通信设备有限公司 一种终端连接的方法
CN105487648A (zh) * 2014-09-16 2016-04-13 深圳富泰宏精密工业有限公司 增加镜头功能的软件控制系统及方法
CN105717982B (zh) * 2014-12-03 2019-03-08 联想(北京)有限公司 信息处理方法及电子设备
DE102015201613A1 (de) * 2015-01-30 2016-08-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
CN104765278B (zh) * 2015-04-20 2019-03-22 宇龙计算机通信科技(深圳)有限公司 一种智能家居设备控制方法及电子设备
EP3282680B1 (en) * 2015-04-28 2022-09-28 Huawei Technologies Co., Ltd. Blowing action-based method for operating mobile terminal and mobile terminal
CN107967116B (zh) 2015-06-16 2019-07-19 深圳市腾讯计算机系统有限公司 游戏场景中锁定目标的方法和装置、计算机设备
CN104978131B (zh) * 2015-06-18 2018-09-18 Tcl移动通信科技（宁波）有限公司 一种基于相机图像的电子书翻页检测方法及系统
US10769402B2 (en) * 2015-09-09 2020-09-08 Thales Dis France Sa Non-contact friction ridge capture device
CN105242599A (zh) * 2015-09-30 2016-01-13 南京邮电大学 一种基于手势追踪传感器的音乐无线控制系统和方法
CN105487662A (zh) * 2015-11-27 2016-04-13 努比亚技术有限公司 一种移动终端的增减调节方法及装置
CN105491206B (zh) * 2015-11-30 2018-04-06 上海斐讯数据通信技术有限公司 一种近距离感应解锁方法及系统、智能设备
CN105872691A (zh) * 2015-12-14 2016-08-17 乐视致新电子科技（天津）有限公司 浏览器控制方法及装置
CN105975072A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 识别手势动作的方法、装置及系统
US20170351336A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight based gesture control devices, systems and methods
CN106126029B (zh) * 2016-06-24 2019-02-22 维沃移动通信有限公司 一种背景图片切换方法及移动终端
CN106249899A (zh) * 2016-08-15 2016-12-21 珠海格力电器股份有限公司 一种手势识别系统、电器及其控制方法
CN106406524A (zh) * 2016-09-05 2017-02-15 珠海格力电器股份有限公司 设备的控制方法及装置
CN106484105A (zh) * 2016-09-20 2017-03-08 努比亚技术有限公司 一种实现手势识别的方法及装置
CN106502383A (zh) * 2016-09-21 2017-03-15 努比亚技术有限公司 一种信息处理方法及移动终端
CN106371759A (zh) * 2016-09-29 2017-02-01 努比亚技术有限公司 一种基于接近传感器的速度识别系统及移动终端
CN106603811A (zh) * 2016-10-31 2017-04-26 努比亚技术有限公司 一种终端静音控制装置及方法
CN107046597B (zh) * 2017-02-22 2019-11-26 Tcl移动通信科技（宁波）有限公司 一种基于移动终端的音量设置处理方法及移动终端
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
CN108196666A (zh) * 2017-09-28 2018-06-22 努比亚技术有限公司 一种终端控制的方法、终端及计算机可读存储介质
US20190179499A1 (en) * 2017-10-20 2019-06-13 Qurika Inc. Systems and methods for providing a digital content reader and collection display application implementing 3d graphical user interfaces and interactions
CN108632411A (zh) * 2018-05-11 2018-10-09 Oppo广东移动通信有限公司 电子装置
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN109343754A (zh) * 2018-08-27 2019-02-15 维沃移动通信有限公司 一种图像显示方法及终端
USD930676S1 (en) * 2018-09-07 2021-09-14 Samsung Display Co., Ltd. Display device with generated image for display
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
JP7280032B2 (ja) * 2018-11-27 2023-05-23 ローム株式会社 入力デバイス、自動車
CN110069137B (zh) * 2019-04-30 2022-07-08 徐州重型机械有限公司 手势控制方法、控制装置和控制系统
CN112394811B (zh) * 2019-08-19 2023-12-08 华为技术有限公司 一种隔空手势的交互方法及电子设备
CN111524157B (zh) * 2020-04-26 2022-07-01 南瑞集团有限公司 基于摄像头阵列的触屏物体分析方法、系统及存储介质
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
JP2022087700A (ja) * 2020-12-01 2022-06-13 京セラドキュメントソリューションズ株式会社 電子機器および画像形成装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530726A (ja) * 2006-03-22 2009-08-27 フオルクスワーゲン・アクチエンゲゼルシヤフト 対話型操作装置および対話型操作装置を動作させるための方法
JP2009260907A (ja) * 2008-03-18 2009-11-05 Nec Corp 携帯端末装置、端末操作方法、プログラム、及び記録媒体
JP2009541875A (ja) * 2006-06-26 2009-11-26 ユーアイキュー テクノロジー エービー 接触感知ディスプレイ上でのジェスチャの速度に応答するブラウジング
WO2010065752A2 (en) * 2008-12-04 2010-06-10 Microsoft Corporation Providing selected data through a locked display
JP2010170166A (ja) * 2009-01-20 2010-08-05 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2010244132A (ja) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法およびユーザインタフェース制御プログラム
JP2010262400A (ja) * 2009-04-30 2010-11-18 Denso Corp 車載用電子機器操作装置
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011186730A (ja) * 2010-03-08 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011216094A (ja) * 2010-03-31 2011-10-27 Samsung Electronics Co Ltd タッチスクリーン装置及びその入力処理方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986455B1 (ja) * 1998-07-24 1999-12-06 株式会社エイ・ティ・アール知能映像通信研究所 手振り認識装置
US20040196400A1 (en) * 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
JP4717539B2 (ja) * 2005-07-26 2011-07-06 キヤノン株式会社 撮像装置及び撮像方法
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
CN101465961B (zh) * 2007-12-19 2013-10-30 神基科技股份有限公司 以特征影像辨识控制快门的摄像装置及方法
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
US7990421B2 (en) * 2008-07-18 2011-08-02 Sony Ericsson Mobile Communications Ab Arrangement and method relating to an image recording device
US8499251B2 (en) * 2009-01-07 2013-07-30 Microsoft Corporation Virtual page turn
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20110022307A1 (en) * 2009-07-27 2011-01-27 Htc Corporation Method for operating navigation frame, navigation apparatus and recording medium
JP2011134271A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN101742114A (zh) * 2009-12-31 2010-06-16 上海量科电子科技有限公司 通过手势识别来决定拍摄操作的方法及装置
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
WO2011143720A1 (en) * 2010-05-21 2011-11-24 Rpo Pty Limited Methods for interacting with an on-screen document
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
CN102055844B (zh) * 2010-11-15 2013-05-15 惠州Tcl移动通信有限公司 一种通过手势识别实现照相机快门功能的方法及手机装置
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
CN201945948U (zh) * 2011-03-10 2011-08-24 中科芯集成电路股份有限公司 一种基于图像检测的非接触式手势翻书演示系统
CN102142084B (zh) * 2011-05-06 2012-12-26 北京网尚数字电影院线有限公司 一种手势识别的方法
US20120304132A1 (en) * 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
CN102420942A (zh) * 2011-11-28 2012-04-18 康佳集团股份有限公司 一种基于拍照设备的拍照控制方法及拍照设备
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US8811938B2 (en) * 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
EP2825938A1 (en) * 2012-03-15 2015-01-21 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530726A (ja) * 2006-03-22 2009-08-27 フオルクスワーゲン・アクチエンゲゼルシヤフト 対話型操作装置および対話型操作装置を動作させるための方法
JP2009541875A (ja) * 2006-06-26 2009-11-26 ユーアイキュー テクノロジー エービー 接触感知ディスプレイ上でのジェスチャの速度に応答するブラウジング
JP2009260907A (ja) * 2008-03-18 2009-11-05 Nec Corp 携帯端末装置、端末操作方法、プログラム、及び記録媒体
WO2010065752A2 (en) * 2008-12-04 2010-06-10 Microsoft Corporation Providing selected data through a locked display
JP2010170166A (ja) * 2009-01-20 2010-08-05 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2010244132A (ja) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法およびユーザインタフェース制御プログラム
JP2010262400A (ja) * 2009-04-30 2010-11-18 Denso Corp 車載用電子機器操作装置
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011186730A (ja) * 2010-03-08 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011216094A (ja) * 2010-03-31 2011-10-27 Samsung Electronics Co Ltd タッチスクリーン装置及びその入力処理方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530669A (ja) * 2012-09-29 2015-10-15 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 非接触ジェスチャを使用することにより端末機器を制御するための方法及び装置
JP2017510879A (ja) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． 端末デバイスを処理するための方法及び端末デバイス
WO2016021257A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
WO2016021256A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
WO2016021255A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
JP2016058061A (ja) * 2014-09-08 2016-04-21 井上　文彦 電子機器
WO2016104266A1 (ja) * 2014-12-24 2016-06-30 ソニー株式会社 電子機器および電子機器の制御方法
JP2016148897A (ja) * 2015-02-10 2016-08-18 航 田中 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP2021073579A (ja) * 2015-02-25 2021-05-13 京セラ株式会社 電子機器、方法及びプログラム
JP5869711B1 (ja) * 2015-04-07 2016-02-24 株式会社メディアドゥ コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法
JP2018506089A (ja) * 2016-01-19 2018-03-01 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． ジェスチャーの識別方法及び装置
US10775998B2 (en) 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
WO2018146922A1 (ja) * 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2018146922A1 (ja) * 2017-02-13 2019-11-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107155009A (zh) * 2017-07-13 2017-09-12 彭声强 一种手机拍照方法
JP2021530032A (ja) * 2018-06-29 2021-11-04 北京微播視界科技有限公司Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ シナリオ制御方法、装置および電子装置
US11755119B2 (en) 2018-06-29 2023-09-12 Beijing Microlive Vision Technology Co., Ltd Scene controlling method, device and electronic equipment
JP7372945B2 (ja) 2018-06-29 2023-11-01 北京微播視界科技有限公司 シナリオ制御方法、装置および電子装置
JP2020017218A (ja) * 2018-07-27 2020-01-30 京セラ株式会社 電子機器、制御プログラム及び表示制御方法
JP2020017215A (ja) * 2018-07-27 2020-01-30 京セラ株式会社 電子機器、制御プログラム及び表示制御方法
JP7034856B2 (ja) 2018-07-27 2022-03-14 京セラ株式会社 電子機器、制御プログラム及び表示制御方法
US11354031B2 (en) 2018-07-27 2022-06-07 Kyocera Corporation Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
JP7244231B2 (ja) 2018-07-27 2023-03-22 京セラ株式会社 電子機器、制御プログラム及び表示制御方法

Also Published As

Publication number Publication date
US20180107282A1 (en) 2018-04-19
AU2013205613A1 (en) 2013-11-21
EP2660682A2 (en) 2013-11-06
CN103383598A (zh) 2013-11-06
CN110647244A (zh) 2020-01-03
US20200257373A1 (en) 2020-08-13
AU2013205613B2 (en) 2017-12-21
EP2660682A3 (en) 2017-04-26
US20130293454A1 (en) 2013-11-07
EP3742263A1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
JP2013235588A (ja) 空間上の相互作用に基づく端末の制御方法及びその端末
US20190012000A1 (en) Deformable Electronic Device with Methods and Systems for Controlling the Deformed User Interface
JP5977627B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6157885B2 (ja) 携帯端末装置の表示制御方法
US20120062564A1 (en) Mobile electronic device, screen control method, and storage medium storing screen control program
WO2013161162A1 (ja) 入力装置、入力支援方法及びプログラム
JP2013546110A (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
JP2015215907A (ja) モーション基盤のユーザインターフェース制御装置及び方法
KR20130129220A (ko) 컴퓨팅 디바이스의 의도적 이동을 수반하는 제스처를 검출하는 방법
US10514796B2 (en) Electronic apparatus
US20120297339A1 (en) Electronic device, control method, and storage medium storing control program
CN102422236A (zh) 使用运动检测以处理移动计算装置上的扫视及缩放功能
US10671269B2 (en) Electronic device with large-size display screen, system and method for controlling display screen
WO2013093205A1 (en) Apparatus and method for providing transitions between screens
KR20130124061A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
JP5461735B2 (ja) 入力装置、入力支援方法及びプログラム
JP6943250B2 (ja) 情報処理装置、プログラムおよび情報処理システム
KR20130124139A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
JP2016126363A (ja) タッチスクリーンに入力する方法、携帯式電子機器およびコンピュータ・プログラム
WO2013080425A1 (ja) 入力装置、情報端末、入力制御方法、および入力制御プログラム
KR102194778B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
WO2015079687A1 (ja) 電子機器
KR20130124143A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR102061254B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180710