JP2016173831A - コンピュータ装置の遠隔制御 - Google Patents
コンピュータ装置の遠隔制御 Download PDFInfo
- Publication number
- JP2016173831A JP2016173831A JP2016085276A JP2016085276A JP2016173831A JP 2016173831 A JP2016173831 A JP 2016173831A JP 2016085276 A JP2016085276 A JP 2016085276A JP 2016085276 A JP2016085276 A JP 2016085276A JP 2016173831 A JP2016173831 A JP 2016173831A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- image
- computer
- finger
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 claims abstract description 27
- 238000004883 computer application Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 60
- 230000011218 segmentation Effects 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 14
- 230000005057 finger movement Effects 0.000 claims description 12
- 210000003811 finger Anatomy 0.000 description 122
- 241000699666 Mus <mouse, genus> Species 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 210000003813 thumb Anatomy 0.000 description 17
- 210000004932 little finger Anatomy 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 101100127285 Drosophila melanogaster unc-104 gene Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
【解決手段】手が、手の追跡を可能にするパターンに構造化された光で投射される、コンピュータ装置の、ユーザの手の画像の時系列を得るステップ、画像を使用して手の動きを追跡するステップ、コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのインタフェースを表わす第2画像とを提示するステップ、手の追跡された動きに呼応して第1画像を動かすステップ、コンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知するステップ及び検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すステップを有する。
【選択図】図2
Description
具体的には、本願発明によれば、以下の(1)〜(34)の構成が提供される。
(1)コンピュータ装置の遠隔手制御のための装置であって、
コンピュータ装置のユーザの手の動きを追跡するように構成された手追跡器と、
前記手追跡器に関連付けられ、手を表わす第1画像および第2画像をユーザに提示し、かつ追跡された動きに従って第1画像を動かすように構成された画像提示器と、
前記画像提示器に関連付けられ、第1画像と第2画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第1画像および第2画像を前記相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器と
を備えた装置。
(2)前記手追跡器はさらに、手の動きを追跡するために、二次元ビデオデータを使用するように構成される、(1)に記載の装置。
(3)前記手追跡器はさらに、手に投射される光パターンの連続的特徴のセグメント化を検知することによって動きを追跡するように構成され、光パターンは、第1方向の前記連続的特徴、および第1方向に対し実質的に垂直な方向の非連続的特徴を有する、(1)に記載の装置。
(4)光パターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器はさらに、光パターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって指の動きを追跡するように構成される、(3)に記載の装置。
(5)前記手追跡器はさらに、追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別するように構成される、(4)に記載の装置。
(6)光パターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器はさらに、光パターンにおいて、手の掌による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって手の動きを追跡するように構成される、(3)に記載の装置。
(7)前記手追跡器はさらに、手に投射される光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することによって動きを追跡するように構成される、(1)に記載の装置。
(8)第1方向に連続的特徴を有し、かつ第1方向に対し実質的に垂直な方向に非連続的特徴を有する光パターンを手の上に投射するように構成された投光器と、
前記手追跡器に関連付けられ、光パターンを投射された手の画像を取得することにより第一画像を取得するように構成されたカメラと
を備えた、(1)に記載の装置。
(9)前記投光器はコンピュータ装置から遠隔位置にある、(8)に記載の装置。
(10)前記カメラはコンピュータ装置から遠隔位置にある、(8)に記載の装置。
(11)前記投光器は、光ビームを放出するように構成された光源と、
光パターンを生成するために、光ビームを修正するように構成された微細構造素子と
を備えた、(8)に記載の装置。
(12)前記微細構造素子はさらに、光ビームを、光ビームに沿って変化する断面強度プロファイルを有する光ビームに変換するように構成される、(11)に記載の装置。
(13)前記手追跡器に関連付けられ、追跡された手の動きの中で予め定められたジェスチャを検知するように構成されたジェスチャ認識器をさらに含み、前記コンピュータ制御器はさらに、検知されたジェスチャに対し予め定められた方法でコンピュータ装置を制御するように構成される、(1)に記載の装置。
(14)前記画像提示器はさらに、予め定められたジェスチャを検知すると、第1画像を予め定められた位置に位置合せするように構成される、(13)に記載の装置。
(15)前記画像提示器はさらに、予め定められたジェスチャを検知すると、第1画像のサイズを変更するように構成される、(13)に記載の装置。
(16)前記画像提示器はさらに、予め定められたジェスチャを検知すると、第2画像のサイズを変更するように構成される、(13)に記載の装置。
(17)前記コンピュータ制御器は、携帯電話機の一部である、(1)に記載の装置。
(18)前記コンピュータ制御器は、自動車に据え付けられる装置の一部である、(1)に記載の装置。
(19)前記コンピュータ制御器は、楽器の一部である、(1)に記載の装置。
(20)前記手追跡器は、コンピュータ装置から遠隔位置にある、(1)に記載の装置。
(21)第2画像は、コンピュータ入力装置を表わす、(1)に記載の装置。
(22)コンピュータ装置の遠隔手制御のためのコンピュータ実装方法であって、コンピュータ装置が実行するようにプログラムされたステップを含み、該ステップが
a)コンピュータ装置のユーザの手の動きを追跡するステップと、
b)手を表わす第1画像および第2画像をユーザに提示し、かつ追跡された動きに呼応して第1画像を動かすステップと、
c)第1画像と第2画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第1画像および第2画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含む、方法
(23)手の動きの前記追跡は、二次元ビデオデータを用いて実行される、(22)に記載の方法。
(24)手の動きの前記追跡はさらに、手に投射された光パターンの連続的特徴のセグメント化を検知することを含み、光パターンは、第1方向に前記連続的特徴を有し、第1方向に対して実質的に垂直な方向に非連続的特徴を有する、(22)に記載の方法。
(25)光パターンは、互いに実質的に平行に配列された複数の縞を含み、方法はさらに、光パターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって指の動きを追跡することを含む、(24)に記載の方法。
(26)追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別することをさらに含む、(25)に記載の方法。
(27)光パターンは、互いに実質的に平行に配列された複数の縞を含み、方法はさらに、光パターンにおいて、手の掌による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって手の動きを追跡することを含む、(24)に記載の方法。
(28)手の動きの前記追跡は、手に投射された光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することをさらに含む、(22)に記載の方法。
(29)追跡された手の動きの中で、予め定められたジェスチャを検知し、検知されたジェスチャに対して予め定められた方法でコンピュータ装置を制御することをさらに含む、(22)に記載の方法。
(30)予め定められたジェスチャが検知されると、第1画像を予め定められた位置に位置合せすることをさらに含む、(29)に記載の方法。
(31)予め定められたジェスチャが検知されると、第1画像のサイズを変更することをさらに含む、(29)に記載の方法。
(32)予め定められたジェスチャが検知されると、第2画像のサイズを変更することをさらに含む、(29)に記載の方法。
(33)第2画像は、コンピュータ入力装置を表わす、(22)に記載の方法。
(34)コンピュータ装置の遠隔手制御のためのステップを実行するためのコンピュータ実行可能命令を格納するコンピュータ可読媒体であって、該ステップが
a)コンピュータ装置のユーザの手の動きを追跡するステップと、
b)手を表わす第1画像および第2画像をユーザに提示し、かつ追跡された動きに呼応して第1画像を動かすステップと、
c)第1画像と第2画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第1画像および第2画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含む、コンピュータ可読媒体。
こともできるが)。
一部の方法は、デジタル・ビデオ・ストリームからの通常の画像解析を含む。
Claims (21)
- 以下のステップを含むコンピュータ実装方法:
コンピュータ装置のユーザの手の画像の時系列を得るステップであって、前記手が、手の追跡を可能にするパターンに構造化された光で投射されるステップ、
前記画像を使用して手の動きを追跡するステップ、
コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのインタフェースを表わす第2画像とを提示するステップ、
手の追跡された動きに呼応して第1画像を動かすステップ、
コンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知するステップ、及び
検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すステップ。 - 前記手の動きを追跡するステップは、二次元ビデオデータを使用することを含む、請求項1に記載の方法。
- 前記構造化された光のパターンは、二次元ビデオデータにおける手の指の動きを追跡することを可能にする、請求項1に記載の方法。
- 前記構造化された光のパターンは、手の指及び手の掌によるパターンの歪みに基づいて、二次元ビデオデータにおける手の指及び手の掌の動きを追跡することを可能にする、請求項1に記載の方法。
- 前記構造化された光のパターンは、互いに実質的に平行に配列された複数の縞を含み、前記手の動きを追跡するステップは、構造化された光のパターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別すること、及び指による縞のセグメント化によって生じる縞セグメントのクラスタのみを追跡することによって指の動きを追跡することをさらに含む、請求項1に記載の方法。
- 前記手の動きを追跡するステップは、追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別することをさらに含む、請求項5に記載の方法。
- 前記構造化された光のパターンは、グリッドパターンを含み、前記方法は、グリッドパターンを有する構造化された光を手に投射することによって手の動きにおける予め定められたジェスチャを検知することをさらに含む、請求項1に記載の方法。
- 以下のものを含む装置:
コンピュータ装置のユーザの手に、手の追跡を可能にするパターンに構造化された光を投射するように構成された投光器、
構造化された光のパターンで投射された手の画像を取得することによって、手の画像の時系列を取得するように構成されたカメラ、
前記カメラに関連付けられた手追跡器であって、前記画像を使用して手の動きを追跡するように構成された手追跡器、
前記手追跡器に関連付けられた画像提示器であって、コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのインタフェースを表わす第2画像とを提示するように構成された画像提示器、及び
前記画像提示器に関連付けられたコンピュータ制御器であって、手の追跡された動きに呼応して第1画像を動かすように構成され、さらにコンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知し、検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すように構成されたコンピュータ制御器。 - 前記手追跡器は、手の動きを追跡するために、二次元ビデオデータを使用するようにさらに構成されている、請求項8に記載の装置。
- 前記構造化された光のパターンは、二次元ビデオデータにおける手の指の動きを追跡することを可能にする、請求項8に記載の装置。
- 前記構造化された光のパターンは、手の指及び手の掌によるパターンの歪みに基づいて、二次元ビデオデータにおける手の指及び手の掌の動きを追跡することを可能にする、請求項8に記載の装置。
- 前記構造化された光のパターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器は、構造化された光のパターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別するように、及び指による縞のセグメント化によって生じる縞セグメントのクラスタのみを追跡することによって指の動きを追跡するようにさらに構成されている、請求項8に記載の装置。
- 前記手追跡器は、追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別するようにさらに構成されている、請求項12に記載の装置。
- 前記カメラは、構造化された光のパターンで投射された手の画像を取得することによって第1画像を取得するようにさらに構成されている、請求項8に記載の装置。
- 前記投光器はコンピュータ装置から遠隔位置にある、請求項8に記載の装置。
- 前記カメラはコンピュータ装置から遠隔位置にある、請求項8に記載の装置。
- 前記装置は、前記手追跡器に関連付けられ、かつグリッドパターンを有する構造化された光を手に投射することによって、追跡された手の動きの中で予め定められたジェスチャを検知するように構成されたジェスチャ認識器をさらに含み、前記コンピュータ制御器は、検知されたジェスチャに対し予め定められた方法でコンピュータ装置を制御するようにさらに構成されている、請求項8に記載の装置。
- 前記画像提示器は、予め定められたジェスチャを検知すると、第1画像を予め定められた位置に位置合せするように;又は予め定められたジェスチャを検知すると、第1画像のサイズを変更するように;又は予め定められたジェスチャを検知すると、第2画像のサイズを変更するようにさらに構成されている、請求項17に記載の装置。
- 前記コンピュータ制御器は、携帯電話機の一部であるか、又は自動車に据え付けられる装置の一部であるか、又は楽器の一部である、請求項8に記載の装置。
- 前記手追跡器は、コンピュータ装置から遠隔位置にある、請求項8に記載の装置。
- 以下のステップを実行するためのコンピュータ実行可能命令を格納するコンピュータ可読媒体:
コンピュータ装置のユーザの手の画像の時系列を得るステップであって、前記手が、手の追跡を可能にするパターンに構造化された光で投射されるステップ、
前記画像を使用して手の動きを追跡するステップ、
コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのインタフェースを表わす第2画像とを提示するステップ、
手の追跡された動きに呼応して第1画像を動かすステップ、
コンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知するステップ、及び
検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すステップ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US24447309P | 2009-09-22 | 2009-09-22 | |
US61/244,473 | 2009-09-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012530394A Division JP5926184B2 (ja) | 2009-09-22 | 2010-09-19 | コンピュータ装置の遠隔制御 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017155546A Division JP6348211B2 (ja) | 2009-09-22 | 2017-08-10 | コンピュータ装置の遠隔制御 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016173831A true JP2016173831A (ja) | 2016-09-29 |
JP6207659B2 JP6207659B2 (ja) | 2017-10-04 |
Family
ID=43796308
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012530394A Active JP5926184B2 (ja) | 2009-09-22 | 2010-09-19 | コンピュータ装置の遠隔制御 |
JP2016085276A Active JP6207659B2 (ja) | 2009-09-22 | 2016-04-21 | コンピュータ装置の遠隔制御 |
JP2017155546A Active JP6348211B2 (ja) | 2009-09-22 | 2017-08-10 | コンピュータ装置の遠隔制御 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012530394A Active JP5926184B2 (ja) | 2009-09-22 | 2010-09-19 | コンピュータ装置の遠隔制御 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017155546A Active JP6348211B2 (ja) | 2009-09-22 | 2017-08-10 | コンピュータ装置の遠隔制御 |
Country Status (6)
Country | Link |
---|---|
US (4) | US9507411B2 (ja) |
EP (1) | EP2480955B1 (ja) |
JP (3) | JP5926184B2 (ja) |
KR (2) | KR101711619B1 (ja) |
CN (1) | CN102656543A (ja) |
WO (1) | WO2011036618A2 (ja) |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8121361B2 (en) | 2006-05-19 | 2012-02-21 | The Queen's Medical Center | Motion tracking system for real time adaptive imaging and spectroscopy |
JP2012518236A (ja) | 2009-02-17 | 2012-08-09 | オーメック インタラクティブ,リミテッド | ジェスチャー認識のための方法及びシステム |
CN102656543A (zh) | 2009-09-22 | 2012-09-05 | 泊布欧斯技术有限公司 | 计算机装置的远程控制 |
US8639020B1 (en) | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
US9870068B2 (en) | 2010-09-19 | 2018-01-16 | Facebook, Inc. | Depth mapping with a head mounted display using stereo cameras and structured light |
US9195345B2 (en) * | 2010-10-28 | 2015-11-24 | Microsoft Technology Licensing, Llc | Position aware gestures with visual feedback as input method |
EP2474950B1 (en) * | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
US8503494B2 (en) * | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US9478067B1 (en) | 2011-04-08 | 2016-10-25 | Amazon Technologies, Inc. | Augmented reality environment with secondary sensory feedback |
JP6074170B2 (ja) | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
CN102841733B (zh) * | 2011-06-24 | 2015-02-18 | 株式会社理光 | 虚拟触摸屏系统以及自动切换交互模式的方法 |
KR101446902B1 (ko) * | 2011-08-19 | 2014-10-07 | 한국전자통신연구원 | 사용자 인터랙션 장치 및 방법 |
US9606209B2 (en) | 2011-08-26 | 2017-03-28 | Kineticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
US20130088434A1 (en) * | 2011-10-06 | 2013-04-11 | Sony Ericsson Mobile Communications Ab | Accessory to improve user experience with an electronic display |
KR101260053B1 (ko) | 2011-11-17 | 2013-05-06 | 재단법인대구경북과학기술원 | 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법 |
US8958631B2 (en) | 2011-12-02 | 2015-02-17 | Intel Corporation | System and method for automatically defining and identifying a gesture |
WO2013085525A1 (en) * | 2011-12-08 | 2013-06-13 | Intel Corporation | Techniques for efficient stereo block matching for gesture recognition |
US8782565B2 (en) * | 2012-01-12 | 2014-07-15 | Cisco Technology, Inc. | System for selecting objects on display |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
JP5550670B2 (ja) * | 2012-03-28 | 2014-07-16 | 株式会社デンソーアイティーラボラトリ | 情報処理装置 |
US10448161B2 (en) * | 2012-04-02 | 2019-10-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field |
US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
JP6360050B2 (ja) * | 2012-07-13 | 2018-07-18 | ソフトキネティック ソフトウェア | 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム |
WO2014014461A1 (en) * | 2012-07-19 | 2014-01-23 | Intel Corporation | System and method for controlling an external system using a remote device with a depth sensor |
US8907914B2 (en) * | 2012-08-31 | 2014-12-09 | General Electric Company | Methods and apparatus for documenting a procedure |
CN103777746B (zh) * | 2012-10-23 | 2018-03-13 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、终端及系统 |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
CN105392423B (zh) | 2013-02-01 | 2018-08-17 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
WO2014125427A1 (en) * | 2013-02-14 | 2014-08-21 | Primesense Ltd. | Flexible room controls |
JP6127564B2 (ja) * | 2013-02-15 | 2017-05-17 | コニカミノルタ株式会社 | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9560103B2 (en) * | 2013-06-26 | 2017-01-31 | Echostar Technologies L.L.C. | Custom video content |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
AU2014338511B2 (en) | 2013-10-23 | 2018-08-09 | Facebook Technologies, Llc | Three dimensional depth mapping using dynamic structured light |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP2015095682A (ja) * | 2013-11-08 | 2015-05-18 | 株式会社東芝 | 電子機器、方法、及びプログラム |
EP2891950B1 (en) | 2014-01-07 | 2018-08-15 | Sony Depthsensing Solutions | Human-to-computer natural three-dimensional hand gesture based navigation method |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US10004462B2 (en) | 2014-03-24 | 2018-06-26 | Kineticor, Inc. | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
US9749513B2 (en) * | 2014-04-29 | 2017-08-29 | Facebook, Inc. | System and method for generating a light pattern for object illumination |
US9766806B2 (en) | 2014-07-15 | 2017-09-19 | Microsoft Technology Licensing, Llc | Holographic keyboard display |
EP3188660A4 (en) | 2014-07-23 | 2018-05-16 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
US9842392B2 (en) * | 2014-12-15 | 2017-12-12 | Koninklijke Philips N.V. | Device, system and method for skin detection |
NL2014037B1 (en) | 2014-12-22 | 2016-10-12 | Meyn Food Proc Technology Bv | Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass. |
EP3237250B1 (de) * | 2014-12-22 | 2020-04-22 | Volkswagen AG | Fingerleiste und anwendung der fingerleiste |
WO2016112019A1 (en) * | 2015-01-06 | 2016-07-14 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
KR20170124559A (ko) | 2015-02-25 | 2017-11-10 | 페이스북, 인크. | 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별 |
CN106033257B (zh) * | 2015-03-18 | 2019-05-31 | 联想(北京)有限公司 | 一种控制方法和装置 |
EP3274653B1 (en) | 2015-03-22 | 2020-11-25 | Facebook Technologies, LLC | Depth mapping with a head mounted display using stereo cameras and structured light |
US9648698B2 (en) | 2015-05-20 | 2017-05-09 | Facebook, Inc. | Method and system for generating light pattern using polygons |
EP3104209B1 (en) | 2015-05-20 | 2021-10-20 | Facebook Technologies, LLC | Method and system for generating light pattern using polygons |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
JP6510648B2 (ja) * | 2015-07-29 | 2019-05-08 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
US10067569B2 (en) * | 2015-08-14 | 2018-09-04 | Fresenius Medical Care Holdings, Inc. | Touchless interface for a medical treatment system |
JP6631181B2 (ja) * | 2015-11-13 | 2020-01-15 | セイコーエプソン株式会社 | 画像投射システム、プロジェクター、及び、画像投射システムの制御方法 |
EP3380007A4 (en) | 2015-11-23 | 2019-09-04 | Kineticor, Inc. | SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN |
US10620316B2 (en) * | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
US11307762B2 (en) | 2018-01-31 | 2022-04-19 | Hewlett-Packard Development Company, L.P. | Operating user interfaces |
CN108537163A (zh) * | 2018-04-04 | 2018-09-14 | 天目爱视(北京)科技有限公司 | 一种基于可见光拍照的生物特征四维数据识别方法及系统 |
CN108550184A (zh) * | 2018-04-04 | 2018-09-18 | 北京天目智联科技有限公司 | 一种基于光场相机的生物特征3d四维数据识别方法及系统 |
JP6705926B1 (ja) * | 2019-03-13 | 2020-06-03 | Necプラットフォームズ株式会社 | ウェアラブルデバイスおよび制御方法 |
JP7372061B2 (ja) * | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | 遠隔作業支援システム |
KR102266874B1 (ko) * | 2020-01-03 | 2021-06-17 | 동의대학교 산학협력단 | 스마트 에어 피아노 |
US11119570B1 (en) * | 2020-10-29 | 2021-09-14 | XRSpace CO., LTD. | Method and system of modifying position of cursor |
KR102586144B1 (ko) * | 2021-09-23 | 2023-10-10 | 주식회사 딥비전 | 딥러닝을 이용한 손 움직임 추적방법 및 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000267800A (ja) * | 1999-01-12 | 2000-09-29 | Takenaka Komuten Co Ltd | 動作認識装置 |
US20080256494A1 (en) * | 2007-04-16 | 2008-10-16 | Greenfield Mfg Co Inc | Touchless hand gesture device controller |
US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
WO2009018161A1 (en) * | 2007-07-27 | 2009-02-05 | Gesturetek, Inc. | Enhanced camera-based input |
US20090189858A1 (en) * | 2008-01-30 | 2009-07-30 | Jeff Lev | Gesture Identification Using A Structured Light Pattern |
JP2012530394A (ja) * | 2009-06-12 | 2012-11-29 | モトローラ モビリティ エルエルシー | Otdoa測定の性能を改善するための干渉制御、sinr最適化、および信号強化 |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335288A (en) * | 1992-02-10 | 1994-08-02 | Faulkner Keith W | Apparatus and method for biometric identification |
JP3531014B2 (ja) | 1994-06-22 | 2004-05-24 | 株式会社トプコン | レーザ照準装置 |
AU3991799A (en) | 1998-05-14 | 1999-11-29 | Metacreations Corporation | Structured-light, triangulation-based three-dimensional digitizer |
JP3714063B2 (ja) * | 1999-10-19 | 2005-11-09 | 富士ゼロックス株式会社 | 3次元形状計測装置 |
US7006236B2 (en) | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
JP2004523031A (ja) * | 2001-01-08 | 2004-07-29 | ヴィーケービー インコーポレイテッド | データ入力装置 |
US7176440B2 (en) * | 2001-01-19 | 2007-02-13 | Honeywell International Inc. | Method and apparatus for detecting objects using structured light patterns |
US6841780B2 (en) | 2001-01-19 | 2005-01-11 | Honeywell International Inc. | Method and apparatus for detecting objects |
US6714234B1 (en) | 2001-04-11 | 2004-03-30 | Applied Minds, Inc. | Maintaining eye-contact in teleconferencing using structured light |
US6947575B2 (en) * | 2001-05-24 | 2005-09-20 | Trw Inc. | Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light |
US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
US7385708B2 (en) | 2002-06-07 | 2008-06-10 | The University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
US8224064B1 (en) | 2003-05-21 | 2012-07-17 | University Of Kentucky Research Foundation, Inc. | System and method for 3D imaging using structured light illumination |
JP2006285370A (ja) * | 2005-03-31 | 2006-10-19 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置及びハンドパターン操作方法 |
US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
EP1983402A4 (en) * | 2006-02-03 | 2013-06-26 | Panasonic Corp | INPUT DEVICE AND ITS METHOD |
CN101375235B (zh) * | 2006-02-03 | 2011-04-06 | 松下电器产业株式会社 | 信息处理装置 |
WO2007105215A2 (en) * | 2006-03-14 | 2007-09-20 | Prime Sense Ltd. | Depth-varying light fields for three dimensional sensing |
WO2008010024A1 (en) * | 2006-07-16 | 2008-01-24 | Cherradi I | Free fingers typing technology |
US8144121B2 (en) * | 2006-10-11 | 2012-03-27 | Victor Company Of Japan, Limited | Method and apparatus for controlling electronic appliance |
WO2008087652A2 (en) | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
US7907781B2 (en) * | 2007-06-21 | 2011-03-15 | Mitsubishi Electric Research Laboraties, Inc. | System and method for determining geometries of scenes |
US8646689B2 (en) * | 2007-12-28 | 2014-02-11 | Cognex Corporation | Deformable light pattern for machine vision system |
US8319832B2 (en) * | 2008-01-31 | 2012-11-27 | Denso Corporation | Input apparatus and imaging apparatus |
TWI409502B (zh) * | 2009-01-23 | 2013-09-21 | Univ Nat Taipei Technology | 相位資訊擷取方法及其三維形貌量測系統 |
US8654234B2 (en) * | 2009-07-26 | 2014-02-18 | Massachusetts Institute Of Technology | Bi-directional screen |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
CN102656543A (zh) | 2009-09-22 | 2012-09-05 | 泊布欧斯技术有限公司 | 计算机装置的远程控制 |
US8982182B2 (en) | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
EP2378394A3 (en) * | 2010-04-15 | 2015-03-25 | Electronics and Telecommunications Research Institute | User interface device and method for recognizing user interaction using same |
US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US9870068B2 (en) * | 2010-09-19 | 2018-01-16 | Facebook, Inc. | Depth mapping with a head mounted display using stereo cameras and structured light |
KR20120071551A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 구조 영상을 이용한 사용자 인터랙션 장치 및 방법 |
US8878858B2 (en) * | 2011-02-03 | 2014-11-04 | Videa, Llc | Video projection apparatus and methods, with image content control |
KR101423536B1 (ko) * | 2011-06-14 | 2014-08-01 | 한국전자통신연구원 | 인쇄매체 기반 혼합현실 구현 장치 및 방법 |
KR101446902B1 (ko) | 2011-08-19 | 2014-10-07 | 한국전자통신연구원 | 사용자 인터랙션 장치 및 방법 |
US8887043B1 (en) * | 2012-01-17 | 2014-11-11 | Rawles Llc | Providing user feedback in projection environments |
CA3051912C (en) * | 2012-02-24 | 2023-03-07 | Thomas J. Moscarillo | Gesture recognition devices and methods |
KR20130099317A (ko) * | 2012-02-29 | 2013-09-06 | 한국전자통신연구원 | 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법 |
US9141868B2 (en) * | 2012-06-26 | 2015-09-22 | Xerox Corporation | Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources |
KR20140004335A (ko) * | 2012-07-02 | 2014-01-13 | 한국전자통신연구원 | 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법 |
EP2915025B8 (en) * | 2012-11-01 | 2021-06-02 | Eyecam, Inc. | Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing |
US9201499B1 (en) * | 2013-02-11 | 2015-12-01 | Amazon Technologies, Inc. | Object tracking in a 3-dimensional environment |
GB2513200A (en) * | 2013-04-21 | 2014-10-22 | Biogaming Ltd | Kinetic user interface |
KR20140133093A (ko) | 2013-05-09 | 2014-11-19 | 한국전자통신연구원 | 인식 장치 및 그 방법 |
US10019843B2 (en) * | 2013-08-08 | 2018-07-10 | Facebook, Inc. | Controlling a near eye display |
AU2014338511B2 (en) * | 2013-10-23 | 2018-08-09 | Facebook Technologies, Llc | Three dimensional depth mapping using dynamic structured light |
CN104776797B (zh) * | 2014-01-13 | 2018-01-02 | 脸谱公司 | 亚分辨率光学检测 |
US9749513B2 (en) * | 2014-04-29 | 2017-08-29 | Facebook, Inc. | System and method for generating a light pattern for object illumination |
JP6417702B2 (ja) * | 2014-05-01 | 2018-11-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9552074B2 (en) * | 2014-05-21 | 2017-01-24 | Facebook, Inc. | Method and system for generating user feedback of a gesture capturing device |
CN106796107B (zh) * | 2014-08-10 | 2019-11-29 | 脸谱科技有限责任公司 | 用于3d感测的结构光 |
US10126123B2 (en) * | 2014-09-19 | 2018-11-13 | Carnegie Mellon University | System and method for tracking objects with projected m-sequences |
US10013068B2 (en) * | 2014-10-08 | 2018-07-03 | Canon Kabushiki Kaisha | Information processing apparatus including a mirror configured to reflect an image and a projector and an image capturing unit arranged below the mirror |
CN107209561A (zh) * | 2014-12-18 | 2017-09-26 | 脸谱公司 | 用于在虚拟现实环境中导航的方法、系统及设备 |
CN107209960B (zh) * | 2014-12-18 | 2021-01-01 | 脸谱科技有限责任公司 | 用于提供虚拟现实环境的用户界面的系统、设备及方法 |
WO2016112019A1 (en) * | 2015-01-06 | 2016-07-14 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
WO2016138143A1 (en) * | 2015-02-25 | 2016-09-01 | Oculus Vr, Llc | Using intensity variations in a light pattern for depth mapping of objects in a volume |
KR20170124559A (ko) * | 2015-02-25 | 2017-11-10 | 페이스북, 인크. | 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별 |
CN107850782B (zh) * | 2015-05-13 | 2019-10-25 | 脸谱科技有限责任公司 | 用反射率图表示增强深度图表示 |
US9648698B2 (en) * | 2015-05-20 | 2017-05-09 | Facebook, Inc. | Method and system for generating light pattern using polygons |
-
2010
- 2010-09-19 CN CN2010800528559A patent/CN102656543A/zh active Pending
- 2010-09-19 WO PCT/IB2010/054228 patent/WO2011036618A2/en active Application Filing
- 2010-09-19 US US13/497,589 patent/US9507411B2/en active Active
- 2010-09-19 EP EP10818488.8A patent/EP2480955B1/en active Active
- 2010-09-19 JP JP2012530394A patent/JP5926184B2/ja active Active
- 2010-09-19 KR KR1020127009974A patent/KR101711619B1/ko active IP Right Grant
- 2010-09-19 KR KR1020177005250A patent/KR101809636B1/ko active IP Right Grant
- 2010-09-19 US US13/497,589 patent/US20120194561A1/en active Granted
-
2016
- 2016-03-01 US US15/057,382 patent/US9606618B2/en active Active
- 2016-04-21 JP JP2016085276A patent/JP6207659B2/ja active Active
-
2017
- 2017-02-08 US US15/427,916 patent/US9927881B2/en active Active
- 2017-08-10 JP JP2017155546A patent/JP6348211B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000267800A (ja) * | 1999-01-12 | 2000-09-29 | Takenaka Komuten Co Ltd | 動作認識装置 |
US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
US20080256494A1 (en) * | 2007-04-16 | 2008-10-16 | Greenfield Mfg Co Inc | Touchless hand gesture device controller |
WO2009018161A1 (en) * | 2007-07-27 | 2009-02-05 | Gesturetek, Inc. | Enhanced camera-based input |
JP2010534895A (ja) * | 2007-07-27 | 2010-11-11 | ジェスチャー テック,インコーポレイテッド | 高度なカメラをベースとした入力 |
US20090189858A1 (en) * | 2008-01-30 | 2009-07-30 | Jeff Lev | Gesture Identification Using A Structured Light Pattern |
JP2012530394A (ja) * | 2009-06-12 | 2012-11-29 | モトローラ モビリティ エルエルシー | Otdoa測定の性能を改善するための干渉制御、sinr最適化、および信号強化 |
Also Published As
Publication number | Publication date |
---|---|
EP2480955A4 (en) | 2015-07-29 |
US9606618B2 (en) | 2017-03-28 |
US9507411B2 (en) | 2016-11-29 |
JP5926184B2 (ja) | 2016-05-25 |
CN102656543A (zh) | 2012-09-05 |
EP2480955B1 (en) | 2018-05-16 |
US20160179188A1 (en) | 2016-06-23 |
US20170147082A1 (en) | 2017-05-25 |
JP6348211B2 (ja) | 2018-06-27 |
KR101711619B1 (ko) | 2017-03-02 |
WO2011036618A3 (en) | 2011-08-11 |
US20120194561A1 (en) | 2012-08-02 |
US9927881B2 (en) | 2018-03-27 |
KR101809636B1 (ko) | 2018-01-18 |
JP2013505508A (ja) | 2013-02-14 |
KR20170023220A (ko) | 2017-03-02 |
WO2011036618A2 (en) | 2011-03-31 |
JP2018010653A (ja) | 2018-01-18 |
KR20120085774A (ko) | 2012-08-01 |
JP6207659B2 (ja) | 2017-10-04 |
EP2480955A2 (en) | 2012-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6348211B2 (ja) | コンピュータ装置の遠隔制御 | |
US20220164032A1 (en) | Enhanced Virtual Touchpad | |
KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
CN108399010B (zh) | 增强的基于相机的输入 | |
CN114080585A (zh) | 在人工现实环境中使用外围设备的虚拟用户界面 | |
JP6539816B2 (ja) | 1つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法 | |
Prätorius et al. | DigiTap: an eyes-free VR/AR symbolic input device | |
Menzner et al. | Above surface interaction for multiscale navigation in mobile virtual reality | |
Edelmann et al. | The dabr-a multitouch system for intuitive 3d scene navigation | |
US20130120361A1 (en) | Spatial 3d interactive instrument | |
Chakraborty et al. | Interactive touch screen using augmented reality | |
Takahashi et al. | Extending Three-Dimensional Space Touch Interaction using Hand Gesture | |
AU2015252151B2 (en) | Enhanced virtual touchpad and touchscreen | |
WO2012114791A1 (ja) | ジェスチャー操作システム | |
Pietroszek | 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue | |
Xie et al. | Natural Bare-Hand Interaction for Remote Operating Large Touch Screen. | |
Ren | Designing for Effective Freehand Gestural Interaction | |
Pyryeskin | Investigating Selection above a Multitouch Surface | |
Radhakrishnan | Investigating a multi-touch user interface for three-dimensional CAD operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170221 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6207659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |