JP2015531526A5 - - Google Patents

Download PDF

Info

Publication number
JP2015531526A5
JP2015531526A5 JP2015536907A JP2015536907A JP2015531526A5 JP 2015531526 A5 JP2015531526 A5 JP 2015531526A5 JP 2015536907 A JP2015536907 A JP 2015536907A JP 2015536907 A JP2015536907 A JP 2015536907A JP 2015531526 A5 JP2015531526 A5 JP 2015531526A5
Authority
JP
Japan
Prior art keywords
depth
pixels
static
depth maps
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015536907A
Other languages
English (en)
Other versions
JP2015531526A (ja
Filing date
Publication date
Priority claimed from US13/651,187 external-priority patent/US9310895B2/en
Application filed filed Critical
Publication of JP2015531526A publication Critical patent/JP2015531526A/ja
Publication of JP2015531526A5 publication Critical patent/JP2015531526A5/ja
Pending legal-status Critical Current

Links

Claims (10)

  1. ユーザ入力を受け取る方法であって、
    シーンを画像化する一連の深度マップを受け取るステップであって、各深度マップが複数のピクセルを含み、該複数のピクセルの各々が、そのピクセルによって画像化される面の深度を定義する、ステップと、
    前記一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別するステップと、
    前記非静的ピクセルのセットの位置をカーソル位置にマッピングするステップと、
    を含む、方法。
  2. 前記非静的ピクセルのセットを識別するステップは、前記一連の深度マップ内において連続する閾値数の深度マップについて、前記最も浅い深度を保持する非静的ピクセルのセットを識別することを含む、
    請求項1に記載の方法。
  3. 前記非静的ピクセルのセットを識別するステップは、前記一連の深度マップから、異なる深度マップ内の対応するピクセルとの間の深度の差を定義することを含み、
    各ピクセルについて、
    そのピクセルについての前記の差が閾値未満の場合、当該ピクセルを静的ピクセルとして識別すること、あるいは
    そのピクセルについての前記の差が閾値以上の場合、当該ピクセルを非静的ピクセルとして識別すること、
    を含む、請求項1に記載の方法。
  4. 前記非静的ピクセルのセットの位置は、前記非静的ピクセルのセットの深度に応じて変化するスケールを有するマッピング機能に従って、カーソル位置にマップされる、
    請求項1に記載の方法。
  5. 前記非静的ピクセルのセットによって画像化される前記の面は、カーソルを前記カーソル位置で表示しているディスプレイデバイスに近接する指であり、
    前記非静的ピクセルのセットの位置を前記カーソル位置にマッピングするステップは、前記カーソル位置を、前記指の世界空間の位置から離すようにシフトさせることを含む、
    請求項1に記載の方法。
  6. 前記一連の深度マップ内の連続する複数の深度マップ全体を通して前記非静的ピクセルのセットをトラックするステップと、前記連続する複数の深度マップにおける前記非静的ピクセルのセットの1つ又は複数のパラメータからカーソル操作を認識するステップと、
    を更に含む、請求項1に記載の方法。
  7. 前記1つ又は複数のパラメータは、前記非静的ピクセルのセットの3次元のパスを含む、
    請求項6に記載の方法。
  8. コンピューティングデバイスであって、
    命令を実行するよう構成される論理サブシステムと、
    前記論理サブシステムによって実行可能な命令を備えるストレージサブシステムと、
    を備え、前記命令は、
    深度カメラから、人間の対象者を含むシーンを画像化する一連の深度マップを受け取ることであって、各深度マップが複数のピクセルを備え、該複数のピクセルの各々が、当該ピクセルによって画像化される面の深度を定義し、
    前記人間の対象者を、仮想的な手の関節を含む仮想骨格によりモデル化し、
    前記仮想的な手の関節の位置を、前記一連の深度マップ内の1つ又は複数の深度マップの対応する部分にマップすることであって、前記1つ又は複数の深度マップの対応する部分は、前記仮想的な手の関節によってモデル化される人間の対象者の手を画像化し、
    前記1つ又は複数の深度マップの対応する部分の深度マップ情報から1又は複数の指をモデル化し、
    前記1又は複数の指によって行われる指のジェスチャを解釈する
    ように実行可能である、コンピューティングデバイス。
  9. 前記命令は更に、
    実質的に線形のプロファイルを、前記1又は複数の指に対応するピクセルに適合させ、
    前記線形のプロファイルから指の角度を計算し、
    前記人間の対象者の1つ又は複数の指紋をモデル化する
    ように実行可能である、請求項8に記載のデバイス。
  10. コンピューティングデバイスであって、
    シーンを画像化する一連の深度マップを受け取るように構成される深度カメラ入力であって、各深度マップが複数のピクセルを備え、該複数のピクセルの各々が、当該ピクセルによって画像化される面の深度を定義する、深度カメラ入力と、
    前記一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別し、前記非静的ピクセルのセットの位置をカーソル位置にマップするように構成される論理サブシステムと、
    前記カーソル位置でカーソルを含むユーザインタフェースを出力するように構成されるディスプレイ出力と、
    を備える、コンピューティングデバイス。
JP2015536907A 2012-10-12 2013-10-11 タッチレス入力 Pending JP2015531526A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/651,187 US9310895B2 (en) 2012-10-12 2012-10-12 Touchless input
US13/651,187 2012-10-12
PCT/US2013/064427 WO2014059205A1 (en) 2012-10-12 2013-10-11 Touchless input for a user interface

Publications (2)

Publication Number Publication Date
JP2015531526A JP2015531526A (ja) 2015-11-02
JP2015531526A5 true JP2015531526A5 (ja) 2016-11-10

Family

ID=49514040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015536907A Pending JP2015531526A (ja) 2012-10-12 2013-10-11 タッチレス入力

Country Status (10)

Country Link
US (2) US9310895B2 (ja)
EP (1) EP2907004B1 (ja)
JP (1) JP2015531526A (ja)
KR (1) KR20150067250A (ja)
CN (1) CN104838337B (ja)
AU (1) AU2013329127B2 (ja)
CA (2) CA2884884C (ja)
MX (1) MX348642B (ja)
RU (1) RU2644520C2 (ja)
WO (1) WO2014059205A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
TWI496094B (zh) * 2013-01-23 2015-08-11 Wistron Corp 手勢辨識模組及手勢辨識方法
WO2014129683A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 원격 포인팅 방법
US10031586B2 (en) * 2013-06-12 2018-07-24 Amazon Technologies, Inc. Motion-based gestures for a computing device
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9239648B2 (en) * 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
WO2016018355A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Virtual reality clamshell computing device
GB201417536D0 (en) * 2014-10-03 2014-11-19 Microsoft Corp Adapting quantization
PL411337A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z obrazami wolumetrycznymi za pomocą gestów i system do interakcji z obrazami wolumetrycznymi za pomocą gestów
US10067569B2 (en) * 2015-08-14 2018-09-04 Fresenius Medical Care Holdings, Inc. Touchless interface for a medical treatment system
GB201516953D0 (en) * 2015-09-25 2015-11-11 Umajin Ltd Ghost hands
US10963157B2 (en) * 2016-05-12 2021-03-30 Lsi Industries, Inc. Outdoor ordering system with interactive menu elements
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
EP3316186B1 (en) 2016-10-31 2021-04-28 Nokia Technologies Oy Controlling display of data to a person via a display apparatus
WO2018095804A1 (en) 2016-11-25 2018-05-31 Sensoryx AG Wearable motion tracking system
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、系统、程序和存储介质
WO2020036235A1 (ko) * 2018-08-13 2020-02-20 정규민 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2020166737A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 모바일 디바이스 및 그 제어방법
US10620713B1 (en) 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
JP2021026260A (ja) * 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム
CN110418125B (zh) * 2019-08-05 2021-06-15 长春理工大学 一种集成成像系统的元素图像阵列快速生成方法
US11150800B1 (en) * 2019-09-16 2021-10-19 Facebook Technologies, Llc Pinch-based input systems and methods
US11422623B2 (en) * 2019-10-23 2022-08-23 Interlake Research, Llc Wrist worn computing device control systems and methods
US20230028976A1 (en) * 2020-01-16 2023-01-26 Sony Group Corporation Display apparatus, image generation method, and program
CN111401318B (zh) * 2020-04-14 2022-10-04 支付宝(杭州)信息技术有限公司 动作识别方法及装置
US11690435B2 (en) * 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
EP4113253A1 (en) * 2021-07-02 2023-01-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2262300A1 (en) 1998-02-24 1999-08-24 Wolf D. Seufert Method and apparatus for the automated identification of fingerprints
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20030132913A1 (en) * 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US10242255B2 (en) * 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
GB0204652D0 (en) 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US7555732B2 (en) * 2004-03-12 2009-06-30 Steven Van der Hoeven Apparatus method and system for a data entry interface
WO2006003590A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
JP2007141018A (ja) * 2005-11-21 2007-06-07 Fujifilm Corp 画像取得方法および画像取得装置
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US8199106B2 (en) * 2007-12-20 2012-06-12 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based fingertip tracking
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
US8443302B2 (en) 2008-07-01 2013-05-14 Honeywell International Inc. Systems and methods of touchless interaction
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
CN102257827B (zh) * 2008-12-19 2014-10-01 皇家飞利浦电子股份有限公司 从图像创建深度图
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
JP5636678B2 (ja) * 2010-01-19 2014-12-10 ソニー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP2011150413A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
US20120319945A1 (en) * 2010-05-21 2012-12-20 Mccarthy John System and method for reporting data in a computer vision system
US20130155031A1 (en) * 2010-06-29 2013-06-20 Elliptic Laboratories As User control of electronic devices
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012015395A1 (en) * 2010-07-27 2012-02-02 Hewlett-Packard Development Company, L.P. System and method for remote touch detection
US8432301B2 (en) * 2010-08-10 2013-04-30 Mckesson Financial Holdings Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
JP5656514B2 (ja) * 2010-08-27 2015-01-21 キヤノン株式会社 情報処理装置及び方法
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US9135503B2 (en) 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
KR101558200B1 (ko) 2010-12-06 2015-10-08 한국전자통신연구원 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
CN103347437B (zh) * 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US9067136B2 (en) * 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US9189068B2 (en) 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
KR101226668B1 (ko) 2011-03-25 2013-01-25 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101199618B1 (ko) * 2011-05-11 2012-11-08 주식회사 케이티테크 화면 분할 표시 장치 및 방법
CN102194128B (zh) * 2011-05-16 2013-05-01 深圳大学 基于二值深度差进行物体检测的方法和装置
US8619049B2 (en) * 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
JP4945694B2 (ja) * 2011-06-27 2012-06-06 株式会社東芝 映像再生装置及び映像再生方法
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
RU110845U1 (ru) * 2011-07-22 2011-11-27 Александр Петрович Алексеев Система управления мобильным устройством посредством поворота головы пользователя
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8648808B2 (en) * 2011-09-19 2014-02-11 Amchael Visual Technology Corp. Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof
US20130103446A1 (en) * 2011-10-20 2013-04-25 Microsoft Corporation Information sharing democratization for co-located group meetings
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法
AU2013239179B2 (en) * 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen
US8994650B2 (en) * 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device
US9210401B2 (en) * 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
US20140085197A1 (en) * 2012-09-21 2014-03-27 Ati Technologies, Ulc Control and visualization for multi touch connected devices
KR102041191B1 (ko) * 2014-03-03 2019-11-06 한국전자통신연구원 손 동작 인식 방법 및 장치

Similar Documents

Publication Publication Date Title
JP2015531526A5 (ja)
RU2015113441A (ru) Бесконтактный ввод
CN106575160B (zh) 根据用户视点识别动作的界面提供方法及提供装置
US9552673B2 (en) Grasping virtual objects in augmented reality
CN107077197B (zh) 3d可视化图
JP2019514101A5 (ja)
KR101687017B1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US9659413B2 (en) Method, system and device for navigating in a virtual reality environment
Prisacariu et al. 3D hand tracking for human computer interaction
RU2016120976A (ru) Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея
JP2013164696A5 (ja)
RU2016124467A (ru) Устройство управления отображением, способ управления отображением и программа управления отображением
JP2015532999A5 (ja)
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
KR20150071722A (ko) 이미지 내 오브젝트 윤곽선의 수정 방법 및 시스템
CN103810480B (zh) 基于rgb‑d图像的手势检测方法
Buonamici et al. Making blind people autonomous in the exploration of tactile models: A feasibility study
JPWO2019150431A1 (ja) 情報処理装置
CN105205786A (zh) 一种图像深度恢复方法及电子设备
CN107302845A (zh) 利用方向预测的低时延模拟装置及方法、用于该方法的计算机程序
CN104238734A (zh) 三维交互系统及其交互感测方法
PL411337A1 (pl) Sposób interakcji z obrazami wolumetrycznymi za pomocą gestów i system do interakcji z obrazami wolumetrycznymi za pomocą gestów
Li et al. A touchable virtual screen interaction system with handheld Kinect camera
TH171858B (th) การจัดวางวัตถุโดยอาศัยการจ้องมองภายในสิ่งแวดล้อมเสมือนจริง
BR112015007191B1 (pt) Método para receber entrada do usuário, subsistema de armazenamento e dispositivo de computação