JP2015531526A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2015531526A5 JP2015531526A5 JP2015536907A JP2015536907A JP2015531526A5 JP 2015531526 A5 JP2015531526 A5 JP 2015531526A5 JP 2015536907 A JP2015536907 A JP 2015536907A JP 2015536907 A JP2015536907 A JP 2015536907A JP 2015531526 A5 JP2015531526 A5 JP 2015531526A5
- Authority
- JP
- Japan
- Prior art keywords
- depth
- pixels
- static
- depth maps
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003068 static Effects 0.000 claims 16
- 230000000875 corresponding Effects 0.000 claims 5
- 210000001503 Joints Anatomy 0.000 claims 1
Claims (10)
- ユーザ入力を受け取る方法であって、
シーンを画像化する一連の深度マップを受け取るステップであって、各深度マップが複数のピクセルを含み、該複数のピクセルの各々が、そのピクセルによって画像化される面の深度を定義する、ステップと、
前記一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別するステップと、
前記非静的ピクセルのセットの位置をカーソル位置にマッピングするステップと、
を含む、方法。 - 前記非静的ピクセルのセットを識別するステップは、前記一連の深度マップ内において連続する閾値数の深度マップについて、前記最も浅い深度を保持する非静的ピクセルのセットを識別することを含む、
請求項1に記載の方法。 - 前記非静的ピクセルのセットを識別するステップは、前記一連の深度マップから、異なる深度マップ内の対応するピクセルとの間の深度の差を定義することを含み、
各ピクセルについて、
そのピクセルについての前記の差が閾値未満の場合、当該ピクセルを静的ピクセルとして識別すること、あるいは
そのピクセルについての前記の差が閾値以上の場合、当該ピクセルを非静的ピクセルとして識別すること、
を含む、請求項1に記載の方法。 - 前記非静的ピクセルのセットの位置は、前記非静的ピクセルのセットの深度に応じて変化するスケールを有するマッピング機能に従って、カーソル位置にマップされる、
請求項1に記載の方法。 - 前記非静的ピクセルのセットによって画像化される前記の面は、カーソルを前記カーソル位置で表示しているディスプレイデバイスに近接する指であり、
前記非静的ピクセルのセットの位置を前記カーソル位置にマッピングするステップは、前記カーソル位置を、前記指の世界空間の位置から離すようにシフトさせることを含む、
請求項1に記載の方法。 - 前記一連の深度マップ内の連続する複数の深度マップ全体を通して前記非静的ピクセルのセットをトラックするステップと、前記連続する複数の深度マップにおける前記非静的ピクセルのセットの1つ又は複数のパラメータからカーソル操作を認識するステップと、
を更に含む、請求項1に記載の方法。 - 前記1つ又は複数のパラメータは、前記非静的ピクセルのセットの3次元のパスを含む、
請求項6に記載の方法。 - コンピューティングデバイスであって、
命令を実行するよう構成される論理サブシステムと、
前記論理サブシステムによって実行可能な命令を備えるストレージサブシステムと、
を備え、前記命令は、
深度カメラから、人間の対象者を含むシーンを画像化する一連の深度マップを受け取ることであって、各深度マップが複数のピクセルを備え、該複数のピクセルの各々が、当該ピクセルによって画像化される面の深度を定義し、
前記人間の対象者を、仮想的な手の関節を含む仮想骨格によりモデル化し、
前記仮想的な手の関節の位置を、前記一連の深度マップ内の1つ又は複数の深度マップの対応する部分にマップすることであって、前記1つ又は複数の深度マップの対応する部分は、前記仮想的な手の関節によってモデル化される人間の対象者の手を画像化し、
前記1つ又は複数の深度マップの対応する部分の深度マップ情報から1又は複数の指をモデル化し、
前記1又は複数の指によって行われる指のジェスチャを解釈する
ように実行可能である、コンピューティングデバイス。 - 前記命令は更に、
実質的に線形のプロファイルを、前記1又は複数の指に対応するピクセルに適合させ、
前記線形のプロファイルから指の角度を計算し、
前記人間の対象者の1つ又は複数の指紋をモデル化する
ように実行可能である、請求項8に記載のデバイス。 - コンピューティングデバイスであって、
シーンを画像化する一連の深度マップを受け取るように構成される深度カメラ入力であって、各深度マップが複数のピクセルを備え、該複数のピクセルの各々が、当該ピクセルによって画像化される面の深度を定義する、深度カメラ入力と、
前記一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別し、前記非静的ピクセルのセットの位置をカーソル位置にマップするように構成される論理サブシステムと、
前記カーソル位置でカーソルを含むユーザインタフェースを出力するように構成されるディスプレイ出力と、
を備える、コンピューティングデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/651,187 US9310895B2 (en) | 2012-10-12 | 2012-10-12 | Touchless input |
US13/651,187 | 2012-10-12 | ||
PCT/US2013/064427 WO2014059205A1 (en) | 2012-10-12 | 2013-10-11 | Touchless input for a user interface |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015531526A JP2015531526A (ja) | 2015-11-02 |
JP2015531526A5 true JP2015531526A5 (ja) | 2016-11-10 |
Family
ID=49514040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015536907A Pending JP2015531526A (ja) | 2012-10-12 | 2013-10-11 | タッチレス入力 |
Country Status (10)
Country | Link |
---|---|
US (2) | US9310895B2 (ja) |
EP (1) | EP2907004B1 (ja) |
JP (1) | JP2015531526A (ja) |
KR (1) | KR20150067250A (ja) |
CN (1) | CN104838337B (ja) |
AU (1) | AU2013329127B2 (ja) |
CA (2) | CA2884884C (ja) |
MX (1) | MX348642B (ja) |
RU (1) | RU2644520C2 (ja) |
WO (1) | WO2014059205A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
TWI496094B (zh) * | 2013-01-23 | 2015-08-11 | Wistron Corp | 手勢辨識模組及手勢辨識方法 |
WO2014129683A1 (ko) * | 2013-02-21 | 2014-08-28 | 엘지전자 주식회사 | 원격 포인팅 방법 |
US10031586B2 (en) * | 2013-06-12 | 2018-07-24 | Amazon Technologies, Inc. | Motion-based gestures for a computing device |
WO2015006784A2 (en) | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9952042B2 (en) | 2013-07-12 | 2018-04-24 | Magic Leap, Inc. | Method and system for identifying a user location |
US9239648B2 (en) * | 2014-03-17 | 2016-01-19 | Google Inc. | Determining user handedness and orientation using a touchscreen device |
KR102265143B1 (ko) * | 2014-05-16 | 2021-06-15 | 삼성전자주식회사 | 입력 처리 장치 및 방법 |
WO2016018355A1 (en) * | 2014-07-31 | 2016-02-04 | Hewlett-Packard Development Company, L.P. | Virtual reality clamshell computing device |
GB201417536D0 (en) * | 2014-10-03 | 2014-11-19 | Microsoft Corp | Adapting quantization |
PL411337A1 (pl) * | 2015-02-23 | 2016-08-29 | Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością | Sposób interakcji z obrazami wolumetrycznymi za pomocą gestów i system do interakcji z obrazami wolumetrycznymi za pomocą gestów |
US10067569B2 (en) * | 2015-08-14 | 2018-09-04 | Fresenius Medical Care Holdings, Inc. | Touchless interface for a medical treatment system |
GB201516953D0 (en) * | 2015-09-25 | 2015-11-11 | Umajin Ltd | Ghost hands |
US10963157B2 (en) * | 2016-05-12 | 2021-03-30 | Lsi Industries, Inc. | Outdoor ordering system with interactive menu elements |
US10416777B2 (en) * | 2016-08-16 | 2019-09-17 | Microsoft Technology Licensing, Llc | Device manipulation using hover |
EP3316117A1 (en) | 2016-10-31 | 2018-05-02 | Nokia Technologies OY | Controlling content displayed in a display |
EP3316186B1 (en) | 2016-10-31 | 2021-04-28 | Nokia Technologies Oy | Controlling display of data to a person via a display apparatus |
WO2018095804A1 (en) | 2016-11-25 | 2018-05-31 | Sensoryx AG | Wearable motion tracking system |
DE102017216000A1 (de) * | 2017-09-11 | 2019-03-14 | Conti Temic Microelectronic Gmbh | Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera |
CN108227931A (zh) * | 2018-01-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 |
WO2020036235A1 (ko) * | 2018-08-13 | 2020-02-20 | 정규민 | Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치 |
KR102469722B1 (ko) * | 2018-09-21 | 2022-11-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
WO2020166737A1 (ko) * | 2019-02-13 | 2020-08-20 | 엘지전자 주식회사 | 모바일 디바이스 및 그 제어방법 |
US10620713B1 (en) | 2019-06-05 | 2020-04-14 | NEX Team Inc. | Methods and systems for touchless control with a mobile device |
JP2021026260A (ja) * | 2019-07-31 | 2021-02-22 | セイコーエプソン株式会社 | 表示装置、表示方法、および、コンピュータープログラム |
CN110418125B (zh) * | 2019-08-05 | 2021-06-15 | 长春理工大学 | 一种集成成像系统的元素图像阵列快速生成方法 |
US11150800B1 (en) * | 2019-09-16 | 2021-10-19 | Facebook Technologies, Llc | Pinch-based input systems and methods |
US11422623B2 (en) * | 2019-10-23 | 2022-08-23 | Interlake Research, Llc | Wrist worn computing device control systems and methods |
US20230028976A1 (en) * | 2020-01-16 | 2023-01-26 | Sony Group Corporation | Display apparatus, image generation method, and program |
CN111401318B (zh) * | 2020-04-14 | 2022-10-04 | 支付宝(杭州)信息技术有限公司 | 动作识别方法及装置 |
US11690435B2 (en) * | 2020-07-07 | 2023-07-04 | Perfect Mobile Corp. | System and method for navigating user interfaces using a hybrid touchless control mechanism |
EP4113253A1 (en) * | 2021-07-02 | 2023-01-04 | Perfect Mobile Corp. | System and method for navigating user interfaces using a hybrid touchless control mechanism |
Family Cites Families (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2262300A1 (en) | 1998-02-24 | 1999-08-24 | Wolf D. Seufert | Method and apparatus for the automated identification of fingerprints |
US6658136B1 (en) * | 1999-12-06 | 2003-12-02 | Microsoft Corporation | System and process for locating and tracking a person or object in a scene using a series of range images |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US20030132913A1 (en) * | 2002-01-11 | 2003-07-17 | Anton Issinski | Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras |
US10242255B2 (en) * | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
GB0204652D0 (en) | 2002-02-28 | 2002-04-10 | Koninkl Philips Electronics Nv | A method of providing a display gor a gui |
US7555732B2 (en) * | 2004-03-12 | 2009-06-30 | Steven Van der Hoeven | Apparatus method and system for a data entry interface |
WO2006003590A2 (en) * | 2004-06-29 | 2006-01-12 | Koninklijke Philips Electronics, N.V. | A method and device for preventing staining of a display device |
US7847789B2 (en) * | 2004-11-23 | 2010-12-07 | Microsoft Corporation | Reducing accidental touch-sensitive device activation |
JP2007141018A (ja) * | 2005-11-21 | 2007-06-07 | Fujifilm Corp | 画像取得方法および画像取得装置 |
US8354997B2 (en) | 2006-10-31 | 2013-01-15 | Navisense | Touchless user interface for a mobile device |
CN101689244B (zh) * | 2007-05-04 | 2015-07-22 | 高通股份有限公司 | 用于紧凑设备的基于相机的用户输入 |
US8199106B2 (en) * | 2007-12-20 | 2012-06-12 | University Of Central Florida Research Foundation, Inc. | Systems and methods of camera-based fingertip tracking |
US20090172606A1 (en) * | 2007-12-31 | 2009-07-02 | Motorola, Inc. | Method and apparatus for two-handed computer user interface with gesture recognition |
US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
EP2104024B1 (en) * | 2008-03-20 | 2018-05-02 | LG Electronics Inc. | Portable terminal capable of sensing proximity touch and method for controlling screen using the same |
US8443302B2 (en) | 2008-07-01 | 2013-05-14 | Honeywell International Inc. | Systems and methods of touchless interaction |
US9658765B2 (en) * | 2008-07-31 | 2017-05-23 | Northrop Grumman Systems Corporation | Image magnification system for computer interface |
KR20100041006A (ko) * | 2008-10-13 | 2010-04-22 | 엘지전자 주식회사 | 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법 |
US8516397B2 (en) * | 2008-10-27 | 2013-08-20 | Verizon Patent And Licensing Inc. | Proximity interface apparatuses, systems, and methods |
CN102257827B (zh) * | 2008-12-19 | 2014-10-01 | 皇家飞利浦电子股份有限公司 | 从图像创建深度图 |
US8320621B2 (en) * | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
JP5636678B2 (ja) * | 2010-01-19 | 2014-12-10 | ソニー株式会社 | 表示制御装置、表示制御方法及び表示制御プログラム |
JP2011150414A (ja) * | 2010-01-19 | 2011-08-04 | Sony Corp | 情報処理装置、操作入力決定方法及び操作入力決定プログラム |
JP2011150413A (ja) * | 2010-01-19 | 2011-08-04 | Sony Corp | 情報処理装置、操作入力方法及び操作入力プログラム |
US20120319945A1 (en) * | 2010-05-21 | 2012-12-20 | Mccarthy John | System and method for reporting data in a computer vision system |
US20130155031A1 (en) * | 2010-06-29 | 2013-06-20 | Elliptic Laboratories As | User control of electronic devices |
US9201501B2 (en) * | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
WO2012015395A1 (en) * | 2010-07-27 | 2012-02-02 | Hewlett-Packard Development Company, L.P. | System and method for remote touch detection |
US8432301B2 (en) * | 2010-08-10 | 2013-04-30 | Mckesson Financial Holdings | Gesture-enabled keyboard and associated apparatus and computer-readable storage medium |
JP5656514B2 (ja) * | 2010-08-27 | 2015-01-21 | キヤノン株式会社 | 情報処理装置及び方法 |
US8620024B2 (en) * | 2010-09-17 | 2013-12-31 | Sony Corporation | System and method for dynamic gesture recognition using geometric classification |
US9213890B2 (en) * | 2010-09-17 | 2015-12-15 | Sony Corporation | Gesture recognition system for TV control |
US9135503B2 (en) | 2010-11-09 | 2015-09-15 | Qualcomm Incorporated | Fingertip tracking for touchless user interface |
KR101558200B1 (ko) | 2010-12-06 | 2015-10-08 | 한국전자통신연구원 | 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법 |
US8994718B2 (en) * | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
JP5711962B2 (ja) * | 2010-12-27 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
CN103347437B (zh) * | 2011-02-09 | 2016-06-08 | 苹果公司 | 3d映射环境中的凝视检测 |
US9067136B2 (en) * | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
US9189068B2 (en) | 2011-03-14 | 2015-11-17 | Lg Electronics Inc. | Apparatus and a method for gesture recognition |
KR101226668B1 (ko) | 2011-03-25 | 2013-01-25 | 주식회사 아이티엑스시큐리티 | 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 |
KR101199618B1 (ko) * | 2011-05-11 | 2012-11-08 | 주식회사 케이티테크 | 화면 분할 표시 장치 및 방법 |
CN102194128B (zh) * | 2011-05-16 | 2013-05-01 | 深圳大学 | 基于二值深度差进行物体检测的方法和装置 |
US8619049B2 (en) * | 2011-05-17 | 2013-12-31 | Microsoft Corporation | Monitoring interactions between two or more objects within an environment |
JP6074170B2 (ja) * | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
CN102841733B (zh) * | 2011-06-24 | 2015-02-18 | 株式会社理光 | 虚拟触摸屏系统以及自动切换交互模式的方法 |
JP4945694B2 (ja) * | 2011-06-27 | 2012-06-06 | 株式会社東芝 | 映像再生装置及び映像再生方法 |
RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
RU110845U1 (ru) * | 2011-07-22 | 2011-11-27 | Александр Петрович Алексеев | Система управления мобильным устройством посредством поворота головы пользователя |
US8830302B2 (en) * | 2011-08-24 | 2014-09-09 | Lg Electronics Inc. | Gesture-based user interface method and apparatus |
US9002099B2 (en) * | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
US8648808B2 (en) * | 2011-09-19 | 2014-02-11 | Amchael Visual Technology Corp. | Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof |
US20130103446A1 (en) * | 2011-10-20 | 2013-04-25 | Microsoft Corporation | Information sharing democratization for co-located group meetings |
TW201322058A (zh) * | 2011-11-16 | 2013-06-01 | Chunghwa Picture Tubes Ltd | 手勢辨識系統及方法 |
AU2013239179B2 (en) * | 2012-03-26 | 2015-08-20 | Apple Inc. | Enhanced virtual touchpad and touchscreen |
US8994650B2 (en) * | 2012-04-27 | 2015-03-31 | Qualcomm Incorporated | Processing image input to communicate a command to a remote display device |
US9210401B2 (en) * | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
US20140022171A1 (en) * | 2012-07-19 | 2014-01-23 | Omek Interactive, Ltd. | System and method for controlling an external system using a remote device with a depth sensor |
US20140085197A1 (en) * | 2012-09-21 | 2014-03-27 | Ati Technologies, Ulc | Control and visualization for multi touch connected devices |
KR102041191B1 (ko) * | 2014-03-03 | 2019-11-06 | 한국전자통신연구원 | 손 동작 인식 방법 및 장치 |
-
2012
- 2012-10-12 US US13/651,187 patent/US9310895B2/en active Active
-
2013
- 2013-10-11 AU AU2013329127A patent/AU2013329127B2/en active Active
- 2013-10-11 CN CN201380053178.6A patent/CN104838337B/zh active Active
- 2013-10-11 WO PCT/US2013/064427 patent/WO2014059205A1/en active Application Filing
- 2013-10-11 CA CA2884884A patent/CA2884884C/en active Active
- 2013-10-11 EP EP13784066.6A patent/EP2907004B1/en active Active
- 2013-10-11 MX MX2015004634A patent/MX348642B/es active IP Right Grant
- 2013-10-11 JP JP2015536907A patent/JP2015531526A/ja active Pending
- 2013-10-11 CA CA3058821A patent/CA3058821C/en active Active
- 2013-10-11 RU RU2015113441A patent/RU2644520C2/ru active
- 2013-10-11 KR KR1020157011305A patent/KR20150067250A/ko not_active IP Right Cessation
-
2016
- 2016-03-18 US US15/073,895 patent/US10019074B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015531526A5 (ja) | ||
RU2015113441A (ru) | Бесконтактный ввод | |
CN106575160B (zh) | 根据用户视点识别动作的界面提供方法及提供装置 | |
US9552673B2 (en) | Grasping virtual objects in augmented reality | |
CN107077197B (zh) | 3d可视化图 | |
JP2019514101A5 (ja) | ||
KR101687017B1 (ko) | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 | |
US9659413B2 (en) | Method, system and device for navigating in a virtual reality environment | |
Prisacariu et al. | 3D hand tracking for human computer interaction | |
RU2016120976A (ru) | Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея | |
JP2013164696A5 (ja) | ||
RU2016124467A (ru) | Устройство управления отображением, способ управления отображением и программа управления отображением | |
JP2015532999A5 (ja) | ||
US20150277570A1 (en) | Providing Onscreen Visualizations of Gesture Movements | |
KR20150071722A (ko) | 이미지 내 오브젝트 윤곽선의 수정 방법 및 시스템 | |
CN103810480B (zh) | 基于rgb‑d图像的手势检测方法 | |
Buonamici et al. | Making blind people autonomous in the exploration of tactile models: A feasibility study | |
JPWO2019150431A1 (ja) | 情報処理装置 | |
CN105205786A (zh) | 一种图像深度恢复方法及电子设备 | |
CN107302845A (zh) | 利用方向预测的低时延模拟装置及方法、用于该方法的计算机程序 | |
CN104238734A (zh) | 三维交互系统及其交互感测方法 | |
PL411337A1 (pl) | Sposób interakcji z obrazami wolumetrycznymi za pomocą gestów i system do interakcji z obrazami wolumetrycznymi za pomocą gestów | |
Li et al. | A touchable virtual screen interaction system with handheld Kinect camera | |
TH171858B (th) | การจัดวางวัตถุโดยอาศัยการจ้องมองภายในสิ่งแวดล้อมเสมือนจริง | |
BR112015007191B1 (pt) | Método para receber entrada do usuário, subsistema de armazenamento e dispositivo de computação |