JP2014512031A5 - - Google Patents

Download PDF

Info

Publication number
JP2014512031A5
JP2014512031A5 JP2013558023A JP2013558023A JP2014512031A5 JP 2014512031 A5 JP2014512031 A5 JP 2014512031A5 JP 2013558023 A JP2013558023 A JP 2013558023A JP 2013558023 A JP2013558023 A JP 2013558023A JP 2014512031 A5 JP2014512031 A5 JP 2014512031A5
Authority
JP
Japan
Prior art keywords
view
display
field
sensor
showing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013558023A
Other languages
English (en)
Other versions
JP2014512031A (ja
JP5856189B2 (ja
Filing date
Publication date
Priority claimed from US13/050,248 external-priority patent/US8963883B2/en
Application filed filed Critical
Publication of JP2014512031A publication Critical patent/JP2014512031A/ja
Publication of JP2014512031A5 publication Critical patent/JP2014512031A5/ja
Application granted granted Critical
Publication of JP5856189B2 publication Critical patent/JP5856189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

ユーザの手または指など、カメラの視野内に配置された物体の空間における位置を検出することが可能な3次元奥行き(すなわち、タイム・オブ・フライト(time−of−flight)または構造化光)カメラシステムが導入されている。ところが、観測視野が円錐形であり、ディスプレイ画面が矩形であることから、不検出領域が形成され、ディスプレイ画面の全範囲を取り込むためには複数のカメラを利用することが必要となる。これによって、インタラクティブ・ディスプレイには、複雑さおよびコストを増大させるハードウェア要件および計算要件が追加される。あるいは、カメラがディスプレイ画面から遠く離れていれば、一つのカメラでディスプレイ画面の全範囲をカバーすることができる。しかし、この場合、カメラの位置検出能力および精度が大幅に低下する。
3次元奥行きカメラの視野の上面図および側面図である。 ディスプレイの正面図であり、単一の3次元奥行きカメラの視野および不検出領域を示している。 ディスプレイの正面図であり、本発明の第1の実施形態による単一の3次元奥行きカメラの視野を示している。 ディスプレイの正面図であり、本発明の第2の実施形態による単一の3次元奥行きカメラを示している。 ディスプレイの正面図であり、本発明の第3の実施形態による単一の3次元奥行きカメラの視野を示している。 ディスプレイの正面図であり、本発明の第4の実施形態による単一の3次元奥行きカメラの視野を示している。 ディスプレイの正面図であり、本発明の第5の実施形態による単一の3次元奥行きカメラの視野を示している。 ディスプレイの側面図であり、本発明の第6の実施形態による単一の3次元奥行きカメラの視野を示している。 ディスプレイの側面図であり、本発明の第7の実施形態による単一の3次元奥行きカメラの視野を示している。 ディスプレイの側面図であり、本発明の第8の実施形態による複数の検出奥行きを有する視野を示している。 本発明による方法の簡略ブロック図である。
図2は、ディスプレイ202の正面図で示すさらなる実施形態であり、3次元奥行きカメラといった単一の光学センサ100の視野および不検出領域を示している。センサはプロセッサ206に接続されており、それは、別個のデバイスとするか、またはカメラ自体の中に組み込むことができる。プロセッサは、センサからの画像情報を処理して、センサの視野内の物体の位置を特定するように動作する。プロセッサ206(または別個のプロセッサ)は、ディスプレイ202をタッチレス駆動インタフェースにより駆動するためのオペレーティングシステムを含んでおり、これによって、ジェスチャおよび他のユーザ入力を認識し、様々なパッシブ画像もしくはビデオ、または所望のインタラクティブ機能に応じたインタラクティブ画像もしくはビデオを表示する。プロセッサ(複数の場合もある)は、限定するものではないが、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、マイクロコントローラ、コンピュータ、ドライバ、メモリデバイス、特定用途向け集積回路、および/または論理回路などの基本的構成要素を備えることができる。このようなデバイスは、一般に、高級設計言語もしくは記述を用いて、コンピュータ命令を用いて、メッセージング/シグナリング・フロー図を用いて、および/または論理フロー図を用いて表現されたアルゴリズムおよび/またはプロトコルを実現するように構成されている。この場合、アルゴリズムまたは論理フローが与えられると、当業者であれば、その所与の論理を実行するユーザ装置を実現するために利用することができる数多くの設計および開発技法を承知している。よって、プロセッサとは、周知の装置であって、本明細書の説明に従って本発明の種々の実施形態を実施するように構成されたものを意味している。
ディスプレイ202は、該ディスプレイの表面範囲の境界によって画定される表示面領域204を有している。センサ100は、ディスプレイ表面の上方を向いている。センサは、ディスプレイに対してちょうど平行に向けることもできるが、センサの視野が広がる円錐または角錐(または他の)形状であることを考えると、ディスプレイ上方の空間をより良くカバーするためには、センサは、ディスプレイ表面から斜め上方に向けることが好ましい。本例で示す視野は表示領域204の角まで広がっているが、視野は図示のものよりも広くすることができることは認識されなければならない。ただし、詳細は後述するが、それをより狭くすることは望ましくない。(美的および物理的制約により左右される)多くのシステム構成において、センサは、上記のようにディスプレイに近接していることが必要とされる。そのような場合、単一の3次元奥行きカメラの限られた視野と最小分解距離とによって不検出領域が形成され、それらには、カメラの視野の外側の空間(すなわち、不検出領域2および3)と、さらにカメラの出口円錐付近の空間(すなわち、不検出領域1)を含み得る。従って、視野の外側に配置された(ここでは、不検出領域2に示す)物体110は、通常は検出することができない。
物体は、センサの光軸にちょうど沿って配置されることがあり得る。この場合、反射が物体自体によって遮られる可能性がある。この問題を回避するためには、図4に示すように反射面300が二つの平坦なピース400を含み、その二つの平坦なピースの面が互いに対して傾斜していることが有効となり得る。これによると、位置検出精度を僅かに犠牲にして、シャドーイングまたは不明瞭化(obscuration)を解消するために、各物体の2通りの反射402、403を利用するので、物体自体が遮ることで生じる狭い不検出領域でさえ排除される。
図5を参照して、センサ100の光軸は反射面300に対して垂直である必要はなく、あるいはセンサが反射面のちょうど反対側に配置されている必要はない。図示のような構成でも、通常は不検出領域になり得る物体110が同じく良好に検出される。この構成は、効果的に、より大型のディスプレイにでも、反射ミラーを用いて単一のセンサからの不検出領域なく適合させることができる。これは、このシステム構成によって、センサがディスプレイ自体に近接して収容されるか、またはそのケース内に組み込まれることが決定づけられる場合に、好ましい実施形態である。
図6は、表示領域から離れた位置にセンサ100を配置することによって、ある一つの不検出領域を排除するように用いることができる本発明の一実施形態を示している。この場合、カメラの出口円錐付近の不検出領域が排除される。
JP2013558023A 2011-03-17 2012-02-24 タッチレス・インタラクティブ・ディスプレイシステム Active JP5856189B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/050,248 US8963883B2 (en) 2011-03-17 2011-03-17 Touchless interactive display system
US13/050,248 2011-03-17
PCT/US2012/026493 WO2012148545A1 (en) 2011-03-17 2012-02-24 Touchless interactive display system

Publications (3)

Publication Number Publication Date
JP2014512031A JP2014512031A (ja) 2014-05-19
JP2014512031A5 true JP2014512031A5 (ja) 2015-12-10
JP5856189B2 JP5856189B2 (ja) 2016-02-09

Family

ID=46001715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013558023A Active JP5856189B2 (ja) 2011-03-17 2012-02-24 タッチレス・インタラクティブ・ディスプレイシステム

Country Status (7)

Country Link
US (1) US8963883B2 (ja)
EP (1) EP2686754B1 (ja)
JP (1) JP5856189B2 (ja)
KR (1) KR101511465B1 (ja)
CN (1) CN103620524B (ja)
AU (1) AU2012249146B2 (ja)
WO (1) WO2012148545A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
US8886372B2 (en) 2012-09-07 2014-11-11 The Boeing Company Flight deck touch-sensitive hardware controls
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
US20150362579A1 (en) * 2014-06-12 2015-12-17 Google Inc. Methods and Systems for Calibrating Sensors Using Recognized Objects
KR102271184B1 (ko) * 2014-08-28 2021-07-01 엘지전자 주식회사 영상 투사 장치 및 그의 동작 방법
JP6539816B2 (ja) * 2015-01-30 2019-07-10 ソニー デプスセンシング ソリューションズ エスエー エヌブイ 1つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
EP3153950A1 (en) * 2015-10-08 2017-04-12 Funai Electric Co., Ltd. Input device
US10657552B2 (en) * 2016-02-17 2020-05-19 Paypal, Inc. Tap proximity
US11340710B2 (en) 2016-06-08 2022-05-24 Architectronics Inc. Virtual mouse
US10838504B2 (en) 2016-06-08 2020-11-17 Stephen H. Lewis Glass mouse
JP6626138B2 (ja) * 2018-02-19 2019-12-25 ファナック株式会社 センサを用いた物体監視装置
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
EP4083757A1 (en) * 2020-10-19 2022-11-02 ameria AG Touchless input interface for an electronic display using multiple sensors
WO2022173353A1 (en) * 2021-02-09 2022-08-18 Flatfrog Laboratories Ab An interaction system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
EP1739529B1 (en) 2000-07-05 2010-12-01 Smart Technologies ULC Camera-based touch system and method
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
JP2005025415A (ja) * 2003-06-30 2005-01-27 Sony Corp 位置検出装置
TWI291122B (en) 2004-06-11 2007-12-11 Micro Nits Co Ltd Array type optical sensor pointing system and its method
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
CA2699628A1 (en) 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
CN101546235B (zh) 2008-03-28 2011-07-27 旭丽电子(广州)有限公司 触控面板模块及决定触控面板上压触点位置的方法
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8322621B2 (en) 2008-12-26 2012-12-04 Datalogic ADC, Inc. Image-based code reader for acquisition of multiple views of an object and methods for employing same
US20100201812A1 (en) 2009-02-11 2010-08-12 Smart Technologies Ulc Active display feedback in interactive input systems
US20100245289A1 (en) 2009-03-31 2010-09-30 Miroslav Svajda Apparatus and method for optical proximity sensing and touch input control

Similar Documents

Publication Publication Date Title
JP2014512031A5 (ja)
JP5856189B2 (ja) タッチレス・インタラクティブ・ディスプレイシステム
US9122354B2 (en) Detecting wave gestures near an illuminated surface
JP5331887B2 (ja) 複数のカメラを有するタッチスクリーンディスプレイ
US9454260B2 (en) System and method for enabling multi-display input
US20160231862A1 (en) Identifying a target touch region of a touch-sensitive surface based on an image
US10379680B2 (en) Displaying an object indicator
US20140192160A1 (en) Three-dimensional image sensing device and method of sensing three-dimensional images
JP2005107607A (ja) 光学式位置検出装置
US8664582B2 (en) Display with an optical sensor
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US9235293B2 (en) Optical touch device and touch sensing method
JP5291560B2 (ja) 操作装置
US10481733B2 (en) Transforming received touch input
JP4870651B2 (ja) 情報入力システムおよび情報入力方法
US9207811B2 (en) Optical imaging system capable of detecting a moving direction of an object and imaging processing method for optical imaging system
KR20090116544A (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
Colaco et al. 3dim: Compact and low power time-of-flight sensor for 3d capture using parametric signal processing
KR20100116267A (ko) 터치 패널 및 그를 가지는 터치 표시 장치
TWI573043B (zh) The virtual two - dimensional positioning module of the input device
TWI464651B (zh) 光學觸控系統及其觸控物區分方法
WO2011011024A1 (en) Display with an optical sensor
US9274547B2 (en) Display with an optical sensor
TWM409651U (en) Image reading module
JP2013047899A (ja) 入力装置