CN101971128A - 屏幕与指针对象之间交互用的交互装置 - Google Patents
屏幕与指针对象之间交互用的交互装置 Download PDFInfo
- Publication number
- CN101971128A CN101971128A CN2007801023066A CN200780102306A CN101971128A CN 101971128 A CN101971128 A CN 101971128A CN 2007801023066 A CN2007801023066 A CN 2007801023066A CN 200780102306 A CN200780102306 A CN 200780102306A CN 101971128 A CN101971128 A CN 101971128A
- Authority
- CN
- China
- Prior art keywords
- interactive device
- pointer object
- video camera
- people
- transparent panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title abstract description 7
- 238000005286 illumination Methods 0.000 claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 230000002452 interceptive effect Effects 0.000 claims description 79
- 239000011521 glass Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 240000000233 Melia azedarach Species 0.000 claims 1
- 238000011002 quantification Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Details Of Measuring And Other Instruments (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Details Of Measuring Devices (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种使设置在透明板(2)后面的至少一显示屏幕(3)与位于透明板(2)前面的至少一指针对象(4)之间进行交互的交互装置(1)，该交互装置包括设置在透明板(2)后面的至少两个摄像机(6、7)，其中摄像机(6、7)每一个都与偏转单元(8、9)相关联，通过该偏转单元使在透明板(2)附近及前面的交互区(11)的至少一光路(10.1)被偏转进入摄像机(6、7)中，该交互装置还包括与每一个摄像机(6、7)连接的计算单元(12)，该计算单元用于确定指针对象(4)的位置，指针对象(4)被导向成被至少两个摄像机(6、7)看到，其中，至少该交互区(11)被红外光频闪照明，摄像机(6、7)对红外光敏感并且与该频闪照明同步。
Description
技术领域
本发明涉及一种使设置在透明板后面的至少一屏幕与位于该板前面的至少一指针对象之间进行交互的交互装置，该交互装置包括设置在该透明板后面的至少两个摄像机，它们的光轴被定向为基本上垂直于该板，其中每一个摄像机与一偏转单元相关联，透过偏转单元使在该板附近及前面的交互区的光路可被引导进入摄像机中，以及包括与所有摄像机连接的计算单元，该计算单元确定指针对象的位置，指针对象被导向成被至少两个摄像机见到。
背景技术
交互式屏幕也称为触摸式屏幕，其中，使用者在屏幕上移动指针对象，例如他的手指。指针对象在屏幕上的位置或运动由机械传感器检测。根据指针对象的位置或其他动作，例如在屏幕的某一区域上按压，而触发预定动作。这样的系统受到故意破坏及抓刮后产生机械磨损，并且因为维修费用高，所以只适合在某些环境下长期使用，例如在公共场所。
因此，业已发展出通过光学检测来确定指针对象相对于被动表面位置的系统。美国专利US 7,034,807揭示一种用户通过显示窗与屏幕交互的装置。通过显示窗可见的屏幕区用作被动触摸表面。该系统包括记录单元，其用光学装置记录在触摸表面附近的指针对象。与记录单元连接的计算单元可根据记录单元所记录的信号来计算在触摸表面附近的指针对象的位置。屏幕位于显示窗后面，即通过显示窗把屏幕与使用者分隔。记录单元包括例如两个摄像机，也是位于显示窗后面。通过位于触摸表面之上或之下的偏转单元，例如镜或棱镜，光路从记录单元被引导到在触摸表面前面的区域。为了增强对比度，用红外光照明触摸表面前面的区域，该红外光的光路与记录单元相同。反射面相对于该触摸表面设置在偏转单元对面。反射面反射红外光并在检测指针对象时用作背景，以增强对比度。然后可透过例如三角测量确定指针对象的位置。
类似的基于摄像机的交互系统在例如，WO 02/03316A1、EP 1420335A1及DE10163648A1等专利申请中揭示。这些文献教导了采用设有至少两个摄像机的记录单元，所述两个摄像机的可视重迭区域包括由一框架限定的触摸表面。通过触摸表面的两个连续图像的差异分析来检测指针对象是否出现在触摸表面上或附近。当指针对象出现时，对已记录的图像数据作这样的处理，以致于只分析已选定的图像分区。
现有技术的基于摄像机的交互系统具有内在问题，包括由记录单元所记录的图像经常被其他光源的光，例如来自周围环境的直接入射、散射或反射的光引致变形。这些外来光源的光通常较指针对象的光更强。因为摄像机的控制装置一般会调至最强，使指针对象的检测经常变得困难或不可能。此外，已记录的图像往往对环境光的变化非常敏感，例如在白天和夜晚之间。这些情况导致确定指针对象的位置时出现错误。
可以使用额外的红外光照明以照亮触摸表面前面的区域，并与相应的对红外光敏感的摄像机一起使用以减小这些错误。对比度可透过上述的反射面来进一步加以改善。这样，可检测发光的指针对象，对比度更高。然而，这使系统更复杂和昂贵。
在用户与屏幕之间的双层玻璃显示窗产生了另一问题。光可在窗玻璃板之间反射到记录单元，导致记录的图像变形，因而，确定指针对象的位置变得困难或不可能。
发明内容
因此，本发明的目的是提供一种改进的屏幕与指针对象之间交互用的交互装置。
本发明的目的可透过根据权利要求1的特征限定的交互装置来达到。
进一步有利的发展为从属权利要求的主题。
一种用于使设置在透明板后面的至少一屏幕与位于该板前面的至少一指针对象之间进行交互的独创的交互装置，该交互装置包括设置在透明板后面的至少两个摄像机，具体地说，它们的光轴被定向为基本上垂直于该板。每一个摄像机与一偏转单元相关联，通过偏转单元使在该板附近及前面的交互区的光路可被引导进入摄像机中。与所有摄像机连接的计算单元用于确定指针对象的位置，指针对象被导向成被至少两个摄像机看到。交互区被红外光以频闪方式照明。摄像机对红外光敏感并且与频闪照明同步。站在透明板前面的人不会感受到该红外光照明，但该红外光照明改善了记录图像的对比度，所用的摄像机具有合适的敏感度。常规的数字摄像机一般对红外光有内在的敏感性。然而，它们对红外光的敏感度通常被适当的红外光吸收滤波器削弱。在本申请省去了这种滤波器，可减小而非增加使用摄像机的成本。频闪照明以及使摄像机与该频闪照明同步的好处在于能够大大地消除环境照明变化对记录图像的影响，尤其是在具有大量红外光的阳光强烈照射的情况下。与照相机用闪光灯拍摄的照片一样，在照明瞬间产生指针对象的瞬时图像，不会因运动而出现模糊，因此可以清楚地识别指针对象，也可以精确地确定指针对象在频闪脉冲的时刻的位置。应当理解的是，术语“同步”意味着频闪照明与摄像机的暴光时间之间有明确的关系。严格来说，同时性不是必需的。更具体地说，频闪脉冲比摄像机的快门速度短。摄像机与计算单元的连接可以是直接或间接的。在间接连接的情况下，摄像机可与例如现场可编程门阵列(FPGA)连接，使图像从FPGA传送到计算单元。
从摄像机的角度来说，每个摄像机的频闪照明可分别发生，例如，摄像机的暴光时间可依次交错，以致于用于一个摄像机照明的频闪脉冲不会在另一个摄像机的记录图像上投影，这会使指针对象的位置识别或确定更困难。
从摄像机的角度来说，所有摄像机的频闪照明可在同一时间发生，以致于可以透过例如三角测量来确定的位置尽可能地准确。
透明板可以是例如，位于屏幕前面的显示窗。偏转单元可包括位于透明板前面且在摄像机的光轴上的镜或棱镜。交互区指在板前面的区域，在该交互区上应当检测指针对象例如手指的位置或运动。更具体地说，摄像机和与摄像机相关联的偏转单元设置在透明板的角落。在这情况下，对于摄像机和偏转单元的任何结合，具有90°孔径角的视场便足以覆盖整块板。
更具体地说，频闪照明采用在近红外光范围内的红外光。即在700nm与1.4μm之间的波长范围内。而波长约800nm特别有利，这是因为显示窗通常采用吸收1μm以上红外光辐射的隔热玻璃。
每一个摄像机优选设有红外透射滤波器。这样做的结果可以把在日光的波长范围内的光滤去，使得交互装置的功能受不同的环境光状况影响很小或不受影响。
频闪照明用的照明装置放置在摄像机的区域内，以致于照明光路可至少在交互区被偏转单元引导转向。这样有可能对指针对象作特别有效的照明，这是因为照明用的光主要从它的入射方向被反射。
较佳地，透过三角测量确定指针对象的位置。要做到这一点，需要至少两个摄像机拍摄的指针对象的图像。识别和确定每一个图像中指针对象的位置。如果采用偏转单元适当地校准摄像机，就要用指针对象在图像中的位置来推导该对象相对于偏转光轴的角度。如果要确定至少两个摄像机的这些角度，可采用已经知道的在摄像机之间的基线距离来确定指针对象相对于摄像机位置的位置。摄像机在其安装位置的校准可以采用较便宜的摄像机光学元件，不需要满足关于成像误差如变形等严苛要求。校准可这样发生，以致于例如利用已安装的摄像机，把框架部件或其他校准主体保持在摄像机或被偏转单元偏转的光路的可视范围内的确定位置上，并且向计算单元报告这一位置。校准主体的点或结构易于被光学识别，这些点或结构在摄像机的图像中被计算单元检测，与框架部件的已知位置一起用作修正图像变形的基础。
较佳地，摄像机不仅仅与频闪照明同步，相互之间也可以同步。例如，所有摄像机都可以与现场可编程门阵列(FPGA)连接，把摄像机的图像暂时储存在帧缓存器(frame buffer)中。然后，FPGA把与时间相关的图像通过，例如USB或IEEE 1394界面传送到计算单元，或者甚至对图像作一种预处理，例如对指针对象进行识别或确定位置。
在另一实施例中，来自板前面的且较交互区离该板更远的等候区的至少一光路可被引导通过或越过偏转单元进入到摄像机中，以致于位于等候区中的人至少部分在摄像机的可视范围内。这样，在交互的时候可以将人的特征或行为考虑在内，例如，根据这些特征或行为改变在屏幕中显示的内容。没有增加额外的摄像机，所以不需额外成本。或者，可提供一个或多个摄像机拍摄位于板前面的人。
为此目的，可把偏转单元设计成分光镜。分光镜通常制成半透明或部分反光镜，其中一部分入射光被反射，另一部分入射光则穿过该镜。分光镜也可制成棱镜。另一种可能是偏转单元设有两部分或多部分镜，其中一部分镜把来自等候区方向的光路引导到摄像机，而另一部分镜则把来自交互区方向的光路引导到摄像机。偏转单元可包括另外的光学组件如透镜。
在另一实施例中，由计算单元对人物的脸部作光学识别。从被识别的脸部可提取许多特征，可在屏幕上交互显示内容期间加以考虑。例如，可对在计算单元中已知的脸部建立或维持使用者的档案并且根据生物特征进行识别，因为个人输入的兴趣和嗜好与该被识别的人相关联，在稍后触屏过程中展示屏幕内容时考虑在内。
在一优选的实施例中，计算单元对指针对象，特别是，手指作光学识别，例如透过图案识别。为此目的，可采用已经用于识别人物或他或她的脸部的算法。
如果由多个摄像机拍摄人，这个人的高度可透过三角测量法量化为一个特征。例如，从高度可推断出这个人是成年人还是儿童。所展示的内容因而可与相应的目标群组匹配。
除了根据高度，也可根据脸部特征来推测人的年龄。
此外，根据脸部和/或高度可作为一种特征来检测人的性别。这样，可以展示与性别和年龄相关的特定内容，例如衣服、化妆品、技术产品等。
此外，也可能把配带眼镜的人与不配带眼镜的人区别开来，通过在屏幕上相应的内容有针对性地对准他们。
充分地精确记录人物的脸部，可以捕捉人的眼睛相对于屏幕的凝视方向。现在，眼球追踪已被广泛使用于摄像机的聚焦。在本发明的交互装置中，可以检测到人把他或她的注意力瞄向哪些屏幕内容，并对内容作相应的修改，即使这个人仍不愿通过手指或指针对象积极地参与交互。
在一特别优选的实施例中，在屏幕上显示由记录图像所建立的一个人的化身。为此，使用多个摄像机的照片以产生这个人的三维图像。例如，该化身可自动或通过指针对象执行的动作进一步交互以提供虚拟物品，如衣服、眼镜或其他饰物，使这个人初步知道这些产品是如何适合他或她，适当地做出鼓励购买。该化身可向人进行产品说明或者可起着真实销售员一样的作用。
该化身可以镜像的形式显示。因为很少人是完全对称的，所以人在镜中的正常外表往往较由其他人所见到的或在照片或影片记录中显示的非反式外表更为熟悉。镜像显示可避免不必要地激怒人，尤其是在试穿某些物品的情况下。
最好设有屏蔽装置，抑制光路进入摄像机。这些不想要的光路是例如阳光或人造照明的反射或直接入射光。这样做能够减少摄像机记录的图像的变形和动态范围的限制。
在另一实施例中，至少一光学探测器和至少一照明装置被设置为使至少一光路通过透明板的表面之间的全内反射从照明装置延伸到光学探测器，其中当指针对象以手指形式触摸透明板时，作为防止全内反射的结果是在光学探测器中记录指纹。这样，通过指纹可再次鉴定或识别这个人。除了用于用户档案(user profile)或个人化功能例如用于使用者登录之外，以这样的方式设计的交互装置也适用于人的监测和定位。
通过捕捉在透明板中带有指针对象的镜像的交互区的镜像并确定指针对象与该指针对象的镜像的距离来确定指针对象与透明板的距离。在指针对象移动的情况下，例如，指针对象移动到板按下软键，可用简单的方式从连续的图像确定运动的方向，无需确定指针对象相对于板的位置而引起错误测定。如果指针对象对它的镜像的距离是零，便能够可靠地检测到屏幕的触摸。
摄像机的分辨率是足够的，能够识别人眼睛的虹膜或者识别条形码以进行鉴定或验证。
可设有鉴定人用的另外的机构。例如可识别主动或被动式RFID芯片或移动电话。此外，可通过与屏幕的互动操作输入用户名称和密码。
可通过话音输入设备和音频输出提供附加的音频交互作用。可通过移动电话或个人数字助理(PDA)例如传送和/或接收短讯(SMS)和/或多媒体讯息(MMS)与屏幕进行另外的交互。例如，可设有与人拥有的移动电话通讯的机构，通过该机构可进行无现金的付款交易。
摄像机可设置在屏幕上或单独地设置。
摄像机、红外光源及屏幕可设有冷却装置，以便即使在阳光强烈入射的情况下，也有利于延长各组件的使用寿命，。
红外光源可以是窄带光源，例如激光。使用这样的红外光源，能够将特别限定的光线引导进入交互区内。例如，光可以栅格的形式被投影，简化位置的确定。
本发明的交互装置可用于，例如，在虚拟社区(在线社区)、交友服务以及所谓事件导览系统(event guide system)中鉴定和追踪人，其中在一件事件位置上发生的活动可在另一事件位置观察到。本发明的上下文中，交互装置可用于在这些社交网络中与其他人交换信息。
还可设有声音交互装置。例如，人发出声音应答或指令，或者交互系统使用声音装置可以实施声音交互，例如，可以对着站在显示窗前面的人说话。该声音交互装置，具体地说，话筒和扬声器，可放置在偏转单元之内。然而，通过例如用玻璃制造的透明板可在相对短的距离内实现声音通讯。
交互影片可在屏幕上显示。
附图说明
现将结合附图对本发明的实施例作详细描述，其中：
图1为一种设置在透明板后面的屏幕与位于该板前面的指针对象之间进行交互的交互装置；以及
图2为指针对象相对于透明板的运动路径。
具体实施方式
图1示出了交互装置1，进行交互的设置在透明板2的后面的屏幕3以及位于板2的前面的指针对象4。在屏幕3上显示的是例如待启动的菜单选择或虚拟开关(软键)。站在透明板2例如显示窗前面的人5用手指作为指针对象4。为了将反射减至最小，将两个摄像机6、7设置在透明板2后面，它们的光轴6.1、7.1定向为基本上垂直于透明板2。每一个摄像机6、7与偏转单元8、9相关联，透过该偏转单元使紧邻板2的交互区11的光路10.1被引导进入相应的摄像机6、7中。
计算单元12与所有摄像机6、7连接，用于确定指针对象4的位置，其中所述指针对象4被导向成被两个摄像机6、7看得见。在每一个摄像机6、7的区域内设有红外光源13、14，用该红外光源使交互区11被红外光频闪照明。因此，摄像机6、7设计成对红外光敏感并且与频闪照明同步。为此目的，摄像机6、7和红外光源13、14可由计算单元12控制。
使至少一部分光路10.2被偏转单元8、9偏转来实现交互区的照明。
为了确定指针对象4的位置，首先，红外光源13、14中其中一个发射光脉冲并且从相关联的一个摄像机6、7的角度照亮交互区11。此时，摄像机6、7的快门打开并拍摄带指针对象4的交互区11的照片。一旦该摄像机6、7的快门再次关闭，另一个摄像机7、6的快门打开，从相关联的红外光源14、13发射相应的光脉冲。例如，通过图案识别程序，在两个图像中鉴定指针对象4，并通过例如三角测量法确定指针对象4的位置。一连串的图像记录应当在尽可能紧凑的时间内发生，使得即使在快速运动过程中，指针对象4的位置的确定也有足够的精确度。例如，可在大约40ms的时间间隔内记录图像。从指针对象4的多个连续确定的位置来确定它的运动。相应于该位置或运动的动作可在屏幕3上执行，并且可相应地修改已显示的内容。
从位于透明板2前面且较交互区11距离板2更远的等候区15可引导另外的光路10.3通过偏转单元8、9进入到摄像机6、7中，使得位于等候区15内的人5至少有部分在摄像机6、7的可视范围内。在图中，用虚线把等候区15与交互区11分隔。
或者，拍摄和/或识别人的光路10.3也可通过偏转单元8、9被引导。为此目的，偏转单元8、9可设计成分光镜。另一种做法是偏转单元8、9设有两部分或多部分镜，其中一部分镜把等候区15方向的光路10.3引导到摄像机6、7中，另一部分镜把交互区11方向的光路10.1引导到摄像机6、7。
偏转单元8、9可包括其他光学组件，如透镜。交互装置1也可在不识别等候区15内的人5的情况下实施。
不同数目的摄像机6、7也可设有它们自己的偏转单元8、9。例如，摄像机6、7可设置在透明板2的四个角落，做成显示窗。
交互装置1也适用于自动贩卖机，例如售票机。
作为选择，频闪照明和摄像机6、7快门的开启可在同时发生，使得位置的确定获得尽可能高的精确度。
偏转单元8、9可包括镜或棱镜。
具体地说，频闪照明使用在近红外光范围内的红外光。
每一摄像机6、7优选设有滤波器，该滤波器仅仅让红外光范围内的波长通过进入摄像机6、7。该滤波器可以是红外透射滤波器或者是施加在偏转单元上只将红外光反射到摄像机6、7中的涂层。该滤波器可设计成具有例如特别窄的带，以致于只有波长为870nm至880nm的光才可通过进入摄像机。
作为选择，红外光源13、14可设置在另一位置，例如，在透明板2前面的偏转单元8、9的区域，使得它们的光路10.2不需要被偏转单元8、9偏转。
摄像机6、7最好以这样的方式校准，以致于利用已安装的摄像机6、7，把框架部件或其他校准主体保持在摄像机6、7或通过偏转单元8、9偏转的光路10.1的可视范围内的确定位置，并且向计算单元12报告这一位置。
摄像机6、7可与现场可编程门阵列(FPGA)连接，把摄像机6、7的图像暂时储存在帧缓存器中。然后，FPGA把与时间相关联的图像通过，例如USB或IEEE 1394界面传送到计算单元12，或者甚至对图像作一种预处理，例如对指针对象4进行识别或确定位置。
由计算单元12对人5的脸部作光学识别。可从被识别的脸部提取许多特征，可在屏幕3上交互显示内容期间加以考虑。例如，可对在计算单元12中已知的脸部建立或维持使用者的档案并且根据生物特征进行识别，因为由人5输入的兴趣和嗜好与该被识别的人5相关联，在稍后的触摸过程中在屏幕3上展示内容时考虑在内。
还可以把诸如笔或伞等物体识别为指针对象4。在计算单元12中可通过图案识别来鉴定指针对象4，尤其是手指。以同样的方式，借助柱形图可把有较高亮度的图像区域鉴定为指针对象4有可能处于的位置。
如果由多个摄像机6、7拍摄人5，人5的高度可透过三角测量法量化为一个特征。例如，从高度可推断出这个人5是成年人还是儿童。
除了根据高度，也可根据脸部特征来推测人5的年龄。
此外，根据脸部和/或高度可作为一种特征来识别人5的性别。这样，可以展示与性别和年龄相关的特定内容，例如衣服、化妆品、技术产品等。
此外，也可以把配带眼镜的人与不配带眼镜的人区别开来，通过在屏幕3上相应的内容有针对性地对准他们。
充分地精确记录人5的脸部，可以捕捉人5的眼睛相对于屏幕3的凝视方向，以确定人5把他或她的注意力瞄向在屏幕3上哪些内容，并对内容作相应的修改。
可在屏幕3上显示人5的化身，所述化身由人5的记录图像建立。该化身自动或通过指针对象4执行的动作进一步交互以提供虚拟物品，如衣服、眼镜或其他饰物。该化身可以镜像的形式显示。
可设有屏蔽装置，抑制由阳光或人造照明的反射或直接入射产生的光路进入摄像机6、7。
可设有光学探测器和至少一照明装置，把它们设置成使至少一光路通过透明板2的表面之间的全内反射从照明装置延伸到光学探测器，其中，当指针对象4以手指形式触摸透明板2时，作为防止全内反射的结果是在光学探测器中记录指纹。
尤其当使用两个以上的摄像机6、7的时候，可同时检测一个以上指针对象4的位置，例如，当有多个人5一起参与互动时，或者当一个人5使用两只手指进行互动时。例如，两只手指的位置和叉开可被计算单元12解释为放大显示内容的要求。
在透明板2后面可设置一个以上的屏幕3，例如，用于与大显示窗后面的多个人5进行交互。在这情况下，每一屏幕3不需要都具有两个摄像机6、7。相反，通过有技巧地配置摄像机6、7，可同时对多个指针对象4和/或人5进行记录。
红外光源13、14的光路10.2也可被引导进入等候区以照亮人5。
图2示出了从摄像机6、7的角度看，指针对象4相对于透明板2的可能的运动路径。因为偏转单元8、9的关系，摄像机6、7既记录交互区11的图像，又记录交互区11在透明板2中的镜像11’，这是因为摄像机6、7的视角非常浅，故板2发生全内反射。如果指针对象4位于交互区内，指针对象的镜像4’也可在镜像11’中见到。通过测定指针对象4与指针对象的镜像4’之间的距离可以确定指针对象4与透明板2的距离。图2示出了同一个指针对象4及它的镜像4’随时间t的变化，图中，在时间点t1至t3期间指针对象4靠近板2，在时间点t4触摸板2，然后在时间点t5和t6期间从移离板2。如果指针对象4与该指针对象的镜像4’之间的距离变为零，那么能够可靠地检测到触摸板2。以此方式，可识别到对例如软键、连结或其他在屏幕3上显示的内容的“点按”。
附图标记列表
1 交互装置
2 透明板
3 屏幕
4 指针对象
4’ 指针对象的镜像
5 人
6、7 摄像机
6.1、7.1 光轴
8、9 偏转单元
10.1、10.2、10.3 光路
11 交互区
11’ 交互区的镜像
12 计算单元
13、14 红外光源
15 等候区
Claims (23)
1.一种使设置在透明板(2)后面的至少一屏幕(3)与位于所述透明板(2)前面的至少一指针对象(4)之间进行交互的交互装置(1)，所述的交互装置包括设置在所述透明板(2)后面的至少两个摄像机(6、7)，其中所述摄像机(6、7)每一个都与偏转单元(8、9)相关联，透过所述偏转单元使在所述透明板(2)附近及前面的交互区(11)的光路(10.1)被引导进入所述摄像机(6、7)中，所述交互装置还包括与所有摄像机(6、7)连接的计算单元(12)，所述计算单元用于确定所述指针对象(4)的位置，所述指针对象(4)被导向成被所述至少两个所述摄像机(6、7)看到，其特征在于，至少所述交互区(11)被红外光频闪照明，所述摄像机(6、7)对红外光敏感并且与所述频闪照明同步。
2.如权利要求1所述的交互装置(1)，其特征在于，提供在近红外光范围内的红外光，用于所述频闪照明。
3.如权利要求2所述的交互装置(1)，其特征在于，每一个所述摄像机(6、7)均设有红外透射滤波器。
4.如上述权利要求中任一项所述的交互装置(1)，其特征在于，在所述摄像机(6、7)的区域内放置频闪照明用的红外光源，使照明光路(10.2)至少在所述交互区(11)内被所述偏转单元(8、9)偏转而转向。
5.如上述权利要求中任一项所述的交互装置(1)，其特征在于，所述指针对象(4)的位置通过三角测量来确定。
6.如上述权利要求中任一项所述的交互装置(1)，其特征在于，所述摄像机是互相同步的。
7.如上述权利要求中任一项所述的交互装置(1)，其特征在于，来自所述透明板(2)前面且较所述交互区(11)离所述板(2)更远的等候区(15)的至少一光路(10.3)被引导通过或越过所述偏转单元(8、9)进入所述摄像机(6、7)，以致于在所述等候区(15)中的人(5)至少部分处于所述摄像机(6、7)的可视范围内。
8.如权利要求7所述的交互装置(1)，其特征在于，所述偏转单元(8、9)设计成分光镜。
9.如权利要求7或8所述的交互装置(1)，其特征在于，所述计算单元(12)对所述人(5)的脸部进行光学识别。
10.如上述权利要求中任一项所述的交互装置(1)，其特征在于，所述计算单元(12)通过图案识别对所述指针对象(4)进行光学识别。
11.如权利要求7至10中任一项所述的交互装置(1)，其特征在于，所述人(5)的高度被量化为一个特征。
12.如权利要求10或11中任一项所述的交互装置(1)，其特征在于，根据所述脸部和/或高度，作为一种特征量化所述人(5)的年龄。
13.如权利要求10至12中任一项所述的交互装置(1)，其特征在于，根据所述脸部和/或高度，作为一种特征识别所述人(5)的性别。
14.如权利要求7至13中任一项所述的交互装置(1)，其特征在于，作为一种特征识别所述人(5)佩带的眼镜。
15.如权利要求10至14中任一项所述的交互装置(1)，其特征在于，捕捉所述人(5)的眼睛相对于所述屏幕(3)的凝视方向。
16.如上述权利要求中任一项所述的交互装置(1)，其特征在于，根据所述指针对象(4)和/或所述人(5)的行为，和/或根据已经确定的所述人(5)的特征来修改在所述屏幕(3)上显示的内容。
17.如权利要求7至16中任一项所述的交互装置(1)，其特征在于，在所述屏幕(3)上显示所述人(5)的化身。
18.如权利要求17所述的交互装置(1)，其特征在于，所述化身以镜像的形式显示。
19.如上述权利要求中任一项所述的交互装置(1)，其特征在于，设有屏蔽装置以抑制不想要的光路进入摄像机(6、7)。
20.如上述权利要求中任一项所述的交互装置(1)，其特征在于，至少一光学探测器和至少一照明装置被设置成使至少一光路通过所述透明板(2)的表面之间的全内反射从所述照明装置延伸到所述光学探测器，其中，当指针对象(4)以手指形式触摸所述透明板(2)时，防止全内反射的结果是在所述光学探测器中记录指纹。
21.如上述权利要求中任一项所述的交互装置(1)，其特征在于，通过捕捉所述透明板(2)内带有所述指针对象的镜像(4’)的所述交互区(11)的镜像(11’)，并检测所述指针对象(4)与所述指针对象的镜像(4’)的距离来确定所述指针对象(4)与所述透明板(2)的距离。
22.如上述权利要求中任一项所述的交互装置(1)，其特征在于，设有与所述人(5)拥有的移动电话通讯的机构，通过该机构可进行非现金付款交易。
23.如上述权利要求中任一项所述的交互装置(1)，其特征在于，设有声音交互装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2007/063340 WO2009071121A2 (de) | 2007-12-05 | 2007-12-05 | Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101971128A true CN101971128A (zh) | 2011-02-09 |
| CN101971128B CN101971128B (zh) | 2013-07-17 |
Family
ID=39735312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007801023066A Expired - Fee Related CN101971128B (zh) | 2007-12-05 | 2007-12-05 | 屏幕与指针对象之间交互用的交互装置 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US9582115B2 (zh) |
| EP (1) | EP2229617B1 (zh) |
| JP (1) | JP5060622B2 (zh) |
| CN (1) | CN101971128B (zh) |
| AT (1) | ATE509308T1 (zh) |
| CA (1) | CA2707993C (zh) |
| DK (1) | DK2229617T3 (zh) |
| ES (1) | ES2366490T3 (zh) |
| HK (1) | HK1153555A1 (zh) |
| PL (1) | PL2229617T3 (zh) |
| WO (1) | WO2009071121A2 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819356A (zh) * | 2011-06-07 | 2012-12-12 | 上海科斗电子科技有限公司 | 光触摸屏 |
| CN106055087A (zh) * | 2015-04-10 | 2016-10-26 | 船井电机株式会社 | 位置检测装置和位置检测方法 |
| WO2018126642A1 (zh) * | 2017-01-04 | 2018-07-12 | 京东方科技集团股份有限公司 | 显示设备和显示方法 |
| CN110024370A (zh) * | 2016-11-30 | 2019-07-16 | 三星电子株式会社 | 电子装置以及在电子装置中显示用于虹膜辨识的图像的方法 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8587562B2 (en) * | 2002-11-04 | 2013-11-19 | Neonode Inc. | Light-based touch screen using elliptical and parabolic reflectors |
| BRPI0822675B1 (pt) * | 2008-09-15 | 2019-09-17 | Hewlett-Packard Development Company, L.P. | Sistema de display e método |
| CN103201710A (zh) * | 2010-11-10 | 2013-07-10 | 日本电气株式会社 | 图像处理系统、图像处理方法以及存储图像处理程序的存储介质 |
| CN102023760B (zh) * | 2010-12-01 | 2012-10-17 | 广州市迪拓信息科技有限公司 | 一种多点触控感应方法及其设备 |
| AT510692B1 (de) * | 2011-03-04 | 2012-06-15 | Isiqiri Interface Tech Gmbh | Lichtvorhang sowie eine darauf basierende eingabevorrichtung für eine datenverarbeitungsanlage |
| US9146665B2 (en) * | 2011-09-30 | 2015-09-29 | Paypal, Inc. | Systems and methods for enhancing user interaction with displayed information |
| US10013053B2 (en) * | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
| AT512461B1 (de) * | 2012-02-10 | 2018-02-15 | Isiqiri Interface Tech Gmbh | Vorrichtung für die eingabe von informationen an eine datenverarbeitungsanlage |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US10461743B2 (en) * | 2013-01-11 | 2019-10-29 | Imagesurge, Inc. | Interactive display system and method for use with low emissivity glass using infrared illumination |
| WO2014110570A1 (en) | 2013-01-14 | 2014-07-17 | Imagesurge, Inc. | Interactive display system and method for use with low emissivity glass using infrared illumination |
| US9325943B2 (en) | 2013-02-20 | 2016-04-26 | Microsoft Technology Licensing, Llc | Providing a tele-immersive experience using a mirror metaphor |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| US9609265B2 (en) | 2013-06-15 | 2017-03-28 | The Supergroup Creative Omnimedia Inc. | Method and apparatus for interactive two-way visualization using simultaneously recorded and projected video streams |
| US9402051B2 (en) | 2013-06-15 | 2016-07-26 | The SuperGroup Creative Omnimedia, Inc. | Apparatus and method for simultaneous live recording through and projecting live video images onto an interactive touch screen |
| US9883138B2 (en) | 2014-02-26 | 2018-01-30 | Microsoft Technology Licensing, Llc | Telepresence experience |
| WO2016130074A1 (en) * | 2015-02-09 | 2016-08-18 | Flatfrog Laboratories Ab | Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel |
| US9819903B2 (en) | 2015-06-05 | 2017-11-14 | The SuperGroup Creative Omnimedia, Inc. | Imaging and display system and method |
| US9823782B2 (en) * | 2015-11-20 | 2017-11-21 | International Business Machines Corporation | Pre-touch localization on a reflective surface |
| US10606468B2 (en) | 2015-11-20 | 2020-03-31 | International Business Machines Corporation | Dynamic image compensation for pre-touch localization on a reflective surface |
| US10152118B2 (en) * | 2017-04-26 | 2018-12-11 | The Virtual Reality Company | Emotion-based experience freedback |
| US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
| CN115039063A (zh) | 2020-02-10 | 2022-09-09 | 平蛙实验室股份公司 | 改进的触摸感测设备 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0380041U (zh) * | 1989-12-07 | 1991-08-15 | ||
| US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
| US5731805A (en) * | 1996-06-25 | 1998-03-24 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven text enlargement |
| US6256046B1 (en) * | 1997-04-18 | 2001-07-03 | Compaq Computer Corporation | Method and apparatus for visual sensing of humans for active public interfaces |
| JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
| US6091378A (en) * | 1998-06-17 | 2000-07-18 | Eye Control Technologies, Inc. | Video processing methods and apparatus for gaze point tracking |
| US7050177B2 (en) * | 2002-05-22 | 2006-05-23 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
| US6700669B1 (en) * | 2000-01-28 | 2004-03-02 | Zheng J. Geng | Method and system for three-dimensional imaging using light pattern having multiple sub-patterns |
| DE10007891C2 (de) * | 2000-02-21 | 2002-11-21 | Siemens Ag | Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung |
| ATE453147T1 (de) | 2000-07-05 | 2010-01-15 | Smart Technologies Ulc | Verfahren für ein kamerabasiertes berührungssystem |
| US20050206610A1 (en) * | 2000-09-29 | 2005-09-22 | Gary Gerard Cordelli | Computer-"reflected" (avatar) mirror |
| JP4624577B2 (ja) * | 2001-02-23 | 2011-02-02 | 富士通株式会社 | 複数のセンサによるヒューマンインタフェースシステム |
| US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
| US7174029B2 (en) * | 2001-11-02 | 2007-02-06 | Agostinelli John A | Method and apparatus for automatic selection and presentation of information |
| DE10163648A1 (de) | 2001-12-21 | 2003-07-03 | Klaus-Dieter Frank | Interaktives Projektions- und Eingabesystem |
| US20030126013A1 (en) * | 2001-12-28 | 2003-07-03 | Shand Mark Alexander | Viewer-targeted display system and method |
| US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
| US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
| US7225414B1 (en) * | 2002-09-10 | 2007-05-29 | Videomining Corporation | Method and system for virtual touch entertainment |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| JP2004246814A (ja) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | 指示動作認識装置 |
| US7466308B2 (en) * | 2004-06-28 | 2008-12-16 | Microsoft Corporation | Disposing identifying codes on a user's hand to provide input to an interactive display application |
| JP4570145B2 (ja) * | 2004-12-07 | 2010-10-27 | 株式会社シロク | 位置検出平面外に撮像部を有する光学式位置検出装置 |
| CA2613906A1 (en) * | 2004-12-29 | 2006-07-06 | Bernard Trest | Dynamic information system |
| TW200627244A (en) * | 2005-01-17 | 2006-08-01 | Era Optoelectronics Inc | Data input device |
| US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
| EP1821184A3 (en) * | 2006-02-08 | 2007-11-14 | Almeva AG | System and method for interacting with a display through a shop window |
| US8725567B2 (en) * | 2006-06-29 | 2014-05-13 | Microsoft Corporation | Targeted advertising in brick-and-mortar establishments |
| US20080004953A1 (en) * | 2006-06-30 | 2008-01-03 | Microsoft Corporation | Public Display Network For Online Advertising |
| US8081158B2 (en) * | 2007-08-06 | 2011-12-20 | Harris Technology, Llc | Intelligent display screen which interactively selects content to be displayed based on surroundings |
| JP5141878B2 (ja) * | 2007-11-06 | 2013-02-13 | 株式会社デンソー | タッチ式操作入力装置 |
-
2007
- 2007-12-05 JP JP2010536329A patent/JP5060622B2/ja not_active Expired - Fee Related
- 2007-12-05 EP EP07847835A patent/EP2229617B1/de active Active
- 2007-12-05 PL PL07847835T patent/PL2229617T3/pl unknown
- 2007-12-05 WO PCT/EP2007/063340 patent/WO2009071121A2/de active Application Filing
- 2007-12-05 DK DK07847835.1T patent/DK2229617T3/da active
- 2007-12-05 AT AT07847835T patent/ATE509308T1/de active
- 2007-12-05 ES ES07847835T patent/ES2366490T3/es active Active
- 2007-12-05 CN CN2007801023066A patent/CN101971128B/zh not_active Expired - Fee Related
- 2007-12-05 CA CA2707993A patent/CA2707993C/en active Active
-
2010
- 2010-06-07 US US12/795,267 patent/US9582115B2/en active Active
-
2011
- 2011-07-20 HK HK11107551.3A patent/HK1153555A1/xx not_active IP Right Cessation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819356A (zh) * | 2011-06-07 | 2012-12-12 | 上海科斗电子科技有限公司 | 光触摸屏 |
| CN106249967A (zh) * | 2011-06-07 | 2016-12-21 | 上海科斗电子科技有限公司 | 无线触摸系统 |
| CN106249967B (zh) * | 2011-06-07 | 2019-04-30 | 上海科斗电子科技有限公司 | 无线触摸系统 |
| CN106055087A (zh) * | 2015-04-10 | 2016-10-26 | 船井电机株式会社 | 位置检测装置和位置检测方法 |
| CN110024370A (zh) * | 2016-11-30 | 2019-07-16 | 三星电子株式会社 | 电子装置以及在电子装置中显示用于虹膜辨识的图像的方法 |
| US11113552B2 (en) | 2016-11-30 | 2021-09-07 | Samsung Electronics Co., Ltd. | Electronic device and method for displaying image for iris recognition in electronic device |
| WO2018126642A1 (zh) * | 2017-01-04 | 2018-07-12 | 京东方科技集团股份有限公司 | 显示设备和显示方法 |
| US10572722B2 (en) | 2017-01-04 | 2020-02-25 | Boe Technology Group Co., Ltd. | Display apparatus and display method |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2366490T3 (es) | 2011-10-20 |
| CA2707993C (en) | 2015-06-23 |
| WO2009071121A2 (de) | 2009-06-11 |
| JP2011505639A (ja) | 2011-02-24 |
| ATE509308T1 (de) | 2011-05-15 |
| DK2229617T3 (da) | 2011-08-29 |
| EP2229617A2 (de) | 2010-09-22 |
| EP2229617B1 (de) | 2011-05-11 |
| US20110102320A1 (en) | 2011-05-05 |
| US9582115B2 (en) | 2017-02-28 |
| PL2229617T3 (pl) | 2011-12-30 |
| JP5060622B2 (ja) | 2012-10-31 |
| CN101971128B (zh) | 2013-07-17 |
| CA2707993A1 (en) | 2009-06-11 |
| WO2009071121A3 (de) | 2009-08-13 |
| HK1153555A1 (en) | 2012-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101971128B (zh) | 屏幕与指针对象之间交互用的交互装置 | |
| US10635878B2 (en) | Optical fingerprint sensor with force sensing capability | |
| CN109478083B (zh) | 具有力感测能力的光学指纹传感器 | |
| WO2019161646A1 (en) | Optical imaging via imaging lens and imaging pinhole in under-screen optical sensor module for on-screen fingerprint sensing in devices having organic light emitting diode (oled) screens or other screens | |
| JP6381672B2 (ja) | 複数のカメラを備えたダーツゲーム装置及びコンピュータ可読媒体に保存されたコンピュータプログラム | |
| JP5950130B2 (ja) | カメラ式マルチタッチ相互作用装置、システム及び方法 | |
| US8022941B2 (en) | Multi-user touch screen | |
| TWI292120B (en) | A touch pad, a stylus for use with the touch pad, and a method of operating the touch pad | |
| WO2015192712A1 (zh) | 接触式图像采集器、触摸屏、指纹采集器及电子设备 | |
| CN109154959A (zh) | 具有非接触成像能力的光学指纹传感器 | |
| US20060044282A1 (en) | User input apparatus, system, method and computer program for use with a screen having a translucent surface | |
| CN101971123A (zh) | 具有可切换漫射体的交互式表面计算机 | |
| KR20160088885A (ko) | 광학 눈 추적 | |
| CN103299259A (zh) | 检测装置、输入装置、投影机以及电子设备 | |
| CN101923413A (zh) | 交互输入系统及其部件 | |
| CN110119208A (zh) | 悬浮显示成像装置及悬浮显示触控方法 | |
| US20100134446A1 (en) | Optical output device | |
| CN109151119A (zh) | 具有全面屏的移动装置 | |
| CN209046680U (zh) | 具有全面屏的移动装置 | |
| CN209692812U (zh) | 具有全面屏的移动装置 | |
| TWI484379B (zh) | 光學感測裝置 | |
| KR101722488B1 (ko) | 복수의 카메라를 구비한 다트 게임 장치 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램 | |
| CN118355356A (zh) | 空间悬浮影像信息显示系统 | |
| CN109120756A (zh) | 具有全面屏的移动装置 | |
| CN111339814A (zh) | 一种光学检测装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1153555 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1153555 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130717 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |