CN106030481B - 大面积交互式显示屏 - Google Patents

大面积交互式显示屏 Download PDF

Info

Publication number
CN106030481B
CN106030481B CN201580009177.0A CN201580009177A CN106030481B CN 106030481 B CN106030481 B CN 106030481B CN 201580009177 A CN201580009177 A CN 201580009177A CN 106030481 B CN106030481 B CN 106030481B
Authority
CN
China
Prior art keywords
camera
light
light guide
output
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580009177.0A
Other languages
English (en)
Other versions
CN106030481A (zh
Inventor
约翰·麦可·韦瓦士
罗素·威尼·格鲁克
胡尔希德·赛义德·阿拉姆
卡林·米特科夫·阿塔纳索夫
维卡斯·拉马钱德兰
哈西卜·艾哈迈德·西迪基
詹姆斯·威尔逊·纳什
罗伯特·米切尔·克莱曼
阿尔布雷希特·约翰尼斯·林德纳
艾弗杰尼·佩托维奇·高瑟夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106030481A publication Critical patent/CN106030481A/zh
Application granted granted Critical
Publication of CN106030481B publication Critical patent/CN106030481B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

一种包含具有包含观看区域的前表面的玻璃盖片的交互式显示器为电子装置的用户提供输入/输出I/O接口。一种布置包含处理器、光源以及安置在所述观看区域的外围之外与所述玻璃盖片共面或在其后面的相机。所述相机接收因所述交互式显示器所输出的光与物件的交互而产生的散射光，所述所输出的光从所述物件被所述玻璃盖片接收，并引向所述相机。所述处理器从所述相机所输出的图像数据确定所述物件相对于所述相机的光轴的方位角和/或所述物件距所述相机的距离。

Description

大面积交互式显示屏
相关申请案的交叉参考
本发明主张2014年3月4日申请且标题为“大面积交互式显示屏(LARGE AREAINTERACTIVE DISPLAY SCREEN)”的第61/947,971号美国临时专利申请案以及2015年2月19日申请且标题为“大面积交互式显示屏(LARGE AREA INTERACTIVE DISPLAY SCREEN)”的第14/626,679号(代理人案号QUALP241US/143621)美国专利申请案的优先权。这些先前申请案的揭示内容被视为本发明的一部分且特此以引用的方式并入本文中。
技术领域
本发明涉及用于将触摸响应能力提供给具有大显示屏的裝置的技术，且更具体地说，涉及响应于用户的触摸和/或多个同时触摸来控制的提供用户输入/输出接口的交互式显示器。
背景技术
难以将传统的多点触摸系统按比例缩放到大尺寸(>24"对角线)显示器。用于大多数智能电话的投射式电容在尺寸上已受氧化铟锡电极的高电阻率(其可使RC时间常数和信噪等级降级)和处理成本限制。归因于大量组件，基于阴影检测或受抑全内反射(FTIR)的光学方法并不很好地按比例缩放到大尺寸显示器。
现有的基于相机的光学触摸系统具有限制其在消费型电子装置中的应用的两个主要缺点。首先，由于相机通常越过显示器的表面观察，因此相机在显示器外部周围增加了相当大的边框高度。现代平整屏幕裝置的设计更喜欢在美观性上合意的平整边框。其次，归因于相机的侧向视角，这些系统容易发生遮挡和重影触摸，从而限制可以可靠地检测对象的位置，以及可检测的对象的数量。
发明内容
本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
本发明中所描述的标的物的一个创新方面可在包含一或多个相机的交互式显示器中实施，每一相机安裝在显示器玻璃盖片的平面内或平面后面。可为IR敏感VGA微相机的相机可输出图像数据，从所述图像数据可确定一触摸或同时多个触摸的位置。所揭示的技术避免在显示器外部周围增加相当大的边框高度，同时使得能够准确地确定触摸位置，且在同时发生两个或两个以上触摸时最小化阻塞效应。
根据一些实施方案，一种设备或电子装置可与交互式显示器协作以向所述设备的用户提供输入/输出(I/O)接口。所述交互式显示器包含具有前表面的玻璃盖片，所述前表面包含观看区域。所述电子装置可包含交互式显示器或以电或无线方式耦合到交互式显示器。所述设备可包含安置在与玻璃盖片共面或在玻璃盖片后面的观看区域的外围之外的处理器、光源和一或多个相机。当对象(例如用户的手指或手持式物件接触显示器的前表面时，从所述对象散射的光中的至少一些可被玻璃盖片接收，并引向所述相机。所述相机可检测此光，并向所述处理器输出所述检测到的光的图像数据。所述处理器可从所述图像数据确定所述物件相对于相机的光轴的方位角以及所述物件距所述相机的距离中的一者或两者。
根据一些实施方案，一种设备包含交互式显示器、处理器、光源以及至少一个相机。所述交互式显示器包含具有前表面的玻璃盖片，所述前表面包含观看区域，且为电子装置的用户提供输入/输出(I/O)接口。所述光源发射可见光和红外光中的一者或两者。所述至少一个相机安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面。所述相机经配置以接收因从交互式显示器输出的光与物件的交互而产生的散射光，且所述散射光的至少一些从所述物件被玻璃盖片接收，并引向所述相机。所述处理器经配置以从所述相机所输出的图像数据确定所述物件相对于所述相机的光轴的方位角以及所述物件距所述相机的距离中的一者或两者。
在一些实例中，所述处理器可经配置以确定所述物件相对于相机的光轴的方位角以及所述物件距所述相机的距离中的两者。
在一些实例中，所述玻璃盖片可包含接近于前表面安置的第一平面光导，所述第一平面光导经配置以接收散射光，所述接收到的散射光的至少一些在第一平面光导内进行全内反射(TIR)。光转向布置可包含安置在第一平面光导后面的第二平面光导，且所述输出的光可因第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源发射的光而产生。所述光源可与所述第二平面光导光学耦合。所述交互式显示器可安置于第一平面光导与第二平面光导之间。所述第一平面光导可安置在前表面的前方，所述第二平面光导可安置在第一平面光导后面，且输出的光可因第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源发射的光而产生。所述第二平面光导可充当交互式显示器的前照灯。
在一些实例中，输出的光可照明交互式显示器上方的区域。
在一些实例中，所述处理器可经配置以控制所述交互式显示器和所述电子装置中的一者或两者。
在一些实例中，所述光源可为红外光源，且所述交互式显示器是液晶显示器。
在一些实例中，所述处理器可经配置以通过分析所述相机所接收到的多个万花筒反射的由所述相机输出的图像数据来确定所述触摸距所述相机的距离。所述处理器可经配置以通过分析所述多个万花筒反射中的两个或两个以上之间的空间间距来确定所述距离。
在一些实例中，所述处理器可经配置以通过分析相机所接收到的至少一个万花筒反射的由所述相机输出的图像数据，来确定所述触摸的所述触摸相对于所述相机的光轴的方位角
在一些实例中，所述至少一个相机包含两个或两个以上相机，且所述处理器经配置以通过所述相机所输出的图像数据的三角测量来确定所述触摸的方位角。
在一些实例中，所述观看区域可具有超过24英寸的对角线尺寸。
根据一些实施方案，一种方法包含：用处理器从至少一个相机的输出确定用户触摸的位置；以及响应于所述确定所述用户触摸的所述位置，用所述处理器来控制电子装置和为所述电子装置提供输入/输出(I/O)接口的交互式显示器中的一者或两者。所述交互式显示器包含具有包含观看区域的前表面的玻璃盖片，所述相机安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面，所述相机的输出因使用所述相机接收到散射光产生，所述散射光因从所述交互式显示器输出的光与物件的交互而产生，所述散射光的至少一些被玻璃盖片接收，并引向所述相机，且通过所述处理器从所述相机所输出的图像数据确定物件相对于相机的光轴的方位角以及所述物件距所述相机的距离来确定位置。
在一些实例中，所述确定所述用户触摸的所述位置可包含分析所述相机所接收到的多个万花筒反射的由所述相机输出的图像数据。所述确定所述物件距所述相机的所述距离可包含分析所述多个万花筒反射中的两个或两个以上之间的空间间距。所述确定所述方位角可包含分析所述相机所接收到的至少一个万花筒反射的由所述相机输出的图像数据。
根据一些实施方案，一种设备包含：交互式显示器，其包含具有包含观看区域的前表面的玻璃盖片，且为电子装置的用户提供输入/输出(I/O)接口；处理器；光源，其发射可见光和红外光中的一者或两者；以及至少一个用于检测光的装置，其安置在观看区域外围之外与玻璃盖片共面或在其后面，所述光检测装置经配置以接收因从交互式显示器输出的光与物件的交互而产生的散射光，所述散射光的至少一些由玻璃盖片从所述物件接收，并引向所述光检测装置，所述光检测装置经配置以将对应于接收到的散射光的图像数据输出到所述处理器。所述处理器经配置以从所述图像数据确定所述物件相对于光检测装置的光轴的方位角以及所述物件距所述光检测装置的距离。
在一些实例中，所述玻璃盖片可包含接近于前表面安置的第一平面光导，所述第一平面光导经配置以接收散射光，所述接收到的散射光的至少一些在第一平面光导内进行全内反射(TIR)。光转向布置可包含安置在第一平面光导后面的第二平面光导，且所述输出的光可因第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源发射的光而产生。
在一些实例中，所述处理器可经配置以控制所述交互式显示器和所述电子装置中的一者或两者。
根据一些实施方案，一种非暂时性计算机可读媒体上面存储有软件，所述软件包含可由处理器执行的指令，所述指令致使所述处理器从至少一个相机的输出确定用户触摸的位置，且响应于所述用户触摸的所确定的位置，控制电子装置和为所述电子装置提供输入/输出(I/O)接口的交互式显示器中的一者或两者。所述交互式显示器包含具有包含观看区域的前表面的玻璃盖片。所述相机安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面。所述相机的所述输出因使用所述相机接收到散射光而产生，所述散射光因从所述交互式显示器输出的光与物件的交互而产生，所述散射光的至少一些被玻璃盖片接收，并引向所述相机。所述处理器通过从所述相机所输出的图像数据确定所述物件相对于所述相机的光轴的方位角以及所述物件距所述相机的距离来确定所述位置。
在一些实例中，所述指令可致使所述处理器通过分析相机所接收到的多个万花筒反射的由所述相机输出的图像数据来确定用户触摸的位置。所述指令可致使所述处理器通过分析所述多个万花筒反射中的两个或两个以上之间的空间间距来确定所述物件距所述相机的距离。
在一些实例中，所述指令可致使所述处理器通过分析所述相机所接收到的至少一个万花筒反射的由所述相机输出的图像数据来确定方位角。
附图说明
在附图和以下描述中陈述本说明书中描述的标的物的一或多个实施方案的细节。其它特征、方面和优点将从所述描述、图式和所附权利要求书而变得显而易见。注意，以下各图的相对尺寸可能未按比例绘制。各个图式中的相同参考标号和名称指示相同元件。
图1说明根据一实施方案的交互式显示器的简化框图。
图2说明根据一实施方案的交互式显示器的横截面正视图。
图3说明万花筒效应的实例。
图4说明响应于用户触摸而控制电子装置和/或交互式显示器的过程流程图。
图5说明根据一些实施方案的从至少一个相机的输出确定用户触摸的位置的过程流程图。
图6说明万花筒图像数据的实例。
图7说明万花筒反射图像间距与射程距离之间的关系。
图8说明根据一些实施方案的从万花筒反射图像获得射程信息的方面。
图9说明根据一些实施方案的确定用户触摸距相机的射程距离的过程流程图。
图10说明获得多点触摸实施方案的位置信息的方面。
图11说明用于处理多点触摸实施方案中的图像数据的过程流程图。
图12说明根据一实施方案的交互式显示器的平面视图。
图13说明使用至少两个相机来获得触摸的位置信息的方面。
图14说明根据另一实施方案的交互式显示器的横截面正视图。
图15说明包含位于显示器观看区域下方的相机的交互式显示器的实例。
图16说明根据又一实施方案的交互式显示器的实例。
具体实施方式
以下描述针对出于描述本发明的创新方面的目的的某些实施方案。然而，所属领域的一般技术人员将容易认识到，可以许多不同方式应用本文中的教示。所描述的实施方案可实施于可经配置以显示图像(不论运动(例如，视频)还是静止(例如，静态图像)，且不论文本、图形还是图片)的任何装置或系统中。更明确地说，预期所描述的实施方案可包含于多种电子装置中或与所述电子装置相关联，所述电子装置例如为(但不限于)：移动电话、具备多媒体因特网功能的蜂窝式电话、移动电视接收器、无线装置，智能电话、装置、个人数据助理(PDA)、无线电子邮件接收器、手持式或便携式计算机、上网本、笔记型计算机、智能本、平板计算机、打印机、复印机、扫描仪、传真机装置、GPS接收器/导航器、相机、MP3播放器、摄像机、游戏控制台、腕表、时钟、计算器、电视监视器、平板显示器、电子阅读装置(即，电子阅读器)、计算机监视器、汽车显示器(包含里程表和速度计显示器等等)、驾驶舱控制和/或显示器、相机取景显示器(例如车辆中的后视相机的显示器)、电子照片、电子广告牌或标志、投影仪、建筑结构、微波炉、冰箱、立体声系统、磁带录音机，或者播放器、DVD播放器、CD播放器、VCR、收音机、便携式存储器芯片、洗衣机、烘干机、洗衣机/烘干机、停车计时器、包装(例如在机电系统(EMS)、微机电系统(MEMS)和非MEMS应用中)、美学结构(例如，一件首饰上的图像的显示)以及各种各样的EMS装置。本文中的教示还可用于非显示器应用中，例如(但不限于)电子切换装置、射频滤波器、传感器、加速度计、陀螺仪、运动感测装置、磁力计、用于消费型电子装置的惯性组件、消费型电子产品的零件、变容器、液晶装置、电泳装置、驱动方案、制造工艺和电子测试装备。因此，所述教示并不希望仅限于附图中所描绘的实施方案，而是具有对本领域的技术人员来说将是显而易见的广泛适用性。
本文在下文描述用于提供交互式电子显示器的新技术，所述电子显示器提供响应于与所述显示器的触摸交互的特定特性来控制的用户输入/输出接口。使用使显示器的成本、大小和复杂性增加极少的光学技术来确定所述特性，其可包含用户的触摸在所述触摸相对于相机的方位角和距离的方面的位置信息。
可实施本发明中描述的主题的特定实施方案来实现下列潜在优点中的一或多者。相对于在先技术，本发明所公开的技术实现使用来自安置成与显示器共面或在其后面的单个相机的图像数据进行的交互式显示器上的触摸位置的确定，尽管所述交互式显示器可为大面积显示屏。由于本发明所公开的技术，可使用极小且便宜的相机来准确地确定与所述显示器的前表面光学接触的物件的位置。
本发明中所描述的标的物的一个创新方面可在交互式显示器的布置中实施，所述布置包含具有包含观看区域的前表面的玻璃盖片、光源、光转向布置和至少一个相机。安置在与所述玻璃盖片共面或在其后面的观看区域的外围之外的相机接收因从交互式显示器输出的光与物件的交互而产生的散射光，所输出的光由光转向布置从光源接收，通过所述光转向布置在大体上正交于观看区域的方向上转向。可为IR敏感VGA微相机的相机可输出图像数据，从所述图像数据可确定一触摸或同时多个触摸的位置。所揭示的技术避免在显示器外部周围增加相当大的边框高度，同时使得能够准确地确定触摸位置，且在同时发生两个或两个以上触摸时最小化阻塞效应。
在一些实施方案中，一种设备或电子装置可与交互式显示器协作以向所述设备的用户提供输入/输出(I/O)接口。所述交互式显示器具有包含观看区域的前表面。所述电子装置可包含交互式显示器或以电或无线方式耦合到交互式显示器。所述设备可包含处理器、第一平面光导、红外(IR)光源和一或多个IR相机。所述第一平面光导可安置为接近前表面且在前表面后面。第二平面光导可安置在第一平面光导后面。在一些实施方案中，IR光源可安置在平面光导的外围之外，且与第二平面光导的输入光学耦合。所述第二平面光导可包含第一光转向布置，其通过反射从IR发光源接收到的光以便照明显示器上方的区域，来在具有正交于所述前表面的实质性分量的方向上输出反射光。当例如用户的手指的物件或手持式物件接触显示器的前表面时，从所述物件散射的IR光可在第一平面光导内经历全内反射(TIR)。已经历TIR的IR光的至少一些可到达所述IR相机中的一或多者。所述相机可检测此经TIR的光，并向所述处理器输出所述检测到的经TIR的光的图像数据。所述处理器可从所述图像数据辨别用户触摸的实例和位置，且可响应于所述用户触摸来控制交互式显示器和所述电子装置中的一者或两者。当在本文中以及所附权利要求书中使用术语“平面光导”时，可通过参考序列号为13/480,377的申请案“全范围示意动作系统(FULL RANGEGESTURE SYSTEM)”来获得对所述术语的较好理解，所述申请案指派给本发明的受让人，其揭示内容特此出于所有目的，以全文引用的方式本文本申请案中。
图1说明根据一实施方案的交互式显示器的简化框图。交互式显示器100包含显示器玻璃盖片165(图2)，其具有包含观看区域101的前表面167(图2)。电子显示器100包含经配置以检测光的至少一个感光元件133。感光元件133可包含例如具有镜头、针孔或光栅(“相机”)的二维像素阵列。如下文中将更详细地阐释，当物件150至少部分地与前表面167光学接触时，感光元件133可检测因光与物件150(图2)的交互而产生的散射光。
感光元件133可向处理器1004输出图像数据。在一些实施方案中，例如，感光元件133可为相机或包含相机，且可将若干图像像素的2D图像数据输出到处理器1004。处理器1004可与感光元件133且与交互式显示器100的其它元件通信地耦合。在一些实施方案中，处理器1004可为电子显示器100的组成部分。在其它实施方案中，如图1所建议，处理器1004可与电子显示器100分开配置。在一些实施方案中，处理器1004可远程位于例如远程服务器中。在一些实施方案中，处理器1004可与电子装置1005通信地耦合。处理器1004可经配置以从所述图像数据辨别用户触摸的实例和位置，且可响应于所述用户触摸来控制交互式显示器100和所述电子装置1005中的一者或两者。
图2说明根据一实施方案的交互式显示器的横截面正视图。在所说明的实施方案中，交互式显示器100包含第一平面光导165(其在本文还可称为“覆盖镜头”或“玻璃盖片”，其可例如安置在移动装置上的显示器、监视器或电视机上方)。第一平面光导165可安置成接近于交互式显示器100的前表面167且在其后面。第二平面光导135(其在本文可称为“背光”)可安置在第一平面光导165后面。在所说明的实施方案中，显示器层145安置于第一平面光导165与第二平面光导135之间。如图2的细节A中示出，背光135可经配置以在大体上正交于前表面167的方向上发射光142。光142可包含可见光和/或红外光。
在所说明的实施方案中，光源135被配置为背光(即，光源135在显示器层145“后面”，使得显示器层145安置于光源135与第一平面光导165之间)。然而，在其它实施方案中，光源135可被配置成前光(即，光源135可在显示器层145“上方”，使得光源135安置于显示器层145与第一平面光导165之间)。更一般地说，将了解，光源135可为或包含液晶或场序色彩显示器的背光、反射式显示器(例如干涉式调制器(IMOD)显示器)的前光，或发射型显示器(例如有机发光二极管显示器)发射的光，或在对可见光不透明的玻璃盖片165的布线图区域下面且穿过所述布线图区域发射的红外光。
在所说明的实施方案中，交互式显示器100包含光源131和感光元件133。光源131可为例如发光二极管(LED)。在一些实施方案中，光源131包含一或多个IR光源，其可发射红外线、红色、蓝色、绿色或另一色彩或色彩组合，或白色的光。在一些实施方案中，光源131包含安置在第二平面光导135的周界周围的多个IR LED。所述多个IR LED可与组成交互式显示器100的背光的一部分的可见光LED穿插。
现参看图2的细节A，应注意，感光元件133可为或包含相机，包含具有光轴134的镜头132。在一些实施方案中，感光元件133可安置成使得光轴134大致平行于前表面167。在一些实施方案中，相机133可为或包含视频图形阵列(VGA)微相机。所述相机可为黑白相机，且可经适当地滤波，以便大体上仅接收IR光。在一些实施方案中，VGA微相机可包含大约500μm直径的镜头，且包含于小于4mm的传感器封装中。因此，相机133可位于与第一光导165的共面布置中，而不可观地增加交互式显示器100的堆叠高度。
如上文所指出，在一些实施方案中，光源131可安置在第二平面光导135的外围附近。在此些实施方案中，第二平面光导135可包含光转向布置，其在具有正交于前表面的实质性分量的方向上反射从光源131接收到的光。无关于光源131安置在何处，，仍参考图2的细节A，光142可穿过第一平面光导165，并与物件150交互。物件150至少部分地与第一平面光导165的顶表面光学接触。物件150可为用户的手指或其它附肢或手持式物件，例如触笔。反射光142与物件150的交互可产生散射光146。如由光线轨迹146(0)所示，散射光146中的一些可行进到相机133，且被相机133检测到，而不由平面光导165内部反射。散射光146中的至少一些可经历TIR。举例来说，如光线轨迹146(1)所示，散射光中的一些在被相机133检测到之前，可经历单次内部反射。将了解，散射光中的一些在被相机133检测到之前，可经历两次、三次或更多次内部反射。相机133可将所述检测到的IR光的图像数据输出到处理器1004(图1)。
处理器1004可从相机133的输出辨别用户的触摸的实例和位置，更明确地说，物件150的位置。如下文中所描述，单个相机133可足以确定相对于相机133的光轴的方位角以及距相机133的距离或射程两者。
仍参考图2的细节A，尽管说明两光线轨迹146(0)和146(1)，但将了解，相机133可检测物件150的图像的多个离散反射。这在本文中可被称作万花筒效应。图3说明万花筒效应的实例。更明确地说，图3说明单个手指触摸在相机133的视野中间时来自相机133的实例图像。在示出的实例中，所述触摸的直接图像是在位置301。位置301上方和下方的明亮标记是因已经历物件10与相机133之间的一或多个内部反射的光线而产生。可通过分析沿垂直(Y)轴的万花筒反射的数目和空间间距来确定物件10的位置与相机133之间的距离。此分析可通过对所述图像数据执行离散傅里叶变换来进行。可通过检测到的光位于水平(X)轴上何处来确定到所述触摸的方位角。
图4说明响应于用户触摸而控制电子装置和/或交互式显示器的过程流程图。并入到交互式显示器中和/或与所述交互式显示器通信地耦合的处理器可经配置以执行过程400。在一些实施方案中，包含相机133的交互式显示器100可经配置以与处理器1004合作执行过程400。过程400可在框410处通过确定用户触摸的位置而开始。所述处理器可通过从相机的输出确定所述物件相对于所述相机的光轴的方位角以及所述物件距所述相机的距离中的一者或两者来确定位置。在交互式显示器包含具有包含观看区域的前表面的玻璃盖片的情况下，相机的输出可因将光从光源发射到光转向布置中而产生，所述光源安置在所述观看区域的外围之外。所述所发射的光可由所述光转向布置在具有大体上正交于观看区域的方向上反射。所述相机可接收因反射光与物件的交互而产生的散射光，且将对应的图像数据输出到处理器。
在框420处，所述处理器可响应于用户触摸而控制所述电子装置和所述交互式显示器中的一者或两者。
图5说明根据一些实施方案的从至少一个相机的输出确定用户触摸的位置的过程流程图。过程410可在框411处通过确定所述触摸相对于相机的光轴的方位角而开始。在一些实施方案中，可通过识别相机所输出的图像数据接近于所述触摸的中心位置的像素位置来确定所述方位角。举例来说，可识别对应于沿所述图像数据的行扫描的峰值光学强度的像素位置。在一些实施方案中，通过考虑与所述相机相关联的任何镜头系统的特性，可将所识别的像素位置映射到相对于相机的光轴的角度。
过程410可在框412处通过确定所述触摸与相机之间的射程距离而继续。可通过分析用以表征万花筒反射的一个或多个参数(例如反射的数目、间距或频率)的图像数据来确定射程。所表征的参数可映射到射程距离。
任选地，过程可在框413处通过执行从(方位角、射程)坐标到笛卡尔(x,y)坐标的坐标变换而继续。
图6说明万花筒图像数据的实例。实例6(a)示出因位于距相机5cm的距离处且相对于相机的光轴成-20°的方位角的触摸而产生的万花筒反射图像。实例6(b)示出因位于距相机20cm的距离处且相对于所述光轴成+5°的方位角的触摸而产生的万花筒反射图像。
将了解，在Y轴方向上反射的图像距相机光轴的偏移距离可容易映射到方位角。所反射的图像之间的分离距离可同样地映射到从所述触摸到所述相机的射程距离。在示出的实例6(a)中，所反射的图像之间的35像素间距已映射到触摸与相机之间的5cm距离，而在示出的实例6(b)中，所反射的图像之间的15像素间距已映射到触摸与相机之间的20cm距离。
图7说明万花筒反射图像间距与射程距离之间的关系。更明确地说，图7说明在相机133的视野610内记录的多个图像中的每一者如何对应于以可与相应的虚拟对象位置有关的不同角度从物件150散射的光。举例来说，图像i550对应于物件150的直接图像。图像iv1因已经历单次内部反射的光线而产生，且对应于虚拟对象位置v1。图像iv2因已经历两次内部反射的光线而产生，且对应于虚拟对象位置v2。尽管为了说明的清楚性，实例7(a)和7(b)的每一者中仅描绘三个图像，图像i550、iv1和iv2，但通常可预期大体上较大数目的图像因万花筒效应而产生。
将实例7(a)与实例7(b)进行比较，可观察到，在触摸150(a)的位置比触摸150(b)的位置更靠近相机133的情况下，实例7(a)中的万花筒反射图像之间的分离距离大于实例7(b)中的万花筒反射图像之间的分离距离。因此，可通过测量因所述触摸而产生的万花筒反射图像之间的间距距离，来定量地获得触摸与相机之间的射程距离。
图8说明根据一些实施方案的从万花筒反射图像获得射程信息的方面。图9说明根据一些实施方案的确定用户触摸距相机的射程距离的过程流程图。首先参看图8，细节B示出位于区601内的万花筒反射图像的实例。区601可包含若干列像素，其包含与用户触摸的实例有关的图像数据。区601之外的像素与用户的触摸不相关。
现参看图9，说明用于确定用户触摸的射程距离的方法900。对于图像数据的给定帧，所述帧包含像素行和列，所述方法可在框910处通过识别含有与触摸有关的图像数据的那些像素列而开始。在图8中示出的实例中，此类列是那些包含于区601中的列。在一些实施方案中，可选择具有最高平均强度的列。在一些实施方案中，可取两个或两个以上相邻列上的平均值。如图8的细节C中示出，区601内沿Z轴的图像强度可实质上变化。
再次参看图9，所述方法可在框920处通过对图8的细节C中说明的强度数据执行傅里叶变换而继续。图8的细节D中所示的所得傅立叶域曲线图可容易得出万花筒反射图像的特征频率。更明确地说，傅立叶域曲线图中出现第一最大值的频率将已知对应于万花筒反射图像的特征频率。因此，方法900涵盖在框930处定位第一最大值。所述所确定的特征频率在图9的框940处，又可用来确定触摸距相机的射程距离。举例来说，射程距离‘d’可等于2fD/Δ，f是相机的焦距，D是第一平面光导的厚度，且Δ是邻近万花筒反射图像之间的距离。
在一些实施方案中，涵盖用于改进触摸位置确定的准确性和可靠性的技术，明确地说，所述技术是针对其中希望检测和区分多个同时或几乎同时的触摸的实施方案(“多点触摸”实施方案)。多点触摸实施方案需要多个图像强度峰值的检测和位置确定。本发明所揭示的技术提供准确且可靠的触摸位置确定，尽管任何个别峰值的形状很可能不对称，且可取决于正检测的物件的特性，以及所述物件的放置特性。
图10说明获得多点触摸实施方案的位置信息的方面。图11说明用于处理多点触摸实施方案中的图像数据的过程流程图。首先参看图10，细节E示出随沿像素列或行的位置而变的图像强度数据的曲线图1010。所指示的强度峰值1011和1012中的每一者可表示相应触摸的位置。现参看图11，方法1100可在框1110处通过接收第一强度等级曲线图，且通过将索引计数‘i’设定为一而开始。接收到的第一强度等级曲线图包含在图10的细节E中说明为曲线图1010的形式的数据。
再次参看图11，方法1100可在框1120处通过找出第i(第一)曲线图中的最大强度的位置而继续。在图10示出的实例中，细节e，曲线图1010表示第一曲线图，且可观察到最大值强度出现在峰值1011处。
再次参看图11，方法1100可在框1130处通过创建描述曲线图(i)的较低包络曲线的第二强度等级曲线图(曲线图(i+1))而继续。如本文以及所附权利要求书中所使用，术语“较低包络曲线”描述在离开最大值强度位置时从不增加且始终小于或等于先前曲线(曲线图(i))的函数。因此，现参看图10的细节F，曲线图1020表示第二曲线图。第二曲线图1020不包括第一曲线图1010的(虚线)部分，因为所述虚线部分具有比较低包络曲线值大的强度。因此，将与强度峰值1012有关的强度数据以及超过上文所定义的较低包络曲线的其它强度值从第二曲线图1020排除。
再次参看图11，方法1100可在框1140处通过创建描述曲线图(i+1)与曲线图(i)之间的差异的曲线图(i+2)而继续。将所得差异曲线(曲线图(i+2))的实例说明为图10的细节G的第三曲线图1030。可观察到，不同差异峰值1032在对应于强度峰值1012的位置的位置处出现。在示出的例子中，第三曲线图1030与差异峰值1032无关的部分对应于低等级噪声。
再次参看图11，方法1100可在框1150处通过作出曲线图(i+2)是否基本上仅与噪声有关的确定而继续。如果框1150处的确定是曲线图(i+2)基本上仅与噪声有关，那么所述方法可停止(框1170)。另一方面，如果框1150处的确定是曲线图(i+2)的至少一些与噪声无关，那么可将索引ⅰ设定成i+2(框1160)，且过程可重复1120到1150。
再次参看图10，应了解，第三曲线图1030包含与噪声无关的数据(即，差异峰值1032)。因此，可使根据框1150作出的如应用于第三曲线图1030的确定复位到索引i＝i+2(框1160)，且重复过程框1120到1150。更明确地说，仍参看图10，可通过执行方法1100的框1120和1130来创建第四(实线)曲线图1040。因此，使用上文所定义的较低包络等级，第四曲线图1040排除第三曲线图1030的(虚线的)部分。
将第三曲线图1030与第四曲线图1040之间(根据框1140)计算的差异描绘为图10的细节J中的第五曲线图1050。将了解，第五曲线图1050基本上仅与噪声有关。因此，根据框1150作出的如应用于第五曲线图1050的确定可为停止方法1100(框1170)。
已示出用以可靠且准确地识别和定位多点触摸输入的方法1100。尽管为了说明的清楚性，图10中所示的强度曲线图是沿单个轴，但上文所揭示的技术可应用于2D轮廓。可将上述方法视为非参数的，因为不需要像例如高斯混合模型中所需的那样，假定随例如位置和方差等参数而变的峰值的形状。因此，上述方法是稳定的，且需要极少调谐。还获得计算上的效率，因为所述操作是简单的：最大值寻找和减除。上述方法还可在并行代码中实施。
图12说明根据一实施方案的交互式显示器的平面视图。在所说明的实施方案中，可提供至少两个相机133，其可提供触摸的较准确位置确定，和/或在同时发生两个或两个以上触摸(T1和T2)时，可最小化阻塞效应。
图13说明使用至少两个相机来获得触摸的位置信息的方面。在所说明的实施方案中，相机133(1)和相机133(2)中的每一者输出2D图像数据，包含相应的万花筒反射图像1301(1)和1301(2)。相机133(1)具有光轴134(1)，且相机133(2)具有光轴134(2)。可使用上文所揭示的技术来获得触摸相对于每一光轴的方位角。举例来说，在一些实施方案中，可产生相应的1D信号强度曲线图1302(1)和1302(2)，以确定相应的方位角角度Az(1)和Az(2)。接着可使用相应的方位角Az(1)和Az(2)的确定，来通过图像数据的三角测量确定所述触摸的位置。尽管所说明的实施方案中描绘两个相机，但本发明还涵盖包含三个或更多个相机的实施方案。
图14说明根据另一实施方案的交互式显示器的横截面正视图。在所说明的实施方案中，电子显示器1400包含位于第一平面光导165的平面下方的相机133。举例来说，棱镜或其它光转向布置(未说明)可安置成接近于第一平面光导165的边缘。所述棱镜或其它光转向布置可将散射的IR光146重新引向相机133。
图15说明包含位于显示器观看区域下方的相机的交互式显示器的实例。在所说明的实施方案中，相机1533与微透镜1532光学耦合。棱镜1536安置成接近于显示器观看区域的边缘以及微镜头1532。如在俯视(透视)图中可观察到，布线图1537可布置成接近于显示器观看区域的一或多个边缘。在一些实施方案中，棱镜1536、微镜头1532和相机1533可安置在布线图1537后面。举例来说，在所说明的实施方案中，位置1538(1)和1538(2)指示棱镜1536、微镜头1532和相机1533的相应布置可安置在其后面的两个选定位置。
图16说明根据又一实施方案的交互式显示器的实例。在所说明的实施方案中，第二平面光导135安置于第一平面光导165与显示器层145之间。将了解，在此实施方案中，第二平面光导135可充当前光。显示器层145可为反射式显示器。举例来说，显示器层145可包含干涉式调制器阵列(IMOD)。在一些实施方案中，第二平面光导135可包含大体上透明的基于微球体的塑料前光材料。
因此，已揭示了用于使交互式显示器能够检测并响应与交互式显示器的触摸交互的特定特性的改进的技术。
如本文所使用，提到一列项目“中的至少一者”的短语是指那些项目的任何组合，包含单个成员。作为实例，“a、b或c中的至少一者”意在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
结合本文中揭示的实施方案所描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可实施为电子硬体、计算机软件或两者的组合。硬件与软件的互换性已大体在功能性方面加以描述，且在上文所描述的各种说明性组件、块、模块、电路和过程中加以说明。此类功能在硬件还是软件中实现取决于特定应用以及强加于整个系统的设计约束。
结合本文中所揭示的方面描述的用以实现各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理设备可通过经设计以执行本文中所描述的功能的以下各项来实现或执行：通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其任何组合。通用处理器可为微处理器或任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。在一些实施方案中，特定过程和方法可由特定针对给定功能的电路执行。
在一或多个方面中，可以硬件、数字电子电路、计算机软件、固件(包含本说明书中所揭示的结构及其结构等效物)或以其任何组合来实施所描述功能。本说明书中所描述的标的物的实施方案也可实现为一或多个计算机程序，即，计算机程序指令的一或多个模块，所述计算机程序指令编码于计算机存储媒体上以供由数据处理设备执行或以控制数据处理设备的操作。
如果以软件实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体(例如，非暂时性媒体)上或经由所述计算机可读媒体(例如，非暂时性媒体)传输。本文中所揭示的方法或算法的过程可在可驻留于计算机可读媒体上的处理器可执行软件模块中实现。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含可经启用以将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，非暂时性媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，可将任何连接适当地称为计算机可读媒体。如本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码和指令中的任一者或任何组合或集合驻留于可并入到计算机程序产品中的机器可读媒体和计算机可读媒体上。
对于所属领域的技术人员来说，对本发明中所描述的实施方案的各种修改可为显而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可适用于其它实施方案。因此，所附权利要求书无意限于本文中所示的实施方案，而是将被赋予与本文中所揭示的此揭示内容、原理和新颖特征相一致的最广泛范围。另外，所属领域的技术人员将易于了解，有时为了易于描述各图而使用术语“上部”和“下部”，且所述术语指示对应于在经适当定向的页面上的图的定向的相对位置，且可能并不反映如所实施的装置的适当定向。
在本说明书中在单独实施方案的上下文中描述的某些特征也可在单个实施方案中组合地实施。相反地，在单个实施方案的上下文中描述的各种特征还可分别在多个实施方案中实施或以任何合适的子组合来实施。此外，尽管上文可将特征描述为以某些组合起作用或甚至最初如此主张，但在一些情况下，可将来自所主张的组合的一个或多个特征从组合中删除，并且所主张的组合可针对子组合或子组合的变化。
类似地，虽然在图式中按特定次序描绘操作，但此情形不应被理解为要求按所展示的特定次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所要结果。另外，图式可以流程图形式示意性地描绘一个以上实例过程。然而，可将未描绘的其它操作并入于示意性说明的实例过程中。举例来说，可在所说明的操作中的任一者之前、之后、同时地或之间执行一或多个额外操作。在某些情况下，多任务处理和并行处理可为有利的。此外，上文所描述的实施方案中的各种系统组件的分开不应被理解为在所有实施方案中要求此分开，且应理解，所描述的程序组件和系统一般可一起整合在单个软件产品中或封装到多个软件产品中。另外，其它实施方案在所附权利要求书的范围内。在一些情况下，所附权利要求书中所叙述的动作可以不同次序来执行且仍实现合乎需要的结果。

Claims (26)

1.一种用于用户交互的设备，其包括：
交互式显示器，其包含具有包含观看区域的前表面的玻璃盖片，且为电子装置的用户提供输入/输出I/O接口，其中所述玻璃盖片包含安置成接近于所述前表面的第一平面光导；
处理器；
光源，其发射可见光和红外光中的一者或两者；以及
至少第一相机，其安置在所述观看区域的外围之外，且邻接于所述第一平面光导的背表面；其中：
所述第一相机经配置以接收来自于与所述前表面光学接触的物件的散射光以及输出所述散射光的图像数据，所述散射光因从所述交互式显示器输出的光与所述物件的交互而产生，所述散射光的至少一些从所述物件被所述玻璃盖片接收，并引向所述第一相机；且
所述处理器经配置以从所述相机所输出的所述图像数据确定所述物件相对于所述第一相机的光轴的方位角以及所述物件距所述第一相机的距离。
2.根据权利要求1所述的设备，其中所述第一平面光导经配置以接收所述散射光，所述接收到的散射光的至少一些在所述第一平面光导内经历全内反射TIR。
3.根据权利要求2所述的设备，其中光转向布置包含：
第二平面光导，其安置在所述第一平面光导后面；以及
所述所输出的光因所述第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源发射的光而产生。
4.根据权利要求3所述的设备，其中所述光源与所述第二平面光导光学耦合。
5.根据权利要求3所述的设备，其中所述交互式显示器安置于所述第一平面光导与所述第二平面光导之间。
6.根据权利要求3所述的设备，其中所述第一平面光导安置在所述前表面的前方；所述第二平面光导安置在所述第一平面光导后面；以及
所述所输出的光因所述第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源发射的光而产生。
7.根据权利要求6所述的设备，其中所述第二平面光导充当所述交互式显示器的前光。
8.根据权利要求1所述的设备，其中所述所输出的光照明所述交互式显示器上方的区域。
9.根据权利要求1所述的设备，其中所述处理器经配置以控制所述交互式显示器和所述电子装置中的一者或两者。
10.根据权利要求1所述的设备，其中所述光源是红外光源，且所述交互式显示器是液晶显示器。
11.根据权利要求1所述的设备，其中所述处理器经配置以通过分析由所述第一相机输出并关联于由所述第一相机检测的多个万花筒反射的图像数据来确定所述物件距所述第一相机的距离。
12.根据权利要求11所述的设备，其中所述处理器经配置以通过分析所述多个万花筒反射中的两个或两个以上之间的空间间距来确定所述距离。
13.根据权利要求1所述的设备，其中所述处理器经配置以通过分析由所述第一相机输出并关联于由所述第一相机检测的至少一个万花筒反射的图像数据来确定所述物件相对于所述第一相机的所述光轴的方位角。
14.根据权利要求1所述的设备，其中所述观看区域具有超过24英寸的对角线尺寸。
15.一种用于用户交互的方法，其包括：
使用处理器来从至少第一相机的输出确定用户触摸的位置，以及
使用所述处理器，响应于所述确定所述用户触摸的所述位置，控制电子装置和为所述电子装置提供输入/输出I/O接口的交互式显示器中的一者或两者，其中：
所述交互式显示器包含具有包含观看区域的前表面的玻璃盖片，且所述玻璃盖片包含安置成接近于所述前表面的第一平面光导；
所述第一相机安置在所述观看区域的外围之外，且邻接于所述第一平面光导的背表面；
所述第一相机的所述输出因使用所述第一相机接收到来自于与所述前表面光学接触的物件的散射光以及输出所述散射光的图像数据而产生，所述散射光因从所述交互式显示器输出的光与所述物件的交互而产生，所述散射光的至少一些被所述玻璃盖片接收，并引向所述第一相机；且
通过所述处理器从所述第一相机所输出的所述图像数据确定所述物件相对于所述第一相机的光轴的方位角以及所述物件距所述第一相机的距离来确定所述位置。
16.根据权利要求15所述的方法，其中所述确定所述用户触摸的所述位置包含分析由所述第一相机输出并关联于由所述第一相机检测的多个万花筒反射的图像数据。
17.根据权利要求16所述的方法，其中所述确定所述物件距所述第一相机的所述距离包含分析所述多个万花筒反射中的两个或两个以上之间的空间间距。
18.根据权利要求15所述的方法，其中所述确定所述方位角包含分析由所述第一相机输出并关联于由所述第一相机检测的至少一个万花筒反射的图像数据。
19.一种用于用户交互的设备，其包括：
交互式显示器，其包含具有包含观看区域的前表面的玻璃盖片，且为电子装置的用户提供输入/输出I/O接口，其中所述玻璃盖片包含安置成接近于所述前表面的第一平面光导；
处理器；
光源，其发射可见光和红外光中的一者或两者；以及
用于检测光的第一装置，其安置在所述观看区域的外围之外且邻接于所述第一平面光导的背表面，所述第一装置经配置以接收来自于与所述前表面光学接触的物件的散射光以及输出所述散射光的图像数据，所述散射光因从所述交互式显示器输出的光与所述物件的交互而产生，所述散射光的至少一些从所述物件被玻璃盖片接收，并引向所述第一装置，所述第一装置经配置以将对应于所述接收到的散射光的图像数据输出到所述处理器；其中：
所述处理器经配置以从由所述第一装置输出的所述图像数据确定所述物件相对于所述第一装置的光轴的方位角以及所述物件距所述第一装置的距离。
20.根据权利要求19所述的设备，其中所述第一平面光导经配置以接收所述散射光，所述接收到的散射光的至少一些在所述第一平面光导内经历全内反射TIR。
21.根据权利要求20所述的设备，其中光转向布置包含：
第二平面光导，其安置在所述第一平面光导后面；且
所述所输出的光因所述第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源发射的光而产生。
22.根据权利要求19所述的设备，其中所述处理器经配置以控制所述交互式显示器和所述电子装置中的一者或两者。
23.一种上面存储有软件的非暂时性计算机可读媒体，所述软件包含可由处理器执行的指令，所述指令致使所述处理器：
从至少第一相机的输出确定用户触摸的位置，以及；
响应于所述用户触摸的所述所确定的位置，控制电子装置和为所述电子装置提供输入/输出I/O接口的交互式显示器中的一者或两者，其中：
所述交互式显示器包含具有包含观看区域的前表面的玻璃盖片，且所述玻璃盖片包含安置成接近于所述前表面的第一平面光导；
所述第一相机安置在所述观看区域的外围之外，且邻接于所述第一平面光导的背表面；
所述第一相机的所述输出因使用所述第一相机接收到来自于与所述前表面光学接触的物件的散射光以及输出所述散射光的图像数据而产生，所述散射光因从所述交互式显示器输出的光与物件的交互而产生，所述散射光的至少一些被所述玻璃盖片接收，并引向所述第一相机；以及
通过所述处理器从所述第一相机所输出的所述图像数据确定所述物件相对于所述第一相机的光轴的方位角以及所述物件距所述第一相机的距离来确定所述位置。
24.根据权利要求23所述的计算机可读媒体，其中所述指令致使所述处理器通过分析由所述第一相机输出并关联于由所述第一相机检测的多个万花筒反射的图像数据来确定所述用户触摸的所述位置。
25.根据权利要求24所述的计算机可读媒体，其中所述指令致使所述处理器通过分析所述多个万花筒反射中的两个或两个以上之间的空间间距来确定所述物件距所述第一相机的所述距离。
26.根据权利要求23所述的计算机可读媒体，其中所述指令致使所述处理器通过分析由所述第一相机输出并关联于由所述第一相机检测的至少一个万花筒反射的图像数据来确定所述方位角。
CN201580009177.0A 2014-03-04 2015-02-20 大面积交互式显示屏 Expired - Fee Related CN106030481B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461947971P 2014-03-04 2014-03-04
US61/947,971 2014-03-04
US14/626,679 US9921688B2 (en) 2014-03-04 2015-02-19 Large area interactive display screen
US14/626,679 2015-02-19
PCT/US2015/016800 WO2015134207A1 (en) 2014-03-04 2015-02-20 Large area interactive display screen

Publications (2)

Publication Number Publication Date
CN106030481A CN106030481A (zh) 2016-10-12
CN106030481B true CN106030481B (zh) 2020-02-21

Family

ID=54017371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580009177.0A Expired - Fee Related CN106030481B (zh) 2014-03-04 2015-02-20 大面积交互式显示屏

Country Status (7)

Country Link
US (1) US9921688B2 (zh)
EP (1) EP3114547A1 (zh)
JP (1) JP2017507428A (zh)
KR (1) KR20160130267A (zh)
CN (1) CN106030481B (zh)
CA (1) CA2937555A1 (zh)
WO (1) WO2015134207A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454235B2 (en) 2014-12-26 2016-09-27 Seungman KIM Electronic apparatus having a sensing unit to input a user command and a method thereof
KR101656802B1 (ko) * 2015-05-12 2016-09-12 현대자동차주식회사 제스처 입력 장치 및 이를 포함하는 차량
US10254881B2 (en) 2015-06-29 2019-04-09 Qualcomm Incorporated Ultrasonic touch sensor-based virtual button
US10157305B2 (en) 2015-10-19 2018-12-18 Qualcomm Incorporated Cover-glass optical isolation for optical touch and fingerprint sensing
US10169637B2 (en) 2015-10-19 2019-01-01 Qualcomm Incorporated On-screen optical fingerprint capture for user authentication
KR101786550B1 (ko) * 2016-04-28 2017-10-18 한국광기술원 유의미한 터치신호 보강 및 중복 터치에 따른 신호가림 현상을 감소시키는 중대형 적외선 터치스크린 시스템
KR20180001055A (ko) * 2016-06-24 2018-01-04 삼성전자주식회사 지문 센서를 포함하는 전자 장치 및 이의 운용 방법
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026930A2 (en) * 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
CN101952793A (zh) * 2008-10-13 2011-01-19 好感新技术有限公司 利用线性红外线发光体的光学模块方式的触摸屏

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
GB2395289A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Structured light generator
US7705835B2 (en) 2005-03-28 2010-04-27 Adam Eikman Photonic touch screen apparatus and method of use
US9268413B2 (en) 2008-07-07 2016-02-23 Rpx Clearinghouse Llc Multi-touch touchscreen incorporating pen tracking
JP4623154B2 (ja) * 2008-07-24 2011-02-02 エプソンイメージングデバイス株式会社 照明装置、座標入力装置、電気光学装置及び電子機器
GB2473239B (en) 2009-09-04 2014-07-09 Cambridge Display Tech Ltd Touch screen display device
JP4842363B2 (ja) * 2009-11-17 2011-12-21 シャープ株式会社 ポインティング装置および電子機器
KR20110056892A (ko) 2009-11-23 2011-05-31 삼성전자주식회사 Ｌｃｄ 디스플레이장치의 멀티 터치 감지장치 및 이를 이용한 멀티 터치 감지방법
KR101749266B1 (ko) * 2010-03-24 2017-07-04 삼성디스플레이 주식회사 터치감지 표시 장치 및 컴퓨터용 기록매체
TWI409679B (zh) * 2010-06-04 2013-09-21 Au Optronics Corp 光學式觸控面板及觸控顯示裝置及其觸控輸入方法
JP5631176B2 (ja) 2010-11-29 2014-11-26 キヤノン株式会社 固体撮像素子及びカメラ
US9262011B2 (en) * 2011-03-30 2016-02-16 Smart Technologies Ulc Interactive input system and method
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム
KR101973168B1 (ko) * 2012-08-24 2019-04-29 삼성디스플레이 주식회사 멀티 터치 및 터치 힘을 인식하는 터치 표시장치 및 그 구동 방법
US9285623B2 (en) 2012-10-04 2016-03-15 Corning Incorporated Touch screen systems with interface layer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026930A2 (en) * 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
CN101952793A (zh) * 2008-10-13 2011-01-19 好感新技术有限公司 利用线性红外线发光体的光学模块方式的触摸屏

Also Published As

Publication number Publication date
CA2937555A1 (en) 2015-09-11
CN106030481A (zh) 2016-10-12
US9921688B2 (en) 2018-03-20
WO2015134207A1 (en) 2015-09-11
EP3114547A1 (en) 2017-01-11
KR20160130267A (ko) 2016-11-10
US20150253931A1 (en) 2015-09-10
JP2017507428A (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106030481B (zh) 大面积交互式显示屏
US9582117B2 (en) Pressure, rotation and stylus functionality for interactive display screens
JP6623171B2 (ja) ディスプレイに統合されるユーザ分類、セキュリティおよび指紋システム
US20150083917A1 (en) Infrared light director for gesture or scene sensing fsc display
EP2843509B1 (en) Electronic device having proximity touch function
US20150084928A1 (en) Touch-enabled field sequential color display using in-cell light sensors
US20150084994A1 (en) Touch-enabled field-sequential color (fsc) display using a light guide with light turning features
US9122354B2 (en) Detecting wave gestures near an illuminated surface
EP2898399B1 (en) Display integrated camera array
US9454265B2 (en) Integration of a light collection light-guide with a field sequential color display
US20130106792A1 (en) System and method for enabling multi-display input
US20170188081A1 (en) Method and apparatus for interacting with display screen
US9207811B2 (en) Optical imaging system capable of detecting a moving direction of an object and imaging processing method for optical imaging system
US11275467B1 (en) Integrating optical fingerprinting into a front-facing smartphone camera
CN112929559A (zh) 执行半快门功能的方法和使用其捕获图像的方法
US20150293645A1 (en) Holographic collection and emission turning film system
CN102141859B (zh) 光学式触控显示装置及其方法
CN102132239A (zh) 交互式显示屏
US9727172B2 (en) Method for defining effective pixels in image sensing array

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200221