CN106255944A - 移动平台中的空中和表面多点触摸检测 - Google Patents

移动平台中的空中和表面多点触摸检测 Download PDF

Info

Publication number
CN106255944A
CN106255944A CN201580020723.0A CN201580020723A CN106255944A CN 106255944 A CN106255944 A CN 106255944A CN 201580020723 A CN201580020723 A CN 201580020723A CN 106255944 A CN106255944 A CN 106255944A
Authority
CN
China
Prior art keywords
depth map
reconstructed
reconstructed depth
light
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580020723.0A
Other languages
English (en)
Inventor
海钟·徐
约翰·迈克尔·维尔瓦斯
亚切克·马伊坦
艾弗杰尼·佩托维奇·高瑟夫
巴巴克·阿里安
崔喜全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106255944A publication Critical patent/CN106255944A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供用于辨识与电子装置的用户交互的系统、方法和设备。所述系统、方法及设备的实施方案包含指尖或其它物件的表面和空中示意动作辨识和识别。在一些实施方案中，提供一种装置，其包含多个检测器，所述检测器经配置以接收指示物件与所述装置在检测区域处或检测区域上方的交互的信号，使得可从所述信号产生低分辨率图像。所述装置经配置以从所述信号获得低分辨率图像数据，且从所述低分辨率图像数据获得第一经重构深度图。所述第一经重构深度图可具有比所述低分辨率图像高的分辨率。所述装置进一步经配置以从所述第一经重构深度图获得第二经重构深度图。所述第二经重构深度图可在所述物件内提供改进的边界和较少的噪声。

Description

移动平台中的空中和表面多点触摸检测
优先权要求
本申请案主张2014年4月28日申请的第61/985,423号美国临时专利申请案和2014年11月18日申请的第14/546,303号美国专利申请案的优先权，所述申请案以全文引用的方式且出于所有目的并入本文中。
技术领域
本发明大体上涉及适合与电子装置(包含显示装置)一起使用的输入系统。更具体地说，本发明涉及能够辨识表面和空中示意动作和指尖的输入系统。
背景技术
投射式电容(PCT)目前是具有高图像清晰度和输入准确性的移动显示器中最广泛使用的触摸技术。然而，归因于电力消耗、响应时间和生产成本的限制，PCT具有按比例扩大的挑战。另外，此技术通常要求用户触摸屏幕来使所述系统具有响应性。基于相机的示意动作辨识技术近年来已取得了成果，从而创建超出智能电话和平板计算机的触摸屏的较多固有用户接口。然而，归因于电力、性能、成本和可用性挑战(包含快速响应、辨识准确性和相对于噪声的稳健性)的限制，示意动作辨识技术在移动装置中尚未变为主流。另外，相机具有受限的视野，其在屏幕附近具有盲区。因此，随着示意动作更靠近屏幕，基于相机的示意动作辨识性能恶化。
发明内容
本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
本发明中所描述的标的物的一个创新方面可在包含用于电子装置的用户的接口的设备中实施，所述接口具有：包含检测区域的前表面；多个检测器，其经配置以检测物件与装置在所述检测区域处或所述检测区域上方的交互，并输出指示所述交互的信号，使得可从所述信号产生图像；以及处理器，其经配置以：从所述信号获得图像数据，将线性回归模型应用于所述图像数据，以获得第一经重构深度图，且将经训练的非线性回归模型应用于第一经重构深度图，以到第二经重构深度图。在一些实施方案中，所述第一经重构深度图具有比所述图像的分辨率高的分辨率。
在一些实施方案中，所述设备可包含一或多个发光源，其经配置以发射光。所述多个检测器可为光检测器，使得所述信号指示所述物件与从所述一或多个发光源发射的光的交互。在一些实施方案中，所述设备可包含平面光导，其实质上平行于所述接口的前表面安置，所述平面光导包含：第一光转向布置，其经配置以通过反射从一或多个发光源接收到的所发射的光，在具有与所述前表面正交的实质性分量的方向上输出反射光；以及第二光转向布置，其将产生于所述交互的光向所述多个检测器重新引导。
所述第二经重构深度图可具有是所述图像的分辨率的至少三倍的分辨率。在一些实施方案中，所述第二经重构深度图具有与第一经重构深度图相同的分辨率。所述处理器可经配置以从第二经重构深度图辨别用户示意动作的实例。在一些实施方案中，所述接口是交互式显示器，且所述处理器经配置以响应于用户示意动作来控制所述交互式显示器和所述电子装置中的一者或两者。本文所揭示的设备的各种实施方案并不包含飞行时间深度相机。
在一些实施方案中，获得图像数据可包含所述图像的向量化。在一些实施方案中，获得第一经重构深度图包含将习得权矩阵应用于经向量化的图像数据，以获得第一经重构深度图矩阵。在一些实施方案中，将非线性回归模型应用于所述第一经重构深度图包含为第一经重构深度图的每一像素提取多像素区块特征，以为每一像素确定深度图值。
在一些实施方案中，所述物件是手。在此些实施方案中，所述处理器可经配置以将经训练的分类模型应用于第二经重构深度图，以确定所述手的指尖的位置。所述位置可包含平移和深度位置信息。在一些实施方案中，所述物件可为触笔。
本发明中所描述的标的物的另一创新方面可在包含用于电子装置的用户的接口的设备中实施，所述接口具有：包含检测区域的前表面；多个检测器，其经配置以接收指示物件与装置在所述检测区域处或所述检测区域上方的交互的信号，其中可从所述信号产生图像；以及处理器，其经配置以：从所述信号获得图像数据，从所述图像数据获得第一经重构深度图，其中所述第一经重构深度图具有比所述图像高的分辨率，且将经训练的非线性回归模型应用于第一经重构深度图，以获得第二经重构深度图。
本发明中所描述的标的物的另一创新方面可在一种方法中实施，所述方法包含：从沿装置的检测区域的外围布置的多个检测器获得图像数据，所述图像数据指示物件与装置在所述检测区域处或所述检测区域上方的交互；从所述图像数据获得第一经重构深度图；以及从所述第一经重构深度图获得第二经重构深度图。所述第一经重构深度图可具有比从所述多个检测器获得的图像数据高的分辨率。
在一些实施方案中，获得第一经重构深度图包含将习得权矩阵应用于经向量化的图像数据。所述方法可进一步包含学习所述权矩阵。学习所述权矩阵可包含获得多个物件示意动作和位置的高分辨率深度图和低分辨率图像对的训练集合数据。在一些实施方案中，获得第二经重构深度图包含将非线性回归模型应用于第一经重构深度图。将非线性回归模型应用于第一经重构深度图可包含提取第一经重构深度图的每一像素的多像素区块特征，以确定每一像素的深度图值。
在一些实施方案中，所述物件可为手。所述方法可进一步包含将经训练的分类模型应用于所述第二经重构深度图，以确定所述手的指尖的位置。此类位置可包含平移和深度位置信息。
在附图和以下描述中陈述本说明书中描述的标的物的一或多个实施方案的细节。其它特征、方面和优点将从描述、图式和所附权利要求书变得显而易见。应注意，以下各图的相对尺寸可能未按比例绘制。
附图说明
图1示出经配置以用于空中和表面示意动作检测的移动电子装置的示意性说明的实例。
图2A到2D示出经配置以产生低分辨率图像数据的装置的实例的各种视图。
图3示出经配置以产生低分辨率图像数据的装置的实例。
图4示出说明用于从低分辨率图像数据获得高分辨率经重构深度图的过程的流程图的实例。
图5示出说明用于从低分辨率图像数据获得第一经重构深度图的过程的流程图的实例。
图6示出说明用于从第一经重构深度图获得第二经重构深度图的过程的流程图的实例。
图7示出在距装置的表面各种距离(0mm、20mm、40mm、60mm、80mm和100mm)处三个手指示意动作的低分辨率图像的实例。
图8示出说明用于获得线性回归模型的过程的流程图的实例。
图9示出说明用于获得非线性回归模型的过程的流程图的实例。
图10示出经重构深度图和多个像素区块的示意性说明的实例。
图11示出说明用于从低分辨率图像数据获得指尖位置信息的过程的流程图的实例。
图12示出来自指尖检测的不同级的图像的实例。
图13示出说明用于获得非线性分类模型的过程的流程图的实例。
图14示出根据一个实施方案的具有交互式显示器的电子装置的框图的实例。
各个图式中的相同参考编号和名称指示相同元件。
具体实施方式
以下描述是针对出于描述本发明的创新方面的目的的某些实施方案。然而，所属领域的一般技术人员将容易认识到，可以许多不同方式来应用本文中的教示。所描述的实施方案可在利用触摸式输入接口的任何装置、设备或系统中(包含在出于显示器的触摸式输入之外的目的而利用触摸式输入的裝置中)实施。此外，预期所描述实施方案可包含在例如(但不限于)以下各者等多种电子装置中或与所述多种电子装置相关联：移动电话、具多媒体因特网功能的蜂窝式电话、移动电视接收器、无线装置、智能电话、装置、个人数据助理(PDA)、无线电子邮件接收器、手持式或便携式计算机、上网本、笔记本计算机、智能笔记本计算机、平板计算机、打印机、复印机、扫描仪、传真装置、全球定位系统(GPS)接收器/导航仪、相机、数字媒体播放器(例如，MP3播放器)、摄录影机、游戏控制台、腕表、时钟、计算器、电视监视器、平板显示器、电子阅读装置(例如，电子阅读器)、计算机监视器、自动显示器(包含里程表和速度计显示器等)，驾驶舱控件和/或显示器、相机视图显示器(例如交通工具中的后视相机的显示器)、电子照片、电子布告板或记号、投影仪、架构结构、微波、冰箱、立体声系统、盒式磁带记录器或播放器、DVD播放器、CD播放器、VCR、无线电、便携式存储器芯片、洗衣机、烘干机、洗衣机/烘干机、停车计时器以及美观性结构(例如一件珠宝或服装上的图像的显示。因此，所述教示无意仅限于附图中所描绘的实施方案，而是具有对本领域的技术人员来说将是显而易见的广泛适用性。
本文所述的实施方案涉及经配置以感测处于或高于装置的接口的物件的设备，例如触摸式输入裝置。所述设备包含检测器，其经配置以检测物件与装置在检测区域处或检测区域上方的交互，且输出指示所述交互的信号。所述设备可包含处理器，其经配置以从所述信号获得低分辨率图像数据，且从所述低分辨率图像数据获得准确的高分辨率经重构深度图。在一些实施方案中，可识别例如指尖等物件。所述处理器可进一步经配置以从高分辨率深度图和物件识别来辨别用户示意动作的实例。
可实施本发明中描述的标的物的特定实施方案来实现下列潜在优点中的一或多者。在一些实施方案中，用户交互的深度图信息可由电子装置获得，而不将庞大且昂贵的硬件并入到所述装置中。可产生具有高准确性的深度图，从而促进多指尖检测和示意动作辨识。可以低功耗来执行准确的指尖或其它对象检测。在一些实施方案中，所述设备可检测检测区域的任一部分处或上方的指尖或示意动作，包含在替代示意动作辨识技术无法接近的区域中。举例来说，所述设备可在归因于相机的圆锥视图而成为基于相机的示意动作辨识技术的盲区的区域中检测示意动作。另外，本发明中所描述的标的物的实施方案可检测电子装置的表面处以及所述电子装置上方的指尖或示意动作。
图1示出经配置以用于空中和表面示意动作检测的移动电子装置的示意性说明的实例。移动电子装置1包含第一表面2，其包含检测区域3。在图1的实例中，检测区域3是移动电子装置1的交互式显示器。处理器(未图示)可经配置以至少部分地响应于用户输入而控制交互式显示器的输出。可通过示意动作作出所述用户输入中的至少一些，所述手势包含用户的附肢(例如手或手指，或手持式物件的触笔或其类似者)的整个运动。在图1的实例中，示出手7。
移动电子装置1可经配置以用于表面(触摸)和空中(非接触式)示意动作辨识。图1的实例中的区域5(其表示体积)在经配置以辨别示意动作的移动电子装置1的第一表面2上方，在z方向上延伸一距离。区域5包含区域6，其为基于相机的示意动作辨识的盲区。因此，移动电子装置1能够辨识区域6中的示意动作，其中当前基于相机的示意动作辨识系统并不辨别示意动作。可将手或其它物件的形状和深度信息与表达词典进行比较，以辨别示意动作。
本文所揭示的设备和方法可例如具有距(例如，移动电子装置的交互式显示器的)表面至多达约20到40cm或甚至更大的z方向辨识距离或深度，取决于所使用的传感器系统，且取决于正辨识或跟踪的特征。举例来说，对于指尖检测和跟踪(对于基于指尖的示意动作)，至多达约10到15cm或甚至更大的z方向辨识距离或深度是可能的。为了检测和跟踪整个手掌或手，例如对于挥手示意动作，至多达30cm或甚至更大的z方向辨识距离或深度是可能的。如上文参考图1所描述，所述设备和方法可能够辨识所述装置上方从0cm(在表面处)到辨识距离的整个体积中的任何物件。
然而，应注意，所述设备和方法可结合具有任何z方向能力的传感器系统(包含例如PCT系统)使用。另外，实施方案可结合仅表面传感器系统使用。
本文所揭示的设备和方法使用低分辨率图像数据。低分辨率图像数据不限于任何特定传感器数据，但可包含从可操作以输出表示检测到的可见、红外(IR)和/或紫外线(UV)光的特性的信号的光电二极管、光电晶体管、电荷耦合装置(CCD)阵列、互补金属氧化物半导体(CMOS)阵列或其它合适裝置产生的图像数据。另外，在一些实施方案中，可从包含电容感测机制的非光传感器产生低分辨率图像数据。在一些实施方案中，所述传感器系统包含沿检测区域的一或多个边缘具有传感器的平面检测区域。下文相对于图2A到2D以及3描述此类系统的实例。
应注意，可用以重构深度图的低分辨率图像数据不是深度图图像数据。虽然一些深度信息可暗含在所述数据中(例如信号强度可与距表面的距离相关)，但低分辨率图像数据并不包含距离信息本身。由此，本文所揭示的方法不同于其中使用例如双侧滤波等技术来改进深度图数据(例如从单眼图像产生的初始深度图)的各种方法。另外，在一些实施方案中，低分辨率图像数据的分辨率可显著低于双侧滤波技术可使用的分辨率。举例来说，此类技术可使用具有至少100×100的分辨率的图像。虽然可实施本文所揭示的方法和设备来从100×100或更高分辨率图像获得经重构深度图，但在一些实施方案中，本文所述的设备和方法中所使用的低分辨率图像数据可小于50×50或甚至小于30×30。
所获得的图像的分辨率可取决于所述装置的大小和高宽比。举例来说，在一些实施方案中，对于具有约1.8的高宽比的装置，低分辨率图像的分辨率可小于100×100，小于100×55，小于60×33，或小于40×22。
还可以间距(即像素之间的中心到中心距离)来表征分辨率的特征，其中较大间距对应于较小分辨率。举例来说，对于例如具有111mm×51mm的维度的移动电话等装置，3mm的间距对应于37×17的分辨率。可基于待辨识的物件的大小来选择适当的间距。举例来说，对于手指辨识，5mm的间距可为适当的。举例来说，3mm、1mm、0.5mm或更小的间距可适合于触笔的检测。
将理解，可使用具有比上述高的分辨率和小的间距的低分辨率数据来实施本文所揭示的方法和设备。举例来说，具有较大屏幕的裝置可具有200×200或更大的分辨率。对于任何分辨率或间距，可实施本文所揭示的方法和设备来获得较高分辨率经重构深度图。
图2A到2D示出经配置以产生低分辨率图像数据的装置的实例。图2A和2B分别示出根据一实施方案的包含光导35、发光源31和光传感器33的布置30的正视图和透视图。尽管仅沿光导35的一侧或边缘的部分说明，但应理解，所述源可包含沿光导35的边缘安置的发光源阵列31。图2C示出如从平行于图2B的C-C的线观看的光导的横截面的实例，且图2D示出如从平行于图2B的D-D的线观看的光导的横截面的实例。参看图2A和2B，光导35可安置在交互式显示器12的前表面上方且大体上平行于所述前表面。在所说明的实施方案中，光导35的周长大体上与交互式显示器12的周长共同延伸。根据各种实施方案，光导35的周长可与交互式显示器12的周长共同延伸，或大于且完全包封交互式显示器12的周长。发光源31和光传感器33可接近于光导35的周边且在所述周边外部安置。发光源31可与光导35的输入光学耦合，且可经配置以在具有平行于交互式显示器12的前表面的实质性分量的方向上朝光导35发射光。在其它实施方案中，多个发光源31沿光导35的边缘安置，各自循序地在短持续时间内照明光导中的列状或行状区域。光传感器33可与光导35的输出光学耦合，且可经配置以在具有平行于交互式显示器12的前表面的实质性分量的方向上检测从光导35输出的光。
在所说明的实施方案中，提供两个光传感器33；然而，如下文参考图3进一步论述，其它实施方案中可提供更多光传感器。光传感器33可包含感光性元件，例如光电二极管、光晶体管、电荷耦合器(CCD)阵列、互补金属氧化物半导体(CMOS)阵列或可操作以输出表示所检测的可见光、红外(IR)光和/或紫外(UV)光的特性的信号的其它合适的装置。光传感器33可输出表示所检测的光的一或多个特性的信号。举例来说，所述特性可包含强度、方向性、频率、幅度、调幅和/或其它性质。
在所说明的实施方案中，光传感器33安置在光导35的周边处。然而，替代性配置在本发明的预期内。举例来说，光传感器33可远离光导35，在此情况下，光传感器33检测到的光可通过额外光学元件(例如一或多个光纤)从光导35发射。
在一个实施方案中，发光源31可为一或多个发光二极管(LED)，其经配置以主要发射红外光。然而，可使用任何类型的光源。举例来说，发光源31可包含一或多个有机发光装置(“OLED”)激光器(例如，二极管激光器或其它激光源)、热或冷阴极荧光灯、白炽或卤素光源。在所说明的实施方案中，发光源31安置在光导35的周边处。然而，替代性配置在本发明的预期内。举例来说，发光源31可远离光导35，且由发光源31产生的光可通过额外的光学元件(例如，一或多个光纤、反射器等)发射到光导35。在所说明的实施方案中，提供一个发光源31；然而，在其它实施方案中可提供两个或更多个发光源。
图2C示出如从平行于图2B的C-C的线观看的光导35的横截面的实例。为了说明的清楚起见，图2C省略了交互式显示器12。光导35可包含安置在交互式显示器12的前表面上或上方且接近于所述前表面而安置的大体上透明的相对薄的覆层。在一个实施方案中，例如平面光导35可为约0.5mm厚，同时具有在数十或数百平方厘米的大致范围内的平面区域。光导35可包含由例如玻璃或塑料等透明材料构成的薄板，其具有可为大体上平坦、平行的表面的前表面37和后表面39。
透明材料可具有大于1的折射率。举例来说，所述折射率可在约1.4到1.6的范围内。所述透明材料的折射率决定相对于前表面37的法线的临界角'α'，使得以小于'α'的角度与前表面37相交的光线将穿过前表面37，但相对于前表面37具有大于'α'的入射角的光线将经历全内反射(TIR)。
在所说明的实施方案中，光导35包含光转向布置，所述光转向布置在具有正交于前表面37的实质性分量的方向上反射从发光源31接收的所发射光41。更明确地说，所反射的光42的至少实质性部分以与法线的小于临界角'α'的角度与前表面37相交。因此，此类所反射的光42不经历TIR，而是替代地可发射穿过前表面37。将了解，所反射的光42可以广泛多种角度发射穿过前表面37。
在一实施方案中，光导可具有光转向布置，其包含若干反射微结构36。在各种实施方案中，所述微结构36可全部相同或具有不同的形状、大小、结构等。微结构36可重新引导所发射光41，使得所反射的光42的至少实质性部分以与法线的小于临界角'α'的角度与前表面37相交。
图2D示出如从平行于图2B的D-D的线观看的光导的横截面的实例。为了说明的清楚起见，图2D省略了交互式显示器12。如图2D中所说明，在物件50与所反射的光42交互时，可朝光导35引导由所述交互产生的散射光44。如所说明，光导35可包含光转向布置，其包含若干反射微结构66。反射微结构66可与反射微结构36类似地配置，或为相同的物理元件，但这不一定如此。在一些实施方案中，反射微结构66经配置以朝光传感器33反映光，而反射微结构36经配置以反映来自光源31的光，并将反射的光射出到光导之外。如果反射微结构66和反射微结构36具有特定定向，那么应理解，在一些实施方案中，反射微结构66和反射微结构36可大体上彼此垂直。
如图2D中所说明，在物件50与所反射的光42交互时，可朝光导35引导由所述交互产生的散射光44。光导35可经配置以收集散射光44。光导35包含光转向布置，其将光导35所收集的散射光44朝所述光传感器33中的一或多者重新引导。可使所述重新引导的所收集的散射光46在具有平行于交互式显示器12的前表面的实质性分量的方向上转向。更明确地说，重新引导的所收集的散射光46的至少实质性部分仅以与法线的大于临界角'α'的角度与前表面37和后表面39相交且因此经历TIR。因此，此类重新引导的所收集的散射光46不穿过前表面37或后表面39，而是到达光传感器33中的一或多者。光传感器33中的每一者可经配置以检测重新引导的所收集的散射光46的一或多个特性，且向处理器输出表示所述检测到的特性的信号。举例来说，所述特性可包含强度、方向性、频率、幅度、调幅和/或其它性质。
图3示出经配置以产生低分辨率图像数据的装置的另一实例。图3的实例中的装置包含光导35、沿光导35的相对边缘55和57分布的多个光传感器33，以及沿所述光导的与边缘55和57正交的边缘59分布的多个光源31。图3的实例中还描绘发射凹槽51和收集凹槽53。发射凹槽51是光转向特征，例如图2C中所描绘的反射微结构36，其可引导来自光源31的光穿过光导35的前表面。收集凹槽53是光转向特征，例如图2D中所描绘的反射微结构66，其可将来自物件的光引导到光传感器33。在图3的实例中，发射凹槽51隔开，使得随着光源51发射的光衰减，所述凹槽的间距变近，以解决所述衰减。在一些实施方案中，可循序地接通光源31，以循序地提供x坐标信息，其中对应的y坐标信息由每一y坐标处的所述对光传感器33提供。使用可结合本文中提供的揭示内容实施的时间连续测量的设备和方法在2013年10月10日申请且以引用的方式并入本文中的题为“使用时间连续测量的红外线触摸和悬停系统(Infrared Touch And Hover System Using Time-Sequential Measurements)”的第14/051,044号美国专利申请案中描述。在图3的实例中，沿边缘55和57中的每一者存在二十一个光传感器33，且沿边缘59存在十一个光源31，以提供21×11的分辨率。
图4示出说明用于从低分辨率图像数据获得高分辨率经重构深度图的过程的流程图的实例。图4中给出根据一些实施方案的过程的概述，其中下文参考图5和6进一步描述特定实施方案的实例。过程60开始于框62，其中从多个检测器获得低分辨率图像数据。本文所述的设备和方法可用可产生低分辨率图像数据的任何系统来实施。上文参考图2A到2D以及3所描述的裝置是此类系统的实例。2012年5月23日申请的题为“全范围示意动作系统(FullRange Gesture System)”的第13/480,377号美国专利申请案以及2013年10月10日申请的题为“使用时间连续测量的红外线触摸和悬停系统(Infrared Touch And Hover SystemUsing Time-Sequential Measurements)”的第14/051,044号美国专利申请案中提供进一步实例，上述两个专利申请案均以全文引用的方式并入本文中。
在一些实施方案中，低分辨率图像数据可包含识别所述图像内的x-y位置处的图像特性的信息。图7示出在距装置的表面各种距离(0mm、20mm、40mm、60mm、80mm和100mm)处三个手指示意动作的低分辨率图像92的实例。物件深度由色彩表示(在灰度等级图像中视为较暗和较轻色调)。在图7的实例中，低分辨率图像具有21×11的分辨率。
过程60在框64处继续，其中从低分辨率图像数据获得第一经重构深度图。经重构深度图含有与物件的表面距装置的表面的距离有关的信息。框64可从低分辨率图像数据按比例放大和检索显著物件结构，其中第一经重构深度图具有比对应于低分辨率图像数据的低分辨率图像高的分辨率。在一些实施方案中，所述第一经重构深度图具有对应于最终所要分辨率的分辨率。根据各种实施方案，所述第一经重构深度图可具有是低分辨率图像的至少约1.5到至少约6倍的分辨率。举例来说，第一经重构深度图可具有是低分辨率图像的至少约3或4倍的分辨率。框64可涉及获得对应于循序低分辨率图像的一组经重构深度图。
框64可涉及将习得回归模型应用于在框62中获得的低分辨率图像数据。如下文参考图5进一步描述，在一些实施方案中，应用习得线性回归模型。下文也进一步描述的图8提供学习可在框64中应用的线性回归模型的实例。图7示出对应于低分辨率图像92的第一经重构深度图94的实例。从用以产生低分辨率图像92的低分辨率图像数据重构的第一经重构深度图94具有131×61的分辨率。
返回到图4，过程通过从第一经重构深度图获得第二经重构深度图来在框66处继续。所述第二经重构深度图可在所述物件内提供改进的边界和较少的噪声。框66可涉及将经训练的非线性回归模型应用于第一经重构深度图，以获得第二经重构深度图。举例来说，可应用随机森林模型、神经网络模型、深学习模型、支持向量机模型或其它适当的模型。图6提供应用经训练的非线性回归模型的实例，图9提供训练可在框66中应用的非线性回归模型的实例。如在框64中，框66可涉及获得对应于循序低分辨率图像的一组经重构深度图。
在一些实施方案中，可应用相对简单的经训练的非线性回归模型。在一个实例中，神经网络回归的输入层可包含来自第一经重构深度图的5×5区块，使得所述输入层的大小为25。可使用大小为5的隐藏层来输出单个深度图值。
图7示出从第一经重构深度图94重构的在距装置的表面各种距离处的第二经重构深度图96的实例。第一经重构深度图96具有131×61的分辨率，与第一经重构深度图94相同，但具有改进的准确性。这可通过将第一经重构深度图94和第二经重构深度图96与从飞行时间相机产生的地面实况深度地图98进行比较来发现。第一经重构深度图94比第二经重构深度图96不均匀，再观察到的手内的深度值中具有一些不准确的变化。如从所述比较可以看出，第二经重构深度图96比第一经重构深度图94更类似于地面实况深度地图98。过程60可有效地克服低质量图像的不足，而无昂贵、庞大且耗电的硬件来产生准确的经重构深度图。图5示出说明用于从低分辨率图像数据获得第一经重构深度图的过程的流程图的实例。过程70开始于框72，其中获得低分辨率图像作为输入。如上文所述，图7中示出低分辨率图像的实例。过程70可在框74处继续，其中使低分辨率图像74向量化以获得图像向量。所述图像向量包含表示如从所述输入图像的检测器(例如来自光电二极管的电流)接收到的信号的值。在一些实施方案中，可不执行框72和74，例如如果低分辨率图像数据是以向量形式提供。过程70在框76处继续，其中将按比例缩放权矩阵W应用于所述图像向量。按比例缩放权矩阵W表示低分辨率图像与从自下文描述的训练获得的飞行时间相机数据产生的高分辨率深度图之间的习得线性关系。结果是经按比例缩放图像向量。经按比例缩放图像向量可包含从0到1的值，表示灰度等级深度图值。过程70可在框78处通过使经按比例缩放图像向量去向量化以获得第一经重构深度图(R1)而继续。框78可涉及获得对应于循序低分辨率图像的一组第一经重构深度图。如上文所描述，图7中示出第一经重构深度图的实例。
图6示出说明用于从第一经重构深度图获得第二经重构深度图的过程的流程图的实例。如上文所描述，这可涉及将非线性回归模型应用于第一经重构深度图。可如上文所描述获得非线性回归模型。过程80通过提取第一经重构深度图的像素n的特征而开始于框82。在一些实施方案中，非线性回归模型的特征可为多像素区块。举例来说，所述特征可为7×7像素区块。所述多像素区块可以像素n为中心。过程80在框84处继续，其中将经训练的非线性模型应用于像素n，以确定像素n的回归值。过程80在框86处通过在第一经重构深度图的所有像素上执行框82和84而继续。在一些实施方案中，框86可涉及滑动窗或光栅扫描技术，但将理解，还可应用其它技术。在第一经重构深度图的所有像素上逐像素应用框82和84产生相同分辨率的改进深度图，作为第一经重构深度图。过程80在框88处通过从在框84中获得的回归值获得第二经重构深度图而继续。框88可涉及获得对应于循序低分辨率图像的一组第二经重构深度图。如上文所描述，图7中示出第二经重构深度图的实例。
上文参考图4到6所述的过程涉及应用习得或经训练的线性和非线性回归模型。在一些实施方案中，可使用包含物件的若干对深度图和所述物件的对应传感器图像的训练集合来学习和训练所述模型。可通过获得物件在各种示意动作和位置(包含平移位置、旋转定向和深度(距传感器表面的距离)中的低分辨率传感器图像和深度图来获得训练集合数据。举例来说，训练集合数据可包含手的深度图以及手在各种示意动作、平移、旋转和深度中的对应传感器图像。
图8示出说明用于获得线性回归模型的过程的流程图的实例。可在如本文所述的设备的操作中应用所获得的线性回归模型。过程100在框102处通过获得多个物件示意动作和位置的若干对高分辨率深度图(地面实况)和低分辨率图像的训练集合(大小为m)数据而开始。可通过任何适当的方法，例如飞行时间相机、光学建模或其组合来获得深度图。可从装置本身(例如图3的装置其中每一低分辨率图像是值矩阵，此类值例如为指示给定光传感器33处的散射光强度的电流-对应于给定x坐标处的光源循序地闪光时的特定y坐标)、光学建模或其组合获得传感器图像。为了高效地获得大训练集合，可使用光学仿真器。在一个实例中，可从飞行时间相机获得各种手示意动作的第一深度图集合。可通过旋转、平移和改变到第一组深度图的表面的距离(深度值)且使用光学模拟来确定所得深度图，来另外获得数万个深度图。类似地，可使用光学模拟来产生数万个低分辨率传感器图像，其模拟所讨论的系统配置所获得的传感器图像。可使用各种市售光学仿真器，例如Zemax光学设计项目。在产生训练集合数据时，可校准所述系统，使得仅从用以收集数据的相机或其它装置不可接近的任何区域外部收集数据。举例来说，从飞行时间相机获得准确的深度信息在距相机小于15cm的距离处可能较困难或不可能。由此，可将相机定位在距表示为装置表面的平面大于15cm的距离处，以获得各种手示意动作的准确深度图。
过程100在框104处通过使训练集合数据向量化以获得低分辨率矩阵C和高分辨率矩阵D而继续。矩阵C包含m个向量，每一向量为训练低分辨率图像中的一者的向量化，其可包含将信号表示为从训练集合数据中的所有低分辨率图像(或子集)的传感器系统接收或模拟的值。矩阵D也包含m个向量，每一向量为训练高分辨率图像中的一者的向量化，其可包含训练集合数据中的所有高分辨率深度图图像(或子集)的0到1灰度等级深度图值。过程100在框106处通过执行线性回归以确定学习按比例缩放权矩阵W而继续，其中D＝W×C。W表示如上文相对于图4和5所描述可在设备的操作期间应用的低分辨率图像与高分辨率深度图之间的线性关系。
图9示出说明用于获得非线性回归模型的过程的流程图的实例。可在如本文所述的设备的操作中应用所获得的非线性回归。过程110通过从训练集合数据获得第一经重构深度图而开始于框112。可如上文相对于图8的框102所描述获得训练集合数据。在一些实施方案中，框112包含从R1＝W×C获得第一经重构深度图矩阵R1，其中如上文相对于图8的框106和108所论述而确定矩阵C和矩阵W。接着可使R1矩阵去向量化，以获得对应于m个低分辨率图像的m个第一经重构深度图(R11到m)。在一些实施方案中，第一经重构深度图具有高于低分辨率图像的分辨率。因此，按比例放大低分辨率传感器图像的整个数据集。
过程110在框114处通过从第一经重构深度图提取特征而继续。在一些实施方案中，多个多像素区块是从第一经重构深度图中的每一者随机选择的。图10示出经重构深度图120和多个像素区块122的示意性说明的实例。每一像素区块122由白框表示。根据各种实施方案，可或可不允许所述区块重叠。如从训练集合数据深度图确定，可用对应于所述区块的中心位置的像素的地面实况深度地图值来标记所述特征。图10示出训练集合深度图124的中心点126的示意性说明的实例。训练集合深度图124是经重构深度图120的地面实况图像，其中中心点126对应于多像素区块122。
如果使用，可使多像素区块向量化，以形成多维特征向量。举例来说，7×7区块形成49尺寸特征向量。接着可串接来自给定R1i矩阵的所有区块特征向量以执行训练。这可对所有m个第一经重构深度图(R11到m)执行。
返回到图9，所述过程在框116处通过执行机器学习以学习非线性回归模型来确定经重构深度图特征与地面实况标签之间的相关而继续。根据各种实施方案，可使用随机森林建模、神经网络建模或其它非线性回归技术。在一些实施方案中，例如用求最大值信息增益的准则来建构随机决策树。模型在其上训练的特征的数目取决于从每一第一经重构深度图提取的区块的数目以及第一经重构深度图的数目。举例来说，如果训练集合包含20,000个低分辨率图像，对应于20,000个第一经重构深度图，且从每一第一经重构深度图随机提取200个多像素区块，那么可在4百万(20,000乘以200)个特征上训练所述模型。一旦习得所述模型，就可应用所述模型，如上文参考图4和6所论述。
本文所述的标的物的另一方面是经配置以识别指尖位置的设备。所述位置信息可包含平移(x,y)和深度(z)信息。图11示出说明用于从低分辨率图像数据获得指尖位置信息的过程的流程图的实例。过程130开始于框132，其中从低分辨率图像数据获得经重构深度图。上文参考图4到10描述获得可在框132中使用的经重构深度图的方法。举例来说，在一些实施方案中，在图4的框66中获得的第二经重构深度图可在框132中使用。在一些其它实施方案中，如果例如不执行框66，那么可使用在框64中获得的第一经重构深度图。
过程130在框134处通过任选地对经重构深度图执行分段以识别手掌区域从而减小搜索空间而继续。过程在框136处通过应用经训练的非线性分类模型以将搜索空间中的像素分类为指尖或非指尖而继续。可使用的分类模型的实例包含随机森林和神经网络分类模型。在一些实施方案中，分类模型的特征可为如上文相对于图10所描述的多像素区块。下文参考图13描述获得可在框136中应用的经训练的非线性分类模型。
在一个实例中，神经网络分类的输入层可包含来自第二经重构深度图的15×15区块，使得输入层的大小为225。可使用大小为5的隐藏层，其中输出层具有两个输出：指尖或非指尖。
过程130在框138处通过定义识别为分类为指尖的像素的边界而继续。可执行任何适当的技术来适当地定义所述边界。在一些实施方案中，例如，执行二进制大对象分析，以确定分类为指尖的像素的二进制大对象的图心，并绘制限界框。过程130在框140处通过识别所述指尖而继续。在一些实施方案中，例如，可如上文所描述分析一连串帧，跨帧匹配相似性。
可通过图11中的过程获得的信息包含指尖位置，包含x、y和z坐标，以及所述指尖的大小和身份。
图12示出来自指尖检测的不同级的图像的实例。图像160是可使用本文所揭示的传感器系统产生的手势的低分辨率图像的实例。图像161和162分别示出低分辨率传感器图像160的第一和第二经重构深度图，如上文所描述使用经训练的随机森林回归模型获得。图像166示出如上文所描述使用经训练的随机森林分类模型获得的分类为指尖的像素。图像168示出如示出有边界框的检测到的指尖。
图13示出说明用于获得非线性分类模型的过程的流程图的实例。可在如本文所述的设备的操作中应用所获得的非线性分类模型。过程150通过从训练集合数据获得经重构深度图而开始于框152。可如上文相对于图8的框102所描述而获得训练集合数据，且所述训练集合数据可包含如从飞行时间相机取得的各种示意动作和位置处的手的深度图。适当地标记每一深度图的指尖。为了高效地产生训练集合，可用包含指尖标记的深度图信息来标记一组示意动作的深度图的指尖。接着可从示意动作的不同平移和旋转的仿真器获得包含指尖标记的进一步的深度图。
在一些实施方案中，框152包含通过将习得非线性回归模型应用于如相对于图8所描述从训练集合数据获得的第一经重构深度图而获得第二经重构深度图。可如相对于图9所描述获得习得非线性回归模型。
过程150在框154处通过从经重构深度图提取特征而继续。在一些实施方案中，对于肯定实例，在指尖位置处提取多个多像素区块，且对于否定实例，在排除所述指尖位置的随机位置提取多个多像素区块。基于对应的地面实况深度地图，将所述特征适当地标记为指尖/非指尖。过程150在框156处通过执行机器学习以学习非线性分类模型而继续。
图14示出根据一个实施方案的具有交互式显示器的电子装置的框图的实例。可例如为个人电子装置(PED)的设备200可包含交互式显示器202和处理器204。交互式显示器202可为触摸屏显示器，但这不一定如此。处理器204可经配置以至少部分地响应于用户输入而控制交互式显示器202的输出。可通过示意动作作出所述用户输入中的至少一些，所述示意动作包含用户的附肢(例如手或手指，或手持式物件或其类似者)的整个运动。所述示意动作可相对于交互式显示器202位于大范围的距离处。举例来说，可接近于交互式显示器202或甚至与交互式显示器202直接物理接触来作出示意动作。或者，可在距交互式显示器202至多达约500mm的相当大的距离处作出示意动作。
布置230(上文描述和说明其实例)可安置在交互式显示器202的前表面上且大体上平行于所述前表面而安置。在一实施方案中，布置230可大体上是透明的。布置230可响应于用户示意动作而输出一或多个信号。布置230经由信号路径211输出的信号可由处理器204本文所述分析，以获得经重构深度图，识别指尖位置，且辨别用户示意动作的实例。在一些实施方案中，处理器204接着可响应于用户示意动作，借助于经由信号路径213发送到交互式显示器202的信号而控制交互式显示器202。
结合本文中揭示的实施方案而描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可实施为电子硬体、计算机软件或两者的组合。硬件与软件的互换性已大体在功能性方面加以描述，且在上文所描述的各种说明性组件、块、模块、电路和过程中加以说明。此类功能性是以硬件来实施还是以软件来实施取决于特定应用以及强加于整个系统的设计约束。
结合本文中所揭示的方面描述的用以实施各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理设备可通过以下各者来实现或执行：通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或经设计以执行本文中所描述的功能的任何组合。通用处理器可为微处理器或任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。在一些实施方案中，特定过程和方法可由特定针对给定功能的电路执行。
在一或多个方面中，可以硬件、数字电子电路、计算机软件、固件(包含本说明书中所揭示的结构及其结构等效物)或以其任何组合来实施所描述功能。本说明书中描述的标的物的实施方案也可实施为在计算机存储媒体上编码用于由数据处理设备执行或控制数据处理设备的操作的一或多个计算机程序，即，计算机程序指令的一或多个模块。
如果实施于软件中，那么所述功能可作为一或多个指令或编码而存储在计算机可读媒体(例如，非暂时性媒体)上或经由所述计算机可读媒体(例如，非暂时性媒体)传输。本文中所揭示的方法或算法的过程可在可驻留于计算机可读媒体上的处理器可执行软件模块中实施。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含可经启用以将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可通过计算机存取的任何可用媒体。作为实例而非限制，非暂时性媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构形式存储所要程序代码且可由计算机存取的任何其它媒体。并且，可将任何连接适当地称为计算机可读媒体。如本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码和指令中的任一者或任何组合或集合驻留在可并入到计算机程序产品中的机器可读媒体和计算机可读媒体上。
对于所属领域的技术人员来说，对本发明中所描述的实施方案的各种修改可以是显而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可适用于其它实施方案。因此，所附权力要求书无意限于本文中所示的实施方案，而是将被赋予与本发明、本文中所揭示的原理和新颖特征相一致的最广泛范围。另外，所属领域的技术人员将易于了解，有时为了易于描述各图而使用术语“上部”和“下部”，且所述术语指示对应于在经适当定向的页面上的图的定向的相对位置，且可能并不反映如所实施的任何装置的适当定向。
在本说明书中在单独实施方案的上下文中描述的某些特征也可在单个实施方案中组合地实施。相反地，在单个实施方案的情况下描述的各种特征还可分别在多个实施方案中实施或以任何合适的子组合来实施。此外，尽管上文可将特征描述为以某些组合起作用或甚至最初如此主张，但在一些情况下，可将来自所主张的组合的一个或多个特征从组合中删除，并且所主张的组合可针对子组合或子组合的变化。
类似地，虽然在图式中按特定次序描绘操作，但此情形不应被理解为要求按所展示的特定次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所要结果。另外，图式可以流程图形式示意性地描绘一个以上实例过程。然而，可将未描绘的其它操作并入于经示意性说明的实例过程中。举例来说，可在所说明的操作中的任一者之前、之后、同时地或之间执行一或多个另外操作。在某些情况下，多任务处理和并行处理可为有利的。此外，上文所描述的实施方案中的各种系统组件的分开不应被理解为在所有实施方案中要求此分开，且应理解，所描述的程序组件和系统一般可一起集成在单个软件产品中或包装到多个软件产品中。另外，其它实施方案是在所附权利要求书的范围内。在一些情况下，权利要求书中所叙述的动作可以不同次序来执行且仍实现合乎需要的结果。

Claims (29)

1.一种设备，其包括：
用于具有包含检测区域的前表面的电子装置的用户的接口；
多个检测器，其经配置以检测物件与所述装置在所述检测区域处或所述检测区域上方的交互，且输出指示所述交互的信号，其中可从所述信号产生图像；以及
处理器，其经配置以：
从所述信号获得图像数据；
将线性回归模型应用于所述图像数据以获得第一经重构深度图，其中所述第一经重构深度图具有比所述图像高的分辨率；以及
将经训练的非线性回归模型应用于所述第一经重构深度图，以获得第二经重构深度图。
2.根据权利要求1所述的设备，其进一步包括一或多个发光源，其经配置以发射光，其中所述多个检测器是光检测器，且所述信号指示所述物件与从所述一或多个发光源发射的光的交互。
3.根据权利要求1所述的设备，其进一步包括：
平面光导，其大体上平行于所述接口的所述前表面安置，所述平面光导包含：
第一光转向布置，其经配置以通过反射从一或多个发光源接收到的所发射的光，在具有与所述前表面正交的实质性分量的方向上输出反射的光；以及
第二光转向布置，其将因所述交互产生的光朝所述多个检测器重新引导。
4.根据权利要求1所述的设备，其中所述第二经重构深度图具有是所述图像的所述分辨率的至少三倍的分辨率。
5.根据权利要求1所述的设备，其中所述第二经重构深度图具有与所述第一经重构深度图相同的分辨率。
6.根据权利要求1所述的设备，其中所述处理器经配置以从所述第二经重构深度图辨别用户示意动作的实例。
7.根据权利要求6所述的设备，其中所述接口是交互式显示器，且其中所述处理器经配置以响应于所述用户示意动作控制所述交互式显示器和所述电子装置中的一者或两者。
8.根据权利要求1所述的设备，其中所述设备并不具有飞行时间深度相机。
9.根据权利要求1所述的设备，其中获得图像数据包括所述图像的向量化。
10.根据权利要求1所述的设备，其中获得第一经重构深度图包含将习得权矩阵应用于经向量化的图像数据，以获得第一经重构深度图矩阵。
11.根据权利要求1所述的设备，其中将非线性回归模型应用于所述第一经重构深度图包含为所述第一经重构深度图的每一像素提取多像素区块特征，以为每一像素确定深度图值。
12.根据权利要求1所述的设备，其中所述物件是手。
13.根据权利要求12所述的设备，其中所述处理器经配置以将经训练的分类模型应用于所述第二经重构深度图，以确定所述手的指尖的位置。
14.根据权利要求13所述的设备，其中所述位置包含平移和深度位置信息。
15.根据权利要求1所述的设备，其中所述物件是触笔。
16.一种设备，其包括：
接口，其用于具有包含检测区域的前表面的电子装置的用户；
多个检测器，其经配置以接收指示物件与所述装置在所述检测区域处或所述检测区域上方的交互的信号，其中可从所述信号产生图像；以及
处理器，其经配置以：
从所述信号获得图像数据；
从所述图像数据获得第一经重构深度图，其中所述第一经重构深度图具有比所述图像高的分辨率；以及
将经训练的非线性回归模型应用于所述第一经重构深度图，以获得第二经重构深度图。
17.根据权利要求16所述的设备，其进一步包括一或多个发光源，其经配置以发射光，其中所述多个检测器是光检测器，且所述信号指示所述物件与从所述一或多个发光源发射的光的交互。
18.根据权利要求16所述的设备，其进一步包括：
平面光导，其大体上平行于所述接口的所述前表面安置，所述平面光导包含：
第一光转向布置，其经配置以通过反射从一或多个发光源接收到的所发射的光，在具有与所述前表面正交的实质性分量的方向上输出反射的光；以及
第二光转向布置，其将因所述交互产生的光朝所述多个检测器重新引导。
19.一种方法，其包括：
从沿装置的检测区域的外围布置的多个检测器获得图像数据，所述图像数据指示物件与所述装置在所述检测区域处或所述检测区域上方的交互；
从所述图像数据获得第一经重构深度图，其中所述第一经重构深度图具有比所述图像高的分辨率；以及
从所述第一经重构深度图获得第二经重构深度图。
20.根据权利要求19所述的方法，其中获得所述第一经重构深度图包含将习得权矩阵应用于经向量化的图像数据。
21.根据权利要求20所述的方法，其进一步包括学习所述权矩阵。
22.根据权利要求21所述的方法，其中学习所述权矩阵包含获得多个物件示意动作和位置的若干对深度图和图像的训练集合数据，其中所述深度图的所述分辨率高于所述图像的所述分辨率。
23.根据权利要求19所述的方法，其中获得第二经重构深度图包含将非线性回归模型应用于所述第一经重构深度图。
24.根据权利要求23所述的方法，其中将非线性回归模型应用于所述第一经重构深度图包含为所述第一经重构深度图的每一像素提取多像素区块特征，以为每一像素确定深度图值。
25.根据权利要求24所述的方法，其进一步包括学习所述非线性回归模型。
26.根据权利要求19所述的方法，其中所述第二经重构深度图具有是所述图像的所述分辨率的至少三倍的分辨率。
27.根据权利要求19所述的方法，其中所述物件是手。
28.根据权利要求27所述的方法，其进一步包括将经训练的分类模型应用于所述第二经重构深度图，以确定所述手的指尖的位置。
29.根据权利要求28所述的方法，其中所述位置包含平移和深度位置信息。
CN201580020723.0A 2014-04-28 2015-04-01 移动平台中的空中和表面多点触摸检测 Pending CN106255944A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461985423P 2014-04-28 2014-04-28
US61/985,423 2014-04-28
US14/546,303 US20150309663A1 (en) 2014-04-28 2014-11-18 Flexible air and surface multi-touch detection in mobile platform
US14/546,303 2014-11-18
PCT/US2015/023920 WO2015167742A1 (en) 2014-04-28 2015-04-01 Air and surface multi-touch detection in mobile platform

Publications (1)

Publication Number Publication Date
CN106255944A true CN106255944A (zh) 2016-12-21

Family

ID=54334777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020723.0A Pending CN106255944A (zh) 2014-04-28 2015-04-01 移动平台中的空中和表面多点触摸检测

Country Status (7)

Country Link
US (1) US20150309663A1 (zh)
EP (1) EP3137979A1 (zh)
JP (1) JP2017518566A (zh)
KR (1) KR20160146716A (zh)
CN (1) CN106255944A (zh)
BR (1) BR112016025033A2 (zh)
WO (1) WO2015167742A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
WO2020015541A1 (zh) * 2018-07-16 2020-01-23 深圳市光鉴科技有限公司 光投射方法和装置
CN112912828A (zh) * 2018-10-26 2021-06-04 思睿逻辑国际半导体有限公司 力感测系统与方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729096A (zh) * 2013-12-25 2014-04-16 京东方科技集团股份有限公司 交互识别系统以及显示装置
US11263432B2 (en) * 2015-02-06 2022-03-01 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9424458B1 (en) * 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP6603325B2 (ja) * 2015-10-14 2019-11-06 マクセル株式会社 入力端末装置
US10185400B2 (en) * 2016-01-11 2019-01-22 Antimatter Research, Inc. Gesture control device with fingertip identification
US10096158B2 (en) * 2016-03-24 2018-10-09 Ford Global Technologies, Llc Method and system for virtual sensor data generation with depth ground truth annotation
US10139961B2 (en) * 2016-08-18 2018-11-27 Microsoft Technology Licensing, Llc Touch detection using feature-vector dictionary
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10444908B2 (en) * 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) * 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10664953B1 (en) * 2018-01-23 2020-05-26 Facebook Technologies, Llc Systems and methods for generating defocus blur effects
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN113791699A (zh) * 2021-09-17 2021-12-14 联想(北京)有限公司 一种电子设备操纵方法以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245696A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays
CN201654675U (zh) * 2009-11-10 2010-11-24 北京思比科微电子技术有限公司 基于深度检测的身体识别控制装置
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
US20130314312A1 (en) * 2012-05-24 2013-11-28 Qualcomm Mems Technologies, Inc. Full range gesture system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
KR20030062313A (ko) * 2000-08-09 2003-07-23 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 영상 변환 및 부호화 기술
US8013845B2 (en) * 2005-12-30 2011-09-06 Flatfrog Laboratories Ab Optical touch pad with multilayer waveguide
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8248410B2 (en) * 2008-12-09 2012-08-21 Seiko Epson Corporation Synthesizing detailed depth maps from images
US8730212B2 (en) * 2009-08-21 2014-05-20 Microsoft Corporation Illuminator for touch- and object-sensitive display
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9535537B2 (en) * 2010-11-18 2017-01-03 Microsoft Technology Licensing, Llc Hover detection in an interactive display device
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
FR2978855B1 (fr) * 2011-08-04 2013-09-27 Commissariat Energie Atomique Procede et dispositif de calcul d'une carte de profondeur a partir d'une unique image
US9019240B2 (en) * 2011-09-29 2015-04-28 Qualcomm Mems Technologies, Inc. Optical touch device with pixilated light-turning features
US8660306B2 (en) * 2012-03-20 2014-02-25 Microsoft Corporation Estimated pose correction
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140085245A1 (en) * 2012-09-21 2014-03-27 Amazon Technologies, Inc. Display integrated camera array
RU2012145349A (ru) * 2012-10-24 2014-05-10 ЭлЭсАй Корпорейшн Способ и устройство обработки изображений для устранения артефактов глубины
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245696A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays
CN201654675U (zh) * 2009-11-10 2010-11-24 北京思比科微电子技术有限公司 基于深度检测的身体识别控制装置
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
US20130314312A1 (en) * 2012-05-24 2013-11-28 Qualcomm Mems Technologies, Inc. Full range gesture system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
CN108268134B (zh) * 2017-12-30 2021-06-15 广州正峰电子科技有限公司 拿放商品的手势识别装置及方法
WO2020015541A1 (zh) * 2018-07-16 2020-01-23 深圳市光鉴科技有限公司 光投射方法和装置
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN109360197B (zh) * 2018-09-30 2021-07-09 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN112912828A (zh) * 2018-10-26 2021-06-04 思睿逻辑国际半导体有限公司 力感测系统与方法

Also Published As

Publication number Publication date
EP3137979A1 (en) 2017-03-08
KR20160146716A (ko) 2016-12-21
WO2015167742A1 (en) 2015-11-05
JP2017518566A (ja) 2017-07-06
US20150309663A1 (en) 2015-10-29
BR112016025033A2 (pt) 2017-08-15

Similar Documents

Publication Publication Date Title
CN106255944A (zh) 移动平台中的空中和表面多点触摸检测
US10001845B2 (en) 3D silhouette sensing system
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US10936080B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US9245193B2 (en) Dynamic selection of surfaces in real world for projection of information thereon
EP2898399B1 (en) Display integrated camera array
US20110199338A1 (en) Touch screen apparatus and method for inputting user information on a screen through context awareness
CN103946863A (zh) 基于动态姿态的短距离人机交互
US20150309662A1 (en) Pressure, rotation and stylus functionality for interactive display screens
US8499239B2 (en) Globe container
CN108351712A (zh) 装置及卡型装置
CN107621893A (zh) 在非电子表面上使用电子输入设备的内容创建
CN105814524A (zh) 光学传感器系统中的对象检测
CN106445372A (zh) 电子白板及其控制方法
Chen et al. Vision-based finger detection, tracking, and event identification techniques for multi-touch sensing and display systems
Abbas et al. Augmented reality-based real-time accurate artifact management system for museums
CN104732570B (zh) 一种图像生成方法及装置
CN107077196A (zh) 识别触敏表面上的对象
CN106662936A (zh) 显示器上的位置输入
Diaz et al. Multimodal sensing interface for haptic interaction
Lin et al. Interactive image tools for autonomous spelling robot
TW202401227A (zh) 使用觸控輸入資料來改善指紋感測器效能
CN104915065A (zh) 物件检测方法以及用于光学触控系统的校正装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161221

WD01 Invention patent application deemed withdrawn after publication