CN105814524B - 光学传感器系统中的对象检测 - Google Patents

光学传感器系统中的对象检测 Download PDF

Info

Publication number
CN105814524B
CN105814524B CN201480067822.XA CN201480067822A CN105814524B CN 105814524 B CN105814524 B CN 105814524B CN 201480067822 A CN201480067822 A CN 201480067822A CN 105814524 B CN105814524 B CN 105814524B
Authority
CN
China
Prior art keywords
optical sensor
classifier
input
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067822.XA
Other languages
English (en)
Other versions
CN105814524A (zh
Inventor
L·王
S·B·康
J·D·J·肖顿
M·西迪克
V·普拉迪普
S·N·巴思彻
L·E·卡布拉-克东
P·萨拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105814524A publication Critical patent/CN105814524A/zh
Application granted granted Critical
Publication of CN105814524B publication Critical patent/CN105814524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

描述了供结合光学传感器使用的对象检测技术。在一个或多个实现中，多个输入被接收，这些输入中的每一者接收自多个光学传感器中的相应光学传感器。使用机器学习根据输入是否指示对象由相应的光学传感器检测到来对多个输入中的每一者进行分类。

Description

光学传感器系统中的对象检测
技术领域
本申请涉及光学传感器系统，尤其涉及光学传感器系统中的对象检测。
背景技术
计算设备可被配置成包括用于检测对象的邻近度以发起一个或多个动作的触摸功能。例如，触摸功能可被利用来检测用户的手的手指或其他对象到显示设备的邻近度作为识别姿势以发起计算设备的一个或多个功能一部分。
各种不同类型的传感器可被利用来检测该邻近度，其一个示例包括对光学传感器的使用。光学传感器的效力通常取决于操作这些光学传感器的环境照明条件。因此，光学传感器在这样的环境中的常规使用可失败，由此在整体上削弱了用户的体验以及计算设备的可用性，尤其是在其中触摸功能被配置成供与计算设备联用的主要输入技术的情况下。
发明内容
描述了供结合光学传感器使用的对象检测技术。在一个或多个实现中，多个输入被接收，这些输入中的每一者接收自多个光学传感器中的相应光学传感器。使用机器学习根据输入是否指示对象由相应的光学传感器检测到来对多个输入中的每一者进行分类。
在一个或多个实现中，系统包括多个光学传感器和至少部分地用硬件实现的一个或多个模块。此一个或多个模块被配置成实现第一分类器、第二分类器和对象候选模块。第一分类器被配置成生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第一概率图。该概率图是通过将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入来生成的。第二分类器被配置成至少部分地基于具有包括红外光和环境光两者的图像的输入来生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第二概率图。对象候选模块被配置成使用第一和第二概率图来确定对象是否已被检测到。
在一个或多个实现中，一种或多种计算机可读存储介质包括存储于其上的响应于计算设备的执行而使得所述计算设备执行操作的指令。操作包括生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第一概率图，该概率图通过将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入来生成。操作还包括至少部分地基于具有包括红外光和环境光两者的图像的输入来生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第二概率图。操作还包括使用第一和第二概率图确定对象是否已被检测到。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1是一示例实现中的可用于采用对象检测技术以供在光学传感器系统中使用的环境的图示。
图2解说示出使用图1的光学传感器捕捉到的图像的示例。
图3解说示出使用图1的光学传感器捕捉到并使用基于局部极值的方法处理的图像的示例。
图4更详细地解说了示出图1的光学传感器系统的示例系统。
图5描绘触摸概率图的示例。
图6描绘级联滤波方法的示例。
图7是描绘示例实现中的过程的流程图，其中经由光学传感器检测到的输入被使用机器学习来分类。
图8是描绘示例实现中的过程的流程图，其中分类器被利用来生成可用于确定对象是否是使用多个触摸传感器检测到的概率图。
图9示出了可被实现为如参考图1-8来描述的任何类型的便携式和/或计算机设备来实现此处描述的对象检测技术的各实施例的示例设备的各个组件。
具体实施方式
概览
光学传感器用于对象检测的常规使用的准确性通常取决于光学传感器被放置在的环境的照明条件。例如，环境照明条件可对设备的将一个对象(例如，用户的手的指尖)与设备的周围环境区分开的能力具有影响。
描述了针对光学传感器系统的对象检测技术。光学传感器可按检测对象的邻近度的各种方式来配置，如作为显示设备的一部分合并在像素传感器设计中。通过传感器收集的图像可随后被处理以检测对象是否邻近传感器中的相应传感器。各种不同的技术可以被用于执行这种处理。例如，机器学习技术可被利用来为多个传感器中的每一者回答“对象是否被检测到”的问题，其可被表达为概率图。在另一示例中，多个分类器可被利用来执行该处理。例如，第一分类器可处理包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像以生成概率图。第二分类器可单独处理包括红外光和环境光两者的图像以生成另一概率图。这些图可随后被利用来检测对象是否被检测到的可能性以及那个对象在何处被检测到。这一对象检测可随后被利用来支持各种不同的功能，诸如识别姿势、标识特定对象等等。这些和其它技术的进一步讨论可以参考以下各章节中找到。
在以下讨论中，首先描述可用于采用此处描述的对象检测技术的示例环境。随后描述本发明技术和过程的示例图示，该技术和过程可在该示例环境中以及在其他环境中采用。因此，该示例环境并不限于执行该示例技术和过程。同样，该示例技术和过程并不限于在该示例环境中的实现。
示例环境
图1是一示例实现中的可用于采用对象检测技术以供在光学传感器系统中使用的环境100的图示。所示的环境100包括可通过各种方式来配置的计算设备102的示例。例如，计算设备102可被配置成传统的计算机(例如，台式个人计算机等)、移动通信设备(例如，如示出的平板、移动电话、便携式游戏设备、便携式音乐设备、或其他被配置成被用户的一个或多个手持有的移动配置)、娱乐装置、通信地耦合到电视机的机顶盒、无线电话、上网本、游戏控制台以及如关于图9中进一步描述的那些。这样，计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，常规机顶盒、手持式游戏控制台)。计算设备102还可关于致使计算设备102执行一个或多个操作的软件以及涉及设备的组合，例如，姿势捕捉设备与游戏控制台、机顶盒与遥控器等。
计算设备102被示为包括输入/输出模块104。输入/输出模块104表示与计算设备102的输入有关的功能。例如，输入/输出模块104可被配置成从键盘、鼠标接收输入以标识姿势并且使得对应于姿势的操作得以执行，等等。输入可由输入/输出模块104以各种不同的方式来标识。
例如，输入/输出模块104可被配置成识别经由显示设备106的触摸屏功能接收的输入以检测如邻近显示设备106的对象，诸如如邻近计算设备102的显示设备106的用户的手108的手指、指示笔等。该输入可以有各种不同的形式，诸如来识别用户的手108的手指在显示设备106上的移动，诸如，轻击、绘制线等。
在各实现中，这些输入可被姿势模块110识别为姿势。各种不同类型的姿势可由姿势模块110识别，诸如从单类输入识别的姿势(例如，触摸姿势)以及涉及多类输入的姿势。例如，计算设备102可被配置成基于哪个对象被使用来执行姿势(例如，以上描述的指示笔或手指)来检测输入并在输入之间进行区分。附加地，虽然描述了触摸输入，但是将对象识别为接近显示设备106可在不接触显示设备106的情况下(例如，如“悬停”)作出。
附加地，尽管以下讨论可描述输入的具体示例，但在各实例中，输入的类型可被切换(例如，触摸可被用于替换指示笔，悬停可被用于代替物理接触)而不背离其精神和范围。此外，尽管在以下讨论中的实例中姿势被示为使用触摸屏功能来输入，但姿势可由各种不同的设备使用各种不同的技术来输入以检测对象的接近度。
一个这样的可被利用来检测对象的邻近度的示例被显示为光学传感器系统112。光学传感器系统112包括传感器处理模块114，该传感器处理模块114代表用于针对光学传感器116中的每一个作出关于对象是否被置于邻近传感器的判定的功能。
例如，光学传感器116可作为内嵌有对应像素的传感器阵列被配置为显示设备106的一部分以将对象接近度检测为像素内传感器(SIP)面板。例如，光学传感器116可被配置成被配置成检测红外(IR)光的红外传感器以支持与计算设备102交互的光学模式。在这种IR配置中的光学传感器116被内嵌在显示设备106中来捕捉显示设备106周围环境的IR图像以及甚至将计算设备102作为整体来捕捉，尤其在对象接触显示设备时(例如，用户触摸屏幕)。
由光学传感器116进行的光学检测以及由传感器处理模块114进行的后续处理允许光学传感器系统112将对象位置和运动映射到可被姿势模块110识别为姿势的和/或支持其他交互(诸如对象标识等)的动作。
在示出的示例中，传感器处理模块114被示出为包括第一和第二分类器模块118、120以及对象候选模块122。第一和第二分类器模块118、120表示用于分类相应的光学传感器116是否检测到如邻近传感器的对象(例如，用户的手108的手指)的可能性的功能。这可按各种方式执行，诸如以处理由光学传感器116捕捉到的图像以生成概率图，如以下所描述的。概率图可随后由对象候选模块122处理以使用该概率图来确定对象是否已被检测到。结合图4更详细地描述了采用第一和第二分类器模块118、120和对象候选模块122的系统400的示例。
传统触摸检测方法假设红外(IR)光被手指反射回并在传感器所捕捉的SIP图像上形成相对较亮的斑点，其中背景(非手指区域)相对较暗。因此，这些传统方法基于传感器所捕捉的强度景观中的局部极值。然而，在实践中，IR图强烈依赖于环境中的环境光照明条件。如图2的示例200所示，背景可以是亮的，并且可存在由手所投的阴影。
存在可从光学传感器116中直接读出的不同类型的图像。例如，第一类型可涉及具有IR光和环境光两者的图像。第二类型是仅包括环境光的图像。这两种类型的图像在下面分别使用“Field_0”和“Field_1”来表示。
理论上，可执行Field_0减去Field_1以生成IR分量，在本讨论的其余部分中该IR分量可被表示为Field_IR。该Field_IR图像(在理论上)预期是环境照明条件不变的。然而，该环境抵销技术存在实际问题。首先，Field_0和Field_1是在同时取得的。因此，在对象移动时，在Field_IR中对象边界附近的像素可以是亮的，这使得基于常规局部极值的方法失败，如图3中所示的示例300所示。
第二，测得的Field_0和Field_1图像在空间和时间两者上都可以是嘈杂的。这样的噪音是取决于内容的，并因此可能难以通过传统的滤波方法来移除。此外，像素强度值相对于传感器积分时间而言不是线性的，并且因此环境抵销并不简单。因此，运动伪像、传感器噪声和光学传感器的非线性响应使得对Field_IR的斑点检测不可靠，并导致低劣的检测准确性，这也在图3的示例300中示出。
因此，光学传感器系统112可被配置成采用机器学习分类技术来稳健地检测对象位置，其来自在各种各样的照明条件下从光学传感器116中实时接收到的输入。机器学习分类器可被利用来回答每一传感器(例如，每一像素传感器)问题“该光学传感器正在检测邻近该传感器的对象吗？”可利用各种不同的技术，诸如随机化决策森林(RDF)分类器或其他类型的机器学习分类器。在下面，描述了包括以下的技术：在检测对象时使用机器学习分类器来分类像素，使用在来自光学传感器116的不同信号上训练的多个分类器来增加检测准确性，使用多个类型的分类分割函数来增加检测准确性，以及使用分割函数。虽然在以下作为示例描述了触摸输入，但应当容易明白，也可在不涉及对象(例如，用户的手108的手指)和与显示设备106或光学传感器116相关联的表面之间的实际物理接触的情况下检测这些输入。
为了由光学传感器116在某范围的照明条件下高效并稳健地检测对象位置，机器学习辨别式分类在以下被利用来回答如以上描述的每一光学传感器问题，也就是：“该光学传感器正在检测邻近该传感器的对象吗？”
在给定类集合“C＝{c1,c2,…,ck}”的情况下，辨别式分类器可由被配置成以下算法的传感器处理模块114采用：对于给定输入“X”，该算法返回以输入“X”为条件的该类集合“C”的离散概率分布。在涉及以上问题的难题的情况下，以下讨论的相关类集合是“触摸”和“无触摸”，并且到使用的分类器的输入是像素位置周围的传感器图像块。分类器针对每一光学传感器116输入检查例如由该光学传感器116捕捉到的传感器图像中的每一像素，并为每一光学传感器116返回其被指尖触摸(例如，与指尖接触)的概率。
例如，RDF分类器可由于其效率和分类性能而被传感器处理模块114利用。RDF分类器可被配置成利用随机化决策树(RDT)集合。该RDF针对给定输入“X”的输出可通过利用其RDT中的每一者针对输入“X”的输出来计算。
RDT是二进制决策树，其中每一内部(即，非叶)节点具有相关联的“分割(split)”二进制函数，该“分割”二进制函数在被应用于输入时，返回该输入将被路由到该节点的“右”孩子还是“左”孩子的判定。RDT中的每一叶节点与该类集合“C”上的离散概率分布相关联。
RDT中针对给定输入“X”的分类过程始于在树的根节点中通过应用根的关联分割函数来处理“X”。对输入的处理在与分割函数的结果相对应的子节点上递归地继续。当该过程到达叶节点时，与这样的叶节点相关联的概率分布被作为输出返回。
图4描绘了采用RDF分类器的系统400的概览的示例实现。如所示出的，在该示例中使用两个RDF分类器。第一分类器将Field_IR和Field_0传感器图像取作输入，并将密集触摸概率图“Prob”取作输出。概率图“Prob”中的每一像素值指示相应的光学传感器(例如，传感器像素)正与对象(例如，指尖)接触的概率。
如可在图5中示出的示例实现500中看见的，该触摸概率图不仅比Field_IR清楚，而且“触摸区域”(即，指尖-面板接触区域)的外观更均匀，如该图中的循环对称亮斑所示出的。一般来说，“Prob”中的触摸区域比Field_IR中的更容易描述。
再次回到图4的系统400，在后续步骤中，候选触摸位置被斑点检测假设为在“Prob”中高触摸概率斑点的几何中心处。例如，基于“高斯差”(DOG)的斑点检测器可被利用来定位触摸候选。概率图“Prob”可与处于不同模糊比例的一组高斯滤波器卷积，如图6中的级联滤波方法的示例600中所示出的。
处于比例“σ”的DOG图像可如下计算：
随后，将作为“D(x,y,σ)”中的比例空间局部极值的像素检测为触摸候选。
在一个或多个实现中，将每一样本点分别与其在当前图像中的8个邻居以及在之上和之下的比例中的9个邻居比较。如果样本点大于这26个邻居中的每一个，则选择该样本点，如图6的示例600中所示出的。使用触摸候选“(x,y)”的斑点对比度值“D(x,y,σ)”。如果该对比度大于预先定义的阈值“T”(例如，由用户预先定义)，则将像素“(x,y)”报告为最终触摸。检测准确性主要取决于阈值“T”。例如，如果“T”过小，则可定位增加数目的真触摸，但同时，可将大数目的假肯定引入检测结果。另一方面，如果“T”很大，则可能以增加数目的假否定为代价来获得更少的假肯定。
触摸候选集合(每一触摸候选都与一对比度值“D(x,y,σ)”相关联)被获得作为斑点检测步骤的输出。为了更好地区分触摸和非触摸图像数据，仅对Field_0图像数据训练的第二分类器可被包括在系统400中，该系统400将由斑点检测器返回的触摸位置候选的列表取作输入。该第二分类器可被调谐以改善由第一逐像素触摸分类器实现的可能受限于其输入信号中的模糊性的触摸和非触摸数据分离性能。例如，如可在图3中观察到的，虽然运动伪像和噪声在Field_IR中可看上去与实际触摸信号非常相似，但在Field_0图像中触摸和非触摸信号的外观显著不同。
第二分类器的输出可被配置成密集概率图“Prob”，其可通过将其与核尺寸稍大于平均指尖触摸区域的直径的高斯滤波器卷积来平滑。
最后，可如下将每一触摸候选位置“(x,y)”与2维测量相关联：
DP(x,y)＝(D(x,y,σ),Prob’(x,y))
该表达式包括相应的触摸概率“Prob’(x,y)”以及来自斑点检测器的输出的对比度值“D(x,y,σ)”。如果2D点“DP(x,y)”大于预先定义的2D决策边界，则触摸候选“(x,y)”被认为是实际触摸。例如，决策边界可被配置成特定伽玛曲线，该特定伽玛曲线的参数是基于训练数据以及FP和FN分类率之间的期望折衷来选择的。
例如，可观察到一般来说真触摸具有高对比度或高概率值。由此，触摸概率“Prob’(x，y)”可充当用于拒绝假触摸的提示，而假肯定的数目不会显著增加。因此，使用该2D决策边界的分类可被用于更好地在真和假触摸之间进行区分，而非使用与来自第一分类器的输出的对比度维度一起使用的单维度决策边界。虽然在图4的示例系统400中示出了对两个分类器和2D决策边界的使用，但该方法可被扩展到附加维度，最终获得具有更高的分类准确性的分类框架。
分类器特征函数
分类器使用六个不同类型的分割函数。令“I(x)”为输入域“I”上处于2D位置的像素的强度。令对于给定的 对于以下讨论，令这些表达式保持：
Ix((x，y)＝I((x+1，y))-I((x-1，y))
Iy((x，y)＝I((x，y+1))-I((x，y+1))
分割函数可随后被表达如下：
1)强度差：其中θ＝(u，v)且
2)原始强度：其中θ＝(u)，且
3)焦点：其中θ＝(u)，且
4)梯度幅值：其中θ＝(u)，且
5)梯度方向：
其中θ＝(u，ρ)，且
6)梯度定向差：
其中θ＝(u，v)且
所有六种类型的分割函数都可在第一分类器中被使用，而第二分类器可限于使用强度差分割函数。自然地，还构想了各种其他示例而不背离其精神和范围。
训练分类器
数据收集
为了训练分类器，可利用离线实测值(ground-truth)数据收集阶段，在该实测值数据收集阶段中，在大范围的照明条件下针对各种触摸和非触摸事件采集传感器图像(即，Field_0和Field_IR)的足够大量的视频序列。为了收集这些肯定(触摸)和否定(非触摸)样本，光学传感器116的SIP面板或其他布置可被手指利用不同的压力、姿势和定向来触摸。自然地，也可利用其他对象，以及不涉及物理接触的样本。
也可利用第二离线人工数据标记步骤，在该人工数据标记步骤中，对于每一收集到图像中的每一触摸，标记处于每一指尖触摸的中心(即，“触摸位置”)的像素。随后，可为处于以每一触摸位置为中心的小半径的圆盘内部的每一像素生成肯定触摸像素样本。可使用不超过平均触摸区域的半径的固定半径。
可通过随机地选择触摸区域外部的像素来生成否定训练样本。在每一触摸位置周围但半径稍大于触摸区域的小宽度圆环中的每一像素也被标记为否定样本。
RDF训练过程
在一个或多个实现中，RDT的最大高度可被设在大致20的值处。RDF分类器是通过从其根节点开始每次一个节点地独立训练每一个其RDT来训练的。每一节点都是使用输入训练集合来训练的。最初，整个训练集合是用于训练根节点的输入集合。
在给定针对节点“n”的输入训练集合“T”的情况下，该节点是通过采样“N”乘以每一类型的分割函数的参数空间的平方根来训练的，其中“N”是分割函数的参数空间的基数。该采样是针对每一输入图像(即，Field_IR或Field_0)完成的。此外，对于每一经采样的参数，可能阈值的数目也被采样。
对于输入域“field”、分割函数类型“splitF”、分割函数参数化“θ”和阈值“τ”的给定分割组合“Σ＝(field,splitF,θ,τ)”，每一输入“x∈T”是根据“splitFθ(x)”的值小于还是大于还是等于阈值“τ”来分割的。
令“Σ”为实现每一经采样分割组合上的节点输入集合“T”中的每一元素的分割上的最大信息增益“IG”的分割组合。如果“IG”过小或者如果该节点在最大预先选择的高度(例如，20)处，则该节点被设为叶节点，并且与该叶节点相关联的触摸概率被设为触摸样本数与节点的数据集合“T”中的总样本数的比。另一方面，如果“IG”足够高，则分割组合“Σ”被关联到节点“n”，该节点的输入集合“T”使用“Σ”被分割成两个子集“TL”和“TR”，并且“n”被分配两个子节点，每一节点是使用输入集合“TL”和“TR”递归地训练的。
用于训练每一分类器的数据集
图4中的第一分类器“逐像素触摸分类器”可使用人工标记的肯定和否定样本中的每一个在Field_0和Field_IR图像上训练。在该分类器被训练后，第一分类器对训练数据的每一个假肯定情况被收集。具体地，使全部训练数据运行通过第一分类器以及使用小对比度阈值“T”(例如，T＝5)对每一个对应的输出概率图应用的斑点检测器。对于所报告的触摸像素，如果该像素不足够接近于实测触摸位置，则可考虑假肯定的情况。
第二分类器(即，图4中的逐像素FP滤波器)是使用人工标记的肯定样本中的每一者但作为否定样本在Field_0图像上训练的。第一分类器对训练数据的检测到的假肯定情况中的每一者被采用。由此，将多个输入域和六个分割函数一起用于第一分类器可被观察到相对于仅使用Field_IR域和密集差异分割函数实现了显著的性能改进。
示例过程
以下讨论描述了可利用先前描述的系统和设备来实现的对象检测技术。这些过程中每一过程的各方面可用硬件、固件、软件、或其组合来实现。过程被示为一组框，它们指定由一个或多个设备执行的操作，不一定仅限于所示出的用于由相应的框执行操作的顺序。在下面讨论的各部分中，将参考图1-6。
图7描绘了示例实现中的过程700的流程图，其中经由光学传感器检测到的输入是使用机器学习来分类的。多个输入被接收，这些输入中的每一者接收自多个光学传感器中的相应光学传感器(框702)。计算设备102例如可包括多个光学传感器116，该多个光学传感器116被布置在阵列中作为显示设备106的像素传感器配置的一部分。
使用机器学习在多个输入是否指示对象由相应的光学传感器检测到的方面对这些输入中的每一者进行分类(框704)。光学传感器系统112的传感器处理模块114例如可采用分类器，这些分类器执行机器学习以生成概率图，这些概率图描述该图中描述的相应光学传感器检测到对象邻近的相对可能性。
使用分类的结果来确定对象的位置(框706)。继续先前的示例，随后可从概率图中检测对象的一个或多个位置，其可被利用来支持大范围的功能。这样的功能的示例在图1中被示为姿势模块110，姿势模块110被配置成响应于识别到相应的姿势而发起(例如，通过操作系统、应用等)对计算设备的操作。还构想了各种其它示例，诸如标识特定类型的对象(例如，指示笔对照触摸)等等。
图8描绘示例实现中的过程800的流程图，其中分类器被利用来生成可用于确定对象是否是使用多个触摸传感器检测到的概率图。生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第一概率图。该概率图是通过将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入来生成的(框802)。如图4所示，例如，图1的第一分类器模块118可被实现为“逐像素触摸分类器(RDF)”，其将Field-IR图像和FIELD_0图像取作输入。
第二分类器被配置成至少部分地基于具有包括红外光和环境光两者的图像的输入来生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第二概率图(框804)。继续先前的示例，图1的第二分类器模块120可被实现为将FIELD_0图像取作输入的“逐像素FP滤波器(RDF)”。
使用第一和第二概率图确定对象是否已被检测到(框806)。例如，图1的对象候选模块122可如图4中所示出的被实现为支持斑点检测和二维阈值以形成包括对象的坐标的输出(如果对象被检测到的话)。如上所述也可构想各种其他的示例。
示例系统和设备
图9在900概括地示出了包括示例计算设备902的示例系统，该示例计算设备表示可以实现此处描述的各个技术的一个或多个计算系统和/或设备。计算设备902可以是，例如，服务提供方的服务器、与客户端相关联的设备(例如，客户端设备)、片上系统、和/或任何其他合适的计算设备或计算系统。
所示的示例计算设备902包括处理系统904、一个或多个计算机可读介质906、以及相互通信地耦合的一个或多个I/O接口908。尽管没有示出，计算设备902可进一步包括系统总线或将各种组件相互耦合的其它数据和命令传输系统。系统总线可以包括不同总线结构中的任一个或其组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线体系结构中的任一种的处理器或局部总线。也构想了各种其它示例，诸如控制和数据线。
处理系统904表示使用硬件执行一个或多个操作的功能。因此，处理系统904被示为包括可被配置为处理器、功能块等的硬件元件910。这可包括在作为专用集成电路或使用一个或多个半导体构成的其它逻辑设备的硬件中的实现。硬件元件910不受形成它们的材料或者其中利用的处理机制的限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))构成。在这一上下文中，处理器可执行指令可以是可电子地执行的指令。
计算机可读存储介质906被示为包括存储器/存储912。存储器/存储912表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储组件912可包括易失性介质(如随机存取存储器(RAM))和/或非易失性介质(如只读存储器(ROM)、闪存、光盘、磁盘等等)。存储器/存储组件912可包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存、可移动硬盘驱动器、光盘等等)。计算机可读介质906可以下面进一步描述的各种方式来配置。
输入/输出接口908表示允许用户向计算设备902输入命令和信息的功能，并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，电容性的或被配置来检测物理触摸的其它传感器)、照相机(例如，可采用可见或诸如红外频率的不可见波长来将移动识别为不涉及触摸的手势)，等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备，等等。因此，计算设备902可以下面进一步描述的各种方式来配置以支持用户交互。
此处可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。一般而言，此类模块包括执行特定任务或实现特定抽象数据类型的例程、程序、物体、元件、组件、数据结构等等。本文使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的各特征是平台无关的，从而意味着该技术可在具有各种处理器的各种商用计算平台上实现。
所描述的模块和技术的实现可以被存储在某种形式的计算机可读介质上或跨某种形式的计算机可读介质传输。计算机可读介质可包括可由计算设备902访问的各种介质。作为示例而非限制，计算机可读介质可包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指相对于仅信号传输、载波、或信号本身而言，启用对信息的持久和/或非瞬态存储的介质和/或设备。由此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括以适合于存储如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其他数据等的方法或技术来实现的诸如易失性和非易失性、可移动和不可移动介质和/或存储设备的硬件。该计算机可读存储介质的示例包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、硬盘、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可适用于存储所需信息并可由计算机访问的其它存储设备、有形介质或制品。
“计算机可读信号介质”可以指被配置为诸如经由网络向计算设备902的硬件传输指令的信号承载介质。信号介质通常用诸如载波、数据信号、或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线路连接，以及无线介质，诸如声学、RF、红外线和其他无线介质。
如前面所述描述的，硬件元件910和计算机可读介质906表示以硬件形式实现的模块、可编程设备逻辑和/或固定设备逻辑，其可被某些实施例采用来实现此处描述的技术的至少某些方面，诸如执行一个或多个指令。硬件可包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)，和以硅或其它硬件实现的组件。在此上下文中，硬件可操作为通过指令和/或由硬件实现的逻辑来执行程序任务的处理设备，以及被用来存储用于执行的指令的硬件(例如上面描述的计算机可读存储介质)。
前面的组合也可被采用来实现在此描述的各种技术。因此，软件、硬件，或可执行模块可被实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件910实现的一个或多个指令和/或逻辑。计算设备902可被配置成实现对应于软件和/或硬件模块的特定指令和/或功能。因此，可作为软件由计算设备902执行的模块的实现可至少部分以硬件完成，例如，通过使用计算机可读存储介质和/或处理系统904的硬件元件910。指令和/或功能可以是一个或多个制品(例如，一个或多个计算设备902和/或处理系统904)可执行/可操作的，以实现此处描述的技术、模块、以及示例。
如在图9中进一步示出，示例系统900实现了用于当在个人计算机(PC)、电视机设备和/或移动设备上运行应用时的无缝用户体验的普遍存在的环境。服务和应用在所有三个环境中基本相似地运行，以便当使用应用、玩视频游戏、看视频等时在从一个设备转换到下一设备时得到共同的用户体验。
在示例系统900中，多个设备通过中央计算设备互连。中央计算设备对于多个设备可以是本地的，或者可以位于多个设备的远程。在一个实施例中，中央计算设备可以是通过网络、因特网或其他数据通信链路连接到多个设备的一个或多个服务器计算机的云。
在一个实施例中，该互连架构使得功能能够跨多个设备来递送以向多个设备的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力，且中央计算设备使用一平台来使得为设备定制且又对所有设备共同的体验能被递送到设备。在一个实施例中，创建目标设备的类，且使体验适应于设备的通用类。设备类可由设备的物理特征、用途类型或其他共同特性来定义。
在各种实现中，计算设备902可采取各种各样不同的配置，诸如用于计算机914、移动设备916和电视机918用途。这些配置中的每一个包括可具有一般不同的构造和能力的设备，并且因而计算设备902可根据不同的设备类中的一个或多个来配置。例如，计算设备902可被实现为计算机914类的设备，该类包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
计算设备902还可被实现为移动设备916类的设备，该类包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备。计算设备902还可被实现为电视机918类的设备，该类包括在休闲观看环境中具有或连接到通常更大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。
本文所描述的技术可由计算设备902的这些各种配置来支持，且不限于在本文描述的各具体示例。这个功能也可被全部或部分通过分布式系统的使用(诸如如下所述的经由平台922通过“云”920)来实现。
云920包括和/或代表资源924的平台922。平台922抽象云920的硬件(如，服务器)和软件资源的底层功能。资源924可包括可在计算机处理在位于计算设备902远程的服务器上执行时使用的应用和/或数据。资源924也可包括在因特网上和/或通过诸如蜂窝或Wi-Fi网络之类的订户网络上提供的服务。
平台922可抽象资源和功能以将计算设备902与其他计算设备相连接。平台922还可用于抽象资源的缩放以向经由平台922实现的资源924所遇到的需求提供对应的缩放级别。因此，在互联设备的实施例中，本文描述的功能的实现可分布在系统900上。例如，该功能可部分地在计算设备902上以及经由抽象云920的功能的平台922来实现。
结语
尽管已经用对结构特征和/或方法动作专用的语言描述了本发明，但可以理解，在所附权利要求书中定义的本发明不必受所描述的这些具体特征或动作的限制。相反，具体特征和动作是作为实现要求保护的发明的示例形式来公开的。

Claims (10)

1.一种用于使用从多个光学传感器获得的输入来检测对象的邻近度的方法，所述方法由一个或多个计算实现，并包括：
接收多个输入，所述多个输入中的每一者接收自所述多个光学传感器中的相应光学传感器；以及
检测所述对象是否邻近所述多个光学传感器中的相应光学传感器，所述检测包括使用机器学习根据所述多个输入是否指示对象被相应的所述光学传感器检测到来对所述多个输入中的每一者进行分类，所述分类包括生成描述所述对象被所述多个光学传感器中的相应光学传感器检测到的概率图，并从所述概率图中检测所述对象的位置。
2.如权利要求1所述的方法，其特征在于，进一步包括基于所述对象的位置来识别可用于发起对计算设备的操作的姿势。
3.如权利要求1所述的方法，其特征在于，所述分类是使用多个分类器来执行的。
4.如权利要求3所述的方法，其特征在于：
第一所述分类器通过以下方式来执行所述分类：将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入；以及
第二所述分类器至少部分地基于具有包括红外光和环境光两者的图像的输入来执行所述分类。
5.如权利要求4所述的方法，其特征在于，第二所述分类器所取的输入是使用一个或多个斑点检测技术来处理的。
6.如权利要求1所述的方法，其特征在于，所述多个光学传感器被布置以形成阵列，所述阵列作为计算设备的显示设备的像素传感器功能的一部分。
7.如权利要求1所述的方法，其特征在于，所述分类包括对辨别式分类器的使用，该辨别式分类器返回作为指示检测到所述对象的类集合的离散概率分布的结果。
8.如权利要求1所述的方法，其特征在于，所述分类包括使用随机化决策森林RDF来对所述多个输入进行分类，所述随机化决策森林RDF采用一个或多个随机化决策树RDT。
9.一种用于使用从多个光学传感器获得的输入来检测对象的邻近度的系统，所述系统包括：
所述多个光学传感器；以及
至少部分地用硬件实现的一个或多个模块，所述一个或多个模块被配置成检测所述对象是否邻近所述多个光学传感器中的相应光学传感器，所述一个或多个模块被配置成实现：
第一分类器，所述第一分类器被配置成生成描述所述对象被所述多个光学传感器中的相应光学传感器检测到的可能性的第一概率图，该概率图通过将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入来生成；
第二分类器，所述第二分类器被配置成至少部分地基于具有包括红外光和环境光两者的图像的输入来生成描述对象被所述多个光学传感器中的相应光学传感器检测到的可能性的第二概率图；以及
对象候选模块，所述对象候选模块被配置成使用所述第一和第二概率图来确定对象已被检测到，并从所述第一和第二概率图中检测所述对象的位置。
10.如权利要求9所述的系统，其特征在于，所述第二概率图由所述第二分类器在不使用所述第一分类器所使用的具有从红外光减去环境光的图像的情况下生成。
CN201480067822.XA 2013-12-11 2014-12-03 光学传感器系统中的对象检测 Active CN105814524B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/103,499 2013-12-11
US14/103,499 US9329727B2 (en) 2013-12-11 2013-12-11 Object detection in optical sensor systems
PCT/US2014/068249 WO2015088840A1 (en) 2013-12-11 2014-12-03 Object detection in optical sensor systems

Publications (2)

Publication Number Publication Date
CN105814524A CN105814524A (zh) 2016-07-27
CN105814524B true CN105814524B (zh) 2019-02-15

Family

ID=52146740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067822.XA Active CN105814524B (zh) 2013-12-11 2014-12-03 光学传感器系统中的对象检测

Country Status (4)

Country Link
US (1) US9329727B2 (zh)
EP (1) EP3080684B1 (zh)
CN (1) CN105814524B (zh)
WO (1) WO2015088840A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430095B2 (en) 2014-01-23 2016-08-30 Microsoft Technology Licensing, Llc Global and local light detection in optical sensor systems
US9558455B2 (en) * 2014-07-11 2017-01-31 Microsoft Technology Licensing, Llc Touch classification
KR20170124068A (ko) 2016-05-01 2017-11-09 (주)이노프레소 복합 휴먼 인터페이스가 구비된 전자기기
EP3859496A1 (en) 2016-06-23 2021-08-04 Innopresso, Inc. Electronic device having complex human interface
US10317515B2 (en) * 2017-09-01 2019-06-11 Wisconsin Alumni Research Foundation Apparatus for identifying objects outside of a line-of-sight
US11481571B2 (en) 2018-01-12 2022-10-25 Microsoft Technology Licensing, Llc Automated localized machine learning training
US11429807B2 (en) 2018-01-12 2022-08-30 Microsoft Technology Licensing, Llc Automated collection of machine learning training data
US11175767B2 (en) 2018-02-19 2021-11-16 Beechrock Limited Unwanted touch management in touch-sensitive devices
US11460961B2 (en) 2019-08-23 2022-10-04 Samsung Electronics Co., Ltd. Method for determining proximity of at least one object using electronic device
EP3835929A1 (en) * 2019-12-13 2021-06-16 Samsung Electronics Co., Ltd. Method and electronic device for accidental touch prediction using ml classification
KR102140927B1 (ko) * 2020-02-11 2020-08-04 주식회사 베오텍 공간 터치 제어방법
CN112330739B (zh) * 2020-10-27 2022-05-27 北京航空航天大学 一种基于光学概率图模型的卫星探测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187044A (zh) * 2012-03-01 2013-07-03 微软公司 具有近红外过滤器的画素感应式显示系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961230A3 (en) 1998-05-29 2001-03-28 Canon Kabushiki Kaisha Image processing method and apparatus therefor
US20060044282A1 (en) * 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
EP1755022A1 (en) 2005-08-03 2007-02-21 Thomson Licensing Method for selecting objects on a display with light detectors
US20140035805A1 (en) * 2009-04-02 2014-02-06 David MINNEN Spatial operating environment (soe) with markerless gestural control
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US7924272B2 (en) 2006-11-27 2011-04-12 Microsoft Corporation Infrared sensor integrated in a touch panel
US20100201275A1 (en) 2009-02-06 2010-08-12 Cok Ronald S Light sensing in display device
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US8896545B2 (en) 2009-11-24 2014-11-25 Microsoft Corporation Angularly-selective sensor-in-pixel image detection
KR100974894B1 (ko) * 2009-12-22 2010-08-11 전자부품연구원 멀티 적외선 카메라 방식의 3차원 공간 터치 장치
WO2011102038A1 (ja) 2010-02-16 2011-08-25 シャープ株式会社 タッチパネル付き表示装置およびその制御方法、並びに制御プログラムおよび記録媒体
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
CN103282869B (zh) 2010-08-12 2017-10-13 谷歌公司 触摸屏上的手指识别
US20120113145A1 (en) 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
US9535537B2 (en) 2010-11-18 2017-01-03 Microsoft Technology Licensing, Llc Hover detection in an interactive display device
US8619062B2 (en) 2011-02-03 2013-12-31 Microsoft Corporation Touch-pressure sensing in a display panel
JP6018624B2 (ja) 2011-04-19 2016-11-02 パーセプティブ ピクセル インコーポレイテッド タッチセンシング用光学フィルタ処理センサ・イン・ピクセル技術
KR20130055118A (ko) * 2011-11-18 2013-05-28 전자부품연구원 싱글 적외선 카메라 방식의 공간 터치 장치
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US20130241887A1 (en) * 2012-03-14 2013-09-19 Texas Instruments Incorporated Detecting and Tracking Touch on an Illuminated Surface
US9430095B2 (en) 2014-01-23 2016-08-30 Microsoft Technology Licensing, Llc Global and local light detection in optical sensor systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187044A (zh) * 2012-03-01 2013-07-03 微软公司 具有近红外过滤器的画素感应式显示系统

Also Published As

Publication number Publication date
EP3080684A1 (en) 2016-10-19
WO2015088840A1 (en) 2015-06-18
CN105814524A (zh) 2016-07-27
EP3080684B1 (en) 2019-04-10
US9329727B2 (en) 2016-05-03
US20150160785A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
CN105814524B (zh) 光学传感器系统中的对象检测
KR102476294B1 (ko) Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정
EP3167352B1 (en) Touch classification
US9418319B2 (en) Object detection using cascaded convolutional neural networks
US10572072B2 (en) Depth-based touch detection
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US9886094B2 (en) Low-latency gesture detection
JP5674674B2 (ja) 表面に載せた手に合わせたジェスチャーの発生
US8269842B2 (en) Camera gestures for user interface control
US20070018966A1 (en) Predicted object location
CN107835968A (zh) 力曲线和无意输入控制
JP2016503220A (ja) ジェスチャ認識のためのパーツ及び状態検出
CN108205581A (zh) 生成数字媒介环境中的紧凑视频特征表示
US20180276471A1 (en) Information processing device calculating statistical information
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
JP6849887B2 (ja) 検出装置及び方法、画像処理装置及びシステム、並びに記憶媒体
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
US9430095B2 (en) Global and local light detection in optical sensor systems
US11961218B2 (en) Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
US11308150B2 (en) Mobile device event control with topographical analysis of digital images inventors
Edwin et al. Hand detection for virtual touchpad
CN106471445A (zh) 基于触摸输入的离散光标移动
JP6731883B2 (ja) 参照画像選択装置、方法、及びプログラム
Lee et al. Finger gesture input utilizing the rear camera of a mobile phone: A perspective of mobile CAD
Dehankar et al. Detecting centroid for hand gesture recognition using morphological computations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant