CN105992988B - 用于检测第一对象与第二对象之间的触摸的方法和设备 - Google Patents

用于检测第一对象与第二对象之间的触摸的方法和设备 Download PDF

Info

Publication number
CN105992988B
CN105992988B CN201480075688.8A CN201480075688A CN105992988B CN 105992988 B CN105992988 B CN 105992988B CN 201480075688 A CN201480075688 A CN 201480075688A CN 105992988 B CN105992988 B CN 105992988B
Authority
CN
China
Prior art keywords
touch
temperature
determining
thermal
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480075688.8A
Other languages
English (en)
Other versions
CN105992988A (zh
Inventor
D·库尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN105992988A publication Critical patent/CN105992988A/zh
Application granted granted Critical
Publication of CN105992988B publication Critical patent/CN105992988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本公开涉及一种用于检测第一对象的至少部分与第二对象的至少部分之间的触摸的方法和设备，其中该第一对象的至少部分相比于第二对象的至少部分具有不同的温度，该方法包括：提供第二对象的一部分的至少一个热图像；在至少一个热图像的至少部分中确定用于指示特定温度值或温度范围或者特定温度变化值或温度变化范围的图案；以及使用所确定的图案以用于检测第一对象的至少部分与第二对象的至少部分之间的触摸。

Description

用于检测第一对象与第二对象之间的触摸的方法和设备
本公开涉及用于检测第一对象的至少部分与第二对象的至少部分之间的触摸的方法和设备，其中第一对象的至少部分相比于第二对象的至少部分具有不同的温度。本公开还涉及包括适于执行此类方法的软件代码段的计算机程序产品。
人与(真实)对象进行交互的一种自然方式是用其手来触摸对象。例如，在当前的增强现实(AR)应用中，与真实对象和虚拟对象的交互通常涉及用户的手与显示真实对象的图像的屏幕，而不是与真实对象直接交互。允许检测和定位其表面上的触摸的此类屏幕通常被称为触摸屏，并且如今是例如智能电话和平板电脑的常见部件。当前的趋势是AR的显示器越来越小，和/或其更靠近用户眼睛的视网膜。这例如对于头戴式显示器就是如此，并且使得对触摸屏的使用很困难或者甚至不可行。
这种情况下的一种可能的解决方案是使用基于遮挡的交互方法，诸如参考文献[4,5]中所述的。在这些方法中，如果真实对象的某区域被遮挡而不在相机的视角内，则触发交互事件。需注意，相机相对于真实对象的姿态(即位置和取向)需要是已知的，以便能够识别此类遮挡。该姿态可脱机确定一次或者在工作时间期间持续确定，这允许真实对象和/或相机发生运动。此类基于遮挡的交互例如是名为“虚拟按钮”的Vuforia SDK的一部分。基于遮挡的虚拟按钮具有以下缺点：其不能辨别对象(例如指尖)实际是否触摸虚拟按钮或者其是否仅仅遮挡虚拟按钮，并且其不能辨别遮挡(或触摸)是手指(指尖)有意进行的还是由其他对象(例如袖边)无意导致的。
存在以下常见的方法来检测人体的至少部分与对象之间的触摸。最常见的方法是为对象或人体(例如指尖)物理地配备能够感测触摸的传感器。这可以是从简单的机械开关到触摸板或触摸屏的任意机构。其例如也可基于在触摸真实对象时被施加到身体的电压并且使电路闭合。这类方法的限制在于其需要对对象或人体进行修改。
如果身体部位(例如手)相对于对象的姿态是已知的，则也能检测到触摸。存在旨在跟踪手指或手的姿态的许多方法。这些方法可基于用于感测可见光和/或深度的一个或多个相机，例如使用渡越时间相机或者基于红外结构化光的主动立体相机。还存在方法来为用户的手配备传感器例如惯性传感器以感测手的姿态。所有这些方法的限制在于所确定的手或手指的姿态精确度太低，从而不能可靠地判定手指是否触摸到真实对象或者其是否仅仅非常靠近真实对象(例如与对象相距2mm)。
参考文献[4,5]中所描述的其他方法(诸如上面提到的Vuforia SDK中的虚拟按钮)并非用于检测触摸，而是用于检测遮挡，从而导致许多限制。虚拟按钮需要具有允许稳健地识别出按钮是否被遮挡的某个尺寸。例如将一张A4纸细分成每个尺寸为lmm×lmm的297×210个虚拟按钮的网格将是不可行的。这将虚拟按钮的应用限于不要求精确的连续位置输入而只是要求离散按钮触发的任务。此外，这些虚拟按钮需要具有与手指的视觉外观不同的视觉外观，使得可识别遮挡。由于这些方法检测遮挡而非触摸，因此导致另一严重限制，这将在下文中以数字键为例进行讨论。利用虚拟按钮不可能触发数字键上的一系列相邻按钮中的一个按钮(例如数字5)，而在之前不触发任何其他按钮，这是因为不可能在不遮挡任何周围按钮的情况下触及按钮数字5。这便对虚拟按钮的布局提出了严苛的约束。此外，在触摸或遮挡数字键上的按钮数字5时，手还将同时遮挡其他按钮。在参考文献[5]中，作者提出了通过在多个按钮被遮挡的情况下只考虑左上角的按钮来解决这个问题，但这是非常探试性且不可靠的方法。
在参考文献[6]中描述了气息跟踪用户接口系统和方法，其中其实施方案涉及用于控制计算机系统的用户接口，并且更具体地涉及跟踪用户呼吸的气息以向计算机程序提供控制输入的用户接口。该气息跟踪是基于热红外成像来实现的。
在参考文献[7]中描述了一种使用热成像的用户接口系统和方法。其描述了一种用户接口，该用户接口基于利用一个或多个热成像相机获得一个或多个对象的一个或多个热红外图像、分析热红外图像、从热红外图像中识别对象的特征、并将所述特征用作计算机程序中的控制输入。该对象是用户并且该特征是生命信号。
参考文献[8]公开了一种被动式红外感测用户接口以及使用该被动式红外感测用户接口的设备。设备包括用于用户接口的被动式红外传感器。当用户将其手指放置在该红外传感器上方时，该传感器生成用于指示用户手指在传感器上方的时间、位置、或移动的数字信号。用户手指不需要触摸或按压红外传感器，但其可用于非触摸式用户接口。
本发明的一个目的是提供可在不使用触摸屏的情况下实施并且不提供上述缺陷的一种用于检测第一对象和第二对象之间的触摸的方法和设备。
根据一个方面，提供了一种检测第一对象的至少部分与第二对象的至少部分之间的触摸的方法，其中第一对象的至少部分相比于第二对象的至少部分具有不同的温度，该方法包括以下步骤：提供第二对象的一部分的至少一个热图像；在至少一个热图像的至少部分中确定用于指示特定温度值或温度范围或者特定温度变化值或温度变化范围的图案；以及使用所确定的图案以用于检测第一对象的至少部分与第二对象的至少部分之间的触摸。
更具体地，通过确定图案，检测从第一对象或第二对象中的一者转移到第一对象或第二对象中的相应另一者的热能。有利地，以这种方式检测在第一对象或第二对象中的一者被相应的另一对象(例如人体，诸如手指)触摸之后其表面所发射的热能(诸如热辐射)，而不是如现有技术中那样试图检测对象(即身体或手指)本身。
例如，第一对象是人体的至少部分。第二对象原则上可为真实环境中的任何对象。
利用本发明，人体的至少部分与至少一个对象之间的至少一个触摸可通过检测由表面的发生至少一个触摸的那些部分处的至少一个所捕获的对象发射的红外范围中的辐射而被确定。为了捕获热图像，可使用热相机诸如红外热成像相机。
本发明例如支持增强现实(AR)领域中以及涉及人机接口(特别是有形用户接口)的其他领域中的许多有用的应用。
有利地，利用本发明可准确地确定真实对象的表面是否实际被触摸还是仅仅被遮挡(或者被接近但未触摸)。这可区分(有意进行的)人体导致的触摸或遮挡与(可能无意发生的)其他任何东西的触摸或遮挡。能够精确地对触摸进行定位并且能够在触摸事件发生之后(即，即使在触摸时不存在任何相机、计算机或其他任何东西)对触摸事件进行识别。
根据一个实施方案，第二对象的至少部分和第二对象的一部分可重叠或可不重叠。第二对象的触摸部分或被触摸部分可能在至少一个热图像中未被捕获，因为其可能被第一对象遮挡(如例如下文更详细描述的图3中所示的)。因此，术语“第二对象的至少部分”代表第二对象的触摸部分或被触摸部分，并且术语“第二对象的一部分”代表第二对象的被成像部分。例如，第二对象的至少部分可位于薄对象的正面上，而第二对象的一部分位于该薄对象的背面上。这在下文也将更详细地变得显而易见。
根据一个实施方案，该方法还包括在热图像中确定所检测到的触摸的位置、尺寸、取向、方向、轨迹、或形状。
根据另一实施方案，该方法还包括将所检测到的触摸作为输入提供给机器接口程序，其中所检测到的触摸改变机器接口程序中的状态。例如，机器接口程序是可例如在移动设备(诸如智能电话、平板电脑、可穿戴计算机、或头戴式设备)中使用的人机接口的一部分。
根据一个实施方案，确定图案包括确定在至少一个热图像中的不同位置处测量的温度之间的一个或多个差异。
根据另一实施方案，确定图案包括计算热图像中的温度相对于位置的一阶导数或二阶导数。
例如，确定图案包括计算热图像中的温度相对于时间的一阶导数或二阶导数。
根据一个实施方案，确定图案包括确定用于指示第一对象和第二对象的相应温度的至少两个温度区间之间的温度分布。
例如，该方法还包括确定区间中的第一区间是否显示出温度的第一次升高，之后是否显示出比第一次升高更急剧的第二次升高，并且确定区间中的第二区间是否显示出温度的第一次降低，之后是否显示出比第一次降低较不急剧的第二次降低。
该方法可进一步包括计算至少一个热图像中的温度的柱状图并使用该柱状图作为基础来限定第一区间和第二区间中的至少一者以及被确定用于检测触摸的所述第一区间和第二区间之间的区间。
该方法还可包括使用温度计获得对空气或环境的温度的测量作为基础来限定第一区间和第二区间中的至少一者以及被确定用于检测触摸的所述第一区间和第二区间之间的区间。
该方法还可包括(例如从服务器、数据库、或分布式网络服务)获得关于当前天气情况的信息作为基础来限定第一区间和第二区间中的至少一者以及被确定用于检测触摸的所述第一区间和第二区间之间的区间。
根据一个实施方案，确定图案包括确定至少一个热图像中的至少一个样本线的温度分布，该至少一个样本线可在热图像内具有任意取向。
根据另一实施方案，确定图案包括确定热图像中的满足对其尺寸和/或平均温度的一个或多个约束的群集(诸如团块)。
根据一个实施方案，该方法包括提供包括第二对象的一部分的至少两个热图像的热图像序列。
例如，确定图案包括确定所至少两个热图像之间的温度变化以及确定所述变化是否高于所限定的第一阈值和/或低于所限定的第二阈值。
根据另一实施方案，确定图案包括确定至少两个热图像之间的温度的导数以及确定该导数是否高于所限定的第一阈值和/或低于所限定的第二阈值。
根据一个实施方案，确定图案包括确定至少两个热图像之间的第一温度变化和至少两个热图像之间的第二温度变化，并使用第一变化和第二变化以及第一变化和第二变化的导数来检测触摸。
根据一个实施方案，该方法还包括由可见光相机和提供所述至少一个热图像的热相机来对第二对象的一部分成像；提供可见光相机与热相机之间的第一空间变换；提供可见光相机与第二对象的被成像部分之间的第二空间变换；将第一空间变换和第二空间变换联结，从而得到第二对象的被成像部分的坐标系与热相机的坐标系之间的第三空间变换；以及基于第三空间变换来确定热相机在第二对象的被成像部分的坐标系中的位置和取向。
例如，该方法还可包括确定触摸在至少一个热图像中的位置，其中通过将源自被变换到第二对象的被成像部分坐标系的热相机的原点的并且指向所检测到的触摸在热相机的像平面上的位置的射线与第二对象的被成像部分的模型相交来确定触摸在第二对象的被成像部分的坐标系中的位置，其中该相交被用于触发位置处的触摸事件。
有利地，该方法被应用作为增强现实应用中的人机接口的一部分。例如，检测触摸包括检测用户的部位在虚拟信息被显示给用户的位置处触摸第二对象的至少一部分，其中在检测到触摸时，该虚拟信息被操控。
该方法可在使用视频穿透设置、光学穿透设置、或投影AR设置的应用内被使用。特别地，该方法与不包括触摸屏界面的硬件设置一起使用。
根据另一方面，公开了一种用于检测第一对象的至少部分与第二对象的至少部分之间的触摸的设备，其中第一对象的至少部分相比于第二对象的至少部分具有不同的温度，该设备包括适于接收第二对象的一部分的至少一个热图像的图像信息的处理设备，该处理设备被配置为在至少一个热图像的至少部分中确定用于指示特定温度值或温度范围或者特定温度变化值或温度变化范围的图案，并且该处理设备被配置为使用所确定的图案以用于检测第一对象的至少部分与第二对象的至少部分之间的触摸。
根据一个实施方案，该处理设备与用于提供至少一个热图像的热相机进行通信，其中该处理设备和所热相机中的至少一者在头戴式显示器或投影仪中被实施，或者与该头戴式显示器或投影仪相关联，以用于执行基于投影仪的增强现实。
本文针对方法所描述的所有实施方案和示例同样可由被(软件和/或硬件)配置为执行相应步骤的处理设备来实施。所使用的任何处理设备可经由通信网络(例如经由服务器计算机或点到点通信)与热相机和/或其他部件(诸如可见光相机)或与服务器计算机进行通信。
例如，处理设备(可以是部件或分布式系统)至少部分地被包括在与热相机相关联的移动设备中，和/或被包括在适于与热相机进行远程通信的计算机设备(诸如适于与热相机或与热相机关联的移动设备进行通信的服务器计算机)中。根据本发明的系统可被包括在这些设备中的仅一个设备中或者可以是分布式系统，在该分布式系统中，一个或多个处理任务是分布式的并且由例如通过点对点通信或经由网络彼此通信的一个或多个部件进行处理。
根据另一方面，本发明还涉及包括软件代码段的计算机程序产品，该软件代码段适于执行根据本发明所述的方法。具体地，该软件代码段被包含在非暂态计算机可读介质上。该软件代码段可被加载到本文所述的一个或多个处理设备的存储器中。任何所使用的处理设备可经由通信网络例如经由本文所述的服务器计算机或点到点通信进行通信。
现将相对于附图来描述本发明的各个方面和实施方案，其中：
图1示出了根据本发明的实施方案的方法的流程图，
图2示出了可结合本发明使用的被映射到灰度以供可视化的热图像的示例，
图3示出了用于基于利用红外热成像技术感测的从一个对象转移到另一对象的热能来确定这两个对象之间的触摸的本发明的另一实施方案，
图4示出了与图2所示类似但已被离散化且以等值线来显示的热图像，
图5示出了根据本发明的实施方案的红外热图像序列，
图6示出了本发明的示例性实施方案，其中真实对象由可见光相机和红外热相机成像，
图7示出了可用作增强现实应用中的人机接口的本发明的实施方案，
图8示出了根据本发明的实施方案的红外热图像序列，其中第一对象在触摸期间在第二对象的表面上方移动，
图9示出了本发明上下文中的两个示例性硬件设置。
虽然下文参考某些部件描述了各种实施方案，但在实施这些实施方案中的任何实施方案时，也可使用本文所述或对本领域技术人员显而易见的部件的任何其他配置。
在下文中，描述了实施方案和示例性场景，它们不得被理解为限制本发明。
在一个示例性情景中，人体的至少部分与对象之间的触摸导致热能从人体的至少部分转移到对象。该热能然后导致发射红外范围的辐射。这可使用红外热成像相机进行感测并且可用作人机接口，尤其是用于检测触摸并因此触发触摸事件。
图1示出了根据本发明的实施方案的方法的流程图。在第一步骤101中，提供对象或环境的至少一个热图像(例如红外热图像)。在第二步骤102中，如果存在，来源于人体的至少部分与对象或环境之间的至少一个触摸的辐射被自动检测到。如果可检测到来源于至少一个触摸的辐射(步骤103)，则触发至少一个触摸事件(步骤104)。否则，方法退出(步骤105)。
本发明能够区分多种情形。本发明得这个实施方案的一般性假设是真实对象具有与人体温度不同的温度，人体温度通常在36.5℃左右。只有在人体的部位(例如指尖)实际触摸真实对象的情况下，才将在它们触摸的区域处将足够的热能转移到真实对象，使得利用热成像相机能够清楚地测量由对象在红外范围中发射的所导致的辐射。任选地，本发明可被实施为使得只有在触摸真实对象的实体具有与36.5℃类似的温度的情况下才将检测到触摸。热成像相机可以低成本获得，并且当前以及在不久的将来随处可见，例如参见[1]。
图2示出了可结合本发明使用的热图像的一个示例。具体地，图2通过热图像示出手。手可与背景清楚地区分开，因为其具有更高的温度。当指尖触摸表面202时，指尖将热能传递到该表面。一旦指尖移走，这在热相机图像上作为表面上的温热指纹(斑点204)而变得可见。图2示出了映射到灰度以供可视化的热图像201。在这个示例中，场景(表面)202具有比手203低的温度。还可看见相对于其余场景温度更高的斑点204，这指示手不久前触摸该场景的位置。条208显示从单位为摄氏度的温度向灰度的映射，以用于更好的理解。通过检测此类温热的指纹，可识别出不久前发生了手与表面之间的触摸。此外，该触摸的位置可在热成像相机的图像中被准确地确定。通过检测在触摸附近被传递到表面的热来在触摸发生时确定触摸也是可能的，参见图3。
如上所述，红外热成像图像允许检测用户在任意的未修改的真实对象上的触摸，该真实对象然后可用作(有形)用户交互设备。除了热成像相机之外，本方法的一个示例性应用将使用可视光相机，从而支持增强现实体验，如图6和图7所示。
例如，用户将真实对象握在手中，这在可视光相机图像中被定位。在这个对象上存在虚拟按钮，该虚拟按钮在这个示例中作为灰色区域被打印到真实对象上。同一场景的热图像显示出由人体的部位(指尖)触摸对象所导致的温热的指纹。触摸的位置可在热相机图像中被定位。因为可视光相机相对于热相机被校准并且相对于可视光相机该真实对象的形状、位置和取向是已知的，所以触摸的位置可被变换到真实对象的坐标系。
可执行相对于该触摸事件的3D位置的任何所需的动作，诸如触发在触摸的位置处位于真实对象上的虚拟按钮。触摸事件然后可影响增强现实应用，该增强现实应用显示空间对准地叠置在可见光相机的实时图像反馈上的虚拟内容。在所述示例中，触摸将改变按钮的可视化，并且还改变刚性附接到真实对象并代表虚拟显示的虚拟对象的状态。
本发明可在除了改变相机或真实对象的位置和取向之外的还需要交互的任何增强现实应用中使用。如果应用需要选择真实对象的表面上的一个或多个位置，则这特别有用。其可用于视频穿透设置、光学穿透设置、或投影AR设置。本发明适用于手持式AR应用，但对于不包括触摸屏界面的硬件设置(诸如头戴式显示器或基于投影仪的AR)这是特别令人关注的。其可在许多不同应用中使用，例如基于跟踪印刷材料诸如杂志或书本来直接点击广告或图像以例如启动视频的所有应用。其还可在维护应用中使用，其中工人通过简单地用其手指触摸汽车上油漆工作的缺陷来对其进行标记，以供随后进行检验。本发明实现了非常直观且有形的人机交互方式，而不需要修改进行交互的真实对象，也不需要将硬件附接到用户的手上。
根据本发明的实施方案存在不同的方法来确定对象由于与温度不同的对象的触摸(即直接接触)而具有的热能。
使得能够在这两个对象仍然彼此触摸的同时检测触摸的一种方法是基于根据热相机图像测量得到的热分布梯度。不进行触摸的具有不同温度的两个对象之间的转变是突变的并且因此具有很强的梯度，而这两个对象之间的触摸(即物理接触)附近的转变变得更平滑，从而得到更大区域中的不那么强的梯度。这结合图3进一步解释。
可在接触发生之后应用的用于确定具有不同温度的两个对象的触摸的另一种方法是定位热图像中的满足关于其尺寸和平均温度的某些约束的群集或团块。例如，如果这两个对象的温度大致已知，则方法可定位其温度对应于具有给定容差的两个已知温度的平均值的群集或团块。被认为来源于触摸的群集或团块的尺寸例如可限于一个固定的像素范围(例如，半径应至少为5个像素且不多于50个像素)。对于在热图像中考虑的群集或团块的尺寸的约束还可源于热图像中的或者捕获这两个对象中的一个对象的至少部分的第二相机的图像中的对象中的一个对象的尺寸。这在图4中进一步解释。
根据实施方案的方法可确定意外地具有局部温度变化的对象上的触摸，其可被识别为上文所述的热图像中的团块，但实际上并非由触摸引起。一种区分触摸与某温度的静态团块的方法是随着时间推移测量点的温度的多个样本，如下文中将描述的那样。
用于确定具有不同温度的两个对象的触摸的第三种方法是基于这些对象中的至少一个对象的至少部分的至少两个热图像。这个方法的假设是大多数对象如果不与温度明显不同的其他对象接触只会非常缓慢地改变温度。在假定静态热相机的情况下，单个像素将代表环境中的点的温度。以例如0.5秒为间隔取三个样本，如果环境在这个时间期间没有改变，则所测得的温度将非常相似。如果有温度与该场景的温度不同的对象移动通过该场景，则这三个样本可能具有非常不同的温度，因为它们实际上并非测量的是场景中单个点的温度，而相反在这些样本中的至少一个样本中，它们测量的是移动对象的温度。非常快的温度变化通常是由于被具有不同温度的对象遮挡。如果不同温度的两个对象触摸，则它们触摸的区域将改变其温度，然后缓慢地会合回到触摸之前的初始温度。因此，对于与环境中的不久前发生了触摸的点对应的像素，表现出温度的缓慢但能够清楚测量到的降低或升高。平滑的温度变化可指示不久前在被采样位置处发生了两个对象之间的触摸。上述相同的概念也可适用于移动相机(例如在相机与这两个对象中的一个对象之间存在移动)。在这种情况下，可能需要跟踪方法来确定相机相对于这两个对象中的一个对象的运动或者确定相机与这两个对象中的一个对象之间的空间关系。这允许即使在相机或对象发生移动的情况下也能在不同时间点处对对象上的同一点的温度进行采样。
例如，小于1℃或l℃/s的任何温度变化可被归类为是静态的，大于8℃或8℃/s的任何温度变化可被归类为是由于遮挡导致的，并且介于这两个值之间的任何温度变化可被归类为可能是由于触摸导致的。如果为每个像素或为对象上的多个样本执行归类，则可找到被归类为可能是由于触摸导致的样本的空间群集(或团块)。如果这些群集满足某些约束(例如关于其最小尺寸或平均温度的约束)，则认为检测到触摸。
根据温度变化(即温度改变)确定触摸的任何实施方案可使用至少一个温度差(例如3℃)或至少一个温度导数(例如3℃/s)。该至少一个温度差可以是热图像坐标系中的不同位置处的或对象(例如第二对象)的坐标系中的不同位置处的温度之间的差异。该至少一个温度差可以是对于(热图像坐标系中或对象坐标系中)相同或不同位置在不同时间测量的温度之间的差异。
该至少一个温度导数可以是温度相对于时间的一阶导数(例如3℃/s)或相对于热图像中的位置的一阶导数(例如3℃/像素)或相对于对象坐标系中的位置的一阶导数(例如3℃/mm)。类似地，可使用二阶导数或任何更高阶导数。可根据至少一个温度差来确定相对于任何维度(例如时间、位置)的任意阶的温度导数。可能还需要时间差或位置差来确定温度导数。
在根据温度或温度变化(变化可以是针对区域上的温度分布，或者变化也可以是针对一位置或区域随时间推移的温度)确定触摸(可能性)的过程中使用的阈值、标度或其他参数可例如得自代表热图像中温度分布的柱状图、关于场景或对象(的至少部分)及其温度的预先了解、场景或对象的至少部分的热导率、利用(电子)温度计测得的空气温度、关于当前天气情况的信息，或者可例如借助于用作确定场景或对象的特性(诸如热导率)的基础的光谱仪来得到。给定示例性触摸，这些参数也可以监督方式获知。
需注意，在非静态相机和/或非静态场景或对象的情况下，存在多种方法来跟踪对象相对于相机的位置和取向。这些跟踪方法可基于由热图像获得的信息，其可使用利用热相机或者对对象的至少部分成像的第二相机捕获的信息，或者其可基于任何其他机械、电磁、声学、或光学跟踪系统。这使得即使在相机或对象发生移动的情况下也可在不同时间点对对象上的同一点的温度进行采样。
一般来讲，将温度样本归类为指示发生触摸的点可基于所测得的温度、或者所测得的温度相对于时间的一阶导数、或者温度相对于时间的二阶导数。其还可基于温度相对于相机坐标系或对象坐标系中的位置的一阶导数或二阶导数。基于先前测量的任意组合的归类也是本发明的一个优选实施方案。局部归类结构(例如按每个像素)的结果例如借助于中值滤波、均值滤波、扩张、侵蚀、或聚类可被进一步处理。
在下文中将参考图3至图5中的图示来阐述本发明及其实施方案。
图3示出了本发明的另一实施方案的用于基于利用红外热成像技术感测的从一个对象转移到另一对象的热能来确定这两个对象之间的触摸。以等值线示出了包括低温的第二对象302和更高温度的第一对象303(例如手)的热成像图像301(左图)。这个图像的行304的温度被绘制在温度分布曲线305中。该行开始于大约20度的温度(样本306)，这是第二对象的温度。然后，在向第一对象303转变时，温度陡然升高到第一对象的温度，在这个示例中第一对象具有大约36度的温度(样本307)。当该行再次对第二对象302进行采样时，温度快速地降低回到第二对象的原始温度(样本308)。这个温度分布曲线指示这两个对象并未直触摸碰，即它们并未彼此触摸。
右边的热图像311同样示出了具有不同温度的第二对象312和第一对象313。等值线可视化进一步示出了温度在这两个对象的温度之间的区域314。在温度分布曲线316中观察沿行315的温度，第一样本317对应于第一对象及其温度。区间318显示温度的平滑升高，然后陡然升高进入与第二对象及其温度对应的区间319。在陡然的温度降低之后，区间320显示出温度平滑地降低到第一对象的温度，第一对象在区间321中被采样。这个温度分布(尤其是在区间318和320中的温度分布)指示由于第一对象和第二对象之间的直触摸碰(即触摸)而导致的这两者之间的热能传递。
根据图3的实施方案能够在触摸实际正在发生时检测触摸，例如通过分别检测区域314和区间318-320来进行检测。
在根据图3的实施方案中，第二对象的触摸第一对象的至少部分和第二对象的在至少一个热图像中可见的一部分不重叠。因为手指(即第一对象)在这种情况下遮挡第二对象的触摸第一对象的至少部分，所以红外热图像不对该部分成像。相反，在这种情况下对触摸的确定基于确定第二对象的另一部分(特别是至少一个热图像中的与第一对象的至少部分相邻的被成像区域(特别是至少一个热图像中的第一对象的至少部分周围的被成像区域，例如与第一对象的触摸第二对象的至少部分相邻的区域，在这里是指尖周围的区域))和第一对象(例如手指)的一部分的至少一个热图像中的图案。
此外，在根据图3的实施方案中，第二对象的触摸第一对象的至少部分可(部分地)在捕获至少一个热图像的(红外)热相机的视野之外。
本发明的实施方案可使用热图像中的至少一个样本线的温度分布来确定触摸。如304和315那样，样本线不必是图像行，而是可具有任意取向。它们可在图像中随机采样，它们可均匀分布采样，或者它可使用指尖跟踪结果作为输入并选择采样线使其与指尖相交并且正交于手指方向。
还可能的是基于热图像使用监督式机器学习技术诸如决策树、集成、装袋、提升、随机森林、k-NN、线性回归、朴素贝叶斯、神经网络、逻辑回归、感知器、或支持向量机(SVM)来确定触摸，其中利用显示触摸的热图像和其中没有任何两个不同温度的对象彼此触摸的热图像对这些监督式机器学习技术进行训练。
图4示出了已被离散化并利用等值线(也被称为轮廓线)显示的热图像401。还示出了在热图像中存在的温度的柱状图402。在等值线可视化中并且在柱状图的水平轴线处标示的所有两位数是指单位为摄氏度(℃)的温度。在热图像401中，所标记的温度是指在图像的某个区域中的平均离散温度。图1像中的线表示不同温度之间的边界。热图像捕获人手403(例如作为第一对象)、来源于手指与环境之间的触摸的温热斑点404、和环境410(例如作为第二对象)。环境在这个示例中具有19摄氏度至21摄氏度的温度，而手具有36摄氏度的温度。柱状图402显示热图像中常发生的温度范围的两个峰，其中第一个峰405对应于环境，并且第二个峰406对应于手即人体。
从这单个热图像识别并定位触摸的一种可能的方法将要使用这个柱状图作为基础来限定与环境(例如第二对象)410的温度对应的温度区间407、与人手(例如第一对象)403的温度对应的区间409、和应当包括触摸温度的这两者之间的区间408。然后可例如借助于团块检测例如使用高斯拉普通拉斯(LoG)、高斯差(DoG)、海森行列式(DoH)、或最大稳定极值区域(MSER)在热图像中只考虑温度落入触摸区间408中并且具有合理尺寸的团块来检测实际触摸。所预期的团块尺寸可取决于从热图像确定的指尖的尺寸、手指的尺寸、或手的尺寸。与下面在图5中所述的实施方案不同，这个实施方案可以是基于单个热图像而不是热图像序列。此外，这个实施方案评估温度的绝对值，而不是如其他实施方案中那样评估温度变化、梯度或导数。
所检测到的触摸的位置可通过在热图像401中定位在柱状图402中通过团块检测确定为在触摸区间408中的温度或温度范围来进行确定。在本示例中，通过在图像401中搜索温度为27℃的群集来定位温热斑点404将是可能的，因为团块是在柱状图402的区间408中在温度27℃检测到的。
在根据图4的实施方案中，第二对象的触摸第一对象的至少部分与第二对象的在至少一个热图像中可见的一部分重叠。图案确定基于“第二对象的至少部分”的触摸第一对象的至少部分的温度。
图5示出了红外热图像501-505的序列，其中小于或等于环境温度的温度被显示为黑色，并且大于环境温度的温度被显示为白色。在整个这个序列中，手在环境前面移动(图像501,502)直到到达触摸位置(图像503)，然后再次移走(图像504,505)，从而在手触摸环境的位置处留下白色斑点。在图像501-505中有三个区域，被标记和标示为区域A、区域B和区域C。图506示出了在图像501-505的序列期间区域A的温度曲线，图507示出了区域B的相应温度曲线，并且图508示出了区域C的相应温度曲线。这些图包括以比图像501-505所示更高的采样率的温度。与相应图像501-505对应的样本利用叉字形记号来指示。
在区域A(图506)中，温度在整个序列中始终为低，因为这个区域只捕获环境。在区域B(图507)中，一旦捕获手而非环境，我们便观察到温度的陡然降低509。类似地，一旦手离开区域B并且该区域再次捕获环境，我们便在该区域中观察到温度的急剧降低510。区域C对应于热图像的发生手与环境之间的触摸的区域。同样，在图508的开始处，在捕获环境期间，温度低并且一旦手进入该区域我们便观察到急剧降低511。当其离开区域C时，我们观察到温度的小的急剧降低512，接着是在环境缓慢地发射出其在触摸期间从手收集的热能期间温度的缓慢降低513。区域C的温度曲线(尤其是降低512和降低513)是触摸事件的特性，并且可用于将触摸事件与遮挡(如区域B中)以及环境(如区域A中)区分开。由此，可在热图像序列中识别和定位手(作为人体部位的示例以及第一对象的示例)与作为环境部分的第二对象之间的触摸，并且热图像序列在这个实施方案中包括至少两个热图像。
例如，可使用所确定的至少两个热图像之间的温度变化值来确定触摸。温度变化值是在两个不同热图像(例如图像503和504)处在区域C处测得的所述至少两个温度之间的差(例如3℃或-3℃)。如果这个值低于所限定的第一阈值和/或高于第二阈值，则确定有触摸，否则确定没有触摸。
又如，可使用至少两个热图像之间的温度导数来确定触摸。温度导数可以是温度相对于时间的一阶导数。在不同时间处捕获图像501-505。温度相对于时间的一阶导数(例如6℃/s或-6℃/s)可根据两个不同热图像的温度变化值(例如3℃或-3℃)以及这两个不同热图像的捕获时间差(例如0.5s)来确定。类似地，温度导数可以是温度相对于时间的二阶或任意更高阶的导数。如果导数低于所限定的第一阈值和/或高于第二阈值，则确定有触摸，否则确定没有触摸。
根据一个实施方案，可计算多于一个变化。例如，可计算图像503和504之间的第一变化以及图像504和505之间的第二变化。第一变化和第二变化的值和导数可一起用于确定触摸。在一个实施方案中，如果第一变化和第二变化的值类似(例如低于阈值)，则确定有触摸。类似地，可使用第一变化和第二变化的导数。
在捕获所示的热图像501-505之间的时刻可能不存在任何被捕获的热图像或者被测得的温度。在捕获热图像501-505之间的时刻可能也存在一个或多个被捕获的热图像或者被测得的温度。
在根据图5的实施方案中，第二对象的触摸第一对象的至少部分与第二对象的在至少一个热图像中的可见的一部分重叠。图案确定基于“第二对象的至少部分”的触摸第一对象的至少部分的温度。
图6示出了本发明的示例性实施方案，其中真实对象601(在这个示例中是汽车)被可见光相机602和红外热相机603成像。在这个实施方案中，可检测触摸的3D位置。由这些相机所捕获的各个图像被图示为子视图，其中视图604是由可视光相机602捕获的图像，并且视图605显示由红外热相机603捕获的图像。在这个配置中，假定这两个相机602,603之间的空间6自由度(DoF)变换607(即平移和取向)是已知的。可基于可见光相机602捕获的图像604和真实对象的模型606来确定可见光相机602与对象601之间的空间6DoF变换608。将变换607和608联结，从而得到对象601的坐标系与红外热相机603的坐标系之间的变换。考虑到这个联结的变换，红外热相机603的位置和取向可在真实对象的坐标系中进行表述。设置还可包括处理设备612，该处理设备例如在用户穿戴或握持的移动设备、服务器计算机中或者在本文所述的任何相机中实施，或者其为分布式系统。其以有线或无线方式与相机602和603进行通信。在没有可见光相机的配置中，其可只与热相机进行通信。其可通过硬件和/或软件被配置为执行本文所述的一个或多个任务。
可应用一种方法来在由红外热相机603捕获的图像605中识别和定位触摸609。该触摸在对象坐标系中的位置例如可通过将来源于变换到对象的坐标系的红外热相机603的原点且指向触摸609在像平面上的位置(也在对象坐标系中表述)的射线610与对象模型(例如606)相交来确定。该交点611最后可用于触发该位置处的触摸事件。该触摸事件然后例如可导致该3D位置被添加到包含汽车上的多个缺陷位置的数据库(即，用户触摸汽车上的多个缺陷位置，使得在这个示例中，触摸611(以及红外热图像中的609)定位缺陷位置)。
在另一实施方案中，相机602是可附加地感测可见光的深度感测相机，例如渡越时间相机、被动立体相机、或基于红外结构化光的主动立体相机。在这种情况下，与所捕获的图像604相关联的深度信息可用于基于真实对象的模型606来确定相机602与真实对象601之间的变换608。此外，深度信息(例如被表示为3D点云或3D三角网格)可用作在工作时间期间获取的对象的模型606。在这种情况下，变换608将是任意的。在这个配置中，可在没有任何对象先验模型的情况下在对象的坐标系中确定触摸的3D位置。因此，这个实施方案可处理任何事先未知的对象或环境。如果深度感测相机与可见光相机602之间的变换是已知的或者已被校准，则深度感测相机也可以是与可见光相机物理分开的另一个相机。
图7示出了本发明的方面可如何用作增强现实应用中的人机接口的示例。应当指出的是，可使用本文所述的用于确定触摸的任何方法，诸如参考图3-6所述的那些方法。按被布置在不同列中的四个不同时间点(t1、t2、t3、t4)来显示场景。对于每个时间点，由可见光相机捕获的图像被显示在第一行中。第二行显示利用红外热相机捕获的对应图像，并且最后一行显示增强现实(AR)视图。AR视图可例如借助于视频穿透设置使用包括可见光相机、红外热相机、和显示器的移动设备或头戴式显示器来实现。此外，其可基于光学穿透设置或投影AR设置。需注意，在这个示例中，假定可见光相机和红外热相机的图像对齐，这例如可借助于分束器来实现。在这种情况下，图6中的变换607将是恒等变换。
在第一时间点t1处，在相机图像711中可看到有对象位于手的手掌中。红外热图像721中的相同场景显示手是温热的(白色)，而图像的其余部分是冷的(黑色)。在AR视图731中，可见光相机图像与虚拟信息一起被显示，该虚拟信息与对象在空间上对准叠置。在这种情况下，虚拟信息包括看起来如同打印到真实对象上的用于按钮的标签以及顶部上的屏幕的用于显示哪些按钮被触发的标签。通过在可见光相机图像中执行可视对象跟踪来实现虚拟内容与可见光相机图像的空间对准。
在第二时间点t2处，手指触摸真实对象。在可见光相机捕获的图像712与红外热图像722两者中都不清楚手指实际是否触摸对象。增强现实视图732显示与731中相同的虚拟信息，同样与真实对象在空间上对准，该真实对象在t1和t2之间移动并且被手部分遮挡。
在第三时间点t3处，手指从真实对象移走，这在可见光相机图像713和红外热图像723两者中清楚可见。然而，红外热图像723还显示出对象上的温热斑点，这指示手指实际触摸了对象。该触摸根据本发明的实施方案(使用本文所述的任何方法)来被识别和定位，并且然后用于操控与真实对象相关的虚拟信息。在这个示例中，按下的虚拟按钮(数字5)在AR视图733中高亮显示，并且顶部的虚拟显示器也根据触摸事件改变其状态(现在显示“285”，而不是前一AR视图732中的“28”)。
在某个后来的时间点t4处，对象仍然被握持在手中(可见光相机图像714)，但温热斑点从红外热图像724中消失。增强现实视图734显示与再次发生移动的对象空间对准的虚拟信息。虚拟按钮(数字5)不再被高亮显示，因为在t3处触发的触摸事件过期。然而，顶部的虚拟显示器的状态仍然受到该触摸事件的影响，因为其显示数字“285”，而不是t1和t2的“28”。
需注意，在该示例中，虚拟信息被手正确遮挡。这可使用热键(参考文献[2])来实现，该热键使用红外热图像来将人的前景与环境背景分开。还需注意，虽然在这个示例中，真实对象位于手中，但其也可位于环境中的某个位置例如位于桌上。在使用手持式设备诸如智能电话或平板PC时，后一种配置将会是更理想的。
图8示出了根据本发明的实施方案的二值化红外热图像(801-808)的序列，其中第一对象在触摸期间在第二对象的表面上方移动，在图像801中，指尖触摸第二对象(被显示为黑色背景)，然后在仍然触摸第二对象的同时开始在图像802-805中移动。在红外热图像806中，手指从第二对象放释放并移走。触摸809在图像中是明显的，因为其具有与第二对象不同的温度。在这个示例中，触摸具有略长的区域，而不是如前面的示例中那样是近似圆形。
该实施方案将边界框810适配到所检测到的触摸(区域)，并且可将其提供给人机接口。另一实施方案可拟合函数(811)来对触摸的轨迹建模。其例如可被参数化为一组点、一组具有所估计的时间戳的点、贝塞尔曲线、样条、多项式函数、或任何其他函数。这可基于在触摸发生之后或者在触摸发生的同时所捕获的单个热图像来完成。
另一个实施方案还可分析触摸区域的不同部分之间的温度的差异或变化来确定触摸的方向，例如将其确定为触摸区域中的占支配地位的温度梯度方向。
如果用户在对象的第一点处触摸表面，然后在对象的表面上方将手指移动到第二点，之后将手指从对象上移走，则触摸区域将包括第一点周围的区域、第二点周围的区域、以及这两个点之间的手指在表面上方移动的区域，参见809。在触摸区域内，可能存在不同的温度(例如在样本820-826处)。假设被触摸对象最初具有恒定温度，第一点820(触摸在那里开始)处的温度低于第二点826(触摸在那里结束)的温度。中间的点(821-825)应当表现出温度的单调升高。
图9示出能结合本发明使用的两个示例性硬件设置。本文所述的方法可在配备有热成像相机902的手持式设备901(的部件)上执行，并且本文所述的设备可以是配备有热成像相机902的手持式设备901诸如智能电话或平板电脑(的部件)。该设备还可包括至少一个可见光相机903、红外相机904、和/或红外或可见光投影仪905。根据另一个实施方案，本文所述的方法可在具有至少一个显示器907和热相机908的头戴式(或可穿戴)计算机906(的部件)上执行，并且本文所述的设备可以是具有至少一个显示器907和热相机908的头戴式(或可穿戴)计算机906(的部件)。该设备还可包括至少一个可见光相机909、红外相机910、和/或红外或可见光投影仪911。
应用本文所述的方法和设备以用于检测每次发生的多于一次触摸也是可能的。
上述实施方案可提供触摸在红外热相机图像的坐标系中的位置(即点)。它们还可提供图像中的与被触摸表面对应的区域。如果该区域不是(近似)圆形的，则本发明还可确定触摸的一个或多个取向，例如将其确定为具有触摸区域的最大延伸范围的取向。另一个实施方案确定触摸的轨迹。另外的实施方案还确定触摸的方向，即按什么顺序触摸轨迹上的点。
本发明的实施方案确定的一个或多个触摸及其轨迹可用于支持(多点)触摸手势，诸如滑动、捏合、捏合缩放、缩小、放大、旋转、扭曲旋转、枢轴旋转、滚动、拖拽、轻拂、两指轻击、和两指滚动。
可应用不同D手段来避免检测到某些区域中的触摸。在图7的示例中，位于虚拟按钮中的一个虚拟按钮处的仅一个触摸是相关的。因此，可提供掩模来将对象的表面分成应当检测触摸的部分和不应当检测触摸或者触摸在检测到之后应当被忽略的部分。一种可能的具体实施将为在处理红外热图像之前在考虑到图6中的变换608和607的情况下将这个掩模提供到红外热图像中。
触摸应当始终位于真实对象的表面上，这需要真实对象的表面的模型。在可见光相机能够测量深度的一个实施方案中或者如果存在另一深度感测相机，这可用于确定触摸的3D位置。与对象的表面模型的距离高于阈值的任何所检测到的触摸不位于模型表面上，并且因此可被丢弃。
如果温度明显不同于人体的温度，则由并非人体的至少部分的对象(例如袖边)产生的无意触摸被上文所述的实施方案隐含地忽略。另一实施方案通过在红外热相机图像序列和/或可见光相机图像中检测到手而明确地确保所检测到的触摸是由于人手的至少部分的触摸导致的。触摸然后根据手检测仅可能在手先前已出现过的那些区域(在对象或相机的坐标系中)中被检测。另一个实施方案进一步检测指尖在红外热相机图像序列和/或可见光相机图像中的位置，然后根据指尖检测来将触摸检测限制到指尖先前已出现过的那些区域中(在对象或相机的坐标系中)。
另一个实施方案将温度曾经比人体温度高的量超过阈值的所有区域排除在触摸检测之外。此类温度可能是由于电子设备或者咖啡杯导致的。
虽然本文参考某些部件或设备描述了各种实施方案，但在实现这些实施方案中的任何实施方案时，也可使用本文所述或对本领域技术人员显而易见的部件或设备的任何其他配置。本文所述的任何设备或部件可以是或者可包括用于执行本文所述的全部或一些任务的相应处理设备(未明确示出)诸如微处理器。一个或多个处理任务可由例如通过相应的点到点通信或经由网络(例如经由服务器计算机)彼此进行通信的部件或其处理设备中的一者或多者来进行处理。
参考文献：
[1]FLIR ONE,Personal thermal imaging device for your iPhone5andiPhone5s,www.flir.com/flirone
[2]http://nae-lab.org/project/thermo-key/Thermo key
[4]WO 2013/016104
[5]Occlusion based Interaction Methods for Tangible Augmented RealityEnvironments,Gun A.Lee,Mark Billinghurst,Gerard Jounghyun Kim,VRCAI'04Proceedings of the 2004ACM SIGGRAPH international conference on VirtualReality continuum and its applications in industry，第419-426页，2004年
[6]WO 2012/039836
[7]WO 2012/040114
[8]US 2011/0050643 A1

Claims (19)

1.一种检测第一对象的至少部分与第二对象的至少部分之间的触摸的方法，其中所述第一对象的所述至少部分相比于所述第二对象的所述至少部分具有不同的温度，所述方法包括以下步骤：
-接收所述第二对象的一部分的一个热图像；
-基于所述一个热图像中的不同位置来确定温度测量；以及
-响应于确定所述温度测量的差异满足标准而确定所述第一对象的所述至少部分与所述第二对象的所述至少部分之间的触摸已经发生。
2.根据权利要求1所述的方法，其中所述第一对象是人体的至少部分。
3.根据权利要求1所述的方法，还包括确定所述触摸在所述一个热图像中的位置、尺寸、取向、方向、轨迹、或形状。
4.根据权利要求1所述的方法，还包括输出对所述触摸的指示作为到机器接口程序的输入，其中所检测到的触摸改变所述机器接口程序中的状态。
5.根据权利要求1所述的方法，其中确定所述差异满足所述标准包括基于所述温度测量来计算温度相对于所述一个热图像中的位置的导数。
6.根据权利要求1所述的方法，其中确定所述差异满足所述标准包括：
-基于所述温度测量，确定与所述第一对象相关联的第一温度区间、与所述第二对象相关联的第二温度区间、以及所述第一温度区间和所述第二温度区间之间的第三温度区间；以及
-基于所述一个热图像中具有与所述第三温度区间相关联的值的像素的计数，确定所述触摸已经发生。
7.根据权利要求6所述的方法，还包括计算所述一个热图像中的温度的柱状图并使用所述柱状图来识别所述第一温度区间、所述第二温度区间和所述第三温度区间。
8.根据权利要求1所述的方法，其中确定所述温度测量对应于所述一个热图像中的样本线。
9.根据权利要求6所述的方法，其中确定所述差异满足所述标准包括确定所述一个热图像中具有满足阈值的尺寸的像素的群集，其中所述群集中的所述像素中的每一个与所述第三温度区间内的温度值相关联。
10.根据权利要求5所述的方法，其中所述导数对应于第一导数。
11.根据权利要求5所述的方法，其中所述导数对应于第二导数。
12.根据权利要求1所述的方法，其中所述热图像包括所述第一对象的所述至少部分的表示但是不包括所述第二对象的所述至少部分的表示。
13.根据权利要求1所述的方法，还包括：
-从可见光相机接收所述第二对象的所述一部分的图像，其中从热相机接收所述一个热图像；
-确定所述可见光相机与所述热相机之间的第一空间变换；
-确定所述可见光相机与所述第二对象的所述一部分之间的第二空间变换；
-基于所述第一空间变换和所述第二空间变换，确定所述第二对象的所述一部分的坐标系与所述热相机的坐标系之间的第三空间变换；以及
-基于所述第三空间变换来确定所述热相机在所述第二对象的所述一部分的所述坐标系中的位置和取向。
14.根据权利要求13所述的方法，还包括：
-确定所述触摸在所述一个热图像中的位置；
-确定所述一个热图像在所述第二对象的坐标系中的像平面的位置和取向；以及
-通过以下步骤来确定所述触摸在所述第二对象的所述一部分的所述坐标系中的位置：
-将射线投影到所述第二对象的模型上，其中所述射线源自所述第二对象的所述一部分的所述坐标系中的所述热相机的原点，并且穿过对应于所述触摸的所述像平面上的一部分；以及
-识别所述射线和所述模型之间的交点。
15.根据权利要求1所述的方法，其中所述方法被应用在增强现实应用中的人机接口内。
16.根据权利要求1所述的方法，其中所述方法在使用视频穿透设置、光学穿透设置、和投影AR设置中的一者的应用内被使用。
17.一种检测第一对象的至少部分与第二对象的至少部分之间的触摸的设备，其中所述第一对象的所述至少部分相比于所述第二对象的所述至少部分具有不同的温度，所述设备包括用于执行如权利要求1-16中任一项所述的方法的操作的装置。
18.一种用于检测第一对象的至少部分与第二对象的至少部分之间的触摸的设备，其中所述第一对象的所述至少部分相比于所述第二对象的所述至少部分具有不同的温度，所述设备包括存储计算机程序指令的存储器和处理设备，其中所述计算机程序指令使得所述处理设备执行如权利要求1-16中任一项所述的方法的操作。
19.一种计算机可读存储介质，其上存储有计算机程序指令，所述指令当在一个或多个处理器上执行时，使得所述一个或多个处理器执行如权利要求1-16中任一项所述的方法的操作。
CN201480075688.8A 2014-02-17 2014-02-17 用于检测第一对象与第二对象之间的触摸的方法和设备 Active CN105992988B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/053017 WO2015120913A1 (en) 2014-02-17 2014-02-17 Method and device for detecting a touch between a first object and a second object

Publications (2)

Publication Number Publication Date
CN105992988A CN105992988A (zh) 2016-10-05
CN105992988B true CN105992988B (zh) 2019-12-17

Family

ID=50190413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480075688.8A Active CN105992988B (zh) 2014-02-17 2014-02-17 用于检测第一对象与第二对象之间的触摸的方法和设备

Country Status (6)

Country Link
US (4) US10877605B2 (zh)
EP (1) EP3108330B1 (zh)
KR (1) KR101918829B1 (zh)
CN (1) CN105992988B (zh)
AU (1) AU2014382730C1 (zh)
WO (1) WO2015120913A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529930A (ja) 2011-08-05 2014-11-13 フォックス スポーツ プロダクションズ，インコーポレイティッド ネイティブ画像の一部の選択的キャプチャとその表示
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US9406025B2 (en) * 2014-06-04 2016-08-02 International Business Machines Corporation Touch prediction for visual displays
CN105320249A (zh) * 2014-06-13 2016-02-10 广州杰赛科技股份有限公司 一种现实增强的交互方法
CN105204608A (zh) * 2014-06-13 2015-12-30 广州杰赛科技股份有限公司 一种基于热敏现实增强互动装置
CN105302282A (zh) * 2014-06-13 2016-02-03 广州杰赛科技股份有限公司 一种基于热敏的现实增强系统
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US9933470B2 (en) * 2015-08-31 2018-04-03 The Boeing Company Energy spectrum visualization system
JP6472363B2 (ja) * 2015-10-16 2019-02-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
US20170140233A1 (en) * 2015-11-13 2017-05-18 Fingerprint Cards Ab Method and system for calibration of a fingerprint sensing device
US10325134B2 (en) 2015-11-13 2019-06-18 Fingerprint Cards Ab Method and system for calibration of an optical fingerprint sensing device
CN105528109B (zh) * 2015-12-04 2019-03-05 北京奇虎科技有限公司 可穿戴设备和可穿戴设备的触控事件响应方法
CN105468285B (zh) * 2015-12-04 2019-05-10 北京奇虎科技有限公司 可穿戴设备和可穿戴设备的触控事件响应方法
CN106993152B (zh) * 2016-01-21 2019-11-08 杭州海康威视数字技术股份有限公司 三维监控系统及其快速部署方法
US20170223797A1 (en) * 2016-01-29 2017-08-03 Philips Lighting Holding B.V. Touch-based lighting control using thermal imaging
CN105678310B (zh) * 2016-02-03 2019-08-06 北京京东方多媒体科技有限公司 红外热图像轮廓提取方法及装置
US20190302963A1 (en) * 2016-06-01 2019-10-03 Carnegie Mellon University Hybrid depth and infrared image sensing and method for enhanced touch tracking on ordinary surfaces
JP6086461B1 (ja) 2016-09-09 2017-03-01 株式会社ネットアプリ タッチパネル及びタッチパネルシステム
JP6763434B2 (ja) * 2016-10-27 2020-09-30 日本電気株式会社 情報入力装置および情報入力方法
WO2018123497A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2018189417A1 (en) 2017-04-11 2018-10-18 University Of Helsinki Method and system for determining human-object interaction
US10447946B2 (en) 2017-04-26 2019-10-15 Marco Pinter Interactive artistic presentation system with thermographic imagery
US10684173B2 (en) 2017-04-26 2020-06-16 Marco Pinter Interactive artistic presentation system with thermographic imagery
WO2018209319A1 (en) 2017-05-12 2018-11-15 Gencore Candeo, Ltd. Systems and methods for response to emergency situations using unmanned airborne vehicles with improved functionalities
US11288834B2 (en) * 2017-05-23 2022-03-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
US10565802B2 (en) * 2017-08-31 2020-02-18 Disney Enterprises, Inc. Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
CN109559370A (zh) * 2017-09-26 2019-04-02 华为技术有限公司 一种三维建模方法及装置
KR101971791B1 (ko) * 2017-09-28 2019-04-23 한국과학기술원 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법
CN107945283B (zh) * 2017-12-06 2021-05-14 河南省水利勘测设计研究有限公司 基于移动增强现实技术和bim的工程展示方法
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP2020008750A (ja) * 2018-07-10 2020-01-16 セイコーエプソン株式会社 表示装置および表示処理方法
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
EP3895136A4 (en) * 2018-12-12 2022-07-27 Hewlett-Packard Development Company, L.P. VISUALIZATION OF OBJECT MANUFACTURING
CN111452537B (zh) * 2019-01-22 2022-09-20 上海巨哥电子科技有限公司 显示方法及装置
US10928889B1 (en) * 2019-01-22 2021-02-23 Facebook Technologies, Llc Apparatus, system, and method for directional acoustic sensing via wearables donned by users of artificial reality systems
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
US11244146B2 (en) * 2019-03-05 2022-02-08 Jpmorgan Chase Bank, N.A. Systems and methods for secure user logins with facial recognition and blockchain
WO2020181465A1 (en) * 2019-03-11 2020-09-17 Moqi Technology (beijing) Co., Ltd. Device and method for contactless fingerprint acquisition
CN110069198B (zh) * 2019-03-11 2021-01-05 清华大学 一种用户交互平台及用户交互信息识别展示方法
US20200311396A1 (en) * 2019-03-25 2020-10-01 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
US11562598B2 (en) * 2019-03-25 2023-01-24 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
US10825245B1 (en) * 2019-06-03 2020-11-03 Bank Of America Corporation Three dimensional rendering for a mobile device
US10802667B1 (en) 2019-06-03 2020-10-13 Bank Of America Corporation Tactile response for user interaction with a three dimensional rendering
CN111142763B (zh) * 2019-08-14 2021-06-25 广东小天才科技有限公司 一种触发搜索的方法及电子设备
CN110633027A (zh) * 2019-09-16 2019-12-31 广东小天才科技有限公司 一种点读实现方法、系统、计算机设备和存储介质
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
US11934584B2 (en) 2019-09-27 2024-03-19 Apple Inc. Finger orientation touch detection
US11270448B2 (en) 2019-11-26 2022-03-08 Microsoft Technology Licensing, Llc Using machine learning to selectively overlay image content
US11321939B2 (en) 2019-11-26 2022-05-03 Microsoft Technology Licensing, Llc Using machine learning to transform image styles
US11598671B2 (en) * 2020-06-17 2023-03-07 Microsoft Technology Licensing, Llc Body temperature estimation via thermal intensity distribution
JP2023133635A (ja) * 2020-07-30 2023-09-26 ソニーグループ株式会社 情報処理装置、触感提示システム及びプログラム
US20220100196A1 (en) * 2020-09-25 2022-03-31 Duke University Smart Thermal Tracking to Guide Surface Sanitization
KR102656079B1 (ko) * 2020-11-23 2024-04-09 주식회사 엠테이크 오차 보정용 유닛 및 이를 구비하는 객체 온도 검출 장치
JP7287407B2 (ja) * 2021-01-29 2023-06-06 いすゞ自動車株式会社 接触判定装置、接触判定方法及びプログラム
EP4064007A1 (en) * 2021-03-22 2022-09-28 Koninklijke Philips N.V. Tactile interaction monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201383133Y (zh) * 2008-12-09 2010-01-13 上海纽发利商贸有限公司 光感应触摸面板装置
WO2012039836A1 (en) * 2010-09-23 2012-03-29 Sony Computer Entertainment Inc. Blow tracking user interface system and method
CN103017909A (zh) * 2011-09-28 2013-04-03 李碧洲 一种温度测量装置、方法以及安装该装置的移动通信设备
CN103141080A (zh) * 2010-09-23 2013-06-05 索尼电脑娱乐公司 使用热成像的用户接口系统和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644687A (en) * 1994-12-29 1997-07-01 International Business Machines Corporation Methods and system for thermal analysis of electronic packages
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
US7519210B2 (en) * 2004-09-09 2009-04-14 Raphael Hirsch Method of assessing localized shape and temperature of the human body
WO2006109476A1 (en) * 2005-04-05 2006-10-19 Nissan Motor Co., Ltd. Command input system
EP2282254A1 (en) * 2008-05-12 2011-02-09 Sharp Kabushiki Kaisha Display device and control method
US8306265B2 (en) * 2009-01-12 2012-11-06 Eastman Kodak Company Detection of animate or inanimate objects
CN102004544B (zh) 2009-08-28 2016-04-13 英华达(上海)电子有限公司 用户界面控制方法和使用该方法的电子装置
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
US9176990B2 (en) * 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
US9785242B2 (en) * 2011-03-12 2017-10-10 Uday Parshionikar Multipurpose controllers and methods
CN102693042A (zh) * 2011-03-22 2012-09-26 中兴通讯股份有限公司 一种影像键盘生成方法和装置
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
US9560314B2 (en) * 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US20130022274A1 (en) 2011-07-22 2013-01-24 Qualcomm Incorporated Specifying values by occluding a pattern on a target
US8275413B1 (en) 2011-09-17 2012-09-25 Fraden Corp. Wireless communication device with integrated electromagnetic radiation sensors
US8891820B2 (en) * 2011-09-29 2014-11-18 The Boeing Company Multi-modal sensor fusion
US10101810B2 (en) * 2011-11-28 2018-10-16 At&T Intellectual Property I, L.P. Device feedback and input via heating and cooling
US10209881B2 (en) * 2012-03-15 2019-02-19 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination
WO2014205422A2 (en) * 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201383133Y (zh) * 2008-12-09 2010-01-13 上海纽发利商贸有限公司 光感应触摸面板装置
WO2012039836A1 (en) * 2010-09-23 2012-03-29 Sony Computer Entertainment Inc. Blow tracking user interface system and method
CN103141080A (zh) * 2010-09-23 2013-06-05 索尼电脑娱乐公司 使用热成像的用户接口系统和方法
CN103017909A (zh) * 2011-09-28 2013-04-03 李碧洲 一种温度测量装置、方法以及安装该装置的移动通信设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DANTE VISION: IN-AIR AND TOUCH GESTURE SENSING FOR NATURAL SURFACE INTERACTION WITH COMBINED DEPTH AND THERMAL CAMERAS;Saba;《2012 IEEE International Conference on Emerging Signal Processing Applications (ESPA)》;20120216;参见正文第3.2节:算法 *
Fast Tracking of hands and fintertips in infrared images for augmented desk interface;Yoichi Sato;《Automatic Face and Gesture Recognition Proceedings,Fourth IEEE international Conference》;20001231;全文 *
Heat Wave: Thermal Imaging for surface user interaction;E Larson;《CHI’11 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems》;20120531;参见正文第1-9页，图1-7 *
Occlusion based interaction methods for tangible augmented reality environments;GUN A.LEE;《the 2004 ACM SIGGRAPH INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS IN INDUSTRY》;20040101;全文 *

Also Published As

Publication number Publication date
EP3108330B1 (en) 2021-10-20
KR101918829B1 (ko) 2018-11-14
AU2014382730A1 (en) 2016-09-01
KR20170008720A (ko) 2017-01-24
US11797132B2 (en) 2023-10-24
CN105992988A (zh) 2016-10-05
WO2015120913A1 (en) 2015-08-20
AU2014382730B2 (en) 2017-09-14
US10877605B2 (en) 2020-12-29
EP3108330A1 (en) 2016-12-28
US20210117042A1 (en) 2021-04-22
US10719170B2 (en) 2020-07-21
AU2014382730C1 (en) 2018-03-22
US20170075502A1 (en) 2017-03-16
US20150234454A1 (en) 2015-08-20
US20240061532A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
CN105992988B (zh) 用于检测第一对象与第二对象之间的触摸的方法和设备
JP6360050B2 (ja) 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP6524589B2 (ja) クリック動作検出装置，方法およびプログラム
Kurz Thermal touch: Thermography-enabled everywhere touch interfaces for mobile augmented reality applications
TWI521387B (zh) 三維空間中之可重置式虛擬觸控板
KR101404018B1 (ko) 손동작 인식 장치 및 그 방법
TWI486815B (zh) 顯示設備及其控制系統和方法
CN109389082B (zh) 视线采集方法、装置、系统、计算机可读存储介质
US20120176341A1 (en) Method and apparatus for camera projector system for enabling an interactive surface
KR101860138B1 (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치
GB2524247A (en) Control of data processing
CN111373732A (zh) 信息处理装置、信息处理方法和信息处理系统
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
KR20130099708A (ko) 입력 장치
KR101671831B1 (ko) 동작 인식 센서를 이용한 3차원 입력 장치
CN116798069A (zh) 姿势识别设备及方法、头戴式显示设备和计算机可读介质
JP2015132875A (ja) 位置検出装置及びプログラム
TWM486800U (zh) 可變更角度的雙用途體感偵測攝像裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180420

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GmbH

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant