CN105745606A - 基于图像识别触摸敏感表面的目标触摸区域 - Google Patents

基于图像识别触摸敏感表面的目标触摸区域 Download PDF

Info

Publication number
CN105745606A
CN105745606A CN201380081141.4A CN201380081141A CN105745606A CN 105745606 A CN105745606 A CN 105745606A CN 201380081141 A CN201380081141 A CN 201380081141A CN 105745606 A CN105745606 A CN 105745606A
Authority
CN
China
Prior art keywords
touch
touch input
image
video camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380081141.4A
Other languages
English (en)
Other versions
CN105745606B (zh
Inventor
D.R.特雷特
J.康
K-H.谭
W.洪
B.N.苏格斯
D.B.肖尔特
O.西弗特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN105745606A publication Critical patent/CN105745606A/zh
Application granted granted Critical
Publication of CN105745606B publication Critical patent/CN105745606B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Abstract

本文中公开的示例涉及基于图像识别触摸敏感表面的目标触摸区域。示例包括在触摸敏感表面的位置处检测的触摸输入;表示设置在捕获图像的摄像机和触摸敏感表面之间的对象的图像;基于图像识别触摸敏感表面的目标触摸区域;以及当检测到的触摸输入的位置不在触摸敏感表面的至少一个识别出的目标触摸区域的任何一个内时,拒绝所检测到的触摸输入。

Description

基于图像识别触摸敏感表面的目标触摸区域
背景技术
许多计算系统包括至少一个显示器和至少一个输​​入设备。显示器可包括例如,监视器、屏幕、或类似物。示例输入设备包括鼠标、键盘、触摸板、或类似物。一些计算系统包括触摸敏感显示器用于既显示计算系统的输出又接收物理(例如,触摸)输入。
附图说明
下面的详细描述参考附图,其中:
图1是包括拒绝引擎的示例计算系统的示意性透视图;
图2是图1的示例计算系统的另一示意性透视图;
图3是图1的示例计算系统的示意性侧视图;
图4是图1的示例计算系统的示意性正视图;
图5是在示例操作期间图1的示例计算系统的示意性侧视图;
图6是在另一示例操作期间图1的示例计算系统的示意性正视图;
图7A是图1的示例计算系统的示意性侧视图,图示了图像捕获的示例;
图7B是包括拒绝引擎的图1的计算系统的一部分的示例的框图;
图7C是设置在计算系统的触摸敏感表面上方的对象的​​示例图像;
图7D是包括拒绝引擎的图1的计算系统的一部分的另一示例的框图;
图7E是设置在计算系统的触摸敏感表面上方的对象的另一示例图像;
图7F是设置在计算系统的触摸敏感表面上方的对象的另一示例图像;
图8是用于确定目标触摸区域的示例计算设备的框图;
图9是用于拒绝触摸输入的示例方法的流程图;和
图10是用于识别目标触摸区域的示例方法的流程图。
具体实施方式
在利用触摸敏感输入设备来检测与该设备的物理接触作为触摸输入的计算系统中,可能难以区分预期作为触摸输入的与该设备的物理接触和与触摸敏感输入设备的非预期的或意外的物理接触。例如,当利用能够检测由手部做出的触摸的触摸敏感表面时,可能难以区分预期作为输入的由指尖做出的物理接触和由停留在表面上的手掌做出的并且不预期作为输入的物理接触。
为了解决这些问题,本文描述的示例可基于由指向表面的摄像机捕获的表面的图像来确定计算系统的触摸敏感表面的至少一个目标触摸区域,并且拒绝不在(一个或多个)识别出的目标触摸区域中的任何一个内的位置处的触摸输​​入。本文所描述的示例可以包括:触摸敏感表面,用于检测在触摸敏感表面的位置处的触摸输入;摄像机,指向触摸敏感表面以捕获表示设置在给定摄像机和触摸敏感表面之间的对象的图像;和拒绝引擎,用于基于图像中表示的对象的特性来识别触摸敏感表面的用于接收触摸输入的至少一个目标触摸区域。在本文中所描述的示例中,拒绝引擎用于响应于检测到的触摸输入的位置不在触摸敏感表面的任何(一个或多个)识别出的目标触摸区域内的确定而拒绝检测到的触摸输入。
以此方式,本文所描述的示例可以使用设置在触摸敏感表面上方的对象的图像来基于在图像中表示的对象的所述特性(例如,位置、方位、取向、形状等)确定由所述表面检测到特定触摸输入是否有可能是预期触摸,并且如果该触摸输入有可能是非期望触摸,则拒绝该触摸输入。例如,本文所描述示例可以确定接近于在触摸敏感表面上方的手部的指尖的表面位置是目标触摸区域(即,用于接收预期触摸输入),而目标触摸区域排除手部的手掌下的位置。在这样的示例中,手掌触摸该表面(例如,非预期地)时接收的触摸输入可能被拒绝,因为该触​​摸输入的位置不在任何目标触摸区域内。
现在参照附图,图1-7A是包括拒绝引擎170的示例计算系统100的示意性视图。在图1-7A的示例中,系统100通常包括支撑结构110、计算设备150、投射仪单元180、和触摸敏感表面200。计算设备150可包括拒绝引擎170,用于响应于基于图像确定的、检测到的触摸输入的位置不在表面200的任何目标触摸区域内的确定而拒绝由表面200检测到的触摸输入,如上所述。
计算设备150可以包括与本文公开的原理相符的任何合适的计算设备。如本文所使用的,“计算设备”可以包括电子显示设备、智能电话、平板电脑、芯片组、一体化计算机(例如,包括显示设备的设备,显示设备还容纳(一个或多个)计算机的处理资源)、台式计算机、笔记本计算机、工作站、服务器、任何其它处理设备或装备,或它们的组合。在这个示例中,设备150是具有中心轴或中心线155、第一或顶侧150A、与顶侧150A轴向相对的第二或底侧150B、在侧面150A和150B之间轴向延伸的前侧150C、也在侧面150A和150B之间轴向延伸并且通常与前侧150C径向相对的后侧150D的一体化计算机。显示器152沿着前侧150C设置并且限定计算系统100的观看表面以便显示由系统100的用户观看的图像。在本文所述的示例中,显示器可以包括适于显示图像、视频、或类似物的任何技术的部件。
在一些示例中,显示器152可以是触摸敏感显示器。在本文所描述的示例中,触摸敏感显示器可以包括例如用于显示图像、视频、或类似物的任何合适的技术(例如,部件),并且可包括用于检测物理接触(例如,触摸输入)的任何合适的技术(例如,部件),诸如例如,电阻性、电容性、表面声波,红外(IR)、应变仪、光学成像、声脉冲识别、色散信号感测或单元化系统或类似物。在本文所述示例中,显示器152可以被称为触摸敏感显示器152。设备150还可以包括摄像机154,其可以是例如网络摄像机。在一些示例中,摄像机154可以捕获位于显示器152前面的用户的图像。在一些示例中,设备150还可以包括麦克风或用于接收声音输入(例如,来自用户的语音输入)的其他设备。
在图1-7A的示例中,支撑结构110包括基座120、直立构件140和顶部160。基座120包括第一或前端120A和第二或后端120B。基座120可以与支撑表面15接合以支撑系统100的部件中的至少一部分(例如,构件140、单元180、设备150、顶部160等等)的重量。在一些示例中,当系统100被配置用于操作时,基座120可与支撑表面15以这种方式接合。在图1-7A的示例中,基座120的前端120A包括凸起部分122,例如当基座120如图2中所示被设置在支撑表面15上时,凸起部分122可设置在支撑表面15上方并且与支撑表面155分离(在部分122和表面15之间产生空间或间隙)。在这样的示例中,触摸敏感表面200的侧面的一部分可以设置在部分122和表面15之间形成的空间中(例如,被接收在其内)。在这样的示例中,将表面200的一部分放置在由部分122和表面15创建的空间内可协助表面200的适当对准。在其它示例中,其它合适的方法或设备可以用来协助表面200的对准。
直立构件140包括第一或上端140A、与上端140A相对的第二或下端140B、在端140A和140B之间延伸的第一或前侧140C、以及与前侧140C相对并且也在端140A和140B之间延伸的第二或后侧140D。构件140的下端140B耦合到基座120的后端120B,使得构件140从支撑表面15基本向上延伸。
顶部160包括第一或近端160A、与近端160A相对的第二或远端160B、在端160A和160B之间延伸的顶表面160C、以及与顶表面160C相对并且也在端160A和160B之间延伸的底表面160D。顶部160的近端160A耦合到直立构件140的上端140A,使得远端160B从直立构件140的上端140A向外延伸。照此,在图2中所示的示例中,顶部160在端160A处被支撑(而不是在端160B),并且在本文中可被称为悬臂顶部。在一些示例中,基座120、构件140和顶部160可以整体形成。在其它示例中,基座120、构件140和顶部160中的两个或更多个可以由分立件形成(即,不整体形成)。
触摸敏感表面200可包括中心轴或中心线205、第一或前侧200A、以及与前侧200A轴向相对的第二或后侧200B。触摸敏感表面200可以包括用于检测与表面200的物理接触作为触摸输入的任何合适的技术。例如,触摸敏感表面200可以包括用于检测(且在一些示例中跟踪)由用户做出的一个或多个触摸输入的任何合适的技术以使用户能够经由这样的触摸输入与由设备150或另一个计算设备执行的软件进行交互。在本文所述示例中,触摸敏感表面200可以是任何合适的触摸敏感平面(或基本上平面)对象,诸如触摸敏感垫、桌面、片材等。在一些示例中,触摸敏感表面200可以设置为水平(或近似或基本水平)。例如,表面200可设置在支撑表面15上,支撑表面15可以是水平的(或近似或基本水平)。
在一些示例中,所有或基本上所有表面200都可能能够如上所述那样检测触摸输入。在其它示例中,不是所有表面200都可能能够如上所述那样检测触摸输入。例如,表面200可以包括触摸敏感区域202,触摸敏感区域202延伸过少于全部表面200,其中区域202能够如上所述那样检测触摸输入。在其它示例中,区域202可以延伸过基本上全部表面200(例如,可以与表面200基本共界)。区域202可以与轴205基本对准。
如上所述,表面200可以与结构110的基座120对准,以协助表面200的适当对准(例如,至少在系统100的操作期间)。在图1-7A的示例中,表面200的后侧200B可被设置在基座120的凸起部分122和支撑表面15之间,使得后端200B与基座120的前侧120A对准,以协助表面200与系统100的其它部件的适当整体对准(并且特别是区域202与系统100的其它部件的适当对准)。在一些示例中,表面200可以与设备150对准,使得设备150的中心线155基本上与表面200的中心线205对准。在其它示例中,表面200可与设备150以不同方式对准。
在一些示例中,表面200和设备150可以通信地彼此连接(例如,电耦合),使得由表面200接收到的用户输入可被传递到设备150。表面200和设备150可以经由任何合适的有线或无线通信技术或机制(诸如例如WI-FI、蓝牙、超声技术、电缆、电引线、电导体、具有磁性保持力的电气弹性加载伸缩探针、或类似物、或它们的组合)彼此通信。在图1-7A的示例中,设置在表面200的后侧200B上的暴露电触点可以与基座120的部分122内的对应电气伸缩探针引线接合,以在系统100的操作期间在设备150和表面200之间传递信息(例如传输信号)。在这种示例中,电触点可通过相邻磁体(位于基座120的部分122和表面15之间的间隙中)保持在一起以便磁性吸引并保持(例如,机械地)沿着表面200的后侧200B设置的对应亚铁和/或磁性材料。
参照图3,投射仪单元180包括外部壳体182和设置在壳体182内的投射仪组件184。壳体182包括第一或上端182A、与上端182A相对的第二或下端182B、以及内腔体183。在图3的示例中,壳体182还包括耦合或安装构件186,用于接合和支撑设备150(例如,至少在系统100的操作期间)。构件186可以是用于悬挂和支撑如本文所描述的任何合适的计算设备150的任何合适的机构或设备。例如,构件186可以包括铰链,该铰链包括旋转轴,使得设备150可以(例如,由用户)关于旋转轴旋转以获得所期望的角度用于观看显示器152。在一些示例中,设备150可以永久地或半永久地附接到单元180的壳体182。在一些示例中,壳体180和设备150可以被一体或整体形成为单个单元。
参照图4,在一些示例中,当设备150从结构110经由壳体182上的安装构件186被悬挂时,在从前面(即,基本上面对设置在设备150的前侧150C上的显示器152)观看系统100时,投射仪单元180(即,壳体182和组件184)可以基本上隐藏在设备150后面。此外,如图4中所示,当设备150从结构110被悬挂时,如上所述,投射仪单元180(即,壳体182和组件184)以及投射的任何图像由此可以基本上相对于设备150的中心线155对准或以中心线155为中心。
再次参照图 3,投射仪组件184被设置在壳体182的腔体183内,并且包括第一或上端184A、与上端184A相对的第二或下端184B。上端184A接近壳体182的上端182A,而下端184B接近壳体182的下端182B。投射仪组件184可以包括用于从计算设备(例如,设备150)接收数据和投射与该输入数据对应的(一个或多个)图像(例如,从上端184A)的任何合适的数字光投射仪组件。例如,在一些实施方式中,投射仪组件184可包括数字光处理(DLP)投射仪或硅上液晶(LCoS)投射仪,它们有利地是紧凑且功率高效的投射引擎,能够实现多个显示分辨率和尺寸,诸如例如, 4:3的宽高比情况下的标准XGA分辨率(1024×768像素),或16:10的宽高比情况下的标准WXGA分辨率(1280×800像素)。投射仪组件184进一步以通信方式连接(例如,电耦合)至设备150以便从其接收数据并且基于该接收的数据从端184A产生(例如投射)光和(一个或多个)图像。投射仪组件184可经由例如任何合适类型的电耦合或本文描述的任何其它合适的通信技术或机制以通信方式连接到设备150。在一些示例中,组件184可以通信方式经由(一个或多个)电导体、WI-FI、蓝牙、光学连接、超声波连接、或它们的组合被连接到设备150。在图1-7A的示例中,设备150通过设置在安装构件186内的电导线或导体(例如,如上面关于表面200和基座120所描述的)以通信方式连接到组件184,使得当设备150从结构110通过构件186被悬挂时,设置在构件186内的电导线接触设置在设备150上的对应导线或导体。
仍然参照图3,顶部160还包括折叠镜162和传感器束164。镜162包括高反射表面162A,高反射表面162A沿着顶部160的底表面160D设置并且被定位成反射在操作期间从投射仪组件184的上端184A朝向表面200投射的光、(一个或多个)图像等。镜162可以包括任何合适类型的镜或反射表面。在图1-7A的示例中,折叠镜162可以包括标准前表面真空金属化铝涂覆玻璃镜,其作用是把从组件184发射的光向下朝表面200折叠。在其它示例中,镜162可以具有复杂的非球面曲率以便充当反射透镜元件来提供附加的聚焦力或光学校正。
传感器束164包括至少一个传感器(例如,摄像机或其他类型的传感器),以基于传感器束164和表面200之间的区域的状态(例如在该区域中发生的活动)来检测、测量、或以其他方式获取数据。传感器束164和表面200之间的区域的状态可以包括表面200上或上方的(一个或多个)对象、或在表面200上或附近发生的(一个或多个)活动。在图3的示例中,束164包括RGB摄像机164A(或另一类型的彩色摄像机164A)、IR摄像机164B、深度摄像机(或深度传感器)164C、以及环境光传感器164D。在本文所描述的示例中,摄像机可以被称为“传感器”。
在一些示例中,RGB摄像机164A可以是用于捕获彩色图像(例如,静止图像和视频的至少一个)的摄像机。在一些示例中,RGB摄像机164A可以是用于根据RGB颜色模型(其在本文中可以被称为“RGB图像”)捕获图像的摄像机。在一些示例中,RGB摄像机164A可以捕获具有相对高的分辨率(诸如例如几百万像素(MP)数量级的分辨率)的图像。作为示例,RGB摄像机164A可捕获具有14MP分辨率的彩色(例如,RGB)图像。在其它示例中,RBG摄像机164A可以捕获具有不同分辨率的图像。在一些示例中,RGB摄像机164A可以指向表面200,并且可以捕获表面200、设置在表面200和RGB摄像机164A之间(例如,在表面200上或上方)的(一个或多个)对象、或​​它们的组合的(一个或多个)图像。
IR摄像机164B可以是用于在摄像机164B的视场中的多个点处检测IR光的强度的摄像机。在本文所述示例中,IR摄像机164B可以与系统100的IR光投射仪166(参见图7A)一起操作以捕获IR图像。在这些示例中,每个IR图像可以包括多个像素,每个像素表示在由像素表示的点处检测到的IR光的强度。在一些示例中,系统100的顶部160可包括IR光投射仪166(参见图7A)用于朝向表面200投射IR光167,并且IR摄像机164B可以指向表面200。在这些示例中,IR摄像机164B可以检测由表面200、设置在表面200和IR摄像机164B之间(例如,在表面200上或上方)的(一个或多个)对象、或它们的组合反射的IR光的强度。在一些示例中,IR摄像机164B可以排它地检测由IR光投射仪166投射的(例如,如从表面200、(一个或多个)对象等反射,或直接接收的)IR光167。
深度摄像机164C可以是用于检测在深度摄像机164C的视场中的(一个或多个)对象的部分的相应(一个或多个)距离(或(一个或多个)深度)的摄像机((一个或多个)传感器等)。如本文所使用的,由深度摄像机检测到的数据可以在本文中被称为“距离”或“深度”数据。在本文所述示例中,深度摄像机164C可以捕获多像素深度图像(例如,深度图),其中,每个像素的数据表示在由该像素表示的点处的对象的部分的(从摄像机164C测量的)距离或深度。深度摄像机164C可以使用任何合适的技术(诸如(一个或多个)立体摄像机、具有均匀泛射的IR光的单个IR摄像机传感器、具有均匀泛射的IR光的双IR摄像机传感器、结构化光深度传感器技术、飞行时间(TOF)深度传感器技术、或它们的组合)来实现。在一些示例中,深度传感器164C可指示对象(例如,三维对象)何时在表面200上。在一些示例中,深度传感器164C可检测到如下至少一项:放置在表面200上的对象(或其部分)的存在、形状、轮廓、运动、和(一个或多个)相应距离。
环境光传感器164D可以被布置用于测量在系统100周围的环境中光的强度。在一些示例中,系统100可以使用传感器164D的测量结果来调整系统100的其它部件,诸如例如,系统100的传感器或摄像机(例如,摄像机164A-164C)的曝光设置、从系统100的光源(例如,投射仪组件184、显示器152等)发射的光的强度、或类似物。
在一些示例中,传感器束164可以省略传感器164A-164D中的至少一个。在其它示例中,除了传感器164A-164D之外,或代替传感器164A-164D中的至少一个,传感器束164可包括其他(一个或多个)摄像机、(一个或多个)传感器等。例如,传感器束164可包括用户接口传感器,用户接口传感器包括任何合适的(一个或多个)设备(例如,(一个或多个)传感器、(一个或多个)摄像机),用于跟踪用户输入设备,诸如例如,手部、触笔、指点设备等。在一些示例中,用户接口传感器可以包括一对摄像机,它们被布置为当用户输入设备由用户关于表面200(例如关于表面200的区域202)移动时立体跟踪用户输入设备(例如,触笔)的位置。在其它示例中,用户接口传感器可以附加地或替代地包括(一个或多个)IR摄像机或(一个或多个)传感器,它们被布置为检测由用户输入设备发射或反射的红外光。在一些示例中,传感器束164可以包括手势摄像机,用于检测由(一个或多个)对象(例如,手部等)做出的预定义手势的执行。在一些示例中,手势摄像机可包括深度摄像机和附加功能用于检测、跟踪随着时间的不同类型的运动等。
在本文所描述的示例中,束164的每个传感器164A-164D以通信方式连接(例如,耦合)到设备150使得束164内生成的数据(例如,由摄像机捕获的图像)可被提供给设备150,并且设备150可向传感器束164的(一个或多个)传感器和(一个或多个)摄像机提供命令。束164的传感器164A-164D可以经由任何合适的有线或无线通信技术或机制(其示例如上所述)以通信方式连接到设备150。在图1-7A的示例中,电导体可以从束164通过顶部160、直立构件140以及投射仪单元180被路由,并且通过设置在安装构件186内的引线被路由到设备150中(如上所述)。
参照图5和6,在系统100的操作期间,投射仪组件184可以投射可见光187以反射离开镜162朝向表面200,从而在表面200的投射仪显示空间188上显示(一个或多个)可见图像。在图5-6的示例中,空间188可以大致是矩形,具有长度188L和宽度188W。在一些示例中,长度188L可以是近似16英寸,而宽度188W可以是近似12英寸。在其它示例中,长度188L和宽度188W可以具有不同的值。
在一些示例中,传感器束164的摄像机(例如,摄像机164A-164C)被布置在系统100内以使得每个摄像机的视场包括表面200的空间168,空间168可与部分或全部显示空间188重叠,或者可以与显示空间188共界。在本文所描述的示例中,传感器束164的摄像机(例如,摄像机164A-164C)的视场可以被认为包括空间168,尽管有时表面200可在表面200上或上方被(一个或多个)对象至少部分地遮蔽。在这样的示例中,表面200上或上方的(一个或多个)对象可以在摄像机164A-164C中的至少一个的视场中。在这样的示例中,传感器束164的传感器可以基于传感器束164和表面200的空间168之间的区域的状态(例如,发生在该区域中的活动,设置在该区域中的(一个或多个)对象)获取数据。在一些示例中,空间188和空间168与表面200的区域202重合或对应,使得触摸敏感区域202、投射仪组件184和传感器束164的功能全部相对于相同定义的区域被执行。传感器束164的摄像机(例如,摄像机164A-164C)的视场165被示意性地图示在图7A中。在一些示例中,传感器束164的每个摄像机(例如,摄像机164A-164C)可以具有略微不同的视场。
现在参考图 5-7A,设备150可引导投射仪组件184把(一个或多个)图像投射到表面200上(例如,到区域202上)。设备150也可以在显示器152上显示(一个或多个)图像(其可以与由投射仪组件184投射到区域202上的(一个或多个)图像相同或不同)。由组件184投射的(一个或多个)图像可以包括通过软件由设备150执行而产生的信息和/或图像。在一些示例中,用户可以通过以任何合适的方式(诸如利用用户的手部35(例如,经由触摸、敲击、手势,或其他触摸输入)、利用触笔25、或经由任何其它适当的(一个或多个)用户输入设备)物理地接合触摸敏感表面200来与投射在表面200上并且显示在显示器152上的(一个或多个)图像交互。如上所述,触摸敏感表面200可以经由与表面200的物理接合来检测这种交互。而且,在一些示例中,组件184还可以在设置在表面200上方的对象(例如,手部35,如图5中所示)上(至少部分地)投射(一个或多个)图像。
作为示例,当用户经由物理接触(例如,利用手部35,如图7A中所示)与触摸敏感表面200交互时,表面200可以生成触摸输入信息,并通过任何合适的连接(其示例如上所述)将该触摸输入信息提供给设备150。在一些示例中,触摸输入信息可被提供给拒绝引擎170(或由拒绝引擎170实现的应用或服务),拒绝引擎170可以拒绝该触摸输入(如本文所述)、或者将该触摸输入传递到在设备150上执行的操作系统(OS)。在一些示例中,操作系统可以将接收到的触摸输入传递给在设备150上执行的另一应用(例如,程序等)。作为响应,执行操作系统或应用可以改变由投射仪组件184投射的(一个或多个)图像、在显示器152上显示的(一个或多个)图像、或它们的组合。如本文所使用的,“应用”、“计算机应用”或“服务”是可由处理资源执行的机器可读指令的集合。在一些示例中,用户可以类似地与在显示器152(其可以是触摸敏感显示器)上显示的(一个或多个)图像或​​设备150的任何其它输入设备(例如,键盘、鼠标等)交互。
在一些示例中,传感器束164的传感器(例如,摄像机)也可以生成系统输入,该系统输入可以被提供给设备150用于进一步处理。例如,系统100可利用束164的(一个或多个)摄像机来检测用户手部35(或触笔25,如图5中所示)的存在和位置中的至少一个,并提供表示检测到的信息的系统输入信息给设备150。所提供的系统输入信息可以被传递到由设备150所执行的应用和操作系统中的至少一个,并且可以改变由系统100显示的(一个或多个)图像,如上面关于触摸输入描述的。例如,束164可包括被布置为执行立体触笔(例如,触笔25)跟踪的一对摄像机或传感器。在其它示例中,触笔25包括涂覆有红外回复反射涂层(例如,油漆)的尖端26使得前端26可以用作红外回复反射器。在这样的示例中,束164可以包括(一个或多个)IR摄像机(或(一个或多个)传感器),如上所述,其检测被反射离开尖端26的IR光,以使设备150能够在尖端26跨区域202移动时跟踪尖端26的位置。在一些示例中,表面200(具有由组件184投射在其上的(一个或多个)图像)可以在系统100内用作第二或替代触摸敏感显示器。另外,对与表面200上显示的(一个或多个)图像的交互的检测可以通过使用如上所述传感器束164的传感器而被增强。
在一些示例中,系统100可以捕获物理对象的(一个或多个)二维(2D)图像或创建物理对象的三维(3D)扫描,使得该对象的图像然后可以被投射到表面200上用于进一步使用和对其进行操纵。例如,如图6中所示,对象40可被放置在表面200上,使得束164的传感器(例如,摄像机164A-164C中的至少一个)可检测对象40的位置、尺寸和颜色中的至少一种,以增强其(一个或多个)2D图像或创建其3D扫描。在这种示例中,由束164的传感器收集的信息可被提供给设备150(例如,设备150的操作系统、应用、服务等),如上述。在一些示例中,在接收到所述信息之后,设备150(例如,操作系统、应用、服务等)可引导投射仪组件184把对象40的图像投射到表面200上。对象40可以是,例如,智能电话、书、文件、照片、或任何其它物理对象。在一些示例中,一旦(一个或多个)对象被束164的传感器扫描,表示对象的图像的背景就可以被移除(例如如下所述那样经由分割处理),并且所产生的前景对象的图像可以被投射到表面200上(或在显示器152上示出)。在这种示例中,物理对象(例如,对象40)的图像可以被捕获、处理并且在表面200上显示,以便快速且容易地创建物理对象的数字版本以允许进一步操纵它们。
图7B是包括拒绝引擎170的图1的计算系统100的一部分的框图。具体来说,图7B图示计算设备150的示例,该计算设备150包括拒绝引擎170并且以通信方式连接到传感器束164中的至少一个摄像机(例如,摄像机164A)(如上所述)和触摸敏感表面200,如上所述。虽然在图7B中未示出,但计算设备150还可以以通信方式连接到系统100的其它部件,如上所述。
计算设备150(或实现拒绝引擎170的任何其它计算设备)可以包括至少一个处理资源。在本文所描述的示例中,处理资源可以包括,例如,包括在单个计算设备中或跨多个计算设备分布的一个处理器或多个处理器。如本文所使用的,“处理器”可以是如下各项中的至少一个:中央处理单元(CPU)、基于半导体的微处理器、图形处理单元(GPU)、被配置为检索并执行指令的现场可编程门阵列(FPGA)、适于检索并执行存储在机器可读存储介质上的指令的其它电子电路,或者它们的组合。
如上所述,在图7B的示例中,计算设备150包括拒绝引擎170。在其它示例中,拒绝引擎170可以包括(一个或多个)附加引擎。在图7D的示例中,例如,拒绝引擎170包括分割引擎172以及识别引擎174。在一些示例中,引擎170可包括(一个或多个)附加引擎。在本文所描述的示例中,计算设备150的任何(一个或多个)引擎(例如,引擎170、172、174等)可以是用于实现相应引擎的功能的硬件和编程的任何组合。硬件和编程的这种组合可以以多种不同的方式来实现。例如,该编程可以是存储在非临时性机器可读存储介质上的处理器可执行指令并且硬件可包括用于执行这些指令的处理资源。在这种示例中,机器可读存储介质可以存储如下指令:当该指令由处理资源执行时,实现该引擎。存储指令的机器可读存储介质可以被集成在相同计算设备(例如,设备150)中作为处理资源来执行指令,或者机器可读存储介质可以与计算设备和处理资源分离,但可以由计算设备和处理资源访问。处理资源可包含包括在单个计算设备中或者跨多个计算设备分布的一个处理器或多个处理器。
在一些示例中,指令可以是安装包的一部分,在被安装时,该部分可以由处理资源执行以实现系统100的引擎。在这样的示例中,机器可读存储介质可以是便携介质,诸如压缩盘、DVD或闪存驱动器、或由服务器保持的存储器,该安装包可以从该服务器被下载和安装。在其它示例中,所述指令可以是已经安装在包括处理资源的计算设备(例如,设备150)上的一个或多个应用的一部分。在这样的示例中,机器可读存储介质可包括存储器,诸如硬盘驱动器、固态驱动器、或类似物。
如本文所使用的,“机器可读存储介质”可以是任何电子、磁性、光学、或其他物理存储装置,用于包含或存储信息,诸如可执行指令、数据、和类似物。例如,本文所述的任何机器可读存储介质可以是如下各项的任何一个:存储驱动器(例如,硬盘驱动器)、闪存、随机存取存储器(RAM)、任何类型的存储盘(例如,压缩盘、DVD等)、和类似物,或者它们的组合。此外,本文所述的任何机器可读存储介质可以是非临时性的。
拒绝引擎170的示例在下面关于图7A-7F进行描述。参照图7A-7C,计算系统100包括触摸敏感表面200,用于在触摸敏感表面200的位置处检测触摸输入,如上所述。如本文所使用的,“触摸输入”可以是触摸敏感表面和可以由该表面检测的对象(例如,手指、触笔等)之间的至少一个物理接触(或其它物理交互)。在图7A-7C的示例中,触摸输入可以通过手部35和表面200之间的物理接触来提供。在其它示例中,可能通过由任何其它合适的对象35进行的接触来提供触摸输入。
如上所述,计算系统100可以包括传感器束164,传感器束164包括指向触摸敏感表面200的至少一个摄像机164A。在图7B的示例中,计算设备100包括指向表面200(如图7A中所示)的摄像机164A(例如,RGB摄像机164A)。摄像机164A可以捕获表示设置在摄像机164A和触摸敏感表面200之间的对象35(例如,手部)的图像700。示例图像700图示于图7C中,其中图像700包括:对象表示710,其可以是图像700的表示对象35的部分;和背景表示715,其可以是图像700的表示表面200的部分。虽然图7C图示了在手部35张开时捕获的示例图像700,但在其他示例中,摄像机164A可以捕获以任何其他方式保持(例如,当伸出手指时,如图7A中所示)的手部35的图像。
在图7A-7C的示例中,拒绝引擎170可以识别触摸敏感表面的至少一个目标触摸区域,其中每个识别出的目标触摸区域用于接收触摸输入。如本文所使用的,计算系统的触摸敏感表面的“目标触摸区域”可以是如下区域:该区域包括非全部的该表面,并且计算系统可以从该区域接受由该表面检测到的触摸输入。在本文所述示例中,拒绝引擎170可以基于由在指向表面200的至少一个摄像机(诸如摄像机164A)捕获的至少一个图像中表示的对象的至少一个特性(例如,位置、方位、取向、形状等)识别目标触摸区域。例如,引擎170可以基于设置在表面200上方的对象的图像识别触摸敏感表面200的紧密靠近与预期触摸输入相关联的对象的一部分的区域。例如,当对象是手部时,手部的指尖可被视为与预期触摸输入相关联的对象的部分。在一些示例中,紧密靠近与预期触摸输入相关联的对象的一部分的区域可以被定义为包括所述对象本身的所述部分的检测到的位置的阈值距离内的位置。例如,当目标触摸区域基于指尖时,目标触摸区域可以被识别为以指尖为中心的5mm半径的圆,或类似物。在其它示例中,该区域可以是不同的尺寸、形状等。
作为示例,参照图7C的图像700,在图像中表示的对象35可以是手部35(由对象表示710表示)。在这样的示例中,引擎170可以把表面200的紧密靠近手部35的食指的区域识别为目标触摸区域720,该食指可以与预期触摸输入相关联。在这样的示例中,由引擎170所识别的目标触摸区域可以排除表面200的其它区域,该其它区域紧密靠近(例如,在正下方)对象35的不与预期触摸输入相关联的其它部分。例如,与食指相关联的目标触摸区域720可以排除表面200如下区域:该区域紧密靠近手部35的手掌(例如,图7C的非目标触摸区域725),因为手掌可以与非预期(例如,意外)触摸输入相关联。在一些示例中,引擎170可以识别表面200的多个目标触摸区域。例如,如图7C中所示,引擎170可以识别多个目标触摸区域720,每个目标触摸区域720是表面200的紧密靠近(例如,在其相对较小的阈值距离内)手部35的相应手指(例如,包括拇指)的尖端的区域。
在一些示例中,表面200的不在由引擎170所识别的目标触摸区域内的任何区域可以被视为非目标触摸区域,从非目标触摸区域检测到的触摸输入将被拒绝,如下面所述的。例如,如图7C中所示的,表面200包括非目标触摸区域725,非目标触摸区域725包括表面200的在紧密靠近(例如,在正下方)手部35的手掌的位置。虽然示例非目标触摸区域725在图7C中被示出,但在一些示例中,非目标触摸区域可包括区域725以及表面200的未包含在目标触摸区域720的至少一个中的所有其它区域。在本文描述的示例中,由引擎170识别的表面200的每个目标触摸区域可小于表面200的整个面积。在图7C的示例中,每个识别出的目标触摸区域720包括触摸敏感表面200的手部35的相应指尖设置在其上方的相应区域,并且排除表面200的手部35的手掌被设置在其上方的另一区域(例如,区域725)。
在图7A-7B的示例中,拒绝引擎170可确定由表面200检测到的触摸输入的位置是否在表面200的(一个或多个)识别出的目标触摸区域的任何一个内。在这样的示例中,拒绝引擎170可以响应于确定检测到的触摸输入的位置不在(一个或多个)识别出的目标触摸区域的任何一个内而拒绝检测到的触摸输入。例如,表面200可以在表面200的位置194处检测触摸输入,如图7C中所示,并且引擎170可以识别目标触摸区域720,如上所述。在这样的示例中,引擎170可确定检测到的触摸输入的位置194不在任何所识别的目标触摸区域720内,并且可以响应于该确定而拒绝所检测到的触摸输入。例如,如图7C中所示,触摸输入的位置194可以是表面200的手部35的手掌设置在其上方的位置。在其中触摸输入的位置194处于表面200的手掌被布置在其上方的区域中的这种示例中,拒绝引擎170可以响应于确定检测到的触摸输入的位置194不在表面200的任何识别出的目标触摸区域720内而拒绝所检测到的触摸输入。
在本文所述的示例中,为了拒绝给定触摸输入​​,拒绝引擎170可以,例如,处置给定触摸输入,以使得其对拒绝引擎170以外的计算系统100的任何(一个或多个)应用、(一个或多个)服务、(一个或多个)操作系统功能、或者(一个或多个)其它方面没有影响。例如引擎170可以通过不提供给定触摸输入(即,描述给定触摸输入的信息)给计算系统100的任何其他部件(诸如计算设备150的操作系统)来拒绝给定触摸输入。
拒绝引擎170可以响应于确定所检测到的触摸输入的位置在(一个或多个)识别出的目标触摸区域的任何一个内而接受检测到的触摸输入。例如,表面200可以在表面200的位置192处检测触摸输入,如图7C中所示,并且引擎170可以识别目标触摸区域720,如上所述。在这样的示例中,引擎170可确定检测到的触摸输入的位置192在识别出的目标触摸区域720的一个内,并且可以响应于该确定而接受所检测到的触摸输入。
在本文所述的示例中,为了接受给定触摸输入​​,拒绝引擎170可以把给定触摸输入(即,描述给定触摸输入的信息)传递给计算设备150的触摸输入处理功能,该触摸输入处理功能可以被包括在正由计算设备150执行的操作系统或其他应用中,以使得给定触摸输入可以影响拒绝引擎170之外的计算系统100的(一个或多个)应用、(一个或多个)服务、和/或(一个或多个)其它方面。
图7D是计算系统100的一部分的另一示例的框图。在图7D的示例中,系统100包括计算设备150,计算设备150包括拒绝引擎170并且以通信方式连接到触摸敏感表面200,如以上关于图7B描述的。在图7D的示例中,也可以以通信方式连接到传感器束164的摄像机164A-164C,并且拒绝引擎170可以包括引擎172和174。
如上面关于图7A-7C所述,触摸敏感表面200可以在表面200的位置处检测触摸输入,并且束164中的指向表面200的至少一个摄像机可以捕获表示设置在(一个或多个)摄像机和表面200之间的对象的(一个或多个)图像。在图7D的示例中,分割引擎172可以基于所捕获的(一个或多个)图像识别至少部分地表示对象35的外边缘的分割边界。在这样的示例中,引擎170的识别引擎174可以基于对应于分割边界的对象35的(一个或多个)特性(例如,诸如对象35或其部分的形状、取向、(一个或多个)方位、(一个或多个)位置等)识别表面200的至少一个目标触摸区域。例如,在对象35是手部的示例中,被引擎174利用以识别(一个或多个)目标触摸区域的特性可以包括(一个或多个)指尖位置、(一个或多个)手掌位置等。
在一些示例中,分割引擎172可以对捕获的图像执行处理,以提取表示在所捕获的图像中的至少一个前景对象的图像。该处理在本文中可称为“分割”。在一些示例中,这样的分割处理的结果可以是与表示在捕获的图像中的至少一个背景分离的前景对象的图像。在一些示例中,分割处理可包括确定表示在所捕获的图像中的对象的分割边界。如本文所使用的,表示在图像中的对象的“分割边界”可以是表示如下各项的估计的信息:图像的哪个(哪些)部分表示该对象以及图像的哪个(哪些)部分表示除了对象之外的特征(例如背景)。在一些示例中,在图像中表示的对象的分割边界可以包括表示如下的信息:在图像中表示的该对象的至少一个外边缘。当执行分割处理时,计算系统可以使用该分割边界来从较大捕获的图像(例如,还表示背景的部分)提取对象的图像。
在一些示例中,分割引擎172可基于利用传感器束164的摄像机捕获的图像确定分割边界。例如,引擎172可基于利用摄像机164A捕获的图像700确定对象35的分割边界。在一些示例中,计算设备150可使用所确定的分割边界来从表示多于对象35的捕获的图像700提取对象35的图像。所得到的分割图像可以是图像700的表示对象35的部分(例如,表示710),其具有图像700的表示被减掉的(一个或多个)其他特征(例如,背景表示715)的部分。在这种示例中,所得到的分割图像可以对应于对象表示710。在本文所述的示例中,分割边界可以以任何合适的形式、格式、数据结构、或类似物来表示。例如,分割边界可被表示为二进制掩码,该二进制掩码指示,对于至少一个对应图像(例如,图像700)的每个像素,该像素是否表示对象的一部分。作为示例,引擎172可以对捕获的图像700运行梯度滤波,以检测具有相对较高梯度量值的图像部分,以便估计对象35的至少(一个或多个)边缘。
在一些示例中,引擎170的识别引擎174可以基于对象35的对应于分割边界的特性(诸如例如,对象35或其部分的形状、取向、(一个或多个)方位、(一个或多个)位置等)识别表面200的至少一个目标触摸区域。在本文所描述的示例中,对象“对应于”分割边界可以是其(一个或多个)外缘由分割边界表示的对象。
在对应于分割边界的对象是手部的示例中,识别引擎174可以识别紧密靠近手部的(一个或多个)相应指尖的(一个或多个)目标触摸区域,如上所述。在这样的示例中,引擎174可以基于表示手部的所捕获的图像的部分(例如,对应于所确定的分割边界并且基于所确定的分割边界提取的图像的部分)提取手部的骨骼模型。在这样的示例中,引擎174可以使用例如基于启发式的方法、中轴变换(MAT)、网格收缩、树形结构提取算法、基于连接准则的欧几里德骨骼提取、或任何其它合适的技术来提取手部的骨骼模型。引擎174可以使用所提取的骨骼模型来确定指尖相对于触摸敏感表面200的(一个或多个)位置并且识别(一个或多个)相应区域,每个区域均在指尖之一的相对较小的阈值距离内,作为表面200的(一个或多个)目标触摸区域(参见例如,图7C的区域720)。在本文所述示例中,拒绝引擎170可以将由传感器束164的(一个或多个)摄像机捕获的(一个或多个)图像的区域与表面200的位置相关,使得表面200的(一个或多个)目标触摸区域可以基于由(一个或多个)摄像机捕获的(一个或多个)图像来被识别。
在其中对象不是手部的其它示例中,识别引擎174可以不同地识别(一个或多个)目标触摸区域。例如,对象可以是具有尖端26的触笔25,如图5中所示。在这样的示例中,传感器束164的摄像机可以捕获表示设置在摄像机和表面200之间的触笔25的图像702(参见图7E)。在这样的示例中,图像702可以包括对象表示712(表示触笔25)和背景表示714(表示表面200和保持触笔的手部)。在这样的示例中,引擎172可从图像702分割对象表示712的至少一部分,并且引擎174可识别表面200的目标触摸区域730,目标触摸区域730包括紧密靠近尖端26位置(例如在其阈值距离内)的位置。在这样的示例中,表面200的所有其他区域可被视为非目标触摸区域,包括例如表面200的非目标触摸区域735,在非目标触摸区域735上方被设置有保持触笔25的手部的手掌。
还在其它示例中,识别引擎174可以基于由传感器束164的摄像机捕获的图像中对象的(一个或多个)特性来识别(一个或多个)非目标触摸区域。例如,物理对象40可被放置在表面200上,如图6中所示。在这样的示例中,传感器束164的摄像机可以捕获表示设置在摄像机和表面200之间的对象40的图像704(参见图7F)。在这样的示例中,图像704可以包括对象表示716(表示对象40)和背景表示718(表示表面200)。在这样的示例中,引擎172可以从图像704分割对象表示716,并且引擎174可以识别表面200的包括如下位置的非目标触摸区域745:该位置相对于表面200包括并且紧密包围(例如,在其阈值距离内)对象40的(一个或多个)位置。在这样的示例中,紧密包围对象40的位置可以被识别为非目标触摸区域745,以便当​​手部与对象40交互(例如,拾取对象40)时拒绝可以被检测到的非预期触摸输入。
如上所述,计算系统100可以包括在传感器束164中的多个不同类型的摄像机。在一些示例中,计算系统100可以利用不同类型的摄像机来捕获多个图像,每个图像表示设置在触摸敏感表面200和用于捕获图像的相应摄像机之间的对象。在一些示例中,该多个摄像机中的每一个都可以是RGB摄像机164A、IR摄像机164B、深度摄像机164C、和手势摄像机中的不同摄像机,如上所述。
例如,如图7D中所示,计算系统100可以包括计算设备150,计算设备150以通信方式连接到RGB摄像机164A、IR摄像机164B、深度摄像机164C、和触摸敏感表面200中的每一个。在这样的示例中,摄像机164A-164C中的每一个都可以指向表面200,并且可以捕获表示设置在相应摄像机和表面200之间的对象的相应图像。
在这样的示例中,分割引擎172可以基于所述多个图像中的每个来识别对象的分割边界。在一些示例中,摄像机164A-164C可以处于不同的物理位置。照此,摄像机164A-164C可以从略微不同的角度捕获相同场景的相应图象(例如,从上方观察表面200)。在这样的示例中,拒绝引擎170可在几何上对准由摄像机164A-164C捕获的对象的相应图像。例如,拒绝引擎170可构造针对摄像机164A-164C的像素的至少一个单应性(或(一个或多个)其它映射),使得对应于相同图像特征(例如,对象35)的像素可以在每个图像中被识别。单应性或其他映射可以以任何合适的方式被确定。在一些示例中,拒绝引擎170可以把每个图像的像素映射到公共坐标集以便几何对准图像。在一些示例中,引擎170也可以把表面200的位置映射到所述公共坐标集,或以其他方式把表面200的位置与所捕获的图像的像素相关。在一些示例中,引擎170可以在执行分割处理的其他功能之前执行这样的几何对准。
在一些示例中,分割引擎172可确定表示在上述图像中的对象的分割边界,但是基于在每个捕获的图像中的数据,而不是一个图像的数据,如上所述。引擎172可以以任何合适的方式一起利用每个图像的数据来确定分割边界。例如,引擎172可以对每个所捕获的图像的数据运行梯度滤波,以检测相对较高的梯度量值,以便估计对象的(一个或多个)边缘的位置。例如,引擎172可估计给定位置(例如,共同坐标的给定位置)表示对象的边缘,如果来自任何图像的数据暗示(或以其他方式指示)边缘存在的话。在其它示例中,引擎172可以不估计给定位置表示对象的边缘,除非多于一个图像(或全部图像)暗示(或以其他方式指示)边缘存在。在一些示例中,引擎172可以附加地或替代地利用各种(一个或多个)启发式方法、(一个或多个)规则等基于每个所捕获的图像的数据来估计对象的边缘的存在。在一些示例中,引擎172可以把不同的权重应用于不同的图像的数据,并且可以基于来自每个所捕获图像的加权数据识别边缘位置(并且因此识别分割边界)。另外,在一些示例中,引擎172可在表面200检测到触摸输入之后确定对象的分割边界。在这样的示例中,引擎172可以基于每个图像的如下部分确定分割边界:该部分对应于在表面200的检测到的触摸输入附近并且包括非全部表面200的区域。
在一些示例中,基于由单个摄像机捕获的图像可能难以准确地确定对象的分割边界,因为某些条件可能使得难以准确地从图像中的背景区分前景对象。例如,在阴影存在的情况下或者当前景对象和背景在颜色上非常相似时,基于由彩色摄像机(例如,RGB摄像机)捕获的图像可能难以准确地确定分割边界。通过使用来自不同类型摄像机的多个图像,本文所描述的示例可以更准确地确定分割边界,因为影响对来自一种类型摄像机的图像执行的分割的条件可能不影响对来自不同类型摄像机的图像的分割。例如,由IR摄像机捕获的图像可以不受阴影或颜色相似的影响。在一些示例中,本文中关于图1-7F所描述的特征和功能可以与本文中关于图8-10中任一个所描述的特征和功能一起来提供。
图8是用于确定目标触摸区域的另一示例计算设备350的框图。计算设备350可以是上面关于图1-7F描述的设备150的另一示例实现方式。在图8的示例中,计算设备350以通信方式连接到触摸敏感表面200和摄像机164A-164C,如上所述)。每个摄像机164A-164C可被上述设置并指向表面200。计算设备350还可以包括处理资源310和包括(例如,编码有)指令321-326的机器可读存储介质320。在一些示例中,存储介质320可包括额外的指令。在其它示例中,指令321-326和本文中关于存储介质320描述的任何其他指令可以存储在距离计算设备350和处理资源310遥远但可以由计算设备350和处理资源310访问的机器可读存储介质上。处理资源310可以取出、解码和执行存储在存储介质320上的指令以实现下述的功能。在其他示例中,存储介质320的任何指令的功能可以以电子电路的形式、编码在机器可读存储介质上的可执行指令的形式或它们的组合来实现。机器可读存储介质320可以是非临时性机器可读存储介质。
在图8示例中,指令321可以从触摸敏感表面200获取由表面200检测到的触摸输入的位置。指令322可以从摄像机164A-164C的至少一个获取表示设置在摄像机和表面200之间的对象的至少一个图像。指令323可以在用于计算系统100的多个不同的触摸输入方案之中识别用于计算系统100的当前触摸输入方案。如本文所使用的,“触摸输入方案”是用于经由计算系统的触摸敏感表面向计算系统提供触摸输入的模式。在本文中所描述的示例中,如果计算系统针对每个触摸输入方案以不同方式处置触摸输入,则触摸输入方案是不同的(其也可在本文中称为“不同的”触摸输入方案)。在一些示例中,用于计算系统100的多个不同的触摸输入方案可以包括例如手部输入方案、触笔输入方案、对象输入方案、和手指输入方案,如下所述。
指令324可基于在(一个或多个)所捕获的图像中所表示的对象的至少一个位置识别表面200的至少一个目标触摸区域。在一些示例中,指令324可以基于在(一个或多个)所捕获的图像中表示的对象的特性(例如,形状、取向等)的任何组合来识别(一个或多个)目标触摸区域。指令324可以针对用于计算系统100的所述多个触摸​​输入方案的每个触摸输入方案以不同方式识别(一个或多个)目标触摸输入。例如,当手部输入方案被识别时,指令324可以以与当触笔输入方案被识别时不同的方式识别(一个或多个)目标触摸输入。指令325可确定由表面200检测到的触摸输入的位置是否在表面200的任何识别出的目标触摸区域内。响应于确定所述触摸输入的位置不在任何(一个或多个)识别出的目标触摸区域内,指令325可以拒绝该触摸输入,如上所述。在一些示例中,指令322可在识别目标触摸区域之前在几何上对准(一个或多个)捕获的图像和表面200的位置,如上所述。
在一些示例中,指令326可以进一步从计算系统100的至少一个其它部件接收触摸拒绝信息,并确定所接收的触摸拒绝信息是否指示所检测到的触摸输入将被拒绝。例如,指令326可以从由计算系统100的计算设备350执行的应用340接收触摸拒绝信息380。在一些示例中,应用340可以是聚焦于计算系统100的至少一个显示器的应用,并且信息380可以以任何合适的方式指示表面200的触摸输入可以在其处被接收的(一个或多个)区域(例如,对应于按钮或用于接收输入的其他图形用户界面(GUI)特征)和触摸输入在其处不可以被接收的(一个或多个)区域(例如,表面200的不具有用于交互的任何GUI特征的部分)。在这样的示例中,指令326可以例如通过确定触摸输入的位置是否在表面200的应用340可以在其处接收触摸输入的部分内(如由信息380所示的)来确定接收到的触摸拒绝信息380是否指示所检测到的触摸输入将被拒绝。
如果触摸输入在表面200的应用340不可以在其处接收触摸输入的区域中,则指令326可以拒绝该触摸输入。例如,触摸拒绝信息380可指示表面200的应用340不可以在其处接收触摸输入的至少一个非目标触摸区域。在这样的示例中,指令326可以响应于确定所检测到的触摸输入的位置在表面200的由信息380指示的非目标触摸区域之内而拒绝触摸输入。如果触摸输入是在表面200的应用340可以在其处接收触摸输入的区域中(如由拒绝信息328所指示的),则指令326可以接受该触摸输入,如果它也在表面200的识别出的目标触摸区域内的话(并且否则可以拒绝触摸输入)。
在其它示例中,指令326可以从计算系统100的(一个或多个)其他部件接收触摸拒绝信息。例如,指令326可以从触摸敏感表面200接收触摸拒绝信息,该信息可包括关于检测到的触摸输入的特性的信息,该信息可以用来估计所检测到的触摸输入是预期触摸输入还是非预期触摸输入(例如,如果触摸输入是轻的或短暂的)。在一些示例中,来自表面200的指示轻的或短暂触摸的触摸拒绝信息可以向指令326指示所检测到的触摸输入将被拒绝。在一些示例中,由指令326接收到的所有触摸拒绝信息可以与所识别出的(一个或多个)目标触摸区域一起被用来确定是否拒绝所检测到的触摸输入。在一些示例中,当确定是否拒绝所检测到的触摸输入时​​,接收到的不同的触摸拒绝信息可被给予不同的权重。
在一些示例中,响应于确定检测到的触摸输入的位置在表面200的识别出的触摸区域内和确定触摸拒绝信息不指示检测到的触摸输入将被拒绝,则指令326可以提供检测到的触摸输入382(即,描述触摸输入的信息)给计算系统100的触摸输入处理功能344。
在本文所述的示例中,触摸输入处理功能344可以是计算设备350的用于使检测到的触摸输入对计算系统100的操作有影响的功能。例如,功能344可以提供触摸输入382给应用340,使得检测到的触摸输入382可以影响应用340的操作(例如,由应用340用作输入)。在这样的示例中,为了拒绝检测到的触摸输入​​,引擎170可以不提供描述触摸输入的任何信息给触摸输入处理功能344。触摸输入处理功能344可以是例如计算设备350的操作系统的至少一个功能,或由计算设备350实现的任何其他处理、服务、应用等中的至少一种功能。在本文所描述的示例中,触摸输入处理功能344可以以电子电路的形式、以编码在机器可读存储介质上的可执行指令的形式、硬件和编程组合的形式或它们的组合来在计算设备350上实现。
如上所述,指令323可以识别用于计算系统100的当前触摸输入方案。在本文所述示例中,指令323可至少部分地基于设置在传感器束164和表面200之间的对象来确定触摸输入方案。例如,对象可以是触笔25,如图5和7E中所示。在这样的示例中,指令323可以识别触笔输入方案作为用于计算系统100的当前触摸输入方案。在一些示例中,如上所述,触笔25的尖端26可以涂覆有IR回复反射涂层,IR回复反射涂层的存在可以使用IR摄像机164B检测到。在这样的示例中,指令323可以响应于利用IR摄像机164B检测到触笔25的存在来识别触笔输入方案作为当前触摸输入方案。在其它示例中,触笔输入方案可以以任何其他合适的方式来检测。
响应于由指令323识别出触笔输入方案,指令324可以基于在图像中表示的对象的(一个或多个)特性(诸如在捕获的图像(例如,图7E的图像702)中表示的触笔尖端的位置)来识别触笔的尖端相对于表面的位置。参照图7E,在这样的示例中,指令324可以识别表面200的紧密靠近识别出的尖端位置的区域作为表面200的目标触摸区域730。在这样的示例中,识别出的目标触摸区域730可以排除表面200的设置在持有触笔25的手部的手掌下方的位置(例如,非目标触摸区域735)。在一些示例中,指令324可以利用由IR摄像机164B捕获的图像来确定触笔25的尖端26相对于表面200的位置。
在其它示例中,对象可以是手部,如图5和7A中所示。在一些示例中,当前触摸输入方案可被识别为手指输入方案,其中输入将从伸出的手指接收,如图7A中所示。在这样的示例中,指令323可以从在计算设备350上执行的应用(例如,应用340)接收如下指示:手指输入方案是当前触摸输入方案(例如,当应用期望手写输入时)。在这样的示例中,紧密靠近伸出的指尖的目标触摸区域(并且排除表面200的手部其余部分之下的区域)可以被识别。
在其它示例中,当对象是手部时,指令323可以识别手部输入方案作为用于计算系统100的当前触摸输入方案。在一些示例中,指令323可以响应于确定当前触摸输入方案是不是任何其他可能的触摸输入方案(例如,上述那些)而默认地识别手部输入方案作为当前触摸输入方案。在其它示例中,手部输入方案可以以任何其他合适的方式被检测。参照图7C,响应于由指令323对手部输入方案的识别,指令324可以至少基于表示由传感器束164中的至少一个摄像机捕获的对象的图像来识别至少部分地表示手部外边缘的分割边界,并基于对应于分割边界的对象(即手部)的特性提取手部的骨骼模型,如上所述。指令324可以基于骨骼模型进一步识别手部的指尖相对于表面200的相应位置,并且对于每个所识别的指尖位置,作为目标触摸区域720识别表面200的紧密靠近所识别的指尖位置的位置的区域。在这样的示例中,指令324可以识别目标触摸区域720,使得每个识别出的目标触摸区域702排除设置在表面200的手部的手掌下方的位置(例如,非目标触摸区域725的位置)。
在一些示例中,指令321可以检测用于发起触摸拒绝处理的触发以接受或拒绝所检测到的触摸输入,如上所述。例如,检测触摸输入可以触发触摸拒绝处理。在其它示例中,触摸拒绝处理可以由正由计算设备350执行的应用(例如,应用340)、用户输入(例如,请求该处理)等来触发。在其它示例中,触摸拒绝处理可以由计算系统100连续执行。在一些示例中,传感器束164的(一个或多个)摄像机可以响应于触摸拒绝处理被触发(例如,由检测到的触摸)而捕获对象的(一个或多个)相应图像,或者可以周期性地被捕获以准备在触摸拒绝处理中使用(一个或多个)这样的图像。在其中(一个或多个)图像在触发之前被捕获的示例中,触发可以在图像捕获后发起上述触摸拒绝处理的其余部分。在一些示例中,本文中关于图8所描述的特征和功能可以与本文中关于图1-7F和9-10中任一个所描述的特征和功能一起被提供。
图9是用于拒绝触摸输入的示例方法900的流程图。尽管方法900的执行在下面参照图1-7B和7D的计算系统100描述,但用于方法900的执行的其它合适的系统也可以被利用(例如,具有计算设备350的系统100)。此外,方法900的实现方式不限于这样的示例。
在方法900的905处,计算机系统100的触摸敏感表面200可以在表面200的位置处检测触摸输入。在910处,设置在表面200上方并且指向表面200的计算机系统100的至少一个摄像机可以捕获表示设置在摄像机和表面200之间的对象的至少一个图像。在915处,计算系统100的计算设备150的拒绝引擎170可以基于(一个或多个)图像中所表示的对象的至少一个特性识别触摸敏感表面200的至少一个目标触摸区域,其中,每个识别出的目标触摸区域包括表面的、对象的相应目标部分被设置在其上方的相应区域,并且排除表面的、对象的非目标部分设置在其上方的另一区域。在920处,引擎170可以比较触摸输入的位置和表面的至少一个识别出的目标触摸区域。例如,引擎170可以比较该位置与(一个或多个)识别出的目标触摸区域中的连续目标触摸区域,直到确定该位置在目标触摸区域中的一个内,或不在(一个或多个)目标触摸区域的任何一个内。在925处,响应于比较结果指示触摸输入的位置不在(一个或多个)识别出的目标触摸区域的任何一个内,引擎170可以拒绝所检测到的触摸输入。
尽管图9的流程图示出了执行某些功能的特定顺序,但方法900不限于该顺序。例如,该流程图中连续示出的功能可以以不同的顺序来执行,可以同时或部分同时被执行,或它们的组合。在一些示例中,本文中关于图9描述的特征和功能可以与本文中关于图1-8和10中的任何所描述的特征和功能一起被提供。
图10是用于识别目标触摸区域的示例方法1000的流程图。虽然方法1000的执行在下面参照图1-7B和图7D的计算系统100被描述,但用于执行方法1000的其它合适的系统可以被利用(例如,具有计算设备350的系统100)。此外,方法1000的实现方式并不限于这样的示例。
在方法1000的1005处,计算机系统100的触摸敏感表面200可以在表面200的位置处检测触摸输入。在1010处,拒绝引擎170可以检测发起触摸拒绝处理的触发,该触发可以响应于计算系统100中的(一个或多个)适当条件而被生成,如上所述。在1015处,响应于检测到触发,计算机系统100的设置在表面200上方并且指向表面200的至少一个摄像机可以捕获表示设置在摄像机和表面200之间的对象的至少一个图像。在1020处,计算系统100的计算设备150的拒绝引擎170可基于(一个或多个)图像中所表示的对象的至少一个特性识别触摸敏感表面200的至少一个目标触摸区域,其中,每个识别出的目标触摸区域包括表面的、对象的相应目标部分被设置在其上方的相应区域,并且排除表面的、对象的非目标部分设置在其上方的另一区域。在一些示例中,该对象可以是手部。在这样的示例中,对象的每个目标部分可以是手部的相应指尖,并且对象的非目标部分可以包括手部的手掌。
在1025处,引擎170可以比较触摸输入的位置和表面的至少一个识别出的目标触摸区域。响应于比较结果指示触摸输入的位置不在(一个或多个)识别出的目标触摸区域的任何一个内,方法1000可以进行到1030,其中引擎170可以拒绝所检测到的触摸输入。响应于在1025处的比较结果指示位置在(一个或多个)识别出的目标触摸区域中的一个内,方法1000可进行到1030,其中引擎170可以拒绝所检测到的触摸输入。响应于在1025处的比较结果指示位置是在(一个或多个)识别出的目标触摸区域中的一个内,方法1000可进行到1035,其中引擎170可以提供所检测到的触摸输入给计算系统100的触摸输入处理功能。
尽管图10的流程图示出了执行某些功能的特定顺序,但方法1000不限于该顺序。例如,该流程图中连续示出的功能可以以不同的顺序来执行,可以同时或部分同时被执行,或它们的组合。在一些示例中,本文中关于图10描述的特征和功能可以与本文中关于图1-9中的任何所描述的特征和功能一起被提供。

Claims (15)

1.一种计算系统,包括:
触摸敏感表面,用于在触摸敏感表面的位置处检测触摸输入;
给定摄像机,指向触摸敏感表面,用于捕获表示设置在所述给定摄像机和触摸敏感表面之间的对象的图像;和
拒绝引擎,用于基于图像中表示的对象的至少一个特性识别触摸敏感表面的至少一个目标触摸区域,每个用于接收触摸输入;
其中所述拒绝引擎进一步用于确定检测到的触摸输入的位置不在触摸敏感表面的至少一个识别出的目标触摸区域的任何一个内,并且响应于所述确定而拒绝所述检测到的触摸输入。
2.根据权利要求1所述的计算系统,其中所述拒绝引擎包括:
分割引擎,用于基于所述图像来识别至少部分地表示所述对象的外边缘的分割边界;
其中所述拒绝引擎基于对应于所述分割边界的对象的特性识别所述表面的所述至少一个目标触摸区域。
3.根据权利要求2所述的计算系统,包括:
多个不同类型的摄像机,用于捕获的多个图像,每个图像表示设置在触摸敏感表面和用于捕获图像的相应摄像机之间的对象;
其中所述分割引擎用于基于所述多个图像中的每个识别分割边界;以及
其中,所述多个摄像机包括所述给定摄像机,并且所述多个图像包括所述给定图像。
4.根据权利要求3所述的计算系统,其中
所述多个摄像机中的每个是RGB摄像机、红外(IR)摄像机、深度摄像机,和手势摄像机中不同的摄像机;以及
所述表面的每个识别出的目标触摸区域比所述表面的全部面积小。
5.根据权利要求1所述的计算系统,其中
所述对象是手部;
每个识别出的目标触摸区域包括触摸敏感表面的手部的相应指尖设置在其上方的相应区域,并排除所述表面的手部的手掌被设置在其上方的另一区域;
所述触摸输入的位置是手掌被设置在其上方的位置;以及
当触摸输入的位置位于所述表面的手掌被设置在其上方的区域中时,拒绝引擎响应于确定所述检测到的触摸输入的位置不在触摸敏感表面的至少一个识别出的目标触摸区域中的任何一个内而拒绝所述检测到的触摸输入。
6.一种非临时性机器可读存储介质,包括能够由计算系统的处理资源执行的指令,所述计算系统包括触摸敏感表面和设置在触摸敏感表面上方并指向触摸敏感表面的摄像机,所述指令能够被执行以:
从触摸敏感表面获取由表面检测到的触摸输入的位置;
从所述摄像机获取表示设置在摄像机和所述表面之间的至少一个对象的图像;
识别用于计算系统的多个触摸输入方案中的用于计算系统的当前触摸输入方案,所述多个触摸输入方案包括手部输入方案和触笔输入方案;
基于所述图像中表示的对象的部分的位置识别所述表面的至少一个目标触摸区域,其中,当手部输入方案被识别时,以与当触笔输入方案被识别时不同的方式识别所述至少一个目标触摸区域;
确定触摸输入的位置是否在所述表面的任何一个识别出的目标触摸区域内;以及
响应于确定所述触摸输入的位置不在所述表面的至少一个识别出的目标触摸区域的任何一个内而拒绝触摸输入。
7.根据权利要求6所述的存储介质,其中用于拒绝的指令包括进行如下操作的指令:
从所述计算系统的至少一个其它部件接收触摸拒绝信息;和
确定接收到的触摸拒绝信息是否指示检测到的触摸输入将被拒绝。
8.根据权利要求7所述的存储介质,其中用于拒绝的指令包括进行如下操作的指令:
响应于确定所述触摸输入的位置在所述表面的至少一个识别出的触摸区域的任何一个内和确定所述触摸拒绝信息不指示检测到的触摸输入将被拒绝,提供检测到的触摸输入给所述计算系统的触摸输入处理功能。
9.根据权利要求7所述的存储介质,其中:
用于接收触摸拒绝信息的指令包括用于从正由所述计算系统执行的应用接收触摸拒绝信息的指令,所述触摸拒绝信息指示所述表面的非目标触摸区域;以及
用于拒绝的指令包括用于响应于确定所述触摸输入的位置在所述表面的非目标触摸区域内而拒绝所述触摸输入的指令。
10.根据权利要求6所述的存储介质,其中识别出的当前触摸输入方案是手部输入方案并且对象是手部,并且用于识别所述表面的至少一个目标触摸区域的指令包括响应于手部输入方案的识别而进行如下操作的指令:
基于所述图像来识别至少部分地表示所述手部的外边缘的分割边界;
基于对应于所述分割边界的对象的特性提取手部的骨骼模型;
基于所述骨骼模型识别手部的指尖相对于所述表面的相应位置;以及
针对每个识别出的指尖位置,识别所述表面的紧密靠近识别出的指尖位置的位置的区域作为目标触摸区域,
其中,每个识别出的目标触摸区域排除设置在手部的手掌下方的表面的位置。
11.根据权利要求6所述的存储介质,其中识别出的当前触摸输入方案是触笔输入方案,所述对象包括触笔,并且用于识别所述表面的至少一个目标触摸区域的指令包括响应于触笔输入方案的识别而进行如下操作的指令:
基于所述图像中表示的对象的特性识别触笔的尖端相对于所述表面的位置;以及
作为所述表面的目标触摸区域识别所述表面的如下区域:紧密靠近​​识别出的尖端位置并且排除设置在持有触笔的手部的手掌下方的表面的位置。
12.根据权利要求6所述的存储介质,其中识别出的当前触摸输入方案是对象放置方案,所述对象被设置在表面上,并且用于识别所述表面的至少一个目标触摸区域的指令包括响应于对象放置方案的识别而进行如下操作的指令:
识别表面的第一区域,第一区域包括在其上设置所述对象的表面位置;
作为非目标触摸区域识别第一区域和第一区域外部并且与第一区域接界的第二区域。
13.一种方法,包括:
利用计算机系统的触摸敏感表面检测触摸敏感表面的位置处的触摸输入;
利用设置在触摸敏感表面上方并且指向触摸敏感表面的计算机系统的摄像机捕获表示设置在所述摄像机和所述表面之间的对象的图像;
基于所述图像中表示的对象的特性识别触摸敏感表面的至少一个目标触摸区域,其中,每个识别出的目标触摸区域包括表面的、对象的相应目标部分被设置在其上方的相应区域,并且排除表面的、对象的非目标部分设置在其上方的另一区域;
比较触摸输入的位置和所述表面的至少一个识别出的目标触摸区域;
响应于比较结果指示触摸输入的位置不在至少一个识别出的目标触摸区域的任何一个内,拒绝检测到的触摸输入。
14.根据权利要求13所述的方法,进一步包括:
检测用于发起触摸拒绝处理的触发,其中所述捕获响应于检测到所述触发而被执行;和
响应于比较结果指示所述位置在所述至少一个识别出的目标触摸区域中的一个内,提供检测到的触摸输入到计算系统的触摸输入处理功能。
15.根据权利要求13所述的方法,其中:
对象是手部;
对象的每个目标部分包括手部的相应指尖;和
对象的非目标部分包括手部的手掌。
CN201380081141.4A 2013-09-24 2013-09-24 基于图像识别触摸敏感表面的目标触摸区域 Expired - Fee Related CN105745606B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/061398 WO2015047223A1 (en) 2013-09-24 2013-09-24 Identifying a target touch region of a touch-sensitive surface based on an image

Publications (2)

Publication Number Publication Date
CN105745606A true CN105745606A (zh) 2016-07-06
CN105745606B CN105745606B (zh) 2019-07-26

Family

ID=52744134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081141.4A Expired - Fee Related CN105745606B (zh) 2013-09-24 2013-09-24 基于图像识别触摸敏感表面的目标触摸区域

Country Status (5)

Country Link
US (1) US10324563B2 (zh)
EP (1) EP3049899A4 (zh)
CN (1) CN105745606B (zh)
TW (1) TWI531929B (zh)
WO (1) WO2015047223A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527804A (zh) * 2016-11-08 2017-03-22 北京用友政务软件有限公司 一种基于智能终端防误触的方法及装置
CN107168576A (zh) * 2017-05-11 2017-09-15 芜湖威灵数码科技有限公司 一种薄膜显示触控式交互设备
CN110825250A (zh) * 2019-11-14 2020-02-21 珠海金山网络游戏科技有限公司 一种笔刷轨迹的优化方法及装置
CN112578983A (zh) * 2019-09-27 2021-03-30 苹果公司 手指取向触摸检测

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6361332B2 (ja) * 2014-07-04 2018-07-25 富士通株式会社 ジェスチャ認識装置およびジェスチャ認識プログラム
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
EP3396499A4 (en) * 2015-12-21 2018-12-05 Sony Corporation Information processing device and information processing method
JP2017117373A (ja) * 2015-12-25 2017-06-29 キヤノン株式会社 操作装置とその制御方法、及びプログラム
US10061441B2 (en) * 2016-12-27 2018-08-28 Microvision, Inc. Touch interactivity with occlusions in returned illumination data
US10761188B2 (en) 2016-12-27 2020-09-01 Microvision, Inc. Transmitter/receiver disparity for occlusion-based height estimation
US11002855B2 (en) 2016-12-27 2021-05-11 Microvision, Inc. Occlusion-based height estimation
US11204662B2 (en) 2017-01-17 2021-12-21 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface that assigns an action to an object located thereon
US10489262B1 (en) * 2017-05-30 2019-11-26 Synaptics Incorporated Multi-touch detection in moisture
WO2019171719A1 (ja) 2018-03-05 2019-09-12 株式会社ワコム 電子ペンを用いた入力装置
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
TWI714888B (zh) * 2018-09-28 2021-01-01 圓展科技股份有限公司 操作互動觸控顯示系統之方法
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
US11853509B1 (en) * 2022-05-09 2023-12-26 Microsoft Technology Licensing, Llc Using a camera to supplement touch sensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109925A (zh) * 2009-12-24 2011-06-29 索尼公司 触摸板设备、以及用于该设备的控制方法和程序
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
US20120262407A1 (en) * 2010-12-17 2012-10-18 Microsoft Corporation Touch and stylus discrimination and rejection for contact sensitive computing devices
CN103154867A (zh) * 2010-10-12 2013-06-12 纽约大学 用于传感利用瓷片、具有一组板的传感器和多点触摸表面目标识别的装置和方法

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US6633671B2 (en) 1998-01-28 2003-10-14 California Institute Of Technology Camera-based handwriting tracking
US6246395B1 (en) 1998-12-17 2001-06-12 Hewlett-Packard Company Palm pressure rejection method and apparatus for touchscreens
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式3dビデオゲーム装置
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
CA2563478A1 (en) 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7561146B1 (en) 2004-08-25 2009-07-14 Apple Inc. Method and apparatus to reject accidental contact on a touchpad
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング(rangemapping)
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US7333095B1 (en) 2006-07-12 2008-02-19 Lumio Inc Illumination for optical touch panel
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
WO2008045464A2 (en) 2006-10-10 2008-04-17 Wms Gaming Inc. Multi-player, multi-touch table for use in wagering game systems
US20080196945A1 (en) 2007-02-21 2008-08-21 Jason Konstas Preventing unintentional activation of a sensor element of a sensing device
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US20090309838A1 (en) 2008-06-11 2009-12-17 Microsoft Corporation Use of separation elements with rear projection screen
FI20085794A0 (fi) 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
US8432366B2 (en) * 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
TWI390436B (zh) 2009-04-17 2013-03-21 Raydium Semiconductor Corp 光學式觸控裝置及其運作方法
US20100302376A1 (en) 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
TWI399682B (zh) 2009-06-23 2013-06-21 Raydium Semiconductor Corportation 光學式觸控裝置及其運作方法
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
TW201209680A (en) 2010-08-27 2012-03-01 Disk King Technology Co Ltd High computation speed surface-scanning imaging touch-control device and method
JP2012053532A (ja) * 2010-08-31 2012-03-15 Casio Comput Co Ltd 情報処理装置及び方法、並びにプログラム
ES2395102B1 (es) 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
KR101413539B1 (ko) 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
AU2011203028B1 (en) 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US20130050133A1 (en) 2011-08-30 2013-02-28 Nokia Corporation Method and apparatus for precluding operations associated with accidental touch inputs
US20130057515A1 (en) 2011-09-07 2013-03-07 Microsoft Corporation Depth camera as a touch sensor
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
AU2012346379B2 (en) 2011-11-28 2015-12-24 Neonode Inc. Optical elements with alternating reflective lens facets
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
KR20130099745A (ko) 2012-02-29 2013-09-06 주식회사 팬택 터치 단말기의 입력 신호 구분 장치 및 방법
EP2637139A1 (en) 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
US9046958B2 (en) * 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
WO2013191888A1 (en) * 2012-06-20 2013-12-27 3M Innovative Properties Company Device allowing tool-free interactivity with a projected image
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
US9519968B2 (en) 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US20160077670A1 (en) 2013-07-31 2016-03-17 Hewlett-Packard Development Company, L.P. System with projector unit and computer
EP3072032B1 (en) 2013-11-21 2020-01-01 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting infrared light

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109925A (zh) * 2009-12-24 2011-06-29 索尼公司 触摸板设备、以及用于该设备的控制方法和程序
CN103154867A (zh) * 2010-10-12 2013-06-12 纽约大学 用于传感利用瓷片、具有一组板的传感器和多点触摸表面目标识别的装置和方法
US20120262407A1 (en) * 2010-12-17 2012-10-18 Microsoft Corporation Touch and stylus discrimination and rejection for contact sensitive computing devices
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527804A (zh) * 2016-11-08 2017-03-22 北京用友政务软件有限公司 一种基于智能终端防误触的方法及装置
CN107168576A (zh) * 2017-05-11 2017-09-15 芜湖威灵数码科技有限公司 一种薄膜显示触控式交互设备
CN112578983A (zh) * 2019-09-27 2021-03-30 苹果公司 手指取向触摸检测
US11934584B2 (en) 2019-09-27 2024-03-19 Apple Inc. Finger orientation touch detection
CN110825250A (zh) * 2019-11-14 2020-02-21 珠海金山网络游戏科技有限公司 一种笔刷轨迹的优化方法及装置
CN110825250B (zh) * 2019-11-14 2024-02-23 珠海金山数字网络科技有限公司 一种笔刷轨迹的优化方法及装置

Also Published As

Publication number Publication date
CN105745606B (zh) 2019-07-26
TWI531929B (zh) 2016-05-01
WO2015047223A1 (en) 2015-04-02
EP3049899A4 (en) 2017-07-05
TW201528055A (zh) 2015-07-16
US20160231862A1 (en) 2016-08-11
US10324563B2 (en) 2019-06-18
EP3049899A1 (en) 2016-08-03

Similar Documents

Publication Publication Date Title
CN105745606A (zh) 基于图像识别触摸敏感表面的目标触摸区域
TWI547828B (zh) 感測器與投射器之校準技術
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
CN105723300A (zh) 基于表示对象的图像确定分割边界
US10664090B2 (en) Touch region projection onto touch-sensitive surface
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
US10379680B2 (en) Displaying an object indicator
US10114512B2 (en) Projection system manager
US10481733B2 (en) Transforming received touch input
CN107077196B (zh) 识别触敏表面上的对象
WO2016036352A1 (en) Presentation of a digital image of an object
TW201621554A (zh) 物件影像之捕捉及投影技術

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190726