CN105723300A - 基于表示对象的图像确定分割边界 - Google Patents

基于表示对象的图像确定分割边界 Download PDF

Info

Publication number
CN105723300A
CN105723300A CN201380081140.XA CN201380081140A CN105723300A CN 105723300 A CN105723300 A CN 105723300A CN 201380081140 A CN201380081140 A CN 201380081140A CN 105723300 A CN105723300 A CN 105723300A
Authority
CN
China
Prior art keywords
image
video camera
depth
resolution
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380081140.XA
Other languages
English (en)
Other versions
CN105723300B (zh
Inventor
D.R.特雷特
J.康
K-H.谭
W.洪
D.B.肖尔特
O.西弗特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN105723300A publication Critical patent/CN105723300A/zh
Application granted granted Critical
Publication of CN105723300B publication Critical patent/CN105723300B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

本文中公开的示例涉及基于表示对象的图像确定分割边界。示例包括基于由设置在IR摄像机和IR吸收表面之间的对象反射的IR光的IR图像，表示设置在彩色摄像机和IR吸收表面之间的对象的彩色图像，以及确定对象的分割边界。

Description

基于表示对象的图像确定分割边界
背景技术
许多计算系统包括至少一个显示器和至少一个输​​入设备。显示器可包括例如，监视器、屏幕、或类似物。示例输入设备包括鼠标、键盘、触摸板、或类似物。一些计算系统包括触摸敏感显示器用于既显示计算系统的输出又接收物理（例如，触摸）输入。
附图说明
下面的详细描述参考附图，其中：
图1是包括分割引擎的示例计算系统的示意性透视图；
图2是图1的示例计算系统的另一示意性透视图；
图3是图1的示例计算系统的示意性侧视图；
图4是图1的示例计算系统的示意性正视图；
图5是在示例操作期间图1的示例计算系统的示意性侧视图；
图6是在示例操作期间图1的示例计算系统的示意性正视图；
图7A是图1的示例计算系统的示意性侧视图，图示了图像捕获的示例；
图7B是包括分割引擎的图1的计算系统的示例部分的框图；
图7C是由图1的示例计算系统捕获的示例RGB图像的示意图；
图7D是由图1的示例计算系统捕获的示例红外（IR）图像的示意图；
图7E是由图1的示例计算系统捕获的示例深度图像的示意图；
图7F是由分割引擎确定的示例分割边界的示意图；
图7G是包括分割引擎的图1的计算系统的另一示例部分的框图；
图8是基于RGB图像、IR图像和深度图像确定分割边界的示例设备的框图；
图9是用于确定分割边界的示例方法的流程图；和
图10是用于对上采样分割边界进行滤波的示例方法的流程图。
具体实施方式
除了上面提到的输入设备之外，摄像机是用于计算系统的输入设备的另一示例。在一些示例中，计算系统可以利用摄像机捕获视频或静止图像。视频或静止图像可以被存储或经由合适的计算机网络提供给另一计算系统。在其它示例中，由摄像机捕获的图像可以被分析，并且计算系统可以利用图像的内容作为到计算系统的输入。例如，计算系统可以分析表示在捕获的图像中的对象，并且基于在图像中表示的对象的特性（例如位置、方位、取向、形状等）确定到计算系统的输入。
在这样的示例中，计算系统可以对捕获的图像执行处理以提取表示在所捕获的图像中的至少一个前景对象的图像。这个处理在本文中可以被称为“分割”。在一些示例中，这种分割处理的结果可以是与表示在捕获的图像中的至少背景分离的前景对象的图像。
在一些示例中，分割处理可包括确定表示在所捕获的图像中的对象的分割边界。如本文所使用的，表示在图像中的对象的“分割边界”可以是表示如下各项的估计的信息：图像的哪个（哪些）部分表示该对象以及图像的哪个（哪些）部分表示除了对象之外的特征（例如背景）。在一些示例中，在图像中表示的对象的分割边界可以包括表示如下的信息：在图像中表示的该对象的至少一个外边缘。当执行分割处理时，计算系统可以使用该分割边界来从较大捕获的图像（例如，还表示背景的部分）提取对象的图像。
然而，基于由单个摄像机捕获的图像可能难以准确地确定对象的分割边界，因为某些条件可能使得难以准确地从图像中的背景区分前景对象。例如，在影线存在的情况下或者当前景对象和背景在颜色上非常相似时，基于由彩色摄像机（例如，RGB摄像机）捕获的图像可能难以准确地确定分割边界。
为了解决这些问题，本文描述的示例可基于由不同类型的摄像机捕获的多个图像确定分割边界。本文所描述的示例可以包括红外（IR）吸收表面以及设置在IR吸收表面上方并且指向IR吸收表面的IR摄像机，用于基于由设置在IR摄像机和IR吸收表面之间的对象反射的IR光捕获表示该对象的IR图像。示例还可以包括：RGB摄像机，用于捕获表示设置在RGB摄像机和IR吸收表面之间的对象的RGB图像；以及分割引擎，用于基于IR图像和RGB图像确定表示该对象的至少一个外边缘的分割边界。
通过使用来自不同类型摄像机的多个图像，本文所描述的示例可以更准确地确定分割边界，因为影响对来自一种类型摄像机的图像执行的分割的条件可能不影响对来自不同类型摄像机的图像的分割。例如，由IR摄像机捕获的图像可以不受影线或颜色相似的影响。此外，本文描述的示例可以捕获IR吸收表面上方的对象的图像，这可以增加背景（例如IR吸收表面）和展现IR光的更多反射的前景对象之间的对比度，这由此可以改进至少部分地基于在IR吸收表面作为背景的情况下捕获的IR图像执行的分割。
现在参照附图，图1-7A是包括分割引擎170的示例计算系统100的示意性视图。在一些示例中，分割引擎170可以用于基于捕获的IR和RGB图像确定表示对象的至少一个外边缘的分割边界，如上所述。在图1-7A的示例中，系统100通常包括支撑结构110、计算设备150、投射仪单元180、和IR吸收表面200。
计算设备150可以包括与本文公开的原理相符的任何合适的计算设备。如本文所使用的，“计算设备”可以包括电子显示设备、智能电话、平板电脑、芯片组、一体化计算机（例如，包括显示设备的设备，显示设备还容纳（一个或多个）计算机的处理资源）、台式计算机、笔记本计算机、工作站、服务器、任何其它处理设备或装备，或它们的组合。在这个示例中，设备150是具有中心轴或中心线155、第一或顶侧150A、与顶侧150A轴向相对的第二或底侧150B、在侧面150A和150B之间轴向延伸的前侧150C、也在侧面150A和150B之间轴向延伸并且通常与前侧150C径向相对的后侧150D的一体化计算机。显示器152沿着前侧150C设置并且限定计算系统100的观看表面以便显示由系统100的用户观看的图像。在本文所述的示例中，显示器可以包括适于显示图像、视频、或类似物的任何技术的部件。
在一些示例中，显示器152可以是触摸敏感显示器。在本文所描述的示例中，触摸敏感显示器可以包括例如用于显示图像、视频、或类似物的任何合适的技术（例如，部件），并且可包括用于检测物理接触（例如，触摸输入）的任何合适的技术（例如，部件），诸如例如，电阻性、电容性、表面声波，红外（IR）、应变仪、光学成像、声脉冲识别、色散信号感测或单元化系统或类似物。在本文所述示例中，显示器152可以被称为触摸敏感显示器152。设备150还可以包括摄像机154，其可以是例如网络摄像机。在一些示例中，摄像机154可以捕获位于显示器152前面的用户的图像。在一些示例中，设备150还可以包括麦克风或用于接收声音输入（例如，来自用户的语音输入）的其他设备。
在图1-7A的示例中，支撑结构110包括基座120、直立构件140和顶部160。基座120包括第一或前端120A和第二或后端120B。基座120可以与支撑表面15接合以支撑系统100的部件中的至少一部分（例如，构件140、单元180、设备150、顶部160等等）的重量。在一些示例中，当系统100被配置用于操作时，基座120可与支撑表面15以这种方式接合。在图1-7A的示例中，基座120的前端120A包括凸起部分122，例如当基座120如图2中所示被设置在支撑表面15上时，凸起部分122可设置在支撑表面15上方并且与支撑表面155分离（在部分122和表面15之间产生空间或间隙）。在这样的示例中，IR吸收表面200的侧面的一部分可以设置在部分122和表面15之间形成的空间中（例如，被接收在其内）。在这样的示例中，将表面200的一部分放置在由部分122和表面15创建的空间内可协助表面200的适当对准。在其它示例中，其它合适的方法或设备可以用来协助表面200的对准。
直立构件140包括第一或上端140A、与上端140A相对的第二或下端140B、在端140A和140B之间延伸的第一或前侧140C、以及与前侧140C相对并且也在端140A和140B之间延伸的第二或后侧140D。构件140的下端140B耦合到基座120的后端120B，使得构件140从支撑表面15基本向上延伸。
顶部160包括第一或近端160A、与近端160A相对的第二或远端160B、在端160A和160B之间延伸的顶表面160C、以及与顶表面160C相对并且也在端160A和160B之间延伸的底表面160D。顶部160的近端160A耦合到直立构件140的上端140A，使得远端160B从直立构件140的上端140A向外延伸。照此，在图2中所示的示例中，顶部160在端160A处被支撑（而不是在端160B），并且在本文中可被称为悬臂顶部。在一些示例中，基座120、构件140和顶部160可以整体形成。在其它示例中，基座120、构件140和顶部160中的两个或更多个可以由分立件形成（即，不整体形成）。
IR吸收表面200可包括中心轴或中心线205、第一或前侧200A、以及与前侧200A轴向相对的第二或后侧200B。在图1-7A的示例中，表面200可以包括基本上与轴205对准的触摸敏感区域202。区域202可以包括用于检测物理接触（例如触摸输入）的任何合适的技术，如上所述。例如，触摸敏感区域202可以包括用于检测（且在一些示例中跟踪）由用户做出的一个或多个触摸输入的任何合适的技术以使用户能够经由这样的触摸输入与由设备150或另一个计算设备执行的软件进行交互。在图1-7A的示例中，区域202在小于全部表面200上方延伸。在其它示例中，区域202可以基本在全部表面200上方延伸（例如，可以基本上与表面200共界）。在本文描述的示例中，IR吸收表面200可以是任何合适的IR吸收平面对象，诸如IR吸收垫（例如IR吸收、触摸敏感垫）、桌面、片材等。在一些示例中，IR吸收表面200可以设置为水平（或近似或基本水平）。例如，表面200可设置在支撑表面15上，支撑表面15可以是水平的（或近似或基本水平）。
如上所述，表面200可以与结构110的基座120对准，以协助表面200的适当对准（例如，至少在系统100的操作期间）。在图1-7A的示例中，表面200的后侧200B可被设置在基座120的凸起部分122和支撑表面15之间，使得后端200B与基座120的前侧120A对准，以协助表面200与系统100的其它部件的适当整体对准（并且特别是区域202与系统100的其它部件的适当对准）。在一些示例中，表面200可以与设备150对准，使得设备150的中心线155基本上与表面200的中心线205对准。在其它示例中，表面200可与设备150以不同方式对准。
在一些示例中，表面200的区域202和设备150可以通信地彼此连接（例如，电耦合），使得由区域202接收到的用户输入可被传递到设备150。区域202和设备150可以经由任何合适的有线或无线通信技术或机制（诸如例如WI-FI、蓝牙、超声技术、电缆、电引线、电导体、具有磁性保持力的电气弹性加载伸缩探针、或类似物、或它们的组合）彼此通信。在图1-7A的示例中，设置在表面200的后侧200B上的暴露电触点可以与基座120的部分122内的对应电气伸缩探针引线接合，以在系统100的操作期间在设备150和区域202之间传递信息（例如传输信号）。在这种示例中，电触点可通过相邻磁体（位于基座120的部分122和表面15之间的间隙中）保持在一起以便磁性吸引并保持（例如，机械地）沿着表面200的后侧200B设置的对应亚铁和/或磁性材料。
参照图3，投射仪单元180包括外部壳体182和设置在壳体182内的投射仪组件184。壳体182包括第一或上端182A、与上端182A相对的第二或下端182B、以及内腔体183。在图3的示例中，壳体182还包括耦合或安装构件186，用于接合和支撑设备150（例如，至少在系统100的操作期间）。构件186可以是用于悬挂和支撑如本文所描述的任何合适的计算设备150的任何合适的机构或设备。例如，构件186可以包括铰链，该铰链包括旋转轴，使得设备150可以（例如，由用户）关于旋转轴旋转以获得所期望的角度用于观看显示器152。在一些示例中，设备150可以永久地或半永久地附接到单元180的壳体182。在一些示例中，壳体180和设备150可以被一体或整体形成为单个单元。
参照图4，在一些示例中，当设备150从结构110经由壳体182上的安装构件186被悬挂时，在从前面（即，基本上面对设置在设备150的前侧150C上的显示器152）观看系统100时，投射仪单元180（即，壳体182和组件184）可以基本上隐藏在设备150后面。此外，如图4中所示，当设备150从结构110被悬挂时，如上所述，投射仪单元180（即，壳体182和组件184）以及投射的任何图像由此可以基本上相对于设备150的中心线155对准或以中心线155为中心。
再次参照图 3，投射仪组件184被设置在壳体182的腔体183内，并且包括第一或上端184A、与上端184A相对的第二或下端184B。上端184A接近壳体182的上端182A，而下端184B接近壳体182的下端182B。投射仪组件184可以包括用于从计算设备（例如，设备150）接收数据和投射与该输入数据对应的（一个或多个）图像（例如，从上端184A）的任何合适的数字光投射仪组件。例如，在一些实施方式中，投射仪组件184可包括数字光处理（DLP）投射仪或硅上液晶（LCoS）投射仪，它们有利地是紧凑且功率高效的投射引擎，能够实现多个显示分辨率和尺寸，诸如例如， 4：3的宽高比情况下的标准XGA分辨率（1024×768像素），或16:10的宽高比情况下的标准WXGA分辨率（1280×800像素）。投射仪组件184进一步以通信方式连接（例如，电耦合）至设备150以便从其接收数据并且基于该接收的数据从端184A产生（例如投射）光和（一个或多个）图像。投射仪组件184可经由例如任何合适类型的电耦合或本文描述的任何其它合适的通信技术或机制以通信方式连接到设备150。在一些示例中，组件184可以通信方式经由（一个或多个）电导体、WI-FI、蓝牙、光学连接、超声波连接、或它们的组合被连接到设备150。在图1-7A的示例中，设备150通过设置在安装构件186内的电导线或导体（例如，如上面关于表面200和基座120所描述的）以通信方式连接到组件184，使得当设备150从结构110通过构件186被悬挂时，设置在构件186内的电导线接触设置在设备150上的对应导线或导体。
仍然参照图3，顶部160还包括折叠镜162和传感器束164。镜162包括高反射表面162A，高反射表面162A沿着顶部160的底表面160D设置并且被定位成反射在操作期间从投射仪组件184的上端184A朝向表面200投射的光、（一个或多个）图像等。镜162可以包括任何合适类型的镜或反射表面。在图1-7A的示例中，折叠镜162可以包括标准前表面真空金属化铝涂覆玻璃镜，其作用是把从组件184发射的光向下朝表面200折叠。在其它示例中，镜162可以具有复杂的非球面曲率以便充当反射透镜元件来提供附加的聚焦力或光学校正。
传感器束164包括多个传感器（例如，摄像机或其他类型的传感器），以基于传感器束164和表面200之间的区域的状态（例如在该区域中发生的活动）来检测、测量、或以其他方式获取数据。传感器束164和表面200之间的区域的状态可以包括表面200上或上方的（一个或多个）对象、或在表面200上或附近发生的（一个或多个）活动。在图3的示例中，束164包括RGB摄像机164A（或另一类型的彩色摄像机164A）、IR摄像机164B、深度摄像机（或深度传感器）164C、以及环境光传感器164D。
在一些示例中，RGB摄像机164A可以是用于捕获彩色图像（例如，静止图像和视频的至少一个）的摄像机。在一些示例中，RGB摄像机164A可以是用于根据RGB颜色模型（其在本文中可以被称为“RGB图像”）捕获图像的摄像机。在一些示例中，RGB摄像机164A可以捕获具有相对高的分辨率（诸如例如几百万像素（MP）数量级的分辨率）的图像。作为示例，RGB摄像机164A可捕获具有14MP分辨率的彩色（例如，RGB）图像。在其它示例中，RBG摄像机164A可以捕获具有不同分辨率的图像。在一些示例中，RGB摄像机164A可以指向表面200，并且可以捕获表面200、设置在表面200和RGB摄像机164A之间（例如，在表面200上或上方）的（一个或多个）对象、或​​它们的组合的（一个或多个）图像。
IR摄像机164B可以是用于在摄像机164B的视场中的多个点处检测IR光的强度的摄像机。在本文所述示例中，IR摄像机164B可以与系统100的IR光投射仪166（参见图7A）一起操作以捕获IR图像。在这些示例中，每个IR图像可以包括多个像素，每个像素表示在由像素表示的点处检测到的IR光的强度。在一些示例中，系统100的顶部160可包括IR光投射仪166（参见图7A）用于朝向表面200投射IR光167，并且IR摄像机164B可以指向表面200。在这些示例中，IR摄像机164B可以检测由表面200、设置在表面200和IR摄像机164B之间（例如，在表面200上或上方）的（一个或多个）对象、或它们的组合反射的IR光的强度。在一些示例中，IR摄像机164B可以排它地检测由IR光投射仪166投射的（例如，如从表面200、（一个或多个）对象等反射，或直接接收的）IR光167。
如上所述，表面200可以是IR吸收表面200。在本文描述的示例中，“IR吸收”表面可以是用于至少部分地吸收投射的IR光的表面，使得IR摄像机（例如IR摄像机164B）可以在相同的IR光投射条件下检测到从IR吸收表面比从非IR吸收对象反射的显著少的IR光强度。例如，IR吸收表面可以是包括、涂覆有、或以另外方式制备有用于至少部分地吸收IR光的IR光吸收物质（例如墨水）的表面，使得IR摄像机可以检测到从IR吸收表面比从不包括、涂覆有、或以另外方式制备有这种IR吸收物质的另一对象反射的显著少的IR光强度。在一些示例中，IR吸收物质对可见光可以是基本上透明的。在一些示例中，IR吸收表面200可以显现为白色。在这样的示例中，可能难以从设置在白色表面200上的一片白纸的RGB图像检测到该一片白纸的边缘。在本文描述的示例中，IR摄像机164B可以捕获表面200上该片纸的IR图像（例如作为背景），其中表示IR吸收背景的部分的IR图像的像素比表示该片纸的部分的像素具有显著低的IR光强度值，使得强度值的差提供足够的对比度以便可靠地检测IR图像中该片纸的边缘。
深度摄像机164C可以是用于检测在深度摄像机164C的视场中的（一个或多个）对象的部分的相应（一个或多个）距离（或（一个或多个）深度）的摄像机（（一个或多个）传感器等）。如本文所使用的，由深度摄像机检测到的数据可以在本文中被称为“距离”或“深度”数据。在本文所述示例中，深度摄像机164C可以捕获多像素深度图像（例如，深度图），其中，每个像素的数据表示在由该像素表示的点处的对象的部分的（从摄像机164C测量的）距离或深度。深度摄像机164C可以使用任何合适的技术（诸如（一个或多个）立体摄像机、具有均匀泛射的IR光的单个IR摄像机传感器、具有均匀泛射的IR光的双IR摄像机传感器、结构化光深度传感器技术、飞行时间（TOF）深度传感器技术、或它们的组合）来实现。在一些示例中，深度传感器164C可指示对象（例如，三维对象）何时在表面200上。在一些示例中，深度传感器164C可检测到如下至少一项：放置在表面200上的对象（或其部分）的存在、形状、轮廓、运动、和（一个或多个）相应距离。
环境光传感器164D可以被布置用于测量在系统100周围的环境中光的强度。在一些示例中，系统100可以使用传感器164D的测量结果来调整系统100的其它部件，诸如例如，系统100的传感器或摄像机（例如，摄像机164A-164C）的曝光设置、从系统100的光源（例如，投射仪组件184、显示器152等）发射的光的强度、或类似物。
在一些示例中，传感器束164可以省略传感器164A-164D中的至少一个。在其它示例中，除了传感器164A-164D之外，或代替传感器164A-164D中的至少一个，传感器束164可包括其他（一个或多个）摄像机、（一个或多个）传感器等。例如，传感器束164可包括用户接口传感器，用户接口传感器包括任何合适的（一个或多个）设备（例如，（一个或多个）传感器、（一个或多个）摄像机），用于跟踪用户输入设备，诸如例如，手部、触笔、指点设备等。在一些示例中，用户接口传感器可以包括一对摄像机，它们被设置为当用户输入设备由用户关于表面200（例如关于表面200的区域202）移动时立体跟踪用户输入设备（例如，触笔）的位置。在其它示例中，用户接口传感器可以附加地或替代地包括（一个或多个）IR摄像机或（一个或多个）传感器，它们被设置为检测由用户输入设备发射或反射的红外光。
在本文所描述的示例中，束164的每个传感器164A-164D以通信方式连接（例如，耦合）到设备150使得束164内生成的数据（例如，由摄像机捕获的图像）可被提供给设备150，并且设备150可向传感器束164的（一个或多个）传感器和（一个或多个）摄像机提供命令。束164的传感器164A-164D可以经由任何合适的有线或无线通信技术或机制（其示例如上所述）以通信方式连接到设备150。在图1-7A的示例中，电导体可以从束164通过顶部160、直立构件140以及投射仪单元180被路由，并且通过设置在安装构件186内的引线被路由到设备150中（如上所述）。
参照图5和6，在系统100的操作期间，投射仪组件184可以投射可见光187以反射离开镜162朝向表面200，从而在表面200的投射仪显示空间188上显示（一个或多个）可见图像。在图5-6的示例中，空间188可以大致是矩形，具有长度188L和宽度188W。在一些示例中，长度188L可以是近似16英寸，而宽度188W可以是近似12英寸。在其它示例中，长度188L和宽度188W可以具有不同的值。
在一些示例中，传感器束164的摄像机164A-164C被设置在系统100内以使得摄像机164A-164C的每个的视场包括表面200的空间168，空间168可与部分或全部显示空间188重叠，或者可以与显示空间188共界。在本文所描述的示例中，摄像机164A-164C的视场可以被认为包括空间168，虽然有时表面200可在表面200上或上方被（一个或多个）对象至少部分地遮蔽。在这样的示例中，表面200上或上方的（一个或多个）对象可以在视摄像机164A-164C中的至少一个的视场中。在这样的示例中，传感器束164的传感器可以基于传感器束164和表面200的空间168之间的区域的状态（例如，发生在该区域中的活动，设置在该区域中的（一个或多个）对象）获取数据。在一些示例中，空间188和空间168与表面200的区域202重合或对应，使得触摸敏感区域202、投射仪组件184和传感器束164的功能全部相对于相同定义的区域被执行。摄像机164A-164C的视场165被示意性地图示在图7A中。在一些示例中，摄像机164A-164C中的每个可以具有略微不同的视场。
现在参考图 5-7A，设备150可引导投射仪组件184把（一个或多个）图像投射到表面200的区域202上。设备150也可以在显示器152上显示（一个或多个）图像（其可以与由投射仪组件184投射到区域202上的（一个或多个）图像相同或不同）。由组件184投射的（一个或多个）图像可以包括通过软件由设备150执行而产生的信息和/或图像。在一些示例中，用户可以通过以任何合适的方式（诸如利用用户的手部35（例如，经由触摸、敲击、手势，或其他触摸输入）、利用触笔25、或经由任何其它适当的（一个或多个）用户输入设备）物理地接合表面200的触摸敏感区域202来与投射在区域202上并且显示在显示器152上的（一个或多个）图像交互。触摸敏感区域202可以经由与区域202的物理接合来检测这种交互。而且，在一些示例中，组件184还可以在设置在表面200上方的对象（例如，手部35，如图5中所示）上（至少部分地）投射（一个或多个）图像。
作为示例，当用户（例如，利用手部35，如图7A中所示）与表面200的区域202交互时，触摸敏感区域202可以生成触摸输入信息，并通过任何合适的连接（其示例如上所述）将该触摸输入信息提供给设备150。在一些示例中，触摸输入信息可被提供给在设备150上执行的操作系统（OS ）并且可以进一步被操作系统传递到在设备150上执行的另一应用（例如程序等）。作为响应，执行操作系统或应用可以改变由投射仪组件184投射的（一个或多个）图像、在显示器152上显示的（一个或多个）图像、或它们的组合。如本文所使用的，“应用”（或“计算机应用”）是可由处理资源执行的机器可读指令的集合。在一些示例中，用户可以类似地与在显示器152（其可以是触摸敏感显示器）上显示的（一个或多个）图像或​​设备150的任何其它输入设备（例如，键盘、鼠标等）交互。
在一些示例中，传感器束164的传感器也可以生成系统输入，该系统输入可以被提供给设备150用于进一步处理。例如，系统100可利用束164的至少（一个或多个）传感器和分割引擎170来检测用户手部35（或触笔25，如图5中所示）的存在和位置中的至少一个，并提供表示检测到的信息的系统输入信息给设备150。所提供的系统输入信息可以被传递到由设备150所执行的应用和操作系统中的至少一个，并且可以改变由系统100显示的（一个或多个）图像，如上面关于触摸输入描述的。例如，束164可包括被设置为执行立体触笔（例如，触笔25）跟踪的一对摄像机或传感器。在其它示例中，触笔25包括涂覆有红外回复反射涂层（例如，油漆）的尖端26使得尖端26可以用作红外回复反射器。在这样的示例中，束164可以包括（一个或多个）IR摄像机（或（一个或多个）传感器），如上所述，其检测被反射离开尖端26的IR光，以使设备150能够在尖端26跨区域202移动时跟踪尖端26的位置。在一些示例中，区域202（具有由组件184投射在其上的（一个或多个）图像）可以在系统100内用作第二或替代触摸敏感显示器。另外，对与区域202上显示的（一个或多个）图像的交互的检测可以通过使用上述传感器束164的传感器而被增强。
在一些示例中，系统100可以捕获物理对象的（一个或多个）二维（2D）图像或创建物理对象的三维（3D）扫描，使得该对象的图像然后可以被投射到区域202上用于进一步使用和对其进行操纵。例如，如图6中所示，对象40可被放置在区域202上，使得束164的传感器（例如，摄像机164A-164C中的至少一个）可检测对象40的位置、尺寸和颜色中的至少一种，以增强其（一个或多个）2D图像或创建其3D扫描。在这种示例中，由束164的传感器收集的信息可被提供给设备150（例如，操作系统、应用等），如上所述。在一些示例中，在接收到所述信息之后，设备150（例如，操作系统、应用等）可引导投射仪组件184把对象40的图像投射到区域202上。对象40可以是，例如，智能电话、书、文件、照片、或任何其它物理对象。在一些示例中，一旦（一个或多个）对象被束164的传感器扫描，表示对象的图像的背景就可以被移除（例如如上所述那样经由分割处理），并且所产生的前景对象的图像可以被投射到区域202上（或在显示器152上示出）。在这种示例中，物理对象（例如，对象40）的图像可以被捕获、处理并且在区域202上显示，以便快速且容易地创建物理对象的数字版本以允许进一步操纵它们。
图7B是包括分割引擎170的图1的计算系统100的一部分的框图。具体来说，图7B图示计算设备150的示例，该计算设备150包括分割引擎170并且以通信方式连接到摄像机164A-C（如上所述）。虽然在图7B中未示出，但计算设备150还可以以通信方式连接到系统100的其它部件，如上所述。在图7B的示例中，分割引擎170包括引擎172、174、176和178。在一些示例中，引擎170可以包括（一个或多个）附加引擎。
计算设备150（或实现分割引擎170的任何其它计算设备）可以包括至少一个处理资源。在本文所描述的示例中，处理资源可以包括，例如，包括在单个计算设备中或跨多个计算设备分布的一个处理器或多个处理器。如本文所使用的，“处理器”可以是如下各项中的至少一个：中央处理单元（CPU）、基于半导体的微处理器、图形处理单元（GPU）、被配置为检索并执行指令的现场可编程门阵列（FPGA）、适于检索并执行存储在机器可读存储介质上的指令的其它电子电路，或者它们的组合。
引擎172、174、176和178中的每个和计算设备150的任何其它引擎可以是用于实现相应引擎的功能的硬件和编程的任何组合。硬件和编程的这种组合可以以多种不同的方式来实现。例如，该编程可以是存储在非临时性机器可读存储介质上的处理器可执行指令并且硬件可包括用于执行这些指令的处理资源。在这种示例中，机器可读存储介质可以存储如下指令：当该指令由处理资源执行时，实现该引擎。存储指令的机器可读存储介质可以被集成在相同计算设备（例如，设备150）中作为处理资源来执行指令，或者机器可读存储介质可以与计算设备和处理资源分离，但可以由计算设备和处理资源访问。处理资源可包含包括在单个计算设备中或者跨多个计算设备分布的一个处理器或多个处理器。
在一些示例中，指令可以是安装包的一部分，在被安装时，该部分可以由处理资源执行以实现系统100的引擎。在这样的示例中，机器可读存储介质可以是便携介质，诸如压缩盘、DVD或闪存驱动器、或由服务器保持的存储器，该安装包可以从该服务器被下载和安装。在其它示例中，所述指令可以是已经安装在包括处理资源的计算设备（例如，设备150）上的一个或多个应用的一部分。在这样的示例中，机器可读存储介质可包括存储器，诸如硬盘驱动器、固态驱动器、或类似物。
如本文所使用的，“机器可读存储介质”可以是任何电子、磁性、光学、或其他物理存储装置，用于包含或存储信息，诸如可执行指令、数据、和类似物。例如，本文所述的任何机器可读存储介质可以是如下各项的任何一个：存储驱动器（例如，硬盘驱动器）、闪存、随机存取存储器（RAM）、任何类型的存储盘（例如，压缩盘、DVD等）、和类似物，或者它们的组合。此外，本文所述的任何机器可读存储介质可以是非临时性的。
分割引擎170的示例在下面关于图7A-7G被描述。参照图7A和7B，计算系统100包括IR吸收表面200和计算设备150。计算系统100还包括RGB摄像机164A、IR摄像机164B，和深度摄像机164C，它们均设置在IR吸收表面200上方并且指向IR吸收表面200。RGB摄像机164A可以捕获表示设置在RGB摄像机164A和IR吸收表面200之间的对象35的RGB图像702（参照图7C）。在这样的示例中，RGB图像702可以包括对象35的RGB表示722和IR吸收表面200的RGB表示712，他们可以是不同的颜色（如图7C中通过存在或不存在影线所示的）。在一些示例中，RGB摄像机164A可以是高分辨率的RGB摄像机并且所捕获的RGB图像702可以是高分辨率RGB图像。例如，如上所述，RGB摄像机可具有几百万像素（例如，14 MPS）数量级的分辨率，并且可以捕获具有几百万像素（例如，14 MPS）的分辨率的RGB图像。尽管，如图7A中所示，设置在摄像机164A-164C和表面200之间的对象35是手部35，但在其它示例中，对象可以是任何其他合适的对象。
IR摄像机164B可以基于（至少部分地）由设置在IR摄像机164B和IR吸收表面200之间的对象35反射的IR光167捕获表示设置在IR摄像机164B和IR吸收表面200之间的对象35的IR图像704（参见图7D）。在这样的示例中，IR图像704可以包括对象35的表示724和IR吸收表面200的表示714。在图7A-7F的示例中，其中对象35不吸收IR，IR摄像机164B检测到从IR吸收表面200比从对象35反射的IR光167显著低的强度（即，IR摄像机164B检测到从对象35比从IR吸收表面200反射的IR光167的显著高的强度）。在这样的示例中，IR图像704的表示IR吸收表面200的部分（即，表面表示714）包括比包括在IR图像704的表示对象35的部分（即，对象表示724）中的更高IR光强度值显著小的IR光强度值。在图7D的示例中，交叉影线表示IR图像704的由于IR吸收面200而具有更低IR光强度值的部分（即，表面表示714），并且不存在交叉影线表示IR图像704的具有更高IR光强度值的部分（即对象表示724）。图7D还图示了表面表示714的较小IR光强度值和对象表示724的较大IR光强度值之间的边界725。
深度摄像机164C可以捕获表示设置在深度摄像机164C和IR吸收表面200之间的对象35的深度图像706（参见图7E）。在这样的示例中，深度图像706可以包括对象35的表示726和IR吸收表面200的表示716。在图7A-7F的示例中，其中对象35设置在表面200上方，深度摄像机164C检测到对象35比表面200更接近深度摄像机164C。在这样的示例中，深度图像706包括针对深度图像706的表示表面200的部分（即表面表​​示716）的更大的距离（或深度）值以及针对图像706的表示对象35的部分（即对象表示726）的较小距离值。在图7E中，距离值的差由不同的影线表示。
在一些示例中，IR摄像机164B可以是低分辨率IR摄像机，并且捕获的IR图像704可以是低分辨率IR图像。另外，在一些示例中，深度摄像机164C可以是低分辨率深度摄像机并且捕获的深度图像706可以是低分辨率深度图像。例如， IR摄像机164B和深度摄像机164C的一者或两者都可以具有视频图形阵列（VGA）分辨率、四分视频图形阵列（QVGA）分辨率，或者比RGB摄像机164A的分辨率显著小的任何其他分辨率。在这些示例中，所捕获的IR和深度图像704和706可以具有捕获它的摄像机的分辨率（例如，VGA分辨率，QVGA分辨率等）。
在本文中描述的一些示例中，摄像机或图像的“分辨率”可以指代摄像机或图像的二维像素分辨率。这样的二维像素分辨率可以表示为A像素×B像素，其中A和B是正整数。在本文中所描述的示例中，计算系统的“低分辨率”摄像机可以是具有比计算系统的另一摄像机显著低的分辨率的摄像机，并且由计算系统的摄像机所捕获的 “低分辨率”图像可以是具有比能够利用计算系统的另一摄像机所捕获的图像显著低的分辨率的图像。另外，在本文所描述的示例中，计算系统的“高分辨率”摄像机可以是具有比计算系统的另一摄像机显著更高分辨率的摄像机，并且由计算系统的摄像机所捕获的“高分辨率”图像可以是具有比能够利用计算系统的另一摄像机捕获的图像的最大分辨率显著更高的分辨率的图像。例如，计算系统100可以包括用于捕获低分辨率IR图像704的低分辨率IR摄像机164B、用于捕获低分辨率深度图像706的低分辨率深度摄像机164C，和用于捕获高分辨率的RGB图像702的高分辨率RGB摄像机164A。
在一些示例中，RGB摄像机164A和由它捕获的RGB图像（例如包括RGB图像702）的二维像素分辨率可以在每个维度上是IR摄像机164B和由它捕获的IR图像（例如包括IR图像704）的二维像素分辨率的至少十倍。例如，IR摄像机164B和由其捕获的IR图像可具有近似320像素×240像素的分辨率，而RGB摄像机164A和由其捕获的RGB图像可以具有近似4416像素×3312像素的分辨率。在其他示例中，摄像机和图像可以具有不同的分辨率。
在一些示例中，RGB摄像机164A与由其捕获的RGB图像的二维像素分辨率也可以在每个维度上是深度摄像机164C和由其捕获的深度图像（例如，包括深度图像706）的二维像素分辨率的至少十倍。例如，深度摄像机164C和由其捕获的深度图像可具有近似320像素×240像素的分辨率，而RGB摄像机164A和由其捕获的RGB图像可以具有近似4416像素×3312像素的分辨率。在其他示例中，摄像机和图像可以具有不同的分辨率。
在一些示例中，分割引擎170可基于捕获的IR图像704、捕获的深度图像706和捕获的RGB图像702确定分割边界708。示例分割边界708的示意图图示于图7F中。在图7F的示例中，针对至少一个图像（例如，RGB图像702）表示的对象35的分割边界708可以是表示如下内容的估计的信息：图像的哪个（哪些）部分表示对象以及图像的哪个（哪些）部分表示对象之外的特征（例如，背景）。例如，分割边界708包括如下各项估计：对象表示728（图示为无影线）对应于图像（例如图像702）的表示对象的部分，以及背景表示718（利用垂直影线图示）对应于图像的表示除了对象之外的（一个或多个）的特征（例如，表面200）的部分。
在一些示例中，计算设备150可使用分割边界708来从不只表示对象35的捕获的图像（例如，RGB图像702）提取对象35的图像。例如，计算设备150可以提取RGB图像702的对应于分割边界708的对象表示728的部分，以获得RGB图像702的表示对象35的部分的分割图像。在图7A-7F的示例中，所得到的分割图像可以是图像702的表示对象35的部分，其中图像702的表示（一个或多个）其他（例如，背景）特征的部分被减去。在这样的示例中，所得到的分割图像可以对应于RGB图像702的对象表示722。在本文描述的示例中，分割边界可以以任何合适的形式、格式、数据结构等来表示。例如，分割边界可被表示为二进制掩码，其针对对应图像（例如，图像702）的每个像素指示该像素是否表示对象的一部分。在一些示例中，分割边界可以对应于多于一个图像（例如，图像702、704和706），并且针对对应于该对象的每个部分进行指示。
在一些示例中，摄像机164A-164C可以在不同的物理位置。照此，摄像机164A-164C可以从略微不同的角度捕获相同场景的相应图象（例如，从上方观看表面200）。在这样的示例中，分割引擎170可以在几何上对准由摄像机164A-164C捕获的图像702、704和706。例如，分割引擎170可针对摄像机164A-164C的像素构造至少一个单应性（或（一个或多个）其它映射），使得对应于相同图像特征（例如，对象35）的像素可以在每个图像702、704和706中被识别。单应性或其他映射可以以任何合适的方式被确定。在一些示例中，分割引擎170可以把图像702、704和706中的每一个的像素映射到公共坐标集，以便在几何上对准图像。在一些示例中，引擎170可以在执行下面关于引擎172、174、176和178描述的分割处理的其它功能之前执行这样的几何对准。
在图7B示例中，分割引擎170可以包括组合引擎172、边界引擎174、上采样引擎176、以及细化引擎178。组合引擎172可以把IR图像704和深度图像706组合成单个向量图像190。向量图像190可以包括多个像素，每一个像素都包括来自IR图像704的对应像素的IR强度数据和距深度图像706的对应像素的距离（深度）数据。在这样的示例中，向量图像190的每个像素包括两个信息分量。在一些示例中，向量图像190可以具有与IR和深度图像704和706近似相同的二维像素分辨率。
边界引擎174可以基于向量图像190确定对象35的初步分割边界。例如，引擎174可以分析向量图像190以便基于在向量图像190的像素处的IR强度和距离数据来估计向量图像190中表示的对象35的边缘的位置，从而确定初步分割边界。初步分割边界可以是分割边界，如上所述，并且可以以如上所述的任何合适的方式来表示。引擎174可以以任何合适的方式执行边缘估计（或边缘检测）处理。
作为示例，引擎174可以对向量图像190的IR强度和距离数据这两者运行梯度滤波，以检测具有相对较高的梯度量值的向量图像190的部分，从而估计对象35的至少（一个或多个）边缘。在这样的示例中，引擎174可至少部分地基于IR图像704的（例如，表面表示714的）较小IR光强度值和IR图像704的（例如，对象表示724的）较大IR光强度值之间的至少一个边界725来确定初步分割边界。如下所述，分割边界708可以基于初步分割边界来确定。照此，分割引擎170可至少部分地基于图像704的较小IR光强度值和图像704的较大IR光强度值之间的至少一个边界725来确定分割边界708。
在一些示例中，引擎174可以以任何合适的方式一起利用IR强度和距离数据。例如，引擎174可估计向量图像190的表示对象35的边缘的部分，如果IR强度数据和距离数据中的任一个表明（或以其他方式指示）边缘存在的话。在其它示例中，引擎174可以不估计向量图像190表示对象35的边缘的部分，除非IR强度数据和距离数据两者都表明（或以其他方式指示）边缘存在。在一些示例中，引擎174可以附加地或替代地利用各种（一个或多个）启发式方法、（一个或多个）规则等来基于向量图像190的IR强度和距离数据估计对象35的边缘的存在。
在一些示例中，初步分割边界可以具有（或以其他方式对应于）IR图像704和深度图像706中至少一个的二维像素分辨率（即，相对于RGB图像702的低分辨率）。例如，初步分割边界可以具有近似VGA分辨率（例如，640像素×480像素）、QVGA分辨率（例如，320像素×240像素）或相对于RGB图像702的分辨率的另一低分辨率。在这样的示例中，上采样引擎176可以把初步分割边界上采样到RGB图像702的分辨率（如上所述），或者到近似该分辨率。引擎176可以以任何合适的方式上采样初步分割边界。例如，引擎176可以把初步分割边界从相对较低的初始分辨率扩大到相对较高的RGB图像702的分辨率（或近似该分辨率）。在这样的示例中，引擎176可扩大初步分割边界，使得所确定的初步分割边界被利用RGB图像702的较高数目的相对较高分辨率（或近似该分辨率）的像素来表示。
在一些示例中，更高分辨率的RGB图像702可以包括，更大地可以利用比IR图像704或深度图像706更多的细节来表示对象35的（一个或多个）边缘的至少一些部分。照此，RGB图像702可被用来提高对象35的上采样初步分割边界的准确性，并由此产生分割边界708。例如，细化引擎178可基于RGB图像702细化上采样初步分割边界以获得分割边界708。例如，引擎178可以基于RGB图像702以任何合适的方式滤波或以其它方式改变上采样初步分割边界。作为示例，引擎178可利用双边滤波技术或交叉双边滤波技术来基于RGB图像702对上采样初步分割边界进行滤波。
在其它示例中，分割引擎170可以以另一方式确定分割边界708。例如，在引擎170几何对准图像702、704和706之后，上采样引擎176可以把相对较低分辨率的IR和深度图像704和706上采样到RGB图像702的相对较高分辨率（或近似该分辨率）。在这样的示例中，组合引擎172可以把RGB图像702和上采样的IR和深度图像704和706组合成单个向量图像。在这样的示例中，向量图像可以在每个像素处包括五个信息分量，包括来自上采样的IR图像704的IR强度数据、来自上采样深度图像706的距离数据和来自RGB图像702的红、蓝和绿色值中的每个。在这样的示例中，边界引擎174可基于向量图像以如上面关于初步分割边界所描述的任何方式确定分割边界708，但使用本示例的向量图像中的所有五个信息分量。
在本文所描述的示例中，分割引擎170可基于RGB、IR和深度图像702、704和706，如上所述，并且独立于（例如，不参考）由RGB、IR和深度摄像机164A-164C中的任何捕获的对象35的任何先前图像，来确定分割边界708。在这样的示例中，分割引擎170不依赖于随时间跟踪对象35（即，不基于由摄像机164A-164C中的任何随时间拍摄的图像）来确定分割边界708。另外，如上所述的投射组件184可以在IR吸收表面200和对象35上投射（一个或多个）可见图像。在这样的示例中，分割引擎170可基于在（一个或多个）可见图像的投射期间捕获的RGB、IR和深度图像702、704和706来确定分割边界708。
在一些示例中，计算系统100可以省略摄像机164A-164C中的至少一个。图7G是包括分割引擎170的计算系统100的另一示例部分。具体来说，图7B图示计算设备150的示例，其包括分割引擎170并且以通信方式连接到RGB摄像机164A和IR摄像机164B（如上所述）。在图7G的示例中，计算系统100可以省略深度摄像机164C。在这样的示例中，分割引擎170可基于由摄像机164B和164A分别捕获的IR图像704和RGB图像702来确定表示对象35的至少一个外边缘的分割边界708。在这样的示例中，引擎170可确定如上面关于引擎170描述的分割边界708，但不使用或参考深度图像706的距离数据。例如，分割引擎170可基于IR图像704（并且不是向量图像）确定初步分割边界，其可被分割引擎170进行进一步处理，以确定分割边界708，如上所述。在一些示例中，本文关于图1-7G所描述的特征和功能可以与本文关于图8-10中的任何所描述的特征和功能一起被提供。
图8是另一示例计算设备350的框图，用于基于RGB图像，IR图像和深度图像确定分割边界。计算设备350可以是上面关于图1-7G描述的设备150的另一示例实施方式。在图8的示例中，计算设备350以通信方式连接到摄像机164A-164C（如上所述），并且包括处理资源310以及机器可读存储介质320，机器可读存储介质320包括（例如，编码有）指令322、324、326和328。在一些示例中，存储介质320可包括附加的指令。在其它示例中，指令322、324、326、328和本文关于存储介质320描述的任何其他指令可以被存储在远离计算设备350和处理资源310但是可由它们访问的机器可读存储介质上。处理资源310可以取出、解码和执行存储在存储介质320上的指令，以实现下面所描述的功能。在其他示例中，存储介质320的任何指令的功能可以以如下形式来实现：电子电路形式、体现在机器可读存储介质上的可执行指令的形式、或它们的组合。机器可读存储介质320可以是非临时性机器可读存储介质。
在图8的示例中，计算系统（诸如上面关于图1-7G描述的计算系统100）可以包括计算设备350和摄像机164A-164C。在这样的示例中，包括计算设备350的计算系统还可以包括水平（或近似或基本水平）的IR吸收表面200。如上所述，IR摄像机164B可以基于由对象35反射的IR光167捕获表示设置在IR摄像机164B和IR吸收表面200之间的对象35的 IR图像704，并且深度摄像机164B可以捕获表示设置在深度摄像机164B和IR吸收表面200之间的对象35的各部分的相应距离的深度图像706。还如上所述， RGB摄像机164A（或任何其它类型的彩色摄像机164A）可以捕获表示设置在RGB摄像机164A和IR吸收表面200之间的对象35的RGB图像702（或任何其它类型的彩色图像702）。在一些示例中，RGB图像702可以具有比IR图像704和深度图像706中的每个更高的分辨率，如上所述。
在一些示例中，指令322可以从IR摄像机164B获取IR图像704，从深度摄像机164C获取深度图像706，并从RGB摄像机164A获取RGB图像702。在本文所述示例中，指令322可以主动地（例如，通过对图像进行检索、请求、访问等）或被动地（例如，对图像进行接收等）从摄像机获取图像。
在一些示例中，指令324可以在下面关于计算设备350描述的功能之前在几何上对准图像702、704和706，如上所述。在一些示例中，指令324可基于IR图像数据（例如，IR图像704的IR强度值）和深度图像数据（例如，深度图像706的距离值）确定对象35的初步分割边界，如以上关于引擎172和174描述的。例如，指令342可以把IR和深度图像704和706组合成单个向量图像（例如，图7B的向量图像190），该向量图像针对该向量图像的每个像素包括来自IR图像704的对应像素的IR强度值和来自深度图像706的对应像素的深度值。在这样的示例中，指令324可以进一步在向量图像中基于在向量图像的每个像素处的IR强度值和深度值二者来检测（一个或多个）边缘，如上所述。
指令326可以把初步分割边界上采样到RGB图像702的分辨率，并且指令328可以基于RGB图像702来细化上采样的初步分割边界，以获得对象35的分割边界708，如上面关于引擎176和178所描述的。如以上所描述的，在一些示例中，RGB图像702的二维像素分辨率在每个维度上是IR图像704的二维像素分辨率的至少十倍，并且在每个维度上是深度图像706的二维像素分辨率的至少十倍。在其它示例中，图像702、704和706可以根据上面关于图7A-7F描述的任何示例具有相应分辨率。在一些示例中，本文中关于图 8所描述的特征和功能可以与本文中关于图1-7F和9-10中的任何所描述的特征和功能一起被提供。
图9是用于确定分割边界的示例方法900的流程图。尽管方法900的执行在下面参照图1-7B的计算系统100被描述，但对于方法900的执行可以利用其它合适的系统（例如，具有计算设备350的系统100）。此外，方法900的实施方式不限于这样的示例。
在方法900的905处，设置在计算系统100的IR吸收表面200上方并且指向IR吸收表面200的IR摄像机164B可以捕获表示设置在IR吸收表面200和用于捕获图像704的IR摄像机164B之间的对象35的低分辨率IR图像704（参见照图7D）。在910处，设置在IR吸收表面上方并且指向该IR吸收表面的深度摄像机164C可以捕获表示设置在IR吸收表面200和用于捕获图像706的深度摄像机164C之间的对象35的低分辨率深度图像706（参见图7E）。在915处，设置在IR吸收表面200上方并且指向IR吸收表面200的RGB摄像机164A（或另一类型的彩色摄像机164A）可以捕获表示设置在IR吸收表面200和用于捕获图像702的RGB摄像机164A之间的对象35的高分辨率RGB图像702（或其他高分辨率彩色图像704）。
在920处，引擎172可以把IR图像704和深度图像706组合成单个向量图像190，向量图像190在每个像素处包括来自IR图像704和来自深度图像706的数据，如上所述。在925处，引擎174可基于向量图像190确定对象35的初步分割边界，如上所述。在930处，引擎176可把初步分割边界上采样到RGB图像702的分辨率，如上所述。在935处，引擎178可基于RGB图像702细化上采样的初步分割边界，如上所述，以便确定对象35的分割边界708。
尽管图9的流程图示出了执行某些功能的特定顺序，但方法900不限于该顺序。例如，该流程图中连续示出的功能可以以不同的顺序来执行，可以同时或部分同时被执行，或它们的组合。在一些示例中，本文中关于图9描述的特征和功能可以与本文中关于图1-8和10中的任何所描述的特征和功能一起被提供。
图10是用于对上采样分割边界滤波的示例方法1000的流程图。虽然方法1000的执行在下面参照图1-7B的计算系统100进行描述，但可以利用用于执行方法1000的其它合适的系统（例如，具有计算设备350的系统100）。此外，方法1000的实施方式不限定于这样的示例。
在方法1000的1005处，设置在计算系统100的IR吸收表面200上方并且指向其的IR摄像机164B可以捕获表示设置在IR吸收表面200和IR摄像机164B之间的对象35的QVGA分辨率IR图像704（参见图7D）。在1010处，设置在IR吸收表面上方并且指向其的深度摄像机164C可以捕获表示设置IR吸收表面200和深度摄像机164C之间的对象35的QVGA分辨率深度图像706（参见图7E）。在1015处，设置在IR吸收表面200上方并且指向其的RGB摄像机164A（或另一类型的彩色摄像机164A）可以捕获具有几百万像素的分辨率并且表示设置在IR吸收表面200和用于捕获图像702的 RGB摄像机164A之间的对象35的RGB图像702（或其它颜色的图像702）。
在1020处，引擎172可以把IR图像704和深度图像706组合成单个向量图像190，该向量图像190包括在每个像素处来自IR图像704和来自深度图像706的数据，如上所述。在一些示例中，在组合图像704和706之前，图像702、704和706可以在几何上对准，如上所述。在1025处，引擎174可以在向量图像190中检测边缘，其中边缘的存在由来自IR图像704的数据和来自深度图像706的数据中的任一种指示。在这样的示例中，引擎174可基于检测出的（一个或多个）边缘确定对象35的初步分割边界。在1030处，引擎176可以把初步分割边界上采样到RGB图像702的分辨率，如上所述。在1035处，引擎178可基于RGB图像702对上采样分割边界进行滤波，以确定细化的分割边界708，如上所述。
尽管图10的流程图示出了执行某些功能的特定顺序，但方法1000不限于该顺序。例如，该流程图中连续示出的功能可以以不同的顺序来执行，可以同时或部分同时被执行，或它们的组合。在一些示例中，本文中关于图10描述的特征和功能可以与本文中关于图1-9中的任何所描述的特征和功能一起被提供。

Claims (15)

1.一种计算系统，包括：
红外（IR）吸收表面；
设置在IR吸收表面上方并且指向其的IR摄像机，用于基于由设置在IR摄像机和的IR吸收表面之间的对象反射的IR光捕获表示所述对象的IR图像；
RGB摄像机，用于捕获表示设置在RGB摄像机和IR吸收表面之间的对象的RGB图像；和
分割引擎，用于基于所述IR图像和RGB图像确定表示所述对象的至少一个外边缘的分割边界。
2.如权利要求1所述的计算系统，还包括：
深度摄像机，用于捕获表示设置在深度摄像机和IR吸收表面之间的对象的深度图像；
其中分割引擎用于基于所述IR图像、所述深度图像和所述RGB图像确定分割边界。
3.如权利要求2所述的计算系统，其中：
IR摄像机是低分辨率IR摄像机并且IR图像是低分辨率IR图像；
深度摄像机是低分辨率深度摄像机并且深度图像是低分辨率深度图像；和
RGB摄像机是高分辨率RGB摄像机并且RGB图像是高分辨率RGB图像。
4.如权利要求3所述的计算系统，其中所述分割引擎包括：
组合引擎，用于把IR和深度图像组合成单个向量图像；
边界引擎，用于基于向量图像确定对象的初步分割边界；
上采样引擎，用于把初步分割边界上采样到RGB图像的分辨率；和
细化引擎，用于基于RGB图像细化上采样的初步分割边界，以获得分割边界。
5.如权利要求3所述的计算系统，其中所述分割引擎包括：
上采样引擎，用于把IR和深度图像上采样到RGB图像的分辨率；
组合引擎，用于把RGB图像和上采样IR和深度图像组合成单个向量图像；和
边界引擎，用于基于向量图像确定分割边界。
6.如权利要求3所述的计算系统，其中：
IR摄像机和IR图像具有四分视频图形阵列（QVGA）分辨率；
深度摄像机和深度图像具有QVGA分辨率；以及
RGB摄像机和RGB图像具有几百万像素（MP）的分辨率。
7.如权利要求1所述的计算系统，其中：
IR摄像机用于从IR吸收表面比从对象检测到较小的IR光强度，使得与包括在IR图像的表示对象的部分中的较高IR光强度值相比，IR图像的表示IR吸收表面的部分包括较小IR光强度值；和
分割引擎至少部分地基于较小IR光强度值和较大IR光强度值之间的至少一个边界确定所述分割边界。
8.如权利要求1所述的计算系统，其中：
IR吸收表面被设置为近似水平；并且
分割引擎还独立于由IR、深度和RGB摄像机中的任一个捕获的对象的任何先前图像来确定分割边界。
9.如权利要求8所述的计算系统，还包括：
投射组件，用于把可见图像投射在IR吸收表面和对象上；
其中分割引擎用于基于在可见图像的投射期间捕获的IR、深度和RGB图像确定表示对象的所述至少一个外边缘的分割边界；和
其中所述IR吸收表面还包括触摸敏感区域，用于检测与所述触摸敏感区的物理接触。
10.一种非临时性机器可读存储介质，包括可由计算系统的处理资源执行的指令，所述计算系统包括水平红外（IR）吸收表面以及IR摄像机、深度摄像机和彩色摄像机，每个设置在IR吸收表面上方并且指向IR吸收表面，所述指令可执行为：
基于由设置在IR摄像机和IR吸收表面之间的对象反射的IR光从IR摄像机获取表示所述对象的IR图像；
从深度摄像机获取深度图像，所述深度图像表示设置在深度摄像机和IR吸收表面之间的对象的各部分的相应距离；
从彩色摄像机获取彩色图像，所述彩色图像具有比IR图像和深度图像中的每个更高的分辨率并且表示设置在彩色摄像机和IR吸收表面之间的对象；
基于所述IR图像数据和深度图像数据确定所述对象的初步分割边界；
把初步分割边界上采样到彩色图像的分辨率；以及
基于彩色图像细化上采样的初步分割边界，以确定所述对象的分割边界。
11.如权利要求10所述的存储介质，其中用于确定的指令包括执行如下操作的指令：
把IR和深度图像组合成单个向量图像，所述向量图像针对向量图像的每个像素包括来自IR图像的对应像素的IR强度值和来自深度图像的对应像素的深度值；以及
基于在向量图像的每个像素处的IR强度值和深度值检测向量图像中的边缘。
12.如权利要求10所述的存储介质，其中：
彩色摄像机是RGB摄像机并且彩色图像是RGB图像；
IR、深度和RGB图像中的每个的分辨率都是二维像素分辨率；以及
RGB图像的二维像素分辨率在每个维度上是IR图像的二维像素分辨率的至少十倍，并且在每个维度上是深度图像的二维像素分辨率的至少十倍。
13.一种方法，包括：
利用设置在IR吸收表面上方并且指向IR吸收表面的IR摄像机捕获低分辨率红外（IR）图像；
利用设置在IR吸收表面上方并且指向IR吸收表面的深度摄像机捕获低分辨率深度图像；
利用设置在IR吸收表面上方并指向IR吸收表面的彩色摄像机捕获高分辨率彩色图像，其中所述IR图像、深度图像和彩色图像中的每个都表示设置在IR吸收表面和用于捕获图像的相应摄像机之间的对象；
把IR图像和深度图像组合成单个向量图像，所述向量图像在每个像素处包括来自IR图像和来自深度图像的数据；
基于向量图像确定对象的初步分割边界；
把初步分割边界上采样到彩色图像的分辨率；以及
基于彩色图像来细化上采样的初步分割边界，以确定对象的分割边界。
14.如权利要求13所述的方法，其中确定分割边界包括：
检测向量图像中的边缘，其中边缘的存在由来自IR图像的数据和来自深度图像的数据中的任一个指示。
15.如权利要求14所述的方法，其中：
IR图像具有四分视频图形阵列（QVGA）分辨率；
深度图像具有QVGA分辨率；
彩色图像的分辨率是几百万像素（MP）；
彩色图像是RGB图像；以及
细化包括基于RGB图像对上采样的分割边界进行滤波，以获得细化的分割边界。
CN201380081140.XA 2013-09-24 2013-09-24 基于表示对象的图像确定分割边界 Expired - Fee Related CN105723300B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/061412 WO2015047225A1 (en) 2013-09-24 2013-09-24 Determining a segmentation boundary based on images representing an object

Publications (2)

Publication Number Publication Date
CN105723300A true CN105723300A (zh) 2016-06-29
CN105723300B CN105723300B (zh) 2020-10-27

Family

ID=52744135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081140.XA Expired - Fee Related CN105723300B (zh) 2013-09-24 2013-09-24 基于表示对象的图像确定分割边界

Country Status (5)

Country Link
US (1) US10156937B2 (zh)
EP (1) EP3049895A4 (zh)
CN (1) CN105723300B (zh)
TW (1) TWI608426B (zh)
WO (1) WO2015047225A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316272A (zh) * 2017-06-29 2017-11-03 联想(北京)有限公司 用于图像处理的方法及其设备
CN109878552A (zh) * 2019-03-26 2019-06-14 广州地铁集团有限公司 基于机器视觉的轨道交通站台门与列车间异物监测装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015130226A1 (en) * 2014-02-25 2015-09-03 Heptagon Micro Optics Pte. Ltd. Image sensor modules including primary high-resolution imagers and secondary imagers
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
DE102014011821A1 (de) * 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
WO2016042637A1 (ja) * 2014-09-18 2016-03-24 Ｎｅｃディスプレイソリューションズ株式会社 光源装置、電子黒板システムおよび光源装置の制御方法
EP3338446B1 (en) * 2015-09-23 2022-03-30 Hewlett-Packard Development Company, L.P. Image projections
CN105607785B (zh) * 2016-01-04 2019-11-12 京东方科技集团股份有限公司 触控显示系统及触控操作装置
CA3029988A1 (en) * 2016-07-12 2018-01-18 Walmart Apollo, Llc Systems and methods for automated assessment of physical objects
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
WO2018215053A1 (en) * 2017-05-23 2018-11-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
US10713756B2 (en) * 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020065121A1 (en) * 2000-11-16 2002-05-30 Konami Corporation Match-style 3D video game device and controller therefor
US20110293180A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Foreground and Background Image Segmentation
US20120320157A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置
US20130136358A1 (en) * 2011-11-29 2013-05-30 Microsoft Corporation Foreground subject detection

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
KR100595924B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
WO1999039302A1 (en) 1998-01-28 1999-08-05 California Institute Of Technology Camera-based handwriting tracking
US6246395B1 (en) 1998-12-17 2001-06-12 Hewlett-Packard Company Palm pressure rejection method and apparatus for touchscreens
CN1191714C (zh) 2001-08-14 2005-03-02 瑞昱半导体股份有限公司 数字影像的取样频率转换的装置与方法
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US8358815B2 (en) 2004-04-16 2013-01-22 Validity Sensors, Inc. Method and apparatus for two-dimensional finger motion tracking and control
EP2408192A3 (en) 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7561146B1 (en) 2004-08-25 2009-07-14 Apple Inc. Method and apparatus to reject accidental contact on a touchpad
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8147316B2 (en) 2006-10-10 2012-04-03 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
US20080196945A1 (en) 2007-02-21 2008-08-21 Jason Konstas Preventing unintentional activation of a sensor element of a sensing device
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
TWI343207B (en) 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
US20090309838A1 (en) 2008-06-11 2009-12-17 Microsoft Corporation Use of separation elements with rear projection screen
FI20085794A0 (fi) 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
US8432366B2 (en) 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20100302376A1 (en) 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
TWI413814B (zh) 2009-07-01 2013-11-01 Hannstar Display Corp 具視差障壁層之偏光板及其製造方法、以及其應用之三次元顯示裝置
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
ES2395102B1 (es) 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
TW201222288A (en) 2010-11-22 2012-06-01 Inst Information Industry Image retrieving system and method and computer program product thereof
KR101413539B1 (ko) 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
AU2011203028B1 (en) 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US20130050133A1 (en) 2011-08-30 2013-02-28 Nokia Corporation Method and apparatus for precluding operations associated with accidental touch inputs
US20130057515A1 (en) 2011-09-07 2013-03-07 Microsoft Corporation Depth camera as a touch sensor
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US8873852B2 (en) 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
KR20130099745A (ko) 2012-02-29 2013-09-06 주식회사 팬택 터치 단말기의 입력 신호 구분 장치 및 방법
EP2637139A1 (en) 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
US9046958B2 (en) 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
US9519968B2 (en) 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
EP3028113A4 (en) 2013-07-31 2017-04-05 Hewlett-Packard Development Company, L.P. System with projector unit and computer
EP3072032B1 (en) 2013-11-21 2020-01-01 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting infrared light

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020065121A1 (en) * 2000-11-16 2002-05-30 Konami Corporation Match-style 3D video game device and controller therefor
US20110293180A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Foreground and Background Image Segmentation
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置
US20120320157A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
US20130136358A1 (en) * 2011-11-29 2013-05-30 Microsoft Corporation Foreground subject detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛罕平，李明喜，张艳诚: "基于多光谱图像融合和形态重构的图像分割方法", 《农业工程学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316272A (zh) * 2017-06-29 2017-11-03 联想(北京)有限公司 用于图像处理的方法及其设备
CN109878552A (zh) * 2019-03-26 2019-06-14 广州地铁集团有限公司 基于机器视觉的轨道交通站台门与列车间异物监测装置
CN109878552B (zh) * 2019-03-26 2021-08-13 广州地铁集团有限公司 基于机器视觉的轨道交通站台门与列车间异物监测装置

Also Published As

Publication number Publication date
US20160231866A1 (en) 2016-08-11
CN105723300B (zh) 2020-10-27
TW201520904A (zh) 2015-06-01
EP3049895A4 (en) 2017-06-07
US10156937B2 (en) 2018-12-18
WO2015047225A1 (en) 2015-04-02
EP3049895A1 (en) 2016-08-03
TWI608426B (zh) 2017-12-11

Similar Documents

Publication Publication Date Title
CN105723300A (zh) 基于表示对象的图像确定分割边界
TWI547828B (zh) 感測器與投射器之校準技術
CN105745606A (zh) 基于图像识别触摸敏感表面的目标触摸区域
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
TWI545463B (zh) 投影系統及管理投影系統之方法
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US10379680B2 (en) Displaying an object indicator
TW201617790A (zh) 投影機顯示區角落產生技術
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
CN107077196B (zh) 识别触敏表面上的对象
TWI567588B (zh) 轉換經接收觸碰輸入
WO2016036352A1 (en) Presentation of a digital image of an object
WO2016018409A1 (en) Process image according to mat characteristic
TWI566126B (zh) 從影像發展出脈絡資訊之技術

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201027

CF01 Termination of patent right due to non-payment of annual fee