CN104769644A - 利用可变场照明设备的对象检测和跟踪 - Google Patents

利用可变场照明设备的对象检测和跟踪 Download PDF

Info

Publication number
CN104769644A
CN104769644A CN201380058409.2A CN201380058409A CN104769644A CN 104769644 A CN104769644 A CN 104769644A CN 201380058409 A CN201380058409 A CN 201380058409A CN 104769644 A CN104769644 A CN 104769644A
Authority
CN
China
Prior art keywords
light
emitting component
camera
visual field
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058409.2A
Other languages
English (en)
Other versions
CN104769644B (zh
Inventor
D·霍尔兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LMI Clearing Co.,Ltd.
Ultrahaptics IP Ltd
Original Assignee
Leap Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leap Motion Inc filed Critical Leap Motion Inc
Publication of CN104769644A publication Critical patent/CN104769644A/zh
Application granted granted Critical
Publication of CN104769644B publication Critical patent/CN104769644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Abstract

通过剪裁对检测空间内对象位置的照明，成像系统和方法优化用于检测、识别和/或跟踪目的的对象照明。例如，来自跟踪系统的反馈可以用于控制发光元件和使发光元件瞄准，使得照明可以根据需要减少或者增加。

Description

利用可变场照明设备的对象检测和跟踪
相关申请的交叉引用
本申请要求于2013年1月18日提交的美国申请序列号13/744,810的优先权，该美国申请序列号13/744,810要求于2012年11月8日提交的美国临时申请序列号61/724,073的权益，它们的整体公开内容通过引用并入于此。
背景技术
本公开总体上涉及成像系统，并且具体涉及使用光学成像的三维(3D)对象检测、跟踪以及表征。
运动捕捉系统被用于各种情境中，以便获得关于各种对象(包括诸如人手或者人体之类的具有关节构件的对象)的构造和运动的信息。这种系统通常包括用于捕捉运动中对象的序列图像的相机以及用于分析图像以便创建对象的体积、位置和运动的重构的计算机。对于3D运动捕捉，通常使用至少两个相机。
基于图像的运动捕捉系统依靠将关心的对象与其它对象或者背景区分开的能力。这常常使用图像分析算法来实现，图像分析算法通常通过比较像素以检测颜色和/或亮度的突然改变来检测边缘。对关心对象的充足照明显然是成功检测的关键。对于在宽阔检测空间中运行的系统，通常高的照明强度是必要的；实际上，整个监控区域沉浸于光中(该光可以是可见的或者在可见光谱外，例如红外辐射)，使得“最坏情形”的对象位置接收足够的照明。这意味着统一光强度几乎总是大于必要的，从而在硬件设计、发光元件的数目和/或照度、以及功率消耗方面予以过多的要求。
发明内容
本发明涉及通过剪裁对检测空间内对象位置的照明来优化用于检测、识别和/或跟踪目的的对象照明的成像系统和方法。例如，来自跟踪系统的反馈可以用于控制发光元件和使发光元件瞄准，使得照明可以依照需要减少或者增加。
总体而言，依照本发明的系统利用具有不同或者可变照射角度(还称为光束角，即关于光束轴彼此相对的两个方向之间的角度，对于这两个方向，照明强度是最大照明强度的一半)的发光元件(例如，发光二极管(LED)、白炽灯泡、激光器等)的阵列。照射角度越大，强度将随着距离衰减越快。因此，在对象被跟踪时，其范围和位置确定哪个照明设备被开启，或者它们的照射角度。
例如，检测空间最初可以用具有与跟踪设备(例如相机)的聚集视场相似的聚集视场的一个或者多个宽光束发光元件照亮。一旦获得对象的位置，可以关闭宽光束发光元件，并且可以激活指向对象方向的一个或者多个窄光束发光元件。在对象移动时，激活窄光束发光元件中的不同窄光束发光元件。在很多实施方式中，这些定向发光元件仅需要位于相机的视场中心；例如，在手跟踪的情形下，人们常常不会试图同时以宽角度和大距离与相机交互。
如果被跟踪的对象与相机成大角度(即，对于运动跟踪设备侧远)，其可能相对接近设备。因此，低功率、宽光束发光元件可以是合适的。结果，发光阵列可以包括接近相机的仅一个或者小数目的宽光束发光元件连同相等或者更大数目的窄光束设备(例如，集体覆盖相机前方空间的中心场区域—例如，在相机法线周围30°或者45°圆锥体内)。因此，可能减少或者最小化用于照射空间所需要的发光元件的数目，其中通过使用指向中心场的小数目的宽光束元件和更大(或者相等)数目的窄光束元件来检测运动。
还可能用指向不同方向的很多窄光束LED覆盖宽视场。可以操作这些窄光束LED以便于扫描所监控的空间，以便标识实际聚光照射对象的元件；仅实际聚光照射对象的这些元件保持开启而其它的被关闭。在一些实施例中，运动系统计算所跟踪对象的预测轨迹，并且该轨迹用于预期在对象移动时应该激活哪个照明元件。在获得新的跟踪信息时，轨迹连同照明模式被修正。
因此，在第一方面中，本发明涉及图像捕捉和分析系统，其包括：朝着视场定向的相机；指向视场的多个单独可控的发光元件，发光元件包括至少一个宽光束发光元件和多个窄光束发光元件；以及耦合到相机的控制器。在各种实施例中，控制器和光源被配置为操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。
在各种实施例中，发光元件包括至少一个宽光束发光元件和多个窄光束发光元件。窄光束发光元件可以具有大约60°的光束角,而宽光束发光元件可以具有大约120°的光束角。控制器可以被配置为跟踪对象并且激活窄光束发光元件中的不同窄光束发光元件，以便在对象移动时保持对象被照射。此外，控制器可以被配置为停用不必要用于照射对象的发光元件。在一些实施例中，控制器操纵窄光束发光元件，以便在对象移动时保持对象被至少一个这种元件照射。例如，控制器可以被配置为分析来自相机的图像，以便预测对象的轨迹并且依照所预测的轨迹激活或者操纵发光元件。
在第二方面中，本发明涉及图像捕捉和分析系统。在各种实施例中，系统包括：朝着视场定向的相机；多个单独可控的发光元件和与发光元件中的至少一些发光元件关联的可控光学器件，该光学器件可控地更改所关联的发光元件的光束角；以及耦合到相机和光源的控制器。控制器被配置为操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件和光学器件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。在一些实施例中，光学器件为可调透镜。控制器可以控制光学器件变化发光元件的光束角，并且控制驱动电流以变化发光元件的输出照度，以便最小化驱动电流。
在第三方面中，本发明涉及用于与朝着视场定向的相机和多个发光元件一起使用的图像捕捉和分析方法；发光元件包括至少一个宽光束发光元件和多个窄光束发光元件。具体而言，发光元件可以包括至少一个宽光束发光元件和多个窄光束发光元件。在各种实施例中，方法包括操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。在一些实施方式中，窄光束发光元件具有大约60°的光束角而宽光束发光元件具有大约120°的光束角。
在各种实施例中，跟踪对象，并且激活窄光束发光元件中的不同窄光束发光元件以便在对象移动时保持对象被照射；可以停用不必要用于照射对象的发光元件。此外，可以操纵窄光束发光元件，以便在对象移动时保持对象被至少一个这种元件照射。可以分析来自相机的图像以便预测对象的轨迹，并且可以依照所预测的轨迹激活和/或操纵发光元件。
在第四方面中，本发明涉及用于与朝着视场定向的相机和多个单独可控的发光元件以及与发光元件中的至少一些发光元件关联的可控光学器件一起使用的图像捕捉和分析方法；光学器件可控地更改所关联的发光元件的光束角。在各种实施例中，方法包括操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件和光学器件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。
如在本文中所使用的，术语“基本上”或者“大约”意指±10％(例如，按重量或者按体积)，而在一些实施例中，意指±5％。术语“本质上由……组成”意指排除对功能有贡献的其它材料，除非本文另外定义。术语“光”指代任何形式的电磁辐射并且不仅仅指代例如可见光。贯穿本说明书提及的“一个示例”、“示例”、“一个实施例”或者“实施例”意指联系示例描述的具体特征、结构或者特性包括在本技术的至少一个示例中。因此，贯穿本说明书各处出现的短语“在一个示例中”、“在示例中”、“一个实施例”或者“实施例”不必要全部指代相同示例。此外，具体特征、结构、例程、步骤或者特性可以在本技术的一个或者多个示例中以任何合适的方式组合。本文提供的标题仅为了方便而非旨在限制或者解释所要求保护的技术的范围或者含义。
以下详细描述连同附图一起将提供对本发明的实质和优点的更好理解。
附图说明
图1A示出了用于捕捉图像数据的表示性系统。
图1B示出了根据本发明的实施例的用于捕捉图像数据的系统。
图2是根据本发明的实施例的实现图像分析装置的计算机系统的简化框图。
图3A至图3C是根据本发明的实施例的可以获得的像素行亮度数据的图表。
图4是根据本发明的实施例的用于标识图像中对象定位的过程的流程图。
图5示出了根据本发明的实施例的其中光源以规律间隔脉冲开启的时间线。
图6示出了根据本发明的实施例的用于使光源脉冲和捕捉图像的时间线。
图7是根据本发明的实施例的用于使用连续图像标识对象边缘的过程的流程图。
图8是根据本发明的实施例的并入运动检测器作为用户输入设备的计算机系统的顶视图。
图9是根据本发明的实施例的平板计算机的前视图，其示出了并入运动检测器的计算机系统的另一示例。
图10示出了根据本发明的实施例的并入运动检测器的护目镜系统。
图11是根据本发明的实施例的用于使用运动信息作为用户输入以便控制计算机系统或者其它系统的过程的流程图。
图12示出了根据本发明的另一实施例的用于捕捉图像数据的系统。
图13示出了根据本发明的又一实施例的用于捕捉图像数据的系统。
具体实施方式
首先参照图1A，其示出了未实现本发明的用于捕捉图像数据的系统100。系统100包括耦合到图像分析系统106的一对相机102、104。相机102、104可以是任何类型的相机，包括跨可见光谱敏感的相机，或者更典型地，对于有限波长带(例如，红外(IR)或者紫外带)具有增强的灵敏度的相机；更一般地，术语“相机”在本文中指代有能力捕捉对象图像和以数字数据形式表示该图像的任何设备(或者设备组合)。例如，可以采用线传感器或者线相机，而非捕捉二维(2D)图像的常规设备。术语“光”一般用于意指任何电磁辐射，其可以在或者可以不在可见光谱内，并且可以是宽带的(例如白光)或者窄带的(例如单个波长或者波长的窄带)。
相机102、104优选地有能力捕捉视频图像(即，在至少15帧每秒的恒定速率的连续图像帧)，但是不要求具体帧速率。相机102、104的性能对于本发明来时不是至关重要的，并且相机可以关于帧速率、图像分辨率(例如，每图像的像素)、颜色或者强度分辨率(例如，每像素的强度数据的比特数)、透镜焦距、景深等而变化。总体上，对于具体应用，可以使用有能力聚焦在关心的空间体积内的对象上的任何相机。例如，为了捕捉其它部分静止的人的手运动，关心的体积可以被定义为边长大约一米的立方体。
所示系统100包括一对光源108、110，其可以被设置到相机102、104的两侧，并且由图像分析系统106控制。光源108、110可以是具有一般常规设计的红外光源，例如红外发光二极管(LED)，并且相机102、104可以对红外光敏感。过滤器120、122可以被放置在相机102、104前方以便过滤掉可见光，使得仅红外光被登记在由相机102、104捕捉的图像中。在其中关心的对象是人手或者人体的一些实施例中，红外光的使用可以允许运动捕捉系统在范围广泛的照明条件下操作，并且可以避免可能与将可见光直射到有人移动的区域中关联的各种不便或者注意力分散。然而，要求具体的波长或者电磁频谱区域。
应该强调的是，图1A所示的布置是表示性的而非限制性的。例如，可以使用激光器或者其它光源代替LED。对于激光器设置，可以采用附加的光学器件(例如，透镜或者漫射器)以便加宽激光器光束(并且使其视场相似于相机的视场)。有用的布置还可以包括用于不同范围的短角和宽角照明器。光源通常是漫射的而非镜面点光源；例如，具有光扩展密封的封装LED是合适的。
操作中，相机102、104朝着关心的区域112定向，在该区域中可以存在关心的对象114(在这一示例中，为人手)和一个或者多个背景对象116。光源108、110被布置为照射区域112。在一些实施例中，光源108、110中的一个或者多个和相机102、104中的一个或者多个被设置在将要检测的运动之下，例如将要检测手运动处，在该运动发生的空间区域下方。这是最优定位，因为所记录的关于手的信息量与手在相机图像中占据的像素数目成比例，当相机关于手的“指向方向”的角度尽可能接近垂直时，手将占据更多像素。因为对于用户而言，将其手掌朝着屏幕定向是不舒适的，最优位置是从下向上看、从上向下看(这需要桥)或者从屏幕边框(bezel)对角地向上看或者对角地向下看。在向上看的情形下，更无与背景对象(例如，用户桌子上的杂乱物)混淆的可能性，并且如果直接向上看，则几乎没有与视场外的其他人混淆的可能性(并且通过未对脸部成像，还增强了隐私)。图像分析系统106(其可以是例如计算机系统)可以控制光源108、110和相机102、104的操作以便捕捉区域112的图像。基于所捕捉的图像，图像分析系统106确定对象114的位置和/或运动。
例如，作为确定对象114位置的步骤，图像分析系统106可以确定由相机102、104捕捉的各个图像中的那些像素包含对象114的部分。在一些实施例中，图像中的任何像素可以被分类为“对象”像素或者“背景”像素，这取决于该像素是否包含对象114的一部分。通过使用光源108、110，将像素分类为对象像素或者背景像素可以基于像素的亮度。例如，在关心的对象114和相机102、104之间的距离(rO)预期小于在背景对象116和相机102、104之间的距离(rB)。因为来自源108、110的光的强度随着1/r2而减少，对象114将比背景116被照得更明亮，并且包含对象114的部分的像素(即，对象像素)将会相应地比包含背景116的部分的像素(即，背景像素)更明亮。例如，如果rB/rO＝2，则对象像素的亮度将会是背景像素的大约四倍，其中假设对象114和对象116对来自源108、110的光具有相似的反射，并且进一步假设对区域112的整体照明(至少在由相机102、104捕捉的频带内)由光源108、110主导。对于相机102、104、光源108、110、过滤器120、122的合适选择以及通常遇到的对象，这些假设总体上适用。例如，光源108、110可以是有能力强烈发射窄频带中的辐射的红外LED，并且过滤器120、122可以与光源108、110的频带匹配。因此，虽然人手或者人体、或者背景中的热源或者其它对象可以发射一些红外辐射，但是相机102、104的响应仍然可以由源自源108、110并且由对象114和/或背景116反射的光主导。
在这一布置中，通过对每个像素应用亮度阈值，图像分析系统106可以迅速并且准确地从背景像素区分出对象像素。例如，CMOS传感器或者相似设备中的像素亮度可以以从0.0(暗)到1.0(完全饱和)的尺度来测量，其中之间的某个数目的分级取决于传感器设计。由相机像素编码的亮度随着对象的照度标准地(线性地)伸缩(scale)，这通常起因于沉积的电荷或者二极管电压。在一些实施例中，光源108、110足够明亮以至于从距离rO处的对象反射的光产生亮度水平1.0，然而在距离rB＝2rO处的对象产生亮度水平0.25。对象像素因此可以基于亮度容易地与背景像素区分出。进一步地，对象的边缘也可以基于邻近像素之间的亮度差而容易地被检测到，从而允许确定每个图像内的对象位置。使来自相机102、104的图像之间的对象位置相关允许图像分析系统106确定对象114在3D空间中的定位，并且分析图像的序列允许图像分析系统106使用常规运动算法重构对象114的3D运动。
图1B示出了实现本发明的系统100'，其中为了便于呈现示出了单个相机102。所示系统100'包括位于相机102附近位置的一对宽光束LED 130、132，以及进一步远离相机102定位的一对窄光束LED140、142。通常地，“宽光束”为约120°宽而窄光束为大约60°宽，虽然这些仅是表示性的数字并且可以随着应用而变化；更一般地，宽光束可以具有从>90°到180°的无论何处的光束角，而窄光束可以具有从>0°到90°的无论何处的光束角。图像分析系统106还控制LED 130、132、140、142的操作。应该理解的是，示出四个LED仅是为了示例性目的；系统可以如下文所述那样并且根据应用而包含更多或者更少的发光元件，并且此外，发光元件不需要是LED；再次，该术语为了方便而被广泛使用。
如图所示，LED 130、132的宽光束160、162在对象114的初始位置P截击对象114，该初始位置P是中心并且相对接近相机102。LED 130、132可以是用于仅照射接近相机102的对象的低功率LED，或者可以具有足够功率以照射整个检测空间，以便便于初始对象检测，在此情形下期望保持LED 130、132有效仅必要的时长。在对象114向第二位置P'移走时，其进入窄光束LED 142的照明场内。图像分析系统106'执行上述功能，但是还包括基于相机102记录的图像激活和停用LED的功能。此处，系统106'登记这一转变，并且既激活LED 102又停用宽光束LED 130、132。因此，在跟踪对象114时，其范围确定开启哪些LED。
在一些实施例中，LED 130、132、140、142是完全相同的设备，但是具有由系统106'控制的关联的电可控或者机电可控的光学器件150(为了方便，仅示出在LED 140上方)，系统106'还使用常规驱动和控制电路系统来控制供应到LED的功率(例如驱动电流)。例如，光学器件150可以是可调透镜。在此情形下，系统106'确定LED中的哪些LED可以用最窄的光束角照射对象114以便于汲取最小的功率，并且既以确定的功率水平驱动LED又调整关联的光学器件150以产生必要的光束角。在跟踪对象114时，系统106'可以使得所选择的LED的光束角加宽并且增加其驱动电流，直到对象114进入可以用更少的功率消耗照射对象114的邻近LED的场，在该点处系统106'激活新的LED并且关闭之前所选择的LED。
例如，检测空间最初可以用具有与相机102的聚集视场相似的聚集视场的一个或者多个宽光束发光元件照亮。一旦通过系统106'获取对象114的位置，系统106'可以关闭宽光束LED并且激活指向对象144的方向的一个或者多个窄光束LED。在对象114移动时，激活窄光束LED中的不同窄光束LED。在很多实施方式中，这些定向LED仅需要位于相机102的视场中心；例如，在手跟踪的情形下，人们通常不会试图同时以宽角度和大距离与相机交互。
如果被跟踪的对象与相机成大角度(即，对于运动跟踪设备侧远，在位置P”处)，其可能相对接近相机102。因此，低功率、宽光束LED可以是合适的。结果，发光阵列可以包括接近相机102的仅一个或者小数目的宽光束LED连同相等或者更大数目的窄光束LED(例如，集体覆盖相机102前方空间的中心场区域—例如，在相机法线周围的30°或者45°圆锥体内)。因此，可能减少或者最小化用于照射空间所需要的LED的数目，其中通过使用指向中心场的小数目宽光束LED和更大(或者相等)数目的窄光束LED来检测运动。
还可能用指向不同方向的很多窄光束LED覆盖宽视场。可以由系统106'操作这些窄光束LED以便于扫描所监控的空间，以便标识实际照射对象114的LED；系统106'保持供应到这些LED的功率而停用其它LED。在一些实施例中，系统106'使用常规预测跟踪技术计算被跟踪对象114的预测轨迹，并且这一轨迹用于预期在对象114移动时应该激活哪些LED。在对象114如相机102的连续图像帧所记录的那样移动通过空间时，系统106'绘制实际对象轨迹并且实时地将其与预测轨迹进行比较，从而在获取和分析新图像并且从中导出跟踪信息时对后者——连同照明模式——进行修正。在其它实施方式中，LED自身可以物理或者光学操纵。在这种实施方式中，系统106'使用所预测的轨迹操纵光束以便保持对象被照射，从而仅当对象超出当前跟踪它的LED的操纵范围时激活新的LED。为此目的，可以利用服从计算机控制的任何操纵布置。例如，LED自身可以被安装到在有角度支点之上可旋转悬置的柔性基板；压电或者弹簧承载的电磁致动器可以用于跨轴线变化LED的角度。备选地，LED输出可以穿过可操纵透镜或者使光束定向变化的其它光学元件。用于物理或者光学地操纵LED输出的合适布置在扫描和显示领域中是众所周知的。
图像分析系统106、106'(还称为图像分析器)可以包括有能力捕捉和处理图像数据(例如，通过使用本文所描述的技术)的任何设备或者设备部件，或者由它们组成。图2是计算机系统200的简化框图，计算机系统200实现根据本发明的实施例的图像分析系统106、106'。计算机系统200包括处理器202、存储器204、相机接口206、显示器208、扬声器209、键盘210和鼠标211。
存储器204可以用于存储将要由处理器202执行的指令以及与指令执行关联的输入和/或输出数据。具体而言，存储器204包含控制处理器202的操作和其与其它硬件部件的交互的指令(概念性地示出为在下文更详细地描述的模块组)。操作系统指导诸如存储器分配、文件管理以及大容量存储设备的操作之类的低级、基础系统功能的执行。操作系统可以是或者包括各种操作系统，诸如MicrosoftWINDOWS操作系统、Unix操作系统、Linux操作系统、Xenix操作系统、IBM AIX操作系统、Hewlett Packard UX操作系统、NovellNETWARE操作系统、Sun Microsystems SOLARIS操作系统、OS/2操作系统、BeOS操作系统、MACINTOSH操作系统、APACHE操作系统、OPENSTEP操作系统或者平台的另一操作系统。
计算环境还可以包括其它可移除/非可移除、易失性/非易失性计算机存储介质。例如，硬盘驱动可以读取或者写入到非可移除、非易失性磁性介质。磁盘驱动可以从其读取或者写入到可移除、非易失性磁盘，并且光盘驱动可以从其读取或者写入到诸如CD-ROM或者其它光学介质之类的可移除、非易失性光盘。可以在示例性操作环境中使用的其它可移除/非可移除、易失性/非易失性计算机存储介质包括(但是不限于)盒式磁带、闪存卡、数字通用碟、数字视频带、固态RAM、固态ROM等。存储介质通常通过可移除或者非可移除存储器接口连接到系统总线。
处理器202可以是通用微处理器，但是取决于实施方式可以备选地为微控制器、外围集成电路元件、CSIC(客户专用集成电路)、ASIC(专用集成电路)、逻辑电路、数字信号处理器、诸如FPGA(现场可编程门阵列)、PLD(可编程逻辑设备)、PLA(可编程逻辑阵列)之类的可编程逻辑设备、RFID处理器、智能芯片、或者有能力实现本发明的过程的任何其它设备或者设备布置。
相机接口206可以包括实现在计算机系统200和诸如图1A所示的相机102、104之类的相机、以及诸如图1A的光源108、110之类的关联光源之间通信的硬件和/或软件。因此，例如，相机接口206可以包括相机可以连接到的一个或者多个数据端口216、218，以及硬件和/或软件信号处理器，硬件和/或软件信号处理器用于在将信号作为输入提供到在处理器202上执行的常规运动捕捉(“mocap”)程序214之前，修改从相机接收的数据信号(例如，以减少噪声或者重新格式化数据)。在一些实施例中，相机接口206还可以将信号传输到相机，例如以激活或者停用相机、以控制相机设置(帧速率、图像质量、灵敏度等)等。可以例如响应于来自处理器202的控制信号而传输这种信号，转而可以响应于用户输入或者其它检测到的事件而生成该控制信号。
相机接口206还可以包括光源(例如，光源108、110)可以连接到的控制器217、219。在一些实施例中，控制器217、219例如响应于来自执行mocap程序214的处理器202的指令而向光源供应操作电流。在其它实施例中，光源可以从外部电源供应(未示出)汲取操作电流，并且控制器217、219可以生成用于光源的控制信号，例如从而指示光源开启或关闭或者改变亮度。在一些实施例中，单个控制器可以用于控制多个光源。
定义mocap程序214的指令被存储在存储器204中，并且这些指令当被执行时对供应自连接到相机接口206的相机的图像执行运动捕捉分析。在一个实施例中，mocap程序214包括各种模块，诸如对象检测模块222和对象分析模块224；再次，这些模块两者都是本领域中常规的和表征良好的。对象检测模块222可以分析图像(例如，经由相机接口206捕捉的图像)以便检测其中的对象边缘和/或关于对象定位的其它信息。对象分析模块224可以分析由对象检测模块222提供的对象信息，以便确定对象的3D位置和/或运动。可以在mocap程序214的代码模块中实现的操作的示例在下文中描述。存储器204还可以包括由mocap程序214使用的其它信息和/或代码模块。
显示器208、扬声器209、键盘210和鼠标211可以用于便于与计算机系统200的用户交互。这些部件可以具有一般常规设计，或者按照期望修改以便提供任何类型的用户交互。在一些实施例中，使用相机接口206和mocap程序214的运动捕捉的结果可以被解译为用户输入。例如，用户可以执行使用mocap程序214分析的手势，并且这一分析的结果可以被解译为用于在处理器200上执行的一些其它程序(例如，网页浏览器、文字处理器或者其它应用)的指令。因此，通过说明的方式，用户可以使用向上或者向下的滑动姿势“滚动”当前显示在显示器208上的网页，使用旋转姿势增加或者减少来自扬声器209的音频输出的音量等等。
将领会的是，计算机系统200是说明性的，并且变化和修改是可能的。计算机系统可以以各种外形规格来实现，包括服务器系统、台式系统、膝上型系统、平板、智能手机或者个人数字助理等等。具体实施方式可以包括未在本文中描述的其它功能，例如有线和/或无线网络接口、媒体播放和/或记录能力等。在一些实施例中，一个或者多个相机可以内置于计算机中而非供应为分离部件。进一步地，可以使用仅计算机系统部件的子集来实现图像分析器(例如，实现为具有用于接收图像数据和输出分析结果的合适的I/O接口的执行程序代码的处理器、ASIC、或者固定功能的数字信号处理器)。
虽然本文中参照特定块来描述计算机系统200，但是要理解的是，是为了描述方便而定义了块而不是旨在暗示部件部分的特定物理布置。进一步地，块不需要对应于物理上相异的部件。在使用物理上相异的部件的程度上，部件之间的连接(例如，用于数据通信)可以按照期望是有线的和/或无线的。
由处理器202执行对象检测模块222可以使得处理器202操作相机接口206以捕捉对象的图像并且通过分析图像数据将对象像素与背景像素区分开。图3A至图3C是根据本发明的各种实施例的可以获得的像素行的亮度数据的三幅不同的图表。虽然每幅图表示出了一个像素行，但是要理解的是，图像通常包含很多像素行，并且每行可以包含任何数目的像素；例如，HD视频图像可以包括各自具有1920个像素的1080个行。
图3A示出了用于像素行的亮度数据300，其中对象具有单个横截面，诸如通过手的手掌的横截面。区域302中的像素(对应于对象)具有高亮度，然而区域304和区域306中的像素(对应于背景)具有低得多的亮度。如可以看到的，对象的定位非常明显，并且容易标识对象边缘的定位(在308处、在310处)。例如，具有高于0.5亮度的任何像素可以被认为是对象像素，然而具有低于0.5亮度的任何像素可以被认为是背景像素。
图3B示出了用于像素行的亮度数据320，其中对象具有多个相异的横截面，诸如通过张开的手的手指的横截面。区域322、区域323以及区域324(对应于对象)具有高亮度，然而区域326至区域329中的像素(对应于背景)具有低亮度。再次，简单的亮度阈值截止(例如，在0.5处)足以将对象像素与背景像素区分开，并且可以容易地探明对象的边缘。
图3C示出了用于像素行的亮度数据340，其中到对象的距离跨行变化，诸如两根手指朝着相机伸出的手的横截面。区域342和区域343对应于伸出的手指并且具有最高的亮度；区域344和区域345对应于手的其它部分并且略微较不明亮；这可能部分由于更远离、部分由于伸出的手指投射的阴影。区域348和区域349是背景区域并且比包含手的区域342至区域345暗得多。亮度阈值截止(例如，在0.5处)再次足以将对象像素与背景像素区分开。还可以执行对对象像素的进一步分析以便检测区域342和区域343的边缘，从而提供关于对象的形状的附加信息。
将领会的是，图3A至图3C所示的数据是说明性的。在一些实施例中，可能期望调整光源108、110的强度，使得在预期距离(例如，图1A中的rO)处的对象将被过度曝光—即，很多(如果不是全部)对象像素将完全饱和至亮度水平1.0。(对象的实际亮度可能实际上更高。)虽然这也可能使得背景像素稍微更明亮，但是光强随着距离的1/r2衰减仍然导致对象和背景像素之间的容易区分，只要强度不被设置得过高以至于背景像素也接近饱和水平。如图3A至图3C所示，使用指向对象的照明创建对象和背景之间的强烈对比度，允许使用简单和快速的算法来区分背景像素和对象像素，这可能在实时运动捕捉系统中尤其有用。简化区分背景像素和对象像素的任务还可以为其它运动捕捉任务(例如，重构对象的位置、形状和/或运动)释放计算资源。
现在参照图4，其示出了根据本发明的实施例的用于标识图像中对象定位的过程400。过程400可以实现在例如图1A的系统100中。在块402处，光源108、110被开启。在块404处，使用相机102、104捕捉一个或者多个图像。在一些实施例中，捕捉来自每个相机的一个图像。在其它实施例中，从每个相机捕捉图像序列。来自两个相机的图像可以在时间上紧密相关(例如，在几毫秒内的程度上同步)，使得来自两个相机的相关图像可以用于确定对象的3D定位。
在块406处，阈值像素亮度被应用于将对象像素与背景像素区分开。块406还可以包括基于背景像素和对象像素之间的转变点来标识对象边缘的定位。在一些实施例中，每个像素基于其是否超出阈值亮度截止而首先被分类为对象或者背景。例如，如图3A至图3C所示，可以使用在饱和水平0.5处的截止。一旦像素被分类，可以通过找到背景像素邻近于对象像素的位置来检测边缘。在一些实施例中，为了避免噪声伪影(artifact)，可以要求边缘的两侧上的背景像素和对象像素区域具有某个最小尺寸(例如2、4或者8个像素)。
在其它实施例中，可以在不首先将像素分类为对象或者背景的情况下检测边缘。例如，Δβ可以被定义为邻近像素之间的亮度差，并且高于阈值(例如，依据饱和尺度为0.3或者0.5)的|Δβ|可以指示邻近像素之间从背景到对象或者从对象到背景的转变。(Δβ的符号可以指示转变的方向。)在其中对象的边缘实际上在像素的中间的一些实例中，在边界处可能有具有中间值的像素。这可以例如通过计算像素i的两个亮度值来检测：βL＝(βi+βi–1)/2和βR＝(βi+βi+1)/2，其中像素(i-1)在像素i左侧，而像素(i+1)在像素i右侧。如果像素i未在边缘附近，|βL–βR|通常将接近零；如果像素在边缘附近，则|βL–βR|将更接近1，并且关于|βL–βR|的阈值可以用于检测边缘。
在一些实例中，对象的一个部分在图像中可以部分地遮挡另一个部分；例如，在手的情形下，手指可以部分地遮挡手掌或者另一根手指。一旦已经消除了背景像素，还可以基于亮度的更小但明显的改变来检测出现在对象的一个部分部分地遮挡另一个部分处的遮挡边缘。图3C示出了这种部分遮挡的示例，并且遮挡边缘的定位是显而易见的。
检测到的边缘可以用于众多用途。例如，如上文所述，如由两个相机所查看到的对象边缘可以用于确定对象在3D空间中的近似定位。对象在横向于相机的光学轴线的2D平面中的位置可以从单个图像确定，并且如果知道相机之间的间距，来自两个不同相机的时间相关图像中的对象位置之间的偏移(视差)可以用于确定到对象的距离。
进一步地，可以基于来自两个不同相机的时间相关图像中的对象边缘的定位来确定对象的位置和形状，并且可以从对连续图像对的分析来确定对象的运动(包括关节(articulation))。在2012年3月7日提交的共同未决美国序列号13/414,485(其整体公开内容通过引用并入于此)中描述了可以用于基于对象边缘的定位来确定对象的位置、形状以及运动的技术的示例。获得本公开内容的本领域技术人员将认识到，还可以使用用于基于关于对象边缘的定位的信息来确定对象的位置、形状以及运动的其它技术。
在一些实施例中，可以以脉冲模式(而非连续开启)操作光源108、110。例如，如果光源108、110在脉冲中比在稳态操作中能够产生更明亮的光，则这可以是有用的。图5示出了其中光源108、110以规律间隔脉冲开启的时间线，如在502处所示。可以在与光脉冲一致的时间打开相机102、104的快门以便捕捉图像，如在504处所示。因此，在正在捕捉图像的时间期间，可以明亮地照射关心的对象。
在一些实施例中，光源108、110的脉冲可以用于通过比较光108、110开时拍摄的图像和光108、110关时拍摄的图像，进一步增强关心的对象和背景之间的对比度。图6示出了其中光源108、110以规律间隔脉冲开启的时间线，如在602处所示，同时在604处所示的时间开启相机102、104的快门以便捕捉图像。在此情形下，光源108、110每隔一幅图像是“开”的。如果关心的对象比背景区域显著更接近光源108、110，则对于对象像素，光强差将比对于背景像素更强烈。因此，比较连续图像中的像素可以帮助区分对象像素和背景像素。
图7是根据本发明的实施例的用于使用连续图像来标识对象边缘的过程700的流程图。在块702处，关闭光源，并且在块704处捕捉第一图像(A)。接着，在块706处，打开光源，并且在块708处捕捉第二图像(B)。在块710处，例如通过从图像B中对应像素的亮度值减去图像A中每个像素的亮度值，计算“差值”图像B-A。由于在光开时捕捉了图像B，预期B-A将对于大多数像素是正的。
在块712处，可以将阈值应用于差值图像(B-A)以便标识对象像素，其中高于阈值的(B-A)与对象像素关联而低于阈值的(B-A)与背景像素关联。接着，如上文所述，可以通过标识对象像素在何处邻近于背景像素，定义对象边缘。如上文所述，对象边缘可以用于诸如位置和/或运动检测之类的目的。
如本文所描述的基于对比度的对象检测可以应用在其中预期关心的对象比背景对象显著更接近(例如，一半的距离)光源的任何情况下。一个这样的应用涉及将运动检测用作用户输入以便与计算机系统交互。例如，用户可以指向屏幕或者做出其它手势，其可以被计算机系统解译为输入。
图8示出了根据本发明的实施例的并入运动检测器作为用户输入设备的计算机系统800。计算机系统800包括台式机箱802，台式机箱802可以容纳计算机系统的各种部件，诸如处理器、存储器、固定或者可移除盘驱动、视频驱动器、音频驱动器、网络接口部件等等。显示器804连接到台式机箱802并且定位为可供用户查看。键盘806定位在用户的手容易到达的范围内。运动检测器单元808被放置于键盘806附近(例如，如图所示在后方，或者在一侧)，朝着某区域定向，在该区域中用户将自然地做出指向显示器804的姿势(例如，在键盘上方并且在监控器前方的空中区域)。相机810、812(其可以与上文所述的相机102、104相似或者完全相同)被布置为总体指向上方，并且光源814、816(其可以与上文所述的光源108、110相似或者完全相同)被布置到相机810、812两侧以便照射运动检测器单元808上方的区域。在典型的实施方式中，相机810、812和光源814、816是基本上共平面的。这种配置防止出现阴影，阴影可能例如干扰边缘检测(若光源位于相机之间而非旁侧，则会出现这种情形)。过滤器(未示出)可以被放置在运动检测器单元808的顶部之上(或者正好在相机810、812的光圈之上)以便过滤掉光源814、816的峰值频率周围的带之外的所有光。
在示出的配置中，当用户在相机810、812的视场中移动手或者其它对象(例如，笔)时，背景将很可能由天花板和/或安装到天花板的各种固定物组成。用户的手可能在运动检测器808上方10至20cm处，而天花板可能是该距离的五到十倍(或者更多)。来自光源814、816的照明因此在用户的手上将比在天花板上强烈得多，并且本文所描述的技术可以用于可靠地将由相机810、812捕捉的图像中的对象像素与背景像素区分开。如果使用红外光，则用户不会被光分散注意力或者打扰。
计算机系统800可以利用图1A所示的架构。例如，运动检测器单元808的相机810、812可以将图像数据提供到台式机箱802，并且图像分析和后续的解译可以使用容纳在台式机箱802内的处理器和其它部件来执行。备选地，运动检测器单元808可以并入处理器或者其它部件以便执行图像分析和解译的一些或者全部阶段。例如，运动检测器单元808可以包括实现上述用于区分对象像素和背景像素的过程中的一个或者多个过程的处理器(可编程或者固定功能的)。在此情形下，运动检测器单元808可以将所捕捉图像的精简表示(例如，在使所有背景像素为零情况下的表示)发送到台式机箱802，以用于进一步的分析和解译。不需要在运动检测器单元808内部的处理器和台式机箱802内部的处理器之间的计算任务的具体划分。
通过绝对亮度水平辨别对象像素和背景像素不总是必要的；例如，在知道对象形状的情形下，亮度衰减的图案可以被利用来检测图像中的对象，即使未明确检测到对象边缘。例如对于圆形对象(诸如手和手指)，1/r2关系在对象中心附近产生高斯或者近高斯亮度分布；对由LED照射的并且相对于相机垂直设置的圆柱体成像产生具有对应于圆柱体轴线的明亮中心线的图像，其中亮度向每个边(围绕圆柱体的圆周)衰减。手指是近似圆柱体的，并且通过标识这些高斯峰，即使在其中背景接近并且边缘由于背景的相对亮度不可见(由于靠近或者背景可能正在主动发射红外光的事实)的情况下也可能定位手指。术语“高斯”在本文中广义地用于意指通常对称的钟形曲线，并且不限于明确符合高斯函数的曲线。
图9示出了根据本发明的实施例的并入运动检测器的平板计算机900。平板计算机900具有外壳，外壳的前表面并入由边框904包围的显示屏幕902。一个或者多个控制按键906可以并入到边框904中。在外壳内，例如在显示屏幕902后方，平板计算机900可以具有各种常规计算机部件(处理器、存储器、网络接口等)。可以使用安装到边框904中并且朝着前表面定向以便捕捉定位于平板计算机900前方的用户运动的相机912、914(例如，相似或者完全相同于图1A的相机102、104)和光源916、918(例如，相似或者完全相同于图1A的光源108、110)来实现运动检测器910。
当用户在相机912、914的视场中移动手或者其它对象时，如上文所述地检测运动。在此情形下，背景有可能是用户自己的身体，其在离平板计算机900大约25到30cm的距离处。用户可以将手或者其它对象保持在离显示器902短的距离处，例如5到10cm。只要用户的手明显比用户身体更接近(例如，一半的距离)光源916、918，则本文描述的基于照明的对比度增强技术可以用于将对象像素与背景像素区分开。作为输入姿势的图像分析和后续解译可以在平板计算机900内完成(例如，通过利用主处理器执行操作系统或者其它软件以便分析从相机912、914获得的数据)。用户因此可以使用3D空间中的姿势与平板900交互。
根据本发明的实施例，如图10所示，护目镜系统1000也可以并入运动检测器。可以例如联系虚拟现实和/或增强现实环境使用护目镜系统1000。护目镜系统1000包括可由用户穿戴的相似于常规眼镜的护目镜1002。护目镜1002包括目镜1004、1006，目镜可以并入小显示屏幕以便向用户的左眼和右眼提供图像，例如虚拟现实环境的图像。这些图像可以由经由有线或者无线信道与护目镜1002通信的基础单元1008(例如计算机系统)提供。相机1010、1012(例如，相似或者完全相同于图1A的相机102、104)可以安装在护目镜1002的镜框部分中，使得相机不会模糊用户的视觉。光源1014、1016可以安装在护目镜1002的镜框部分中在相机1010、1012两侧。由相机1010、1012收集的图像可以被传输到基础单元1008，以用于分析和解译为指示用户与虚拟或者增强环境交互的姿势。(在一些实施例中，通过目镜1004、1006呈现的虚拟或者增强环境可以包括对用户手的表示，并且该表示可以基于由相机1010、1012收集的图像。)
当用户在相机1008、1010的视场中使用手或者其它对象做出姿势时，如上文所述那样检测运动。在该情形下，背景有可能是用户所在的房间的墙壁，并且用户将最可能正坐在或者站在离墙壁某一距离处。只要用户的手明显比用户身体更接近(例如，一半的距离)光源1012、1014，则本文描述的基于照明的对比增强技术便于将对象像素与背景像素区分开。图像分析和后续解译为输入姿势可以在基础单元1008内完成。
将领会的是，图8至图10所示的运动检测器实施方式是说明性的，并且变化和修改是可能的。例如，运动检测器或者其部件可以与诸如键盘或者触控板之类的其它用户输入设备一起组合在单个外壳中。作为另一示例，运动检测器可以并入到膝上型计算机中，例如其中将向上定向的相机和光源内置到与膝上型键盘相同的表面中(例如，在键盘一侧或者在键盘前方或者后方)或者将向前定向的相机和光源内置到包围膝上型显示屏幕的边框中。作为又一示例，可以将可穿戴运动检测器实现为例如不包括有源显示器或者光学部件的头带或者耳机。
如图11所示，根据本发明的实施例，运动信息可以用作用户输入以便控制计算机系统或者其它系统。可以例如在诸如图8至图10所示的那些之类的计算机系统中实现过程1100。在块1102处，使用运动检测器的光源和相机捕捉图像。如上文所述，捕捉图像可以包括使用光源照射相机的视场，使得更接近光源(和相机)的对象比更远离的对象被更明亮地照射。
在块1104处，分析捕捉的图像以便基于亮度的改变来检测对象的边缘。例如，如上文所述，这一分析可以包括将每个像素的亮度与阈值进行比较，检测跨邻近像素的从低水平到高水平的亮度转变，和/或比较在有和没有光源照明的情况下捕捉的连续图像。在块1106处，使用基于边缘的算法确定对象的位置和/或运动。这一算法可以是例如上文提及的’485申请中描述的基于切线的算法中的任何一种；还可以使用其它算法。
在块1108处，基于对象的位置和/或运动标识姿势。例如，可以基于用户手指的位置和/或运动定义姿势库。可以基于伸出的手指朝着显示屏幕的快速运动定义“敲击”。可以将“追踪(trace)”定义为伸出的手指在大致平行于显示屏幕的平面内的运动。向内捏可以定义为两个伸出的手指移动得更接近在一起，而向外捏可以定义为两个伸出的手指移动得分开更远。可以基于整个手在特定方向上(例如上、下、左、右)的移动定义扫过(swipe)姿势，并且不同的扫过姿势可以进一步基于伸出手指的数目(例如一根、两根、全部)来定义。还可以定义其它姿势。通过将所检测到的运动与库进行比较，可以确定与检测到的位置和/或运动关联的特定姿势。
在块1110处，姿势被解译为计算机系统可以处理的用户输入。具体处理通常依赖于当前在计算机系统上执行的应用程序以及那些程序被配置为如何对具体输入做出响应。例如，在浏览器程序中的敲击可以被解译为选择手指指向的连接。在文字处理程序中的敲击可以被解译为将光标放置在手指指向的位置或者被解译为选择菜单项或者可以在屏幕上可见的其它图形控制元件。具体姿势和解译可以按需要在操作系统和/或应用层级确定，并且不要求任何姿势的特定解译。
全身运动可被捕捉并且用于相似目的。在这种实施例中，分析和重构有利地近似实时地发生(例如，可与人的反应时间相比拟的时间)，使得用户体验到与设备的自然交互。在其它应用中，运动捕捉可以用于非实时完成的数字渲染，例如用于计算机动画电影等；在这种情形下，分析可以使用所期望的时长。
本文所描述的实施例提供了通过利用光强随距离的减少，对捕捉到的图像中的对象和背景之间的高效辨别。通过使用距离对象比距离背景明显更近(例如，两倍或者更多)的一个或者多个光源明亮地照射对象，可以增加对象和背景之间的对比度。在一些实例中，可以使用过滤器将来自除旨在源之外的源的光移除。使用红外光可以减少不想要的“噪声”或者来自有可能出现在正捕捉图像的环境中的可见光源的亮斑，并且还可以减少用户的注意力分散(可假定用户不能看到红外光)。
上文所描述的实施例提供了两个光源，在用于捕捉关心的对象的图像的相机的每侧设置一个光源。这一布置在位置和运动分析依靠在光源将照射那些边缘时知道如从每个相机看到的对象边缘的情况下可以是特别有用的。然而，还可以使用其它布置。例如，图12示出了具有单个相机1202和设置在相机1202两侧的两个光源1204、1206的系统1200。这一布置可以用于捕捉对象1208和由对象1208投射在平坦背景区域1210上的阴影的图像。在这一实施例中，可以容易地区分对象像素和背景像素。此外，如果背景1210距离对象1208不是太远，则在有阴影的背景区域中的像素和无阴影的背景区域中的像素之间将仍然有足够的对比度，以允许辨别两者。在上文提及的’485申请中描述了使用对象和其阴影的图像的位置和运动检测算法，并且系统1200可以向这种算法提供输入信息，包括对象和其阴影的边缘定位。
图13示出了具有两个相机1302、1304以及设置在相机之间的一个光源1306的另一系统1300。系统1300可以捕捉对象1308以背景1310为背景的图像。系统1300在边缘照明方面通常没有图1A的系统100可靠；然而，并不是用于确定位置和运动的所有算法都依靠精确知道对象的边缘。因此，在其中需要较低准确性的情况下，可以与例如基于边缘的算法一起使用系统1300。系统1300还可以与非基于边缘的算法一起使用。
虽然已经关于具体实施例描述了本发明，但是本领域技术人员将认识到众多修改是可能的。可以变化相机和光源的数目和布置。相机的性能(包括帧速率、空间分辨率以及强度分辨率)也可以根据期望变化。光源可以以连续模式或者脉冲模式操作。本文描述的系统提供具有对象和背景之间增强的对比度的图像，以便于两者之间的区分，并且这一信息可以用于众多目的，其中位置和/或运动检测仅是很多可能性之一。
用于将对象与背景区分开的阈值截止和其它具体标准可以适配于特定相机和特定环境。如上文所述，在比率rB/rO增加时，预期对比度增加。在一些实施例中，在特定环境中可以校准系统，例如通过调整光源亮度、阈值标准等等。可以以快速算法实现的简单标准的使用可以释放给定系统中的处理能力以用于其它用途。
任何类型的对象都可以是使用这些技术的运动捕捉的主题，并且实施方式的各种方面可以针对特定对象优化。例如，相机和/或光源的类型和位置可以基于其运动将被捕捉的对象和/或将在其中捕捉运动的空间的尺寸进行优化。依照本发明的实施例的分析技术可以实现为任何合适计算机语言的并且在可编程处理器上执行的算法。备选地，一些或者所有算法可以在固定功能逻辑电路中实现，并且这种电路可以使用常规或者其它工具来设计和制造。
并入本发明的各种特征的计算机程序可以被编码在各种计算机可读存储介质上；合适的介质包括磁盘或者磁带、诸如紧缩盘(CD)或者DVD(数字通用盘)之类的光学存储介质、闪存以及有能力以计算机可读形式保持数据的任何其它非瞬态介质。编码有程序代码的计算机可读存储介质可以与兼容设备一起封装，或者与其它设备分开提供。此外，程序代码可以经由符合各种协议的有线光学和/或无线网络(包括因特网)进行编码和传输，从而允许例如经由因特网下载的分布。
因此，虽然已经关于具体实施例描述了本发明，但是将领会的是，本发明旨在涵盖在以下权利要求的范围内的所有修改和等效物。

Claims (40)

1.一种人机接口的对象照明和图像捕捉部分，包括：
相机，朝着视场定向；
多个单独可控发光元件，指向所述视场，所述发光元件中的至少一些发光元件具有不同的光束角，所述多个单独可控发光元件包括至少一个宽光束发光元件和一个或者多个窄光束发光元件；以及
控制器，耦合到所述相机和光源并且被配置为：
操作所述相机以捕捉包括到达所述视场并且在所述视场中移动的控制对象的图像序列；
操作所述发光元件以在检测所述控制对象的所述到达的同时用所述宽光束发光元件照射所述视场，并且在所述控制对象在所述视场内移动时激活所述窄光束发光元件并且用所述窄光束发光元件跟随所述控制对象；并且
使用所述窄光束发光元件以用足够的强度照射移动的所述控制对象以便于检测所述视场内的所述控制对象的控制姿势。
2.根据权利要求1所述的人机接口，其中多个发光元件是窄光束发光元件。
3.根据权利要求2所述的人机接口，其中所述窄光束发光元件具有大约60°的光束角。
4.根据权利要求2所述的人机接口，其中所述至少一个宽光束发光元件具有大约120°的光束角。
5.根据权利要求2所述的人机接口，其中所述控制器被配置为跟踪所述对象并且激活所述窄光束发光元件中的不同窄光束发光元件，以在所述对象移动时保持所述对象被照射。
6.根据权利要求5所述的人机接口，其中所述控制器被配置为停用不必要用于照射所述对象的发光元件。
7.根据权利要求2所述的人机接口，其中所述控制器被配置为操纵所述窄光束发光元件，以在所述对象移动时保持所述对象被至少一个这种元件照射。
8.根据权利要求1所述的人机接口，其中所述控制器被配置为分析来自所述相机的图像，以预测所述对象的轨迹并且依照所预测的轨迹激活或者操纵发光元件。
9.一种人机接口的对象照明和图像捕捉系统部分，包括：
相机，朝着视场定向；
多个单独可控发光元件和与所述发光元件中的至少一些发光元件关联的可控光学器件，所述光学器件可控地更改关联的发光元件的光束角；以及
控制器，耦合到所述相机和光源并且被配置为：
操作所述相机以捕捉包括在所述视场中移动的控制对象的图像序列；
操作所述发光元件和所述光学器件以在检测所述控制对象的到达的同时用至少一个宽光束照射所述视场，并且在所述控制对象在所述视场内移动时用更窄光束照射所述视场同时跟随所述控制对象；并且
用足够的强度照射移动的所述控制对象，以便于将对象轴线检测应用于所述控制对象的所述图像序列。
10.根据权利要求9所述的系统，其中所述光学器件是可调透镜。
11.根据权利要求10所述的系统，其中所述控制器控制所述光学器件以变化发光元件的光束角，并且控制驱动电流以变化所述发光元件的输出照度。
12.一种对象照明和图像捕捉的方法，所述方法作为人机接口的一部分与朝着视场定向的相机和多个发光元件一起使用，所述发光元件中的至少一些发光元件具有不同的光束角，所述方法包括如下动作：
操作所述相机以捕捉包括在所述视场中移动的控制对象的图像序列；以及
操作所述发光元件以在检测所述控制对象的到达的同时用宽光束发光元件照射所述视场，并且在所述控制对象在所述视场内移动时激活窄光束发光元件并且用所述窄光束发光元件跟随所述控制对象；以及
用足够的强度照射移动的所述对象，以便于将对象轴线检测应用于所述控制对象的所述图像序列。
13.根据权利要求12所述的方法，其中所述发光元件包括多个窄光束发光元件。
14.根据权利要求13所述的方法，其中所述窄光束发光元件具有大约60°的光束角。
15.根据权利要求13所述的方法，其中所述至少一个宽光束发光元件具有大约120°的光束角。
16.根据权利要求13所述的方法，其中跟踪所述对象,并且激活所述窄光束发光元件中的不同窄光束发光元件,以在所述对象移动时保持所述对象被照射。
17.根据权利要求16所述的方法，进一步包括停用不必要用于照射所述对象的发光元件的步骤。
18.根据权利要求13所述的方法，进一步包括操纵所述窄光束发光元件以在所述对象移动时保持所述对象被至少一个这种元件照射的步骤。
19.根据权利要求12所述的方法，进一步包括分析来自所述相机的图像以预测所述对象的轨迹并且依照所预测的轨迹激活或者操纵发光元件的步骤。
20.一种对象照明和图像捕捉的方法，所述方法作为人机接口的一部分与朝着视场定向的相机和多个单独可控发光元件以及与所述发光元件中的至少一些发光元件关联的可控光学器件一起使用，所述光学器件可控地更改关联的发光元件的光束角，所述方法包括如下动作：
操作所述相机以捕捉包括在所述视场中移动的控制对象的图像序列；
操作所述发光元件和所述光学器件以在检测所述控制对象的到达的同时用宽光束发光元件照射所述视场，并且在所述控制对象在所述视场内移动时激活窄光束发光元件并且用所述窄光束发光元件跟随所述控制对象；以及
用足够的强度照射移动的所述对象，以便于检测所述视场内的所述控制对象的控制姿势。
21.一种图像捕捉和分析系统，包括：
相机，朝着视场定向；
多个单独可控发光元件，指向所述视场，所述发光元件中的至少一些发光元件具有不同的光束角；以及
控制器，耦合到所述相机和光源并且被配置为：
操作所述相机以捕捉包括在所述视场中移动的对象的图像序列；并且
操作所述发光元件以用足够的强度照射移动的所述对象，以便于通过所述相机进行图像捕捉，但是利用最小的供应功率。
22.根据权利要求21所述的系统，其中所述发光元件中的至少一个发光元件是宽光束发光元件，并且多个发光元件是窄光束发光元件。
23.根据权利要求22所述的系统，其中所述窄光束发光元件具有大约60°的光束角。
24.根据权利要求22所述的系统，其中至少一个宽光束发光元件具有大约120°的光束角。
25.根据权利要求22所述的系统，其中所述控制器被配置为跟踪所述对象并且激活所述窄光束发光元件中的不同窄光束发光元件以在所述对象移动时保持所述对象被照射。
26.根据权利要求25所述的系统，其中所述控制器被配置为停用不必要用于照射所述对象的发光元件。
27.根据权利要求22所述的系统，其中所述控制器被配置为操纵所述窄光束发光元件，以在所述对象移动时保持所述对象被至少一个这种元件照射。
28.根据权利要求21所述的系统，其中所述控制器被配置为分析来自所述相机的图像，以预测所述对象的轨迹并且依照所预测的轨迹激活或者操纵发光元件。
29.一种图像捕捉和分析系统，包括：
相机，朝着视场定向；
多个单独可控发光元件和与所述发光元件中的至少一些发光元件关联的可控光学器件，所述光学器件可控地更改关联的发光元件的光束角；以及
控制器，耦合到所述相机和光源并且被配置为：
操作所述相机以捕捉包括在所述视场中移动的对象的图像序列；并且
操作所述发光元件和所述光学器件以用足够的强度照射移动的所述对象，以便于通过所述相机进行图像捕捉，但是利用最小的供应功率。
30.根据权利要求29所述的系统，其中所述光学器件是可调透镜。
31.根据权利要求30所述的系统，其中所述控制器控制所述光学器件以变化发光元件的光束角，并且控制驱动电流以变化所述发光元件的输出照度，以最小化所述驱动电流。
32.一种用于与朝着视场定向的相机和多个发光元件一起使用的图像捕捉和分析的方法，所述发光元件中的至少一些发光元件具有不同的光束角，所述方法包括：
操作所述相机以捕捉包括在所述视场中移动的对象的图像序列；以及
操作所述发光元件以用足够的强度照射移动的所述对象，以便于通过所述相机进行图像捕捉，但是利用最小的供应功率。
33.根据权利要求32所述的方法，其中所述发光元件包括至少一个宽光束发光元件和多个窄光束发光元件。
34.根据权利要求33所述的方法，其中所述窄光束发光元件具有大约60°的光束角。
35.根据权利要求33所述的方法，其中所述至少一个宽光束发光元件具有大约120°的光束角。
36.根据权利要求33所述的方法，其中跟踪所述对象，并且激活所述窄光束发光元件中的不同窄光束发光元件以在所述对象移动时保持所述对象被照射。
37.根据权利要求36所述的方法，进一步包括停用不必要用于照射所述对象的发光元件的步骤。
38.根据权利要求33所述的方法，进一步包括操纵所述窄光束发光元件以在所述对象移动时保持所述对象被至少一个这种元件照射的步骤。
39.根据权利要求32所述的方法，进一步包括分析来自所述相机的图像以预测所述对象的轨迹并且依照所预测的轨迹激活或者操纵发光元件的步骤。
40.一种图像捕捉和分析的方法，所述方法用于与朝着视场定向的相机和多个单独可控发光元件以及与所述发光元件中的至少一些发光元件关联的可控光学器件一起使用，所述光学器件可控地更改关联的发光元件的光束角，所述方法包括：
操作所述相机以捕捉包括在所述视场中移动的对象的图像序列；
操作所述发光元件和所述光学器件以用足够的强度照射移动的所述对象，以便于通过所述相机进行图像捕捉，但是利用最小的供应功率。
CN201380058409.2A 2012-11-08 2013-11-08 利用可变场照明设备的对象检测和跟踪 Active CN104769644B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261724073P 2012-11-08 2012-11-08
US61/724,073 2012-11-08
US13/744,810 2013-01-18
US13/744,810 US9285893B2 (en) 2012-11-08 2013-01-18 Object detection and tracking with variable-field illumination devices
PCT/US2013/069231 WO2014074871A1 (en) 2012-11-08 2013-11-08 Object detection and tracking with variable-field illumination devices

Publications (2)

Publication Number Publication Date
CN104769644A true CN104769644A (zh) 2015-07-08
CN104769644B CN104769644B (zh) 2019-04-26

Family

ID=50621995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380058409.2A Active CN104769644B (zh) 2012-11-08 2013-11-08 利用可变场照明设备的对象检测和跟踪

Country Status (5)

Country Link
US (1) US9285893B2 (zh)
JP (1) JP2016501426A (zh)
CN (1) CN104769644B (zh)
DE (1) DE112013005337T5 (zh)
WO (1) WO2014074871A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050194A1 (zh) * 2015-09-24 2017-03-30 通用电气照明解决方案有限公司 照明装置
CN107818557A (zh) * 2016-09-12 2018-03-20 德尔福技术有限公司 用于自动车辆的增强型相机对象检测
CN109154435A (zh) * 2016-01-04 2019-01-04 尼特莫公司 自动照明和安全装置
CN116867143A (zh) * 2023-07-19 2023-10-10 广东雅格莱灯光音响有限公司 一种摇头灯的校准方法及系统

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
JP6271444B2 (ja) 2012-02-24 2018-01-31 トーマス ジェイ モスカリッロＭＯＳＣＡＲＩＬＬＯ， Ｔｈｏｍａｓ， Ｊ． ジェスチャー認識装置及び方法
US11137832B2 (en) * 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
SE536990C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
JP6037901B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置、操作検出方法及び表示制御データ生成方法
US10430623B1 (en) * 2013-03-14 2019-10-01 Impinj, Inc. RFID tag tracking using tag population management
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US9305223B1 (en) * 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9261966B2 (en) * 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
EP3042312B1 (en) * 2013-09-03 2021-06-09 Seeing Machines Limited Low power eye tracking system and method
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015098189A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR101526425B1 (ko) * 2014-02-21 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 제스처 인식 방법
DE102014007172A1 (de) * 2014-05-15 2015-11-19 Diehl Ako Stiftung & Co. Kg Vorrichtung zur Bedienung eines elektronischen Geräts
FR3024262B1 (fr) * 2014-07-24 2017-11-17 Snecma Dispositif d'aide a la maintenance d'un moteur d'aeronef par reconnaissance de mouvement a distance.
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
ES2564879B1 (es) * 2014-09-24 2017-01-30 BSH Electrodomésticos España S.A. Dispositivo de aparato doméstico
EP3210095B1 (en) 2014-10-21 2019-12-11 Signify Holding B.V. System, method and computer program for hands-free configuration of a luminous distribution
US10268906B2 (en) 2014-10-24 2019-04-23 Magik Eye Inc. Distance sensor with directional projection beams
DE112015005020T5 (de) * 2014-11-05 2017-07-27 Trw Automotive U.S. Llc Verbesserte objektdetektion unter verwendung von strukturiertem licht
EP3295119A4 (en) * 2015-05-10 2019-04-10 Magik Eye Inc. DISTANCE SENSOR
US10488192B2 (en) * 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
US9549101B1 (en) * 2015-09-01 2017-01-17 International Business Machines Corporation Image capture enhancement using dynamic control image
DE102016201704A1 (de) * 2016-02-04 2017-08-10 Bayerische Motoren Werke Aktiengesellschaft Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges
WO2017147748A1 (zh) 2016-02-29 2017-09-08 华为技术有限公司 一种可穿戴式系统的手势控制方法以及可穿戴式系统
JP6836329B2 (ja) * 2016-03-31 2021-02-24 日本テレビ放送網株式会社 演奏装置及び演奏支援システム
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10554881B2 (en) 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Passive and active stereo vision 3D sensors with variable focal length lenses
US10337860B2 (en) 2016-12-07 2019-07-02 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
EP3339951A1 (en) 2016-12-20 2018-06-27 Nokia Technologies Oy Fill lighting apparatus
US10430647B2 (en) 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
DE102017103886A1 (de) 2017-02-24 2018-08-30 Osram Opto Semiconductors Gmbh Anordnung zur Ausleuchtung und Aufzeichnung einer bewegten Szene
US10628950B2 (en) * 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
KR20180119281A (ko) * 2017-04-25 2018-11-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10481736B2 (en) 2017-06-21 2019-11-19 Samsung Electronics Company, Ltd. Object detection and motion identification using electromagnetic radiation
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
JP2020537242A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 複数の可動センサを含むセンサシステムの校正
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
US10509463B2 (en) 2017-11-17 2019-12-17 Microsoft Technology Licensing, Llc Mixed reality offload using free space optics
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) * 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020043604A1 (en) * 2018-08-27 2020-03-05 Signify Holding B.V. Systems and methods for tuning light sources for use with object detection algorithms
US10990805B2 (en) 2018-09-12 2021-04-27 Apple Inc. Hybrid mode illumination for facial recognition authentication
US10990834B2 (en) * 2018-12-13 2021-04-27 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
EP3911920A4 (en) 2019-01-20 2022-10-19 Magik Eye Inc. THREE-DIMENSIONAL SENSOR INCLUDING A BANDPASS FILTER WITH MULTIPLE PASSBANDS
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
CN114073075A (zh) 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上
US11698457B2 (en) 2019-09-04 2023-07-11 Pixart Imaging Inc. Object detecting system and object detecting method
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
EP4097681A4 (en) 2020-01-05 2024-05-15 Magik Eye Inc TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US20230400911A1 (en) * 2022-06-10 2023-12-14 Sony Interactive Entertainment Inc. Dynamic vision sensor tracking based on light source occlusion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734911B1 (en) * 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
US20080110994A1 (en) * 2000-11-24 2008-05-15 Knowles C H Method of illuminating objects during digital image capture operations by mixing visible and invisible spectral illumination energy at point of sale (POS) environments
US20080244468A1 (en) * 2006-07-13 2008-10-02 Nishihara H Keith Gesture Recognition Interface System with Vertical Display
CN101878591A (zh) * 2007-11-08 2010-11-03 建兴电子科技股份有限公司 照明系统
WO2011024193A2 (en) * 2009-08-20 2011-03-03 Natarajan Kannan Electronically variable field of view (fov) infrared illuminator
US20110261178A1 (en) * 2008-10-15 2011-10-27 The Regents Of The University Of California Camera system with autonomous miniature camera and light source assembly and method for image enhancement

Family Cites Families (287)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2665041A (en) 1952-01-09 1954-01-05 Daniel J Maffucci Combination form for washing woolen socks
US4175862A (en) 1975-08-27 1979-11-27 Solid Photography Inc. Arrangement for sensing the geometric characteristics of an object
US4879659A (en) 1987-11-24 1989-11-07 Bowlin William P Log processing systems
JPH076782B2 (ja) 1989-03-10 1995-01-30 工業技術院長 物体の形状測定方法及び装置
US5134661A (en) 1991-03-04 1992-07-28 Reinsch Roger A Method of capture and analysis of digitized image data
US5282067A (en) 1991-10-07 1994-01-25 California Institute Of Technology Self-amplified optical pattern recognition system
DE4201934A1 (de) 1992-01-24 1993-07-29 Siemens Ag Gestik computer
US6184326B1 (en) 1992-03-20 2001-02-06 Fina Technology, Inc. Syndiotactic polypropylene
US7983817B2 (en) 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
AU6577194A (en) 1993-04-29 1994-11-21 Scientific Generics Limited Background separation for still and moving images
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH0795561A (ja) 1993-09-21 1995-04-07 Sony Corp 展示物説明システム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
JP3737537B2 (ja) 1995-03-22 2006-01-18 帝人ファイバー株式会社 画像処理用照明手段の劣化検出方法
IL114838A0 (en) 1995-08-04 1996-11-14 Spiegel Ehud Apparatus and method for object tracking
US5574511A (en) 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US5742263A (en) 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
JPH09259278A (ja) 1996-03-25 1997-10-03 Matsushita Electric Ind Co Ltd 画像処理装置
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6184926B1 (en) 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
JP3438855B2 (ja) 1997-01-23 2003-08-18 横河電機株式会社 共焦点装置
US6492986B1 (en) 1997-06-02 2002-12-10 The Trustees Of The University Of Pennsylvania Method for human face shape and motion estimation based on integrating optical flow and deformable models
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6252598B1 (en) 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
US6263091B1 (en) 1997-08-22 2001-07-17 International Business Machines Corporation System and method for identifying foreground and background portions of digitized images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6031161A (en) 1998-02-04 2000-02-29 Dekalb Genetics Corporation Inbred corn plant GM9215 and seeds thereof
US6154558A (en) 1998-04-22 2000-11-28 Hsieh; Kuan-Hong Intention identification method
US6493041B1 (en) 1998-06-30 2002-12-10 Sun Microsystems, Inc. Method and apparatus for the detection of motion in video
JP2000023038A (ja) 1998-06-30 2000-01-21 Toshiba Corp 画像抽出装置
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
JP4016526B2 (ja) 1998-09-08 2007-12-05 富士ゼロックス株式会社 ３次元物体識別装置
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6594632B1 (en) 1998-11-02 2003-07-15 Ncr Corporation Methods and apparatus for hands-free operation of a voice recognition system
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6204852B1 (en) 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
US6578203B1 (en) 1999-03-08 2003-06-10 Tazwell L. Anderson, Jr. Audio/video signal distribution system for head mounted displays
EP1139286A1 (en) 1999-05-18 2001-10-04 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
US6804656B1 (en) 1999-06-23 2004-10-12 Visicu, Inc. System and method for providing continuous, expert network critical care services from a remote location(s)
GB2358098A (en) 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6965113B2 (en) 2000-02-10 2005-11-15 Evotec Ag Fluorescence intensity multiple distributions analysis: concurrent determination of diffusion times and molecular brightness
US6798628B1 (en) 2000-11-17 2004-09-28 Pass & Seymour, Inc. Arc fault circuit detector having two arc fault detection levels
US6417970B1 (en) 2000-06-08 2002-07-09 Interactive Imaging Systems Two stage optical system for head mounted display
ES2435248T3 (es) 2000-07-05 2013-12-17 Smart Technologies Ulc Sistema y método táctil basado en cámaras
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US20020105484A1 (en) 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
JP4483067B2 (ja) 2000-10-24 2010-06-16 沖電気工業株式会社 対象物体抽出画像処理装置
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7542586B2 (en) 2001-03-13 2009-06-02 Johnson Raymond C Touchless identification system for monitoring hand washing or application of a disinfectant
JP4974206B2 (ja) 2001-03-20 2012-07-11 トムソン ライセンシング 光線ビームの対称化及び均一化の複合機能素子
US6814656B2 (en) 2001-03-20 2004-11-09 Luis J. Rodriguez Surface treatment disks for rotary tools
US7009773B2 (en) 2001-05-23 2006-03-07 Research Foundation Of The University Of Central Florida, Inc. Compact microlenslet arrays imager
US6919880B2 (en) 2001-06-01 2005-07-19 Smart Technologies Inc. Calibrating camera offsets to facilitate object position determination using triangulation
US20030123703A1 (en) 2001-06-29 2003-07-03 Honeywell International Inc. Method for monitoring a moving object and system regarding same
US20030053659A1 (en) 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US20030053658A1 (en) 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
US20040125228A1 (en) 2001-07-25 2004-07-01 Robert Dougherty Apparatus and method for determining the range of remote objects
US7213707B2 (en) 2001-12-11 2007-05-08 Walgreen Co. Product shipping and display carton
US6804654B2 (en) 2002-02-11 2004-10-12 Telemanager Technologies, Inc. System and method for providing prescription services using voice recognition
US7215828B2 (en) 2002-02-13 2007-05-08 Eastman Kodak Company Method and system for determining image orientation
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP2003256814A (ja) 2002-02-27 2003-09-12 Olympus Optical Co Ltd 基板検査装置
CN100350351C (zh) 2002-03-08 2007-11-21 设计展示公司 电装置控制设备
DE10213643A1 (de) 2002-03-27 2003-10-09 Geka Brush Gmbh Kosmetikeinheit
US7120297B2 (en) 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
JP2004246252A (ja) 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7738725B2 (en) 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
EP1625388A1 (de) 2003-05-19 2006-02-15 Micro-Epsilon Messtechnik GmbH & Co. KG Verfahren und vorrichtung zur optischen qualitätsprüfung von objekten mit vor-zugsweise kreisförmig umlaufendem rand
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1639546B1 (en) 2003-06-17 2011-05-04 Brown University Method and apparatus for model-based detection of structure in projection data
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7244233B2 (en) 2003-07-29 2007-07-17 Ntd Laboratories, Inc. System and method for utilizing shape analysis to assess fetal abnormality
US7633633B2 (en) 2003-08-29 2009-12-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination that is responsive to a retro-reflective object
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1694821B1 (en) 2003-12-11 2017-07-05 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7184022B2 (en) 2004-01-16 2007-02-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination and motion tracking
US8872914B2 (en) 2004-02-04 2014-10-28 Acushnet Company One camera stereo system
JP4419603B2 (ja) 2004-02-25 2010-02-24 日本電気株式会社 液晶表示装置の駆動方法
DE102004015785B4 (de) 2004-03-25 2012-06-06 Sikora Ag Verfahren zur Bestimmung der Abmessung eines Querschnitts eines Flachkabels oder eines Sektorleiters
JP4751032B2 (ja) 2004-04-22 2011-08-17 株式会社森精機製作所 変位検出装置
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR20070027629A (ko) 2004-06-29 2007-03-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 개인용 몸짓 서명
JP4916096B2 (ja) 2004-07-01 2012-04-11 イビデン株式会社 光通信用デバイス
US20060017720A1 (en) 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US7576767B2 (en) 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
US7542040B2 (en) 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
US7706571B2 (en) 2004-10-13 2010-04-27 Sarnoff Corporation Flexible layer tracking with weak online appearance model
GB2419433A (en) 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
WO2006057768A2 (en) 2004-11-24 2006-06-01 Battelle Memorial Institute Optical system for cell imaging
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7715589B2 (en) 2005-03-07 2010-05-11 Massachusetts Institute Of Technology Occluding contour detection and storage for digital photography
JP4678487B2 (ja) 2005-03-15 2011-04-27 オムロン株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
WO2006116634A2 (en) 2005-04-26 2006-11-02 Novadaq Technologies, Inc. Method and apparatus for vasculature visualization with applications in neurosurgery and neurology
US20060239921A1 (en) 2005-04-26 2006-10-26 Novadaq Technologies Inc. Real time vascular imaging during solid organ transplant
WO2006118076A1 (ja) 2005-04-28 2006-11-09 Aisin Seiki Kabushiki Kaisha 車両周辺監視システム
US7613363B2 (en) 2005-06-23 2009-11-03 Microsoft Corp. Image superresolution through edge extraction and contrast enhancement
WO2007035558A2 (en) 2005-09-16 2007-03-29 Flixor, Inc. Personalizing a video
US8057408B2 (en) 2005-09-22 2011-11-15 The Regents Of The University Of Michigan Pulsed cavitational ultrasound therapy
DE102005047160B4 (de) 2005-09-30 2007-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild
US7570732B2 (en) 2005-11-09 2009-08-04 Dexela Limited Methods and apparatus for obtaining low-dose imaging
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
CN100502463C (zh) 2005-12-14 2009-06-17 浙江工业大学 一种交通流信息视频检测中的特征采集方法
DE102005061557B3 (de) 2005-12-22 2007-11-22 Siemens Ag Bildgebungsgerät sowie Verfahren zum Betrieb eines Bildgebungsgerätes
US7466790B2 (en) 2006-03-02 2008-12-16 General Electric Company Systems and methods for improving a resolution of an image
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
US7834780B2 (en) 2006-03-20 2010-11-16 Tektronix, Inc. Waveform compression and display
JP2007271876A (ja) 2006-03-31 2007-10-18 Denso Corp 音声認識装置および音声認識用のプログラム
JP4797752B2 (ja) 2006-03-31 2011-10-19 株式会社デンソー 移動体用操作物体抽出装置
US20080018598A1 (en) 2006-05-16 2008-01-24 Marsden Randal J Hands-free computer access for medical and dentistry applications
US7676169B2 (en) 2006-05-22 2010-03-09 Lexmark International, Inc. Multipath toner patch sensor for use in an image forming device
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
EP1879149B1 (en) 2006-07-10 2016-03-16 Fondazione Bruno Kessler method and apparatus for tracking a number of objects or object parts in image sequences
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
WO2008025000A2 (en) 2006-08-24 2008-02-28 Baylor College Of Medicine Imaging agents for functional imaging of lymphatic structures
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US8102465B2 (en) * 2006-11-07 2012-01-24 Fujifilm Corporation Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
US7605686B2 (en) 2006-11-16 2009-10-20 Motorola, Inc. Alerting system for a communication device
EP2100454B1 (en) 2006-11-20 2019-10-30 Axis AB Wireless network camera systems
SE0602545L (en) * 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
KR20080073933A (ko) 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
JP2008227569A (ja) 2007-03-08 2008-09-25 Seiko Epson Corp 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
JP4664432B2 (ja) 2007-04-13 2011-04-06 パイオニア株式会社 ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム
US20080278589A1 (en) 2007-05-11 2008-11-13 Karl Ola Thorn Methods for identifying a target subject to automatically focus a digital camera and related systems, and computer program products
US8229134B2 (en) 2007-05-24 2012-07-24 University Of Maryland Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
US7940985B2 (en) 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
US20090002489A1 (en) 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
JP2009031939A (ja) 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
US8144233B2 (en) 2007-10-03 2012-03-27 Sony Corporation Display control device, display control method, and display control program for superimposing images to create a composite image
US20090093307A1 (en) 2007-10-08 2009-04-09 Sony Computer Entertainment America Inc. Enhanced game controller
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
EP2217852A4 (en) * 2007-11-08 2014-03-19 Lite On It Corp 2D GESTURE LIGHT CONTROL BASED ON ULTRASOUND CHECK
US8777875B2 (en) 2008-07-23 2014-07-15 Otismed Corporation System and method for manufacturing arthroplasty jigs having improved mating accuracy
WO2009085233A2 (en) 2007-12-21 2009-07-09 21Ct, Inc. System and method for visually tracking with occlusions
US20120204133A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
DE102008000479A1 (de) 2008-03-03 2009-09-10 Amad - Mennekes Holding Gmbh & Co. Kg Steckvorrichtung mit Zugentlastung
US8073203B2 (en) 2008-04-15 2011-12-06 Cyberlink Corp. Generating effects in a webcam application
WO2009144707A1 (en) 2008-04-17 2009-12-03 Shilat Optronics Ltd Intrusion warning system
EP2283375B1 (en) 2008-04-18 2014-11-12 Eidgenössische Technische Hochschule (ETH) Travelling-wave nuclear magnetic resonance method
US8249345B2 (en) 2008-06-27 2012-08-21 Mako Surgical Corp. Automatic image segmentation using contour propagation
WO2010007662A1 (ja) 2008-07-15 2010-01-21 イチカワ株式会社 成形プレス用耐熱クッション材
US8131063B2 (en) 2008-07-16 2012-03-06 Seiko Epson Corporation Model-based object image processing
US20100027845A1 (en) 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
DE102008040949B4 (de) 2008-08-01 2012-03-08 Sirona Dental Systems Gmbh Optisches Projektionsgitter, Messkamera mit optischem Projektionsgitter und Verfahren zur Erzeugung eines optischen Projektionsgitters
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
TW201009650A (en) 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP4613994B2 (ja) 2008-09-16 2011-01-19 ソニー株式会社 動態推定装置、動態推定方法、プログラム
WO2010032268A2 (en) 2008-09-19 2010-03-25 Avinash Saxena System and method for controlling graphical objects
CN101729808B (zh) 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
CN201332447Y (zh) 2008-10-22 2009-10-21 康佳集团股份有限公司 一种通过手势变化控制或操作游戏的电视
US8744122B2 (en) 2008-10-22 2014-06-03 Sri International System and method for object detection from a moving platform
DE102008052928A1 (de) 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
TW201020896A (en) 2008-11-19 2010-06-01 Nat Applied Res Laboratories Method of gesture control
KR101215987B1 (ko) 2008-12-22 2012-12-28 한국전자통신연구원 전경/배경 분리 장치 및 방법
US8289162B2 (en) 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US8379987B2 (en) 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US8290208B2 (en) 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
EP2389622A1 (en) 2009-01-26 2011-11-30 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
WO2010086866A1 (en) 2009-02-02 2010-08-05 Eyesight Mobile Technologies Ltd. System and method for object recognition and tracking in a video stream
EP2394224A1 (en) 2009-02-05 2011-12-14 Digimarc Corporation Television-based advertising and distribution of tv widgets for the cell phone
KR100992411B1 (ko) 2009-02-06 2010-11-05 (주)실리콘화일 피사체의 근접여부 판단이 가능한 이미지센서
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US20100216508A1 (en) 2009-02-23 2010-08-26 Augusta Technology, Inc. Systems and Methods for Driving an External Display Device Using a Mobile Phone Device
JP2010204730A (ja) 2009-02-27 2010-09-16 Seiko Epson Corp ジェスチャーに応答して機器を制御するシステム
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
CN102421373B (zh) 2009-05-20 2014-07-16 株式会社日立医疗器械 医用图像诊断装置及其感兴趣区域设定方法
TWI395483B (zh) 2009-05-25 2013-05-01 Visionatics Inc 使用適應性背景模型之移動物體偵測方法及其電腦程式產品
US20100302357A1 (en) 2009-05-26 2010-12-02 Che-Hao Hsu Gesture-based remote control system
US8112719B2 (en) 2009-05-26 2012-02-07 Topseed Technology Corp. Method for controlling gesture-based remote control system
WO2010138741A1 (en) 2009-05-27 2010-12-02 Analog Devices, Inc. Position measurement systems using position sensitive detectors
JP2011010258A (ja) 2009-05-27 2011-01-13 Seiko Epson Corp 画像処理装置、画像表示システム、画像抽出装置
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US20100309097A1 (en) 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
CN101930610B (zh) 2009-06-26 2012-05-02 思创影像科技股份有限公司 使用适应性背景模型的移动物体侦测方法
US20110007072A1 (en) 2009-07-09 2011-01-13 University Of Central Florida Research Foundation, Inc. Systems and methods for three-dimensionally modeling moving objects
US8428368B2 (en) 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
JP5614014B2 (ja) 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
CN102656543A (zh) 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US8681124B2 (en) 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
JP2011081453A (ja) 2009-10-02 2011-04-21 Toshiba Corp 映像再生装置及び映像再生方法
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US9292084B2 (en) 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR101092909B1 (ko) 2009-11-27 2011-12-12 (주)디스트릭트홀딩스 제스쳐 인터렉티브 홀로그램 출력장치 및 방법
US20110205186A1 (en) 2009-12-04 2011-08-25 John David Newton Imaging Methods and Systems for Position Detection
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
KR101373285B1 (ko) 2009-12-08 2014-03-11 한국전자통신연구원 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템
EP2337323A1 (en) 2009-12-17 2011-06-22 NTT DoCoMo, Inc. Method and an apparatus for performing interaction between a mobile device and a screen
KR101307341B1 (ko) 2009-12-18 2013-09-11 한국전자통신연구원 동적 개체 모션 캡쳐 방법 및 그 장치
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
RU2422878C1 (ru) 2010-02-04 2011-06-27 Владимир Валентинович Девятков Способ управления телевизором с помощью мультимодального интерфейса
KR101184460B1 (ko) 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
TW201133358A (en) 2010-03-18 2011-10-01 Hon Hai Prec Ind Co Ltd System and method for detecting objects in a video image
CN102201121A (zh) 2010-03-23 2011-09-28 鸿富锦精密工业（深圳）有限公司 视频场景中的物件侦测系统与方法
CN102822773A (zh) 2010-03-24 2012-12-12 惠普开发有限公司 用于显示设备的手势映射
EP2369443B1 (en) 2010-03-25 2017-01-11 BlackBerry Limited System and method for gesture detection and feedback
CN201859393U (zh) 2010-04-13 2011-06-08 任峰 三维手势识别盒
CN102236412A (zh) 2010-04-30 2011-11-09 宏碁股份有限公司 三维手势识别系统以及基于视觉的手势识别方法
US9539510B2 (en) 2010-04-30 2017-01-10 Microsoft Technology Licensing, Llc Reshapable connector with variable rigidity
GB2480140B (en) 2010-05-04 2014-11-12 Timocco Ltd System and method for tracking and mapping an object to a target
US20110289455A1 (en) 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US20110299737A1 (en) 2010-06-04 2011-12-08 Acer Incorporated Vision-based hand movement recognition system and method thereof
EP2395413B1 (en) 2010-06-09 2018-10-03 The Boeing Company Gesture-based human machine interface
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US20110314427A1 (en) 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Personalization using custom gestures
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US20120050007A1 (en) 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
US20130241832A1 (en) 2010-09-07 2013-09-19 Zrro Technologies (2009) Ltd. Method and device for controlling the behavior of virtual objects on a display
US8842084B2 (en) 2010-09-08 2014-09-23 Telefonaktiebolaget L M Ericsson (Publ) Gesture-based object manipulation methods and devices
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
CN101951474A (zh) 2010-10-12 2011-01-19 冠捷显示科技（厦门）有限公司 基于手势控制的电视技术
CN102053702A (zh) 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
US8817087B2 (en) 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
KR101587962B1 (ko) 2010-12-22 2016-01-28 한국전자통신연구원 모션 캡처 장치 및 방법
US8929609B2 (en) 2011-01-05 2015-01-06 Qualcomm Incorporated Method and apparatus for scaling gesture recognition to physical dimensions of a user
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
WO2012114199A2 (en) 2011-02-25 2012-08-30 Smiths Heimann Gmbh Image reconstruction based on parametric models
US20120223959A1 (en) 2011-03-01 2012-09-06 Apple Inc. System and method for a touchscreen slider with toggle control
US8600107B2 (en) 2011-03-31 2013-12-03 Smart Technologies Ulc Interactive input system and method
US9117147B2 (en) 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
US9086794B2 (en) 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
AU2011253910B2 (en) 2011-12-08 2015-02-26 Canon Kabushiki Kaisha Method, apparatus and system for tracking an object in a sequence of images
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20140307920A1 (en) 2013-04-12 2014-10-16 David Holz Systems and methods for tracking occluded objects in three-dimensional space
CN104145276B (zh) 2012-01-17 2017-05-03 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
TWI456486B (zh) 2012-03-06 2014-10-11 Acer Inc 電子裝置及控制電子裝置的方法
WO2013136333A1 (en) 2012-03-13 2013-09-19 Eyesight Mobile Technologies Ltd. Touch free user interface
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
TWI464640B (zh) 2012-04-03 2014-12-11 Wistron Corp 手勢感測裝置及具有手勢輸入功能的電子系統
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP6186689B2 (ja) 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
KR101448749B1 (ko) 2012-12-10 2014-10-08 현대자동차 주식회사 물체 영상 검출 시스템 및 방법
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US20140189579A1 (en) 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling
US9056396B1 (en) 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
JP6037901B2 (ja) 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置、操作検出方法及び表示制御データ生成方法
US8738523B1 (en) 2013-03-15 2014-05-27 State Farm Mutual Automobile Insurance Company Systems and methods to identify and profile a vehicle operator
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP6270808B2 (ja) 2013-06-27 2018-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 複数の光源を有するモーションセンサ装置
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9857876B2 (en) 2013-07-22 2018-01-02 Leap Motion, Inc. Non-linear motion capture using Frenet-Serret frames
JP2015027015A (ja) 2013-07-29 2015-02-05 ソニー株式会社 情報提示装置及び情報処理システム
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9261966B2 (en) 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
US9304597B2 (en) 2013-10-29 2016-04-05 Intel Corporation Gesture based human computer interaction
US9546776B2 (en) 2013-10-31 2017-01-17 General Electric Company Customizable modular luminaire

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734911B1 (en) * 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
US20080110994A1 (en) * 2000-11-24 2008-05-15 Knowles C H Method of illuminating objects during digital image capture operations by mixing visible and invisible spectral illumination energy at point of sale (POS) environments
US20080244468A1 (en) * 2006-07-13 2008-10-02 Nishihara H Keith Gesture Recognition Interface System with Vertical Display
CN101878591A (zh) * 2007-11-08 2010-11-03 建兴电子科技股份有限公司 照明系统
US20110261178A1 (en) * 2008-10-15 2011-10-27 The Regents Of The University Of California Camera system with autonomous miniature camera and light source assembly and method for image enhancement
WO2011024193A2 (en) * 2009-08-20 2011-03-03 Natarajan Kannan Electronically variable field of view (fov) infrared illuminator

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050194A1 (zh) * 2015-09-24 2017-03-30 通用电气照明解决方案有限公司 照明装置
US10781995B2 (en) 2015-09-24 2020-09-22 Current Lighting Solutions, Llc Lighting apparatus
CN109154435A (zh) * 2016-01-04 2019-01-04 尼特莫公司 自动照明和安全装置
CN109154435B (zh) * 2016-01-04 2020-07-07 尼特莫公司 自动照明和安全装置
US11227165B2 (en) 2016-01-04 2022-01-18 Netatmo Automatic lighting and security device
CN107818557A (zh) * 2016-09-12 2018-03-20 德尔福技术有限公司 用于自动车辆的增强型相机对象检测
CN116867143A (zh) * 2023-07-19 2023-10-10 广东雅格莱灯光音响有限公司 一种摇头灯的校准方法及系统
CN116867143B (zh) * 2023-07-19 2024-03-12 广东雅格莱灯光音响有限公司 一种摇头灯的校准方法及系统

Also Published As

Publication number Publication date
US9285893B2 (en) 2016-03-15
DE112013005337T5 (de) 2015-07-16
CN104769644B (zh) 2019-04-26
WO2014074871A1 (en) 2014-05-15
JP2016501426A (ja) 2016-01-18
US20140125813A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
CN104769644A (zh) 利用可变场照明设备的对象检测和跟踪
US11782516B2 (en) Differentiating a detected object from a background using a gaussian brightness falloff pattern
CN104145276B (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
RU2678478C2 (ru) Обращение с бликами в среде отслеживания движения глаз
US11775033B2 (en) Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US20150103004A1 (en) Velocity field interaction for free space gesture interface and control
CN108604116A (zh) 能够进行眼睛追踪的可穿戴设备
CN110073316A (zh) 混合现实环境中的交互虚拟对象
JP2016038889A (ja) モーション感知を伴う拡張現実
Abdelrahman Thermal imaging for interactive surfaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200721

Address after: English: fusuri

Patentee after: ULTRAHAPTICS IP LTD.

Address before: California, USA

Patentee before: LMI Clearing Co.,Ltd.

Effective date of registration: 20200721

Address after: California, USA

Patentee after: LMI Clearing Co.,Ltd.

Address before: California, USA

Patentee before: LEAP MOTION, Inc.

TR01 Transfer of patent right