CN101657825B - 根据深度图对人形进行建模 - Google Patents

根据深度图对人形进行建模 Download PDF

Info

Publication number
CN101657825B
CN101657825B CN200780013930.9A CN200780013930A CN101657825B CN 101657825 B CN101657825 B CN 101657825B CN 200780013930 A CN200780013930 A CN 200780013930A CN 101657825 B CN101657825 B CN 101657825B
Authority
CN
China
Prior art keywords
depth map
processor
limbs
profile
trunk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780013930.9A
Other languages
English (en)
Other versions
CN101657825A (zh
Inventor
塔米尔·贝利纳
日瓦·亨德尔
亚历山大·什蓬特
杰弗里·达诺维茨
德米特里·赖斯
奥伦·莫尔
米歇尔·施皮格尔马赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Priority to CN201410028261.4A priority Critical patent/CN103778635B/zh
Publication of CN101657825A publication Critical patent/CN101657825A/zh
Application granted granted Critical
Publication of CN101657825B publication Critical patent/CN101657825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

一种计算机实现的方法包括接收包含人形对象的身体(28)的场景的深度图(30)。所述深度图包括像素(32)矩阵，每个像素与其在所述场景中的位置相对应并具有其像素值，该像素值表示从参考位置到其位置的距离。分割所述深度图以便找出身体的轮廓(64)。处理该轮廓以便识别所述对象的躯干(70)和一个或多个肢体(76、78、80、82)。通过分析所述深度图中的至少一个被识别出的肢体的布置，产生输入来控制计算机上运行的应用程序。

Description

根据深度图对人形进行建模
相关申请的交叉引用
本申请要求2006年5月11日提交的美国临时专利申请60/799,952的优先权，其通过引用包含于此。
技术领域
本发明一般地涉及用于对三维(3D)物体进行绘图(map)和建模的方法和系统，尤其涉及根据深度图对人形进行的自动提取。
背景技术
在现有技术中，已知许多用于生成深度图的不同方法和系统。在本专利申请和权利要求书中，术语“深度图”是指场景的二维像素矩阵表示，其中，每个像素与其在场景中的位置相对应并具有表示从某个参考位置到其场景位置的距离的像素值。(换言之，深度图具有图像的形式，其中，像素值指出场景中的物体的形貌信息(topographical information)，而不是亮度和/或颜色)。通过例如向物体投射激光斑点图案并检测和处理该物体的图像，可以生成深度图，如在PCT国际公布WO2007/043036A1中所述，该文献的内容通过引用包含于此。
现有技术中已知有用于根据视频或其它图像数据对人形的三维(3D)模型进行计算机处理的各种方法。这其中的一些方法要求将专用标记附在位于已知位置处的对象的身体，以便于跟踪对象的运动。这种基于标记的方法在例如下述文献中有描述：Fua等人的“Human Shape and MotionRecovery Using Animation Models”，19th Congress，International Societyfor Photogrammetry and Remote Sensing(阿姆斯特丹，2000年7月)，该文献通过引用包含于此。
其它方法使用多个照相机提供3D立体图像信息，并处理这些信息以对人形(或其它形状)进行建模。例如，Allard等人在下述文献中描述了这样一种方法：“Marker-less Real Time 3D Modeling for Virtual Reality”，Immersive Projection Technology(IPT2004，Iowa State University)，该文献通过引用包含于此。在下述文献中Howe等人描述了另一种方法，该方法将人的形体和运动的概率模型应用到二维(2D)图像中：“BayesianReconstruction of 3D Human Motion from Single-Camera Video”，Advances in Neural Information Processing Systems12(Denver，Colorado，1999)，该文献也通过引用包含于此。
Li等人在下述文献中描述了使用“立体照相机”提供深度信息：“Realtime3D Motion Recognition with Dense Depth Map”(Report CPSC525，Department of Computer Science，University of British Columbia，Vancouver，BC，2004)，该文献通过引用包含于此。将统计背景减除方法应用到来自立体照相机的输入视频流，并使用基于相关性的立体方法(stereo method)来给出前景物体的稠密深度图。然后，基于该深度图使用光流法(optical flow approach)检测物体的运动。
Grammalidis等人在下述文献中描述了另一种基于深度的方法：“3DHuman Body Tracking from Depth Images Using Analysis by Synthesis”，Proceedings of the IEEE International Conference on Image Processing(ICIP2001，Thessaloniki，Greece)，pp.185-188，该文献通过引用包含于此。该方法用来估计人手臂的MPEG-4身体动画参数(BAP，bodyanimation parameters)。开始时将MPEG-4身体模型的刚性部分按比例缩放(scale)到由照相机成像的相应身体部分的几何特性。然后使用基于下坡单纯最小化方法(Downhill Simplex minimization method)的技术来估计BAP值。
发明内容
下面说明的本发明的实施例提供了用于基于深度图对人形进行建模的方法、设备和软件。(在本专利申请和权利要求书中所使用的术语“人形的”是指身体结构类似于人体结构的任何存在)。在示例性实施例中，处理器对包含对象的身体的场景的深度图进行分割，以便找出该身体的轮廓。然后处理器对该轮廓进行分析，以便识别该对象的躯干和一个或多个肢体，并确定各肢体中至少一个的布置。
处理器可以在单个图像上或在一系列图像上估计四肢的布置，以便提取对象的姿势和/或其它运动。可以将所得到的信息用作输入来控制在计算机上运行的应用程序。可选择地，为其它目的，处理器可以结合四肢也许还有躯干的布置来导出身体的静态或运动模型。下面所述用于处理深度图的方法是非常高效的，使得可以对传统微处理器进行编程来实时(即，以至少等于25-30帧/秒的标准视频速率的处理速率)执行这些方法。
因此，根据本发明实施例，提供了一种用于处理数据的计算机实现的方法，该方法包括：
接收包含人形对象的身体的场景的深度图，该深度图包括像素矩阵，每个像素与其在场景中的位置相对应并具有其像素值，该像素值表示参考位置到该像素的位置的距离；
分割深度图以便找出身体的轮廓；
处理轮廓以便识别对象的躯干和一个或多个肢体；以及
通过分析深度图中的至少一个被识别出的肢体的布置，产生输入来控制计算机上运行的应用程序。
通常，接收深度图包括在不给身体附任何专用标记的情况下获取深度图。在公开的实施例中，接收深度图包括使用单一固定成像设备来获取深度图。获取深度图可以包括将无关联的斑点图案投射到对象上，使用成像设备捕获所投射图案的图像，以及处理图像以便产生深度图。在一个实施例中，投射无关联的斑点图案包括使用相干光源形成初级斑点图案。
在一些实施例中，接收深度图包括以至少25帧/秒的帧速率获取深度图序列，产生控制输入包括以至少等于所述帧速率的更新速率响应于深度图序列来更新控制输入。
通常，分割深度图包括识别场景中没有连接到身体的背景物体，并在找出轮廓之前从场景中去除该背景物体。
在一些实施例中，处理轮廓包括：估计轮廓内的区域的厚度，根据该厚度将区域的第一部分识别为躯干，并将与躯干连接的区域的第二部分识别为肢体中的至少一个。在一个实施例中，估计厚度包括：在深度图中识别出身体的轴；沿着垂直于该轴的多个第一线计算轮廓的横向厚度；沿着平行于该轴的多条第二线计算轮廓的纵向厚度；以及将轮廓内由第一和第二线限定的区域的部分指定为躯干，其中沿着第一和第二直线，横向厚度和纵向厚度分别不小于特定的横向阈值和纵向阈值。另外，可选择地，识别所述区域的第二部分包括：基于深度图确定躯干距参考位置的代表距离，并将与躯干重叠的、像素的距离小于代表距离的区域识别为对象的手臂。
在公开的实施例中，分析布置包括通过从肢体中的至少一个肢体中迭代地去除像素来找出一个或多个肢体的一个或多个各自的中间轴。通常，中间轴是弯曲的，且分析布置包括通过找出与中间轴拟合的直线段来导出一个或多个肢体的棍图表示。
通常，一个或多个肢体包括对象的手臂，且处理器用来通过在躯干上识别肩膀点，在手臂上识别手掌点，并识别分别穿过肩膀点和手掌点并在手臂的肘部相遇的两条直线段来导出手臂的棍图表示。
根据本发明实施例，还提供了用于处理数据的装置，该装置包括：
成像设备，用来捕获包含人形对象的身体的场景的图像；以及
处理器，用来处理图像以便生成深度图，深度图包括像素矩阵，每个像素与其在场景中的位置相对应并具有其像素值，像素值表示从参考位置到该像素位置的距离；用来分割深度图以便找出身体的轮廓；处理轮廓以便识别对象的躯干和一个或多个肢体；并用来通过分析深度图中的至少一个被识别出的肢体的布置，产生输入来控制计算机上运行的应用程序。
根据本发明实施例，也提供一种计算机软件产品，该产品包括存储有程序指令的计算机可读介质，在由计算机读取时，指令使计算机获取包含人形对象的身体的场景的深度图，深度图包括像素矩阵，每个像素与其在场景中的位置相对应并具有其像素值，像素值表示从参考位置到该像素位置的距离；且指令使计算机分割深度图以便找出身体的轮廓；处理轮廓以便识别对象的躯干和一个或多个肢体；并且通过分析深度图中的至少一个被识别出的肢体的布置，产生输入来控制计算机上运行的应用程序。
根据下面结合附图对本发明实施例的详细说明，将更完全地理解本发明，在附图中：
附图说明
图1示意性图示了根据本发明实施例的用于获取和处理深度图的系统；
图2是根据本发明实施例的深度图的示意表示；
图3是示意性示出根据本发明实施例的用于基于深度图对人体对象进行建模的方法的流程图；
图4A和图4B是根据本发明实施例的去掉背景物体之前和之后的深度图的示意表示；
图5是示意性示出根据本发明实施例的用于在深度图中识别身体各部分的方法细节的流程图；
图6是根据本发明实施例的识别出了体轴的下采样深度图的示意性表示；
图7A是根据本发明实施例的在深度图中找出的身体轮廓的示意性表示，示出了轮廓的纵向厚度超过阈值的区域；
图7B是根据本发明实施例的图7A的轮廓的示意性表示，示出了轮廓的横向厚度超过阈值的区域；
图7C是根据本发明实施例的图7A的轮廓的示意性表示，示出了由图7A和图7B中所示的厚度确定的身体躯干区域；
图7D是根据本发明实施例的图7A的轮廓的示意性表示，示出了基于图7C的躯干所识别出的头部和四肢；
图8是根据本发明实施例的在深度图中找出的身体轮廓的示意性表示，示出了与躯干重叠的手臂部分的识别；
图9是根据本发明实施例的在深度图中找出的身体轮廓的示意性表示，示出了手臂中间轴的识别；
图10是根据本发明实施例的在深度图中找出的身体轮廓的示意性表示，示出了从深度图中导出的手臂的棍图模型。
具体实施方式
图1示意性图示出根据本发明实施例的用于绘制深度图并建模的系统20。系统20包括成像设备22，该设备捕获包含人形对象28的场景的图像。图像处理器24处理由设备22产生的图像数据，以便生成对象28的深度图并基于该深度图生成该对象的模型26，如后文详细说明的。该模型通常包括与对象四肢中的一个或多个的布置有关的3D信息。下面所描述的方法能够使处理器24以实时帧速率(至少25帧/秒)从单个深度图中找到对象四肢的布置，而不依赖于前面的帧。另外，处理器也可以在对象随时间改变其位置时提供运动信息。
图像处理器24可以包括用软件进行编程以执行下述功能的通用计算机处理器。所述软件可以通过例如网络以电子形式下载到处理器24，或者也可以设置在有形介质(诸如光、磁或电存储器介质)上。另外，可选择地，图像处理器的部分或全部功能可以在专用硬件中实现，专用硬件诸如定制或半定制集成电路或可编程数字信号处理器(DSP)。尽管在图1中以例子的方式将处理器24显示为与成像设备22分开的单元，但处理器24的部分或全部处理功能可以由成像设备壳内或与成像设备相关的合适的处理器或其它专用电路来执行。
下面所述的建模原理可以用于由任何类型的绘图装置生成的对象28的任何合适种类的深度图。然而，为了简单且成本低，成像设备22包括包含单个图像传感器的单个固定设备是有好处的。在一个这种实施例中，例如，设备22产生无关联的斑点图案并将之投射到对象28上，并捕获在对象上出现的斑点图案的图像。所述图案在下述意义上是无关联的，即，作为横向位移的函数的图案中斑点位置的自相关对于任何大于斑点尺寸的位移来说是可忽略的。随机图案，诸如由来自相干光源的初级斑点(primary speckle)生成的那些图案，在这个意义上就是无关联的。
上述PCT国际公布WO2007/043036A1描述了这种基于斑点的成像和绘图设备，以及用于基于这种设备的深度绘图方法。在2007年3月8日提交的PCT专利申请PCT/IL2007/000306中描述了使用投射激光斑点进行深度绘图的其它方面，该专利申请转让给了本专利申请的受让人，并通过引用包含于此。正如在这些文献中所说明的，图像处理器对图案中的斑点相对于已知参考图案的横向位移进行检测。给定斑点的位移是斑点从所述设备到所投射到的表面之间的距离的函数。
由系统20确定的对象28的四肢的布置和运动可以用作输入来控制处理器24或另一个计算机(未示出)上所运行的应用程序。例如，处理器可以识别由对象进行的运动(诸如姿势)，并将这些运动用于该对象和计算机游戏之间的互动界面中。作为选择，由系统20所识别的对象的姿态和/或运动可以用于控制其它种类的应用，以及用于图像处理和动画的其它领域中。
上面只是通过例子的方式描述了在系统20中从斑点图像得出深度图，以便说明获得并使用深度图的一种典型环境。下面所述本发明的原理和方法的应用绝不限于这种系统或获得深度图的这种方法。相反，这些原理和方法可以用于使用现有技术中已知的任何合适的方法和技术所获得的基本上任何类型的深度图。
图2是根据本发明实施例的深度图30的示意性表示。深度图包括像素32的二维矩阵，每个像素与其在场景中的位置相对应。每个像素的值(由该图中的灰度值指示)指示其在场景中的位置与参考位置之间的距离。例如，像素值可以指示对象28身体上的点到设备22的图像平面的距离(即，深度)。
在实际应用中，当对象28被允许自由移动以更远离背景时，不是所有的深度图的像素都会包含有效的深度数据。相反，假设设备22用来获取某个距离范围内(对象28通常位于该范围内)的深度信息，则与深度出了这个范围的区域相对应的像素就可能包含预定的零值，指明对于这些像素来说，找不到深度。其它像素可能具有将它们归为阴影区的值，这意味着，在与像素相对应的位置处有一个在所述距离范围内的物体表面，但该像素的深度值不能确定。在下述方法中，也将这些阴影像素的值处理为零值，尽管在可选实施例中，可以对阴影像素进行不同的处理。
图3是示意性示出根据本发明实施例的用于基于深度图对人体对象进行建模的方法的流程图。在深度图获取步骤40，处理器24获取深度图。可以使用如图1所示的系统20来获取深度图，或可以可选地使用现有技术中已知的任何其它合适类型的深度图绘制系统。对象建模中的关键步骤是分割深度图以便限定对象的身体的各部分。然而，在准备分割身体时，首先让处理器在背景去除步骤42中从场景中去除背景物体是有用的。如果在场景中有两个或多个人形，则在对每个进行分割之前将各自身体分开也是有用的。
在步骤42中，可以使用许多不同的背景去除方法。这些方法中的一些方法依赖于在深度图中初步确定一个斑块(blob，即，具有相似值的像素的连接组)作为对象的身体，然后从该斑块中去除具有明显不同深度值的其它斑块。以这种方式初步确定的斑块通常必须具有某个最小尺寸。然而，为此，斑块边缘处的像素坐标之间的简单的欧几里德距离不给出该尺寸的准确测量。该不准确的原因是，与具有给定实际尺寸的物体相对应的斑块的尺寸(以像素为单位)随着该物体与设备22的距离的变化而增加或减小(参见图1)。
因此，为了确定物体的实际尺寸，首先使用下面的公式将物体的(x，y，深度)坐标变换为“现实世界”坐标(xr，yr，深度)：
xr＝(x-fovx/2)＊像素尺寸＊深度/参考深度
yr＝(y-fovy/2)＊像素尺寸＊深度/参考深度
这里，fovx和fovy为x和y方向上的深度图的视野(以像素为单位)。像素尺寸为，在离绘图设备给定距离(参考深度)处像素所对着的长度。然后，斑块的尺寸可以通过求该斑块边缘的现实世界坐标之间的欧几里德距离来实际确定。
处理器24可以通过识别具有所要求的最小尺寸的斑块来执行步骤42，其中，该斑块在场景中的各斑块中间具有最小平均深度值。可以假设，离设备22最近的这个斑块就是对象的身体28。深度比该平均深度值大了至少某个阈值的所有像素都被假定属于背景物体，因此处理器将这些像素的深度重置为零值。所述阈值可以试探地确定，以便在没有假象的建模(不受背景物体的干扰)和灵活性(就允许对象移动的深度范围而言)之间达成最佳折衷。另外，可选择地，也可以相似地将具有明显小于所述斑块的平均深度值的深度值的各像素置零。
另外，可选择地，可以通过在工作软件中设定合适的参数来预定系统20的最大深度。对处理器24进行编程，使其忽略超过该预设最大深度的物体。当对象28启动了系统20的操作时，他可以在连接到处理器24的显示器上看到实际的深度图(或由此得到的模型26)，从而可以调整自身位置使得只有他处于场景中并以合适的尺寸由系统捕获到。
作为另一种选择，可以通过首先捕获没有对象28的场景的初始深度图来生成静态深度过滤器。可以在距离设备22最近的背景物体上识别(可以由用户交互地识别也可以由处理器24自动地识别)某个像素或像素组。处理器24记录该像素或像素组的深度值，随后在步骤42中，将深度图中比该记录的值大的所有像素的深度值都置零。
可选择地，处理器24可以动态地确定深度值，超过该深度值的话，物体就从深度图中去除。为此，假设场景中的物体正在移动。因此，在某最小数目个帧中深度没有变化的任何像素都被假设是背景物体。深度值大于该静态深度值的像素被认为是属于背景物体的，因此都被置零。开始，场景中的所有像素可以都被定义为静态，或者场景中的所有像素可以都被定义为非静态的。在这两种情形中，一旦对象开始运动，就可以动态生成实际的深度过滤器。
进一步可选择地，也可以使用现有技术中已知的其它方法来在步骤42中除去背景物体。
图4A和图4B是根据本发明实施例的去除背景物体之前和之后的深度图44的示意性表示。在图4A中，深度图44包括与人形对象的身体相对应的斑块46以及与背景物体相对应的其它斑块48。深度图44中的其余像素值为零。处理器24可以以上述方式判断出斑块48所处的深度比斑块46的深度至少大了某个阈值。因此，从深度图中除去斑块48，只留下斑块46来进行分割和建模。
现在返回图3，一旦成功地除去了背景，处理器24就通过在深度图中找出相连的深度部分来分割深度图中的人形。在步骤50中，找出每个相连像素部分的轮廓。如果在深度图中有两个或更多个人形彼此相邻(例如，通过握手或彼此接触而相连)，则一般需要处理器首先将各人形彼此分开。在一些情形中，可以使用形态操作或其它图像分析技术来进行这种分离。在下面的描述中，假设深度图只包含一个人形对象，或者可选择地，如果需要，假设相连人形的分离已经完成，使得每个人形可以用清晰的斑块表示。
为了在步骤50中找出对象的身体的轮廓，处理器24可以使用现有技术中已知的边缘检测方法，经过合适的修改后在深度图上进行操作。这样，处理器不仅可以找出身体的外部轮廓，也可以找出身体的两部分之间(例如，手臂和躯干之间)的轮廓。在一个实施例中，处理器使用两步阈值化机制(thresholding mechanism)来达成此目的：
1.首先，处理器遍历与人形相对应的斑块中的所有像素，并且如果任何给定像素具有有效深度值，并且如果该像素与其四个相连的邻近像素(右、左、上和下)中的至少一个像素之间的深度值之差大于第一阈值，则将其标记为轮廓位置。(为此，有效深度值和零值之间的差被认为是无穷大)
2.在完成了第一步之后，处理器再次遍历该斑块，并且如果在任何像素(该像素还没有被标记为轮廓位置)的八个相连的邻近像素之中有轮廓像素，并且如果当前像素和剩下的相连邻近位置中的至少一个像素之间的深度值之差大于第二阈值(低于所述第一阈值)，则将其标记为轮廓位置。
在找出身体的外轮廓之后，处理器24在子分割步骤52中识别身体的各部分。该步骤的目的是将身体分割成头、躯干和四肢，其中，四肢包括手臂和腿(假设它们包含在深度图的区域中)。
图5是根据本发明实施例示意性示出子分割步骤52的细节的流程图。作为达成此目的的预备步骤，处理器24识别身体的纵轴，然后在转动步骤54中旋转深度图，使得身体轮廓处于竖直位置。该转动的目的是为了通过将身体的纵轴与Y坐标(垂直)轴对齐来简化下述步骤中的计算。可选择地，下述计算可以相对于身体的纵轴来执行，而不需要进行该转动，如本领域技术人员所了解的。
用来在步骤54中找出身体的3D轴的一种方法如下：
1.处理器24将原始深度图下采样(down-sample)为节点栅格，其中，在X方向和Y方向上隔n个像素取一个节点。处理器基于以节点为中心的n×n方块中的深度值来计算每个节点的深度值。如果所述方块中多于半数像素具有零值，则处理器将相应节点设置为零值。否则，将该节点设置为所述n×n方块中的有效深度值的平均值。
2.当前述步骤完成时，处理器可以基于邻近节点的值来进一步“清理”该下采样的深度图：如果给定节点的大部分相邻节点具有零值，则将该节点也设置为零值(即使在前述步骤之后它具有有效的深度值)。
3.处理器找出下采样的图中所剩节点的纵轴。为此，处理器可以进行线性最小二乘拟合来找出最拟合各节点的线。可选择地，处理器可以拟合围绕各节点的一个椭圆并找出其主轴。
图6是根据本发明实施例的人形对象的身体的下采样深度图56的示意性表示，其中识别出了身体的纵向3D轴60。如上所述，图56中的节点58具有通过对原始深度图进行下采样(如果需要，则在去掉背景物体之后)确定的值。图6所示的节点是具有非零深度值的节点。轴60是通过对这些节点拟合一条线找出的。处理器24找出该轴和垂直(Y)轴之间的角，并转动原始深度图，使轴60与垂直轴对齐。
现在返回图5，在旋转深度图之后，处理器24在躯干识别步骤62中通过在平行和垂直于纵轴60的方向上测量身体轮廓的厚度来识别身体的躯干。为此，处理器可以在身体轮廓(在步骤50中被识别出并在步骤54中进行了旋转)的周围限定约束框，然后可以对该框中的像素值进行二值化：将具有零深度值的像素设为0，而将具有非零深度值的像素设为1。然后，通过沿着相应的垂直线对二进制像素值进行相加，处理器对框内的每个X值计算纵向厚度值，并通过沿着相应的水平线对二进制像素值进行加和，对每个Y值计算横向厚度值。处理器对所得到的值应用阈值，以便识别沿着哪些条垂直线和水平线轮廓相对厚。
图7A和7B是根据本发明实施例的在深度图中所找出的身体轮廓64的示意性表示，其中显示出了轮廓的纵向厚度和横向厚度超过确定阈值的区域。在图7A中，水平区域66包含这样的X值，在这些X值处，沿着相应的线的二进制像素值的和超过了X阈值。对于这些X值来说，轮廓在纵向上相对厚。相似地，在图7B中，垂直区域68包含这样的Y值，在这些Y值处，沿着相应的线的二进制像素值的和超过了Y阈值。X阈值和Y阈值可以是不同的，且可以通过对沿着各自的线所得到的二进制值之和的直方图进行分析来适当地确定。
图7C是根据本发明实施例的轮廓64的示意性表示，示出了由图7A和图7B所示的厚度所确定的与身体躯干70相对应的区域。在该实施例中，处理器24通过求出前述图所示的区域66和68的交集来简单地找出躯干。
现在返回图5，一旦找出了躯干70，处理器24一般可以在头部和四肢识别步骤72中基于几何考虑来识别身体的头部和四肢。手臂是连接到躯干区域的左侧和右侧的区域；头部是躯干区域上方的连接区域；腿部是躯干区域下方的连接区域。
另外，处理器可以将躯干区域的左上角和右上角初步识别为肩膀。如果对象的手覆在了一个或两个肩膀上，则这些初步的识别可能是不正确的。下面描述用于处理这种重叠的方法。
图7D是根据本发明实施例的轮廓64的示意性表示，示出了步骤72的结果。该轮廓此时被分割成了躯干70、头部74、右臂76和左臂78、右腿80和左腿82。该结果只是基于由原始深度图提供的深度值而获得的，不借助于颜色或亮度信息。
再次返回图5，在找出中心的步骤84中，处理器24可选择地确定身体每个区域的“质心”。在本文中，区域的质心指该区域的代表深度。为此，例如，处理器可以生成区域内深度值的直方图，并将具有最高频率的深度值(或具有最高频率的两个或多个深度值的平均值)设为该区域的质心。
不同区域各自的质心对于在重叠识别步骤86中区分和找出深度图中重叠区域之间的轮廓是特别有用的。例如，当手臂区落在躯干的前方时，在步骤72中识别出的手臂区是不完整的，并且躯干可能扭曲。为了完整得到手臂形状，处理器在躯干70的区域中找出这样的像素，这些像素的深度值与质心相差很大，并且这些像素形成了与手臂段之一邻接的连接部分。处理器将该连接部分，连同连接到新识别出的手臂部分的手臂和躯干之间的任何剩余轮廓点，都添加到手臂。
现在参考图8，图8是根据本发明实施例的身体轮廓90的示意性表示，举例说明了步骤86的操作。处理器24确定连接部分100中的像素是手臂94的一部分，并将该部分与手臂94连接来完成手臂的界定。
一旦处理器找出了躯干的质心，它就可以找出肩膀102，即使肩膀被对象的手臂或手所覆盖。为此，处理器将躯干建模为质心深度处的矩形。肩膀位于该矩形的右上角和左上角。
现在返回图3，在识别出躯干和四肢后，处理器24产生对象身体的“棍图”模型。许多不同的方法可以用于此目的。在本实施例中，在识别轴的步骤104，处理器由找出四肢的中间轴开始。为了找出深度图的某部分(诸如手臂)的中间轴，处理器将该部分的周围置零，然后迭代地从该部分去除像素。在一个实施例中，处理器通过连续的形态侵蚀步骤去除像素，直到所述部分两侧的轮廓点相遇为止。在侵蚀过程的每次迭代中，处理器将轮廓点设定为零深度值，从而就在前一个轮廓内生成新的、更窄的轮廓。当轮廓点有两个以上的邻点也是轮廓点时，这些轮廓点就被认为是相遇了。当两个轮廓点以这种方式相遇时，就用最终的中间轴点来替代它们。在另一个实施例中(该实施例在计算上效率更高)，所述深度部分的轮廓像素被连续剥去，直到所述部分两侧的两个轮廓像素相遇为止。
处理器通常就这样继续下去，直到确定了整个中间轴。可选择地，在经过一定次数的迭代之后就停止侵蚀或剥离操作。另外，可选择地，可以在进行了一定次数的迭代之后就将各点定义为“中间轴点”，以避免生成虚假的中间轴点。这些点尤其可能出现在深度图中手臂的相对边缘在开始时就彼此接近的那些部分中。
图9是根据本发明实施例所述的在深度图中找出的身体轮廓106的示意性表示，其中示出了在步骤104中识别出的手臂110的中间轴108。处理器可以使用上述方法相似地找出躯干112和头部114以及腿部(本图中未示出)的中间轴。尽管在图中轴108被表示为图平面中的二维曲线，但处理器24实际上将手臂110的中间轴108(以及身体其它部分的中间轴)建模为空间中的三维曲线。换言之，中间轴上的每个点都有x、y和深度坐标。
再参考图3，在识别出中间轴上的点之后，处理器24在线段建模步骤114中，将这些无序的点转换为“解剖学上的”棍图线段，以便将对象的姿态和运动建模为棍图。因此，每个手臂用两个棍图线段来表示，第一个线段从肩膀到肘部，第二个线段从肘部到手掌。为此，处理器可以例如首先产生一组长直的线段，然后使用这些线段来生成棍图模型。
为了产生所述长线段，处理器24选择中间轴上的第一个点(通常是端点)，从所述第一个点起在预定半径处找出中间轴上的第二个点，然后将该半径内的所有其它点标记为“完毕(done)”。处理器在所述第二个点处重复该过程，以在第二个点的另一侧在预定半径处找出中间轴上的第三个点。如果连接第一和第二个点的线和连接第一和第三个点的线具有相似的斜率，则处理器将第二个点标记为完毕，并用单一直线段来替代第一和第三个点之间的整个范围。另一方面，如果这些线的斜率的差异超出预定的容限，则第一和第二个点之间的线段关闭，处理器开始在第二个点处找新线。
继续该过程，直到处理器考察了中间轴上的所有点，并将这些点合并在与步骤104中所找出的中间轴相对接近的各长直线段中。同样，处理器在三维(x，y，深度)空间中限定这些线段。为了完成将身体重建为棍图，处理器24然后用与肢体实际的接合部分相对应的两个长的三维定向“解剖”线段来替代这些线段，一个线段从肩膀到肘部，第二个线段从肘部到手掌。
图10是根据本发明实施例的处理器24在步骤114中从轮廓106导出的棍图模型的一部分的示意性表示。在该例子中，处理器用两个长线段替代每个手臂110：从手掌到肘部的小臂线段116和从肘部到肩膀的大臂线段118。
为了找出肘部，从而在给定的手臂中形成两个长的棍图线段，处理器24使用两个点(肩膀和手掌)、两个长度(大臂和小臂)以及上述长线段之一。肩膀和手掌可能在前面已经找出了，或者在该步骤过程中被识别出了。前面描述了肩膀的定位方法。可以将中间轴上与肩膀相对的一端识别为手掌，或者将沿中间轴离身体中心最远并且可能具有最低深度值的中间轴上的点识别为手掌。可以给定或可以通过学习来获得小臂和大臂的长度。例如，处理器可以基于与手臂相对应的长线段的长度和取向来进行这些长度的初始估计。
利用上面的信息，处理器24定义两个球面，这两个球面的中心分别位于肩膀点和手掌点处，其半径分别等于大臂和小臂的长度。这两个球面的交集形成3D空间中的圆C。然后，处理器24从所讨论的手臂区域中的所有长直线段中选择起始线段。通常，起始线段是与手掌或与肩膀邻近并且穿过手掌或肩膀的最长线段。
处理器24通过从所选端点(手掌或肩膀)朝着交集圆C延伸起始线段来确定肘部的位置。距离该延伸的线段与穿过圆C的平面之间的交点最近的圆C上的点被识别为肘部。处理器从肘部延伸第二条线到中间轴的另一个端点。如果中间轴上有足够多的点落入以这种方式所找出的线段116和118的预定范围内，则处理器断定对手臂做出了准确的建模。否则，处理器断定所建模的部分不是对象的手臂。
可选择地，处理器可以使用其它方法从所述部分的轮廓中导出棍图线段。为此，处理器通常尝试识别朝着肩膀或手掌方向延伸的长线段。例如，可以通过将上述步骤应用到整个连接部分，而不只是应用到中间轴点，来导出与手臂相对应的长线段。处理器使用具有更大半径的圆并保留长的线段。处理器使用较长的线段来替代斜率变化很快的短线段。只有当斜率发生了很大的变化时，较长的线段才终止。处理器有效地剪除所述部分的点以构建长线段。同样，使用肩膀点和手掌点、大臂长度和小臂长度以及当前形成的这一个长线段来形成棍图(线段116和118)，如上所述。
生成一个长线段(将与肩膀点和手掌点以及所述两个长度一起使用)的另一种方法从手臂斑块(blob)中的初始点开始着手，该点或在肩膀处(或在手臂部分中距离肩膀点最近的点处)，或在手掌点处。然后绕着所选择的点形成两个具有不同半径的圆。这些圆在中心点附近穿过所述部分两次，因此，以圆的中心点为公共点，在两个交点之间形成了角。有两个角，每个圆一个。将各角平分，对于每个圆，保留平分线和圆的交点。将这两个点连接起来，该线就是所述部分的表示。该线段的长度为两个半径之间的差，并且该线段总是指向肩膀或手掌的方向。结合了肩膀点和手掌点以及大臂和小臂长度的该线段可以用来形成棍图线段116和118，如上所述。
尽管上面为了清楚起见参考手臂110描述了步骤104和114，但也可以执行类似的步骤来找出模拟腿部、躯干和头的棍图线段。然后，就可以将具有预定运动学特性的总的棍图拟合到该模型，以完成对象的姿态、姿势和其它运动的分析。可以使用最优化技术来进行该拟合，以使运动学棍图模型的可能位置与从深度图导出的模型的线段之间的距离最小。一旦处理器在初始帧中找出了好的拟合，它就可以使用运动学模型的可能运动来在每个相继的帧中对找出线段的过程进行初始化。然后，使用在每个帧中所找出的实际的线段位置来更新运动学模型的位置。
处理器可以使用棍图的运动作为计算机应用程序的控制输入。例如，可以使用棍图的姿势来与出现在计算机屏幕上或虚拟现实显示中的用户控制进行交互。作为另一个例子，在游戏或其它互动应用中，棍图的运动可以反映在角色的3D化身(avatar)或虚拟3D身体的运动中。
总之，如上所述，处理器24使用深度图来形成具有物理和运动行为并具有几何约束的棍图。一旦开始了棍图，棍图就可以在随后的帧中通过识别身体部分的深度表面来帮助随后的人体分割。
应该了解，上述实施例是通过举例的方式来说明的，但本发明不限于上面所具体显示和描述的内容。相反，本发明的范围包括上述各种特性的组合和子组合及其变化和变型，本领域的技术人员通过阅读前面的描述可以实现，并且这些都是现有技术中没有公开的。

Claims (24)

1.一种用于处理数据的计算机实现的方法，包括：
接收包含人形对象的身体的场景的深度图，所述深度图包括像素矩阵，每个像素与其在所述场景中的位置相对应并具有其像素值，所述像素值表示从参考位置到所述像素的位置的距离；
分割所述深度图以便找出所述身体的轮廓；
通过下述处理来处理所述轮廓以便识别所述对象的躯干和一个或多个肢体：
在所述深度图中识别所述身体的轴；
沿着垂直于所述轴的多个第一线计算所述轮廓的横向厚度；
沿着平行于所述轴的多个第二线计算所述轮廓的纵向厚度；
识别其中所述横向厚度不小于横向阈值的水平区；
识别其中所述纵向厚度不小于纵向阈值的垂直区；
将所述轮廓内由所述水平区和所述垂直区的交集限定的区域的部分指定为所述躯干；以及
将连接到所述躯干的所述区域的第二部分识别为所述肢体中的至少一个；以及
通过分析所述深度图中被识别出的肢体中的至少一个的布置，产生输入来控制计算机上运行的应用程序。
2.根据权利要求1所述的方法，其中，接收所述深度图包括在不给所述身体附任何专用标记的情况下获取所述深度图。
3.根据权利要求1所述的方法，其中，接收所述深度图包括使用单一固定成像设备来获取所述深度图。
4.根据权利要求3所述的方法，其中，获取所述深度图包括：将无关联的斑点图案投射到所述对象上，使用所述成像设备捕获所投射的图案的图像，以及处理所述图像以便产生所述深度图。
5.根据权利要求4所述的方法，其中，投射所述无关联的斑点图案包括使用相干光源形成初级斑点图案。
6.根据权利要求1所述的方法，其中，接收所述深度图包括以至少25帧/秒的帧速率获取深度图序列，并且产生所述控制输入包括以至少等于所述帧速率的更新速率响应所述深度图序列更新所述控制输入。
7.根据权利要求1所述的方法，其中，分割所述深度图包括识别所述场景中没有连接到所述身体的背景物体，并在找出所述轮廓之前从所述场景中去除所述背景物体。
8.根据权利要求1所述的方法，其中，识别所述区域的第二部分包括：基于所述深度图确定所述躯干距所述参考位置的代表距离，并将重叠在所述躯干上的、像素的距离小于所述代表距离的区域识别为所述对象的手臂。
9.根据权利要求1-7中任一个所述的方法，其中，分析所述布置包括找出所述一个或多个肢体的一个或多个各自的中间轴。
10.根据权利要求9所述的方法，其中，找出所述一个或多个各自的中间轴包括迭代地从所述肢体的至少一个中去除像素。
11.根据权利要求9所述的方法，其中，所述中间轴是弯曲的，且分析所述布置包括通过找出与所述中间轴拟合的直线段来导出所述一个或多个肢体的棍图表示。
12.根据权利要求1-7中任一个所述的方法，其中，所述一个或多个肢体包括所述对象的手臂，其中，分析所述布置包括：通过在所述躯干上识别肩膀点，在所述手臂上识别手掌点，并识别分别穿过所述肩膀点和手掌点并在所述手臂的肘部相遇的两个直线段来导出所述手臂的棍图表示。
13.用于处理数据的装置，包括：
成像设备，用来捕获包含人形对象的身体的场景的图像；以及
处理器，用来处理所述图像以便生成深度图，所述深度图包括像素矩阵，每个像素与其在所述场景中的位置相对应并具有其像素值，所述像素值表示从参考位置到所述像素的位置的距离；用来分割所述深度图以便找出所述身体的轮廓；处理所述轮廓以便识别所述对象的躯干和一个或多个肢体；以及通过分析所述深度图中被识别出的肢体中的至少一个的布置，产生输入来控制计算机上运行的应用程序，
其中所述处理器用来通过下述处理来识别所述躯干和所述一个或多个肢体：在所述深度图中识别所述身体的轴；沿着垂直于所述轴的多个第一线计算所述轮廓的横向厚度；沿着平行于所述轴的多个第二线计算所述轮廓的纵向厚度；识别其中所述横向厚度超过横向阈值的水平区；识别其中所述纵向厚度超过纵向阈值的垂直区；将所述轮廓内由所述水平区和所述垂直区的交集限定的区域的部分指定为所述躯干；以及将连接到所述躯干的所述区域的第二部分识别为所述肢体中的至少一个。
14.根据权利要求13所述的装置，其中，所述处理器用来在没有附到身体的任何专用标记的情况下生成所述深度图。
15.根据权利要求13所述的装置，其中，所述处理器用来使用单一固定成像设备来生成所述深度图。
16.根据权利要求15所述的装置，其中，所述成像设备用来将无关联的斑点图案投射到所述对象上，并捕获所投射的图案的图像。
17.根据权利要求16所述的装置，其中，所述无关联的斑点图案包括由相干光源形成的初级斑点图案。
18.根据权利要求13所述的装置，其中，所述处理器用来响应于由所述成像设备捕获的图像以至少25帧/秒的帧速率产生深度图序列，并以至少等于所述帧速率的更新速率响应所述深度图序列更新所述控制输入。
19.根据权利要求13所述的装置，其中，所述处理器用来识别所述场景中没有连接到所述身体的背景物体，并在找出所述轮廓之前从所述场景中除去所述背景物体。
20.根据权利要求13所述的装置，其中，所述处理器用来基于所述深度图确定所述躯干距所述参考位置的代表距离，并将与所述躯干重叠的、像素的距离小于所述代表距离的区域识别为所述对象的手臂。
21.根据权利要求13-19中任一个所述的装置，其中，所述处理器用来分析所述轮廓以便找出所述一个或多个肢体的一个或多个各自的中间轴。
22.根据权利要求21所述的装置，其中，所述处理器用来通过迭代地侵蚀围绕着所述肢体中的至少一个肢体的轮廓来找出所述一个或多个各自的中间轴。
23.根据权利要求21所述的装置，其中，所述中间轴是弯曲的，且所述处理器用来通过找出与所述中间轴拟合的直线段来导出所述一个或多个肢体的棍图表示。
24.根据权利要求13-19中任一个所述的装置，其中，所述一个或多个肢体包括所述对象的手臂，并且其中，所述处理器用来通过下面的步骤导出所述手臂的棍图表示：在所述躯干上识别肩膀点，在所述手臂上识别手掌点，并识别分别穿过所述肩膀点和手掌点并在所述手臂的肘部相遇的两个直线段。
CN200780013930.9A 2006-05-11 2007-05-10 根据深度图对人形进行建模 Active CN101657825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410028261.4A CN103778635B (zh) 2006-05-11 2007-05-10 用于处理数据的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US79995206P 2006-05-11 2006-05-11
US60/799,952 2006-05-11
PCT/IL2007/000574 WO2007132451A2 (en) 2006-05-11 2007-05-10 Modeling of humanoid forms from depth maps

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410028261.4A Division CN103778635B (zh) 2006-05-11 2007-05-10 用于处理数据的方法和装置

Publications (2)

Publication Number Publication Date
CN101657825A CN101657825A (zh) 2010-02-24
CN101657825B true CN101657825B (zh) 2014-02-19

Family

ID=38694295

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200780013930.9A Active CN101657825B (zh) 2006-05-11 2007-05-10 根据深度图对人形进行建模
CN201410028261.4A Active CN103778635B (zh) 2006-05-11 2007-05-10 用于处理数据的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410028261.4A Active CN103778635B (zh) 2006-05-11 2007-05-10 用于处理数据的方法和装置

Country Status (4)

Country Link
US (1) US8249334B2 (zh)
JP (1) JP5167248B2 (zh)
CN (2) CN101657825B (zh)
WO (1) WO2007132451A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563329A (zh) * 2018-03-23 2018-09-21 上海数迹智能科技有限公司 一种基于深度图的人体手臂位置参数提取算法

Families Citing this family (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US9196080B2 (en) 2008-02-05 2015-11-24 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth
US8471898B2 (en) * 2008-02-05 2013-06-25 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth
US8113991B2 (en) * 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
US8704832B2 (en) 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US8749556B2 (en) 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US20100259547A1 (en) 2009-02-12 2010-10-14 Mixamo, Inc. Web platform for interactive design, synthesis and delivery of 3d character motion data
EP2399243A4 (en) * 2009-02-17 2013-07-24 Omek Interactive Ltd METHOD AND SYSTEM FOR RECOGNIZING GESTURE
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
WO2010129721A2 (en) * 2009-05-05 2010-11-11 Mixamo, Inc. Distributed markerless motion capture
KR101650799B1 (ko) * 2009-05-11 2016-08-24 게스티곤 게엠베하 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR101616926B1 (ko) * 2009-09-22 2016-05-02 삼성전자주식회사 영상 처리 장치 및 방법
KR101640039B1 (ko) * 2009-09-22 2016-07-18 삼성전자주식회사 영상 처리 장치 및 방법
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
CN102103696A (zh) * 2009-12-21 2011-06-22 鸿富锦精密工业（深圳）有限公司 人脸辨识系统、方法及具有该系统的身份识别装置
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
CN102147917A (zh) * 2010-02-08 2011-08-10 三星电子株式会社 检测类棍状目标部件的方法
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
CN102188819B (zh) * 2010-03-11 2014-04-02 鼎亿数码科技(上海)有限公司 电子游戏控制装置及方法
CN107256094A (zh) * 2010-04-13 2017-10-17 诺基亚技术有限公司 装置、方法、计算机程序和用户接口
US8928672B2 (en) 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
WO2011146259A2 (en) 2010-05-20 2011-11-24 Irobot Corporation Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US9400503B2 (en) 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8966400B2 (en) * 2010-06-07 2015-02-24 Empire Technology Development Llc User movement interpretation in computer generated reality
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US8797328B2 (en) 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9542975B2 (en) 2010-10-25 2017-01-10 Sony Interactive Entertainment Inc. Centralized database for 3-D and other information in videos
US9195345B2 (en) * 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8385596B2 (en) * 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
AU2011352997B2 (en) 2010-12-30 2015-06-18 Irobot Corporation Mobile human interface robot
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
AU2012207076A1 (en) 2011-01-20 2013-08-15 University Of Iowa Research Foundation Automated determination of arteriovenous ratio in images of blood vessels
US20140035909A1 (en) * 2011-01-20 2014-02-06 University Of Iowa Research Foundation Systems and methods for generating a three-dimensional shape from stereo color images
US9268996B1 (en) 2011-01-20 2016-02-23 Verint Systems Inc. Evaluation of models generated from objects in video
US8824823B1 (en) * 2011-01-20 2014-09-02 Verint Americas Inc. Increased quality of image objects based on depth in scene
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
KR20120117165A (ko) * 2011-04-14 2012-10-24 삼성전자주식회사 3차원 영상의 생성 방법 및 이를 이용하는 내시경 장치
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
KR101227569B1 (ko) 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8526734B2 (en) * 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9098110B2 (en) * 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
CN102855459B (zh) * 2011-06-30 2015-11-25 株式会社理光 用于特定前景物体的检测验证的方法和系统
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US10049482B2 (en) 2011-07-22 2018-08-14 Adobe Systems Incorporated Systems and methods for animation recommendations
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
CN102289818B (zh) * 2011-07-27 2012-12-05 中国民航大学 一种基于图形分析的肘部定位方法
FR2978855B1 (fr) * 2011-08-04 2013-09-27 Commissariat Energie Atomique Procede et dispositif de calcul d'une carte de profondeur a partir d'une unique image
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
CN102324041B (zh) * 2011-09-09 2014-12-03 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
FR2980292B1 (fr) 2011-09-16 2013-10-11 Prynel Procede et systeme d'acquisition et de traitement d'images pour la detection du mouvement
KR101283262B1 (ko) * 2011-10-21 2013-07-11 한양대학교 산학협력단 영상 처리 방법 및 장치
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
CN102521646B (zh) * 2011-11-11 2015-01-21 浙江捷尚视觉科技股份有限公司 基于深度信息聚类的复杂场景人数统计方法
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US9959634B2 (en) 2012-03-13 2018-05-01 Google Llc Method and system for identifying depth data associated with an object
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US9545196B2 (en) 2012-05-04 2017-01-17 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
JP2015525381A (ja) * 2012-05-04 2015-09-03 オブロング・インダストリーズ・インコーポレーテッド 相互ユーザ手追跡および形状認識ユーザ・インターフェース
WO2013179580A1 (ja) 2012-05-30 2013-12-05 パナソニック株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2013187202A1 (ja) * 2012-06-12 2013-12-19 株式会社島精機製作所 ３次元計測装置及び３次元計測方法
EP2674913B1 (en) 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
CN102778953B (zh) * 2012-06-28 2015-06-24 华东师范大学 基于Kinect的皮影戏远程数字表演的体感控制方法
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
WO2014037939A1 (en) * 2012-09-05 2014-03-13 Body Pass Ltd. System and method for deriving accurate body size measures from a sequence of 2d images
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
US9384585B2 (en) * 2012-10-23 2016-07-05 Electronics And Telecommunications Research Institute 3-dimensional shape reconstruction device using depth image and color image and the method
US9019267B2 (en) * 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
JP2014089665A (ja) * 2012-10-31 2014-05-15 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
US9124635B2 (en) * 2012-11-30 2015-09-01 Intel Corporation Verified sensor data processing
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9135516B2 (en) * 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US10360672B2 (en) 2013-03-15 2019-07-23 University Of Iowa Research Foundation Automated separation of binary overlapping trees
US9542748B2 (en) 2013-04-08 2017-01-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Front-end architecture for image processing
US10341611B2 (en) 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
CN105247566B (zh) 2013-06-23 2020-10-16 英特尔公司 基于上下文关系选择性地公开信息的方法、装置、介质
KR101913319B1 (ko) * 2013-07-16 2019-01-14 삼성전자주식회사 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치
US9355334B1 (en) * 2013-09-06 2016-05-31 Toyota Jidosha Kabushiki Kaisha Efficient layer-based object recognition
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US10410355B2 (en) 2014-03-21 2019-09-10 U.S. Department Of Veterans Affairs Methods and systems for image analysis using non-euclidean deformed graphs
CN105336005B (zh) 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
CN105303152B (zh) * 2014-07-15 2019-03-22 中国人民解放军理工大学 一种人体再识别方法
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
PL411338A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z wirtualnymi obiektami w przestrzeni trójwymiarowej oraz system do interakcji z wirtualnymi obiektami w przestrzeni trójwymiarowej
US9594967B2 (en) * 2015-03-31 2017-03-14 Google Inc. Method and apparatus for identifying a person by measuring body part distances of the person
US10115194B2 (en) 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US9715620B2 (en) * 2015-05-15 2017-07-25 Itseez 3D, Inc. Method to position a parallelepiped bounded scanning volume around a person
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9792692B2 (en) * 2015-05-29 2017-10-17 Ncr Corporation Depth-based image element removal
JP6584862B2 (ja) * 2015-08-20 2019-10-02 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
US9922244B2 (en) * 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
CN105469113B (zh) * 2015-11-19 2019-03-22 广州新节奏智能科技股份有限公司 一种二维视频流中的人体骨骼点追踪方法及系统
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US10318813B1 (en) 2016-03-11 2019-06-11 Gracenote, Inc. Digital video fingerprinting using motion segmentation
ES2849273T3 (es) * 2016-06-03 2021-08-17 Utku Buyuksahin Sistema y procedimiento de captura y generación de imágenes 3D
US9940721B2 (en) * 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
WO2017223530A1 (en) 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
JP6598748B2 (ja) * 2016-08-26 2019-10-30 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
US9881207B1 (en) * 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
CN107636727A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN110475510B (zh) 2017-03-27 2022-08-02 韩国斯诺有限公司 获取对象的形状信息的方法及装置
CN107169262B (zh) * 2017-03-31 2021-11-23 百度在线网络技术（北京）有限公司 推荐塑身方案的方法、装置、设备和计算机存储介质
CN107230226A (zh) * 2017-05-15 2017-10-03 深圳奥比中光科技有限公司 人体关联关系的判断方法、装置及存储装置
CN107335192A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 运动辅助训练方法、装置及存储装置
CN107341179B (zh) * 2017-05-26 2020-09-18 深圳奥比中光科技有限公司 标准运动数据库的生成方法、装置及存储装置
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
DE202017104506U1 (de) 2017-07-28 2017-09-05 Apple Inc. Krümmungsbasierter Gesichtsdetektor
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
CN109146906B (zh) * 2018-08-22 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
CN111353930B (zh) * 2018-12-21 2022-05-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN109685025A (zh) * 2018-12-27 2019-04-26 中科院合肥技术创新工程院 肩部特征和坐姿行为识别方法
JP7208061B2 (ja) * 2019-02-28 2023-01-18 クモノスコーポレーション株式会社 球形マーカー検出方法
CN110135382B (zh) * 2019-05-22 2021-07-27 北京华捷艾米科技有限公司 一种人体检测方法和装置
US20220319105A1 (en) * 2019-07-10 2022-10-06 Sony Interactive Entertainment Inc. Image display apparatus, image display system, and image display method
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
CN111144212B (zh) * 2019-11-26 2023-06-23 北京华捷艾米科技有限公司 一种深度图像目标分割方法及装置
US11957974B2 (en) 2020-02-10 2024-04-16 Intel Corporation System architecture for cloud gaming
CN111366916B (zh) * 2020-02-17 2021-04-06 山东睿思奥图智能科技有限公司 确定交互目标与机器人之间距离的方法、装置及电子设备
US11284847B2 (en) * 2020-06-30 2022-03-29 GE Precision Healthcare LLC X-ray imaging system and method
CN112036232B (zh) * 2020-07-10 2023-07-18 中科院成都信息技术股份有限公司 一种图像表格结构识别方法、系统、终端以及存储介质
CN112587903A (zh) * 2020-11-30 2021-04-02 珠海大横琴科技发展有限公司 一种基于深度学习的短跑运动员起跑训练方法及系统
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1153362A (zh) * 1995-03-29 1997-07-02 三洋电机株式会社 产生三维图象计算深度信息和用其进行图象处理的方法
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US5870196A (en) * 1995-10-16 1999-02-09 European Community Optical three-dimensional profilometry method based on processing SPECKLE images in partially coherent light, and interferometer implementing such a method
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714152B2 (ja) * 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
RU2109336C1 (ru) * 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JPH10235584A (ja) 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
JP3974359B2 (ja) * 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) * 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
US6831632B2 (en) * 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7123761B2 (en) * 2001-11-20 2006-10-17 Konica Corporation Feature extracting method, subject recognizing method and image processing apparatus
JP2003220055A (ja) * 2001-11-20 2003-08-05 Konica Corp 特徴量抽出方法、被写体認識方法および画像処理装置ならびに画像処理プログラム
JP4050055B2 (ja) * 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US6857746B2 (en) * 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
JP4318465B2 (ja) * 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
CN1512298A (zh) * 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
KR100465241B1 (ko) * 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100518824B1 (ko) * 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
US7317450B2 (en) * 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
WO2005041579A2 (en) * 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050088407A1 (en) * 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
US7302099B2 (en) * 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US8487879B2 (en) * 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US7428542B1 (en) * 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
WO2007024163A1 (en) * 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
TWI301590B (en) * 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
CN101496033B (zh) * 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US20070230789A1 (en) * 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US8005294B2 (en) * 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
KR101094118B1 (ko) * 2006-11-29 2011-12-15 에프. 포스잣 후, 엘.엘.씨. 3차원 프로젝션 디스플레이
JP2008242929A (ja) * 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
TWI343544B (en) * 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US20090078473A1 (en) * 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8165398B2 (en) * 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1153362A (zh) * 1995-03-29 1997-07-02 三洋电机株式会社 产生三维图象计算深度信息和用其进行图象处理的方法
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US5870196A (en) * 1995-10-16 1999-02-09 European Community Optical three-dimensional profilometry method based on processing SPECKLE images in partially coherent light, and interferometer implementing such a method
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563329A (zh) * 2018-03-23 2018-09-21 上海数迹智能科技有限公司 一种基于深度图的人体手臂位置参数提取算法
CN108563329B (zh) * 2018-03-23 2021-04-27 上海数迹智能科技有限公司 一种基于深度图的人体手臂位置参数提取算法

Also Published As

Publication number Publication date
US20100034457A1 (en) 2010-02-11
JP5167248B2 (ja) 2013-03-21
US8249334B2 (en) 2012-08-21
CN103778635A (zh) 2014-05-07
JP2009536731A (ja) 2009-10-15
WO2007132451A2 (en) 2007-11-22
WO2007132451A3 (en) 2009-04-16
CN101657825A (zh) 2010-02-24
CN103778635B (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN101657825B (zh) 根据深度图对人形进行建模
Saxena et al. Depth Estimation Using Monocular and Stereo Cues.
US9594950B2 (en) Depth mapping with enhanced resolution
US9196045B2 (en) Analysis of three-dimensional scenes
Grest et al. Nonlinear body pose estimation from depth images
JP2009536731A5 (zh)
CA2858398C (en) Method and apparatus for estimating a pose
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
KR101896131B1 (ko) 깊이 맵을 이용하는 모바일 카메라 로컬라이제이션
Azad et al. 6-DoF model-based tracking of arbitrarily shaped 3D objects
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
CN112102342B (zh) 平面轮廓识别方法、装置、计算机设备和存储介质
CN111178170B (zh) 一种手势识别方法和一种电子设备
JPH0814860A (ja) モデル作成装置
Riecický et al. Optical-inertial Synchronization of MoCap Suit with Single Camera Setup for Reliable Position Tracking.
Penk et al. DeNos22: A Pipeline to Learn Object Tracking Using Simulated Depth.
Lefranc et al. Detection of the Movement of an Object From a Sequence of Images
CN117369233A (zh) 一种全息显示方法、装置、设备及存储介质
CN117095130A (zh) 一种三维建模方法及其系统
Ruiter 3D-tracking of A Priori Unknown Objects in Cluttered Dynamic Environments
Benedek et al. free Video Synthesis with an Integrated 4D System
Hartmann et al. Towards Symmetry Axis based Markerless Motion Capture.
Mühlbauer Aspects of Cognitive Understanding of the Environment by Vision-Based Semantic Mapping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141029

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141029

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Israel Achayaer

Patentee before: Prime Sense Ltd.