CN109690555A - 基于曲率的脸部检测器 - Google Patents

基于曲率的脸部检测器 Download PDF

Info

Publication number
CN109690555A
CN109690555A CN201780052630.5A CN201780052630A CN109690555A CN 109690555 A CN109690555 A CN 109690555A CN 201780052630 A CN201780052630 A CN 201780052630A CN 109690555 A CN109690555 A CN 109690555A
Authority
CN
China
Prior art keywords
curvature
face
patch
chart
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780052630.5A
Other languages
English (en)
Other versions
CN109690555B (zh
Inventor
Y·爱赛特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN109690555A publication Critical patent/CN109690555A/zh
Application granted granted Critical
Publication of CN109690555B publication Critical patent/CN109690555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于处理数据的方法，其包括接收包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵。数字处理器从所述深度图提取所述场景的曲率图。所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值。所述曲率值被处理，以便标识所述场景中的脸部。

Description

基于曲率的脸部检测器
技术领域
本发明整体涉及用于三维(3D)映射的方法和系统，尤其涉及3D图数据的处理。
背景技术
在本领域中已知多种不同的方法和系统用于创建深度图。在本专利申请中以及在权利要求书中，术语“深度图”是指场景的作为二维像素矩阵的表示，其中每个像素对应于场景中的相应位置并且具有相应像素深度值，指示从特定参考位置到相应场景位置的距离。换言之，深度图具有图像的形式，其中像素值指示形貌信息，而不是场景中对象的亮度和/或颜色。深度图可例如通过检测和处理图案被投射到上面的对象的图像来创建，如美国专利8,456,517中所述，该美国专利的公开内容以引用方式并入本文。术语“深度图”和“3D图”在本文中可互换使用并且具有相同的含义。
可对深度图进行处理，以便划分和标识场景中的对象。深度图中人形外形(即，结构与人类类似的3D形状)的标识、以及不同场景中这些外形的改变可被用作用于控制计算机应用的手段。例如，公开内容以引用方式并入本文的美国专利8,249,334描述了一种计算机实现的方法，其中深度图被划分以查找人形身体的轮廓。该轮廓被处理以便标识身体的躯干和一个或多个肢体。通过分析深度图中所标识肢体中至少一者的安置来生成输入以控制在计算机上运行的应用程序。
又如，公开内容以引用方式并入本文的美国专利8,565,479描述了一种用于处理包含人形外形的场景的深度图的时间序列的方法。数字处理器处理这些深度图中的至少一者以查找人形外形的头部的位置，并且基于这个位置来估计人形外形的维度。处理器利用所估计的维度在所述序列上跟踪人形外形的运动。
公开内容以引用方式并入本文的美国专利9,047,507描述了一种包括接收包含人形外形至少上半身的场景的深度图的方法。深度图被处理以标识深度图中人形外形的头部和至少一个臂。基于所标识的头部和至少一个臂，并且在不参照人形外形的下半身的情况下，从深度图提取上半身姿态，包括人形外形的肩关节的至少三维(3D)坐标。
发明内容
本发明的实施方案提供用于从深度图提取信息的方法、设备和软件。
因此，根据本发明一实施方案，提供了一种用于处理数据的方法，该方法包括接收包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵。利用数字处理器，从所述深度图提取所述场景的曲率图。所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值。所述曲率值被处理，以便标识所述场景中的脸部。
在一些实施方案中，处理所述曲率值包括：检测所述曲率图中的一个或多个斑块，在所述一个或多个斑块上，所述像素具有指示凸形表面的相应曲率值；以及将所述斑块中的一者标识为所述脸部。通常，所述曲率图包括所述像素中至少一些像素的相应曲率取向，并且标识所述斑块中的所述一者包括响应于所述斑块中的所述一者中所述像素的曲率取向来计算所述脸部的滚转角。在所公开的一实施方案中，处理所述曲率值包括在对于所计算的滚转角进行校正时对所述曲率图应用曲率滤波以便探知所述斑块中的所述一者是否为所述脸部。
除此之外或另选地，处理所述曲率值包括响应于所述斑块中的所述一者的尺寸来计算所述脸部的规模，以及在对于所计算的规模进行校正时对所述曲率图应用曲率滤波以便探知所述斑块中的所述一者是否为所述脸部。
进一步除此之外或另选地，提取所述曲率图包括以第一分辨率从所述深度图推导第一曲率图，并且检测所述一个或多个斑块包括在所述第一曲率图中查找所述一个或多个斑块，并且处理所述曲率值包括以比所述第一分辨率更精细的第二分辨率推导包含所述斑块中所述一者的第二曲率图，以及利用所述第二曲率图来标识所述脸部。
在一些实施方案中，处理所述曲率值包括以曲率滤波核对所述曲率图进行卷积以便查找所述场景中所述脸部的位置。在所公开的一实施方案中，对所述曲率图进行卷积包括分别应用脸部滤波核和鼻部滤波核以便计算所述脸部的相应候选位置，以及基于所述候选位置查找所述位置。除此之外或另选地，对所述曲率图进行卷积包括计算所述场景中多个点中的每一者的对数似然值，以及响应于所述对数似然值来选择所述位置。
根据本发明一实施方案，还提供了用于处理数据的装置，包括成像组件，所述成像组件被配置为捕获包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵。处理器被配置为：从所述深度图提取所述场景的曲率图，所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值；以及处理所述曲率值以便标识所述场景中的脸部。
根据本发明一实施方案，还提供了一种计算机软件产品，包括其中存储有程序指令的非暂态计算机可读介质，所述指令在被计算机读取时使得所述计算机：接收包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵；从所述深度图提取所述场景的曲率图，所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值；以及处理所述曲率值以便标识所述场景中的脸部。
结合附图，从下文中对本发明的实施方案的详细描述将更完全地理解本发明，在附图中：
附图说明
图1是根据本发明一实施方案的用于3D映射人形外形的系统的示意性图解；
图2是根据本发明一实施方案的层叠以所预测脸部斑块的深度图的示意图；
图3是根据本发明一实施方案的以低分辨率从图2的深度图提取的法线图的示意图；
图4是根据本发明一实施方案的从图3的法线图提取的粗级曲率图的示意图；
图5是根据本发明一实施方案的从图4的曲率图提取的斑块的图的示意图；
图6是根据本发明一实施方案的在图5中找到的斑块内曲率方向的图的示意图；
图7是根据本发明一实施方案的以高分辨率从图2的深度图提取的法线图的示意图；
图8是根据本发明一实施方案的从图7的法线图提取的细粒度曲率图的示意图；
图9A和图9B是根据本发明一实施方案的在脸部检测中使用的滤波核的示意图形表示；并且
图10A和图10B是根据本发明一实施方案通过分别以图9A和图9B的滤波核对图8的曲率图进行卷积而获得的对数似然图的示意性图形表示。
具体实施方式
2016年9月22日提交的美国专利申请15/272,455描述了用于从深度图提取人形外形的方法、系统和软件，该美国专利申请的公开内容通过引用并入本文。在所公开的方法中，数字处理器从包含人形外形的场景的深度图提取曲率图。曲率图包括所述深度图中的像素中至少一些像素的相应取向曲率。换句话讲，在这些像素中的每一者处，曲率图保持指示主曲率值的标量带符号数值和被表示为二维(2D)向量的对应的曲率取向，即主曲率的方向。处理器利用曲率图中的曲率值和取向二者来对深度图进行划分，并且因此提取人形外形的一个或多个肢体的3D位置和取向坐标。
处理器通过标识曲率图中像素具有正曲率的斑块(这意味着这些斑块的表面是凸形的)来对深度图进行划分(但是，“正”曲率的这个定义是任意的，并且曲率可以另选地被定义成使得凸形表面具有负曲率)。在深度图中，在曲率图中符号改变的位置处标识斑块的边缘。这个对曲率的使用增强了划分的可靠性和鲁棒性，因为它使处理器能够区分不同的斑块以及区分斑块和背景，即使是在给定斑块的这个边缘处没有明显的深度变化时(这可能是在一个身体部分遮挡另一身体部分时出现)，或者是在身体部分正靠在背景表面或其他对象上时。
本文所述的本发明实施方案特别为了标识场景中的一个或多个脸部而处理曲率图。通常，在所公开的方法中，如上所述在曲率图中检测一个或多个斑块。作为对应于脸部的候选者的斑块中的像素的曲率取向被处理，以便估计脸部的滚转角。然后可以在对于所计算的滚转角进行校正时将曲率滤波应用于曲率图，以便探知该斑块确实是脸部的可能性。除此之外或另选地，斑块的尺寸可被用于估计和校正脸部的规模。
各种分类器可被用于从曲率图提取脸部。在下文更详细描述的一些实施方案中，以一个或多个曲率滤波核对曲率图进行卷积以便查找所述场景中脸部的位置。在一个实施方案中，分别应用脸部滤波核和鼻部滤波核，以便计算相应的候选位置，所述相应的候选位置在查找实际脸部位置中被使用。这些滤波与典型脸部(包括相对高凸曲率的鼻部)的曲率特征匹配，并且对于脸部的俯仰和偏摆相对不敏感。如上所述，滚转角和规模可分别被归一化。滤波可被配置为返回所述场景中每个候选点的对数似然值，由此可将具有最高对数似然值的点标识为脸部位置。
图1是根据本发明一实施方案的用于深度映射和成像的系统20的示意性图解。在该示例中，成像组件24被配置为捕获和处理场景的深度图和图像，所述场景在这个示例中包含人形主体36。这种成像组件例如在上文提到的美国专利8,456,517中有所描述。然而，本发明的原理决不限于在该专利中描述的基于图案的映射的类型，并且可以在处理由本领域已知的基本上任何合适的技术生成的深度图中被应用，诸如基于立体成像或飞行时间测量的深度映射。
在图1所示的示例中，成像组件24中的投影仪30将光学辐射图案投射到场景上，并且深度相机32捕获所述图案在所述场景上出现的图像(包括至少主体36的头部)。组件24中的处理设备处理所述图案的图像，以便生成主体36的体部的至少一部分的深度图，即3D坐标的阵列，包括预定义区域内每个点(X，Y)处所述场景中的对象的深度(Z)坐标值。(在图像相关数据的阵列的上下文中，这些(X，Y)点也被称为像素。)任选地，成像组件24中的彩色相机34也捕获所述场景的彩色(2D)图像，但是，下文所述的脸部检测方法并不要求此类2D图像。相反，所公开的方法在将所述场景中的对象分类为脸部以及标识其位置中仅依赖于深度信息。
成像组件24生成包括深度图的数据流用于输出到图像处理器，诸如计算机26。尽管计算机26在图1中被图示成相对于成像组件24独立的单元，但这两个部件的功能可以另选地被组合在单个物理单元中，并且系统20的深度映射和图像处理功能甚至可以由单个处理器执行。计算机26处理由组件24生成的数据，以便检测主体36和/或可能出现在深度图中的其他主体的脸部。通常，计算机26包括通用计算机处理器，所述通用计算机处理器在软件中被编程为执行上述功能。软件可以例如通过网络以电子形式下载到处理器，或者可以另选地在有形非暂态介质诸如光学、磁性、或电子存储器介质上被提供。进一步另选地或除此之外，计算机26的至少一些功能可由硬接线或可编程逻辑部件来执行。
图2是根据本发明一实施方案的由组件24捕获的深度图的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。深度值在图2中被表示成灰度值，其中越暗的灰影对应于越大的深度值，即越远离组件24的位置。(黑色区域对应于不能确定深度值的像素。)在这个具体场景中，主体将其手部放在其头部上，从而遮蔽了头部的一些轮廓。
图3是根据本发明一实施方案的以低分辨率从图2的深度图提取的法线图的示意图。这个法线图以低分辨率水平(例如40像素×30像素)计算，其在这个示例中是组件24所采集的深度图的尺寸的1/16。虽然本方法的这个以及随后的步骤也可以更精细的分辨率执行，但是就计算速度而言有利的是，初始步骤(直到查找深度图中的斑块，如下文所解释)以粗级分辨率执行。
法线图如下计算：将u-v作为深度图的表面参数化网格，p＝p(u，v)表示3D中图2的深度图的表面点。基于这个图中的深度值，计算机26计算每个点处深度梯度的叉积。这个计算的结果是图3所示的法线图，其中N＝N(u,v)是点p处的表面法线，使得每个像素保持与在对应点处由深度图限定的表面的法线的方向对应的向量值。法线向量难以以灰度表示来展示，并且图3中的法线图因此仅为了一般性说明而被呈现。法线接近Z方向(指向页面外)的像素在图3中具有较浅的灰影，而那些朝向X-Y平面倾斜的像素较暗。就这一点而言，头部和手部的高曲率可根据图3中显著的灰度梯度来观察，并且这个特征将在后续分析步骤中使用。
计算机26然后基于这个法线图计算(低分辨率)曲率图。在这个步骤为每个像素计算的曲率可以在3D几何中已知的2x2矩阵形式中被表示成形状算子S，其被定义如下：
S＝B·G-1
计算机26提取形状算子本征向量(对应于两个主曲率取向)和形状算子本征值(对应于沿这些取向的曲率值)。曲率图包含每像素主曲率，即具有较大绝对值的本征值和对应的曲率取向。原始曲率值可以是正的或负的，其中正曲率对应于凸形表面斑片，并且负曲率对应于凹形表面斑片。
图4是根据本发明一实施方案的从图3的法线图(并且因此从图2的深度图)提取的曲率图的示意图。由于灰度图形的限制，这个曲率图仅示出曲率的量值(即，曲率矩阵的主本征值，如上所述)，而曲率方向在图6中示出，如下所述。具有强正曲率值的像素在曲率图中具有浅的灰影，而具有负曲率值的像素是暗灰的。
计算机26使用曲率图来从原始深度图提取具有正曲率的斑块。因为身体部分诸如头部和手部本质上是凸形的，所以对于斑块对应于此类身体部分，像素的斑块内的正曲率是必要条件。此外，从正曲率向负曲率的转变是身体部分的边缘的良好指示，即使是在身体部分与另一对象接触而在身体部分和所述对象之间没有清晰深度梯度的时候。
图5是根据本发明一实施方案的从图4的曲率图提取的斑块的图的示意图。由于头部和手部(它们在图5中一起延伸)而得到的斑块具有强正曲率，因此可基于其边缘处曲率的符号改变而从其他对象清楚地划分。
图6是根据本发明一实施方案的在图5中找到的斑块内曲率方向的图的示意图。计算机26使用曲率图中的像素级曲率取向来查找曲率图中斑块的曲率的轴线。如上所述，曲率向量方向是在曲率计算过程中找到的曲率矩阵的主要(主)本征向量的方向。每个斑块的轴线是深度图(或曲率图)中在与该斑块上的主曲率方向垂直的方向上延伸通过该斑块的质心的线。这个轴线后续将在对被应用于脸部标识以补偿滚转(即头部侧向倾摆)效应的分类器归一化中被使用。
通常，计算机26将给定斑块的主曲率方向标识为所有像素的曲率方向的统计众数。换句话讲，对于每个斑块，计算机构建斑块中像素的曲率方向的直方图，并且将主曲率方向标识为直方图的众数。如果直方图包含多众数行为，则每个众数被独立地分析，从而将斑块分成多个子斑块。在此基础上，在图6所示的示例中，具有竖直曲率轴线的头部斑块由对角线曲率轴线与较小手部斑块划分开。另选地，其他统计平均值诸如均值或中值可被标识为主曲率方向。
在已标识深度图中作为脸部候选者的一个或多个斑块之后，计算机26现在开始处理深度图中来自这些斑块的数据，以便决定哪些(如果有的话)可被确信地分类为脸部。假设深度图分析的第一阶段(直到标识候选斑块及其轴线)以低分辨率执行，如上文所解释，计算机26通常在第二分类阶段期间以更精细的分辨率处理斑块中的数据。因此，例如，根据本发明一实施方案，图7是以分辨率160×120从图2的深度图提取的法线图的示意图，而图8是从图7的法线图提取的曲率图的示意图。
接下来，计算机26将脸部分类器应用于这个曲率图。在本实施方案中，计算机26以一个或多个滤波核对要分类的每个斑块的曲率值进行卷积，这返回每个像素的得分，指示其是脸部中心点的似然。作为这个分类步骤的一部分，通过旋转从被分类斑块中像素的曲率取向推导的轴线来对脸部的滚转角进行归一化(例如归一化到竖直方向)。除此之外或另选地，计算机26基于斑块的尺寸对脸部的规模进行归一化。等效地，可旋转和/或缩放在分类中使用的一个或多个滤波核。
图9A和图9B是根据本发明一实施方案的在脸部检测中使用的滤波核的示意图形表示。图9A表示与典型脸部的典型曲率特征匹配的脸部滤波的核，而图9B表示与沿鼻梁所预期的高曲率值匹配的鼻部滤波的核。当以曲率图进行卷积时，这些滤波核生成斑块内每个像素的得分，指示该像素是脸部中心点的对数似然。
除了鼻部区域之外，还可采取附加脸部区域来生成一组部件滤波。这个方法可以与可变形部件模型(DPM)结合使用，所述可变形部件模型通过将整个对象规模和对象部件规模二者的匹配得分组合来执行对象检测。部件滤波补偿由于透视变化而导致的对象部件布置的变形。
另选地或除此之外，可使用其他核。例如，图9A和图9B所示的核被优化用于正平面与深度相机32的轴线正交的脸部，其中偏摆(头部围绕竖直轴线的旋转)和俯仰(头部上下点扬)角度为零。由于脸部本身的几何特性，这些基于曲率的核实际上具有对于偏摆和俯仰相对不敏感的优点。然而，为了增大检测范围，附加的核可被限定并且以曲率图进行卷积，对应于偏摆和/或俯仰的不同范围。例如，计算机26可应用对应于偏摆＝0,±30°和俯仰＝0,±30°的组合的九个不同核(或可能九对脸部和鼻部核)。
图10A和图10B是根据本发明一实施方案通过分别以图9A和图9B的滤波核对图8的曲率图进行卷积而获得的对数似然图的示意性图形表示。这些图中的灰度值与每个点处对数似然的倒数成比例，这意味着图中最暗的点对应于最高对数似然值。计算机26处理这些图以便标识实际上对应于深度图中脸部的一个或多个斑块。在选择最佳候选脸部中心点中，计算机考虑多个因素，例如：
·候选点处脸部核响应中的低均方根误差(RMSE)。
·候选点处高度局部化脸部核响应。
·(鼻部核响应所指示的)脸部内鼻部位置处的高曲率值。
在图10A和图10B所示的示例中，滤波核都在深度图中在脸部中心处返回对数似然的相同清晰峰。
在一另选实施方案中，不是使用图9A和图9B所示的显式滤波核或者除了使用图9A和图9B所示的显式滤波核之外，上文概述的原理在深度卷积神经网络(DCNN)中实施。在这种情况下，对DCNN的输入流包括法线图和粗级和精细级曲率图，如上所述。滚转和规模可如上所述预先计算，并且被用于归一化对DCNN的输入流。另选地，输入可以按原样馈送，从而使DCNN自行学习这些转换。作为训练过程的一部分，网络学习滤波核，而不是使用固定的“手工制作的”核。
任选地，在曲率的基础上找到的斑块(如在图6中)可被用作对基于区域的神经网络的区域提议。另选地，计算机可以利用上文所述类型的预定义滤波进一步对深度图滤波，然后将甚至更小集合的最终候选位置传递给神经网络用于进行评估。
应当理解，上文所描述的实施方案以示例的方式引用，并且本发明不限于上文已特别示出或描述的内容。相反，本发明的范围包括上文所述的各种特征、以及本领域的技术人员在阅读以上描述之后会想到的在现有技术中没有公开的其变型形式和修改形式的组合和子组合。

Claims (20)

1.一种用于处理数据的方法，包括：
接收包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵；
利用数字处理器从所述深度图提取所述场景的曲率图，所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值；以及
处理曲率值以便标识所述场景中的脸部。
2.根据权利要求1所述的方法，其中处理曲率值包括：检测所述曲率图中的一个或多个斑块，在所述一个或多个斑块上，所述像素具有指示凸形表面的相应曲率值；以及标识斑块中的一者作为所述脸部。
3.根据权利要求2所述的方法，其中所述曲率图包括所述像素中所述至少一些像素的相应曲率取向，并且其中标识斑块中的所述一者包括响应于所述斑块中的所述一者中像素的曲率取向来计算所述脸部的滚转角。
4.根据权利要求3所述的方法，其中处理曲率值包括在对于所计算的滚转角进行校正时对所述曲率图应用曲率滤波以便探知所述斑块中的所述一者是否为所述脸部。
5.根据权利要求2所述的方法，其中处理曲率值包括响应于所述斑块中的所述一者的尺寸来计算所述脸部的规模，以及在对于所计算的规模进行校正时对所述曲率图应用曲率滤波以便探知所述斑块中的所述一者是否为所述脸部。
6.根据权利要求2所述的方法，其中提取曲率图包括以第一分辨率从所述深度图推导第一曲率图，并且其中检测一个或多个斑块包括在所述第一曲率图中查找所述一个或多个斑块，并且
其中处理曲率值包括以比所述第一分辨率精细的第二分辨率推导包含所述斑块中的所述一者的第二曲率图，以及利用所述第二曲率图来标识所述脸部。
7.根据权利要求1至6中任一项所述的方法，其中处理曲率值包括以曲率滤波核对所述曲率图进行卷积以便查找所述场景中所述脸部的位置。
8.根据权利要求7所述的方法，其中对所述曲率图进行卷积包括分别应用脸部滤波核和鼻部滤波核以便计算所述脸部的相应候选位置，以及基于候选位置查找所述位置。
9.根据权利要求7所述的方法，其中对所述曲率图进行卷积包括计算所述场景中的多个点中每一者的对数似然值，以及响应于所述对数似然值来选择所述位置。
10.一种用于处理数据的装置，包括：
成像组件，所述成像组件被配置为捕获包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵；
和
处理器，所述处理器被配置为从所述深度图提取所述场景的曲率图，所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值；以及处理所述曲率值以便标识所述场景中的脸部。
11.根据权利要求10所述的装置，其中处理曲率值包括：检测所述曲率图中的一个或多个斑块，在所述一个或多个斑块上，所述像素具有指示凸形表面的相应曲率值；以及标识斑块中的一者作为所述脸部。
12.根据权利要求11所述的装置，其中所述曲率图包括所述像素中所述至少一些像素的相应曲率取向，并且其中标识斑块中的所述一者包括响应于所述斑块中的所述一者中像素的曲率取向来计算所述脸部的滚转角。
13.根据权利要求12所述的装置，其中处理曲率值包括在对于所计算的滚转角进行校正时对所述曲率图应用曲率滤波以便探知所述斑块中的所述一者是否为所述脸部。
14.根据权利要求11所述的装置，其中处理曲率值包括响应于所述斑块中的所述一者的尺寸来计算所述脸部的规模，以及在对于所计算的规模进行校正时对所述曲率图应用曲率滤波以便探知所述斑块中的所述一者是否为所述脸部。
15.根据权利要求11所述的装置，其中提取所述曲率图包括以第一分辨率从所述深度图推导第一曲率图，并且其中检测一个或多个斑块包括在所述第一曲率图中查找所述一个或多个斑块，并且
其中处理曲率值包括以比所述第一分辨率精细的第二分辨率推导包含所述斑块中的所述一者的第二曲率图，以及利用所述第二曲率图来标识所述脸部。
16.根据权利要求10至15中任一项所述的装置，其中处理曲率值包括以曲率滤波核对所述曲率图进行卷积以便查找所述场景中所述脸部的位置。
17.根据权利要求16所述的装置，其中对所述曲率图进行卷积包括分别应用脸部滤波核和鼻部滤波核以便计算所述脸部的相应候选位置，以及基于候选位置查找所述位置。
18.一种计算机软件产品，包括其中存储有程序指令的非暂态计算机可读介质，所述指令在被计算机读取时使得所述计算机：接收包含至少人形头部的场景的深度图，所述深度图包括具有相应像素深度值的像素的矩阵；从所述深度图提取所述场景的曲率图，所述曲率图包括所述矩阵中的所述像素中至少一些像素的相应曲率值；以及处理曲率值以便标识所述场景中的脸部。
19.根据权利要求18所述的产品，其中处理曲率值包括：检测所述曲率图中的一个或多个斑块，在所述一个或多个斑块上，所述像素具有指示凸形表面的相应曲率值；以及标识所述斑块中的一者作为所述脸部。
20.根据权利要求18或19所述的产品，其中处理所述曲率值包括以曲率滤波核对所述曲率图进行卷积以便查找所述场景中所述脸部的位置。
CN201780052630.5A 2016-09-20 2017-06-26 基于曲率的脸部检测器 Active CN109690555B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662396839P 2016-09-20 2016-09-20
US62/396,839 2016-09-20
US15/592,228 2017-05-11
US15/592,228 US10366278B2 (en) 2016-09-20 2017-05-11 Curvature-based face detector
PCT/US2017/039172 WO2018057082A1 (en) 2016-09-20 2017-06-26 Curvature-based face detector

Publications (2)

Publication Number Publication Date
CN109690555A true CN109690555A (zh) 2019-04-26
CN109690555B CN109690555B (zh) 2023-02-07

Family

ID=61620545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052630.5A Active CN109690555B (zh) 2016-09-20 2017-06-26 基于曲率的脸部检测器

Country Status (4)

Country Link
US (1) US10366278B2 (zh)
EP (1) EP3469517A1 (zh)
CN (1) CN109690555B (zh)
WO (1) WO2018057082A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213862A1 (zh) * 2018-05-09 2019-11-14 深圳阜时科技有限公司 图案投射装置、图像获取装置、身份识别装置及电子设备
BE1026937B1 (fr) 2018-12-27 2020-07-28 Mintt Sa Méthode de segmentation d'une image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075655A1 (en) * 1999-02-04 2004-04-22 Canon Kabushiki Kaisha 3D computer graphics processing apparatus and method
CN1930585A (zh) * 2004-03-12 2007-03-14 皇家飞利浦电子股份有限公司 建立深度图
US20130266210A1 (en) * 2012-04-04 2013-10-10 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN103489011A (zh) * 2013-09-16 2014-01-01 广东工业大学 一种具有拓扑鲁棒性的三维人脸识别方法
CN103778635A (zh) * 2006-05-11 2014-05-07 普莱姆传感有限公司 用于处理数据的方法和装置
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud

Family Cites Families (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081689A (en) 1989-03-27 1992-01-14 Hughes Aircraft Company Apparatus and method for extracting edges and lines
JP2714152B2 (ja) 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
DE4326487C2 (de) * 1992-09-16 1995-02-09 Konrad Michael Dipl Ing Weigl Adaptives Filter
DE69433074D1 (de) 1993-07-02 2003-10-02 Siemens Corp Res Inc Hintergrundrückgewinnung in monokularer Bildverarbeitung
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JPH10235584A (ja) 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6137896A (en) * 1997-10-07 2000-10-24 National Research Council Of Canada Method of recognizing faces using range images
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US6518966B1 (en) 1998-03-11 2003-02-11 Matsushita Institute Industrial Co., Ltd. Method and device for collision detection and recording medium recorded with collision detection method
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
EP1139286A1 (en) 1999-05-18 2001-10-04 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
US6658136B1 (en) 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US6608917B1 (en) 2000-08-14 2003-08-19 Siemens Corporate Research, Inc. Detection of vertebra endplates in digital radiography
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7123761B2 (en) 2001-11-20 2006-10-17 Konica Corporation Feature extracting method, subject recognizing method and image processing apparatus
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
US7123783B2 (en) * 2002-01-18 2006-10-17 Arizona State University Face classification using curvature-based multi-scale morphology
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
WO2003073359A2 (en) * 2002-02-26 2003-09-04 Canesta, Inc. Method and apparatus for recognizing objects
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
EP1567988A1 (en) 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
JP4318465B2 (ja) 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP2007528045A (ja) 2003-06-16 2007-10-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像のセグメント化
US7565004B2 (en) 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005041578A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for managing an interactive video display system
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US8442280B2 (en) 2004-01-21 2013-05-14 Edda Technology, Inc. Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
US7634133B2 (en) 2004-03-04 2009-12-15 Siemens Medical Solutions Usa, Inc. Segmentation of structures based on curvature slope
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7706571B2 (en) 2004-10-13 2010-04-27 Sarnoff Corporation Flexible layer tracking with weak online appearance model
US7602965B2 (en) 2004-10-28 2009-10-13 Siemens Medical Solutions Usa, Inc. Object detection using cross-section analysis
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US7555158B2 (en) 2004-12-07 2009-06-30 Electronics And Telecommunications Research Institute Apparatus for recovering background in image sequence and method thereof
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
WO2007024163A1 (en) 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
US7499586B2 (en) 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US20070177800A1 (en) 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
FR2897455A1 (fr) 2006-02-13 2007-08-17 Univ Hokkaido Nat Univ Corp Dispositif, procede et programme de segmentation de donnees de modele en treillis
DE602006004839D1 (de) 2006-02-28 2009-03-05 Agfa Graphics Nv Positiv arbeitende Lithografiedruckformen
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
WO2008067482A2 (en) 2006-11-29 2008-06-05 F. Poszat Hu, Llc Three dimensional projection display
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
WO2008103929A2 (en) 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
JP4807583B2 (ja) 2007-03-29 2011-11-02 本田技研工業株式会社 射影変換収束演算処理方法
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
WO2008128568A1 (en) 2007-04-20 2008-10-30 Softkinetic S.A. Volume recognition method and system
US8139817B2 (en) 2007-04-27 2012-03-20 Telewatch Inc. Face image log creation
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US8280106B2 (en) 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
US7983487B2 (en) 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8195598B2 (en) 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
WO2009076182A1 (en) 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
EP2093698A1 (en) 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
AU2009281762A1 (en) 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
CN101686338B (zh) 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8520956B2 (en) * 2009-06-09 2013-08-27 Colorado State University Research Foundation Optimized correlation filters for signal processing
TWI390465B (zh) 2009-06-19 2013-03-21 Primax Electronics Ltd 用於背景去除之影像處理方法
US20110025689A1 (en) 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
EP2495699B1 (en) * 2009-10-30 2019-07-10 Fujitsu Frontech Limited Biometric information registration method, biometric authentication method, and biometric authentication device
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
RU2426172C1 (ru) 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8675933B2 (en) 2010-04-30 2014-03-18 Vucomp, Inc. Breast segmentation in radiographic images
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110317871A1 (en) 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8903119B2 (en) 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
US8712157B2 (en) * 2011-04-19 2014-04-29 Xerox Corporation Image quality assessment
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8660362B2 (en) 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
EP2674913B1 (en) 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US9076205B2 (en) * 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9390500B1 (en) 2013-03-14 2016-07-12 Amazon Technologies, Inc. Pointing finger detection
US9301722B1 (en) 2014-02-03 2016-04-05 Toyota Jidosha Kabushiki Kaisha Guiding computational perception through a shared auditory space
US9633267B2 (en) * 2014-04-04 2017-04-25 Conduent Business Services, Llc Robust windshield detection via landmark localization
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
KR102077260B1 (ko) * 2014-08-08 2020-02-13 삼성전자주식회사 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
US9646192B2 (en) * 2015-03-31 2017-05-09 Synaptics Incorporated Fingerprint localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075655A1 (en) * 1999-02-04 2004-04-22 Canon Kabushiki Kaisha 3D computer graphics processing apparatus and method
CN1930585A (zh) * 2004-03-12 2007-03-14 皇家飞利浦电子股份有限公司 建立深度图
CN103778635A (zh) * 2006-05-11 2014-05-07 普莱姆传感有限公司 用于处理数据的方法和装置
US20130266210A1 (en) * 2012-04-04 2013-10-10 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN103489011A (zh) * 2013-09-16 2014-01-01 广东工业大学 一种具有拓扑鲁棒性的三维人脸识别方法
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAILE G.GORDON: "Face recognition based on depth maps and surface curvature", 《PROCEEDINGS OF SPIE GEOMETRIC METHODS IN COMPUTER VISION》 *

Also Published As

Publication number Publication date
WO2018057082A1 (en) 2018-03-29
EP3469517A1 (en) 2019-04-17
CN109690555B (zh) 2023-02-07
US20180082109A1 (en) 2018-03-22
US10366278B2 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
JP7482181B2 (ja) 画像処理装置、画像処理方法
CN107230218B (zh) 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN105023010B (zh) 一种人脸活体检测方法及系统
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
JP5873442B2 (ja) 物体検出装置および物体検出方法
US10043279B1 (en) Robust detection and classification of body parts in a depth map
CN113177977B (zh) 一种非接触式三维人体尺寸的测量方法
JP5898014B2 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP2019125057A (ja) 画像処理装置及びその方法、プログラム
CN105740775A (zh) 一种三维人脸活体识别方法及其装置
CN101576953A (zh) 一种人体姿态的分类方法和装置
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN107463890A (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN111027481A (zh) 基于人体关键点检测的行为分析方法及装置
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN105740751A (zh) 一种目标检测与识别的方法和系统
CN110120013A (zh) 一种点云拼接方法及装置
Itu et al. Automatic extrinsic camera parameters calibration using Convolutional Neural Networks
CN109690555A (zh) 基于曲率的脸部检测器
CN109443319A (zh) 基于单目视觉的障碍物测距系统及其测距方法
CN105844235A (zh) 基于视觉显著性的复杂环境人脸检测方法
CN113011285A (zh) 车道线检测方法、装置、自动驾驶车辆及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant