CN107430685A - 通过测量人的身体部位的距离来识别人的方法和设备 - Google Patents

通过测量人的身体部位的距离来识别人的方法和设备 Download PDF

Info

Publication number
CN107430685A
CN107430685A CN201680016965.7A CN201680016965A CN107430685A CN 107430685 A CN107430685 A CN 107430685A CN 201680016965 A CN201680016965 A CN 201680016965A CN 107430685 A CN107430685 A CN 107430685A
Authority
CN
China
Prior art keywords
people
pixel
distance
camera
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680016965.7A
Other languages
English (en)
Inventor
庄晨婷
春·平·庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107430685A publication Critical patent/CN107430685A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00—Other aspects
    • G06K2207/1012—Special detection of object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

描述了一种方法，该方法包括利用深度相机捕获人的像素化深度图像。该方法还包括从该图像中识别身体部位。该方法还包括形成该身体部位之间的距离的向量。该方法还包括将该向量与针对多个人的相应身体距离向量的数据库进行比较以识别该人。

Description

通过测量人的身体部位的距离来识别人的方法和设备
相关申请的交叉引用
本申请要求于2015年3月31日提交的美国专利申请号为14/675,142的美国专利申请的优先权，其内容以引用的方式并入本文。
技术领域
本发明领域大体上涉及一种图像处理，并且更具体地说涉及一种用于通过测量人的身体部位的距离来识别人的方法和设备。
背景技术
许多现有的计算系统包括传统相机作为集成式外围装置。目前的趋势是为了通过将深度捕获集成到其成像组件中来增强计算系统成像能力。例如，可以使用深度捕获来执行各种智能对象识别功能诸如人脸识别(例如，用于安全系统解锁)或手势识别(例如，用于无接触用户界面功能)。
被称为“飞行时间(time-of-flight)”成像的一种深度信息捕获方法将(例如，红外(IR))光从系统发射到对象上，并且针对图像传感器的多个像素中的每一个像素，测量光的发射与传感器上的其反射图像的接收之间的时间。由飞行时间像素产生的图像与如由在不同的(x,y)像素位置的每一个处的独特深度测量(z)特征化的对象的三维轮廓相对应。其它类型的深度捕获方法包括立体三角测量、片光三角测量和结构化光。
根据实施方式，一些深度捕获相机可能还能够在相机的视场内拍摄传统的2D图像。例如，飞行时间相机还可以包括在相同的图像传感器上集成的可见光彩色像素(例如，拜耳(Bayer)图案化的红色(R)、蓝色(B)和绿色(G)像素)，该图像传感器带有检测用于飞行时间测量的光的像素。
附图说明
以下说明书和附图被用于说明本发明的实施例。在附图中：
图1示出了由深度相机捕获的人的图像；
图2示出了利用深度相机识别人的方法；
图3示出了人的身体的各个部位；
图4示出了人的身体部位的距离的示例性轮廓；
图5示出了构建身体部位距离的轮廓向量的方法；
图6a至图6d演示了确定两个身体部位之间的距离的示例；
图7示出了可以实践图2中的方法的环境；
图8示出了计算系统的实施例。
具体实施方式
图1和图2属于使用深度相机识别人(显式地或隐式地)的方法。如图1所示，人处于深度摄像机101的视场内。图2示出了使用深度摄像机基于人的身体结构的某些距离的测量来识别人的过程。
如图2所示，该过程包括捕获人的像素化深度图像201。然后分析202该图像，以识别人的身体的关键部位(例如肩部、肘部、手腕、膝盖、脚踝等)。然后公式化203关键身体部位距离的向量，该向量基本上根据人的各种关键身体部位之间的许多具体距离来描述该人。然后将关键身体部位距离的向量与包括许多这种向量的数据库进行比较204，所述许多这种向量中的每个向量分别地链接到不同的人(显式地或隐式地)。所公式化的向量和在数据库中发现的向量之间的匹配使得该人被识别出来。
图3示出了带有利用不同字母而被识别的各种潜在关键身体部位的人的示例性说明。虽然在图3中未示出，但是能够在人的脸部的各种特征(例如，左耳、右耳、左眼、右眼、鼻子、下巴等)上添加附加字母。此处，分析人的图像得到图像中被识别为关键身体部位的特定点(例如，图像中的第一特定点被识别为人的右手腕P，图像中的第二特定点被识别为人的右肘部N等)。如将会在以下更详细地进一步描述的是，计算这些点之间的距离，以基于这些距离有效地构建能够被用作该人的轮廓或特性说明的向量。
图4示出了能够从图3中的关键身体部位A至P计算的距离中的一些距离。在图4中图示共存在十六个不同的距离。与图4中示出的十六个不同的距离相比，其它向量实施例可以具有多得多或少得少的条目和/或不同的条目。
图5示出了能够被用于实施图2中的过程流的更详细的过程流。如图5所示，通过形成从图像相机的倾斜角、方位角和深度值的阵列，来制作在球面坐标中人的三维身体结构501。然后分析人的身体结构的三维图像以确定人的关键身体部位的位置502。然后计算503这些点之间的距离(例如，使用识别关键身体部位的球面坐标点)。在可替代的实施例中，其中关键身体部位驻留在那里的空间中的点的定义可以被表示在(例如，可以从在球面坐标中表达的原始阵列直接确定或者转换来的)诸如笛卡尔坐标系或者柱面坐标系的其它坐标系中。为了简单起见，本说明书的其余部分将会主要涉及球面坐标的使用(因为任何两个坐标系之间的转换对于普通技术人员而言都是简单的操作)。
不管使用哪种坐标系，本方法的显着特征是在三维空间中而不是在二维空间中识别身体部位的位置。
图6a至6d更详细地演示了实施例。图6a示出了从侧角度拍摄人的图像的深度相机601的前视图。图6b以俯视图示出了图6a的情况。图6c示出了深度相机的图像传感器上的不同像素位置能够被转换为球面坐标系中的特定倾斜角和方位角。图6d示出了在球面坐标中所指定的三维空间中的两点之间的距离的计算。
如本领域中所理解的，球面坐标识别三维空间(r,θ,λ)中的点，其中，从原点到该点的径向距离为r、半径的倾斜角为θ、以及半径的方位角为λ。图6a示出了由以相对于人的一个角度而不是直接地面对人的深度相机拍摄的人的图像的前透视图。
为了方便起见，还描绘了位于球面坐标中的三维空间中指定的人的右手腕P和右肘部N的位置的分量。如图6a所示，右手腕P距相机的径向距离为r1，右肘部N距相机的径向距离为r2。另外地，右手腕P比右肘部N举得高。同样，识别到点P的球面坐标的倾斜角θ1大于识别到点N的球面坐标的倾斜角θ2(其中，倾斜角从x-y平面被测得)。
图6b示出了图6a的情况的俯视图。此处，由于与人的右肘部N相比人的右手腕P距相机的左侧更远，所以与针对点N的方位角λ2相比针对点P的方位角λ1在负方向上更大。另外，因为相机对着人的右侧而且与人的右肘部N相比人的手腕P距人的右侧更远，所以与从相机到人的右肘部N的径向距离r2相比从相机到人的右手腕P的径向距离r1更短。因此，图6a和图6b示出利用球面坐标(r1,θ1,λ1)指定人的右手腕P的位置，同时利用球面坐标(r2,θ2,λ2)指定人的右肘部N的位置。
图6c提供了深度相机的图像传感器的说明，并且指示每个像素可以具有相关联的倾斜角和方位角。为了易于理解，倾斜角θ被认为是从x-y平面测得的。同样，渐增地处于原点上方的像素具有渐增更大的正倾斜角θ，并且渐增地处于原点下方的像素具有渐增更大的负倾斜角θ。同样，渐增地处于原点右侧的像素具有渐增更大的正方位角λ，并且渐增地处于原点左侧的像素具有渐增更大的负方位角λ。
因此，例如，像素阵列的最左上角中的像素将会具有最大的正倾斜角θ和最大的负方位角λ。这些角度的大小将会从左上角移动到原点而减小(但是它们相应的极性仍然存在)。同样，像素阵列的最右下角中的像素将会具有最大的负倾斜角θ和最大的正方位角λ。这些度的大小将会从右下角移动到原点而减小(但是它们相应的极性仍然存在)。
因此，图像传感器中的每个且每一个像素具有倾斜角和方位角的相关联的独特组合，该组合表达针对像素感测到其图像的相机的视场的部分的角度球面坐标值。每个像素的独特倾斜角和方位角是，例如，相机的成像光学器件的函数。例如，作为相机“缩小”(其对应地向相机给出更大的视场)的成像光学器件，针对像素的倾斜角和方位角的大小将会增加(需要更宽的角度以捕获更大的视场)。相反，作为相机“放大”的成像光学器件(其对应地向相机给出更小的视场)，针对像素的倾斜角和方位角的大小将会减小(更窄的角度足以捕获更小的视场)。(x，y)像素坐标与方位角/倾斜角之间的任何特定映射都是底层相机装置的预定光学属性。普通技术人员将会能够容易地计算出针对其特定装置的合适的映射。
继续当前描述的示例，注意的是，图6c还包括点P和N，因为它们大约会出现在图6a和图6b的情况中的相机的图像传感器处。此处，根据刚刚在上面提供的讨论可见，与其中出现点N的像素的倾斜角和方位角θ2、λ2相比，其中出现点P的像素将会具有更大的正倾斜角θ1和更大的负方位角λ1。这个再次证实了如图6a和图6b中绘制的这些角度的实际描绘。
假设像素具有自己的独特倾斜角θ和方位角λ，只需要针对每个像素的径向距离值，即可基本上针对图像传感器的每个像素形成在三维空间中的球面坐标。此处，在深度相机的情况下，径向距离值与由相机在每个像素处进行的深度测量相对应。即，假设每个像素测量到在其自身与相机的视场中的对象之间的距离，每个像素检测到的特定距离对应于到对象的该像素所反应的部分的在相机前方的三维空间中的球面坐标的径向距离r。
因此，针对每个像素的独特倾斜角和方位角的组合与每个像素的距离测量的结合将会构建出等于图像传感器阵列的维度的阵列，其在球面坐标中描述了相机的前方中的对象的表面。图6d示出了当采用这种方法时点P和N的实际球面坐标。这两点P和N之间的距离易于从如图6D观察到的已经成功建立的几何结构计算出来。此处，φ与在三维空间中的射线r1和r2之间的角度差相对应(其能够具有倾斜分量和方位分量二者)。在球面坐标中指定的任何两点(诸如，P和N)之间的角度差φ还易于从已知的几何结构计算出来。重要的是，再次说明，即使相机不是直接面对相机前方的主体，也能够明确确定这两个点之间的距离。
因此，参照回图5，一旦已经将相机的前方的对象的表面在球面坐标501中表达，即可针对人体的一般形状和形式对球面坐标值进行分析，以精确指示特定寻找的人体部位所在的地方并且为这些人体部位分配特定像素。一旦已经为人体部位分配了像素坐标，就容易地通过图6d的几何结构以及像素的倾斜值、方位值和深度值计算出人体部位之间的距离。人的身体根据被用于检测人的身体部位的技术的复杂度可以需要处于特定位置(例如，伸展和弯曲手臂和腿站直)或者可以处于多个位置中(例如，坐、走、跑等)。
图7涉及使用本文中描述的人体部位距离向量轮廓方法以识别人的基本实施例。在图7的示例中，深度相机701捕获人的深度图像，如上所述。间接地或直接地被耦合至相机的第一计算系统702(例如，其中集成深度相机的智能手机的CPU和/或图像信号处理器)对该图像进行分析，以限定人体部位并且然后计算人体部位之间的距离以形成针对该人的轮廓向量。
然后通过网络703将该向量发送至第二计算系统704，该第二计算系统704具有，例如，包括多个人的轮廓向量的数据库的关联数据存储件。第二计算系统704将所接收到的轮廓与数据库的将其不同的轮廓中的每个链接到特定的、不同的人的内容进行比较。当输入的轮廓与数据库中的轮廓之间发现匹配时，该人被识别出来。
随着该人被识别出来，然后能够执行大量不同的后续过程(例如，自动为人开门、自动向人提供网络访问、将专门针对该人的广告引导至该人(经由该人的智能电话或者其它介质，诸如电视机(交互式等))、自动移动机电装置(例如，反射镜)以调节至该人的特定尺寸、向一件电子设备自动设置输入值(例如，将恒温器设置到特定温度、设置特定电视频道)等。对人的识别可以是显式的(表达该人的实际姓名)或者隐式的(将反射镜移动到针对该人的尺寸专门制定的角度，但一直不表达该人的姓名))。
对人的识别可以涉及概率方法，在概率方法中，从数据库中“可能”是在相机的前方的人的许多候选向量中选取一个向量作为针对相机的前方的人的最可能的向量。注意的是，人的整个身体可能无法从相机完全观察到(身体的一些部位可能被隐藏了)。尽管如此，如果能够确定足够的向量元素，则与数据库中的正确向量的匹配仍然可以是有可能的。可以使用多种方法以识别数据库中最有可能匹配的向量，诸如隐马尔科夫链(Hidden-Markov-Chain)方法或者支持向量机(Support Vector Machine)方法。
需要指出的是，在可替代方法中，可以通过网络703将图像数据(或者图像数据的压缩版本)引导至第二计算机704并且第二计算机704(而非第一计算机702)执行身体部位识别过程以及与数据库的向量比较。还可替代地，第一计算机系统702还可以被适配有足够的CPU资源和/或对数据库的访问(例如，内部地)并且因此可能能够执行人体部位识别和轮廓向量匹配中的一种或者两种。
网络703可以是广域网(例如，互联网)或者可以是局域网甚或局部点对点链路(例如，蓝牙)。在局域网或者链路的情况下，例如，可以将相机集成到车辆的仪表盘中，该车辆的仪表盘经由链路被耦合至计算机，该计算机识别驾驶者的身体部位并且自动移动反射镜和/或座椅以适配该人的特定尺寸。
需要指出的是，还可以将人脸识别与其它身体部位距离测量技术结合，以确认个人的身份。可以利用身体部位距离计算(例如，眼睛之间的距离、特定眼睛与下巴之间的距离、特定眼睛与鼻子之间的距离等)来实施人脸识别方面。其它应用可以选择不包括任何方面的人脸识别作为人识别过程的一部分。
图8示出了对诸如个人计算系统(例如，台式或者膝上型)的示例性计算系统800或者诸如例如可以想象成被使用为如图7中讨论的第一计算系统702的平板装置或者智能电话的移动或手持计算系统的描绘。图8的计算系统模型还很大程度上描述了可以被用于实施图7的第二计算系统704的更大计算系统(例如，服务器)的组件。
如在图8中观察到的，基本计算系统可以包括中央处理单元801(其可以包括，例如，多个通用处理核815_1至815_N和在应用处理器上设置的主存储器控制器817)、系统存储器802、显示器803(例如，触屏、平板)、局部有线点对点链路(例如，USB)接口804、多种网络I/O功能805(诸如，以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，WiFi)接口806、无线点对点链路(例如，蓝牙)接口807和全球定位系统接口808、多种传感器809_1至809_N、一个或多个相机801、电池811、电源管理控制单元812、扬声器和麦克风813、音频编码器/解码器814。
应用处理器或多核处理器850可以包括在其CPU 801内的一个或多个通用处理核815、一个或多个图形处理单元816、存储器管理功能817(例如，存储器控制器)、I/O控制功能818、和一个或多个图像信号处理器流水线819。通用处理核815通常执行计算系统的操作系统和应用软件。图形处理单元816通常执行图形密集功能以例如，生成在显示器803上呈现的图形信息。存储器控制功能817与系统存储器802接口连接(interface)以将数据写入到系统存储器802和从系统存储器802读取数据。图像信号处理流水线819接收来自相机810的图像信息并且处理原始的图像信息供下游使用。电源管理控制单元812通常控制系统800的功率消耗。
触屏显示器803、通信接口804至807、GPS接口808、传感器809、相机810、和扬声器/麦克风编解码器813、814中的每个全部能够被视为与整个计算系统相关的各种形式的I/O(输入和/或输出)，其包括：在合适之处的集成式外围装置(例如，该一个或多个相机810)。根据实施方式，可以将这些I/O组件中的各个集成在应用处理器/多核处理器850上，或者可以使它们位于应用处理器/多核处理器850的模型外或者其封装体的外部。
在实施例中，一个或多个相机810包括能够测量在相机与其视场中的对象之间的深度的深度相机。在应用处理器或其它处理器的通用CPU核(或者具有用于执行程序代码的指令执行流水线的其它功能块)上执行的应用软件、操作系统软件、装置驱动器软件和/或固件可以执行上述的任何功能。
本发明的实施例可以包括如上阐述的多种过程。这些过程可以以机器可执行指令被实施。这些指令能够被用于使通用或专用处理器执行某些过程。可替代地，这些过程可以由包含用于执行这些过程的硬连线逻辑件的特定硬件组件执行，或者由程序化的计算机组件和自定义硬件组件的任何组合执行。
还可以将本发明的元件提供为用于存储机器可执行指令的机器可读介质。该机器可读介质可以包括但不限于适合用于存储电子指令的软盘、光盘、CD-ROM、和磁光盘、FLASH存储器、ROM、RAM、EPROM、EEPROM、磁卡或光卡、传播介质、或者其它类型的介质/机器可读介质。例如，可以下载本发明，作为可以通过以载波或其它传播介质被实施的数据信号的方式经由通信链路(例如，调制解调器或网络连接)从远程计算机(例如，服务器)传送至发出请求的计算机(例如，客户端)的计算机程序。
在前述说明中，已经参照本发明的特定示例性实施例对本发明进行了描述。然而，显而易见的是，在不脱离如随附权利要求书阐述的本发明的更广的精神和范围的情况下，可以对本发明进行多种修改和改变。因此，说明书和附图相应地被视为是说明性的，而非限制性的。

Claims (23)

1.一种方法，包括：
利用深度相机捕获人的像素化深度图像；
从所述图像中识别身体部位；
形成所述身体部位之间的距离的向量；并且
将所述向量与针对多个人的相应身体距离向量的数据库进行比较以识别所述人。
2.根据权利要求1所述的方法，其中，所述深度相机没有直接地位于所述人的前方。
3.根据权利要求1所述的方法，其中，所述深度相机偏向所述人的一侧。
4.根据权利要求1所述的方法，其中，所述深度相机位于所述人的后方。
5.根据权利要求1所述的方法，其中，所述人从所述相机的视角部分地隐藏。
6.根据权利要求1所述的方法，其中，所述的捕获像素化深度图像包括：针对多个像素中的每一个像素，
测量从像素到所述人的距离；以及
将针对所述像素的倾斜角与方位角相关联，以形成针对所述像素的、用于所述人的身体上的点的球面坐标。
7.根据权利要求1所述的方法，进一步包括计算在三维空间中所述身体部位之间的距离。
8.一种包含程序代码的机器可读介质，所述程序代码在由计算系统处理时使一种方法被执行，所述方法包括：
利用深度相机捕获人的像素化深度图像；
从所述图像中识别身体部位；
计算在三维空间中所述身体部位之间的距离；以及
形成所述距离的向量以创建用于识别所述人的轮廓。
9.根据权利要求8所述的机器可读介质，其中，所述深度相机没有直接地位于所述人的前方。
10.根据权利要求8所述的机器可读介质，其中，所述深度相机偏向所述人的一侧。
11.根据权利要求8所述的机器可读介质，其中，所述深度相机位于所述人的后方。
12.根据权利要求8所述的机器可读介质，其中，所述人从所述相机的视角部分地隐藏。
13.根据权利要求8所述的机器可读介质，其中，所述的捕获像素化深度图像包括：针对多个像素中的每一个像素，
测量从像素到所述人的距离；以及
将针对所述像素的倾斜角与方位角相关联，以形成针对所述像素的、用于所述人的身体上的点的球面坐标。
14.根据权利要求8所述的机器可读介质，其中，所述方法进一步包括通过网络将所述向量发送到确定所述人的身份的计算系统。
15.根据权利要求8所述的机器可读介质，其中，所述方法包括响应于所述向量被用以识别所述人而执行以下中的任何一项：
针对所述人呈现定向广告；
针对所述人调整电子设备的项目；
针对所述人操纵机电装置；
针对所述人授予对受保护资源的访问。
16.一种设备，包括：
一个或多个处理器，所述一个或多个处理器通过存储器控制器耦合到系统存储器；
深度相机；
存储装置，所述存储装置包含程序代码，所述程序代码在由所述一个或多个处理器处理时使一种方法被执行，所述方法包括：
利用深度相机捕获人的像素化深度图像；
从所述图像中识别身体部位；
计算在三维空间中所述身体部位之间的距离；以及
形成所述距离的向量以创建用于识别所述人的轮廓。
17.根据权利要求16所述的设备，其中，所述深度相机没有直接地位于所述人的前方。
18.根据权利要求16所述的设备，其中，所述深度相机偏向所述人的一侧。
19.根据权利要求16所述的设备，其中，所述深度相机位于所述人的后方。
20.根据权利要求16所述的设备，其中，所述人从所述相机的视角部分地隐藏。
21.根据权利要求16所述的设备，其中，所述的捕获像素化深度图像包括：针对多个像素中的每一个像素，
测量从像素到所述人的距离；以及
将针对所述像素的倾斜角与方位角相关联，以形成针对所述像素的、用于所述人的身体上的点的球面坐标。
22.根据权利要求16所述的设备，其中，所述方法进一步包括通过网络将所述向量发送到确定所述人的身份的计算系统。
23.根据权利要求16所述的设备，其中，所述方法进一步包括响应于所述向量被用以识别所述人而执行以下中的任何一项：
针对所述人呈现定向广告；
针对所述人调整电子设备的项目；
针对所述人操纵机电装置；
针对所述人授予对受保护资源的访问。
CN201680016965.7A 2015-03-31 2016-01-21 通过测量人的身体部位的距离来识别人的方法和设备 Pending CN107430685A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/675,142 2015-03-31
US14/675,142 US9594967B2 (en) 2015-03-31 2015-03-31 Method and apparatus for identifying a person by measuring body part distances of the person
PCT/US2016/014323 WO2016160103A1 (en) 2015-03-31 2016-01-21 Method and apparatus for identifying a person by measuring body part distances of the person

Publications (1)

Publication Number Publication Date
CN107430685A true CN107430685A (zh) 2017-12-01

Family

ID=57007077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016965.7A Pending CN107430685A (zh) 2015-03-31 2016-01-21 通过测量人的身体部位的距离来识别人的方法和设备

Country Status (4)

Country Link
US (1) US9594967B2 (zh)
EP (1) EP3278271A4 (zh)
CN (1) CN107430685A (zh)
WO (1) WO2016160103A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033852A1 (en) * 2016-08-14 2018-02-22 Uvic Industry Partnerships Inc. Real-time hand modeling and tracking using sphere-mesh models
CN110475510B (zh) 2017-03-27 2022-08-02 韩国斯诺有限公司 获取对象的形状信息的方法及装置
CN109781008B (zh) * 2018-12-30 2021-05-25 北京猎户星空科技有限公司 一种距离测量方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) * 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
CN102591456A (zh) * 2010-12-20 2012-07-18 微软公司 对身体和道具的检测
CN103198353A (zh) * 2011-08-31 2013-07-10 尼尔森（美国）有限公司 用于计数图像中的人的方法和装置
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN103827891A (zh) * 2011-07-28 2014-05-28 Arb实验室公司 使用全球生成的多维姿势数据检测身体运动的系统和方法
US20140147037A1 (en) * 2012-11-26 2014-05-29 Samsung Electronics Co., Ltd. Image processing apparatus and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08178390A (ja) 1994-12-22 1996-07-12 Sharp Corp 人体活動量算出装置、人体活動量着衣量算出装置およびそれを備えた空気調和機、人体異常通報機
US7120280B2 (en) * 2002-09-27 2006-10-10 Symbol Technologies, Inc. Fingerprint template generation, verification and identification system
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP5684577B2 (ja) 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
US20120218395A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
WO2013066601A1 (en) 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
US20140045593A1 (en) 2012-08-07 2014-02-13 Microsoft Corporation Virtual joint orientation in virtual skeleton
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
JP6214179B2 (ja) 2013-03-22 2017-10-18 株式会社メガチップス 人物検出装置
KR101499698B1 (ko) 2013-04-12 2015-03-09 (주)에프엑스기어 깊이 정보 기반으로 3차원 의상 착용 모델을 제공하는 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
KR100824757B1 (ko) * 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
CN102591456A (zh) * 2010-12-20 2012-07-18 微软公司 对身体和道具的检测
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN103827891A (zh) * 2011-07-28 2014-05-28 Arb实验室公司 使用全球生成的多维姿势数据检测身体运动的系统和方法
CN103198353A (zh) * 2011-08-31 2013-07-10 尼尔森（美国）有限公司 用于计数图像中的人的方法和装置
US20140147037A1 (en) * 2012-11-26 2014-05-29 Samsung Electronics Co., Ltd. Image processing apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李恒: "《基于Kinect骨骼跟踪功能的骨骼识别系统研究》", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Also Published As

Publication number Publication date
EP3278271A1 (en) 2018-02-07
WO2016160103A1 (en) 2016-10-06
EP3278271A4 (en) 2019-03-20
US9594967B2 (en) 2017-03-14
US20160292523A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
EP3742332B1 (en) Method and apparatus for training model for recognizing key points of hand, and method and apparatus for recognizing key points of hand
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US11710351B2 (en) Action recognition method and apparatus, and human-machine interaction method and apparatus
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
KR101979669B1 (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
Liang et al. Image based localization in indoor environments
US10529141B2 (en) Capturing and aligning three-dimensional scenes
CN103252778B (zh) 用于估计机器人位置的设备及其方法
JP5785664B2 (ja) 深度画像における人の頭部の検出
US20180182163A1 (en) 3d model generating system, 3d model generating method, and program
US20210165993A1 (en) Neural network training and line of sight detection methods and apparatus, and electronic device
JP7438320B2 (ja) クロスモーダルセンサデータの位置合わせ
US20220309836A1 (en) Ai-based face recognition method and apparatus, device, and medium
US9818037B2 (en) Estimating heading misalignment between a device and a person using optical sensor
US11181978B2 (en) System and method for gaze estimation
US20200273200A1 (en) Camera localization based on skeletal tracking
CN112150560B (zh) 确定消失点的方法、装置及计算机存储介质
CN111582204A (zh) 姿态检测方法、装置、计算机设备及存储介质
CN107430685A (zh) 通过测量人的身体部位的距离来识别人的方法和设备
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
US20130155211A1 (en) Interactive system and interactive device thereof
US20210383147A1 (en) Methods and systems for translating fiducial points in multispectral imagery
CN113808209A (zh) 定位识别方法、装置、计算机设备及可读存储介质
CN115180018B (zh) 测量转向轮转角的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20171201

RJ01 Rejection of invention patent application after publication