CN104508704A - 人体测量 - Google Patents

Abstract

本发明涉及对象的三维人体数据的生成方法。该方法包括以下步骤：使用数字成像设备，对象的第一或更多源图像被捕获。使用一种或多种分割方法、启发法和/或预先决定的映射，所述对象的一个或多个源图像被分割为多个区段或概率分布。每种分割方法的结果被合并以产生代表所述对象的一个或多个唯一的概率图并且然后将所述唯一的概率图与三维人体代表的数据库相比较以确定该唯一的概率图或每个唯一的概率图和从数据库中确定的代表之间的最接近匹配或最佳映射。然后所述对象的三维人体数据和/或测量值被生成并且可能基于所述最佳映射被输出。

Description

人体测量

技术领域

本发明涉及一种用于使用人体的图像确定人体测量的方法及系统。更具体地，本发明定义了一种用于通过对比目前已知的三维模型数据库生成对象的三维人体图像数据的方法及系统以获得最佳映射。从此映射中，可以确定包括测量值的体形具体数据。

背景技术

传统的人体扫描仪及人体测量设备依赖高分辨率深度传感器、固定的光模式或者已知的相机角度来生成人体的三维图像。这种技术需要专业设备并且对使用者呈现出高负担，使用者需要去专门的中心进行这种人体测量。

获得精确的三维人体测量数据在医学领域是尤其有益的，例如，可以被用于例如监控由于诸如肾衰竭的医疗条件的结果发生的人体体积的变化。通过评估病人人体图像的变化，有可能确定保水性及手术成功的要素。甚至，随着远程医疗的崛起，监控及提供有关人体测量的信息的需要很可能增长。

此外，能够生成精确的身体特征及测量也是服装行业特别感兴趣的。可以理解的是能够提供具有精确人体尺寸的服装制造商或者零销商将有益于寻找服装的人和涉及提供服装的厂商，这尤其有益于在线购买。

提供这种测量的通用方法和设备要么大且昂贵，要么需要使用复杂的包括能够确定相关对象至参考点的像素深度或距离的检测器设备。因此，其不能使诸如私人及病人的对象很方便地或在家监测它们的三维身体形状。因此，能够不使用专用的复杂的人体扫描器而很容易地提供三维人体图像是需要的。本发明旨在解决上述问题。

发明内容

根据本发明，于此提供一种用于生成对象的三维人体数据的方法，所述方法包括下述步骤：

i使用数字成像设备捕捉一个或多个对象的源图像；

ii使用一种或多种分割方法将所述一个或多个图像分割为多个区段；

iii合并步骤ii)中每个分割方法的结果以产生代表所述对象的一个或多个唯一的概率图；

iv将所述一个或多个唯一的概率图与三维人体代表的数据库比较以确定所述唯一的概率图或每个唯一的概率图和从数据库中确定的代表之间的最接近的匹配或最佳映射；以及

v基于最佳映射生成对象的三维人体数据和/或测量值。

优选地，一个或多个预处理阶段可以被应用于所述一个或多个源图像以在分割之前增强有效数据；

将所述一个或多个图像分割为多个区段可以包括将一个多个图像分割技术、启发法和/或预先确定的映射应用至将所述一个或多个增强的图像和/或原始图像划分为多个区段和/或概率分布；

合并每个分割方法的所述结果可以包括使用数学等式和/或启发法。

优选地，根据步骤iii)的结果的附加分割技术可以应用至为每个源图像产生精确的唯一的概率图；

将一个或多个唯一的概率图与代表的数据库相比较可以包括通过应用梯度下降方法(Gradient Descent method)使三维数据的计算机生成轮廓和概率图之间的差异最小，确定唯一的概率图和公知的三维模型数据库之间的最佳映射。

生成三维人体数据和/或测量值还可以包括基于来自步骤iv)的最佳映射输出对象或者其他个体度量的三维人体数据。

本发明基于由摄像头、照相手机或者其它图像捕获设备获得的二维图像，使得对象的三维人体图像的代表性数据被便宜地及很容易地生成。此外，由于不需要专用的图像设备，对象可以很容易地生成其生成的三维人体数据，使得其身体形状的变化可以被很容易地跟踪及监测。

一般地，在一个或多个图像中识别对象的预期形状和姿态的一个或多个概率图和启发式方法可以被提供。典型地，概率图是从更早的图像中生成的和/或从概率图的预存在的数据库中获得的存储在服务器上的预渲染的概率图，以及所述启发法是在系统内的编码方法。例如，如果对象在图像中摆姿势以呈现其左侧和右侧轮廓，则提供的概率图和应用的启发法是所述各个轮廓的代表。在这种情况下，具有对象摆成左侧轮廓姿态的图像可以被与左侧轮廓概率图比较并且使用公知的分割启发法被处理以应用至左侧轮廓。

基于所述对象的所述确定的姿态，所述一个或多个概率图也可以被提供。对象的姿态可以通过来自视频的帧序列中特征跟踪对象。典型的特征跟踪方法使用Lucas-Kanade Pyramids以计算图像之间(如果应用视频时为帧)对象关键点的光流。通过捕获对象的位置在其中被知道的帧，图像中的关键点可以被定位(例如使用角落探测技术)。这些点可以是手指、服装上的图案、纹身、皮肤污点等。Lucas-Kanade Pyramid技术可以被用于跟踪帧(或图像)之间的这些点。所述点可以每隔几帧被再复核以防止滑动。这种技术使得图像中对象的姿态被更精确地推测并且还使得一个或更多个概率图基于确定的姿态被提供。这种姿态确定技术增加了系统的灵活性并且对于从视频中确定对象的姿态尤其有用。

在本发明的实施方式中，所述预处理阶段ii)可以包括：

·重新调整图像以减小计算开销；

·应用诸如非线性扩散(Anisotropic Diffusion)的噪声减小滤波器；

·抵消公知的诸如桶形畸变及由CCD(电荷耦合器件)传感器内的像素设计引起的图案的相机的特点；

·应用逐像素提高照明以增强阴影中的细节，典型地这个可以遵循公式I_new(x)＝I_raw(x)^α，其中x是当前像素，I_new(x)是像素x增强的强度值(在0和1之间)，I_raw(x)是像素x的原始的强度值(在0和1之间)，及α是数字，该数字可以是常量或者基于图像特性的数字。正如在本例中实施方式可以根据在图像内的位置改变α，诸如更强烈地提高图像的底部：

$\begin{array}{c}{\mathrm{\α}}_t=\frac{\log \left(b\right)}{\log \left(\stackrel{\‾}{I_{\mathrm{raw}}(x\∈\mathrm{top\; quarter\; of\; image})}\right)},{\mathrm{\α}}_b=\frac{\log \left(b\right)}{\log \left(\stackrel{\‾}{I_{\mathrm{raw}}(x\∈\mathrm{bottom\; quarter\; of\; image})}\right)},\\ \mathrm{\α}={\mathrm{\α}}_t+\frac{y}{h}({\mathrm{\α}}_b-{\mathrm{\α}}_t)\end{array}$

其中y是当前像素的纵坐标，及h是图像的高度。

此外，在阶段iii)中应用至一个或多个图像的图像区段的采集方法可以包括：

·不变式方法，例如为特定视图预渲染概率图；

·逐像素或移窗比较，例如寻找符合肤色或匹配丁尼布(denim)的纹理的颜色的预先确定范围；

·基于学习的技术，例如从前视图中定位脸以学习个人的肤色和/或衣服颜色，和/或使用已选择的预渲染的概率图以学习背景颜色。经鉴定的颜色(在RGB空间或其它)和/或位置(在图像空间)可以被分析(例如使用高斯混合模型)以为每一段产生之后可以被用于生成图像分割的预期的颜色分布；

·迭代优化，例如使用动态轮廓(以根据由其它方法检测的当前视图和/或姿态为种子的预定义的人体形状)以沿着轮廓的边界最大化图像边缘强度，其也可以与刚体或软体仿真相合并以增强结果；

·将一个视图中的像素区域与另一个视图中相应的区域相比较，例如将手臂前端的左侧和右侧与图像的侧视图相比较(假设图像之间的背景保持不变)。实施方式可以包括这个姿态的仅有背景(对象不在帧中)的附加图像；

·边缘分析技术，例如具有诸如半圆形状(类似脚)或特定角度(类似手臂、腿或躯体)的特定特征的边缘。使用诸如Sobel算子(Operator)的应用、Canny边缘检测算法及定制方法的一个或多个技术可以检测边缘；

·普遍的分割方法，例如图割方法或者诸如加权集合的分割(Segmentation by Weighted Aggregation)的多尺度方法。

·自定义启发法，例如在前视图中肩部点的识别以定义躯体区域，或者交叉线的识别以定位腋窝及胯部点。

典型地该方法被应用至在YCbCr空间中编码的图像，其中一些方法仅使用强度通道，其它一些方法中可能为Cb和Cr通道设定附加权重，但是可以使用其它诸如RGB或sRGB的颜色空间。

返回多个区段(例如：头、衬衫、椅子、桌子)的分割方法还可以通过分析每个区段的形状、颜色、纹理和/或位置被处理。通过将这些度量与预定义的或其它方面计算的期望值相比较，区段可以被简化为简单的前景/背景二进制，或者被给出每个区段概率。

如果使用多种分割方法，实施方式可以将它们的结果通过各种方式合并至每个视图的单个唯一的概率图。使用的方法可以取决于当前视图和/或分割方法，或者几种使用等级函数决定最佳结果的方法可以被尝试。将结果p₁和p₂合并至p_T的可能的方法包括：

·平均值： $p_T=\frac{p_1+p_2}{2};$

·将已知区域相加至对象：P_T＝max(P₁，P₂)；

·将已知区域相加至背景：P_T＝min(P₁，P₂)；

·合并概率：特殊情况下P₀＝0，P₁＝1及P₀＝1，P₁＝0；

·较复杂方式，例如一些情况下n＞0或者p_T＝2Ap₁ ²-(A+2(x^c-x))y+x^c,A＝1-(1-x)^c+x^c-2x，一些情况下c＞1。当P₀包含一些必须根据P₁调整但是维持硬限制的基础期望值(例如预渲染的概率图)时，这些特定方式是可用的。

可以理解的是，许多这些方法普遍延伸以合并超过两个结果，或者可以被链接以合并任意数量的分割结果。也可以理解的是，权重可以被应用至这个阶段的每个分割，人工确定、以经验为主确定和/或基于分割属性的自动确定(例如，对称的角度)。

在为每个源图像制造出单个唯一的概率图后，实施方式通过诸如加权分割或者抓取分割(Segmentation by Weighted Aggregation or Grab Cut)的进一步的分割技术的使用可以精确图，在Grab Cut的情况下，“已知前景”、“可能前景”，“可能背景”及“已知背景”的输入被给出，其可以使用概率图的简单二值化生成。还可以理解的是这个4-状态图或者随即的变化可以被视为在它们自己权利中的概率图，并且可能因此是先前分割阶段的直接输出。

本发明的实施方式还使得在源图像中由非均匀光照条件产生的变量线清晰度得到补偿，使用相同的方法也使得最终的概率图升高一级以等于原始的源图像的分辨率或者比原始的源图像更高分辨率。这是通过由上述方法生成的唯一的概率图的边缘模糊获得的以产生不确定像素的边界。边缘模糊导致在唯一的概率图中的从背景至对象的可能性梯度。该梯度的方向和强度可以被识别并被用于在每个不确定像素使用矢量线指示至主体的方向。典型地，矢量线的方向大体上垂直于边缘。由这些梯度可以生成矢量轮廓概率图，所述图为每个不确定像素(典型地有边缘像素)提供与该像素相关的主体的局部预期方向的矢量方向(矢量线)。

矢量轮廓概率图然后可以被应用至原始图像或图像。通过跟踪由应用至原始图像的矢量轮廓概率图指示的路径，可以确定在原始图像中的像素位于每条具有最高对比度的矢量线上。这些像素代表位于对象边缘的边界像素，其将对象从图像的背景中分离。这个边界是高斯分布的图像没有噪声和任何模糊的情况下最理想的边界，这对于相机图像是好的近似值。此外，将边界像素的颜色和/或强度与相邻像素的颜色和/或强度相比较可以为每个由亚像素分辨率确定的边界像素估计真实边界。可以使用计算为每个边界像素估计的真实边界，其中b_δ提供像素边界和真实的亚像素边界之间的沿着矢量的距离，C_B是当前像素的强度，C_A是沿着矢量的先前像素的强度以及C_C是沿着该矢量的下一个像素的强度。一旦估计的真实边界被确定，这可以被应用至在唯一的概率图的相似位置以为单个概率图的每个边界像素提供估计的真实边界。

最终的唯一的概率图为每个视图提供对象的轮廓，其中确定为清楚地对象的区域具有近乎100％的概率，确定为背景(不清楚的对象)的区域具有近乎0％的概率，边缘区域具有界于两者的概率。典型地，所述唯一的概率图具有取决于在源图像中的噪声等级的0.2至0.5像素的分辨率。

本发明的实施方式可以将一个或多个唯一的概率图与目前的三维人体代表的数据库相比较以确定最接近匹配(Closest Match)和/或可以使用插值法从目前数据库中生成新的人体以确定最佳映射(Best Mapping)。目前的数据库是典型地由专用的人体扫描器收集的经验数据填充的。这种代表可能包括三维人体测量值，人工的对象测量值，和/或扫描。

为了确定最接近匹配，检验扫描仪可以尽可能搜索，优化每个姿态和相机变量并且确定下方的最佳结果，尽管可以理解的是，优化诸如根据特定属性分组扫描(例如，性别、重量、年龄)可能被应用以减小搜索空间，并且排序可以被应用以使折半查找法(Binary Search)成为可能。但是，确定最接近匹配不能提供已经呈现在数据库中的结果，并且由于这个原因，最佳映射是优选的。下面的段落中将描述在寻找最佳映射中使用的处理。

线性插值可以被使用以由目前的数据库生成新的扫描，因为其允许使用线性最优化方法的识别最佳映射，这是有利的。在目前的数据库(“人体矢量”)中三维人体代表的平均值及描述归一化三维人体代表的变量的一系列矢量可以通过主成分分析(Principle Component Analysis)被预先生成。这个阶段可以包括归一化每个对象的姿态和/或推断丢失的数据的方法(例如，结构光扫描仪扫描的盲区)。这个分析结果将代表性的被提前记录并且根据需要恢复，并且作为“人体的空间”(Space of Bodies)被参考。实施方式也可以包括在这个分析中的测量数据；由于每个人体矢量的贡献是变化的(例如，如果人体矢量控制扫描的权重，由于扫描尺寸增加通常将会增加腰部周长)，产生平均测量值及指示每个测量值如何的查找表(LOOKUP table)必须被改变。这些统计通常将被自动生成并且可能具有不明显的物理解释。为了保证线性方法的适用性，测量值可以被预先处理以产生线性相关值(例如，获取任何体积测量值的立方根值并且将椭圆测量值分解为主要的和次要的轴线及比例因子)。

在实施方式中，只选定的人体图像数据被生成，对象的区域被削减或丢弃。这种排斥性可以通过使用诸如头区域或者分割后通过丢弃特征的不包括主体区域的概率图开始。这是有利的，由于其使得人体图像数据中诸如头发的实际与人体尺寸无关的特征被排除。排除这些特征可以防止诸如发型的看似随意的细节影响结果。

使用变量控制扫描的相机(如，位置、旋转、视场)、姿态(如，关节角度)及人体形状(例如，第一个N人体矢量，通常)人体空间可以使用梯度下降方法被搜索。这通常涉及具有为每个变量的平均的或大概的猜测的开始并且通过反复实验法迭代改善该值。牛顿迭代(Newton–Raphson)法是一种可能的选择，并且可以被用于为当前对象求计算机生成轮廓的每个像素的概率与唯一的概率图计算出的每个像素的概率的绝对偏差的和的最小值。数学上地，

$\arg \min \left(\underset{x\∈\mathrm{image}}{\mathrm{\Σ}}\right|p_{\mathrm{unique}}\left(x\right)-p_{\mathrm{calc}}(x,\mathrm{camera},\mathrm{pose},\mathrm{shape})\left|\right)$

其中，P_unique(x)为唯一的概率图在当前像素的值，以及如果为当前相机c，姿态p和人体形状s产生轮廓的计算机包含当前像素，P_calc(x,c,p,s)为1，否则，camera,pose及shape为搜索的参数，P_calc(x,c,p,s)为0。值得注意的是，绝对值函数的使用被选择以优化需要二次函数的牛顿迭代搜索。对于其它搜索方法，不同的成本可以是适当的，例如平方和。使用二次距离函数以快速舍去局部极小值也是有益的。例如获取从每个计算机生成轮廓的像素至唯一的概率图的像素的最小距离的和。其具有超过预先确定的阈值c的值(例如，)。这是牛顿迭代的优化搜索。数学上地，

$\arg \min \left(\underset{x\∈p_{\mathrm{calc}}(x,\mathrm{camera},\mathrm{pose},\mathrm{shape})}{\mathrm{\Σ}}\min \left(\right|y|:p_{\mathrm{unique}}(x+y)>c)\right)$

比如增加函数计算量的超出合理范围内的参数变化的边界，对于防止不切实际的结果是有益的。例如包括腿分开太宽的软限制(soft limit)，在已知的不可能的分割或者不匹配要求姿态的分割后的硬限制。类似的原则可以被应用至身体形状和相机属性。

遍历所有视图，人体形状被最优化，以及姿态和相机属性体现在每个视图中。可以理解的是，在受控制的环境中，多样性图片可以被同时获取，在这种情况下，也遍历所有视图，姿态成为可以被最优化的属性。固定的相机位置和属性还可以使得相机变量从这个阶段被完全地移除。

在实施方式中，为了改善速度，这个最简化阶段可以通过顺序求参数的小数目的最小值获得。例如在身体形状变量固定时，改变相机和姿态变量，然后固定其它变量，改变前5个人体矢量，然后再改变前15个人体矢量和相机变量等。精确的顺序可以预先以经验为主地被确定和/或分析当前状态的结果自动地确定。(例如，如果腿部位置具有预先的显著改变，为最优化腿部位置提供更多时间)。

这个阶段的最终结果是对象的唯一的三维扫描。同样的原理适用于寻找最接近匹配，但是在改变人体矢量的位置处包含在数据库中通过所有扫描的迭代。不论哪种情况下，扫描结果(忽略姿态)将作为“唯一的三维扫描”被参考。

一旦最接近匹配或最佳映射被获得，实施方式可以使用查找表测量计算测量值和/或在唯一的三维扫描上测量路径。对于最佳映射，确定的人体矢量值被用于与查找表合并以线性插入平均测量值，产生一组唯一的测量值。对于最接近匹配，测量值可以从查找表中被直接地回复。这些测量值是没有被缩放的，并且可以根据几个因子被缩放，这几个因子包括：已知的测量值(例如，对象的高度)；对象和相机之间的确定的距离(例如，使用硬件深度传感器或已知的环境)；和/或与标准化的已知物体比较(例如，例如，标签或诸如纸张的通用物体)。缺乏这些信息时，比例可以被估计通过假设其类似于具有相同人体形状的已知物体(例如，相对大的头通常意味着较小的比例)。至于其它测量值，这种近似可以使用相同的查找方法被计算。在这个阶段中，这些测量值将典型地是非归一化地；体积立方，分解的重新计算的椭圆的周长等。

此外，在实施方式中，对象的三维人体数据可以被输出。该数据可以被输出值一个或多个存储设备、在线云存储、手机、显示屏或者个人计算设备。

附图说明

现在将参考下面附图描述本发明的实施方式，其中：

图1是本发明的横截面示意图；

图2是本发明涉及数据收集的流程图；

图3是本发明涉及用于生成唯一的概率图的方法的流程图；

图4是本发明涉及改善唯一的概率图的流程图；以及

图5是本发明涉及基于唯一的概率图和参考的三维人体代表生成三维人体图像的流程图。

具体实施方式

参考附图，系统10(图1)装备有输入“静音的”客户端系统20和服务器单元30。

客户端系统20包括摄像头100，该摄像头100被用于从对象中捕获图像信息。在使用中，摄像头100连同诸如计算机显示器的屏幕120被使用，该屏幕120显示对象的表现110。当摄像头被激活时，控制摄像头100的软件向屏幕120发出指令以使屏幕120显示相应于姿态位置的表现130。典型地，需要的姿态位置是正面的，腿部和手臂相对身体分开；解剖的位置。此外，侧面轮廓位置(沿着中心平面)也是被需要的225(图2)。

当显示在屏幕上的对象的表现110以预先决定的轮廓220对齐，对象被视为“在姿态中”(这也依赖于保持几秒不动)。当对象准备好，而且对象站成所要求的姿态130的条件被满足时，摄像头100获取一系列处于摆姿态的位置的对象的图像150、240。一旦收集完图像需要的数据，图像被压缩并被存储以随后上传至服务器单元30、270。

可以理解的是，上述步骤可以按需要尽可能多的被重复以生成更大的摆姿态的对象图像的数据库。此外，作为可选的摄像头，手机摄像头可以被使用以拍摄需要的图像。在这种情况下，使用专用的应用程序，运行图像拍摄的屏幕120和软件以及向对象发出的指令可以在手机自身上。也可以理解的是其它公知的图像拍摄设备和软件与传统的相机一样可以被用于生成图像。来自视频源的帧也可以被使用。

除了图像的拍摄，客户端系统20可以从对象请求附加信息140以帮助校准和图像识别处理。作为例子，在两个三维图像中的识别相对比例的校准数据可以通过请求对象200的高度被收集。其它选择包括请求对象抓住对于摄像机的校准的诸如纸牌的标识符。其它问题可以辅助图像处理，例如所穿着衣服的数量和/或颜色。

优选地，客户端系统20对于获取和存储图像也可以执行基本检测240。这些检测可以包括分析图像的背景特征以及如果检测到很多背景特征时，请求对象移动至不同区域。这种分析也使得拍摄图像的对象的由于对象和成像设备之间距离的成比例高度之间的进一步校准，如果找到共同的背景特征，这可以被用于保证对象的所有图像是一致的高度。可选择地或者此外，所述分析可以消除一般地背景特征(有助于随后步骤)或者如果检测到太多的背景特征，可以需要新获得的图像。

一旦图像150被客户端系统20捕捉，其被上传至服务器单元30，270。尽管服务器单元30典型地是专用的网站服务器，服务器单元30可以是对象的电脑或智能手机等。服务器包括基于对象被要求站立的姿态位置的已知的对应于对象的预期位置的概率图160的数据库300，以及被确定的适用于每个姿态的分割方法170的集合。或者，对象的姿态可以使用特征跟踪技术被确定。典型地特征跟踪是利用Lucas-Kanade Pyramids计算图像(或者如果应用至视频，为帧)之间的对象的关键点的光学流动。通过采集位置已知的对象的帧，图像中的关键点可以被定位(例如使用角度检测技术)。这些点可以是手指，衣服上的图案，纹身，皮肤雀斑等。然后光学流动技术可以被用于跟踪帧(或图像)之间的这些点。这些点每隔几帧可以被再检测的以防止滑移。这种技术使得图像中对象的姿态被更精确的猜测并且还是得概率图基于确定的姿态被提供。这种姿态确定技术增加了系统的灵活性并且尤其有益于从视频中确定对象的姿态。

首先，服务器单元30分析进入的图像并且预处理这些图像320以归一化照明，检测和消除图像中由CCD(电荷耦合器件)传感器、有源像素传感器(APS)等引入的图案，以及纠正桶形畸变或者其它已知的缺陷。然后服务器30从这些过滤的图像中确定哪个可能是对象110的表现，而不是背景或者噪声330-360。

为了确定图像中对象的位置，服务器30为特定的姿态应用不同的预先被选择的图像分割技术330。这些可以包括人工地或自动地调整的在图像的特定区域产生最好结果的方法，以及更一般的而方法，以及可以使用预渲染的概率图160和预处理的源图像。分割方法也可以与其它分割方法分享结果(例如手探测器减少手臂探测器所需要的搜索空间)。每个分割方法的结果被合并340，使得服务器对物体(对象)的形状生成第一估计。通过被错误识别的背景物体的移除的帮助，预渲染的概率图160可以进一步被用于调整识别的轮廓。例如，颜色分布分析可以识别对象表现的颜色(如，红色)，但是如果背景包含相同的颜色，如果只基于颜色分布这将被识别为对象的表现。通过将颜色分布与概率图合并，这种背景特征可以被消除。

一旦对象的人体形状的第一估计被确定，并且唯一的概率图被创建，系统进行下一步以补偿在源图像中影响线条清晰度的不同的光照条件。为了补偿这种可变的线条清晰度，系统谨慎的模糊在概率图中的当前边缘410。典型地这种模糊在1或2像素级别(本质上线条被平滑处理)并且为了更大的精确度可以合并放大的概率图。

通过模糊生成的概率图的边缘，系统有助于确定与对象的期望位置相关的像素的方向420。由于概率图是高对比度的灰度图像，系统可以识别最高对比度发生变化的区域(不确定像素)，并且为该变化和这些像素设定方向。该方向是概率图的边缘的归一化并且识别在对象的不确定(模糊的)的边缘点的所有像素的方向(概率图的白色)。

一旦不确定像素的方向性被确定，其可以应用至原始的RGB图像以寻找具有最高对比度的区域(像素的)等，在该区域中相邻像素的梯度是最好的430。该确定使得在RGB图像中对象的边界早一个像素的分辨率内被精确地确定。此外，通过将边界像素与相邻像素相比较以获得真实边界位置的指示，改善的亚像元分辨率可以被获得440。通过确定边界像素和相邻像素之间的颜色梯度以及在梯度最大点设定预估的真实的边界位置其可以被获得。真实的估计的边界位置的指示可以被给出通过：其中b是真实的预估边界，C_B是当前像素的强度，C_A是沿着矢量的先前像素的强度，以及Cc是沿着矢量的下一像素的强度。这个步骤代表了纯色的两块的精确的相反的抗锯齿，并且因此有益于由于CCD传感器引入的抗锯齿。

在RGB图像中，一旦边界被确定，然后该信息被使用在概率图中以提供生成的概率图的边缘的精确的表现450。由边缘识别处理引入的噪声可以通过以±1像素模糊识别的边缘和再平滑被减小460。这个阶段的最终结果是准确的序列、特定的输入、概率图470，每一源图像150。

具有准确的序列、特定的输入、概率图，现在，有可能执行这些概率图的一个映射以预计算平均人体形状，以尝试生成最终的对象的三维人体形状。如下文所述，这可以通过使用包含预计算的平均的人体形状的数据库和提取的存储在服务器上的主要部件“人体矢量”被获得。人体矢量或本征体(Eigenbody)与已知的属于本征矢量或本征脸相似并且是身体如何变化(臀部增加导致相应的胸部增加等)的变现。使用主成份分析其被提前计算。例如，特定的人体图像可以包含平均人体形状加人体矢量1的60％，人体矢量2的-12％和人体矢量3的18％。这使得人体扫描的数学表现被存储二不是存储扫描本身。此外，预计算的平均人体可以被选择或者计算以与先前确定的对象的姿态一致。

该人体变量的数据库通过服务器被预先加载500。当一系列唯一的概率图被接收515，服务器将在人体空间(从平均人体生成的可能人体和人体矢量的合并)上执行搜索以寻找最佳映射530-575。首先，人体矢量是零的设定贡献(产生不具有变量的平均人体)，并且对于相机和姿态变量，每一姿态明显的缺陷被设定(例如，相机位置，手臂分开)，530。根据分割方法识别的特征，这些缺陷可以被改变330。对于每个姿态相应的人体被渲染541，并且这些选人被与唯一的概率图相比，542。使用的距离函数可以是简单的每像素的平均绝对差，或者一些更复杂的，例如像素之间最小距离的和。多种方法可以被一起使用，例如，使用边缘像素之间的最小距离确定姿态和相机属性，然后使用平均绝对差调整人体形状。这些方法可以从值的预缓冲中受益520以改善相应时间。

通过反复改变某些属性(例如人体矢量的贡献)以及反复测量渲染扫描和观察的唯一的概率图之间的距离540-575，人体矢量、姿态变量和相机属性可以被迭代精确的。典型地，这涉及到抽样一些变化550然后将一些简单的数学模型与距离相符(例如抛物线)以识别可能的最小距离。该最小值的值和来自多有选择的样品的所有最小值可以被检测560，然后搜索空间被减小并重复该处理。一旦搜索空间足够小，处理终止并且最终值代表最佳映射580。典型地，这个最优化阶段将被重复几次，每次伴随某些变量“固定”并且其它变量“可变”，例如出示搜索可以固定所有人体矢量贡献，只改变相机属性和姿态变量，这可以通过固定相机同时改善前5人体矢量和粗略的姿态等被跟踪。

最终的人体形状、姿态和相机属性将产生最接近唯一的概率图的轮廓。可以理解的是，在系统中具有已知的硬件，相机属性可以是提前已知的并且不需要被包含在该处理中。此外，在系统中具有多个相机，遍历几个图像对象的姿态是相同的可以是已知的，并且总体的(而不是每个图像)姿态可以被使用。

当迭代搜索完成并且最佳映射确定时，服务器可以根据其人体矢量贡献存储三维人体数据。与三维人体形状相关的测量值可以基于平均人体形状和人体矢量贡献，使用查找表被恢复580。该测量值可以包括诸如腰围、胸围等的物理测量值，以及更多诸如性别、年龄等的抽象信息。该查找表来源于由精密的和精确的典型地在医院环境中使用的全身扫描仪生成的已知的经验的人体尺寸。然后，计算的最佳匹配的轮廓可以被反馈至预渲染的概率图，在将来使用中可能增加分割步骤的精确度。

一旦对象的三维人体形状的真实的近似被计算出，通过考虑它们的进入高度或者其它校准信息585，人体形状和类似的计算值可以被大规模的应用至对象的尺寸，尽管这也可以通过客户端在下一阶段被执行285。最后，可以为对象显示三维人体扫瞄和/或测量值290。

Claims (26)

1.一种用于生成对象的三维人体数据的方法，所述方法包括以下步骤：

i使用数字成像设备捕获所述对象的一个或多个源图像；

ii使用一种或多种分割方法、启发法和/或预先决定的映射将所述一个或多个源图像分割为多个区段或者概率分布；

iii合并在步骤ii)中每种分割方法的结果以产生代表所述对象的一个或多个唯一的概率图；

iv将所述一个或多个唯一的概率图与三维人体代表的数据库相比较以确定所述唯一的概率图或每个唯一的概率图和从数据库中确定的代表之间的最接近匹配或者最佳映射；以及

v基于所述最佳映射生成所述对象的三维人体数据和/或测量值。

2.根据权利要求1所述的方法，该方法还包括：在分割所述多个图像中的一个之前，将一个或多个预处理阶段应用至所述一个或多个源图像以在分割之前增强有效数据。

3.根据权利要求1或2所述的方法，其中合并每种分割方法的结果包括使用数学等式和/或启发法。

4.根据前述任意一项权利要求所述的方法，其中将所述一个或多个唯一的概率图与代表的数据库相比较包括通过应用梯度下降方法以最小化计算机生成的三维数据的轮廓和概率图之间的差异，确定每一个或者所有所述唯一的概率图和现存的已知的三维模型数据库之间的最佳映射。

5.根据前述任意一项权利要求所述的方法，其中生成三维人体数据和/或测量值还包括基于来自步骤iv)的所述最佳映射输出所述对象或者其它个人度量的三维人体数据。

6.根据前述任意一项权利要求所述的方法，该方法还包括以下步骤：

在捕获所述一个或多个图像后，提供一个或多个概率图，该一个或多个概率图识别所述一个或多个图像中所述对象的预期形状和姿态和/或根据在每一图像中的所述对象的所述预期形状和姿态，提供应用的一系列分割方法。

7.根据权利要求6所述的方法，所述方法还包括以下步骤：

确定所述对象的姿态并基于所确定的姿态提供一个或多个概率图。

8.根据前述任意一项权利要求所述的方法，其中将所述一个或多个唯一的概率图与三维人体代表的数据库相比较以确定最佳映射包括以下步骤：

从所述三维人体代表的数据库中生成平均的三维人体图像；

生成所述平均的三维人体图像的至少一个轮廓；以及

将所述轮廓与所述对象的所述一个或多个唯一的概率图相比较并确定匹配度。

9.根据权利要求8所述的方法，所述方法还包括以下步骤：

提供预先定义的一系列矢量，该矢量定义所述平均的三维人体图像如何被改变；

将具有权重的所述预先定义的一系列矢量应用至所述平均的三维人体图像以生成改进的三维人体图像；

生成改进的三维人体图像的轮廓；以及

将所述轮廓与所述对象的所述唯一的概率图相比较并且确定所述匹配度。

10.根据权利要求9所述的方法，所述方法还包括以下步骤：

比较由不同的权重生成的多个轮廓的匹配度以确定所述最佳匹配。

11.根据权利要求8至10中任意一项权利要求所述的方法，所述方法还包括以下步骤：

改变所述三维人体图像和/或生成的轮廓以计算在所述对象的所述一个或多个图像中的呈现的成像因子。

12.根据权利要求11所述的方法，其中所述呈现的成像因子是以下中的至少一者：相机倾斜、相机偏航、相机距离及桶形畸变中。

13.根据权利要求10至12中任意一项权利要求所述的方法，所述方法还包括以下步骤：

基于已知的三维人体图像测量值的查找表确定所述最佳匹配的未缩放的测量值；以及

基于所述对象提供的参考数据缩放所述最佳匹配测量或扫描，所述参考数据是以下中的一者或多者：对象高度、对象和相机之间的距离、已知物体校准的参考。

14.根据权利要求6至13中任意一项权利要求所述的方法，其中将所述一个或多个图像分割为多个区段包括以下步骤：

将在所述图像或每个图像中的像素的位置与其在所述概率图上的相应位置相比较以确定在所述图像中像素代表所述对象的概率。

15.根据权利要求6至14中任意一项权利要求所述的方法，其中将所述一个或多个图像分割为多个区段包括以下步骤：

根据在所述概率图上的相应位置，在所述图像或每个图像中加权像素以生成相应的加权图像，并且识别在所述加权图像中的颜色或空间分布；

16.根据前述任意一项权利要求所述的方法，其中合并在步骤ii)中每种分割的结果以产生代表所述对象的一个或多个唯一的概率图后，所述方法还包括以下步骤：

使用先前分割方法的所述合并的结果作为种子应用一个或多个最终的分割方法。

17.根据前述任意一项权利要求所述的方法，其中合并在步骤ii)中每种分割的结果以产生代表所述对象的一个或多个唯一的概率图后，所述方法还包括以下步骤：

围绕所述一个或多个唯一的概率图的边缘增加不确定区域(例如通过模糊)以补偿变化的线条清晰度以产生不确定像素的边界；

识别所述一个或多个唯一的概率图的边缘的梯度以确定在每个不确定像素处所述对象的方向以产生相应的矢量轮廓概率图；以及

将所述矢量轮廓概率图应用至所述图像以确定具有最高对比度的点；以及

在所述最高对比度的点处识别位于所述对象的边缘上的边界像素。

18.根据权利要求17所述的方法，所述方法还包括以下步骤：

将所述边界像素的颜色与相邻像素的所述颜色相比较以从强度变量中确定具有亚像元分辨率的真实的边界。

19.根据权利要求18所述的方法，其中所述真实的边界被计算，使用：其中b是真实的预估边界，C_B是当前像素的强度，C_A是沿着矢量的先前像素的强度，以及C_C是沿着矢量的下一个像素的强度。

20.根据权利要求15至19中任意一项权利要求所述的方法，其中在加权图像中颜色分布被识别并且识别颜色分布还包括以下步骤：

取样所述图像的像素以识别它们的颜色，以及

将所述取样像素的位置绘制在所预渲染的概率图以确定所述概率图的区域的期望的颜色。

21.根据权利要求20所述的方法，其中识别所述颜色分布还包括以下步骤：

在所述图像的所有所述区段中获取所述像素的所述颜色的概率分布；以及

在强度、颜色和/或立体空间生成所述图像的多维的(多元的)概率分布。

22.根据权利要求20或21所述的方法，该方法还包括以下步骤：

将所述概率分布与所述概率图的相应区域的期望颜色相比较以确定像素代表所述对象的概率。

23.根据前述任意一项权利要求所述的方法，该方法还包括以下步骤：

将所述一个或多个图像中的每一个转变为RGB图像以识别在所述一个或多个图像中的缺陷。

24.根据前述任意一项权利要求所述的方法，其中，在不一致区域使用置信度和/或空间信息来加权分割方法合并在步骤ii)中每种分割的结果以产生代表所述对象的一个或多个唯一的概率图。

25.根据前述任意一项权利要求所述的方法，该方法还包括以下步骤：

输出所述对象的所述三维人体数据。

26.根据权利要求25所述的方法，其中所述三维人体数据被输出至以下中一者或多者：存储设备、在线云存储、手机、显示器或者个人计算设备。