CN106446917B - 一种量体特征点提取方法及装置 - Google Patents

Abstract

本发明实施例提供的量体特征点提取方法及装置，通过建立带形状估计的非闭合Snake模型来提取量体特征点所在的图像特征区域的局部轮廓，与传统的Snake模型相比，其提取结果鲁棒性更强，效率更高，而且能够较好的克服背景环境及人体着装对提取结果的影响，使提取出的局部轮廓更加连续平滑，满足最终量体特征点的提取要求。

Description

一种量体特征点提取方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种量体特征点提取方法及装置。

背景技术

在基于图像的非接触式人体参数测量中，人体轮廓提取对测量精度有重要影响。但是，目前传统的Snake模型进行人体完整轮廓的提取时，效率较低，提取的结果鲁棒性较差，且易受背景环境及着装的影响。

发明内容

有鉴于此，本发明的目的在于提供一种量体特征点提取方法及装置，以改善上述问题。

本发明较佳实施例提供一种量体特征点提取方法，应用于基于图像的非接触式人体参数测量中，该方法包括：

获取图像特征区域内的初始轮廓线；

构建所述初始轮廓线的能量函数，通过偏微分方程对该能量函数进行求解，并对求解得到的方程进行离散化得到离散方程；

将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型；及

对所述非闭合的Snake模型进行迭代求解得到所述图像特征区域的目标轮廓线，再根据该目标轮廓线提取出相应的量体特征点。

本发明另一较佳实施例提供一种量体特征点提取装置，应用于基于图像的非接触式人体参数测量中，该装置包括：

轮廓线获取模块，用于获取图像特征区域内的初始轮廓线；

函数构建模块，用于构建所述初始轮廓线的能量函数，通过偏微分方程对该能量函数进行求解，并对求解得到的方程进行离散化得到离散方程；

系数重置模块，用于将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型；及

提取模块，用于对所述非闭合的Snake模型进行迭代求解得到所述图像特征区域的目标轮廓线，再根据该目标轮廓线提取出相应的量体特征点。

本发明实施例提供的量体特征点提取方法及装置，通过建立非闭合Snake模型提取量体特征点所在的图像特征区域的局部轮廓，与传统的Snake模型相比，其提取结果鲁棒性更强，效率更高。此外，本发明实施例还提供了一种带形状估计的非闭合Snake模型，以克服背景环境及人体着装对提取结果的影响，使提取出的局部轮廓更加连续平滑，满足量体特征点的提取要求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像处理设备的示意性结构框图；

图2为本发明实施例提供的一种应用图1所示的图像处理设备实现的量体特征点提取方法的流程图；

图3为本发明实施例提供的一种预定人体站姿示意图；

图4为本发明实施例提供的对人体左手腕的特征区域进行自动设置初始轮廓线后得到的结果示意图；

图5为本发明实施例提供的另一种量体特征点提取方法的流程图；

图6为本发明实施例提供的对图3所示的预定站姿中人体左手腕对应的特征区域进行形状估计的示意图；

图7为本发明实施例提供的量体特征点提取装置的功能模块框图；

图8为本发明实施例提供的基于简单背景实验条件下传统Snake模型与非闭合Snake模型对人体左手腕特征点的提取结果对比示意图；

图9为本发明实施例提供的基于复杂背景实验条件下传统Snake模型与非闭合Snake模型对人体左手腕特征点的提取结果对比示意图。

主要元件符号汇总：

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，是本发明较佳实施例提供的一种图像处理设备100的示意性结构框图。该图像处理设备100包括存储器110、处理器120以及量体特征点提取装置130。所述图像处理设备100可以是计算机或其他任意具有图像数据处理能力的计算设备。

所述存储器110与处理器120之间直接或间接地电性连接，以实现数据的传输或交互。例如，可通过一条或多条通讯总线或信号线实现电性连接。所述量体特征点提取装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中或固化在所述图像处理设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述量体特征点提取装置130包括的软件功能模块或计算机程序。所述处理器120在接收到执行指令后，执行所述功能模块或程序，下述本发明任一实施例揭示的流过程定义的图像处理设备100所执行的方法可以应用于处理器120中，或者由处理器120实现。

请参阅图2，是本发明较佳实施例提供的使用所述图像处理设备100实现的量体特征点提取方法的流程图。所应说明的是，本发明提供的方法并不以图2及以下所述的具体顺序为限制。下面将对图2所示的具体步骤及流程进行详细阐述。

步骤S101，获取图像特征区域内的初始轮廓线。

在基于图像的人体参数测量中，精准提取量体特征点的前提是准确划分出待测人体的特征区域。本发明的设计者在进行大量实验并总结规律后发现，对于各种体型的待测者，在图像中，其量体特征点所在位置总与待测者的身高、头全高占身高的比值、头部位置以及站姿存在一定关系。由此，本实施例中，在预先设定一种二维图像中的人体站姿后，由与所述图像处理设备100连接的图像获取设备(如摄像机或设置于图像处理设备100上的摄像头)获取待测人体的正、侧面图像，再通过人脸检测方法确定正、侧面图像中人脸矩形位置，并结合人体比例及所设定的站姿等先验知识划分出待提取的量体特征点所在的特征区域。

可选地，如图3所示，本实施例中提供一种适用于各种体型的待测人体并且便于划分特征区域的预定站姿：正面双手张开与竖直方向呈45°角，掌心向外，大拇指与四指分开，双脚后跟并拢，脚掌呈90°；侧面成立正站姿。图中矩形框内所包括的区域即为待测人体的各特征区域，每个特征区域内的黑色标记点即为该特征区域内待提取的量体特征点。

在划分出量体特征点所应在的特征区域后，还需要设置该特征区域的初始轮廓线，以便根据该初始轮廓线建立求解模型。本实施例中，可以采用两种设置所述初始轮廓线的方式：其一，传统的手动设置方式；其二，通过对比相邻图像点的梯度值进行自动设置的方式。

传统的手动设置方式在连续进行轮廓提取时较为费时，与之相比，自动设置初始轮廓线更为方便。本实施中，自动设置初始轮廓线的实现方式为，对图像特征区域内相同间隔的列，从上至下依次计算该列上每一点的梯度值，并将梯度值变化首次超过阈值的图像点标记为Snake点，然后将获得的所有Snake点依次连接起来形成所述初始轮廓线。其中，图像的梯度值可按下式计算：

其中，I(x,y)表示图像灰度值。

图4是本实施例提供的采用自动设置初始轮廓线的方式对人体左手腕的特征区域进行轮廓初始化得到的初始轮廓线。

步骤S103，构建所述初始轮廓线的能量函数，通过偏微分方程对该能量函数进行求解，并对求解得到的方程进行离散化得到离散方程。

本实施例中，定义所述初始轮廓线为v(s)＝(x(s),y(s))，s∈[0,1]表示数字图像中的一组离散Snake点。该初始轮廓线的能量函数可构建为：

其中，E_int(v(s))表示曲线的内部能量，用于控制曲线进行拉伸与弯曲，E_ext(v(s))表示曲线的外部能量，通常表示为图像梯度产生的图像能量，可控制曲线向图像梯度大的方向移动。

具体地，式中E_int(v(s))可定义为：

E_int(v(s))＝(α(s)|v′(s)|²+β(s)|v″(s)|²)/2 (2)

其中，v′(s)为曲线的一阶导数，表示曲线的弹性能量，控制曲线的连续性，v″(s)为曲线的二阶导数，表示曲线的弯曲能量，控制曲线的平滑性。α和β值分别表示曲线在各点的连续程度与弯曲程度。若α为0时，表示该点处不连续，曲线可出现断点；若β为0时，该点处不平滑，曲线可出现角点。

式中E_ext(v(s))可定义为：

其中，(G_σ(x,y)表示方差为σ的高斯函数，I(x,y)表示图像灰度值，γ(s)表示图像能量的控制参数。由上式可以看出，图像梯度值最大处外部能量最小，即在图像目标边缘处外部能量最小，于是原能量函数可改写为：

Snake模型的求解是对能量函数进行最小值求解，即在曲线内部能量与图像能量的共同作用下，曲线发生形变并向图像特征区域的目标轮廓边缘移动，当能量函数取得最小值时，曲线收敛到图像目标轮廓处，即得到目标轮廓线，此为传统Snake模型的基本原理。其求解的实质为一变分问题。本实施例中，通过Euler-Lagrange偏微分方程对公式(4)求解得到：

其中，v″(s)和v⁽⁴⁾(s)表示曲线的二阶导数和四阶导数。在数字图像中，以各点之间的差分来近似估计曲线的各阶导数，可以得到求解方程的离散形式：

其中，f_x(v_i)和f_y(v_i)分别表示函数p(v(i))对x和y偏导数的离散形式。实际应用中，α和β通常为固定值。

步骤S105，将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型。

本实施例中，非闭合Snake模型的实现体现在Snake模型求解的过程中，需要重新研究曲线各点的可导性。以x为例，将式(6)所示的离散方程改写为矩阵形式可得到：

如式(7)所示，左侧的五对角带状矩阵保证了曲线的首尾相连和各个点的二阶可导性，若要获得非闭合的Snake模型，需要重新设置系数，使得第一个Snake点与最后一个Snake点不存在一阶导数，第二个Snake点与倒数第二个Snake点存在一阶导数、不存在二阶导数。即第一个Snake点与最后一个Snake点的α和β系数均取零值，第二个Snake点与倒数第二个Snake点的β系数取零值。于是系数修改之后，非闭合Snake模型解的矩阵形式为(以x为例)：

步骤S107，对所述非闭合的Snake模型进行迭代求解得到所述图像特征区域的目标轮廓线，再根据该目标轮廓线提取出相应的量体特征点。

请参阅图5，是本发明实施例提供的另一种量体特征点提取方法的流程图，与图2所示方法不同的是，本实施例提供的量体特征点提取方法还包括：

步骤S201，该步骤位于图2中所示的步骤S103之前，具体地，该步骤S201为，对所述特征区域进行形状估计，得到形状估计线。

由于非闭合Snake模型同样易受到环境或人体着装影响，而导致曲线收敛到错误边缘。因此，本实施例中，对待测图像特征区域的轮廓进行形状估计，并在所述初始轮廓线的原能量函数中设置形状约束项，以便进行更准确的目标轮廓提取。

具体地，定义形状估计线为c(s)＝(x_c(s),y_c(s))，其中s∈[0,1]。在量体特征点提取过程中，待测人体姿势的不同，形状估计线的具体形式也会不同。以图3所示的预定站姿中人体左手腕对应的特征区域为例，如图6所示，根据手臂、手掌与水平方向和竖直方向所成角度，可按下式定义左手腕形状估计线：

如上式，左手腕部分的形状估计线是一个分段函数，由两条线段组成。实际应用中，两线段长度不一定相等，可按一定比例分配部分Snake点向第一段曲线形状靠近，剩余Snake点向第二段曲线形状靠近。最后在得到的结果中，按照之前Snake点分配比例提取特征点。

待提取的量体特征点包括左右肩膀点、左右胸点、左右手腕点和脚底点。类似地，可依次求得左肩膀、右肩膀、左胸、右胸、右手腕、脚底等形状曲线方程如下：

以E_con(v(s))表示形状约束能量，形状估计的目的是使Snake曲线在迭代的过程中，尽量保持相应的形状，对于数字图像而言，Snake曲线上每个点到形状估计线的距离构成一组随机变量，这组变量的方差越小，Snake曲线越能保持相应的形状，于是形状约束能量可定义为：

其中，n为曲线上的点数，为曲线到所述形状估计线的平均距离，λ(s)表示形状约束能量的控制参数，实际应用中一般取固定值，为曲线上任意极小段与形状估计线的垂直距离。

步骤S203，该步骤S203应在图2中所示的步骤S103中构建所述初始轮廓线的能量函数的操作之后执行，具体地，该步骤S203为，通过所述形状约束能量对所述初始轮廓线的原能量函数进行约束，得到带有形状估计的新的能量函数：

得到如式(12)所示的带有形状估计的能量函数后，同样对该能量函数进行偏微分方程求解，再对离散方程中的五对角带状矩阵的系数进行重新设置得到带形状估计的非闭合Snake模型。本实施例中，用A表示重新设置系数后的五对角带状矩阵，将v_i表达为时间t的函数，再用μ表示单位步长，可以得到如下迭代公式：

对式(13)进行求解得到带有形状估计的非闭合Snake模型的迭代公式(14)：

根据公式(14)进行不断迭代，直到曲线收敛到图像目标轮廓处，得到待提取的目标轮廓线，再根据所述目标轮廓线提取出量体特征点。

请参阅图7，是本发明较佳实施例提供的所述量体特征点提取装置130的功能模块示意图。所述量体特征点提取装置130包括轮廓线获取模块1302、函数构建模块1304、系数重置模块1306、提取模块1308以及形状估计模块1310。下面将对图7所示的功能模块进行详细阐述。

所述轮廓线获取模块1302，用于获取图像特征区域内的初始轮廓线。该轮廓线获取模块1302可用于执行图2中所示的步骤S101，具体的操作方法参照上述对步骤S101的详细描述。

所述函数构建模块1304，用于构建所述初始轮廓线的能量函数，通过偏微分方程对该能量函数进行求解，并对求解得到的方程进行离散化得到离散方程，还用于通过该形状估计线的形状约束能量对所述初始轮廓线的原能量函数进行约束，得到带有形状估计的新的能量函数。具体地，该函数构建模块1304可用于执行图2中所示的步骤S103及图5中所示的步骤S203，具体的操作方法参照上述对步骤S103及步骤S203的详细描述。

所述系数重置模块1306，用于将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型。该系数重置模块1306可用于执行图2中所示的步骤S105，具体的操作方法参照上述对步骤S105的详细描述。

所述提取模块1308，用于对所述非闭合的Snake模型进行迭代求解得到所述图像特征区域的目标轮廓线，再根据该目标轮廓线提取出相应的量体特征点。该提取模块1308可用于执行图2中所示的步骤S107，具体的操作方法参照上述对步骤S107的详细描述。

所述形状估计模块1310，用于对所述特征区域进行形状估计，得到形状估计线。该形状估计模块1310可用于执行图5中所示的步骤S201，具体的操作步骤可参照上述对步骤S201的详细描述。

图8和图9是本发明实施例提供的非闭合Snake模型与传统的Snake模型在简单背景、复杂背景两种实验条件下的量体特征点提取结果的对比图。本实验中，仍以人体左手腕为例，分配Snake曲线前1/2靠近第一段形状估计线，后1/2靠近第二段形状估计线。

图8给出了简单环境下的实验对比结果。图8(a)为原始图像；8(b)为传统的Snake算法迭代10次耗时14秒的收敛结果，由于需手动设置初始轮廓，造成部分曲线与手腕边缘过远而不能正确收敛，对之后的手腕点提取造成极大阻碍，因此不适用于人体局部轮廓提取；8(c)为不带形状估计的非闭合Snake算法在CPU频率2.40GHz、内存4G的Windows 7 SP1系统下，迭代10次耗时2.2秒的收敛结果，可以看出在简单环境下，不带形状估计的Snake算法也能较好地收敛到手腕边缘；8(d)为带形状估计的非闭合Snake算法在相同软硬件实验条件下，迭代10次耗时2.1秒的收敛结果，取Snake曲线1/2处为左手腕点，在图8(c)和8(d)中用圆点标识出来。

同样地，图8给出了复杂环境下的实验对比结果。图9(a)为原始图像；图9(b)为传统Snake算法迭代10次耗时24.5秒的收敛结果，与图9(b)类似地，不适用于人体局部轮廓提取；图9(c)为不带形状估计的非闭合Snake算法在CPU频率2.40GHz、内存4G的Windows 7SP1系统下，迭代10次耗时3.7秒的收敛结果，可以看出，在复杂环境下，其检测结果受到了背景与人物着装的影响，对之后的手腕点提取造成阻碍；图9(d)为带形状估计的非闭合Snake算法在相同软硬件实验条件下，迭代10次耗时3.2秒的收敛结果，虽然也受到了一定的环境影响，但手腕轮廓连续且较为平滑，同样取Snake曲线1/2处为左手腕点，在图9(c)和9(d)中用圆点标识出来。

总体来讲，传统的Snake模型耗时长、效果差且必须由一条封闭曲线开始迭代，不适用于人体局部轮廓提取；对于非闭合的Snake模型，在简单背景中能够较为准确地提取人体局部轮廓，但是在复杂环境中容易受到背景和人物着装的影响；对于形状估计的非闭合Snake模型，在复杂环境中，也能较好地针对不同人体特征区域进行局部轮廓和量体特征点的提取。在时间效率方面，由于Snake点数量减半，所以非闭合Snake模型相较于传统的Snake模型效率明显提高。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种量体特征点提取方法，应用于基于图像处理的非接触式人体参数测量中，其特征在于，该方法包括：

获取图像特征区域内的初始轮廓线；

对所述特征区域进行形状估计，得到形状估计线c(s)＝(x_c(s),y_c(s))；

构建所述初始轮廓线的能量函数，通过所述形状估计线的形状约束能量对所述初始轮廓线的能量函数进行约束，得到带有形状估计的新的能量函数：

其中，v(s)＝(x(s),y(s))表示所述初始轮廓线，s∈[0,1]表示数字图像中的一组离散控制点，E_int(v(s))＝(α(s)|v′(s)|²+β(s)|v″(s)|²)/2表示曲线的内部能量，α(s)和β(s)值分别表示曲线在各点的连续程度与弯曲程度，表示曲线的外部能量，G_σ(x,y)表示方差为σ的高斯函数，I(x,y)表示图像灰度值，γ(s)表示图像能量的控制参数，表示所述形状约束能量，n为初始轮廓线上的点数，为初始轮廓线到所述形状估计线的平均距离，λ(s)表示形状约束能量的控制参数，为曲线上任意极小段与形状估计线的垂直距离，通过偏微分方程对该能量函数进行求解，并对求解得到的方程进行离散化得到离散方程；

将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型；及

对所述非闭合的Snake模型进行迭代求解得到所述图像特征区域的目标轮廓线，再根据该目标轮廓线提取出相应的量体特征点。

2.根据权利要求1所述的量体特征点提取方法，其特征在于，获取图像特征区域内的初始轮廓线的步骤包括：

对所述图像特征区域内相同间隔的列，从上至下依次计算每一列上各图像点的梯度值，并将梯度值变化首次超过阈值的图像点进行标记；

将各个列上被标记的图像点依次连接得到所述初始轮廓线。

3.根据权利要求1所述的量体特征点提取方法，其特征在于，将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型的步骤包括：

对所述第一图像点和倒数第一图像点的系数进行重新设置使两者不存在一阶导数；

对所述第二图像点和倒数第二图像点的系数进行重新设置使两者存在一阶导数的同时不存在二阶导数。

4.一种量体特征点提取装置，应用于基于图像处理的非接触式人体参数测量中，其特征在于，该装置包括：

轮廓线获取模块，用于获取图像特征区域内的初始轮廓线；

形状估计模块，用于对所述特征区域进行形状估计，得到形状估计线c(s)＝(x_c(s),y_c(s))；

函数构建模块，用于构建所述初始轮廓线的能量函数，通过所述形状估计线的形状约束能量对所述初始轮廓线的能量函数进行约束，得到带有形状估计的新的能量函数：

其中，v(s)＝(x(s),y(s))表示所述初始轮廓线，s∈[0,1]表示数字图像中的一组离散控制点，E_int(v(s))＝(α(s)|v′(s)|²+β(s)|v″(s)|²)/2表示曲线的内部能量，α(s)和β(s)值分别表示曲线在各点的连续程度与弯曲程度，表示曲线的外部能量，G_σ(x,y)表示方差为σ的高斯函数，I(x,y)表示图像灰度值，γ(s)表示图像能量的控制参数，表示所述形状约束能量，n为初始轮廓线上的点数，为初始轮廓线到所述形状估计线的平均距离，λ(s)表示形状约束能量的控制参数，为曲线上任意极小段与形状估计线的垂直距离，通过偏微分方程对该能量函数进行求解，并对求解得到的方程进行离散化得到离散方程；

系数重置模块，用于将所述离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型；及

提取模块，用于对所述非闭合的Snake模型进行迭代求解得到所述图像特征区域的目标轮廓线，再根据该目标轮廓线提取出相应的量体特征点。

5.根据权利要求4所述的量体特征点提取装置，其特征在于，所述轮廓线获取模块获取图像特征区域内的初始轮廓线的方式包括：

对所述图像特征区域内相同间隔的列，从上至下依次计算每一列上各图像点的梯度值，并将梯度值变化首次超过阈值的图像点进行标记；

将各个列上被标记的图像点依次连接得到所述初始轮廓线。

6.根据权利要求4所述的量体特征点提取装置，其特征在于，所述系数重置模块将离散方程的五对角带状矩阵中对应所述初始轮廓线的第一图像点、第二图像点、倒数第一图像点及倒数第二图像点的系数进行重新设置得到非闭合的Snake模型的方式包括：

对所述第一图像点和倒数第一图像点的系数进行重新设置使两者不存在一阶导数；

对所述第二图像点和倒数第二图像点的系数进行重新设置使两者存在一阶导数的同时不存在二阶导数。