CN111047553B - 一种面向非接触式人体参数测量的特征点定位方法 - Google Patents

Abstract

本发明属于人体参数测量技术领域，具体为一种面向非接触式人体参数测量的特征点定位方法，用以解决现有技术在现实环境下定位准确率较低的问题。本发明利用深度学习网络模型代替传统的图像分割算法来提取人体的轮廓信息，使得提取的轮廓信息更加精确，并克服了传统算法在复杂背景下难以提取人体轮廓的弊端；同时，将强依赖的轮廓提取与特征点提取两个步骤进行了分离，减少了特征点提取对轮廓提取结果的依赖，而且利用深度学习网络模型进行特征点提取对人体形态没有要求，克服了传统算法设计时只适应了标准的人体形态使得现实环境下特征点提取不准确的问题。

Description

一种面向非接触式人体参数测量的特征点定位方法

技术领域

本发明属于人体参数测量技术领域，尤其涉及了一种非接触式人体参数测量中特征点定位方法。

背景技术

人体参数测量是服装定制、人体建模等应用中的一个重要环节，而基于正交图像的非接触式人体参数测量方法由于其简便易行、适合在网络环境下应用等优点得到了广泛关注。此类方法以图像采集设备获取人体的正、侧面图像作为输入，利用图像处理算法定位量体特征点并结合辅助信息(例如身高)计算二维量体数据，最后通过围度拟合获得人体围度信息，其精度在很大程度上依赖于特征点定位的准确性。

近年来，国内外学者对量体特征点定位算法做了许多研究，大致可分为两类：基于图像分割的特征点定位和基于统计学习模型的特征点定位；但是以上两类特征点定位方法的精度都依赖于特征工程的构建、要求背景单一、人体着装与背景有显著差异，当在现实环境下，量体特征点的定位会出现较大的误差。

随着大数据时代的到来，深度学习技术代替了手动设计特征提取器，较深的网络结构使得其包含大量的参数，具有强大的表征能力，可以拟合出较复杂的函数。目前深度学习在量体特征点提取中的应用十分少见，将深度学习的方法用于定位量体特征点是一种新的探索。

发明内容

本发明的目的在于提供一种面向非接触式人体参数测量的特征点定位方法，基于深度学习实现，用以解决现有技术在现实环境下定位准确率较低的问题。

为了达到上述目的，本发明采用的技术方案如下：

一种面向非接触式人体参数测量的特征点定位方法，包括以下步骤：

步骤1.数据集构建

1.1人体图像采集，按照规定站姿拍摄人体正面图像，得到人体图像数据集；

1.2标记待提取特征点，根据要提取的人体参数对人体图像数据集进行待提取特征点标记，获取待提取特征点位置信息；

进一步的，步骤1.1中，所述人体图像采集时：被拍摄者的规定站姿为：身体笔直站立、目视正前方、双脚自然站立且脚尖向外分开呈小于90°的角度、手臂张开与身体呈小于90°的夹角、掌心向外；拍摄要求为：拍摄设备置于被拍摄者正前方且与地面垂直、与被拍摄者相距3～5米。

进一步的，步骤1.2中，待提取特征点为：头顶点、左颈点、右颈点、左肩点、右肩点、左胸点、右胸点、左腕点、右腕点以及脚底点。

步骤2.初步特征点提取

2.1构建特征点提取网络模型，首先，根据CPN的网络结构构建特征点提取网络模型并对其参数进行随机初始化；然后，获取CPN在MS COCO数据集上训练后的模型参数，用除输出层外其他层的参数对CPN中参数进行赋值；

2.2设置网络训练时的超参数；

2.3训练网络模型，当模型在训练集和验证集上的误差差值小于预设阈值时停止训练、并保存此刻模型的结构和参数；

2.4提取初步定位的特征点，将待测图像输入特征点提取网络模型，获得初步特征点；

步骤3.像素级轮廓分割

3.1构建轮廓分割网络模型并初始化参数，首先，根据YOLACT的网络结构构建轮廓分割网络模型并对其参数进行随机初始化；然后，获取YOLACT在MS COCO数据集上训练后的模型参数，用除输出层外其他层的参数对YOLACT中参数进行赋值；

3.2设置网络训练时的超参数；

3.3训练网络模型，当模型迭代次数达到预设阈值时停止训练，并保存此刻模型的结构和参数；

3.4获得像素级的人体轮廓，将待测图像输入轮廓分割网络模型，获得人体轮廓信息；

进一步的，所述步骤3.1中，网络选取ResNet-101和FPN作为主干网络，网络的目标函数为：

L_mask＝BCE(M,M_gt)

其中，M为网络输出的预测值，M_gt为真实值，BCE(*)表示计算两者像素级二进制交叉熵。

步骤4.精确特征点提取

4.1确定感兴趣区域，以特征点的横纵坐标为中心，取人体宽度1/3、人体长度1/5大小的矩形为兴趣区域；

4.2特征点位置调整，设定调整条件：当调整距离在横坐标或纵坐标方向大于感兴趣区域宽度或高度的1/3时，拒绝调整；

根据先验知识确定特征点的调整方向，沿调整方向从上往下进行遍历：

当出现第一个非0像素点时、确定该点为调整后的新坐标，且新坐标满足调整条件，则将初步特征点调整为新坐标；

若未找到非0像素点，则拒绝调整。

进一步的，所述步骤4.2中，待提取特征点的调整方向先验信息为：

与水平方向的夹角设置为：头顶点90°、左颈点180°、右颈点180°、左肩点135°、右肩点45°、左胸点180°、右胸点180°、左腕点135°、右腕点45°以及脚底点90°。

与现有技术相比，本发明的有益效果在于：

本发明提供一种面向非接触式人体参数测量的特征点定位方法；

1、本发明利用深度学习网络模型代替传统的图像分割算法来提取人体的轮廓信息，使得提取的轮廓信息更加精确，并克服了传统算法在复杂背景下难以提取人体轮廓的弊端；

2、本发明将强依赖的轮廓提取与特征点提取两个步骤进行了分离，减少了特征点提取对轮廓提取结果的依赖，而且利用深度学习网络模型进行特征点提取对人体形态没有要求，克服了传统算法设计时只适应了标准的人体形态使得现实环境下特征点提取不准确的问题。

3、本发明在深度学习网络模型提取特征点的基础上，结合像素级的人体轮廓信息和特征点位置的先验知识对初步定为的特征点进行调整，使得特征点的定位更加准确。

附图说明

图1为本发明的总体流程图；

图2为本发明的数据集构建中人体站姿及特征点位置示意图；

图3为本发明的初步特征点定位流程图；

图4为本发明的人体轮廓信息提取流程图；

图5为本发明的精确特征点定位流程图。

具体实施方式

本发明中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合附图对本发明做进一步说明：

实施例1

本实施例提供一种面向非接触式人体参数测量的特征点定位方法，其总体流程如图1所示，包括：数据集构建、初步特征点提取、像素级轮廓分割、精确特征点提取四个步骤，每个大步骤下包含多个小步骤；其中，数据集构建是为了后续的步骤进行准备，两个网络模型是将深度学习应用到量体特征点定位当中，精确特征点提取综合两个模型的提取结果并加入先验知识使得特征点的定位更加精确。更具体的讲：

步骤1.数据集构建

1.1人体图像采集，在进行人体图像采集时要求被拍摄者的基本站姿为：身体笔直站立、目视正前方、双脚自然站立且脚尖向外分开呈一定角度(小于90°)、手臂张开与身体呈一定的夹角(小于90°)、掌心向外；拍摄要求为：拍摄设备置于被拍摄者正前方且与地面垂直、与被拍摄者相距3～5米；

1.2待提取特征点标记，根据要提取的人体参数对特征点进行标记，标记的准则为待提取长度线上的左右端点；如图2所示为本实施例中获取人体图像的预设站姿及对特征点的标记位置示意图，本实施例中的特征点为：头顶点、左颈点、右颈点、左肩点、右肩点、左胸点、右胸点、左腕点、右腕点以及脚底点；标记产生一条文本记录，该记录以标记图像文件名开始，以空格相隔，两个浮点值为一组横纵坐标，格式如下所示：

[QQImage20180321112713.jpg 1397.09 900.876 1379.77 1313.43 1558.871293.53 1121.06 1366.5 1804.31 1339.97 1147.6 1558.87 1737.98 1565.51 1160.862109.45 1718.08 2102.82 822.554 1412.94 2189.05 1399.67 404.643 1419.572587.06 1426.2 975.124 1399.67 1976.78 1379.77 1459.37 3509.12]；

1.3数据集划分，将数据集按照5：1的比例划分为训练集和验证集；

步骤2.初步特征点提取

如图3所示为本发明的初步特征点提取过程流程图，本发明根据具体需求采用了CPN(Cascaded Pyramid Network)进行特征点的提取，首先构建网络模型并初始化网络模型中的参数，其次设置网络训练时采用的超参数，再次在自建数据集上对网络进行训练，然后确定训练停止时间并将停止训练时的网络模型进行保存，最后在保存的网络模型中进行一次前向传播提取初步定位的特征点；具体如下所示：

2.1构建网络模型并初始化参数

2.1.1根据CPN的网络结构构建特征点提取网络模型并对其参数进行随机初始化，网络输入为192*256的三通道彩色图像，除残差模块外，其它卷积层的卷积核均为3*3大小；残差模块选用瓶颈式残差模块，先利用1*1卷积核卷积，然后用3*3大小的卷积核提取特征，最后用1*1卷积核提升特征图数量；

2.1.2获取CPN在MS COCO数据集上训练后的模型参数，用除输出层外其他层的参数对CPN中参数进行赋值；

2.2设置网络训练时的超参数，包括：优化器选择Adam、初始学习率为5e-4并每3600000步将学习率下降为原来的一半、batch size为32、权重衰减率为1e-5；

2.3确定训练停止时间并保存模型，模型在训练集和验证集上的误差差值小于某个阈值时停止对网络模型的训练并保存此刻模型的结构和参数，本实施例中该阈值可以选取1000，误差计算公式如下：

其中，y_i为网络输出的预测值，

为真实值；

2.4提取初步定位的特征点，输入待测图像在保存的网络模型上进行一次前向传播获得初步定为的量体特征点；

步骤3.像素级轮廓分割

如图4所示为本发明的轮廓提取流程图，本发明根据具体需求采用了YOLACT(YouOnly Look At CoefficienTs)进行轮廓提取，首先构建网络模型并初始化网络模型中的参数，其次设置网络训练时采用的超参数，再次在自建数据集上对网络进行训练，然后确定训练停止时间并将训练停止时的网络模型进行保存，最后在保存的网络模型中进行一次前向传播提取人体轮廓信息；具体如下所示：

3.1构建网络模型并初始化参数

3.1.1根据YOLACT的网络结构构建特征点提取网络模型并对其参数进行随机初始化；网络选取ResNet-101和FPN作为主干网络，输入为550*550的三通道图像，网络的目标函数如下：

L_mask＝BCE(M,M_gt)

其中，M为网络输出的预测值，M_gt为真实值，BCE(*)表示计算两者像素级二进制交叉熵；

3.1.2获取YOLACT在MS COCO数据集上训练后的模型参数，用除输出层外其他层的参数对YOLACT中参数进行赋值；

3.2设置网络训练时的超参数，包括：优化器选择SGD，初始学习率为0.003并在迭代次数为280k、600k、700k、750k时分别下降10％，batch size为8，权重衰减率为0.0005，动量取值0.9；

3.3确定训练停止时间并保存模型，本实施例中在模型迭代次数为800k时停止训练；

3.4获得像素级的人体轮廓，输入待测图像在保存的网络模型上进行一次前向传播获得人体轮廓信息；

步骤4.精确特征点提取

在进行步骤2和步骤3获得初步特征点定位和人体轮廓信息后，本发明进入微调初步特征点定位结果这一步骤，如图5所示，首先以特征点坐标为中心确定局部感兴趣区域大小，然后根据感兴趣区域中的轮廓信息，对初步定为的特征点结果进行微调：

4.1确定感兴趣区域，通常待测量图像的大小不一，采用固定的方式确定兴趣区域并不合理，在本发明中，感兴趣区域根据图像中人体大小动态确定，确定方法为：以特征点的横纵坐标为中心，取人体宽度1/3、人体长度1/5大小的矩形为兴趣区域；人体大小则可以通过头顶点、脚底点、左右腕点四个特征点近似计算，将头顶点到脚底点的距离定义为人体的长度，将左右腕点的距离定义为人体的宽度；

4.2特征点位置微调，要定位的特征点一定是分布在人体的轮廓上的，所以结合步骤3中得到的人体轮廓信息和相关特征点的先验知识对初步特征点定位结果进行调整，因为步骤2的结果可信度较高，所以本发明只允许该步骤中对初步特征点定位结果进行微调，当调整的距离在横坐标或纵坐标方向大于感兴趣区域宽度或高度的1/3时则可以拒绝本次调整；

确定特征点的调整方向，特征点的调整原则是将初步特征点微调到人体轮廓线上，但在感兴趣区域中，可能存在众多的轮廓线上的点，所以本发明中对特征点的调整方法为，根据先验知识，确定特征点的调整方向，沿该方向从上到下进行遍历，当出现第一个非0像素点时，确定该点为调整后的新坐标，如果未找到非0像素点则拒绝调整，如果调整后的新坐标不满足微调的限制条件则拒绝调整；对于本发明中待提取特征点的调整方向与水平方向的夹角可以设置为：头顶点90°、左颈点180°、右颈点180°、左肩点135°、右肩点45°、左胸点180°、右胸点180°、左腕点135°、右腕点45°以及脚底点90°。

本发明自建了用于人体测量的数据集，为后续步骤提供训练及测试的数据；之后在自建数据集上对用于提取初步特征点的网络模型和用于提取人体轮廓信息的网络模型进行微调训练，基于深度学习的方法克服了传统算法中需要人工构建特征工程的弊端，更加适应现实环境；利用深度学习方法定位特征点也使得传统方法中轮廓提取和特征点定位两个强依赖的步骤得到解除，可以有效地减小定位的误差；因为人体测量对精度的要求较高，所以本发明对初步定为的特征点进行了进一步的调成以获得更加精确的结果，在对特征点进行调整时加入了先验知识并利用微调原则加以控制，使得特征点定位的精度得到进一步的提升。测试证明，本发明方法在现实环境下提取精度较高，有效地减少了对背景环境的要求。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种面向非接触式人体参数测量的特征点定位方法，包括以下步骤：

步骤1.数据集构建

1.1人体图像采集，按照规定站姿拍摄人体正面图像，得到人体图像数据集；

1.2标记待提取特征点，根据提取的人体参数对人体图像数据集进行待提取特征点标记，获取待提取特征点位置信息；

步骤2.初步特征点提取

2.1构建特征点提取网络模型，首先，根据CPN的网络结构构建特征点提取网络模型并对其参数进行随机初始化；然后，获取CPN在MS COCO数据集上训练后的模型参数，用除输出层外其他层的参数对CPN中参数进行赋值；

2.2设置网络训练时的超参数；

2.3训练网络模型，当模型在训练集和验证集上的误差差值小于预设阈值时停止训练、并保存此刻模型的结构和参数；所述训练集和验证集由步骤1中数据集按照预设比例划分形成；

2.4提取初步定位的特征点，将待测图像输入特征点提取网络模型，获得初步特征点；

步骤3.像素级轮廓分割

3.1构建轮廓分割网络模型并初始化参数，首先，根据YOLACT的网络结构构建轮廓分割网络模型并对其参数进行随机初始化；然后，获取YOLACT在MS COCO数据集上训练后的模型参数，用除输出层外其他层的参数对YOLACT中参数进行赋值；

3.2设置网络训练时的超参数；

3.3训练网络模型，当模型迭代次数达到预设阈值时停止训练，并保存此刻模型的结构和参数；

3.4获得像素级的人体轮廓，将待测图像输入轮廓分割网络模型，获得人体轮廓信息；

步骤4.精确特征点提取

4.1确定感兴趣区域，以初步特征点的横纵坐标为中心，取人体宽度1/3、人体长度1/5大小的矩形为感兴趣区域；

4.2特征点位置调整，设定调整条件：当调整距离在横坐标或纵坐标方向大于感兴趣区域宽度或高度的1/3时，拒绝调整；

根据先验知识确定特征点的调整方向，沿调整方向从上往下进行遍历：

当出现第一个非0像素点时、确定该点为调整后的新坐标，且新坐标满足调整条件，则将初步特征点调整为新坐标；

若未找到非0像素点，则拒绝调整。

2.按权利要求1所述面向非接触式人体参数测量的特征点定位方法，其特征在于，步骤1.1中，所述人体图像采集时：被拍摄者的规定站姿为：身体笔直站立、目视正前方、双脚自然站立且脚尖向外分开呈小于90°的角度、手臂张开与身体呈小于90°的夹角、掌心向外；拍摄要求为：拍摄设备置于被拍摄者正前方且与地面垂直、与被拍摄者相距3～5米。

3.按权利要求1所述面向非接触式人体参数测量的特征点定位方法，其特征在于，步骤1.2中，待提取特征点为：头顶点、左颈点、右颈点、左肩点、右肩点、左胸点、右胸点、左腕点、右腕点以及脚底点。

4.按权利要求3所述面向非接触式人体参数测量的特征点定位方法，其特征在于，所述步骤4.2中，待提取特征点的调整方向先验信息为：

与水平方向的夹角设置为：头顶点90°、左颈点180°、右颈点180°、左肩点135°、右肩点45°、左胸点180°、右胸点180°、左腕点135°、右腕点45°以及脚底点90°。

5.按权利要求1所述面向非接触式人体参数测量的特征点定位方法，其特征在于，所述步骤3.1中，网络选取ResNet-101和FPN作为主干网络，网络的目标函数为：

L_mask＝BCE(M,M_gt)

其中，M为网络输出的预测值，M_gt为真实值，BCE(*)表示计算两者像素级二进制交叉熵。

Images