CN110210293A - 一种基于三维数据和面部图像的性别识别方法 - Google Patents

Abstract

本发明属于数据识别领域，提出一种基于三维数据和面部图像的性别识别方法，通过对人体三维点云数据进行投影和计算，获取人体正面和侧面的二维轮廓数据；对所述二维轮廓数据分别进行样本点选取，利用神经网络对所述样本点进行分类识别，获取多个形体特征点，再结合人体的面部图像提取的多个面部特征点，完成性别判断。本发明的方法在基于三维测体装置获得的人体三维点云数据和面部图像，直接进行性别识别的同时，还可以获取多个形体特征点如腰围、胸围、臀部等，为后续进行量体裁衣或高级定制提供数据基础，裁衣或定制的结果更加准确，为彻底解放裁缝师的双手提供保障。

Description

一种基于三维数据和面部图像的性别识别方法

技术领域

本发明涉及识别人的性别的方法，尤其涉及一种基于三维数据和面部图像的性别识别方法。

背景技术

三维人体测量技术能够异地采集人体尺寸、体型和照片，误差小、稳定性高，被视为是取代成本较高的量体师、建立人体体型数据库、实现个性化定制的基本步骤和关键。而性别是客户的一个重要特征，在许多情况下，希望能够识别客户的性别，以便进行有针对性的商业推广、设定量体裁衣的设计方向等。一般而言，可以通过人脸识别来容易地确定客户性别，通过普通的人脸特征提取算法，提取人脸特征后进行特征匹配，例如adaboost，检测结果不是很准确，耗时也比较多，并且需要指定提取的特征，算法比较复杂，而且仅仅利用了人体的面目图像的部分信息，当其中的部分信息被干扰时，势必会影响其识别率，另外，在整个人体进行三维扫描或整体捕捉时，人体面部数据只是数据的一部分，这时候单独将面部数据截取进行分析存在着：一是数据不够精准，如果要数据精准，则人体的整体数据量会变大，处理要求高，二是单独截取出来还会存在数据处理的其他问题，不利于进行后续的量体裁衣或者高级定制。

发明内容

本发明提出了一种基于三维数据和面部图像的性别识别方法，解决了现有性别识别主要依靠面部特征进行识别，不利于进行后续的量体裁衣或者高级定制等问题。

技术方案

一种基于三维数据和面部图像的性别识别方法，通过对人体三维点云数据进行投影和计算，获取人体正面和侧面的二维轮廓数据；对所述二维轮廓数据分别进行样本点选取，利用神经网络对所述样本点进行分类识别，获取多个形体特征点，再结合人体的面部图像提取的多个面部特征点，完成性别判断。

进一步，将所述二维轮廓数据进行归一化处理，再进行等间距选取多个样本点，利用第一神经网络对所有样本点进行分类识别，获取多个形体特征点，然后结合人体的面部图像提取的多个面部特征点，利用第二神经网络对多个所述形体特征点和面部特征点进行分类识别，完成性别判断。

进一步，所述形体特征点包括对应人体正面的二维轮廓的颈部、肩部、手部和腰部特征点，对应人体侧面的二维轮廓的颈部、胸部、腰部和臀部特征点，所述面部特征点包括外侧轮廓特征点和内侧部位特征点，所述内侧部位特征点包括眼睛、眉毛、鼻子和嘴巴部位的特征点。

进一步，获取多个形体特征点的方法包括以下步骤：

步骤一、记人体正面和侧面的二维轮廓数据分别表示为(x，y)和(z，y)，利用如下方程式，将所述二维轮廓数据中y坐标值转化到区间[0，1]上，对应的x坐标值和z坐标值也做相应的变化，转化后的人体正面和侧面的二维轮廓数据，分别标记为(x_n，y_n)和(z_n，y_n)；

步骤二、分别计算转化后的人体正面和侧面的二维轮廓数据所在曲线的长度L1和L2，以距离Δd＝L/N_l在所述曲线上进行等间隔取点，共提取2N_l个样本点；

步骤三、将2N_l个样本点制作成4N_l个坐标值构成的一维向量，以所述一维向量为输入，利用第一神经网络进行分类识别，获取多个形体特征点组成的一维向量输出。

进一步，将多个所述面部特征点组成一维向量与多个形体特征点组成的一维向量结合作为输入，利用第二神经网络进行分类识别，完成性别识别。

进一步，所述面部特征点设置有68个，其中第1至17号点对应外侧轮廓特征点，第18至68号点对应内侧部位特征点，利用现有的Dlib库中的人脸关键点检测器shape_predictor_68_face_landmarks.dat对测体对象的面部图像进行标定获得，记面部特征点为(x′，y′)，利用如下方程式将所有面部特征点进行归一化处理，处理后的面部特征点记为(x″，y″)，并将处理后的面部特征点按照标号顺序组成一维向量，

其中，y_max，y_min分别表示68个面部特征点对应的y坐标值中的最大值和最小值。

进一步，所述长度L1和L2设置为转化后的人体正面和侧面的二维轮廓数据中相邻两点的距离和，所述第一神经网络设置有十层，每层的隐藏层设置有12个神经元，输出层设置有20个神经元，所述第二神经网络设置有十层，每层的隐藏层设置有30个神经元，输出层设置有10个神经元。

进一步，获取人体正面和侧面的二维轮廓数据的方法包括以下步骤：

步骤I、将人体三维点云数据在XOY、ZOY平面进行投影，获取人体正面和侧面投影，计算直线y＝y_i与人体正面和侧面投影的交点之间距离，以距离最大时对应的两个点标记为轮廓点，并进行轮廓提取，获得人体侧面的二维轮廓数据，标记为(z，y)，其中z_min≤z≤z_max，y_min≤y≤y_max，以及人体正面的外部二维轮廓数据，标记为XY_out＝[(x_1o，y_1o)，(x_2o，y_2o)，(x_3o，y_3o)...(x_no，y_no)]，其中x_min≤x_io≤x_max，y_min≤y_io≤y_max；

步骤II、在人体正面的外部二维轮廓数据中，取手部最低点记为(x_sl，y_sl)和(x_sr，y_sr)，以直线y＝y₀+Nd对人体正面投影从初始值y₀向y_max搜索，其中，N为自然数，d表示固定步长，y₀＝min(y_sl，y_sr)，并计算所述直线y＝y₀+Nd与人体正面投影交点间断的相邻两点之间的距离D；

步骤III、若所述距离D小于距离阈值D₀则停止搜索，并标记所有所述相邻的两点，标记为XY_in＝[(x_1i，y_1i)，(x_2i，y_2i)，(x_3i，y_3i)...(x_mi，y_mi)]，获取人体正面的内部二维轮廓数据，其中x_ii∈[x_sl，x_ql]∪[x_sr，x_qr]，y_ii∈[y_sl，y_bl]∪[y_sr，y_br]，点(x_ql，y_sl)和(x_qr，y_sr)表示过点(x_sl，y_sl)或者(x_sr，y_sr)的直线y＝y₀+nd与人体正面的内部二维轮廓的躯干部分的交点，坐标值y_br和y_bl分别表示人体右侧手臂、左侧手臂与躯干部分分离的起始点对应的坐标值。

进一步，所述人体三维点云数据设置为测体对象的手臂垂直于两侧，与人体躯干间隔一拳，且以标准站姿站于测体装置的指定位置进行测量获得。

有益效果

本发明提供的基于三维数据和面部图像的性别识别方法，在人体三维数据点云的基础上，通过对人体正面和侧面的二维轮廓数据进行归一化处理和样本点获取，利用第一神经网络完成多个形体特征点的识别，再结合现有的人脸识别技术获取多个面部特征点，然后基于多个形体特征点和面部特征点完成性别判断，利用本发明的方法能够减少数据冗余，实现快速计算，较单纯的面部识别更加直观，准确率更高，在基于三维测体装置获得的人体三维点云数据和面部图像，直接进行性别识别的同时，还可以获取多个形体特征点如腰围、胸围、臀部等，为后续进行量体裁衣或高级定制提供数据基础，裁衣或定制的结果更加准确，为彻底解放裁缝师的双手提供保障。

附图说明

图1为本发明的总体流程示意图；

图2为本发明的测试对象进行三维数据采集的站立示意图；

图3为本发明的三维点云数据的侧面投影；

图4为本发明的正面的外部二维轮廓的示意图；

图5为本发明的正面的内部二维轮廓获取过程的示意图；

图6为本发明的正面的二维轮廓对应的形体特征点示意图；

图7为本发明的侧面的二维轮廓对应的形体特征点示意图；

图8为本发明的第一神经网络的结构示意图；

图9为本发明的面部特征点的位置示意图；

图10为本发明的第二神经网络的结构示意图；

具体实施方式

下面结合具体实施例和附图，对本发明进一步说明。

现在针对人体的识别，主要是采用面部识别，基于人体的面部图像识别脸部的一些特征如眼距，轮廓特征等，其主要参考依据是不同性别的人士在面部特征上的一些细微差别，或者说大部分的男性和大部分的女性具有的面部的一些生理特性来进行性别的判断。

因此，在获取的是人体的整体的三维数据时，我们提出通过对人体扫描或人体轮廓捕捉获得的人体三维点云的数据进行形体识别，或者通过人体三维点云的数据拼接重建完整的三维人体模型，获取人体正面和侧面的二维轮廓数据，计算得到不同形体特征点，进行形体识别。可以通过人体三维点云数据重建成的三维人体轮廓进行正面和侧面的投影，以投影后的二维数据的人体轮廓，如胸部特征，臀部特征点等明确的人体形体的体征数据进行人的性别判断。

如图1所示，本发明提供了一种基于三维数据和面部图像的性别识别方法，通过对人体三维点云数据进行投影和计算，获取人体正面和侧面的二维轮廓数据；对二维轮廓数据分别进行样本点选取，利用神经网络对样本点进行分类识别，获取多个形体特征点，再结合人体的面部图像提取的多个面部特征点，完成性别判断。

首先，在获取人体三维点云数据时，如图2所示，测体对象的手臂需垂直于两侧，与人体躯干间隔一拳，且以标准站姿站于测体装置的指定位置进行测量，使测体对象能够尽可能舒展地站立于测体装置前面，通过扫描拼接测量得到的三维点云数据，从而确保可以尽可能采集测体对象的特征，比如胸部、臀部等，为后续的性别识别提供数据保证。

然后，基于测量得到的三维点云数据，获取人体正面和侧面的二维轮廓数据，具体方法包括以下步骤：

步骤I、将人体三维点云数据在XOY、YOZ平面进行投影，计算直线y＝y_i人体正面和侧面投影的交点之间距离，以距离最大时对应的两个点标记为轮廓点，并进行轮廓提取，获得人体侧面的二维轮廓数据，标记为(z，y)，其中z_min≤z≤z_max，y_min≤y≤y_max，如图3所示，由于测量对象站立时，其手臂与人体躯干间隔一拳，所以上述方法仅能得到人体正面的外部二维轮廓数据，如图4所示，不包括手臂内侧与人体躯干部分的轮廓，标记为XY_out＝[(x_1o，x_1o)，(x_2o，y_2o)，(x_3o，y_3o)...(x_no，y_no)]，其中x_min≤x_io≤x_max，y_min≤y_io≤y_max；

步骤II、在上述人体正面的外部二维轮廓数据中，取手部最低点记为点A(x_sl，y_sl)和点B(x_sr，y_sr)，以直线y＝y₀+Nd对人体正面投影从初始值y₀向y_max搜索，其中，N为自然数，d表示固定步长，y₀＝min(y_sl，y_sr)，将直线与人体正面投影边缘的交点由左至右依次标记为K1、K2、K3、K4、K5、K6，如图5所示，由于人体正面投影中的手臂、躯干部分都是有数据的，而两者之间的部分是有间隔的，没有数据，因此这部分与直线y＝y₀+Nd没有交点，可以计算该直线y＝y₀+Nd与人体正面投影交点间断的相邻两点之间的距离D即点K2、K3与K4、K5之间的距离；

步骤III、若距离D小于距离阈值D₀则停止搜索，此时搜索已可以判定到达手臂和躯干的结合部，因此标记所有相邻的两点，即为手臂与对应躯干部分的轮廓数据，从而获取人体正面的内部二维轮廓数据，记为XY_in＝[(x_1i，y_1i)，(x_2i，y_2i)，(x_3i，y_3i)...(x_mi，y_mi)]，其中x_ii∈[x_sl，x_ql]∪[x_sr，x_qr]，y_ii∈[y_sl，y_bl]∪[y_sr，y_br]，点(x_ql，y_sl)和(x_qr，y_sr)表示过点(x_sl，y_sl)或者(x_sr，y_sr)的直线y＝y₀+nd与人体正面的内部二维轮廓的躯干部分的交点，坐标值y_br和y_bl分别表示人体右侧手臂、左侧手臂与躯干部分的结合部对应的坐标值。

接着，将人体正面和侧面的二维轮廓数据进行归一化处理，再进行等间距选取多个样本点，利用第一神经网络对多个样本点进行分类识别，获取多个形体特征点，包括对应人体正面的二维轮廓的颈部、肩部、手部和腰部特征点，对应人体侧面的二维轮廓的颈部、胸部、腰部和臀部特征点，然后，将多个形体特征点组成的一维向量与多个面部特征点组成一维向量结合作为输入，利用第二神经网络进行分类识别，完成性别识别，具体包括以下步骤：

步骤一、由于人体的身高不同，采集的数据范围不同，为了保证后续神经网络的输入具有同一权重，避免神经元饱和，使神经网络快速收敛，需要将数据进行归一化处理，因此，令上述获得的人体正面和侧面的二维轮廓数据分别表示为(x，y)和(z，y)，利用如下方程式，将二维轮廓数据中y坐标值转化到区间[0，1]上，对应的x坐标值和z坐标值也做相应的变化，转化后的人体正面和侧面的二维轮廓数据，分别标记为(x_n，y_n)和(z_n，y_n)；

步骤二、分别计算转化后的人体正面和侧面的二维轮廓数据所在曲线的长度L1和L2，可以通过计算转化后的人体正面和侧面的二维轮廓数据中相邻两点的距离和获取，以距离Δd＝L/N_l在曲线上进行等间隔取点，共提取2N_l个样本点，分别标记为取点时，若距离Δd＝L/N_l计算得到的点没有包含在人体正面和侧面的二维轮廓数据，可以将该数据中和距离Δd＝L/N_l计算得到的点最近的点代替；

步骤三、将2N_l个样本点制作成4N_l个坐标值构成的一维向量，标记为以该一维向量为输入，利用第一神经网络进行分类识别，获取多个形体特征点组成的一维向量输出，包括对应人体正面的二维轮廓的颈部(t_x1，t_y1)，(t_x2，t_y2)、肩部(t_x3，t_y3)，(t_x4，t_y4)、手部(t_x5，t_y5)，(t_x6，t_y6)和腰部(t_x7，t_y7)，(t_x8，t_y8)的特征点，如图6所示，对应人体侧面的二维轮廓的颈部(t_z9，t_y9)，(t_z10，t_y10)、胸部(t_z11，t_y11)、腰部(t_z12，t_y12)和臀部(t_z13，t_y13)的特征点，如图7所示，其组成的一维向量设置为[t_x1，t_y1，t_x2，t_y2，t_x3，t_y3，t_x4，t_y4，t_x5，t_y5，t_x6，t_y6，t_x7，t_y7，t_x8，t_y8，t_y9，t_z9，t_z10，t_y10，t_z11，t_y11，t_z12，t_y12，t_z13，t_y13]，该第一神经网络可设置有十层，如图8所示，每层的隐藏层设置有12个神经元，输出层设置有20个神经元。如取N_l＝5000个样本点，将总样本点2N_l个以7∶3的比例分为训练样本和测试样本，将训练样本输入第一神经网络进行训练，其输入的特征点坐标均经过多名专业服装裁缝人士手工标出，然后，再将测试样本输入第一神经网络进行测试，其准确率见表1所示：

表1

步骤四、面部特征点设置有68个，其中第1至17号点对应外侧轮廓特征点，第18至68号点对应内侧部位特征点，如图9所示，利用现有的Dlib库中的人脸关键点检测器shape_predictor_68_face_landmarks.dat对测体对象的面部图像进行标定获得，当然，也可以利用现有的其他面部识别的方法获取面部特征点，其面部图像可以在测体装置上安装摄像头，在测体对象进行三维数据采集时，对其面部进行拍摄获得。

同样为了加速神经网络的收敛，对于面部特征点的坐标也需要就进行归一化，记面部特征点分别为(x′₁，y′₁)，(x′₂，y′₂)，(x′₃，y′₃)...(x′₆₈，y′₆₈)，利用如下方程式将所有面部特征点进行归一化处理，归一后的面部特征点分别记为(x″₁，y″₁)，(x″₂，y″₂)，(x″₃，y″₃)...(x″₆₈，y″₆₈)，并将处理后的面部特征点按照标号顺序组成一维向量[x″₁，y″，x″₂，y″，x″₃，y″...x″₆₈，y″₆₈]，

其中，y_max，y_min分别表示68个面部特征点对应的y坐标值中的最大值和最小值。

步骤五、以一维向量[t_x1，t_y1，t_x2，t_y2，t_x3，t_y3，t_x4，t_y4，t_x5，t_y5，t_x6，t_y6，t_x7，t_y7，t_x8，t_y8，t_y9，t_z9，t_z10，t_y10，t_z11，t_y11，t_z12，t_y12，t_z13，t_y13]和[x″₁，y″，x″₂，y″，x″₃，y″...x″₆₈，y″₆₈]作为第二神经网络的输入，该第二神经网络也设置有十层，如图10所示，每层的隐藏层设置有30个神经元，输出层设置有10个神经元，输出为性别S，其中S＝0为女性，S＝1为男性。同样，以步骤三输入的训练样本得到特征点的一维向量作为第二神经网络的训练样本，输入第二神经网络进行训练，然后，再将利用步骤三输入的测试样本得到特征点的一维向量，错误的特征点需要改正，作为第二神经网络的测试样本，输入第二神经网络进行测试，其准确率见表2所示：

表2

其中，90.30％为真实性别为男性，预测性别为男性的准确率，91.49％为真实性别为女性，预测性别为女性的准确率，9.70％为真实性别为女性，预测性别为男性的错误率，8.51％为真实性别为男性，预测性别为女性的错误率。

Claims (9)

1.一种基于三维数据和面部图像的性别识别方法，其特征在于：通过对人体三维点云数据进行投影和计算，获取人体正面和侧面的二维轮廓数据；对所述二维轮廓数据分别进行样本点选取，利用神经网络对所述样本点进行分类识别，获取多个形体特征点，再结合人体的面部图像提取的多个面部特征点，完成性别判断。

2.根据权利要求1所述的基于三维数据和面部图像的性别识别方法，其特征在于：将所述二维轮廓数据进行归一化处理，再进行等间距选取多个样本点，利用第一神经网络对所有样本点进行分类识别，获取多个形体特征点，然后结合人体的面部图像提取的多个面部特征点，利用第二神经网络对多个所述形体特征点和面部特征点进行分类识别，完成性别判断。

3.根据权利要求2所述的基于三维数据和面部图像的性别识别方法，其特征在于：所述形体特征点包括对应人体正面的二维轮廓的颈部、肩部、手部和腰部特征点，对应人体侧面的二维轮廓的颈部、胸部、腰部和臀部特征点，所述面部特征点包括外侧轮廓特征点和内侧部位特征点，所述内侧部位特征点包括眼睛、眉毛、鼻子和嘴巴部位的特征点。

4.根据权利要求2所述的基于三维数据和面部图像的性别识别方法，其特征在于获取多个形体特征点的方法包括以下步骤：

步骤一、记人体正面和侧面的二维轮廓数据分别表示为(x,y)和(z,y)，利用如下方程式，将所述二维轮廓数据中y坐标值转化到区间[0,1]上，对应的x坐标值和z坐标值也做相应的变化，转化后的人体正面和侧面的二维轮廓数据,分别标记为(x_n,y_n)和(z_n,y_n)；

步骤二、分别计算转化后的人体正面和侧面的二维轮廓数据所在曲线的长度L1和L2,以距离Δd＝L/N_l在所述曲线上进行等间隔取点，共提取2N_l个样本点；

步骤三、将2N_l个样本点制作成4N_l个坐标值构成的一维向量，以所述一维向量为输入，利用第一神经网络进行分类识别，获取多个形体特征点组成的一维向量输出。

5.根据权利要求4所述的基于三维数据和面部图像的性别识别方法，其特征在于：将多个所述面部特征点组成一维向量与多个形体特征点组成的一维向量结合作为输入，利用第二神经网络进行分类识别，完成性别识别。

6.根据权利要求5所述的基于三维数据和面部图像的性别识别方法，其特征在于：所述面部特征点设置有68个，其中第1至17号点对应外侧轮廓特征点，第18至68号点对应内侧部位特征点，利用现有的Dlib库中的人脸关键点检测器shape_predictor_68_face_landmarks.dat对测体对象的面部图像进行标定获得，记面部特征点为(x′,y′)，利用如下方程式将所有面部特征点进行归一化处理，处理后的面部特征点记为(x″,y″)，并将处理后的面部特征点按照标号顺序组成一维向量，

其中，y_max,y_min分别表示68个面部特征点对应的y坐标值中的最大值和最小值。

7.根据权利要求5所述的基于三维数据和面部图像的性别识别方法，其特征在于：所述长度L1和L2设置为转化后的人体正面和侧面的二维轮廓数据中相邻两点的距离和，所述第一神经网络设置有十层，每层的隐藏层设置有12个神经元，输出层设置有20个神经元，所述第二神经网络设置有十层，每层的隐藏层设置有30个神经元，输出层设置有10个神经元。

8.根据权利要求1所述的基于三维数据和面部图像的性别识别方法，其特征在于获取人体正面和侧面的二维轮廓数据的方法包括以下步骤：

步骤Ⅰ、将人体三维点云数据在X0Y、Z0Y平面进行投影，获取人体正面和侧面投影，计算直线y＝y_i与人体正面和侧面投影的交点之间距离，以距离最大时对应的两个点标记为轮廓点，并进行轮廓提取，获得人体侧面的二维轮廓数据，标记为(z,y)，其中z_min≤z≤z_max,y_min≤y≤y_max，以及人体正面的外部二维轮廓数据，标记为XY_out＝[(x_1o,y_1o),(x_2o,y_2o),(x_3o,y_3o)...(x_no,y_no)]，其中x_min≤x_io≤x_max,y_min≤y_io≤y_max；

步骤Ⅱ、在人体正面的外部二维轮廓数据中，取手部最低点记为(x_sl,y_sl)和(x_sr,y_sr),以直线y＝y₀+Nd对人体正面投影从初始值y₀向y_max搜索，其中，N为自然数，d表示固定步长，y₀＝min(y_sl,y_sr),并计算所述直线y＝y₀+Nd与人体正面投影交点间断的相邻两点之间的距离D；

步骤Ⅲ、若所述距离D小于距离阈值D₀则停止搜索，并标记所有所述相邻的两点，标记为XY_in＝[(x_1i,y_1i),(x_2i,y_2i),(x_3i,y_3i)...(x_mi,y_mi)],获取人体正面的内部二维轮廓数据，其中x_ii∈[x_sl,x_ql]∪[x_sr,x_qr],y_ii∈[y_sl,y_bl]∪[y_sr,y_br]，点(x_ql,y_sl)和(x_qr,y_sr)表示过点(x_sl,y_sl)或者(x_sr,y_sr)的直线y＝y₀+nd与人体正面的内部二维轮廓的躯干部分的交点，坐标值y_br和y_bl分别表示人体右侧手臂、左侧手臂与躯干部分分离的起始点对应的坐标值。

9.根据权利要求1所述的基于三维数据和面部图像的性别识别方法，其特征在于：所述人体三维点云数据设置为测体对象的手臂垂直于两侧，与人体躯干间隔一拳，且以标准站姿站于测体装置的指定位置进行测量获得。