CN110210374A - 基于光栅条纹投影的三维人脸定位方法 - Google Patents

基于光栅条纹投影的三维人脸定位方法 Download PDF

Info

Publication number
CN110210374A
CN110210374A CN201910457694.4A CN201910457694A CN110210374A CN 110210374 A CN110210374 A CN 110210374A CN 201910457694 A CN201910457694 A CN 201910457694A CN 110210374 A CN110210374 A CN 110210374A
Authority
CN
China
Prior art keywords
face
point
image
curve
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910457694.4A
Other languages
English (en)
Other versions
CN110210374B (zh
Inventor
常丽
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Publication of CN110210374A publication Critical patent/CN110210374A/zh
Application granted granted Critical
Publication of CN110210374B publication Critical patent/CN110210374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

基于光栅条纹投影的三维人脸定位方法，步骤1）、将四幅作差之后的图像相加并进行二值化处理得到去除背景的调制条纹图像，根据调制条纹图像确定人脸所在的大致位置；步骤2）、曲线拟合优化三维人脸图像；步骤3）、确定人脸图像中的基础信息如人脸左、右边缘线，上、下边缘坐标和人脸在图像中的宽度；步骤4）、根据步骤3）中的基础信息中的人脸左右边缘线拟合曲线并根据曲线确定脖子和耳朵的大致位置；步骤5）、根据鼻尖和眼角位置定位人脸。1.该方法使用方便，获取到的图像中特征更明显，使定位结果更准确。2.可以一定程度上克服表情对定位的影响。3.该方法可以不仅使结果更准确，还减小了运算量，缩短了计算时间。

Description

基于光栅条纹投影的三维人脸定位方法
技术领域
本发明涉及一种基于光栅条纹投影的三维人脸定位方法，涉及光栅投影技术、数字图像处理，模式识别和机器人领域。
背景技术
随着科学的发展和技术的进步，机器人技术迅猛发展，机器人的种类越来越多，功能越来越强大，应用领域也越来越多。其中，应用于服务领域的智能服务机器人由于其可以完成清理、运输、监护和护理等工作，被人们广泛熟知和使用。
随着人们生活水平的提高与人口老龄化问题越来越严重，可以照顾老年人的家庭智能服务机器人有了更加广阔的应用空间。为了完成照顾老人的工作，机器人需要具有完善的身份识别系统，而在各种身份识别系统中，由于人脸识别具有不需要使用者直接接触、可以获取人们的状态与意图以及对使用者干扰小等优势，更适合使用在服务机器人中。
进行人脸识别的最重要的前提就是需要定位人脸，只有在图像中准确定位人脸，才能完成后续的识别工作。目前的人脸定位主要分为基于二维图像的人脸定位和基于三维图像的人脸定位，相比于基于二维图像的人脸定位，基于三维图像的人脸定位受光照、颜色和姿态等影响比较小，而且三维图像中包含了二维图像所不具备的高度结构信息。但是由于三维图像的数据量比较大，包含信息更加繁复。所以基于三维图像的人脸定位算法比较复杂，计算量比较大，需要的时间比较长。无论是基于二维图像还是基于三维图像的人脸定位在遇到表情变化时都会引起识别准确性下降。因此，减小计算量，减弱表情影响成为三维人脸定位技术的关键问题和研究重点。
发明内容
技术问题：本发明提出了一种基于光栅条纹投影的三维人脸定位方法，其目的是解决以往所存在的问题。
技术方案：一种基于光栅条纹投影的三维人脸定位方法，该方法包括以下步骤：
一种基于光栅条纹投影的三维人脸定位方法，其特征在于：该方法具体步骤包括：
步骤1)、首先向人脸的背景投影四步相移光栅条纹图像，即四幅相差90度的光栅图像，并使用相机采集图像，获得四幅背景光栅图像，然后将四步相移光栅图像分别投影到人脸之上，产生四幅畸变光栅图像，使用相机采集图像，之后将四幅畸变光栅图像分别与四幅背景条纹图作差，将四幅作差之后的图像相加并进行二值化处理得到去除背景的调制条纹图像，根据调制条纹图像确定人脸所在的大致位置；
步骤2)、根据步骤1)中的四幅畸变光栅图像与四步相移背景光栅图使用相位测量轮廓术得到三维人脸图像，并通过曲线拟合优化三维人脸图像；
步骤3)、对步骤1)中进行过二值化处理的调制条纹图像进行图像处理获取人脸的剪影图像，确定人脸图像中的基础信息如人脸左、右边缘线，上、下边缘坐标和人脸在图像中的宽度；
步骤4)、根据步骤3)中的基础信息中的人脸左右边缘线拟合曲线并根据曲线确定脖子和耳朵的大致位置；
步骤5)、以步骤4)中的耳朵所在位置为中心搜索附近高度和形状指数满足要求的位置作为鼻尖所在的位置，在鼻尖位置上方的一个小区域中寻找眼角位置，根据鼻尖和眼角位置定位人脸。
步骤1)的具体步骤如下：
步骤1.1)、使用相机采集没有物体时的四步相移背景光栅图，再将四步相移背景光栅图像分别投影到人脸之上并使用相机采集得到四步相移畸变光栅图；
步骤1.2)、将四步相移畸变光栅图进行二值化处理后分别于与相对应的经过二值化处理的背景条纹图作差，得到四幅去掉背景的调制条纹图像；
步骤1.3)、将四幅去掉背景的调制条纹图像求和并进行二值化处理即得到去掉背景的人脸图像，图像中数值为1的像素所在的区域即为人脸所在的大致区域，像素数值全部为0的区域为背景区域。
步骤2)步骤如下：
步骤2.1)、使用相位测量轮廓术根据四幅畸变光栅图像与背景光栅图像解出人脸包裹相位并使用基于最小二乘法的相位展开算法展开包裹相位得到的图像即为三维人脸图像；
步骤2.2)、根据人脸部分在图像中所占像素的数量，确定拟合曲线的长度以及相邻两条曲线相互重叠的长度；
步骤2.3)、逐行进行多次四次曲线拟合，直至每一行的数据都经过曲线拟合修正，每条拟合曲线的长度和相邻两条曲线相互重叠部分的长度通过步骤2.2)确定，曲线的公式描述：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为任意点的序号(拟合曲线中第一个点的序号为1)，y为该点在图像中对应的数值，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤2.4)、使用经过曲线拟合后的数值代替图像中对应位置的原始值，即可得到经曲线拟合修复后的数据。
步骤2.1)中：使用相位测量轮廓术根据四幅畸变光栅图像与背景光栅图像解出人脸包裹相位，公式如下：
其中，x和y分别为图像横坐标和纵坐标，为包裹相位，Ii为第i幅图像的相位值。
根据包裹相位值计算横向包裹相位差和纵向包裹相位差公式如下：
其中，i和j分别为图像横坐标和纵坐标，运算是将的值转化到[-π～π]范围内。
求解使包裹相位相邻相位差与展开相位φi,j相邻相位差在最小二乘意义下的解，即可得到展开相位值φi,j，公式如下：
其中，min{}为求最小值运算，φi+1,j-φi,j和φi,j+1-φi,j分别为横向和纵向展开相位差，和分别为横向和纵向包裹相位差。
使用基于最小二乘法的相位展开算法展开包裹相位得到的图像即为三维人脸图像。
其中步骤3)所述人脸基础信息获取方法如下：
步骤3.1)、在调制条纹图像中从上到下，从左到右逐点搜索值为1的待定有效点；
步骤3.2)、搜索到待定有效点以后，以该待定有效点为左上角的起始点，搜索3*3区域内的待定有效点的个数，如果有效点数量大于区域内总点数的2/3时，则判定该点为有效点，如果不大于判定则该点为无效点；
步骤3.3)、当确定了一个有效点以后，将该点确定为人脸左边缘点，保存其坐标。接着在该行中以该方法从右到左逐点搜索有效点，将搜索到的有效点定为人脸右边缘点，保存其坐标并计算两个有效点之间的长度作为人脸在图像中该行上的宽度。在一行中找到左右两个有效点以后，将两点之间点的值置为1，两侧点的值置为0；
步骤3.4)、跳转到图像的下一行，重复进行步骤3.1)至步骤3.3)中的操作，直到完成整张图像的处理；
步骤3.5)、整张图片搜索完成以后，以全图第一个有效点的所在行为待定的人脸上边缘，以全图最后一个有效点所在行为待定的人脸下边缘。
其中步骤4)所述定位耳朵位置的步骤如下：
步骤4.1)、根据步骤3)中得到的人脸左(右)边缘点，拟合一条四次曲线，曲线的公式描述为：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为边缘点的序号(第一个边缘点的序号为1)，y为该点在图像中所在的列数，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤4.2)、在完成曲线拟合以后，计算人脸左(或右)边缘曲线中极值点(波峰和波谷)的数量，并根据曲线极值点的数量以及人脸的宽度判断耳朵和脖子的位置：
如果边缘曲线中只有一个波峰(或波谷)而没有波谷(或波峰)，则该点即为耳朵的待定位置，曲线下方的截止点(坐标值最大)为脖子位置。
如果边缘曲线中有一个波峰(或波谷)和一个波谷(或波峰)，则两个点中位置偏上的点为耳朵的待定位置，另一个点为脖子位置。
如果边缘曲线中有两个波峰(或波谷)和一个波谷(或波峰)，则两个波峰(或波谷)中位置偏上的点为耳朵的待定位置，波谷(或波峰)处为脖子位置。
在确定了脖子的位置以后，将人脸上边缘至脖子之间的距离定义为人脸长度。由于人脸侧边缘线是通过曲线拟合的方式得到的，所以根据曲线的波峰和波谷直接判断出来的耳朵待定位置并不是准确的耳朵位置。因此，以耳朵的待定位置为中心搜索其附近(人脸长度的1/4)的人脸宽度，其中宽度值最大的位置即为耳朵的位置。
步骤4.3)、在脖子所在待定位置和步骤3.5)中确定的待定的人脸上边缘之间，搜索人脸宽度值最大的部位，该位置即为耳朵所在的第二个待定位置，以耳朵的两个待定位置为依据确定耳朵所在的大致位置。
步骤5)所述确定鼻子位置的方法如下：
确定鼻尖搜索范围的上、下边界分别为以耳朵所在的大致位置为中心向上、向下分别延伸人脸长度的1/4，鼻尖搜索范围的左、右边界为人脸左、右边界。在鼻尖搜索范围内搜索高度最高的位置并计算其周围的梯度和形状指数。
如果该位置的形状指数满足要求则判定该位置为鼻尖区域，如果不满足要求则在鼻尖搜索范围内去除该位置及附近区域继续搜索鼻尖搜索范围内的最高位置，直至搜索到鼻尖位置。
确定左、右内眼角搜索区域为以鼻尖为中心向左右延伸人脸宽度的1/5，向上延伸人脸长度的1/5，分别搜索左、右边区域中高度最低的位置并计算其周围的梯度和形状指数。
如果形状指数满足要求则判定该点为左、右内眼角位置。如果不满足要求则在搜索区域中去掉该区域并继续搜索左、右内眼角位置，直至搜索到左、右内眼角的位置。
图像中任意点坐标(x,y)处的一阶梯度fx，fy和二阶梯度fxx，fyy，fxy的计算公式为：
其中，f(x,y)为图像中点(x,y)处的值。
计算出一阶梯度fx，fy和二阶梯度fxx，fxy，fyy以后，能够计算出点(x,y)处的高斯曲率K(x,y)和平均曲率H(x,y)：
根据高斯曲率K和平均曲率H可以计算出每个点的最大曲率k1和最小曲率k2：
其中，x和y分别为该点的横坐标和纵坐标，H为平均曲率。
根据最大曲率k1和最小曲率k2可以求解出图像中每个点的形状指数(ShapeIndex)：
其中，x和y分别为该点的横坐标和纵坐标。
优点效果：
基于光栅条纹投影的三维人脸定位方法，步骤如下：
步骤1)、将4步相移光栅图像分别投影到人脸之上并使用相机采集图像，之后将其二值化后分别与四幅经过二值化的背景条纹图作差得到四幅去掉背景的调制条纹图像，将四幅去掉背景的调制条纹图像求和以后再次进行二值化处理即可得到去掉背景的人脸图像，图像中像素值为1的区域即为人脸所在的大致区域，像素数值全部为0的区域为背景区域；
步骤2)、根据4幅畸变光栅图像与4幅背景光栅图像使用相位测量轮廓术(PMP)得到三维人脸图像，并通过曲线拟合优化三维人脸图像，实现步骤如下：
步骤2.1)、使用相位测量轮廓术根据4幅畸变光栅图像与4幅背景光栅图像解出人脸包裹相位，公式如下：
其中，x和y分别为图像横坐标和纵坐标，为包裹相位，Ii为第i幅图像的相位值。
根据包裹相位值计算横向包裹相位差和纵向包裹相位差公式如下：
其中，i和j分别为图像横坐标和纵坐标，运算是将相位的值转化到[-π～π]范围内。
求解使包裹相位的相邻相位差与展开相位φi,j的相邻相位差在最小二乘意义下的解，即可得到展开相位值φi,j，公式如下：
其中，min{}为求最小值运算，φi+1,j-φi,j和φi,j+1-φi,j分别为横向和纵向展开相位差，和分别为横向和纵向包裹相位差。
使用基于最小二乘法的相位展开算法展开包裹相位得到的图像即为三维人脸图像。
步骤2.2)、根据人脸部分在图像中所占像素的数量，确定拟合曲线的长度(所有拟合曲线的长度一致，为人脸宽度的1/20)以及相邻两条曲线相互重叠的长度(曲线长度的1/2)；
步骤2.3)、逐行进行多次四次曲线拟合，直至每一行的数据都经过曲线拟合修正，每条拟合曲线的长度和相邻两条曲线相互重叠部分的长度通过步骤2.2)确定，曲线的公式描述为：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为任意点的序号(拟合曲线中第一个点的序号为1)，y为该点在图像中对应的数值，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤2.4)、使用经过曲线拟合后的数值代替图像中对应位置的原始值，即可得到经曲线拟合修复后的数据。
步骤3)、针对去掉背景的人脸图像进行图像处理获取人脸的剪影图像，确定图像中的基础信息如人脸左右边缘线、上下边缘坐标和人脸在图像中的宽度；
步骤3.1)、在去掉背景的人脸图像中从上到下，从左到右逐点搜索值为1的待定有效点；
步骤3.2)、搜索到待定有效点以后，以该待定有效点为左上角的起始点(从右往左搜索时，以该待定有效点为右上角的起始点)，搜索3*3区域内有效点的数量，如果有效点数量大于区域内总点数的2/3时，则判定该点为有效点，如果不大于判定则该点为无效点；
步骤3.3)、当确定了一个有效点以后，将该点确定为人脸左边缘点，保存其坐标。接着在该行中以该方法从右到左逐点搜索有效点，将搜索到的有效点定为人脸右边缘点，保存其坐标并计算两个有效点之间的长度作为人脸在图像中该行上的宽度。在一行中找到左右两个有效点以后，将两点之间点的值置为1，两侧点的值置为0；
步骤3.4)、跳转到图像的下一行，重复步骤3.1)至步骤3.3)操作，直到完成整张图像的处理；
步骤3.5)、整张图片搜索完成以后，以全图第一个有效点的所在行为待定的人脸上边缘，以全图最后一个有效点所在行为待定的人脸下边缘。
步骤4)、根据人脸的左右边缘线拟合曲线并根据曲线确定脖子和耳朵的大致位置；
步骤4.1)、根据步骤3)中得到的人脸左(右)边缘点，拟合一条四次曲线，曲线的公式描述为：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为边缘点的序号(第一个边缘点的序号为1)，y为该点在图像中所在的列数，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤4.2)、查找人脸左(右)边缘曲线之中极值点的数量，并以极值点的个数为依据判断耳朵和脖子所在的待定位置：
如果只出现了一个极大(小)值点，则该点为耳朵所在待定位置，曲线中最靠下方(坐标值比较大的)的截止点为脖子所在待定位置；
如果出现了一个极大(小)值点和一个极小(大)值点，则判断两个极值点的位置，位置靠上方的极值点即为耳朵所在的待定位置，位置靠下的极值点即为脖子所在的待定位置；
如果出现了两个极大(小)值点，一个极小(大)值点，则极小(大)值点为脖子所在待定位置，靠上方的极大(小)值点为耳朵所在待定位置；
步骤4.3)、在脖子所在待定位置和步骤3.5)中确定的待定的人脸上边缘之间，搜索人脸宽度值最大的部位，该位置即为耳朵所在的第二个待定位置，以耳朵的两个待定位置为依据确定耳朵所在的大致位置。
步骤5)、以耳朵所在位置为中心搜索附近高度和形状指数满足要求的位置作为鼻尖所在的位置，在鼻尖位置上方的一个小区域中寻找眼角位置，根据鼻尖和眼角位置定位人脸。
鼻尖搜索范围的上、下边界分别为以耳朵所在的大致位置为中心向上、向下分别延伸人脸长度的1/4，鼻尖搜索范围的左、右边界为耳朵所在的大致位置处人脸左、右边界。在鼻尖搜索范围内搜索高度最高的位置并计算其周围的梯度和形状指数。
图像中任意点坐标(x,y)处的一阶梯度fx，fy和二阶梯度fxx，fyy，fxy的计算公式为：
其中，f(x,y)为图像中点(x,y)处的值。
计算出一阶梯度fx，fy和二阶梯度fxx，fxy，fyy以后，能够计算出点(x,y)处的高斯曲率K(x,y)和平均曲率H(x,y)：
根据高斯曲率K和平均曲率H可以计算出每个点的最大曲率k1和最小曲率k2：
其中，x和y分别为该点的横坐标和纵坐标，H为平均曲率。
根据最大曲率k1和最小曲率k2可以求解出图像中每个点的形状指数(ShapeIndex)：
其中，x和y分别为该点的横坐标和纵坐标。
如果该位置的形状指数满足要求(大于0.75)则判定该位置为鼻尖区域，如果不满足要求则在鼻尖搜索范围内去除该位置及附近区域继续搜索鼻尖搜索范围内的最高位置，直至搜索到鼻尖位置。
左、右内眼角搜索范围的左、右边界为以鼻尖为中心向左右延伸人脸宽度的1/5，向上延伸人脸长度的1/5，分别搜索左、右边区域中高度最低的位置并计算其周围形状指数。
如果形状指数满足要求(小于0.25)则判定该点为左、右内眼角位置。如果不满足要求则在搜索区域中去掉该区域并继续搜索左、右内眼角位置，直至搜索到左、右内眼角的位置。
本发明首先基于光栅条纹图像获取人脸位置信息和三维人脸图像，再根据三维人脸图像中的高度变化，凹凸性和曲线特征等人脸特征定位受表情变化影响比较小的鼻尖和眼角位置，实现人脸定位目的。
本发明具体效果如下：
1.本发明使用光栅条纹投影获取三维人脸图像并使用曲线拟合进行图像的优化，该方法使用方便，获取到的图像中特征更明显，使定位结果更准确。
2.发明是基于人脸中鼻尖和眼角位置处的高度和形状指数信息进行定位的，它们受表情的影响非常小，因此可以一定程度上克服表情对定位的影响。
3.在精确定位之前，先根据人脸固有特征缩小定位鼻尖和眼角的搜索范围，该方法可以不仅使结果更准确，还减小了运算量，缩短了计算时间。
附图说明
图1是本发明提供的基于光栅条纹投影的三维人脸定位方法的整体流程图；
图2是采集到的变形条纹图像；
图3是使用相位测量轮廓术得到的包裹相位图；
图4是经过相位展开以后的三维人脸图像；
图5是经过曲线拟合优化三维人脸图像；
图6是根据背景条纹图像和变形条纹图像得到的人脸剪影图像；
图7是人脸右侧的边缘曲线；
图8是鼻尖搜索区域和定位得到的鼻尖位置；
图9是左右内眼角搜索区域和定位得到的左、右内眼角位置。
具体实施方式
本发明是在Windows操作系统中实现的人脸定位过程，具体步骤如下：
步骤1)、使用相机采集没有物体时的4步相移背景光栅图和有物体时的4步相移畸变光栅图，并根据8幅图像获取人脸所在的大致位置。
步骤1.1)、使用相机采集没有物体时的4步相移背景光栅图，再将4步相移光栅图像分别投影到人脸之上并使用相机采集得到4步相移畸变光栅图；
步骤1.2)、将4步相移畸变光栅图进行二值化处理后分别于与相对应的经过二值化处理的背景条纹图作差，得到四幅去掉背景的调制条纹图像；
步骤1.3)、将四幅去掉背景的调制条纹图像求和并进行二值化处理即可得到去掉背景的人脸图像，图像中数值为1的像素所在的区域即为人脸所在的大致区域，像素数值全部为0的区域为背景区域。
步骤2)、根据4幅畸变光栅图像与4幅背景光栅图像使用相位测量轮廓术(PMP)得到三维人脸图像，并通过曲线拟合优化三维人脸图像，实现步骤如下：
步骤2.1)、使用相位测量轮廓术根据4幅畸变光栅图像与背景光栅图像解出人脸包裹相位，公式如下：
其中，x和y分别为图像横坐标和纵坐标，为包裹相位，Ii为第i幅图像的相位值。
根据包裹相位值计算横向包裹相位差和纵向包裹相位差公式如下：
其中，i和j分别为图像横坐标和纵坐标，运算是将的值转化到[-π～π]范围内。
求解使包裹相位相邻相位差与展开相位φi,j相邻相位差在最小二乘意义下的解，即可得到展开相位值φi,j，公式如下：
其中，min{}为求最小值运算，φi+1,j-φi,j和φi,j+1-φi,j分别为横向和纵向展开相位差，和分别为横向和纵向包裹相位差。
使用基于最小二乘法的相位展开算法展开包裹相位得到的图像即为三维人脸图像。
步骤2.2)、根据人脸部分在图像中所占像素的数量，确定拟合曲线的长度(所有拟合曲线的长度一致，为人脸宽度的1/20)以及相邻两条曲线相互重叠的长度(曲线长度的1/2)；
步骤2.3)、逐行进行多次四次曲线拟合，直至每一行的数据都经过曲线拟合修正，每条拟合曲线的长度和相邻两条曲线相互重叠部分的长度通过步骤2.2)确定，曲线的公式描述为：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为任意点的序号(拟合曲线中第一个点的序号为1)，y为该点在图像中对应的数值，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤2.4)、使用经过曲线拟合后的数值代替图像中对应位置的原始值，即可得到经曲线拟合修复后的数据。
步骤3)、针对去掉背景的人脸图像进行图像处理获取人脸的剪影图像，确定图像中的基础信息如人脸左右边缘线、上下边缘坐标和人脸在图像中的宽度；
步骤3.1)、在去掉背景的人脸图像中从上到下，从左到右逐点搜索值为1的待定有效点；
步骤3.2)、搜索到待定有效点以后，以该待定有效点为左上角的起始点(从右往左搜索时，以该待定有效点为右上角的起始点)，搜索3*3区域内有效点的数量，如果有效点数量大于区域内总点数的2/3时，则判定该点为有效点，如果不大于判定则该点为无效点；
步骤3.3)、当确定了一个有效点以后，将该点确定为人脸左边缘点，保存其坐标。接着在该行中以该方法从右到左逐点搜索有效点，将搜索到的有效点定为人脸右边缘点，保存其坐标并计算两个有效点之间的长度作为人脸在图像中该行上的宽度。在一行中找到左右两个有效点以后，将两点之间点的值置为1，两侧点的值置为0；
步骤3.4)、跳转到图像的下一行，重复步骤3.1)至步骤3.3)操作，直到完成整张图像的处理；
步骤3.5)、整张图片搜索完成以后，以全图第一个有效点的所在行为待定的人脸上边缘，以全图最后一个有效点所在行为待定的人脸下边缘。
步骤4)、根据人脸的左右边缘线拟合曲线并根据曲线确定脖子和耳朵的大致位置；
步骤4.1)、根据步骤3)中得到的人脸左(右)边缘点，拟合一条四次曲线，曲线的公式描述为：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为边缘点的序号(第一个边缘点的序号为1)，y为该点在图像中所在的列数，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤4.2)、在完成曲线拟合以后，计算人脸左(或右)边缘曲线中极值点(波峰和波谷)的数量，并根据曲线极值点的数量以及人脸的宽度判断耳朵和脖子的位置：
如果边缘曲线中只有一个波峰(或波谷)而没有波谷(或波峰)，则该点即为耳朵的待定位置，曲线下方的截止点(坐标值最大)为脖子位置。
如果边缘曲线中有一个波峰(或波谷)和一个波谷(或波峰)，则两个点中位置偏上的点为耳朵的待定位置，另一个点为脖子位置。
如果边缘曲线中有两个波峰(或波谷)和一个波谷(或波峰)，则两个波峰(或波谷)中位置偏上的点为耳朵的待定位置，波谷(或波峰)处为脖子位置。
在确定了脖子的位置以后，将人脸上边缘至脖子之间的距离定义为人脸长度。由于人脸侧边缘线是通过曲线拟合的方式得到的，所以根据曲线的波峰和波谷直接判断出来的耳朵待定位置并不是准确的耳朵位置。因此，以耳朵的待定位置为中心搜索其附近(人脸长度的1/4)的人脸宽度，其中宽度值最大的位置即为耳朵的位置；
步骤4.3)、在脖子所在待定位置和步骤3.5)中确定的待定的人脸上边缘之间，搜索人脸宽度值最大的部位，该位置即为耳朵所在的第二个待定位置，以耳朵的两个待定位置为依据确定耳朵所在的大致位置。
步骤5)、以耳朵所在位置为中心搜索附近高度和形状指数满足要求的位置作为鼻尖所在的位置，在鼻尖位置上方的一个小区域中寻找眼角位置，根据鼻尖和眼角位置定位人脸。
鼻尖搜索范围的上、下边界分别为以耳朵所在的大致位置为中心向上、向下分别延伸人脸长度的1/4，鼻尖搜索范围的左、右边界为耳朵所在的大致位置处人脸左、右边界。在鼻尖搜索范围内搜索高度最高的位置并计算其周围的梯度和形状指数。
图像中任意点坐标(x,y)处的一阶梯度fx，fy和二阶梯度fxx，fyy，fxy的计算公式为：
其中，f(x,y)为图像中点(x,y)处的值。
计算出一阶梯度fx，fy和二阶梯度fxx，fxy，fyy以后，能够计算出点(x,y)处的高斯曲率K(x,y)和平均曲率H(x,y)：
根据高斯曲率K和平均曲率H可以计算出每个点的最大曲率k1和最小曲率k2：
其中，x和y分别为该点的横坐标和纵坐标，H为平均曲率。
根据最大曲率k1和最小曲率k2可以求解出图像中每个点的形状指数(ShapeIndex)：
其中，x和y分别为该点的横坐标和纵坐标。
如果该位置的形状指数满足要求(大于0.75)则判定该位置为鼻尖区域，如果不满足要求则在鼻尖搜索范围内去除该位置及附近区域继续搜索鼻尖搜索范围内的最高位置，直至搜索到鼻尖位置。
左、右内眼角搜索范围的左、右边界为以鼻尖为中心向左右延伸人脸宽度的1/5，向上延伸人脸长度的1/5，分别搜索左、右边区域中高度最低的位置并计算其周围形状指数。
如果形状指数满足要求(小于0.25)则判定该点为左、右内眼角位置。如果不满足要求则在搜索区域中去掉该区域并继续搜索左、右内眼角位置，直至搜索到左、右内眼角的位置。

Claims (8)

1.一种基于光栅条纹投影的三维人脸定位方法，其特征在于：该方法具体步骤包括：
步骤1)、将四步相移光栅条纹图像分别投影到人脸之上，产生四幅畸变光栅图像，使用相机采集图像，之后将四幅畸变光栅图像分别与四幅背景光栅图像作差，将四幅作差之后的图像相加并进行二值化处理得到去除背景的调制条纹图像，根据调制条纹图像确定人脸所在的大致位置；
步骤2)、根据步骤1)中的四幅畸变光栅图像与四步相移背景光栅图使用相位测量轮廓术得到三维人脸图像，并通过曲线拟合优化三维人脸图像；
步骤3)、对步骤1)中进行过二值化处理的调制条纹图像进行图像处理获取人脸的剪影图像，确定人脸图像中的基础信息；
步骤4)、根据步骤3)中的基础信息中的人脸左右边缘线拟合曲线并根据曲线确定脖子和耳朵的大致位置；
步骤5)、以步骤4)中的耳朵所在位置为中心搜索附近高度和形状指数满足要求的位置作为鼻尖所在的位置，在鼻尖位置上方的一个小区域中寻找眼角位置，根据鼻尖和眼角位置定位人脸。
2.根据权利要求1所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：步骤1)的具体步骤如下：
步骤1.1)、使用相机采集没有物体时的四步相移背景光栅图，再将四步相移背景光栅图像分别投影到人脸之上并使用相机采集得到四步相移畸变光栅图；
步骤1.2)、将四步相移畸变光栅图进行二值化处理后分别于与相对应的经过二值化处理的背景条纹图作差，得到四幅去掉背景的调制条纹图像；
步骤1.3)、将四幅去掉背景的调制条纹图像求和并进行二值化处理即得到去掉背景的人脸图像，图像中数值为1的像素所在的区域即为人脸所在的区域，像素数值全部为0的区域为背景区域。
3.根据权利要求2所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：步骤2)步骤如下：
步骤2.1)、使用相位测量轮廓术根据四幅畸变光栅图像与背景光栅图像解出人脸包裹相位并使用基于最小二乘法的相位展开算法展开包裹相位得到的图像即为三维人脸图像；
步骤2.2)、根据人脸部分在图像中所占像素的数量，确定拟合曲线的长度以及相邻两条曲线相互重叠的长度；
步骤2.3)、逐行进行多次四次曲线拟合，直至每一行的数据都经过曲线拟合修正，每条拟合曲线的长度和相邻两条曲线相互重叠部分的长度通过步骤2.2)确定，曲线的公式描述：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为任意点的序号(拟合曲线中第一个点的序号为1)，y为该点在图像中对应的数值，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤2.4)、使用经过曲线拟合后的数值代替图像中对应位置的原始值，即得到经曲线拟合修复后的数据。
4.根据权利要求3所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：
步骤2.1)中：使用相位测量轮廓术根据四幅畸变光栅图像与背景光栅图像解出人脸包裹相位，公式如下：
其中，x和y分别为图像横坐标和纵坐标，为包裹相位，Ii为第i幅图像的相位值；
根据包裹相位值计算横向包裹相位差和纵向包裹相位差公式如下：
其中，i和j分别为图像横坐标和纵坐标，运算是将的值转化到[-π～π]范围内；
求解使包裹相位相邻相位差与展开相位φi,j相邻相位差在最小二乘意义下的解，即得到展开相位值φi,j，公式如下：
其中，min{}为求最小值运算，φi+1,j-φi,j和φi,j+1-φi,j分别为横向和纵向展开相位差，和分别为横向和纵向包裹相位差；
使用基于最小二乘法的相位展开算法展开包裹相位得到的图像即为三维人脸图像。
5.根据权利要求1所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：
其中步骤3)所述人脸基础信息获取方法如下：
步骤3.1)、在调制条纹图像中从上到下，从左到右逐点搜索值为1的待定有效点；
步骤3.2)、搜索到待定有效点以后，以该待定有效点为左上角的起始点，搜索3*3区域内的待定有效点的个数，如果有效点数量大于区域内总点数的2/3时，则判定该点为有效点，如果不大于判定则该点为无效点；
步骤3.3)、当确定了一个有效点以后，将该点确定为人脸左边缘点，保存其坐标；接着在该行中以该方法从右到左逐点搜索有效点，将搜索到的有效点定为人脸右边缘点，保存其坐标并计算两个有效点之间的长度作为人脸在图像中该行上的宽度；在一行中找到左右两个有效点以后，将两点之间点的值置为1，两侧点的值置为0；
步骤3.4)、跳转到图像的下一行，重复进行步骤3.1)至步骤3.3)中的操作，直到完成整张图像的处理；
步骤3.5)、整张图片搜索完成以后，以全图第一个有效点的所在行为待定的人脸上边缘，以全图最后一个有效点所在行为待定的人脸下边缘。
6.根据权利要求5所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：
其中步骤4)所述定位耳朵位置的步骤如下：
步骤4.1)、根据步骤3)中得到的人脸左(右)边缘点，拟合一条四次曲线，曲线的公式描述为：
y＝a*x4+b*x3+c*x2+d*x+e
其中，x为边缘点的序号(第一个边缘点的序号为1)，y为该点在图像中所在的列数，a、b、c、d和e为通过曲线拟合计算得到拟合曲线的参数；
步骤4.2)、在完成曲线拟合以后，计算人脸左或右边缘曲线中极值点的数量，并根据曲线极值点的数量以及人脸的宽度判断耳朵和脖子的位置：
如果边缘曲线中只有一个波峰而没有波谷或者只有一个波谷而没有波峰，则该点即为耳朵的待定位置，曲线下方的截止点为脖子位置；
如果边缘曲线中有一个波峰和一个波谷或者边缘曲线中有一个波谷和一个波峰，则两个点中位置偏上的点为耳朵的待定位置，另一个点为脖子位置；
如果边缘曲线中有两个波峰和一个波谷或者边缘曲线中有两个波谷和一个波峰，则两个波峰或波谷中位置偏上的点为耳朵的待定位置，则波谷或波峰处为脖子位置；
在确定了脖子的位置以后，将人脸上边缘至脖子之间的距离定义为人脸长度；以耳朵的待定位置为中心搜索其附近的人脸宽度，其中宽度值最大的位置即为耳朵的位置；
步骤4.3)、在脖子所在待定位置和步骤3.5)中确定的待定的人脸上边缘之间，搜索人脸宽度值最大的部位，该位置即为耳朵所在的第二个待定位置，以耳朵的两个待定位置为依据确定耳朵所在的大致位置。
7.根据权利要求1所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：
步骤5)所述确定鼻子位置的方法如下：
确定鼻尖搜索范围的上、下边界分别为以耳朵所在的大致位置为中心向上、向下分别延伸人脸长度的1/4，鼻尖搜索范围的左、右边界为人脸左、右边界；在鼻尖搜索范围内搜索高度最高的位置并计算其周围的梯度和形状指数；
如果该位置的形状指数满足要求则判定该位置为鼻尖区域，如果不满足要求则在鼻尖搜索范围内去除该位置及附近区域继续搜索鼻尖搜索范围内的最高位置，直至搜索到鼻尖位置；
确定左、右内眼角搜索区域为以鼻尖为中心向左右延伸人脸宽度的1/5，向上延伸人脸长度的1/5，分别搜索左、右边区域中高度最低的位置并计算其周围的梯度和形状指数；
如果形状指数满足要求则判定该点为左、右内眼角位置；如果不满足要求则在搜索区域中去掉该区域并继续搜索左、右内眼角位置，直至搜索到左、右内眼角的位置。
8.根据权利要求7所述的一种基于光栅条纹投影的三维人脸定位方法，其特征在于：图像中任意点坐标(x,y)处的一阶梯度fx，fy和二阶梯度fxx，fyy，fxy的计算公式为：
其中，f(x,y)为图像中点(x,y)处的值；
计算出一阶梯度fx，fy和二阶梯度fxx，fxy，fyy以后，能够计算出点(x,y)处的高斯曲率K(x,y)和平均曲率H(x,y)：
根据高斯曲率K和平均曲率H计算出每个点的最大曲率k1和最小曲率k2：
其中，x和y分别为该点的横坐标和纵坐标，H为平均曲率；
根据最大曲率k1和最小曲率k2求解出图像中每个点的形状指数：
其中，x和y分别为该点的横坐标和纵坐标。
CN201910457694.4A 2018-05-30 2019-05-29 基于光栅条纹投影的三维人脸定位方法 Active CN110210374B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810535882 2018-05-30
CN201810535882X 2018-05-30

Publications (2)

Publication Number Publication Date
CN110210374A true CN110210374A (zh) 2019-09-06
CN110210374B CN110210374B (zh) 2022-02-25

Family

ID=67789290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457694.4A Active CN110210374B (zh) 2018-05-30 2019-05-29 基于光栅条纹投影的三维人脸定位方法

Country Status (1)

Country Link
CN (1) CN110210374B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710036A (zh) * 2020-07-16 2020-09-25 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN112735577A (zh) * 2021-01-18 2021-04-30 中国人民解放军陆军军医大学第二附属医院 多区域智能联动呼叫系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN104732168A (zh) * 2015-03-20 2015-06-24 京东方科技集团股份有限公司 一种显示系统、控制方法
CN105930821A (zh) * 2016-05-10 2016-09-07 上海青研信息技术有限公司 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
CN105989326A (zh) * 2015-01-29 2016-10-05 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
CN107368730A (zh) * 2017-07-31 2017-11-21 广东欧珀移动通信有限公司 解锁验证方法和装置
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN105989326A (zh) * 2015-01-29 2016-10-05 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
CN104732168A (zh) * 2015-03-20 2015-06-24 京东方科技集团股份有限公司 一种显示系统、控制方法
CN105930821A (zh) * 2016-05-10 2016-09-07 上海青研信息技术有限公司 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
CN107368730A (zh) * 2017-07-31 2017-11-21 广东欧珀移动通信有限公司 解锁验证方法和装置
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710036A (zh) * 2020-07-16 2020-09-25 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN111710036B (zh) * 2020-07-16 2023-10-17 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN112735577A (zh) * 2021-01-18 2021-04-30 中国人民解放军陆军军医大学第二附属医院 多区域智能联动呼叫系统

Also Published As

Publication number Publication date
CN110210374B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US7027622B2 (en) Method for locating face landmarks in an image
CN100435165C (zh) 图像处理装置和方法
CN101398886B (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN105488503B (zh) 一种非编码圆环形标记点圆心图像坐标检测方法
CN104915963B (zh) 一种用于plcc元件的检测与定位方法
Zheng et al. A robust method for eye features extraction on color image
WO2012077286A1 (ja) 物体検出装置および物体検出方法
Zuo et al. A robust iris segmentation procedure for unconstrained subject presentation
US20050018904A1 (en) Methods for finding and characterizing a deformed pattern in an image
US9081999B2 (en) Head recognition from depth image
CN104063700B (zh) 自然光照正面人脸图像中的眼睛中心点定位的方法
CN104408462B (zh) 面部特征点快速定位方法
CN109146838A (zh) 一种基于几何特征与区域融合的g显带粘连染色体分割方法
CN104091155A (zh) 光照鲁棒的虹膜快速定位方法
CN106846352A (zh) 一种用于镜头解析力测试的刀口图片获取方法和装置
CA2521165A1 (en) Shape matching method for indexing and retrieving multimedia data
CN110210374A (zh) 基于光栅条纹投影的三维人脸定位方法
CN107702663A (zh) 一种基于具有标志点的旋转平台的点云配准方法
CN106874850A (zh) 一种基于三维人脸点云特征点定位方法
CN102043966B (zh) 基于部分主分量分析和姿态估计联合的人脸识别方法
US20130195365A1 (en) Edge based template matching
CN1204531C (zh) 基于GaborEye模型的人眼定位方法
CN115861247A (zh) 一种高分辨率遥感影像轮廓多级正则化方法、系统及应用
CN110032936A (zh) 无参数手背静脉最大圆形区域提取方法
Yang et al. Tracking and recognition algorithm for a robot harvesting oscillating apples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant