CN111222472B - 一种基于结构光频域特征的人脸识别方法 - Google Patents
一种基于结构光频域特征的人脸识别方法 Download PDFInfo
- Publication number
- CN111222472B CN111222472B CN202010022279.9A CN202010022279A CN111222472B CN 111222472 B CN111222472 B CN 111222472B CN 202010022279 A CN202010022279 A CN 202010022279A CN 111222472 B CN111222472 B CN 111222472B
- Authority
- CN
- China
- Prior art keywords
- structured light
- frequency domain
- face
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 4
- 238000002366 time-of-flight method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000001314 profilometry Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于人脸识别技术领域，具体涉及一种基于结构光频域特征的人脸识别方法，其包括如下步骤：1)运用数码成像器件和光栅投射器件组成测量系统，并进行标定；2)由投射器件投射预制的相位结构光图案；3)获取变形的结构光图像和无结构光图案；4)进行二维人脸检测，截取人脸区域，并进行分辨率归一化处理，输出为固定分辨率包含变形结构光的人脸图像；5)将截取变形结构光图像变换到频域空间，并且提取形状在频域的特征向量；6)利用频域特征识别算法，在频域进行人脸识别。本发明通过向人脸投射高频的相位结构光，将人脸形状信息调制在投射的结构光相位信息中，在不获取三维点云的情况下，利用三维信息的频域特征完成三维人脸识别。
Description
技术领域
本发明属于人脸识别技术领域，具体涉及一种基于结构光频域特征的人脸识别方法。
背景技术
人脸识别作为生物识别技术中使用最广泛的技术，与指纹识别、虹膜识别、静脉识别，具有无感、硬件简单、安全等优点。传统二维人脸识别受到光线、背景、视角等影响，识别精度难以进一步提高。此外，二维人脸识别还存在活体检测难的问题，容易受到图像、视频的攻击。三维人脸识别，在二维图像人脸识别的基础上，增加了深度信息，因而具有更高的识别率。在三维人脸识别中，分为伪三维人脸识别和真三维人脸识别。伪三维人脸识别采用二维图像进行人脸识别，深度信息进行活体检测的方案。该方法具有识别速度快，抗图像、视频攻击性好的优势，因此被广泛的应用在手机解锁和移动支付中。真三维人脸识别，采用三维点云进行识别，点云包含了人脸的纹理和形状特征，因此识别率更高，并且可以有效的防止图像、视频、人皮面具等手段的攻击。但是真三维人脸识别的缺点是需要进行点云的获取，往往运算量比较大。
三维点云的获取方法，主要包括飞行时间法、立体视觉法和结构光法。飞行时间法近场测量的精度较低，横向分辨率也低，可以用于活体检测，但是对于三维识别而言，精度不能满足需求。立体视觉法一般在有限的算力和成像条件下，只能获得稀疏的点云数据。并且，该方法受光照、物体表面特征等因素影响较大，鲁棒性差。结构光法是目前在人脸识别领域应用最广泛的方法，具有性能稳定、精度高的优点。结构光法，按编码方式又分为伪随机点阵编码为代表的单帧技术和相位编码为代表多帧技术。伪随机编码，向物体表面投射稀疏的编码点阵辅助进行三维重建，具有速度快的优势，缺点是精度低。相位编码方法向物体表面投射连续调制的相位，以相位为中介进行三维重建，优点是精度高，缺点是需要多帧，比较耗时。因此如何快速、高精度的获取人脸人脸三维特征，是实现高精度三维人脸重建实用化的关键所在。
发明内容
本发明的目的在于提供一种基于结构光频域特征的人脸识别方法，解决现有三维人脸识别方案精度和速度不能兼得的问题。本发明主要是一种通过向人脸投影条纹结构光，获取人脸面部的形状特征在频率空间的表示，进而在不获取人脸三维点云的前提下进行人脸的形状识别。
本发明的实现过程如下：
一种基于结构光频域特征的人脸识别方法，包括如下步骤：
1)运用数码成像器件和光栅投射器件组成测量系统，并进行标定；
2)由投射器件投射预制的相位结构光图案；
3)获取变形的结构光图像和无结构光图案；
4)进行二维人脸检测，截取人脸区域，并进行分辨率归一化处理，输出为固定分辨率包含变形结构光的人脸图像；
5)将截取变形结构光图像变换到频域空间，并且提取形状在频域的特征向量；
6)利用频域特征识别算法，在频域进行人脸识别。
进一步，所述步骤1)包括如下步骤：运用数码成像器件和光栅投射器件组成测量系统，两种器件同时与上位机相连接，传输数据和接受控制信号，两种器件需要工作在同一波段，两者之间具有夹角α，基线距离d；然后对数码成像器件的基本参数进行标定。
进一步，所述同一波段为可见光波段或者近红外波段；所述夹角α的范围为0°～30°；所述夹角α、基线距离d根据测量系统需求确定；所述标定采用张正有标定法，具体为利用参数已知的棋盘格作为标定板，通过数码成像器件拍摄不同姿态的标定板图样，计算得出数码成像器件的基本参数。
进一步，所述步骤2)包括如下步骤：
第一步，生成结构光图案，所述结构光图案中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹频率、初始相位；
所述结构光图案可表述为：
其中A0为背景光强，B0为调制度，f0为投射条纹频率，为初始相位，f0为投射条纹频率；
第二步，利用光栅投射器件将计算机生成正弦编码条纹图投射到人面部，得到相位结构光图案。
进一步，上位机同步控制数码成像器件和光栅投射器件工作；所述步骤3)包括如下步骤：
第一步，拍摄结构光人脸图像；
第二步，获取无结构光的人脸图像；
第三步，对上述步骤获得的结构光人脸图像和无结构光人脸图像进行去畸变校正，消除不同镜头引入的图像失真。
进一步，所述步骤3)具体包括如下步骤：
第一步：拍摄结构光人脸图像；数码成像器件接受到上位机的控制信号后，捕捉一帧或几帧结构光图案；
所拍摄到的结构光图案，可表述为：
其中A为背景光强，B为调制度，f0为投射条纹频率，为相位；
第二步：获取无结构光的人脸图像；上位机可直接控制光栅投射器件关闭结构光的投射，然后由数码成像器件拍摄或由包含结构光的人脸图像进行滤波得到无结构光的人脸图像；
第三步：对上述步骤获得的结构光人脸图像和无结构光的人脸图像进行去径向畸变校正，消除不同镜头引入的图像失真；
所述径向畸变的校正方法为：
其中，r2＝x2+y2，r是该点距成像中心的距离，u,v为像素坐标，u′,v′为校正好像素坐标；
切向畸变校正为：
其中k1,k2,k3,p1,p2为畸变系数，有前述步骤中的相机标定得出。
进一步，所述步骤4)的具体过程为：使用经典的人脸检测算法，利用无结构光的人脸图像检测人脸区域，然后对有结构光图像进行剪裁，以去除背景部分图像影响；剪裁后需要重新对图像分辨率进行归一化处理，输出为固定分辨率包含变形结构光的人脸图像；所述归一化处理的方式为补零操作。
进一步，所述步骤5)的具体过程为：将步骤4)得到的包含变形结构光的人脸图像进行傅立叶变换到频域空间，经过傅立叶变换之后，在频域空间人脸图像为复数形式，分别利用滤波窗口滤除载频信息，然后逆变换回图像空间，得到无结构光图像的人脸图像，对频域信息利用矩形窗截取载频信息；最后利用主成分分析法，得到特征向量。
进一步，所述傅立叶变换选用二维快速傅立叶变换算法；所述滤波窗口选用高斯窗。
进一步，步骤6)所述利用频域特征识别算法有两种实现方式：
第一种实现方式：对上述的特征向量进行归一化后，与识别匹配的目标的特征向量求内积，其内积大于设定的阈值判定为识别通过，反之则不通过；
第二种实现方式：训练分类神经网络，对上述特征向量进行分类；1:1人脸识别的时候为二分类；1：n识别的时候，为多分类；所述的神经网络为深度卷积神经网络或者其他类型的分类网络。
本发明的积极效果：
(1)对比二维人脸识别和伪三维人脸识别(三维活体检测)，本发明使用了三维形状信息进行识别，可以获得更高的识别精度和抗图像、视频攻击能力。
(2)对比基于立体视觉、飞行时间法和伪随机点阵结构光三维识别，本发明可以利用了更精确的三维形状信息，因而识别精度和抗攻击能力更高
(3)对比多帧相位结构光三维人脸识别技术，本技术使用单帧或少帧就可以实现，因而速度更快，对硬件的要求也更低。
(4)对比经典立体视觉、飞行时间法和结构光三维人脸识别方法，本发明不直接使用三维点云信息，取而代之使用三维信息在频域空间的特征表示进行识别，绕过了三维重建的环节，更加节约计算能力，速度快、对硬件要求低。
附图说明
图1识别系统结构图，图中，1为成像器件，2为相位结构光投射装置，α夹角，d基线距离；
图2为结构光测量系统原理图；
图3为相位结构光图像和其频域特征。
具体实施方式
下面结合实施例对本发明做进一步说明。
为了解决现有三维人脸识别方案精度和速度不能兼得的问题，本发明提供一种基于结构光频域特征的人脸识别方法。本发明通过向人脸投射高频的相位结构光，将人脸形状信息调制在投射的结构光相位信息中，在不获取三维点云的情况下，利用三维信息的频域特征完成三维人脸识别。
实施例1
本发明所述基于结构光频域特征的人脸识别方法包含以下步骤：
1)运用数码成像器件和光栅投射器件组成测量系统，并进行标定；
2)由投射器件投射预制的相位结构光图案；
3)获取变形的结构光图像和无结构光图案；
4)进行二维人脸检测，截取人脸区域，并进行分辨率归一化处理；
5)将截取变形结构光图像变换到频域空间，并且提取形状在频域的特征描述；
6)利用频域特征识别算法，在频域进行人脸识别。
所述步骤1)中，数码成像器件和光栅投射器件结构如图1所示，两种器件需要工作在同一波段如可见光或者近红外。两者之间具有夹角α，基线距离d；α可以为0°，此时为平行光轴系统。所述的数码成像器件可以是电荷耦合器件(CCD)也可以是互补金属氧化物导体(CMOS)器件,所述光栅投射器件包含但不限于基于数字光器件(DLP)、硅基液晶(LCOS)等数字光学器件，衍射光学元件(DOE)等方案形成的模拟光栅技术，微机电系统(MEMS)技术形成的扫描光栅技术方案。所述标定，是对成像系统的内参进行标定。以便获取的相机基本参数，如焦距畸变参数等。
本实施例中，选用CMOS成像器件，匹配和投影系统的接近视场角的镜头，并调整镜头使得其在设计工作范围内对焦清晰，以使得两者拥有较大的清晰、重合视场。在不考虑系统的体积情况下，优先选用交叉光轴系统，即α不为0°。两者同时与上位机相连接，传输数据和接受控制信号。相机的标定可采用“张正有标定法”，利用参数已知的棋盘格作为标定板，通过相机拍摄不同姿态的标定板图样，计算得出成像系统的基本参数。
所述步骤2)中包含以下步骤：
第一步：生成结构光图案。结构光图案中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹频率、初始相位。可表述为：
其中A0为背景光强，B0为调制度，f0为投射条纹频率，为初始相位。其中f0应该根据投射系统的光学特性(光学系统传递函数的特征和采集相机的分辨率)进行合理设计，在不削弱投射对比度的前提下，选取尽量高的投射频率，最优化选取方法可参考论文(YangT,Zhang G,Li H,et al.Theoretical proof of parameter optimization forsinusoidal fringe projection profilometry[J].Optics and Lasers inEngineering,2019,123:37-44.)；其背景A和调制度B的设置应考虑投射系统的线性，尽量使得生成的结构光图像I的灰度分布处于线性区间。如果投射系统的线性不佳，应进行伽马校正，校正方法可参照(Zhang S,Huang PS.Phase error compensation for a 3-d shapemeasurement system based on the phase-shifting method.OptEng 2007；46(6):063601.)。
第二步：在收到控制信号后，利用投射器件将上述光强编码结构光投射到人面部，得到相位结构光图案。
所述步骤3)中，包含以下步骤：
第一步：相机接受到控制信号后，捕捉一帧或几帧结构光图案。相机所拍摄到的结构光图案，可表述为：
其中A为背景光强，B为调制度，f0为投射条纹频率，为相位。
由图2，当物体表面的高度为h(x,y)时，物体的高度信息被编码在三维相位分布中，而/>对应着待测物体的真实高度分布h(x,y)，因此只需要求出相位差/>的去包裹值ΔΦ(x,y)，再利用相位和高度的对应关系式：
即可恢复出物体的三维面形高度分布。而在一般情况下L＞＞h(x,y)，因此上式可以简化为
由上述可知，h(x,y)和之间存在映射关系，即h(x,y)被编码在了相机获取的到的结构光图案的相位/>中。
第二步：获取无结构光的人脸图像。可直接控制投射器关闭结构光的投射，然后由相机拍摄，亦可由包含结构光的人脸图像进行滤波得到。后者的实现方式可以利用傅立叶变换或者希尔伯特变换提取人脸图像的低频部分实现，具体可参照(Zou HH,Zhou X，ZhaoH.Color Fringe Projection Technique for Measuring Dynamic Objects Based onBidimensional Empirical Mode Decomposition[J].Applied Optics,2012.51(16)：3622-3630)。
第三步：对上述步骤获得的结构光人脸图像和无结构光人脸图像进行去畸变校正，消除不同镜头引入的图像失真。
所述步骤4)，使用经典的人脸检测算法，如开源dlib工具，利用无结构光人脸图像检测人脸区域，然后对有结构光图像进行剪裁，以去除背景部分图像影响。剪裁后需要重新对图像分辨率进行归一化处理。为了不影响其频谱特征，归一化的处理方式为补零操作。经过本步骤之后，输出为固定分辨率包含变形结构光的人脸图像。
所述步骤5)，成像器件所拍摄到的条纹图，其等效傅立叶级数表述形式为：
An各次谐波的振幅，r(x,y)物体表面非均匀反射率分布函数。
g(x,y)在经过傅立叶变换到频域空间：
Qn为的傅立叶变换。一般情况下，r(x,y)和φ(x,y)与光栅投影像的基频f0相比，是慢变化信号，它们变化十分缓慢，因而各级频谱的分量Qn(fx,y)在x方向上是相互分离的，可以采用一个恰当的滤波函FIR(fx)，如矩形窗(RectangleWindow)、汉宁窗(Hanning Window)或海明窗(Hamming Window)，与傅里叶变换频谱G(fx,y)相乘，滤出频谱分布中包含了所需要的相位信息的基频分量。
图3中第一列为不同人员的面部结构光图案，第二列为其二维傅立叶频谱，图中的载频分量非常明显和背景信息分离开来。载频信息是高度分布h(x,y)在频域空间的特征描述，他包含了h(x,y)中绝大部分的信息。将图中所示的载频信息利用相应的滤波窗口取出作为对应的三维信息在频域的特征描述。举例矩形滤波窗口的宽度的选取，如投射频率为128Hz，矩形窗口的半宽可选为64像素。那么滤波窗口大小为128*128*2。进而得到矩阵大小为128*128*2的三维形状特征的频域空间描述。
进一步，利用主成分分析的方法(简称PCA,参考：WoldS,EsbensenK,GeladiP.Principal component analysis[J].Chemometrics and intelligent laboratorysystems,1987,2(1-3):37-52.)，对上述特征描述进行主成分抽取、降维处理，得到128维的一维向量。以此向量作为该人脸的特征向量进行识别。
所述步骤6)中，利用算法对步骤5)中的特征向量进行识别。所述算法有两种实现方式：
方法一：对上述的特征向量进行归一化后，人脸识别时，与识别匹配的目标的特征向量求内积。其内积大于设定的阈值判定为识别通过，反之则不通过。
方法二：训练分类神经网络，对上述特征向量进行分类。1:1人脸识别的时候为二分类；1：n识别的时候，为多分类。所述的神经网络为深度卷积神经网络或者其他类型的分类网络。
以上内容是结合具体的优选实施方式对本发明所作出的进一步详细说明，不能认定本发明的具体实施仅限于这些说明。对于本发明所属领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，都应该视为属于本发明的保护范围。
Claims (6)
1.一种基于结构光频域特征的人脸识别方法，其特征在于，包括如下步骤：
1)运用数码成像器件和光栅投射器件组成测量系统，并进行标定；
2)由投射器件投射预制的相位结构光图案；
3)获取变形的结构光图像和无结构光图案；
4)进行二维人脸检测，截取人脸区域，并进行分辨率归一化处理，输出为固定分辨率包含变形结构光的人脸图像；
5)将截取变形结构光图像变换到频域空间，并且提取形状在频域的特征向量；
6)利用频域特征识别算法，在频域进行人脸识别；
其中，所述步骤1)包括如下步骤：运用数码成像器件和光栅投射器件组成测量系统，两种器件同时与上位机相连接，传输数据和接受控制信号，两种器件需要工作在同一波段，两者之间具有夹角α，基线距离d；然后对数码成像器件的基本参数进行标定；
所述步骤2)包括如下步骤：
第一步，生成结构光图案，所述结构光图案中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹频率、初始相位；
所述结构光图案可表述为：
其中A0为背景光强，B0为调制度，f0为投射条纹频率，为初始相位，f0为投射条纹频率；
第二步，利用光栅投射器件将计算机生成正弦编码条纹图投射到人面部，得到相位结构光图案；
所述步骤3)具体包括如下步骤：
第一步：拍摄结构光人脸图像；数码成像器件接受到上位机的控制信号后，捕捉一帧或几帧结构光图案；
所拍摄到的结构光图案，可表述为：
其中A为背景光强，B为调制度，f0为投射条纹频率，为相位；
第二步：获取无结构光的人脸图像；上位机可直接控制光栅投射器件关闭结构光的投射，然后由数码成像器件拍摄或由包含结构光的人脸图像进行滤波得到无结构光的人脸图像；
第三步：对上述步骤获得的结构光人脸图像和无结构光的人脸图像进行去径向畸变校正，消除不同镜头引入的图像失真；
所述径向畸变的校正方法为：
其中，r2＝x2+y2，r是该点距成像中心的距离，u,v为像素坐标，u′,v′为校正好像素坐标；
切向畸变校正为：
其中k1,k2,k3,p1,p2为畸变系数，由前述步骤中的相机标定得出。
2.根据权利要求1所述基于结构光频域特征的人脸识别方法，其特征在于：所述同一波段为可见光波段或者近红外波段；所述夹角α的范围为0°～30°；所述夹角α、基线距离d根据测量系统需求确定；所述标定采用张正有标定法，具体为利用参数已知的棋盘格作为标定板，通过数码成像器件拍摄不同姿态的标定板图样，计算得出数码成像器件的基本参数。
3.根据权利要求1所述基于结构光频域特征的人脸识别方法，其特征在于，
所述步骤4)的具体过程为：使用经典的人脸检测算法，利用无结构光的人脸图像检测人脸区域，然后对有结构光图像进行剪裁，以去除背景部分图像影响；剪裁后需要重新对图像分辨率进行归一化处理，输出为固定分辨率包含变形结构光的人脸图像；所述归一化处理的方式为补零操作。
4.根据权利要求1所述基于结构光频域特征的人脸识别方法，其特征在于，
所述步骤5)的具体过程为：将步骤4)得到的包含变形结构光的人脸图像进行傅立叶变换到频域空间，经过傅立叶变换之后，在频域空间人脸图像为复数形式，分别利用滤波窗口滤除载频信息，然后逆变换回图像空间，得到无结构光图像的人脸图像，对频域信息利用矩形窗截取载频信息；最后利用主成分分析法，得到特征向量。
5.根据权利要求4所述基于结构光频域特征的人脸识别方法，其特征在于：所述傅立叶变换选用二维快速傅立叶变换算法；所述滤波窗口选用高斯窗。
6.根据权利要求1所述基于结构光频域特征的人脸识别方法，其特征在于：
步骤6)所述利用频域特征识别算法有两种实现方式：
第一种实现方式：对上述的特征向量进行归一化后，与识别匹配的目标的特征向量求内积，其内积大于设定的阈值判定为识别通过，反之则不通过；
第二种实现方式：训练分类神经网络，对上述特征向量进行分类；1:1人脸识别的时候为二分类；1：n识别的时候，为多分类；所述的神经网络为深度卷积神经网络或者其他类型的分类网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022279.9A CN111222472B (zh) | 2020-01-09 | 2020-01-09 | 一种基于结构光频域特征的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022279.9A CN111222472B (zh) | 2020-01-09 | 2020-01-09 | 一种基于结构光频域特征的人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111222472A CN111222472A (zh) | 2020-06-02 |
| CN111222472B true CN111222472B (zh) | 2023-12-15 |
Family
ID=70831050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010022279.9A Active CN111222472B (zh) | 2020-01-09 | 2020-01-09 | 一种基于结构光频域特征的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222472B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330814B (zh) * | 2020-11-24 | 2023-11-07 | 革点科技(深圳)有限公司 | 一种基于机器学习的结构光三维重建方法 |
| CN112651888A (zh) * | 2020-11-25 | 2021-04-13 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112507922B (zh) * | 2020-12-16 | 2023-11-07 | 平安银行股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| CN113065479A (zh) * | 2021-04-09 | 2021-07-02 | 四川虹微技术有限公司 | 一种基于桌面真三维显示的人脸识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101347332A (zh) * | 2008-08-22 | 2009-01-21 | 深圳先进技术研究院 | 一种人脸三维面形数字化测量系统的测量方法及设备 |
| CN108875544A (zh) * | 2018-04-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸识别方法、装置、系统和存储介质 |
| WO2020000908A1 (zh) * | 2018-06-29 | 2020-01-02 | 汉王科技股份有限公司 | 一种人脸活体检测方法及装置 |
-
2020
- 2020-01-09 CN CN202010022279.9A patent/CN111222472B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101347332A (zh) * | 2008-08-22 | 2009-01-21 | 深圳先进技术研究院 | 一种人脸三维面形数字化测量系统的测量方法及设备 |
| CN108875544A (zh) * | 2018-04-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸识别方法、装置、系统和存储介质 |
| WO2020000908A1 (zh) * | 2018-06-29 | 2020-01-02 | 汉王科技股份有限公司 | 一种人脸活体检测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Theoretical proof of parameter optimization for sinusoidal fringe projection profilometry;Yang T 等;Optics and Lasers in Engineering;全文 * |
| 基于经验模式分解的三频彩色条纹投影轮廓术;邹海华 等;《光学学报》;第31卷(第8期);第1-8页 * |
| 红外结构光人脸三维面形测量;魏永超;苏显渝;;激光与红外(第08期);全文 * |
| 面状条纹结构光在三维人脸数据获取应用研究;邢书宝;薛惠锋;延秀娟;;计算机技术与发展(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111222472A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111222472B (zh) | 一种基于结构光频域特征的人脸识别方法 | |
| Wang et al. | Data acquisition and processing of 3-D fingerprints | |
| US8891838B2 (en) | System and method for 3D imaging using structured light illumination | |
| US6229913B1 (en) | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus | |
| Brauers et al. | Direct PSF estimation using a random noise target | |
| CN112304249B (zh) | 一种透明材料三维表面及厚度分布同时检测系统及方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| US11023762B2 (en) | Independently processing plurality of regions of interest | |
| TW201702690A (zh) | 延伸景深生物識別系統 | |
| CN110425983B (zh) | 一种基于偏振多光谱的单目视觉三维重建测距方法 | |
| US11512946B2 (en) | Method and system for automatic focusing for high-resolution structured light 3D imaging | |
| JP2024507089A (ja) | 画像のコレスポンデンス分析装置およびその分析方法 | |
| CN104680534A (zh) | 基于单帧复合模板的物体深度信息获取方法 | |
| US11450140B2 (en) | Independently processing plurality of regions of interest | |
| Braithwaite et al. | Hierarchical Gabor filters for object detection in infrared images | |
| CN116608794A (zh) | 一种抗纹理3d结构光成像方法、系统、装置及存储介质 | |
| WO2019238583A1 (en) | Deflectometric techniques | |
| Zhu et al. | Three-dimensional measurement of fringe projection based on the camera response function of the polarization system | |
| CN112325799A (zh) | 一种基于近红外光投影的高精度三维人脸测量方法 | |
| CN111121663B (zh) | 物体三维形貌测量方法、系统和计算机可读存储介质 | |
| Yagnik et al. | 3D shape extraction of human face in presence of facial hair: A profilometric approach | |
| Karaca et al. | Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching | |
| Zou et al. | [Retracted] Detecting Distance between Surfaces of Large Transparent Material Based on Low‐Cost TOF Sensor and Deep Convolutional Neural Network | |
| Egorov et al. | Efficiency Evaluation of Noise Based Camera Measurements Algorithms | |
| CN117804381B (zh) | 一种基于相机阵列聚焦结构光对物体三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |