CN112686202A - 一种基于3d重建的人头识别方法及系统 - Google Patents
一种基于3d重建的人头识别方法及系统 Download PDFInfo
- Publication number
- CN112686202A CN112686202A CN202110034774.6A CN202110034774A CN112686202A CN 112686202 A CN112686202 A CN 112686202A CN 202110034774 A CN202110034774 A CN 202110034774A CN 112686202 A CN112686202 A CN 112686202A
- Authority
- CN
- China
- Prior art keywords
- human head
- reconstruction
- image
- pixel
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims description 25
- 238000005286 illumination Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于3D重建的人头识别方法及系统,方法包括图像采集,3D人头模型重建,人头识别网络训练和人头识别等步骤;本发明利用人头普遍具有的对称性,将采集到的2D人脸图像进行3D重建,为人头识别增加了更多的信息量,优化了2D人脸图像的识别准确率。与传统的人脸识别方法相比,该人头识别方法在未增加采集数据难度的情况下,提升了身份识别的准确率。
Description
技术领域
本发明属于图像生物特征识别技术领域,涉及一种人头识别方法及系统,特别涉及一种基于3D重建的人头识别方法及系统。
背景技术
生物特征识别技术是一种通过对生物自身特征进行分析,用以区别生物体个体的计算机技术。生物特征识别技术主要包括人脸识别、声纹识别、指纹识别、虹膜识别等,其中人脸识别的应用最为广泛。与其他生物识别方法相比,人脸识别的优势在于其无感的特点,即识别过程中无需刻意配合的额外操作。当前人脸识别需要解决的难题在于不同场景下面对各种程度的面部遮挡以及各种角度的图像采集时保证识别的准确率。
目前,人脸识别的解决方案主要包括2D识别和3D识别技术。传统的2D人脸识别技术是目前人脸识别技术的主流,技术较为成熟。2D人脸识别的图像数据获取比较简单,只需一个普通的摄像头即可。但由于人的头部是三维的,2D人脸识别采用的人脸平面图像只是三维人头在平面上的投影,这个过程中丢失了人头的部分信息,因此在识别准确度和活体检测的精准性上都有所欠缺,无法达到支付级的安全。3D人脸识别技术中广泛使用的主要有结构光和ToF镜头两种,虽然3D人脸识别可信度较高,但对数据要求苛刻,需要特定的相机或是使用多个角度的相机,不利于普及。
发明内容
为了解决上述技术问题,本发明基于3D重建算法强大的3D建模能力,提供了一种基于3D重建的人头识别方法及系统。
本发明的方法所采用的技术方案是:一种基于3D重建的人头识别方法,其特征在于,包括以下步骤:
步骤1:图像采集;
步骤2:3D人头模型重建;
利用目标对称性构建3D模型,对人头照片进行3D重建,获得3D重建图像;
步骤3:人头识别网络训练;
基于深度卷积神经网络算法,从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络,
步骤4:人头识别;
将步骤2中获得的3D重建图像输入步骤3中训练好的人头识别网络中进行人头识别。
本发明的方法所采用的技术方案是:一种基于3D重建的人头识别系统,其特征在于:包括图像采集模块、3D人头模型重建模块、人头识别网络训练模块、人头识别模块;
所述图像采集模块,用于图像采集;
所述3D人头模型重建模块,用于3D人头模型重建;
利用目标对称性构建3D模型,对人头照片进行3D重建,获得3D重建图像;
所述人头识别网络训练模块,用于人头识别网络训练;
基于深度卷积神经网络算法,从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络,
所述人头识别模块,用于人头识别;
将获得的3D重建图像输入训练好的人头识别网络中进行人头识别。
本发明在采集端采集普通的2D人脸图像数据,通过算法将原始图像映射为深度、反射率、全局光照和视点。利用人头的对称性,建立人头的3D模型,包括人头的姿态,形状,反射率,照度。最后对3D人头模型进行识别,并输出结果。预计在基本不提升人头识别复杂度的情况下,提升了识别的准确度。
本发明的优点和积极效果:
本发明利用人头普遍具有的对称性,将采集到的2D人脸图像进行3D重建,为人头识别增加了更多的信息量,优化了2D人脸图像的识别准确率。与传统的人脸识别方法相比,该人头识别方法在未增加采集数据难度的情况下,提升了身份识别的准确率。
附图说明
图1为本发明实施例的方法原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于3D重建的人头识别方法,包括以下步骤:
步骤1:图像采集;
本实施例使用普通相机拍摄人脸部分的单张图片,降低了数据采集成本,利于本发明提供的人头识别的推广普及。
步骤2:3D人头模型重建;
利用目标对称性构建3D模型,对人头照片进行3D重建,获得3D重建图像;
本实施例中,3D人头模型重建的目标是通过算法学习生成一个图像几何自编码器,将输入的图像分解为四个因子,分别为深度d、反照度a、光照方向l和视点w。利用对称性进行3D重建。
本实施例中,通过现有模型Φ,可将原始图像I分解为深度d、反照度a、光照方向l和视点w,同时生成图像的对称置信图(即图像中每个像素点和其几何对称点在内容上对称的概率),3D重建图像可用表示。其中,Λ(a,d,l)表示光照函数,Π(Λ(a,d,l),d,w)表示再投影函数;
具体实现包括以下子步骤:
步骤2.1:利用光照函数Λ,在视点w=0的情况下,利用因子d,l,a生成一个标准视角的重建图像J;此时的重建图像是一个标准图像,并非实际图像。
将法线nuv与光照方向l相乘,得到定向光,将其加入氛围光中;最后,将结果与反照度auv相乘,得到光照纹理Juv=(ks+kdmax{0,<l,nuv>})·auv,其中ks和kd由3D模型预测所得,值在0和1之间,代表漫反射和高光反射的系数;
设相机拍下的每帧中点P=(Px,Py,Pz)是一个三维点,像素坐标系下有点p=(u,v,1)。本实施例假设一个FOV相机与物体标称距离1米,FOV的角度θFOV为10°左右,通过式(2)将实际世界的点P映射到像素坐标系p下;
其中,W、H、cu、cv、f为参数名,θFOV为视场角,表示相机的视野范围,∝为数学符号,表示正比于;W,H分别表示图像的宽度和高度;
存在逆变换P=duv·K-1p,其中duv表示每个像素(u,v)标准深度值;
p′∝K(duv·RK-1p+T),p′=(u′,v′,1) (3)
步骤2.3:训练模型Φ;
步骤3:人头识别网络训练;
基于深度卷积神经网络算法,从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络,
步骤4:人头识别;
将步骤2中获得的3D重建图像输入步骤3中训练好的人头识别网络中进行人头识别。
具体实现包括以下子步骤:
步骤4.1:对输入3D重建图像进行预处理,获得固定大小的人头模型;
步骤4.2:对预处理后的固定大小的人头模型输入步骤3中训练好的人头识别网络,提取特征向量;
特征提取功能采用残差块结构实现,这种残差块由一系列卷积层组成;
In+1={In,On}={In,Convn(In)}
Convn表示该残差块中的第n个卷积层,In,On代表第n个卷积层的输入和输出;残差块会保留来自先前卷积层的信息,并将其传递给所有后续的卷积层;
步骤4.3:对提取出的特征向量,与事先建立的3D人头数据库中保存的特征向量逐一进行比对,选择相似度最高的人头作为识别结果。相似度通过计算向量间的距离来衡量。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于3D重建的人头识别方法,其特征在于,包括以下步骤:
步骤1:图像采集;
步骤2:3D人头模型重建;
利用目标对称性构建3D模型,对人头照片进行3D重建,获得3D重建图像;
步骤3:人头识别网络训练;
基于深度卷积神经网络算法,从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络;
步骤4:人头识别;
将步骤2中获得的3D重建图像输入步骤3中训练好的人头识别网络中进行人头识别。
2.根据权利要求1所述的基于3D重建的人头识别方法,其特征在于:步骤2中,通过模型Φ,将原始图像I分解为深度d、反照度a、光照方向l和视点w,同时生成图像的对称置信图,3D重建图像表示;其中,Λ(a,d,l)表示光照函数,Π(Λ(a,d,l),d,w)表示再投影函数;
具体实现包括以下子步骤:
步骤2.1:利用光照函数Λ,在视点w=0的情况下,利用因子d,l,a生成一个标准视角的重建图像J;
将法线nuv与光照方向l相乘,得到定向光,将其加入氛围光中;最后,将结果与反照度auv相乘,得到光照纹理Juv=(ks+kdmax{0,<l,nuv>})·auv,其中ks和kd由3D模型预测所得,值在0和1之间,代表漫反射和高光反射的系数;
设相机拍下的每帧中点P=(Px,Py,Pz)是一个三维点,像素坐标系下有点p=(u,v,1);通过式(2)将实际世界的点P映射到像素坐标系p下;
其中,W、H、cu、cv、f为参数名,θFOV为视场角,表示相机的视野范围,∝为数学符号,表示正比于;W,H分别表示图像的宽度和高度;
存在逆变换P=duv·K-1p,其中duv表示每个像素(u,v)标准深度值;
p′∝K(duv·RK-1p+T),p′=(u′,v′,1) (3)
3.根据权利要求2所述的基于3D重建的人头识别方法,其特征在于,步骤4的具体实现包括以下子步骤:
步骤4.1:对输入3D重建图像进行预处理,获得固定大小的人头模型;
步骤4.2:对预处理后的固定大小的人头模型输入步骤3中训练好的人头识别网络,提取特征向量;
特征提取功能采用残差块结构实现,这种残差块由一系列卷积层组成;
In+1={In,On}={In,Convn(In)}
convn表示该残差块中的第n个卷积层,In,On代表第n个卷积层的输入和输出;残差块会保留来自先前卷积层的信息,并将其传递给所有后续的卷积层;
步骤4.3:对提取出的特征向量,与事先建立的3D人头数据库中保存的特征向量逐一进行比对,选择相似度最高的人头作为识别结果。
4.根据权利要求3所述的基于3D重建的人头识别方法,其特征在于:步骤4.3中,相似度通过计算向量间的距离来衡量。
5.一种基于3D重建的人头识别系统,其特征在于:包括图像采集模块、3D人头模型重建模块、人头识别网络训练模块、人头识别模块;
所述图像采集模块,用于图像采集;
所述3D人头模型重建模块,用于3D人头模型重建;
利用目标对称性构建3D模型,对人头照片进行3D重建,获得3D重建图像;
所述人头识别网络训练模块,用于人头识别网络训练;
基于深度卷积神经网络算法,从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络,
所述人头识别模块,用于人头识别;
将获得的3D重建图像输入训练好的人头识别网络中进行人头识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110034774.6A CN112686202B (zh) | 2021-01-12 | 2021-01-12 | 一种基于3d重建的人头识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110034774.6A CN112686202B (zh) | 2021-01-12 | 2021-01-12 | 一种基于3d重建的人头识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112686202A true CN112686202A (zh) | 2021-04-20 |
CN112686202B CN112686202B (zh) | 2023-04-25 |
Family
ID=75457435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110034774.6A Active CN112686202B (zh) | 2021-01-12 | 2021-01-12 | 一种基于3d重建的人头识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686202B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113129432A (zh) * | 2021-04-25 | 2021-07-16 | 南京大学 | 一种3d人脸重建方法 |
CN117011650A (zh) * | 2023-10-07 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 一种图像编码器的确定方法及相关装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070183653A1 (en) * | 2006-01-31 | 2007-08-09 | Gerard Medioni | 3D Face Reconstruction from 2D Images |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
CN107909640A (zh) * | 2017-11-06 | 2018-04-13 | 清华大学 | 基于深度学习的人脸重光照方法及装置 |
CN109117817A (zh) * | 2018-08-28 | 2019-01-01 | 摩佰尔(天津)大数据科技有限公司 | 人脸识别的方法及装置 |
CN110569768A (zh) * | 2019-08-29 | 2019-12-13 | 四川大学 | 人脸模型的构建方法、人脸识别方法、装置及设备 |
CN110991281A (zh) * | 2019-11-21 | 2020-04-10 | 电子科技大学 | 一种动态人脸识别方法 |
CN111544178A (zh) * | 2020-05-21 | 2020-08-18 | 湖南博科医疗科技有限公司 | 一种个性化颅骨缺损保护装置及制备方法 |
CN111680573A (zh) * | 2020-05-18 | 2020-09-18 | 北京的卢深视科技有限公司 | 人脸识别方法、装置、电子设备和存储介质 |
US20200311450A1 (en) * | 2019-03-29 | 2020-10-01 | Alibaba Group Holding Limited | Spoof detection via 3d reconstruction |
CN111739167A (zh) * | 2020-06-16 | 2020-10-02 | 北京百度网讯科技有限公司 | 3d人头重建方法、装置、设备和介质 |
WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
-
2021
- 2021-01-12 CN CN202110034774.6A patent/CN112686202B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070183653A1 (en) * | 2006-01-31 | 2007-08-09 | Gerard Medioni | 3D Face Reconstruction from 2D Images |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
CN107909640A (zh) * | 2017-11-06 | 2018-04-13 | 清华大学 | 基于深度学习的人脸重光照方法及装置 |
CN109117817A (zh) * | 2018-08-28 | 2019-01-01 | 摩佰尔(天津)大数据科技有限公司 | 人脸识别的方法及装置 |
US20200311450A1 (en) * | 2019-03-29 | 2020-10-01 | Alibaba Group Holding Limited | Spoof detection via 3d reconstruction |
WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
CN110569768A (zh) * | 2019-08-29 | 2019-12-13 | 四川大学 | 人脸模型的构建方法、人脸识别方法、装置及设备 |
CN110991281A (zh) * | 2019-11-21 | 2020-04-10 | 电子科技大学 | 一种动态人脸识别方法 |
CN111680573A (zh) * | 2020-05-18 | 2020-09-18 | 北京的卢深视科技有限公司 | 人脸识别方法、装置、电子设备和存储介质 |
CN111544178A (zh) * | 2020-05-21 | 2020-08-18 | 湖南博科医疗科技有限公司 | 一种个性化颅骨缺损保护装置及制备方法 |
CN111739167A (zh) * | 2020-06-16 | 2020-10-02 | 北京百度网讯科技有限公司 | 3d人头重建方法、装置、设备和介质 |
CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
Non-Patent Citations (3)
Title |
---|
DONGHOON K.等: "3D Head Reconstruction Using Multi-camera Stream", 《2009 13TH INTERNATIONAL MACHINE VISION AND IMAGE PROCESSING CONFERENCE》 * |
柴秀娟等: "基于3D人脸重建的光照、姿态不变人脸识别", 《软件学报》 * |
詹力: "三维人头重建及算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113129432A (zh) * | 2021-04-25 | 2021-07-16 | 南京大学 | 一种3d人脸重建方法 |
CN113129432B (zh) * | 2021-04-25 | 2023-10-10 | 南京大学 | 一种3d人脸重建方法 |
CN117011650A (zh) * | 2023-10-07 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 一种图像编码器的确定方法及相关装置 |
CN117011650B (zh) * | 2023-10-07 | 2023-12-08 | 腾讯科技(深圳)有限公司 | 一种图像编码器的确定方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112686202B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
CN108764048B (zh) | 人脸关键点检测方法及装置 | |
JP6681729B2 (ja) | オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム | |
CN109359526B (zh) | 一种人脸姿态估计方法、装置和设备 | |
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
US20050084140A1 (en) | Multi-modal face recognition | |
CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
CN110852182A (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
CN111639580B (zh) | 一种结合特征分离模型和视角转换模型的步态识别方法 | |
CN110909634A (zh) | 可见光与双红外线相结合的快速活体检测方法 | |
CN112686202B (zh) | 一种基于3d重建的人头识别方法及系统 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN117095128A (zh) | 一种无先验多视角人体服饰编辑方法 | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
CN111127556A (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
CN112801945A (zh) | 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法 | |
CN111260702B (zh) | 激光三维点云与ct三维点云配准方法 | |
CN114882537B (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
CN114495163B (zh) | 基于类别激活映射的行人重识别生成学习方法 | |
CN117274493A (zh) | 一种融合深度估计的神经隐式表面重建方法及装置 | |
CN114283265A (zh) | 一种基于3d旋转建模的无监督人脸转正方法 | |
CN111753652B (zh) | 一种基于数据增强的三维人脸识别方法 | |
CN117133041A (zh) | 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |