CN113591602B - 一种基于单视角的人脸三维轮廓特征重建装置及重建方法 - Google Patents
一种基于单视角的人脸三维轮廓特征重建装置及重建方法 Download PDFInfo
- Publication number
- CN113591602B CN113591602B CN202110774263.8A CN202110774263A CN113591602B CN 113591602 B CN113591602 B CN 113591602B CN 202110774263 A CN202110774263 A CN 202110774263A CN 113591602 B CN113591602 B CN 113591602B
- Authority
- CN
- China
- Prior art keywords
- face
- matrix
- data
- contour
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 159
- 238000012216 screening Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000010354 integration Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 73
- 238000012549 training Methods 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 2
- 210000001331 nose Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 210000000537 nasal bone Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 206010048245 Yellow skin Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
本发明属于人脸三维重建和计算机视觉技术领域，具体地说，涉及一种基于单视角的人脸三维轮廓特征重建装置及重建方法，该装置包括：参数获取模块，用于获取汇集后的平面图像和深度数据；人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；数据筛选模块，用于筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；人脸轮廓重建模块，用于通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，建立刚体深度信息与物理轮廓匹配模型。
Description
技术领域
本发明属于人脸三维重建和计算机视觉技术领域，具体地说，涉及一种基于单视角的人脸三维轮廓特征重建装置及重建方法。
背景技术
人脸三维重建是计算机视觉和图形学里的一项核心技术，在人脸识别、安防、智能支付、电影动画、机器人技术等领域有广泛需求。人脸三维重建技术可分为基于单视角人脸重建技术和基于多视角人脸重建技术，重建方式上可分为稠密点云重建和稀疏点云重建。
现有的人脸三维重建方法通常采用稀疏点云重建方式的多视角人脸重建方法，对算力和设备要求极高，无法在手机等移动端实现；
此外，现有的方法中还采用深度摄像头的单视角人脸重建方法，其基本原理是：传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来；但是，现有的单视角人脸三维重建方法只能通过深度摄像头生成深度数据，无法将其与二维图像数据合成包含真实物理数据的三维数据；同时现有的神经网络在三维人脸重建中的应用，会出现尺度丢失的问题，使得神经网络算法学习到的重构图像只能保留视觉信息，而尺度信息无法被神经网络保留，以致无法准确的描述出人脸三维轮廓特征；同时，人脸轮廓数据是敏感数据，在使用过程无法确保数据库的保密性，造成人脸轮廓数据中的关键数据被窃取。
发明内容
为解决现有技术存在的上述缺陷，本发明提出了一种基于单视角的人脸三维轮廓特征重建装置，该装置包括：参数获取模块、人脸特征数据库、数据筛选模块、人脸轮廓特征点提取模块和人脸轮廓重建模块；
所述参数获取模块，用于根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；
所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；
所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
所述人脸轮廓重建模块，用于将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。
作为上述技术方案的改进之一，所述装置还包括：加密模块，用于采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据。
作为上述技术方案的改进之一，所述参数获取模块进一步包括：深度图像摄像头、平面图像摄像头、处理器和存储器；
深度图像摄像头通信连接至处理器，平面图像摄像头通信连接至处理器，储存器通信连接至处理器；
所述深度图像摄像头，用于实时获取待人脸三维重建所需要的深度图像数据，并将其发送至处理器；
所述平面图像摄像头，用于实时获取待人脸三维重建所需要的平面图像数据，并将其发送至处理器；
所述处理器将接收到的深度图像数据和平面图像数据按预定格式汇集后，得到汇集后的平面图像和深度数据，并将其发送到存储器；
所述存储器，用于存储汇集后的平面图像和深度数据。
作为上述技术方案的改进之一，所述深度神经网络模型为高分辨率网络。
作为上述技术方案的改进之一，所述深度神经网络模型的训练步骤为：
步骤1)建立训练集；所述训练集包含若干组训练数据，每组训练数据为汇集后的平面图像和深度数据，其包含人脸平面图像和对应的标注特征点位置的热力图Ypre；
步骤2)将一组训练数据中的人脸平面图像输入至深度神经网络模型，提取出特征点所在位置的热力图Yshape；
训练过程采用的是均方差损失函数LossMSE来进行监督学习；
具体方程为：均方差损失函数LossMSE输出值Lossshape满足下式：
Lossshape＝LossMSE(Ypre-Yshape)
其中，Ypre为训练集中的标注特征点位置热力图；Yshape为训练后输出的特征点所在位置的热力图；
步骤3)通过多次迭代训练，得到最小Lossshape的对应参数，输出训练好的深度神经网络模型；
步骤4)通过预训练好的深度神经网络模型，输入实时获取的新的人脸平面图像，输出对应的特征点所在位置的热力图，通过取热力图的中心点位，可得到输入平面图像的特征点。
作为上述技术方案的改进之一，所述人脸轮廓重建模块的具体过程为：
步骤1)从待核函数矩阵中获取基函数f(a,b)和采样频率k,定义函数曲线g(a,b)为基函数f(a,b)的路径积分；
其中，a为任意两个人脸轮廓关键特征点的起始点的二维坐标；b为任意两个人脸三维轮廓关键特征点的终止点的二维坐标，每个a,b之间定义n条基函数；
其中,p为输入数据的维度，其中，输入数据为人脸三维轮廓关键特征点；
遍历计算n条基函数，求得基于起始点a，终止点b的n条函数曲线g(a，b)，通过对每条函数曲线进行k次采样，获得和关键特征点关联的n条离散曲线gi(a，b)；
步骤2)基于每条和关键特征点关联的离散曲线gi(a，b)，生成一个和关键特征点关联的离散函数K(a，b)：
其中，Ci是0和1之间已知参数；
步骤3)定义深度方程D(x,y)＝d,该深度方程的输入为平面图像数据(x,y)和深度数据d中的二维坐标，用来标记平面图像数据和深度数据的像素点相对于图像的位置，输出为深度数据d；
基于和关键特征点关联的离散函数K(a,b)，带入起始点a和终止点b的坐标值，计算一条离散特征曲线来表示起始点a到终止点b之间的轮廓，然后将K(a,b)带入D方程中，得到D(K(a,b))＝d；
根据上述方程，获取该条离散特征曲线路径上的离散深度数据；
起始点a和终止点b之间的路径数据加上离散深度数据构成两个特征点之间的特征曲线；
针对每一组起始点和终止点(a,b)，存在一条特征曲线来描述其中的关系；
步骤4)重复步骤1)到步骤3)，得到n’条特征曲线，整合n’条特征曲线可得特征矩阵A,特征矩阵A，即为高精度的人脸轮廓三维重建数据，再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。
本发明还提供了一种基于单视角的人脸三维轮廓特征重建方法，该方法包括：
参数获取模块根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；
数据筛选模块根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
同时，人脸轮廓特征点提取模块将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
人脸轮廓重建模块将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。
作为上述技术方案的改进之一，所述方法还包括：加密模块采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行所述的方法。
本发明与现有技术相比的有益效果是：
1、本发明的方法可以在移动端快速且完善的对人脸轮廓信息进行重构；
2、本发明的方法利用深度数据和平面图像数据的同调关系，根据费曼路径积分原理，可得到人脸轮廓数据，构建刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建，实现了一维深度数据与二维图像数据的快速融合。
附图说明
图1是本发明的一种基于单视角的人脸三维轮廓特征重建装置的结构示意图和对应的方法流程图；
图2是人脸关键特征点位置选取的示意图；
图3是本发明的一种基于单视角的人脸三维轮廓特征重建装置中的参数获取模块的结构示意图。
具体实施方式
现结合附图对本发明作进一步的描述。
如图1所示，本发明提供了一种基于单视角的人脸三维轮廓特征重建装置，该装置包括：参数获取模块、人脸特征数据库、人脸轮廓特征点提取模块和人脸轮廓重建模块；
所述参数获取模块，用于根据实时获取的待人脸三维重建所需要的深度图像数据和平面图像数据，得到汇集后的平面图像和深度数据；
具体地，如图3所示，所述参数获取模块进一步包括：深度图像摄像头、平面图像摄像头、处理器和存储器；
深度图像摄像头通信连接至处理器，平面图像摄像头通信连接至处理器，储存器通信连接至处理器；
所述深度图像摄像头，用于实时获取待人脸三维重建所需要的深度图像数据；
所述平面图像摄像头，用于实时获取待人脸三维重建所需要的平面图像数据；
所述处理器，用于将接收到的深度图像数据和平面图像数据按预定格式汇集后，得到汇集后的平面图像和深度数据，并将其发送到存储器；
所述存储器，用于存储汇集后的平面图像和深度数据。
所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；
所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
所述人脸轮廓重建模块，用于将该待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。
其中，将该人脸三维轮廓关键特征点与数据筛选模块输出的待核函数矩阵基础上，基于费曼路径积分原理，通过步骤1)所示的路径积分方法，与曲线采样，求得和关键特征点关联的n条离散曲线；通过步骤2)的计算方法将n条离散曲线生成一个离散函数；在离散函数的基础上，通过步骤3)给出的计算方法，可获得两个特征点间的离散特征曲线；通过步骤4)所示的遍历计算每两个特征点之间的离散特征曲线，整合得到特征矩阵A，特征矩阵A即为高精度的人脸轮廓三维重建数据。再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。
步骤1)从待核函数矩阵中获取基函数f(a,b)和采样频率k,定义函数曲线g(a,b)为基函数f(a,b)的路径积分；
其中，a为任意两个人脸轮廓关键特征点的起始点的二维坐标；b为任意两个人脸三维轮廓关键特征点的终止点的二维坐标，每个a,b之间定义了n条基函数；
g(a，b)＝∫f(a，b)dx1dx2dx3…dxp
其中,dxp为积分符号，p为输入数据的维度，其中，输入数据为人脸三维轮廓关键特征点；在本实施例中为(x,y,d)三维坐标，p＝3；其中，x和y分别为平面图像数据的横坐标和纵坐标，d为深度数据。
遍历计算n条基函数，求得基于起始点a，终止点b的n条函数曲线g(a,b)，通过对每条函数曲线进行k次采样，获得和关键特征点关联的n条离散曲线gi(a,b)。
步骤2)基于每条和关键特征点关联的离散曲线gi(a,b)，生成一个和关键特征点关联的离散函数K(a,b)：
其中，Ci是0和1之间已知参数。
步骤3)定义深度方程D(x,y)＝d,该深度方程的输入为(x,y)平面图像数据和深度数据d中的二维坐标，用来标记平面图像数据和深度数据的像素点相对于图像的位置，输出为深度数据d；
基于和关键特征点关联的离散函数K(a,b)，带入起始点a和终止点b的坐标值，计算一条离散特征曲线来表示起始点a到终止点b之间的轮廓，然后将K(a,b)带入D方程中，得到D(K(a,b))＝d；
根据上述方程，获取该条离散特征曲线路径上的离散深度数据；
起始点a和终止点b之间的路径数据加上离散深度数据构成两个特征点之间的特征曲线。
针对每一组起始点和终止点(a,b)，存在一条特征曲线来描述其中的关系；
步骤4)重复步骤1)到步骤3)，得到n'条特征曲线，整合n’条特征曲线可得特征矩阵A,特征矩阵A，即为高精度的人脸轮廓三维重建数据，再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。
其中，所述人脸特征数据库的建立过程为：
定义基函数f(a,b)，(基函数可如Hamilton算子或者共轭算子)基函数为起始点a和终止点b的函数；如起始点a坐标为(a1,a2)，终止点b坐标为(b1,b2)；则f为：f(a,b)＝e×(a1,a2)+j×(b1,b2)；
其中，e为基函数中一个算子；j为基函数中另一算子；(e,j)可以代表起始点和终止点的某一相对函数关系；
定义m为特征点个数(本实施例中为24)，定义n是一对特征点之间的基函数个数,a,b是一对特征点中起始点和终止点的二维坐标,可通过调用深度神经网络提取的人脸轮廓关键特征点，得到a,b的二维(x,y)坐标。
定义核函数矩阵中包含了每对特征点之间的n个基函数f(a,b)和每条基函数的采样频率k。
定义标准矩阵S为代表一种人脸类型的轮廓曲线矩阵。
定义特定类型特征为与图像数据和年龄，肤色等数据相关的一种自定义特征向量φ，如：30岁男性、黄色皮肤、国字脸、高鼻梁等特征向量。
此特定类型特征与核函数矩阵成一一对应关系，同时也和标准矩阵S成一一对应关系。
定义人脸特征数据库包含特定类型特征向量φ数据，核函数矩阵和对应类型标准矩阵S；将上述数据存储在存储器中，即完成人脸特征数据库的建立。
其中，所述核函数矩阵和标准矩阵S的筛选方法为：
输入汇集后的平面图像和深度数据，通过主成分分析方法，提取出输入图像特征向量λ，计算出输入图像特征向量λ与特定类型特征向量φ的皮尔斯相关系数Q，将平面图像数据输入预训练的神经网络，得到与特定类型特征向量φ相对应的置信度系数G。将输入图像与特定类型特征的相似度定义为：
P＝u×Q+v×G+beta
其中，u为皮尔斯相关系数权重参数；v为置信度权重参数；beta默认为-1。
计算出输入图像与数据库中每个特定类型特征的相似度P，将P从高到低排序，选取拥有最高相似度Pmax的特定类型特征，选择与此特定类型特征拥有一一对应关系的核函数矩阵和标准矩阵S。
所述预训练的神经网络为Darknet-53神经网络。其训练步骤为：
步骤1)：建立训练集；所述训练集包含若干组训练数据，每组训练数据包含人脸平面图像和对应的所属特定类型特征向量φ。
步骤2)：将一组训练数据中的人脸平面图像输入本Darknet-53网络，通过Darknet-53网络可提取出输入人脸平面图像对应的特定类型特征类别特征向量φ(Yshape).
训练过程采用的是均方差损失函数LossMSE来进行监督学习。具体方程为：均方差损失函数LossMSE的置信度输出值Lossshape满足下式：
Lossshape＝LossMSE(Ypre-Yshape)
其中，Ypre为训练集中的特定类型特征，Yshape为训练后输出的特定类型；
步骤3)：通过多次迭代训练，得到最小Lossshape的对应参数，输出训练好的Darknet-53模型。
步骤4)：完成训练后，将平面图像数据输入Darknet-53模型，可以得到预测的特定类型特征向量，及其置信度G。
其中，所述数据库的建立还包括对标准矩阵S的更新，其具体过程为：
求实值矩阵K和标准矩阵S的加权值，可得到新的标准矩阵S′；
S′＝S+β*K
其中，β为权重函数，阈值为(0,1)；
β由数据库的大小、样本的有效性和对系统输入的控制影响来决定，如果希望数据库能够更加适应新的输入，就增加β的数值，如果希望数据库更加稳定，就降低β的数值。
所述装置还包括：加密模块，用于采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据，确保其中涉及的敏感数据信息不会泄露。
其中，由于输出的实际人脸轮廓数据只包含实值矩阵K，但是如果没有标准矩阵信息，则无法反向推出待人脸重建的真实轮廓曲线，从而达成脱密效果，来进行实值矩阵K的加密传输。
如图2所示，2-1:观测者视角右侧眼(测试者左眼)内眼角；
2-2:观测者视角右侧眼(测试者左眼)上眼皮顶点；
2-3:观测者视角右侧眼(测试者左眼)外眼角；
2-4:观测者视角右侧眼(测试者左眼)下眼皮顶点；
2-5:观测者视角右侧眼(测试者左眼)瞳孔；
2-6:观测者视角右侧眼(测试者左眼)太阳穴位置；
2-7:观测者视角右侧眼(测试者左眼)耳根与脸部连接点；
2-8:鼻头的最高点(鼻头位置)；
2-9:观测者视角右侧(测试者左侧)鼻翼；
2-10:观测者视角右左侧(测试者右侧)鼻翼；
2-11:鼻骨的顶点；
2-12:观测者视角右侧(测试者左侧)鼻骨和脸部的连接点；
2-13:观测者视角左侧(测试者右侧)鼻骨和脸部的连接点；
2-14:观测者视角右侧(测试者左侧)瞳孔等高线与鼻子的连接点；
2-15:观测者视角左侧(测试者右侧)瞳孔等高线与鼻子的连接点；
2-16:观测者视角右侧(测试者左侧)眉毛等高线与鼻子的连接点；
2-17:观测者视角左侧(测试者右侧)眉毛等高线与鼻子的连接点；
2-18:观测者视角左侧眼(测试者右眼)内眼角；
2-19:观测者视角左侧眼(测试者右眼)上眼皮顶点；
2-20:观测者视角左侧眼(测试者右眼)外眼角；
2-21:观测者视角左侧眼(测试者右眼)下眼皮顶点；
2-22:观测者视角左侧眼(测试者右眼)瞳孔；
2-23:观测者视角左侧眼(测试者右眼)太阳穴位置；
2-24:观测者视角左侧眼(测试者右眼)耳根与脸部连接点；
图2所示的24个关键特征点选取方法是本技术方案中最佳的人脸轮廓特征选取方法，得到了24个人脸三维轮廓关键特征点，可以满足人脸轮廓重建的精度和计算量之间的平衡。
如图1所示，本发明还提供了一种基于单视角的人脸三维轮廓特征重建方法，该方法包括：
参数获取模块根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；
数据筛选模块根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
同时，人脸轮廓特征点提取模块将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
人脸轮廓重建模块将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。
所述方法还包括：加密模块采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据，确保其中涉及的敏感数据信息不会泄露。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行所述的方法。
本发明的方法将人脸按刚体进行图像智能处理，在不需要依赖图像采集设备的精度和算力的情况下，能对人脸三维轮廓特征进行高效提取及物理轮廓的高精度重建，并能够在手机移动设备上实现单视角的较高的三维重构精度，精确提取人脸轮廓信息。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于单视角的人脸三维轮廓特征重建装置，其特征在于，该装置包括：参数获取模块、人脸特征数据库、数据筛选模块、人脸轮廓特征点提取模块和人脸轮廓重建模块；
所述参数获取模块，用于根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；
所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；其中，定义特定类型特征向量为：与图像数据和年龄，肤色数据相关的一种自定义特征向量；
所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
所述人脸轮廓重建模块，用于将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建；
所述深度神经网络模型为高分辨率网络；
所述深度神经网络模型的训练步骤为：
步骤1）建立训练集；所述训练集包含若干组训练数据，每组训练数据为汇集后的平面图像和深度数据，其包含人脸平面图像和对应的标注特征点位置的热力图；
步骤2）将一组训练数据中的人脸平面图像输入至深度神经网络模型，提取出特征点所在位置的热力图 ；
训练过程采用的是均方差损失函数来进行监督学习；
具体方程为：均方差损失函数输出值/>满足下式：
其中，/>为训练集中的标注特征点位置热力图；为训练后输出的特征点所在位置的热力图；
步骤3）通过多次迭代训练，得到最小的对应参数，输出训练好的深度神经网络模型；
步骤4）通过预训练好的深度神经网络模型，输入实时获取的新的人脸平面图像，输出对应的特征点所在位置的热力图，通过取热力图的中心点位，可得到输入平面图像的特征点；
所述人脸轮廓重建模块的具体过程为：
步骤1）从待核函数矩阵中获取基函数f(a,b)和采样频率k, 定义函数曲线g(a,b)为基函数f(a,b)的路径积分；
其中，a为任意两个人脸轮廓关键特征点的起始点的二维坐标；b为任意两个人脸三维轮廓关键特征点的终止点的二维坐标，每个a,b之间定义n条基函数；
其中, />为输入数据的维度，其中，输入数据为人脸三维轮廓关键特征点；
遍历计算n条基函数，求得基于起始点a，终止点b的n条函数曲线，通过对每条函数曲线进行k次采样，获得和关键特征点关联的n条离散曲线/>；
步骤2）基于每条和关键特征点关联的离散曲线，生成一个和关键特征点关联的离散函数/>：
其中，/>是0和1之间已知参数；
步骤3）定义深度方程D(x,y)=d, 该深度方程的输入为平面图像数据(x,y)和深度数据d中的二维坐标，用来标记平面图像数据和深度数据的像素点相对于图像的位置，输出为深度数据d；
基于和关键特征点关联的离散函数K(a,b)，带入起始点a和终止点b的坐标值，计算一条离散特征曲线来表示起始点a到终止点b之间的轮廓，然后将K（a, b）带入D方程中，得到D(K(a,b))=d；
根据上述方程，获取该条离散特征曲线路径上的离散深度数据；
起始点a和终止点b之间的路径数据加上离散深度数据构成两个特征点之间的特征曲线；
针对每一组起始点和终止点（a,b)，存在一条特征曲线来描述其中的关系；
步骤4）重复步骤1）到步骤3），得到n’条特征曲线，整合n’条特征曲线可得特征矩阵,特征矩阵/>，即为高精度的人脸轮廓三维重建数据，再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。
2.根据权利要求1所述的基于单视角的人脸三维轮廓特征重建装置，其特征在于，所述装置还包括：加密模块，用于采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据。
3.根据权利要求1所述的基于单视角的人脸三维轮廓特征重建装置，其特征在于，所述参数获取模块进一步包括：深度图像摄像头、平面图像摄像头、处理器和存储器；
深度图像摄像头通信连接至处理器，平面图像摄像头通信连接至处理器，储存器通信连接至处理器；
所述深度图像摄像头，用于实时获取待人脸三维重建所需要的深度图像数据，并将其发送至处理器；
所述平面图像摄像头，用于实时获取待人脸三维重建所需要的平面图像数据，并将其发送至处理器；
所述处理器将接收到的深度图像数据和平面图像数据按预定格式汇集后，得到汇集后的平面图像和深度数据，并将其发送到存储器；
所述存储器，用于存储汇集后的平面图像和深度数据。
4.一种基于单视角的人脸三维轮廓特征重建方法，基于权利要求1所述的基于单视角的人脸三维轮廓特征重建装置实现，该方法包括：
参数获取模块根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；
数据筛选模块根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
同时，人脸轮廓特征点提取模块将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
人脸轮廓重建模块将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。
5.根据权利要求4所述的基于单视角的人脸三维轮廓特征重建方法，其特征在于，所述方法还包括：加密模块采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据。
6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4-5中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求4-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110774263.8A CN113591602B (zh) | 2021-07-08 | 2021-07-08 | 一种基于单视角的人脸三维轮廓特征重建装置及重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110774263.8A CN113591602B (zh) | 2021-07-08 | 2021-07-08 | 一种基于单视角的人脸三维轮廓特征重建装置及重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591602A CN113591602A (zh) | 2021-11-02 |
| CN113591602B true CN113591602B (zh) | 2024-04-30 |
Family
ID=78246520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110774263.8A Active CN113591602B (zh) | 2021-07-08 | 2021-07-08 | 一种基于单视角的人脸三维轮廓特征重建装置及重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591602B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
| WO2011075082A1 (en) * | 2009-12-14 | 2011-06-23 | Agency For Science, Technology And Research | Method and system for single view image 3 d face synthesis |
| CN102968636A (zh) * | 2012-12-11 | 2013-03-13 | 山东神思电子技术股份有限公司 | 一种人脸轮廓的提取方法 |
| WO2016029768A1 (zh) * | 2014-08-29 | 2016-03-03 | 厦门幻世网络科技有限公司 | 一种3d人脸重建的方法及其装置 |
| CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
| CN109840475A (zh) * | 2018-12-28 | 2019-06-04 | 深圳奥比中光科技有限公司 | 人脸识别方法及电子设备 |
| WO2019196308A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技（深圳）有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
| CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
| CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
-
2021
- 2021-07-08 CN CN202110774263.8A patent/CN113591602B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011075082A1 (en) * | 2009-12-14 | 2011-06-23 | Agency For Science, Technology And Research | Method and system for single view image 3 d face synthesis |
| CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
| CN102968636A (zh) * | 2012-12-11 | 2013-03-13 | 山东神思电子技术股份有限公司 | 一种人脸轮廓的提取方法 |
| WO2016029768A1 (zh) * | 2014-08-29 | 2016-03-03 | 厦门幻世网络科技有限公司 | 一种3d人脸重建的方法及其装置 |
| CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
| WO2019196308A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技（深圳）有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
| CN109840475A (zh) * | 2018-12-28 | 2019-06-04 | 深圳奥比中光科技有限公司 | 人脸识别方法及电子设备 |
| CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
| CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Gabor特征与卷积神经网络的人体轮廓提取;王林;董楠;;南京理工大学学报;20180228(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591602A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717977B (zh) | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 | |
| US6614429B1 (en) | System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling | |
| CN105913487A (zh) | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 | |
| KR20180044331A (ko) | 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 | |
| US6661913B1 (en) | System and method for determining structure and motion using multiples sets of images from different projection models for object modeling | |
| CN108734078B (zh) | 图像处理方法、装置、电子设备、存储介质及程序 | |
| CN111723691A (zh) | 一种三维人脸识别方法、装置、电子设备及存储介质 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111369428A (zh) | 虚拟头像生成方法和装置 | |
| CN108537126A (zh) | 一种人脸图像处理系统及方法 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| CN108062544A (zh) | 用于人脸活体检测的方法和装置 | |
| CN107578435A (zh) | 一种图像深度预测方法及装置 | |
| CN111127642A (zh) | 一种人脸三维重建方法 | |
| CN113822256B (zh) | 人脸识别方法、电子设备及存储介质 | |
| CN112488067B (zh) | 人脸姿态估计方法、装置、电子设备和存储介质 | |
| CN111833236A (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN117095128A (zh) | 一种无先验多视角人体服饰编辑方法 | |
| CN109409199A (zh) | 微表情训练方法、装置、存储介质及电子设备 | |
| CN113822174B (zh) | 视线估计的方法、电子设备及存储介质 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113591602B (zh) | 一种基于单视角的人脸三维轮廓特征重建装置及重建方法 | |
| CN115546361A (zh) | 三维卡通形象处理方法、装置、计算机设备和存储介质 | |
| CN115797451A (zh) | 一种穴位识别方法、装置、设备及可读存储介质 | |
| CN115410257A (zh) | 图像保护方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |