CN111444883B - 使用立体人脸的增益人脸合成方法 - Google Patents

使用立体人脸的增益人脸合成方法 Download PDF

Info

Publication number
CN111444883B
CN111444883B CN202010309680.0A CN202010309680A CN111444883B CN 111444883 B CN111444883 B CN 111444883B CN 202010309680 A CN202010309680 A CN 202010309680A CN 111444883 B CN111444883 B CN 111444883B
Authority
CN
China
Prior art keywords
face
bidirectional
triplet
triangle
triples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010309680.0A
Other languages
English (en)
Other versions
CN111444883A (zh
Inventor
张刚
柯于锭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Publication of CN111444883A publication Critical patent/CN111444883A/zh
Application granted granted Critical
Publication of CN111444883B publication Critical patent/CN111444883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

使用立体人脸的增益人脸合成方法，第一步：获取立体人脸图像并取得标定点集；第二步：利用标定点线性链表和标定点相关的三角子集线性链表使三角集有序，判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组；第三步：利用第二步中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射；第四步：利用第二步中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射；第五步：分别从双向性三元组和非双向性三元组的对应区域提取特征，且利用权值衡量贡献。把立体人脸的脸区对应转化为三角集链表结构对应，缩短对应建立时间；利用三元组表示立体人脸的三角子区，为后面的表示和分析提供方便。

Description

使用立体人脸的增益人脸合成方法
技术领域：
本发明属于机器视觉领域，具体涉及一种利用立体人脸合成增益人脸技术。
背景技术：
立体人脸源自立体视觉技术。立体视觉技术是计算机视觉研究的分支之一，模拟人的眼睛捕获视觉信息方式，使用两个摄像机，他们可以水平放置也可以垂直放置，摄像机间保持固定距离，从不同视角同时捕获人脸信息。仅使用单一摄像机捕获到的人脸，面部细节有时会受到影响，使用从不同视角捕获到的一对人脸可以弱化该问题，实现面部细节的补偿。
在人脸分析前对面部细节进行增益是必要的，这种增益不同于引入人脸没有的信息，而是补偿面部细节丢失的信息且易于形成对后面分析有益的表示方式。在人脸采集时刻因人为因素、修饰物、外部环境的影响从单一视角捕获的人脸有时会缺失信息，当缺失的信息不是语义标定点且缺失区域较小时，通常不会影响后面的分析，然而，当缺失的信息是语义标定点且缺失区域较大时，无论从人脸配准、人脸表示，还是人脸识别、人脸重构，均会受到影响，使用立体人脸的优势在于使用了两个不同视角的人脸信息，若遮挡区域不在捕获到的两个脸区中同时出现，利用补偿或者修复可以取得增益人脸，从而为后面的人脸分析提供支持。
立体人脸不等同于从不同视角捕获的一对人脸，立体人脸中同一点具有相同的y值且不同的x值或者相同的x值且不同的y值，这样，在配准人脸个体时易于施加互约束。利用立体人脸取得增益人脸的前提是找到脸区间的对应关系，包含语义标定点对应和区域对应，前者可以使用人脸配准方法以及点集间对应方式取得，而后者建立在前者基础上不仅考虑语义标定点而且考虑其他面部点。
在取得人脸外轮廓以及面部细节点集后通常使用两种方式建立立体人脸的脸区对应：一是利用三角剖分把脸区表示成三角集，这样，对应问题转化为在对应三角间寻找仿射变换；二是把人脸外轮廓以及面部细节点集作为控制点，利用薄板样条完成整个脸区的对应。两种方式的共性在于假设人脸外轮廓以及面部细节点均可视。前者的缺陷在于需要使用插值修复丢失的信息，而后者的缺陷在于速度，通常前者被使用。
在使用前者时，利用三角剖分取得的三角集是无序的，这样，直接使用三角索引构造立体人脸对应是不精确的，搜索且表示对应三角成为必要的任务；三角集对应不是满射，使用立体人脸合成增益人脸时对应区域纹理得到增强，而非对应区域无纹理或者通过插值获得纹理，抑制了所取得增益人脸的表示力；仅考虑三角集对应而缺乏有效的表示，忽视了增益人脸中不同区域的价值，对应区域和非对应区域应分别考虑。
发明内容：
发明目的：
本发明要解决的技术问题是提供一种基于立体人脸的增益人脸合成方法，其目的是解决立体人脸对应表示以及不同区域表示与量化问题。
技术方案：
一种基于立体人脸的增益人脸合成方法，其特征在于：其步骤在于：
第一步：获取立体人脸图像并取得标定点集；
第二步：基于第一步中的标定点集做三角剖分，利用标定点线性链表和标定点相关的三角子集线性链表使三角集有序，判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组；
第三步：利用第二步中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
第四步：利用第二步中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
第五步：使用第三步和第四步的映射结果合成增益人脸，分别从双向性三元组和非双向性三元组的对应区域提取特征，且利用权值衡量贡献。
第一步执行方法如下：
(1-1)利用双目立体视觉摄像头Bumblebee2捕获立体人脸图像f1(x，y)和f2(x，y)，两者中均包含单一人脸；
(1-2)使用Adaboost人脸分类器分别确定f1(x，y)和f2(x，y)中脸区r1(x，y)和r2(x，y)；
(1-3)通过受限局部模型(68点)配准r1(x，y)和r2(x，y)，取得标定点集，分别为第一标定点集FL1和第二标定点集FL2，保持标定点集中元素的有序且使用索引。
第二步执行方法如下：
(2-1)分别对第一标定点集FL1和第二标定点集FL2做Delaunay三角剖分，得出第一三角集FT1和第二三角集FT2，通过三元组表示集合中元素且使用三角形顶点的索引表示三元组；
(2-2)按标定点索引顺序构造线性链表，依次遍历第一三角集FT1中元素且链接三元组到最早出现的链表节点，对第二三角集FT2执行同样过程；
(2-3)顺序遍历两个标定点线性链表，依靠三角形的顶点索引比对，判断第一三角集FT1和第二三角集FT2中共有节点且作为双向性三元组，判断第一三角集FT1和第二三角集FT2中非共有节点作为非双向性三元组；
(2-4)按标定点索引顺序构造新的线性链表，把每个双向性三元组链接到最早出现的链表节点。
第三步具体操作如下：
把广义布鲁克分析应用于正面人脸训练集以移除平移、尺度和旋转影响，计算正面人脸均值形状模型且作为参考人脸，按标定点索引顺序遍历存放双向性三元组的线性链表，依次处理每个标定点的线性链表，逐一取出每个双向性三元组，分别确定从第一三角集FT1和第二三角集FT2中对应三角形到均值形状模型对应三角形的仿射变换，在三角形间作纹理映射，取均值作为参考人脸的对应三角内纹理，设置权值为w1。
第四步操作如下：
按标定点索引顺序遍历存放第一三角集FT1的线性链表，依次处理每个标定点的线性链表，逐一取出每个非双向性三元组，确定从第一三角集FT1中对应三角形到均值形状模型对应三角形的仿射变换，在三角形间作纹理映射，设置权值为w2；对第二三角集FT2的线性链表执行同样过程。
第五步中，分别从双向性三元组集和非双向性三元组集所对应区域提取增益人脸特征，且利用权值w1和w2衡量贡献，进行加权度量；
增益人脸特征表示和加权度量的公式如下：
其中，TRL和TRN分别表示双向性三元组集对应的三角区域集和非双向性三元组集对应的三角区域集，显著性用权值w1∈[0.6，1]和w2∈[0，0.5]度量，T表示特征提取和表示。
(2-2)步骤中链接FT1或者FT2中三元组到最早出现的链表节点的公式如下：
其中，M表示标定点数量且按从1到M顺序组成链表结构，vi c、vj c、vk c分别表示第c个三角的顶点的索引值。
从第一三角集FT1或者第二三角集FT2的三角形到参考人脸的对应三角形的仿射变换公式如下：
其中，(xi，yi)、(xj，yj)和(xk，yk)是FT1或者FT2中三角形的三个顶点坐标，(xi′，yi′)、(xj′，yj′)和(xk′，yk′)分别是(xi，yi)、(xj，yj)和(xk，yk)在参考人脸中对应顶点的坐标，a、b、c、d、tx和ty是仿射变换参数。
同一标定点的两个线性链表的部分三元组相同，如第三步骤中的双向性三元组，部分不相同，如第四步骤中非双向性三元组；找到双向性三元组和非双向性三元组对应三角形到参考人脸对应三角形的仿射变换，映射三角形内纹理到参考人脸的对应三角。
区分对待由双向性三元组和非双向性三元组对应三角形变换到参考人脸所取得区域的纹理，分别赋予权重w1和w2；第五步骤中特征提取时两类区域分别进行且利用权重衡量贡献；
利用纹理叠置增益参考人脸中双向性三元组对应的区域，为补偿非双向性三元组对应的区域，做插值运算；调整权重w1和w2，使映射完成后从参考人脸提取的特征更具辨识力，增大w1，意味着增强从双向性三元组的对应区域取得特征的贡献，而增大w2，意味着增强从非双向性三元组的对应区域取得特征的贡献，w1+w2＝1。
Delaunay三角剖分后取得的三元组链接到特定标定点对应的线性链表，线性链表中节点数量动态变化，取决于参考人脸中标定点的数量以及三角剖分后取得的三角集。
在立体人脸的两个标定点链表结构中同一标定点的两个线性链表间确定对应关系，在两个线性链表的三元组间进行，比较三角形顶点的索引。
利用立体人脸的增益人脸合成系统，其特征在于：该系统包括
标定点集取得模块、三角剖分模块、双向性三元组纹理映射模块、非双向性三元组纹理映射模块和增益人脸合成模块；
标定点集取得模块获取立体人脸图像并取得标定点集；
三角剖分模块基于标定点集取得模块中的标定点集做三角剖分，利用标定点线性链表和标定点相关的三角子集线性链表使三角集有序，判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组；
双向性三元组纹理映射模块利用三角剖分模块中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
非双向性三元组纹理映射模块利用三角剖分模块中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
增益人脸合成模块使用双向性三元组纹理映射模块和非双向性三元组纹理映射模块的映射结果合成增益人脸，分别从双向性三元组和非双向性三元组的对应区域提取特征，且利用权值衡量贡献。
优点效果：
本发明提供一种基于立体人脸的增益人脸合成方法，其目的在于使立体人脸的脸区密集对应，易于表示，且实现增益人脸合成。
本文提出的新算法，对比于传统算法，最大的不同在于本文方法中，在构造立体人脸对应时使用了三角集链表结构。传统算法采用穷举搜索或者树结构，要么对应建立时间长，要么对应建立后缺乏有效表示，从而不易于后面处理。本文中的方法把立体人脸的脸区对应转化为三角集链表结构对应，可以缩短对应建立时间；利用三元组表示立体人脸的三角子区，为后面的表示和分析提供方便。
附图说明：
图1是链表结构表示的人脸三角集；
图2是立体人脸三角集对应链表结构；
图3为实验数据图；其中第一幅图(最上面的图)是以立体人脸中一个人脸作为参考在另一人脸中找到的对应点集，第二幅图(中间的图)是以另一人脸作为参考找到的对应点集，第三幅图(最下面的图)是叠置前两幅图后的点集，为了致密化。
具体实施方式：
使用立体人脸的增益人脸合成方法，步骤如下：
a、利用双目立体视觉摄像头Bumblebee2捕获立体人脸图像f1(x，y)和f2(x，y)，两者中均包含单一人脸；
b、使用Adaboost人脸分类器分别确定f1(x，y)和f2(x，y)中脸区r1(x，y)和r2(x，y)；
c、通过受限局部模型(68点)配准r1(x，y)和r2(x，y)，取得标定点集FL1和FL2，保持集合中元素有序且使用索引；
d、分别对FL1和FL2做Delaunay三角剖分，得出三角集FT1和FT2，通过三元组表示集合中元素且使用三角形顶点的索引表示三元组；
e、按标定点索引顺序构造线性链表，依次遍历FT1中元素且链接三元组到最早出现的链表节点，对FT2执行同样过程；
f、顺序遍历标定点线性链表，判断FT1和FT2中共有节点且作为双向性三元组，非共有节点作为非双向性三元组；
g、构造正面人脸均值形状模型且作为参考人脸，依次处理每个标定点的线性链表，逐一取出每个双向性三元组，分别确定从FT1和FT2中三元组对应三角形到均值形状模型对应三角形的仿射变换，完成到参考人脸中对应人脸三角的纹理映射，取叠置纹理均值作为参考人脸中对应三角内纹理，设置权值为w1；
h、依次处理每个标定点的线性链表，逐一取出每个非双向性三元组，分别确定从FT1和FT2中三元组对应三角形到均值形状模型对应三角形的仿射变换，完成到参考人脸中对应人脸三角的纹理映射，设置权值为w2；
i、分别从双向性三元组集和非双向性三元组集所对应区域提取特征，且利用权值w1和w2衡量贡献。
e步骤中链接FT1或者FT2中三元组到最早出现的链表节点的公式如下：
其中，M表示标定点数量且按从1到M顺序组成链表结构，vi c、vj c、vk c分别表示第c个三角的顶点的索引值。
g步骤中从FT1或者FT2中三元组对应三角形到均值形状模型对应三角形的仿射变换的公式如下：
其中，(xi，yi)、(xj，yj)和(xk，yk)是FT1或者FT2中三元组所对应三角形的三个顶点的坐标，(xi′，yi′)、(xj′，yj′)和(xk′，yk′)分别是(xi，yi)、(xj，yj)和(xk，yk)在均值形状模型中对应顶点的坐标，a、b、c、d、tx和ty是仿射变换参数。
i步骤增益人脸特征表示和加权度量的公式如下：
其中，TRL和TRN分别表示双向性三元组集对应的三角区域集和非双向性三元组集对应的三角区域集，显著性用权值w1∈[0.6，1]和w2∈[0，0.5]度量，T表示特征提取和表示。
下面对本发明进行进一步的具体描述：
利用双目立体视觉摄像头Bumblebee2捕获立体人脸图像f1(x，y)和f2(x，y)，两者中均包含单一人脸，对f1(x，y)和f2(x，y)分别使用Adaboost人脸分类器确定脸区r1(x，y)和r2(x，y)，对r1(x，y)和r2(x，y)分别应用受限局部模型(68点)方法取得标定点集FL1和FL2，集合FL1和FL2中元素具有相同的顺序，根据该顺序建立索引。
分别对FL1和FL2做Delaunay三角剖分，得出三角集FT1和FT2，通过三元组表示集合中元素，三元组由三角形顶点的索引组成，如[vi cvj cvk c]表示第c个三角形的对应三元组，vi c、vj c和vk c分别表示三个顶点的索引。
按标定点索引顺序构造线性链表，依次遍历FT1中每个三元组[vi cvj cvk c]，查找vi c、vj c、vk c中最接近的标定点索引且添加三元组到该标定点对应的线性链表。若三元组已经被链接到之前标定点对应的线性链表，则不执行链接操作。对FT2执行同样过程。经过这个过程后，脸对个体三角集对应的链表结构可以构造。
这样，脸对三角集对应转化为标定点对应的线性链表搜索，仅在标定点的对应链表内进行，避免了穷举搜索。由于搜索到的三元组需要在线性链表内同时出现，故保证了对应的双向性。顺序遍历标定点线性链表，判断FT1和FT2中共有节点且作为双向性三元组，非共有节点作为非双向性三元组。
构造正面人脸均值形状模型且作为参考人脸，依次处理每个标定点的线性链表，逐一取出每个双向性三元组，分别确定从FT1和FT2中三元组对应三角形到均值形状模型对应三角形的仿射变换，a、b、c、d、tx和ty是变换参数且tx和ty是平移参数而a、b、c、d是旋转和尺度参数，利用仿射变换完成到参考人脸中对应三角的纹理映射，取叠置纹理均值作为参考模型中对应三角内纹理，设置权值为w1。
依次处理每个标定点的线性链表，逐一取出每个非双向性三元组，分别确定从FT1和FT2中非双向性三元组对应三角形到参考模型中对应三角形的仿射变换，完成到参考模型中对应三角形的纹理映射，设置权值为w2。仅使用双向性链表结构时，叠置后取得的参考人脸存在局部缺失，把脸对三角集中具有非双向性三元组对应的三角形也向参考人脸映射，可以解决该问题。在参考人脸中双向对应的三元组所对应的区域也得到了增益。
参考人脸和脸对具有相同的标定点数量，完成脸对到参考人脸的叠置后，仍然采用三元组描述参考人脸中的三角区域，这样，叠置后人脸可以分为使用双向性三元组集取得的三角区域集与使用非双向性三元组集取得的三角区域集，分别用TRL和TRN表示且使用权值w1和w2对两者区分对待。分别从双向性三元组集和非双向性三元组集所对应区域提取特征，且利用权值w1和w2衡量贡献。权值w1设置在0.6到1之间而w2设置在0到0.5之间。
本发明提供一种利用立体人脸合成增益人脸方法，不同于传统方法的创新思想在于利用链表结构表示Delaunay三角剖分作用于立体人脸个体后取得的三角集，把立体人脸的脸对对应问题转化为两个链表结构的对应节点的线性链表的三元组搜索问题，分别考虑双向性三元组和非双向性三元组对应的三角形到参考人脸对应三角形的映射且利用权值区分对待，特征提取时两种类型区域分别进行且利用权值分别衡量贡献。
下面以室内人脸的双目捕获为例来具体阐述本发明在增益人脸合成上应用。
一、初始化
利用双目立体视觉摄像头捕获立体人脸，使用人脸分类器取得脸区且采用受限局部模型确定人脸标定点，脸区通过矩形约束，标定点确定在脸区矩形内进行且标定点数量为M。
二、链表结构
对立体人脸个体使用三角剖分确定三角集，按从1到M顺序索引参考人脸标定点，三角集中元素使用三角形顶点的索引构成的三元组表示。按照标定点从1到M顺序构造线性链表，顺序取出三角集中每个元素对应的三元组，根据索引找到线性链表中最早出现的节点且链接到该节点上，形成以该节点为头节点的线性链表，若三元组已经被链接到之前标定点的线性链表上，则忽略链接过程。迭代这个过程，形成立体人脸个体的链表结构。
三、人脸对应
在构造人脸个体的链表结构后，立体人脸间的密集对应转化为两个链表结构对应标定点的线性链表中三元组搜索。顺序遍历每个标定点，依次取出每个三元组，在拟对应的标定点线性链表中搜索对应三元组，使用三元组中索引是否均相同作为衡量标准，如果找到对应三元组，那么作为双向性三元组，否则作为非双向性三元组。利用和立体人脸个体相同的链表构造方法，组织双向性三元组和非双向三元组，不同点在于对前者赋予权重w1而对后者赋予权重w2。
四、增益人脸合成
利用正面无表情人脸训练集训练均值形状人脸，按照从1到M顺序遍历标定点线性链表，依次取出每个标定点的线性链表的每个三元组，找到三元组对应三角的顶点坐标和参考人脸的对应三角的顶点坐标间的仿射变换，使用该变换映射三角形内纹理到参考人脸的对应三角形。对于双向性三元组，映射后需要对叠置的纹理信息进行合成，而对于非双向性三元组，映射后可以利用插值方式补偿丢失的信息。使用权重w1和w2分别对两者的纹理信息进行贡献度量。
五、特征提取
分开考虑由双向性三元组和非双向性三元组映射取得的三角区域，特征提取分别进行，可以提取颜色特征、纹理特征、形状特征，以及深度特征等，根据应用需求对不同类型区域的特征进行贡献加权，权值w1和w2可以预先设定，也可以使用深度学习方法取得。
利用立体人脸的增益人脸合成系统，其特征在于：该系统包括
标定点集取得模块、三角剖分模块、双向性三元组纹理映射模块、非双向性三元组纹理映射模块和增益人脸合成模块；
标定点集取得模块获取立体人脸图像并取得标定点集；
三角剖分模块基于标定点集取得模块中的标定点集做三角剖分，利用标定点线性链表和标定点相关的三角子集线性链表使三角集有序，判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组；
双向性三元组纹理映射模块利用三角剖分模块中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
非双向性三元组纹理映射模块利用三角剖分模块中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
增益人脸合成模块使用双向性三元组纹理映射模块和非双向性三元组纹理映射模块的映射结果合成增益人脸，分别从双向性三元组和非双向性三元组的对应区域提取特征，且利用权值衡量贡献。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
综上，本发明提出的利用立体人脸的增益人脸合成方法，解决了三角剖分取得三角集的无序、从立体人脸取得三角集的对应不是满射，以及从双线性三元组和非双向性三元组对应区域提取的特征区分对待问题，利用链表结构寻找对应且易于特征提取和表示。

Claims (8)

1.一种基于立体人脸的增益人脸合成方法，其特征在于：其步骤在于：
第一步：获取立体人脸图像并取得标定点集；
第二步：基于第一步中的标定点集做三角剖分，利用标定点线性链表和标定点相关的三角子集线性链表进行组织，从而使三角集有序，判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组；
第三步：利用第二步中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
第四步：利用第二步中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
第五步：使用第三步和第四步的映射结果合成增益人脸，分别从双向性三元组和非双向性三元组的对应区域提取特征，且利用权值衡量贡献；
第一步执行方法如下：
(1-1)利用双目立体视觉摄像头Bumblebee2捕获立体人脸图像f1(x,y)和f2(x,y)，两者中均包含单一人脸；
(1-2)使用Adaboost人脸分类器分别确定f1(x,y)和f2(x,y)中脸区r1(x,y)和r2(x,y)；
(1-3)通过受限局部模型(68)配准r1(x,y)和r2(x,y)，取得标定点集，分别为第一标定点集FL1和第二标定点集FL2，保持标定点集中元素的有序且使用索引；
第二步执行方法如下：
(2-1)分别基于第一标定点集FL1和第二标定点集FL2做Delaunay三角剖分，得出第一三角集FT1和第二三角集FT2，通过三元组表示集合中元素且利用三角形顶点的索引表示三元组；
(2-2)按标定点索引顺序构造线性链表，依次遍历第一三角集FT1中元素且链接三元组到最早出现的链表节点，对第二三角集FT2执行同样过程；
(2-3)顺序遍历两个标定点线性链表，依靠三角形的顶点索引比对，判断第一三角集FT1和第二三角集FT2中共有节点且作为双向性三元组，判断第一三角集FT1和第二三角集FT2中非共有节点作为非双向性三元组；
(2-4)按标定点索引顺序构造新的线性链表，把每个双向性三元组链接到最早出现的链表节点。
2.根据权利要求1所述的一种基于立体人脸的增益人脸合成方法，其特征在于：第三步具体操作如下：
把广义布鲁克分析应用于正面人脸训练集以移除平移、尺度和旋转影响，计算正面人脸均值形状模型且作为参考人脸，按标定点索引顺序遍历存放双向性三元组的线性链表，依次处理每个标定点的线性链表，逐一取出每个双向性三元组，分别确定从第一三角集FT1和第二三角集FT2中对应三角形到均值形状模型对应三角形的仿射变换，在三角形间作纹理映射，取均值作为参考人脸的对应三角内纹理，设置权值为w1。
3.根据权利要求1所述的一种基于立体人脸的增益人脸合成方法，其特征在于：第四步操作如下：
按标定点索引顺序遍历存放第一三角集FT1的线性链表，依次处理每个标定点的线性链表，逐一取出每个非双向性三元组，确定从第一三角集FT1中对应三角形到均值形状模型对应三角形的仿射变换，在三角形间作纹理映射，设置权值为w2；对第二三角集FT2的线性链表执行同样过程；
同一标定点的两个线性链表的部分三元组相同，部分三元组不相同；找到双向性三元组和非双向性三元组对应三角形到参考人脸对应三角形的仿射变换，映射三角形内纹理到参考人脸的对应三角。
4.根据权利要求1所述的一种利用立体人脸的增益人脸合成方法，其特征在于：第五步中，分别从双向性三元组集和非双向性三元组集所对应区域提取增益人脸特征，且利用权值w1和w2衡量贡献，进行加权度量；
增益人脸特征表示和加权度量的公式如下：
其中，TRL和TRN分别表示双向性三元组集对应的三角区域集和非双向性三元组集对应的三角区域集，显著性用权值w1∈[0.6,1]和w2∈[0,0.5]度量，T表示特征提取和表示。
5.根据权利要求1所述的利用立体人脸的增益人脸合成方法，其特征在于：(2-2)步骤中链接FT1或者FT2中三元组到最早出现的链表节点的公式如下：
其中，M表示标定点数量且按从1到M顺序组成链表结构，vi c、vj c、vk c分别表示第c个三角的顶点的索引值。
6.根据权利要求1所述的一种基于立体人脸的增益人脸合成方法，其特征在于：从第一三角集FT1或者第二三角集FT2的三角形到参考人脸的对应三角形的仿射变换公式如下：
其中，(xi,yi)、(xj,yj)和(xk,yk)是FT1或者FT2中三角形的三个顶点坐标，(xi′,yi′)、(xj′,yj′)和(xk′,yk′)分别是(xi,yi)、(xj,yj)和(xk,yk)在参考人脸中对应顶点的坐标，a、b、c、d、tx和ty是仿射变换参数。
7.根据权利要求4所述的一种基于立体人脸的增益人脸合成方法，其特征在于：区分对待由双向性三元组和非双向性三元组对应三角形变换到参考人脸所取得区域的纹理，分别赋予权重w1和w2；第五步骤中特征提取时两类区域分别进行且利用权重衡量贡献；
利用纹理叠置增益参考人脸中双向性三元组对应的区域，为补偿非双向性三元组对应的区域，做插值运算；调整权重w1和w2，使映射完成后从参考人脸提取的特征更具辨识力，增大w1，增强从双向性三元组的对应区域取得特征的贡献，而增大w2，增强从非双向性三元组的对应区域取得特征的贡献，w1+w2＝1。
8.一种应用如权利要求1所述的基于立体人脸的增益人脸合成方法的合成系统，其特征在于：该系统包括：
标定点集取得模块、三角剖分模块、双向性三元组纹理映射模块、非双向性三元组纹理映射模块和增益人脸合成模块；
标定点集取得模块获取立体人脸图像并取得标定点集；
三角剖分模块基于标定点集取得模块中的标定点集做三角剖分，利用标定点线性链表和标定点相关的三角子集线性链表使三角集有序，判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组；
双向性三元组纹理映射模块利用三角剖分模块中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
非双向性三元组纹理映射模块利用三角剖分模块中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射；
增益人脸合成模块使用双向性三元组纹理映射模块和非双向性三元组纹理映射模块的映射结果合成增益人脸，分别从双向性三元组和非双向性三元组的对应区域提取特征，且利用权值衡量贡献。
CN202010309680.0A 2019-05-10 2020-04-20 使用立体人脸的增益人脸合成方法 Active CN111444883B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019103892198 2019-05-10
CN201910389219 2019-05-10

Publications (2)

Publication Number Publication Date
CN111444883A CN111444883A (zh) 2020-07-24
CN111444883B true CN111444883B (zh) 2023-09-19

Family

ID=71653501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010309680.0A Active CN111444883B (zh) 2019-05-10 2020-04-20 使用立体人脸的增益人脸合成方法

Country Status (1)

Country Link
CN (1) CN111444883B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765572A (zh) * 2018-05-31 2018-11-06 中南大学 三维扫描中平面点集的三角剖分方法及系统
CN108898659A (zh) * 2018-05-31 2018-11-27 中南大学 一种用于三维重构的三角剖分方法及系统
CN109461206A (zh) * 2018-10-29 2019-03-12 湖北器长光电股份有限公司 一种多目立体视觉的人脸三维重建装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765572A (zh) * 2018-05-31 2018-11-06 中南大学 三维扫描中平面点集的三角剖分方法及系统
CN108898659A (zh) * 2018-05-31 2018-11-27 中南大学 一种用于三维重构的三角剖分方法及系统
CN109461206A (zh) * 2018-10-29 2019-03-12 湖北器长光电股份有限公司 一种多目立体视觉的人脸三维重建装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feature matching using quasi-conformal maps;Chun-xue WANG;Li-gang LIU;;Frontiers of Information Technology & Electronic Engineering(第05期);全文 *
基于三角剖分的人脸纹理映射;陈柯;杜利民;赵向阳;汪志鸿;;微计算机应用(第01期);全文 *

Also Published As

Publication number Publication date
CN111444883A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN106504276B (zh) 非局部立体匹配方法
US10460517B2 (en) Mobile device human body scanning and 3D model creation and analysis
CN110503680B (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN108734776A (zh) 一种基于散斑的三维人脸重建方法及设备
CN106600632B (zh) 一种改进匹配代价聚合的立体图像匹配方法
CN102411779B (zh) 基于图像的物体模型匹配姿态测量方法
CN109816724A (zh) 基于机器视觉的三维特征提取方法及装置
CN111768447B (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN104835153B (zh) 基于稀疏表示的非刚性表面对齐方法
Wuhrer et al. Landmark-free posture invariant human shape correspondence
CN109977827B (zh) 一种使用多视图匹配方法的多人三维姿态估计方法
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
CN108830888A (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN110310331A (zh) 一种基于直线特征与点云特征结合的位姿估计方法
Xie et al. Fine registration of 3D point clouds with iterative closest point using an RGB-D camera
CN103075977A (zh) 双目立体视觉系统中的点云数据的自动拼合算法
CN112329726A (zh) 人脸识别方法及装置
WO2022222091A1 (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN111444883B (zh) 使用立体人脸的增益人脸合成方法
CN109801326A (zh) 一种用于获取人体体型数据的图像测量方法
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN112381952B (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
CN111160208B (zh) 基于多帧点云融合与可变模型的三维人脸超分辨率方法
Liu et al. New anti-blur and illumination-robust combined invariant for stereo vision in human belly reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant