CN106780318B - 人脸幻构方法和人脸幻构系统 - Google Patents
人脸幻构方法和人脸幻构系统 Download PDFInfo
- Publication number
- CN106780318B CN106780318B CN201510831521.6A CN201510831521A CN106780318B CN 106780318 B CN106780318 B CN 106780318B CN 201510831521 A CN201510831521 A CN 201510831521A CN 106780318 B CN106780318 B CN 106780318B
- Authority
- CN
- China
- Prior art keywords
- picture
- resolution
- training set
- low
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 177
- 238000005286 illumination Methods 0.000 claims abstract description 122
- 238000009826 distribution Methods 0.000 claims abstract description 96
- 230000001815 facial effect Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 17
- 210000000697 sensory organ Anatomy 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 210000000887 face Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000004547 Hallucinations Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种人脸幻构方法和一种人脸幻构系统，其中，人脸幻构方法包括：获取低分辨率人脸图片；根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；根据调整后的所述每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；将所述高分辨率图像块进行合并，得到高分辨率人脸图片。通过本发明的技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种人脸幻构方法和一种人脸幻构系统。
背景技术
目前，人脸幻构是指对于输入的低分辨率人脸图像重建得到其对应的高分辨率人脸图像，从而提升人脸识别、人脸探测等基础应用的性能。为更好地利用对应低分辨率图像和高分辨率图像块的关系，研究人员将邻域嵌入的超分辨率方法运用在人脸幻构上并取得了良好的效果。基于低分辨率和高分辨率图像块对具有相同的局部几何特征和邻域关系的假设，可以事先分别训练对应的高低分辨率的字典，将输入的低分辨率图像用低分辨率字典中的图像块线性表示，然后将该系数与对应的高分辨率字典中的图像块相乘即可得到高分辨率的图像。
然而，这种人脸幻构方法没有考虑到训练集图片和输入的低分辨率图像的光照情况不匹配的问题，例如，低分辨率图像由于强光源而在人脸上有明显的高光和阴影分布，而训练集图片的光照情况比较柔和，由于不同光照情况下的高频信息不一致，在重建过程中很难在训练集图片中找到高度相似的图像块，导致高分辨率重建的结果退化。
因此需要一种新的技术方案，可以提升重建高分辨率人脸图片的准确性。
发明内容
本发明正是基于上述问题，提出了一种新的技术方案，可以提升重建高分辨率人脸图片的准确性。
有鉴于此，本发明的一方面提出了一种人脸幻构方法，包括：获取低分辨率人脸图片；根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；根据调整后的所述每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；将所述高分辨率图像块进行合并，得到高分辨率人脸图片。
在该技术方案中，获取低分辨率人脸图片后，可以根据其光照分布和细节分布，调整每幅训练集图片的光照分布和细节分布，使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近，并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应，这样，就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下，即可使用邻域嵌入方法建立高分辨率图像块，以合并得到高分辨率人脸图片。通过该技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
在上述技术方案中，优选地，在所述调整训练集中的每幅训练集图片的光照分布和细节分布之前，还包括：调整所述低分辨率人脸图片的人脸尺寸，使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符；以及通过人脸探测功能和特征标记功能，为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域；通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。
在该技术方案中，首先调整低分辨率人脸图片的大小，使其和训练集图片具有相同尺寸，通过人脸探测和特征标记，根据五官对每个人脸划分区域，并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后，还包括：通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射，以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。
在该技术方案中，为了得到更加精确的对齐结果，采用SIFT(Scale InvariantFeature Transform，尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射，低分辨率人脸图片的像素位置可根据这一映射关系调整，从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，所述根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布，具体包括：将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层；对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理；以及用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层，得到调节光照分布后的每幅训练集图片。
在该技术方案中，可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层，再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层，即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，所述通过邻域嵌入方法建立高分辨率图像块，具体包括：根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数；在高分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率图像块。
在该技术方案中，利用邻域嵌入方法重建高分辨率图像块，可使用非局部相似性对重建系数进行约束，从而提升重建高分辨率人脸图片的准确性。
本发明的另一方面提出了一种人脸幻构系统，包括：获取单元，获取低分辨率人脸图片；训练集图片调整单元，根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；图像块建立单元，根据调整后的所述每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；图像块合并单元，将所述高分辨率图像块进行合并，得到高分辨率人脸图片。
在该技术方案中，获取低分辨率人脸图片后，可以根据其光照分布和细节分布，调整每幅训练集图片的光照分布和细节分布，使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近，并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应，这样，就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下，即可使用邻域嵌入方法建立高分辨率图像块，以合并得到高分辨率人脸图片。通过该技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
在上述技术方案中，优选地，还包括：人脸尺寸调整单元，在所述调整训练集中的每幅训练集图片的光照分布和细节分布之前，调整所述低分辨率人脸图片的人脸尺寸，使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符；区域划分单元，通过人脸探测功能和特征标记功能，为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域；区域对齐单元，通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。
在该技术方案中，首先调整低分辨率人脸图片的大小，使其和训练集图片具有相同尺寸，通过人脸探测和特征标记，根据五官对每个人脸划分区域，并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，还包括：像素对齐单元，在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后，通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射，以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。
在该技术方案中，为了得到更加精确的对齐结果，采用SIFT(Scale InvariantFeature Transform，尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射，低分辨率人脸图片的像素位置可根据这一映射关系调整，从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，所述训练集图片调整单元包括：分层单元，将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层；细节层调整单元，对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理；以及光照层调整单元，用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层，得到调节光照分布后的每幅训练集图片。
在该技术方案中，可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层，再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层，即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，所述图像块建立单元包括：系数计算单元，根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数；图像块表出单元，在高分辨率空间中使用所述高分辨率表出系数线性表出所述高分辨率图像块。
在该技术方案中，利用邻域嵌入方法重建高分辨率图像块，可使用非局部相似性对重建系数进行约束，从而提升重建高分辨率人脸图片的准确性。
通过以上技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
附图说明
图1示出了根据本发明的一个实施例的人脸幻构方法的流程图；
图2示出了根据本发明的一个实施例的人脸幻构系统的框图；
图3示出了根据本发明的另一个实施例的人脸幻构方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的一个实施例的人脸幻构方法的流程图。
如图1所示，根据本发明的一个实施例的人脸幻构方法，包括：
步骤102，获取低分辨率人脸图片；
步骤104，根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；
步骤106，根据调整后的所述每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；
步骤108，将所述高分辨率图像块进行合并，得到高分辨率人脸图片。
在该技术方案中，获取低分辨率人脸图片后，可以根据其光照分布和细节分布，调整每幅训练集图片的光照分布和细节分布，使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近，并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应，这样，就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下，即可使用邻域嵌入方法建立高分辨率图像块，以合并得到高分辨率人脸图片。通过该技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
在上述技术方案中，优选地，在步骤104之前，还包括：调整所述低分辨率人脸图片的人脸尺寸，使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符；以及通过人脸探测功能和特征标记功能，为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域；通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。
在该技术方案中，首先调整低分辨率人脸图片的大小，使其和训练集图片具有相同尺寸，通过人脸探测和特征标记，根据五官对每个人脸划分区域，并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后，还包括：通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射，以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。
在该技术方案中，为了得到更加精确的对齐结果，采用SIFT(Scale InvariantFeature Transform，尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射，低分辨率人脸图片的像素位置可根据这一映射关系调整，从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，步骤104具体包括：将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层；对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理；以及用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层，得到调节光照分布后的每幅训练集图片。
在该技术方案中，可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层，再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层，即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，步骤106具体包括：根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数；在高分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率图像块。
在该技术方案中，利用邻域嵌入方法重建高分辨率图像块，可使用非局部相似性对重建系数进行约束，从而提升重建高分辨率人脸图片的准确性。
图2示出了根据本发明的一个实施例的人脸幻构系统的框图。
如图2所示，根据本发明的一个实施例的人脸幻构系统200，包括：获取单元202、训练集图片调整单元204、图像块建立单元206和图像块合并单元208。
其中，获取单元202用于获取低分辨率人脸图片；训练集图片调整单元204用于根据低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；图像块建立单元206用于根据调整后的每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；图像块合并单元208用于将高分辨率图像块进行合并，得到高分辨率人脸图片。
在该技术方案中，获取低分辨率人脸图片后，可以根据其光照分布和细节分布，调整每幅训练集图片的光照分布和细节分布，使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近，并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应，这样，就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下，即可使用邻域嵌入方法建立高分辨率图像块，以合并得到高分辨率人脸图片。通过该技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
在上述技术方案中，优选地，还包括：人脸尺寸调整单元210、区域划分单元212和区域对齐单元214。
其中，人脸尺寸调整单元210用于在调整训练集中的每幅训练集图片的光照分布和细节分布之前，调整低分辨率人脸图片的人脸尺寸，使低分辨率人脸图片的人脸尺寸与每幅训练集图片的人脸尺寸相符；区域划分单元212用于通过人脸探测功能和特征标记功能，为低分辨率人脸图片和每幅训练集图片划分五官区域；区域对齐单元214用于通过仿射变换将低分辨率人脸图片与每幅训练集图片的五官区域对齐。
在该技术方案中，首先调整低分辨率人脸图片的大小，使其和训练集图片具有相同尺寸，通过人脸探测和特征标记，根据五官对每个人脸划分区域，并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，还包括：像素对齐单元216，用于在通过仿射变换将低分辨率人脸图片与每幅训练集图片的五官区域对齐之后，通过SIFT流为每幅训练集图片的每个像素与低分辨率人脸图片的每一个像素建立稠密映射，以根据稠密映射调整低分辨率人脸图片的每一个像素的位置。
在该技术方案中，为了得到更加精确的对齐结果，采用SIFT(Scale InvariantFeature Transform，尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射，低分辨率人脸图片的像素位置可根据这一映射关系调整，从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐，便于进一步进行光照和细节条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，训练集图片调整单元204包括：分层单元2042、细节层调整单元2044和光照层调整单元2046。
其中，分层单元2042用于将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层；细节层调整单元2044用于对低分辨率人脸图片和每幅训练集图片的细节层进行能量分布处理；以及光照层调整单元2046用于用低分辨率人脸图片的光照层替换每幅训练集图片的光照层，得到调节光照分布后的每幅训练集图片。
在该技术方案中，可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层，再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层，即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件，提升了重建高分辨率人脸图片的准确性。
在上述任一技术方案中，优选地，图像块建立单元206包括：系数计算单元2062和图像块表出单元2064。
其中，系数计算单元2062用于根据低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数；图像块表出单元2064用于在高分辨率空间中使用高分辨率表出系数线性表出高分辨率图像块。
在该技术方案中，利用邻域嵌入方法重建高分辨率图像块，可使用非局部相似性对重建系数进行约束，从而提升重建高分辨率人脸图片的准确性。
图3示出了根据本发明的另一个实施例的人脸幻构方法的流程图。
如图3所示，根据本发明的另一个实施例的人脸幻构方法，包括：
步骤302，输入低分辨率图片和训练集图片序列。
步骤304，将低分辨率图片和训练集图片人脸对齐。
首先，认定训练集图片和低分辨率图片中的人脸有相似的表情和姿态。这样，将输入的低分辨率图片上插，使其和训练集图片具有相同尺寸，通过人脸探测和特征标记，根据五官对每个人脸划分区域，利用仿射变换可以将人脸的嘴部和眼部大致对齐。为了得到更加精确的对齐结果，可采用SIFT流将训练集图片的每一个像素和输入的低分辨率图片的每一个像素建立稠密映射，输入的低分辨率图片的像素位置可根据这一映射关系调整从而将输入的低分辨率人脸和训练集人脸精确对齐，并将这一对齐过程定义为函数M。
步骤306，将低分辨率图片和训练集图片分解为细节层和光照层。
具体来说，以训练集图片Yt为例，使用下式进行光照分离：
其中，l＝1时Sl[Yt]为图片Yt减去光照层，即Yt-YtG(σ)为细节层，保留了图像的原始特征和细节部分，为细节层，l＝2时YtG(σ)为光照层，主要体现了图片的光照分布。相似地，输入的低分辨率图片Xt也可以用相同的方法分解。
步骤308，根据低分辨率图片的细节层能量分布调整训练集图片的细节层，并将训练集图片的光照层替换为对齐后的低分辨率图片的光照层。
具体来说，对训练集图片的两层采取不同的方法处理。
对于细节层，应用能力计算公式计算下式得到训练集图片Yt的细节层能量图E1[Yt]:
为了使训练集图片的能量分布和输入的低分辨率图片相似，对Yt的细节层进行以下变换，作为处理后图像O的细节层：
其中，M为在步骤304中定义的对齐操作函数，ε为常数。为了补偿训练集图片的光照总量，直接使用对齐后的低分辨率图片的光照层作为处理后图片O的光照层，即：
S2[O]＝M(S2[Xt])
最终经过光照调整的训练集图片O由下式可得：
O＝Sl[O]+S2[O]
步骤310，合并处理后的光照层和细节层，扩充训练集。
步骤312，利用非局部相似性使用邻域嵌入方法重建高分辨率图像块。
具体来说，邻域嵌入方法是建立在认定低分辨率图片和高分辨率图像块对有相同的几何特征的基础上的，高分辨率图像块可以在高分辨率空间中用在低分辨率空间中估计出的系数线性表出。相似的图像块应该有相似的线性表出方式，根据这一特点，可约束高分辨率图像块的线性表出系数，从而提高求解系数的精确性。对于低分辨率输入图片Xt中的图像块xt，首先利用非局部相似性对图像块xt的线性表出系数α做出估计β。
其估计方法如下：在Xt中通过k-NN算法搜寻Xt的非局部相似块(包括xt)构成集合，集合Ω中所有图像块
的最近邻
构成集合
将该集合中出现频率最高的K个图像块构成集合Nl，使用Nl线性表出Ω中的每个图像块
其系数αi可以利用
的关系计算得到。
由此对α做出估计β：
其中，wi是归一化后的权重，其数值取决于xt和
的距离，W为归一化因子，h为一常数。另外，系数α可利用
的关系计算得到。
最后，再利用低分辨率最近邻Nl在训练集中对应的高分辨率最近邻Nh，得到重建后的高分辨率图像块Yt:
Yt＝Nhα
步骤314，输出高分辨率图片，即合并所有重建后的图像块，得到高分辨率图像Y。
综上，本发明提出了一种光照适应的基于邻域嵌入的人脸幻构方法，主要针对输入的低分辨率图片和训练集图片光照条件不一致的情况，算法主要由三个步骤组成。首先，考虑到光源引起的高光和阴影在人脸上的不同分布，训练集的人脸需要利用SIFT流和输入的低分辨率图片中的人脸建立稠密映射，从而将人脸精确对齐。然后，通过对训练集中的人脸分为细节层和光照层，
根据输入人脸的光照情况分别对训练集人脸的两层采取不同处理，使训练集中人脸的光照情况和输入的低分辨率图片中人脸的光照情况一致。最后，利用邻域嵌入的方法重建高分辨率图像块，并用非局部相似性对重建系数进行约束。具体地，本发明在邻域嵌入的框架基础上，考虑到训练集和输入的低分辨率图片光照情况不一致的情形，通过对训练集和输入图片光照分离，将输入的低分辨率图片的人脸的光照分布迁移到训练集图片的人脸上，并且保留原始的训练集图片的人脸特征，从而将原始训练集扩充。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，实现了一种光照适应的人脸幻构方法，使低分辨率人脸图片与每幅训练集图片光照一致，从而达到高频信息一致，便于进行高分辨率重建，提升了重建高分辨率人脸图片的准确性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种人脸幻构方法，其特征在于，包括：
获取低分辨率人脸图片；
根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；
根据调整后的所述每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；
将所述高分辨率图像块进行合并，得到高分辨率人脸图片；
所述根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布，具体包括：
将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层；
对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理；以及
用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层，得到调节光照分布后的每幅训练集图片。
2.根据权利要求1所述的人脸幻构方法，其特征在于，在所述调整训练集中的每幅训练集图片的光照分布和细节分布之前，还包括：
调整所述低分辨率人脸图片的人脸尺寸，使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符；以及
通过人脸探测功能和特征标记功能，为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域；
通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。
3.根据权利要求2所述的人脸幻构方法，其特征在于，在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后，还包括：
通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射，以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。
4.根据权利要求1所述的人脸幻构方法，其特征在于，所述通过邻域嵌入方法建立高分辨率图像块，具体包括：
根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数；
在高分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率图像块。
5.一种人脸幻构系统，其特征在于，包括：
获取单元，获取低分辨率人脸图片；
训练集图片调整单元，根据所述低分辨率人脸图片的光照分布和细节分布，调整训练集中的每幅训练集图片的光照分布和细节分布；
图像块建立单元，根据调整后的所述每幅训练集图片，通过邻域嵌入方法建立高分辨率图像块；
图像块合并单元，将所述高分辨率图像块进行合并，得到高分辨率人脸图片；
所述训练集图片调整单元包括：
分层单元，将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层；
细节层调整单元，对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理；以及
光照层调整单元，用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层，得到调节光照分布后的每幅训练集图片。
6.根据权利要求5所述的人脸幻构系统，其特征在于，还包括：
人脸尺寸调整单元，在所述调整训练集中的每幅训练集图片的光照分布和细节分布之前，调整所述低分辨率人脸图片的人脸尺寸，使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符；
区域划分单元，通过人脸探测功能和特征标记功能，为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域；
区域对齐单元，通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。
7.根据权利要求6所述的人脸幻构系统，其特征在于，还包括：
像素对齐单元，在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后，通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射，以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。
8.根据权利要求5所述的人脸幻构系统，其特征在于，所述图像块建立单元包括：
系数计算单元，根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数；
图像块表出单元，在高分辨率空间中使用所述高分辨率表出系数线性表出所述高分辨率图像块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510831521.6A CN106780318B (zh) | 2015-11-25 | 2015-11-25 | 人脸幻构方法和人脸幻构系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510831521.6A CN106780318B (zh) | 2015-11-25 | 2015-11-25 | 人脸幻构方法和人脸幻构系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780318A CN106780318A (zh) | 2017-05-31 |
| CN106780318B true CN106780318B (zh) | 2020-07-14 |
Family
ID=58963468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510831521.6A Expired - Fee Related CN106780318B (zh) | 2015-11-25 | 2015-11-25 | 人脸幻构方法和人脸幻构系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780318B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956599A (zh) * | 2019-11-20 | 2020-04-03 | 腾讯科技（深圳）有限公司 | 图片处理方法和装置、存储介质及电子装置 |
| CN112233012B (zh) * | 2020-08-10 | 2023-10-31 | 上海交通大学 | 一种人脸生成系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477684A (zh) * | 2008-12-11 | 2009-07-08 | 西安交通大学 | 一种利用位置图像块重建的人脸图像超分辨率方法 |
| CN103208109A (zh) * | 2013-04-25 | 2013-07-17 | 武汉大学 | 一种基于局部约束迭代邻域嵌入的人脸幻构方法 |
| CN103632357A (zh) * | 2013-01-30 | 2014-03-12 | 中国科学院电子学研究所 | 一种基于光照分离的图像超分辨率增强方法 |
-
2015
- 2015-11-25 CN CN201510831521.6A patent/CN106780318B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477684A (zh) * | 2008-12-11 | 2009-07-08 | 西安交通大学 | 一种利用位置图像块重建的人脸图像超分辨率方法 |
| CN103632357A (zh) * | 2013-01-30 | 2014-03-12 | 中国科学院电子学研究所 | 一种基于光照分离的图像超分辨率增强方法 |
| CN103208109A (zh) * | 2013-04-25 | 2013-07-17 | 武汉大学 | 一种基于局部约束迭代邻域嵌入的人脸幻构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780318A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11276231B2 (en) | Semantic deep face models | |
| Jiang et al. | Low-light image enhancement with wavelet-based diffusion models | |
| Gu et al. | 3D point cloud attribute compression using geometry-guided sparse representation | |
| Yin et al. | Nuwa-xl: Diffusion over diffusion for extremely long video generation | |
| Xie et al. | Normalization of face illumination based on large-and small-scale features | |
| Lukac | Computational photography: methods and applications | |
| Xie et al. | Joint super resolution and denoising from a single depth image | |
| Shih et al. | Style transfer for headshot portraits | |
| Hu et al. | Recurrent spatial pyramid CNN for optical flow estimation | |
| Yang et al. | An efficient ADMM algorithm for multidimensional anisotropic total variation regularization problems | |
| Zhang et al. | A coarse-to-fine framework for cloud removal in remote sensing image sequence | |
| CN103279936A (zh) | 基于画像的人脸伪照片自动合成及修正方法 | |
| WO2023020358A1 (zh) | 面部图像处理方法、面部图像处理模型的训练方法、装置、设备、存储介质及程序产品 | |
| CN106780318B (zh) | 人脸幻构方法和人脸幻构系统 | |
| Grogan et al. | L2 registration for colour transfer | |
| Liang et al. | Flowvid: Taming imperfect optical flows for consistent video-to-video synthesis | |
| Xu et al. | Learning dynamic style kernels for artistic style transfer | |
| Gao et al. | Research on foreign object debris detection in airport runway based on semantic segmentation | |
| Wu et al. | High resolution similarity directed adjusted anchored neighborhood regression for single image super-resolution | |
| CN117808826A (zh) | 基于多尺度特征交互和自适应旋转动态卷积的指向性遥感图像分割方法 | |
| CN108198163A (zh) | 一种基于离散余弦变换的全色与多光谱图像融合方法 | |
| CN107169915A (zh) | 一种基于分块合并策略的pvo数字水印方法 | |
| CN110211037B (zh) | 一种基于多级稀疏字典学习的图像超分辨率方法 | |
| CN115937429A (zh) | 一种基于单张图像的细粒度3d人脸重建方法 | |
| CN114913104A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220627 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230328 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: New founder holdings development Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200714 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |