CN109934193A - 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 - Google Patents
全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 Download PDFInfo
- Publication number
- CN109934193A CN109934193A CN201910213713.9A CN201910213713A CN109934193A CN 109934193 A CN109934193 A CN 109934193A CN 201910213713 A CN201910213713 A CN 201910213713A CN 109934193 A CN109934193 A CN 109934193A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- face image
- block
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 39
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000011426 transformation method Methods 0.000 claims description 7
- 208000006440 Open Bite Diseases 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000001815 facial effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统，包括：S1：构建高低分辨率训练库；S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S3：为高分辨率人脸图像库中每一个人脸图像块位置计算其与其他人脸图像块位置的关联度；S4：关联度删减模块，将弱关联度的连接全部去掉留下关联度高的指定数目的连接；S5：对待处理低分辨率人脸图像的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度；S6：恢复每一个无遮挡待处理图像块；S7：恢复每一个有遮挡待处理图像块；S8：拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。
Description
技术领域
本发明涉及图像处理和图像恢复技术领域，尤其涉及基于全局上下文先验约束的抗遮挡人脸超分辨率方法及系统。
背景技术
人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于图像捕获环境的限制，以监控环境为代表的实际条件中，目标嫌疑人的人脸有效像素低下，导致辨识过程和图像增强过程难度系数大大增加，因此需采用人脸超分辨率技术提升图像有效尺寸和有效分辨率，达到从低分辨率图像恢复到高分辨率图像的目的。
近年来，流形学习成为了人脸超分辨率的经典算法之一。这类方法的核心思想是：对高低分辨率两个样本空间，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形局部性质非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。Sung Won Park[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2010年，Huang[7]提出基于CCA(Canonical Correlation Analysis，CCA)的方法，通过将全局PCA(PrincipalComponent Analysis，PCA)空间延伸至CCA空间，进一步解决了这个问题。2014年，Dong[4]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出将PCA模型从全局聚焦于局部人脸结构上，约束人脸超分辨率的局部重建效果。Hui[5]等人提出，基于像素级的分布经验建模人脸局部结构，通过上下文的像素局部结构重建目标局部块。2016年，Kim[6]等人提出，采用深度学习的思想建模超分辨率的精细局部细节，为细节重建提供思路。
综上所述，现有的这些方法大多仅按照传统的技术思路以常用的数学模型或者局部人脸结构模型为待处理图像提供重建框架，忽略了在低质量图像中也能保存较为完整的局部结构之间的全局性关联信息。因此虽然在重建一般环境下低质量图像的过程中，可以得到不错的效果，但是面对以监控为代表的严重噪声图像时，高频细节的损毁导致了这种以高频细节为主要考虑对象距离度量准则不再精确，严重影响了局部关系描述的精准程度，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。
发明内容
本发明的目的在于提供基于全局上下文先验约束的抗遮挡人脸超分辨率方法及系统。
本发明采用的技术方案是：
基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其包括以下步骤：
S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
S2：采用相同的分块方式将待处理低分辨率人脸图像、以及训练库中图像划分为具交叠部分的图像块，所述图像块为边长为bb的正方形图像块；
S3：在分块基础上，分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，求取每一个位置与其他位置块的关联度，即针对高分辨率人脸图像库中每一个人脸图像块位置，计算其与其他人脸图像块位置的关联度；
S4：将得到的关联度向量中弱关联度的连接全部去掉，仅留下关联度高的指定数目的连接；
S5：对待处理低分辨率人脸图像xin的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度；
S6：统一超分辨率恢复每一个无遮挡区域的图像块；
S7：统一超分辨率恢复每一个有遮挡区域的图像块；
S8：按位置拼接S7和S6所得高分辨率人脸图像块，得高分辨率人脸图像。
进一步地，S1具体步骤为：将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成人脸训练库；同时使待处理低分辨率人脸图像与人脸训练库中图像大小相同且位置对齐。
进一步地，所述位置对齐采用仿射变换法进行位置对齐。
进一步地，S3求取每一个位置与其他位置块的关联度的具体步骤为：
步骤S3.1，假设有n对对齐的高低分辨率人脸样本对X和Y，其中X＝{x1，x2，...，xn}，Y＝{y1，y2，...，yn}；
步骤S3.2，对X中的每一张人脸图像M进行无差别的均匀分块成M＝U×V图像块，则U、V的求取公式为：
U＝ceil((imrow-dd)/(bb-dd))
V＝ceil((imcol-dd)/(bb-dd))
其中，imrow和imcol分别对应每张人脸图像长度像素个数和宽度的像素个数，bb为分块窗口大小，dd为交叠像素尺寸个数，bb-dd为窗口滑动步长，U表示长度方向上分成的块数，V表示宽度方向上分成的块数，
步骤S3.3，基于图像块构建M个位置之间的关系网络；每一个位置作为网络中的一个结点，将结点之间的关系作为结点之间的连线，形成一张互相联结的、反映块位置之间空间关系的全局先验网络；
步骤S3.4，一一遍历先验网络的结点，求取其关联度；对于每一个位置的关联度求取过程具体如下：设i表示位置标号，i＝1，2，3，...，M，计算第i个位置的图像块与其他所有位置图像块的关联度，具体过程如下：
步骤S3.4.1，获取在位置i上有n个高分辨率样本块，即j代表样本数目，
步骤S3.4.2，对于任意一个计算在第j张人脸样本图像上与其他所有块的距离向量
其中，其中表示块的纹理特征，表示取纹理特征操作；
步骤S3.4.3，遍历完位置i上的n个图像块后得n个与同规格的向量；
步骤S3.4.4，将n个所述向量平均得位置i到其余所有位置的平均距离，记作M维向量Ri，即：
步骤S3.4.5，遍历i的所有位置取值后得到位置之间的一个全连接网络，该网络中的关联度表示为向量集合
进一步地，S4的具体步骤为：
对每一个Ri，只保留最小的K个值，然后通过筛选，只保留其中小于阈值t的值，表示为取出中的索引(位置编号)，记为idi；
遍历所有i值后，得到精简后的网络关联度向量集合，记为：对应的索引向量集合记为
进一步地，S5的具体步骤为：
将xin用相同的方法划分为U行V列的M个块，遍历xin的M个位置，记下每一个位置的遮挡情况，有遮挡记为1，否则为0，得到一个M维标志位向量遮挡标准为检查该人脸块的bb×bb矩阵中，是否有Thresh整列或Thresh整行的相同数值，其中，Thresh指判定行列数目的阈值。
进一步地，S6统一超分辨率恢复每一个无遮挡区域的具体步骤为：
S6.1，输入样本xin的第i个块重建高分辨率块时，取出位置i对应的索引向量集合idi，根据idi中的索引表，取出位置块，级联作为输入的表征向量
S6.2，低分辨率库样本集合Xi也据此修改，根据idi中的索引表，取出位置块集合，按照相同的级联方式级联，记作
S6.3，通过特定的正则项最小化重建误差过寻求表示系数ωi，目标函数如下：
其中，λ表示平衡系数，D表示距离约束对角阵，即D＝diag{d1，d2，...，dk}，且对角元素计算方法为：
S6.4，得到表示系数ωi后，将表示系数ωi和近邻关系投影到高分辨率空间，得到高分辨率表示库二者以权重加和的形式表示，得到最终结果，计算公式记作：
进一步地，S7中遮挡部分的位置块采用参数传递的方式将全局近邻位置中无遮挡部分的已经求得的重建系数作为参数进行处理，其具体步骤为：
S7.1，设遮挡部分的位置块根据位置i，取出高分辨率在位置i的全部训练块yi，记为
S7.2，根据位置i从近邻标号集合id中取出位置i的全局上下文近邻的位置标号向量idi作为参数的来源，其中k＝1，2，...K，K为向量idi的长度；
S7.3，遍历所有的K值：
当的flag值为0，则取位置的已有参数为ωi；
当中遍历所有k得到的的flag都为1，则用idi作为锚点一一遍历找出其在id中的近邻遍历的所有元素直至ωi找到其替代参数；
S7.4，基于ωi和yi得到有遮挡区域的高分辨率重建图像块
本发明还公开了基于全局上下文先验约束的抗遮挡人脸超分辨率系统，其包括：
训练库构建模型，用来构建通用图像训练库、包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，图像块为边长为bb的正方形图像块；
预处理模块，在分块基础上，为人脸图像库做预处理，求取每一个人脸位置块与其他位置块的关联度；
关联度删减模块，将弱关联度的连接全部去掉并留下关联度高的指定数目的连接；
待测图像预处理模块，对待处理低分辨率人脸图像的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度；
无遮挡的恢复模块，恢复每一个无遮挡待处理图像块；
有遮挡的恢复模块，恢复每一个有遮挡待处理图像块；
拼接模块，用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。
本发明采用以上技术方案，考虑到人脸局部结构之间的固有依赖关系，建立人脸局部块之间的关联度全局网络。基于该关联度全局网络为任一缺失的局部块内容由周边块信息推测出经验数据值，有效增加对损毁内容的重建结果的有效性和可辨识度。通过对遮挡部分和非遮挡部分有选择性的处理，分别恢复待处理图像的各个块，来基于有限人脸库解决低质量环境下人脸图像的恢复缺乏真实性的问题，在主观质量上可显著提高恢复图像的视觉感受。本发明具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明的方法的流程示意图；
图2为本发明的人脸图像基于位置分块示意图。
具体实施方式
如图1或2所示，本发明公开了基于全局上下文先验约束的抗遮挡人脸超分辨率方法。本发明利用将图像的遮挡分类的方法，完成严重损毁至遮挡的待处理低分辨率图像的恢复算法。具体做法是将待处理人脸图像分块进行遮挡检测，对遮挡部分采用全局人脸关联度网络，通过上下文进行恢复，对非遮挡部分采用传统超分辨率正则化方法恢复，二者相融合即为最终效果，以此提升恢复结果的客观质量和相似度。
下面将结合具体实施例和附图对本发明做进一步说明。
具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。
参见图1，本发明具体步骤如下：
S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库。构建基于通用图像的高分辨率通用图像库和对应低分辨率通用图像库。
具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐，得到库；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库。
为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：
对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。
仿射变换法具体为：
将高分辨率人脸图像库中所有人脸图像相加并除以样本数，得平均脸。设(x′i，y′i)为平均脸上第i个特征点坐标，(xi，yi)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵其中a、b、c、d、e、f为仿射变换系数，表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x′i，y′i)和(xi，yi)间的关系，采用直接线性变换法求解仿射变换矩阵Ma。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵Ma相乘得到的坐标即对齐后的高分辨率人脸图像坐标。
对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库。
高分辨率人脸图像库和低分辨率人脸图像库中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库和低分辨率人脸图像库构成人脸训练库。
使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。
本发明是要对待处理低分辨率人脸图像xin进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像yout。
待处理低分辨率人脸图像xin通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像xin进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像xin进行特征点标注，最后采用步骤S1中记载的仿射变换法使待处理低分辨率人脸图像xin与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像xin在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像xin采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。
S2：采用相同的分块方式将待处理低分辨率人脸图像、以及训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为bb的正方形图像块；
见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。
例如，将图像块尺寸记为bb×bb，相邻图像块间交叠部分的宽记为dd，将图像块所在位置表示为(j，k)，则有：
其中，height和width分别为人脸图像的高和宽。实施例中，bb取12，dd取8。
S3：在分块基础上，分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，求取每一个位置与其他位置块的关联度，具体过程为：
S3.1，假设有n对良好对齐的高低分辨率人脸样本对X和Y，其中X＝}x1，x2，...，xn}，Y＝{y1，y2，...，yn}。
S3.2，对X中的每一张人脸图像，进行无差别的均匀分块，分块窗口大小(块大小)记为bb，交叠像素尺寸个数为dd，因此窗口滑动步长为bb-dd，假设每张人脸图像长度和宽度分别为imrow和imcol个像素，那么可以通过计算得出每张图像被分成了M＝U×V块，其中U表示长度方向上分成的块数，V表示宽度方向上分成的块数，二者的求取公式为：
U＝ceil((imrow-dd)/(bb-dd))
V＝ceil((imcol-dd)/(bb-dd))
S3.3，进行无差别分块之后，的目的是挖掘这些图像块所代表的M个位置之间的关系网络，形成一张互相联结的、反映块位置之间空间关系的全局先验网络。
将每一个位置看成网络中的一个结点，将结点之间的关系看作结点之间的连线。很明显，结点均已存在，该先验网络的关键在于求取其中的关系线。
S3.4，网络是由每一个位置结点为中心组成的发散状关联组合而成，因此一一遍历结点，求取其关联度。在这里，关联度强弱是用纹理相似性度量。对于每一个位置的关联度求取过程，具体如下：设i表示位置标号，i＝1，2，3，...，M。对于第i个位置的图像块，得到该块与其他所有位置的关联度过程如下：
S3.4.1，在位置i上，有n个高分辨率样本块，即j代表样本数目。
S3.4.2，对于任意一个计算在第j张人脸样本图像上，与其他所有块的距离向量其中其中表示取块的纹理特征。表示取纹理特征操作。
S3.4.3，如此遍历完位置i上的n个图像块之后，可得n个与同规格的向量。
S3.4.4，将这些向量平均，可得位置i到其余所有位置的平均距离，记作M维向量Ri，即：
S3.4.5，遍历i的所有位置取值后，得到位置之间的一个全连接网络，该网络中的关联度表示为向量集合
S4：将S3得到的关联度向量做删减，将弱关联度的连接全部去掉，仅留下关联度高的指定数目的连接。具体过程为：
对每一个Ri，只保留最小的K个值，然后通过筛选，只保留其中小于阈值t的值，表示为取出中的索引(位置编号)，记为idi。
遍历所有i值后，得到精简后的网络关联度向量集合，记为：对应的索引向量集合记为实施实例中，K为12。
S5：对待处理低分辨率人脸图像xin的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度。具体为：
对待处理低分辨率人脸图像xin的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度。具体过程为：
将xin用相同的方法划分为U行V列的M个块，遍历xin的M个位置，记下每一个位置的遮挡情况，有遮挡记为1，否则为0，得到一个M维标志位向量遮挡标准为检查该人脸块的bb×bb矩阵中，是否有Thresh整列或Thresh整行的相同数值。实施实例中，Thresh取2.
S6：统一超分辨率恢复每一个无遮挡区域。具体为：
S6.1，在为输入样本xin的第i个块重建高分辨率块时，取出位置i对应的索引向量集合idi，根据idi中的索引表，取出位置块，级联作为输入的表征向量
S6.2，低分辨率库样本集合Xi也据此修改，根据idi中的索引表，取出位置块集合，按照相同的级联方式级联，记作
S6.3，通过寻求表示系数ωi，获得重建块。寻求表示系数的方式是设计特定的正则项最小化重建误差，例如增加距离约束的二范数误差，目标函数如下：
其中，λ表示平衡系数，由经验设定。D表示距离约束对角阵，即D＝diag{d1，d2，...，dk}，对角元素计算方法为：
S6.4，得到表示系数ωi后，可以将系数ωi和近邻关系投影到高分辨率空间，得到高分辨率表示库二者以权重加和的形式表示，得到最终结果，公式记作：
S7统一超分辨率恢复每一个有遮挡区域：遮挡部分的位置块，采用参数传递的方式，将全局近邻位置中，无遮挡部分的已经求得的重建系数作为参数的方式，进行处理。
S7.1，设遮挡部分的位置块根据位置i，取出高分辨率在位置i的全部训练块yi，记为
S7.2，根据位置i，从近邻标号集合id中取出位置i的全局上下文近邻的位置标号向量idi，作为参数的来源。其中k＝1，2，...K，K为向量idi的长度。
S7.3，遍历所有的K值：
若的flag值为0，则取位置的已有参数为ωi。
若中，遍历所有k得到的的flag都为1，则用idi作为锚点，一一遍历找出其在id中的近邻，遍历的所有元素，重复上述过程，直至ωi找到其替代参数。
S7.4，采用ωi和yi，可得到
S8，按位置拼接S7和S6所得高分辨率人脸图像块，得高分辨率人脸图像。
为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择1040个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中随机取800幅为训练样本，其余40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声，以及眼部的纯色遮挡(遮挡区域：水平方向的像素位置：1-96，垂直方向的像素位置15-55)后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法[1](方法1)、方法Dong[4](方法2)、基于像素级人脸局部结构的人脸超分辨率处理方法[5](方法3)得到主观图像、以及深度神经网络的精确图像超分辨率算法[6](方法4)。
表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，有较为明显的稳定提升。从实验结果可知，方法1～2出现了较严重误差，与原始图像的相似度很低。方法3中的结果由于是更加局部的像素级统计结构，对于极低降质具有细节恢复上的提升，但与本发明方法相比仍稍逊色。方法4中的结果由于是深度学习通用算法，对于降质情况的鲁棒性有限，所以在这方面仍稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～4都有显著提高。
表1恢复图像客观质量的对比
| PSNR值 | SSIM值 | |
| 方法1 | 12.3793 | 0.4060 |
| 方法2(Dong) | 12.9322 | 0.5925 |
| 方法3(Local pixel) | 15.6507 | 0.5918 |
| 方法4(VDSR) | 11.9383 | 0.4347 |
| 本发明方法 | 17.3485 | 0.6877 |
本发明方法通过从人脸图像的全局结构建模，为遮挡人脸图像数据的恢复提供经验指导。实验结果从主观质量到客观质量均证明了本发明的有效性，即全局网络建模的方法有效的减弱了局部的遮挡和损毁对图像重建的影响，从而提升了人脸超分辨率处理结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
参考文献：
[1]H.Chang，D.-Y.Yeung，Y.Xiong，“Super-resolution through neighborembedding，”CVPR，275-282，2004.
[2]Sung Won Park，Savvides，M.″Breaking the Limitation of ManifoldAnalysis for Super-Resolution of Facial Images″，ICASSP，pp：573-576，2007.
[3]Xiaogang Wang，Xiaoou Tang，“Hallucinating face byeigentransformation，”Systems，Man，and Cybernetics，Part C：Applications andReviews，IEEE Transactions on，vol.35，no.3，pp.425-434，2005.
[4]Xiaohui Dong，Ruimin Hu，Junjun Jiang，Zhen Han，Liang Chen，and GeGao.Noise face image hallucination via data-driven localeigentransformation.In PCM，pages 183-192，2014.
[5]Zhuo Hui，Kin Man Lam.An efficient local-structure-basedfacehallucination method.In ICASSP，pages1265-1268，2012.
[6]Jiwon Kim，Jung Kwon Lee，Kyoung Mu Lee.Accurate image super-resolution using very deep convolutional networks.CVPR，1646-1654，2016
[7]Hua Huang，Huiting He，Xin Fan，Junping Zhang，Super-resolution ofhuman face image using canonical correlation analysis，Pattern Recognition，43(7)：2532-2543，2010.
Claims (9)
1.基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：其包括以下步骤：
S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
S2：采用相同的分块方式将待处理低分辨率人脸图像、以及训练库中图像划分为具交叠部分的图像块，所述图像块为边长为bb的正方形图像块；
S3：在分块基础上，分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，求取每一个位置与其他位置块的关联度，即针对高分辨率人脸图像库中每一个人脸图像块位置，计算其与其他人脸图像块位置的关联度；
S4：将得到的关联度向量中弱关联度的连接全部去掉，仅留下关联度高的指定数目的连接；
S5：对待处理低分辨率人脸图像xin的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度；
S6：统一超分辨率恢复每一个无遮挡区域的图像块；
S7：统一超分辨率恢复每一个有遮挡区域的图像块；
S8：按位置拼接S7和S6所得高分辨率人脸图像块，得高分辨率人脸图像。
2.根据权利要求1所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：S1具体步骤为：将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成人脸训练库；同时使待处理低分辨率人脸图像与人脸训练库中图像大小相同且位置对齐。
3.根据权利要求2所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：所述位置对齐采用仿射变换法进行位置对齐。
4.根据权利要求1所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：S3求取每一个位置与其他位置块的关联度的具体步骤为：
步骤S3.1，假设有n对对齐的高低分辨率人脸样本对X和Y，其中X＝{x1,x2,...,xn}，Y＝{y1,y2,...,yn}；
步骤S3.2，对X中的每一张人脸图像M进行无差别的均匀分块成M＝U×V图像块，则U、V的求取公式为：
U＝ceil((imrow-dd)/(bb-dd))
V＝ceil((imcol-dd)/(bb-dd))
其中，imrow和imcol分别对应每张人脸图像长度像素个数和宽度的像素个数，bb为分块窗口大小，dd为交叠像素尺寸个数，bb-dd为窗口滑动步长，U表示长度方向上分成的块数，V表示宽度方向上分成的块数，
步骤S3.3，基于图像块构建M个位置之间的关系网络；每一个位置作为网络中的一个结点，将结点之间的关系作为结点之间的连线，形成一张互相联结的、反映块位置之间空间关系的全局先验网络；
步骤S3.4，一一遍历先验网络的结点，求取其关联度；对于每一个位置的关联度求取过程具体如下：设i表示位置标号，i＝1,2,3,...,M，计算第i个位置的图像块与其他所有位置图像块的关联度，具体过程如下：
步骤S3.4.1，获取在位置i上有n个高分辨率样本块，即j代表样本数目，
步骤S3.4.2，对于任意一个计算在第j张人脸样本图像上与其他所有块的距离向量
其中，其中表示块的纹理特征，表示取纹理特征操作；
步骤S3.4.3，遍历完位置i上的n个图像块后得n个与同规格的向量；
步骤S3.4.4，将n个所述向量平均得位置i到其余所有位置的平均距离，记作M维向量Ri，即：
步骤S3.4.5，遍历i的所有位置取值后得到位置之间的一个全连接网络，该网络中的关联度表示为向量集合
5.根据权利要求4所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：S4的具体步骤为：
对每一个Ri，只保留最小的K个值，然后通过筛选，只保留其中小于阈值t的值，表示为取出中的索引(位置编号)，记为idi；
遍历所有i值后，得到精简后的网络关联度向量集合，记为：对应的索引向量集合记为
6.根据权利要求1所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：S5的具体步骤为：
将xin用相同的方法划分为U行V列的M个块，遍历xin的M个位置，记下每一个位置的遮挡情况，有遮挡记为1，否则为0，得到一个M维标志位向量遮挡标准为检查该人脸块的bb×bb矩阵中，是否有Thresh整列或Thresh整行的相同数值,其中，Thresh指判定行列数目的阈值。
7.根据权利要求1所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：S6统一超分辨率恢复每一个无遮挡区域的具体步骤为：
S6.1，输入样本xin的第i个块重建高分辨率块时，取出位置i对应的索引向量集合idi，根据idi中的索引表，取出位置块，级联作为输入的表征向量
S6.2，低分辨率库样本集合Xi也据此修改，根据idi中的索引表，取出位置块集合，按照相同的级联方式级联，记作
S6.3，通过特定的正则项最小化重建误差过寻求表示系数ωi，目标函数如下：
其中，λ表示平衡系数，D表示距离约束对角阵，即D＝diag{d1,d2,...,dk}，且对角元素计算方法为：
S6.4，得到表示系数ωi后，将表示系数ωi和近邻关系投影到高分辨率空间，得到高分辨率表示库二者以权重加和的形式表示，得到最终结果，计算公式记作：
8.根据权利要求1所述的基于全局上下文先验约束的抗遮挡人脸超分辨率方法，其特征在于：S7中遮挡部分的位置块采用参数传递的方式将全局近邻位置中无遮挡部分的已经求得的重建系数作为参数进行处理，其具体步骤为：
S7.1，设遮挡部分的位置块根据位置i，取出高分辨率在位置i的全部训练块yi，记为
S7.2，根据位置i从近邻标号集合id中取出位置i的全局上下文近邻的位置标号向量idi作为参数的来源，其中k＝1,2,...K，K为向量idi的长度；
S7.3，遍历所有的K值：
当的flag值为0，则取位置的已有参数为ωi；
当中遍历所有k得到的的flag都为1，则用idi作为锚点一一遍历找出其在id中的近邻遍历的所有元素直至ωi找到其替代参数；
S7.4，基于ωi和yi得到有遮挡区域的高分辨率重建图像块
9.基于全局上下文先验约束的抗遮挡人脸超分辨率系统，其特征是：其包括：
训练库构建模型，用来构建通用图像训练库、包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，图像块为边长为bb的正方形图像块；
预处理模块，在分块基础上，为人脸图像库做预处理，求取每一个人脸位置块与其他位置块的关联度；
关联度删减模块，将弱关联度的连接全部去掉并留下关联度高的指定数目的连接；
待测图像预处理模块，对待处理低分辨率人脸图像的每一个块位置做遍历和预处理，判断每个待处理块的遮挡程度；
无遮挡的恢复模块，恢复每一个无遮挡待处理图像块；
有遮挡的恢复模块，恢复每一个有遮挡待处理图像块；
拼接模块，用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910213713.9A CN109934193B (zh) | 2019-03-20 | 2019-03-20 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910213713.9A CN109934193B (zh) | 2019-03-20 | 2019-03-20 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109934193A true CN109934193A (zh) | 2019-06-25 |
| CN109934193B CN109934193B (zh) | 2023-04-07 |
Family
ID=66987830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910213713.9A Active CN109934193B (zh) | 2019-03-20 | 2019-03-20 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934193B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310228A (zh) * | 2019-06-28 | 2019-10-08 | 福建师范大学 | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 |
| WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015204599A (ja) * | 2014-04-16 | 2015-11-16 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN105701770A (zh) * | 2016-01-18 | 2016-06-22 | 武汉大学 | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 |
| CN106920214A (zh) * | 2016-07-01 | 2017-07-04 | 北京航空航天大学 | 空间目标图像超分辨率重建方法 |
| CN108550114A (zh) * | 2018-04-19 | 2018-09-18 | 福建师范大学 | 一种多尺度空间约束的人脸超分辨率处理方法及系统 |
-
2019
- 2019-03-20 CN CN201910213713.9A patent/CN109934193B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015204599A (ja) * | 2014-04-16 | 2015-11-16 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN105701770A (zh) * | 2016-01-18 | 2016-06-22 | 武汉大学 | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 |
| CN106920214A (zh) * | 2016-07-01 | 2017-07-04 | 北京航空航天大学 | 空间目标图像超分辨率重建方法 |
| CN108550114A (zh) * | 2018-04-19 | 2018-09-18 | 福建师范大学 | 一种多尺度空间约束的人脸超分辨率处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 师硕等: "基于SURF和形状上下文的人脸匹配算法", 《计算机应用研究》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310228A (zh) * | 2019-06-28 | 2019-10-08 | 福建师范大学 | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 |
| WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109934193B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102169242B1 (ko) | 초해상도 영상 복원을 위한 기계 학습 방법 | |
| US8401333B2 (en) | Image processing method and apparatus for multi-resolution feature based image registration | |
| CN110490796B (zh) | 一种高低频成分融合的人脸超分辨率处理方法及系统 | |
| CN109543548A (zh) | 一种人脸识别方法、装置及存储介质 | |
| CN114418957A (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| CN105701770B (zh) | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 | |
| CN102982520B (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| WO2022121031A1 (zh) | 基于部分卷积和掩膜更新的指静脉图像修复方法 | |
| CN103426182A (zh) | 基于视觉注意机制的电子稳像方法 | |
| CN109658406A (zh) | 血管图像的识别方法、装置、计算机设备和存储介质 | |
| CN103489174B (zh) | 一种基于残差保持的人脸超分辨率方法 | |
| JP6932402B2 (ja) | スマートホームシーン向けのマルチジェスチャー精分割方法 | |
| WO2020233397A1 (zh) | 在视频中对目标进行检测的方法、装置、计算设备和存储介质 | |
| CN105335930B (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 | |
| CN110310228A (zh) | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 | |
| CN106203269A (zh) | 一种基于可形变局部块的人脸超分辨率处理方法及系统 | |
| CN113095385B (zh) | 一种基于全局和局部特征描述的多模图像匹配方法 | |
| CN103049897A (zh) | 一种基于自适应训练库的块域人脸超分辨率重建方法 | |
| CN109934193B (zh) | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 | |
| CN108550114B (zh) | 一种多尺度空间约束的人脸超分辨率处理方法及系统 | |
| CN105701515B (zh) | 一种基于双层流形约束的人脸超分辨率处理方法及系统 | |
| CN112465702B (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 | |
| CN112801021A (zh) | 基于多级语义信息的车道线检测方法及系统 | |
| CN112233021B (zh) | 基于降质分类和定向数据增广的鲁棒人脸超分辨处理方法 | |
| Cheng et al. | Classification-based video super-resolution using artificial neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |