CN110852962A - 一种基于回归树分类的双重映射学习压缩人脸图像复原方法 - Google Patents
一种基于回归树分类的双重映射学习压缩人脸图像复原方法 Download PDFInfo
- Publication number
- CN110852962A CN110852962A CN201911035976.1A CN201911035976A CN110852962A CN 110852962 A CN110852962 A CN 110852962A CN 201911035976 A CN201911035976 A CN 201911035976A CN 110852962 A CN110852962 A CN 110852962A
- Authority
- CN
- China
- Prior art keywords
- face image
- compressed
- image
- block
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000000903 blocking effect Effects 0.000 claims abstract description 11
- 238000012417 linear regression Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 48
- 230000009977 dual effect Effects 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 16
- 210000000697 sensory organ Anatomy 0.000 claims description 13
- 210000000887 face Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 7
- 210000000214 mouth Anatomy 0.000 claims description 7
- 210000001331 nose Anatomy 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 2
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于回归树分类的双重映射学习压缩人脸图像复原方法。在训练阶段，首先将得到的残差人脸图像不重叠分块，对应位置压缩图像块向外扩展后分块构成训练样本集；再对每个压缩图像块进行二次重叠分块，对得到的每个子块进行多维特征提取再进行回归树分类；通过分类结果引导压缩图像块进行全局回归和多局部线性回归的双重映射；得到的双重映射作为压缩图像块和残差图像块之间的非线性回归模型；将上述模型应用到待清晰的图像块中，得到复原后的残差图像块；按照位置顺序将残差图像块无重叠拼接后再加上压缩图像，得到最终复原后的清晰人脸图像。
Description
技术领域
本发明属于数字图像处理领域，特别涉及一种基于回归树分类的双重映射学习压缩人脸图像复原方法。
背景技术
随着近年来人脸检测、人脸识别、人机交互等应用发展火热，以人为处理对象的计算机视觉技术的应用场景越来越丰富，同时人们对于通过图像采集设备得到的人脸图像质量的要求也在逐渐提高。虽说如今手机、电脑等硬件设备已经大幅升级更新，但用户终端接收到的图片质量仍参差不齐，尤其是经过压缩后的人脸图像难以识别，导致后续的高级计算机视觉技术无法达到期望效果。因此压缩人脸图像复原技术的研究具有重要的意义。人脸图像复原技术是通过将采集到的压缩人脸图像，通过事先训练好的压缩复原模型处理得到与压缩人脸图像相同大小的清晰人脸图像。
发明内容
基于上述问题，本发明提出了一种基于回归树分类的双重映射学习压缩人脸图像复原方法，提高了待清晰人脸图像的质量。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其步骤如下：
(1)、将一组清晰人脸图像通过图像压缩模型得到一组对应的压缩人脸图像，用清晰人脸图像与得到的压缩人脸图像做差得残差人脸图像，接着将两组图像进行不重叠分块，压缩图像块向外扩展，两者按在图像中的位置顺序排列构建出清晰人脸与扩展的压缩人脸的训练样本集；
(2)、将训练集中扩展的压缩人脸图像块进行重叠分块，对得到的每个压缩人脸图像子块进行多维特征提取；
(3)、将得到的压缩人脸图像子块的多维特征进行回归树分类，对分得的每一类求其双重线性映射矩阵，即局部线性回归子和全局线性回归子；
(4)、将待清晰的人脸图像用大尺寸矩形窗进行不重叠分块，得到扩展的待清晰人脸图像块；利用训练得到的回归树分类结果，对待清晰的人脸图像块寻找所属类对应的双重映射矩阵，再利用双重线性映射矩阵求得对应的清晰人脸图像块；
(5)、将求得的清晰人脸图像块按位置不重叠拼接，再与待清晰人脸图像相加，得到最终的复原人脸图像。
优选的，所述的步骤(1)具体为：
(1.1)、从人脸样本库中取出清晰人脸图像，通过图像压缩模型得到压缩人脸图像。将清晰人脸图像与对应的压缩人脸图像相减，得到残差人脸图像；
(1.2)、采用小尺寸的矩形窗口对残差人脸图像进行不重叠的分块操作，得到残差人脸图像块；同时将对应位置小尺寸的压缩人脸图像块向外扩展，得到对应大尺寸的压缩人脸图像块；
(1.3)、压缩人脸图像块和残差人脸图像块构成压缩与清晰人脸的训练样本集，用表示压缩人脸图像块的样本集，用
表示残差人脸图像块的样本集，其中S表示大尺寸矩形窗口的尺寸，s表示小尺寸矩形窗口的尺寸，M表示样本集中图像块的个数。
优选地，所述步骤(2)具体为：
(2.1)、将扩展的压缩人脸图像块重叠分块得到一系列压缩人脸图像子块；对每个压缩人脸图像子块进行多维特征提取，用得到的结果作为所属图像块的表征；从而引导步骤(3)所述的分类问题。
(2.2)、压缩人脸图像子块的特征提取分为内部特征提取与外部特征提取，对应于子块的纹理、轮廓特征和语义特征；内部特征提取采用简单的边缘提取算子，示为
用式(1)所示的边缘提取算子图像子块进行处理，向量化拉伸后作为该压缩人脸图像子块的纹理特征；
(2.3)、外部特征提取分为三个部分，即压缩人脸图像子块在扩展的压缩人脸图像块中的相对位置，压缩人脸图像子块所属的五官类别，以及压缩人脸图像子块的几何统计特征；首先用式(2)计算压缩人脸图像子块与中心块的相对位置，用两者中心像素的曼哈顿距离之和求得，即
其中，dm(·)表示曼哈顿距离算子，k表示压缩人脸图像子块子块中心像素，ci表示中心块的第i个像素。
(2.4)、压缩人脸图像子块所属的五官类别由landmark判定，对于压缩人脸图像子块所属原始压缩人脸图像，由landmark算法可以得到人脸关键点，其中界定了眉毛、眼睛、鼻翼、嘴部和脸颊的轮廓范围；
为规避特征点不精准带来的误差，用五官的最小外接矩形粗略规定五官的位置；得到眼部、鼻子、嘴部和其他部分的五官特征区域划分后，将包含某一区域像素的图像块划分该区域属性；故将子块分为{1,2,3,4}这四类，分别代表眼部、鼻子、嘴部和脸部的其他部分；
(2.5)、压缩人脸图像子块的几何统计特征由子块的主方向角度和强度界定，首先通过计算压缩人脸图像子块的方差来衡量子块的平滑程度；用si代表第i个像素点的像素值，那么该压缩人脸图像子块的方差可以表示为
其中
代表压缩人脸图像子块像素的均值，l表示压缩人脸图像子块的总像素数；如求得的图像块方差低于设定的平滑阈值，则将该压缩人脸图像子块归为平滑类，剩下的块通过计算图像块的主方向强度，以预设的强度阈值作为区分，最后通过主方向角度将图像块分为N个方向范围；
压缩人脸图像子块主方向角度与强度的计算步骤如下：
对于一个压缩人脸图像子块，通过式(4)求得子块中第i个像素在整体像素中的梯度gi，
其中，t(x，y)表示在位置(x,y)处的第i个像素的大小，因此整个压缩人脸图像子块的梯度可以表示为
G＝[g1，...，gn]T (5)
为得到图像的主方向信息，需通过求取梯度表示G的奇异值分解(SVD)，G可被分解为G＝USVT；在上述分解式中，将矩阵V的第一列v1选作图像块的主方向向量，第二列v2则作为图像块的副方向向量，S中对应的特征值为S1，1和S2，2；
在此基础上，定义图像块主方向的强度为
定义图像块主方向的角度为
如压缩人脸图像子块计算出来的主方向强度值R小于设定的强度阈值，则将该压缩人脸图像子块归为随机块；根据上述定义对图像块进行分类，可将压缩人脸图像子块分为N类，表示为{1,2,…,N+2}，分别代表平滑块、随机块、以及N个方向块。
优选的，所述步骤(3)具体为：
(3.1)、步骤(1)中所述的残差人脸图像块与扩展的压缩人脸图像块进行向量化处理，得到需要复原的残差图像块特征和压缩图像特征，分别表示为
和
(3.2)、采用由步骤(2)得到的多维特征进行回归树分类，决策树分类通过判断样本是否符合当前叶节点的条件来对样本进行分类，回归树会遍历所有训练样本，找到最优的分割节点j和最优的分割点s；
出于图像复原的目的，用叶节点处训练的回归矩阵来比较不同划分的误差，节点j处的正则线性回归可以表示为式
其中，X表示训练集中的压缩图像块特征构成的矩阵，Y表示训练集中的残差图像块特征构成的矩阵，Cj是在节点j处训练得到的回归矩阵；
(3.3)、最优的分割节点j和最优的分割点s通过式(9)进行评判
其中，R1(j，s)＝{x|xj≤s}和R2(j，s)＝{x|xi＞s}是被划分后的两个区域；通过选择最优的分割节点j和最优的分割点s，遍历所有特征，找到使上式最小时的数对(j,s)；用选定的数对(j,s)划分区域，直到满足停止条件，即误差减小量；
(3.4)、如步骤(3.2)中所述的停止条件可以用在节点j处的误差减小量做衡量标准，当分支后的误差减小量小于给定阈值时，则不再往下分类；节点j处误差减小量的计算公式如式(10)所示：
其中，Ej是拟合误差，由j点的压缩图像块特征与残差图像块特征之间的均方误差求得，如式(11)所示，EL和ER是左右两个子节点的加权拟合误差，Nj表示在j点处的训练样本个数；
当分支后的误差减小量小于给定阈值时，则不再往下分类。
优选的，所述步骤(4)具体为：
(4.1)、假设由步骤(3)最终分类得到K类压缩人脸图像子块，首先对每类做压缩图像块特征到残差图像块特征的线性映射；用式(12)得到局部线性映射矩阵M，即
其中，Xk是属于第k类的残差图像块特征，Yk是属于第k类的压缩图像块特征；所述局部线性映射矩阵M可以由式(13)求得
(4.2)、对于一个扩展的压缩人脸图像块，可由步骤(4.1)求得m个映射矩阵；接下来需要再训练一个全局回归子，可将这m个压缩人脸图像子块的回归子结合起来，从而得到对压缩人脸图像块的双重线性映射矩阵；全局回归子的训练方式与局部线性映射矩阵类似，由式(14)求得
其中，Xc是由m个一次复原人脸图像块拼接而成的图像矩阵；
(4.3)、通过式(15)的乘法操作将两者结合，得最终的双重线性映射矩阵W：
优选的，所述步骤(5)具体为：
(5.1)、按照步骤(1)所述要求将待清晰人脸图像进行不重叠分块再向外扩展，得到扩展的待清晰人脸图像块，接下来以扩展的待清晰人脸图像块为单位进行复原处理；先将扩展的待清晰人脸图像块做向量化表示，同时对每个扩展的待清晰人脸图像块再划分得到一系列待清晰人脸图像子块，对每个待清晰人脸图像子块进行内部特征提取与外部特征提取；
(5.2)、将分割好的待清晰人脸图像子块放入训练好的回归树，得到该待清晰人脸图像子块所属的类以及对应的双重线性映射矩阵。
(5.3)、将待清晰人脸图像特征与上一步得到双重线性映射矩阵相乘，得到复原人脸图像特征；将复原人脸图像特征张成复原人脸图像块后按位置不重叠拼接，得到复原残差人脸图像；最后将复原残差人脸图像与待清晰人脸图像相加，得到最终的复原人脸图像。
本发明具有以下有益效果：1、本发明在人脸图像和清晰人脸图像间建立了不对称的映射关系，该方法能够充分利用压缩图像块区域的邻域像素关系，从而给压缩人脸图像带来更好的复原效果；2、本发明对压缩人脸图像块的子块进行了多维特征映射，该方法可以充分利用子块的结构信息和纹理信息，对人脸五官位置的提取可以充分运用人脸图像的结构化特性，从而有助于更好的分类；3、本发明的分类方法采用回归树分类，该方法可以协同运用图像块的多种特征进行分类，实验表明该分类可以带来更好的回归效果。
附图说明
图1是本发明训练和复原阶段的整体流程示意图；
图2是本发明分块后训练集训练方法的流程示意图。
具体实施方案
下面结合附图和实施实例对本发明作进一步说明。
本发明所述的一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其步骤如下：
(1)、将一组清晰人脸图像通过图像压缩模型得到一组对应的压缩人脸图像，用清晰人脸图像与得到的压缩人脸图像做差得残差人脸图像，接着将两组图像进行不重叠分块，压缩图像块向外扩展，两者按在图像中的位置顺序排列构建出清晰人脸与扩展的压缩人脸的训练样本集；
(2)、将训练集中的压缩人脸图像块进行重叠分块，对每个压缩人脸图像子块进行多维特征提取；
(3)、将得到的压缩人脸图像子块的多维特征进行回归树分类，对分得的每一类求其双重线性映射矩阵，即局部线性回归子和全局线性回归子；
(4)、将待清晰的人脸图像进行不重叠分块和向外扩展，得到扩展的待清晰人脸图像块；利用训练得到的回归树分类结果，对待清晰的人脸图像块寻找所属类对应的双重映射矩阵，再利用双重线性映射矩阵求得对应的清晰人脸图像块；
(5)、将求得的清晰人脸图像块按位置不重叠拼接，再与待清晰人脸图像相加，得到最终的复原人脸图像。
优选的，所述步骤(1)具体为：
(1.1)、从人脸样本库中取出大小不限的清晰人脸图像10000幅，然后用webp对清晰人脸图像进行压缩，得到对应的压缩人脸图像。将两者相减得残差人脸图像；
(1.2)、采用2*2的矩形窗口对残差人脸图像进行不重叠的分块操作，同时将对应位置2*2大小的压缩人脸图像块向外扩展，上下左右均向外扩展3格，得到对应8*8大小的扩展的压缩人脸图像块；缺失的边缘像素做填充处理；
(1.3)、将上步得到的残差人脸图像块和压缩人脸图像块对应整合起来，构成清晰与压缩人脸的训练样本集，用
表示压缩人脸图像块的样本集，用表示残差人脸图像块的样本集，其中M表示样本集中图像块的个数。
进一步，所述步骤(2)具体为：
(2.1)、将扩展的压缩人脸图像块用3*3的滑动窗口对其进行步长为1的滑动，每个8*8大小的扩展的压缩人脸图像块可得到36个大小为3*3的相互重叠的压缩人脸图像子块；
(2.2)、对压缩人脸图像子块用式(1)所示的边缘提取算子提取内部特征
该边缘提取算子对3*3大小的压缩人脸图像子块进行处理，可以得到长度为12的压缩人脸图像子块边缘特征；
(2.3)、用式(2)对压缩人脸图像子块在扩展的压缩人脸图像块中的相对位置进行测量
其中，dm(·)表示曼哈顿距离算子，k表示压缩人脸图像子块中心像素，ci表示中心块的第i个像素；
(2.4)、用landmark算法得到68个人脸关键点，用五官的最小外接矩形粗略规定五官的位置，从而得到压缩人脸图像子块所属的五官类别；可将压缩人脸图像子块分为{1,2,3,4}四类，分别代表眼部、鼻子、嘴部和其他部分；
(2.5)、压缩人脸图像子块的几何统计特征由压缩人脸图像子块的主方向角度和强度界定，首先通过计算压缩人脸图像子块的方差来衡量子块的平滑程度。由于一个压缩人脸图像子块由9个像素点组成，用si代表第i个像素点的像素值，那么该压缩人脸图像子块的方差可以表示为
其中
代表压缩人脸图像子块像素的均值；当求得的图像块低于设定的平滑阈值，将该压缩人脸图像子块归为平滑类，剩下的块通过计算图像块的主方向强度，以预设的强度阈值作为区分，最后通过主方向角度将图像块分为8个方向范围；
压缩人脸图像子块主方向角度与强度的计算步骤如下：
对于一个压缩人脸图像子块，通过式(4)求得压缩人脸图像子块中第i个像素在整体像素中的梯度gi：
其中，t(x，y)表示在位置(x,y)处的第i个像素的大小，因此整个压缩人脸图像子块的梯度可以表示为
G＝[g1，...，gn]T (5)
(2.6)、通过求取梯度表示G的奇异值分解(SVD)来得到图像的主方向信息，G可被分解为G＝USVT；在这个分解式中，将矩阵V的第一列v1选作图像块的主方向向量，第二列v2则作为图像块的副方向向量，S中对应的特征值为S1，1和S2，2；
在此基础上，定义图像块主方向的强度为
定义图像块主方向的角度为
因此，如果压缩人脸图像子块计算出来的主方向强度值R小于设定的强度阈值，则将该压缩人脸图像子块归为随机块；根据上述定义对图像块进行分类，可以将压缩人脸图像子块分为10类，表示为{1,2,…,10}，分别代表平滑块、随机块、以及8个方向块。
进一步，所述步骤(3)具体为：
(3.1)、将步骤(1)中得到的残差人脸图像块向量化处理，得到需复原的残差图像块特征
和压缩图像特征
(3.2)、采用由步骤(2)得到的多维特征进行回归树分类，用叶节点处训练的回归矩阵来比较不同划分的误差，节点j处的正则线性回归可以表示为式
其中，X表示训练集中的压缩图像特征构成的矩阵，Y表示训练集中的残差图像块特征构成的矩阵，Cj是在节点j处训练得到的回归矩阵，λ是正则化系数，设为0.001；
(3.3)、最优的分割节点j和最优的分割点s通过式(9)进行评判
其中，R1(j，s)＝{x|xj≤s}和R2(j，s)＝{x|xj＞s}是被划分后的两个区域；
(3.4)、当分支后的误差减小量小于给定阈值时，则不再往下分类，节点j处误差减小量的计算公式如式(10)所示：
其中，Ej是拟合误差，由j点的压缩图像块特征与残差图像块特征之间的均方误差求得，如式(11)所示，EL和ER是左右两个子节点的加权拟合误差，Nj表示在j点处的训练样本个数；
当分支后的误差减小量小于给定阈值时，则不再往下分类。
进一步，所述步骤(4)具体为：
(4.1)、由式(12)得到局部线性映射矩阵M，即
其中，Xk是属于第k类的残差图像块特征，Yk是属于第k类的8×8的压缩图像块特征，这里的稀疏系数λ＝0.001；对于一个8×8的扩展的压缩人脸图像块，可求得36个映射矩阵；经过推导，局部线性映射矩阵M可以由式(13)求得
(4.2)、对于一个扩展的压缩人脸图像块，可由步骤S41求得m个映射矩阵。接下来需要再训练一个全局回归子，可将这m个压缩人脸图像子块的回归子结合起来，从而得到对压缩人脸图像块的双重线性映射矩阵。全局回归子的训练方式与局部线性映射矩阵类似，由式(14)求得
其中，Xc是由36个一次复原人脸图像块拼接而成的图像矩阵；
(4.3)、通过式(15)的乘法操作可以将两者结合起来，得到最终的双重线性映射矩阵W：
进一步，所述步骤(5)具体为：
(5.1)、按照步骤(1)所述要求将待清晰人脸图像进行不重叠分块再向外扩展，得到扩展的待清晰人脸图像块，接下来以扩展的待清晰人脸图像块为单位进行复原处理。先将扩展的待清晰人脸图像块做向量化表示，同时对每个扩展的待清晰人脸图像块再划分得到一系列待清晰人脸图像子块，对每个待清晰人脸图像子块进行内部特征提取与外部特征提取；
(5.2)、将分割好的待清晰人脸图像子块放入训练好的回归树，得到该待清晰人脸图像子块所属的类以及对应的双重线性映射矩阵；
(5.3)、将待清晰人脸图像特征与上一步得到双重线性映射矩阵相乘，得到复原人脸图像特征；将复原人脸图像特征张成复原人脸图像块后按位置不重叠拼接，得到复原残差人脸图像；最后将复原残差人脸图像与待清晰人脸图像相加，得到最终的复原人脸图像。
Claims (6)
1.一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其特征在于，其步骤如下：
(1)、将一组清晰人脸图像通过图像压缩模型得到一组对应的压缩人脸图像，用清晰人脸图像与得到的压缩人脸图像做差得残差人脸图像，接着将两组图像进行不重叠分块，压缩图像块向外扩展，两者按在图像中的位置顺序排列构建出清晰人脸与扩展的压缩人脸的训练样本集；
(2)、将训练集中扩展的压缩人脸图像块进行重叠分块，对得到的每个压缩人脸图像子块进行多维特征提取；
(3)、将得到的压缩人脸图像子块的多维特征进行回归树分类，对分得的每一类求其双重线性映射矩阵，即局部线性回归子和全局线性回归子；
(4)、将待清晰的人脸图像用大尺寸矩形窗进行不重叠分块，得到扩展的待清晰人脸图像块；利用训练得到的回归树分类结果，对待清晰的人脸图像块寻找所属类对应的双重映射矩阵，再利用双重线性映射矩阵求得对应的清晰人脸图像块；
(5)、将求得的清晰人脸图像块按位置不重叠拼接，再与待清晰人脸图像相加，得到最终的复原人脸图像。
2.根据权力要求1所述的一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其特征在于，所述的步骤(1)具体为：
(1.1)、从人脸样本库中取出清晰人脸图像，通过图像压缩模型得到压缩人脸图像。将清晰人脸图像与对应的压缩人脸图像相减，得到残差人脸图像；
(1.2)、采用小尺寸的矩形窗口对残差人脸图像进行不重叠的分块操作，得到残差人脸图像块；同时将对应位置小尺寸的压缩人脸图像块向外扩展，得到对应大尺寸的压缩人脸图像块；
(1.3)、压缩人脸图像块和残差人脸图像块构成压缩与清晰人脸的训练样本集，用表示压缩人脸图像块的样本集，用
表示残差人脸图像块的样本集，其中S表示大尺寸矩形窗口的尺寸，s表示小尺寸矩形窗口的尺寸，M表示样本集中图像块的个数。
3.根据权力要求1所述的一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其特征在于，所述步骤(2)具体为：
(2.1)、将扩展的压缩人脸图像块重叠分块得到一系列压缩人脸图像子块；对每个压缩人脸图像子块进行多维特征提取，用得到的结果作为所属图像块的表征；引导步骤(3)所述的分类问题；
(2.2)、压缩人脸图像子块的特征提取分为内部特征提取与外部特征提取，对应于子块的纹理、轮廓特征和语义特征；内部特征提取采用简单的边缘提取算子，示为
h1＝[1 -1]
用式(1)所示的边缘提取算子图像子块进行处理，向量化拉伸后作为该压缩人脸图像子块的纹理特征；
(2.3)、外部特征提取分为三个部分，即压缩人脸图像子块在扩展的压缩人脸图像块中的相对位置，压缩人脸图像子块所属的五官类别，以及压缩人脸图像子块的几何统计特征；首先用式(2)计算压缩人脸图像子块与中心块的相对位置，用两者中心像素的曼哈顿距离之和求得，即
其中，dm(·)表示曼哈顿距离算子，k表示压缩人脸图像子块子块中心像素，ci表示中心块的第i个像素；
(2.4)、压缩人脸图像子块所属的五官类别由landmark判定，对压缩人脸图像子块所属原始压缩人脸图像，由landmark算法得到人脸关键点，其中界定了眉毛、眼睛、鼻翼、嘴部和脸颊的轮廓范围；
用五官的最小外接矩形粗略规定五官的位置；得到眼部、鼻子、嘴部和其他部分的五官特征区域划分后，将包含某一区域像素的图像块划分该区域属性；将子块分为{1,2,3,4}这四类，分别代表眼部、鼻子、嘴部和脸部的其他部分；
(2.5)、压缩人脸图像子块的几何统计特征由子块的主方向角度和强度界定，首先通过计算压缩人脸图像子块的方差来衡量子块的平滑程度；用si代表第i个像素点的像素值，那么该压缩人脸图像子块的方差可以表示为
其中代表压缩人脸图像子块像素的均值，l表示压缩人脸图像子块的总像素数；如求得的图像块方差低于设定的平滑阈值，则将该压缩人脸图像子块归为平滑类，剩下的块通过计算图像块的主方向强度，以预设的强度阈值作为区分，最后通过主方向角度将图像块分为N个方向范围；
其中，压缩人脸图像子块主方向角度与强度的计算步骤如下：
对于一个压缩人脸图像子块，通过式(4)求得子块中第i个像素在整体像素中的梯度gi，
其中，t(x，y)表示在位置(x,y)处的第i个像素的大小，因此整个压缩人脸图像子块的梯度可以表示为
G＝[g1，...，gn]T (5)
为得到图像的主方向信息，需通过求取梯度表示G的奇异值分解，G可被分解为G＝USVT；在上述分解式中，将矩阵V的第一列v1选作图像块的主方向向量，第二列v2则作为图像块的副方向向量，S中对应的特征值为S1，1和S2，2；
在此基础上，定义图像块主方向的强度为
定义图像块主方向的角度为
如压缩人脸图像子块计算出来的主方向强度值R小于设定的强度阈值，则将该压缩人脸图像子块归为随机块；根据上述定义对图像块进行分类，将压缩人脸图像子块分为N类，表示为{1,2,…,N+2}，分别代表平滑块、随机块、以及N个方向块。
4.根据权力要求1所述的一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其特征在于，所述步骤(3)具体为：
(3.1)、步骤(1)中所述的残差人脸图像块与扩展的压缩人脸图像块进行向量化处理，得到需要复原的残差图像块特征和压缩图像特征，分别表示为
和
(3.2)、采用由步骤(2)得到的多维特征进行回归树分类，决策树分类通过判断样本是否符合当前叶节点的条件来对样本进行分类，回归树会遍历所有训练样本，找到最优的分割节点j和最优的分割点s；
出于图像复原的目的，用叶节点处训练的回归矩阵来比较不同划分的误差，节点j处的正则线性回归可以表示为式
其中，X表示训练集中的压缩图像块特征构成的矩阵，Y表示训练集中的残差图像块特征构成的矩阵，Cj是在节点j处训练得到的回归矩阵；
(3.3)、最优的分割节点j和最优的分割点s通过式(9)进行评判
其中，R1(j，s)＝{x|xj≤s}和R2(j，s)＝{x|xj＞s}是被划分后的两个区域；通过选择最优的分割节点j和最优的分割点s，遍历所有特征，找到使上式最小时的数对(j,s)；用选定的数对(j,s)划分区域，直到满足停止条件，即误差减小量；
(3.4)、如步骤(3.2)中所述的停止条件可以用在节点j处的误差减小量做衡量标准，当分支后的误差减小量小于给定阈值时，则不再往下分类；节点j处误差减小量的计算公式如式(10)所示：
其中，Ej是拟合误差，由j点的压缩图像块特征与残差图像块特征之间的均方误差求得，如式(11)所示，EL和ER是左右两个子节点的加权拟合误差，Nj表示在j点处的训练样本个数；
当分支后的误差减小量小于给定阈值时，则不再往下分类。
5.根据权力要求1所述的一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其特征在于，所述步骤(4)具体为：
(4.1)、假设由步骤(3)最终分类得到K类压缩人脸图像子块，首先对每类做压缩图像块特征到残差图像块特征的线性映射；用式(12)得到局部线性映射矩阵M，即
其中，Xk是属于第k类的残差图像块特征，Yk是属于第k类的压缩图像块特征；所述局部线性映射矩阵M可以由式(13)求得
(4.2)、对于一个扩展的压缩人脸图像块，由步骤(4.1)求得m个映射矩阵；再训练一个全局回归子，将这m个压缩人脸图像子块的回归子结合，得到对压缩人脸图像块的双重线性映射矩阵；全局回归子的训练方式与局部线性映射矩阵类似，由式(14)求得
其中，Xc是由m个一次复原人脸图像块拼接而成的图像矩阵；
(4.3)、通过式(15)的乘法操作将两者结合，得最终的双重线性映射矩阵W：
6.根据权力要求1所述的一种基于回归树分类的双重映射学习压缩人脸图像复原方法，其特征在于，所述步骤(5)具体为：
(5.1)、按照步骤(1)所述要求将待清晰人脸图像进行不重叠分块再向外扩展，得到扩展的待清晰人脸图像块，再以扩展的待清晰人脸图像块为单位进行复原处理；先将扩展的待清晰人脸图像块做向量化表示，同时对每个扩展的待清晰人脸图像块再划分得到一系列待清晰人脸图像子块，对每个待清晰人脸图像子块进行内部特征提取与外部特征提取；
(5.2)、将分割好的待清晰人脸图像子块放入训练好的回归树，得到该待清晰人脸图像子块所属的类以及对应的双重线性映射矩阵。
(5.3)、将待清晰人脸图像特征与上一步得到双重线性映射矩阵相乘，得到复原人脸图像特征；将复原人脸图像特征张成复原人脸图像块后按位置不重叠拼接，得到复原残差人脸图像；最后将复原残差人脸图像与待清晰人脸图像相加，得到最终的复原人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911035976.1A CN110852962B (zh) | 2019-10-29 | 2019-10-29 | 一种基于回归树分类的双重映射学习压缩人脸图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911035976.1A CN110852962B (zh) | 2019-10-29 | 2019-10-29 | 一种基于回归树分类的双重映射学习压缩人脸图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852962A true CN110852962A (zh) | 2020-02-28 |
| CN110852962B CN110852962B (zh) | 2022-08-26 |
Family
ID=69598068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911035976.1A Active CN110852962B (zh) | 2019-10-29 | 2019-10-29 | 一种基于回归树分类的双重映射学习压缩人脸图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852962B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113315757A (zh) * | 2021-05-10 | 2021-08-27 | 内蒙古工业大学 | 一种面向边缘计算的数据免解码传输方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120207359A1 (en) * | 2011-02-11 | 2012-08-16 | Microsoft Corporation | Image Registration |
| CN106599856A (zh) * | 2016-12-19 | 2017-04-26 | 四川长虹电器股份有限公司 | 一种联合人脸检测、定位和识别的方法 |
| CN108171124A (zh) * | 2017-12-12 | 2018-06-15 | 南京邮电大学 | 一种相似样本特征拟合的人脸图像清晰化方法 |
-
2019
- 2019-10-29 CN CN201911035976.1A patent/CN110852962B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120207359A1 (en) * | 2011-02-11 | 2012-08-16 | Microsoft Corporation | Image Registration |
| CN106599856A (zh) * | 2016-12-19 | 2017-04-26 | 四川长虹电器股份有限公司 | 一种联合人脸检测、定位和识别的方法 |
| CN108171124A (zh) * | 2017-12-12 | 2018-06-15 | 南京邮电大学 | 一种相似样本特征拟合的人脸图像清晰化方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113315757A (zh) * | 2021-05-10 | 2021-08-27 | 内蒙古工业大学 | 一种面向边缘计算的数据免解码传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852962B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829443B (zh) | 基于图像增强与3d卷积神经网络的视频行为识别方法 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN106529447B (zh) | 一种小样本人脸识别方法 | |
| WO2022041678A1 (zh) | 张量协作图判别分析遥感图像特征提取方法 | |
| WO2020063527A1 (zh) | 基于多特征检索和形变的人体发型生成方法 | |
| CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN109919830B (zh) | 一种基于美学评价的带参考人眼图像修复方法 | |
| CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| CN112070044B (zh) | 一种视频物体分类方法及装置 | |
| CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN113112416B (zh) | 一种语义引导的人脸图像修复方法 | |
| CN112434608A (zh) | 一种基于双流结合网络的人体行为识别方法及系统 | |
| CN106157330A (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
| CN111241963A (zh) | 基于交互建模的第一人称视角视频交互行为识别方法 | |
| CN116052218B (zh) | 一种行人重识别方法 | |
| Zhang et al. | Global low-rank image restoration with Gaussian mixture model | |
| CN113205502A (zh) | 一种基于深度学习的绝缘子缺陷检测方法及其系统 | |
| CN114220143A (zh) | 一种佩戴口罩的人脸识别方法 | |
| CN110852962B (zh) | 一种基于回归树分类的双重映射学习压缩人脸图像复原方法 | |
| CN116993760A (zh) | 一种基于图卷积和注意力机制的手势分割方法、系统、设备及介质 | |
| CN114119669A (zh) | 一种基于Shuffle注意力的图匹配目标跟踪方法与系统 | |
| CN109583406B (zh) | 基于特征关注机制的人脸表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |