CN107153816B - 一种用于鲁棒人脸识别的数据增强方法 - Google Patents
一种用于鲁棒人脸识别的数据增强方法 Download PDFInfo
- Publication number
- CN107153816B CN107153816B CN201710279715.9A CN201710279715A CN107153816B CN 107153816 B CN107153816 B CN 107153816B CN 201710279715 A CN201710279715 A CN 201710279715A CN 107153816 B CN107153816 B CN 107153816B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- triangle
- occlusion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000005286 illumination Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 210000001508 eye Anatomy 0.000 claims description 24
- 230000008921 facial expression Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 20
- 230000036544 posture Effects 0.000 claims description 18
- 230000007935 neutral effect Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 238000000465 moulding Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 12
- 238000012549 training Methods 0.000 abstract description 7
- 238000003672 processing method Methods 0.000 abstract description 5
- 238000002310 reflectometry Methods 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 40
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000012847 principal component analysis method Methods 0.000 description 6
- 208000006440 Open Bite Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 210000001097 facial muscle Anatomy 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 241000722363 Piper Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 101100327398 Anopheles gambiae CecA gene Proteins 0.000 description 1
- 101100059601 Ceratitis capitata CEC1 gene Proteins 0.000 description 1
- 101100004157 Drosophila melanogaster bab1 gene Proteins 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于鲁棒人脸识别的数据增强方法，其中包括一种脸部遮挡处理方法，如果输入的人脸图像是无遮挡的情况，则遮挡掩膜选用所有无遮挡样本形成的标准，如果人脸图像对应某一类遮挡，则选用相应的遮挡掩膜进行重建；人为添加噪声，进行噪声增强处理；模糊集图像增强；HsV均衡的同态滤波，通过对图像的频谱分析，分别处理光照和反射率对象元灰度值的影响，把图像还原的更清楚，更加细节化；基于特征三角形的人脸多姿态完备图像生成。本发明公开的一种用于鲁棒人脸识别的数据增强方法，在实际人脸识别系统中可以克服遮挡、噪声、模糊、光照、表情、姿态等因素影响，能够解决在实际人脸识别系统中训练数据不足的问题，提升模型的泛化能力。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种用于鲁棒人脸识别的数据增强方法。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是图像分析与理解领域中最成功的应用之一，因其在商业、安全、身份认证、法律执行、管理等众多方面的广泛应用，备受使用者与研究者青睐，在众多领域有着广阔的应用前景。其中，大数据的应用，对模型的通用性有着重要的影响。
学术界一直将主要精力集中在识别算法的研究上，相关算法层出不穷。现有的人脸识别算法在理想的实验环境下，已达到相当高的识别率，但在实际客观非受控的条件下识别效果却不尽如人意，尤其是面临着遮挡、噪声、模糊、光照、表情、姿态等多方面的挑战。
遮挡是影响人脸检测、识别的重要因素，它对人脸识别的影响远远超过了光照、表情等的影响，在实际人脸图像处理过程中，墨镜、帽子、围巾等往往会导致脸部，如眼睛、嘴角等部位重要信息的丢失。
噪声可以理解为影响传感器对所接受图像源信息进行理解或分析的各种因素。图像中的噪声就是图像中的杂点或者干扰成分，主要产生于图像的获取和传输过程中。噪声一般是不可预测的随机信号，它只能用概率统计的方法去认识。噪声对图像的输入，采集和处理的各个环节以及输出结果全过程都有影响。因为在实际工程应用中，很难保证采集到的图像清晰可靠，大数据时代，增加噪声，可以避免过拟合训练数据，同时，给图像加上噪声，以方便后期对算法效果进行验证。
随着智能手机的迅速发展，越来越多的人通过手机拍摄图像与视频，并将其应用于各种场合，例如社交、监控等。由于硬件设备的限制和所处环境的影响，拍摄的图像往往存在模糊不清的现象。对于模糊图像增强有着越来越大的需求。因此，将基于模糊集的图像增强方法应用到图像处理中，以克服传统图像增强方法的不足。
而针对光照问题，有效克服光照影响是人脸识别不可缺少的环节，也是计算机视觉中的技术难点。由于光照强度变化，人脸上一部分特征可能会更加突出，在数字人脸图像上表现为灰度值较高，而又会有另一部分特征可能会由于光照作用的变化而被弱化，在数字人脸图像上表现为灰度值偏低。所以，由于光照信息的变化，使得可用于有效识别的人脸的关键特征分布于差异较大的灰度空间。尽管人脸的表情、姿态以及拍摄的视角都没有变化，但是由于光照条件的不同，却造成了明暗、高光、阴影效果上的显著差异。
人脸表情作为表达情感的一个方面，在人际交流中起到非常重要的作用，不仅是展示情绪，更是传播情感信息与协调双方关系的重要方式。据心理学家Mehrabiadu的研究表明，在人类的日常交流中，通过人脸表情传递的信息高达信息总量的55％，而通过声音、语言传递的信息分别占信息总量的38％和7％。而人脸表情的变化会引起了人脸的非刚性形变，并导致同一个体人脸在识别中增加难度。
人脸姿态的变化同时会使表述更加生动形象，其复杂的结构能提供非常丰富的信息，使得生成多姿态人脸图像在许多人脸处理应用中成为人脸识别、人脸检测、人脸跟踪、人脸表情分析等领域的一个关键环节和重要研究内容之一。姿态变化给人脸图像带来的变化往往比不同人的人脸图像之间的差异更大，这是当前人脸识别技术面临的主要挑战，所以姿态问题也是人脸识别的一个瓶颈问题。
因此，针对以上问题，我们提出了一种用于鲁棒人脸识别的数据增强方法，来改进现有方法的不足。
发明内容
为解决上述问题本发明提出了一种用于鲁棒人脸识别的数据增强方法，在实际人脸识别系统中可以克服遮挡、噪声、模糊、光照、表情、姿态等因素影响，能够解决在实际人脸识别系统中训练数据不足的问题，提升模型的泛化能力。
本发明的技术方案如下：一种用于鲁棒人脸识别的数据增强方法，其中，包括一种脸部遮挡处理方法，如果输入的人脸图像是无遮挡的情况，则遮挡掩膜选用所有无遮挡样本形成的标准，如果人脸图像对应某一类遮挡，则选用相应的遮挡掩膜进行重建。
常用的脸部遮挡处理方法有基于统计分析的方法、基于红外图像的遮挡区域检测方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自动多值掩膜主成分分析人脸重建模型等。可以选择其中之一来进行脸部遮挡处理。
本发明以一种自动多值掩膜主成分分析人脸重建模型，来进行脸部遮挡处理。该模型包括3个关键步骤：自动确定人脸遮挡类型、寻找遮挡掩模、确定重建系数。首先，判断遮挡区域、确定遮挡类型；然后，找到不同遮挡类型的遮挡掩模；最后，确定重建合成系数，从而实现遮挡区域的自动重建。从而恢复人脸图像，达到减弱遮挡对人脸识别影响的目的。
一种用于鲁棒人脸识别的数据增强方法，其中，还包括人为添加噪声，进行噪声增强处理。图像信号在产生、传输过程中都可能会受到噪声的污染，一般数字图像系统中的常见噪声主要有：高斯噪声(主要由阻性元器件内部产生)、椒盐噪声(主要是图像切割引起的黑图像上的白点噪声或光电转换过程中产生的泊松噪声)等。大数据时代，加上噪声的图像，可以避免过拟合训练数据，同时，给图像加上噪声，以方便后期对算法效果进行验证。有些机器学习算法对没有噪声的图像识别的效果很好，但噪声较多的情况效果就很不理想了，因为在实际工程应用中，很难保证采集到的图像清晰可靠。
图像增强是一种基本的图像底层处理的手段，它的目的在于改善原始图像的视觉效果。传统的图像增强方法，技术上可以分成两大类：频域法和空域法。前者立足于修改图像的傅立叶变换，后者基于灰度级映射变换，直接处理图像中的象素，其变换型取决于增强准则的选择。这些传统的图像增强技术大都没有考虑图像的模糊性，而只简单地对整个图像改变对比度或抑制噪声，往往在抑制噪声的同时也削弱了图像的细节部分。因此，本专利将基于模糊集的图像增强方法应用到图像处理中，以克服传统图像增强方法的不足。
模糊特征平面：按照模糊子集理论的概念，一幅M×N维的具有L个灰度等级的图像X，可以作为一个模糊点阵看待，记为
或
式(2)中
表示图像中第(i，j)个点像素具有某种特征的程度为μij(0≤μij≤1)，称μij为模糊特征。若以像素的相对灰度级作为感兴趣的模糊特征，这时μij表示像素(x，y)的灰阶xij关于某个特定灰度等级的隶属度，通常这个特定的灰度等级为图像的最大灰度等级xmax。由μij的全体组成的平面{μij}，i＝1，2，...，M；j＝1，2，...，N，称为模糊特征平面。
本发明专利中以Pal方法为实施例进行说明，首先利用变换函数(即隶属度函数)提取图像的模糊特征，所用的隶属度函数如式(3)所示。
式(3)中Fe和Fd分别为大于零的指数模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成图像的模糊特征平面{μij}，称μ＝0.5对应的灰度等级为渡越点。通过对隶属度函数μij进行变换，并以渡越点为界增大或减小μij的值从而得到一个由全体μij，组成的新模糊特征平面{μij′}，其中
μij′＝T(r)(μij)＝T(T(r-1)(μij))，r＝1，2，3，... (4)
而T(r)是函数T的r次迭代运算，其中变换T取为某种s型函数，如式(5)
式(5)中uc为阈值，可以取0.5(也可自定义)，其作用是增大那些大于0.5的而减小那些小于0.5的，以达到增强对比度的目的。对新的模糊特征平面{μij′}进行式(6)所示的逆变换，
式(6)中G-1表示G的逆变换，这样就可以得到模糊增强后的图像的灰度值。
在人脸识别中，光照强度的改变会对人脸识别产生较大影响，由光照强度变化所导致的暗光和高光或者是光照角度变化所生成的不同程度的明暗区或者阴影都会降低算法的识别率。有效克服光照影响是图像处理中不可缺少的环节。
为了弱化光照影响，提高彩色图像质量，本专利应用HSV变换和同态滤波的光照补偿方法。首先将图像从RGB色彩空间变换至HSV色彩空间，然后将高斯高通滤波传递函数引入同态滤波中，设计出一种新的动态高斯同态滤波器，在频域内对图像亮度分量进行增强，并保持色调和饱和度不变，在增强图像细节的同时，削减图像低频分量，弥补因光照不足引起的图像质量下降，实现对彩色图像的光照补偿。
本发明专利中，我们使用一种鲁棒性强的几何特征，命名为几何弯曲特征，它是从人脸关键点的弯曲变换导出的。人脸表情是由脸部肌肉运动引起的。这些运动导致人脸关键点位置的移动。我们假设每个人脸图像由许多子区域组成。这些子区域可以由位于人脸关键点的三角形顶点组成。人脸关键点位置的移动引起三角形的变形。我们利用变形来表示人脸表情的变化。
人脸表情可以被看作是包括静止，峰值和偏移的动态过程。我们考虑相应的人脸关键点在开始(中性面部)和峰值(表情脸)之间的位移。给定一组人脸关键点s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i个人脸关键点的坐标。这些人脸关键点构成人脸的网格，如图4所示。
我们可以看到，脸上有许多小三角形，每个三角形由三个关键点决定。当中性脸变换为表情脸时，面部肌肉运动引起三角形的变形。我们认为位于中性脸的ΔABC中的像素(x，y)对应于表情脸的ΔA′B′C′中的像素(u，v)，如图5所示。像素(x，y)可以用三个顶点的线性组合表示。
系数λ1，λ2可以由以下公式得到
表情脸中ΔABC的点(u，v)可以用三个顶点和λ1，λ2来定义。
中性脸中ΔABC中的像素点(x，y)转换到表情脸中ΔA′B′C′中的像素(u，v)
合并(8)、(9）、(10)式子可以重新写为：
中性脸和表情脸之间的每对三角形可以定义唯一变换，并且每个仿射变换由6个参数a1，a2，...，a6确定。我们计算每个扭曲变换的6个参数，并将所有参数连接成一个长的全局特征向量，用于表征人脸表情变化变化。从而达到由一张人脸表情得到多张人脸表情的目的。
由以上得到的人脸图像，下一步进行人脸姿态图像获取。姿态获取较常用的方法有基于模型的方法、基于训练的方法、基于特征三角形的方法。本发明专利选用基于特征三角形的人脸姿态图像获取方法作为实施例进行说明。
基于人脸平面的对称性，利用人脸图像中三个特征点估计人脸姿态。
特征点位置的选择
从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。
基于投影知识的姿态分析
(1)人脸特征三角形的确立
把人脸近似地看作是对称的，定义二维坐标(oxy)的坐标原点位于正脸时左右眼(A和B)连线的中点O。人手选取两眼球中心和鼻尖这三个特征点，连接这三个特征点可以得到一个等腰三角形，如图1所示的三角形，称这个为特征三角形。图6中点A到B为两只眼睛之
间的连线L，鼻尖到L的垂线为H，垂足为E。
(2)转角的确立
有转角时两眼长度为ALBL，即侧面人脸两眼长度AB在二维坐标xy面的投影，(关系：正脸人脸两眼距离AB在转角面的投影为ALBL)，构造直角三角形ABB1，AB与A1B1构成的角就是侧脸和正脸之间的夹角，也就是人脸在平行于成像平面的转角。如图7所示。
(3)仰(俯)角的确立
有仰(俯)角时鼻尖到两眼连线的距离为C1E1，即仰地(俯)面人脸鼻尖到两眼连线的距离长度CE在二维坐标xy面的投影，(关系：正面人脸鼻尖到两眼连线的距离长度CE在仰(俯)角面的投影为C1E1)，构造直角三角形CC1E，CE与C1E1构成的角就是仰(俯)脸和正脸之间的夹角，也就是人脸在垂直于成像平面的仰(俯)角。如图8所示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的结构示意图。
图2为本发明实施例提供的HSV彩色空间模型。
图3为本发明实施例提供的Pal提出的模糊增强的模型。
图4为本发明实施例提供的人脸关键点描述人脸形状示意图。
图5为本发明实施例提供的中性脸中ΔABC中的像素点(x，y)转换到表情脸中ΔA′B′C′中的像素(u，v)。
图6为本发明实施例提供的利用两眼球中点和鼻尖得到特征三角形
图7为本发明实施例提供的确定转角∠BAB1
图8为本发明实施例提供的确定仰(俯)角∠CEC1
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于鲁棒人脸识别的数据增强方法，其中，包括一种脸部遮挡处理方法，如果输入的人脸图像是无遮挡的情况，则遮挡掩膜选用所有无遮挡样本形成的标准，如果人脸图像对应某一类遮挡，则选用相应的遮挡掩膜进行重建。
常用的脸部遮挡处理方法有基于统计分析的方法、基于红外图像的遮挡区域检测方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自动多值掩膜主成分分析人脸重建模型等。可以选择其中之一来进行脸部遮挡处理。
本发明以一种自动多值掩膜主成分分析人脸重建模型，来进行脸部遮挡处理。该模型包括3个关键步骤：自动确定人脸遮挡类型、寻找遮挡掩模、确定重建系数。首先，判断遮挡区域、确定遮挡类型；然后，寻找不同遮挡类型的遮挡掩模；最后，确定重建合成系数，从而实现遮挡区域的自动重建。从而恢复人脸图像，达到减弱遮挡对人脸识别影响的目的。
遮挡类型判断：
遮挡区域的精确判断是确定脸部什么特征被遮挡了(眼睛、嘴巴、鼻子、下巴等)。用无遮挡样本与待测人脸的特征脸之差来判断是否有遮挡，遮挡区域在哪里。PCA变换用式(1)表示：
式中，x是包括n个像素的待测图像，e是近似误差，m是平均人脸图像，yi是对应第i个特征脸的权重，vi(i＝1，2，3，...，N)是第i个特征脸。
式中，x0是待测图像的原始数据，x′是新的重建人脸，x1第一次融合后的人脸图像，w对于遮挡部分与非遮挡部分分别取0和1，表明遮挡区域使用新的重建图像部分，非遮挡部分使用原始输入图像，通过上面的公式迭代计算直到系数y小于阈值为止。下面是遮挡部分的检测：
|e|＝|x(k+1)′-xk| (3)
式中，|e|值较大时认为是遮挡区域，|e|值较小时则认为是非遮挡区域。
最优遮挡人脸合成系数：
给定样本集{x1，x2，...，xN}，其中N为样本总数，样本xi在n维空间中取值，最优人脸合成系数yi在m维空间取值，且m＜n。
式中，xi′是合成后的样本，xij是原始样本xi与第j个人脸基图像对应的最优合乘系数，i＝1，...，N，j＝1，...，m。定义第q个特征的原始图像与合成图像之间的残差脸为：
δq＝xiq-xiq′，q＝1，...，n (5)
根据Charbonnier等人给出的约束条件：
式中，b是外部干扰面，δ是最优人脸遮挡掩膜，β(·)是bq的函数，对人脸来说，bq值趋向1，对遮挡物来说，bq值趋向0，显然，bq仅仅是最优人脸遮挡掩膜的σq反映，即σq才是真正的人脸遮挡区域的掩膜，最优合成系数问题就是合成系数y和变量b的多目标优化问题。
最优人脸遮挡合成系数的求解：
为了使上述目标优化问题能够收敛，并减少迭代次数和运算量，使用标准二次型函数和3种半二次型函数通过4次迭代进行求解。
其中，第一个函数是一个凸函数，它的导数是单调函数；第二个函数是非凸函数，它的导数是弱震荡的；第三个函数是非凸的。第一个函数可以保证唯一解，而第三个函数的强振荡导数可以有效地抑制外部干扰的影响，使用第二个函数的弱振荡导数来保证优化问题的最终收敛。最优合成系数的初始值选用PCA空间的最小均方误差意义下求得的重建系数，迭代更新重建系数，求得最优合成系数y。
多值变化掩模的生成：
首先定义人脸遮挡的类型，如墨镜遮挡、围巾遮挡、网状遮挡等。使用各种遮挡人脸图像，选用M估计器(M-estimator)对遮挡掩模进行估计，为不同像素点估计符合自身特性的幅度参数，其目标函数满足：
式中，ρ是在零值处有且只有一个最小值的对称正定目标函数，ψ为影响函数，w为权函数。目标函数ρ选择不同，其影响函数和权函数也不相同。由M估计器估计的遮挡掩模σq满足如下公式：为奇数
式中，avg表示N个样本的均值，是遮挡样本，gp为常数，θ(G)是辅助中心估计，ε为一个平滑函数。
M估计中，β、ε不同可以确定不同的遮挡掩膜。在实际处理时，首先确定遮挡区域，即遮挡类型，就能确定遮挡掩膜。通过多次试验获得墨镜和围巾遮挡情况下的参数值：β取值为a，ε取值为b，获得了墨镜遮挡的人脸掩膜；β取值为c，ε取值为d获得了围巾遮挡的人脸掩膜。
重建无遮挡人脸：
给定待处理的遮挡人脸，确定遮挡类型后，重建无遮挡人脸的公式为：
如果系统给出的人脸是无遮挡的情况，则遮挡掩模选用所有无遮挡样本形成的标准，如果人脸对应某一类遮挡，则选用相应的遮挡掩模进行重建。
对于以上完成人脸遮挡区域恢复后的人脸图像进行加噪处理。图像信号在产生、传输过程中都可能会受到噪声的污染，一般数字图像系统中的常见噪声主要有：高斯噪声(主要由阻性元器件内部产生)、椒盐噪声(主要是图像切割引起的黑图像上的白点噪声或光电转换过程中产生的泊松噪声)等。大数据时代，加上噪声的图像，可以避免过拟合训练数据，同时，给图像加上噪声，以方便后期对算法效果进行验证。有些机器学习算法对没有噪声的图像识别的效果很好，但噪声较多的情况效果就很不理想了，因为在实际工程应用中，很难保证采集到的图像清晰可靠。因此，本发明实施例中，我们对人脸图像增加高斯噪声、椒盐噪声。
图像增强是一种基本的图像底层处理的手段，它的目的在于改善原始图像的视觉效果。传统的图像增强方法，技术上可以分成两大类：频域法和空域法。前者立足于修改图像的傅立叶变换，后者基于灰度级映射变换，直接处理图像中的象素，其变换型取决于增强准则的选择。这些传统的图像增强技术大都没有考虑图像的模糊性，而只简单地对整个图像改变对比度或抑制噪声，往往在抑制噪声的同时也削弱了图像的细节部分。因此，本专利将基于模糊集的图像增强方法应用到图像处理中，以克服传统图像增强方法的不足。
模糊特征平面：按照模糊子集理论的概念，一幅M×N维的具有L个灰度等级的图像X，可以作为一个模糊点阵看待，记为
或
式(14)中
表示图像中第(i，j)个点像素具有某种特征的程度为μij(0≤μij≤1)，称μij为模糊特征。
若以像素的相对灰度级作为感兴趣的模糊特征，这时μij表示像素(x，y)的灰阶xij关于某个特定灰度等级的隶属度，通常这个特定的灰度等级为图像的最大灰度等级xmax。由μij的全体组成的平面{μij}，i＝1，2，...，M；j＝1，2，...，N，称为模糊特征平面。
本专利以Pal方法为实施例进行说明，首先利用变换函数(即隶属度函数)提取图像的模糊特征，所用的隶属度函数如式(15)所示。
式(15)中Fe和Fd分别为大于零的指数模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成图像的模糊特征平面{μij}，称μ＝0.5对应的灰度等级为渡越点。通过对隶属度函数μij进行变换，并以渡越点为界增大或减小μij的值从而得到一个由全体μij′组成的新模糊特征平面{μij′}，其中
μij′＝T(r)(μij)＝T(T(r-1)(μij))，r＝1，2，3，... (16)
而T(r)是函数T的r次迭代运算，其中变换T取为某种s型函数，如式(17)
式(17)中uc为阈值，可以取0.5(也可自定义)，其作用是增大那些大于0.5的而减小那些小于0.5的，以达到增强对比度的目的。对新的模糊特征平面{μij′}进行式(18)所示的逆变换，
式(18)中G-1表示G的逆变换，这样就可以得到模糊增强后的图像的灰度值。
在人脸识别中，光照强度的改变会对人脸识别产生较大影响，由光照强度变化所导致的暗光和高光或者是光照角度变化所生成的不同程度的明暗区或者阴影都会降低算法的识别率。有效克服光照影响是图像处理中不可缺少的环节。
为了弱化光照影响，提高彩色图像质量，本专利应用HSV变换和同态滤波的光照补偿方法。首先将图像从RGB色彩空间变换至HSV色彩空间，然后将高斯高通滤波传递函数引入同态滤波中，设计出一种新的动态高斯同态滤波器，在频域内对图像亮度分量进行增强，并保持色调和饱和度不变，在增强图像细节的同时，削减图像低频分量，弥补因光照不足引起的图像质量下降，实现对彩色图像的光照补偿。
HSV色彩空间由H、S、V三个分量组成，H、S分别代表色调和饱和度，V代表亮度。该空间模型为一个倒圆锥体，如图1所示。
圆锤的顶面对应于V＝1，代表的颜色最亮，锥角处V＝0，代表的颜色最暗；色调H由围绕V轴逆时针旋转的角度表示，其中红色对应于0°角，黄色对应于60°角，绿色对应于120°角，深蓝色对应于180°角，蓝色对应于240°角；饱和度S由轴心向椎体圆周过渡，表示饱和度由低到高。
色彩空间能够更加完善地去处理人眼所不能察觉的信息，与人的感知更加接近。图像彩色信息主要体现在色调和饱和度上，亮度的改变对彩色信息影响较少，便于对各分量分别处理。在光照补偿过程中，把RGB图像转换到HSV空间，对其中的亮度分量进行增强处理，同时保持色调和饱和度不变，最后将生成的亮度分量与色调、饱和度分量进行逆变换产生新图像。由RGB空间到HSV空间的变换表达式如下：
V＝max(R，G，B) (21)
式中：R、G、B分别是归一化的RGB空间的值。H分量取值范围为[0，360)，S、V分量取值范围分别为(0，1]和[0，1]。设i＝H/60，f＝H/60，其中i为被60整除的除数，f为被60整除的余数。设P＝V(1-S)，Q＝V(1-Sf)，T＝V[1-S(1-f)]，从HSV空间到RGB空间的变换表达式如下：
图像f(x，y)可以用其入射分量i(x，y)与反射分量r(x，y)的乘积来表示，即：
f(x，y)＝i(x，y)×r(x，y) (23)
式中：r(x，y)的性质取决于成像物体的表面特性。
光照条件体现在入射分量i(x，y)中，属于变化缓慢的低频成分；而图像的细节等特性主要反映在图像的反射分量r(x，y)中，属于高频成分。处理照明不足或不均匀的彩色图像，就是要尽量削减图像的低频分量，同时放大图像的高频分量。
由于函数乘积的Fourier变换是不可分的，故不能直接对i(x，y)和r(x，y)分别进行操作，对式(24)取对数：
ln f(x，y)＝ln i(x，y)+lnr(x，y) (24)
再对上式进行快速Fourier变换，得到频域表达式：
F(u，v)＝I(x，y)+R(x，y) (25)
同态滤波能够压缩低频成分并增加高频成分，可以减少光照变化并锐化图像边缘或细节。用同态滤波函数H(u，v)来处理式(25)中的F(u，v)，将照射分量和反射分量分开，得：
H(u，v)F(u，v)＝H(u，v)I(x，y)+H(u，v)R(x，y) (26)
滤波处理后，再通过快速Fourier逆变换，使式(26)返回空间域：
hf(u，v)＝hi(x，y)+hr(x，y) (27)
对式(27)两边取指数，得到滤波后的图像：
采用高通滤波器衰减或抑制低频分量，能够使高频分量畅通并能对图像进行锐化处理。传统的n阶高斯高通滤波传递函数为：
式中：D0表示截止频率，可以根据需要选取。
图像经高通滤波处理后丢失了许多低频信息，平滑区基本消失。为此需要采用高频加强滤波来弥补，即在滤波传递函数中添加一个0、1之间的常数。
同态滤波的关键之处在于用同态滤波器对图像进行处理，而能否达到理想的滤波效果则取决于同态滤波传递函数H(u，v)的选择。
同态滤波函数用H(u，v)表示，rH代表高频增益，rL代表低频增益；D(u，v)表示点(u，v)到滤波中心(u0，v0)的距离：、
同态滤波传递函数的波形与高斯高通滤波器十分相似。依据同态滤波传递函数的特点，将高斯高通滤波器的表达式进行改进，设计出一种新的动态高斯同态滤波传递函数：
式中：m、n为动态算子；当rH＞1，0＜rL＜1时，图像的低频分量减小，高频分量增强，使得动态范围压缩和对比度增强；常数c用来控制滤波器函数斜面的锐化。大小为M×N的图像Fourier变换后中心在(M/2，N/2)处，因此式(33)中u0、v0分别取(M/2，N/2)，即
D0与入射分量和反射分量有关，传统同态滤波方法只能通过大量实践选择，效果欠佳。通过对D(u，v)进行中值运算的方式，在频域内快速确定D0的取值。
本发明专利中，我们使用一种鲁棒性强的几何特征，命名为几何弯曲特征，它是从人脸关键点的弯曲变换导出的。人脸表情是由脸部肌肉运动引起的。这些运动导致人脸关键点位置的移动。我们假设每个人脸图像由许多子区域组成。这些子区域可以由位于人脸关键点的三角形顶点组成。人脸关键点位置的移动引起三角形的变形。我们利用变形来表示人脸表情的变化。
人脸表情可以被看作是包括静止，峰值和偏移的动态过程。我们考虑相应的人脸关键点在开始(中性面部)和峰值(表情脸)之间的位移。给定一组人脸关键点s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i个人脸关键点的坐标。这些人脸关键点构成人脸的网格，如图4所示。
我们可以看到，脸上有许多小三角形，每个三角形由三个关键点决定。当中性脸变换为表情脸时，面部肌肉运动引起三角形的变形。我们认为位于中性脸的ΔABC中的像素(x，y)对应于表情脸的ΔA′B′C′中的像素(u，v)，如图6所示。像素(x，y)可以用三个顶点的线性组合表示。
系数λ1，λ2可以由以下公式得到
表情脸中ΔABC的点(u，v)可以用三个顶点和λ1，λ2来定义。中性脸中ΔABC中的像素点(x，y)转换到表情脸中ΔA′B′C′中的像素(u，v)
合并(37)、(38)、(39)式子可以重新写为：
中性脸和表情脸之间的每对三角形可以定义唯一变换，并且每个仿射变换由6个参数a1，a2，...，a6确定。我们计算每个扭曲变换的6个参数，并将所有参数连接成一个长的全局特征向量，用于表征人脸表情变化变化。从而达到由一张人脸表情得到多张人脸表情的目的。
由以上得到的人脸图像，下一步进行人脸姿态图像获取。姿态获取较常用的方法有基于模型的方法、基于训练的方法、基于特征三角形的方法。本发明专利选用基于特征三角形的人脸姿态图像获取方法作为实施例进行说明。
基于人脸平面的对称性，利用人脸图像中三个特征点估计人脸姿态。
特征点位置的选择
从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。
基于投影知识的姿态分析
(1)人脸特征三角形的确立
把人脸近似地看作是对称的，定义二维坐标(oxy)的坐标原点位于正脸时左右眼(A和B)连线的中点O。
人手选取两眼球中心和鼻尖这三个特征点，连接这三个特征点可以得到一个等腰三角形，如图1所示的三角形，称这个为特征三角形。图6中点A到B为两只眼睛之间的连线L，鼻尖到L的垂线为H，垂足为E。
(2)转角的确立
有转角时两眼长度为ALBL，即侧面人脸两眼长度AB在二维坐标xy面的投影，(关系：正脸人脸两眼距离AB在转角面的投影为ALBL)，构造直角三角形ABB1，AB与A1B1构成的角就是侧脸和正脸之间的夹角，也就是人脸在平行于成像平面的转角。如图7所示。
(4)仰(俯)角的确立
有仰(俯)角时鼻尖到两眼连线的距离为C1E1，即仰地(俯)面人脸鼻尖到两眼连线的距离长度CE在二维坐标xy面的投影，(关系：正面人脸鼻尖到两眼连线的距离长度CE在仰(俯)角面的投影为C1E1)，构造直角三角形CC1E，CE与C1E1构成的角就是仰(俯)脸和正脸之间的夹角，也就是人脸在垂直于成像平面的仰(俯)角。如图8所示。
针对同一人脸的各特征点比例不变原理，对于不同焦距的人脸姿态的确定需要作等比例变换。
记录正脸状态时，特征三角形边L(两外眼角距离)和边H(鼻尖到两外眼角连线的距离)的比例。每一张待生成姿态变化人脸图像中会得到一个特征三角形和对应的边L1和边H1。通过把每一张待生成姿态人脸图像中的特征三角形的边L1和边H1比例和正脸的两边比例比较，来获得不同姿态的人脸图像。人脸绕y轴转动，则通过调整参数，使L1∶H1小于1∶H；头部绕x轴转动，则通过调整参数，使L1∶H1大于1∶H。H1是H在xy平面上的投影，根据H和H1计算旋转角度；通过以上计算得到人脸在空间运动生成不同姿态的人脸图像。
Claims (4)
1.一种用于鲁棒人脸识别的数据增强方法，其特征在于方法的步骤为：
S1：首先对输入图像进行脸部遮挡判断处理，如果有遮挡，则执行步骤S2，否则直接执行步骤S3；
S2：采用自动多值掩膜主成分分析人脸重建模型进行脸部遮挡处理；
S3：噪声增强处理；
S4：采用基于模糊集的图像增强方法，改善原始图像的视觉效果；
S5：利用HSV变换和同态滤波的方法进行光照补偿；
S6：构造形变人脸表情集，其中，所述构造形变人脸表情集主要使用一种鲁棒性强的几何特征，命名为几何弯曲特征进行构造，所述的几何弯曲特征，是从人脸关键点的弯曲变换导出的；
S7：采用基于特征三角形的人脸姿态图像获取方法获取人脸多姿态图像；
S8：获得经过数据增强后的完备人脸数据集；
其中，S6中所述的构造形变人脸表情集具体方法步骤包括：
步骤L1：首先给定人脸关键点信息组合向量s＝{x1，y1，x2…yn}，其中(xi，yi)表示所述的关键点信息第i个人脸关键点的坐标；
步骤L2：然后通过人脸关键点构成人脸的三角形网格，每个三角形由三个关键点决定；
步骤L3：假设中性脸的ΔRST中的像素(x，y)对应于表情脸的ΔR′S′T′中的像素(u，v)；
像素(x，y)可以用三个顶点的线性组合表示：
系数λ1，λ2可以由以下公式得到
步骤L4：表情脸中ΔR′S′T′的点(u，v)可以用三个顶点和λ1，λ2来定义；中性脸中ΔRST中的像素点(x，y)转换到表情脸中ΔR′S′T′中的像素(u，v)：
合并(27)、(28)、(29)、(30)式子可以重新写为：
步骤L5：每个仿射变换由6个参数a1，a2，...，a6确定，用于表征人脸表情变化，即可由一张人脸表情得到多张人脸表情构成形变人脸表情集；
其中，步骤S7中，所述“采用基于特征三角形的人脸姿态图像获取方法获取人脸多姿态图像”，具体方法步骤包括：
步骤M1：首先进行特征点位置的选择；
步骤M2：确立人脸特征三角形；其特征在于，定义二维坐标的坐标原点位于正脸时左右眼A和B连线的中点O；人手选取两眼球中心和鼻尖这三个特征点，连接这三个特征点可以得到一个等腰三角形，其中点A到B为两只眼睛之间的连线L，鼻尖到L的垂线为H，垂足为E；
步骤M3：确立转角；其特征在于，有转角时两眼长度为A1B1，构造直角三角形ABB1，AB与A1B1构成的角表示侧脸和正脸之间的夹角，即人脸在平行于成像平面的转角；
步骤M4：确立仰俯角；其特征在于，有仰俯角时鼻尖到两眼连线的距离为C1E1，构造直角三角形CC1E，CE与C1E1构成的角表示仰俯脸和正脸之间的夹角，即人脸在垂直于成像平面的仰俯角；
步骤M5：记录正脸状态时，特征三角形边L和边H的比例；每一张待生成姿态变化人脸图像中会得到一个特征三角形和对应的边L1和边H1；通过把每一张待生成姿态人脸图像中的特征三角形的边L1和边H1比例和正脸的两边比例比较，来获得不同姿态的人脸图像；
通过以上方法步骤即可获取人脸在空间运动生成不同姿态的人脸图像，
进而得到经过数据增强后的完备人脸数据集。
2.如权利要求1所述的方法步骤S2中，所述“自动多值掩膜主成分分析人脸重建模型”具体方法步骤包括：
A：判断遮挡区域、确定遮挡类型；
B：确定不同遮挡类型的遮挡掩
模；C：确定重建合成系数。
3.如权利要求1所述的方法步骤S3中，所述“噪声增强处理”主要对人脸图像增加高斯噪声、椒盐噪声进行处理。
4.如权利要求1所述的方法步骤S5中，所述“利用HSV变换和同态滤波的方法进行光照补偿”，其特征在于，具体方法步骤包括：
步骤H1：首先将图像从RGB色彩空间变换至HSV色彩空间；
步骤H2：然后将高斯高通滤波传递函数引入同态滤波中，设计出一种新的动态高斯同态滤波器，在频域内对图像亮度分量进行增强，并保持色调和饱和度不变；步骤
H3：削减图像低频分量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710279715.9A CN107153816B (zh) | 2017-04-16 | 2017-04-16 | 一种用于鲁棒人脸识别的数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710279715.9A CN107153816B (zh) | 2017-04-16 | 2017-04-16 | 一种用于鲁棒人脸识别的数据增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107153816A CN107153816A (zh) | 2017-09-12 |
| CN107153816B true CN107153816B (zh) | 2021-03-23 |
Family
ID=59793124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710279715.9A Expired - Fee Related CN107153816B (zh) | 2017-04-16 | 2017-04-16 | 一种用于鲁棒人脸识别的数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107153816B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578387A (zh) * | 2017-10-16 | 2018-01-12 | 湖南友哲科技有限公司 | 一种基于hsv颜色空间的同态滤波增强方法 |
| CN107862270B (zh) * | 2017-10-31 | 2020-07-21 | 深圳云天励飞技术有限公司 | 人脸分类器训练方法、人脸检测方法及装置、电子设备 |
| CN108664980A (zh) * | 2018-05-14 | 2018-10-16 | 昆明理工大学 | 一种基于引导滤波和小波变换的太阳冕环结构识别方法 |
| CN108875734B (zh) * | 2018-05-23 | 2021-07-23 | 平安科技（深圳）有限公司 | 肝脏癌变定位方法、装置及存储介质 |
| CN108932702B (zh) * | 2018-06-13 | 2020-10-09 | 北京微播视界科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN108805094A (zh) * | 2018-06-19 | 2018-11-13 | 合肥工业大学 | 基于人工脸的数据增强方法 |
| CN109271922B (zh) * | 2018-09-13 | 2022-01-04 | 深圳市梦网视讯有限公司 | 一种基于对比度的鼻部定位方法和系统 |
| CN111161205B (zh) * | 2018-10-19 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 一种图像处理和人脸图像识别方法、装置及设备 |
| CN111784588A (zh) * | 2019-04-04 | 2020-10-16 | 长沙智能驾驶研究院有限公司 | 图像数据增强方法、装置、计算机设备和存储介质 |
| CN110378270B (zh) * | 2019-07-11 | 2023-03-24 | 易诚高科（大连）科技有限公司 | 一种基于质量维度评估参量的人脸识别设备筛选方法 |
| CN110378275B (zh) * | 2019-07-15 | 2023-03-24 | 易诚高科（大连）科技有限公司 | 一种基于质量维度的步态识别算法评估方法 |
| CN110516768A (zh) * | 2019-08-29 | 2019-11-29 | 中新智擎科技有限公司 | 一种垃圾分类管理的方法、装置及人工智能机器人 |
| CN110827259B (zh) * | 2019-11-04 | 2021-05-14 | 上海芯翌智能科技有限公司 | 一种用于目标关键点检测的样本增广的方法与设备 |
| CN111178337B (zh) * | 2020-01-07 | 2020-12-29 | 南京甄视智能科技有限公司 | 人脸关键点数据增强方法、装置、系统以及模型训练方法 |
| CN111709344B (zh) * | 2020-06-09 | 2023-10-17 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
| CN111985348B (zh) * | 2020-07-29 | 2024-05-10 | 深思考人工智能科技(上海)有限公司 | 人脸识别方法和系统 |
| CN111931707A (zh) * | 2020-09-16 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于对抗补丁的人脸图像预测方法、装置、设备和介质 |
| CN112529825B (zh) * | 2020-12-11 | 2022-05-31 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN112528944B (zh) * | 2020-12-23 | 2024-08-06 | 杭州海康汽车软件有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN112365430B (zh) * | 2021-01-13 | 2021-03-23 | 湖南生物机电职业技术学院 | 图像处理方法及系统 |
| CN113435358B (zh) * | 2021-06-30 | 2023-08-11 | 北京百度网讯科技有限公司 | 用于训练模型的样本生成方法、装置、设备、程序产品 |
| CN113784349A (zh) * | 2021-11-09 | 2021-12-10 | 电子科技大学 | 5g边缘计算下基于深度学习的提高安全认证的方法 |
| CN114584789B (zh) * | 2022-04-28 | 2022-07-19 | 南通裕荣电子商务有限公司 | 基于图像频谱的数据压缩传输方法 |
| CN116091748B (zh) * | 2023-04-10 | 2023-06-16 | 环球数科集团有限公司 | 一种基于aigc的图像识别系统及装置 |
| CN116311553B (zh) * | 2023-05-17 | 2023-08-15 | 武汉利楚商务服务有限公司 | 应用于半遮挡图像下的人脸活体检测方法及装置 |
| CN118097760B (zh) * | 2024-04-28 | 2024-07-30 | 深圳市瑜威电子科技有限公司 | 一种人脸识别控制方法、系统、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593834A (zh) * | 2013-12-03 | 2014-02-19 | 厦门美图网科技有限公司 | 一种智能添加景深的图像增强方法 |
| CN106096560A (zh) * | 2016-06-15 | 2016-11-09 | 广州尚云在线科技有限公司 | 一种人脸对齐方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100541520C (zh) * | 2007-09-25 | 2009-09-16 | 浙江大学 | 一种弱化表情形变影响的三维人脸识别方法 |
| KR101819535B1 (ko) * | 2011-06-30 | 2018-01-17 | 삼성전자주식회사 | 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치 |
| KR101635730B1 (ko) * | 2014-10-08 | 2016-07-20 | 한국과학기술연구원 | 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 |
-
2017
- 2017-04-16 CN CN201710279715.9A patent/CN107153816B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593834A (zh) * | 2013-12-03 | 2014-02-19 | 厦门美图网科技有限公司 | 一种智能添加景深的图像增强方法 |
| CN106096560A (zh) * | 2016-06-15 | 2016-11-09 | 广州尚云在线科技有限公司 | 一种人脸对齐方法 |
Non-Patent Citations (5)
| Title |
|---|
| HSV变换和同态滤波的彩色图像光照补偿;焦竹青;《计算机工程与应用》;20101231;第46卷(第30期);第142-144页 * |
| Landmarkperturbation-baseddataaugmentationforunconstrained face recognition;Jiang-Jing Lv et.al;《Signal Processing: Image Communication》;20160930;第47卷;第307-310页 * |
| 人脸识别中遮挡区域恢复算法研究;杜杏菁;《计算机科学》;20130531;第40卷(第5期);第465-475页 * |
| 基于肤色模型和椭圆环模板的人脸跟踪及姿态估计;马淑燕;《计算机工程与应用》;20041231(第 17 期);第50-55页 * |
| 自然场景中的人脸识别算法研究与实现;刘磊;《优秀硕士学位论文全文数据库》;20150831;第17-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107153816A (zh) | 2017-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107153816B (zh) | 一种用于鲁棒人脸识别的数据增强方法 | |
| Yue et al. | Contrast enhancement based on intrinsic image decomposition | |
| Gao et al. | Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex | |
| Liu et al. | A unified variational model for single image dehazing | |
| CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉系统 | |
| Hsu et al. | Single image dehazing using wavelet-based haze-lines and denoising | |
| Bi et al. | Haze removal for a single remote sensing image using low-rank and sparse prior | |
| CN110853119A (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
| CN103020898A (zh) | 序列虹膜图像超分辨率重建方法 | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| CN112215787B (zh) | 基于显著度分析及自适应滤波器的红外和可见光图像融合方法 | |
| Han et al. | Local sparse structure denoising for low-light-level image | |
| Mostafavi et al. | E2sri: Learning to super-resolve intensity images from events | |
| CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
| CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
| Han et al. | Low contrast image enhancement using convolutional neural network with simple reflection model | |
| Pu et al. | Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images | |
| Zhao et al. | Color channel fusion network for low-light image enhancement | |
| Guan et al. | DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model | |
| Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
| Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising | |
| Ayub et al. | CNN and Gaussian Pyramid-Based Approach For Enhance Multi-Focus Image Fusion | |
| Sang et al. | Image enhancement based on skin-colour segmentation and smoothness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 22, Dongcheng village, Jiangmen, Guangdong Province Applicant after: WUYI University Applicant after: Shannan far macro Technology Co.,Ltd. Address before: No. 22, Dongcheng village, Jiangmen, Guangdong Province Applicant before: Wuyi University Applicant before: Zhuhai Special Economic Zone Yuanhong Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210323 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |