CN109284738A - 不规则人脸矫正方法和系统 - Google Patents
不规则人脸矫正方法和系统 Download PDFInfo
- Publication number
- CN109284738A CN109284738A CN201811252816.8A CN201811252816A CN109284738A CN 109284738 A CN109284738 A CN 109284738A CN 201811252816 A CN201811252816 A CN 201811252816A CN 109284738 A CN109284738 A CN 109284738A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- obtains
- angle
- fuzzy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种不规则人脸矫正方法和系统，识别图像中的人脸，采用基于CRF‑RNN的图像分割技术进行提取人脸；采用Inception模型进行图像分类，将侧脸按照角度分类；训练每个角度的Pix2Pix‑GAN网络模型，将侧脸图像按照角度输入到对应的网络模型中以生成正脸；采用软对称算法进行优化调整得到的正脸图像；训练超分辨率网络SRGAN，将得到的正脸图像超分辨率处理，从而得到一个高清的正脸。将生成对抗网络技术应用于侧脸的规则化研究，通过对抗学习实现单张侧脸到相应正脸的转化，同时将侧脸规则化方法与超分辨率重建技术结合，实现多姿态、不同光照条件下的侧脸人像到高质量正脸视图的端到端映射。
Description
技术领域
本发明涉及图像处理和人工智能技术领域，具体地，涉及一种不规则人脸矫正方法和系统，尤其是涉及一种基于Pix2Pix-GAN与SRGAN的不规则人脸矫正方法。
背景技术
生物特征相对于其他特征来说具有明显的优势，比如不易丢失、不易伪造、稳定等特点。人脸作为重要的生物特征之一，是区别不同身份重要的信息载体，且可以在非受控、友好的方式下进行采集，因此在安防监控、智能考勤、人群分析等方面都有广泛的应用。如果人脸图像是在理想光照条件、正面姿态的情况下采集的，人脸的识别率可以达到比较令人满意的结果。但是当人脸的姿态和光照条件发生改变时，尽管采用优秀的人脸识别系统进行人脸识别实验，其识别率也必然会明显下降，这是当下人脸识别技术落地应用的一大难题。
专利文献CN108510061A公开了一种基于条件生成对抗的多监控视频人脸合成正脸的方法，包括采集监控视频中的无约束偏转角度人脸和正脸，筛选出正脸，得到无约束偏转角度人脸图像数据集和正脸图像数据集，并对每一个人的人脸图像数据集进行标注；对每个人的正脸图像数据集进行人脸对齐；构建条件生成对抗网络，采用对抗训练的策略对生成器模型和卷积神经网络判决器模型进行训练，直到条件生成对抗网络收敛稳定，最后将同一监控视频捕捉到的人脸图像输入训练好的生成器输入，得到一张正脸图像。上述专利文献需要在多监控视频下的人脸合成正脸，需要采集监控视频中的无约束偏转角度人脸和正脸，筛选出正脸，因此其依赖多张侧脸的输入来实现正脸的合成。
专利文献CN108537743A公开了一种基于生成对抗网络的面部图像增强方法，包括以下步骤：1、使用3D稠密面部对齐方法对多种姿态的面部图像进行预处理；2、设计基于生成对抗网络的面部增强网络，两步生成对抗网络。3、针对任务需要设计Step-I和Step-II对应的目标函数4、使用MS-1-celeb预训练识别模型，并使用扩增数据预训练TS-GAN模型；5、使用Multi-PIE作为训练集，利用反向传播算法训练(4)中完成预训练的TS-GAN模型参数，直至收敛。使用最终训练的TS-GAN模型可以得到与输入图像对应的正脸图像，同时该图像保留原始光照、视觉程度真实，并且保留了原有的身份信息。上述专利文献得到的图像可以保留原始光照、视觉程度真实，并且保留了原有的身份信息，但是由于其采用了3D稠密的面部对齐方法，可想而知其运行速度是偏慢的。
专利文献CN108491775A提供一种图像修正方法及移动终端，该方法包括：获取通过所述移动终端的摄像头采集到的原始人脸图像；识别所述原始人脸图像中的人脸特征点；将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；将所述生成对抗网络模型的输出作为所述原始人脸图像的修正图像。上述专利文献旨在提高拍摄作品的显示效果，将人像中的瞳孔进行修正朝向。该方法虽然对不规则人脸有一定的矫正，但是其程度不够，例如大角度侧脸的情况下通常会丢失左/右眼的信息，这种方法就失效了。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种不规则人脸矫正方法和系统。
根据本发明提供的一种不规则人脸矫正方法，包括：
图像获取步骤：识别并截取图像中的人脸，得到第一图像；
剔除背景步骤：对第一图像进行图像分割，剔除第一图像中的背景，得到第二图像；
角度分类步骤：对第二图像按照侧脸的角度进行分类，得到角度分类图像，采用Inception模型对角度分类图像进行分类训练，得到角度分类图像的分类概率值；
角度训练步骤：基于分类概率值，对角度分类图像进行Pix2Pix-GAN网络模型训练，得到第三图像；
模糊处理步骤：采用软对称对第三图像进行优化调整，得到基于人脸的左脸对称的第四图像和基于人脸的右脸对称的第五图像，对第四图像、第五图像进行模糊检测，得到第六图像；
超分辨率处理步骤：采用超分辨率模型对第六图像进行训练，得到第七图像，将第七图像作为正脸图像进行输出。
优选地，所述图像获取步骤包括：
人脸监测步骤：检测图像中是否有人脸，若有人脸，则计算五官坐标和包围盒位置；若没有人脸，则停止检测图像；
图像定位步骤：将五官坐标中的鼻子位置作为截取图像的中轴线，根据中轴线对包围盒位置进行位置调整，截取调整后的包围盒位置作为第一图像。
优选地，所述剔除背景步骤包括：
图像分割步骤：采用CRF-RNN模型，对第一图像进行图像分割，得到色彩图像；
图像遍历步骤：遍历比较第一图像与色彩图像中的像素，若色彩图像中的像素是红色，则将对应的第一图像中的像素设为黑色，若色彩图像中的像素不是红色，则对应的第一图像中的像素不变，将处理后的第一图像保存为第二图像。
优选地，所述模糊处理步骤包括：
左右脸对称步骤：识别第三图像，将鼻子位置作为中轴线，分别将第三图像的左右两半边脸做对称，得到基于左脸对称的第四图像和基于右脸对称的第五图像；
GAN输出步骤：基于生成式对抗网络模型进行模糊检测，得到第四图像、第五图像的模糊值，分别记为第一模糊值、第二模糊值，若第一模糊值小于第二模糊值，则将第四图像作为第六图像，否则，则将第五图像作为第六图像。
根据本发明提供的一种不规则人脸矫正系统，包括：
图像获取模块：识别并截取图像中的人脸，得到第一图像；
剔除背景模块：对第一图像进行图像分割，剔除第一图像中的背景，得到第二图像；
角度分类模块：对第二图像按照侧脸的角度进行分类，得到角度分类图像，采用Inception模型对角度分类图像进行分类训练，得到角度分类图像的分类概率值；
角度训练模块：基于分类概率值，对角度分类图像进行GAN训练，得到第三图像；
模糊处理模块：采用软对称对第三图像进行优化调整，得到基于人脸的左脸对称的第四图像和基于人脸的右脸对称的第五图像，对第四图像、第五图像进行模糊检测，得到第六图像；
超分辨率处理模块：采用超分辨率模型对第六图像进行训练，得到第七图像，将第七图像作为正脸图像进行输出。
优选地，所述图像获取模块包括：
人脸监测模块：检测图像中是否有人脸，若有人脸，则计算五官坐标和包围盒位置；若没有人脸，则停止检测图像；
图像定位模块：将五官坐标中的鼻子位置作为截取图像的中轴线，根据中轴线对包围盒位置进行位置调整，截取调整后的包围盒位置作为第一图像。
优选地，所述剔除背景模块包括：
图像分割模块：采用CRF-RNN模型，对第一图像进行图像分割，得到色彩图像；
图像遍历模块：遍历比较第一图像与色彩图像中的像素，若色彩图像中的像素是红色，则将对应的第一图像中的像素设为黑色，若色彩图像中的像素不是红色，则对应的第一图像中的像素不变，将处理后的第一图像保存为第二图像。
优选地，所述模糊处理模块包括：
左右脸对称模块：识别第三图像，将鼻子位置作为中轴线，分别将第三图像的左右两半边脸做对称，得到基于左脸对称的第四图像和基于右脸对称的第五图像；
GAN输出模块：基于生成式对抗网络模型进行模糊检测，得到第四图像、第五图像的模糊值，分别记为第一模糊值、第二模糊值，若第一模糊值小于第二模糊值，则将第四图像作为第六图像，否则，则将第五图像作为第六图像。
优选地，所述位置调整是将包围盒位置记为(right，left)，将中轴线记为x，将鼻子位置的横坐标记为mid，将位置调整的尺度记为length，若x大于mid，则length＝mid–left，right＝right-(x–mid)，left不变；若x小于mid，则length＝right-mid，left＝left+(mid-x)，right不变。
优选地，所述第三图像是尺寸大小为256*256的图片；所述第六图像的分辨率是1024*1024。
与现有技术相比，本发明具有如下的有益效果：
1、将生成对抗网络技术应用于侧脸的规则化研究，通过对抗学习实现单张侧脸到相应正脸的转化；
2、提出双路径生成模型，结合面部局部细节和全局结构信息，在侧脸规则化的基础上，保留面部身份信息特征；
3、将侧脸规则化方法与超分辨率重建技术结合，实现多姿态、不同光照条件下的侧脸人像到高质量正脸视图的端到端映射。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种不规则人脸矫正方法，包括：
图像获取步骤：识别并截取图像中的人脸，得到第一图像；
剔除背景步骤：对第一图像进行图像分割，剔除第一图像中的背景，得到第二图像；
角度分类步骤：对第二图像按照侧脸的角度进行分类，得到角度分类图像，采用Inception模型对角度分类图像进行分类训练，得到角度分类图像的分类概率值；
角度训练步骤：基于分类概率值，对角度分类图像进行GAN训练，得到第三图像；
模糊处理步骤：采用软对称对第三图像进行优化调整，得到基于人脸的左脸对称的第四图像和基于人脸的右脸对称的第五图像，对第四图像、第五图像进行模糊检测，得到第六图像；
超分辨率处理步骤：采用超分辨率模型对第六图像进行训练，得到第七图像，将第七图像作为正脸图像进行输出。
具体地，所述图像获取步骤包括：
人脸监测步骤：检测图像中是否有人脸，若有人脸，则计算五官坐标和包围盒位置；若没有人脸，则停止检测图像；
图像定位步骤：将五官坐标中的鼻子位置作为截取图像的中轴线，根据中轴线对包围盒位置进行位置调整，截取调整后的包围盒位置作为第一图像。
具体地，所述剔除背景步骤包括：
图像分割步骤：采用CRF-RNN模型，对第一图像进行图像分割，得到色彩图像；
图像遍历步骤：遍历比较第一图像与色彩图像中的像素，若色彩图像中的像素是红色，则将对应的第一图像中的像素设为黑色，若色彩图像中的像素不是红色，则对应的第一图像中的像素不变，将处理后的第一图像保存为第二图像。
具体地，所述模糊处理步骤包括：
左右脸对称步骤：识别第三图像，将鼻子位置作为中轴线，分别将第三图像的左右两半边脸做对称，得到基于左脸对称的第四图像和基于右脸对称的第五图像；
GAN输出步骤：基于生成式对抗网络模型进行模糊检测，得到第四图像、第五图像的模糊值，分别记为第一模糊值、第二模糊值，若第一模糊值小于第二模糊值，则将第四图像作为第六图像，否则，则将第五图像作为第六图像。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种不规则人脸矫正系统，包括：
图像获取模块：识别并截取图像中的人脸，得到第一图像；
剔除背景模块：对第一图像进行图像分割，剔除第一图像中的背景，得到第二图像；
角度分类模块：对第二图像按照侧脸的角度进行分类，得到角度分类图像，采用Inception模型对角度分类图像进行分类训练，得到角度分类图像的分类概率值；
角度训练模块：基于分类概率值，对角度分类图像进行GAN训练，得到第三图像；
模糊处理模块：采用软对称对第三图像进行优化调整，得到基于人脸的左脸对称的第四图像和基于人脸的右脸对称的第五图像，对第四图像、第五图像进行模糊检测，得到第六图像；
超分辨率处理模块：采用超分辨率模型对第六图像进行训练，得到第七图像，将第七图像作为正脸图像进行输出。
具体地，所述图像获取模块包括：
人脸监测模块：检测图像中是否有人脸，若有人脸，则计算五官坐标和包围盒位置；若没有人脸，则停止检测图像；
图像定位模块：将五官坐标中的鼻子位置作为截取图像的中轴线，根据中轴线对包围盒位置进行位置调整，截取调整后的包围盒位置作为第一图像。
具体地，所述剔除背景模块包括：
图像分割模块：采用CRF-RNN模型，对第一图像进行图像分割，得到色彩图像；
图像遍历模块：遍历比较第一图像与色彩图像中的像素，若色彩图像中的像素是红色，则将对应的第一图像中的像素设为黑色，若色彩图像中的像素不是红色，则对应的第一图像中的像素不变，将处理后的第一图像保存为第二图像。
具体地，所述模糊处理模块包括：
左右脸对称模块：识别第三图像，将鼻子位置作为中轴线，分别将第三图像的左右两半边脸做对称，得到基于左脸对称的第四图像和基于右脸对称的第五图像；
GAN输出模块：基于生成式对抗网络模型进行模糊检测，得到第四图像、第五图像的模糊值，分别记为第一模糊值、第二模糊值，若第一模糊值小于第二模糊值，则将第四图像作为第六图像，否则，则将第五图像作为第六图像。
具体地，所述位置调整是将包围盒位置记为(right，left)，将中轴线记为x，将鼻子位置的横坐标记为mid，将位置调整的尺度记为length，若x大于mid，则length＝mid–left，right＝right-(x–mid)，left不变；若x小于mid，则length＝right-mid，left＝left+(mid-x)，right不变。
具体地，所述第三图像是尺寸大小为256*256的图片；所述第六图像的分辨率是1024*1024；所述GAN训练采用Pix2Pix-GAN网络模型。Pix2Pix-GAN是GAN进行图像转换的一种转换方式。
本发明提供的不规则人脸矫正系统，可以通过不规则人脸矫正方法的步骤流程实现。本领域技术人员可以将不规则人脸矫正方法理解为所述不规则人脸矫正系统的优选例。
以下结合附图对优选例做进一步的阐述。
如图1所示，基于Pix2Pix-GAN与SRGAN的不规则人脸矫正方法，包括如下步骤:
步骤1：识别并截取图像中的人脸；
步骤2：采用基于CRF-RNN的图像分割技术剔除背景冗余；
步骤3：采用Inception模型进行图像分类，将侧脸按照角度分类
步骤4：训练每个角度的Pix2Pix-GAN网络模型，将侧脸图像按照角度输入到对应的网络模型中以生成正脸；
步骤5：采用软对称算法优化调整得到的正脸图像；
步骤6：训练超分辨率网络SRGAN，将得到的正脸图像超分辨率处理，从而得到一个高清的正脸。
所述步骤1包括：
步骤1.1：检测图像中是否有人脸；
步骤1.2：如果有，计算出其五官的坐标和bounding box；
具体地，利用基于dlib的开源库face_recognition，读取图像并识别分析人脸，并返回其五官的坐标和bounding box；
步骤1.3：在五官坐标中首先定位鼻子的位置，并确保鼻子为截取的人脸图的中轴线。根据中轴线调整bounding box的位置，并截取bounding box作为新的人脸图P0。
具体地，记原中轴线x＝(right-left)/2，记鼻子的横坐标为mid，若x>mid，则length＝mid–left，right＝right-(x–mid)，left不变；若x<mid，则length＝right-mid，left＝left+(mid-x)，right不变。
所述步骤2包括：
步骤2.1：利用开源模型CRF-RNN，把在步骤1中得到的人脸图P0进行图像分割，得到一个图像分割的色彩图P1。
具体地，其通过最小化过程的迭代步骤来实现最优的图像分割，其公式如下：
步骤2.2：遍历P0与P1中的每一个像素，如果在P1中的像素对应为红色(192,0,0)，则使P0中对应的像素变为纯黑色(0,0,0)，从而达到分割人脸图像的效果；
步骤2.3：保存按照步骤2.2处理得到的，将人脸与背景分割后的，只有人脸的图像P2。
所述步骤3包括：将所有的用于侧脸矫正的训练图像按照其侧脸的角度进行人工标注，分为0,15,30,45,60,75,90度七类，然后放入Inception V3模型中进行分类训练；
优选地，准备七个文件夹对应七个类，相应的训练数据分别放置于这七个文件夹中，然后使用Inception V3读取并训练分类模型。每输入一张图像到该模型中，该模型都会返回该图像属于每个类的可能性。本实施例中仅仅需要返回可能性最大的结果。
所述步骤4包括：
步骤4.1：准备相应的训练、测试与验证数据集；
步骤4.2：Pix2Pix-GAN网络要求的数据集是一一对应的，即一张侧脸图对应一张正脸图，然后将这两张图像拼接在一张图上；
步骤4.3：由于总共有七个类，所以针对每个类都需要训练一个Pix2Pix-GAN网络模型；Pix2Pix-GAN网络的损失函数G*是
其中G代表着生成网络的损失函数，D代表着判别网络的损失函数，即生成图像与ground truth之间的局部的损失函数，极大极小值是生成式对抗网络之间的博弈从而达到一个稳定的局部最优解，L1代表着生成图像与ground truth之间的整体的损失函数,λ表示。。。，c表示。。。，表示。。。。
步骤4.4：无论输入的人脸图像P2尺寸是多少，在Pix2Pix-GAN网络模型中都会被resize成256*256大小的图片，并输出对应的正脸图像P3。
所述步骤5包括：再次使用face_recognition库识别并分析生成的正脸图像P3，获得其鼻子的坐标后以鼻子为中轴线，分别把左右两半边脸做对称，得到一张基于左脸对称的正脸图像P4和一张基于右脸对称的正脸图像P5。采用基于拉普拉斯算子的模糊检测算法来判断P4和P5的模糊程度，取模糊程度较低的，即清晰度较高的图像作为最后的生成式对抗网络输出P6。
所述步骤6包括：
步骤6.1：准备相应的训练、测试与验证数据集；
步骤6.2：低分辨率图像和高分辨率图像的大小比例是1:4，在实际情况中并不一定需要有现成的低分辨率图像，可以直接通过压缩高分辨率获得低分辨率图像；
步骤6.3：将人脸图像P6输入SRGAN网络模型中，超分辨率模型会对输入图像进行超分辨率处理，大幅提高图像的分辨率至1024*1024，并输出最终的正脸图像P7。SRGAN网络的生成网络的损失函数为
该损失函数简单来说就是对某一层的特征图的逐像素损失作为内容损失，而不是最后输出结果的逐像素损失，这样可以学得图像所在的流形空间。而SRGAN的判别网络的损失函数实际上为负对数求和，这样有利于训练。
本发明研究了侧脸人像的规则化方法，即从非正面姿态且光照条件并不理想的二维人脸图像重构出理想光照条件下正面的人脸图像，具体包括人像的姿态、光照矫正以及对缺失面部纹理的自动补偿，目的是实现多角度的单一的侧脸人像到正面人像视图的端到端映射，突破人像同一性认定的角度局限，进一步提升实际应用中人脸识别的准确度。将生成对抗网络技术应用于侧脸的规则化研究，通过对抗学习实现单张侧脸到相应正脸的快速转化。结合面部局部细节和全局结构信息，在侧脸规则化的基础上，保留面部身份信息特征。将侧脸规则化方法与超分辨率重建技术结合，实现多姿态、不同光照条件下的侧脸人像到高质量正脸视图的端到端映射。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种不规则人脸矫正方法，其特征在于，包括：
图像获取步骤：识别并截取图像中的人脸，得到第一图像；
剔除背景步骤：对第一图像进行图像分割，剔除第一图像中的背景，得到第二图像；
角度分类步骤：对第二图像按照侧脸的角度进行分类，得到角度分类图像，采用Inception模型对角度分类图像进行分类训练，得到角度分类图像的分类概率值；
角度训练步骤：基于分类概率值，对角度分类图像进行GAN训练，得到第三图像；
模糊处理步骤：采用软对称对第三图像进行优化调整，得到基于人脸的左脸对称的第四图像和基于人脸的右脸对称的第五图像，对第四图像、第五图像进行模糊检测，得到第六图像；
超分辨率处理步骤：采用超分辨率模型对第六图像进行训练，得到第七图像，将第七图像作为正脸图像进行输出。
2.根据权利要求1所述的不规则人脸矫正方法，其特征在于，所述图像获取步骤包括：
人脸监测步骤：检测图像中是否有人脸，若有人脸，则计算五官坐标和包围盒位置；若没有人脸，则停止检测图像；
图像定位步骤：将五官坐标中的鼻子位置作为截取图像的中轴线，根据中轴线对包围盒位置进行位置调整，截取调整后的包围盒位置作为第一图像。
3.根据权利要求1所述的不规则人脸矫正方法，其特征在于，所述剔除背景步骤包括：
图像分割步骤：采用CRF-RNN模型，对第一图像进行图像分割，得到色彩图像；
图像遍历步骤：遍历比较第一图像与色彩图像中的像素，若色彩图像中的像素是红色，则将对应的第一图像中的像素设为黑色，若色彩图像中的像素不是红色，则对应的第一图像中的像素不变，将处理后的第一图像保存为第二图像。
4.根据权利要求2所述的不规则人脸矫正方法，其特征在于，所述模糊处理步骤包括：
左右脸对称步骤：识别第三图像，将鼻子位置作为中轴线，分别将第三图像的左右两半边脸做对称，得到基于左脸对称的第四图像和基于右脸对称的第五图像；
GAN输出步骤：基于生成式对抗网络模型进行模糊检测，得到第四图像、第五图像的模糊值，分别记为第一模糊值、第二模糊值，若第一模糊值小于第二模糊值，则将第四图像作为第六图像，否则，则将第五图像作为第六图像。
5.一种不规则人脸矫正系统，其特征在于，包括：
图像获取模块：识别并截取图像中的人脸，得到第一图像；
剔除背景模块：对第一图像进行图像分割，剔除第一图像中的背景，得到第二图像；
角度分类模块：对第二图像按照侧脸的角度进行分类，得到角度分类图像，采用Inception模型对角度分类图像进行分类训练，得到角度分类图像的分类概率值；
角度训练模块：基于分类概率值，对角度分类图像进行GAN训练，得到第三图像；
模糊处理模块：采用软对称对第三图像进行优化调整，得到基于人脸的左脸对称的第四图像和基于人脸的右脸对称的第五图像，对第四图像、第五图像进行模糊检测，得到第六图像；
超分辨率处理模块：采用超分辨率模型对第六图像进行训练，得到第七图像，将第七图像作为正脸图像进行输出。
6.根据权利要求5所述的不规则人脸矫正系统，其特征在于，所述图像获取模块包括：
人脸监测模块：检测图像中是否有人脸，若有人脸，则计算五官坐标和包围盒位置；若没有人脸，则停止检测图像；
图像定位模块：将五官坐标中的鼻子位置作为截取图像的中轴线，根据中轴线对包围盒位置进行位置调整，截取调整后的包围盒位置作为第一图像。
7.根据权利要求5所述的不规则人脸矫正系统，其特征在于，所述剔除背景模块包括：
图像分割模块：采用CRF-RNN模型，对第一图像进行图像分割，得到色彩图像；
图像遍历模块：遍历比较第一图像与色彩图像中的像素，若色彩图像中的像素是红色，则将对应的第一图像中的像素设为黑色，若色彩图像中的像素不是红色，则对应的第一图像中的像素不变，将处理后的第一图像保存为第二图像。
8.根据权利要求6所述的不规则人脸矫正系统，其特征在于，所述模糊处理模块包括：
左右脸对称模块：识别第三图像，将鼻子位置作为中轴线，分别将第三图像的左右两半边脸做对称，得到基于左脸对称的第四图像和基于右脸对称的第五图像；
GAN输出模块：基于生成式对抗网络模型进行模糊检测，得到第四图像、第五图像的模糊值，分别记为第一模糊值、第二模糊值，若第一模糊值小于第二模糊值，则将第四图像作为第六图像，否则，则将第五图像作为第六图像。
9.根据权利要求2所述的不规则人脸矫正方法或者根据权利要求6所述的不规则人脸矫正系统，其特征在于，所述位置调整是将包围盒位置记为(right，left)，将中轴线记为x，将鼻子位置的横坐标记为mid，将位置调整的尺度记为length，若x大于mid，则length＝mid–left，right＝right-(x–mid)，left不变；若x小于mid，则length＝right-mid，left＝left+(mid-x)，right不变。
10.根据权利要求1所述的不规则人脸矫正方法或者根据权利要求5所述的不规则人脸矫正系统，，其特征在于，所述第三图像是尺寸大小为256*256的图片；所述第六图像的分辨率是1024*1024；所述GAN训练采用Pix2Pix-GAN网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811252816.8A CN109284738B (zh) | 2018-10-25 | 2018-10-25 | 不规则人脸矫正方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811252816.8A CN109284738B (zh) | 2018-10-25 | 2018-10-25 | 不规则人脸矫正方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109284738A true CN109284738A (zh) | 2019-01-29 |
| CN109284738B CN109284738B (zh) | 2020-08-04 |
Family
ID=65178467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811252816.8A Active CN109284738B (zh) | 2018-10-25 | 2018-10-25 | 不规则人脸矫正方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109284738B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
| CN110059602A (zh) * | 2019-04-10 | 2019-07-26 | 武汉大学 | 一种基于正投影特征变换的俯视人脸矫正方法 |
| CN110110693A (zh) * | 2019-05-17 | 2019-08-09 | 北京字节跳动网络技术有限公司 | 用于识别人脸属性的方法和装置 |
| CN110210422A (zh) * | 2019-06-05 | 2019-09-06 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
| CN110222831A (zh) * | 2019-06-13 | 2019-09-10 | 百度在线网络技术（北京）有限公司 | 深度学习模型的鲁棒性评估方法、装置及存储介质 |
| CN110363116A (zh) * | 2019-06-28 | 2019-10-22 | 上海交通大学 | 基于gld-gan的不规则人脸矫正方法、系统及介质 |
| CN110472567A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种适用于非配合场景下的人脸识别方法和系统 |
| CN110705498A (zh) * | 2019-10-12 | 2020-01-17 | 北京泰豪信息科技有限公司 | 一种低分辨率人脸识别方法 |
| CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 酒店图片的超分辨方法、系统、电子产品和介质 |
| CN111079749A (zh) * | 2019-12-12 | 2020-04-28 | 创新奇智(重庆)科技有限公司 | 一种带姿态校正的端到端商品价签文字识别方法和系统 |
| CN111814660A (zh) * | 2020-07-07 | 2020-10-23 | 集美大学 | 一种图像识别方法、终端设备及存储介质 |
| CN112164002A (zh) * | 2020-09-10 | 2021-01-01 | 深圳前海微众银行股份有限公司 | 人脸矫正模型的训练方法、装置、电子设备及存储介质 |
| CN113343906A (zh) * | 2021-06-28 | 2021-09-03 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
| CN107292813A (zh) * | 2017-05-17 | 2017-10-24 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108491775A (zh) * | 2018-03-12 | 2018-09-04 | 维沃移动通信有限公司 | 一种图像修正方法及移动终端 |
| US20180268055A1 (en) * | 2017-03-15 | 2018-09-20 | Nec Laboratories America, Inc. | Video retrieval system based on larger pose face frontalization |
-
2018
- 2018-10-25 CN CN201811252816.8A patent/CN109284738B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268055A1 (en) * | 2017-03-15 | 2018-09-20 | Nec Laboratories America, Inc. | Video retrieval system based on larger pose face frontalization |
| US20180268202A1 (en) * | 2017-03-15 | 2018-09-20 | Nec Laboratories America, Inc. | Video surveillance system based on larger pose face frontalization |
| CN107292813A (zh) * | 2017-05-17 | 2017-10-24 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108491775A (zh) * | 2018-03-12 | 2018-09-04 | 维沃移动通信有限公司 | 一种图像修正方法及移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| RUI HUANG ET AL.: "Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis", 《ARXIV:1704.04086V2》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
| CN110059602A (zh) * | 2019-04-10 | 2019-07-26 | 武汉大学 | 一种基于正投影特征变换的俯视人脸矫正方法 |
| CN110059602B (zh) * | 2019-04-10 | 2022-03-15 | 武汉大学 | 一种基于正投影特征变换的俯视人脸矫正方法 |
| CN110110693A (zh) * | 2019-05-17 | 2019-08-09 | 北京字节跳动网络技术有限公司 | 用于识别人脸属性的方法和装置 |
| CN110210422B (zh) * | 2019-06-05 | 2021-04-27 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
| CN110210422A (zh) * | 2019-06-05 | 2019-09-06 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
| CN110222831A (zh) * | 2019-06-13 | 2019-09-10 | 百度在线网络技术（北京）有限公司 | 深度学习模型的鲁棒性评估方法、装置及存储介质 |
| CN110222831B (zh) * | 2019-06-13 | 2022-05-17 | 百度在线网络技术（北京）有限公司 | 深度学习模型的鲁棒性评估方法、装置及存储介质 |
| CN110363116A (zh) * | 2019-06-28 | 2019-10-22 | 上海交通大学 | 基于gld-gan的不规则人脸矫正方法、系统及介质 |
| CN110363116B (zh) * | 2019-06-28 | 2021-07-23 | 上海交通大学 | 基于gld-gan的不规则人脸矫正方法、系统及介质 |
| CN110472567A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种适用于非配合场景下的人脸识别方法和系统 |
| CN110705498A (zh) * | 2019-10-12 | 2020-01-17 | 北京泰豪信息科技有限公司 | 一种低分辨率人脸识别方法 |
| CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 酒店图片的超分辨方法、系统、电子产品和介质 |
| CN111079749A (zh) * | 2019-12-12 | 2020-04-28 | 创新奇智(重庆)科技有限公司 | 一种带姿态校正的端到端商品价签文字识别方法和系统 |
| CN111079749B (zh) * | 2019-12-12 | 2023-12-22 | 创新奇智(重庆)科技有限公司 | 一种带姿态校正的端到端商品价签文字识别方法和系统 |
| CN111814660A (zh) * | 2020-07-07 | 2020-10-23 | 集美大学 | 一种图像识别方法、终端设备及存储介质 |
| CN112164002A (zh) * | 2020-09-10 | 2021-01-01 | 深圳前海微众银行股份有限公司 | 人脸矫正模型的训练方法、装置、电子设备及存储介质 |
| WO2022052530A1 (zh) * | 2020-09-10 | 2022-03-17 | 深圳前海微众银行股份有限公司 | 人脸矫正模型的训练方法、装置、电子设备及存储介质 |
| CN112164002B (zh) * | 2020-09-10 | 2024-02-09 | 深圳前海微众银行股份有限公司 | 人脸矫正模型的训练方法、装置、电子设备及存储介质 |
| CN113343906A (zh) * | 2021-06-28 | 2021-09-03 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109284738B (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284738A (zh) | 不规则人脸矫正方法和系统 | |
| CN108985181B (zh) | 一种基于检测分割的端对端人脸标注方法 | |
| WO2021022970A1 (zh) | 一种基于多层随机森林的零部件识别方法及系统 | |
| CN107437092B (zh) | 基于三维卷积神经网络的视网膜oct图像的分类方法 | |
| CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
| CN108520535B (zh) | 基于深度恢复信息的物体分类方法 | |
| CN110363116B (zh) | 基于gld-gan的不规则人脸矫正方法、系统及介质 | |
| CN106548165B (zh) | 一种基于图像分块加权的卷积神经网络的人脸识别方法 | |
| CN105046219B (zh) | 一种人脸识别系统 | |
| WO2022121039A1 (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN104951773A (zh) | 一种实时人脸识别监视系统 | |
| CN110175501B (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN109886153B (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN111507592B (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及系统 | |
| CN112233173A (zh) | 一种视力障碍人士室内物品寻找与定位的方法 | |
| CN114140844A (zh) | 人脸静默活体检测方法、装置、电子设备及存储介质 | |
| CN114331946A (zh) | 一种图像数据处理方法、设备以及介质 | |
| Diyasa et al. | Multi-face Recognition for the Detection of Prisoners in Jail using a Modified Cascade Classifier and CNN | |
| CN106725341A (zh) | 一种增强型舌诊系统 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN103235943A (zh) | 基于pca的3d人脸识别系统 | |
| Liu et al. | Implementation System of Human Eye Tracking Algorithm Based on FPGA. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |