CN106874861A - 一种人脸矫正方法及系统 - Google Patents

一种人脸矫正方法及系统 Download PDF

Info

Publication number
CN106874861A
CN106874861A CN201710053937.9A CN201710053937A CN106874861A CN 106874861 A CN106874861 A CN 106874861A CN 201710053937 A CN201710053937 A CN 201710053937A CN 106874861 A CN106874861 A CN 106874861A
Authority
CN
China
Prior art keywords
face
theta
deflection angle
parameter
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710053937.9A
Other languages
English (en)
Inventor
熊风烨
白洪亮
董远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Faceall Co
Original Assignee
Beijing Faceall Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Faceall Co filed Critical Beijing Faceall Co
Priority to CN201710053937.9A priority Critical patent/CN106874861A/zh
Publication of CN106874861A publication Critical patent/CN106874861A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Abstract

本发明公开了一种人脸矫正方法及系统,方法包括:设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。本发明对于偏转角度较大的人脸不会使人脸过长;设立了对于偏转角度特别大以至于只含有单侧特征点的人脸的矫正标准。

Description

一种人脸矫正方法及系统
技术领域
本发明涉图像识别领域,特别涉及一种人脸矫正方法及系统,有效解决实际场景中多偏转角度人脸的矫正问题。
背景技术
在计算机视觉领域,人脸识别一直以来都在学术界和工业界的应用广泛。学术上的热门和工业市场的迫切需求,使得围绕该方向的核心技术自深度学习爆发以来,得到了更为迅猛的发展。得益于深度学习,当前计算机对人脸属性的分析判断在某些(姿态、光照)限制条件下已经媲美甚至超越人类,但是如何在非限制条件下,使计算机获取和人类一样,从姿态万千的人脸图像中依然能够进行识别的能力,是一项非常具有挑战性的工作。其中,人脸矫正是人脸属性分析中至关重要的一步,能够直接影响整体性能的好坏。在深度学习之前就有许多优秀的方法被提出,比如,ASM算法和AAM算法,这些方法能够在人脸变化不大的条件下取得比较好的效果,但是对于一些发生遮挡或者姿态角度偏大的情况就差强人意了;在深度学习出来之后,一些基于深度学习的方法虽然能够解决上述部分问题,但是对姿态角度偏大的情况仍然无能为力。
而利用3D人脸可变模型来解决2D图像中姿态角度偏大问题,该方法能够使3D人脸模型“学习”2D图像中人脸在拍照时候的姿势状态。给神经网络输入通用正面人脸模板模型和2D图像,神经网络识别获取图像中人脸的姿态角度参数矩阵,利用这些参数就可以使模型“做出”和图像中人脸同样的脸部朝向。
但是实际场景中,很多时候都是非正面的;还有方式是多角度人脸识别技术。该技术包含两个核心部分,表示学习和图像生成。表示学习是指在某一个场景下获取的多张不同姿态的图像,将这些图像作为输入,通过提出的DR-GAN网络模型,产生一个固定长度的特征向量,该向量表示的是这个人的特征,与姿态光照无关,同时该网络还可以根据输入的Noise/Pose编码,生成不同姿态的人脸。
基于上述,现有的人脸矫正技术具体包括步骤:通过人脸检测,找到双眼的位置,然后根据坐标,找到旋转角度,然后进行旋转。比如,基于两眼球中心的两点相似变换,缺点为:对于偏转角较大的人脸,会使得人脸拉的过长,额头或下巴部分很容易超出预设图片大小。对于偏转角度特别大的人脸可能只有单侧脸可见。又比如,基于两眼球中心和鼻尖的三点仿射变换,缺点为:容易使人脸变形,对于角度特别大的人脸可能只有单侧脸可见。
发明内容
本发明要解决的技术问题是,解决实际场景中多偏转角度人脸的矫正问题。
解决上述技术问题,本发明提供了一种人脸矫正方法包括如下步骤:
设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;
从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;
当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;
当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;
当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
更进一步,所述第二偏转角度阈值为:30~60度,基于两眼球中间的坐标和两嘴角与鼻尖三点中间的坐标的两点相似变换,具体所要求的方程组如下:
根据所述参数r,θ以及tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。
更进一步,所述第三偏转角度阈值为:60~90度,基于单侧的眼球中心坐标、单侧的嘴角坐标的两点相似变换,具体要求左侧脸所要求的方程组如下:
右侧脸所要求的方程组如下:
根据所述参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。
更进一步,所述第一偏转角度阈值为:0~30度,基于左右两个眼球的两点相似变换,具体要求的方程组如下:
根据所述参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。
更进一步,所述相似变换进一步包括:
平移变换,包括在坐标轴上的tx,ty两个参数,分别代表两个方向上的平移量;用以进行位置的变换;
尺度变换,包括尺度参数r,代表图片的放大缩小系数;旋转变换指的是图片的旋转,有旋转参数θ,代表旋转的角度,用以进行图片的放大或者缩小。
更进一步,所述相似变换包括:对图片进行至少平移变换、尺度变换、旋转变换中一种或多种的变换的变换。
更进一步,所述采用基于单侧特征点计算相似变换参数至少包括如下两组参数:
{左眼球中心、鼻尖、左嘴角}
{右眼球中心、鼻尖、右嘴角}。
更进一步,所述第一偏转角度阈值、第二偏转角度阈值以及第三偏转角度阈值内属于{0-90°}的集合。
本发明还提供了一种人脸识别方法,还包括所述的人脸矫正方法。
基于上述方法,本发明还提供了一种人脸矫正系统,包括:标准化单元、角度判断单元、第一矫正单元、第二矫正单元、第三矫正单元,
所述标准化单元,用以设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;
所述角度判断单元,用以从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;
所述第一矫正单元,用以当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;
所述第二矫正单元,用以当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;
所述第三矫正单元,用以当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
本发明的有益效果:
本发明是在已经获得人脸5个特征点的基础上,通过5个特征点的关系,计算人脸的偏转角度,针对不同的偏转角度用不同的特征点计算相似变换的参数,从而对人脸进行基于相似变换地矫正,进而有效解决实际场景中多偏转角度的人脸矫正问题。采用本发明的方法不会使人脸变形;对于偏转角度较大的人脸不会使人脸过长;设立了对于偏转角度特别大以至于只含有单侧特征点的人脸的矫正标准。此外,本发明根据不同偏转角度使用不同人脸矫正策略,以及30-60偏转角度和60-90偏转角度的人脸矫正策略。
附图说明
图1是本发明一实施例中的方法流程示意图;
图2是本发明一优选实施例中的方法流程示意图;
图3是本发明一实施例中的系统结构示意图;
图4为本发明中偏转角小于30度人脸的矫正前后效果示意图;
图5为偏转角大于30度小于60度人脸的分别在矫正之前、用两眼计算变换参数和用本发明的方法计算变换参数的对比图;
图6为本发明中偏转角大于60度左侧人脸的矫正前后的效果示意图;
图7为本发明中大于60度右侧人脸的矫正前后的效果示意图。
具体实施方式
现在将参考一些示例实施例描述本公开的原理。可以理解,这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述,而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。
如本文中所述,术语“包括”及其各种变体可以被理解为开放式术语,其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。
本领域技术人员能够明了,相似变换是一种保持形状不变的变换方式,能够实现平移、旋转和尺度三种变换,十分适用于人脸矫正任务。
可以理解,本申请中的人脸矫正是指将检测到的人脸映射到标准脸的过程。一般流程是先计算特征点的映射关系,即计算变换的参数,然后根据参数对整幅人脸图进行变换;本发明主要针对的是计算变换参数的过程。
图1是本发明一实施例中的方法流程示意图,具体包括如下步骤:
步骤S100设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;在所述步骤S100中可使用现有的技术提取人脸图片的5个特征点,利用人脸的5个特征点计算人脸的偏转角度。
步骤S101从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;
步骤S102当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;
步骤S103当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;
步骤S104当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
在上述步骤S102-步骤S104中,利用求得的人脸偏转角度,分别计算相似变换的参数,然后进行相似变换;本发明适用的人脸角度范围为左右0-90度;如果偏转角度小于30度,则使用左右两个眼球中心的坐标进行两点的相似变换;如果偏转角度大于30度小于60度,则使用基于两眼球中间的坐标和两嘴角与鼻尖三点中间的坐标进行两点相似变换;如果偏转角度大于60度,则使用单侧的眼球中心坐标和单侧的嘴角坐标进行两点相似变换。对于偏转角较大的人脸,如果仍然使用一般使用的方法,即用两眼球中心的坐标计算相似变换的参数,会使得矫正后的脸竖直方向拉长从而超出图片范围,所以本发明使用有两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;对于偏转角过大的人脸,往往只包含单侧的特征点和鼻尖,比如左侧脸只包含左眼球中心,鼻尖和左嘴角,右侧脸只包含右眼球中心,鼻尖和右嘴角,而一般的特征点检测器还是会检测到5个特征点,而只有某一侧的特征点是准确的,所以本发明只利用单侧特征点计算相似变换参数。即本实施例中的方法能够针对不同的偏转角度,分别使用不同的人脸对齐方式。
具体实现方式如下:
在本实施例的涉及如下参数:
标准脸:人脸矫正的目标脸,有固定的图片大小,固定位置的人脸特征点位置;
本实施例中使用的正脸标准脸图片大小为128x128,标准点包括左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角5个,坐标依次为(44,56)、(84,56)、(64,80)、(52,88)、(76,88);
左侧脸标准脸的图片大小为128x128,
左眼球中心、鼻尖、左嘴角这3个特征点的坐标依次为(80,52),(100,76),(80,92);
右侧脸标准脸的图片大小为128x128,
右侧脸中心、鼻尖、右嘴角这3个特征点的坐标依次为(48,52),(28,76),(48,92)。
如下表所示:
涉及到的参数如下:
其中标准脸的宽和高,标准脸5个特征点的横纵坐标,实际脸的宽和高,实际5个标准点的横纵坐标是已知的,缩放参数旋转参数平移参数是未知的,则需要获得了三种参数后才能对人脸进行相似变换。
1.0-30度基于左右两个眼球的两点相似变换
所要求的方程组如下:
利用求解出的参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。如图4所示为本发明中偏转角小于30度人脸的矫正前后效果示意图。
2.30-60度基于两眼球中间的坐标和两嘴角与鼻尖三点中间的坐标的两点相似变换
所要求的方程组如下:
利用求解出的参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。如图5所示为偏转角大于30度小于60度人脸的分别在矫正之前、用两眼计算变换参数和用本发明的方法计算变换参数的对比图。可以看出直接用两眼球中心计算变换参数会使人脸超出图片范围,而是用本发明的方法则不会。
3.60-90度基于单侧的眼球中心坐标、单侧的嘴角坐标的两点相似变换
左侧脸所要求的方程组如下:
右侧脸所要求的方程组如下:
利用求解出的参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。如图6所示为本发明中偏转角大于60度左侧人脸的矫正前后的效果示意图;如图7所示为本发明中大于60度右侧人脸的矫正前后的效果示意图。
在本实施例中,通过针对不同偏转角度的人脸进行分类,不同偏转角度的人脸使用不同的计算相似变换参数的方式,进而有效解决实际场景中多偏转角度的人脸矫正问题。
上述的相似变换包含三种变换,平移变换、旋转变换、尺度变换。
矩阵表达式如下:
展开即两个方程,如上方程组所示
其中r控制尺度大小,代表尺度变换
θ控制旋转的角度,代表旋转变换
tx,ty控制平移量,代表平移参数。
src代表原始点,dst代表目标点,即变换后的点。
每一个原始点和目标点对可以写出上述两个方程;由于有4个未知数,根据方程组的特点,4个未知数需要4个方程求解,所以需要有两组已知的点对。
所以对于0-30°,使用两个眼球中心两个点,
对于30-60°使用两眼球中间和两嘴角中间两个点,
对于60-90°使用单侧眼球中心和单侧嘴角两个点。
图2是本发明一优选实施例中的方法流程示意图;
步骤S100设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;在所述步骤S100中可使用现有的技术提取人脸图片的5个特征点,利用人脸的5个特征点计算人脸的偏转角度。
步骤S101从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;
步骤S102当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;
步骤S103当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;
步骤S104当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
作为本实施例中的优选,相似变换包括但不限于:平移变换,是位置的变换,在坐标轴上有tx,ty两个参数,分别代表两个方向上的平移量;其中tx,ty,表示平移参数,用以控制人脸的位置。
作为本实施例中的优选,相似变换包括但不限于:尺度变换,是图片的放大缩小,有尺度参数r,代表图片的放大缩小系数;旋转变换指的是图片的旋转,有旋转参数θ,代表旋转的角度。其中,r,缩放参数,控制人脸大小。θ,旋转参数,控制人脸的旋转角度。
图3是本发明一实施例中的系统结构示意图,具体地,在本实施例中的一种人脸矫正系统100,包括:标准化单元1、角度判断单元2、第一矫正单元3、第二矫正单元4、第三矫正单元5,所述标准化单元1,用以设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;所述角度判断单元2,用以从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;所述第一矫正单元3,用以当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;所述第二矫正单元4,用以当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;所述第三矫正单元5,用以当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
总体而言,本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施,而其它一些方面可以以固件或软件实施,该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示,但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。
此外,虽然操作以特定顺序描述,但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行,或是要求所有所示的操作被执行以实现期望结果。在一些情形下,多任务或并行处理可以是有利的。类似地,虽然若干具体实现方式的细节在上面的讨论中被包含,但是这些不应被解释为对本公开的范围的任何限制,而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对,在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。

Claims (10)

1.一种人脸矫正方法,其特征在于包括如下步骤:
设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;
从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;
当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;
当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;
当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
2.根据权利要求1所述的人脸矫正方法,其特征在于,所述第二偏转角度阈值为:30~60度,基于两眼球中间的坐标和两嘴角与鼻尖三点中间的坐标的两点相似变换,具体所要求的方程组如下:
x 1 d s t + x 2 d s t 2 = x 1 s r c + x 2 s r c 2 r cos θ - y 1 s r c + y 2 s r c 2 r sin θ + t x y 1 d s t + y 2 d s t 2 = x 1 s r c + x 2 s r c 2 r sin θ + y 1 s r c + y 2 s r c 2 r cos θ + t y x 3 d s t + x 4 d s t + x 5 d s t 3 = x 3 s r c + x 4 s r c + x 5 s r c 3 r cos θ - y 3 s r c + y 4 s r c + y 5 s r c 3 r sin θ + t x y 3 d s t + y 4 d s t + y 5 d s t 3 = x 3 s r c + x 4 s r c + x 5 s r c 3 r sin θ + y 3 s r c + y 4 s r c + y 5 s r c 3 r cos θ + t y
根据所述参数r,θ以及tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。
3.根据权利要求1所述的人脸矫正方法,其特征在于,所述第三偏转角度阈值为:60~90度,基于单侧的眼球中心坐标、单侧的嘴角坐标的两点相似变换,具体要求左侧脸所要求的方程组如下:
x 1 dst l = x 1 s r c r cos θ - y 1 s r c r sin θ + t x y 1 dst l = x 1 s r c r sin θ + y 1 s r c r cos θ + t y x 3 dst l = x 4 s r c r cos θ - y 4 s r c r sin θ + t x y 3 dst l = x 4 s r c r sin θ + y 4 s r c r cos θ + t y
右侧脸所要求的方程组如下:
x 1 dst r = x 2 s r c r cos θ - y 2 s r c r sin θ + t x y 1 dst r = x 2 s r c r sin θ + y 2 s r c r cos θ + t y x 3 dst r = x 5 s r c r cos θ - y 5 s r c r sin θ + t x y 3 dst r = x 5 s r c r sin θ + y 5 s r c r cos θ + t y
根据所述参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。
4.根据权利要求1所述的人脸矫正方法,其特征在于,所述第一偏转角度阈值为:0~30度,基于左右两个眼球的两点相似变换,具体要求的方程组如下:
x 1 d s t = x 1 s r c r cos θ - y 1 s r c r sin θ + t x y 1 d s t = x 1 s r c r sin θ + y 1 s r c r cos θ + t y x 2 d s t = x 2 s r c r cos θ - y 2 s r c r sin θ + t x x 2 d s t = x 2 s r c r sin θ + y 2 s r c r cos θ + t y ;
根据所述参数r,θ,tx,ty对原人脸图片进行宽为Wdst和高为Hdst的相似变换。
5.根据权利要求2-4任一项所述的人脸矫正方法,其特征在于,所述相似变换进一步包括:
平移变换,包括在坐标轴上的tx,ty两个参数,分别代表两个方向上的平移量;用以进行位置的变换;
尺度变换,包括尺度参数r,代表图片的放大缩小系数;旋转变换指的是图片的旋转,有旋转参数θ,代表旋转的角度,用以进行图片的放大或者缩小。
6.根据权利要求2-4任一项所述的人脸矫正方法,其特征在于,所述相似变换包括:对图片进行至少平移变换、尺度变换、旋转变换中一种或多种的变换的变换。
7.根据权利要求1所述的人脸矫正方法,其特征在于,所述采用基于单侧特征点计算相似变换参数至少包括如下两组参数:
{左眼球中心、鼻尖、左嘴角}
{右眼球中心、鼻尖、右嘴角}。
8.根据权利要求1所述的人脸矫正方法,其特征在于,所述第一偏转角度阈值、第二偏转角度阈值以及第三偏转角度阈值内属于{0-90°}的集合。
9.一种人脸识别方法,其特征在于,还包括如权利要求1-4任一项所述的人脸矫正方法。
10.一种人脸矫正系统,其特征在于,包括:标准化单元、角度判断单元、第一矫正单元、第二矫正单元、第三矫正单元,
所述标准化单元,用以设置一标准脸,得到标准点,所述标准点至少包括:左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5个特征点;
所述角度判断单元,用以从上述标准点中选择不同特征点,对输入的不同偏转角度的人脸使用不同计算相似变换参数的方式,对多偏转角度的人脸进行矫正;
所述第一矫正单元,用以当偏转角在第一偏转角度阈值内,则采用基于左右两眼球中心的坐标计算相似变换的参数;
所述第二矫正单元,用以当偏转角在第二偏转角度阈值内,则采用基于两眼球的中间的坐标和两嘴角中间的坐标计算相似变换的参数;
所述第三矫正单元,用以当偏转角在第三偏转角度阈值内,则采用基于单侧特征点计算相似变换参数。
CN201710053937.9A 2017-01-22 2017-01-22 一种人脸矫正方法及系统 Pending CN106874861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710053937.9A CN106874861A (zh) 2017-01-22 2017-01-22 一种人脸矫正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710053937.9A CN106874861A (zh) 2017-01-22 2017-01-22 一种人脸矫正方法及系统

Publications (1)

Publication Number Publication Date
CN106874861A true CN106874861A (zh) 2017-06-20

Family

ID=59158986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710053937.9A Pending CN106874861A (zh) 2017-01-22 2017-01-22 一种人脸矫正方法及系统

Country Status (1)

Country Link
CN (1) CN106874861A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491772A (zh) * 2018-03-09 2018-09-04 天津港(集团)有限公司 一种人脸识别算法及人脸识别装置
CN108596839A (zh) * 2018-03-22 2018-09-28 中山大学 一种基于深度学习的人脸漫画生成方法及其装置
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
WO2019056000A1 (en) * 2017-09-18 2019-03-21 Board Of Trustees Of Michigan State University GENERATIVE ANTAGONIST NETWORK WITH DISSOCATED REPRESENTATION LEARNING FOR INDEPENDENT POSTURE FACIAL RECOGNITION
CN109801222A (zh) * 2019-01-25 2019-05-24 太原科技大学 一种基于方向向量的腭皱倾斜图像矫正方法
CN109859097A (zh) * 2019-01-08 2019-06-07 北京奇艺世纪科技有限公司 脸部图像处理方法、设备、图像处理设备、介质
CN109948397A (zh) * 2017-12-20 2019-06-28 Tcl集团股份有限公司 一种人脸图像校正方法、系统及终端设备
CN110796029A (zh) * 2019-10-11 2020-02-14 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN111046707A (zh) * 2018-10-15 2020-04-21 天津大学青岛海洋技术研究院 一种基于面部特征的任意姿态正脸还原网络
CN111178117A (zh) * 2018-11-09 2020-05-19 浙江宇视科技有限公司 数据处理方法及装置
CN111243014A (zh) * 2020-01-16 2020-06-05 北京新氧科技有限公司 人脸检测处理方法、装置及设备
CN111832512A (zh) * 2020-07-21 2020-10-27 虎博网络技术(上海)有限公司 表情检测方法和装置
CN111967319A (zh) * 2020-07-14 2020-11-20 高新兴科技集团股份有限公司 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN112989904A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060027482A (ko) * 2004-09-23 2006-03-28 전자부품연구원 얼굴 인증 방법
CN1963840A (zh) * 2006-12-06 2007-05-16 北京中星微电子有限公司 一种图像方向校正装置及方法
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
US20100086214A1 (en) * 2008-10-04 2010-04-08 Microsoft Corporation Face alignment via component-based discriminative search
CN102486868A (zh) * 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
US20140185924A1 (en) * 2012-12-27 2014-07-03 Microsoft Corporation Face Alignment by Explicit Shape Regression
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技(上海)有限公司 一种图像处理方法及装置
CN104881657A (zh) * 2015-06-08 2015-09-02 微梦创科网络科技(中国)有限公司 侧脸识别方法、侧脸构建方法及系统
CN104933742A (zh) * 2015-05-25 2015-09-23 中山大学 一种卡通肖像自动生成方法
CN105631039A (zh) * 2016-01-15 2016-06-01 北京邮电大学 一种图片浏览方法
US20160335774A1 (en) * 2015-02-06 2016-11-17 Ming Chuan University Method for automatic video face replacement by using a 2d face image to estimate a 3d vector angle of the face image
CN106295579A (zh) * 2016-08-12 2017-01-04 北京小米移动软件有限公司 人脸对齐方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060027482A (ko) * 2004-09-23 2006-03-28 전자부품연구원 얼굴 인증 방법
CN1963840A (zh) * 2006-12-06 2007-05-16 北京中星微电子有限公司 一种图像方向校正装置及方法
US20100086214A1 (en) * 2008-10-04 2010-04-08 Microsoft Corporation Face alignment via component-based discriminative search
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN102486868A (zh) * 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
US20140185924A1 (en) * 2012-12-27 2014-07-03 Microsoft Corporation Face Alignment by Explicit Shape Regression
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技(上海)有限公司 一种图像处理方法及装置
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
US20160335774A1 (en) * 2015-02-06 2016-11-17 Ming Chuan University Method for automatic video face replacement by using a 2d face image to estimate a 3d vector angle of the face image
CN104933742A (zh) * 2015-05-25 2015-09-23 中山大学 一种卡通肖像自动生成方法
CN104881657A (zh) * 2015-06-08 2015-09-02 微梦创科网络科技(中国)有限公司 侧脸识别方法、侧脸构建方法及系统
CN105631039A (zh) * 2016-01-15 2016-06-01 北京邮电大学 一种图片浏览方法
CN106295579A (zh) * 2016-08-12 2017-01-04 北京小米移动软件有限公司 人脸对齐方法及装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056000A1 (en) * 2017-09-18 2019-03-21 Board Of Trustees Of Michigan State University GENERATIVE ANTAGONIST NETWORK WITH DISSOCATED REPRESENTATION LEARNING FOR INDEPENDENT POSTURE FACIAL RECOGNITION
US11734955B2 (en) 2017-09-18 2023-08-22 Board Of Trustees Of Michigan State University Disentangled representation learning generative adversarial network for pose-invariant face recognition
CN109948397A (zh) * 2017-12-20 2019-06-28 Tcl集团股份有限公司 一种人脸图像校正方法、系统及终端设备
CN108491772A (zh) * 2018-03-09 2018-09-04 天津港(集团)有限公司 一种人脸识别算法及人脸识别装置
CN108596839A (zh) * 2018-03-22 2018-09-28 中山大学 一种基于深度学习的人脸漫画生成方法及其装置
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN109063678B (zh) * 2018-08-24 2020-09-29 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN111046707A (zh) * 2018-10-15 2020-04-21 天津大学青岛海洋技术研究院 一种基于面部特征的任意姿态正脸还原网络
CN111178117A (zh) * 2018-11-09 2020-05-19 浙江宇视科技有限公司 数据处理方法及装置
CN111178117B (zh) * 2018-11-09 2023-09-22 浙江宇视科技有限公司 数据处理方法及装置
CN109859097A (zh) * 2019-01-08 2019-06-07 北京奇艺世纪科技有限公司 脸部图像处理方法、设备、图像处理设备、介质
CN109859097B (zh) * 2019-01-08 2023-10-27 北京奇艺世纪科技有限公司 脸部图像处理方法、设备、图像处理设备、介质
CN109801222A (zh) * 2019-01-25 2019-05-24 太原科技大学 一种基于方向向量的腭皱倾斜图像矫正方法
CN109801222B (zh) * 2019-01-25 2022-12-27 太原科技大学 一种基于方向向量的腭皱倾斜图像矫正方法
CN110796029A (zh) * 2019-10-11 2020-02-14 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN111243014A (zh) * 2020-01-16 2020-06-05 北京新氧科技有限公司 人脸检测处理方法、装置及设备
CN111243014B (zh) * 2020-01-16 2023-11-28 北京新氧科技有限公司 人脸检测处理方法、装置及设备
CN111967319A (zh) * 2020-07-14 2020-11-20 高新兴科技集团股份有限公司 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN111967319B (zh) * 2020-07-14 2024-04-12 高新兴科技集团股份有限公司 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN111832512A (zh) * 2020-07-21 2020-10-27 虎博网络技术(上海)有限公司 表情检测方法和装置
CN112989904B (zh) * 2020-09-30 2022-03-25 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112989904A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN106874861A (zh) 一种人脸矫正方法及系统
US11302064B2 (en) Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
CN108182384B (zh) 一种人脸特征点定位方法及装置
CN109741247B (zh) 一种基于神经网络的肖像漫画生成方法
CN105184735B (zh) 一种人像变形方法及装置
CN103208133B (zh) 一种图像中人脸胖瘦的调整方法
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN101339606A (zh) 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN102426712B (zh) 一种基于两幅图像的三维头部建模方法
CN108596024A (zh) 一种基于人脸结构信息的肖像生成方法
US20150213307A1 (en) Rigid stabilization of facial expressions
CN107871098B (zh) 人脸特征点的获取方法和装置
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
US10186041B2 (en) Apparatus and method for analyzing golf motion
CN106920274A (zh) 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107452049B (zh) 一种三维头部建模方法及装置
EP1433119B1 (en) Head motion estimation from four feature points
WO2020252969A1 (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN103605965A (zh) 一种多姿态人脸识别方法和装置
CN105913416A (zh) 一种自动分割三维人脸模型区域的方法
CN109801380A (zh) 一种虚拟试衣的方法、装置、存储介质及计算机设备
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
JP2005025748A5 (zh)
WO2021232690A1 (zh) 一种视频生成方法、装置、电子设备及存储介质
US11295115B2 (en) Method and device for generating face image, electronic device and computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620

RJ01 Rejection of invention patent application after publication