CN107451965B - 畸变人脸图像校正方法、装置、计算机设备和存储介质 - Google Patents

畸变人脸图像校正方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN107451965B
CN107451965B CN201710607754.7A CN201710607754A CN107451965B CN 107451965 B CN107451965 B CN 107451965B CN 201710607754 A CN201710607754 A CN 201710607754A CN 107451965 B CN107451965 B CN 107451965B
Authority
CN
China
Prior art keywords
image
human face
face region
key point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710607754.7A
Other languages
English (en)
Other versions
CN107451965A (zh
Inventor
陈榕齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airmada Technology Inc
Original Assignee
Airmada Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airmada Technology Inc filed Critical Airmada Technology Inc
Priority to CN201710607754.7A priority Critical patent/CN107451965B/zh
Publication of CN107451965A publication Critical patent/CN107451965A/zh
Application granted granted Critical
Publication of CN107451965B publication Critical patent/CN107451965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种畸变人脸图像校正方法、装置、计算机设备和存储介质。所述方法包括：获取待处理图像；采用人脸检测方法检测并提取所述待处理图像中的人脸区域；采用基于卷积神经网络的人脸关键点定位方法定位所述人脸区域的关键点坐标；使用预先训练好的图像校正模型根据所述关键点坐标进行图像校正，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到。根据人脸特征信息和图像校正模型针对待处理图像中的人脸进行图像校正，从而降低运算量，增强人脸图像的校正效果。

Description

畸变人脸图像校正方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像处理领域，特别是涉及一种畸变人脸图像校正方法、装置、计算机设备和存储介质。
背景技术
随着现代科技的飞速发展，智能摄像头已在安防领域广泛使用。为了获取更大的监控视野，智能摄像头往往选用广角镜头，这导致智能摄像头所拍摄到的图像中人脸产生径向畸变，对后续进行的人脸检测和识别等处理产生不利影响。
目前尚不存在针对人脸图像的径向畸变的校正算法，传统技术中，往往采用对智能摄像头所拍摄到的图像进行全图校正，进而实现对图像中的人脸的校正，这种方法有可能存在人为误差，影响校正结果，相对于只校正人脸，需要反解正常图像中的人脸位置，不但增加了运算量，而且由于没有使用人脸特征信息，所以校正效果较差。
发明内容
基于此，有必要针对全图校正运算量大和校正效果较差的问题，提供一种畸变人脸图像校正方法、装置、计算机设备和存储介质。
一种畸变人脸图像校正方法，所述方法包括：
获取待处理图像；
采用人脸检测方法检测并提取所述待处理图像中的人脸区域；
采用基于卷积神经网络的人脸关键点定位方法定位所述人脸区域的关键点坐标；
使用预先训练好的图像校正模型根据所述关键点坐标进行图像校正，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到。
在一个实施例中，在使用预先训练好的图像校正模型根据所述关键点坐标进行图像校正的步骤之后，还包括：
采用最近邻法和/或双边线形插值算法对经过图像校正的人脸区域进行图像补全。
在一个实施例中，所述采用人脸关键点定位方法定位所述人脸区域的关键点坐标，包括：
采用基于卷积神经网络的人脸关键点定位方法对所述人脸区域进行定位，获得关键点坐标；
对关键点坐标进行归一化处理；
将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中。
在一个实施例中，所述使用图像校正模型根据所述关键点坐标进行图像校正，包括：
遍历所述人脸区域的每一个位置Rs；
应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标；
将所述人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
在一个实施例中，在获取待处理图像之前，还包括：
采集多对正常图像和畸变图像；
采用人脸检测方法检测并提取所述多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像；
选取所述正常人脸图像中的多个点的位置和对应的所述畸变人脸图像中的多个点的位置，作为回归目标点；
采用基于卷积神经网络的人脸关键点定位方法定位所述畸变人脸图像的关键点坐标；
通过最小二乘法对所述畸变人脸图像的关键点坐标进行计算，生成所述图像校正模型。
一种畸变人脸图像校正装置，所述装置包括：
图像获取模块，用于获取待处理图像；
人脸区域提取模块，用于采用人脸检测方法检测并提取所述待处理图像中的人脸区域；
关键点坐标定位模块，用于采用基于卷积神经网络的人脸关键点定位方法定位所述人脸区域的关键点坐标；
图像校正模块，用于使用预先训练好的图像校正模型根据所述关键点坐标进行图像校正，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到。
在一个实施例中，所述装置还包括：
图像补全模块，用于采用最近邻法和/或双边线形插值算法对经过图像校正的人脸区域进行图像补全。
在一个实施例中，所述关键点坐标定位模块还用于采用基于卷积神经网络的人脸关键点定位方法对所述人脸区域进行定位，获得关键点坐标；
所述装置还包括：
归一化处理模块，用于对关键点坐标进行归一化处理；
关键点坐标换算模块，用于将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中。
在一个实施例中，所述装置还包括：
人脸区域遍历模块，用于遍历所述人脸区域的每一个位置Rs；
所述图像校正模块还用于应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标；
像素值复制模块，用于将所述人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
在一个实施例中，所述图像获取模块还用于采集多对正常图像和畸变图像；
所述人脸区域提取模块还用于采用人脸检测方法检测并提取所述多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像；
所述装置还包括：
回归目标点选取模块，用于选取所述正常人脸图像中的多个点的位置和对应的所述畸变人脸图像中的多个点的位置，作为回归目标点；
所述关键点坐标定位模块还用于采用基于卷积神经网络的人脸关键点定位方法定位所述畸变人脸图像的关键点坐标；
图像校正模型生成模块，用于通过最小二乘法对所述畸变人脸图像的关键点坐标进行计算，生成所述图像校正模型。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理图像；
采用人脸检测方法检测并提取所述待处理图像中的人脸区域；
采用基于卷积神经网络的人脸关键点定位方法定位所述人脸区域的关键点坐标；
使用预先训练好的图像校正模型根据所述关键点坐标进行图像校正，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像；
采用人脸检测方法检测并提取所述待处理图像中的人脸区域；
采用基于卷积神经网络的人脸关键点定位方法定位所述人脸区域的关键点坐标；
使用预先训练好的图像校正模型根据所述关键点坐标进行图像校正，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到。
上述畸变人脸图像校正方法、装置、计算机设备和存储介质，获取待处理图像，采用人脸检测方法检测并提取待处理图像中的人脸区域，采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标，从而获取人脸特征信息，使用预先训练好的图像校正模型根据关键点坐标进行图像校正。根据人脸特征信息和图像校正模型针对待处理图像中的人脸进行图像校正，从而降低运算量，增强人脸图像的校正效果。
附图说明
图1为一个实施例中畸变人脸图像校正方法的流程图；
图2为另一个实施例中畸变人脸图像校正方法的流程图；
图3为一个实施例中畸变人脸图像校正装置的结构框图；
图4为另一个实施例中畸变人脸图像校正装置的结构框图；
图5为一个实施例中图像校正设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，在一个实施例中，提供了一种畸变人脸图像校正方法，该方法包括：
步骤102，获取待处理图像。
本实施例中，待处理图像可为通过智能摄像头等设备使用广角镜头采集到的图像，图像中包含人脸，且图像整体上存在图像畸变。
步骤104，采用人脸检测方法检测并提取待处理图像中的人脸区域。
本实施例中，可选用基于卷积神经网络的人脸检测方法检测并提取待处理图像中的人脸区域，提取人脸区域指的是，在待处理图像中，对图像中的一个或多个人，提取其脸部区域的图像，如提取人脸的最小外接矩形作为人脸区域。
步骤106，采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标。
本实施例中，卷积神经网络指的是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，可用于图像处理，包括卷积层和池层。可采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标，人脸区域的关键点可为左眼、右眼、鼻尖、左嘴角、右嘴角，采用基于卷积神经网络的人脸关键点定位方法可确定这五个关键点的坐标。
步骤108，使用预先训练好的图像校正模型根据关键点坐标进行图像校正，其中，图像校正模型通过对多对正常图像和畸变图像进行训练得到。
本实施例中，图像校正模型指的是通过机器学习算法进行训练生成的，可对畸变图像进行图像校正的算法，图像校正模型通过对多对正常图像和畸变图像进行训练得到。通过图像校正模型校正待处理图像的人脸区域，需根据人脸区域的关键点坐标进行图像校正，从而提高人脸图像的校正效果。
上述畸变人脸图像校正方法，获取待处理图像，采用人脸检测方法检测并提取待处理图像中的人脸区域，采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标，从而获取人脸特征信息，使用预先训练好的图像校正模型根据关键点坐标进行图像校正。根据人脸特征信息和图像校正模型针对待处理图像中的人脸进行图像校正，从而降低运算量，增强人脸图像的校正效果。
如图2所示，在一个实施例中，提供了一种畸变人脸图像校正方法，该方法包括：
步骤202，采集多对正常图像和畸变图像。
本实施例中，为了进行机器学习训练，从而生成图像校正模型，需采集多对正常图像和畸变图像，每对正常图像和畸变图像相关联。采集图像可采用多种方式，例如，在相同的成像条件下，在同一位置设置广角摄像头和普通摄像头，用这两种摄像头拍摄同一人体目标，广角摄像头拍摄的图像存在畸变，普通摄像头拍摄的图像不存在畸变，从而采集到一对正常图像和畸变图像。可通过这种方式采集M组正常图像和畸变图像的样本对，记为一组样本对，其中i∈[1,M]，In表示正常图像，Id表示畸变图像。
步骤204，采用人脸检测方法检测并提取多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像。
本实施例中，可选用基于卷积神经网络的人脸检测方法检测并提取多对正常图像和畸变图像中的人脸区域，记PFi{Fi n,Fi d}为一组人脸区域的样本对，其中i∈[1,M]，Fn表示正常人脸图像，Fd表示畸变人脸图像，从而获取正常人脸图像和畸变人脸图像。
步骤206，选取正常人脸图像中的多个点的位置和对应的畸变人脸图像中的多个点的位置，作为回归目标点。
本实施例中，回归目标点指的是人脸上随机位置一点在畸变人脸图像中的位置和正常人脸图像中的位置。对PFi{Fi n,Fi d}中每一组人脸区域的样本对选取并标注N个回归目标点。将N个回归目标点换算到步骤202中畸变图像中心为坐标原点的坐标系中。记为一组人脸区域的回归目标点样本对，其中i∈[1,M]，j∈[1,N]]。
步骤208，采用基于卷积神经网络的人脸关键点定位方法定位畸变人脸图像的关键点坐标。
本实施例中，可采用基于卷积神经网络的人脸关键点定位方法定位畸变人脸图像的关键点坐标，畸变人脸图像的关键点可为左眼、右眼、鼻尖、左嘴角、右嘴角，将该关键点坐标换算到步骤202中畸变图像中心为坐标原点的坐标系中。记为其中i∈[1,M]。
步骤210，通过最小二乘法对畸变人脸图像的关键点坐标进行计算，生成图像校正模型。
本实施例中，最小二乘法是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可简便的求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。记x(a)表示点a的x轴坐标，y(a)表示点a的轴y坐标，d(a,b)表示a,b两点在二维平面坐标系下的欧式距离,o表示原点。基于径向畸变的物理过程有：
其中Do表示目标点距离原点的距离产生的畸变，DK表示回归目标点距离5个关键点的距离近似拟合出的畸变。
将上式转化为矩阵形式为：
目标损失函数
以上式损失函数为目标使用最小二乘法即可拟合出参数向量
W＝{w1,w2...w7}T。
从而根据最小二乘法对畸变人脸图像的关键点坐标进行计算，生成图像校正模型，W为图像校正模型的参数向量。
步骤212，获取待处理图像。
本实施例中，待处理图像可为通过智能摄像头等设备使用广角镜头采集到的图像，图像中包含人脸，且图像整体上存在图像畸变。
步骤214，采用人脸检测方法检测并提取待处理图像中的人脸区域。
本实施例中，可选用基于卷积神经网络的人脸检测方法检测待处理图像中的人脸区域，将人脸区域提出记为Fs d。
步骤216，采用基于卷积神经网络的人脸关键点定位方法对人脸区域进行定位，获得关键点坐标。
本实施例中，采用基于卷积神经网络的人脸关键点定位方法对人脸区域Fs d进行定位，得到5个关键点坐标，5个关键点可为左眼、右眼、鼻尖、左嘴角、右嘴角。也可采用其它方式对人脸区域进行定位，设置人脸区域的其它位置为关键点。
步骤218，对关键点坐标进行归一化处理。
本实施例中，归一化指的是将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。对关键点坐标进行归一化处理，使得关键点坐标成为标量，即只有数值大小而没有方向。
步骤220，将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中。
本实施例中，将这5个关键点坐标换算到以待处理图像的中心为原点的坐标系中，记为：KFs{Ks1,Ks2,Ks3,Ks4,Ks5}。
步骤222，遍历人脸区域的每一个位置Rs。
本实施例中，遍历指的是指沿着某条搜索路线，依次对树中每个结点均做一次且仅做一次访问，即对人脸区域的每一个位置Rs进行计算。
步骤224，应用图像校正模型进行图像校正。
本实施例中，应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标。
本实施例中，采用畸变图像*畸变系数＝正常图像的思想，应用图像校正模型进行图像校正。
步骤226，将人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
本实施例中，应用参数向量W和校正矩阵可得到校正后位于校正人脸Fs n中的位置Rn，将Fs d中的位置Rs的像素值复制到Fs n中的位置Rn上，从而完成对待处理图像的畸变校正。
步骤228，采用最近邻法和/或双边线形插值算法对经过图像校正的人脸区域进行图像补全。
本实施例中，最近邻法，即最近邻插值算法，就是将目标图像各点的像素值设为源图像中与其最近的点的像素值。双边线性插值算法也称为双线性插值，是数值分析中的一种插值算法，在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。由于RsRn不是一一对应关系，所以需采用最近邻法和/或双边线形插值算法对人脸区域Fs n进行图像补全。
上述畸变人脸图像校正方法，采集多对正常图像和畸变图像，通过对多对正常图像和畸变图像进行机器学习训练，生成图像校正模型，获取待处理图像，采用人脸检测方法检测并提取待处理图像中的人脸区域，采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标，从而获取人脸特征信息，使用图像校正模型根据关键点坐标进行图像校正。根据人脸特征信息和图像校正模型针对待处理图像中的人脸进行图像校正，从而降低运算量，增强人脸图像的校正效果。
如图3所示，在一个实施例中，提供了一种畸变人脸图像校正装置，该装置包括：
图像获取模块302，用于获取待处理图像。
人脸区域提取模块304，用于采用人脸检测方法检测并提取待处理图像中的人脸区域。
关键点坐标定位模块306，用于采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标。
图像校正模块308，用于使用预先训练好的图像校正模型根据关键点坐标进行图像校正，其中，图像校正模型通过对多对正常图像和畸变图像进行训练得到。
如图4所示，在一个实施例中，提供了一种畸变人脸图像校正装置，该装置包括：
图像补全模块310，用于采用最近邻法和/或双边线形插值算法对经过图像校正的人脸区域进行图像补全。
关键点坐标定位模块306还用于采用基于卷积神经网络的人脸关键点定位方法对人脸区域进行定位，获得关键点坐标。
归一化处理模块312，用于对关键点坐标进行归一化处理。
关键点坐标换算模块314，用于将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中。
人脸区域遍历模块316，用于遍历人脸区域的每一个位置Rs。
图像校正模块308还用于应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标。
像素值复制模块318，用于将人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
图像获取模块302还用于采集多对正常图像和畸变图像。
人脸区域提取模块304还用于采用人脸检测方法检测并提取多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像。
回归目标点选取模块320，用于选取正常人脸图像中的多个点的位置和对应的畸变人脸图像中的多个点的位置，作为回归目标点。
关键点坐标定位模块306，还用于采用基于卷积神经网络的人脸关键点定位方法定位畸变人脸图像的关键点坐标。
图像校正模型生成模块322，用于通过最小二乘法对畸变人脸图像的关键点坐标进行计算，生成图像校正模型。
如图5所示，在一个实施例中，提供了一种图像校正设备的内部结构框图。该图像校正设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中图像校正设备的非易失性存储介质存储有操作系统，还存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行控制移动终端上网的方法。处理器用于提供计算和控制能力，支撑装置运行。该内存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行控制移动终端上网的方法。网络接口用于与其它设备进行网络通信。
在一个实施例中，提供了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待处理图像；采用人脸检测方法检测并提取待处理图像中的人脸区域；采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标；使用预先训练好的图像校正模型根据关键点坐标进行图像校正，其中，图像校正模型通过对多对正常图像和畸变图像进行训练得到。
在一个实施例中，处理器执行计算机程序时还可实现以下步骤：采用最近邻法和/或双边线形插值算法对经过图像校正的人脸区域进行图像补全。
在一个实施例中，处理器执行计算机程序时还可实现以下步骤：采用基于卷积神经网络的人脸关键点定位方法对人脸区域进行定位，获得关键点坐标；对关键点坐标进行归一化处理；将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中。
在一个实施例中，处理器执行计算机程序时还可实现以下步骤：遍历人脸区域的每一个位置Rs；应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标；将人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
在一个实施例中，处理器执行计算机程序时还可实现以下步骤：采集多对正常图像和畸变图像；采用人脸检测方法检测并提取多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像；选取正常人脸图像中的多个点的位置和对应的畸变人脸图像中的多个点的位置，作为回归目标点；采用基于卷积神经网络的人脸关键点定位方法定位畸变人脸图像的关键点坐标；通过最小二乘法对畸变人脸图像的关键点坐标进行计算，生成图像校正模型。
本实施例中，获取待处理图像，采用人脸检测方法检测并提取待处理图像中的人脸区域，采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标，从而获取人脸特征信息，使用预先训练好的图像校正模型根据关键点坐标进行图像校正。根据人脸特征信息和图像校正模型针对待处理图像中的人脸进行图像校正，从而降低运算量，增强人脸图像的校正效果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理图像；采用人脸检测方法检测并提取待处理图像中的人脸区域；采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标；使用预先训练好的图像校正模型根据关键点坐标进行图像校正，其中，图像校正模型通过对多对正常图像和畸变图像进行训练得到。
在一个实施例中，计算机程序被处理器执行时还可实现以下步骤：采用最近邻法和/或双边线形插值算法对经过图像校正的人脸区域进行图像补全。
在一个实施例中，计算机程序被处理器执行时还可实现以下步骤：采用基于卷积神经网络的人脸关键点定位方法对人脸区域进行定位，获得关键点坐标；对关键点坐标进行归一化处理；将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中。
在一个实施例中，计算机程序被处理器执行时还可实现以下步骤：遍历人脸区域的每一个位置Rs；应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标；将人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
在一个实施例中，计算机程序被处理器执行时还可实现以下步骤：采集多对正常图像和畸变图像；采用人脸检测方法检测并提取多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像；选取正常人脸图像中的多个点的位置和对应的畸变人脸图像中的多个点的位置，作为回归目标点；采用基于卷积神经网络的人脸关键点定位方法定位畸变人脸图像的关键点坐标；通过最小二乘法对畸变人脸图像的关键点坐标进行计算，生成图像校正模型。
本实施例中，获取待处理图像，采用人脸检测方法检测并提取待处理图像中的人脸区域，采用基于卷积神经网络的人脸关键点定位方法定位人脸区域的关键点坐标，从而获取人脸特征信息，使用预先训练好的图像校正模型根据关键点坐标进行图像校正。根据人脸特征信息和图像校正模型针对待处理图像中的人脸进行图像校正，从而降低运算量，增强人脸图像的校正效果。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种畸变人脸图像校正方法，所述方法包括：
获取待处理图像；
采用人脸检测方法检测并提取所述待处理图像中的人脸区域；
采用基于卷积神经网络的人脸关键点定位方法对所述人脸区域进行定位，获得关键点坐标；
对关键点坐标进行归一化处理；
将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中；
遍历所述人脸区域的每一个位置Rs；
应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到；
将所述人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
2.根据权利要求1所述的方法，其特征在于，在将所述人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上的步骤之后，还包括：
采用最近邻法对经过图像校正的人脸区域进行图像补全。
3.根据权利要求1所述的方法，其特征在于，在将所述人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上的步骤之后，还包括：
采用双边线形插值算法对经过图像校正的人脸区域进行图像补全。
4.根据权利要求1所述的方法，其特征在于，所述人脸区域的关键点坐标包括：左眼、右眼、鼻尖、左嘴角及右嘴角的坐标。
5.根据权利要求1所述的方法，其特征在于，在获取待处理图像之前，还包括：
采集多对正常图像和畸变图像；
采用人脸检测方法检测并提取所述多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像；
选取所述正常人脸图像中的多个点的位置和对应的所述畸变人脸图像中的多个点的位置，作为回归目标点；
采用基于卷积神经网络的人脸关键点定位方法定位所述畸变人脸图像的关键点坐标；
通过最小二乘法对所述畸变人脸图像的关键点坐标进行计算，生成所述图像校正模型。
6.一种畸变人脸图像校正装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
人脸区域提取模块，用于采用人脸检测方法检测并提取所述待处理图像中的人脸区域；
关键点坐标定位模块，用于采用基于卷积神经网络的人脸关键点定位方法对所述人脸区域进行定位，获得关键点坐标；
归一化处理模块，用于对关键点坐标进行归一化处理；
关键点坐标换算模块，用于将经过归一化处理的关键点坐标换算到以待处理图像中心为坐标原点的坐标系中；
人脸区域遍历模块，用于遍历所述人脸区域的每一个位置Rs；
图像校正模块，用于应用如下图像校正模型进行图像校正：
其中W＝{w1,w2...w7}T为参数向量，Rn为Rs经过图像校正后在人脸区域的位置，x(Rn)表示点Rn的x轴坐标，y(Rn)表示点Rn的y轴坐标，d表示两点在二维平面坐标系下的欧氏距离，o表示坐标原点，KFs{Ks1,Ks2,Ks3,Ks4,Ks5}为经过归一化处理的关键点坐标，其中，所述图像校正模型通过对多对正常图像和畸变图像进行训练得到；
像素值复制模块，用于将所述人脸区域中的Rs的像素值复制到校正后的人脸区域的位置Rn上。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
图像补全模块，用于采用最近邻法对经过图像校正的人脸区域进行图像补全。
8.根据权利要求6所述的装置，其特征在于，所述图像补全模块还用于采用双边线形插值算法对经过图像校正的人脸区域进行图像补全。
9.根据权利要求6所述的装置，其特征在于，所述图像获取模块还用于采集多对正常图像和畸变图像；
所述人脸区域提取模块还用于采用人脸检测方法检测并提取所述多对正常图像和畸变图像中的人脸区域，获取正常人脸图像和畸变人脸图像；
所述装置还包括：
回归目标点选取模块，用于选取所述正常人脸图像中的多个点的位置和对应的所述畸变人脸图像中的多个点的位置，作为回归目标点；
所述关键点坐标定位模块还用于采用基于卷积神经网络的人脸关键点定位方法定位所述畸变人脸图像的关键点坐标；
图像校正模型生成模块，用于通过最小二乘法对所述畸变人脸图像的关键点坐标进行计算，生成所述图像校正模型。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任意一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任意一项所述方法的步骤。
CN201710607754.7A 2017-07-24 2017-07-24 畸变人脸图像校正方法、装置、计算机设备和存储介质 Active CN107451965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710607754.7A CN107451965B (zh) 2017-07-24 2017-07-24 畸变人脸图像校正方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710607754.7A CN107451965B (zh) 2017-07-24 2017-07-24 畸变人脸图像校正方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN107451965A CN107451965A (zh) 2017-12-08
CN107451965B true CN107451965B (zh) 2019-10-18

Family

ID=60488957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710607754.7A Active CN107451965B (zh) 2017-07-24 2017-07-24 畸变人脸图像校正方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN107451965B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934058B (zh) * 2017-12-15 2021-08-06 北京市商汤科技开发有限公司 人脸图像处理方法、装置、电子设备、存储介质及程序
CN108932693B (zh) * 2018-06-15 2020-09-22 中国科学院自动化研究所 基于人脸几何信息的人脸编辑补全方法及装置
CN109272014B (zh) * 2018-08-03 2021-05-28 天津大学 一种基于畸变适应卷积神经网络的图像分类方法
WO2020097851A1 (zh) * 2018-11-15 2020-05-22 深圳市大疆创新科技有限公司 一种图像处理方法、控制终端及存储介质
CN109741250B (zh) * 2019-01-04 2023-06-16 京东方科技集团股份有限公司 图像处理方法及装置、存储介质和电子设备
CN111507138A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 图像识别方法、装置、计算机设备及存储介质
CN110147776B (zh) * 2019-05-24 2021-06-11 北京百度网讯科技有限公司 确定人脸关键点位置的方法和装置
CN110751602B (zh) * 2019-09-20 2022-09-30 北京迈格威科技有限公司 基于人脸检测的保形畸变校正方法和装置
CN111028161B (zh) * 2019-11-22 2024-04-05 维沃移动通信有限公司 图像校正方法及电子设备
CN111028169B (zh) * 2019-12-09 2024-02-06 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质
CN111105367B (zh) * 2019-12-09 2023-07-18 Oppo广东移动通信有限公司 人脸畸变校正方法、装置、电子设备及存储介质
CN111008605B (zh) * 2019-12-09 2023-08-11 Oppo广东移动通信有限公司 人脸图像中直线处理方法、装置、终端设备和存储介质
CN111027474B (zh) * 2019-12-09 2024-03-15 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质
CN110971827B (zh) * 2019-12-09 2022-02-18 Oppo广东移动通信有限公司 人像模式拍摄方法、装置、终端设备和存储介质
CN113674139B (zh) * 2021-08-17 2024-08-20 北京京东尚科信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN118522062B (zh) * 2024-07-24 2024-09-17 杭州名光微电子科技有限公司 一种畸变校正人脸识别大角度识别算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN103870843A (zh) * 2014-03-21 2014-06-18 杭州电子科技大学 基于多特征点集活动形状模型的头部姿态估计方法
CN106203242A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN103870843A (zh) * 2014-03-21 2014-06-18 杭州电子科技大学 基于多特征点集活动形状模型的头部姿态估计方法
CN106203242A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
广角图像透视畸变校正方法研究;杨波;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315(第 03 期);第I138-5064页 *

Also Published As

Publication number Publication date
CN107451965A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107451965B (zh) 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN110826519B (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
CN107506693B (zh) 畸变人脸图像校正方法、装置、计算机设备和存储介质
WO2022002150A1 (zh) 一种视觉点云地图的构建方法、装置
CN108764048B (zh) 人脸关键点检测方法及装置
CN109684924B (zh) 人脸活体检测方法及设备
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN108764041B (zh) 用于下部遮挡人脸图像的人脸识别方法
CN109117801A (zh) 人脸识别的方法、装置、终端及计算机可读存储介质
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
CN111340008A (zh) 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
Yang et al. Progressively complementary network for fisheye image rectification using appearance flow
CN110992263B (zh) 一种图像拼接方法及系统
CN110490067B (zh) 一种基于人脸姿态的人脸识别方法及装置
CN110991287A (zh) 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110909663A (zh) 一种人体关键点识别方法、装置及电子设备
CN113095385A (zh) 一种基于全局和局部特征描述的多模图像匹配方法
CN111950554A (zh) 一种身份证识别方法、装置、设备及存储介质
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
Yuan et al. Structure flow-guided network for real depth super-resolution
CN112418250A (zh) 一种复杂3d点云的优化匹配方法
CN116959073A (zh) 一种方向自适应的多姿态点云人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20200727

Granted publication date: 20191018

PP01 Preservation of patent right
PD01 Discharge of preservation of patent

Date of cancellation: 20230727

Granted publication date: 20191018

PD01 Discharge of preservation of patent