CN108898043A - 图像处理方法、图像处理装置以及存储介质 - Google Patents

图像处理方法、图像处理装置以及存储介质 Download PDF

Info

Publication number
CN108898043A
CN108898043A CN201810321216.6A CN201810321216A CN108898043A CN 108898043 A CN108898043 A CN 108898043A CN 201810321216 A CN201810321216 A CN 201810321216A CN 108898043 A CN108898043 A CN 108898043A
Authority
CN
China
Prior art keywords
key point
image
original
input picture
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810321216.6A
Other languages
English (en)
Inventor
白雪
王珏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Max Way Technology Co Ltd
Megvii Technology LLC
Original Assignee
Max Way Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Max Way Technology Co Ltd filed Critical Max Way Technology Co Ltd
Publication of CN108898043A publication Critical patent/CN108898043A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

一种图像处理方法、图像处理装置以及计算机可读存储介质。该图像处理方法包括：对输入图像进行人脸检测，以得到人脸的原始关键点；对输入图像执行畸变处理，以得到与输入图像上的原始关键点对应的矫正关键点；根据原始关键点和所述矫正关键点，对输入图像执行形变处理以得到输出图像。

Description

图像处理方法、图像处理装置以及存储介质
技术领域
本公开的实施例涉及一种图像处理方法、图像处理装置以及计算机可读存储介质。
背景技术
镜头畸变是光学透镜固有的透视失真。镜头畸变主要包括枕形畸变、桶形畸变和线性畸变等。
广角镜头是一种焦距短于标准镜头、视角大于标准镜头的摄影镜头。广角镜头具有镜头视角大、视野宽阔等特点，从而其被广泛使用在摄影，安防，手机等成像系统中。由于广角镜头的视角大，在成像过程中容易导致物体的形变失真，从而出现畸变现象，越靠近画面边缘的物体失真越大，而人脸在画面边缘的失真尤其明显。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种图像处理方法、图像处理装置以及计算机可读存储介质。
本公开至少一实施例提供一种图像处理方法，包括：对输入图像进行人脸检测，以得到人脸的原始关键点；对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点；根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理以得到输出图像。
例如，在本公开一实施例提供的图像处理方法中，对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点，包括：利用桶形畸变公式将所述输入图像的原始关键点转换为中间关键点；将所述中间关键点的重心与所述原始关键点的重心对齐，以得到所述矫正关键点。
例如，在本公开一实施例提供的图像处理方法中，将所述中间关键点的重心与所述原始关键点的重心对齐，以得到所述矫正关键点，包括：计算所述原始关键点的重心；计算所述中间关键点的重心；根据所述原始关键点的重心与所述中间关键点的重心，计算得到所述原始关键点的重心矢量；根据所述原始关键点的重心矢量，将所述中间关键点的重心与所述原始关键点的重心对齐，以得到所述矫正关键点。
例如，在本公开一实施例提供的图像处理方法中，根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理以得到输出图像，包括：对所述输入图像执行网格化处理，以得到原始网格图像；根据所述原始关键点和所述矫正关键点，对所述原始网格图像执行形变处理以得到矫正网格图像；根据所述输入图像对所述矫正网格图像进行像素值填充处理，以得到输出图像。
例如，在本公开一实施例提供的图像处理方法中，根据所述原始关键点和所述矫正关键点，对所述原始网格图像执行形变处理以得到矫正网格图像，包括：根据所述原始关键点和所述矫正关键点，执行第一插值处理以得到所述原始网格图像中的多个交叉点各自的移动矢量；根据所述原始网格图像中的多个交叉点各自的位置和所述移动矢量，得到所述矫正网格图像。
例如，在本公开一实施例提供的图像处理方法中，所述第一插值处理包括薄板样条插值处理。根据所述原始关键点和所述矫正关键点，执行第一插值处理以得到所述原始网格图像中的多个交叉点各自的移动矢量，包括：根据所述原始关键点和所述矫正关键点，得到所述原始关键点的移动矢量；根据所述原始关键点的移动矢量，计算得到所述薄板样条插值的插值公式的参数；根据所述参数和所述插值公式计算所述原始网格图像中的多个交叉点各自的移动矢量，所述移动矢量包括第一移动分量和第二移动分量。
例如，在本公开一实施例提供的图像处理方法中，根据所述输入图像对所述矫正网格图像进行像素值填充处理，以得到输出图像，包括：将所述原始网格图像的非人脸区域和所述矫正网格图像的人脸区域进行融合处理，以得到输出网格图像；根据所述输入图像确定所述输出网格图像中的每个像素点的像素值，以得到所述输出图像。
例如，在本公开一实施例提供的图像处理方法中，将所述原始网格图像的非人脸区域和所述矫正网格图像的人脸区域进行融合处理，包括：根据所述原始关键点，计算得到所述输入图像的人脸掩膜；对所述人脸掩膜执行模糊处理，以得到模糊后的人脸掩膜；根据所述模糊后的人脸掩膜得到模糊后的非人脸掩膜；根据所述模糊后的人脸掩膜和所述原始网格图像，得到所述原始网格图像的非人脸区域；根据所述模糊后的非人脸掩膜和所述矫正网格图像，得到所述矫正网格图像的人脸区域；将所述原始网格图像的非人脸区域和所述矫正网格图像的人脸区域进行融合，以得到所述输出网格图像。
例如，在本公开一实施例提供的图像处理方法中，所述输出网格图像表示为：WO＝WI·Ma+Wco·Mb。WO表示所述输出网格图像，WI表示所述原始网格图像，Wco表示所述矫正网格图像，Ma表示所述模糊后的人脸掩膜，Mb表示所述模糊后的非人脸掩膜，Mb＝M1-Ma，M1表示全1矩阵。
例如，在本公开一实施例提供的图像处理方法中，所述模糊处理包括高斯模糊。
例如，在本公开一实施例提供的图像处理方法中，根据所述输入图像确定所述输出网格图像中的像素点的像素值，以得到所述输出图像，包括：对所述输出网格图像执行网格三角化处理，以得到中间网格图像；根据所述输入图像，执行第二插值处理以确定所述中间网格图像中的每个像素点的像素值，得到中间输出图像；对所述中间输出图像进行裁剪处理，以得到所述输出图像。
例如，在本公开一实施例提供的图像处理方法中，所述第二插值处理包括双线性插值。
例如，在本公开一实施例提供的图像处理方法中，所述输入图像包括多个人脸。对输入图像进行人脸检测，以得到人脸的原始关键点，包括：对所述输入图像进行人脸检测，以得到所述多个人脸中每个人脸的原始关键点。
例如，在本公开一实施例提供的图像处理方法中，对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点，包括：利用桶形畸变公式将所述每个人脸的原始关键点转换为中间关键点；将所述每个人脸的中间关键点的重心与原始关键点的重心对齐，以得到所述每个人脸的矫正关键点。
例如，在本公开一实施例提供的图像处理方法中，根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理以得到输出图像，包括：对所述输入图像执行网格化处理，以得到原始网格图像；根据所述多个人脸的原始关键点和矫正关键点，对所述原始网格图像执行形变处理以得到矫正网格图像；根据所述输入图像对所述矫正网格图像进行像素值填充处理，以得到所述输出图像。
本公开至少一实施例还提供一种图像处理装置，包括：人脸检测单元，被配置为对输入图像进行人脸检测，以得到人脸的原始关键点；畸变处理单元，被配置为对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点；形变处理单元，被配置为根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理，以得到输出图像。
本公开至少一实施例还提供一种图像处理装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述非暂时性计算机可读指令，所述非暂时性计算机可读指令被所述处理器运行时可以执行根据上述任一所述的图像处理方法。
本公开至少一实施例还提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行根据上述任一所述的图像处理方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为本公开一实施例提供的一种图像处理方法的示意性流程图；
图1B为本公开一实施例提供的一种图像处理方法的具体流程图；
图2为本公开一实施例提供的输入图像中的中间关键点的示意图；
图3为本公开一实施例提供的输入图像中的矫正关键点的示意图；
图4为本公开一实施例提供的利用薄板样条插值对原始网格图像执行插值处理的示意图；
图5A为本公开一实施例提供的一种矫正网格图像的示意图；
图5B为本公开一实施例提供的与矫正网格图像对应的矫正图像的示意图；
图6为本公开一实施例提供的一种中间输出图像的示意图；
图7为本公开一实施例提供的一种输出图像的示意图；
图8A为本公开一实施例提供的一种畸变矫正前的人脸区域的示意图；
图8B为根据本公开实施例提供的图像处理方法对图8A所示的人脸区域进行处理后的人脸区域的示意图；
图9A为本公开一实施例提供的一种畸变矫正前的输入图像的示意图；
图9B为根据本公开实施例提供的图像处理方法对图9A所示的输入图像进行处理后的输出图像的示意图；
图10为本公开一实施例提供的一种图像处理装置的示意性框图；
图11为本公开一实施例提供的另一种图像处理装置的示意性框图；以及
图12为本公开一实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
图像畸变是指成像过程中所产生的图像像元的几何位置相对于参照系统(地面实际位置或地形图)发生的挤压、伸展、偏移和扭曲等变形,使图像的几何位置、尺寸、形状、方位等发生改变。图像畸变包括镜头畸变，镜头畸变是由于透镜的固有特性(例如，凸透镜汇聚光线、凹透镜发散光线)所造成的图像透视失真，这种透视失真对于图像的成像质量非常不利。目前，对于高质量的镜头，在镜头的边缘也会产生不同程度的变形和失真。
本公开至少一实施例提供一种图像处理方法、图像处理装置以及计算机可读存储介质，其通过对图像叠加桶形失真以还原单人或多人人脸形状，从而可以有效的去除摄像镜头对图像边缘人脸造成的失真变形。
下面对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。
图1A为本公开一实施例提供的一种图像处理方法的示意性流程图。
例如，如图1A所示，本公开实施例提供的图像处理方法可以包括，但不限于，以下步骤：
步骤S10：对输入图像进行人脸检测，以得到人脸的原始关键点；
步骤S20：对输入图像执行畸变处理，以得到与输入图像上的原始关键点对应的矫正关键点；
步骤S30：根据原始关键点和矫正关键点，对输入图像执行形变处理以得到输出图像。
例如，在步骤S10中，输入图像可以为包含人脸的各种图像，例如人物图像等。输入图像例如可以为灰度图像，也可以为彩色图像。
例如，输入图像可以通过图像采集装置获取。图像采集装置可以包括广角镜头。图像采集装置可以为数码相机、智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、或者甚至可以是网络摄像头。本公开在此不作限定。
例如，输入图像可以是图像采集装置直接采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。例如，在步骤S10前，本公开实施例提供的图像处理方法还可以包括对输入图像进行预处理的操作，以有利于检测输入图像中的人脸区域。预处理可以消除输入图像中的无关信息或噪声信息，以便于更好地对输入图像进行人脸检测。例如，在输入图像是照片的情况下，所述预处理可以包括对照片进行图像缩放、伽玛(Gamma)校正、图像增强或降噪滤波等处理，在输入图像是视频的情况下，所述预处理可以包括提取视频的关键帧等。
例如，在步骤S10中，人脸检测可以采用基于模板的方法、基于模型的方法或神经网络方法等方法实现。基于模板的方法例如可以包括特征脸方法、线性判别分析方法、奇异值分解方法、动态连接匹配方法等。基于模型的方法例如可以包括隐马尔科夫模型、主动形状模型和主动外观模型等方法。神经网络方法例如可以包括卷积神经网络(CNN)等。
例如，人脸检测还可以包括利用SIFT特征提取、HOG特征提取等算法提取人脸的原始关键点。
例如，每个人脸可以包括多个关键点。人脸的关键点可以为脸部的一些表征能力强的关键点，例如，眼睛、眼角、眉毛、颧骨最高点、鼻子、嘴巴、下巴以及人脸外轮廓等关键点。在本公开的实施例中，人脸的原始关键点指的是在输入图像中的人脸的关键点，矫正关键点指的是对原始关键点进行矫正之后得到的人脸的关键点。
例如，桶形畸变是广角镜头常见的问题，目前，图像采集装置的软件对拍摄得到的图像做了后期处理，试图去掉这种畸变，把图像边缘的曲线变直，反而扭曲了边缘物体的形状。为了抵消镜头对人脸造成的畸变，可以给输入图像施加桶形畸变(输入图像的中心会鼓出来，挤压边缘)，从而使输入图像还原到曲面上，使边缘物体的形状变得自然。
例如，步骤S20可以包括以下步骤：
步骤S201：利用桶形畸变公式将输入图像的原始关键点转换为中间关键点；
步骤S202：将中间关键点的重心与原始关键点的重心对齐，以得到矫正关键点。
例如，在步骤S201中，桶形畸变公式表示为：
xu＝xd+(xd-xc)·(K1·r2+K2·r4+...)
yu＝yd+(yd-yc)·(K1·r2+K2·r4+...)
其中，(xu,yu)表示中间关键点的坐标，(xd,yd)表示原始关键点的坐标，(xc,yc)表示输入图像的中心坐标，K1，K2表示高次项畸变参数。
图1B为本公开一实施例提供的一种图像处理方法的具体流程图。例如，如图1B所示，本公开实施例提供的图像处理方法包括：首先，对输入图像执行人脸检测，以得到人脸的原始关键点和根据原始关键点确定的人脸掩膜；然后，利用桶形畸变公式将输入图像的原始关键点转换为中间关键点；然后，将中间关键点的重心与原始关键点的重心对齐，以得到矫正关键点；然后，基于原始关键点和矫正关键点，执行第一插值处理以得到原始网格图像中的多个交叉点各自的移动矢量，根据多个交叉点各自的位置和移动矢量，将原始网格图像转换为矫正网格图像；然后，基于人脸掩膜，将原始网格图像的非人脸区域和矫正网格图像的人脸区域进行融合处理，以得到中间网格图像；接着，基于输入图像和中间网格图像，执行第二插值处理以确定中间网格图像中的每个像素点的像素值，得到中间输出图像；最后，对中间输出图像进行裁剪处理，以得到输出图像。
图2为本公开一实施例提供的输入图像中的中间关键点的示意图。图3为本公开一实施例提供的输入图像中的矫正关键点的示意图。
例如，桶形畸变公式可以建立原始关键点和中间关键点之间的对应关系。如图2所示，在步骤S201中，利用桶形畸变公式将输入图像的原始关键点进行转换后，即利用桶形畸变公式基于原始关键点进行计算后，可以得到人脸的中间关键点(图2中人脸处的白点)。
由于利用桶形畸变公式计算得到的中间关键点的坐标会整体向图像中心漂移，因此需要将中间关键点进行平移，使中间关键点的重心与原始关键点的重心对齐。
例如，步骤S202可以包括以下步骤：
步骤S2021：计算原始关键点的重心；
步骤S2022：计算中间关键点的重心；
步骤S2023：根据原始关键点的重心与中间关键点的重心，计算得到原始关键点的重心矢量；
步骤S2024：根据原始关键点的重心矢量，将中间关键点的重心与原始关键点的重心对齐，以得到矫正关键点。
例如，在步骤S2021中，原始关键点的重心表示人脸的所有原始关键点的坐标的平均值。在步骤S2022中，中间关键点的重心表示人脸的所有中间关键点(即图2中人脸处的所有白点)的坐标的平均值。
例如，在一个具体的示例中，人脸可以包括五个原始关键点，其坐标分别为(xd1,yd1)、(xd2,yd2)、(xd3,yd3)、(xd4,yd4)和(xd5,yd5)，从而可以得到原始关键点的重心的坐标为((xd1+xd2+xd3+xd4+xd5)/5，(yd1+yd2+yd3+yd4+yd5)/5)。
例如，利用桶形畸变公式对原始关键点进行计算后可以得到人脸的中间关键点，该人脸包括与五个原始关键点一一对应的五个中间关键点，其坐标分别为(xu1,yu1)、(xu2,yu2)、(xu3,yu3)、(xu4,yu4)和(xu5,yu5)，从而可以得到中间关键点的重心的坐标为((xu1+xu2+xu3+xu4+xu5)/5，(yu1+yu2+yu3+yu4+yu5)/5)。
需要说明的是，在上述具体示例中，坐标的平均值表示几何平均值。但不限于此，坐标的平均值还可以表示加权平均值。
例如，在步骤S2023中，重心矢量表示原始关键点的重心与中间关键点的重心的差值，重心矢量包括X分量和Y分量。
例如，若原始关键点的重心的坐标为((xd1+xd2+xd3+xd4+xd5)/5，(yd1+yd2+yd3+yd4+yd5)/5)，中间关键点的重心的坐标为((xu1+xu2+xu3+xu4+xu5)/5，(yu1+yu2+yu3+yu4+yu5)/5)，则重心矢量可以表示为((xd1+xd2+xd3+xd4+xd5)/5-(xu1+xu2+xu3+xu4+xu5)/5，(yd1+yd2+yd3+yd4+yd5)/5-(yu1+yu2+yu3+yu4+yu5)/5)。X分量为(xd1+xd2+xd3+xd4+xd5)/5-(xu1+xu2+xu3+xu4+xu5)/5，Y分量为(yd1+yd2+yd3+yd4+yd5)/5-(yu1+yu2+yu3+yu4+yu5)/5。
例如，若重心矢量由原始关键点的重心减去中间关键点的重心得到，在步骤S2024中，需要将中间关键点的重心加上重心矢量，以使中间关键点与原始关键点的重心对齐，从而得到矫正关键点。若重心矢量由中间关键点的重心减去原始关键点的重心得到，在步骤S2024中，需要将中间关键点的重心减去重心矢量，以使中间关键点与原始关键点的重心对齐，从而得到矫正关键点。
需要说明的是，在桶形畸变公式中，各个点(中间关键点、原始关键点、矫正关键点等)的坐标均表示其在图像坐标系中的坐标。图像坐标系表示以摄像机所采集的物体的光学图像为基准建立的坐标系。
例如，步骤S30可以包括以下步骤：
步骤S301：对输入图像执行网格化处理，以得到原始网格图像；
步骤S302：根据原始关键点和矫正关键点，对原始网格图像执行形变处理以得到矫正网格图像；
步骤S303：根据输入图像对矫正网格图像进行像素值填充处理，以得到输出图像。
例如，在步骤S301中，对输入图像执行网格化处理表示对输入图像加上均匀间隔的网格，以得到原始网格图像，然后对原始网格图像中的各交叉点执行形变处理，从而可以减少计算量，提高图像处理的速度。原始网格图像的尺寸小于或等于输入图像的尺寸。例如，原始网格图像的尺寸等于输入图像的尺寸，若输入图像的尺寸为U×Q，原始网格图像具有M×N个网格交叉点。在原始网格图像中，在行方向上，相邻的两个网格交叉点之间的距离为U/(M-1)；在列方向上，相邻的两个网格交叉点之间的距离为Q/(N-1)。例如，若U为1000，Q为500，M为11，N为6，则在原始网格图像的行方向上，相邻的两个网格交叉点之间的距离为1000/(11-1)＝100；在原始网格图像的列方向上，相邻的两个网格交叉点之间的距离为500/(6-1)＝100。
图4为本公开一实施例提供的利用薄板样条插值对原始网格图像执行插值处理的示意图；图5A为本公开一实施例提供的一种矫正网格图像的示意图；图5B为本公开一实施例提供的与矫正网格图像对应的矫正图像的示意图。
例如，在步骤S302中，根据原始关键点和矫正关键点之间的对应关系，对原始网格图像的所有交叉点执行形变处理，以得到矫正网格图像。例如，步骤S302可以包括：
步骤S3021：根据原始关键点和矫正关键点，执行第一插值处理以得到原始网格图像中的多个交叉点各自的移动矢量；
步骤S3022：根据原始网格图像中的多个交叉点各自的位置和移动矢量，得到矫正网格图像。
例如，在步骤S3021中，第一插值处理可以包括薄板样条插值(Thin PlateSpline)处理。薄板样条插值处理可以将局部的运动平滑地扩散到图像的其他区域。
在一些实施例中，步骤S3021可以包括：根据原始关键点和矫正关键点，得到原始关键点的移动矢量；根据原始关键点的移动矢量，执行第一插值处理以得到原始网格图像中的多个交叉点各自的移动矢量。例如，根据原始关键点的移动矢量，计算得到薄板样条插值的插值公式的参数；根据参数和插值公式计算原始网格图像中的多个交叉点各自的移动矢量，移动矢量包括第一移动分量和第二移动分量。其中，原始关键点的移动矢量用于将原始关键点移动到矫正关键点的位置。
在第一插值处理为薄板样条插值处理的情况下，采用以下公式计算坐标为(x,y)的交叉点的移动矢量：
其中，a1，a2，a3和wi是待定的参数，U是径向基函数，U(r)＝r2·log r，r＝|Pi-(x,y)|，Pi表示第i个原始关键点的坐标。f(x,y)是原始网格图像中坐标为(x,y)的交叉点的移动矢量，包括fX(x,y)和fY(x,y)两个移动分量。
例如，插值公式的参数包括第一组插值参数和第二组插值参数，分别用于计算每个交叉点的两个移动分量。例如，若第一移动分量是在x方向(如水平方向)的移动分量，第二移动分量是在y方向(如垂直方向)的移动分量，则第一组插值参数为的薄板样条插值公式在x方向上的参数，第二组插值参数为的薄板样条插值公式在y方向上的参数。例如，根据已知的原始关键点的第一移动分量可以计算得到第一组插值参数，根据已知的原始关键点的第二移动分量可以计算得到第二组插值参数。
例如，第一组插值参数可以利用以下公式计算：
其中，W1＝[ω11 ... ω1n]'，Y1＝[υ11 ... υ1n 0 0 0]'，n表示原始关键点的数量，U(rij)表示第i个原始关键点和第j个原始关键点之间的距离，rij＝|Pi-Pj|，Pi表示第i个原始关键点的坐标，Pj表示第j个原始关键点的坐标，Y1中的各元素表示各原始关键点的第一移动分量，也就是说，ν1n表示第n个原始关键点的第一移动分量。“'”表示矩阵的转置。例如，原始关键点的第一移动分量Y1可以表示原始关键点和与该原始关键点对应的矫正关键点之间的X坐标差值。
例如，第二组插值参数可以利用以下公式计算：
其中，W2＝[ω21 ... ω2n]'，Y2＝[υ21 ... υ2n 0 0 0]'，Y2中的各元素表示各原始关键点的第二移动分量，也就是说，ν2n表示第n个原始关键点的第二移动分量。例如，原始关键点的第二移动分量Y2可以表示原始关键点和与该原始关键点对应的矫正关键点之间的Y坐标差值。
通过分别求解上述线性方程组，即可以得到薄板样条插值的插值公式的第一组插值参数和第二组插值参数。
例如，在一个具体示例中，若原始关键点的坐标为(1,2)，与该原始关键点对应的矫正关键点的坐标为(3,4)，则对于坐标为(1,2)的原始关键点，Y1＝3-1＝2，Y2＝4-2＝2。
例如，根据第一组插值参数a11，a12，a13和w1i，利用薄板样条插值的插值公式可以计算原始网格图像中坐标为(x,y)交叉点的第一移动分量。具体如下所示：
根据第二组插值参数a21，a22，a23和w2i，利用薄板样条插值的插值公式可以计算原始网格图像中坐标为(x,y)交叉点的第二移动分量。具体如下所示：
其中，fX(x,y)表示坐标为(x,y)的交叉点的第一移动分量，fY(x,y)表示坐标为(x,y)的交叉点的第二移动分量。
例如，在步骤S3022中，各交叉点的位置可以表示为各交叉点的坐标。步骤S3022包括：根据原始网格图像中的各交叉点的移动矢量，将原始网格图像中的各交叉点的坐标进行移动，以得到矫正网格图像。
例如，图4左侧的视图表示执行薄板样条插值处理前的原始网格图像的示意图，图4右侧的视图表示执行薄板样条插值处理后得到的矫正网格图像的示意图。如图4左侧视图所示，圆圈(○)表示原始关键点，叉号(×)表示矫正关键点。如图4右侧视图所示，当原始关键点移动到矫正关键点的位置(即圆圈与叉号重合)时，利用薄板样条插值可以计算出原始网格图像上的所有交叉点的移动矢量，进而确定这些交叉点的目标位置(即矫正网格图像上各交叉点的坐标)，从而得到矫正网格图像(如图4右侧视图所示)。
例如，第一插值处理不限于上述薄板样条插值处理。第一插值处理还可以包括反距离加权插值(Inverse distance weighting)处理、径向基函数(radial basisfunction)、细分曲面(subdivision surface)等插值方法。
例如，如图5A所示，对原始网格图像执行第一插值处理后，可以得到矫正网格图像。图5B示出了与矫正网格图像对应的矫正图像，即根据输入图像确定矫正网格图像中的每个像素点的像素值，以得到该矫正图像。如图5B所示，在矫正图像上，人脸上的关键点已经通过形变到达预定的位置，但是矫正图像的其他部分(例如，图像的右下角的桌子)也产生扭曲变形。为了使形变只影响人脸部分，可以将矫正图像的人脸区域和输入图像的非人脸区域进行融合，以得到局部人脸复原的输出图像，从而保证非人脸区域不受形变影响。
例如，步骤S303可以包括以下步骤：
步骤S3031：将原始网格图像的非人脸区域和矫正网格图像的人脸区域进行融合处理，以得到输出网格图像；
步骤S3032：根据输入图像确定输出网格图像中的每个像素点的像素值，以得到输出图像。
例如，步骤S3031包括：根据原始关键点，计算得到输入图像的人脸掩膜；对人脸掩膜执行模糊处理，以得到模糊后的人脸掩膜；根据模糊后的人脸掩膜得到模糊后的非人脸掩膜；根据模糊后的人脸掩膜和原始网格图像，得到原始网格图像的非人脸区域；根据模糊后的非人脸掩膜和矫正网格图像，得到矫正网格图像的人脸区域；将原始网格图像的非人脸区域和矫正网格图像的人脸区域进行融合，以得到输出网格图像。
例如，在步骤S10的人脸检测过程中，可以基于原始关键点构建输入图像中的人脸的三维信息，以得到输入图像中的人脸区域。从而，在步骤S3031中，人脸掩膜可以根据人脸区域得到。
例如，人脸检测过程还可以包括检测人脸的三维信息与真实人脸的三维形状是否匹配，在确定构建人脸的三维信息与真实人脸的三维形状相匹配的情况下，确定人脸检测成功，然后根据人脸的三维信息得到输入图像的人脸区域；而在确定三维信息与真实人脸的三维形状不匹配的情况下，重新构建人脸的三维信息或者确定人脸检测失败，即输入图像中不存在人脸。
例如，人脸的三维信息与真实人脸的三维形状相匹配可以表示构建的人脸的原始关键点与真实人脸的原始关键点相对应，即，构建的人脸具有真实人脸包含的原始关键点(眼睛、鼻子、嘴巴等)；另一方面，人脸的三维信息与真实人脸的三维形状相匹配还可以表示构建的人脸的原始关键点之间的相对位置关系与相对应的真实人脸的原始关键点之间的相对位置关系相匹配。例如，相对位置关系可以包括鼻子与嘴巴的相对位置，人的两只眼睛之间的距离等。
例如，模糊处理可以使人脸区域与非人脸区域过渡更自然。模糊处理包括高斯模糊等。
例如，人脸掩膜可以表示一个在人脸区域的像素值为0而在非人脸区域的像素值为1的矩阵。人脸掩膜的尺寸可以与输入图像的尺寸相同。
例如，输出网格图像可以表示为：
WO＝WI*Ma+Wco*Mb＝WI*Ma+Wco*(M1-Ma)
其中，WO表示输出网格图像，WI表示原始网格图像，Wco表示矫正网格图像，Ma表示模糊后的人脸掩膜，Mb表示模糊后的非人脸掩膜，Mb＝M1-Ma，M1表示全1矩阵，“*”表示矩阵的Hadamard积，即两个矩阵之间处于相同位置处的对应元素之间的相乘。
例如，步骤S3032可以包括：对输出网格图像执行网格三角化处理，以得到中间网格图像；根据输入图像，执行第二插值处理以确定中间网格图像中的每个像素点的像素值，得到中间输出图像；对中间输出图像进行裁剪处理，以得到输出图像。
例如，网格三角化处理表示沿对角线将输出网格图像上所有由四个交叉点形成的四边形划分为两个三角形，即将输出网格图像转换成三角网格，从而得到中间网格图像。
例如，第二插值处理可以包括重采样。重采样可以包括双线性内插值(bilinearinterpolation)。但不限于此，第二插值处理还可以包括最近邻内插值(nearest neighborinterpolation)、双三次插值(Bicubic interpolation)、三次卷积法内插值(cubicconvolution interpolation)等插值方法。
图6为本公开一实施例提供的一种中间输出图像的示意图；图7为本公开一实施例提供的一种输出图像的示意图。
例如，如图6所示，根据中间网格图像得到的中间输出图像的图像边缘可能会出现少许黑边，为了去除黑边，可以对中间输出图像进行裁剪处理，以得到输出图像。如图7所示，输出图像的边缘的黑边已经去除。
图8A为本公开一实施例提供的一种畸变矫正前的人脸区域的示意图；图8B为根据本公开实施例提供的图像处理方法处理后的人脸区域的示意图。例如，如图8A和图8B所示，对人脸区域进行畸变矫正前，人脸发生变形，对人脸区域进行畸变矫正后，人脸区域被复原。
图9A为本公开一实施例提供的一种畸变矫正前的输入图像的示意图；图9B为根据本公开实施例提供的图像处理方法对图9A所示的输入图像进行处理后的输出图像的示意图。
例如，如图9A所示，输入图像可以包括多个人脸。当输入图像包括多个人脸时，图像处理方法可以包括以下步骤：
步骤S11：对输入图像进行人脸检测，以得到多个人脸中每个人脸的原始关键点；
步骤S21：利用桶形畸变公式将每个人脸的原始关键点转换为中间关键点；将每个人脸的中间关键点的重心与原始关键点的重心对齐，以得到每个人脸的矫正关键点；
步骤S31：对输入图像执行网格化处理，以得到原始网格图像；根据多个人脸的原始关键点和矫正关键点，对原始网格图像执行形变处理以得到矫正网格图像；根据输入图像对矫正网格图像进行像素值填充处理，以得到输出图像。
例如，如图9B所示，根据本公开实施例提供图像处理方法对输入图像进行矫正处理后，输出图像上的所有人脸都被矫正，人脸形状被复原。
例如，当输入图像包括多个人脸时，在步骤S11中，关于人脸检测的方法可以参考前述步骤S10的描述；在步骤S21中，关于重心对齐的具体过程可以参考前述步骤S20的描述，重复之处不再赘述。
例如，当输入图像包括多个人脸时，在步骤S31中，薄板样条插值的插值公式的参数根据多个人脸的原始关键点和矫正关键点计算得到；然后根据计算得到的参数确定原始网格图像中各交叉点的移动矢量。
例如，当输入图像包括多个人脸时，步骤S31的具体操作过程可以参考上述步骤S301、步骤S302和步骤S303。不同之处在于，在步骤303中，输入图像的人脸掩膜中包括多个人脸区域。
例如，当输入图像包括多个人脸时，根据实际应用需要，可以对多个人脸中的部分人脸进行矫正处理，例如对输入图像中位于图像边缘位置的人脸进行校正处理，也可以对全部人脸进行矫正处理。
图10为本公开一实施例提供的一种图像处理装置的示意性框图。
例如，如图10所示，本公开实施例提供的一种图像处理装置50可以包括人脸检测单元510、畸变处理单元520和形变处理单元530。人脸检测单元510被配置为对输入图像进行人脸检测，以得到人脸的原始关键点；畸变处理单元520被配置为对输入图像执行畸变处理，以得到与输入图像上的原始关键点对应的矫正关键点；形变处理单元530被配置为根据原始关键点和矫正关键点，对输入图像执行形变处理，以得到输出图像。
本公开实施例提供的图像处理装置通过对输入图像叠加桶形畸变从而还原单人或多人人脸形状，利用局部网格薄板样条插值复原处于图像边缘的人脸形状，同时可以保持非人脸部分不受形变影响。
例如，图像处理装置50可以应用于任何具有照相或摄像功能的电子设备中。电子设备例如可以为智能手机、平板电脑、数码相机等。应理解，图像处理装置50也可以为一独立的电子设备。
例如，人脸检测单元510、畸变处理单元520和形变处理单元530可以为硬件、软件、固件以及它们的任意可行的组合。
例如，输入图像可以通过图像采集装置获取，并传输至图像处理装置50中。图像采集装置可以包括智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码相机或者网络摄像头等。
需要说明的是，人脸检测单元510的具体功能可以参考图像处理方法的实施例中步骤S10或步骤S11的操作过程。畸变处理单元520的具体功能可以参考图像处理方法的实施例中步骤S20或步骤S21的操作过程。形变处理单元530的具体功能可以参考图像处理方法的实施例中步骤S30或步骤S31的操作过程，重复之处不再赘述。
图11为本公开一实施例提供的另一种图像处理装置的示意性框图。
例如，如图11所示，本公开实施例提供的另一种图像处理装置60可以包括存储器610和处理器620。存储器610用于存储非暂时性计算机可读指令；处理器620用于运行非暂时性计算机可读指令，非暂时性计算机可读指令被处理器620运行时可以执行上文所述的图像处理方法中的一个或多个步骤。存储器610和处理器620可以通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图11所示的图像处理装置的组件和结构只是示例性的，而非限制性的，根据需要，该图像处理装置也可以具有其他组件和结构。
本公开实施例提供的图像处理装置通过对输入图像叠加桶形畸变从而还原单人或多人人脸形状，利用局部网格薄板样条插值复原处于图像边缘的人脸形状，同时可以保持非人脸部分不受形变影响。
例如，图像处理装置60可以应用于任何具有照相或摄像功能的电子设备中。电子设备例如可以为智能手机、平板电脑、数码相机等。
需要说明的是，存储器610和处理器620等可以设置在服务器端(或云端)。但不限于此，存储器610和处理器620等也可以设置在图像采集端。
例如，处理器620可以是中央处理单元(CPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如图像处理单元(GPU)、现场可编程门阵列(FPGA)或张量处理单元(TPU)等；例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器620可以控制图像处理装置60中的其它组件以执行期望的功能。
例如，存储器610可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序，处理器620可以运行所述非暂时性计算机可读指令，以实现图像处理装置60的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。
需要说明的是，关于通过图像处理装置60进行图像处理的详细说明可以参考图像处理方法的实施例中的相关描述，重复之处不再赘述。
图12为本公开一实施例提供的一种计算机可读存储介质的示意图。例如，计算机可读存储介质用于存储非暂时性计算机可读指令。如图12所示，在计算机可读存储介质900上可以存储一个或多个非暂时性计算机可读指令901。例如，当所述非暂时性计算机可读指令901由计算机执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。
例如，该计算机可读存储介质900可以应用于上述图像处理装置中。例如，计算机可读存储介质900可以为图11所示的实施例中的图像处理装置60的存储器610。
例如，关于计算机可读存储介质900的说明可以参考图11所示的图像处理装置60的实施例中对于存储器610的描述，重复之处不再赘述。
对于本公开，还有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法，包括：
对输入图像进行人脸检测，以得到人脸的原始关键点；
对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点；
根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理以得到输出图像。
2.根据权利要求1所述的图像处理方法，其中，对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点，包括：
利用桶形畸变公式将所述输入图像的原始关键点转换为中间关键点；
将所述中间关键点的重心与所述原始关键点的重心对齐，以得到所述矫正关键点。
3.根据权利要求2所述的图像处理方法，其中，将所述中间关键点的重心与所述原始关键点的重心对齐，以得到所述矫正关键点，包括：
计算所述原始关键点的重心；
计算所述中间关键点的重心；
根据所述原始关键点的重心与所述中间关键点的重心，计算得到所述原始关键点的重心矢量；
根据所述原始关键点的重心矢量，将所述中间关键点的重心与所述原始关键点的重心对齐，以得到所述矫正关键点。
4.根据权利要求1所述的图像处理方法，其中，根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理以得到输出图像，包括：
对所述输入图像执行网格化处理，以得到原始网格图像；
根据所述原始关键点和所述矫正关键点，对所述原始网格图像执行形变处理以得到矫正网格图像；
根据所述输入图像对所述矫正网格图像进行像素值填充处理，以得到输出图像。
5.根据权利要求4所述的图像处理方法，其中，根据所述原始关键点和所述矫正关键点，对所述原始网格图像执行形变处理以得到矫正网格图像，包括：
根据所述原始关键点和所述矫正关键点，执行第一插值处理以得到所述原始网格图像中的多个交叉点各自的移动矢量；
根据所述原始网格图像中的多个交叉点各自的位置和所述移动矢量，得到所述矫正网格图像。
6.根据权利要求5所述的图像处理方法，其中，所述第一插值处理包括薄板样条插值处理，
根据所述原始关键点和所述矫正关键点，执行第一插值处理以得到所述原始网格图像中的多个交叉点各自的移动矢量，包括：
根据所述原始关键点和所述矫正关键点，得到所述原始关键点的移动矢量；
根据所述原始关键点的移动矢量，计算得到所述薄板样条插值的插值公式的参数；
根据所述参数和所述插值公式计算所述原始网格图像中的多个交叉点各自的移动矢量，所述移动矢量包括第一移动分量和第二移动分量。
7.根据权利要求4所述的图像处理方法，其中，根据所述输入图像对所述矫正网格图像进行像素值填充处理，以得到输出图像，包括：
将所述原始网格图像的非人脸区域和所述矫正网格图像的人脸区域进行融合处理，以得到输出网格图像；
根据所述输入图像确定所述输出网格图像中的每个像素点的像素值，以得到所述输出图像。
8.根据权利要求7所述的图像处理方法，其中，将所述原始网格图像的非人脸区域和所述矫正网格图像的人脸区域进行融合处理，包括：
根据所述原始关键点，计算得到所述输入图像的人脸掩膜；
对所述人脸掩膜执行模糊处理，以得到模糊后的人脸掩膜；
根据所述模糊后的人脸掩膜得到模糊后的非人脸掩膜；
根据所述模糊后的人脸掩膜和所述原始网格图像，得到所述原始网格图像的非人脸区域；
根据所述模糊后的非人脸掩膜和所述矫正网格图像，得到所述矫正网格图像的人脸区域；
将所述原始网格图像的非人脸区域和所述矫正网格图像的人脸区域进行融合，以得到所述输出网格图像。
9.根据权利要求8所述的图像处理方法，其中，所述输出网格图像表示为：
WO＝WI·Ma+Wco·Mb
其中，WO表示所述输出网格图像，WI表示所述原始网格图像，Wco表示所述矫正网格图像，Ma表示所述模糊后的人脸掩膜，Mb表示所述模糊后的非人脸掩膜，Mb＝M1-Ma，M1表示全1矩阵。
10.根据权利要求8所述的图像处理方法，其中，所述模糊处理包括高斯模糊。
11.根据权利要求7所述的图像处理方法，其中，根据所述输入图像确定所述输出网格图像中的像素点的像素值，以得到所述输出图像，包括：
对所述输出网格图像执行网格三角化处理，以得到中间网格图像；
根据所述输入图像，执行第二插值处理以确定所述中间网格图像中的每个像素点的像素值，得到中间输出图像；
对所述中间输出图像进行裁剪处理，以得到所述输出图像。
12.根据权利要求11所述的图像处理方法，其中，所述第二插值处理包括双线性插值。
13.根据权利要求1所述的图像处理方法，其中，所述输入图像包括多个人脸，
对输入图像进行人脸检测，以得到人脸的原始关键点，包括：
对所述输入图像进行人脸检测，以得到所述多个人脸中每个人脸的原始关键点。
14.根据权利要求13所述的图像处理方法，其中，对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点，包括：
利用桶形畸变公式将所述每个人脸的原始关键点转换为中间关键点；
将所述每个人脸的中间关键点的重心与原始关键点的重心对齐，以得到所述每个人脸的矫正关键点。
15.根据权利要求14所述的图像处理方法，其中，根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理以得到输出图像，包括：
对所述输入图像执行网格化处理，以得到原始网格图像；
根据所述多个人脸的原始关键点和矫正关键点，对所述原始网格图像执行形变处理以得到矫正网格图像；
根据所述输入图像对所述矫正网格图像进行像素值填充处理，以得到所述输出图像。
16.一种图像处理装置，包括：
人脸检测单元，被配置为对输入图像进行人脸检测，以得到人脸的原始关键点；
畸变处理单元，被配置为对所述输入图像执行畸变处理，以得到与所述输入图像上的原始关键点对应的矫正关键点；
形变处理单元，被配置为根据所述原始关键点和所述矫正关键点，对所述输入图像执行形变处理，以得到输出图像。
17.一种图像处理装置，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述非暂时性计算机可读指令，所述非暂时性计算机可读指令被所述处理器运行时执行根据权利要求1-15任一所述的图像处理方法。
18.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行根据权利要求1-15任一所述的图像处理方法。
CN201810321216.6A 2018-02-09 2018-04-11 图像处理方法、图像处理装置以及存储介质 Withdrawn CN108898043A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/892,836 US20190251675A1 (en) 2018-02-09 2018-02-09 Image processing method, image processing device and storage medium
US15/892,836 2018-02-09

Publications (1)

Publication Number Publication Date
CN108898043A true CN108898043A (zh) 2018-11-27

Family

ID=64342110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810321216.6A Withdrawn CN108898043A (zh) 2018-02-09 2018-04-11 图像处理方法、图像处理装置以及存储介质

Country Status (2)

Country Link
US (1) US20190251675A1 (zh)
CN (1) CN108898043A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558837A (zh) * 2018-11-28 2019-04-02 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN111340691A (zh) * 2020-03-27 2020-06-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111429380A (zh) * 2020-04-08 2020-07-17 北京海益同展信息科技有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111780890A (zh) * 2020-07-07 2020-10-16 章微微 基于测温位置分析的功能激活平台
CN111986097A (zh) * 2019-05-24 2020-11-24 北京小米移动软件有限公司 图像处理方法及装置
CN112818929A (zh) * 2021-02-26 2021-05-18 济南博观智能科技有限公司 一种人员斗殴检测方法、装置、电子设备及存储介质
WO2021175020A1 (zh) * 2020-03-06 2021-09-10 深圳壹账通智能科技有限公司 一种人脸图像关键点方法、装置、计算机设备及存储介质
CN111340691B (zh) * 2020-03-27 2024-06-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109288233A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示修容区域的身体信息分析装置
CN112529784B (zh) * 2019-09-18 2024-05-28 华为技术有限公司 图像畸变校正方法及装置
CN110782404B (zh) * 2019-10-11 2022-06-10 北京达佳互联信息技术有限公司 一种图像处理方法、装置及存储介质
CN111080544B (zh) * 2019-12-09 2023-09-22 Oppo广东移动通信有限公司 基于图像的人脸畸变校正方法、装置及电子设备
CN111105366B (zh) * 2019-12-09 2023-11-24 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备及存储介质
CN111145119B (zh) * 2019-12-25 2023-06-02 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN111489311B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN111861888A (zh) * 2020-07-27 2020-10-30 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112149442B (zh) * 2020-09-15 2022-12-06 浙江大华技术股份有限公司 畸变二维码的识别方法和装置、存储介质及电子装置
CN113947795B (zh) * 2021-10-22 2022-07-26 苏州魔视智能科技有限公司 口罩佩戴检测方法、装置、设备及存储介质
CN116684636B (zh) * 2023-08-01 2023-10-13 清华大学 一种语义通信人脸重建优化方法、系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558837A (zh) * 2018-11-28 2019-04-02 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109558837B (zh) * 2018-11-28 2024-03-22 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN111986097A (zh) * 2019-05-24 2020-11-24 北京小米移动软件有限公司 图像处理方法及装置
CN111986097B (zh) * 2019-05-24 2024-02-09 北京小米移动软件有限公司 图像处理方法及装置
WO2021175020A1 (zh) * 2020-03-06 2021-09-10 深圳壹账通智能科技有限公司 一种人脸图像关键点方法、装置、计算机设备及存储介质
CN111340691A (zh) * 2020-03-27 2020-06-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111340691B (zh) * 2020-03-27 2024-06-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111429380A (zh) * 2020-04-08 2020-07-17 北京海益同展信息科技有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111429380B (zh) * 2020-04-08 2023-11-03 京东科技信息技术有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111780890A (zh) * 2020-07-07 2020-10-16 章微微 基于测温位置分析的功能激活平台
WO2022007116A1 (zh) * 2020-07-07 2022-01-13 章微微 基于测温位置分析的功能激活平台
CN112818929A (zh) * 2021-02-26 2021-05-18 济南博观智能科技有限公司 一种人员斗殴检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20190251675A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN108898043A (zh) 图像处理方法、图像处理装置以及存储介质
CN110287846B (zh) 一种基于注意力机制的人脸关键点检测方法
JP7093886B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
CN109416727B (zh) 一种人脸图像中眼镜去除方法及装置
CN106778928B (zh) 图像处理方法及装置
US11475624B2 (en) Method and apparatus for generating three-dimensional model, computer device and storage medium
CN110363116B (zh) 基于gld-gan的不规则人脸矫正方法、系统及介质
CN110399849A (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN107958444A (zh) 一种基于深度学习的人脸超分辨率重建方法
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN111819568A (zh) 人脸旋转图像的生成方法及装置
US10891789B2 (en) Method to produce 3D model from one or several images
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN107451952A (zh) 一种全景视频的拼接融合方法、设备以及系统
CN107563978A (zh) 人脸去模糊方法及装置
CN112734890A (zh) 基于三维重建的人脸替换方法及装置
WO2023202285A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN113902851A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
Zhang et al. Infrared thermal imaging super-resolution via multiscale spatio-temporal feature fusion network
Liu et al. Facial image inpainting using attention-based multi-level generative network
CN114125269B (zh) 一种基于深度学习的手机实时全景拍摄方法
CN113902852A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN110647859A (zh) 人脸图像分解方法和装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181127