CN109934766A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN109934766A
CN109934766A CN201910169503.4A CN201910169503A CN109934766A CN 109934766 A CN109934766 A CN 109934766A CN 201910169503 A CN201910169503 A CN 201910169503A CN 109934766 A CN109934766 A CN 109934766A
Authority
CN
China
Prior art keywords
key point
region
point information
facial area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910169503.4A
Other languages
English (en)
Other versions
CN109934766B (zh
Inventor
苏柳
杨瑞健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910169503.4A priority Critical patent/CN109934766B/zh
Publication of CN109934766A publication Critical patent/CN109934766A/zh
Priority to SG11202006345UA priority patent/SG11202006345UA/en
Priority to JP2020536145A priority patent/JP7160925B2/ja
Priority to KR1020207013711A priority patent/KR102442483B1/ko
Priority to PCT/CN2019/119534 priority patent/WO2020177394A1/zh
Priority to TW108145585A priority patent/TW202034280A/zh
Priority to US16/920,972 priority patent/US11244449B2/en
Application granted granted Critical
Publication of CN109934766B publication Critical patent/CN109934766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种图像处理方法及装置。所述方法包括：获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；基于所述关键点信息确定多个变形区域，基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。

Description

一种图像处理方法及装置
技术领域
本发明涉及图像处理技术，具体涉及一种图像处理方法及装置。
背景技术
随着图像处理技术的不断发展，出现了越来越多的图像处理方式，以实现对人脸进行图像处理。若只针对人脸区域进行压缩处理，图像中会出现空洞；若针对人脸区域进行拉伸处理，图像中会出现像素重叠的情况。然而，如何解决该问题，目前尚无有效解决方案。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种图像处理方法及装置。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种图像处理方法，所述方法包括：
获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；
基于所述关键点信息确定多个变形区域，基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
上述方案中，所述器官的关键点信息包括器官的中心关键点信息和/或器官的轮廓关键点信息。
上述方案中，所述基于所述关键点信息确定多个变形区域，包括：
基于所述关键点信息中的任意相邻的三个关键点确定多个变形区域。
上述方案中，所述基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，包括：
确定所述面部区域中的待处理的第一目标区域；
基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理。
上述方案中，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理，包括：
基于所述左眼区域对应的关键点信息确定第一组变形区域，基于所述右眼区域对应的关键点信息确定第二组变形区域，对所述第一组变形区域和所述第二组变形区域进行图像变形处理，所述第一组变形区域和所述第二组变形区域的图像变形方向相反，以使所述左眼区域和右眼区域之间的距离增大或缩小。
上述方案中，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理，包括：
基于所述左眼区域和/或右眼区域的眼角对应的关键点信息确定第三组变形区域，按照第一特定方向拉伸或压缩所述第三组变形区域，以调整所述左眼区域和/或所述右眼区域的眼角的位置。
上述方案中，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理，包括：
基于所述左眼区域和/或右眼区域对应的关键点信息确定第四组变形区域，对所述第四组变形区域进行变形处理，以使所述左眼区域和/或右眼区域的轮廓关键点相对于中心关键点旋转，且旋转的角度满足设定角度。
上述方案中，所述第一目标区域为鼻子区域；所述对所述变形区域进行图像变形处理，包括：
基于所述鼻子区域对应的关键点信息确定第五组变形区域，按照第二特定方向拉伸或压缩所述第五组变形区域，以拉长或缩短所述鼻子区域。
上述方案中，所述第一目标区域为鼻子区域；所述对所述变形区域进行图像变形处理，包括：
基于所述鼻子区域的鼻翼区域对应的关键点信息确定第六组变形区域，按照第三特定方向压缩或拉伸所述第六组变形区域，以使所述鼻翼区域变窄或变宽。
上述方案中，所述第一目标区域为下巴区域或人中区域；所述对所述变形区域进行图像变形处理，包括：
基于所述下巴区域或人中区域对应的关键点信息确定第七组变形区域，按照第四特定方向压缩或拉伸所述第七组变形区域，以缩短或拉长所述下巴区域或人中区域。
上述方案中，所述第一目标区域为嘴部区域；所述对所述变形区域进行图像变形处理，包括：
基于所述嘴部区域对应的关键点信息确定第八组变形区域，按照嘴部区域的边缘朝向中心的方向对所述第八组变形区域进行压缩处理，或者按照所述嘴部区域的中心朝向边缘的方向对所述第八组变形区域进行拉伸处理。
上述方案中，所述对所述变形区域进行图像变形处理，包括：
基于所述面部区域的边缘的关键点信息确定第九组变形区域，按照所述脸部区域的边缘朝向所述脸部区域的中线的方向对所述第九组变形区域进行压缩处理，或者按照所述脸部区域的中线朝向所述脸部区域的边缘的方向对所述第九组变形区域进行拉伸处理。
上述方案中，所述第一目标区域为额头区域；所述对所述变形区域进行图像变形处理，包括：
基于所述额头区域对应的关键点信息确定第十组变形区域，将所述第十组变形区域朝向第四特定方向进行拉伸或压缩处理，以提升或降低所述脸部区域的发际线；所述第四特定方向为朝向与对应的关键点距离最近的眉心的方向，或者为远离与对应的关键点距离最近的眉心的方向。
上述方案中，所述额头区域对应的关键点信息的确定方式包括：
通过面部关键点检测算法检测获得所述面部区域中眼部以下的轮廓点信息；
确定所述额头区域的至少三个关键点信息；
基于所述至少三个关键点信息和所述面部区域中眼部以下的轮廓点信息确定所述额头区域对应的关键点信息。
上述方案中，所述至少三个关键点信息中的第一关键点信息位于所述额头区域的中线上；所述至少三个关键点信息中的第二关键点信息和第三关键点信息位于所述中线的两侧；
所述基于所述至少三个关键点信息和所述面部区域中眼部以下的轮廓点信息确定所述额头区域对应的关键点信息，包括：
基于所述面部区域中眼部以下的轮廓点信息中位于两端的关键点信息以及所述至少三个关键点信息进行曲线拟合，获得曲线拟合关键点信息；
基于曲线插值算法对所述曲线拟合关键点信息进行插值处理，获得与所述额头区域对应的关键点信息。
上述方案中，所述确定所述面部区域相关的关键点信息，包括：
通过面部关键点检测算法检测获得所述面部区域中的器官的关键点信息以及所述面部区域中眼部以下的第一组轮廓点信息；
确定所述额头区域对应的第二组轮廓点信息，基于所述第一组轮廓点信息和所述第二组轮廓点信息确定所述面部区域的边缘的关键点信息；
基于所述面部区域的边缘的关键点信息与所述面部区域的中点之间的相对位置关系确定每个边缘的关键点对应的方向向量，基于所述方向向量将对应的边缘的关键点按照由所述面部区域的中点向外的方向延伸获得外缘关键点。
上述方案中，所述方法还包括：
确定所述面部区域的偏转参数，基于所述偏转参数确定所述至少部分变形区域中每个变形区域对应的变形参数和变形方向，以使每个变形区域按照对应的变形参数和变形方向进行图像变形处理。
上述方案中，所述确定所述面部区域的偏转参数，包括：
确定所述面部区域中任一区域的左侧边缘关键点、右侧边缘关键点和中心关键点；所述区域包括以下区域的至少之一：脸部区域、鼻子区域、嘴部区域；
确定所述左侧关键点与所述中心关键点之间的第一距离，以及确定所述右侧边缘关键点与所述中心关键点之间的第二距离；
基于所述第一距离和所述第二距离确定所述面部区域的偏转参数。
上述方案中，所述方法还包括：
识别所述第二区域中的第二目标区域，对所述第二目标区域进行特征处理，生成第三图像；
所述第二目标区域包括以下至少之一：眼周区域、法令纹区域、牙齿区域、眼部区域、苹果肌区域。
本发明实施例还提供了一种图像处理装置，所述装置包括：第一确定单元和变形处理单元；其中，
所述第一确定单元，用于获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；还用于基于所述关键点信息确定多个变形区域；
所述变形处理单元，用于基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
上述方案中，所述器官的关键点信息包括器官的中心关键点信息和/或器官的轮廓关键点信息。
上述方案中，所述第一确定单元，用于基于所述关键点信息中的任意相邻的三个关键点确定多个变形区域。
上述方案中，所述第一确定单元，用于确定所述面部区域中的待处理的第一目标区域；基于所述第一目标区域对应的关键点信息确定对应的变形区域；
所述变形处理单元，用于对所述变形区域进行图像变形处理。
上述方案中，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述第一确定单元，用于基于所述左眼区域对应的关键点信息确定第一组变形区域，基于所述右眼区域对应的关键点信息确定第二组变形区域；
所述变形处理单元，用于对所述第一组变形区域和所述第二组变形区域进行图像变形处理，所述第一组变形区域和所述第二组变形区域的图像变形方向相反，以使所述左眼区域和右眼区域之间的距离增大或缩小。
上述方案中，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述第一确定单元，用于基于所述左眼区域和/或右眼区域的眼角对应的关键点信息确定第三组变形区域；
所述变形处理单元，用于按照第一特定方向拉伸或压缩所述第三组变形区域，以调整所述左眼区域和/或所述右眼区域的眼角的位置。
上述方案中，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述第一确定单元，用于基于所述左眼区域和/或右眼区域对应的关键点信息确定第四组变形区域；
所述变形处理单元，用于对所述第四组变形区域进行变形处理，以使所述左眼区域和/或右眼区域的轮廓关键点相对于中心关键点旋转，且旋转的角度满足设定角度。
上述方案中，所述第一目标区域为鼻子区域；
所述第一确定单元，用于基于所述鼻子区域对应的关键点信息确定第五组变形区域；
所述变形处理单元，用于按照第二特定方向拉伸或压缩所述第五组变形区域，以拉长或缩短所述鼻子区域。
上述方案中，所述第一目标区域为鼻子区域；
所述第一确定单元，用于基于所述鼻子区域的鼻翼区域对应的关键点信息确定第六组变形区域；
所述变形处理单元，用于按照第三特定方向压缩或拉伸所述第六组变形区域，以使所述鼻翼区域变窄或变宽。
上述方案中，所述第一目标区域为下巴区域或人中区域；
所述第一确定单元，用于基于所述下巴区域或人中区域对应的关键点信息确定第七组变形区域；
所述变形处理单元，用于按照第四特定方向压缩或拉伸所述第七组变形区域，以缩短或拉长所述下巴区域或人中区域。
上述方案中，所述第一目标区域为嘴部区域；
所述第一确定单元，用于基于所述嘴部区域对应的关键点信息确定第八组变形区域；
所述变形处理单元，用于按照嘴部区域的边缘朝向中心的方向对所述第八组变形区域进行压缩处理，或者按照所述嘴部区域的中心朝向边缘的方向对所述第八组变形区域进行拉伸处理。
上述方案中，所述第一确定单元，用于基于所述面部区域的边缘的关键点信息确定第九组变形区域；
所述变形处理单元，用于按照所述脸部区域的边缘朝向所述脸部区域的中线的方向对所述第九组变形区域进行压缩处理，或者按照所述脸部区域的中线朝向所述脸部区域的边缘的方向对所述第九组变形区域进行拉伸处理。
上述方案中，所述第一目标区域为额头区域；
所述第一确定单元，用于基于所述额头区域对应的关键点信息确定第十组变形区域；
所述变形处理单元，用于将所述第十组变形区域朝向第四特定方向进行拉伸或压缩处理，以提升或降低所述脸部区域的发际线；所述第四特定方向为朝向与对应的关键点距离最近的眉心的方向，或者为远离与对应的关键点距离最近的眉心的方向。
上述方案中，所述第一确定单元，用于通过面部关键点检测算法检测获得所述面部区域中眼部以下的轮廓点信息；确定所述额头区域的至少三个关键点信息；基于所述至少三个关键点信息和所述面部区域中眼部以下的轮廓点信息确定所述额头区域对应的关键点信息。
上述方案中，所述至少三个关键点信息中的第一关键点信息位于所述额头区域的中线上；所述至少三个关键点信息中的第二关键点信息和第三关键点信息位于所述中线的两侧；
所述第一确定单元，用于基于所述面部区域中眼部以下的轮廓点信息中位于两端的关键点信息以及所述至少三个关键点信息进行曲线拟合，获得曲线拟合关键点信息；基于曲线插值算法对所述曲线拟合关键点信息进行插值处理，获得与所述额头区域对应的关键点信息。
上述方案中，所述第一确定单元，用于通过面部关键点检测算法检测获得所述面部区域中的器官的关键点信息以及所述面部区域中眼部以下的第一组轮廓点信息；确定所述额头区域对应的第二组轮廓点信息，基于所述第一组轮廓点信息和所述第二组轮廓点信息确定所述面部区域的边缘的关键点信息；基于所述面部区域的边缘的关键点信息与所述面部区域的中点之间的相对位置关系确定每个边缘的关键点对应的方向向量，基于所述方向向量将对应的边缘的关键点按照由所述面部区域的中点向外的方向延伸获得外缘关键点。
上述方案中，所述装置还包括第二确定单元，用于确定所述面部区域的偏转参数，基于所述偏转参数确定所述至少部分变形区域中每个变形区域对应的变形参数和变形方向，以使每个变形区域按照对应的变形参数和变形方向进行图像变形处理。
上述方案中，所述第二确定单元，用于确定所述面部区域中任一区域的左侧边缘关键点、右侧边缘关键点和中心关键点；所述区域包括以下区域的至少之一：脸部区域、鼻子区域、嘴部区域；确定所述左侧关键点与所述中心关键点之间的第一距离，以及确定所述右侧边缘关键点与所述中心关键点之间的第二距离；基于所述第一距离和所述第二距离确定所述面部区域的偏转参数。
上述方案中，所述装置还包括图像处理单元，用于识别所述第二区域中的第二目标区域，对所述第二目标区域进行特征处理，生成第三图像；所述第二目标区域包括以下至少之一：眼周区域、法令纹区域、牙齿区域、眼部区域、苹果肌区域。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。
本发明实施例还提供了一种图像处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。
本发明实施例提供的图像处理方法及装置，所述方法包括：获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；基于所述关键点信息确定多个变形区域，基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。采用本发明实施例的技术方案，一方面，通过对面部区域的外缘的关键点的确定，从而确定出面部区域外缘的变形区域，以便于对面部区域进行变形处理的过程中，适应性的对面部区域的外缘进行变形处理，避免了由于面部区域的变形处理导致的图像中出现空洞或者出现像素重叠的现象发生，提升了图像处理效果。另一方面，通过形成面部区域轮廓的闭合的关键点信息，实现了针对面部区域的额头区域的变形处理。
附图说明
图1为本发明实施例的图像处理方法的一种流程示意图；
图2为本发明实施例的图像处理方法中的变形区域的示意图；
图3为本发明实施例的图像处理方法中的脸部关键点一种分布示意图；
图4为本发明实施例的图像处理方法的另一种流程示意图；
图5为本发明实施例的图像处理方法的又一种流程示意图；
图6为本发明实施例的图像处理的一种应用示意图；
图7为本发明实施例的图像处理装置的一种组成结构示意图；
图8为本发明实施例的图像处理装置的另一种组成结构示意图；
图9为本发明实施例的图像处理装置的又一种组成结构示意图；
图10为本发明实施例的图像处理装置的硬件组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的一种流程示意图；如图1所示，所述方法包括：
步骤101：获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；
步骤102：基于所述关键点信息确定多个变形区域，基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
本实施例中，所述第一图像中包含目标对象的脸部；该目标对象可以是真实人物，也可以是虚拟人物，可以理解，第一图像中包括人脸。本发明实施例主要是针对人脸进行图像处理。当然，本发明实施例也可以针对其他目标对象的脸部进行图像处理。实际应用中，可通过预设的人脸识别算法对所述第一图像进行脸部识别，识别除所述第一图像中的面部区域。
本实施例中，所述面部区域相关的关键点信息包括关键点的位置信息，例如关键点的坐标信息。其中，所述面部区域相关的关键点包括：所述面部区域包含的器官的关键点、所述面部区域的边缘的关键点、外缘关键点；所述外缘关键点信息基于所述面部区域的边缘的关键点确定，所述外缘关键点对应的区域包含所述面部区域且大于所述面部区域。
在本发明的一种可选实施例中，所述确定所述面部区域相关的关键点信息，包括：通过面部关键点检测算法检测获得所述面部区域中的器官的关键点信息以及所述面部区域中眼部以下的第一组轮廓点信息；确定所述额头区域对应的第二组轮廓点信息，基于所述第一组轮廓点信息和所述第二组轮廓点信息确定所述面部区域的边缘的关键点信息；基于所述面部区域的边缘的关键点信息与所述面部区域的中点之间的相对位置关系确定每个边缘的关键点对应的方向向量，基于所述方向向量将对应的边缘的关键点按照由所述面部区域的中点向外的方向延伸获得外缘关键点。
其中，所述确定所述额头区域对应的第二组轮廓点信息，包括：确定所述额头区域的至少三个关键点信息；基于所述至少三个关键点信息和所述第一组轮廓点信息确定所述额头区域对应的关键点信息。
可选地，所述至少三个关键点信息中的第一关键点信息位于所述额头区域的中线上；所述至少三个关键点信息中的第二关键点信息和第三关键点信息位于所述中线的两侧；所述基于所述至少三个关键点信息和所述第一组轮廓点信息确定所述额头区域对应的关键点信息，包括：基于所述面部区域中眼部以下的轮廓点信息中位于两端的关键点信息以及所述至少三个关键点信息进行曲线拟合，获得曲线拟合关键点信息；基于曲线插值算法对所述曲线拟合关键点信息进行插值处理，获得与所述额头区域对应的关键点信息。
图2为本发明实施例的图像处理方法中的变形区域的示意图；如图2所示，
第一方面，面部区域包含的器官的关键点具体为面部区域包括的以下至少一个器官的关键点：眉毛、眼睛、鼻子、嘴。作为一种实施方式，所述器官的关键点信息包括器官的中心关键点信息和/或器官的轮廓关键点信息。以器官为眼睛为例，则眼睛的关键点信息包括眼睛的中心关键点信息和眼睛的轮廓关键点信息；又以器官为眉毛为例，则眉毛的关键点信息可包括眉毛的轮廓关键点信息。则本实施例中，首先通过面部关键点检测算法检测获得面部区域中各器官的关键点信息。
第二方面，通过面部关键点检测算法获得面部区域中眼部以下的第一组轮廓点信息，如图3中的关键点0至关键点32。在一实施例中；可通过面部关键点检测算法获得面部区域中眼部以下的数量较少的M1个关键点，例如5个关键点等；再针对该M1个关键点通过曲线插值的方式获得M2个关键点，将所述M1个关键点和M2个关键点作为所述第一组轮廓点信息。
其中，所述面部关键点检测算法可采用任一人脸识别算法。
第三方面，针对额头区域的关键点信息进行获取。作为一种示例，可基于预设参数确定所述面部区域的额头区域中的至少三个关键点信息，以确定三个关键点信息为例，则第一关键点信息对应于位于额头区域的中线上的关键点，记为第一关键点；而第二关键点信息和第三关键点信息分别对应的第二关键点和第三关键点分别位于第一关键点的两侧；基于第一组轮廓点信息中位于两端的第四关键点信息和第五关键点信息(例如图3中的关键点0和关键点32)、以及第一关键点、第二关键点和第三关键点进行曲线拟合，获得曲线拟合关键点信息；基于曲线插值算法对所述曲线拟合关键点信息进行插值处理，获得与所述额头区域匹配的第二组轮廓点信息。将第一组轮廓点信息和第二组轮廓点信息组合成为面部区域的边缘的关键点信息，结合图2所示，所述面部区域的边缘的关键点信息对应的关键点位于面部区域的边缘的所有位置，可以理解为是闭合的，而并非是像图3所示的缺失额头区域对应的关键点。
第四方面，本实施例中获得的面部区域相关的关键点除了位于面部区域的关键点之外，还包括外缘关键点；外缘关键点均位于脸部区域的外部，可以理解，外缘关键点对应的区域包含所述面部区域且大于所述面部区域。作为一种示例，外缘关键点的数量可以与面部区域的边缘关键点的数量一致，即可基于所述面部区域的边缘的关键点信息确定所述外缘关键点信息。作为一种实施方式，基于每个轮廓关键点与脸部中心点之间的相对关系确定对应于每个轮廓关键点的方向向量，基于该方向向量向外延申获得外缘关键点。作为另一种实施方式，可以面部区域的中点作为原点建立平面坐标系，将每个面部区域的边缘关键点的坐标按照预设倍数放大后，可获得对应的外缘关键点信息。
现有技术中，一方面，人脸关键点的识别仅能够识别出面部中的器官的较为稀疏的关键点，则在此基础上，通过插值方式增加关键点，例如在眉心区域增加几个关键点。另一方面，现有的人脸关键点识别仅能够识别出人脸的眼部以下的部分关键点，可参照图3所示，则本实施例的人脸关键点识别在额头区域增加了多个关键点，增加的关键点对应于额头或发际线的位置，以便于可基于额头的关键点对额头区域或发际线进行调整。
作为一种示例，如图2所示，获得的所述关键点信息对应的关键点可以为106个。
在本发明的一种可选实施例中，所述基于所述关键点信息确定多个变形区域，包括：基于所述关键点信息中的任意相邻的三个关键点确定多个变形区域。具体可参照图2所示。本实施例中基于确定的三角形的变形区域对目标区域进行图像变形处理。
由于本实施例中的面部区域相关的关键点信息包括外缘关键点信息，基于外缘关键点和面部区域对应的轮廓关键点可确定对应于外缘区域的三角变形区域，也即本实施例中的变形区域包括如图2所示的脸部区域以外的一圈变形区域。因此，在基于脸部区域内的变形区域进行变形处理时，相应的对脸部区域以外的变形区域进行变形处理，以避免由于脸部区域的压缩导致图像中出现空洞，或者由于脸部区域的拉伸导致图像中出现像素重叠的现象发生。
采用本发明实施例的技术方案，通过对面部区域的外缘的关键点的确定，从而确定出面部区域外缘的变形区域，以便于对面部区域进行变形处理的过程中，适应性的对面部区域的外缘进行变形处理，避免了由于面部区域的变形处理导致的图像中出现空洞或者出现像素重叠的现象发生，提升了图像处理效果。
可选地，所述基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，包括：确定所述面部区域中的待处理的第一目标区域；基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理。
本实施例中，确定面部区域中待进行变形处理的目标区域，所述目标区域包括以下至少之一：眼部区域、鼻子区域、嘴部区域、下巴区域、人中区域、额头区域，脸部区域等等；则针对不同的目标区域确定对应的变形区域，基于变形区域的变形处理从而实现对目标区域的变形处理，生成第二图像。其中，所述针对不同的目标区域确定对应的变形区域，包括：确定目标区域对应的关键点信息，确定包含所述关键点信息的所有变形区域。例如目标区域为眉毛区域，则确定眉毛区域对应的关键点，包含该关键点的所有变形区域均为待进行变形处理的变形区域。
作为第一种实施方式，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；所述基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理，包括：基于所述左眼区域对应的关键点信息确定第一组变形区域，基于所述右眼区域对应的关键点信息确定第二组变形区域，对所述第一组变形区域和所述第二组变形区域进行图像变形处理，所述第一组变形区域和所述第二组变形区域的图像变形方向相反，以使所述左眼区域和右眼区域之间的距离增大或缩小。
本实施例中，所述第一组变形区域和第二组变形区域为包含眼部关键点的所有变形区域。本实施例用于对眼部区域在面部区域的位置进行调整；若面部区域中包括两个眼部区域，即包括左眼区域和右眼区域，则可以理解为调节左眼和右眼之间的距离；若面部区域中仅包括一个眼部区域，例如侧脸场景，则可以理解为调节眼部区域在面部区域的位置。实际应用中，可将第一组变形区域和第二组变形区域朝向相反的方向移动，例如朝向左眼和右眼的中心点的方向移动，则相应使左眼区域和右眼区域之间的距离缩小，或者朝向左眼和右眼的中心点的方向的相反方向移动，则相应使左眼区域和右眼区域之间的距离增大。
作为第二种实施方式，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；所述基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理，包括：基于所述左眼区域和/或右眼区域的眼角对应的关键点信息确定第三组变形区域，按照第一特定方向拉伸或压缩所述第三组变形区域，以调整所述左眼区域和/或所述右眼区域的眼角的位置。
本实施例中，所述第三组变形区域为包含眼部区域的眼角对应的关键点的所有变形区域，所述眼角可以是眼部区域的内眼角和/或外眼角，所谓内眼角指的是靠近左眼和右眼的中心点的眼角，所谓外眼角指的是原理左眼和右眼的中心点的眼角。本实施例用于对眼角在面部区域的位置进行调整，或者可以理解为对眼部区域的部分区域的大小进行调整。实际应用中，可确定待调整的内眼角或外眼角的关键点，确定包含该关键点的变形区域，将所述变形区域按照朝向左眼和右眼的中心点的方向移动，或者按照朝向左眼和右眼的中心点的方向的相反方向移动。
作为第三种实施方式，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；所述基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理，包括：基于所述左眼区域和/或右眼区域对应的关键点信息确定第四组变形区域，对所述第四组变形区域进行变形处理，以使所述左眼区域和/或右眼区域的轮廓关键点相对于中心关键点旋转，且旋转的角度满足设定角度。
本实施例中，所述第四组变形区域为包含眼部关键点的所有变形区域。本实施例用于对眼部区域的角度进行调整，可以理解为调节眼部与面部的其他器官之间的相对角度，例如眼部与鼻子之间的相对角度，实际应用中，以眼部的中心点为旋转中心，顺时针或逆时针旋转特定角度实现。作为一种示例，可通过预设的旋转矩阵对眼部区域对应的变形区域进行变形处理，以使眼部区域的像素点按照以眼部区域的中心进行旋转。
作为第四种实施方式，所述第一目标区域为鼻子区域；所述对所述变形区域进行图像变形处理，包括：基于所述鼻子区域对应的关键点信息确定第五组变形区域，按照第二特定方向拉伸或压缩所述第五组变形区域，以拉长或缩短所述鼻子区域。
本实施例中，所述第五组变形区域为包含鼻子关键点的所有变形区域，本实施例用于对鼻子区域的长度或高度进行调整，可以理解为调节鼻子区域的长度或者调节鼻子的高度。实际应用中，可将所述第五组变形区域朝向第二特定方向拉伸或压缩，以拉长或缩短鼻子区域。其中，作为一种实施方式，所述第二特定方向为沿所述面部区域的长度方向，例如，连接面部区域中的两个眉毛的中心点、鼻子中心点和嘴唇中心点形成的制线可以作为面部区域的长度方向，则沿该直线朝向嘴唇的方向拉伸所述第五组变形区域，则拉长所述鼻子区域；沿该制线朝向两个眉毛的中心点的方向压缩所述第五组变形区域，则缩短所述鼻子区域。
作为另一种实施方式，所述第二特定方向还可以是垂直与面部区域且远离面部区域的方向，则按照第二特定方向对鼻子区域的高度进行调整。实际应用中，本实施方式适用于面部区域并非表示正脸的场景，即在面部区域表示侧脸的场景下，通过确定面部区域的偏转参数，基于该偏转参数确定所述第二特定方向，再按照第二特定方向对所述第五组变形区域进行变形处理。
作为第五种实施方式，所述第一目标区域为鼻子区域；所述对所述变形区域进行图像变形处理，包括：基于所述鼻子区域的鼻翼区域对应的关键点信息确定第六组变形区域，按照第三特定方向压缩或拉伸所述第六组变形区域，以使所述鼻翼区域变窄或变宽。
本实施例中，所述第六组变形区域为包含鼻翼区域对应的关键点的所有变形区域，所述鼻翼区域指的是鼻尖两侧包含的区域，本实施例用于对鼻翼区域的宽窄进行调整，可以理解为调节鼻翼的宽窄。实际应用中，可确定鼻翼区域对应的关键点，确定包含该关键点的变形区域，将所述变形区域按照第三特定方向压缩或拉伸，以使所述鼻翼区域变窄或变宽；其中，所述第三特定方向为鼻尖朝向鼻翼的方向，或者鼻翼朝向鼻尖的方向。
作为第六种实施方式，所述第一目标区域为下巴区域或人中区域；所述对所述变形区域进行图像变形处理，包括：基于所述下巴区域或人中区域对应的关键点信息确定第七组变形区域，按照第四特定方向压缩或拉伸所述第七组变形区域，以缩短或拉长所述下巴区域或人中区域。
本实施例中，所述第七组变形区域为包含下巴关键点或人中关键点的所有变形区域，本实施例用于对下巴区域或人中区域的长度进行调整，可以理解为调节下巴区域或人中区域的长度。其中，所述下巴区域指的是下颌区域；所述人中区域指的是鼻子与嘴巴之间的区域。实际应用中，可将所述第七组变形区域朝向第四特定方向压缩或拉伸，以缩短或拉长所述下巴区域或人中区域。其中，所述第四特定方向为沿所述面部区域的长度方向，例如，连接面部区域中的两个眉毛的中心点、鼻子中心点和嘴唇中心点形成的制线可以作为面部区域的长度方向。
作为一种示例，以下巴区域的变形为例，基于下巴区域的关键点与下巴区域的中心点之间的相对位置关系确定下巴区域的每个关键点对应的系数，基于每个关键点对应的系数确定对应的移动距离，基于该移动距离确定对应的变形区域的变形参数。
作为第七种实施方式，所述第一目标区域为嘴部区域；所述对所述变形区域进行图像变形处理，包括：基于所述嘴部区域对应的关键点信息确定第八组变形区域，按照嘴部区域的边缘朝向中心的方向对所述第八组变形区域进行压缩处理，或者按照所述嘴部区域的中心朝向边缘的方向对所述第八组变形区域进行拉伸处理。
本实施例中，所述第八组变形区域为包含嘴部关键点的所有变形区域，本实施例用于对嘴部区域的大小进行调整，可以理解为嘴部增大处理或者嘴部缩小处理。实际应用中，可确定嘴部区域对应的关键点，确定包含该关键点的所有变形区域，将所述变形区域按照嘴部区域的边缘朝向中心的方向对所述第八组变形区域进行压缩处理，或者按照所述嘴部区域的中心朝向边缘的方向对所述第八组变形区域进行拉伸处理。
作为一种示例，确定嘴部区域的中心点，确定所有表征嘴部区域的轮廓的关键点相对于所述中心点的方向，基于该方向确定变形方向；进一步基于表征嘴部区域的轮廓的关键点与所述中心点的之间的距离以及预设的参数确定每个关键点的移动距离，从而确定变形方向和变形距离。
作为第八种实施方式，所述对所述变形区域进行图像变形处理，包括：基于所述面部区域的边缘的关键点信息确定第九组变形区域，按照所述脸部区域的边缘朝向所述脸部区域的中线的方向对所述第九组变形区域进行压缩处理，或者按照所述脸部区域的中线朝向所述脸部区域的边缘的方向对所述第九组变形区域进行拉伸处理。
本实施例中，所述第九组变形区域为包含面部区域的边缘对应的关键点的所有变形区域，所述面部区域的边缘对应的关键点可参照图3所示的关键点0至关键点32中的至少部分关键点，本实施例用于对脸部区域的宽度进行调整，可以理解为“瘦脸”或“胖脸”处理。实际应用中，可将第九组变形区域按照所述脸部区域的边缘朝向所述脸部区域的中线的方向对所述第九组变形区域进行压缩处理，或者按照所述脸部区域的中线朝向所述脸部区域的边缘的方向对所述第九组变形区域进行拉伸处理。其中，针对不同位置的关键点对应的变形区域的变形比例不同，所述变形比例不同可以是面部区域的边缘的两端和中心位置的关键点(该中心位置对应的关键点可以是下巴的关键点)对应的变形区域的变形比例最小，而远离所述面部区域的边缘的两端和中心位置的其他位置的关键点的变形比例增加；例如，如图3所示的关键点0、关键点16、关键点32附近的关键点对应的变形区域的变形比例最小，关键点8和关键点24古今的关键点对应的变形区域的变形比例最大，从而使变形效果更为自然。
作为第九种实施方式，所述第一目标区域为额头区域；所述对所述变形区域进行图像变形处理，包括：基于所述额头区域对应的关键点信息确定第十组变形区域，将所述第十组变形区域朝向第四特定方向进行拉伸或压缩处理，以提升或降低所述脸部区域的发际线；所述第四特定方向为朝向与对应的关键点距离最近的眉心的方向，或者为远离与对应的关键点距离最近的眉心的方向。
本实施例中，所述第十组变形区域为包含额头区域的关键点的所有变形区域，所述额头区域对应的关键点的确定方式可参照前述所述，这里不再赘述。本实施例用于对额头区域的宽度进行调整，可以理解为对发际线的高度进行调整。实际应用中，可确定额头区域对应的所有关键点，确定包含该关键点的所有变形区域，例如图2中所示的额头区域对应的三角变形区域以及额头区域以外的对应于外援区域的三角变形区域；将该变形区域按照第四特定方向进行拉伸或压缩处理，以提升或降低所述脸部区域的发际线；例如图2所示，将第十组变形区域朝向向下的方向进行变形处理，以降低发际线，或者朝向近似的方向进行变形处理，以提升发际线。其中，“向下的方向”以及“向上的方向”均为近似方向，实际应用中需要依据每个变形区域中各关键点与最近的眉心之间的方向进行变形处理。
作为一种示例，可确定发际线对应的关键点，确定每个关键点与最近的眉心之间的相对方向，将该方向作为对应的关键点所在的变形区域的变形方向；进一步基于每个关键点与最近的眉心之间的距离以及预设的参数确定变形过程中的变形参数，即确定移动距离。
由此可见，本实施例的图像处理方法能够实现：1、发际线的调节，即能够调节发际线的位置，实现发际线的调高或调低；2、鼻子的长短调节，即能够实现鼻子长短的调节，实现鼻子变长或缩短；3、鼻翼的调节，即能够实现鼻翼宽窄的调节；4、人中的调节，即能够实现人中区域的长度的调整，实现人中区域的拉长或缩短；5、嘴型的调节，即能够实现嘴巴的大小的调整；6、下巴调节，即能够实现下巴区域的长度的调整，实现下巴区域的拉长或缩短；7、脸型的调节，即能够实现脸部轮廓的调节，使脸部轮廓变窄或变宽，例如“瘦脸”；8、眼距的调整，即能够调节左眼和右眼之间的距离；9、眼睛角度的调整，即能够调节眼睛的相对角度；10、眼角的调整，即能够调节眼角的位置，实现“开眼角”，增大眼睛；11、侧脸场景下的鼻子的高度的调整，即能够实现侧脸的“隆鼻”。
本发明实施例还提供了一种图像处理方法。图4为本发明实施例的图像处理方法的另一种流程示意图；如图4所示，所述方法包括：
步骤201：获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的闭合的关键点信息；
步骤202：基于所述关键点信息确定多个变形区域；
步骤203：确定所述面部区域的偏转参数，基于所述偏转参数确定所述至少部分变形区域中每个变形区域对应的变形参数和变形方向；
步骤204：基于所述多个变形区域中的至少部分变形区域以及每个变形区域对应的变形参数和变形方向对所述面部区域进行图像变形处理，生成第二图像。
本实施例中的步骤201至步骤202的描述具体可参照前述实施例中的步骤101至步骤102的描述，为减少篇幅，这里不再赘述。
可以理解，前述实施例主要针对面部区域未偏转的情况，而针对面部区域偏转的情况，即侧脸的场景，需要先确定面部区域的偏转参数，再根据偏转参数确定待进行变形处理的每个变形区域对应的变形参数和变形方向，按照确定的变形参数和变形方向对变形区域进行变形处理。
在本发明的一种可选实施例中，所述确定所述面部区域的偏转参数，包括：确定所述面部区域中任一区域的左侧边缘关键点、右侧边缘关键点和中心关键点；所述区域包括以下区域的至少之一：脸部区域、鼻子区域、嘴部区域；确定所述左侧关键点与所述中心关键点之间的第一距离，以及确定所述右侧边缘关键点与所述中心关键点之间的第二距离；基于所述第一距离和所述第二距离确定所述面部区域的偏转参数。
作为一种示例，以鼻子区域为例，则分别确定鼻子的中心点(例如鼻尖)、鼻翼最左侧的关键点和鼻翼最右侧的关键点，计算鼻翼最左侧的关键点与鼻子的中心点之间的第一距离，以及鼻翼最右侧的关键点与鼻子的中心点之间的第二距离，基于所述第一距离和第二距离确定面部区域的偏转参数。进一步基于该偏转参数对前述实施例中的第一目标区域的变形方向进行调整。
以第一目标区域为鼻翼区域的变形处理为例，则由于脸部区域的偏转，是的鼻翼左侧区域和鼻翼右侧区域的变形参数不同，若所述第一距离大于所述第二距离，则鼻翼左侧区域的变形参数要大于鼻翼右侧区域的变形参数；作为一种示例，鼻翼最左侧的关键点的移动比例可以为所述第一距离除以鼻翼最左侧的关键点与鼻翼中心点之间的距离，且限制在0至1之间；同理，鼻翼最右侧的关键点的移动比例可以为所述第二距离除以鼻翼最右侧的关键点与鼻翼中心点之间的距离，且限制在0至1之间，这样，鼻翼两侧的关键点的移动距离会伴随着面部区域的偏转情况而变化。
采用本发明实施例的技术方案，一方面，通过对面部区域的外缘的关键点的确定，从而确定出面部区域外缘的变形区域，以便于对面部区域进行变形处理的过程中，适应性的对面部区域的外缘进行变形处理，避免了由于面部区域的变形处理导致的图像中出现空洞或者出现像素重叠的现象发生，提升了图像处理效果。另一方面，通过形成面部区域轮廓的闭合的关键点信息，实现了针对面部区域的额头区域的变形处理。又一方面，通过对脸部区域的偏转情况的检测，实现了侧脸场景下的鼻子高度的调整。
本发明实施例还提供了一种图像处理方法。图5为本发明实施例的图像处理方法的又一种流程示意图；如图5所示，所述方法包括：
步骤301：获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的闭合的关键点信息；
步骤302：基于所述关键点信息确定多个变形区域，基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
步骤303：识别所述第二区域中的第二目标区域，对所述第二目标区域进行特征处理，生成第三图像；所述第二目标区域包括以下至少之一：眼周区域、法令纹区域、牙齿区域、眼部区域、苹果肌区域。
本实施例中的步骤301至步骤302的描述具体可参照前述实施例中的步骤101至步骤102的描述，为减少篇幅，这里不再赘述。
本实施例中，除了基于变形区域对面部区域进行图像变形处理之外，本实施例还可基于图像进行特征处理，作为一种实施方式，图像的特征处理可以是对图像中的像素进行处理，处理的方式可包括以下至少之一：降噪处理、高斯模糊处理、高低频处理、掩模处理等等。其中，当所述第二目标区域为眼周区域时，对所述第二目标区域的处理具体可以是去除黑眼圈的处理；当所述第二目标区域为法令纹区域时，对所述第二目标区域的处理具体可以是去除法令纹的处理；当所述第二目标区域为牙齿区域时，对所述第二目标区域的处理具体可以是亮白牙齿的处理；当所述第二目标区域为眼部区域时，对所述第二目标区域的处理具体可以是亮眼的处理；当所述第二目标区域为苹果肌区域时，对所述第二目标区域的处理可以是增大或缩小苹果肌区域的处理和/或苹果肌区域的亮度处理等等。
针对高斯处理方式，则可针对第二目标区域进行高斯模糊处理，相当于对第二目标区域进行磨皮处理。
针对掩模处理方式，即将与第二目标区域相匹配的掩模覆盖在所述第二目标区域，如图6所示，图6显示的是一张人脸图像，但对该图像进行了处理后，除目标区域以外均显示黑色。作为一种示例，以第二目标区域为眼周区域为例，则首先确定眼部区域，基于确定的眼部区域确定眼周区域，一般来说，黑眼圈位于眼睛的下方，则具体可将眼部区域的下方区域确定为眼周区域；则基于所述第二目标区域的类型，如本示例中的第二目标区域为眼部区域，则基于该类型可确定待处理的区域是黑眼圈区域，实际应用中，可预先设置第二目标区域的类型对应的掩模，则将眼部区域对应的掩模覆盖在所述第二目标区域的下方，生成第三图像。而针对法令纹区域的处理方式与眼周区域的处理方式相似，这里不再赘述。
针对牙齿区域的处理，通过预设的颜色查找表确定待替换的表征颜色的目标参数，调整牙齿区域对应的参数为所述目标参数，从而使得牙齿变白。
针对眼部区域的处理，具体可以是提升眼部区域的亮度。
本发明实施例还提供了一种图像处理装置，图7为本发明实施例的图像处理装置的一种组成结构示意图；如图7所示，所述装置包括：第一确定单元41和变形处理单元42；其中，
所述第一确定单元41，用于获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；还用于基于所述关键点信息确定多个变形区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；
所述变形处理单元42，用于基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
在本发明的一种可选实施例中，所述器官的关键点信息包括器官的中心关键点信息和/或器官的轮廓关键点信息。
在本发明的一种可选实施例中，所述第一确定单元41，用于基于所述关键点信息中的任意相邻的三个关键点确定多个变形区域。
在本发明的一种可选实施例中，所述第一确定单元41，用于确定所述面部区域中的待处理的第一目标区域；基于所述第一目标区域对应的关键点信息确定对应的变形区域；
所述变形处理单元42，用于对所述变形区域进行图像变形处理。
作为第一种实施方式，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述第一确定单元41，用于基于所述左眼区域对应的关键点信息确定第一组变形区域，基于所述右眼区域对应的关键点信息确定第二组变形区域；
所述变形处理单元42，用于对所述第一组变形区域和所述第二组变形区域进行图像变形处理，所述第一组变形区域和所述第二组变形区域的图像变形方向相反，以使所述左眼区域和右眼区域之间的距离增大或缩小。
作为第二种实施方式，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述第一确定单元41，用于基于所述左眼区域和/或右眼区域的眼角对应的关键点信息确定第三组变形区域；
所述变形处理单元42，用于按照第一特定方向拉伸或压缩所述第三组变形区域，以调整所述左眼区域和/或所述右眼区域的眼角的位置。
作为第三种实施方式，所述第一目标区域为眼部区域；所述眼部区域包括左眼区域和/右眼区域；
所述第一确定单元41，用于基于所述左眼区域和/或右眼区域对应的关键点信息确定第四组变形区域；
所述变形处理单元42，用于对所述第四组变形区域进行变形处理，以使所述左眼区域和/或右眼区域的轮廓关键点相对于中心关键点旋转，且旋转的角度满足设定角度。
作为第四种实施方式，所述第一目标区域为鼻子区域；
所述第一确定单元41，用于基于所述鼻子区域对应的关键点信息确定第五组变形区域；
所述变形处理单元42，用于按照第二特定方向拉伸或压缩所述第五组变形区域，以拉长或缩短所述鼻子区域。
作为第五种实施方式，所述第一目标区域为鼻子区域；
所述第一确定单元41，用于基于所述鼻子区域的鼻翼区域对应的关键点信息确定第六组变形区域；
所述变形处理单元42，用于按照第三特定方向压缩或拉伸所述第六组变形区域，以使所述鼻翼区域变窄或变宽。
作为第六种实施方式，所述第一目标区域为下巴区域或人中区域；
所述第一确定单元41，用于基于所述下巴区域或人中区域对应的关键点信息确定第七组变形区域；
所述变形处理单元42，用于按照第四特定方向压缩或拉伸所述第七组变形区域，以缩短或拉长所述下巴区域或人中区域。
作为第七种实施方式，所述第一目标区域为嘴部区域；
所述第一确定单元41，用于基于所述嘴部区域对应的关键点信息确定第八组变形区域；
所述变形处理单元42，用于按照嘴部区域的边缘朝向中心的方向对所述第八组变形区域进行压缩处理，或者按照所述嘴部区域的中心朝向边缘的方向对所述第八组变形区域进行拉伸处理。
作为第八种实施方式，所述第一确定单元41，用于基于所述面部区域的边缘的关键点信息确定第九组变形区域；
所述变形处理单元42，用于按照所述脸部区域的边缘朝向所述脸部区域的中线的方向对所述第九组变形区域进行压缩处理，或者按照所述脸部区域的中线朝向所述脸部区域的边缘的方向对所述第九组变形区域进行拉伸处理。
作为第九种实施方式，所述第一目标区域为额头区域；
所述第一确定单元41，用于基于所述额头区域对应的关键点信息确定第十组变形区域；
所述变形处理单元42，用于将所述第十组变形区域朝向第四特定方向进行拉伸或压缩处理，以提升或降低所述脸部区域的发际线；所述第四特定方向为朝向与对应的关键点距离最近的眉心的方向，或者为远离与对应的关键点距离最近的眉心的方向。
可选地，所述第一确定单元41，用于通过面部关键点检测算法检测获得所述面部区域中眼部以下的轮廓点信息；确定所述额头区域的至少三个关键点信息；基于所述至少三个关键点信息和所述面部区域中眼部以下的轮廓点信息确定所述额头区域对应的关键点信息。
作为一种实施方式，所述至少三个关键点信息中的第一关键点信息位于所述额头区域的中线上；所述至少三个关键点信息中的第二关键点信息和第三关键点信息位于所述中线的两侧；
所述第一确定单元41，用于基于所述面部区域中眼部以下的轮廓点信息中位于两端的关键点信息以及所述至少三个关键点信息进行曲线拟合，获得曲线拟合关键点信息；基于曲线插值算法对所述曲线拟合关键点信息进行插值处理，获得与所述额头区域对应的关键点信息。
在本发明的一种可选实施例中，所述第一确定单元41，用于通过面部关键点检测算法检测获得所述面部区域中的器官的关键点信息以及所述面部区域中眼部以下的第一组轮廓点信息；确定所述额头区域对应的第二组轮廓点信息，基于所述第一组轮廓点信息和所述第二组轮廓点信息确定所述面部区域的边缘的关键点信息；基于所述面部区域的边缘的关键点信息与所述面部区域的中点之间的相对位置关系确定每个边缘的关键点对应的方向向量，基于所述方向向量将对应的边缘的关键点按照由所述面部区域的中点向外的方向延伸获得外缘关键点。
在本发明的一种可选实施例中，如图8所示，所述装置还包括第二确定单元43，用于确定所述面部区域的偏转参数，基于所述偏转参数确定所述至少部分变形区域中每个变形区域对应的变形参数和变形方向，以使每个变形区域按照对应的变形参数和变形方向进行图像变形处理。
作为一种实施方式，所述第二确定单元43，用于确定所述面部区域中任一区域的左侧边缘关键点、右侧边缘关键点和中心关键点；所述区域包括以下区域的至少之一：脸部区域、鼻子区域、嘴部区域；确定所述左侧关键点与所述中心关键点之间的第一距离，以及确定所述右侧边缘关键点与所述中心关键点之间的第二距离；基于所述第一距离和所述第二距离确定所述面部区域的偏转参数。
在本发明的一种可选实施例中，如图9所示，所述装置还包括图像处理单元44，用于识别所述第二区域中的第二目标区域，对所述第二目标区域进行特征处理，生成第三图像；所述第二目标区域包括以下至少之一：眼周区域、法令纹区域、牙齿区域、眼部区域、苹果肌区域。
本发明实施例中，所述装置中的第一确定单元41、变形处理单元42、第二确定单元43和图像处理单元44，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，MicrocontrollerUnit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种图像处理装置，图10为本发明实施例的图像处理装置的硬件组成结构示意图，如图10所述，所述图像处理装置包括存储器52、处理器51及存储在存储器52上并可在处理器51上运行的计算机程序，所述处理器51执行所述程序时实现本发明实施例所述方法的步骤。
可以理解，图像处理装置中的各个组件可通过总线系统53耦合在一起。可理解，总线系统53用于实现这些组件之间的连接通信。总线系统53除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统53。
可以理解，存储器52可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器52旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器51中，或者由处理器51实现。处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器51可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器52，处理器51读取存储器52中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，图像处理装置可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例所述方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；
基于所述关键点信息确定多个变形区域，基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
2.根据权利要求1所述的方法，其特征在于，所述器官的关键点信息包括器官的中心关键点信息和/或器官的轮廓关键点信息。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述关键点信息确定多个变形区域，包括：
基于所述关键点信息中的任意相邻的三个关键点确定多个变形区域。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，包括：
确定所述面部区域中的待处理的第一目标区域；
基于所述第一目标区域对应的关键点信息确定对应的变形区域，对所述变形区域进行图像变形处理。
5.根据权利要求4所述的方法，其特征在于，所述第一目标区域为额头区域；所述对所述变形区域进行图像变形处理，包括：
基于所述额头区域对应的关键点信息确定第十组变形区域，将所述第十组变形区域朝向第四特定方向进行拉伸或压缩处理，以提升或降低所述脸部区域的发际线；所述第四特定方向为朝向与对应的关键点距离最近的眉心的方向，或者为远离与对应的关键点距离最近的眉心的方向。
6.根据权利要求5所述的方法，其特征在于，所述额头区域对应的关键点信息的确定方式包括：
通过面部关键点检测算法检测获得所述面部区域中眼部以下的轮廓点信息；
确定所述额头区域的至少三个关键点信息；
基于所述至少三个关键点信息和所述面部区域中眼部以下的轮廓点信息确定所述额头区域对应的关键点信息。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
确定所述面部区域的偏转参数，基于所述偏转参数确定所述至少部分变形区域中每个变形区域对应的变形参数和变形方向，以使每个变形区域按照对应的变形参数和变形方向进行图像变形处理。
8.一种图像处理装置，其特征在于，所述装置包括：第一确定单元和变形处理单元；其中，
所述第一确定单元，用于获得第一图像，识别所述第一图像中的面部区域，确定所述面部区域相关的关键点信息，所述关键点信息包括以下至少之一：所述面部区域包含的器官的关键点信息、所述面部区域的边缘的关键点信息、外缘关键点信息；所述外缘关键点信息基于所述面部区域的边缘的关键点信息确定，所述外缘关键点信息对应的区域包含所述面部区域且大于所述面部区域；所述面部区域的边缘的关键点信息为对应于所述面部区域轮廓的关键点信息；还用于基于所述关键点信息确定多个变形区域；
所述变形处理单元，用于基于所述多个变形区域中的至少部分变形区域对所述面部区域进行图像变形处理，生成第二图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
10.一种图像处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
CN201910169503.4A 2019-03-06 2019-03-06 一种图像处理方法及装置 Active CN109934766B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910169503.4A CN109934766B (zh) 2019-03-06 2019-03-06 一种图像处理方法及装置
SG11202006345UA SG11202006345UA (en) 2019-03-06 2019-11-19 Image processing methods and apparatuses
JP2020536145A JP7160925B2 (ja) 2019-03-06 2019-11-19 画像処理方法及び装置
KR1020207013711A KR102442483B1 (ko) 2019-03-06 2019-11-19 이미지 처리 방법 및 장치
PCT/CN2019/119534 WO2020177394A1 (zh) 2019-03-06 2019-11-19 一种图像处理方法及装置
TW108145585A TW202034280A (zh) 2019-03-06 2019-12-12 一種圖像處理方法、裝置及電腦可讀儲存介質
US16/920,972 US11244449B2 (en) 2019-03-06 2020-07-06 Image processing methods and apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910169503.4A CN109934766B (zh) 2019-03-06 2019-03-06 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN109934766A true CN109934766A (zh) 2019-06-25
CN109934766B CN109934766B (zh) 2021-11-30

Family

ID=66986598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910169503.4A Active CN109934766B (zh) 2019-03-06 2019-03-06 一种图像处理方法及装置

Country Status (7)

Country Link
US (1) US11244449B2 (zh)
JP (1) JP7160925B2 (zh)
KR (1) KR102442483B1 (zh)
CN (1) CN109934766B (zh)
SG (1) SG11202006345UA (zh)
TW (1) TW202034280A (zh)
WO (1) WO2020177394A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
CN111031305A (zh) * 2019-11-21 2020-04-17 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN111145110A (zh) * 2019-12-13 2020-05-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111179156A (zh) * 2019-12-23 2020-05-19 北京中广上洋科技股份有限公司 一种基于人脸检测的视频美化方法
WO2020177394A1 (zh) * 2019-03-06 2020-09-10 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN111723803A (zh) * 2020-06-30 2020-09-29 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质
CN111753685A (zh) * 2020-06-12 2020-10-09 北京字节跳动网络技术有限公司 图像中人脸发际线调整方法、装置及电子设备
CN113034349A (zh) * 2021-03-24 2021-06-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113344878A (zh) * 2021-06-09 2021-09-03 北京容联易通信息技术有限公司 一种图像处理方法及系统
EP3971820A4 (en) * 2019-09-30 2022-08-10 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD, DEVICE AND ELECTRONIC DEVICE
US11450068B2 (en) 2019-11-21 2022-09-20 Beijing Sensetime Technology Development Co., Ltd. Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087239B (zh) * 2018-07-25 2023-03-21 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN111104846B (zh) * 2019-10-16 2022-08-30 平安科技（深圳）有限公司 数据检测方法、装置、计算机设备和存储介质
CN112669228B (zh) * 2020-12-22 2024-05-31 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
CN116109479B (zh) * 2023-04-17 2023-07-18 广州趣丸网络科技有限公司 虚拟形象的面部调整方法、装置、计算机设备和存储介质
CN117274432B (zh) * 2023-09-20 2024-05-14 书行科技(北京)有限公司 图像描边特效的生成方法、装置、设备和可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268591A (zh) * 2014-09-19 2015-01-07 海信集团有限公司 一种面部关键点检测方法及装置
JP2016167131A (ja) * 2015-03-09 2016-09-15 学校法人立命館 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2017177634A1 (zh) * 2016-04-15 2017-10-19 乐视控股（北京）有限公司 一种图像处理方法、装置及电子设备
CN107506732A (zh) * 2017-08-25 2017-12-22 奇酷互联网络科技（深圳）有限公司 贴图的方法、设备、移动终端以及计算机存储介质
CN107680033A (zh) * 2017-09-08 2018-02-09 北京小米移动软件有限公司 图片处理方法及装置
CN107705248A (zh) * 2017-10-31 2018-02-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN108229279A (zh) * 2017-04-14 2018-06-29 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108765274A (zh) * 2018-05-31 2018-11-06 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830783A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108876704A (zh) * 2017-07-10 2018-11-23 北京旷视科技有限公司 人脸图像变形的方法、装置及计算机存储介质
CN108985241A (zh) * 2018-07-23 2018-12-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109087239A (zh) * 2018-07-25 2018-12-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN109147012A (zh) * 2018-09-20 2019-01-04 麒麟合盛网络技术股份有限公司 图像处理方法和装置
CN109377446A (zh) * 2018-10-25 2019-02-22 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
JP2011053942A (ja) * 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
KR101558202B1 (ko) * 2011-05-23 2015-10-12 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
KR101165017B1 (ko) * 2011-10-31 2012-07-13 (주) 어펙트로닉스 ３차원 아바타 생성 시스템 및 방법
CN103337085A (zh) 2013-06-17 2013-10-02 大连理工大学 一种高效的人像面部变形方法
CN104992402B (zh) * 2015-07-02 2019-04-09 Oppo广东移动通信有限公司 一种美颜处理方法及装置
CN105205779B (zh) 2015-09-15 2018-10-19 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端
US9978119B2 (en) * 2015-10-22 2018-05-22 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
CN107103271A (zh) 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种人脸检测方法
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
US10210648B2 (en) * 2017-05-16 2019-02-19 Apple Inc. Emojicon puppeting
CN107341777B (zh) * 2017-06-26 2020-12-04 北京小米移动软件有限公司 图片处理方法及装置
CN107330868B (zh) * 2017-06-26 2020-11-13 北京小米移动软件有限公司 图片处理方法及装置
CN109087238B (zh) * 2018-07-04 2021-04-23 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN109934766B (zh) * 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268591A (zh) * 2014-09-19 2015-01-07 海信集团有限公司 一种面部关键点检测方法及装置
JP2016167131A (ja) * 2015-03-09 2016-09-15 学校法人立命館 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2017177634A1 (zh) * 2016-04-15 2017-10-19 乐视控股（北京）有限公司 一种图像处理方法、装置及电子设备
CN108229279A (zh) * 2017-04-14 2018-06-29 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108876704A (zh) * 2017-07-10 2018-11-23 北京旷视科技有限公司 人脸图像变形的方法、装置及计算机存储介质
CN107506732A (zh) * 2017-08-25 2017-12-22 奇酷互联网络科技（深圳）有限公司 贴图的方法、设备、移动终端以及计算机存储介质
CN107680033A (zh) * 2017-09-08 2018-02-09 北京小米移动软件有限公司 图片处理方法及装置
CN107705248A (zh) * 2017-10-31 2018-02-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN108765274A (zh) * 2018-05-31 2018-11-06 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830783A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108985241A (zh) * 2018-07-23 2018-12-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109087239A (zh) * 2018-07-25 2018-12-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN109147012A (zh) * 2018-09-20 2019-01-04 麒麟合盛网络技术股份有限公司 图像处理方法和装置
CN109377446A (zh) * 2018-10-25 2019-02-22 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINGYU LIANG ET.AL: "FaceMore: A Face Beautification Platform on the Cloud", 《2015 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS》 *
韩燕丽: "多姿态人脸图像处理方法研究", 《中国优秀博硕士学位论文全文数据库 (硕士)》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244449B2 (en) 2019-03-06 2022-02-08 Beijing Sensetime Technology Development Co., Ltd. Image processing methods and apparatuses
WO2020177394A1 (zh) * 2019-03-06 2020-09-10 北京市商汤科技开发有限公司 一种图像处理方法及装置
US11461870B2 (en) 2019-09-30 2022-10-04 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and electronic device
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
EP3971820A4 (en) * 2019-09-30 2022-08-10 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD, DEVICE AND ELECTRONIC DEVICE
US11450068B2 (en) 2019-11-21 2022-09-20 Beijing Sensetime Technology Development Co., Ltd. Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
KR20210064113A (ko) * 2019-11-21 2021-06-02 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
CN111031305A (zh) * 2019-11-21 2020-04-17 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
KR102406438B1 (ko) * 2019-11-21 2022-06-08 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
TWI750710B (zh) * 2019-11-21 2021-12-21 中國商北京市商湯科技開發有限公司 圖像處理方法及裝置、圖像處理設備及儲存媒體
CN111145110A (zh) * 2019-12-13 2020-05-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111145110B (zh) * 2019-12-13 2021-02-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111179156B (zh) * 2019-12-23 2023-09-19 北京中广上洋科技股份有限公司 一种基于人脸检测的视频美化方法
CN111179156A (zh) * 2019-12-23 2020-05-19 北京中广上洋科技股份有限公司 一种基于人脸检测的视频美化方法
CN111753685B (zh) * 2020-06-12 2024-01-12 北京字节跳动网络技术有限公司 图像中人脸发际线调整方法、装置及电子设备
CN111753685A (zh) * 2020-06-12 2020-10-09 北京字节跳动网络技术有限公司 图像中人脸发际线调整方法、装置及电子设备
CN111723803A (zh) * 2020-06-30 2020-09-29 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质
CN111723803B (zh) * 2020-06-30 2023-09-26 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质
CN113034349B (zh) * 2021-03-24 2023-11-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113034349A (zh) * 2021-03-24 2021-06-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113344878A (zh) * 2021-06-09 2021-09-03 北京容联易通信息技术有限公司 一种图像处理方法及系统

Also Published As

Publication number Publication date
KR102442483B1 (ko) 2022-09-13
JP2021517999A (ja) 2021-07-29
JP7160925B2 (ja) 2022-10-25
WO2020177394A1 (zh) 2020-09-10
TW202034280A (zh) 2020-09-16
SG11202006345UA (en) 2020-10-29
CN109934766B (zh) 2021-11-30
KR20200107930A (ko) 2020-09-16
US11244449B2 (en) 2022-02-08
US20200334812A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN109934766A (zh) 一种图像处理方法及装置
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
US11132824B2 (en) Face image processing method and apparatus, and electronic device
CN109952594A (zh) 图像处理方法、装置、终端及存储介质
US20180232561A1 (en) Facial image processing method and apparatus, and storage medium
CN112784773B (zh) 图像处理方法及装置、存储介质、终端
CN104992402B (zh) 一种美颜处理方法及装置
WO2020177434A1 (zh) 图像处理方法及装置、图像设备及存储介质
WO2021062998A1 (zh) 一种图像处理方法、装置和电子设备
CN108960093A (zh) 脸部转动角度的识别方法及设备
CN109242760B (zh) 人脸图像的处理方法、装置和电子设备
CN110866139A (zh) 一种化妆处理方法、装置及设备
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
Lu et al. Eye detection based on rectangle features and pixel-pattern-based texture features
CN113705466A (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
Vijayan et al. Face recognition across gender transformation using SVM classifier
CN109711390A (zh) 人脸抠图图片的优选方法及装置
Chou et al. Simulation of face/hairstyle swapping in photographs with skin texture synthesis
CN107895343A (zh) 一种基于五官定位快速简单上腮红的图像处理方法
TW202007353A (zh) 眼瞼下垂檢測方法及系統
CN113724366B (zh) 3d模型生成方法、装置及设备
CN117173282A (zh) 人脸图像处理方法、装置、设备及存储介质
Patnaik et al. Plastic surgery facial image correspondence: a near set approach
Heravi Three-dimension facial de-ageing and ageing Modeling: extrinsic factors impact

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40008773

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 1101-1117, 11 / F, No. 58, Beisihuan West Road, Haidian District, Beijing 100080

Patentee after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: Room 710-712, 7th floor, No. 1 Courtyard, Zhongguancun East Road, Haidian District, Beijing

Patentee before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

CP02 Change in the address of a patent holder