CN109376618B - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN109376618B
CN109376618B CN201811156057.5A CN201811156057A CN109376618B CN 109376618 B CN109376618 B CN 109376618B CN 201811156057 A CN201811156057 A CN 201811156057A CN 109376618 B CN109376618 B CN 109376618B
Authority
CN
China
Prior art keywords
image
processed
face image
chin
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811156057.5A
Other languages
English (en)
Other versions
CN109376618A (zh
Inventor
白雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201811156057.5A priority Critical patent/CN109376618B/zh
Publication of CN109376618A publication Critical patent/CN109376618A/zh
Application granted granted Critical
Publication of CN109376618B publication Critical patent/CN109376618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法、装置及电子设备。其中，所述图像处理方法包括：对待处理人脸图像进行人脸关键点检测，获得人脸关键点；获得所述待处理人脸图像的双下巴的高度；根据所述双下巴的高度及所述人脸关键点确定出需处理位置；根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像；将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。

Description

图像处理方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及电子设备。
背景技术
随着移动终端的普及，各类应用程序也都随着产生。其中，人们越来越想要将自己最美好的一面呈现，因此为满足这个需求，出现了很多人像图像优化处理的应用程序。现有的人像图像优化处理的应用程序大多可以实现瘦脸，大眼等功能，但是对于双下巴这种特殊的情况还不能很好地进行处理。
发明内容
有鉴于此，本发明实施例的目的在于提供一种图像处理方法、装置及电子设备。
第一方面，本发明实施例提供的一种图像处理方法，包括：
对待处理人脸图像进行人脸关键点检测，获得人脸关键点；
获得所述待处理人脸图像的双下巴的高度，所述双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴的距离；
根据所述双下巴的高度及所述人脸关键点确定出需处理位置，所述需处理位置对应所述双下巴区域所在位置；
根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像；
将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。
可选地，所述根据所述双下巴的高度及所述人脸关键点确定出需处理位置的步骤，包括：
从所述人脸关键点中确定出下巴对应的多个下巴关键点；
将所述多个下巴关键点分别按照根据所述双下巴的高度确定的参数向下移，得到多个移动后的关键点，所述多个下巴关键点和所述多个移动后的关键点所围绕的区域形成所述需处理位置。
可选地，所述将所述多个下巴关键点分别按照根据所述双下巴的高度确定的参数向下移，得到多个移动后的关键点，包括：
每个下巴关键点按照其对应的参数向下移得到移动后的关键点，下巴中间的关键点对应的参数大于下巴两边的关键的参数，其中，距离下巴中间的关键点越远的关键点对应的参数越小。
可选地，所述每个下巴关键点按照其对应的参数向下移得到移动后的关键点通过以下方式处理：
K'i＝Ki-d(1-a|i|)；
其中，Ki'表示第i个移动后的关键点，Ki表示第i个下巴关键点，d表示下巴高度，a表示一常数。
可选地，所述根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像的步骤，包括：
确定出包括所述需处理位置的第一包围框；
将所述第一包围框按照设定参数的比例向上拉伸得到第二包围框；
计算从所述第一包围框到所述第二包围框的变换矩阵；
使用所述变换矩阵对所述待处理人脸图像进行处理，得到拉伸图像。
可选地，所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：
得到所述拉伸图像与所述需处理位置对应的图像，并将其作为覆盖图层；
将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像。
可选地，所述将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像的步骤，包括：
将所述覆盖图层替换所述待处理人脸图像的需处理位置的图像得到拼接图；
将所述拼接图的拼接处进行平滑处理，得到目标人脸图像。
可选地，所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：
根据所述需处理位置形成第一遮挡罩，其中，第一遮挡罩除需处理位置以外其它位置像素值为零；
将所述遮挡罩进行平滑处理，得到第二遮挡罩；
将所述第二遮挡罩中的像素值映射到[0,1]区间，得到权重罩；
将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像。
可选地，将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像通过以下公式计算得到：
Iblend＝I'*M+I(1-M)；
其中，Iblend表示目标人脸图像对应的像素矩阵，I'表示拉伸图像对应的像素矩阵，I表示待处理人脸图像对应的像素矩阵，M表示权重罩，权重罩中的元素值属于[0,1]之间。
可选地，所述方法还包括：
在所述目标人脸图像的下巴位置处添加阴影。
可选地，所述在所述目标人脸图像的下巴位置处添加阴影通过以下公式实现：
Iout＝Iblend*α+Idark*(1-α)；
α＝r/rm；
其中，Iout表示添加阴影后输出的人脸图像对应的像素矩阵，Iblend表示目标人脸图像对应的像素矩阵，Idark表示对人脸图像进行整体降低亮度操作后的图像对应的像素矩阵，r表示待处理像素距离需处理位置的最近距离，rm表示设定的常数。
可选地，所述方法还包括：
对所述待处理人脸图像进行肤色检测，得到皮肤区域；
所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：
将所述拉伸图像与所述需处理位置对应位置的图像中的皮肤区域与所述待处理人脸图像进行融合得到目标人脸图像。
第二方面，本发明实施例还提供一种图像处理装置，包括：
检测模块，用于对待处理人脸图像进行人脸关键点检测，获得人脸关键点；
获得模块，用于获得所述待处理人脸图像的双下巴的高度，所述双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴的距离；
确定模块，用于根据所述双下巴的高度及所述人脸关键点确定出需处理位置，所述需处理位置对应所述双下巴区域所在位置；
拉伸模块，用于根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像；
融合模块，用于将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。
第三方面，本发明实施例还提供一种电子设备，包括：存储器以及处理器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中读取并运行所述计算机程序，以执行上述方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
与现有技术相比，本发明实施例的图像处理方法，通过对待处理人脸图像的人脸关键点进行识别，然后确定出可能是双下巴的区域，即需处理位置，然后对待处理人脸图像进行拉伸，从而可以使用双下巴的位置向上移，所述拉伸图像对的所述需处理位置变成脖子相关图像，进一步地，将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像，从而可以有效地去除双下巴。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的方框示意图。
图2为本发明实施例提供的图像处理方法的流程图。
图3为本发明实施例提供的图像处理方法的步骤S203的详细流程图。
图4为本发明实施例提供的图像处理方法的步骤S204的详细流程图。
图5a为本发明实施例提供一个实例中的待处理人脸图像示意图。
图5b为本发明实施例提供一个实例中的待处理人脸图像的第一遮挡罩的示意图。
图6为本发明实施例提供的图像处理装置的功能模块示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
首先，参照图1来描述用于实现本发明实施例的图像处理方法的示例电子设备100。该示例电子设备100可以是计算机，也可以是智能手机、平板电脑等移动终端。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的图像处理方法、装置及系统的示例电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理器102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集装置110分离设置。
示例性地，存储装置104中可以存储有一应用程序，上述的应用程序用于对图像进行处理。上述的应用程序中的各个功能模块可以有处理器102执行。
实施例二
请参阅图2，是本发明实施例提供的图像处理方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤S201，对待处理人脸图像进行人脸关键点检测，获得人脸关键点。
可以将待处理人脸图像输入人脸识别模型中，获得人脸关键点。其中，人脸关键点可以标识出人脸五官、人脸边缘的点。例如，可以包括脸部边缘的各个点、眼睛边缘的点、下巴边缘的点、嘴巴边缘的点、鼻子边缘的点等。
识别人脸关键点的方式可以有多种，例如，ASM(Active Shape Models，中文称：主动形状模型)、AAM(Active Appearance Models，中文称：主动外观模型)、CPR(Cascadedpose regression，中文称：级联姿态回归)、DCNN(Deep Convolutional Network，中文称：深度卷积网络)等。
ASM主要包括：先识别眼睛(或者眼睛和嘴巴)的位置，做简单的尺度和旋转变化，对齐人脸；然后在对齐后的各个点附近搜索，匹配每个局部关键点(常采用马氏距离)，得到初步形状；再用平均人脸(形状模型)修正匹配结果；迭代直到收敛。
步骤S202，获得所述待处理人脸图像的双下巴的高度。
双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴的距离。进一步地，双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴最低点的距离。
在一种实施方式中，可以接收用户的指示操作，以标识出双下巴的高度。在一个可选的操作方式中，显示界面中还可以显示滑动杆，用户可以通过滑动所述滑动杆标识出双下巴的上下边界。在另一种可选的操作方式中，可以通过接收用户手指或者操作笔等点击操作，点击操作对应指示出待处理人脸图像的双下巴的上下边界。具体地，还可以在显示界面中显示提示性消息，例如，可以先显示“请指出双下巴的上边界”，然后将显示该提示消息后接收到的指示操作作为指示待处理人脸图像的双下巴的上边界的位置的操作；然后显示“请指出双下巴的下边界”，然后将显示该提示消息后接收到的指示操作作为指示待处理人脸图像的双下巴的下边界的位置的操作。
在另一种实施方式中，可以采集人脸图像大数据，根据人脸人小比例统计得到不同大小、长宽比等类型的人脸对应不同双下巴高度的概率，然后根据大数据得到人脸图形与双下巴高度的统计数据。然后可以将待处理人脸图像与上述的统计数据进行比对可以得到待处理人脸图像的双下巴的高度。
步骤S203，根据所述双下巴的高度及所述人脸关键点确定出需处理位置。
需处理位置对应双下巴对应区域的所在位置。
本实施例中，如图3所示，步骤S203包括以下步骤。
步骤S2031，从所述人脸关键点中确定出下巴对应的多个下巴关键点。
在一种可选的实施方式中，可以选择下巴中间关键点、下巴左边指定数量个点以及下巴右边指定数量个关键点。其中，指定数量可以是三个、四个、五个等数量。
在另一个可选的实施方式中，可以根据待处理人脸图像中的脖子的宽度，获取脖子宽度范围内的下巴关键点。
在一个实例中，可以选取九个下巴关键点。我们取下巴附近的9个关键点可以分别记为：K-4,K-3,K-2,K-1,K0,K1,K2,K3,K4，其中，K0表示下巴中间的关键点。
步骤S2032，将所述多个下巴关键点分别按照根据所述双下巴的高度确定的参数向下移，得到多个移动后的关键点，所述多个下巴关键点和所述多个移动后的关键点所围绕的区域形成所述需处理位置。
本实施例中，步骤S2032包括：每个下巴关键点按照其对应的参数向下移得到移动后的关键点，下巴中间的关键点对应的参数大于下巴两边的关键的参数，其中，距离下巴中间的关键点越远的关键点对应的参数越小。
进一步地，所述每个下巴关键点按照其对应的参数向下移得到移动后的关键点通过以下方式处理：
Ki'＝Ki-d(1-a|i|)；
其中，Ki'表示第i个移动后的关键点，Ki表示第i个下巴关键点，d表示下巴高度，a表示一常数，K0表示下巴中间的关键点，K-x表示下巴中间的关键点左边的第x个关键点，x表示一正整数。
步骤S204，根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像。
本实施例中，如图4所示，步骤S204包括以下步骤。
步骤S2041，确定出包括所述需处理位置的第一包围框。
步骤S2042，将所述第一包围框按照设定参数的比例向上拉伸得到第二包围框。
步骤S2043，计算从所述第一包围框到所述第二包围框的变换矩阵。
步骤S2044，使用所述变换矩阵对所述待处理人脸图像进行处理，得到拉伸图像。
第一包围框和第一包围框可以是矩形、椭圆形等其它不规则多边形。下面以包围框为矩形为例进行描述。
在一个实例中，如图5a所示，可以把覆盖需处理位置的最小矩形(Bounding Box)记为P1,P2,P3,P4。其中，P1表示矩形中的左上角的点，P2可表示矩形中右上角的点，P3可表示矩形中的右下角的点，P4可表示矩形中的左下角的点。本实例中，将P1P2上移至P'1 P'2，使得|P'1 P4|＝|P1 P4|*α,|P'2 P3|＝|P2 P3|*α。其中，α表示一常数，具体可以根据下巴的高度确定，也可以根据经验值确定。例如，可以通过计算公式得到α：
Figure BDA0001818977180000111
估计{P1,P2,P3,P4}到{P'1,P'2,P3,P4}的Affine(仿射)变换矩阵T，将矩阵T应用在整个图像I可以将图像向上拉伸得到拉伸图像I'，具体可以表示为：I*T＝I'。
步骤S205，将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。
通过将待处理人脸图像拉伸后，拉伸图像的需处理位置的图像则变成脖子部分的图像。因此，可以使用脖子部分的图像替换或覆盖双下巴的图像，从而可以得到没有双下巴的目标人脸图像。
在一种实施方式中，步骤S205包括：得到所述拉伸图像在所述需处理位置对应的图像，并将其作为覆盖图层；将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像。
其中，所述将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像的步骤，包括：将所述覆盖图层替换所述待处理人脸图像的需处理位置的图像得到拼接图；将所述拼接图的拼接处进行平滑处理，得到目标人脸图像。
在另一种实施方式中，步骤S205，包括：根据所述需处理位置形成第一遮挡罩；将所述遮挡罩进行平滑处理，得到第二遮挡罩；将所述第二遮挡罩中的像素值映射到[0,1]区间，得到权重罩；将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像。
具体地，将所述遮挡罩进行平滑处理可以使用高斯模糊处理。
其中，如图5b所示，第一遮挡罩可以是八位图像，第一遮挡罩除需处理位置以外其它位置像素值为零，第一遮挡罩的需处理位置的像素值为二百五十五。
进一步地，将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像通过以下公式计算得到：
Iblend＝I'*M+I(1-M)；
其中，Iblend表示目标人脸图像对应的像素矩阵，I'表示拉伸图像对应的像素矩阵，I表示待处理人脸图像对应的像素矩阵，M表示权重罩，权重罩中的元素值属于[0,1]之间。
进一步地，权重罩M可以是是经过高斯模糊以后的权重罩。
为了使处理后的图像能够更接近拍照得到的图像，可以在去除双下巴的目标人脸图像上添加一些下巴可能会存在的阴影。
所述方法还包括：在所述目标人脸图像的下巴位置处添加阴影。
本实施例中，所述在所述目标人脸图像的下巴位置处添加阴影通过以下公式实现：
Iout＝Iblend*α+Idark*(1-α)；
α＝r/rm；
其中，Iout表示添加阴影后输出的人脸图像对应的像素矩阵，Iblend表示目标人脸图像对应的像素矩阵，Idark表示对人脸图像进行整体降低亮度操作后的图像对应的像素矩阵，r表示待处理像素距离需处理位置的最近距离，rm表示设定的常数。
通过在目标人脸图像上增设阴影，从而可以使用得到的图像能够更加的逼真。
考虑一张图像如果是在真实环境中拍照得到的话，可能会存在一些背景图像区域。通过皮肤检测可以得到皮肤区域，从而避免将背景图像中的像素替换到人的皮肤区域中，导致图像失真。因此，基于上述考虑，本实施例中的图像处理方法还包括：对所述待处理人脸图像进行肤色检测，得到皮肤区域。
其中，对所述待处理人脸图像进行肤色检测，得到皮肤区域的步骤可以在步骤S201之前执行，通过肤色检测可以得到皮肤区域中各个点在待处理人脸图像的位置。
所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：将所述拉伸图像与所述需处理位置对应位置的图像中的皮肤区域与所述待处理人脸图像进行融合得到目标人脸图像。
本发明实施例的图像处理方法，通过对待处理人脸图像的人脸关键点进行识别，然后确定出可能是双下巴的区域，即需处理位置，然后对待处理人脸图像进行拉伸，从而可以使用双下巴的位置向上移，所述拉伸图像对的所述需处理位置变成脖子相关图像，进一步地，将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像，从而可以有效地去除双下巴。
实施例三
基于同一申请构思，本申请实施例中还提供了与图像处理方法对应的图像处理装置，请参阅图6，是本发明实施例提供的图像处理装置的功能模块示意图。本实施例中的图像处理装置中的各个模块用于执行上述方法实施例中的各个步骤。所述图像处理装置包括：检测模块301、获得模块302、确定模块303、拉伸模块304以及融合模块305，其中，
检测模块301，用于对待处理人脸图像进行人脸关键点检测，获得人脸关键点；
获得模块302，用于获得所述待处理人脸图像的双下巴的高度，所述双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴的距离；
确定模块303，用于根据所述双下巴的高度及所述人脸关键点确定出需处理位置，所述需处理位置对应所述双下巴区域所在位置；
拉伸模块304，用于根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像；
融合模块305，用于将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。
一种可能的实施方式中，所述确定模块303还用于：
从所述人脸关键点中确定出下巴对应的多个下巴关键点；
将所述多个下巴关键点分别按照根据所述双下巴的高度确定的参数向下移，得到多个移动后的关键点，所述多个下巴关键点和所述多个移动后的关键点所围绕的区域形成所述需处理位置。
一种可能的实施方式中，所述确定模块303还用于：
每个下巴关键点按照其对应的参数向下移得到移动后的关键点，下巴中间的关键点对应的参数大于下巴两边的关键的参数，其中，距离下巴中间的关键点越远的关键点对应的参数越小。
一种可能的实施方式中，所述每个下巴关键点按照其对应的参数向下移得到移动后的关键点通过以下方式处理：
K'i＝Ki-d(1-a|i|)；
其中，Ki'表示第i个移动后的关键点，Ki表示第i个下巴关键点，d表示下巴高度，a表示一常数，K0表示下巴中间的关键点，K-x表示下巴中间的关键点左边的第x个关键点，x表示一正整数。
一种可能的实施方式中，所述拉伸模块304，还用于：
确定出包括所述需处理位置的第一包围框；
将所述第一包围框按照设定参数的比例向上拉伸得到第二包围框；
计算从所述第一包围框到所述第二包围框的变换矩阵；
使用所述变换矩阵对所述待处理人脸图像进行处理，得到拉伸图像。
一种可能的实施方式中，所述融合模块305，还用于：
得到所述拉伸图像在所述需处理位置对应的图像，并将其作为覆盖图层；
将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像。
一种可能的实施方式中，所述融合模块305，还用于：
将所述覆盖图层替换所述待处理人脸图像的需处理位置的图像得到拼接图；
将所述拼接图的拼接处进行平滑处理，得到目标人脸图像。
一种可能的实施方式中，所述融合模块305，还用于：
根据所述需处理位置形成第一遮挡罩，其中，第一遮挡罩除需处理位置以外其它位置像素值为零；
将所述遮挡罩进行平滑处理，得到第二遮挡罩；
将所述第二遮挡罩中的像素值映射到[0,1]区间，得到权重罩；
将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像。
一种可能的实施方式中，将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像通过以下公式计算得到：
Iblend＝I'*M+I(1-M)；
其中，Iblend表示目标人脸图像对应的像素矩阵，I'表示拉伸图像对应的像素矩阵，I表示待处理人脸图像对应的像素矩阵，M表示权重罩，权重罩中的元素值属于[0,1]之间。
一种可能的实施方式中，所述图像处理装置还包括：
添加模块，用于在所述目标人脸图像的下巴位置处添加阴影。
一种可能的实施方式中，所述在所述目标人脸图像的下巴位置处添加阴影通过以下公式实现：
Iout＝Iblend*α+Idark*(1-α)；
α＝r/rm；
其中，Iout表示添加阴影后输出的人脸图像对应的像素矩阵，Iblend表示目标人脸图像对应的像素矩阵，Idark表示对人脸图像进行整体降低亮度操作后的图像对应的像素矩阵，r表示待处理像素距离需处理位置的最近距离，rm表示设定的常数。
一种可能的实施方式中，所述图像处理装置还包括：
检测模块，用于对所述待处理人脸图像进行肤色检测，得到皮肤区域；
所述融合模块305，还用于：
将所述拉伸图像与所述需处理位置对应位置的图像中的皮肤区域与所述待处理人脸图像进行融合得到目标人脸图像。
关于本实施例的其它细节还可以参考上述方法实施例中的描述，在此不再赘述。
本发明实施例的图像处理装置，通过对待处理人脸图像的人脸关键点进行识别，然后确定出可能是双下巴的区域，即需处理位置，然后对待处理人脸图像进行拉伸，从而可以使用双下巴的位置向上移，所述拉伸图像对的所述需处理位置变成脖子相关图像，进一步地，将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像，从而可以有效地去除双下巴。
本发明实施例还可以提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
对待处理人脸图像进行人脸关键点检测，获得人脸关键点；
获得所述待处理人脸图像的双下巴的高度，所述双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴的距离；
根据所述双下巴的高度及所述人脸关键点确定出需处理位置，所述需处理位置对应所述双下巴区域所在位置；
根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像，拉伸图像的需处理位置的图像则变成脖子部分的图像；
将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述根据所述双下巴的高度及所述人脸关键点确定出需处理位置的步骤，包括：
从所述人脸关键点中确定出下巴对应的多个下巴关键点；
将所述多个下巴关键点分别按照根据所述双下巴的高度确定的参数向下移，得到多个移动后的关键点，所述多个下巴关键点和所述多个移动后的关键点所围绕的区域形成所述需处理位置。
3.如权利要求2所述的图像处理方法，其特征在于，所述将所述多个下巴关键点分别按照根据所述双下巴的高度确定的参数向下移，得到多个移动后的关键点通过以下方式处理：
K′i＝Ki-d(1-a|i|)；
其中，K′i表示第i个移动后的关键点，Ki表示第i个下巴关键点，d表示下巴高度，a表示一常数。
4.如权利要求1所述的图像处理方法，其特征在于，所述根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像的步骤，包括：
确定出包括所述需处理位置的第一包围框；
将所述第一包围框按照设定参数的比例向上拉伸得到第二包围框；
计算从所述第一包围框到所述第二包围框的变换矩阵；
使用所述变换矩阵对所述待处理人脸图像进行处理，得到拉伸图像。
5.如权利要求1所述的图像处理方法，其特征在于，所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：
得到所述拉伸图像在所述需处理位置对应的图像，并将其作为覆盖图层；
将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像。
6.如权利要求5所述的图像处理方法，其特征在于，所述将所述覆盖图层与所述待处理人脸图像进行拼接处理，得到目标人脸图像的步骤，包括：
将所述覆盖图层替换所述待处理人脸图像的需处理位置的图像得到拼接图；
将所述拼接图的拼接处进行平滑处理，得到目标人脸图像。
7.如权利要求1所述的图像处理方法，其特征在于，所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：
根据所述需处理位置形成第一遮挡罩，其中，第一遮挡罩除需处理位置以外其它位置像素值为零；
将所述遮挡罩进行平滑处理，得到第二遮挡罩；
将所述第二遮挡罩中的像素值映射到[0,1]区间，得到权重罩；
将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像。
8.如权利要求7所述的图像处理方法，其特征在于，将所述拉伸图像与所述待处理人脸图像使用所述权重罩进行融合，得到目标人脸图像通过以下公式计算得到：
Iblend＝I'*M+I(1-M)；
其中，Iblend表示目标人脸图像对应的像素矩阵，I'表示拉伸图像对应的像素矩阵，I表示待处理人脸图像对应的像素矩阵，M表示权重罩，权重罩中的元素值属于[0,1]之间。
9.如权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
在所述目标人脸图像的下巴位置处添加阴影。
10.如权利要求9所述的图像处理方法，其特征在于，所述在所述目标人脸图像的下巴位置处添加阴影通过以下公式实现：
Iout＝Iblend*α+Idark*(1-α)；
α＝r/rm；
其中，Iout表示添加阴影后输出的人脸图像对应的像素矩阵，Iblend表示目标人脸图像对应的像素矩阵，Idark表示对人脸图像进行整体降低亮度操作后的图像对应的像素矩阵，r表示待处理像素距离需处理位置的最近距离，rm表示设定的常数。
11.如权利要求1-10任一项所述的图像处理方法，其特征在于，所述方法还包括：
对所述待处理人脸图像进行肤色检测，得到皮肤区域；
所述将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像的步骤，包括：
将所述拉伸图像与所述需处理位置对应位置的图像中的皮肤区域与所述待处理人脸图像进行融合得到目标人脸图像。
12.一种图像处理装置，其特征在于，包括：
检测模块，用于对待处理人脸图像进行人脸关键点检测，获得人脸关键点；
获得模块，用于获得所述待处理人脸图像的双下巴的高度，所述双下巴的高度表示所述待处理人脸图像中的双下巴的下边缘至所述待处理人脸图像中的下巴的距离；
确定模块，用于根据所述双下巴的高度及所述人脸关键点确定出需处理位置，所述需处理位置对应所述双下巴区域所在位置；
拉伸模块，用于根据设定参数将所述待处理人脸图像进行拉伸，得到拉伸图像,拉伸图像的需处理位置的图像则变成脖子部分的图像；
融合模块，用于将所述拉伸图像在所述需处理位置的图像与所述待处理人脸图像进行融合得到目标人脸图像。
13.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中读取并运行所述计算机程序，以执行权利要求1～11任一项所述方法。
14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述的权利要求1～11中任一项所述的方法的步骤。
CN201811156057.5A 2018-09-30 2018-09-30 图像处理方法、装置及电子设备 Active CN109376618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811156057.5A CN109376618B (zh) 2018-09-30 2018-09-30 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811156057.5A CN109376618B (zh) 2018-09-30 2018-09-30 图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109376618A CN109376618A (zh) 2019-02-22
CN109376618B true CN109376618B (zh) 2021-03-23

Family

ID=65403244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811156057.5A Active CN109376618B (zh) 2018-09-30 2018-09-30 图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109376618B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826534B (zh) * 2019-11-30 2022-04-05 杭州小影创新科技股份有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
CN111507890B (zh) 2020-04-13 2022-04-19 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112613446B (zh) * 2020-12-29 2023-03-31 贝壳技术有限公司 一种人脸对齐的方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
US8687039B2 (en) * 2011-06-06 2014-04-01 Cisco Technology, Inc. Diminishing an appearance of a double chin in video communications
US9262671B2 (en) * 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
CN104794693B (zh) * 2015-04-17 2017-07-14 浙江大学 一种人脸关键区域自动检测蒙版的人像优化方法
CN104992417B (zh) * 2015-06-30 2017-12-19 上海交通大学 基于Kinect的人脸视频目光修正方法及系统
CN107203963B (zh) * 2016-03-17 2019-03-15 腾讯科技（深圳）有限公司 一种图像处理方法及装置、电子设备
CN105701786B (zh) * 2016-03-21 2019-09-24 联想(北京)有限公司 一种图像处理方法及电子设备
CN108229279B (zh) * 2017-04-14 2020-06-02 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN107578380A (zh) * 2017-08-07 2018-01-12 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及存储介质
CN107680071B (zh) * 2017-10-23 2020-08-07 深圳市云之梦科技有限公司 一种人脸与身体融合处理的方法及系统
CN107862673B (zh) * 2017-10-31 2021-08-24 北京小米移动软件有限公司 图像处理方法及装置
CN108492348A (zh) * 2018-03-30 2018-09-04 北京金山安全软件有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109376618A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
US10713532B2 (en) Image recognition method and apparatus
CN109815924B (zh) 表情识别方法、装置及系统
WO2017193906A1 (zh) 一种图像处理方法及处理系统
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
US10599914B2 (en) Method and apparatus for human face image processing
CN110751043B (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
US10318797B2 (en) Image processing apparatus and image processing method
WO2020199611A1 (zh) 活体检测方法和装置、电子设备及存储介质
CN110443205B (zh) 一种手部图像分割方法及装置
JP5895703B2 (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN109376618B (zh) 图像处理方法、装置及电子设备
CN109635752B (zh) 人脸关键点的定位方法、人脸图像处理方法和相关装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2023024442A1 (zh) 检测方法、训练方法、装置、设备、存储介质和程序产品
WO2021139475A1 (zh) 一种表情识别方法及装置、设备、计算机可读存储介质、计算机程序产品
WO2022134771A1 (zh) 表格处理方法、装置、电子设备及存储介质
WO2021223738A1 (zh) 模型参数的更新方法、装置、设备及存储介质
CN111292334B (zh) 一种全景图像分割方法、装置及电子设备
CN111353325A (zh) 关键点检测模型训练方法及装置
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
US20140072234A1 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
CN112149605B (zh) 一种人脸识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant