CN110910308B - 图像处理方法、装置、设备和介质 - Google Patents

图像处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN110910308B
CN110910308B CN201911223213.XA CN201911223213A CN110910308B CN 110910308 B CN110910308 B CN 110910308B CN 201911223213 A CN201911223213 A CN 201911223213A CN 110910308 B CN110910308 B CN 110910308B
Authority
CN
China
Prior art keywords
face
grid
target
face contour
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911223213.XA
Other languages
English (en)
Other versions
CN110910308A (zh
Inventor
华路延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN201911223213.XA priority Critical patent/CN110910308B/zh
Publication of CN110910308A publication Critical patent/CN110910308A/zh
Application granted granted Critical
Publication of CN110910308B publication Critical patent/CN110910308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、设备和介质。该方法包括:识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像。上述技术方案,具有调整数据量少,计算功耗低,系统响应快的有益效果,进而提高了对人脸图像进行变形调整的速度,适宜应用于视频直播之类的在线视频中。

Description

图像处理方法、装置、设备和介质
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种图像处理方法、装置、设备和介质。
背景技术
近年来,能够提升图像中人物容颜的美颜技术,在图像处理领域得到了广泛地应用,无论是对静态图像中的人脸进行美颜,还是对在线视频图像帧中的人脸进行美颜。
目前,关于美颜中的人脸轮廓美型操作,主要是针对静态图像中的人脸轮廓进行自动优化。然而,针对例如视频直播之类的在线视频图像帧中的人脸轮廓美型,局限性却比较大,主要是由于视频直播中缓存数据量大,实时对每个图像帧中的人脸轮廓进行自动美型,计算处理功耗大,无法实际应用。同时,现有的人脸轮廓自动美型也都无法解决人脸轮廓不平整的问题。
发明内容
本发明实施例提供一种图像处理方法、装置、设备和介质,以实现对视频直播之类的在线视频图像帧中人脸轮廓进行实时美型,同时解决人脸轮廓不平整的问题。
第一方面,本发明实施例提供了一种图像处理方法,包括:
识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;
根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;
根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像。
第二方面,本发明实施例还提供了一种人脸图像美颜装置,该装置包括:
原始人脸网格构建模块,用于识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;
目标人脸网格构建模块,用于根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;
人脸轮廓调整模块,用于根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现任意实施例所述的图像处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任意实施例所述的图像处理方法。
本发明实施例中,识别人脸图像得到人脸定位点之后,仅仅是对人脸定位点中包括的少量人脸轮廓定位点进行调整,具有调整数据量少,计算功耗低,系统响应快的有益效果;原始人脸网格是基于调整前的人脸定位点构建的,目标人脸网格是基于调整人脸轮廓定位点后的人脸定位点构建的,根据所述目标人脸网格与所述原始人脸网格的映射关系,对人脸图像中的像素进行调整,即实现对人脸轮廓的调整,实现了通过局部搜索对人脸网格进行变形处理,并且不需要对人脸图像重新进行渲染即可得到目的人脸图像,提高了对人脸图像进行变形调整的速度,适宜应用于视频直播之类的在线视频中。
附图说明
图1是本发明实施例一中的一种图像处理方法的流程图;
图2是本发明实施例一中的一种人脸定位点的示意图;
图3是本发明实施例一中的一种人脸图像的原始人脸网格的示意图;
图4是本发明实施例二中的一种图像处理方法的流程图;
图5是本发明实施例二中的一种人脸轮廓定位点垂直投影示意图;
图6是本发明实施例二中的一种人脸轮廓存在凹陷问题的示意图;
图7是本发明实施例三中的一种图像处理方法的流程图;
图8是本发明实施例三中的一种原始网格与目标变形网格配对示意图;
图9是本发明实施例三中的一种参考坐标系的生成示意图;
图10是本发明实施例四提供的一种图像处理装置的模块结构示意图;
图11是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种图像处理方法的流程图,本实施例可适用于解决例如视频直播之类的在线视频中人脸轮廓变形问题的情况,该方法可以由本发明任意实施例提供的图像处理装置来执行,该装置可由硬件和/或软件组成,并一般可集成在计算机设备中。
如图1所述,本实施例提供的图像处理方法包括以下步骤:
S110、识别人脸图像得到人脸定位点,并构建原始人脸网格,原始人脸网格的顶点至少包括所述人脸定位点。
人脸图像,可以指的是静态图像,也可以指的是例如视频直播之类的在线视频的图像帧,其中,该人脸图像中包括人脸。
人脸定位点,指的是用于对人脸面部的关键区域进行定位的点,包括对眉毛、鼻子、嘴巴、人脸轮廓等关键区域进行定位,具体可以通过人脸定位算法对人脸图像进行识别,以获取与该人脸图像对应的所有人脸定位点,如图2所示。其中,人脸定位点包括眉毛定位点、鼻子定位点、嘴巴定位点以及人脸轮廓定位点等等,眉毛定位点即为与人脸眉毛区域对应的定位点,鼻子定位点即与人脸鼻子区域对应的定位点,嘴巴定位点即与人脸嘴巴区域对应的定位点,人脸轮廓定位点基于人脸轮廓对应的定位点。
人脸定位点的数量,可以根据实际情况设置,对于静态的图像处理,实时性要求较低,可以检测较为稠密的人脸定位点,对于直播等,实时性要求较高,可以检测较为稀疏的人脸定位点。
构建原始人脸网格时,以人脸定位点作为网格的一部分顶点,以人脸图像的顶点以及各边的终点作为网格的另一部分顶点,将人脸图像数据进行网格化,划分为多个网格,如3所示。网格化就是将凹多边形或者有边相交的多边形划分成凸多边形,如三角形,以便被渲染引擎渲染。其中,网格之间是有序的,可以形成网格序列,当调用渲染引擎时,会按照顺序绘制每个网格,从而在屏幕显示带有网格的人脸图像数据。
S120、根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,目标人脸网格的顶点至少包括调整后的人脸定位点。
人脸轮廓平滑规律,指的是标准的、给人以美感的人脸轮廓所符合的人脸轮廓规律,例如是人脸轮廓光滑饱满,没有凹陷等。
根据人脸轮廓平滑规律,对采集到的人脸轮廓定位点的位置进行调整,以使所有的人脸轮廓定位点满足人脸轮廓平滑规律。
具体的,在根据人脸轮廓平滑规律调整人脸定位点中的人脸轮廓定位点时,可以首先确定所述人脸轮廓定位点中不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点;然后根据所述人脸轮廓平滑规律调整所述目标人脸轮廓定位点。
在人脸轮廓定位点中依次获取一个人脸轮廓定位点作为当前人脸轮廓定位点,判断当前人脸轮廓定位点的位置是否符合人脸轮廓平滑规律,若否,则将当前人脸轮廓定位点确定为需要进行位置调整的目标人脸轮廓定位点,若是,则继续对下一个人脸轮廓定位点进行判断,直至判断完成所有的人脸轮廓定位点。
在调整完不符合人脸轮廓平滑规律的各个目标人脸轮廓定位点后,构建目标人脸网格。在构建目标人脸网格时,以人脸定位点作为网格的一部分顶点,以人脸图像的顶点以及各边的终点作为网格的另一部分顶点,将人脸图像数据进行网格化,此时得到的人脸图像的网格即为调整人脸轮廓后对人脸图像划分的网格。
S130、根据目标人脸网格与原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至目标人脸网格中,得到调整人脸轮廓后的人脸图像。
为了加快对人脸图像的处理速度,在构建出与原始网格对应的目标人脸网格之后,直接根据原始人脸网格与目标人脸网格的映射关系,依次将各原始人脸网格中的像素点映射到对应的目标人脸网格中,即可实现对人脸图像中人脸轮廓的调整,而且不需要将原始网格中的像素点重新渲染到目的变形网格中。
本发明实施例中,识别人脸图像得到人脸定位点之后,仅仅是对人脸定位点中包括的少量人脸轮廓定位点进行调整,具有调整数据量少,计算功耗低,系统响应快的有益效果;原始人脸网格是基于调整前的人脸定位点构建的,目标人脸网格是基于调整人脸轮廓定位点后的人脸定位点构建的,根据所述目标人脸网格与所述原始人脸网格的映射关系,对人脸图像中的像素进行调整,即实现对人脸轮廓的调整,实现了通过局部搜索对人脸网格进行变形处理,并且不需要对人脸图像重新进行渲染即可得到目的人脸图像,提高了对人脸图像进行变形调整的速度,适宜应用于视频直播之类的在线视频中。
实施例二
本实施例以上述实施例为基础进行具体化,其中,将确定所述人脸轮廓定位点中不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点,具体为:
将人脸轮廓定位点垂直投影至与人脸中轴线垂直的目标参考线上;
在人脸轮廓定位点中依次获取一个人脸轮廓定位点作为当前人脸轮廓定位点;
分别计算当前人脸轮廓定位点与前一个人脸轮廓定位点以及与后一个人脸轮廓定位点在目标参考线上的第一投影距离和第二投影距离;
如果第一投影距离与第二投影距离不满足当前人脸轮廓定位点所在人脸侧的人脸轮廓平滑规律,则确定当前人脸轮廓定位点为不符合人脸轮廓平滑规律的目标人脸轮廓定位点。
如图4所示,本实施例提供的图像处理方法包括以下步骤:
S210、识别人脸图像得到人脸定位点,并构建原始人脸网格,原始人脸网格的顶点至少包括所述人脸定位点。
S220、将人脸定位点中的所有人脸轮廓定位点垂直投影至与人脸中轴线垂直的目标参考线上。
如图5所示,直线L即为与人脸中轴线垂直的目标参考线。图5示出的是人脸图像中人脸不存在倾斜角度的情形,此时目标参考线L是水平直线。如果人脸图像中人脸存在一定的倾斜角度,则与人脸中轴线垂直的目标参考线不是水平的,其与水平线之间夹角的角度与上述倾斜角度相同。为了减少数据计算量,如果人脸图像中的人脸存在一定的倾斜角度,还可以在确定与人脸中轴线垂直的目标参考线之前,首先对人脸图像进行调整,例如是对人脸图像进行旋转操作,使人脸图像中的人脸不再存在倾斜角度,此时再确定的目标参考线L为水平直线。
针对每个人脸轮廓定位点,做一条垂直于目标参考线L的线段,线段与目标参考线L的交点,即为对应的人脸轮廓定位点在目标参考线L上的投影点。以68点人脸定位识别为例,其中,0-16这17点为人脸轮廓定位点,将这17个人脸轮廓定位点垂直投影至目标参考线上,一一对应地得到17个人脸轮廓定位点投影点。
S230、在人脸轮廓定位点中依次获取一个人脸轮廓定位点作为当前人脸轮廓定位点。
S240、分别计算当前人脸轮廓定位点与前一个人脸轮廓定位点以及与后一个人脸轮廓定位点在目标参考线上的第一投影距离和第二投影距离。
当前人脸轮廓定位点与前一个人脸轮廓定位点在目标参考线上的第一投影距离,即为当前人脸轮廓定位点投影点与前一个人脸轮廓定位点投影点之间的直线距离;当前人脸轮廓定位点与后一个人脸轮廓定位点在目标参考线上的第二投影距离即为当前人脸轮廓定位点投影点与后一个人脸轮廓定位点投影点之间的直线距离。
假设当前人脸轮廓定位点为n,则前一个人脸轮廓定位点为n-1,后一个人脸轮廓定位点为n+1,以Dn表示第n个人脸轮廓定位点投影点与第0个人脸轮廓定位点投影点之间的直线距离,D0=0,则第一投影距离为Dn-Dn-1,则第一投影距离为Dn+1-Dn
S250、如果第一投影距离与第二投影距离不满足当前人脸轮廓定位点所在人脸侧的人脸轮廓平滑规律,则确定当前人脸轮廓定位点为不符合人脸轮廓平滑规律的目标人脸轮廓定位点。
判断第一投影距离与第二投影距离是否满足当前人脸轮廓定位点所在人脸侧的人脸轮廓平滑规律,如果满足,则确定当前人脸轮廓定位点不是不符合人脸轮廓平滑规律的目标人脸轮廓定位点,如果不满足,则确定当前人脸轮廓定位点是不符合人脸轮廓平滑规律的目标人脸轮廓定位点。
例如,如果当前人脸轮廓定位点属于人脸左侧的人脸轮廓定位点,则当前人脸轮廓定位点不满足人脸左侧的人脸轮廓平滑规律时,当前人脸轮廓定位点为不符合人脸轮廓平滑规律的目标人脸轮廓定位点。如果当前人脸轮廓定位点属于人脸右侧的人脸轮廓定位点,则当前人脸轮廓定位点不满足人脸右侧的人脸轮廓平滑规律时,当前人脸轮廓定位点为不符合人脸轮廓平滑规律的目标人脸轮廓定位点。
具体的,人脸左侧的人脸轮廓平滑规律包括:所述第一投影距离小于所述第二投影距离;人脸右侧的人脸轮廓平滑规律包括:所述第一投影距离大于所述第二投影距离。
根据美学的角度,完美脸型的左脸和右脸的轮廓是自然过渡的,人脸左侧相邻的两个人脸轮廓定位点在目标参考线上投影点的直线距离越来越大,人脸右侧相邻的两个人脸轮廓定位点在目标参考线上投影点的直线距离越来越小。
典型的,人脸轮廓定位点投影点在目标参考线上距离满足下述规律:
其中,Dn表示第n个人脸轮廓定位点投影点与第0个人脸轮廓定位点投影点之间的直线距离,D0=0,S为人脸轮廓定位点总数。
S260、根据人脸轮廓平滑规律调整所述目标人脸轮廓定位点。
当存在不符合人脸轮廓平滑规律的目标人脸轮廓定位点时,需要根据人脸轮廓平滑规律对这些目标人脸轮廓定位点的位置进行调整。
如图6所示,人脸左轮廓处存在凹陷处,此时需要对凹陷处的不符合人脸轮廓平滑规律的目标人脸轮廓定位点进行位置调整。典型的,在对目标人脸轮廓定位点进行位置调整时,调整的是目标人脸轮廓定位点在水平方向的位置,其在垂直方向的位置不变。
作为一种具体的实施方式,可以将根据所述人脸轮廓平滑规律调整所述目标人脸轮廓定位点,具体为:根据目标参考线上至少三个与目标人脸轮廓定位点相邻的人脸轮廓定位点的投影位置,对所述目标人脸轮廓定位点进行调整。
也即,根据至少三个与目标人脸轮廓定位点投影点相邻的人脸轮廓定位点投影点的位置,对目标人脸轮廓定位点投影点进行调整。
假设,目标人脸轮廓定位点投影点与第0个人脸轮廓定位点投影点之间的直线距离为Dn,则可以根据Dn-2、Dn-1和Dn+1对Dn进行调整,或者是根据Dn-1、Dn+1和Dn+2对Dn进行调整。
以基于Dn-2、Dn-1和Dn+1对Dn进行调整为例,此时n不小于2,具体可以根据下述公式对Dn进行调整:Dn=Dn-1+(Dn+1-Dn-2)/3。
将不符合目标人脸轮廓定位点前后定位点投影点的与第0个人脸轮廓定位点投影点之间的直线距离代入上述公式,即可计算出目标人脸轮廓定位点投影点在目标参考线上的新位置,进而可以确定出目标人脸轮廓定位点的新位置。
根据前后人脸轮廓定位点对各个目标人脸轮廓定位点位置进行调整,以使人脸轮廓定位点重新排列位置,可以达到人脸脸部轮廓自然过渡,自动美型的效果。
S270、构建目标人脸网格,目标人脸网格的顶点至少包括调整人脸轮廓定位点后的人脸定位点。
S280、根据目标人脸网格与原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至目标人脸网格中,得到调整人脸轮廓后的人脸图像。
本实施例未尽详细解释之处请参见前述实施例,在此不再赘述。
上述技术方案,通过对人脸轮廓定位点进行重新点阵排列,解决了人脸脸型凹陷等不平整的问题,而且只需对少数的人脸轮廓定位点进行调整,复杂度低,适用于实时视频处理,能够实现在视频直播中根据人物脸部轮廓信息自动对人脸进行优化美颜操作。
在上述技术方案的基础上,作为一种可选的实施方式,还可以将根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,具体为:
如果所述人脸定位点中的人脸轮廓定位点的密集度满足预设条件,则对所述人脸轮廓定位点进行下采样处理;根据人脸轮廓平滑规律调整下采样后的人脸轮廓定位点。
如果人脸脸部轮廓凹陷处有多个人脸轮廓定位点,例如是凹陷处人脸轮廓定位点的数量达到一定的阈值,则说明此处人脸轮廓定位点取样过密。此时,首先,将人脸轮廓定位点进行下采样,典型的,可以取偶数项人脸轮廓定位点组成新的人脸轮廓定位点组合,例如,原人脸轮廓定位点组合为0-16,下采样后得到的人脸轮廓定位点组合由0,2,4,6,8,10,12,14,16组成。然后执行上述S230-S260实现根据人脸轮廓平滑规律调整下采样后的人脸轮廓定位点。
在上述技术方案中,通过对人脸轮廓定位点进行下采样的操作,实现对不同大小的脸部轮廓凹陷的自动适配,进而使技术方案适用于大部分人脸轮廓美型场景。
实施例三
本实施例以上述实施例为基础进行具体化,其中,构建的人脸网格为三角形网格;对应的,将根据目标人脸网格与原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至目标人脸网格中,具体为:
依次获取所述原始人脸网格中的一个原始网格作为当前处理网格;
在所述目标人脸网格中获取与所述当前处理网格匹配的目标变形网格;
计算所述当前处理网格与所述目标变形网格之间的映射关系矩阵;
根据所述映射关系矩阵,将所述当前处理网格中的各像素点映射至所述目标变形网格中,直至完成对全部原始网格的处理。
如图7所示,本实施例提供的图像处理方法包括以下步骤:
S310、识别人脸图像得到人脸定位点,并构建原始人脸网格,原始人脸网格的顶点至少包括所述人脸定位点。
S320、将人脸定位点中的所有人脸轮廓定位点垂直投影至与人脸中轴线垂直的目标参考线上。
S330、在人脸轮廓定位点中依次获取一个人脸轮廓定位点作为当前人脸轮廓定位点。
S340、分别计算当前人脸轮廓定位点与前一个人脸轮廓定位点以及与后一个人脸轮廓定位点在目标参考线上的第一投影距离和第二投影距离。
S350、如果第一投影距离与第二投影距离不满足当前人脸轮廓定位点所在人脸侧的人脸轮廓平滑规律,则确定当前人脸轮廓定位点为不符合人脸轮廓平滑规律的目标人脸轮廓定位点。
S360、根据人脸轮廓平滑规律调整所述目标人脸轮廓定位点。
S370、构建目标人脸网格,目标人脸网格的顶点至少包括调整人脸轮廓定位点后的人脸定位点。
S380、依次获取原始人脸网格中的一个原始网格作为当前处理网格。
在原始人脸网格中的多个原始网格中选择一个作为当前处理网格,其中,当前处理网格在目标人脸网格中可能发生形变,也可能没有发生形变。
S390、在目标人脸网格中获取与当前处理网格匹配的目标变形网格。
如果目标人脸网格中与当前处理网格对应的目标网格没有发生形变,则直接在原始人脸网格中获取下一个原始网格作为当前处理网格进行判断;如果目标人脸网格中与当前处理网格对应的目标网格发生形变,如图8所示,也即存在与当前处理网格匹配的目标变形网格,则需确定当前处理网格与目标变形网格的映射关系。
S3100、计算当前处理网格与目标变形网格之间的映射关系矩阵。
根据预先建立的坐标系,获取与当前处理网格对应的第一顶点序列(x1,y1)、(x2,y2)、(x3,y3),即当前处理网格A的三个顶点的坐标,以及获取与目标变形网格对应的第二顶点序列(x1',y1')、(x2',y2')、(x3',y3'),即目标变形网格a的三个顶点的坐标。根据当前处理网格A与目标变形网格a的顶点坐标,即可计算出两者之间的映射关系矩阵。
可选的,将第一顶点序列,以及第二顶点序列,共同输入至OPENCV组件中,即可得到当前处理网格A与目标变形网格a之间的映射关系矩阵。
S3110、根据所述映射关系矩阵,将所述当前处理网格中的各像素点映射至所述目标变形网格中,直至完成对全部原始网格的处理。
根据映射关系矩阵得到当前处理网格A中的各个像素点在目标变形网格a中的坐标值,从而可以实现将当前处理网格A中的各个像素点直接映射到目标变形网格a中。
可选的,在确定当前处理网格A中的各个像素点时,可以根据当前处理网格的第一顶点序列坐标,确定目标搜索区域,并在目标搜索区域内,搜索得到位于当前处理网格中的各像素点。具体的,首先根据当前处理网格的第一顶点序列坐标,确定完整覆盖当前处理网格的最小的外接矩形,作为目标搜索区域;然后使用外接矩形的两条相邻直角边建立参考坐标系,并在参考坐标系下,搜索得到位于当前处理网格中的各像素点;最后根据参考坐标系与图像坐标系之间的映射关系,以及当前处理网格中的各像素点在参考坐标系中的位置坐标,在图像坐标系中,确定出位于当前处理网格中的各像素点。
示例性的,如图9所示,图中的三角形网格为当前处理网格,第一顶点序列为(x1,y1)、(x2,y2)、(x3,y3),根据第一顶点序列,可以确定完整覆盖当前处理网格的最小的外接矩形ABCD,即目标搜索区域。其中,外接矩形的四个顶点坐标分别为:A点坐标:(min(x1,x2,x3),max(y1,y2,y3)),B点坐标:(min(x1,x2,x3),min(y1,y2,y3)),C点坐标:(max(x1,x2,x3),min(y1,y2,y3)),D点坐标:(max(x1,x2,x3),max(y1,y2,y3))。
可选的,为了方便确定外接矩形ABCD中的各个像素点是否是当前处理网格中的像素点,可以使用外接矩形的两条相邻直角边建立参考坐标系,如图9中的边BA和BC,然后在参考坐标系下,搜索得到位于当前处理网格中的各像素点的坐标值。由于映射关系矩阵反应的是,当前处理网格中的各个像素点在原始图像坐标系中的坐标值与调整后图像坐标系中的坐标值之间的映射关系,因此,还需要根据参考坐标系与原始图像坐标系之间的映射关系,将当前处理网格中的各像素点在参考坐标系下的坐标值,替换为在原始图像坐标系中的坐标值。进而可以根据映射关系矩阵,确定出当前处理网格中的各像素点映射到调整后图像坐标系中的坐标值。
可选的,将第一顶点序列,映射至参考坐标系中;根据映射结果,得到与当前处理网格匹配的三个边的表达式f1(x,y)、f2(x,y)以及f3(x,y);在参考坐标系下,遍历外接矩形中的各像素点;如果确定当前遍历点(xi,yi)满足:f1(xi,yi)*f2(xi,yi)*f3(xi,yi)<0,则将当前遍历点确定为当前处理网格中的一个像素点。
本实施例中,在根据参考坐标系搜索当前处理网格中的像素点时,先确定当前处理网格的各个顶点在参考坐标系中的坐标值,根据两两顶点坐标值,以及本领域的两点求直线的计算公式,可以分别得到当前处理网格的三个边的表达式f1(x,y)、f2(x,y)以及f3(x,y),然后遍历覆盖当前处理网格的目标搜索区域中的各个像素点(xi,yi),判断各像素点的坐标值是否满足f1(xi,yi)*f2(xi,yi)*f3(xi,yi)<0,如果满足,则确定该点是当前处理网格中的一个像素点,否则,认为该点不是当前处理网格中的一个像素点。
然后从剩余的原始网格中选择一个当作当前处理网格,重复上述过程,直到原始人脸图像中的所有原始网格都被处理完,得到调整后人脸图像为止。
在上述技术方案中,将原始网格中的各像素点映射至对应的目标变形网格中,得到调整后人脸图像,通过局部搜索对人脸图像中的三角形网格进行变形处理,并且不需要对人脸图像重新进行渲染即可得到目的人脸图像,提高了对人脸图像进行变形调整的速度,解决了利用定步长的全局搜索方法进行搜索,且需要对待调整的人脸图像重新进行渲染,从而导致无法对待调整的人脸图像进行实时快速处理的问题。
实施例四
图10是本发明实施例四提供的一种图像处理装置的模块结构示意图,本实施例可适用于解决例如视频直播之类的在线视频中人脸轮廓变形问题的情况,该装置可以采用软件和/或硬件的方式实现,并一般可集成在计算机设备中。如图10所示,该装置包括:原始人脸网格构建模块410、目标人脸网格构建模块420和人脸轮廓调整模块430,其中,
原始人脸网格构建模块410,用于识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;
目标人脸网格构建模块420,用于根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;
人脸轮廓调整模块430,用于根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像。
本发明实施例中,识别人脸图像得到人脸定位点之后,仅仅是对人脸定位点中包括的少量人脸轮廓定位点进行调整,具有调整数据量少,计算功耗低,系统响应快的有益效果;原始人脸网格是基于调整前的人脸定位点构建的,目标人脸网格是基于调整人脸轮廓定位点后的人脸定位点构建的,根据所述目标人脸网格与所述原始人脸网格的映射关系,对人脸图像中的像素进行调整,即实现对人脸轮廓的调整,实现了通过局部搜索对人脸网格进行变形处理,并且不需要对人脸图像重新进行渲染即可得到目的人脸图像,提高了对人脸图像进行变形调整的速度,适宜应用于视频直播之类的在线视频中。
进一步的,目标人脸网格构建模块420,包括:
目标人脸轮廓定位点确定单元,用于确定所述人脸轮廓定位点中不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点;
目标人脸轮廓定位点调整单元,用于根据所述人脸轮廓平滑规律调整所述目标人脸轮廓定位点。
进一步的,目标人脸轮廓定位点确定单元,具体用于将所述人脸轮廓定位点垂直投影至与人脸中轴线垂直的目标参考线上;在所述人脸轮廓定位点中依次获取一个人脸轮廓定位点作为当前人脸轮廓定位点;分别计算所述当前人脸轮廓定位点与前一个人脸轮廓定位点以及与后一个人脸轮廓定位点在所述目标参考线上的第一投影距离和第二投影距离;如果所述第一投影距离与所述第二投影距离不满足所述当前人脸轮廓定位点所在人脸侧的人脸轮廓平滑规律,则确定所述当前人脸轮廓定位点为不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点。
具体的,人脸左侧的人脸轮廓平滑规律包括:所述第一投影距离小于所述第二投影距离;人脸右侧的人脸轮廓平滑规律包括:所述第一投影距离大于所述第二投影距离。
进一步的,目标人脸轮廓定位点调整单元,具体用于根据所述目标参考线上至少三个与所述目标人脸轮廓定位点相邻的人脸轮廓定位点的投影位置,对所述目标人脸轮廓定位点进行调整。
进一步的,目标人脸网格构建模块420,具体用于如果所述人脸定位点中的人脸轮廓定位点的密集度满足预设条件,则对所述人脸轮廓定位点进行下采样处理,根据人脸轮廓平滑规律调整下采样后的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点。
进一步的,所述人脸网格为三角形网格;人脸轮廓调整模块430,具体用于依次获取所述原始人脸网格中的一个原始网格作为当前处理网格;在所述目标人脸网格中获取与所述当前处理网格匹配的目标变形网格;计算所述当前处理网格与所述目标变形网格之间的映射关系矩阵;根据所述映射关系矩阵,将所述当前处理网格中的各像素点映射至所述目标变形网格中,直至完成对全部原始网格的处理。
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
实施例五
图11是本发明实施例五提供的一种计算机设备的结构示意图,如图11所示,该计算机设备包括处理器50、存储器51、输入装置52和输出装置53;计算机设备中处理器50的数量可以是一个或多个,图11中以一个处理器50为例;计算机设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接,图11中以通过总线连接为例。
存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的图像处理方法对应的程序指令/模块(例如,附图10所示的图像处理装置中的原始人脸网格构建模块410、目标人脸网格构建模块420和人脸轮廓调整模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的图像处理方法。
存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种存储有计算机程序的计算机可读存储介质,计算机程序在由计算机处理器执行时用于执行一种图像处理方法,该方法包括:
识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;
根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;
根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像。
当然,本发明实施例所提供的存储有计算机程序的计算机可读存储介质,其计算机程序不限于如上的方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
值得注意的是,上述图像处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像处理方法,其特征在于,包括:
识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;
根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;
根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像;所述人脸网格为三角形网格;
所述根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,包括:
依次获取所述原始人脸网格中的一个原始网格作为当前处理网格;
在所述目标人脸网格中获取与所述当前处理网格匹配的目标变形网格;
计算所述当前处理网格与所述目标变形网格之间的映射关系矩阵;其中,根据当前处理网格与目标变形网格的顶点坐标,计算出两者之间的映射关系矩阵;
根据所述映射关系矩阵,将所述当前处理网格中的各像素点映射至所述目标变形网格中,直至完成对全部原始网格的处理,包括:
根据映射关系矩阵得到当前处理网格中的各个像素点在目标变形网格中的坐标值,以实现将当前处理网格中的各个像素点映射到目标变形网格中;
在确定当前处理网格中的各个像素点时,根据当前处理网格的第一顶点序列坐标,确定目标搜索区域,并在目标搜索区域内,搜索得到位于当前处理网格中的各像素点。
2.根据权利要求1所述的方法,其特征在于,根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,包括:
确定所述人脸轮廓定位点中不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点;
根据所述人脸轮廓平滑规律调整所述目标人脸轮廓定位点。
3.根据权利要求2所述的方法,其特征在于,确定所述人脸轮廓定位点中不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点,包括:
将所述人脸轮廓定位点垂直投影至与人脸中轴线垂直的目标参考线上;
在所述人脸轮廓定位点中依次获取一个人脸轮廓定位点作为当前人脸轮廓定位点;
分别计算所述当前人脸轮廓定位点与前一个人脸轮廓定位点以及与后一个人脸轮廓定位点在所述目标参考线上的第一投影距离和第二投影距离;
如果所述第一投影距离与所述第二投影距离不满足所述当前人脸轮廓定位点所在人脸侧的人脸轮廓平滑规律,则确定所述当前人脸轮廓定位点为不符合所述人脸轮廓平滑规律的目标人脸轮廓定位点。
4.根据权利要求3所述的方法,其特征在于,
人脸左侧的人脸轮廓平滑规律包括:所述第一投影距离小于所述第二投影距离;
人脸右侧的人脸轮廓平滑规律包括:所述第一投影距离大于所述第二投影距离。
5.根据权利要求3所述的方法,其特征在于,根据所述人脸轮廓平滑规律调整所述目标人脸轮廓定位点,包括:
根据所述目标参考线上至少三个与所述目标人脸轮廓定位点相邻的人脸轮廓定位点的投影位置,对所述目标人脸轮廓定位点进行调整。
6.根据权利要求1所述的方法,其特征在于,根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,包括:
如果所述人脸定位点中的人脸轮廓定位点的密集度满足预设条件,则对所述人脸轮廓定位点进行下采样处理;
根据人脸轮廓平滑规律调整下采样后的人脸轮廓定位点。
7.一种图像处理装置,其特征在于,包括:
原始人脸网格构建模块,用于识别人脸图像得到人脸定位点,并构建原始人脸网格,所述原始人脸网格的顶点至少包括所述人脸定位点;所述人脸网格为三角形网格;目标人脸网格构建模块,用于根据人脸轮廓平滑规律调整所述人脸定位点中的人脸轮廓定位点,并构建目标人脸网格,所述目标人脸网格的顶点至少包括调整后的人脸定位点;
人脸轮廓调整模块,用于根据所述目标人脸网格与所述原始人脸网格的映射关系,将原始人脸网格中的各像素点对应映射至所述目标人脸网格中,得到调整人脸轮廓后的人脸图像;
人脸轮廓调整模块,具体用于:
依次获取所述原始人脸网格中的一个原始网格作为当前处理网格;
在所述目标人脸网格中获取与所述当前处理网格匹配的目标变形网格;
计算所述当前处理网格与所述目标变形网格之间的映射关系矩阵;其中,根据当前处理网格与目标变形网格的顶点坐标,计算出两者之间的映射关系矩阵;
根据所述映射关系矩阵,将所述当前处理网格中的各像素点映射至所述目标变形网格中,直至完成对全部原始网格的处理;
根据映射关系矩阵得到当前处理网格中的各个像素点在目标变形网格中的坐标值,以实现将当前处理网格中的各个像素点映射到目标变形网格中;
在确定当前处理网格中的各个像素点时,根据当前处理网格的第一顶点序列坐标,确定目标搜索区域,并在目标搜索区域内,搜索得到位于当前处理网格中的各像素点。
8.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的图像处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的图像处理方法。
CN201911223213.XA 2019-12-03 2019-12-03 图像处理方法、装置、设备和介质 Active CN110910308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911223213.XA CN110910308B (zh) 2019-12-03 2019-12-03 图像处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911223213.XA CN110910308B (zh) 2019-12-03 2019-12-03 图像处理方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110910308A CN110910308A (zh) 2020-03-24
CN110910308B true CN110910308B (zh) 2024-03-05

Family

ID=69821729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911223213.XA Active CN110910308B (zh) 2019-12-03 2019-12-03 图像处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110910308B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462205B (zh) * 2020-03-30 2024-03-08 广州虎牙科技有限公司 图像数据的变形、直播方法、装置、电子设备和存储介质
CN112102198A (zh) * 2020-09-17 2020-12-18 广州虎牙科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112102374B (zh) * 2020-11-23 2021-03-12 北京蜜莱坞网络科技有限公司 图像处理方法、装置、电子设备及介质
CN114429656B (zh) * 2021-12-30 2023-01-13 苏州思英智能科技有限公司 人脸识别设备控制方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN105374055A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 图像处理方法及装置
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN109063560A (zh) * 2018-06-28 2018-12-21 北京微播视界科技有限公司 图像处理方法、装置、计算机可读存储介质和终端
CN109146808A (zh) * 2018-08-01 2019-01-04 成都品果科技有限公司 一种人像美型方法和系统
CN110119722A (zh) * 2019-05-17 2019-08-13 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110223218A (zh) * 2019-05-16 2019-09-10 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN105374055A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 图像处理方法及装置
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN109063560A (zh) * 2018-06-28 2018-12-21 北京微播视界科技有限公司 图像处理方法、装置、计算机可读存储介质和终端
CN109146808A (zh) * 2018-08-01 2019-01-04 成都品果科技有限公司 一种人像美型方法和系统
CN110223218A (zh) * 2019-05-16 2019-09-10 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN110119722A (zh) * 2019-05-17 2019-08-13 北京字节跳动网络技术有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
CN110910308A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110910308B (zh) 图像处理方法、装置、设备和介质
US20160328825A1 (en) Portrait deformation method and apparatus
WO2022012192A1 (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN110688947A (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110418146A (zh) 应用于直播场景的换脸方法、存储介质、电子设备及系统
US11935193B2 (en) Automated mesh generation
CN111652791A (zh) 人脸的替换显示、直播方法、装置、电子设备和存储介质
CN110766799A (zh) 虚拟对象的毛发处理方法及装置、电子设备、存储介质
CN111462205B (zh) 图像数据的变形、直播方法、装置、电子设备和存储介质
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN111652795A (zh) 脸型的调整、直播方法、装置、电子设备和存储介质
CN110554871B (zh) NinePatch图形描绘方法及装置、计算机可读存储介质
CN111652807B (zh) 眼部的调整、直播方法、装置、电子设备和存储介质
CN112507766B (zh) 人脸图像提取方法、存储介质及终端设备
CN111652025B (zh) 一种人脸的处理、直播方法、装置、电子设备和存储介质
CN107730577B (zh) 一种勾线渲染方法、装置、设备及介质
CN112465692A (zh) 图像处理方法、装置、设备及存储介质
CN111652794A (zh) 一种面部的调整、直播方法、装置、电子设备和存储介质
CN115731334A (zh) 模型纹理生成方法、装置、计算机设备和存储介质
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN114882562A (zh) 防止头部扭曲变形的图像处理方法及装置
WO2021197230A1 (zh) 三维头部模型的构建方法、装置、系统及存储介质
CN111652023B (zh) 嘴型的调整、直播方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant