CN109785228B - 图像处理方法、装置、存储介质和服务器 - Google Patents

图像处理方法、装置、存储介质和服务器 Download PDF

Info

Publication number
CN109785228B
CN109785228B CN201811638885.2A CN201811638885A CN109785228B CN 109785228 B CN109785228 B CN 109785228B CN 201811638885 A CN201811638885 A CN 201811638885A CN 109785228 B CN109785228 B CN 109785228B
Authority
CN
China
Prior art keywords
face image
face
skin color
image
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811638885.2A
Other languages
English (en)
Other versions
CN109785228A (zh
Inventor
宁华龙
程彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN201811638885.2A priority Critical patent/CN109785228B/zh
Publication of CN109785228A publication Critical patent/CN109785228A/zh
Application granted granted Critical
Publication of CN109785228B publication Critical patent/CN109785228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供一种图像处理方法、装置、存储介质和服务器,所述图像处理方法包括:对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;将所述第三人脸图像替换所述第一视频的第一人脸图像。本发明实现了替换的第三人脸图像仍保留被换人脸的肤色,使被换的人脸与身体其他部分的肤色基本一致,显得更加自然真实,换脸效果更好。

Description

图像处理方法、装置、存储介质和服务器
技术领域
本发明涉及图像处理技术领域,具体而言,本发明涉及一种图像处理方法、装置、存储介质和服务器。
背景技术
随着大众娱乐性质的APP的不断增多,具有美颜、萌脸、直播等功能的APP受到广大用户的青睐,例如美图秀秀、脸萌、快手、抖音、演技拍等APP。这些APP以图像或视频为载体,通过图像视频处理算法改变人的容貌(例如大眼、廋脸、磨皮、美白)、表情,添加有趣的元素或特效等,以达到唯美、复古、夸张、搞笑、酷炫等用户所需的效果。视频换脸也属于这一类应用。
现有的视频换脸,通常将需要替换的人脸直接叠加在被换人脸上,进行简单的轮廓对齐,这种方案中被换的人脸与其他部分存在较大差异,显得比较突兀,换脸的效果较差。
发明内容
本发明的目的旨在提供一种图像处理方法,以解决当前视频换脸时,只简单的人脸轮廓对齐,使被换的人脸与身体其他部分存在较大差异,换脸效果差的问题。
本发明提供的一种图像处理方法,包括:
对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;
获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;
将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;
将所述第三人脸图像替换所述第一视频的第一人脸图像。
在一实施例中,所述获取所述第一人脸图像和第二人脸图像之间的肤色差值的步骤,包括:
将所述第一人脸图像和第二人脸图像分别进行模糊处理,得到第一人脸模糊图和第二人脸模糊图;
将所述第一人脸模糊图与第二人脸模糊图作差,得到肤色差值。
在一实施例中,所述将所述第一人脸模糊图与第二人脸模糊图作差的步骤,包括如下公式:
offset(i,j)=srcblurcolor(i,j)-swapfaceblurcolor(i,j);
其中,所述(i,j)为第i行第j列的像素点,所述offset(i,j)为肤色差值,所述srcblurcolor(i,j)为第一人脸模糊图肤色,所述swapfaceblurcolor(i,j)为第二人脸模糊图肤色。
在一实施例中,所述将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤,包括:
获取一个遮罩;
利用遮罩对第一人脸图像进行采样,得到第一人脸图像的权重;
根据所述权重将第一人脸图像和第三人脸图像进行融合。
在一实施例中,所述根据所述权重将第一人脸图像和第三人脸图像进行融合的步骤,包括如下公式:
Kes(i,j)=
(1-k*maskweight(i,j))*srcfacecolor(i,j)+k*maskweight(i,j)*kes(i,j);
其中,Kes(i,j)为经过融合处理后的第三人脸图像肤色,k为调节参数,所述maskweight(i,j)为第一人脸图像的权重,srcfacecolor(i,j)为第一人脸图像肤色,kes(i,j)为经过肤色差值补偿后的第三人脸图像肤色。
进一步地,所述将所述第三人脸图像替换所述第一视频的第一人脸图像之前,还包括:
根据肤色阈值对第三人脸图像的肤色进行肤色限定,将所述第三人脸图像的肤色限定在所述肤色阈值的区间内。
在一实施例中,,所述根据肤色阈值对第三人脸图像的肤色进行肤色限定的步骤,包括如下公式:
kes(i,j)’=clamp(kes(i,j),0,1);
其中,kes(i,j)’为肤色限定处理后的第三人脸图像的肤色,kes(i,j)为经过肤色差值补偿后的第三人脸图像的肤色,0,1为肤色阈值。
在一实施例中,所述将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤,包括:
获取第一人脸图像的关键特征点;
根据所述关键特征点建立三角网格;
利用所述三角网格的顶点将第三人脸图像映射至第一视频的第一人脸图像上。
在一实施例中,,在获取所述第一人脸图像和第二人脸图像之间的肤色差值的步骤之前,还包括:
对第二视频的人脸图像进行识别和提取,得到所述替换人脸的第二人脸图像。
本发明提供的一种图像处理装置,包括:
识别模块,用于对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;
获取模块,用于获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;
补偿模块,用于将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;
替换模块,用于将所述第三人脸图像替换所述第一视频的第一人脸图像。
本发明提供的一种存储介质,其上存储有计算机程序,
所述计算机程序被处理器执行时实现上述任意一项技术方案所述的图像处理方法。
本发明提供一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项技术方案所述的图像处理方法。
相对于现有技术,本发明具有以下优势:
本发明提供的图像处理方法、装置、存储介质和服务器,通过识别和提取出视频中的人脸图像,得到被换人脸的第一人脸图像;然后将第一人脸图像和替换人脸的第二人脸图像进行肤色差值计算,得到两者之间的肤色差值;接着将所述肤色差值补偿至第二人脸图像,得到替换第一人脸图像的第三人脸图像,从而使第三人脸图像仍保留被换人脸的肤色,使被换的人脸与身体其他部分的肤色基本一致,显得更加自然真实,换脸效果更好。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明图像处理方法一种实施例的流程示意图;
图2为本发明一个实施例提供的将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤的流程示意图;
图3为本发明一个实施例提供的获取所述第一人脸图像和第二人脸图像之间的肤色差值的步骤的流程示意图;
图4为本发明图像处理装置一种实施例的模块框图;
图5为本发明一个实施例的服务器的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
在一个实施例中,如图1所示,本实施例中提出了一种图像处理方法,以解决当前视频换脸时,只简单地进行人脸轮廓对齐,使被换的人脸与身体其他部分存在较大差异,换脸效果差的问题。所述图像处理方法包括如下步骤:
S11、对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;
本步骤中,人脸图像的获取可以是用户在录制视频或直播时,通过终端的摄像头实时采集视频帧,然后利用人脸检测方法识别视频帧中是否存在人脸图像,若存在,则提取出该人脸图像,从而得到被换人脸的第一人脸图像。
S13、获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;
在获取第一人脸图像和第二人脸图像之后,分别提取出第一人脸图像和第二人脸图像的肤色参数,可通过对第一人脸图像和第二人脸图像的肤色参数进行作差,得到两者之间的肤色差值。其中,第二人脸图像可以从本地图库或视频中获取,也可以与第一人脸图像的获取方式一样,从第一视频中得到。
S15、将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;
本步骤将肤色差值补偿至第二人脸图像,得到第三人脸图像,使所述第三人脸图像的肤色与被换人脸的第一人脸图像肤色保持一致。
S17、将所述第三人脸图像替换所述第一视频的第一人脸图像。
本发明实施例提供的图像处理方法,通过识别和提取出视频中的人脸图像,得到被换人脸的第一人脸图像;然后将第一人脸图像和替换人脸的第二人脸图像进行肤色差值计算,得到两者之间的肤色差值;接着将所述肤色差值补偿至第二人脸图像,得到替换第一人脸图像的第三人脸图像,从而使第三人脸图像在具备替换人的纹理的同时,仍保留被换人脸的肤色,使被换的人脸与身体其他部分的肤色基本一致,显得更加自然真实,换脸效果更好。
为了更加清晰本发明实施例的技术方案及其技术效果,下面结合附图对图像处理方法的实施例做进一步阐述。
可选地,步骤S13的获取所述第一人脸图像和第二人脸图像之间的肤色差值之前,还可包括:
S12、对第二视频的人脸图像进行识别和提取,得到所述替换人脸的第二人脸图像。
本实施例的第一人脸图像和第二人脸图像可以分别从不同的视频中进行识别和提取,实现两个视频上人脸图像的换脸。
例如,直播时,可从第一直播间中提取被换人脸的第一主播的人脸图像,得到第一人脸图像;从第二直播间中提取替换人脸的第二主播的人脸图像,得到第二人脸图像,然后获取两个人脸图像的肤色差值,将肤色差值补偿至第二主播的第二人脸图像上,得到第三人脸图像,最后将该第三人脸图像替换第一主播的人脸图像,观众在观看这两个直播间的直播时,会产生两个长相相同主播的错觉,从而丰富直播互动的玩法,提高直播效果。
当然,在其他实施例中,还可实现两个主播的人脸进行互换,换脸的原理与上述相同,在此不再赘述。
在一实施例中,当所述第二人脸图像也从第一视频中获取时,则可实现在同一个视频的换脸。
例如,可通过将第二人脸图像的肤色与第一人脸图像的肤色进行作差后,得到肤色差值,将肤色差值补偿至第二人脸图像中,得到第三人脸图像,最后用第三人脸图像替换第一人脸图像,从而在同一个视频中出现两张相同的人脸。
当然,在其他实施例中,还可实现同一视频中两个或多个人脸进行互换,换脸的原理与上述相同,在此不再赘述。
在一实施例中,如图2所示,步骤S17中的将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤,可具体包括:
S171、获取第一人脸图像的关键特征点;
在本实施例中,在获取第一人脸图像后,可对第一人脸图像的关键特征点进行提取,如人脸中的眼睛、鼻子、额头等关键特征点。
S172、根据所述关键特征点建立三角网格;
本实施例基于所述关键特征点建立三角网格,从而获取到各个特征点的相对位置关系,所述相对位置关系可根据人脸图像的各个特征点的坐标值进行计算得到。
S173、利用所述三角网格的顶点将第三人脸图像映射至第一视频的第一人脸图像上。
在本实施例中,第三人脸图像的替换基于所述三角网格的建立,利用三角网格的顶点的位置关系,将第三人脸图像映射至第一视频的第一人脸图像上,从而保证替换的人脸与被换人脸的对齐,使被换人脸后的图像显得更加自然真实。
在一实施例中,如图3所示,步骤S13的获取所述第一人脸图像和第二人脸图像之间的肤色差值的步骤,可包括:
S131、将所述第一人脸图像和第二人脸图像分别进行模糊处理,得到第一人脸模糊图和第二人脸模糊图;
S132、将所述第一人脸模糊图与第二人脸模糊图作差,得到肤色差值。
计算第一人脸图像和第二人脸图像之间的肤色差值时,从视频或图片直接获取的人脸图像中含有较多的影响因素,如受到光照的影响,而影响肤色的真实值。因此,本实施例可通过将第一人脸图像和第二人脸图像都进行均值模糊(BoxBlur)模糊处理,以滤除人脸图像中的高频部分并只保留低频部分,从而使计算得到的肤色差值更准确,提高换脸后的效果。
对于所述将所述第一人脸模糊图与第二人脸模糊图作差的步骤,可采用如下公式进行计算:
offset(i,j)=srcblurcolor(i,j)-swapfaceblurcolor(i,j);
其中,所述(i,j)为第i行第j列的像素点,所述offset(i,j)为肤色差值,所述srcblurcolor(i,j)为第一人脸模糊图肤色,所述swapfaceblurcolor(i,j)为第二人脸模糊图肤色。
本实施例可对第一人脸模糊图与第二人脸模糊图每一对应像素点的肤色进行差值计算,然后对第二人脸图像的每一像素点进行肤色差值补偿,从而使替换的人脸图像的肤色更接近被换人的人脸肤色。
在一实施例中,步骤S17中,所述将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤,可具体包括:
(1)获取一个遮罩;
(2)利用遮罩对第一人脸图像进行采样,得到第一人脸图像的权重;
(3)根据所述权重将第一人脸图像和第三人脸图像进行融合。
本实施例根据获取的遮罩(mask),将遮罩映射在需要被换的第一人脸图像上,以利用遮罩对第一人脸图像进行采样,获取第一人脸图像每一个像素点的权重,然后将第一人脸图像和第三人脸图像进行带权重的融合,从而将第一视频的第一人脸图像替换成第三人脸图像,因融合时采用了被换人的第一人脸图像的权重,使融合后的人脸图像的肤色更真实地接近被换人的肤色。
对于所述根据所述权重将第一人脸图像和第三人脸图像进行融合的步骤,可以采用如下公式进行:
Kes(i,j)=
(1-k*maskweight(i,j))*srcfacecolor(i,j)+k*maskweight(i,j)*kes(i,j);
其中,Kes(i,j)为经过融合处理后的第三人脸图像肤色,k为调节参数,所述maskweight(i,j)为第一人脸图像的权重,srcfacecolor(i,j)为第一人脸图像肤色,kes(i,j)为经过肤色差值补偿后的第三人脸图像肤色。
本实施例利用第一人脸图像的权重,并通过相应的调节参数,使经过融合处理后的第三人脸图像肤色更接近被换人的肤色,换脸效果更好。
进一步地,步骤S17的所述将所述第三人脸图像替换所述第一视频的第一人脸图像之前,还可包括:
S16、根据肤色阈值对第三人脸图像的肤色进行肤色限定,将所述第三人脸图像的肤色限定在所述肤色阈值的区间内。
本实施例对肤色补偿后的第三人脸图像进行肤色限定,使第三人脸图像的肤色限定在一定阈值内,避免肤色补偿后的第三人脸部分区域内的肤色过高或过低而显得突兀。
具体的,可获取肤色补偿后的第三人脸图像,利用遮罩对第三人脸图像进行采样,得到第三人脸图像中每个像素点权重,然后将每个像素点权重限定在一定阈值内,从而实现对第三人脸图像的肤色限定。
可选地,步骤S16中的根据肤色阈值对第三人脸图像的肤色进行肤色限定的步骤,可以采用如下公式进行计算:
kes(i,j)’=clamp(kes(i,j),0,1);
其中,kes(i,j)’为肤色限定处理后的第三人脸图像的肤色,kes(i,j)为经过肤色差值补偿后的第三人脸图像的肤色,0,1为肤色阈值。
本实施例中,当第三人脸图像的肤色的权重大于1时,则设置为1;当第三人脸图像的肤色的权重小于0时,则设置为0,使第三人脸图像的肤色的权重限定在0至1之间,避免人脸部分区域肤色权重过高或过低而使第三人脸图像显得突兀,影响换脸效果。
请参考图4,本发明的实施例还提供了一种图像处理装置,一种本实施例中,包括识别模块41、获取模块42、补偿模块43和替换模块44;其中,
识别模块41,用于对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;
人脸图像的获取可以是用户在录制视频或直播时,通过终端的摄像头实时采集视频帧,然后利用人脸检测方法识别视频帧中是否存在人脸图像,若存在,则提取出该人脸图像,从而得到被换人脸的第一人脸图像。
获取模块42,用于获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;
获取第一人脸图像和第二人脸图像之后,分别提取出第一人脸图像和第二人脸图像的肤色,可通过对第一人脸图像和第二人脸图像的肤色作差,得到两者之间的肤色差值。其中,第二人脸图像可以从本地图库或视频中获取,也可以与第一人脸图像的获取方式一样,从第一视频中得到。
补偿模块43,用于将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;
该补偿模块43可将肤色差值补偿值至第二人脸图像,得到第三人脸图像,使所述第三人脸图像的肤色与被换人脸的第一人脸图像肤色保持一致。
替换模块44,用于将所述第三人脸图像替换所述第一视频的第一人脸图像。
本发明实施例提供的图像处理装置,通过识别和提取出视频中的人脸图像,得到被换人脸的第一人脸图像;然后将第一人脸图像和替换人脸的第二人脸图像进行肤色差值计算,得到两者之间的肤色差值;接着将所述肤色差值补偿至第二人脸图像,得到替换第一人脸图像的第三人脸图像,从而使第三人脸图像在具备替换人的纹理的同时,仍保留被换人脸的肤色,使被换的人脸与身体其他部分的肤色基本一致,显得更加自然真实,换脸效果更好。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明提供的一种存储介质,其上存储有计算机程序,
所述计算机程序被处理器执行时实现上述任意一项技术方案所述的图像处理方法。
其中,所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器,磁盘或光盘等。
如图5所示,本发明还提供了一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项技术方案所述的图像处理方法。
图5为本发明服务器的结构示意图,包括处理器520、存储装置530、输入单元540以及显示单元510等器件。本领域技术人员可以理解,图5示出的结构器件并不构成对所有服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件。存储装置530可用于存储应用程序510以及各功能模块,处理器520运行存储在存储装置530的应用程序510,从而执行设备的各种功能应用以及数据处理。存储装置530可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储装置包括但不限于这些类型的存储装置。本发明所公开的存储装置530只作为例子而非作为限定。
输入单元540用于接收信号的输入,以及用户输入的访问请求。输入单元540可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元510可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元510可采用液晶显示器、有机发光二极管等形式。处理器520是计算机设备的控制中心,利用各种接口和线路连接整个电脑的各个部分,通过运行或执行存储在存储装置530内的软件程序和/或模块,以及调用存储在存储装置内的数据,执行各种功能和处理数据。
在一实施方式中,服务器包括一个或多个处理器520,以及一个或多个存储装置530,一个或多个应用程序510,其中所述一个或多个应用程序510被存储在存储装置530中并被配置为由所述一个或多个处理器520执行,所述一个或多个应用程序510配置用于执行以上实施例所述的图像处理方法。
综合上述实施例,本发明的最大有益效果在于:
本发明实施例提供的图像处理方法、装置、存储介质和服务器,通过识别和提取出视频中的人脸图像,得到被换人脸的第一人脸图像;然后将第一人脸图像和替换人脸的第二人脸图像进行肤色差值计算,得到两者之间的肤色差值;接着将所述肤色差值补偿至第二人脸图像,得到替换第一人脸图像的第三人脸图像,从而使第三人脸图像在具备替换人的纹理的同时,仍保留被换人脸的肤色,使被换的人脸与身体其他部分的肤色基本一致,显得更加自然真实,换脸效果更好。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像处理方法,应用于直播领域,其特征在于,包括:
对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;
获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;
将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;
根据肤色阈值对第三人脸图像的肤色进行肤色限定,将所述第三人脸图像的肤色限定在所述肤色阈值的区间内;包括:利用遮罩对所述第三人脸图像进行采样,得到第三人脸图像中每个像素点权重,将每个像素点权重限定在所述肤色阈值的区间内;将限定在所述肤色阈值的区间内的所述第三人脸图像替换所述第一视频的第一人脸图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述获取所述第一人脸图像和第二人脸图像之间的肤色差值的步骤,包括:
将所述第一人脸图像和第二人脸图像分别进行模糊处理,得到第一人脸模糊图和第二人脸模糊图;
将所述第一人脸模糊图与第二人脸模糊图作差,得到肤色差值。
3.根据权利要求2所述的图像处理方法,其特征在于,所述将所述第一人脸模糊图与第二人脸模糊图作差的步骤,包括如下公式:
offset(i,j)=srcblurcolor(i,j)-swapfaceblurcolor(i,j);
其中,所述(i,j)为第i行第j列的像素点,所述offset(i,j)为肤色差值,所述srcblurcolor(i,j)为第一人脸模糊图肤色,所述swapfaceblurcolor(i,j)为第二人脸模糊图肤色。
4.根据权利要求1所述的图像处理方法,其特征在于,所述将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤,包括:
获取一个遮罩;
利用遮罩对第一人脸图像进行采样,得到第一人脸图像的权重;
根据所述权重将第一人脸图像和第三人脸图像进行融合。
5.根据权利要求4所述的图像处理方法,其特征在于,所述根据所述权重将第一人脸图像和第三人脸图像进行融合的步骤,包括如下公式:
Kes(i,j)=(1-k*maskweight(i,j))*srcfacecolor(i,j)+k*maskweight(i,j)*kes(i,j);
其中,Kes(i,j)为经过融合处理后的第三人脸图像肤色,k为调节参数,所述maskweight(i,j)为第一人脸图像的权重,srcfacecolor(i,j)为第一人脸图像肤色,kes(i,j)为经过肤色差值补偿后的第三人脸图像肤色。
6.根据权利要求1所述的图像处理方法,其特征在于,所述根据肤色阈值对第三人脸图像的肤色进行肤色限定的步骤,包括如下公式:
kes(i,j)’=clamp(kes(i,j),0,1);
其中,kes(i,j)’为肤色限定处理后的第三人脸图像的肤色,kes(i,j)为经过肤色差值补偿后的第三人脸图像的肤色,0,1为肤色阈值。
7.根据权利要求1所述的图像处理方法,其特征在于,所述将所述第三人脸图像替换所述第一视频的第一人脸图像的步骤,包括:
获取第一人脸图像的关键特征点;
根据所述关键特征点建立三角网格;
利用所述三角网格的顶点将第三人脸图像映射至第一视频的第一人脸图像上。
8.根据权利要求1所述的图像处理方法,其特征在于,在获取所述第一人脸图像和第二人脸图像之间的肤色差值的步骤之前,还包括:
对第二视频的人脸图像进行识别和提取,得到所述替换人脸的第二人脸图像。
9.一种图像处理装置,应用于直播领域,其特征在于,包括:
识别模块,用于对第一视频的人脸图像进行识别和提取,得到被换人脸的第一人脸图像;
获取模块,用于获取所述第一人脸图像和第二人脸图像之间的肤色差值;其中,所述第二人脸图像是替换人脸的图像;
补偿模块,用于将所述肤色差值补偿至所述第二人脸图像,得到肤色补偿的第三人脸图像;根据肤色阈值对第三人脸图像的肤色进行肤色限定,将所述第三人脸图像的肤色限定在所述肤色阈值的区间内;包括:利用遮罩对所述第三人脸图像进行采样,得到第三人脸图像中每个像素点权重,将每个像素点权重限定在所述肤色阈值的区间内;
替换模块,用于将限定在所述肤色阈值的区间内的所述第三人脸图像替换所述第一视频的第一人脸图像。
10.一种存储介质,其上存储有计算机程序,其特征在于:
所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的图像处理方法。
11.一种服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至8中任意一项所述的图像处理方法。
CN201811638885.2A 2018-12-29 2018-12-29 图像处理方法、装置、存储介质和服务器 Active CN109785228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811638885.2A CN109785228B (zh) 2018-12-29 2018-12-29 图像处理方法、装置、存储介质和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811638885.2A CN109785228B (zh) 2018-12-29 2018-12-29 图像处理方法、装置、存储介质和服务器

Publications (2)

Publication Number Publication Date
CN109785228A CN109785228A (zh) 2019-05-21
CN109785228B true CN109785228B (zh) 2021-03-16

Family

ID=66499064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811638885.2A Active CN109785228B (zh) 2018-12-29 2018-12-29 图像处理方法、装置、存储介质和服务器

Country Status (1)

Country Link
CN (1) CN109785228B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652791B (zh) * 2019-06-26 2024-03-08 广州虎牙科技有限公司 人脸的替换显示、直播方法、装置、电子设备和存储介质
CN110838084B (zh) * 2019-09-24 2023-10-17 咪咕文化科技有限公司 一种图像的风格转移方法、装置、电子设备及存储介质
CN111063008A (zh) * 2019-12-23 2020-04-24 北京达佳互联信息技术有限公司 一种图像处理方法、装置、设备及存储介质
CN111274602B (zh) * 2020-01-15 2022-11-18 腾讯科技(深圳)有限公司 一种图像特征信息替换方法、装置、设备及介质
CN111627076B (zh) * 2020-04-28 2023-09-19 广州方硅信息技术有限公司 换脸方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744174A (zh) * 2016-02-15 2016-07-06 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290661A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
CN106709886B (zh) * 2017-01-04 2019-09-27 竹间智能科技(上海)有限公司 自动修图方法及装置
CN107146199B (zh) * 2017-05-02 2020-01-17 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN107993216B (zh) * 2017-11-22 2022-12-20 腾讯科技(深圳)有限公司 一种图像融合方法及其设备、存储介质、终端
CN108665408A (zh) * 2018-05-21 2018-10-16 北京微播视界科技有限公司 肤色调整方法、装置和电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744174A (zh) * 2016-02-15 2016-07-06 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端

Also Published As

Publication number Publication date
CN109785228A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109785228B (zh) 图像处理方法、装置、存储介质和服务器
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
CN107818305B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US10109056B2 (en) Method for calibration free gaze tracking using low cost camera
CN105469379B (zh) 视频目标区域遮挡方法和装置
CN107408205A (zh) 用红外成像区分前景和背景
CN112884637A (zh) 特效生成方法、装置、设备及存储介质
CN103607554A (zh) 一种基于全自动人脸无缝合成的视频合成方法
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN111862866B (zh) 图像显示方法、装置、设备及计算机可读存储介质
CN105678714B (zh) 一种图像处理方法和装置
CN113160244B (zh) 视频处理方法、装置、电子设备及存储介质
Lee et al. Correction of the overexposed region in digital color image
CN107808372B (zh) 图像穿越处理方法、装置、计算设备及计算机存储介质
CN114187166A (zh) 图像处理方法、智能终端及存储介质
CN105931204A (zh) 图片还原方法及系统
CN107692701A (zh) 一种智能镜子的显示方法及装置
CN113240760B (zh) 一种图像处理方法、装置、计算机设备和存储介质
JP4323910B2 (ja) 画像合成装置及び方法
CN108010038B (zh) 基于自适应阈值分割的直播服饰装扮方法及装置
CN109978795A (zh) 一种面部跟踪分屏试妆方法及系统
CN113379623B (zh) 图像处理方法、装置、电子设备及存储介质
CN111178271B (zh) 一种人脸图像特征增强方法、人脸识别方法及电子设备
CN112822393B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210118

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 29 floor, block B-1, Wanda Plaza, Huambo business district, Panyu District, Guangzhou, Guangdong.

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190521

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000052

Denomination of invention: Image processing method, apparatus, storage medium and server

License type: Common License

Record date: 20210222

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant