CN109754375A - 图像处理方法、系统、计算机设备、存储介质和终端 - Google Patents

图像处理方法、系统、计算机设备、存储介质和终端 Download PDF

Info

Publication number
CN109754375A
CN109754375A CN201811593089.1A CN201811593089A CN109754375A CN 109754375 A CN109754375 A CN 109754375A CN 201811593089 A CN201811593089 A CN 201811593089A CN 109754375 A CN109754375 A CN 109754375A
Authority
CN
China
Prior art keywords
color
image processing
image
target area
color table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811593089.1A
Other languages
English (en)
Other versions
CN109754375B (zh
Inventor
宁华龙
程彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201811593089.1A priority Critical patent/CN109754375B/zh
Publication of CN109754375A publication Critical patent/CN109754375A/zh
Application granted granted Critical
Publication of CN109754375B publication Critical patent/CN109754375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种图像处理方法、系统、计算机设备、存储介质和终端,所述方法包括:获取直播视频的各帧图片帧,根据图片帧的特征信息确定待处理的目标区域;根据目标区域确定需要的图像处理类型,根据图像处理类型获取对应的颜色参数;将颜色参数映射到图片帧的目标区域上,对目标区域进行相应处理。上述图像处理方法,通过颜色参数对目标区域进行映射,通过映射的方式可以对目标区域进行精确调色,完成改变颜色的图像处理,调色的准确性高;且以目标区域的图片帧作为调色图像处理的对象,处理效果与图片帧匹配,避免图像处理效果后出现明显分层的现象,上述图像处理方法的图像处理效果自然真实。

Description

图像处理方法、系统、计算机设备、存储介质和终端
技术领域
本发明涉及图像处理技术领域,具体而言,本发明涉及一种图像处理方法、图像处理系统、计算机设备、存储介质和终端。
背景技术
在直播、视频处理等领域中,需要用到图像处理技术,随着大众审美要求的提高,人们往往希望通过图像处理方法对图像中局部加入特殊效果,从而对图像进行美化。以人脸美妆为例,包括唇色、腮红、眉色、眼线、眼影等美化。
目前,在人脸美妆等图像处理方面,采用的图像处理技术一般根据需要的特殊效果,将已制作完成的模板图片贴覆在原图像局部区域,但是由于模板图片的特征固定,会与该局部区域原有的特征之间存在相冲突的情况,使得贴覆后的模板图片与该局部区域之间存在明显的分层,效果较差。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一,特别是图像处理区域存在明显的分层,图像处理效果较差的技术缺陷。
本发明提供一种图像处理方法,包括如下步骤:
获取直播视频的各帧图片帧,根据所述图片帧的特征信息确定待处理的目标区域;
根据所述目标区域确定需要的图像处理类型,根据所述图像处理类型获取对应的颜色参数;
将所述颜色参数映射到所述目标区域上,对所述图片帧的目标区域进行相应处理。
在一个实施例中,所述图片帧的特征信息包括所述图片帧的特征点,所述根据所述图片帧的特征信息确定待处理的目标区域的步骤,包括:
根据所述图片帧的特征点获取姿态估计矩阵;根据所述姿态估计矩阵获取处理区域;从所述处理区域中确定所述图像处理类型对应的所述目标区域。
在一个实施例中,所述颜色参数包括调色色表,所述将所述颜色参数映射到所述目标区域上的步骤,包括:
获取所述调色色表对应的基础色表;根据所述调色色表与所述基础色表获取所述图像处理类型的映射关系;根据所述映射关系对所述目标区域进行映射,获得目标图像。
在一个实施例中,所述颜色参数包括所述调色色表,在所述根据所述图像处理类型获取对应的颜色参数的步骤之前,还包括:
获取样本图像数据和存储压缩色域的基础色表;对所述样本图像数据进行图像处理至处理后的样本图像数据达到所述图像处理类型的图像处理效果;对所述基础色表进行相同的所述图像处理,将所述图像处理后的基础色表作为所述调色色表。
在一个实施例中,所述图像处理类型包括调色处理类型,所述颜色参数包括调色色表,所述根据所述图像处理类型获取对应的颜色参数的步骤,包括:
根据所述调色处理类型获取待选颜色;从待选颜色中获取目标颜色;获取所述目标颜色对应的调色色表。
在一个实施例中,在所述获取所述目标颜色对应的调色色表的步骤之前,还包括:
获取样本图像数据和压缩色域的基础色表;通过图像处理将所述样本图像数据对应图像的平均颜色映射为所述目标颜色;对所述基础色表进行相同的所述图像处理,将所述图像处理后的基础色表作为所述调色色表。
在一个实施例中,所述对所述基础色表进行相同的所述图像处理,将所述图像处理后的基础色表作为所述调色色表的步骤,包括:
以图像的格式存储所述基础色表,获得基础色表图像;对所述基础色表进行相同的所述图像处理,获得调色色表图像;将所述调色色表图像作为所述调色色表。
在一个实施例中,所述根据所述映射关系对所述目标区域进行映射,获得目标图像的步骤,包括:
根据所述图片帧和所述目标区域设置遮罩,其中,所述遮罩用于显示所述图片帧在目标区域的局部图像;根据所述映射关系对所述局部图像进行映射,得到所述目标区域的映射图像;使用所述映射图像覆盖所述图片帧中的所述局部图像,得到所述目标图像。
本发明还提供一种图像处理系统,包括:
目标区域确定模块,用于获取直播视频的各帧图片帧,根据所述图片帧的特征信息确定待处理的目标区域;
颜色参数获取模块,用于根据所述目标区域确定需要的图像处理类型,根据所述图像处理类型获取对应的颜色参数;
颜色参数映射模块,用于将所述颜色参数映射到所述目标区域上,对所述图片帧的目标区域进行相应处理。
本发明还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如任一实施例所述图像处理方法的步骤。
本发明还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行任一实施例所述图像处理方法的步骤。
本发明还提供一种终端,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行任一实施例所述的图像处理方法。
上述的图像处理方法、系统、计算机设备、存储介质和终端,通过颜色参数对目标区域进行映射,通过映射的方式可以对目标区域进行精确调色,完成改变颜色的图像处理,调色的准确性高。且以目标区域的图片帧作为调色图像处理的对象,处理效果与图片帧匹配,避免图像处理效果后出现明显分层的现象,上述图像处理方法的图像处理效果自然真实。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为一个实施例中图像处理方法的流程图;
图2为一个实施例中获取调色色表的流程图;
图3为人脸上妆方法的应用环境示意图;
图4为人脸上妆方法的流程图;
图5为一个实施例中图像处理系统的结构示意图;
图6为一个实施例中计算机设备的内部结构示意图;
图7为一个实施例中终端的内部结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、MID(Mobile InternetDevice,移动互联网设备)、智能电视、机顶盒等。
本发明实施例中图像处理方法,特别适用于直播视频中人脸美妆的场景,一般可以在直播场景、视频处理等场景中结合使用,对局部的图像进行图像处理。
在一个实施例中,如图1所示,图1为一个实施例中图像处理方法的流程图,可以包括以下步骤:
步骤S110:获取直播视频的各帧图片帧,根据图片帧的特征信息确定待处理的目标区域。
本步骤中,可以通过提取图片帧中的特征信息,获取所述特征信息与特定对象之间的对应关系,在该对应关系下从图片帧中识别特定对象,从而确定特定对象在图片帧中的目标区域。
以直播视频为例,可以获取客户端的直播视频,实时提取直播视频中的各帧图片帧,并对各帧图片帧进行处理,根据特征信息识别在直播视频中的特定对象,在后续步骤中可以对该特定对象在图片帧中的目标区域进行图像处理。
客户端的直播视频可以是从主播的客户端直接采集的视频,此时可以通过客户端执行图像处理方法;也可以是主播的客户端产生并上传的直播视频,此时也可以通过服务器或观众用户的客户端执行图像处理方法的流程。
比如人脸美妆,对人脸局部区域美化,则根据主播所在客户端所生成的直播视频的视频流,实时提取视频流中直播视频的各帧图片帧,并且实时可以通过人脸标定算法获取图片帧中人脸的特征点,根据人脸的特征点识别图片帧中的人脸,再根据特征点与人脸各部位的联系,识别人脸的各个部位,如果图像处理类型是美妆中的画口红,则识别人脸中的嘴唇并将其作为目标区域。
在一个实施例中,对于步骤S110中根据图片帧的特征信息确定需要进行图像处理的目标区域的步骤,可以包括:
a、根据图片帧的特征点获取姿态估计矩阵;其中图片帧的特征信息包括图片帧的特征点;
b、根据姿态估计矩阵获取处理区域;
c、从处理区域中确定图像处理类型对应的目标区域。
上述确定图像处理的目标区域方法,结合识别技术,根据特定对象的属性与图片帧中的特征点之间的关联关系,建立起该特定对象的姿态估计矩阵,识别特定对象;再根据姿态估计矩阵得到特定对象在图片帧中的处理区域,将特定对象从图片帧中所在区域识别出来;最后根据图像处理类型确定特定对象中需要进行图像处理的目标区域。此时,从原图、特征点、对象到对象局部的目标区域进行确定,可以逐步细化和精确确定需要处理的目标区域。
步骤S120:根据目标区域确定需要的图像处理类型,根据图像处理类型获取对应的颜色参数。
本步骤中,图像处理类型需要与目标区域匹配,获取适用于图像处理类型的颜色参数,该颜色参数在目标区域进行映射后,可以达到该图像处理类型的效果。
由于目标区域中的特定对象具有特定属性,使用目标区域匹配的图像处理类型可以使得图像处理效果更加自然。
上述图像处理类型可以是目标区域的特定对象所需要进行图像处理的类型,该图像处理类型的效果可以直观地表现出图像颜色的改变,比如主要的效果有改变图像的颜色、色彩饱和度、色彩对比度、色偏、色调、光暗、鲜艳度、曝光、阴影、黑点值、光暗对比度、亮度等一种或多种组合。
对于图像处理类型,应用在人脸对象的美妆场景下,可以包括唇色处理、腮红处理、眉色处理、眼线处理、眼影处理、美瞳处理等。另外,应用在对背景调整的场景下,可以包括背景色调处理、背景阴影处理等。
步骤S130:将颜色参数映射到目标区域上,对图片帧的目标区域进行相应处理。
本步骤中,根据对目标区域的图片帧中进行颜色参数的颜色变化关系对应的变换,即为将颜色参数映射到目标区域上,实现对目标区域进行该图像处理类型对应的图像处理。
上述图像处理方法,通过颜色参数对目标区域进行映射,通过映射的方式可以对目标区域进行精确调色,完成改变颜色的图像处理,调色的准确性高。且以目标区域的图片帧作为调色图像处理的对象,处理效果与图片帧匹配,避免图像处理效果后出现明显分层的现象,上述图像处理方法的图像处理效果自然真实。
为了更加清晰本发明实施例的,下面进一步阐述相关实施例。
在一个实施例中,对于步骤S120中的图像处理类型,图像处理类型对应的图像处理效果中一般会存在颜色变化,该颜色变化中存在的变化关系。因此,可以通过颜色参数表示图像处理类型中颜色变化的变化关系,根据颜色参数所表示的变化关系对图片帧进行处理,可以实现该图像处理类型的图像处理。
其中,颜色参数可以通过多种形式的数据对颜色变化关系进行记录,除了常见的模型和表达式外,还可以借助根据色域压缩后的色表对颜色参数进行记录,此时的色表的数据格式易于存储色域以及色域之间的映射关系,便于存储与调用。
进一步地,以颜色参数包括记载颜色变化的调色色表为例,对步骤S130的映射过程进行说明,调色色表可以记录有各种色彩通道值在进行图像处理类型的处理后得到的色彩通道值,该调色色表记录了色彩通道值与图像处理后色彩通道值之间的离散型映射关系。
在将调色色表映射到目标区域上时,可以对目标区域的图片帧的色彩通道值进行采样,在调色色表中查找该采样得到的色彩通道值对应图像处理后的色彩通道值,即得到目标区域的色彩通道值在调色色表映射之后的色彩通道值,将映射后的色彩通道值组成目标图像,完成对目标区域的图像处理。
为了更好理解图像处理效果,下面使用人脸美妆的场景进行说明。如需要对口唇进行上妆处理时,相关流程可以如下:
A.对图片帧中的人脸特征信息进行提取,确定图像人脸区域中的口唇区域为目标区域;
B.根据口唇区域确定需要调色至红色的图像处理类型,查找该调色至红色的颜色参数;
C.将该颜色参数映射到口唇区域,口唇区域的色彩通道值一一对应进行图像处理,将口唇区域调色至红色。
本场景下的实施例,口唇区域的色彩仅根据色彩通道值进行变化,但是唇纹、唇形等细节仍可保留,图像在空间的频域上变化少,能够保留原始的细节,图像处理与图片帧融合且匹配,上妆的效果更加真实自然,可以直观生动地体现出真实自然的效果。
为了更好地易于理解,下面再以人脸进行图像处理为例进行说明。
首先利用人脸识别,获取人脸特征点,对人脸特征点进行姿态估计,形成姿态估计矩阵,姿态估计矩阵用于在原始图形中对应匹配出代表人脸区域的脸部遮罩,在脸部遮罩中确定人脸待上妆部分的目标区域。其中,在姿态估计前,利用人脸标定算法检测和跟踪人脸的特征点,在部分标定算法中可以获得106个特征点。
然后根据特征点计算人脸的矩阵框的大小,以及人脸上下左右的偏转角度,从而形成一个姿态估计矩阵。姿态估计矩阵可以用于设置用于与人脸融合的脸部遮罩,映射的图像处理可以放置于该脸部遮罩所在层。
最后将脸部遮罩与图片帧融合,完成对人脸中目标区域的局部的图像处理。
为了后续便于理解,先解释一下色表,色表可以是用于反映色彩关系的显示查找表(Look-Up-Table),显示查找表可以用于存储映射关系。
在一个实施例中,对于步骤S130中将颜色参数映射到目标区域上的步骤,可以包括:
S1301,获取调色色表对应的基础色表;其中颜色参数包括调色色表。基础色表是可以用于存储压缩色域的色表,调色色表是用于存储基础色表在经过该图像处理类型对应处理后得到的颜色色域情况。
通过使用基础色表压缩色域,可以大大减少一个完整色域的所有元素的存储信息量,通俗来说,由于一个完整的色域信息是256×256×256,其中就算是一个信息只有1字节,这个色域信息也有16MB的大小,这个数据量实在是太大了,因此,在实际使用中,通常使用n×n×n的信息空间来概略表示256×256×256的信息空间。例如可以使用64×64、128×128、512×512的信息空间的显示查找表。基础色表存储的色域可以包括单基色的色域、多基色的色域、灰度值的色域等,可以按照图像处理类型和应用场景进行适应的调整,可以匹配色彩图像和灰度图像等。
S1302,根据调色色表与基础色表获取图像处理类型的映射关系。
本步骤中,由于调色色表存储的是图像处理后得到的颜色色域情况,因此可以根据原始的基础色表与调色色表进行对比分析,获得颜色变化所对应的映射关系。
S1303,根据映射关系对目标区域进行映射,获得目标图像。
本步骤中,对目标区域进行采样,将采样后的各个通道值经过该映射关系,得到映射后的各个目标通道值,再由所有目标通道值处理得到目标图像。
上述图像处理方法,通过调色色表存储图像处理类型的映射关系,可以很好地降低存储映射关系的数据量。
在一个实施例中,基于上述调色色表的应用,在步骤S120中根据图像处理类型获取对应的颜色参数的步骤之前,还可以包括:
(1)获取样本图像数据和存储压缩色域的基础色表。
本步骤中,样本图像数据可以是真实的图像,特别是该图像处理类型常用场景的图像,建议该样本图像数据的色域范围可以尽量宽广,以便于后续获取反映全色域的映射关系。
(2)对样本图像数据进行图像处理至处理后的样本图像数据达到图像处理类型的图像处理效果。
本步骤中,通过对样本图像数据进行达到图像处理效果的处理过程,提取该处理过程,以便于后续将该处理过程应用于基础色表。
(3)对基础色表进行相同的图像处理,将图像处理后的基础色表作为调色色表。
本步骤中,将上述样本图像数据的处理过程应用于基础色表,得到该处理过程下的图像处理类型所对应的调色色表。
上述图像处理方法,对基础色表进行图像处理类型对应的图像处理后,得到反映该图像处理类型的调色色表,预先存储调色色表,调色色表的生成方法简单方便,可操作性强。
在一个实施例中,如图2所示,图2为一个实施例中获取调色色表的流程图,基于上述图像处理类型包括调色处理类型、颜色参数包括调色色表的基础上,步骤S120中根据图像处理类型获取对应的颜色参数的步骤,可以包括如下:
步骤S124:根据调色处理类型获取待选颜色;从待选颜色中获取目标颜色;
步骤S125:获取目标颜色对应的调色色表。
上述图像处理方法,在调色处理中,确定调色的目标颜色,根据目标颜色获取对应的调色色表,以便于将目标区域调色至目标颜色。
以一个具体场景下的例子进行说明,在美妆场景中可以使用橙红色的口红色号对口唇进行上妆,此时,根据口红上色的调色处理类型,从各种口红色号的待选颜色中选择橙红色的目标颜色,查找或生成调色处理效果为橙红色的调色色表,将该调色色表映射到口唇所在的目标区域,完成对口唇的上妆。
在一个实施例中,如图2所示,在步骤S126中获取目标颜色对应的调色色表的步骤之前,还可以包括:
步骤S121:获取样本图像数据和压缩色域的基础色表;
步骤S122:通过图像处理将样本图像数据对应图像的平均颜色映射为目标颜色;
步骤S123:对基础色表进行相同的图像处理,将图像处理后的基础色表作为调色色表。
通过图像处理将样本图像数据对应图像的平均颜色映射为目标颜色中,图像处理可以是各种原理或功能下对图像的通道值(像素值)进行调整和变换的处理过程。举例几个简单的图像处理包括:调节gamma曲线、对比度调整、色值分布调整等等,此处不一一列举。
上述图像处理方法,对基础色表进行一种或多种基础的图像处理,可以生成用于将目标区域调色至目标颜色的调色色表。
承接前面美妆场景的例子继续进行说明,对于美妆场景,选择的样本图像数据可以与目标区域的口唇相关,如选取包含口唇部分的样本图像数据,对样本图像数据中的口唇进行图像处理,使得样本数据中口唇的平均颜色达到橙红色的色彩,再对基础色表进行相同的该图像处理,保存该图像处理后的调色色表。其中的映射关系好比如,样本图像数据中一个色彩的通道值为(12,25,255),进行图像处理后得到的通道值改变为(24,50,0),这时候存在一个(12,25,255)→(24,50,0)的映射关系。
进一步地,还可以根据原来的样本图像数据的平均颜色与目标颜色之间的关系存储图像处理类型对应的调色色表,以便于下次可以根据目标区域的平均颜色、图像处理类型和目标颜色选择准确的调色色表。
在一个实施例中,如图2所示,步骤S123中对基础色表进行相同的图像处理,将图像处理后的基础色表作为调色色表的步骤,可以包括:
步骤S1231:以图像的格式存储基础色表,获得基础色表图像;
步骤S1232:对基础色表进行相同的图像处理,获得调色色表图像;将调色色表图像作为调色色表。
虽然显示查找表在数据存储中确实可以易于存储器进行存储,也易于机器进行调用和读取,但是显示查找表的表现格式可能不一定很适合进行图像处理,在一个个地查找不同色度值的映射关系时,会减慢图像处理的效率。另外一点就是显示查找表在展示色彩上的可读性差,不利于直观反映一些色彩变化上的规律。
而上述技术方案,使用图像格式存储基础色表,可以减少基础色笔的实际存储数据量,还可以易于观察色彩变化的映射关系,可读性高。
以图像的格式存储基础色表,通俗地说,可以将查找表生成矩形(常见有正方形)的显示查找表图像,也可以生成线性的显示查找表图像,将显示查找表图像作为基础色表图像。在对样本图像数据的图像进行处理时,也可以对同样作为图像的基础色表图像进行同样的处理,避免了对不同格式数据作相同处理时所需要的格式对应关系的调整,提高调色色表的生成效率。
在一个实施例中,步骤S1303中根据映射关系对目标区域进行映射,获得目标图像的步骤,可以包括:
(1)根据图片帧和目标区域设置遮罩,其中,遮罩用于显示图片帧在目标区域的局部图像;
(2)根据映射关系对局部图像进行映射,得到目标区域的映射图像;
(3)使用映射图像覆盖图片帧中的局部图像,得到目标图像。
上述图像处理方法,遮罩在目标区域所在位置上的透明度高,该遮罩与图片帧进行叠加后,目标区域可以不被遮挡,从而可以显示目标区域而屏蔽其他区域,记载了目标区域的形状和位置,再对该目标区域对应的局部图像进行映射处理,得到局部的映射图像,将映射图像可以匹配性地根据所记载目标区域的形状和位置对应覆盖在目标区域上,融合得到目标图像,融合不会出现分层现象,目标图像真实自然。
下面以小视频或直播场景中人脸上妆方法为应用示例进一步说明,参考图3和图4所示,图3为人脸上妆方法的应用环境示意图,图4为人脸上妆方法的流程图。
在小视频或直播场景中,小视频的上传端311或直播端312与服务器320连接,并上传其制作的视频或上传视频流至服务器320,再通过服务器320发送相关视频至观众客户端330,图像处理方法可以应用在该场景的上传端311、直播端312、服务器320或观众客户端330上,对视频进行优化美化。
在上述场景下,传统的人脸上妆方法一般是采用贴覆的方式,将已制作完成的贴纸贴覆在人脸上,在该区域容易出现分层的现象,使得图像处理的效果显得生硬粗糙。
为了解决该人脸上妆效果生硬粗糙的问题,本应用示例提供如下方案:
s1,对直播视频进行脸部识别。利用人脸标定算法可以检测和跟踪人脸的特征点,在部分标定算法中可以获得106个特征点,通过人脸标定算法检测直播视频的图片帧中脸部特征点。根据脸部特征点对脸部进行姿态估计;姿态估计可以计算脸部的矩形框的大小、以及脸部上下左右的偏转角度等,从而形成一个姿态估计矩阵。
s2,设置脸部遮罩。根据该姿态估计矩阵在脸部进行映射,得到设置在脸部的脸部遮罩。这个脸部遮罩可跟随脸部,提取目标区域的局部图像,将选定处理区域的图像处理结果实时渲染在脸部,与脸部完成融合。
s3,在进行调色之前,获取图像处理的映射关系,设置记录该映射关系的调色色表。
以应用广泛的RGB三原色为例进行原理说明,对于RGB三原色,在图像中每个通道值为0至255,即256级。此时使用显示查找表(LUT)存储压缩RGB色域,一般的LUT可以使用64×64、128×128、512×512的PNG的图片格式存储压缩色域,首先由压缩色域建立分段映射,形成基础色表图像。
然后使用图像处理工具对样本图像(如口唇)进行调色至红色的调色图像处理,可以使用相同图像处理工具对这个PNG格式的基础色表图像进行与调色图像处理相同的图像处理,处理后的基础色表图像作为调色色表图像,这个过程中相当于建立了一个新的离散型映射关系,用于反映调色的图像处理,即该调色色表图像对应的调色色表可以用于记录该调色的图像处理所对应的映射关系。
s4,根据调色色表对目标区域进行调色。如目标区域是口唇,根据调色色表对该口唇区域的图像进行映射,采集口唇区域图像中的各个色彩,对各个色彩进行该调色色表对应的映射关系的映射处理,获得处理后的色彩并据此获得调色后的口唇图像。例如色彩的映射可以表现为通道值的变化,如从(12,25,255)映射至(24,50,0)。
s5,结合脸部遮罩将调色后的目标区域融合至图片帧。脸部遮罩在需要完成融合的区域,提取目标区域口唇的局部图像,脸部遮罩在该区域的透明度较高,透明度较高的地方能够不遮挡调色后的口唇图像,即显示该区域的图像处理结果,屏蔽其他区域或不对其他区域进行图像处理,从而实现局部上妆、口唇调色的效果。通过利用色表的形式为脸部的上妆部分进行调色,以完成精确上妆,美妆效果更加自然真实。
当图像处理方法应用在直播端312时,直播端312向服务器320上传处理后的直播视频,服务器320可以向观众客户端330转发直播视频。另外,可以由上传端311、直播端312、服务器320或观众客户端330中任意多个设备组成的系统执行该图像处理方法,系统中各个设备执行图像处理方法的部分步骤,完成图像处理,例如,通过服务器320生成调色色表,由上传端311、直播端312或观众客户端330调用调色色表。
如图5所示,图5为一个实施例中图像处理系统的结构示意图,本实施例中提供一种图像处理系统,包括目标区域确定模块510、颜色参数获取模块520和颜色参数映射模块530,其中:
目标区域确定模块510,用于获取直播视频的各帧图片帧,根据图片帧的特征信息确定待处理的目标区域。
颜色参数获取模块520,用于根据目标区域确定需要的图像处理类型,根据所述图像处理类型获取对应的颜色参数。
颜色参数映射模块530,用于将所述颜色参数映射到所述目标区域上,对所述图片帧的目标区域进行相应处理。
关于图像处理系统的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
如图6所示,图6为一个实施例中计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种图像处理方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种图像处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种计算机设备,计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一实施例图像处理方法的步骤。
在一个实施例中,提出了一种存储有计算机可读指令的存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例图像处理方法的步骤。
本发明实施例还提供了终端,如图7所示,图7为一个实施例中终端的内部结构示意图。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图7示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图7,手机包括:射频(Radio Frequency,RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity,Wi-Fi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图7中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在本发明实施例中,该终端所包括的处理器1580还具有以下功能:获取直播视频的各帧图片帧,根据图片帧的特征信息确定待处理的目标区域;根据目标区域确定需要的图像处理类型,根据图像处理类型获取对应的颜色参数;将颜色参数映射到目标区域上,对图片帧的目标区域进行相应处理。也即处理器1580具备执行上述的任一实施例图像处理方法的功能,在此不再赘述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种图像处理方法,其特征在于,包括如下步骤:
获取直播视频的各帧图片帧,根据所述图片帧的特征信息确定待处理的目标区域;
根据所述目标区域确定需要的图像处理类型,根据所述图像处理类型获取对应的颜色参数;
将所述颜色参数映射到所述目标区域上,对所述图片帧的目标区域进行相应处理。
2.根据权利要求1所述的图像处理方法,其特征在于,所述图片帧的特征信息包括所述图片帧的特征点,所述根据所述图片帧的特征信息确定待处理的目标区域的步骤,包括:
根据所述图片帧的特征点获取姿态估计矩阵;
根据所述姿态估计矩阵获取处理区域;
从所述处理区域中确定所述图像处理类型对应的所述目标区域。
3.根据权利要求1所述的图像处理方法,其特征在于,所述颜色参数包括调色色表,所述将所述颜色参数映射到所述目标区域上的步骤,包括:
获取所述调色色表对应的基础色表;
根据所述调色色表与所述基础色表获取所述图像处理类型的映射关系;
根据所述映射关系对所述目标区域进行映射,获得目标图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述颜色参数包括所述调色色表,在所述根据所述图像处理类型获取对应的颜色参数的步骤之前,还包括:
获取样本图像数据和存储压缩色域的基础色表;
对所述样本图像数据进行图像处理至处理后的样本图像数据达到所述图像处理类型的图像处理效果;
对所述基础色表进行相同的所述图像处理,将所述图像处理后的基础色表作为所述调色色表。
5.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理类型包括调色处理类型,所述颜色参数包括调色色表,所述根据所述图像处理类型获取对应的颜色参数的步骤,包括:
根据所述调色处理类型获取待选颜色;
从待选颜色中获取目标颜色;
获取所述目标颜色对应的调色色表。
6.根据权利要求5所述的图像处理方法,其特征在于,在所述获取所述目标颜色对应的调色色表步骤的之前,还包括:
获取样本图像数据和压缩色域的基础色表;
通过图像处理将所述样本图像数据对应图像的平均颜色映射为所述目标颜色;
对所述基础色表进行相同的所述图像处理,将所述图像处理后的基础色表作为所述调色色表。
7.根据权利要求6所述的图像处理方法,其特征在于,所述对所述基础色表进行相同的所述图像处理,将所述图像处理后的基础色表作为所述调色色表的步骤,包括:
以图像的格式存储所述基础色表,获得基础色表图像;
对所述基础色表进行相同的所述图像处理,获得调色色表图像;
将所述调色色表图像作为所述调色色表。
8.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述映射关系对所述目标区域进行映射,获得目标图像的步骤,包括:
根据所述图片帧和所述目标区域设置遮罩,其中,所述遮罩用于显示所述图片帧在目标区域的局部图像;
根据所述映射关系对所述局部图像进行映射,得到所述目标区域的映射图像;
使用所述映射图像覆盖所述图片帧中的所述局部图像,得到所述目标图像。
9.一种图像处理系统,其特征在于,包括:
目标区域确定模块,用于获取直播视频的各帧图片帧,根据所述图片帧的特征信息确定待处理的目标区域;
颜色参数获取模块,用于根据所述目标区域确定需要的图像处理类型,根据所述图像处理类型获取对应的颜色参数;
颜色参数映射模块,用于将所述颜色参数映射到所述目标区域上,对所述图片帧的目标区域进行相应处理。
10.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,其特征在于,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述图像处理方法的步骤。
11.一种存储有计算机可读指令的存储介质,其特征在于,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至8中任一项所述图像处理方法的步骤。
12.一种终端,其特征在于,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1至8任一项所述的图像处理方法。
CN201811593089.1A 2018-12-25 2018-12-25 图像处理方法、系统、计算机设备、存储介质和终端 Active CN109754375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811593089.1A CN109754375B (zh) 2018-12-25 2018-12-25 图像处理方法、系统、计算机设备、存储介质和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811593089.1A CN109754375B (zh) 2018-12-25 2018-12-25 图像处理方法、系统、计算机设备、存储介质和终端

Publications (2)

Publication Number Publication Date
CN109754375A true CN109754375A (zh) 2019-05-14
CN109754375B CN109754375B (zh) 2021-05-14

Family

ID=66403957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811593089.1A Active CN109754375B (zh) 2018-12-25 2018-12-25 图像处理方法、系统、计算机设备、存储介质和终端

Country Status (1)

Country Link
CN (1) CN109754375B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490828A (zh) * 2019-09-10 2019-11-22 广州华多网络科技有限公司 视频直播中的图像处理方法和系统
CN112399080A (zh) * 2020-11-03 2021-02-23 广州酷狗计算机科技有限公司 视频处理方法、装置、终端及计算机可读存储介质
CN112907459A (zh) * 2021-01-25 2021-06-04 北京达佳互联信息技术有限公司 图像处理方法及装置
CN113240599A (zh) * 2021-05-10 2021-08-10 Oppo广东移动通信有限公司 图像调色方法及装置、计算机可读存储介质、电子设备
CN113450367A (zh) * 2020-03-24 2021-09-28 北京字节跳动网络技术有限公司 图像处理方法及装置
WO2022052669A1 (zh) * 2020-09-14 2022-03-17 Oppo广东移动通信有限公司 背景图像生成方法、装置、存储介质与电子设备
CN115701129A (zh) * 2021-07-31 2023-02-07 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013082832A1 (zh) * 2011-12-05 2013-06-13 深圳市万兴软件有限公司 一种图像处理的方法及其装置
CN106791756A (zh) * 2017-01-17 2017-05-31 维沃移动通信有限公司 一种多媒体数据处理方法及移动终端
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107800966A (zh) * 2017-10-31 2018-03-13 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备
CN108596992A (zh) * 2017-12-31 2018-09-28 广州二元科技有限公司 一种快速实时的唇彩化妆方法
CN108875594A (zh) * 2018-05-28 2018-11-23 腾讯科技(深圳)有限公司 一种人脸图像的处理方法、装置以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013082832A1 (zh) * 2011-12-05 2013-06-13 深圳市万兴软件有限公司 一种图像处理的方法及其装置
CN106791756A (zh) * 2017-01-17 2017-05-31 维沃移动通信有限公司 一种多媒体数据处理方法及移动终端
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107800966A (zh) * 2017-10-31 2018-03-13 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备
CN108596992A (zh) * 2017-12-31 2018-09-28 广州二元科技有限公司 一种快速实时的唇彩化妆方法
CN108875594A (zh) * 2018-05-28 2018-11-23 腾讯科技(深圳)有限公司 一种人脸图像的处理方法、装置以及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490828A (zh) * 2019-09-10 2019-11-22 广州华多网络科技有限公司 视频直播中的图像处理方法和系统
CN110490828B (zh) * 2019-09-10 2022-07-08 广州方硅信息技术有限公司 视频直播中的图像处理方法和系统
CN113450367A (zh) * 2020-03-24 2021-09-28 北京字节跳动网络技术有限公司 图像处理方法及装置
WO2022052669A1 (zh) * 2020-09-14 2022-03-17 Oppo广东移动通信有限公司 背景图像生成方法、装置、存储介质与电子设备
CN112399080A (zh) * 2020-11-03 2021-02-23 广州酷狗计算机科技有限公司 视频处理方法、装置、终端及计算机可读存储介质
CN112907459A (zh) * 2021-01-25 2021-06-04 北京达佳互联信息技术有限公司 图像处理方法及装置
CN112907459B (zh) * 2021-01-25 2024-04-09 北京达佳互联信息技术有限公司 图像处理方法及装置
CN113240599A (zh) * 2021-05-10 2021-08-10 Oppo广东移动通信有限公司 图像调色方法及装置、计算机可读存储介质、电子设备
CN115701129A (zh) * 2021-07-31 2023-02-07 荣耀终端有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
CN109754375B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN109754375A (zh) 图像处理方法、系统、计算机设备、存储介质和终端
CN108882028B (zh) 视频信号的处理方法及装置
CN105409211B (zh) 用于图像处理的带皮肤色调校正的自动白平衡
EP1729526B1 (en) Color adjustment method, and color adjusment system by use of a three-dimensional look-up table
CN102301392B (zh) 彩色图像处理方法,彩色图像处理设备和记录介质
CN107203974A (zh) 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
CN107154059A (zh) 一种高动态范围视频处理方法
JP2008522530A (ja) 電子カラー画像彩度処理の方法
JP2001092956A (ja) 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体
CN105915816A (zh) 用于确定给定场景的亮度的方法和设备
CN107145349A (zh) 主题切换方法、装置、计算机装置及计算机可读存储介质
CN102595023B (zh) 移动终端及其图像处理方法
US11995578B2 (en) Method for rendering of augmented reality content in combination with external display
CN103310468A (zh) 色距测量装置、色距测量方法和程序
CN108416700A (zh) 一种基于ar虚拟现实技术的室内装修设计系统
CN113132696A (zh) 图像色调映射方法、装置、电子设备和存储介质
CN106296789B (zh) 一种虚拟植入物体在实景中穿梭的方法及终端
Jang et al. Spectrum‐Based Color Reproduction Algorithm for Makeup Simulation of 3D Facial Avatar
CN114512094B (zh) 屏幕色彩调节方法、装置、终端及计算机可读存储介质
CN104469239A (zh) 一种智能移动终端的浸入式视频呈现方法
Kuang et al. A psychophysical study on the influence factors of color preference in photographic color reproduction
CN113271394A (zh) 一种无蓝绿自然背景的ai智能抠像方法及终端
KR101903428B1 (ko) 연관 이미지간 컬러 보정 시스템 및 보정방법
CN105872509A (zh) 一种图像对比度调节方法及装置
WO2023020017A1 (zh) 一种图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210112

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 29 floor, block B-1, Wanda Plaza, Huambo business district, Panyu District, Guangzhou, Guangdong.

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190514

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000052

Denomination of invention: Image processing method, system, computer equipment, storage medium and terminal

License type: Common License

Record date: 20210222

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant