视频直播中的图像处理方法和系统
技术领域
本申请涉及图像处理技术领域,具体而言,本申请涉及一种视频直播中图像处理方法、视频直播中图像处理系统、计算机设备、存储介质和终端。
背景技术
在图像处理中,典型美妆特效的实现方式主要是将预先设计好的半透明的特效图片贴在图像相应的部位。
随着直播视频中对美颜追求的日益进步,通过多项美颜图像处理的叠加组合获得更好的美颜效果,例如对图像中的人物进行美妆特效的处理后,继续进行整形的图像处理,进一步优化图像中人物的美颜效果。其中,在图像处理中,美妆特效的实现方式主要是将预先设计好的半透明的特效图片贴在图像相应的部位。
但是,在使用美妆特效和整形进行图像处理后,图像处理依次叠加后往往出现明显的奇异图形,美妆特效和整形之间图像处理的配合效果差。
发明内容
基于此,有必要针对上述的技术缺陷,特别是美妆特效和整形之间图像处理的配合效果差的技术缺陷,提供一种视频直播中图像处理方法、系统、计算机设备、存储介质和终端。
一种视频直播中图像处理方法,包括如下步骤:
从直播视频中提取视频图像;
对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对所述视频图像进行整形,生成第一图像;
对所述第一图像中的所述目标区域进行二次识别,获得所述第一图像的第二图像轮廓信息,根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上并生成第二图像;
利用所述第二图像替换所述直播视频中的视频图像,得到目标直播视频并输出。
在一个实施例中,所述从直播视频中提取视频图像的步骤,包括:
获取所述直播视频,判断所述直播视频中的视频图像是否进行了贴图处理;若是,判断所述贴图处理的目标区域和待整形的目标区域之间是否重叠;若重叠,则调取贴图前的原始直播视频,并从所述原始直播视频中提取所述视频图像。
在一个实施例中,所述视频图像为包含人脸的图像,所述目标区域包括人脸区域,所述图像轮廓信息为人脸特征点;
所述对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对所述视频图像进行整形,生成第一图像的步骤,包括:
识别所述视频图像中的人脸区域,检测所述人脸区域并获得第一人脸特征点;根据所述第一人脸特征点从所述人脸区域中确定整形类型对应的整形部位;对所述整形部位的轮廓进行调整,获得所述初级美妆图像。
在一个实施例中,所述对所述整形部位的轮廓进行调整的步骤,包括:
根据所述第一人脸特征点提取所述整形对象的当前轮廓;将所述当前轮廓调整至所述整形类型对应的整形轮廓;
所述对所述第一图像中的所述目标区域进行二次识别,获得所述第一图像的第二图像轮廓信息,根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上并生成第二图像的步骤,包括:
检测整形后的人脸区域,获得第二人脸特征点;调取与所述第二人脸特征点匹配的贴图图像;在所述目标区域中融合所述贴图图像,使得所述贴图图像的轮廓与所述整形轮廓重合。
在一个实施例中,在所述根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上的步骤之后,还包括:
根据所述第二图像轮廓信息识别所述第一图像中进行美白磨皮的磨皮区域,并对叠加美妆贴图的第一图像中所述磨皮区域进行美白磨皮,生成所述第二图像。
在一个实施例中,所述整形包括瘦脸、缩鼻、丰唇、放大眼睛、丰满苹果肌、微笑唇中任意一种或多种。
在一个实施例中,所述贴图包括粉底、鼻影、嘴唇、眉毛、眼影、美瞳、卧蚕、腮红中任意一种或多种。
一种视频直播中图像处理系统,包括:
提取模块,用于从直播视频中提取视频图像;
整形模块,用于对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对所述视频图像进行整形,生成第一图像;
贴图模块,用于对所述第一图像中的所述目标区域进行二次识别,获得所述第一图像的第二图像轮廓信息,根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上并生成第二图像;
视频模块,用于利用所述第二图像替换所述直播视频中的视频图像,得到目标直播视频并输出。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述视频直播中图像处理方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述视频直播中图像处理方法的步骤。
一种终端,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行上述任一实施例所述的视频直播中图像处理方法。
上述的视频直播中图像处理方法、系统、计算机设备、存储介质和终端,提取直播视频中的视频图像,对视频图像的目标区域首次识别后进行视频图像的整形,整形后再进行目标区域的二次识别,二次识别后得到的第二图像轮廓信息可以准确描述整形后图像中的轮廓,根据第二图像轮廓信息可以进行与第一图像匹配的美妆贴图处理,美妆贴图与第一图像的图像轮廓匹配,避免轮廓附近出现不匹配的奇异图形,提升直播视频中整形和美妆特效之间的配合效果。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过实践了解到。
附图说明
上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为一个实施例中提供的视频直播中图像处理方法的实施环境图;
图2为一个实施例中视频直播中图像处理方法的流程图;
图3为一个实施例中先贴图后整形的美妆处理效果图;
图4为又一个实施例中视频直播中图像处理方法的流程图;
图5为一个实施例中人脸特征点的原理示意图;
图6为一个实施例中视频直播中图像处理系统的结构示意图;
图7为一个实施例中计算机设备的内部结构示意图;
图8为一个实施例中终端的内部结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
如图1所示,图1为一个实施例中提供的图像的美妆处理方法的实施环境图,在该实施环境中,包括主播端110、直播平台120、以及观众端130。主播通过主播端110摄像头拍摄或者通过抓取主播端屏幕等方式采集直播视频,并上传直播视频至直播平台120的直播间121中,直播平台120可以根据直播间121内用户的观看需求向观众端130传输直播间121的直播视频。
需要说明的是,主播端110或观众端130可以安装在智能手机、平板电脑、笔记本电脑、台式计算机上。直播平台120可以运行在计算机设备、服务器设备或服务器设备群上。客户端110和直播平台120之间以及观众端130和直播平台120之间可以通过网络进行连接,本申请在此不做限制。
在一个实施例中,如图2所示,图2为一个实施例中图像的美妆处理方法的流程图,本实施例中提出了一种图像的美妆处理方法,该图像的美妆处理方法可以应用于上述的主播端110或直播平台120中,由主播端110或直播平台120中的处理器执行该图像的美妆处理方法的步骤。主播端110可以采集直播视频并对采集视频中的图像进行美妆处理处理,或者直播平台120在接收主播端110上传的直播视频后,直播平台120可以对直播视频中的图像进行美妆处理处理。图像的美妆处理方法具体可以包括以下步骤:
步骤S210:从直播视频中提取视频图像。
本步骤中,直播视频包含有多个图片帧,处理器可以调取直播视频的图片帧作为视频图像。
步骤S220:对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对视频图像进行整形,生成第一图像。
本步骤中,处理器可以具有识别视频图像中特定目标区域的功能,处理器可以从视频图像中检测图像特征,依据图像特征识别目标区域,以及生成第一图像轮廓信息。图像轮廓信息可以是用于记录图像特征,图像轮廓信息还可以表征图像中轮廓的线条等。根据所述第一图像轮廓信息,处理器可以对视频图像中目标区域部分的像素进行图像处理,按照整形特点来调整目标区域中指定的轮廓线条,通过目标区域中轮廓线条的调整可以展现整形的效果。
视频图像可以是包含了脸部和/或者身体躯干的图像。视频图像中的目标区域可以是脸部区域或者人体区域,例如人脸、躯干、四肢等部位区域等。
以包含人脸的视频图像为例,在一个实施例中,视频图像为包含人脸的图像,目标区域包括人脸区域,图像轮廓信息为人脸特征点。处理器对视频图像进行人脸特征点的检测,检测出原始图像中的人脸特征点。例如,处理器可以调用人脸识别算法进行人脸检测并输出106个人脸特征点的坐标。人脸区域的整形可以包括瘦脸、缩鼻、丰唇、放大眼睛、丰满苹果肌、微笑唇中任意一种或多种类型。人脸区域的贴图可以包括粉底、鼻影、嘴唇、眉毛、眼影、美瞳、卧蚕、腮红中任意一种或多种美妆特效。
另外处理器也可以识别出视频图像中人体的四肢和躯干,将其作为待处理的目标区域。例如,视频图像中存在腿部区域,处理器可以检测出视频图像中的轮廓线条,通过图像轮廓信息记录所检测的轮廓线条;处理器可以根据轮廓线条辨别出腿部的特征区域,确定视频图像中的腿部区域;对腿部区域进行图像处理,改变腿部的轮廓线条,该区域的腿部实现瘦腿或拉伸腿部的整形,或者使得腿部实现变粗或变胖的整形。而且,处理器还可以具有检测出视频图像中皮肤区域的功能,如借助滤波器滤除出图像中具有平滑特性的皮肤区域,识别皮肤区域的轮廓线条,根据轮廓线条可以进一步判断该皮肤区域是否为腿部区域,有利于准确识别腿部区域。
在对视频图像中像素进行图像处理,实现轮廓线条的调整中,以作用于下巴轮廓的瘦脸整形为例,目标区域为人脸区域,通过图像轮廓信息可以识别人脸区域的待整形的下巴部分,对于下巴部分的图像像素会被从两边向中间的下巴轮廓进行“挤压”,特别是越靠近下巴轮廓的区域挤压的强度越强,最终将下巴轮廓调整至整形的目标轮廓。
步骤S230:对第一图像中的目标区域进行二次识别,获得第一图像的第二图像轮廓信息,根据第二图像轮廓信息将美妆贴图叠加在第一图像上并生成第二图像。
本步骤中,提取第一图像的第二图像轮廓信息,再次识别目标区域,更新整形后的目标区域。本步骤中二次识别的识别方式可以与步骤S220中的识别方式相同,处理器可以从第一图像中检测图像特征,依据图像特征识别目标区域,以及生成第二图像轮廓信息。处理器可以根据第二图像轮廓信息选择与目标区域匹配的美妆贴图,以及确定进行叠加的准确区域,将美妆贴图叠加在第一图像上并生成第二图像,从而获得美妆特效准确贴合的第二图像。
步骤S240:利用第二图像替换直播视频中的视频图像,得到目标直播视频并输出。
本步骤中,实现直播视频的视频图像更新为进过处理后的第二图像,实现对直播视频的整形和美妆贴图处理,得到和输出目标直播视频。
上述视频直播中图像处理方法,提取直播视频中的视频图像,对视频图像的目标区域首次识别后进行视频图像的整形,整形后再进行目标区域的二次识别,二次识别后得到的第二图像轮廓信息可以准确描述整形后图像中的轮廓,根据第二图像轮廓信息可以进行与第一图像匹配的美妆贴图处理,美妆贴图与第一图像的图像轮廓匹配,避免轮廓附近出现不匹配的奇异图形,提升直播视频中整形和美妆特效之间的配合效果。
在一个实施例中,从直播视频中提取视频图像的步骤,可以包括:
步骤S241:获取直播视频,判断直播视频中的视频图像是否进行了贴图处理;若是,判断贴图处理的目标区域和待整形的目标区域之间是否重叠。
步骤S242:若重叠,则调取贴图前的直播视频,并从原始直播视频中获取视频图像。
本步骤中,若直播视频进行了贴图处理,且贴图区域与待整形的目标区域之间存在重叠,则需要调取贴图前的原始直播视频,并调取原始直播图像中的图片帧作为视频图像。
原始直播视频可以指的是主播端摄像头拍摄或者通过抓取主播端屏幕等方式采集直播视频的原始视频。原始直播视频也可以是主播端最初上传至直播平台的直播视频,此时的主播端并未对原始直播视频进行图像处理。
上述视频直播中图像处理方法,判断直播视频中的视频图像是否进行过贴图处理,并且贴图处理的区域是否与整形的目标区域之间存在重叠部分,若存在重叠部分,则需要调取未进行贴图处理的原始图像,可以防止原来的贴图与整形前轮廓之间不匹配区域在整形后被放大,从而提升整形和美妆特效之间的配合效果。
以瘦脸整形中目标区域为例来阐述目标区域的重叠。例如,粉底贴图的目标区域与瘦脸整形的目标区域之间明显存在重叠。另外,瘦脸整形的目标区域不仅仅在下巴区域,瘦脸整形的目标区域还会影响唇型及其位置的变化,因此,瘦脸整形的目标区域还与嘴唇贴图的目标区域之间是存在重叠。
上述实施例中阐述了提取视频图像的过程,下述实施例将以人脸区域的整形为例,阐述人脸区域的整形。
在一个实施例中,视频图像为包含人脸的图像,目标区域包括人脸区域,图像轮廓信息为人脸特征点。
步骤S220中对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对所述视频图像进行整形,生成第一图像的步骤,可以包括:
步骤S221:识别视频图像中的人脸区域,检测人脸区域并获得第一人脸特征点。
识别视频图像的人脸区域,对人脸区域进行人脸特征点的检测,得到第一人脸特征点。例如,处理器可以调用人脸识别算法进行人脸检测并输出106个人脸特征点的坐标。
步骤S222:根据第一人脸特征点从人脸区域中确定整形类型对应的整形部位。
根据人脸特征点与整形类型对应的整形部位之间的关联关系,可以根据第一人脸特征点确定待整形的区域。
人脸区域的整形类型可以包括瘦脸、缩鼻、丰唇、放大眼睛、丰满苹果肌、微笑唇中任意一种或多种的类型。在进行瘦脸的整形时,可以根据人脸特征点在下巴区域的轮廓确定下巴部位,后续可以对原始图像中下巴部位进行整形。另外,借助人脸特征点还能确定各个部位的轮廓,例如人脸特征点可以确定脸型、鼻型、唇形、眼型等部位的轮廓。
步骤S223:对整形部位的轮廓进行调整,获得初级美妆图像。
上述视频直播中图像处理方法,识别整形类型对应的整形部位,通过对整形部位的轮廓进行调整,可以实现对目标区域中部分位置进行整形。
整形部位轮廓的调整可以借助图像处理来实现,通过对整形部位的图像像素进行局部“挤压”以及局部“拉伸”的图像调整整形部位的轮廓。以瘦脸的整形类型为例,下巴部分的图像像素会被从两边向中间的下巴轮廓进行“挤压”,下巴部分外部的图像像素会向外“拉伸”,特别是越靠近下巴轮廓的区域挤压的强度越强,最终将下巴轮廓调整至整形的目标轮廓,越靠近下巴轮廓的区域拉伸的强度也越强,向外拉伸可以避免图像其他区域出现明显的变形。
正是由于越靠近轮廓的区域,图像处理中变形的强度越强。在先贴图后整形的操作时,贴图边沿与轮廓之间的缝隙会在变形时得到放大,这就导致了人物轮廓附近出现明显的奇异图形。如图3所示,图3为一个实施例中先贴图后整形的美妆处理效果图,粉底贴图是在整个脸部覆盖一层半透明的人脸蒙皮,下巴部位的粉底贴图与原下巴轮廓之间的缝隙在瘦脸的整形下被拉伸而放大,在下巴轮廓处出现怪异的图形,如图3中箭头所指,此时粉底特效和瘦脸整形之间图像处理的配合效果差。
在一个实施例中,步骤S223中对整形部位的轮廓进行调整的步骤,可以包括:
步骤S2231:根据第一人脸特征点提取整形对象的当前轮廓;步骤S2232:将当前轮廓调整至整形类型对应的整形轮廓。
本步骤中,将原始图像中的当前轮廓调整至整形轮廓,获得初级美妆图像。
步骤S230中对所述第一图像中的所述目标区域进行二次识别,获得所述第一图像的第二图像轮廓信息,根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上并生成第二图像的步骤,可以包括:
步骤S231:检测整形后的人脸区域,获得第二人脸特征点;
本步骤中,进行二次人脸识别,获得初级美妆图像中的第二人脸特征点。
步骤S232:调取与第二人脸特征点匹配的贴图图像;步骤S233:在目标区域中融合贴图图像,使得贴图图像的轮廓与整形轮廓重合。
二次人脸识别后的第二人脸特征点与整形轮廓贴合,使得根据第二人脸特征获取的贴图的轮廓与整形轮廓重合。
上述视频直播中图像处理方法,可以使得贴图图像与整形轮廓之间可以重合,提高美妆特效和整形之间图像处理的配合效果。
在一个实施例中,在根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上的步骤之后,还可以包括:
步骤S260:根据第二图像轮廓信息识别第一图像中进行美白磨皮的磨皮区域,并对叠加美妆贴图的第一图像中磨皮区域进行美白磨皮,生成第二图像。
上述视频直播中图像处理方法,美妆贴图后,第二图像中的图像轮廓信息并未发生改变,继续沿用第二图像轮廓信息所识别的磨皮区域也是准确的,此时可以加快磨皮区域的识别效率。
在一个实施示例中,以瘦脸和粉底贴图为例,如图4和图5所示,图4为又一个实施例中视频直播中图像处理方法的流程图,图5为一个实施例中人脸特征点的原理示意图。本实施示例提供的视频直播中图像处理方法包括:通过USB外接的摄像设备采集直播视频,从直播视频中提取视频图像;对视频图像进行第一次人脸识别,检测第一人脸特征点,如图5中的黑色特征点所示,通过人脸识别确定人脸区域,在第一次人脸识别后进行人脸区域的瘦脸整形,获得第一图像;再进行第二次人脸识别,对第一图像检测第二人脸特征点,如图5中的白色特征点所示,获得整形后更加准确的人脸特征点,对第一图像重新确定人脸区域,根据第二次人脸识别进行美妆贴图,得到目标美妆图像,增强美妆贴图在边缘部分的贴合效果,粉底贴图不会在瘦脸整形过程中被拉伸变形,避免粉底贴图与原下巴轮廓之间的缝隙在瘦脸整形下被放大,提升粉底特效和瘦脸整形之间图像处理的配合效果。在美妆贴图之后,还可以继续根据第二次人脸识别对目标美妆图像进行美白磨皮,加快磨皮区域的识别效率。
在一个实施例中,如图6所示,图6为一个实施例中视频直播中图像处理系统的结构示意图,本实施例中提供一种图像的美妆处理系统,具体可以包括提取模块610、整形模块620、贴图模块630和视频模块640,其中:
提取模块610,用于从直播视频中提取视频图像。
提取模块610中,直播视频包含有多个图片帧,处理器可以调取直播视频的图片帧作为视频图像。
整形模块620,用于对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对所述视频图像进行整形,生成第一图像。
处理器可以具有识别视频图像中特定目标区域的功能,处理器可以从视频图像中检测图像特征,依据图像特征识别目标区域,以及生成第一图像轮廓信息。图像轮廓信息可以是用于记录图像特征,图像轮廓信息还可以表征图像中轮廓的线条等。根据所述第一图像轮廓信息,处理器可以对视频图像中目标区域部分的像素进行图像处理,按照整形特点来调整目标区域中指定的轮廓线条,通过目标区域中轮廓线条的调整可以展现整形的效果。
视频图像可以是包含了脸部和/或者身体躯干的图像。视频图像中的目标区域可以是脸部区域或者人体区域,例如人脸、躯干、四肢等部位区域等。
以包含人脸的视频图像为例,在一个实施例中,视频图像为包含人脸的图像,目标区域包括人脸区域,图像轮廓信息为人脸特征点。处理器对视频图像进行人脸特征点的检测,检测出原始图像中的人脸特征点。例如,处理器可以调用人脸识别算法进行人脸检测并输出106个人脸特征点的坐标。人脸区域的整形可以包括瘦脸、缩鼻、丰唇、放大眼睛、丰满苹果肌、微笑唇中任意一种或多种类型。人脸区域的贴图可以包括粉底、鼻影、嘴唇、眉毛、眼影、美瞳、卧蚕、腮红中任意一种或多种美妆特效。
另外处理器也可以识别出视频图像中人体的四肢和躯干,将其作为待处理的目标区域。例如,视频图像中存在腿部区域,处理器可以检测出视频图像中的轮廓线条,通过图像轮廓信息记录所检测的轮廓线条;处理器可以根据轮廓线条辨别出腿部的特征区域,确定视频图像中的腿部区域;对腿部区域进行图像处理,改变腿部的轮廓线条,该区域的腿部实现瘦腿或拉伸腿部的整形,或者使得腿部实现变粗或变胖的整形。而且,处理器还可以具有检测出视频图像中皮肤区域的功能,如借助滤波器滤除出图像中具有平滑特性的皮肤区域,识别皮肤区域的轮廓线条,根据轮廓线条可以进一步判断该皮肤区域是否为腿部区域,有利于准确识别腿部区域。
在对视频图像中像素进行图像处理,实现轮廓线条的调整中,以作用于下巴轮廓的瘦脸整形为例,目标区域为人脸区域,通过图像轮廓信息可以识别人脸区域的待整形的下巴部分,对于下巴部分的图像像素会被从两边向中间的下巴轮廓进行“挤压”,特别是越靠近下巴轮廓的区域挤压的强度越强,最终将下巴轮廓调整至整形的目标轮廓。
贴图模块630,用于对所述第一图像中的所述目标区域进行二次识别,获得所述第一图像的第二图像轮廓信息,根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上并生成第二图像。
贴图模块630中,提取第一图像的第二图像轮廓信息,再次识别目标区域,更新整形后的目标区域。本步骤中二次识别的识别方式可以与步骤S220中的识别方式相同,处理器可以从第一图像中检测图像特征,依据图像特征识别目标区域,以及生成第二图像轮廓信息。处理器可以根据第二图像轮廓信息选择与目标区域匹配的美妆贴图,以及确定进行叠加的准确区域,将美妆贴图叠加在第一图像上并生成第二图像,从而获得美妆特效准确贴合的第二图像。
视频模块640,用于利用所述第二图像替换所述直播视频中的视频图像,得到目标直播视频并输出。
视频模块640中,实现直播视频的视频图像更新为进过处理后的第二图像,实现对直播视频的整形和美妆贴图处理,得到和输出目标直播视频。
上述视频直播中图像处理系统,提取直播视频中的视频图像,对视频图像的目标区域首次识别后进行视频图像的整形,整形后再进行目标区域的二次识别,二次识别后得到的第二图像轮廓信息可以准确描述整形后图像中的轮廓,根据第二图像轮廓信息可以进行与第一图像匹配的美妆贴图处理,美妆贴图与第一图像的图像轮廓匹配,避免轮廓附近出现不匹配的奇异图形,提升直播视频中整形和美妆特效之间的配合效果。
关于视频直播中图像处理系统的具体限定可以参见上文中对于视频直播中图像处理方法的限定,在此不再赘述。上述视频直播中图像处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
如图7所示,图7为一个实施例中计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机程序,数据库中可存储有控件信息序列,该计算机程序被处理器执行时,可使得处理器实现一种视频直播中图像处理方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种视频直播中图像处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种计算机设备,计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一实施例的视频直播中图像处理方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例的视频直播中图像处理方法的步骤。
在一个实施例中,提供了一种终端,其包括:一个或多个处理器;存储器;一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行根据上述任一实施例中的视频直播中图像处理方法。
本申请实施例还提供了移动终端,如图8所示,图8为一个实施例中终端的内部结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图8示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图8,手机包括:射频(Radio Frequency,RF)电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wireless fidelity,Wi-Fi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解,图8中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在本申请实施例中,该终端所包括的处理器880还具有以下功能:从直播视频中提取视频图像;对所述视频图像的目标区域进行识别,获得第一图像轮廓信息,根据所述第一图像轮廓信息对所述视频图像进行整形,生成第一图像;对所述第一图像中的所述目标区域进行二次识别,获得所述第一图像的第二图像轮廓信息,根据所述第二图像轮廓信息将美妆贴图叠加在所述第一图像上并生成第二图像;利用所述第二图像替换所述直播视频中的视频图像,得到目标直播视频并输出。也即处理器880具备执行上述的任一实施例视频直播中图像处理方法的功能,在此不再赘述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。