CN109544441B - 图像处理方法及装置、直播中的肤色处理方法及装置 - Google Patents

图像处理方法及装置、直播中的肤色处理方法及装置 Download PDF

Info

Publication number
CN109544441B
CN109544441B CN201811333131.6A CN201811333131A CN109544441B CN 109544441 B CN109544441 B CN 109544441B CN 201811333131 A CN201811333131 A CN 201811333131A CN 109544441 B CN109544441 B CN 109544441B
Authority
CN
China
Prior art keywords
pixel point
color gamut
image
target
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811333131.6A
Other languages
English (en)
Other versions
CN109544441A (zh
Inventor
华路延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201811333131.6A priority Critical patent/CN109544441B/zh
Publication of CN109544441A publication Critical patent/CN109544441A/zh
Application granted granted Critical
Publication of CN109544441B publication Critical patent/CN109544441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及到图像处理领域,其提供一种图像处理方法、直播中的肤色处理方法即对应的装置;其中,所述图像处理方法,包括根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值;利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。该图像处理方法能够是图像处理效果能够平滑过渡。

Description

图像处理方法及装置、直播中的肤色处理方法及装置
技术领域
本发明涉及设备图像处理领域,尤其涉及一种图像处理方法及装置、直播中的肤色处理方法及装置。
背景技术
图像处理是根据人们的需要或者视觉喜好,对图像,尤其是对图像中特定区域或对象进行的特殊处理。在直播领域中,人物通常是其中的主要展示部分,因此,对其中的主播进行图像处理是非常必要的。
目前的图像处理手段中,存在以下方法:直接对整个界面进行图像处理,尤其使发生在对直播中的肤色的处理中,不对人物和背景区分开来,整个场景只能以显示平面的效果,不能达到将人物从直播视频中的背景中凸显出来;若将其运用至直播中的人物美颜处理,更使整个画面显得不真实,影响用户的视觉体验。
因此,现有图像处理,特别是直播领域中的肤色处理技术及美颜技术不够精准,使得处理后的图像或视频等画面的显示效果不真实,降低了用户的视觉体验。
发明内容
本发明的目的旨在提供一种图像处理方法及装置、直播中的肤色处理方法及装置。
为了实现上述目的,本发明提供以下技术方案:
第一方面,本发明提供了一种图像处理方法,其包括:
根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
优选地,根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值的步骤包括:
得到各个目标像素点的YCBCR色域空间分量的最大值Max和最小值Min,并通过对所述目标区域的YCBCR色域空间分量求取均值得到中间值M,对所述目标区域进行权重计算。
优选地,所述根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点的步骤包括:
获取待处理图像的每个像素点的图像信息;
将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量;
根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的像素点。
优选地,所述图像信息包括每个像素点的YUV分量;
所述将所述每个像素点的图像信息进行色域转换,获取所述待处理图像的每个像素点的色域空间分量的步骤包括:
对每个像素点的YUV分量转换为RGB分量,对所述RGB分量进行色域转换,得到各个像素点的YCBCR色域空间分量;
其中,YUV分量表示色彩空间,Y、U、V分别为YUV的分量值,Y代表明亮度分量,U代表色度分量,V代表浓度分量;
RGB分量表示颜色空间,R、G、B分别为RGB的分量值,R代表红色分量,G代表绿色分量,B代表蓝色分量;
YCBCR色域空间分量表示色彩空间,Y、CB、CR为YCBCR的具体分量值,具体为Y是指亮度分量,CB指蓝色色度分量,而CR指红色色度分量。
优选地,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的像素点的步骤包括:
获取目标识别模型的色域范围值;
利用所述色域范围值判断各个的像素点的YCBCR色域空间分量,将满足所述色域范围值的像素点识别为目标区域的像素点。
第二方面,本发明提供一种直播中的肤色处理方法,其包括:
从直播的视频流中获取待处理图像;
根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
优选地,所述直播中的肤色处理方法还包括:
获取直播的视频流中的待处理图像的每个像素点的图像信息;
将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量;
根据不同的直播对象和/或场景,得到相应的直播肤色模型的色域范围值;
根据所述直播肤色模型的色域范围值判断所述色域空间分量,识别出属于肤色区域的目标像素点。
优选地,所述利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理的步骤包括:
利用美颜算法对所述肤色区域的每个像素点进行加权平均,得到对所述肤色区域进行美颜处理且其他背景不变的实时视频图像。
第三方面,本发明提供了一种图像处理装置,其包括:
识别模块,用于根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
权重计算模块,用于根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
图像处理模块,用于利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
第四方面,本发明提供了一种直播中的肤色处理装置,包括:
图像获取模块,用于从直播的视频流中获取待处理图像;
识别模块,用于根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
权重计算模块,用于根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
图像处理模块,用于利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
第五方面,本发明提供了一种终端,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于:执行根据第一方面所述的图像处理方法或者根据第二方面所述的直播中的肤色处理方法。
第六方面,本发明提供了一种计算机可得的存储介质,其存储有计算机程序:
所述计算机程序被处理器执行时实现第一方面所述的图像处理方法或者第二方面所述的直播中的肤色处理方法。
相比现有技术,本发明的方案具有以下优点:
本发明通过根据待处理图像的YCBCR色域空间分量,与目标识别模型进行对比,得到目标区域;对目标区域进行权重计算,并利用权重对图片进行图像处理算法。该方法区分所述目标区域中不同分布位置的像素点进行不同权重的图像处理方法,使得该图像处理方法在目标区域的处理上平滑过渡,避免目标区域与其他区域在图像上形成分离。
同时,本发明也提供一种直播中的肤色处理方法,通过从直播的视频流中获取待处理图像;根据上述的图像处理方法,根据肤色区域的YCBCR色域空间分量对肤色区域进行权重计算,通过所获取的权重值对图像处理方法进行肤色区域上的权重处理。该直播中的肤色处理方法,使得肤色关于图像处理算法的处理效果能平滑过渡,避免直播画面上的人物与背景形成效果的分离。进一步,所述图像处理算法为美颜算法,利用美颜算法对所述述肤色区域的每个像素点进行加权平均,得到对所述肤色区域进行美颜处理且其他背景不变的实时视频图像。所述直播中的肤色处理方法使得美颜处理既能针对肤色区域中的重点区域进行,也能在肤色区域的处理上平滑过渡,达到显示效果即美化又自然。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明提供的图像处理方法的一实施例流程示意图;
图2为本发明提供的直播中的肤色处理装置的一实施例流程示意图;
图3为本发明提供的图像处理装置的一实施例示意图;
图4为本发明提供的直播中的肤色处理装置的一实施例示意图;
图5为本发明提供的实施例提供的终端部分结构的一实施例示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解,本申请所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念,是业内技术人员所公知的相同概念,是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定,这种命名本身不受编程语言种类、级别,也不受其赖以运行的操作系统或平台所限制。理所当然地,此类概念也不受任何形式的终端所限制。
本领域技术人员应当理解,本申请所称的用户界面、显示界面泛指能够用于向智能终端发送所述控制指令的显示界面,例如,可以是Android/IOS/Windows Phone系统的设置页面中的一个选项(或按键,由所述应用程序添加其中,下同),也可以是从桌面呼出的通知栏或者交互页面中的一个选项,还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。
现有的图像处理方法中,主要是以获取到的图像得到目标区域,然后对应目标区域与其他区域进行区分处理,但同一区域通常以同一方式进行处理,图像中不同区域区分处理,但也因此不同区域之间形成视觉上的分离。这样所得到的图像与具体的实景存在较大差异,降低显示效果。
基于此,本发明提供一种图像处理方法,以解决现有技术的图像处理方法不能就不同对象进行区别处理的缺陷,特别是在直播中对人物和背景区别处理的问题。本公开实施例通过根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
下面,对本公开实施例所提供的方案进行详细说明。
如图1所示,图1是本发明公开根据一实施例示出的一种图像处理方法的流程图,该方法可以用于电子设备中,包括以下步骤:
在步骤S101中,根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
在步骤S102中,根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
在步骤S103中,利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
其中,先以待处理图像中的各个像素点的色域空间分量作为基础,通过目标识别模型针对待处理图像进行识别,得出该目标区域中的对应的目标像素点。在本实施例中,所述色域空间分量为目标区域的每个像素点的YCBCR色域空间分量。
其中,根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值可以通过得到各个目标像素点的YCBCR色域空间分量的最大值Max和最小值Min,并通过对所述目标区域的YCBCR色域空间分量求取均值得到中间值M,对所述目标区域进行权重计算。
所述权重函数的表达式为:
Figure SMS_1
其中,W(x)为权重函数,且
Figure SMS_2
为指数函数,I(x)为目标色域识别函数,用于表示目标区域内对应像素点的YCBCR色域空间分量;M为对所述目标区域的YCBCR色域空间分量求取均值的中间值,Max为所述目标区域的所有像素点的YCBCR色域空间分量的最大值,Min为所述目标区域的所有像素点的YCBCR色域空间分量的最小值。
当I(x)等于中间值M,即
Figure SMS_3
由于/>
Figure SMS_4
为指数函数,所以F(0)=1。这时,由于I(x)为中间值M,其表示对应的像素点位于目标区域的中部位置,即这时得到的权重值为1,需要重点处理的部位。即当详述点位于目标区域的中部位置时,需完全根据所述图像处理算法对对应的像素点进行图像处理。
随着对应像素点与中间值的位置的距离变化,根据指数函数的曲线特点可知,得到的权重值会逐渐以平缓的方式发生变化。即在目标区域内,对各个像素点的处理权重也形成平缓的方式变化,使得经过图像处理算法的图像处理效果能够平滑过渡,最终达到图像处理算法只对目标区域进行的图像处理,且该图像处理的效果平滑过渡,得到的处理后的图像效果自然。
当目标区域的像素点接近其边界时,(例如,在直播中,若目标区域为人的肤色区域,那么该边界就是肤色区域与背景的边界),所述权重值最小,使目标区域和其他区域在图像显示时能形成平滑过渡,克服了图像中的不同区域之间形成视觉上的分离的缺陷。这样所得到的图像更加自然。
对应步骤S102,所述根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点包括以下步骤:
在步骤一中,获取待处理图像的每个像素点的图像信息;
在步骤二中,将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量;
在步骤三中,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的目标像素点。
其中,所述的每个像素点的图像信息是对每个像素点提取YUV分量,其用于表示色彩空间,YUV分量可拆分成Y、U、V三个不同的分量值。其中,Y为明亮分量,用于描述影像的明亮度;U为色度分量,用于表示影像的色彩;V为浓度分量,用于描述影像的饱和度。
针对待处理图像的每个像素所获取的YUV分量转换为RGB分量,然后再对该RGB分量进行色域转换,获得属于每个像素点的YCBCR色域空间分量,以便根据该YCBCR色域空间分量识别待识别图像中的目标区域。
其中,RGB分量表示颜色空间,R、G、B分别为RGB的分量值,R代表红色分量,G代表绿色分量,B代表蓝色分量;
YCBCR色域空间分量表示色彩空间,Y、CB、CR为YCBCR的具体分量值,具体为Y是指亮度分量,CB指蓝色色度分量,而CR指红色色度分量。
在本实施例中,针对待识别图像的每个像素所获取的YUV分量转换为RGB分量的具体的表达式为:
CRGB=CYUV2CRGB×CYUV (2)
式中,CRGB为RGB分量的矩阵,CYUV为YUV分量的矩阵,CYUV2CRGB为RGB分量和YUV分量的转换矩阵;
所述对所述RGB分量进行色域转换,得到各个像素点的YCBCR色域空间分量包括:
CYCBCR=CRGB2CYCBCR×CRGB (3)
式中,CYCBCR为YCBCR色域空间分量的矩阵,CRGB为前一公式所得的关于RGB分量的矩阵,CRGB2CYCBCR为YCBCR色域空间分量与RGB分量的转换矩阵。
在对待处理图像识别目标区域之前,先对获取目标识别模型的色域范围值,其中,在本实施例中,该目标识别模型的色域范围值可以根据不同的目标和/或不同场景下关于色域值的统计数据经过分析、设定、划分等方式得到的相应的范围值。根据该色域范围值对所获取的待识别图像进行色域对比,提取待处理图像中的目标区域的目标像素点,达到识别目标区域的目的。
上述的做法不需要针对历史数据构建关于目标区域的色域数据库,所以,在目标区域的识别中,不会因统计处理造成缓存数据量大增的情况,因此,该图像识别方法不会对运行的设备(如客户终端)的运算功能提出高要求,该方法也可适合用于如手机等配置相对不高的移动终端上。
在本实施例中,通过根据不同的目标和/或不同场景下关于色域值的数据统计获取的关于目标识别模型的色域范围值。通过色域转换得到所获取的待处理图像的每个像素点的YCBCR色域空间分量,经过对比分析,当所述YCBCR色域空间分量满足色域范围值,于所述待处理图像对应的像素点为目标区域的像素点。对于该对比分析的过程得到的关于目标区域的识别函数I(x)的表达式为:
Figure SMS_5
其中,x为目标区域的对应的目标像素点的YCBCR色域空间分量中的Y、CB、CR的三个空间分量;Y’,CB',CR'为经过根据不同的目标和/或不同场景下关于色域值的统计数据获取的目标识别模型的色域范围值。
从表达式(4)得知,所述待处理图像中的为目标区域的每个像素点关于YCBCR色域空间分量中的Y、CB、CR的三个空间分量,必须同时满足经过根据不同的目标和/或不同场景下关于色域值的统计数据获取的目标识别模型的色域范围值中的Y’,CB',CR'的三个空间分量。否则,便不被认为目标区域的目标像素点,即对应的像素点不为目标区域中。该方法通过从待处理图像的像素点所得到的色域空间分量与目标识别模型的色域范围值进行对比,所涉及的对比统计运算量只随图像的增大而线性增大,不需构建关于目标区域的色域数据库,因此不会造成缓存数据量大增的情况,因此,使得该图像处理方法可适用于如手机等移动终端上运行使用。
上述的图像处理方法可以运用至电子设备中任何一种关于图像处理方法,其可以针对静态的图像识别或是动态的图像、视频识别。而且,该图像处理方法所识别的目标区域可以是在图像中任何具有一定特征的目标区域,如对图像中的人物、某类物品、动物、环境等作为目标区域进行处理。
在上述的相关的所涉及到不同使用场景或者是针对不同目标区域的图像识别方法中,本发明提供一种直播中的肤色处理方法,以此为例,对上述的图像识处理方法进行更详细说明。在该直播中的肤色处理方法中,所述待处理图像产生于直播的视频流中,具体为直播视频流中所产生的每一帧的图像,其每个像素点的图像信息相对于该每一帧图像中的每个像素点的图像信息。对应地,所述目标识别模型为直播肤色模型,所述目标区域为肤色区域。所述肤色模型和肤色区域主要针对的是视频直播中主播的肤色,其可包括的范围可以涉及主播的脸部、颈部和其他肤色表露的肤色区域,该处理方法对现有技术中只将肤色区域和背景进行简单的区分处理进行了改进,减少了不同处理区域的分离,使图像处理在肤色区域内既有重点的处理部位,也能与背景的边界平滑过渡,最终提供了图像处理效果。
根据图2所示,在本实施例中所提供的直播中的肤色处理方法具体包括以下几个步骤:
在步骤S201中:从直播的视频流中获取待处理图像;
在步骤S202中:根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
在步骤S203中:根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
在步骤S204中:利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
其中,直播的视频流是以连续的一帧一帧图像组成的,因此,在直播中获取图像即是获取视频流中的每一帧图像作为待处理图像。
然后,待处理图像中的色域空间分量作为基础,通过直播肤色识别模型针对直播视频流中每一帧图像进行识别,得出该肤色区域。在本实施例中,所述色域空间分量为肤色区域的每个像素点的YCBCR色域空间分量。所述对所述肤色区域进行权重计算可参考上述的表达式(1)。这时,I(x)为肤色的色域识别函数,用于表示肤色区域内对应像素点的YCBCR色域空间分量;Max为所述肤色区域的所有像素点的YCBCR色域空间分量的最大值,Min为所述肤色区域的所有像素点的YCBCR色域空间分量的最小值。
当I(x)等于中间值M,即
Figure SMS_6
这时,对应的像素点与肤色区域的中部位置,若该肤色区域为人脸区域时,该中部位置刚好五官所处的位置,即越需要重点处理的位置,这时所对应的处理权重越高。
根据指数函数的曲线变化特点,随着肤色区域对应像素点与中间值的位置的距离变化,所得到的权重值逐渐以平缓的方式发生变化。即在肤色区域内,对各个像素点的根据图像处理算法的处理权重也形成平缓的方式变化。以面部肤色区域为例,五官所处的像素点的图像处理权重最高。随着沿着中间值区域向边缘区域变化,对应的图像处理权重也逐渐变小,直到肤色区域与背景的边界位置为止,以此达到对肤色区域的处理效果平滑过渡,所述肤色区域与背景的图像显示效果自然连接,避免出现图像断层,使得显示效果自然。
其中,所述直播肤色识别模型是通过获取直播的播放过程中关于肤色的根据不同的目标和/或不同场景下关于色域值的统计数据分析所得到的,用于获取直播中的肤色区域的色域空间分量进行数据对比。在本实施例中,所述根据不同的直播对象和/或场景,得到相应的直播肤色模型的色域范围值,具体可以为,例如,针对不同对象,可以直接针对不同人种的选择,相应获取直播播放过程中所参考的相应的直播肤色模型的色域范围值,由此判断所述色域空间分量,识别出属于肤色区域的目标像素点。更具体地,可以是根据对IP地址的识别,识别出直播间所在的地区,即主播所在的地区,可以初步区分人种,由此确定对应的直播肤色模型的色域范围值,以便针对性的对直播视频中的肤色区域进行识别。或者是,使用场景为室内或室外,由于环境的光线强弱对肤色的明暗或者对图像接收设备的曝光度等因素均有影响,因此,可以根据不同的使用场景,对得到的所述直播肤色模型的色域范围值进行调整。在本实施例中,将使用的地区限定为中国,使用的对象人群主要为黄色人种,所使用的场所为室内环境,这时,所述直播肤色模型的色域范围可设定为40≤Y≤120,100≤CB≤160,90≤CR≤150。
对所述直播肤色模型的色域范围值的确定手段,可以是从历史直播视频流中关于肤色的数据库中,经过对比、测试、训练等方式划分得到对应不同的直播对象和/或场景的色域范围值的数据模块,根据不同的应用情况,如IP地址不同、所根据所获取的图像初步判断直播场景,自动切换不同的数据模块,或者是用户可以根据实际情况切换不同的数据模块。或者是,根据特殊的直播效果的需求,所设定的关于不同直播主题的直播肤色模型的色域范围值。或者是,根据用户的个性化需求,获取用户设定的直播肤色模型的色域范围值等方式确认所述直播肤色模型的色域范围值。关于步骤202所述根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点可参考上述关于步骤S102的详细陈述。其中,所述目标识别模型为直播肤色识别模型,所述目标区域为肤色区域。
在直播的过程中,为了提高视觉效果,通常对图像,尤其是直播视频中的人物,尤其是对主播在直播视频中的肤色区域进行进一步的美颜处理。其中,美颜处理为实时视频图像对人的图像进行如美白、磨皮、瘦脸等美颜效果处理。由于所述该美颜处理是以识别得到的肤色区域为处理对象,因此,对图像的美颜处理只针对所识别得到的肤色区域,而避免对背景进行美颜处理,保持背景的真实显示。
其中所述利用美颜算法对所述述肤色区域的每个像素点进行加权平均的表达式为:
Image(x)'=W(x)*Beauty(Image(x))+(1-W(x))*Image(x) (5)
其中,Image(x)'为经过直播美颜算法处理后的肤色区域的YUV分量;Image(x)经过直播美颜算法处理前的肤色区域的YUV分量Beauty(x)为常用的美颜算法。
上述的表达式可得,越是权重越大的肤色区域,对应区域的美颜算法处理效果越强。以人脸区域为例进行说明。从上述可知,所述位于人脸的中间值的位置位于五官所处位置,根据表达式(1)得到对应区域的像素点的图像处理权重最高,其权重为1,即对应的区域需要进行最高程度的美颜算法处理,以保证主播的美颜效果。随着沿着中间值区域向边缘区域变化,对应的美颜算法处理权重也逐渐变小,直到肤色区域与背景的边界位置为止,以此达到对肤色区域的处理效果平滑过渡,所述肤色区域与背景的图像显示效果自然连接,避免出现主播的人脸区域与背景出现断层,使得显示效果自然。
在另一种实施例中,本申请提供一种图像识别装置,如图3所示,包括:
识别模块301,用于根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
权重计算模块302,用于根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个计算目标像素点的权重值;
图像处理模块303,用于利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
本发明提供的一种图像处理装置,以图像显示应用为例进行说明,图像显示应用展示了图像显示平台用户拍摄、上传的图像或视频,在图像显示应用根据用户的指令,展示指定的图像或视频,即当用户需要观看图像或视频时,点击对应的图像或视频播放便可观看。本实施例提供的一种图像处理装置,识别模块301根据待处理图像的各个像素点的YCBCR色域空间分量,参照目标识别模型识别出对应的目标区域。所述待处理图像可以是图像显示应用图像或视频,当监测图像或视频处于播放状态,当所播放的是图像,则对每幅图像作为待处理图像,然后获取其的每个像素点的图像信息;若播放的是视频,则将视频分解为一帧一帧的图像,将每一帧图像作为待处理图像,然后针对每一帧图像的作为对象获取其每个像素点的图像信息。
根据所识别得到的目标区域,权重计算模块302根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值。
所述图像处理模块303根据上述权重计算的结果,对图像处理算法分配处理权重,以区分目标区域中不同分布的像素点进行不同权重的图像处理算法。
在又一种实施例中,本发明还提供的一种直播中的肤色处理装置,将上述的图像识别装置具体运用于直播领域,处理对应为直播视频中的人物的实际场景中,具体如图4所示,其包括:
图像获取模块401,用于从直播的视频流中获取待处理图像;
识别模块402,用于根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点;
权重计算模块403,用于根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值;
图像处理模块404,用于利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
本发明提供的一种直播中的肤色处理装置,具体通过图像获取模块401从直播的视频流中获取图像,以此作为待处理的对象。以目前直播视频的播放方式是多以帧作为单位形成连续的图像播放为例说明,识别模块402通过色域转换,提取待处理图像的各个像素点的YCBCR色域空间分量,根据不同的使用场景、地区、或对象,相应获取直播播放过程中的肤色大数据不同范围数据,得到该YCBCR色域空间分量识别出目标区域对应的像素点。
所述图像处理模块404根据所述权重计算模块403针对肤色区域的权重函数计算得到的结果,对直播中的每一帧的图像分配处理权重,达到区分肤色区域中不同分布位置的像素点进行不同权重的图像处理算法。
若运用于直播视频中的人物的实时视频的美颜处理中,具体为所述图像处理模块404所使用的图像处理算法是美颜算法,用于对直播中实时视频画面中人物肤色区域的美颜处理,其需结合所述权重计算模块403得到的关于肤色区域中的每个像素点的权重,以区分所述肤色区域中不同分布位置的像素点进行不同权重的美颜算法处理,使得美颜处理既能针对肤色区域中的重点区域进行,也能在肤色区域的处理上平滑过渡,达到显示效果即美化又自然。
在又一种实施例中,本发明还提供一种终端,用于实现上述实施例所述的图像处理方法,如图5所示是与本申请实施例提供的终端的部分结构的框图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
参考图5,手机包括:射频(Radio Frequency,RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity,WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解,图5中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍:
RF电路510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器580处理;另外,将设计上行的数据发送给基站。
存储器520可用于存储软件程序以及模块,处理器580通过运行存储在存储器520的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如图像数据、具体为待处理图像的每个像素点的图像信息)等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息,以及产生与手机500的用户设置以及功能控制有关的键信号输入。具体地,输入单元530可包括触控面板531以及其他输入设备532。触控面板531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器580,并能接收处理器580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531,输入单元530还可以包括其他输入设备532。具体地,其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板541。进一步的,触控面板431可覆盖显示面板541,当触控面板531检测到在其上或附近的触摸操作后,传送给处理器580以确定触摸事件的类型,随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中,触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。
手机500还可包括至少一种传感器550,比如光传感器、运动传感器以及其他传感器。
音频电路560、扬声器561,传声器562可提供用户与手机之间的音频接口。
手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问图像显示平台或视频平台等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570,但是可以理解的是,其并不属于手机500的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器520内的软件程序和/或模块,以及调用存储在存储器520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器580可包括一个或多个处理单元;优选的,处理器580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器580中。
尽管未示出,手机500还可以包括摄像头、蓝牙模块等,在此不再赘述。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本发明通过根据待处理图像各个像素点的YCBCR色域空间分量,与目标识别模型进行对比,得到目标区域;对目标区域进行权重计算,并利用权重对图片进行图像处理算法。该方法区分所述目标区域中不同分布位置的像素点进行不同权重的图像处理方法,使得该图像处理方法在目标区域的处理上平滑过渡,避免目标区域与其他区域在图像上形成分离。
同时,本发明也提供一种直播中的肤色处理方法,通过从直播的视频流中获取待处理图像;根据上述的图像处理方法,根据肤色区域的YCBCR色域空间分量对肤色区域进行权重计算,通过所获取的权重值对图像处理方法进行肤色区域上的权重处理。该直播中的肤色处理方法,使得肤色关于图像处理算法的处理效果能平滑过渡,避免直播画面上的人物与背景形成效果的分离。进一步,本发明还提供一种直播美颜方法,所述图像处理算法在该方法上为美颜算法,利用美颜算法对所述述肤色区域的每个像素点进行加权平均,得到对所述肤色区域进行美颜处理且其他背景不变的实时视频图像。该直播美颜方法使得美颜处理既能针对肤色区域中的重点区域进行,也能在肤色区域的处理上平滑过渡,达到显示效果即美化又自然。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像处理方法,其特征在于,其包括以下步骤:
获取待处理图像的每个像素点的图像信息,将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的目标像素点;
根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值;
利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值的步骤包括:
得到各个目标像素点的YCBCR色域空间分量的最大值Max和最小值Min,并通过对所述目标区域的YCBCR色域空间分量求取均值得到中间值M,对所述目标区域进行权重计算。
3.根据权利要求1所述的图像处理方法,其特征在于,所述图像信息包括每个像素点的YUV分量;
所述将所述每个像素点的图像信息进行色域转换,获取所述待处理图像的每个像素点的色域空间分量的步骤包括:
对每个像素点的YUV分量转换为RGB分量,对所述RGB分量进行色域转换,得到各个像素点的YCBCR色域空间分量;
其中,YUV分量表示色彩空间,Y、U、V分别为YUV的分量值,Y代表明亮度分量,U代表色度分量,V代表浓度分量;
RGB分量表示颜色空间,R、G、B分别为RGB的分量值,R代表红色分量,G代表绿色分量,B代表蓝色分量;
YCBCR色域空间分量表示色彩空间,Y、CB、CR为YCBCR的具体分量值,具体为Y是指亮度分量,CB指蓝色色度分量,而CR指红色色度分量。
4.根据权利要求1所述的图像处理方法,其特征在于,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的像素点的步骤包括:
获取目标识别模型的色域范围值;
利用所述色域范围值判断各个的像素点的YCBCR色域空间分量,将满足所述色域范围值的像素点识别为目标区域的像素点。
5.一种直播中的肤色处理方法,其特征在于,包括:
从直播的视频流中获取待处理图像;
获取待处理图像的每个像素点的图像信息,将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的目标像素点;
根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值;
利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
6.根据权利要求5所述的直播中的肤色处理方法,其特征在于,根据待处理图像各像素点的YCBCR色域空间分量识别出目标区域对应的目标像素点还包括:
获取直播的视频流中的待处理图像的每个像素点的图像信息;
将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量;
根据不同的直播对象和/或场景,得到相应的直播肤色模型的色域范围值;
根据所述直播肤色模型的色域范围值判断所述色域空间分量,识别出属于肤色区域的目标像素点。
7.根据权利要求5所述的直播中的肤色处理方法,其特征在于,
所述利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理的步骤包括:
利用美颜算法对所述肤色区域的每个像素点进行加权平均,得到对所述肤色区域进行美颜处理且其他背景不变的实时视频图像。
8.一种图像处理装置,其特征在于,包括:
识别模块,用于获取待处理图像的每个像素点的图像信息,将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的目标像素点;
权重计算模块,用于根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值;
图像处理模块,用于利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
9.一种直播中的肤色处理装置,其特征在于,包括:
图像获取模块,用于从直播的视频流中获取待处理图像;
识别模块,用于获取待处理图像的每个像素点的图像信息,将所述各个像素点的图像信息进行色域转换,获取各个像素点对应的色域空间分量,根据目标识别模型的色域范围值判断所述色域空间分量,识别出属于目标区域的目标像素点;
权重计算模块,用于根据权重函数及各个目标像素点的YCBCR色域空间分量分别计算各个目标像素点的权重值;
图像处理模块,用于利用图像处理算法并结合所述目标像素点的权重值对各个目标像素点进行图像处理。
10.一种终端,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于:执行权利要求1-4任一项所述的图像处理方法,或者权利要求5-7任一项所述的直播中的肤色处理方法。
11.一种计算机可得的存储介质,其存储有计算机程序,其特征在于:
所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的图像处理方法,或者如权利要求5-7任一项所述的直播中的肤色处理方法。
CN201811333131.6A 2018-11-09 2018-11-09 图像处理方法及装置、直播中的肤色处理方法及装置 Active CN109544441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811333131.6A CN109544441B (zh) 2018-11-09 2018-11-09 图像处理方法及装置、直播中的肤色处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811333131.6A CN109544441B (zh) 2018-11-09 2018-11-09 图像处理方法及装置、直播中的肤色处理方法及装置

Publications (2)

Publication Number Publication Date
CN109544441A CN109544441A (zh) 2019-03-29
CN109544441B true CN109544441B (zh) 2023-06-09

Family

ID=65846693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811333131.6A Active CN109544441B (zh) 2018-11-09 2018-11-09 图像处理方法及装置、直播中的肤色处理方法及装置

Country Status (1)

Country Link
CN (1) CN109544441B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149468A (zh) * 2019-06-28 2020-12-29 瑞昱半导体股份有限公司 肤色影像的色域权重侦测方法及其装置
CN110662115B (zh) * 2019-09-30 2022-04-22 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874786A (zh) * 2014-01-03 2016-08-17 三星电子株式会社 图像处理装置、图像处理方法和计算机可读记录介质
CN107038680A (zh) * 2017-03-14 2017-08-11 武汉斗鱼网络科技有限公司 自适应光照的美颜方法及系统
CN107256543A (zh) * 2017-06-21 2017-10-17 深圳市万普拉斯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN107862657A (zh) * 2017-10-31 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661239B2 (en) * 2013-04-17 2017-05-23 Digital Makeup Ltd. System and method for online processing of video images in real time
WO2017149315A1 (en) * 2016-03-02 2017-09-08 Holition Limited Locating and augmenting object features in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874786A (zh) * 2014-01-03 2016-08-17 三星电子株式会社 图像处理装置、图像处理方法和计算机可读记录介质
CN107038680A (zh) * 2017-03-14 2017-08-11 武汉斗鱼网络科技有限公司 自适应光照的美颜方法及系统
CN107256543A (zh) * 2017-06-21 2017-10-17 深圳市万普拉斯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN107862657A (zh) * 2017-10-31 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109544441A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN111416950B (zh) 视频处理方法、装置、存储介质及电子设备
CN107256555B (zh) 一种图像处理方法、装置及存储介质
CN107230182B (zh) 一种图像的处理方法、装置以及存储介质
CN109783178B (zh) 一种界面组件的颜色调整方法、装置、设备和介质
CN109639982B (zh) 一种图像降噪方法、装置、存储介质及终端
CN109685746B (zh) 图像亮度调整方法、装置、存储介质及终端
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
CN107038715B (zh) 一种图像处理方法及装置
CN108259990B (zh) 一种视频剪辑的方法及装置
CN107451979B (zh) 一种图像处理方法、装置和存储介质
CN108038836B (zh) 一种图像处理方法、装置及移动终端
CN112449120A (zh) 高动态范围视频生成方法及装置
CN108200421B (zh) 一种白平衡处理方法、终端和计算机可读存储介质
CN109104578B (zh) 一种图像处理方法及移动终端
WO2020134789A1 (zh) 移动终端及其屏幕亮灭的控制方法、计算机存储介质
CN109544441B (zh) 图像处理方法及装置、直播中的肤色处理方法及装置
CN112289278A (zh) 屏幕亮度调节方法、屏幕亮度调节装置和电子设备
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
US20220044369A1 (en) Image processing method, terminal and non-transitory computer-readable storage medium
CN113888447A (zh) 一种图像处理方法、终端及存储介质
CN111935509A (zh) 一种多媒体数据播放的方法、相关装置、设备及存储介质
CN110766606A (zh) 一种图像处理方法及电子设备
CN114038370B (zh) 显示参数调整方法、装置、存储介质及显示设备
CN112511890A (zh) 视频图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant