CN112435173A - 一种图像处理和直播方法、装置、设备和存储介质 - Google Patents
一种图像处理和直播方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112435173A CN112435173A CN201910790827.XA CN201910790827A CN112435173A CN 112435173 A CN112435173 A CN 112435173A CN 201910790827 A CN201910790827 A CN 201910790827A CN 112435173 A CN112435173 A CN 112435173A
- Authority
- CN
- China
- Prior art keywords
- target
- image data
- original
- brightness value
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 claims description 23
- 239000006185 dispersion Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 18
- 235000019557 luminance Nutrition 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 208000035874 Excoriation Diseases 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013215 result calculation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理和直播方法、装置、设备和存储介质,该方法包括:确定原始图像数据,原始图像数据中具有多个像素点;针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值;确定原始图像数据中的肤色区域;根据目标亮度值与肤色区域生成模糊强度;在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据。通过该方法,实现了有针对性的处理肤色区域的效果。
Description
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种图像处理和直播方法、装置、设备和存储介质。
背景技术
随着美颜的流行,越来越多的用户希望能通过美颜工具对图片或者视频中的人物进行美颜处理。
尤其是在手机拍照和直播领域,对美颜的需求越来越凸显。常见的美颜包括瘦脸、磨皮等。以磨皮为例,一般采用通过识别肤色的方法来确定皮肤,对皮肤区域进行模糊处理后,将皮肤区域叠加回原图片中来实现。
但是颜色空间的肤色识别对光线非常敏感,在夜晚的时候会导致无法完全识别皮肤区域,而在户外强光的情况下会导致扩大了皮肤区域的范围。进而导致进行模糊的区域确定不准确,使得用户在照片或者视频中脸部肤色不均匀或者脸部轮廓模糊。
发明内容
本发明提供一种图像处理和直播方法、装置、设备和存储介质,以解决无法完全识别皮肤区域,进行磨皮操作导致的脸部肤色不均匀的问题和扩大了皮肤区域的范围进行磨皮操作导致的脸部轮廓模糊的问题。
第一方面,本发明实施例提供了一种图像处理方法,包括:
确定原始图像数据,所述原始图像数据中具有多个像素点;
针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
确定所述原始图像数据中的肤色区域;
根据所述目标亮度值与所述肤色区域生成模糊强度;
在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
在此基础上,所述针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值,包括:
从所述像素点中确定第一目标点以及至少两个第二目标点,所述第二目标点与所述第一目标点的纹理坐标相邻,所述纹理坐标具有第一方向和第二方向;
计算所述第二目标点的色彩分量在第一方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第一方向的目标亮度值;
计算所述第二目标点的色彩分量在第二方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第二方向的目标亮度值。
在此基础上,所述确定所述原始图像数据中的肤色区域,包括:
将所述像素点的色彩分量从RGB色彩分量转换为YCBCR色彩分量;
将所述像素点输入预置的肤色判别模型中,以输出属于肤色区域的像素点。
在此基础上,所述根据所述目标亮度值与所述肤色区域生成模糊强度,包括:
根据目标亮度值确定表征轮廓的像素点,作为轮廓点;
基于所述轮廓点对所述像素点确定第一权重;
确定所述肤色区域中像素点在色彩分量上的离散程度;
基于所述离散程度对所述像素点确定第二权重;
结合所述第一权重与所述第二权重生成模糊强度。
在此基础上,所述根据目标亮度值确定表征轮廓的像素点,作为轮廓点,包括:
计算原始图像数据中像素点的原始亮度值与目标亮度值之间的差值;
当所述差值不属于预设的边缘范围区间时,将所述差值对应的像素点确定为轮廓点。
在此基础上,所述基于所述轮廓点对所述像素点确定第一权重,包括:
当所述像素点为轮廓点时,确定所述像素点的第一权重为第一数值;
当所述像素点不为轮廓点时,确定所述像素点的第一权重为第二数值,所述第一数值小于所述第二数值。
在此基础上,所述确定所述肤色区域中像素点在色彩分量上的离散程度,包括:
对所述肤色区域中像素点的色彩分量计算平均值;
确定所述肤色区域中像素点的色彩分量的最大值和最小值;
针对某个像素点,确定所述像素点的第三数值与第四数值的商以表示所述离散程度,所述第三数值为所述像素点的色彩分量与所述中间值的差值,所述第四数值为所述最大值与所述最小值的差值。
在此基础上,所述基于所述离散程度对所述像素点确定第二权重,包括:
将所述离散程度带入预设的单调递减指数函数中,以计算第二权重。
在此基础上,所述结合所述第一权重与所述第二权重生成模糊强度,包括:
确定所述第一权重与所述第二权重之间的乘积;
将所述乘积设置为所述模糊强度。
在此基础上,所述在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据,包括:
基于所述模糊强度计算第三权重;
计算所述色彩分量的原始亮度值与所述第三权重之间的乘积,作为第一模糊结果;
计算所述色彩分量的目标亮度值与所述模糊强度之间的乘积,作为第二模糊结果;
叠加所述第一模糊结果与所述第二模糊结果,以获得构成目标图像数据的目标像素点的色彩分量。
第二方面,本发明实施例还提供了一种直播方法,包括:
采集原始视频数据,所述原始视频数据包括原始图像数据,所述原始图像数据中具有多个像素点;
针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
确定所述原始图像数据中的肤色区域;
根据所述目标亮度值与所述肤色区域生成模糊强度;
在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据;
在直播间中发布包含所述目标图像数据的直播视频数据。
第三方面,本发明实施例还提供了一种图像处理装置,包括:
原始图像数据确定模块,用于确定原始图像数据,所述原始图像数据中具有多个像素点;
目标亮度值第一确定模块,用于针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
肤色区域第一确定模块,用于确定所述原始图像数据中的肤色区域;
模糊强度第一确定模块,用于根据所述目标亮度值与所述肤色区域生成模糊强度;
目标图像数据第一获得模块,用于在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
第四方面,本发明实施例还提供了一种直播装置,包括:
原始视频数据采集模块,用于采集原始视频数据,所述原始视频数据包括原始图像数据,所述原始图像数据中具有多个像素点;
目标亮度值第二确定模块,用于针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
肤色区域第二确定模块,用于确定所述原始图像数据中的肤色区域;
模糊强度第二确定模块,用于根据所述目标亮度值与所述肤色区域生成模糊强度;
目标图像数据第二获得模块,用于在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据;
直播视频数据发布模块,用于在直播间中发布包含所述目标图像数据的直播视频数据。
第五方面,本发明实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的一种图像处理方法,或者,如第二方面所述的一种直播方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的一种图像处理方法,或者,如第二方面所述的一种直播方法。
本发明实施例通过确定原始图像数据,原始图像数据中具有多个像素点;针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值;确定原始图像数据中的肤色区域;根据目标亮度值与肤色区域生成模糊强度;在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据。此时的目标图像数据中已经准确确定了肤色区域,并对肤色区域配置最高的模糊强度,按照该强度对肤色区域进行模糊处理,实现了有针对性的处理肤色区域的效果。
附图说明
图1为本发明实施例一提供的一种图像处理方法的流程图;
图2A为本发明实施例二提供的一种图像处理方法的流程图;
图2B为本发明实施例二提供的一种图像处理方法的示意图;
图2C为本发明实施例二提供的一种可能的第二目标点的示意图;
图2D为本发明实施例二提供的一种对像素点处理的示意图
图3为本发明实施例三提供的一种直播方法的流程图;
图4为本发明实施四提供的一种图像处理装置;
图5为本发明实施五提供的一种直播装置;
图6为本发明实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像处理方法的流程图。本实施例适用于在确定肤色区域的情况下、对原始图像数据进行模糊处理的场景。该方法可以由一种图像处理装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可配置在电子设备中,例如,手机、平板电脑、可穿戴设备(如智能眼镜、智能手表)等,该电子设备配置有屏幕、中央处理器(CPU)和图形处理器(GPU)。参考图1,该方法具体包括:
S101、确定原始图像数据。
原始图像数据是指用数值表示的各像素(pixel)的值的集合。确定原始图像数据是指将接收到图像数据行进处理,修改为统一的格式,便于后续的处理。一般的,原始图像数据包括人像。即原始图像数据可以分为人体部分与背景部分。需要通过模糊和调节亮度处理来达到“磨皮”效果的原始图像数据中,一般包括人脸图像。
原始图像数据可能有对应多种色彩模型的表达形式,如:RGB色彩模式、CMYK色彩模式、YUV色彩模式和Lab色彩模式。由于不同色彩模式之间可以相互转换,因此不对原始图像数据采用的色彩模式进行限定。
S102、针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值。
可选的,将原始图像数据中的色彩模式确定为RGB色彩模式。如果原始图像数据为其他色彩模型,则将其转化为RGB色彩模式。
一般的,将原始图像数据通过渲染引擎创建第一纹理,第一纹理中包括四个参数,四个参数可以分别用于存储RGB色彩分量中的红色彩分量、绿色彩分量和蓝色彩分量,剩余的一个参数可用于存储透明度分量。此时存储的红色彩分量、绿色彩分量和蓝色彩分量可以理解为该像素点的原始亮度值。
纹理坐标具有X方向和Y方向。针对一个像素点,确定围绕该像素点的其他像素点。根据其他像素点的原始亮度值对该像素点的原始亮度值进行调整,将调整后的亮度值作为该像素点的目标亮度值。
S103、确定所述原始图像数据中的肤色区域。
在一可行的实现方式中,先以原始图像数据中的各个像素点的色彩分量作为基础,通过目标识别模型针对待处理图像进行识别,得出原始图像数据中的肤色区域。
可选的,将原始图像数据中的色彩模式确定为YCBCR色彩模式,色彩分量即为Y色彩分量、CB色彩分量和CR色彩分量。如果原始图像数据为其他色彩模型,则将其转化为YCBCR色彩模式。
S104、根据所述目标亮度值与所述肤色区域生成模糊强度。
模糊强度可以理解为一片区域被模糊处理的程度。对于每个像素点而言,可以理解为一个像素点的亮度被调高的程度。在实施例中,模糊强度受到两个条件的影响,一个是目标亮度,另一个是肤色区域。
在本实施例中,目标亮度可以用于确定原始图像数据中的轮廓点。对轮廓点配以较低的模糊强度,可以在在对轮廓进行保护的情况对皮肤区域进行模糊和调高亮度的处理,可以提高原始图像数据中物体的立体感。以原始图像数据中包括人脸为例,可以将人脸与背景之间的像素点确定为轮廓点,对轮廓点进行较低强度的模糊处理,从而保证了在模糊处理时人脸的边缘不会与背景混同,保证了人脸的立体感。
肤色区域是模糊处理的重要对象,对肤色区域配以较高的模糊强度,可以达到较好的美颜效果。
同时根据目标亮度值和肤色区域确定像素点的模糊强度,可以很好的区分原始图像数据中的背景区域、轮廓点和肤色区域。
S105、在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
在一可行的实现方式中,对原始图像数据中的像素点进行处理,为了与后文进行区分,在本实施例中分别将原始图像中的像素点叫做第一像素点,将处理后的、组成目标图像数据的像素点叫做第二像素点。
一个第一像素点包括原始亮度值,原始亮度值存储在纹理坐标中;对第一像素点的原始亮度进行调节,获得该第一像素点的目标亮度值。第一像素点由色彩分量构成,色彩分量包括红色彩分量、绿色彩分量和蓝色彩分量。进行模糊处理需要对这三种色彩分量分别进行调整。以红色彩分量为例进行描述:
根据模糊强度对第一像素点的红色彩分量的原始亮度值、进行亮度的调高或者降低,将处理后的第一像素点的红色分量的原始亮度值作为第一中间数据进行保存。根据模糊强度对第一像素点的红色彩分量的目标亮度值、进行亮度的调高或者降低,将处理后的第一像素点的红色分量的目标亮度值作为第二中间数据进行保存。叠加第一中间数据和第二中间数据,作为第二像素点的红色彩分量的亮度值。
按照上述方式,获得第二像素点的绿色彩分量的亮度值和第二像素点的蓝色彩分量的亮度值。
所有第二像素点组合构成目标图像数据。
本发明实施例通过确定原始图像数据,原始图像数据中具有多个像素点;针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值;确定原始图像数据中的肤色区域;根据目标亮度值与肤色区域生成模糊强度;在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据。此时的目标图像数据中已经准确确定了肤色区域,并对肤色区域配置最高的模糊强度,按照该强度对肤色区域进行模糊处理,实现了有针对性的处理肤色区域的效果。
实施例二
图2A为本发明实施例二提供的一种图像处理方法的流程图。图2B为本发明实施例二提供的一种图像处理方法的示意图。本实施例是在实施例一的基础上进行了细化,详细描述了针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值的具体过程。参考图2A,该方法包括:
S201、确定原始图像数据。
获取图像数据的方式可以是指通过摄像设备采集主播用户上传的直播的画面,也可以是接收用户输入的图像。一般的,原始图像数据包括人。即原始图像数据可以分为人体部分与背景部分。
一般的,接收到的原始图像数据为RGB色彩模式。原始图像数据中的每个像素点具有纹理坐标,纹理坐标中包括四个参数,分别用于存储RGB色彩模式中的红色彩分量、绿色彩分量、蓝色彩分量和透明分量。其中,红色彩分量表示像素点的红色通道的值、绿色彩分量表示像素点的绿色通道的值、蓝色彩分量表示像素点的蓝色通道的值、透明分量表示像素点的透明度的值。
S202、从所述像素点中确定第一目标点以及至少两个第二目标点。
在原始图像数据中确定出第一目标点,第一目标点是当前需要调整亮度的像素点。第一目标点的确定是通过顺序遍历的方式确定的,一般按照从上往下、从左到右或者反方向进行遍历。
第二目标点是与第一目标点关联的像素点,关联是指第二目标点与所述第一目标点在所述纹理坐标相邻。当第二目标点的数量为奇数个时,可以预先设定往某一方向多取一个像素点。当第二目标点的数量为偶数个时,可以以第一目标点为中心,向对称的两边确定第二目标点。
图2C为本发明实施例二提供的一种可能的第二目标点的示意图。参考图2C,当第一目标点10确定后,若确定第二目标点的数量为4个时。以第一目标点10为圆心,两个像素点为半径确定圆形区域11,圆形区域11中的像素点均可认为是与第一目标点关联的像素点,即第二目标点。
通常的约定是使用U和V作为纹理空间中的轴线,U对应于2D坐标系的X轴,V对应于Y轴。在OpenGL中对UV轴上的值的处理方式为:在U轴上从左往右递增,V轴上从下往上递增(原点在左下角)。
一般的,可以将沿X轴方向确定为第一方向、可以将沿Y轴方向确定为第一方向,也可以是X轴Y轴的角平分线方向确定为第一方向。
在一可行的实现方式中,以沿X轴方向为第一方向。图2D为本发明实施例二提供的一种对像素点处理的示意图。则可以确定像素点(1,1)为第一目标点,当对像素点(1,1)的亮度值进行调节后,将像素点(1,2)确定为第一目标点,当第一行像素点的亮度值都进行调节后,开始在第二行确定第一目标点,在第二行确定第一目标点时,可以按照从左往右的方式将像素点(2,1)确定为第一目标点,也可以按照蛇形方式将素点(2,7)确定为第一目标点。
S203、计算所述第二目标点的色彩分量在第一方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第一方向的目标亮度值。
以第一目标点在第一方向上的坐标为中心,在原始图像数据中确定第一目标范围。参考图2D,以像素点(4,4)为第一目标点,以沿X轴方向为第一方向进行描述。第一目标范围即圈定第二目标点的范围区域,一般的,可以将第一目标范围确定为2个像素点,即以第一目标点在第一方向上的坐标为中心,以2个像素点为半径确定第一目标范围12。
若像素点在第一方向上的坐标位于第一目标范围内,则将像素点设置为第二目标点。确定作为第一目标点的像素点(4,4)在第一方向上的位于第一目标范围12的像素点,即将像素点(4,2)、像素点(4,3)、像素点(4,5)和像素点(4,6)作为第二目标点。
确定第二目标点相对于第一目标点的第一权重。
第一权重用于体现第二目标点的亮度对第一目标点的亮度的影响的大小。可以对第二目标点设置相同的权重,也可以对第二目标点设置相同的权重。可以将第一目标点的亮度加入权重的设定中,也可以不加入权重的设定中。本实施例对此不作限定。
在一可行的实现方式中,可以根据第二目标点距离第一目标点的距离来确定第二目标点的权重。第二目标点距离第一目标点的距离越近,说明与第一目标点的关系越紧密,应该对第一目标点造成的影响越大。确定第二目标点与第一目标点之间的距离;确定第二目标点的权重,权重与距离正相关。为了便于计算,将所有权重的和设定为1。参考图2D,可以将作为第一目标点的像素点(4,4)的权重设置为0.4,将第二目标点中像素点(4,2)的权重设置为0.1、像素点(4,3)的权重设置为0.2、像素点(4,5)的权重设置为0.2和像素点(4,6)的权重设置为0.1。
具体的,此步骤包括如下方法:
确定X轴的方向为第一方向。在确定第二目标点后,确定第二目标点的一色彩分量的亮度分量Y的总和值,将总和值除以第二目标点的数量,以获得第二目标点在第一方向的一色彩分量亮度分量Y的均值,将该均值作为第一数据。
在确定第二目标点后,确定第二目标点的权重,确定第二目标点的一色彩分量的亮度分量Y。将第二目标点的一色彩分量的亮度分量Y与权重的乘积作为一个第二目标点的中间加权亮度。确定多个加权亮度的总和值,将总和值除以第二目标点的数量,以获得第二目标点在第一方向的一色彩分量的亮度分量Y加权求和后的均值,将该均值作为第二数据。
可选的,第二目标点根据距离第一目标点的距离不同而被配置不同的权重。
在确定第二目标点后,确定每个第二目标点的一色彩分量的亮度分量Y的平方值,将平方值除以第二目标点的数量,以获得第二目标点在第一方向的亮度分量Y的平方的均值,将该均值作为第三数据。
原始亮度统计数据包括第二目标点在第一方向的亮度分量Y的均值即第一数据,第二目标点在第一方向的亮度分量Y加权求和后的均值即第二数据,第二目标点在第一方向的亮度分量Y的平方的均值即第三数据。
S204、计算所述第二目标点的色彩分量在第二方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第二方向的目标亮度值。
由于上一步骤只计算了第二目标点的色彩分量在第一方向的亮度值的平均值,因此并未考虑第二方向上的色彩分量的亮度分量Y之间的关系。通过第二目标点在第二方向一色彩分量的亮度分量Y对原始亮度统计数据进行调整,可以获得更加准确的统计数据,为后期准确检测轮廓点提供了优质的素材。
具体的,此步骤包括如下方法:
确定Y轴的方向为第二方向。在确定第二目标点后,确定第二目标点的亮度分量Y的总和值,将总和值除以第二目标点的数量,以获得第二目标点在第二方向的亮度分量Y的均值,将该均值作为第四均值。
可选的,将第四均值与第一均值的均值作为第四数据。
在确定第二目标点后,确定第二目标点的第二权重,确定第二目标点的亮度分量Y。将第二目标点的亮度分量Y与第二权重的乘积作为一个第二目标点的中间加权亮度。确定多个加权亮度的总和值,将总和值除以第二目标点的数量,以获得第二目标点在第二方向的亮度分量Y加权求和后的均值,将该均值作为第五均值。
可选的,第二目标点根据距离第一目标点的距离不同而被配置不同的第二权重。
可选的,将第五均值与二均值的均值作为第五数据。
在确定第二目标点后,确定每个第二目标点的亮度分量Y的平方值,将平方值除以第二目标点的数量,以获得第二目标点在第二方向的亮度分量Y的平方的均值,将该均值作为第六均值。
可选的,将第六均值与三均值的均值作为第六数据。
目标亮度统计数据包括第二目标点在第一方向和第二方向的亮度分量Y的均值,即第四数据;第二目标点在第一方向和第二方向的亮度分量Y加权求和后的均值,即第五数据,第二目标点在第一方向和第二方向的亮度分量Y的平方的均值。
最后,对第一目标点的色彩分量在第一方向和第二方向的目标亮度值求均值,作为第一目标点最终的目标亮度值。
S205、将所述像素点的色彩分量从RGB色彩分量转换为YCBCR色彩分量。
其中,RCB分量表示颜色空间,R、G、B分别为RGB的分量值,R代表红色分量,G代表绿色分量,B代表蓝色分量;YCBCR色域空间分量表示色彩空间,Y、CB、CR为YCBCR的具体分量值,具体为Y是指亮度分量,CB指蓝色色度分量,而CR指红色色度分量。在本实施例中,针对待识别图像的每个像素所获取的YUV分量转换为RGB分量的具体的表达式为:
CRGB=CYUV2CRGB×CYUV (1)
式中,CRGB为RGB分量的矩阵,CYUV为YUV分量的矩阵,CYUV2CRGB为RGB分量和YUV分量的转换矩阵;所述对所述RGB分量进行色域转换,得到各个像素点的YCBCR色域空间分量包括:
CYCBCR=CRGB2CYCBCR×CRGB (2)
式中,CYCBCR为YCBCR色域空间分量的矩阵,CRGB为前一公式所得的关于RCB分量的矩阵,CRGB2CYCBCR为YCBCR色域空间分量与RGB分量的转换矩阵。
S206、将所述像素点输入预置的肤色判别模型中,以输出属于肤色区域的像素点。
在本实施例中,通过根据不同的目标和/或不同场景下关于色域值的数据统计获取的关于目标识别模型的色域范围值。通过色域转换得到所获取的待处理图像的每个像素点的YCBCR色域空间分量,经过对比分析,当所述YCBCR色域空间分量满足色域范围值,于所述待处理图像对应的像素点为目标区域的像素点。对于该对比分析的过程得到的关于目标区域的识别函数I(x)的表达式为:
其中,x为目标区域的对应的目标像素点的YCBCR色域空间分量中的Y、CB、CR的三个空间分量;Y′,CB′,CR′为经过根据不同的目标和/或不同场景下关于色域值的统计数据获取的目标识别模型的色域范围值。
从表达式(3)得知,所述待处理图像中的为目标区域的每个像素点关于YCBCR色域空间分量中的Y、CB、CR的三个空间分量,必须同时满足经过根据不同的目标和/或不同场景下关于色域值的统计数据获取的目标识别模型的色域范围值中的Y′,CB′,CR′的三个空间分量。否则,便不被认为目标区域的目标像素点,即对应的像素点不为目标区域中。该方法通过从待处理图像的像素点所得到的色域空间分量与目标识别模型的色域范围值进行对比,所涉及的对比统计运算量只随图像的增大而线性增大,不需构建关于目标区域的色域数据库,因此不会造成缓存数据量大增的情况,因此,使得该图像处理方法可适用于如手机等移动终端上运行使用。
在上述的相关的所涉及到不同使用场景或者是针对不同目标区域的图像识别方法中,本发明提供一种直播中的肤色处理方法,以此为例,对上述的图像识处理方法进行更详细说明。在该直播中的肤色处理方法中,所述待处理图像产生于直播的视频流中,具体为直播视频流中所产生的每一帧的图像,其每个像素点的图像信息相对于该每一帧图像中的每个像素点的图像信息。对应地,所述目标识别模型为直播肤色模型,所述目标区域为肤色区域。所述肤色模型和肤色区域主要针对的是视频直播中主播的肤色,其可包括的范围可以涉及主播的脸部、颈部和其他肤色表露的肤色区域,该处理方法对现有技术中只将肤色区域和背景进行简单的区分处理进行了改进,减少了不同处理区域的分离,使图像处理在肤色区域内既有重点的处理部位,也能与背景的边界平滑过渡,最终提供了图像处理效果。
S207、根据目标亮度值确定表征轮廓的像素点,作为轮廓点。
目标亮度统计数据包括表示亮度分量Y的均值的第四数据、表示亮度分量Y的加权求和后的均值的第五数据和表示亮度分量Y的平方求和后的均值的第六数据。具体的,包括下列操作:
第四数据即第二目标点在第一方向和第二方向的亮度分量Y的均值,记为Ym。将第四数据与第四数据的乘积Ym 2作为第七数据。
具体的,几个像素点的亮度分量Y分别为1,1,1,5,5,5。
其中,该像素点的第四数据Ym为1,1,3,3,5,5;
归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在某个区间上是统计的坐标分布。
确定第八数据中所有的数值,将该数值的总和变为1,确定第八数据中每个数值处理后的值。
此步骤可以理解为下列两个步骤:
S2071、计算原始图像数据中像素点的原始亮度值与目标亮度值之间的差值。
通过提取可以获得原始图像数据中像素点的原始亮度值,记为RGB。通过计算已经获得原始图像数据中像素点的目标亮度值,记为RmGmBm。将差值记为d。差值d通过下列方式计算获得:
RdGdBd=RGB-RmGmBm (4);
d=(Rd+Gd+Bd)÷3 (5)。
S2072、当所述差值不属于预设的边缘范围区间时,将所述差值对应的像素点确定为轮廓点。
边缘范围区间是预先输入的一个区间范围,当一个数值落入该边缘范围区间时,可以认为与该数值关联的像素点之间的差异比较小,可能是比较相近的像素点、而非物体之间的边缘。当一个数值超出该边缘范围区间时,可以认为与该数值关联的像素点之间的差异比较大,可能是表现物体之间的边缘的像素点。
因此计算原始图像数据中像素点的原始亮度值与目标亮度值之间的差值,判断该差值是否落入边缘范围区间中。当差值没有落入预设的边缘范围区间时,将所述差值对应的像素点确定为轮廓点。
S208、基于所述轮廓点对所述像素点确定第一权重。
第一权重是根据一像素点是否代表物体的轮廓和边缘来配置的。当像素点越可能是轮廓点,那么该像素点的第一权重就越大,将第一权重记为DIF。
具体的,本步骤包括以下具体实现方式:
S2081、当所述像素点为轮廓点时,确定所述像素点的第一权重为第一数值。
当一个像素点被确定为轮廓点,将该像素点的第一权重赋值为0(或者一个接近0的数),这个0(或者一个接近0的数)就是第一数值。
S2082、当所述像素点不为轮廓点时,确定所述像素点的第一权重为第二数值,所述第一数值小于所述第二数值。
当一个像素点被确定为不是轮廓点,会根据差值d确定该像素点的第二数值作为第一权重。一般的,第二数值是一个0-1之间的数,同时,第二数值大于第一数值。
S209、确定所述肤色区域中像素点在色彩分量上的离散程度。
离散程度是指肤色区域中,一个像素点与其他像素点的差异程度。表达离散程度的公式为其中,I(x)为肤色的色域识别函数,用于表示肤色区域内对应像素点的YCBCR色域空间分量;M为对肤色区域中像素点的色彩分量计算获得的平均值;Max为肤色区域中像素点的色彩分量的最大值,Min为最小值。将I(x)-M作为第三数值,Max-Min作为第四数值,针对某个像素点,确定该像素点的第三数值与第四数值的商以表示离散程度。
S210、基于所述离散程度对所述像素点确定第二权重。
根据指数函数的曲线变化特点,随着肤色区域对应像素点与中间值的位置的距离变化,所得到的权重值逐渐以平缓的方式发生变化。即在肤色区域内,对各个像素点的根据图像处理算法的处理权重也形成平缓的方式变化。以面部肤色区域为例,五官所处的像素点的图像处理权重最高。随着沿着中间值区域向边缘区域变化,对应的图像处理权重也逐渐变小,直到肤色区域与背景的边界位置为止,以此达到对肤色区域的处理效果平滑过渡,肤色区域与背景的图像显示效果自然连接,避免出现图像断层,使得显示效果自然。
对直播肤色模型的色域范围值的确定手段,可以是从历史直播视频流中关于肤色的数据库中,经过对比、测试、训练等方式划分得到对应不同的直播对象和/或场景的色域范围值的数据模块,根据不同的应用情况,如IP地址不同、所根据所获取的图像初步判断直播场景,自动切换不同的数据模块,或者是用户可以根据实际情况切换不同的数据模块。或者是,根据特殊的直播效果的需求,所设定的关于不同直播主题的直播肤色模型的色域范围值。或者是,根据用户的个性化需求,获取用户设定的直播肤色模型的色域范围值等方式确认直播肤色模型的色域范围值。
S211、结合所述第一权重与所述第二权重生成模糊强度。
模糊强度是对于一个像素点进行何种程度的模糊处理的依据。将第一权重与第二权重之间的乘积设置为模糊强度,记为Strength。
S212、在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
所述色彩分量包括红色彩分量、绿色彩分量与蓝色彩分量。以红色彩分量为例,首先基于模糊强度计算第三权重,第三权重为1与模糊强度的差值,记为(1-Strength)。计算所述红色彩分量的原始亮度值、记为R,将R与第三权重之间的乘积,作为第一模糊结果,记为(1-Strength)*R。计算所述红色彩分量的目标亮度值,记为Rm,将Rm与模糊强度之间的乘积,作为第二模糊结果,记为Strength*Rm。叠加第一模糊结果与第二模糊结果,以获得构成目标图像数据的目标像素点的红色彩分量,记为(1-Strength)*R+Strength*Rm。对绿色彩分量与蓝色彩分量进行相同的操作,以获得目标图像数据。
越是权重越大的肤色区域,对应区域的美颜算法处理效果越强。以人脸区域为例进行说明。从上述可知,所述位于人脸的中间值的位置位于五官所处位置,根据表达式(1-Strength)*R+Strength*Rm得到对应区域的像素点的图像处理权重最高,其权重为1,即对应的区域需要进行最高程度的美颜算法处理,以保证主播的美颜效果。随着沿着中间值区域向边缘区域变化,对应的美颜算法处理权重也逐渐变小,直到肤色区域与背景的边界位置为止,以此达到对肤色区域的处理效果平滑过渡,所述肤色区域与背景的图像显示效果自然连接,避免出现主播的人脸区域与背景出现断层,使得显示效果自然。
实施例三
图3为本发明实施例三提供的一种直播方法的流程图。本实施例适用于对主播客户端上传到直播间的视频数据进行处理的场景。该方法可以由一种直播装置来执行,尤其是主播客户端所使用的手机、计算机等。该装置可以由软件和/或硬件的方式实现。参考图3,该方法具体包括:
S301、采集原始视频数据。
原始视频数据包括原始图像数据,原始图像数据中具有多个像素点。应当理解的是,由于本实施例适用于主播进行直播的场景,因此在采集原始直播视频数据的同时,应当采集音频数据。
在一可行的实现方式中,当主播用户启动直播间的直播功能时,直播装置通过摄像设备采集主播用户的直播画面,以采集原始直播视频数据,并从中获得原始图像数据。
S302、针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值。
在此基础上,从像素点中确定第一目标点以及至少两个第二目标点,第二目标点与第一目标点的纹理坐标相邻,纹理坐标具有第一方向和第二方向;
计算第二目标点的色彩分量在第一方向的亮度值的平均值,作为第一目标点的色彩分量在第一方向的亮度值;
计算第二目标点的色彩分量在第二方向的亮度值的平均值,作为第一目标点的色彩分量在第二方向的亮度值。
S303、确定原始图像数据中的肤色区域。
在此基础上,将像素点的色彩分量从RGB色彩分量转换为YCBCR色彩分量;
将像素点输入预置的肤色判别模型中,以输出属于肤色区域的像素点。
S304、根据所述目标亮度值与所述肤色区域生成模糊强度。
在此基础上,根据目标亮度值确定表征轮廓的像素点,作为轮廓点;
基于轮廓点对像素点确定第一权重;
确定肤色区域中像素点在色彩分量上的离散程度;
基于离散程度对像素点确定第二权重;
结合第一权重与第二权重生成模糊强度。
其中,根据目标亮度值确定表征轮廓的像素点,作为轮廓点,包括:
计算原始图像数据中像素点的原始亮度值与目标亮度值之间的差值;
当差值不属于预设的边缘范围区间时,将差值对应的像素点确定为轮廓点。
其中,基于轮廓点对像素点确定第一权重,包括:
当像素点为轮廓点时,确定像素点的第一权重为第一数值;
当像素点不为轮廓点时,确定像素点的第一权重为第二数值,第一数值小于第二数值。
其中,对肤色区域中像素点的色彩分量计算平均值;
确定肤色区域中像素点的色彩分量的最大值和最小值;
针对某个像素点,确定像素点的第三数值与第四数值的商以表示离散程度,第三数值为像素点的色彩分量与中间值的差值,第四数值为最大值与最小值的差值。
其中,基于离散程度对像素点确定第二权重,包括:
将离散程度带入预设的单调递减指数函数中,以计算第二权重。
其中,结合第一权重与第二权重生成模糊强度,包括:
确定第一权重与第二权重之间的乘积;
将乘积设置为模糊强度。
S305、在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对肤色区域进行模糊处理,获得目标图像数据。
色彩分量包括红色彩分量、绿色彩分量和蓝色彩分量,以红色彩分量为例,此步骤可以理解为:
在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据,包括:
基于模糊强度计算第三权重;
计算红色彩分量的原始亮度值与第三权重之间的乘积,作为第一模糊结果;
计算红色彩分量的目标亮度值与模糊强度之间的乘积,作为第二模糊结果;
叠加第一模糊结果与第二模糊结果,以获得构成目标图像数据的目标像素点的红色彩分量。
步骤S302-S304可以参考实施例一和实施例二中相关步骤的说明,在此不再赘述。
S306、在直播间中发布包含所述目标图像数据的直播视频数据。
将目标图像数据拼接渲染成为目标直播视频数据,将该直播视频数据发送至直播服务器,以在主播客户端创建的直播间中进行播放。
其中,直播间中登入有观众用户,直播服务器将该直播视频数据向登入该直播间的观众用户进行分发。
其中,直播视频数据包括用于本地回显的数据流和用于传递到观众用户客户端的数据流。同时,将音视频打包为视频文件,采用流的方式上传给直播服务器,直播服务器可提供给观众。
本发明实施例通过确定原始图像数据,原始图像数据中具有多个像素点;针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值;确定原始图像数据中的肤色区域;根据目标亮度值与肤色区域生成模糊强度;在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据。此时的目标图像数据中已经准确确定了肤色区域,并对肤色区域配置最高的模糊强度,按照该强度对肤色区域进行模糊处理,实现了有针对性的处理肤色区域的效果。
实施例四
图4为本发明实施四提供的一种图像处理装置,其特征在于,包括:原始图像数据确定模块41、目标亮度值第一确定模块42、肤色区域第一确定模块43、模糊强度第一确定模块44和目标图像数据第一获得模块45。
原始图像数据确定模块41,用于确定原始图像数据,所述原始图像数据中具有多个像素点;
目标亮度值第一确定模块42,用于针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
肤色区域第一确定模块43,用于确定所述原始图像数据中的肤色区域;
模糊强度第一确定模块44,用于根据所述目标亮度值与所述肤色区域生成模糊强度;
目标图像数据第一获得模块45,用于在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
本发明实施例通过确定原始图像数据,原始图像数据中具有多个像素点;针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值;确定原始图像数据中的肤色区域;根据目标亮度值与肤色区域生成模糊强度;在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据。此时的目标图像数据中已经准确确定了肤色区域,并对肤色区域配置最高的模糊强度,按照该强度对肤色区域进行模糊处理,实现了有针对性的处理肤色区域的效果。
在此基础上,目标亮度值第一确定模块42包括:
目标点确定子模块,用于从所述像素点中确定第一目标点以及至少两个第二目标点,所述第二目标点与所述第一目标点的纹理坐标相邻,所述纹理坐标具有第一方向和第二方向;
第一目标亮度值确定子模块,用于计算所述第二目标点的色彩分量在第一方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第一方向的目标亮度值;
第二目标亮度值确定子模块,用于计算所述第二目标点的色彩分量在第二方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第二方向的目标亮度值。
在此基础上,肤色区域第一确定模块43包括:
色彩分量转换子模块,用于将所述像素点的色彩分量从RGB色彩分量转换为YCBCR色彩分量;
肤色区域确定子模块,用于将所述像素点输入预置的肤色判别模型中,以输出属于肤色区域的像素点。
在此基础上,模糊强度第一确定模块44用于:
轮廓点确定子模块,用于根据目标亮度值确定表征轮廓的像素点,作为轮廓点;
第一权重确定子模块,用于基于所述轮廓点对所述像素点确定第一权重;
离散程度确定子模块,用于确定所述肤色区域中像素点在色彩分量上的离散程度;
第二权重确定子模块,用于基于所述离散程度对所述像素点确定第二权重;
模糊强度生成子模块,用于结合所述第一权重与所述第二权重生成模糊强度。
在此基础上,轮廓点确定子模块包括:
差值确定单元,用于计算原始图像数据中像素点的原始亮度值与目标亮度值之间的差值;
轮廓点确定单元,用于当所述差值不属于预设的边缘范围区间时,将所述差值对应的像素点确定为轮廓点。
在此基础上,第一权重确定子模块包括:
第一数值确定单元,用于当所述像素点为轮廓点时,确定所述像素点的第一权重为第一数值;
第二数值确定单元,用于当所述像素点不为轮廓点时,确定所述像素点的第一权重为第二数值,所述第一数值小于所述第二数值。
在此基础上,离散程度确定子模块包括:
平均值计算单元,用于对所述肤色区域中像素点的色彩分量计算平均值;
最值确定单元,用于确定所述肤色区域中像素点的色彩分量的最大值和最小值;
离散程度确定单元,用于针对某个像素点,确定所述像素点的第三数值与第四数值的商以表示所述离散程度,所述第三数值为所述像素点的色彩分量与所述中间值的差值,所述第四数值为所述最大值与所述最小值的差值。
在此基础上,第二权重确定子模块包括:
第二权重计算单元,用于将所述离散程度带入预设的单调递减指数函数中,以计算第二权重。
在此基础上,模糊强度生成子模块包括:
乘积确定单元,用于确定所述第一权重与所述第二权重之间的乘积;
模糊强度确定单元,用于将所述乘积设置为所述模糊强度。
在此基础上,目标图像数据第一获得模块45包括:
第三权重计算单元,用于基于所述模糊强度计算第三权重;
第一模糊结果计算单元,用于计算所述色彩分量的原始亮度值与所述第三权重之间的乘积,作为第一模糊结果;
第二模糊结果计算单元,用于计算所述色彩分量的目标亮度值与所述模糊强度之间的乘积,作为第二模糊结果;
叠加处理单元,用于叠加所述第一模糊结果与所述第二模糊结果,以获得构成目标图像数据的目标像素点的色彩分量。
本实施例提供的一种图像处理装置可用于执行实施例一、实施例二提供的一种图像处理方法,具有相应的功能和有益效果。
实施例五
图5为本发明实施五提供的一种直播装置,其特征在于,包括:原始视频数据采集模块51、目标亮度值第二确定模块52、肤色区域第二确定模块53、模糊强度第二确定模块54、目标图像数据第二获得模块55和直播视频数据发布模块56。
原始视频数据采集模块51,用于采集原始视频数据,所述原始视频数据包括原始图像数据,所述原始图像数据中具有多个像素点;
目标亮度值第二确定模块52,用于针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
肤色区域第二确定模块53,用于确定所述原始图像数据中的肤色区域;
模糊强度第二确定模块54,用于根据所述目标亮度值与所述肤色区域生成模糊强度;
目标图像数据第二获得模块55,用于在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据;
直播视频数据发布模块56,用于在直播间中发布包含所述目标图像数据的直播视频数据。
本发明实施例通过确定原始图像数据,原始图像数据中具有多个像素点;针对每个像素点,基于围绕像素点的其他像素点在色彩分量上的原始亮度值调整像素点在色彩分量上的原始亮度值,作为目标亮度值;确定原始图像数据中的肤色区域;根据目标亮度值与肤色区域生成模糊强度;在原始图像数据中的基础上,根据模糊强度与目标亮度值对肤色区域进行模糊处理,获得目标图像数据。此时的目标图像数据中已经准确确定了肤色区域,并对肤色区域配置最高的模糊强度,按照该强度对肤色区域进行模糊处理,实现了有针对性的处理肤色区域的效果。
本实施例提供的一种直播装置可用于执行实施例三提供的一种直播方法,具有相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种电子设备的结构示意图。如图6所示,该电子设备包括处理器60、存储器61、通信模块62、输入装置63和输出装置64;电子设备中处理器60的数量可以是一个或多个,图6中以一个处理器60为例;电子设备中的处理器60、存储器61、通信模块62、输入装置63和输出装置64可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器61作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的一种图像处理方法对应的模块(例如,一种图像处理装置中的原始图像数据确定模块41、目标亮度值第一确定模块42、肤色区域第一确定模块43、模糊强度第一确定模块44和目标图像数据第一获得模块45)。如本实施例中的一种直播方法对应的模块(例如,一种直播装置中的原始视频数据采集模块51、目标亮度值第二确定模块52、肤色区域第二确定模块53、模糊强度第二确定模块54、目标图像数据第二获得模块55和直播视频数据发布模块56)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的一种图像处理方法和一种直播方法。
存储器61可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器61可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器61可进一步包括相对于处理器60远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块62,用于与显示屏建立连接,并实现与显示屏的数据交互。输入装置63可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种电子设备,可执行本发明任一实施例提供的一种图像处理方法和一种直播方法,具体相应的功能和有益效果。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法,该方法包括:
确定原始图像数据,所述原始图像数据中具有多个像素点;
针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
确定所述原始图像数据中的肤色区域;
根据所述目标亮度值与所述肤色区域生成模糊强度;
在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
或者,
用于执行一种直播方法,该方法包括:
采集原始视频数据,所述原始视频数据包括原始图像数据,所述原始图像数据中具有多个像素点;
针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
确定所述原始图像数据中的肤色区域;
根据所述目标亮度值与所述肤色区域生成模糊强度;
在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据;
在直播间中发布包含所述目标图像数据的直播视频数据。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的一种图像处理方法和一种直播方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机电子设备(可以是个人计算机,服务器,或者网络电子设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述一种图像处理装置和一种直播装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种图像处理方法,其特征在于,包括:
确定原始图像数据,所述原始图像数据中具有多个像素点;
针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
确定所述原始图像数据中的肤色区域;
根据所述目标亮度值与所述肤色区域生成模糊强度;
在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
2.根据权利要求1所述的方法,其特征在于,所述针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值,包括:
从所述像素点中确定第一目标点以及至少两个第二目标点,所述第二目标点与所述第一目标点的纹理坐标相邻,所述纹理坐标具有第一方向和第二方向;
计算所述第二目标点的色彩分量在第一方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第一方向的目标亮度值;
计算所述第二目标点的色彩分量在第二方向的原始亮度值的平均值,作为所述第一目标点的色彩分量在所述第二方向的目标亮度值。
3.根据权利要求1所述的方法,其特征在于,所述确定所述原始图像数据中的肤色区域,包括:
将所述像素点的色彩分量从RGB色彩分量转换为YCBCR色彩分量;
将所述像素点输入预置的肤色判别模型中,以输出属于肤色区域的像素点。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标亮度值与所述肤色区域生成模糊强度,包括:
根据目标亮度值确定表征轮廓的像素点,作为轮廓点;
基于所述轮廓点对所述像素点确定第一权重;
确定所述肤色区域中像素点在色彩分量上的离散程度;
基于所述离散程度对所述像素点确定第二权重;
结合所述第一权重与所述第二权重生成模糊强度。
5.根据权利要求4所述的方法,其特征在于,所述根据目标亮度值确定表征轮廓的像素点,作为轮廓点,包括:
计算原始图像数据中像素点的原始亮度值与目标亮度值之间的差值;
当所述差值不属于预设的边缘范围区间时,将所述差值对应的像素点确定为轮廓点。
6.根据权利要求5所述的方法,其特征在于,所述基于所述轮廓点对所述像素点确定第一权重,包括:
当所述像素点为轮廓点时,确定所述像素点的第一权重为第一数值;
当所述像素点不为轮廓点时,确定所述像素点的第一权重为第二数值,所述第一数值小于所述第二数值。
7.根据权利要求4所述的方法,其特征在于,所述确定所述肤色区域中像素点在色彩分量上的离散程度,包括:
对所述肤色区域中像素点的色彩分量计算平均值;
确定所述肤色区域中像素点的色彩分量的最大值和最小值;
针对某个像素点,确定所述像素点的第三数值与第四数值的商以表示所述离散程度,所述第三数值为所述像素点的色彩分量与所述中间值的差值,所述第四数值为所述最大值与所述最小值的差值。
8.根据权利要求7所述的方法,其特征在于,所述基于所述离散程度对所述像素点确定第二权重,包括:
将所述离散程度带入预设的单调递减指数函数中,以计算第二权重。
9.根据权利要求4-8任一所述的方法,其特征在于,所述结合所述第一权重与所述第二权重生成模糊强度,包括:
确定所述第一权重与所述第二权重之间的乘积;
将所述乘积设置为所述模糊强度。
10.根据权利要求1-8任一所述的方法,其特征在于,所述在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据,包括:
基于所述模糊强度计算第三权重;
计算所述色彩分量的原始亮度值与所述第三权重之间的乘积,作为第一模糊结果;
计算所述色彩分量的目标亮度值与所述模糊强度之间的乘积,作为第二模糊结果;
叠加所述第一模糊结果与所述第二模糊结果,以获得构成目标图像数据的目标像素点的色彩分量。
11.一种直播方法,其特征在于,包括:
采集原始视频数据,所述原始视频数据包括原始图像数据,所述原始图像数据中具有多个像素点;
针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
确定所述原始图像数据中的肤色区域;
根据所述目标亮度值与所述肤色区域生成模糊强度;
在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据;
在直播间中发布包含所述目标图像数据的直播视频数据。
12.一种图像处理装置,其特征在于,包括:
原始图像数据确定模块,用于确定原始图像数据,所述原始图像数据中具有多个像素点;
目标亮度值第一确定模块,用于针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
肤色区域第一确定模块,用于确定所述原始图像数据中的肤色区域;
模糊强度第一确定模块,用于根据所述目标亮度值与所述肤色区域生成模糊强度;
目标图像数据第一获得模块,用于在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据。
13.一种直播装置,其特征在于,包括:
原始视频数据采集模块,用于采集原始视频数据,所述原始视频数据包括原始图像数据,所述原始图像数据中具有多个像素点;
目标亮度值第二确定模块,用于针对每个所述像素点,基于围绕所述像素点的其他像素点在色彩分量上的原始亮度值调整所述像素点在所述色彩分量上的原始亮度值,作为目标亮度值;
肤色区域第二确定模块,用于确定所述原始图像数据中的肤色区域;
模糊强度第二确定模块,用于根据所述目标亮度值与所述肤色区域生成模糊强度;
目标图像数据第二获得模块,用于在所述原始图像数据中的基础上,根据所述模糊强度与所述目标亮度值对所述肤色区域进行模糊处理,获得目标图像数据;
直播视频数据发布模块,用于在直播间中发布包含所述目标图像数据的直播视频数据。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10任一所述的一种图像处理方法,或者,如权利要求11所述的一种直播方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-10任一所述的一种图像处理方法,或者,如权利要求11所述的一种直播方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910790827.XA CN112435173A (zh) | 2019-08-26 | 2019-08-26 | 一种图像处理和直播方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910790827.XA CN112435173A (zh) | 2019-08-26 | 2019-08-26 | 一种图像处理和直播方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112435173A true CN112435173A (zh) | 2021-03-02 |
Family
ID=74689832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910790827.XA Pending CN112435173A (zh) | 2019-08-26 | 2019-08-26 | 一种图像处理和直播方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112435173A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947606A (zh) * | 2021-09-26 | 2022-01-18 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN116645368A (zh) * | 2023-07-27 | 2023-08-25 | 青岛伟东包装有限公司 | 一种流延膜卷边在线视觉检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140147003A1 (en) * | 2012-11-23 | 2014-05-29 | Nokia Corporation | Method and Apparatus for Facial Image Processing |
CN107038680A (zh) * | 2017-03-14 | 2017-08-11 | 武汉斗鱼网络科技有限公司 | 自适应光照的美颜方法及系统 |
CN109146823A (zh) * | 2018-09-25 | 2019-01-04 | 广州华多网络科技有限公司 | 基于高反差保留的图像处理方法、装置、设备及存储介质 |
CN109377454A (zh) * | 2018-09-25 | 2019-02-22 | 广州华多网络科技有限公司 | 一种图像处理方法、装置、设备、存储介质及直播方法 |
CN109544441A (zh) * | 2018-11-09 | 2019-03-29 | 广州虎牙信息科技有限公司 | 图像处理方法及装置、直播中的肤色处理方法及装置 |
-
2019
- 2019-08-26 CN CN201910790827.XA patent/CN112435173A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140147003A1 (en) * | 2012-11-23 | 2014-05-29 | Nokia Corporation | Method and Apparatus for Facial Image Processing |
CN107038680A (zh) * | 2017-03-14 | 2017-08-11 | 武汉斗鱼网络科技有限公司 | 自适应光照的美颜方法及系统 |
CN109146823A (zh) * | 2018-09-25 | 2019-01-04 | 广州华多网络科技有限公司 | 基于高反差保留的图像处理方法、装置、设备及存储介质 |
CN109377454A (zh) * | 2018-09-25 | 2019-02-22 | 广州华多网络科技有限公司 | 一种图像处理方法、装置、设备、存储介质及直播方法 |
CN109544441A (zh) * | 2018-11-09 | 2019-03-29 | 广州虎牙信息科技有限公司 | 图像处理方法及装置、直播中的肤色处理方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947606A (zh) * | 2021-09-26 | 2022-01-18 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113947606B (zh) * | 2021-09-26 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN116645368A (zh) * | 2023-07-27 | 2023-08-25 | 青岛伟东包装有限公司 | 一种流延膜卷边在线视觉检测方法 |
CN116645368B (zh) * | 2023-07-27 | 2023-10-03 | 青岛伟东包装有限公司 | 一种流延膜卷边在线视觉检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN109302628B (zh) | 一种基于直播的人脸处理方法、装置、设备和存储介质 | |
CN111127591B (zh) | 图像染发处理方法、装置、终端和存储介质 | |
CN111627076B (zh) | 换脸方法、装置及电子设备 | |
CN112351195B (zh) | 图像处理方法、装置和电子系统 | |
CN113297937B (zh) | 一种图像处理方法、装置、设备及介质 | |
CN113132696A (zh) | 图像色调映射方法、装置、电子设备和存储介质 | |
CN112435173A (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN106803920B (zh) | 一种图像处理的方法、装置及智能会议终端 | |
WO2022218082A1 (zh) | 基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN110266955B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN108353133B (zh) | 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法 | |
CN113112422B (zh) | 图像处理方法、装置、电子设备、计算机可读介质 | |
WO2023103813A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN114979689B (zh) | 多机位直播导播方法、设备以及介质 | |
CN111652792A (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
CN108961258B (zh) | 一种前景图像获得方法及装置 | |
CN114816619A (zh) | 一种信息处理方法及电子设备 | |
CN113240760A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN113947708A (zh) | 照明设备的灯效控制方法、系统、装置、电子设备及介质 | |
CN113382276A (zh) | 一种图片处理方法及系统 | |
CN114025144B (zh) | 白平衡增益调整方法、电子设备和计算机可读存储介质 | |
CN113628100B (zh) | 视频增强方法、装置、终端及存储介质 | |
CN113436086B (zh) | 非均匀光照视频的处理方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |