CN112330531B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112330531B CN112330531B CN202011218582.2A CN202011218582A CN112330531B CN 112330531 B CN112330531 B CN 112330531B CN 202011218582 A CN202011218582 A CN 202011218582A CN 112330531 B CN112330531 B CN 112330531B
- Authority
- CN
- China
- Prior art keywords
- image
- transparency
- foreground
- processed
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 38
- 239000002131 composite material Substances 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 210000000746 body region Anatomy 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000255789 Bombyx mori Species 0.000 description 1
- 241000760358 Enodes Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，其中，所述的方法包括：确定待处理图像的背景颜色；根据所述背景颜色确定所述待处理图像中前景主体区域的透明度以及前景边缘区域的透明度；根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像。从而可以分别估计前景主体区域与前景边缘区域的透明度，实现对二者精度的兼顾，提高了抠图的质量，参数调节也更加容易。
Description
技术领域
本发明涉及计算机图形学技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
虚拟背景技术源自于电影工业中的特效制作，通过使用带有各种特效和道具的虚拟资源替换原有单调乏味的背景画面，可以显著提升观众的视觉体验，营造良好的表演氛围，在电影制作和电视直播等领域应用广泛。随着短视频和视频直播的火热，虚拟背景作为一种内容补充与提升的手段获得越来越多的青睐。虚拟背景依赖于背景抠图与合成技术，拍摄者使用特定颜色(如绿色)的背景进行拍摄，使用抠图算法获取前景不透明度，使用该前景不透明度与目标虚拟背景进行合成，其相较于其他无限定背景的方式，效果更加逼真。
绿幕抠图技术通常依赖于目标前景区域与绿色背景的亮度或色度差异信息，基于差异信息估计出图像中每个像素的前景不透明度，从而实现前景区域与背景的分离，该前景不透明度用于后续与新背景图像的合成。
由于绿幕拍摄存在环境不稳定(如背景颜色不均匀、光照不稳定、暗影区域、相机成像噪声等)、前景运动模糊、半透明或丝状等软前景区域难以精确估计透明度等问题，基于单一透明度估计的方式通常难以同时兼顾上述多种问题，导致透明度估计不准确影响抠图质量，且相关参数难以调节、可操作性差。而且，背景合成技术基于估计的透明度，现有合成技术的做法通常是直接将前景与新背景像素按照透明度权重系数直接相加得到，当锐利的前景边缘区域与新背景的色调差异较大时，会带来较大的视觉差异，导致合成边缘的视觉效果突兀而不自然。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法和相应的一种图像处理装置。
第一方面，本发明实施例公开了一种图像处理方法，包括：
确定待处理图像的背景颜色；
根据所述背景颜色确定所述待处理图像中前景主体区域的透明度以及前景边缘区域的透明度；
根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；
根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像。
可选地，所述根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像，包括：
根据所述前景透明度确定光补偿系数；
按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像。
可选地，所述根据所述前景透明度确定光补偿系数，包括：
对所述待处理图像的前景透明度进行腐蚀处理，得到第一透明度；
对所述第一透明度进行高斯模糊处理，得到第二透明度；
对所述第二透明度进行反相处理，将反相处理后得到的透明度与所述前景透明度相乘，得到光补偿系数。
可选地，所述按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像，包括：
按照所述前景透明度将所述待处理图像的颜色值，与所述目标背景图像的颜色值相加，得到第一颜色值；
将所述光补偿系数与所述目标背景图像的颜色值相乘得到第二颜色值；
根据所述第一颜色值与所述第二颜色值计算得到所述合成图像的颜色值。
可选地，所述确定待处理图像的背景颜色，包括：
将所述待处理图像从RGB颜色空间转化到HSV颜色空间；
在所述HSV颜色空间中统计所述待处理图像的色度分量的直方图；
确定所述色度分量的直方图中频率值最大的目标色度；
以所述目标色度为中心确定背景色度范围；
将所述待处理图像中，色度处于所述背景色度范围内的像素确定为背景像素；
计算所述背景像素的颜色的均值得到背景颜色。
可选地，所述根据所述背景颜色确定所述待处理图像中前景主体区域的透明度，包括：
将所述待处理图像从RGB颜色空间转化到YUV颜色空间；
在所述YUV颜色空间中，计算UV分量上所述前景主体区域中的像素颜色与所述背景颜色之间的欧式距离；
根据所述欧式距离确定所述前景主体区域的透明度。
可选地，所述根据所述背景颜色确定所述待处理图像中前景边缘区域的透明度，包括：
计算所述待处理图像中前景边缘区域的绿色分量，与所述背景颜色的绿色分量的差值；
按照预设差值范围对所述差值进行调整，并对调整后的差值进行归一化处理，得到所述待处理图像中前景边缘区域的透明度。
可选地，所述按照预设差值范围对所述差值进行调整，包括：
若所述差值大于位于所述预设差值范围内的最大值，则将所述最大值作为调整后的差值；
若所述差值小于位于所述预设差值范围内的最小值，则将所述最小值作为调整后的差值；
否则，将所述差值作为调整后的差值。
可选地，所述根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度，包括：
将所述前景主体区域的透明度与所述前景边缘区域的透明度相加，得到透明度之和；
按照预设范围对所述透明度之和进行调整，得到所述待处理图像的前景透明度。
可选地，在所述根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像的步骤之前，还包括：
计算所述待处理图像中像素的蓝色分量与红色分量的均值；
当所述背景颜色中的绿色分量大于所述蓝色分量与红色分量的均值时，采用所述蓝色分量与红色分量的均值替换所述背景颜色中的绿色分量，得到经过颜色抑制处理的待处理图像；
所述融合所述待处理图像与目标背景图像得到合成图像，包括：
融合所述经过绿色抑制处理的待处理图像与目标背景图像得到合成图像。
第二方面，本发明实施例还公开了一种图像处理装置，包括：
背景颜色确定模块，用于确定待处理图像的背景颜色；
第一透明度确定模块，用于根据所述背景颜色确定所述待处理图像中主体区域的透明度以及前景边缘区域的透明度；
第二透明度确定模块，用于根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；
图像融合模块，用于根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像。
第三方面，本发明实施例还公开了一种电子设备，包括：
处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如本发明实施例任一项所述的方法。
第四方面，本发明实施例还公开了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如本发明实施例任一项所述的方法。
本发明实施例包括以下优点：
在本发明实施例中，通过确定待处理图像的背景颜色，根据背景颜色确定待处理图像中前景主体区域的透明度和前景边缘区域的透明度，根据前景主体区域的透明度和前景边缘区域的透明度，计算得到待处理图像的前景透明度；根据前景透明度，融合待处理图像与目标背景图像得到合成图像。从而可以分别估计前景主体区域与前景边缘区域的透明度，实现对二者精度的兼顾，提高了抠图的质量，参数调节也更加容易。
附图说明
图1是本发明的一种图像处理方法实施例的步骤流程图；
图2是本发明的一种图像处理装置实施例的结构框图；
图3是本发明的一种电子设备的结构框图；
图4是本发明的一种存储介质的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种图像处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，确定待处理图像的背景颜色；
待处理图像可以是在特定颜色的背景幕布下采集的图像，如绿幕图像或蓝幕图像等，本发明实施例以待处理图像为绿幕图像进行说明。
在实际拍摄待处理图像时，由于背景幕布颜色不准确、光照变化、相机成像特性差异等原因，会导致待处理图像的背景颜色发生变化，如果通过预设固定的背景颜色进行融合会导致严重误差，因此，需要实时确定待处理图像的背景颜色。
具体的，在绿幕背景拍摄条件下，前景目标的颜色通常变化多样，而背景颜色则较为单一集中，因此，可以通过统计待处理图像的直方图方式确定待处理图像的背景颜色。
步骤102，根据所述背景颜色确定所述待处理图像中前景主体区域的透明度以及前景边缘区域的透明度；
在一幅图像画面中通常包含前景、主体和背景等部分，其中，前景指画面中出现在主体之前的景物，主体指画面中要重点突出表现的人物或景物，背景指画面中用于修饰衬托主体的景物。在本发明实施例中，前景主体区域可以指画面中要重点突出的人物或景物所在的区域，前景边缘区域可以指画面中前景和主体的边缘所在的区域。作为一种示例，假设待处理图像为人物图像中，则前景主体区域为人物所在的区域，前景主体区域为人物的边缘所在的区域，如，头发丝、身体、手臂等边缘。
在本发明实施例中，可以根据背景颜色确定待处理图像中主体区域的透明度以及前景边缘区域的透明度。具体的，对于主体区域的透明度的计算，由于背景亮度对主体区域的影响较大，为了去除亮度的影响可以将待处理图像从RGB颜色空间转化到YUV颜色空间，在YUV颜色空间中，根据背景颜色确定待处理图像中主体区域的透明度。而对于前景主体区域的透明度的计算，由于在绿幕背景下，绿色为主要干扰成分，其他颜色及亮度差异通常影响较小，因此可以直接在RGB颜色空间中，根据背景颜色确定待处理图像中主体区域的透明度。
步骤103，根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；
在本发明实施例中，可以根据前景主体区域的透明度和前景边缘区域的透明度，计算得到待处理图像的前景透明度。具体的，可以计算主体区域的透明度和前景边缘区域的透明度之和，然后将两者的透明度之和调整至[0，1]，得到的值作为前景透明度。
步骤104，根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像。
在本发明实施例中，可以将前景透明度作为融合的权重系数，融合待处理图像与目标背景图像得到合成图像。
在本发明实施例中，通过确定待处理图像的背景颜色，根据背景颜色确定待处理图像中前景主体区域的透明度和前景边缘区域的透明度，根据前景主体区域的透明度和前景边缘区域的透明度，计算得到待处理图像的前景透明度；根据前景透明度，融合待处理图像与目标背景图像得到合成图像。从而可以分别估计前景主体区域与前景边缘区域的透明度，实现对二者精度的兼顾，提高了绿幕抠图的质量，参数调节也更加容易。
在本发明的一种优选实施例中，所述步骤104可以包括如下子步骤：
根据所述前景透明度确定光补偿系数；按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像。
当前景主体区域的边缘锐利且与新的背景色调差异较大时，直接合成后的边缘会比较突兀不自然，因此，在融合时可以对前景边缘区域添加一定程度的补偿光，使得边缘表现更为自然。
在本发明实施例中，可以根据前景透明度确定光补偿系数，并按照前景透明度和光补偿系数，融合待处理图像与目标背景图像得到合成图像。具体的，可以根据光补偿系数计算所需要补偿光的颜色，以及将前景透明度作为融合的权重系数计算融合图像的颜色，将融合图像的颜色加上补偿光的颜色即可得到合成图像的颜色。
在本发明的一种优选实施例中，所述子步骤根据所述前景透明度确定光补偿系数，可以包括以下子步骤：
对所述待处理图像的前景透明度进行腐蚀处理，得到第一透明度；对所述第一透明度进行高斯模糊处理，得到第二透明度；对所述第二透明度进行反相处理，将反相处理后得到的透明度与所述前景透明度相乘，得到光补偿系数。
具体的，通过对前景透明度进行腐蚀处理得到第一透明度，该腐蚀处理类似于“邻域被蚕食”，将待处理图像的中前景主体区域的边缘部分进行缩减细化，例如，可以采用erode()函数，对待处理图像中各个像素点的前景透明度进行腐蚀处理，得到待处理图像中各个像素点腐蚀后的第一透明度。
在腐蚀处理之后，可以对进一步对待处理图像中各个像素点的第一透明度进行高斯模糊处理，其中，高斯模糊是一种图像滤波器，它使用正态分布(高斯函数)计算模糊模板，并使用该模板与原图像做卷积运算，达到模糊图像的目的，减少图像噪声以及降低细节层次。具体的，可以采用高斯分布的概率密度函数，对待处理图像中各个像素点的第一透明度进行高斯模糊处理，从而得到待处理图像中各个像素点的第二透明度。
进一步的，可以对待处理图像中各个像素点的第二透明度进行反相处理，该反相处理可以指将图像中像素点的透明度变成与原先相反的透明度，具体的，可以采用透明度值的最高值减去第二透明度，得到反相处理后的透明度。例如，设第二透明度为A1，则反相处理后的透明度A2＝1-A1。
在反相处理后，可以将反相处理后得到的待处理图像中各个像素点的透明度与该像素点对应的前景透明度相乘，得到光补偿系数。光补偿系数用于计算在合成图像时需要补偿的光，使得可以通过补偿光让合成图像表现更为自然。
在本发明的一种优选实施例中，所述按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像，包括：
按照所述前景透明度将所述待处理图像的颜色值，与所述目标背景图像的颜色值相加，得到第一颜色值；将所述光补偿系数与所述目标背景图像的颜色值相乘得到第二颜色值；根据所述第一颜色值与所述第二颜色值计算得到所述合成图像的颜色值。
具体的，通过前景透明度作为权重系数，将按照前景透明度将待处理图像中各个像素的颜色值与目标背景图像中对应像素的颜色值相加得到各个像素的第一颜色值，即得到融合后的初始图像。通过将光补偿系数与目标背景图像中各个像素的颜色值相乘，得到各个像素的第二颜色值，即得到需要补偿的光估计图。将各个像素的第一颜色值与对应像素的第二颜色值相加，从而得到合成图像中各个像素的颜色值，即将融合后的初始图像加上需要补偿的光估计图，得到最终的合成图像。需要说明的是，颜色值包括RGB三个通道的数值，在计算时，分别对RGB三个通道的数值进行计算，得到最终合成图像的RGB通道的值。
作为一种示例，假设前景透明度为a，待处理图像的颜色值为c1，目标背景图像的颜色值为c2，则第一颜色值c3＝c1*a+c2*(a-1)。设光补偿系数为b，目标背景图像的颜色值为c4，则第二颜色值c5＝b*c4。最终，合成图像的颜色值c＝c3+c5。
在本发明的一种优选实施例中，所述步骤101可以包括如下子步骤：
将所述待处理图像从RGB颜色空间转化到HSV颜色空间；在所述HSV颜色空间中统计所述待处理图像的色度分量的直方图；确定所述色度分量的直方图中频率值最大的目标色度；以所述目标色度为中心确定背景色度范围；将所述待处理图像中色度处于所述背景色度范围内的像素确定为背景像素；计算所述背景像素的颜色的均值得到背景颜色。
在具体实现中，可以首先将待处理图像从RGB(Red，Green，Blue)颜色空间转化到HSV(Hue，Saturation，Value)颜色空间，该HSV颜色空间中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。在HSV颜色空间中统计待处理图像的色度(H)分量的直方图，并确定色度(H)分量的直方图中频率值最大的目标色度，以目标色度为中心确定背景色度范围。具体的，可以以目标色度为中心，向左右两边分别延伸预设色度得到背景色度范围，作为一种示例，假设目标色度为120°，预设色度为2，则背景色度范围为[118°,122°]。
在计算得到背景色度范围之后，可以将待处理图像中色度处于背景色度范围内的像素确定为背景像素，并计算所有背景像素的颜色的均值得到背景颜色。具体的，可以在RGB颜色空间中，分别计算所有背景像素的红色通道的均值R1，计算所有背景像素的绿色通道的均值G1，计算所有背景像素的蓝色通道的均值B1，得到背景颜色为(R1，G1，B1)。
在本发明的一种优选实施例中，所述步骤102可以包括如下子步骤：
将所述待处理图像从RGB颜色空间转化到YUV颜色空间；在所述YUV颜色空间中，计算U V分量上所述前景主体区域的像素颜色与所述背景颜色之间的欧式距离；根据所述欧式距离确定所述前景主体区域的透明度。
在具体实现中，可以首先待处理图像从RGB颜色空间转化到YUV颜色空间，在YUV颜色空间中，“Y”表示亮度(Luminance或Luma)，也就是灰阶值；“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
为了去除亮度的影响，可以在表示色度的U V分量上计算前景主体区域中像素颜色与背景颜色之间的欧式距离。作为一种示例，设前景主体区域中像素颜色为C1，背景颜色为C2，则颜色距离为|C1-C2|＝[△U2+△V2]1/2，其中，△U表示C1和C2的U分量的差值，△V表示C1和C2的V分量的差值。
在计算得到欧式距离之后，可以根据该欧式距离确定前景主体区域的透明度。具体的，可以将计算得到的欧式距离除以预设平滑度，进而对计算得到的中间值进行调整，得到前景主体区域的透明度。其中，预设平滑度可以是预先设定的边缘的平滑度，可以提供一用户界面，用户通过在该用户界面上进行操作，设置所需要的平滑度，从而可以响应于用户的操作，确定预设平滑度。需要说明的是，对计算得到的中间值进行调整可以指将中间值调整至区间[0，1]中，当中间值小于0时，确定透明度为0；当中间值属于[0，1]时，确定透明度为中间值；当中间值大于1时，确定透明度为1。
在本发明的一种优选实施例中，所述根据所述背景颜色确定所述待处理图像中前景边缘区域的透明度，包括：
计算所述待处理图像中前景边缘区域的绿色分量，与所述背景颜色的绿色分量的差值；按照预设差值范围对所述差值进行调整，并对调整后的差值进行归一化处理，得到所述待处理图像中前景边缘区域的透明度。
由于，在绿幕背景下，前景边缘区域中绿色为主要干扰成分，其他颜色及亮度差异通常影响较小，因此，可以直接采用RGB颜色空间中的绿色分量进行透明度估计。
具体的，可以在RGB颜色空间中，计算待处理图像中前景边缘区域的绿色分量与背景颜色的绿色分量的差值。然后采用预设差值范围对该差值进行调整，该预设差值范围可以是预先设定的范围，包括最小范围和最大范围，如，预设差值范围为[0，180]，对差值进行调整可以指将差值调整至区间[0，180]之间，当差值小于0时，调整差值为0；当差值属于[0，180]时，则差值不变；当差值大于1时，调整差值为1。
进一步的，可以对调整后的差值进行归一化处理得到前景边缘区域的透明度alpha，该归一化处理可以指将数据归一化至[0，1]。具体的，可以计算最小范围与最大范围的差，将调整后的差值除以最小范围与最大范围的差，得到前景边缘区域的透明度alpha。
作为一种示例，假设预设差值范围为[0，150]，前景边缘区域的绿色分量与背景颜色的绿色分量的差值为120，则调整后的差值为120，前景边缘区域的透明度alpha＝120/150＝0.8。
在本发明的一种优选实施例中，所述按照预设差值范围对所述差值进行调整，包括：
若所述差值大于位于所述预设差值范围内的最大值，则将所述最大值作为调整后的差值；若所述差值小于位于所述预设差值范围内的最小值，则将所述最小值作为调整后的差值；否则，将所述差值作为调整后的差值。
在本发明实施例中，在对计算得到的差值进行调整时，可以依据预设差值范围对差值进行判断，若差值大于位于预设差值范围内的最大值，则将最大值作为调整后的差值；若差值小于位于预设差值范围内的最小值，则将最小值作为调整后的差值；否则，将差值作为调整后的差值，从而，调整后的差值都处于预设差值范围之间。
在本发明的一种优选实施例中，所述步骤103可以包括如下子步骤：
将所述前景主体区域的透明度与所述前景边缘区域的透明度相加，得到透明度之和；按照预设范围对所述透明度之和进行调整，得到所述待处理图像的前景透明度。
在具体实现中，可以将前景主体区域的透明度与前景边缘区域的透明度相加，得到透明度之和，然后按照预设范围对透明度之和进行调整，得到待处理图像的前景透明度，其中，预设范围可以是预先设置的透明度范围，如[0，1]。对透明度之和进行调整可以指将透明度之和调整至区间[0，1]之间，当透明度之和属于[0，1]时，则透明度之和不变，即前景透明度为该透明度之和；当透明度之和大于1时，确定前景透明度为1，当透明度之和小于0时，确定前景透明度为0。
作为一种示例，设预设范围为[0，1]，假设前景主体区域的透明度为0.6，前景边缘区域的透明度为0.8，则可以得到透明度之和为1.2，则按照预设范围[0，1]将透明度之和调整为1，即可得到前景透明度为1。
在本发明的一种优选实施例中，在所述步骤104之前还可以包括如下步骤：
计算所述待处理图像中像素的蓝色分量与红色分量的均值；当所述背景颜色中的绿色分量大于所述蓝色分量与红色分量的均值时，采用所述蓝色分量与红色分量的均值替换所述背景颜色中的绿色分量，得到经过颜色抑制处理的待处理图像。
在绿幕拍摄时，当前景目标靠近背景绿幕时，会存在背景绿色光反射到前景区域导致绿色泄漏问题，为了避免发生绿色泄漏，在合成图像之前需要进行背景的绿色进行抑制。
具体的，由于发生明显绿色泄漏区域的像素，其绿色分量较红色与蓝色分量高，因此，可以在RGB颜色空间中，计算待处理图像中各个像素的蓝色分量与红色分量的均值，当背景颜色中的绿色分量大于蓝色分量与红色分量的均值时，采用蓝色分量与红色分量的均值替换背景颜色中的绿色分量，得到经过颜色抑制处理的待处理图像，以实现背景绿色抑制。
在本发明的一种优选实施例中，所述融合所述待处理图像与目标背景图像得到合成图像，包括：
融合所述经过绿色抑制处理的待处理图像与目标背景图像得到合成图像。
在本发明实施例中，在融合图像时，可以根据前景透明度，融合经过绿色抑制处理的待处理图像与目标背景图像得到合成图像。
在本发明实施例中，通过确定待处理图像的背景颜色，根据背景颜色确定待处理图像中前景主体区域的透明度和前景边缘区域的透明度，根据前景主体区域的透明度和前景边缘区域的透明度，计算得到待处理图像的前景透明度；根据前景透明度，融合待处理图像与目标背景图像得到合成图像。从而可以分别估计前景主体区域与前景边缘区域的透明度，实现对二者精度的兼顾，提高了抠图的质量，参数调节也更加容易。
此外，在本发明实施例中，通过对待处理图像的前景透明度进行腐蚀处理得到第一透明度，对第一透明度进行高斯模糊处理得到第二透明度，对第二透明度进行反相处理，将反相处理后得到的透明度与前景透明度相乘得到光补偿系数，按照前景透明度和光补偿系数，融合待处理图像与目标背景图像得到合成图像，使得可以采用边缘背景颜色光补偿的方式融合待处理图像与目标背景图像，避免因色度差异大导致合成边缘突兀的问题，从而使生成的合成图像的显示效果更加自然。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图2，示出了本发明的一种图像处理装置实施例的结构框图，具体可以包括如下模块：
背景颜色确定模块201，用于确定待处理图像的背景颜色；
第一透明度确定模块202，用于根据所述背景颜色确定所述待处理图像中主体区域的透明度以及前景边缘区域的透明度；
第二透明度确定模块203，用于根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；
图像融合模块204，用于根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像。
在本发明的一种优选实施例中，所述图像融合模块204包括：
光补偿系数确定子模块，用于根据所述前景透明度确定光补偿系数；
图像融合子模块，用于按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像。
在本发明的一种优选实施例中，所述光补偿系数确定子模块包括如下单元：
腐蚀处理单元，用于对所述待处理图像的前景透明度进行腐蚀处理，得到第一透明度；
高斯模糊处理单元，用于对所述第一透明度进行高斯模糊处理，得到第二透明度；
反相处理单元，用于对所述第二透明度进行反相处理，将反相处理后得到的透明度与所述前景透明度相乘，得到光补偿系数。
在本发明的一种优选实施例中，所述图像融合子模块，包括：
颜色相加单元，用于按照所述前景透明度将所述待处理图像的颜色值，与所述目标背景图像的颜色值相加，得到第一颜色值；
补偿光计算单元，用于将所述光补偿系数与所述目标背景图像的颜色值相乘得到第二颜色值；
合成单元，用于根据所述第一颜色值与所述第二颜色值计算得到所述合成图像的颜色值。
在本发明的一种优选实施例中，所述背景颜色确定模块201，包括：
颜色空间转化子模块，用于将所述待处理图像从RGB颜色空间转化到HSV颜色空间；
统计子模块，用于在所述HSV颜色空间中统计所述待处理图像的色度分量的直方图；
目标色度确定子模块，用于确定所述色度分量的直方图中频率值最大的目标色度；
背景色度范围确定子模块，用于以所述目标色度为中心确定背景色度范围；
背景像素确定子模块，用于将所述待处理图像中，色度处于所述背景色度范围内的像素确定为背景像素；
背景颜色计算子模块，用于计算所述背景像素的颜色的均值得到背景颜色。
在本发明的一种优选实施例中，所述第一透明度确定模块202，包括：
颜色空间转化子模块，用于将所述待处理图像从RGB颜色空间转化到YUV颜色空间；
欧式距离计算子模块，用于在所述YUV颜色空间中，计算UV分量上所述前景主体区域中像素颜色与所述背景颜色之间的欧式距离；
透明度确定子模块，用于根据所述欧式距离确定所述前景主体区域的透明度。
在本发明的一种优选实施例中，所述第一透明度确定模块202，还包括：
差值计算子模块，用于计算所述待处理图像中前景边缘区域的绿色分量，与所述背景颜色的绿色分量的差值；
透明度确定子模块，用于按照预设差值范围对所述差值进行调整，并对调整后的结果进行归一化处理，得到所述待处理图像中前景边缘区域的透明度。
在本发明的一种优选实施例中，所述透明度确定子模块，包括：
第一调整单元，用于若所述差值大于位于所述预设差值范围内的最大值，则将所述最大值作为调整后的差值；
第二调整单元，用于若所述差值小于位于所述预设差值范围内的最小值，则将所述最小值作为调整后的差值；
第三调整单元，用于否则，将所述差值作为调整后的差值。
在本发明的一种优选实施例中，所述第二透明度确定模块203，包括：
透明度相加子模块，用于将所述前景主体区域的透明度与所述前景边缘区域的透明度相加，得到透明度之和；
前景透明度确定子模块，用于按照预设范围对所述透明度之和进行调整，得到所述待处理图像的前景透明度。
在本发明的一种优选实施例中，所述装置还包括：
均值计算模块，用于计算所述待处理图像中像素的蓝色分量与红色分量的均值；
颜色抑制处理模块，用于当所述背景颜色中的绿色分量大于所述蓝色分量与红色分量的均值时，采用所述蓝色分量与红色分量的均值替换所述背景颜色中的绿色分量，得到经过颜色抑制处理的待处理图像；
所述图像融合模块204，包括：
第一图像融合子模块，用于融合所述经过绿色抑制处理的待处理图像与目标背景图像得到合成图像。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，如图3所示，包括：
处理器301、存储介质302和总线303，所述存储介质302存储有所述处理器301可执行的机器可读指令，当电子设备运行时，所述处理器301与所述存储介质302之间通过总线303通信，所述处理器301执行所述机器可读指令，以执行如本发明实施例任一项所述的方法。具体实现方式和技术效果方法实施例的部分类似，这里不再赘述。
本发明实施例还提供了一种存储介质，如图4所示，所述存储介质上存储有计算机程序401，所述计算机程序401被处理器运行时执行如本发明实施例任一项所述的方法。具体实现方式和技术效果方法实施例的部分类似，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理方法、一种图像处理装置、一种电子设备以及一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
确定待处理图像的背景颜色；
根据所述背景颜色确定所述待处理图像中前景主体区域的透明度以及前景边缘区域的透明度；
根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；
根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像；
其中，根据所述背景颜色确定所述待处理图像中前景主体区域的透明度，包括：
将所述待处理图像从RGB颜色空间转化到YUV颜色空间，在所述YUV颜色空间中，根据所述背景颜色确定所述待处理图像中前景主体区域的透明度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像，包括：
根据所述前景透明度确定光补偿系数；
按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述前景透明度确定光补偿系数，包括：
对所述待处理图像的前景透明度进行腐蚀处理，得到第一透明度；
对所述第一透明度进行高斯模糊处理，得到第二透明度；
对所述第二透明度进行反相处理，将反相处理后得到的透明度与所述前景透明度相乘，得到光补偿系数。
4.根据权利要求2所述的方法，其特征在于，所述按照所述前景透明度和所述光补偿系数，融合所述待处理图像与目标背景图像得到合成图像，包括：
按照所述前景透明度将所述待处理图像的颜色值，与所述目标背景图像的颜色值相加，得到第一颜色值；
将所述光补偿系数与所述目标背景图像的颜色值相乘得到第二颜色值；
根据所述第一颜色值与所述第二颜色值计算得到所述合成图像的颜色值。
5.根据权利要求1所述的方法，其特征在于，所述确定待处理图像的背景颜色，包括：
将所述待处理图像从RGB颜色空间转化到HSV颜色空间；
在所述HSV颜色空间中统计所述待处理图像的色度分量的直方图；
确定所述色度分量的直方图中频率值最大的目标色度；
以所述目标色度为中心确定背景色度范围；
将所述待处理图像中，色度处于所述背景色度范围内的像素确定为背景像素；
计算所述背景像素的颜色的均值得到背景颜色。
6.根据权利要求1所述的方法，其特征在于，在所述YUV颜色空间中，根据所述背景颜色确定所述待处理图像中前景主体区域的透明度，包括：
在所述YUV颜色空间中，计算UV分量上所述前景主体区域的像素颜色与所述背景颜色之间的欧式距离；
根据所述欧式距离确定所述前景主体区域的透明度。
7.根据权利要求1所述的方法，其特征在于，根据所述背景颜色确定所述待处理图像中前景边缘区域的透明度，包括：
计算所述待处理图像中前景边缘区域的绿色分量与所述背景颜色的绿色分量的差值；
按照预设差值范围对所述差值进行调整，并对调整后的差值进行归一化处理，得到所述待处理图像中前景边缘区域的透明度。
8.根据权利要求7所述的方法，其特征在于，所述按照预设差值范围对所述差值进行调整，包括：
若所述差值大于位于所述预设差值范围内的最大值，则将所述最大值作为调整后的差值；
若所述差值小于位于所述预设差值范围内的最小值，则将所述最小值作为调整后的差值；
否则，将所述差值作为调整后的差值。
9.根据权利要求1所述的方法，其特征在于，所述根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度，包括：
将所述前景主体区域的透明度与所述前景边缘区域的透明度相加，得到透明度之和；
按照预设范围对所述透明度之和进行调整，得到所述待处理图像的前景透明度。
10.根据权利要求1-9任一项所述的方法，其特征在于，在所述根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像的步骤之前，还包括：
计算所述待处理图像中像素的蓝色分量与红色分量的均值；
当所述背景颜色中的绿色分量大于所述蓝色分量与红色分量的均值时，采用所述蓝色分量与红色分量的均值替换所述背景颜色中的绿色分量，得到经过颜色抑制处理的待处理图像；
所述融合所述待处理图像与目标背景图像得到合成图像，包括：
融合所述经过绿色抑制处理的待处理图像与目标背景图像得到合成图像。
11.一种图像处理装置，其特征在于，包括：
背景颜色确定模块，用于确定待处理图像的背景颜色；
第一透明度确定模块，用于根据所述背景颜色确定所述待处理图像中前景主体区域的透明度以及前景边缘区域的透明度；
第二透明度确定模块，用于根据所述前景主体区域的透明度和前景边缘区域的透明度，计算得到所述待处理图像的前景透明度；
图像融合模块，用于根据所述前景透明度，融合所述待处理图像与目标背景图像得到合成图像；
其中，所述第一透明度确定模块包括：
颜色空间转换模块，用于将所述待处理图像从RGB颜色空间转化到YUV颜色空间，在所述YUV颜色空间中，根据所述背景颜色确定所述待处理图像中前景主体区域的透明度。
12.一种电子设备，其特征在于，包括：
处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-10任一项所述的方法。
13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218582.2A CN112330531B (zh) | 2020-11-04 | 2020-11-04 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218582.2A CN112330531B (zh) | 2020-11-04 | 2020-11-04 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330531A CN112330531A (zh) | 2021-02-05 |
| CN112330531B true CN112330531B (zh) | 2022-05-17 |
Family
ID=74315832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011218582.2A Active CN112330531B (zh) | 2020-11-04 | 2020-11-04 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330531B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724175A (zh) * | 2021-04-15 | 2021-11-30 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置及电子设备 |
| CN113409221B (zh) * | 2021-06-30 | 2023-12-12 | 深圳万兴软件有限公司 | 一种图像颜色抠除方法、系统、计算机设备及存储介质 |
| CN113590250B (zh) * | 2021-07-29 | 2024-02-27 | 网易（杭州）网络有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113436284A (zh) * | 2021-07-30 | 2021-09-24 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
| CN116168091A (zh) * | 2021-11-24 | 2023-05-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和计算机程序产品 |
| CN114173058B (zh) * | 2021-11-30 | 2023-12-26 | 云控智行科技有限公司 | 视频图像稳定处理方法、装置及设备 |
| CN114266817B (zh) * | 2022-03-02 | 2022-06-07 | 广东欧谱曼迪科技有限公司 | 一种荧光深度图像合成方法、装置、电子设备及存储介质 |
| CN114937050A (zh) * | 2022-06-28 | 2022-08-23 | 北京字跳网络技术有限公司 | 绿幕抠图方法、装置及电子设备 |
| CN117411978B (zh) * | 2023-12-13 | 2024-03-22 | 北京拓目科技有限公司 | 一种mvps系列视频处理系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366364B (zh) * | 2013-06-07 | 2016-06-29 | 太仓中科信息技术研究院 | 一种基于颜色差异的抠图方法 |
| US9288462B2 (en) * | 2013-09-06 | 2016-03-15 | Imatte, Inc. | Conversion of an image to a transparency retaining readability and clarity of detail while automatically maintaining color information of broad areas |
| CN103942794B (zh) * | 2014-04-16 | 2016-08-31 | 南京大学 | 一种基于置信度的图像协同抠图方法 |
| CN105681686A (zh) * | 2015-12-31 | 2016-06-15 | 北京奇艺世纪科技有限公司 | 一种图像处理方法和系统 |
| CN108305256B (zh) * | 2017-11-28 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 视频抠像处理方法、处理装置及计算机可读存储介质 |
| CN111862110A (zh) * | 2020-06-30 | 2020-10-30 | 辽宁向日葵教育科技有限公司 | 一种绿幕抠像方法、系统、设备和可读存储介质 |
-
2020
- 2020-11-04 CN CN202011218582.2A patent/CN112330531B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330531A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330531B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP5105209B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| CN110378859B (zh) | 一种新的高动态范围图像生成方法 | |
| US8965120B2 (en) | Image processing apparatus and method of controlling the same | |
| JP4894595B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| TWI511559B (zh) | 影像處理方法 | |
| JP2003230160A (ja) | カラー映像の彩度調節装置及び方法 | |
| EP0868089B1 (en) | An image processing system | |
| JP2004512595A (ja) | 所望の画像外観を提供するためにディジタル画像データを自動的または半自動的に変換する方法 | |
| TW202022799A (zh) | 測光補償方法及其相關監控攝影設備 | |
| CN111480177A (zh) | 改进的逆色调映射方法和对应装置 | |
| WO2023273868A1 (zh) | 图像降噪方法、装置、终端、存储介质 | |
| JP2011086976A (ja) | 画像処理装置および画像処理方法 | |
| JP4721285B2 (ja) | ピクセルごとに差分的に準規則的にデジタルイメージを修正するための方法およびシステム | |
| US8648937B2 (en) | Image processing apparatus, image processing method, and camera module | |
| JP2018014646A (ja) | 画像処理装置および画像処理方法 | |
| CN113706393A (zh) | 视频增强方法、装置、设备及存储介质 | |
| CN110211065B (zh) | 一种食材图像的颜色校正方法和装置 | |
| US8305499B2 (en) | Image processing circuit and method for image processing | |
| Chung et al. | Under-exposed image enhancement using exposure compensation | |
| Terai et al. | Color image contrast enhancement by retinex model | |
| CN114266803A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
| CN115034994A (zh) | 基于视频内容的区域颜色处理的方法及系统 | |
| CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |