CN106251286B - 图像处理方法、装置及设备 - Google Patents
图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN106251286B CN106251286B CN201511024323.5A CN201511024323A CN106251286B CN 106251286 B CN106251286 B CN 106251286B CN 201511024323 A CN201511024323 A CN 201511024323A CN 106251286 B CN106251286 B CN 106251286B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- value
- background
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 36
- 238000013507 mapping Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000006748 scratching Methods 0.000 description 3
- 230000002393 scratching effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像处理方法与装置。所述方法包括:获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在所属彩色空间的背景均值和标准差值;根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
Description
技术领域
本发明涉及图像处理技术领域,尤其设计一种图像处理方法、装置及设备。
背景技术
目前,绿幕抠图技术经常被用于电视直播、电影拍摄等领域,用以实现电视、电影中的特效效果。所谓绿幕抠图技术是一种利用背景为绿幕,将前景从图像中抠出的技术,后期再将抠出的前景与其他背景画面融合的技术。
在实际使用过程中,由于绿幕反射,以及衍射极限,轻微散焦和光学镜头的缺陷所形成的弥散圆等因素,图像上前景边缘部分的前景图像会和绿幕图像(背景图像)部分发生融合,因此,绿幕抠图技术抠出的前景图像和背景图像不是二值化的,而是仅得出图像上每一像素点所占的前景比例值(该前景比例值通常被称为像素点的α值,图像中每个像素点的α值构建了图像的α通道),在后续的背景融合过程中,该前景比例值被作为图像融合前景的加权因子,使得融合的图像在前景边缘部分更加真实自然。
现有的绿幕抠图技术中,由于需要计算出每个像素点的前景比例值,所以,计算量较大,现有的绿幕抠图技术大部分均是离线进行的;但是,在一些直播项目中,往往需要实时的进行绿幕抠图和虚拟背景融合,而现有技术的绿幕抠图技术无法实现实时绿幕抠图和虚拟背景融合,具有一定的局限性。
发明内容
本发明提供了一种图像处理方法与装置,用于解决现有绿幕抠图技术中计算量较大,且无法实现实时绿幕抠图和虚拟背景融合的问题。
为实现上述目的,在第一方面,本发明提供了一种图像处理方法,所述方法包括:
获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值;
根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场景图像。
结合第一方面,在第一种可能的实现方式中,所述获取当前场景图像的背景统计信息,具体包括:
提取所述当前场景图像中的第一色彩区域;
确定所述第一色彩区域在色彩空间的背景均值和标准差值。
结合第一方面的第一种可能实现方式,在第二种可能的实现方式中,所述提取所述当前场景图像中的第一色彩区域,具体包括:
确定所述当前场景图像中每个像素点的第一色彩值;
判断所述第一色彩值是否超过预设的色彩阈值;
如果所述第一色彩值超过所述色彩阈值,则确定所述第一色彩值表针的所述像素点属于所述第一色彩区域,并对所述第一色彩区域进行提取。
结合第一方面的第二种可能实现方式,在第三种可能的实现方式中,所述第一色彩值满足
其中,所述r,g,b具体为所述像素点在所述色彩空间中红、绿、蓝通道的属性值。
在第四种可能的实现方式中,所述前景图像信息包括所述当前场景图像中像素点的标准化前景分数值;
所述根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息,具体包括:
确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值;
对所述色彩距离值进行映射处理,得到标准化前景分数值。
结合第一方面的第四种可能实现方式,在第五种可能的实现方式中,所述确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值,具体包括:
所述色彩距离值满足:
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
结合第一方面的第五种可能实现方式,在第六种可能的实现方式中,,所述将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,具体包括:
根据所述标准化前景分数值,确定所述像素点的前景颜色值;
利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
结合第一方面的第六种可能实现方式,在第七种可能的实现方式中,所述根据所述标准化前景分数值,确定所述像素点的前景颜色值,具体包括:
所述前景颜色值满足:
其中,所述I为所述像素点的颜色值;所述g为所述背景均值;所述αfg为所述标准化前景分数值;所述αbg=1-αfg为所述像素点的标准化背景分数值。
结合第一方面的第七种可能实现方式,在第八种可能的实现方式中,所述利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,具体包括:
所述融合后的场景图像满足:I'=Ifg·αfg+Ibg·αbg;
其中,所述Ifg为所述前景颜色;所述αfg为所述标准化前景分数值;所述Ibg为所述虚拟背景图像;所述αbg=1-αfg为所述像素点的标准化背景分数值。
在第二方面,本发明提供了一种图像处理装置,所述装置包括:
获取单元,用于获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值;
抠图单元,用于根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
融合单元,用于将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场景图像。
结合第一方面,在第一种可能的实现方式中,所述获取单元具体包括:
提取子单元,用于提取所述当前场景图像中的第一色彩区域;
确定子单元,用于确定所述第一色彩区域在色彩空间的背景均值和标准差值。
结合第一方面的第一种可能实现方式,在第二种可能的实现方式中,所述提取子单元具体用于,
确定所述当前场景图像中每个像素点的第一色彩值;
判断所述第一色彩值是否超过预设的色彩阈值;
如果所述第一色彩值超过所述色彩阈值,则确定所述第一色彩值表针的所述像素点属于所述第一色彩区域,并对所述第一色彩区域进行提取。
结合第一方面的第二种可能实现方式,在第三种可能的实现方式中,所述提取子单元确定的所述第一色彩值满足
其中,所述r,g,b具体为所述像素点在所述色彩空间中红、绿、蓝通道的属性值。
在第四种可能的实现方式中,所述抠图单元得到的所述前景图像信息包括所述当前场景图像中像素点的标准化前景分数值;
所述抠图单元具体包括:
确定子单元,用于确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值;
映射子单元,用于对所述色彩距离值进行映射处理,得到标准化前景分数值。
结合第一方面的第四种可能实现方式,在第五种可能的实现方式中,所述确定子单元具体用于,
所述色彩距离值满足:
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
结合第一方面的第五种可能实现方式,在第六种可能的实现方式中,所述融合单元具体包括:
确定子单元,用于根据所述标准化前景分数值,确定所述像素点的前景颜色值;
融合子单元,用于利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
结合第一方面的第六种可能实现方式,在第七种可能的实现方式中,所述确定子单元具体用于,
所述前景颜色值满足:
其中,所述I为所述像素点的颜色值;所述g为所述背景均值;所述αfg为所述标准化前景分数值;所述αbg=1-αfg为所述像素点的标准化背景分数值。
结合第一方面的第七种可能实现方式,在第八种可能的实现方式中,所述融合子单元具体用于,
所述融合后的场景图像满足:I'=Ifg·αfg+Ibg·αbg;
其中,所述Ifg为所述前景颜色;所述αfg为所述标准化前景分数值;所述Ibg为所述虚拟背景图像;所述αbg=1-αfg为所述像素点的标准化背景分数值。
本发明还提供一种图像处理设备,包括中央处理器,所述中央处理器用于:
获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值;
根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场图像。
因此,通过应用本发明提供的一种图像处理方法、装置及设备,终端获取当前场景中第一色彩区域在色彩空间的背景均值和标准差值;利用获取的背景均值和标准差值进行抠图处理,得到前景图像信息;并将前景图像信息与虚拟背景图像进行融合处理,获得最终的场景图像。相比较现有的绿幕构图技术,本发明仅获取了当前场景中第一色彩区域在色彩空间的背景均值和标准差值,进而执行抠图、融合处理,获得最终的场景图像,而不再对整个图像的每个像素点计算前景比例之后,再进行抠图处理,解决了现有技术中绿幕构图计算量较大的问题;同时,也实现了绿幕抠图和虚拟背景的实时融合。
附图说明
图1为本发明实施例提供的图像处理方法流程图;
图2-A为本发明实施例提供的一种左视图;
图2-B为本发明实施例提供的一种右视图;
图3为本发明实施例提供的图像处理装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本发明实施例的理解,下面将结合附图以具体实施例做进一步的解释说明,实施例并不构成对本发明实施例的限定。
下面以图1为例详细说明本发明实施例一提供的图像输出方法,图1为本发明实施例提供的图像处理方法流程图,在本发明实施例中实施主体可以是PC机、或台式机等终端设备。如图1所示,该实施例具体包括以下步骤:
步骤110、获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在所述色彩空间的背景均值和标准差值。
具体地,在演播室内(当前场景),摄像头(可为双目摄像头,或者两个普通摄像头)采集主播的视音频信息。摄像头将采集的视音频信息传输至终端(例如,PC机)。
可以理解的是,主播在录制视音频信息时,主播背后的背景布置为单一色彩幕布,其中作为示例而非限定,幕布颜色为绿幕或者蓝幕,在本发明实施例中,背景布置为绿幕,为了后续的计算准确性,主播穿着非绿色服装。
终端对摄像头采集的视图(左视图、右视图)进行处理,获取当前场景图像的背景统计信息,所述背景统计信息包括当前场景中第一色彩区域在色彩空间的背景均值和标准差值,该左右视图如图2-A以及图2-B所示。
进一步地,获取当前场景图像的背景统计信息,具体包括:终端提取当前场景图像中的第一色彩区域;终端确定第一色彩区域在色彩空间的背景均值和标准差值。
其中,终端提取当前场景图像中的第一色彩区域,具体包括:终端确定当前场景图像中每个像素点的第一色彩值;判断第一色彩值是否超过预设的色彩阈值;如果第一色彩值超过色彩阈值,则终端确定第一色彩值表针的像素点属于第一色彩区域,并对第一色彩区域进行提取。
其中,第一色彩值满足下述公式一:
公式一
其中,所述r,g,b具体为所述像素点在所述色彩空间中的,红、绿、蓝通道的属性值。
需要说明的是,上述计算第一色彩值中用到的g算子为RGB色彩空间中绿色通道属性值与其他两个通道属性值的差值的乘积,或对该乘积的正相关变换。
更进一步地,终端在提取当前场景图像中的第一色彩区域后,确定第一色彩区域在色彩空间的背景均值和标准差值。在本发明实施例中,所述确定第一色彩区域在色彩空间的背景均值和标准差值,也即是终端对第一色彩区域在色彩空间的背景均值和标准差值进行统计。
统计过程的主要作用是对第一色彩区域的颜色分布进行统计,以便后续步骤进行抠图处理。统计结果是第一色彩区域在色彩空间中每个通道的背景均值和标准差值。其中,作为示例而非限定,可采用多个数值累加后取平均的计算方式统计背景均值;采用现有的方差公式统计标准差值。
在本发明实施例中用于统计背景均值和标准差值的色彩空间具体是CIE LAB色彩空间。所述CIE LAB色空间是基于一种颜色不能同时既是蓝又是黄这个理论而建立。即,单一数值可用于描述红/绿色及黄/蓝色特征。当一种颜色用CIE L*a*b*时,L*表示明度值;a*表示红/绿及b*表示黄/蓝值。
在本发明实施例中,所述第一色彩区域具体是当前场景图像中的绿色区域;所述第一色彩值具体是像素点的绿值;所述色彩阈值具体是绿色阈值。
需要说明的是,终端可无需在当前场景图像的原分别率上获取背景均值和标准差值,终端可对当前场景图像进行缩放后,再获取背景均值和标准差值。在对当前场景图像进行缩放后,还可进一步节省终端的计算量。
在本发明实施例中,当前场景图像可以为至少一张图片;或者为视频数据中的一帧图像或者多帧图像。
步骤120、根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息。
具体地,在本发明实施例中“抠图”是图像处理中最常做的操作之一,将图像中需要的部分从画面中精确地提取出来,称为抠图。
终端获取背景均值和标准差值后,对当今场景图像进行抠图处理,得到当前场景图像的前景图像信息。在本发明实施例中,终端得到的前景图像信息具体为当前场景图像中的人物图像信息。
进一步地,在本发明实施例中,前景图像信息包括当前场景图像中像素点的标准化前景分数值;
终端根据背景均值和标准差值,对当前场景图像进行抠图处理,得到当前场景图像的前景图像信息,具体包括:终端确定当前场景图像的每个像素点与背景均值之间的色彩距离值(在本发明实施例中,所述色彩据距离值即为高斯色彩距离值);终端对色彩距离值进行映射处理,得到标准化前景分数值。
更进一步地,终端确定当前场景图像的每个像素点与背景均值之间的色彩距离值,具体包括:
所述色彩距离值满足下述公式二:
公式二
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
更进一步地,终端对色彩距离值进行映射处理,得到标准化前景分数值,具体包括:
终端确定像素点的色彩距离值后,将色彩距离值映射到映射区间内,所述映射区间为[0,1]。在本发明实施例中,具体的映射关系可以是线性映射或非线性映射。在一个例子中,以线性映射进行说明,设定色彩距离值两端阈值,即最大阈值th和最小阈值tl,判断色彩距离值是否超过最大阈值th,且是否不超过最小阈值tl;如果色彩距离值不超过最小阈值tl,则终端将该色彩距离值映射为0;如果色彩距离值超过最大阈值th,则终端将该色彩距离值映射为1;如果色彩距离值超过最小阈值tl且不超过最大阈值th,则终端将该色彩距离值映射到[0,1]的区间内。
需要说明的是,在本发明实施例中,终端确定色彩距离值是在色彩空间中进行的,在本步骤中所使用的色彩空间与步骤110中终端获取背景统计信息时所使用的色彩空间相同,均使用CIE LAB色彩空间。该色彩空间适合用于通过数字化的方式表述颜色之间的差异。通过CIE LAB色彩空间计算得到的数值,其值与人眼感觉一致,且计算结果也较为准确。
其中,在实际应用中,还可在CIE LAB色彩空间中计算第一色彩值;在RGB色彩空间中统计背景均值和标准差值;在RGB色彩空间中计算标准化前景分数值。也即是,在前述步骤110以及步骤120中,将CIE LAB色彩空间与RGB色彩空间进行相互进行。可以理解的是,当色彩空间互换时,其相应的计算公式也需相继进行调整,在此不再赘述。
步骤130、将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
具体地,在本发明实施例中,终端进行抠图处理,得到当前场景图像的前景图像信息后。终端将前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,所述虚拟背景图像具体为至少1张图片,或者为视频数据中的一帧图像或者多帧图像(也即是将人物图像信息域虚拟背景图像进行融合处理,以实现背景切换)。
进一步地,终端将前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,具体包括:终端根据标准化前景分数值,确定像素点的前景颜色值;利用前景颜色值,终端将前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
其中,终端根据标准化前景分数值,确定像素点的前景颜色值,具体包括:
所述前景颜色值满足下述公式三:
公式三
其中,所述I为所述像素点的颜色值;所述g为所述背景均值;所述αfg为所述标准化前景分数值;所述αbg=1-αfg为所述像素点的标准化背景分数值。
其中,利用前景颜色值,终端将前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,具体包括:
所述融合后的场景图像满足下述公式四:
I'=Ifg·αfg+Ibg·αbg 公式四
其中,所述Ifg为所述前景颜色;所述αfg为所述标准化前景分数值;所述Ibg为所述虚拟背景图像;所述αbg=1-αfg为所述像素点的标准化背景分数值。
因此,通过应用本发明实施例提供的图像处理方法,终端获取当前场景中第一色彩区域在色彩空间的背景均值和标准差值;利用获取的背景均值和标准差值进行抠图处理,得到前景图像信息;并将前景图像信息与虚拟背景图像进行融合处理,获得最终的场景图像。相比较现有的绿幕构图技术,本发明仅获取了当前场景中第一色彩区域在色彩空间的背景均值和标准差值,进而执行抠图、融合处理,获得最终的场景图像,而不再对整个图像的每个像素点计算前景比例之后,再进行抠图处理,解决了现有技术中绿幕构图计算量较大的问题;同时,也实现了绿幕抠图和虚拟背景的实时融合。
上述实施例描述的方法均可实现图像处理方法,相应地,本发明实施例还提供了一种图像处理装置,用以实现前述实施例中提供的图像处理方法,如图3所示,所述装置包括:获取单元310、抠图单元320、融合单元330。
所述装置包括的获取单元310,用于获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值;
抠图单元320,用于根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
融合单元330,用于将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场景图像。
进一步地,所述获取单元310具体包括:
提取子单元311,用于提取所述当前场景图像中的第一色彩区域;
确定子单元312,用于确定所述第一色彩区域在色彩空间的背景均值和标准差值。
进一步,所述提取子单元311具体用于,
确定所述当前场景图像中每个像素点的第一色彩值;
判断所述第一色彩值是否超过预设的色彩阈值;
如果所述第一色彩值超过所述色彩阈值,则确定所述第一色彩值表针的所述像素点属于所述第一色彩区域,并对所述第一色彩区域进行提取。
进一步地,所述提取子单元311确定的所述第一色彩值满足
其中,所述r,g,b具体为所述像素点在所述色彩空间中红、绿、蓝通道的属性值。
进一步地,所述抠图单元320得到的所述前景图像信息包括所述当前场景图像中像素点的标准化前景分数值;
所述抠图单元320具体包括:
确定子单元321,用于确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值;
映射子单元322,用于对所述色彩距离值进行映射处理,得到标准化前景分数值。
进一步地,所述确定子单元321具体用于,
所述色彩距离值满足:
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
进一步地,所述融合单元330具体包括:
确定子单元331,用于根据所述标准化前景分数值,确定所述像素点的前景颜色值;
融合子单元332,用于利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
进一步地,所述确定子单元331具体用于,
所述前景颜色值满足:
其中,所述I为所述像素点的颜色值;所述为所述背景均值;所述αfg为所述标准化前景分数值;所述αbg=1-αfg为所述像素点的标准化背景分数值。
进一步地,所述融合子单元332具体用于,
所述融合后的场景图像满足:I'=Ifg·αfg+Ibg·αbg;
其中,所述Ifg为所述前景颜色;所述αfg为所述标准化前景分数值;所述Ibg为所述虚拟背景图像;所述αbg=1-αfg为所述像素点的标准化背景分数值。
因此,通过应用本发明实施例提供的图像处理装置,所述装置获取当前场景中第一色彩区域在色彩空间的背景均值和标准差值;利用获取的背景均值和标准差值进行抠图处理,得到前景图像信息;并将前景图像信息与虚拟背景图像进行融合处理,获得最终的场景图像。相比较现有的绿幕构图技术,本发明仅获取了当前场景中第一色彩区域在色彩空间的背景均值和标准差值,进而执行抠图、融合处理,获得最终的场景图像,而不再对整个图像的每个像素点计算前景比例之后,再进行抠图处理,解决了现有技术中绿幕构图计算量较大的问题;同时,也实现了绿幕抠图和虚拟背景的实时融合。
本发明实施例还涉及一种图像处理设备,包括中央处理器,所述中央处理器用于:
获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值;
根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场图像。
此外,所述图像处理设备还用于执行本发明图像处理方法部分所描述的其他方法步骤,图像处理设备所能实现的有益效果如图像处理装置或图像处理方法部分所述,在此不再赘述。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (19)
1.一种图像处理方法,其特征在于,所述方法包括:
获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值,所述第一色彩区域为所述当前场景图像的背景区域,所述背景区域呈单一色彩;
根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场景图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述获取当前场景图像的背景统计信息,具体包括:
提取所述当前场景图像中的第一色彩区域;
确定所述第一色彩区域在色彩空间的背景均值和标准差值。
3.根据权利要求2所述的图像处理方法,其特征在于,所述提取所述当前场景图像中的第一色彩区域,具体包括:
确定所述当前场景图像中每个像素点的第一色彩值;
判断所述第一色彩值是否超过预设的色彩阈值;
如果所述第一色彩值超过所述色彩阈值,则确定所述第一色彩值表针的所述像素点属于所述第一色彩区域,并对所述第一色彩区域进行提取。
4.根据权利要求3所述的图像处理方法,其特征在于,所述第一色彩值满足
其中,所述r,g,b具体为所述像素点在所述色彩空间中红、绿、蓝通道的属性值。
5.根据权利要求1所述的图像处理方法,其特征在于,所述前景图像信息包括所述当前场景图像中像素点的标准化前景分数值;
所述根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息,具体包括:
确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值;
对所述色彩距离值进行映射处理,得到标准化前景分数值。
6.根据权利要求5所述的图像处理方法,其特征在于,所述确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值,具体包括:
所述色彩距离值满足:
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
7.根据权利要求6所述的图像处理方法,其特征在于,所述将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,具体包括:
根据所述标准化前景分数值,确定所述像素点的前景颜色值;
利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
8.根据权利要求7所述的图像处理方法,其特征在于,所述根据所述标准化前景分数值,确定所述像素点的前景颜色值,具体包括:
所述前景颜色值满足:
其中,所述I为所述像素点的颜色值;所述为所述背景均值,所述为所述的另一表现形式;所述αfg为所述标准化前景分数值;所述αbg=1-αfg为所述像素点的标准化背景分数值。
9.根据权利要求8所述的图像处理方法,其特征在于,所述利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像,具体包括:
所述融合后的场景图像满足:I'=Ifg·αfg+Ibg·αbg;
其中,所述Ifg为所述前景颜色;所述αfg为所述标准化前景分数值;所述Ibg为所述虚拟背景图像;所述αbg=1-αfg为所述像素点的标准化背景分数值。
10.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值,所述第一色彩区域为所述当前场景图像的背景区域,所述背景区域呈单一色彩;
抠图单元,用于根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
融合单元,用于将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场景图像。
11.根据权利要求10所述的图像处理装置,其特征在于,所述获取单元具体包括:
提取子单元,用于提取所述当前场景图像中的第一色彩区域;
确定子单元,用于确定所述第一色彩区域在色彩空间的背景均值和标准差值。
12.根据权利要求11所述的图像处理装置,其特征在于,所述提取子单元具体用于,
确定所述当前场景图像中每个像素点的第一色彩值;
判断所述第一色彩值是否超过预设的色彩阈值;
如果所述第一色彩值超过所述色彩阈值,则确定所述第一色彩值表针的所述像素点属于所述第一色彩区域,并对所述第一色彩区域进行提取。
13.根据权利要求12所述的图像处理装置,其特征在于,所述提取子单元确定的所述第一色彩值满足
其中,所述r,g,b具体为所述像素点在所述色彩空间中红、绿、蓝通道的属性值。
14.根据权利要求10所述的图像处理装置,其特征在于,所述抠图单元得到的所述前景图像信息包括所述当前场景图像中像素点的标准化前景分数值;
所述抠图单元具体包括:
确定子单元,用于确定所述当前场景图像的每个像素点与所述背景均值之间的色彩距离值;
映射子单元,用于对所述色彩距离值进行映射处理,得到标准化前景分数值。
15.根据权利要求14所述的图像处理装置,其特征在于,所述确定子单元具体用于,
所述色彩距离值满足:
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
16.根据权利要求15所述的图像处理装置,其特征在于,所述融合单元具体包括:
确定子单元,用于根据所述标准化前景分数值,确定所述像素点的前景颜色值;
融合子单元,用于利用所述前景颜色值,将所述前景图像信息与虚拟背景图像进行融合处理,得到融合后的场景图像。
17.根据权利要求16所述的图像处理装置,其特征在于,所述确定子单元具体用于,
所述前景颜色值满足:
其中,所述I为所述像素点的颜色值;所述为所述背景均值,所述为所述的另一表现形式;所述αfg为所述标准化前景分数值;所述αbg=1-αfg为所述像素点的标准化背景分数值。
18.根据权利要求17所述的图像处理装置,其特征在于,所述融合子单元具体用于,
所述融合后的场景图像满足:I'=Ifg·αfg+Ibg·αbg;
其中,所述Ifg为所述前景颜色;所述αfg为所述标准化前景分数值;所述Ibg为所述虚拟背景图像;所述αbg=1-αfg为所述像素点的标准化背景分数值。
19.一种图像处理设备,包括中央处理器,其特征在于,所述中央处理器用于:
获取当前场景图像的背景统计信息,所述背景统计信息包括所述当前场景中第一色彩区域在色彩空间的背景均值和标准差值,所述第一色彩区域为所述当前场景图像的背景区域,所述背景区域呈单一色彩;
根据所述背景均值和标准差值,对所述当前场景图像进行抠图处理,得到所述当前场景图像的前景图像信息;
将所述前景图像信息与虚拟背景图像进行融合处理,获得融合后的场图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511024323.5A CN106251286B (zh) | 2015-12-30 | 2015-12-30 | 图像处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511024323.5A CN106251286B (zh) | 2015-12-30 | 2015-12-30 | 图像处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106251286A CN106251286A (zh) | 2016-12-21 |
CN106251286B true CN106251286B (zh) | 2019-11-22 |
Family
ID=57627015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511024323.5A Active CN106251286B (zh) | 2015-12-30 | 2015-12-30 | 图像处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106251286B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846336B (zh) * | 2017-02-06 | 2022-07-15 | 腾讯科技(上海)有限公司 | 提取前景图像、替换图像背景的方法及装置 |
CN107087123B (zh) * | 2017-04-26 | 2020-04-21 | 杭州奥点科技股份有限公司 | 一种基于云端处理的实时高清抠像方法 |
CN108875759B (zh) * | 2017-05-10 | 2022-05-24 | 华为技术有限公司 | 一种图像处理方法、装置及服务器 |
CN107808373A (zh) * | 2017-11-15 | 2018-03-16 | 北京奇虎科技有限公司 | 基于姿态的样本图像合成方法、装置及计算设备 |
CN108765537A (zh) * | 2018-06-04 | 2018-11-06 | 北京旷视科技有限公司 | 一种图像的处理方法、装置、电子设备和计算机可读介质 |
CN110827287B (zh) * | 2018-08-14 | 2023-06-23 | 阿里巴巴(上海)有限公司 | 确定背景色置信度和图像处理的方法、装置及设备 |
CN109948565B (zh) * | 2019-03-26 | 2021-05-25 | 浙江啄云智能科技有限公司 | 一种用于邮政业的违禁品不开箱检测方法 |
CN113012054B (zh) * | 2019-12-20 | 2023-12-05 | 舜宇光学(浙江)研究院有限公司 | 基于抠图的样本增强方法和训练方法及其系统和电子设备 |
CN113744364B (zh) * | 2021-02-09 | 2024-04-05 | 北京沃东天骏信息技术有限公司 | 图像处理方法和装置 |
CN113793395B (zh) * | 2021-09-15 | 2024-05-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种关键色提取方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7054482B2 (en) * | 2001-09-28 | 2006-05-30 | Arcsoft, Inc. | Smart masking tool for image processing |
CN102103751A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 前景图像提取方法及装置 |
CN104200470A (zh) * | 2014-08-29 | 2014-12-10 | 电子科技大学 | 一种蓝屏抠图方法 |
CN104680518A (zh) * | 2015-02-03 | 2015-06-03 | 长春理工大学 | 一种基于色度溢出处理的蓝屏抠像方法 |
-
2015
- 2015-12-30 CN CN201511024323.5A patent/CN106251286B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7054482B2 (en) * | 2001-09-28 | 2006-05-30 | Arcsoft, Inc. | Smart masking tool for image processing |
CN102103751A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 前景图像提取方法及装置 |
CN104200470A (zh) * | 2014-08-29 | 2014-12-10 | 电子科技大学 | 一种蓝屏抠图方法 |
CN104680518A (zh) * | 2015-02-03 | 2015-06-03 | 长春理工大学 | 一种基于色度溢出处理的蓝屏抠像方法 |
Non-Patent Citations (1)
Title |
---|
数字图像抠图关键技术研究;姚桂林;《中国博士学位论文全文数据库(信息科技辑)》;20140115;正文第2.2-2.3小节,算法2-1,图2-8 * |
Also Published As
Publication number | Publication date |
---|---|
CN106251286A (zh) | 2016-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106251286B (zh) | 图像处理方法、装置及设备 | |
CN105654471B (zh) | 应用于互联网视频直播的增强现实ar系统及方法 | |
Ciurea et al. | A large image database for color constancy research | |
CN105430376B (zh) | 一种全景相机一致性的检测方法及装置 | |
DE102019106252A1 (de) | Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung | |
CN107483908A (zh) | 白平衡校准方法及电子设备 | |
US20070070200A1 (en) | Video matting using camera arrays | |
CN106664351A (zh) | 使用块匹配的镜头阴影颜色校正的方法和系统 | |
CN105915816B (zh) | 用于确定给定场景的亮度的方法和设备 | |
CN106303483B (zh) | 一种图像处理方法及装置 | |
CN105869112B (zh) | 一种边缘保持最小化的高动态范围图像色调映射方法 | |
CN108965647B (zh) | 一种前景图像获得方法及装置 | |
CN108961299B (zh) | 一种前景图像获得方法及装置 | |
US20150245008A1 (en) | Image processing method, image processing device, and electronic apparatus | |
CN108154514A (zh) | 图像处理方法、装置及设备 | |
CN104994376B (zh) | 一种投影仪投影的色彩自动模拟方法及系统 | |
CN107360418A (zh) | 一种全景相机颜色一致性评判系统及方法 | |
CN105827975B (zh) | 一种用于全景视频拼接的颜色在线校正方法 | |
CN113034509A (zh) | 图像处理方法及装置 | |
CN111292279B (zh) | 一种基于彩色图像融合的偏振图像可视化方法 | |
CN109903265A (zh) | 一种图像变化区域侦测阀值设定方法、系统及其电子装置 | |
CN109191398B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN107194901A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
CN102427538A (zh) | 电影对比度色度自动增强方法 | |
CN107464225A (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |