CN104182950B - 一种图像处理方法及其装置 - Google Patents
一种图像处理方法及其装置 Download PDFInfo
- Publication number
- CN104182950B CN104182950B CN201310197075.9A CN201310197075A CN104182950B CN 104182950 B CN104182950 B CN 104182950B CN 201310197075 A CN201310197075 A CN 201310197075A CN 104182950 B CN104182950 B CN 104182950B
- Authority
- CN
- China
- Prior art keywords
- pixel
- target image
- image
- weight
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明实施例公开了一种图像处理方法及其装置,用于将目标图像与背景图像进行融合的处理过程。本发明中,首先选取目标图像,对目标图像边界像素点坐标初始化,通过欧氏距离计算边界像素点与内部像素点的权重关系,确定参与图像内部素点融合的边界点,计算目标图像边界像素与背景图像像素的差值;用这些边界差值结果来指导目标图像内部像素点的融合,使最终目标融合结果能与背景图像的光照一致。
Description
技术领域
本发明涉及通信领域的图像数据处理技术,尤其涉及一种用于将目标图像与背景图像进行融合的图像处理方法及其装置。
背景技术
视频浓缩是指将原始视频长度进行压缩,即在时间和空间上同时进行压缩,得到仅包含运动目标的较短视频。所谓的时间压缩是指剔除原始视频中无运动目标的视频帧,得到相对于原始视频较短的视频;所谓的空间压缩是指充分利用场景中的空间位置信息,对目标在时间上进行偏移,调整目标间的相对时间距离,使不同时刻的目标可以在同一时刻出现,大大提高了压缩率。
在视频浓缩过程中,当将时间靠后的目标偏移到比较靠前的时刻出现时,比如,将目标图像贴到背景图像上时,由于前后存在光照变化,因此会存在明显的矩形块效应,如图1所示。
为了消除或减弱这种矩形块效应,通常需要对目标图像与背景图像进行融合处理。
目前,较为成熟的图像融合方法是泊松图像编辑方法,该方法主要包括以下步骤:
第一步:获取原始图像和目标图像,并确定目标图像在原始图像中的融合坐标位置;
第二步:对融合区域求解边界条件的泊松方程,得到融合结果。
目前还有一种基于链码掩膜的泊松图像融合方法,该方法是上述方法的一种优化方案,主要包括以下步骤:
第一步:获取原始图像和目标图像,并确定目标图像在原始图像中的融合坐标位置;
第二步:对融合区域求解边界条件的泊松方程,得到融合的初步结果;
第三步:获取目标图像的轮廓链码;
第四步:形态学操作目标边缘链码,获取二值掩膜图像;
第五步:通过掩膜图像对区域融合结果进行判别,得到最终融合结果。
发明人在实现本发明的过程中发现现有技术至少存在以下缺陷:
上述泊松图像编辑方法,融合的效果较为理想,但是需要求解复杂的偏微分方程,融合速度较慢,不能满足实时性要求。其优化方案在泊松图像编辑后进行了掩码处理,以保证原目标实际区域不参与融合,保留目标的实际颜色,仅目标周围的背景区域参与图像的融合,但并没有对融合效果有所改善,当目标图像与背景图像光照差异较大时,采用该优化方案反而会适得其反,得不到应有的融合效果。
由此可见,目前亟需一种新的目标图像与背景图像的融合技术,在保证融合效果的前提下,提升融合速度,达到实时处理的能力。
发明内容
本发明实施例提供了一种图像处理方法及其装置,用以在保证图像融合效果的前提下,提高图像融合速度。
本发明实施例提供的图像处理方法,包括:
获取目标图像、背景图像,以及所述目标图像在所述背景图像中的融合位置;
根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素的坐标;
根据所述目标图像边界像素的坐标与内部像素的坐标的空间距离,确定边界像素对内部像素的权重,所述权重用于反映图像融合处理时边界像素对内部像素的影响程度;
根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素与所述背景图像中对应像素的颜色差值;
根据所述目标图像边界像素与所述背景图像中对应像素的颜色差值,以及所述目标图像边界像素对内部像素的权重,对所述目标图像和所述背景图像进行融合处理。
本发明实施例提供的图像处理装置,包括:
获取单元,用于获取目标图像、背景图像,以及所述目标图像在所述背景图像中的融合位置;
边界确定单元,用于根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素的坐标;
权重确定单元,用于根据所述目标图像边界像素的坐标与内部像素的坐标的空间距离,确定边界像素对内部像素的权重,所述权重用于反映图像融合处理时边界像素对内部像素的影响程度;
差值确定单元,用于根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素与所述背景图像中对应像素的颜色差值;
融合处理单元,用于根据所述目标图像边界像素与所述背景图像中对应像素的颜色差值,以及所述目标图像边界像素对内部像素的权重,对所述目标图像和所述背景图像进行融合处理。
本发明的上述实施例中,获取目标图像后,根据目标图像边界像素与内部像素的空间距离,确定边界像素对内部像素的权重,利用边界像素对内部像素的权重和边界像素与背景像素的差值,来指导目标图像内部像素与背景像素的融合,使最终目标融合结果能与背景图像的光照一致。与现有图像融合技术相比,本发明实施例由于在图像融合过程中无需解方程,通过计算边界像素与内部像素的权重关系来指导像素的融合,从而提高了图像融合处理速度。
附图说明
图1为图像融合过程中的矩形块效应示意图;
图2为本发明实施例提供的图像融合流程示意图之一;
图3为本发明实施例提供的图像融合流程示意图之二;
图4为本发明实施例中的边界像素点采样示意图;
图5为本发明实施例中的图像融合处理示意图;
图6A为本发明实施例提供的图像处理装置的结构示意图之一;
图6B为本发明实施例提供的图像处理装置的结构示意图之二。
具体实施方式
本发明实施例提出一种图像处理方法及其装置,应用于在视频浓缩过程或者其它需要将目标图像与背景图像进行融合的图像数据处理过程,本发明实施例能够在保证融合效果的前提下提升融合速度,达到实时处理的能力。
下面结合附图对本发明实施例进行详细描述。
参见图2,为本发明实施例提供的图像融合流程示意图,该流程可包括:
步骤202:获取目标图像、背景图像,以及目标图像在背景图像中的融合位置。本发明实施例中,可根据用户输入的参数获取目标图像、背景图像以及目标图像在背景图像中的融合位置,也可以通过图像数据处理算法确定出目标图像、背景图像以及目标图像在背景图像中的融合位置,本发明实施例对于上述信息的获取方式不做限制。
步骤204:根据目标图像在背景图像中的融合位置,确定该目标图像的边界像素的坐标。
步骤206:根据目标图像的各边界像素的坐标与该目标图像的内部像素的坐标的空间距离,确定各边界像素对内部像素的权重,该权重用于反映图像融合处理时目标图像的边界像素对该目标图像的内部像素的影响程度。
步骤208:根据目标图像在背景图像中的融合位置,确定目标图像的边界像素与背景图像中对应像素的颜色差值;
步骤210:根据目标图像的边界像素与背景图像中对应像素的颜色差值,以及目标图像边界像素对该目标图像内部像素的权重,对目标图像和背景图像进行融合处理。
下面以目标图像为矩形图像为例,对上述流程进行详细说明。
在步骤202中,获取到的目标图像表示为I、背景图像表示为B,目标图像在背景图像中的融合位置表示为P(x,y,w,h)。其中,P(x,y,w,h)中的(x,y)表示目标图像的左顶点像素在背景图像中的坐标,目标图像的宽度为w个像素、高度为h个像素。
在步骤204中,根据目标图像在背景图像中的融合位置P(x,y,w,h),以目标图像的左顶点像素为基准按照逆时针方向,目标图像边界上各像素的坐标表示如下:
(x,y),(x,y+1),(x,y+2),……,(x,y+h-1);
(x+1,y+h-1),(x+2,y+h-1),……,(x+w-1,y+h-1);
(x+w-1,y+h-2),(x+w-1,y+h-3),……,(x+w-1,y);
(x+w-2,y),(x+w-3,y),……,(x+1,y)。
目标图像的边界像素数目为:b=2×w+2×h-4
在步骤206中,对于目标图像中的每个需要进行融合处理的像素,分别计算该像素与各边界像素的空间距离。所述需要进行融合处理的像素是指目标图像中除边界像素以外的其它像素,即目标图像的内部像素,可以是所有内部像素,也可以是部分内部像素,比如,以目标图像的中心为中心,y轴方向向外扩展25%×h、x轴方向向外扩展25%×w范围内的像素无需与背景进行融合处理,其它内部像素需要与背景进行融合处理。需要进行融合处理的像素的范围,可根据需要具体规定,参与融合处理的像素越多融合效果越好,但计算量也会越大。
本实施例中可根据需要选用空间距离计算方法,下面以选用欧氏距离计算方法为例,说明权重的算法。
针对目标图像中每个需要进行融合处理的内部像素,按照以下公式分别计算该内部像素坐标与各边界像素坐标的欧氏空间距离:
…………………………[1]
其中,c(x0,y0)是需要进行融合处理的内部像素的坐标,c(xi,yi)是第i个边界像素的坐标;dist(c(x0,y0),c(xi,yi))是坐标为c(x0,y0)的内部像素与第i个边界像素间的欧氏距离。i的取值范围是1~b(b为目标图像边界像素的数量)。
则边界像素对该内部像素的权重为:
……………………………………………[2]
其中,w(i)是第i个边界像素对坐标为c(x0,y0)的内部像素的权重。
按照上述公式(1)和公式(2),可以计算得到目标图像中每个边界像素对该目标图像中需要进行融合处理的内部像素的权重。
进一步的,可以对权重进行归一化处理:
…………………………………………………………[3]
其中,b是目标图像边界像素的数量,w(i)'是归一化处理后的权重。
在步骤208中,根据目标图像在背景图像中的融合位置,对于目标图像的各边界像素,分别计算边界像素与背景图像中对应坐标位置的像素的颜色差值:
dif(x,y:n)=I(x,y;n)-B(x,y;n)……………………………………………[4]
其中,n标识颜色通道,对于具有(R,G,B)三个颜色通道的彩色图像,n=1,2,3,以分别表示颜色通道R、颜色通道G和颜色通道B。(x,y)表示目标图像的边界像素点的坐标,I(x,y;n)表示该坐标位置上的目标图像像素在通道n上的颜色值,B(x,y;n)表示该坐标位置上的背景图像像素在通道n上的颜色值。dif(x,y;n)是I(x,y;n)与B(x,y;n)的差值。
通过上述公式(4),对于目标图像中需要进行融合的每个像素的每个颜色通道,分别计算得到该像素在该通道上与相同坐标位置上的背景图像像素在相同颜色通道上的差值。
为了方便后面的表述,此处将公式(4)计算得到的颜色差值表示为边界序号的形式:
dif(i,n)=I(i,n)-B(i,n)……………………………………………[5]
其中,n标识颜色通道,dif(i,n)表示目标图像中第i个边界像素在颜色通道n上的颜色值与背景图像中对应像素在颜色通道n上的颜色值的差值。
这样,目标图像内融合后的像素(坐标为(x,y))的颜色值与背景图像中相应像素的颜色值差异表示为:
………………………………………[6]
公式(6)中的w(i)也可以由归一化处理后的w(i)'代替。
在步骤210中,将目标图像与背景图像融合时,融合区域的边界像素颜色仍保持为背景图像中相应像素的颜色;在融合区域内部对于需要融合的像素(即目标图像内部需要进行融合的像素),根据公式(6)进行融合处理,融合后的像素表示为:
I(x,y;n)'=cloneD(x,y;n)+I(x,y;n)………………………………………[7]
其中,I(x,y;n)'是目标图像像素融合后在颜色通道n上的颜色值,I(x,y;n)是该目标图像像素融合前在颜色通道n上的颜色值。
如果目标图像中有像素无需融合处理,则在背景图像中的融合区域,该无需进行融合处理的像素位置上,这些像素的颜色值仍保持为目标图像的颜色值。
并非目标图像中的每个边界像素都需要参与像素的融合计算,比如离需要进行融合的内部像素距离较远的边界像素,对该需要进行融合的内像素的权重贡献微乎其微,基本可以忽略不计,反之,距离需要进行融合的内部像素较近的边界像素,对该内部像素就会影响较大,相应的权重也会较大。为了提高计算速度,在本发明的另一实施例中,对上述实施例进行了优化,如图3所示,在步骤204之后、步骤206之前还包括步骤205:针对目标图像中需要进行融合处理的内部像素,根据该内部像素与各边界像素之间的空间距离,从边界像素中选取部分边界像素,作为后续对该内部像素进行融合处理时需要使用的边界像素,其中,所述部分边界像素是距离所述需要进行融合处理的内部像素空间距离较近的边界像素,为方便描述,以下将选取的边界像素称为边界采样点像素。步骤206以及以后的步骤中,在计算权重以及融合处理时所用到的边界像素是步骤205中选取出的采样点像素。
以下给出了步骤205的一种优选实现方式。
在步骤205中,首先根据预先设定的边界像素数目N确定目标图像的高(即纵向)和宽(即横向)上边界采样点像素的数目:
………………………………………[8]
其中,sampleW是目标图像横向上的边界采样点像素数目,sampleH是目标图像纵向上的边界采样点像素数目;w和h的含义同前所述,表示目标图像的高和宽。如果计算结果不是整数,则强制转换到不大于计算结果的最大整数。
然后,根据公式(8)计算出的纵向和横向边界上的边界采样点像素数目,确定上下左右各边上的边界采样点像素数目,分别表示为sampleT,sampleB,sampleL,sampleR:
…………………………………[9]
其中,w1是内部像素点到左边界点的距离(单位为像素),w2是该内部像素点到右边界点的距离(单位为像素),h1是内部像素点到上边界点的距离(单位为像素),h2是该内部像素点到右边界点的距离(单位为像素)。如图4所示,对于目标区域中需要进行融合处理的像素点P,根据该像素点到各边界的距离w1,w2,h1,h2,采用公式(9)可以计算得到针对该像素点P,各边界上的边界采样点像素数目。如果计算结果不是整数,则强制转换到不大于计算结果的最大整数。
最后,根据公式(9)计算出的各边界上的边界采样点像素数目,从各边界上选取相应数量的边界采样点,所选取的边界采样点的总数量不大于N。本发明实施例中按照从中间到两边的方式进行边界采样点像素的确定。仍以图4为例,在目标图像的上边界,距离内部像素P最近的边界像素为ST1,因此选取该像素作为边界采样点像素,边界采样点像素数目减1(即sampleT=sampleT-1);之后,按照对称的方式选取边界采样点像素,即在ST1左边最近点选择采样点ST2,右边最近点选择采样点ST3,并更新边界采样点像素数目sampleT;按照同样的方式,在该边界上选择ST4,ST5,ST6,此时sampleT值为0,结束上边界上采样点像素的选取。按照同样方式,在其它边界上选择边界采样点像素。选取过程中,如果一侧的边界点全部选择完,则剩余的采样点全部在另一侧完成,直到选择完全部的采样点,比如ST4已经是最左边的边界点,因此选择ST5一侧的边界点ST6。
对于目标图像中需要进行融合处理的每个像素,按照上述方式为该像素确定边界采样点像素。
步骤205的上述优选实现方式中,根据预设参数N选择相应数量的边界采样点的目的是为了加快像素点的融合处理速度。当目标图像边界像素总数目大于N时,按照上述方式仅选取其中不大于N个边界像素作为后续融合处理的参考。当目标图像边界像素总数目小于或等于N时,该目标图像上的所有边界像素均作为边界采样点像素,用于后续的融合处理。N的取值可以是在融合速度和融合效果取折中的经验值。
通过步骤205可以看出,对于需要进行融合处理的内部像素,边界上距离该内部像素近的像素点由于其对该内部像素点的权重较大,因此选取为采样点,同时对于距离较远的边界像素点,也不能完全忽略其对该内部像素点的影响。基于相同的原理,也可以采用其它类似的选取方法,并不局限于上述优选方式。
为了更清楚地对本发明实施例进行说明,下面以图5所示的目标图像和背景图像为例,对应图2所示的流程对图像融合过程进行描述。
如图5所示,在步骤202中,获取到的目标图像I的宽度w=4个像素、高度h=3个像素,在背景图像B中的融合位置如图所示。
在步骤204中,对目标图像I的边界像素的坐标进行初始化,以矩形边界左顶点为基准按照逆时针方向对边界像素的坐标位置进行记录,依次得到的边界像素坐标为c1(0,0),c2(0,1),c3(0,2),c4(1,2),c5(2,2),c6(3,2),c7(3,1),c8(3,0),c9(2,0),c10(1,0),共计10个边界像素。目标图像I中的内部像素的坐标分别为c11(1,1),c12(2,1),这些内部像素全部需要进行融合处理。
在步骤205中,分别为内部像素c11(1,1)和内部像素c12(2,1)选取边界采样点像素。这里以N=6为例,则在为c11选取边界采样点像素的过程中,根据公式(8)计算得到:
根据公式(9),计算得到矩形边界各边上的边界采样点像素数量:
sampleB=min(sampleW-sampleT,w-1)=min(3-2,4-1)=1
sampleR=min(sampleH-sampleL,h-1)=min(2-2,3-1)=1
同理,对于内部像素c12(1,2),根据公式(9)计算得到矩形边界各边上的边界采样点像素数目,此处不再详述。
根据内部像素点c11对应的各边界上的边界采样点像素数量,按照前述方式从各边界上选取边界采样点像素,选取的边界采样点像素为c2、c3、c4、c7、c10,共计5个。同理,针对内部像素点c12确定对应的各边界上的边界采样点像素为c2、c4、c5、c7、c9,共计5个。
在步骤206中,对于内部像素c11,根据公式(1)分别计算c2、c3、c4、c7、c10与c11间的欧氏距离,并根据公式(2)和公式(3)分别计算c2、c3、c4、c7、c10对c11的权重,此处不再详述计算过程。同理,对于内部像素c12,根据公式(1)分别计算c2、c4、c5、c7、c9与c12间的欧氏距离,并根据公式(2)和公式(3)分别计算c2、c4、c5、c7、c9对c12的权重。
在步骤208中,针对内部像素c11,根据公式(4)或公式(5)计算目标图像中的c2与该坐标位置上的背景图像中的像素的颜色差值,按照同样方式计算c3、c4、c7、c10与相同坐标位置上的背景图像像素的颜色差值。同理,针对内部像素c12,分别计算目标图像中的c2、c4、c5、c7、c9与相同坐标位置上的背景图像像素的颜色差值。
在步骤210中,这对内部像素c11,根据公式(7)、以c2、c3、c4、c7、c10对c11的权重以及以c2、c3、c4、c7、c10计算出的颜色差值,计算该像素与背景图像中相同坐标位置的像素融合后的颜色值。同理,计算得到c12与背景图像中相同坐标位置的像素融合后的颜色值。从而得到目标图像和背景图像的融合结果。
采用本发明的上述实施例对目标图像和背景图像进行融合时,融合效果可以尽可能达到泊松编辑图像融合的效果,同时与泊松图像融合方法相比,提高了融合处理速度。泊松图像融合方法根据目标图像边界作为起始条件,对目标图像内的每一个像素点进行计算,内部融合像素点受边界条件的影响。本发明实施例本质上是通过分析目标图像边界与背景图像的像素差异,用这些边界结果来指导目标图像内部像素点的融合,使最终目标融合结果能与背景图像的光照一致。本发明实施例不需要去解方程,通过计算边界点与内部像素点的关系来指导像素点的融合,从而提高了融合处理速度。
基于相同的技术构思,本发明实施例还提供了一种图像处理装置。
参见图6A,为本发明实施例提供的图像处理装置的结构示意图,该装置可包括:获取单元61、边界确定单元62、权重确定单元63、差值确定单元64、融合处理单元65,其中:
获取单元61,用于获取目标图像、背景图像,以及所述目标图像在所述背景图像中的融合位置;
边界确定单元62,用于根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素的坐标;
权重确定单元63,用于根据所述目标图像边界像素的坐标与内部像素的坐标的空间距离,确定边界像素对内部像素的权重,所述权重用于反映图像融合处理时边界像素对内部像素的影响程度;
差值确定单元64,用于根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素与所述背景图像中对应像素的颜色差值;
融合处理单元65,用于根据所述目标图像边界像素与所述背景图像中对应像素的颜色差值,以及所述目标图像边界像素对内部像素的权重,对所述目标图像和所述背景图像进行融合处理。
具体的,边界确定单元62可针对所述目标图像中每个需要进行融合处理的内部像素,按照前述公式(1)分别计算该内部像素坐标与各边界像素坐标的空间距离;权重确定单元63可针对所述目标图像中每个需要进行融合处理的内部像素,按照前述公式(2)计算各边界像素对该内部像素的权重。
进一步的,权重确定单元63针对所述目标图像中每个需要进行融合处理的内部像素,在计算出各边界像素对该内部像素的权重后,按照前述公式(3)对计算出的权重进行归一化处理。相应的,融合处理单元65对所述目标图像和所述背景图像进行融合处理时所用的权重为归一化处理后的权重。
具体的,融合处理单元65按照前述公式(5)分别确定所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值,按照前述公式(6)确定所述目标图像内融合后的像素的颜色值与所述背景图像中对应像素的颜色值的差值,按照前述公式(7)进行图像融合处理。
参见图6B,在图6A的基础上还可以包括边界选取单元66。边界选取单元66在边界确定单元62根据所述目标图像在所述背景图像中的融合位置确定出所述目标图像边界像素的坐标之后,根据目标图像内部像素与各边界像素之间的空间距离,为所述内部像素从边界像素中选取边界像素作为边界采样点像素,所选取的边界采样点像素的总数量不超过预先设定的边界采样点总数量。相应的,权重确定单元63根据目标图像边界采样点像素的坐标与内部像素的坐标的空间距离,确定边界采样点像素对内部像素的权重;差值确定单元64确定所述目标图像边界采样点像素与所述背景图像中对应像素的颜色差值;融合处理单元65根据所述目标图像边界采样点像素与所述背景图像中对应像素的颜色差值,以及所述目标图像边界采样点像素对内部像素的权重,对所述目标图像和所述背景图像进行融合处理。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取目标图像、背景图像,以及所述目标图像在所述背景图像中的融合位置;
根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素的坐标;
根据所述目标图像边界像素的坐标与内部像素的坐标的空间距离,确定边界像素对内部像素的权重,所述权重用于反映图像融合处理时边界像素对内部像素的影响程度;
根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值;
对所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值以及对应的目标图像边界像素的权重的乘积进行累加,得到累加和;
根据所述累加以及目标图像像素融合前的颜色值进行融合处理,得到目标图像像素融合后的颜色值。
2.如权利要求1所述的方法,其特征在于,根据所述目标图像边界像素坐标与内部像素坐标的空间距离,确定边界像素对内部像素的权重,具体包括:
针对所述目标图像中每个需要进行融合处理的内部像素,按照以下公式分别计算该内部像素坐标与各边界像素坐标的空间距离,以及各边界像素对该内部像素的权重:
其中,c(x0,y0)是需要进行融合处理的内部像素的坐标,c(xi,yi)是第i个边界像素的坐标;dist(c(x0,y0),c(xi,yi))是坐标为c(x0,y0)的内部像素与第i个边界像素间的欧氏距离;w(i)是第i个边界像素对坐标为c(x0,y0)的内部像素的权重。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
针对所述目标图像中每个需要进行融合处理的内部像素,在计算出各边界像素对该内部像素的权重后,按照以下公式对计算出的权重进行归一化处理:
其中,b是所述目标图像边界像素的数量,w(i)'是归一化处理后的权重;
对所述目标图像和所述背景图像进行融合处理时所用的权重为归一化处理后的权重。
4.如权利要求1所述的方法,其特征在于,按照以下公式分别确定所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值:diff(i,n)=I(i,n)-B(i,n);其中,diff(i,n)是目标图像中第i个边界像素的颜色值I(i,n)与背景图像中对应像素的颜色值B(i,n)的差值,n标识颜色通道;
按照以下公式确定所述累加和:其中,cloneD(x,y;n)是所述目标图像内坐标为(x,y)的内部像素融合后的颜色值与所述背景图像中对应坐标的像素的颜色值的差值,w(i)是目标图像中第i个边界像素对该目标图像中坐标为(x,y)的内部像素的权重,b是所述目标图像中参与图像内部像素融合的边界像素的数量;
按照以下公式进行图像融合处理:I(x,y;n)'=cloneD(x,y;n)+I(x,y;n);其中,I(x,y;n)'是目标图像像素融合后的颜色值,I(x,y;n)是该目标图像像素融合前的颜色值。
5.如权利要求1-4任意一项所述的方法,其特征在于,在根据所述目标图像在所述背景图像中的融合位置确定出所述目标图像边界像素的坐标之后,还包括:根据目标图像内部像素与各边界像素之间的空间距离,为所述内部像素从边界像素中选取边界像素作为边界采样点像素,所选取的边界采样点像素的总数量不超过预先设定的边界采样点总数量;
所述根据目标图像边界像素的坐标与内部像素的坐标的空间距离,确定边界像素对内部像素的权重,具体为:根据目标图像边界采样点像素的坐标与内部像素的坐标的空间距离,确定边界采样点像素对内部像素的权重;
所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值,具体为:确定所述目标图像边界采样点像素与所述背景图像中对应像素的颜色差值;
对所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值以及对应的目标图像边界像素的权重的乘积进行累加,得到累加和,包括:对所述目标图像中各边界采样点像素与所述背景图像中对应像素的颜色差值以及对应的目标图像边界采样点像素的权重的乘积进行累加,得到累加和。
6.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取目标图像、背景图像,以及所述目标图像在所述背景图像中的融合位置;
边界确定单元,用于根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像边界像素的坐标;
权重确定单元,用于根据所述目标图像边界像素的坐标与内部像素的坐标的空间距离,确定边界像素对内部像素的权重,所述权重用于反映图像融合处理时边界像素对内部像素的影响程度;
差值确定单元,用于根据所述目标图像在所述背景图像中的融合位置,确定所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值;
融合处理单元,用于根据所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值以及对应的目标图像边界像素的权重相乘并进行累加,得到累加和,根据所述累加和以及目标图像像素融合前的颜色值进行融合处理,得到目标图像像素融合后的颜色值。
7.如权利要求6所述的图像处理装置,其特征在于,所述边界确定单元具体用于,针对所述目标图像中每个需要进行融合处理的内部像素,按照以下公式分别计算该内部像素坐标与各边界像素坐标的空间距离:
所述权重确定单元,具体用于针对所述目标图像中每个需要进行融合处理的内部像素,按照以下公式计算各边界像素对该内部像素的权重:
其中,c(x0,y0)是需要进行融合处理的内部像素的坐标,c(xi,yi)是第i个边界像素的坐标;dist(c(x0,y0),c(xi,yi))是坐标为c(x0,y0)的内部像素与第i个边界像素间的欧氏距离;w(i)是第i个边界像素对坐标为c(x0,y0)的内部像素的权重。
8.如权利要求7所述的图像处理装置,其特征在于,所述权重确定单元还用于,针对所述目标图像中每个需要进行融合处理的内部像素,在计算出各边界像素对该内部像素的权重后,按照以下公式对计算出的权重进行归一化处理:
其中,b是所述目标图像边界像素的数量,w(i)'是归一化处理后的权重;
所述融合处理单元对所述目标图像和所述背景图像进行融合处理时所用的权重为归一化处理后的权重。
9.如权利要求6所述的图像处理装置,其特征在于,所述融合处理单元具体用于,按照以下公式分别确定所述目标图像中各边界像素与所述背景图像中对应像素的颜色差值:diff(i,n)=I(i,n)-B(i,n);其中,diff(i,n)是目标图像中第i个边界像素的颜色值I(i,n)与背景图像中对应像素的颜色值B(i,n)的差值,n标识颜色通道;
按照以下公式确定所述累加和:其中,cloneD(x,y;n)是所述目标图像内坐标为(x,y)的内部像素融合后的颜色值与所述背景图像中对应坐标的像素的颜色值的差值,w(i)是目标图像中第i个边界像素对该目标图像中坐标为(x,y)的内部像素的权重,b是所述目标图像中参与图像内部像素融合的边界像素的数量;
按照以下公式进行图像融合处理:I(x,y;n)'=cloneD(x,y;n)+I(x,y;n);其中,I(x,y;n)'是目标图像像素融合后的颜色值,I(x,y;n)是该目标图像像素融合前的颜色值。
10.如权利要求6-9任意一项所述的图像处理装置,其特征在于,还包括边界选取单元;
所述边界选取单元,用于在所述边界确定单元根据所述目标图像在所述背景图像中的融合位置确定出所述目标图像边界像素的坐标之后,根据目标图像内部像素与各边界像素之间的空间距离,为所述内部像素从边界像素中选取边界像素作为边界采样点像素,所选取的边界采样点像素的总数量不超过预先设定的边界采样点总数量;
所述权重确定单元具体用于,根据目标图像边界采样点像素的坐标与内部像素的坐标的空间距离,确定边界采样点像素对内部像素的权重;
所述差值确定单元具体用于,确定所述目标图像边界采样点像素与所述背景图像中对应像素的颜色差值;
所述融合处理单元具体用于,根据所述目标图像中各边界采样点像素与所述背景图像中对应像素的颜色差值以及对应的目标图像边界采样点像素的权重相乘并进行累加,得到累加和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310197075.9A CN104182950B (zh) | 2013-05-22 | 2013-05-22 | 一种图像处理方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310197075.9A CN104182950B (zh) | 2013-05-22 | 2013-05-22 | 一种图像处理方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104182950A CN104182950A (zh) | 2014-12-03 |
CN104182950B true CN104182950B (zh) | 2017-05-10 |
Family
ID=51963969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310197075.9A Active CN104182950B (zh) | 2013-05-22 | 2013-05-22 | 一种图像处理方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104182950B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106558043B (zh) * | 2015-09-29 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种确定融合系数的方法和装置 |
CN105739092B (zh) * | 2016-04-01 | 2018-05-15 | 深圳中科天衢能源安全技术有限公司 | 一种双光路光学系统及其图像融合的方法 |
CN106846440B (zh) * | 2017-01-06 | 2020-09-01 | 厦门美图之家科技有限公司 | 一种图像智能选区方法、装置和计算设备 |
CN107644439A (zh) * | 2017-09-11 | 2018-01-30 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
WO2019047985A1 (zh) | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
CN117350926B (zh) * | 2023-12-04 | 2024-02-13 | 北京航空航天大学合肥创新研究院 | 一种基于目标权重的多模态数据增强方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551904A (zh) * | 2009-05-19 | 2009-10-07 | 清华大学 | 基于混合梯度场和混合边界条件的图像合成方法和装置 |
CN102903093A (zh) * | 2012-09-28 | 2013-01-30 | 中国航天科工集团第三研究院第八三五八研究所 | 一种基于链码掩模的泊松图像融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2405067B (en) * | 2003-08-01 | 2008-03-12 | Caladrius Ltd | Blending a digital image cut from a source image into a target image |
-
2013
- 2013-05-22 CN CN201310197075.9A patent/CN104182950B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551904A (zh) * | 2009-05-19 | 2009-10-07 | 清华大学 | 基于混合梯度场和混合边界条件的图像合成方法和装置 |
CN102903093A (zh) * | 2012-09-28 | 2013-01-30 | 中国航天科工集团第三研究院第八三五八研究所 | 一种基于链码掩模的泊松图像融合方法 |
Non-Patent Citations (2)
Title |
---|
Poisson Image Editing;Patrick Perez;《ACM SIGGRAPH 2003Papers》;20030731;第22卷(第3期);第313-318页 * |
一种保持颜色的图像合成算法;吴昊;《软件学报》;20121231;第23卷(第S2期);第94-104页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104182950A (zh) | 2014-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104182950B (zh) | 一种图像处理方法及其装置 | |
CN105354806B (zh) | 基于暗通道的快速去雾方法及系统 | |
CN110490928A (zh) | 一种基于深度神经网络的相机姿态估计方法 | |
CN101282492B (zh) | 三维影像显示深度调整方法 | |
CN101388977B (zh) | 图像处理设备和图像处理方法 | |
JP2020535547A (ja) | 深度推定方法及び装置、電子機器、プログラム並びに媒体 | |
CN104809719B (zh) | 基于单应性矩阵分割的虚拟视点合成的方法 | |
CN112543317B (zh) | 高分辨率单目2d视频到双目3d视频的转制方法 | |
CN108932725B (zh) | 基于卷积神经网络的场景流估计方法 | |
CN106991650A (zh) | 一种图像去模糊的方法和装置 | |
CN103440664B (zh) | 一种生成高分辨率深度图的方法、系统及计算设备 | |
CN102819837B (zh) | 基于反馈控制的深度图处理方法及装置 | |
CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
CN104378619B (zh) | 一种基于前后景梯度过渡的快速高效的空洞填补算法 | |
CN102572358A (zh) | 帧插值装置和帧插值方法 | |
CN106203429A (zh) | 基于双目立体视觉复杂背景下的遮挡目标检测方法 | |
CN104270624B (zh) | 一种分区域的3d视频映射方法 | |
CN105976337A (zh) | 一种基于中值引导滤波的图像去雾方法 | |
CN105046643A (zh) | 一种基于亮度自适应配准的图像拼接方法 | |
Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
CN105338220A (zh) | 一种自适应对运动的电子倍增ccd视频图像去噪的方法 | |
CN106231287A (zh) | 一种增强用户体验的裸眼3d图像设计方法 | |
Northam et al. | Stereoscopic 3D image stylization | |
CN103413337B (zh) | 一种基于人工交互的彩色雾效生成方法 | |
KR102091860B1 (ko) | 영상 부호화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |