CN105894470A

CN105894470A - 一种图像处理方法及装置

Info

Publication number: CN105894470A
Application number: CN201610195726.4A
Authority: CN
Inventors: 朱龙
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2016-08-24

Abstract

本发明实施例公开了一种图像处理方法及装置，涉及图像处理技术领域，该方法包括：确定目标图像的待处理区域，根据待处理区域周围像素点，对待处理区域进行插值处理，根据待处理区域，确定第一图像和该第一图像的掩膜，根据第一图像和第一图像的掩膜，对插值处理后的待处理区域进行图像融合处理。应用本发明实施例提供的技术方案进行图像处理，能够使得第一图像与目标图像中的内容平滑、自然过渡，进而提高了用户体验效果。

Description

一种图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理方法及装置。

背景技术

日常生活中，人们的周围充斥着各种各样的视频，如：电视台播放的视频、网络视频、自制视频等。

视频制作方考虑到自我宣传、经济利益等因素，在制作视频时可能会在视频图像中添加台标、字幕及广告等附加信息，然而对于一些运营商而言，其付费购买的仅仅为视频内容本身，没有对视频制作方添加的上述附加信息进行宣传的义务，从运营商的角度来讲，往往希望去除掉视频图像中的上述附加信息。

现有技术中，去除视频图像中上述附加信息的方法为：采用模糊处理或添加马赛克的方法来去除上述附加信息，而采用上述两种方式去除上述附加信息时，处理后的视频图像中处理痕迹比较明显，处理后的区域与其周围区域之间过度不够平滑、不够自然，用户体验效果不佳。

发明内容

本发明实施例的目的在于提供一种图像处理方法及装置，以对图像中的附件信息进行处理时，使得处理后的区域平滑、自然的过渡至其周围区域，提高用户体验效果。

为达到上述目的，本发明实施例公开了一种图像处理方法，所述方法包括步骤：

确定目标图像的待处理区域；

根据所述待处理区域周围像素点，对所述待处理区域进行插值处理；

根据所述待处理区域，确定第一图像和所述第一图像的掩膜；

根据第一图像和所述第一图像的掩膜，对插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述根据第一图像和所述第一图像的掩膜，对插值处理后的所述待处理区域进行图像融合处理，包括：

根据第一图像的掩膜确定所述第一图像中的掩盖区域，其中，所述掩盖区域为：所述第一图像中用于掩盖所述待处理区域中信息的区域；

计算所述掩盖区域的第一梯度场信息，并计算所述待处理区域的第一区域的第二梯度场信息，其中，所述第一区域为：插值处理后的所述待处理区域中与所述第一图像的非掩盖区域对应的区域；

根据所述第一梯度场信息和所述第二梯度场信息，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述根据所述第一梯度场信息和所述第二梯度场信息，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理，包括：

根据所述第一梯度场信息和所述第二梯度场信息计算所述掩盖区域中每一像素点的散度；

根据计算得到的散度，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述根据计算得到的散度，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理，包括：

根据计算得到的散度，采用基于泊松方程的图像融合算法，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述根据所述待处理区域，确定第一图像和所述第一图像的掩膜，包括：

根据所述目标图像从预设的图像库中获得第二图像和所述第二图像的掩膜；

根据所述待处理区域的大小对所述第二图像和所述第二图像的掩膜进行缩放处理，分别获得第一图像和所述第一图像的掩膜。

为达到上述目的，本发明实施例还公开了一种图像处理装置，所述装置包括：

区域确定模块，用于确定目标图像的待处理区域；

插值处理模块，用于根据所述待处理区域周围像素点，对所述待处理区域进行插值处理；

图像确定模块，用于根据所述待处理区域，确定第一图像和所述第一图像的掩膜；

图像融合模块，用于根据第一图像和所述第一图像的掩膜，对插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述图像融合模块，包括：

掩盖区域确定子模块，用于根据第一图像的掩膜确定所述第一图像中的掩盖区域，其中，所述掩盖区域为：所述第一图像中用于掩盖所述待处理区域中信息的区域；

信息计算子模块，用于计算所述掩盖区域的第一梯度场信息，并计算所述待处理区域的第一区域的第二梯度场信息，其中，所述第一区域为：插值处理后的所述待处理区域中与所述第一图像的非掩盖区域对应的区域；

图像融合子模块，用于根据所述第一梯度场信息和所述第二梯度场信息，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述图像融合子模块，包括：

散度计算单元，用于根据所述第一梯度场信息和所述第二梯度场信息计算所述掩盖区域中每一像素点的散度；

图像融合单元，用于根据计算得到的散度，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，所述图像融合单元，具体用于：

在本发明的一种具体实现方式中，其特征在于，所述图像确定模块，包括：

图像获得子模块，用于根据所述目标图像从预设的图像库中获得第二图像和所述第二图像的掩膜；

图像确定子模块，用于根据所述待处理区域的大小对所述第二图像和所述第二图像的掩膜进行缩放处理，分别获得第一图像和所述第一图像的掩膜。

由上可见，本发明实施例中，对目标图像中的待处理区域进行处理时，首先，根据该待处理区域周围像素点，对该待处理区域进行插值处理，然后，通过图像融合方式将第一图像融合进目标图像中，不仅可以去除原本待处理区域的内容，而且能够使得第一图像与目标图像中的内容平滑、自然过渡，进而提高了用户体验效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为一种第一图像的示意图；

图3为3*3的单通道图像区域的示意图；

图4为4*4的图像区域的示意图；

图5(a)未处理的目标图像的示意图；

图5(b)为对待处理区域进行插值处理后的图像的示意图；

图5(c)为图像融合后的图像的示意图；

图6为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过具体实施例，对本发明进行详细说明。

参考图1，图1为本发明实施例提供的一种图像处理方法的流程示意图，该方法包括如下步骤：

S101：确定目标图像的待处理区域；

上述目标图像可以是单一的静态图像，也可以是视频文件中的任一帧视频图像，本申请并不对此进行限定。

一种具体实现方式中，目标图像的待处理区域可以通过以下方式确定：一种是由人工选取待处理区域，这种方法确定的待处理区域需要人参与，确定结果更为准确；一种是通过图像区域识别算法来确定待处理区域，这种方法确定待处理区域时基本无需人参与，确定结果的精准度与上述图像区域识别算法有很大关系。

需要说明的是，上述待处理区域可以是图像中的图标区域、广告区域、天气预报区域、新闻文字区域、特定对象物(如，人、建筑物等等)等等，本申请并不对待处理区域的具体内容进行限定。

S102：根据待处理区域周围像素点，对待处理区域进行插值处理；

实际应用中，为了避免待处理区域中的内容影响后续图像处理的处理效果，导致图像融合不够平滑、不够自然，需要对待处理区域进行插值处理。

具体地，对待处理区域进行插值处理时，可以以像素行为单位，从一侧向另一侧(如从左侧到右侧)，按照预设的插值算法进行插值处理；还可以以像素列为单位，从一侧向另一侧(如从上侧到下侧)，按照预设的插值算法进行插值处理。上述预设的插值算法属于现有技术，此处不再赘述。

S103：根据待处理区域，确定第一图像和第一图像的掩膜；

具体地，在确定了待处理区域后，就可以根据该待处理区域，选择与该待处理区域相匹配的第一图像(可参考图2)，图2为一种第一图像的示意图。

另外，在第一图像确定后，该图像的掩膜一般是确定的。具体的，图像的掩膜可以理解为：用于覆盖的特定图像或物体称为掩模或模板，也就是说基于图像掩膜进行图像处理为：用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。

具体的，图2所示第一图像的掩膜可以为：“爱奇艺”所在区域，若上述掩膜以与第一图像大小相等的图像进行表示的话，可以是：以白色像素点表示“爱奇艺”所在区域内的像素点，而以黑色像素点表示其他区域内的像素点。

在本发明的一种具体实现方式中，上述根据待处理区域，确定第一图像和第一图像的掩膜，可以包括：

S01、根据目标图像从预设的图像库中获得第二图像和第二图像的掩膜；

这里，预设的图像库中存储了大量的图像，并且可以根据图像的内容和类型对其存储的图像进行分类存储，以便于图像处理终端快速获得需要的图像。

实际应用中，图像处理终端可以检测获得目标图像的内容，根据图像的内容从预设的图像库中获得第二图像和第二图像的掩膜。如，检测获得目标图像的内容为体育类的内容，则从图像库中获得体育类第二图像，如足球、篮球等，进而获得该第二图像的掩膜。这样，根据目标图像从预设的图像库中获得第二图像和第二图像的掩膜，能够有效地提高视频的趣味性。

S02、根据待处理区域的大小对第二图像和第二图像的掩膜进行缩放处理，分别获得第一图像和第一图像的掩膜。

具体地，在确定了待处理区域后，待处理区域的大小也是确定了，而获得的第二图像和第二图像的掩膜也是提前存储的，两者的大小并不一定是正好合适的，需要对第二图像和第二图像的掩膜进行缩放处理，以获得第一图像和第一图像的掩膜，该第一图像和该第一图像的掩膜与待处理区域的大小相符。

具体的，在对第二图像和第二图像的掩膜进行缩放处理时，可以直接根据待处理区域的宽度和高度、第二图像的宽度和高度，分别计算出针对宽度的缩放比例、针对高度的缩放比例，然后按照上述计算得到的缩放比例对第二图像进行缩放处理，这种情况下可以理解为缩放处理是支持任意比例的缩放处理的。

例如，待处理区域的宽度为4、高度为8，第二图像的宽度为3、高度为10，此时可以计算得到针对宽度的缩放比例为4/3，针对高度的缩放比例为4/5，然后根据4/3和4/5对第二图像进行进行缩放处理，获得第一图像，该第一图像的宽度为4、高度8。

另外，本领域内的技术人员可以理解的是，实现支持任意比例的缩放处理时对硬件的要求较高，所以，具体实现时可以仅仅支持特定的几种缩放比例，然后根据待处理区域的宽度和高度、第二图像的宽度和高度从这特定的几种缩放比例中选择最接近的针对宽度的缩放比例和针对高度的缩放比例，再进行缩放处理，这样既能够实现缩放处理，还能够大大降低对硬件的要求。

例如，假设上述特定缩放比例为1/2、2/3、3/4、1、4/3等等，若待处理区域的宽度为4、高度为8，第二图像的宽度为3、高度为10，此时可以计算得到针对宽度的缩放比例为4/3，针对高度的缩放比例为4/5，由于仅仅支持上述几种特定缩放比例，而上述特定缩放比例中包含4/3，所以，可以确定针对宽度的缩放比例为4/3，而上述特定缩放比例中不包含4/5，与其最接近的缩放比为3/4，所以，可以确定针对高度的的缩放比例为3/4，然后根据4/3和3/4对第二图像进行进行缩放处理，获得第一图像，该第一图像的宽度为4、高度为7.5，而图像是以像素点为单位计量宽度、高度的，所以上述第一图像的高度可以为7。

S104：根据第一图像和第一图像的掩膜，对插值处理后的待处理区域进行图像融合处理。

具体地，上述根据第一图像和第一图像的掩膜，对插值处理后的待处理区域进行图像融合处理，可以包括：

S11、根据第一图像的掩膜确定第一图像中的掩盖区域，其中，掩盖区域为：第一图像中用于掩盖待处理区域中信息的区域；

假设，第一图像如图2所示，其掩盖区域为“爱奇艺”所在区域。

值得一提的是，上述第一图像中“掩盖区域”以外的区域可以称之为“非掩盖区域”。

S12、计算掩盖区域的第一梯度场信息，并计算待处理区域的第一区域的第二梯度场信息，其中，第一区域为：插值处理后的待处理区域中与第一图像的非掩盖区域对应的区域；

实际应用中，若直接将掩盖区域作为目标图像的一部分，插入到目标图像中，掩盖区域和目标图像相连的边界处会存在较大的梯度值，进而使得边界处过度的不自然。而为了解决边界处会存在较大的梯度值的问题，本实施例中首先获得掩盖区域的第一梯度场信息和第一区域的第二梯度场信息。

具体地，梯度场中，某一像素点X(其坐标为(x，y))的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)。

其中，G_x(x，y)、G_y(x，y)、H(x，y)分别表示像素点X的水平方向梯度、垂直方向梯度和像素值。像素点X的梯度幅值为：

G (x, y) = \sqrt{G_{x} {(x, y)}^{2} + G_{y} {(x, y)}^{2}} .

S13、根据第一梯度场信息和第二梯度场信息，对掩盖区域和插值处理后的待处理区域进行图像融合处理。

具体地，获得第一梯度场信息和第二梯度场信息后，综合两个梯度场信息确定整个待处理区域的梯度场信息，根据整个待处理区域的梯度场信息，从掩盖区域与插值处理后的待处理区域的边界处开始向掩盖区域的内部进行图像融合处理。

在本发明的一种具体实现方式中，上述根据第一梯度场信息和第二梯度场信息，对掩盖区域和插值处理后的待处理区域进行图像融合处理，可以包括：

S131、根据第一梯度场信息和第二梯度场信息计算掩盖区域中每一像素点的散度；

假设，待处理区域为3*3的单通道图像区域，如图3所示，若每一像素点的像素值为V，V(1)表示像素点1的像素值，那么可以根据以下表达式计算像素点5的散度div(5)：

div(5)＝[V(2)+V(4)+V(6)+V(8)]-4*V(5)。 (1)

这相当于通过拉普拉斯卷积核进行卷积，求解散度。

但是这样直接计算散度，会导致掩盖区域与插值处理后的待处理区域的边界处过度不自然，因此，本实施例中先求解每个像素点的梯度，再根据计算得到的梯度信息计算每一像素点的散度，此时，上述公式(1)变形为：

div(5)＝[G(2)+G(4)+G(6)+G8)]-4*G(5)。 (2)

这种情况下，根据梯度求解散度，再通过该散度求解掩盖区域各个像素点的像素值，能够有效地减小掩盖区域与插值处理后的待处理区域的边界处的梯度值，促使掩盖区域与插值处理后的待处理区域的边界处过度自然。

S132、根据计算得到的散度，对掩盖区域和插值处理后的待处理区域进行图像融合处理。

具体地，上述根据计算得到的散度，对掩盖区域和插值处理后的待处理区域进行图像融合处理，可以包括：

根据计算得到的散度，采用基于泊松方程的图像融合算法，对掩盖区域和插值处理后的待处理区域进行图像融合处理。

采用基于泊松方程的图像融合算法进行图像融合时，根据梯度求解得到散度，然后根据泊松方程求解掩盖区域各个像素点的像素值，这一过程中首先需要对泊松方程进行重建，然后才能进行后续处理。

假设，待处理区域为4*4的图像区域，如图4所示，若每一像素点的像素值为V，V(1)表示像素点1的像素值，假设通过梯度计算得到了像素点6、7、10、22的散度值，那么可以列出下面4个求解散度的方程：

[V(2)+V(5)+V(7)+V(10)]-4*V(6)＝div(6) (3)

[V(3)+V(6)+V(8)+V(11)]-4*V(7)＝div(7) (4)

[V(6)+V(9)+V(11)+V(14)]-4*V(10)＝div(10) (5)

[V(7)+V(10)+V(12)+V(15)]-4*V(11)＝div(11)。 (6)

这个时候，只有4个方程，可是里面有16个像素点，也就是说有16个未知数。单单靠上面的4个方程，就想把所有像素点的像素值求解出来是不可能的，此时方程有无数多个解。因此需要添加约束方程，这个便是重建的泊松方程的约束条件了。假设添加边界约束条件，也就是说如果已经知道了最外围一圈的每个像素点的像素值u，这样就可以得到12个约束方程。即：

V(1)＝u(1) V(2)＝u(2) V(3)＝u(3)

V(4)＝u(4) V(5)＝u(5) V(8)＝u(8)

V(9)＝u(9) V(12)＝u(12) V(13)＝u(13)

V(14)＝u(14) V(15)＝u(15) V(16)＝u(16)。

上面有12个方程(边界约束条件)，外加给定的求解散度的4个方程，共有16个方程，有这16个方程就可以求解方程组，获得每个像素点的像素值了。这种通过散度和边界约束条件重建泊松方程的过程，实现了图像融合的主要过程。

实际应用中，不管图像多大，如果已经知道图像最外一圈的像素值(边界约束条件)，以及其它像素点的散度值，我们就能把这个方程组给列出来，重建泊松方程，实现图像融合。因此图像融合，说的再简单一点，就是重建泊松方程，然后通过求解重建的泊松方程得到每个像素点的值。

图像融合的过程可参考图5(a)、(b)、(c)，图5(a)为未处理的目标图像的示意图，该图中，“搜狐视频”所在区域为待处理区域；图5(b)为对待处理区域进行插值处理后的图像的示意图，从图中可以看出，在待处理区域区域中，图像处理痕迹较为明显；图5(c)为图像融合后的图像的示意图，该图中，待处理区域与包含“爱奇艺”的图像(第一图像)进行了图像融合处理，此时，包含“爱奇艺”的图像与待处理区域间的边界十分自然、平滑。

应用上述各个实施例，对目标图像中的待处理区域进行处理时，首先，根据该待处理区域周围像素点，对该待处理区域进行插值处理，然后，通过图像融合方式将第一图像融合进目标图像中，不仅可以去除原本待处理区域的内容，而且能够使得第一图像与目标图像中的内容平滑、自然过渡，进而提高了用户体验效果。

参考图6，图6为本发明实施例提供的一种图像处理装置的结构示意图，该装置包括：

区域确定模块601，用于确定目标图像的待处理区域；

插值处理模块602，用于根据待处理区域周围像素点，对待处理区域进行插值处理；

图像确定模块603，用于根据待处理区域，确定第一图像和第一图像的掩膜；

图像融合模块604，用于根据第一图像和第一图像的掩膜，对插值处理后的待处理区域进行图像融合处理。

在本发明的一种具体实现方式中，图像融合模块604，可以包括：

掩盖区域确定子模块，用于根据第一图像的掩膜确定第一图像中的掩盖区域，其中，掩盖区域为：第一图像中用于掩盖待处理区域中信息的区域；

信息计算子模块，用于计算掩盖区域的第一梯度场信息，并计算待处理区域的第一区域的第二梯度场信息，其中，第一区域为：插值处理后的待处理区域中与第一图像的非掩盖区域对应的区域；

图像融合子模块，用于根据第一梯度场信息和第二梯度场信息，对掩盖区域和插值处理后的待处理区域进行图像融合处理(图6中未示出)。

在本发明的一种具体实现方式中，图像融合子模块，可以包括：

散度计算单元，用于根据第一梯度场信息和第二梯度场信息计算掩盖区域中每一像素点的散度；

图像融合单元，用于根据计算得到的散度，对掩盖区域和插值处理后的待处理区域进行图像融合处理(图6中未示出)。

在本发明的一种具体实现方式中，图像融合单元，具体用于：

根据计算得到的散度，采用基于泊松方程的图像融合算法，对掩盖区域和插值处理后的待处理区域进行图像融合处理(图6中未示出)。

在本发明的一种具体实现方式中，图像确定模块603，可以包括：

图像获得子模块，用于根据目标图像从预设的图像库中获得第二图像和第二图像的掩膜；

图像确定子模块，用于根据待处理区域的大小对第二图像和第二图像的掩膜进行缩放处理，分别获得第一图像和第一图像的掩膜(图6中未示出)。

应用图6所示实施例，对目标图像中的待处理区域进行处理时，首先，根据该待处理区域周围像素点，对该待处理区域进行插值处理，然后，通过图像融合方式将第一图像融合进目标图像中，不仅可以去除原本待处理区域的内容，而且能够使得第一图像与目标图像中的内容平滑、自然过渡，进而提高了用户体验效果。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种图像处理方法，其特征在于，所述方法包括步骤：

确定目标图像的待处理区域；

2.根据权利要求1所述的方法，其特征在于，所述根据第一图像和所述第一图像的掩膜，对插值处理后的所述待处理区域进行图像融合处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一梯度场信息和所述第二梯度场信息，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据计算得到的散度，对所述掩盖区域和插值处理后的所述待处理区域进行图像融合处理，包括：

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述待处理区域，确定第一图像和所述第一图像的掩膜，包括：

6.一种图像处理装置，其特征在于，所述装置包括：

区域确定模块，用于确定目标图像的待处理区域；

7.根据权利要求6所述的装置，其特征在于，所述图像融合模块，包括：

8.根据权利要求7所述的装置，其特征在于，所述图像融合子模块，包括：

9.根据权利要求8所述的装置，其特征在于，所述图像融合单元，具体用于：

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述图像确定模块，包括：