CN104835161B - 一种全局图像编辑传播方法与系统 - Google Patents

Abstract

本发明公开了一种全局图像编辑传播方法与系统，本传播方法包括步骤：S1、获取原始图像及用户编辑组成的笔触图像，原始图像被笔触图像覆盖的区域为标定编辑区域，原始图像未被笔触图像覆盖的区域为未标定编辑区域；S2、对于未标定编辑区域中像素点i，获取像素点i对应的像素块A_i，在标定编辑区域中获取与像素块A_i相似度最高的像素块B_i'作为像素块A_i的最优匹配像素块；S3、将最优匹配像素块B_i'对应的目标像素点i'处覆盖的用户编辑传播到像素块A_i对应的目标像素点i处。本方法基于图像全局随机像素块匹配信息建立传播方案，快速、准确、有效地将已有编辑方案传播到全局图像中。

Description

一种全局图像编辑传播方法与系统

技术领域

本发明涉及数字图像处理领域，特别是涉及一种全局图像编辑传播方法与系统。

背景技术

随着数字计算摄像学的成熟，研究人员深入挖掘数字图像和视频的高级别编辑技术以满足日益增长的需求。基于传播的图像编辑领域框架中，用户指定不同类别的稀疏编辑区域，这些区域通过特定的传播方法自动传播到特征空间中相邻的区域。根据传播后的结果，可以修改图像的颜色、结构、色度等相关信息。

传统的图像编辑传播方法包括人工选取法和基于优化的传播法。在图像处理过程中，用户指定感兴趣区域(ROI)并生成蒙版，对不同蒙版进行操作。这种方法不仅需要对图像边缘处进行细致繁琐的处理，而且在对蒙版进行操作时边界相邻区域过渡不够自然。而基于优化的方法主要包含局部优化法和全局优化法。局部优化的方法需要用户在所有的区域指定编辑区，以传播到不相邻的区域中去，需要密集的用户输入。全局传播的方法中，用户可以仅仅指定少量的编辑区来传播到整个特征空间。但在全局优化过程中，对于到若干种指定编辑特征空间距离类似的位置，会出现混合模糊问题。并且，这两种传统方法的外观特征空间仅仅由单一的像素外观值特征作为传播判据，信息量少；优化需要一定的运算时间，不能实时得到需要的结果。

发明内容

本发明目的在于提出一种全局图像编辑传播方法与系统，以解决上述现有技术存在的传播效果差以及实时性低的技术问题。

为此，本发明提出一种全局图像编辑传播方法，包括以下步骤：

S1、获取原始图像及用户编辑组成的笔触图像，所述原始图像被所述笔触图像覆盖的区域为标定编辑区域，所述原始图像未被所述笔触图像覆盖的区域为未标定编辑区域；

S2、获取所述未标定编辑区域中像素点i对应的像素块A_i，在所述标定编辑区域中获取与所述像素块A_i相似度最高的像素块B_i'作为所述像素块A_i的最优匹配像素块；其中，像素块A_i是由所述未标定编辑区域中像素点i及其周围一定数量的其他像素点组成的图像区域，所述像素点i为所述像素块A_i的目标像素点，像素块B_i'是由所述标定编辑区域中像素点i'及其周围一定数量的其他像素点组成的图像区域，所述像素点i'为所述像素块B_i'的目标像素点，所述像素块A_i与所述像素块B_i'包含的像素点数量相同；

S3、将所述最优匹配像素块B_i'对应的目标像素点i'处覆盖的用户编辑传播到像素块Ai对应的目标像素点i处。

优选地，步骤S2包括以下步骤：

S21、初始化：获取所述未标定编辑区域中像素点i对应的像素块A_i，在所述标定编辑区域中随机选取像素点i'对应的像素块B_i'作为所述像素块A_i的初始匹配像素块

S22、全局区域搜索：在所述标定编辑区域中若干个不同大小的矩形窗内搜索所述像素块A_i的最优匹配像素块B_i'，包括步骤：

S221、设定N个不同值，N为正整数；

S222、第k轮搜索：在以第k-1轮匹配像素块为中心、所述N个不同值分别为半径的矩形窗内各随机选取一个像素块并从N个像素块中选取与所述像素块Ai相似度最大的像素块k为正整数，n,n_max为不大于N的正整数，当k＝1时，以所述初始匹配像素块作为第k-1轮匹配像素块

S223、判断像素块A_i与像素块的相似度是否大于像素块A_i与第k-1轮匹配像素块的相似度，若是，将像素块作为第k轮匹配像素块若否，将第k-1轮匹配像素块作为第k轮匹配像素块

S224、判断第k轮匹配像素块与第k-1轮匹配像素块的位置偏移是否在预设范围内，若是，认为第k轮匹配像素块是所述像素块A_i的最优匹配像素块B_i'，结束迭代操作，执行步骤S3，若否，重复步骤S222～S223。

优选地，在步骤S21和步骤S22之间还包括局部区域优化步骤，所述局部区域优化包括：

检测所述初始匹配像素块的邻近像素块中是否有与像素块A_i相似度更高的像素块，若有，则将所述与像素块A_i相似度更高的像素块作为更新后的初始匹配像素块其中，所述初始匹配像素块的邻近像素块是指与所述初始匹配像素块有相交像素点的其他像素块，所述邻近像素块对应的目标像素点均属于所述标定编辑区域；

相应地，在步骤S222中，当k＝1时，以所述更新后的初始匹配像素块作为第k-1轮匹配像素块

优选地，所述初始匹配像素块的邻近像素块为所述初始匹配像素块分别沿上、下、左、右方向依次平移1～M个坐标得到的像素块集合，所述初始匹配像素块平移M个坐标后仍与所述初始匹配像素块有相交像素点。

优选地，所述像素块A_i为分别以目标像素点i(x_i,y_i)和像素点(x_i+d,y_i+d)为对角线上两个端点的矩形图像区域，所述像素块B_p为分别以目标像素点i'(x_i',y_i')和像素点(x_i'+d,y_i'+d)为对角线上两个端点的矩形图像区域，其中，d为正整数。

优选地，步骤S224中，所述判断第k轮匹配像素块与第k-1轮匹配像素块的位置偏移是否在预设范围内还包括：

根据像素块A_i与第k-1轮匹配像素块的位置偏移向量v_k-1，以及第k轮匹配像素块与第k-1轮匹配像素块的位置偏移向量Δv_k,k-1，获取像素块A_i与第k轮匹配像素块的位置偏移向量v_k；

若第k轮匹配像素块与第k-1轮匹配像素块的位置偏移向量Δv_k,k-1在预设范围内时，认为第k轮匹配像素块是像素块A_i的最优匹配像素块B_i'。

优选地，像素块A_i与像素块B_i'的相似度S_i-i'根据两像素块之间各个对应像素点RGB值特征向量差的二范数F_i-i'来衡量，所述二范数F_i-i'越小，所述相似度S_i-i'越高，二范数F_i-i'的计算公式如下：

其中，f_s是像素块A_i中像素点s的RGB值特征向量，f_s'是像素块B_i'中像素点s’的RGB值特征向量，像素点s’在像素块B_i'中的位置与像素点s在像素块A_i中的相对位置相同。

优选地，对所述未标定编辑区域中每个像素点执行所述步骤S2～S3，得到所述原始图像的粗略传播结果，在得到所述粗略传播结果后还包括：

步骤S4：对所述粗略传播结果进行平滑优化处理，得到最终传播结果。

优选地，采用零范数最小化梯度法进行所述平滑优化处理，所述最终传播结果F的二维非零梯度数量和为：

公式一：

其中，为横坐标方向梯度，为纵坐标方向梯度，为像素点p的横坐标方向梯度，为像素点p的纵坐标方向梯度，#为统计所有像素点非零梯度的和，l为非零梯度数；

对所述最终传播结果F进行优化得到目标函数：

公式二：

其中，λ为平滑约束参数，表示非零梯度数，F_p表示最终传播结果在像素点p处的值，M_p表示输入传播蒙版在像素点p处的值；

公式二转换为：

公式三：

其中，h表示迭代中间过程图像x方向的梯度估计值，v表示迭代中间过程y方向的梯度估计值，c(h,v)表示上述两种梯度非零值和，β表示收敛速度系数，h_p表示估计最终结果x方向的梯度图，v_p表示估计最终结果y方向的梯度图；

根据公式三求出所述最终传播结果F。

本发明还提出一种全局图像编辑传播系统，包括图像获取模块、像素块匹配模块和用户编辑传播模块；其中，

所述图像获取模块，用于获取原始图像及用户编辑组成的笔触图像，所述原始图像被所述笔触图像覆盖的区域为标定编辑区域，所述原始图像未被所述笔触图像覆盖的区域为未标定编辑区域；

所述像素块匹配模块，用于对所述未标定编辑区域中像素点i，获取所述像素点i对应的像素块A_i，在所述标定编辑区域中获取与所述像素块A_i相似度最高的像素块B_i'作为所述像素块A_i的最优匹配像素块；其中，像素块A_i是由所述未标定编辑区域中像素点i及其周围一定数量的其他像素点组成的图像区域，所述像素点i为所述像素块A_i的目标像素点，像素块B_i'是由所述标定编辑区域中像素点i'及其周围一定数量的其他像素点组成的图像区域，所述像素点i'为所述像素块B_i'的目标像素点，所述像素块A_i与所述像素块B_i'包含的像素点数量相同；

所述用户编辑传播模块，用于依次将所述最优匹配像素块B_i'对应的目标像素点i’处覆盖的用户编辑传播到像素块A_i对应的目标像素点i处，得到所述原始图像I的粗略传播结果。

本发明提出的基于随机通信块匹配的全局图像编辑传播方法利用现有图像和指定编辑区域的信息，更加快速、准确、有效地将已有的编辑方案传播到全局图像中。在优选实施例中，传播之后还使用零范数最小化梯度法优化的方式将编辑区域平滑，过滤高频噪声，优化结果。利用优化结果可以进行后续的图像编辑操作，包括重新着色、调节图像局部色调、改变物体材料结构等功能。

附图说明

图1是本发明具体实施方式一的实时全局图像编辑传播流程图；

图2(a)是本发明具体实施方式一的像素块A_i(d＝3)的构成示意图；

图2(b)是本发明具体实施方式一的像素块B_i'(d＝3)的构成示意图；

图3是本发明具体实施方式三的初始匹配像素块的邻近像素块(M＝1)构成示意图；

图4是本发明具体实施方式四图的实时全局图像编辑传播系统框图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例一：

本发明提出一种全局图像编辑传播方法，参见图1是本发明具体实施方式一的实时全局图像编辑传播流程图，包括以下步骤：

S1、读入原始图像及用户编辑。

获取用户期望编辑的原始图像I以及在原始图像I中不同颜色标记(即笔触)组成的笔触图像G，原始图像I被笔触图像G覆盖的区域用标定编辑区域I_p∈G表示，原始图像I未被笔触图像G覆盖的区域用未标定编辑区域表示；其中，p为原始图像I上的像素点。

S2、计算像素块匹配信息。

对于未标定编辑区域中像素点i，获取像素点i对应的像素块A_i，在标定编辑区域I_p∈G中获取与像素块A_i相似度最高的像素块B_i'作为像素块A_i的最优匹配像素块。其中，像素块A_i为由未标定编辑区域中的像素点i(x_i,y_i)及其周围一定数量的其他像素点组成的图像区域，像素点i为像素块A_i的目标像素点，类似的，像素块B_i'为由标定编辑区域I_p∈G中的像素点i'(x_i',y_i')及其周围一定数量的其他像素点组成的图像区域，像素点i'为像素块B_i'的目标像素点，并且像素块A_i与像素块B_i'包含的像素点数量相同。优选地，当将原始图像I的坐标原点建立在图像左上角时，像素块A_i为以目标像素点i(x_i,y_i)为左上角、像素点i_+d(x_i+d,y_i+d)为右下角的矩形图像区域，像素块B_i'为以目标像素点i'(x_i',y_i')为左上角、像素点i'_+d(x_i'+d,y_i'+d)为右下角的矩形图像区域，d值为正整数，可根据计算需求合理选取，参见图2(a)是本发明具体实施方式一的像素块A_i(d＝3)的构成示意图，图2(b)是本发明具体实施方式一的像素块B_i'(d＝3)的构成示意图。容易理解的是，原始图像I的坐标原点还可建立在图像的右上角像素点、右下角像素点或任意一个像素点处，像素块A_i和像素块B_i'对应的图像区域作相应调整即可，在此不再赘述。

S3、严约束编辑区域传播，得到粗略传播结果。

在上述步骤S2中，获取到与未标定编辑区域中像素块A_i匹配的标定编辑区域中最优匹配像素块B_i'，将最优匹配像素块B_i'对应的目标像素点i’处覆盖的编辑类别(例如颜色)传播到像素块A_i中的目标像素点i处，对于最优匹配像素块B_i'处仍保留用户指定的编辑类别。这样就获取到了未标定编辑区域中像素点i处的用户编辑。

对未标定编辑区域中每个像素点执行上述步骤S2～S3后，得到原始图像I的传播蒙版M，即粗略传播结果。

传统的图像传播方法大多是基于局域优化或者全局优化的方法，仅仅考虑单个像素点的外观特征，需要繁杂的人工输入和一定的运算时间，无法在实际处理中使用，而且为保持复杂的图像模式，必须依据这些模式复杂离散的构建用户编辑输入，相应的优化结果也具有一定的计算复杂度。本实施例提出的全局图像编辑传播方法根据现有图像和指定编辑区域的信息来将已有的编辑信息传播到整幅图像其相邻特征空间中，在像素点上传播用户编辑时充分利用了像素块外观邻域特征而不仅仅是单个像素点特征，减小了人工输入的复杂度以及运算的复杂度。

实施例二：

在本发明的一个具体实施例中，前述实施例一中步骤S2通过利用随机通信块匹配在限定的标记编辑区域I_p∈G内获取像素块A_i最相近的匹配像素块由于本实施例中的步骤S1和步骤S3与上述实施例中的处理过程一样，此处不再赘述，步骤S2具体包括：

S21、初始化：获取未标定编辑区域中像素点i(x_i,y_i)对应的像素块A_i，随机选取标定编辑区域I_p∈G中像素点i'(x_i',y_i')对应的像素块B_i'作为像素块A_i的初始匹配像素块

S22、全局区域搜索：在标定编辑区域I_p∈G且多个不同限定半径内搜索像素块A_i的最优匹配像素块B_i'，包括以下步骤：

S221、选取N个不同的搜索半径w₁,…,w_N，这N个搜索半径w₁,…,w_N依次减小。优选地，搜索半径从最大搜索半径w₁开始以指数形式递减，即w_n＝w₁α^n-1，其中，N为正整数，n为不大于N的正整数，α是搜索半径的固定衰减比率。

S222、第k轮搜索：在以第k-1轮选出的匹配像素块为中心，分别以w₁,…,w_N中的每个w_n值为半径的N个矩形窗内，各随机选取一个标定编辑区域I_p∈G中的像素点依次计算像素点i’_(k,n)对应的像素块与像素块A_i之间的相似度并从中选取出相似度最大的像素块该

相似度最大的像素块对应的目标像素点为对应的相似度为其中，k为正整数，n_max为不大于N的正整数；第一次执行本步骤(即k＝1)时，以步骤S21中获得的初始匹配像素块作为第k-1轮选出的匹配像素块

像素块A_i与像素块B_i'的相似度S_i-i'可以根据两像素块之间各个对应像素点RGB值特征向量差的二范数F_i-i'来衡量，F_i-i'值越小，像素块A_i与像素块B_i的相似度S_i-i'越高。二范数F_i-i'的计算公式为：

其中，f_s是像素块A_i中像素点s的RGB值特征向量，f_s'是像素块B_i'中像素点s’的RGB值特征向量，像素点s’在像素块B_i'中的位置与像素点s在像素块A_i中的相对位置相同。

S223、判断像素块A_i与像素块的相似度是否大于像素块A_i与第k-1轮选出的匹配像素块的相似度若是，即将像素块替换第k-1轮选出的匹配像素块作为本轮选出的匹配像素块若否，则不进行替换，将第k-1轮选出的匹配像素块作为本轮选出的匹配像素块

S224、判断第k轮选出的匹配像素块与第k-1轮选出的匹配像素块之间的位置偏移是否在预设范围内，若是，认为第k轮选出的匹配像素块是像素块A_i的最优匹配像素块B_i'，结束迭代操作，执行步骤S3，若否，重复步骤S222～S223。

采用本具体实施例的像素块进行匹配处理时，通过合理选择搜索半径(例如选取w₁为图像大小尺寸、w_N为1像素、α为0.5)，以及在不同的搜索半径内随机生成像素块，很好地避免了搜索结果陷入局部最优中，同时兼顾搜索的全局性和搜索的灵敏性。在实际测试中，发现进行四至五次迭代操作就可以达到良好的传播效果。另外，由于像素块与邻近像素块间包含相同像素点，因此相似度结果可以在一定程度上复用，进一步优化了运算时间，从而可以实时得到传播结果，并且处于图像边缘位置的像素点也能得到良好处理。

实施例三：

在本发明的一个具体实施例中，前述实施例二中步骤S21和步骤S22之间还包括步骤“局部区域优化”，用于对步骤S21中随机获取到的初始匹配像素块进行局部区域优化以得到更为相似的初始匹配像素块由于本实施例中的步骤S1和步骤S3与上述实施例中的处理过程一样，此处不再赘述，步骤S2具体包括：

S21、初始化：获取未标定编辑区域中像素点i(x_i,y_i)对应的像素块A_i，随机选取标定编辑区域I_p∈G中像素点i'(x_i',y_i')对应的像素块B_i'作为像素块A_i的初始匹配像素块

S22、局部区域优化：检测初始匹配像素块的邻近像素块中是否有与像素块A_i相似度更高的像素块，若有，则将该像素块作为更新后的初始匹配像素块其中，初始匹配像素块的邻近像素块是指与初始匹配像素块有相交像素点的其他像素块，并且这些其他像素块对应的目标像素点也属于标定编辑区域I_p∈G。

在本实施例中，初始匹配像素块的邻近像素块为初始匹配像素块分别沿上、下、左、右方向依次平移1～M个坐标所得的像素块集合，这些平移后的像素块仍与初始匹配像素块有相交像素点。参见图3是本发明具体实施方式三的初始匹配像素块的邻近像素块(M＝1)构成示意图，可看出，当M＝1时，初始匹配像素块有4个邻近像素块以及这4个邻近像素块分别以像素点像素点i’_{0_2}(x_i',y_i'-1)、像素点i’_{0_3}(x_i'-1,y_i')和像素点i’_{0_4}(x_i'+1,y_i')为其对应的目标像素点。

通过对初始匹配像素块进行局部优化，使得更新后的初始匹配像素块与像素块A_i更为相似，从而确保了后续全局区域搜索步骤中的搜索起点更为真实可靠，提高了后续迭代搜索的精度和效率。另外，在一个具体实施方式中采用的邻近像素块是通过初始匹配像素块沿各个方向平移生成，使得相似度值在后续计算中仍可以相互复用，节省了计算时间，进一步提高了搜索效率。

S23、全局区域搜索：在标定编辑区域I_p∈G且多个不同限定半径内搜索像素块A_i的最优匹配像素块B_i'，包括以下步骤：

S221、选取N个不同的搜索半径w₁,…,w_N，这N个搜索半径w₁,…,w_N依序减小。优选地，搜索半径从最大搜索半径w₁开始以指数形式递减，即w_n＝w₁α^n-1，其中，N为正整数，n为不大于N的正整数，α是搜索半径的固定衰减比率。

S222、第k轮搜索：在以第k-1轮选出的匹配像素块为中心，分别以w₁,…,w_N中的每个w_n值为半径的N个矩形窗内，各随机选取一个标定编辑区域I_p∈G中的像素点i’_(k,n)，依次计算像素点i’_(k,n)对应的像素块与像素块A_i之间的相似度并从中选取出相似度最大的像素块该相似度最大的像素块对应的目标像素点为i’_(k,nmax)，对应的相似度为其中，k为正整数，n_max为不大于N的正整数；第一次执行本步骤(即k＝1)时，以步骤S21中获得的初始匹配像素块作为第k-1轮选出的匹配像素块

S223、判断像素块A_i与像素块的相似度是否大于像素块A_i与第k-1轮选出的匹配像素块的相似度若是，即将像素块替换第k-1轮选出的匹配像素块作为本轮选出的匹配像素块若否，则不进行替换，将第k-1轮选出的匹配像素块作为本轮选出的匹配像素块

S224、判断第k轮选出的匹配像素块与第k-1轮选出的匹配像素块之间的位置偏移是否在预设范围内，若是，认为第k轮选出的匹配像素块是像素块A_i的最优匹配像素块B_i'，结束迭代操作，执行步骤S3，若否，重复步骤S222～S223。

其中，判断第k轮匹配像素块与第k-1轮匹配像素块之间的位置偏移是否在预设范围内，还包括步骤：

获取像素块A_i与第k轮选出的匹配像素块之间的位置偏移向量v_k，位置偏移向量v_k的计算公式如下：

v_k＝v_k-1+Δv_k,k-1；

其中，v_k-1为像素块A_i与第k-1轮选出的匹配像素块之间的位置偏移向量，Δv_k,k-1为第k轮选出的匹配像素块与第k-1轮选出的匹配像素块之间的位置偏移向量，若第k轮选出的匹配像素块是第k-1轮选出的匹配像素块则直接有v_k＝v_k-1。

若第k轮选出的匹配像素块与第k-1轮选出的匹配像素块的位置偏移向量Δv_k,k-1在预设范围内时，认为第k轮选出的匹配像素块是像素块A_i的最优匹配像素块B_i'。通过这种在每轮迭代操作完成时更新本轮匹配像素块相对于像素块A_i的位置偏移量来记录本轮匹配像素块的实际位置，减少了数据存储量，提高了运算速度。

进一步地，第k轮搜索时，搜半径为w_n的第n个矩形窗中的随机像素点i’_(k,n)是通过生成[-1,1]*[-1,1]之间的均匀随机数R(k,n)后再扩大w_n倍得到，因此，上述位置偏移向量v_k的计算公式可表示如下：

其中，n_max是第k轮选出的匹配像素块对应的矩形窗序号，是第k轮选出的匹配像素块对应的搜索半径。

特别地，当搜索半径w₁,…,w_N为从最大搜索半径w₁开始以指数形式递减时，即w_n＝w₁α^n-1，上述位置偏移向量v_k的计算公式还可表示如下：

实施例四：

在本发明的一个具体实施例中，对于前述任一实施例中得到的粗略传播结果，其部分位置不够连续造成结果不够平滑。参见图4是本发明具体实施方式四图的实时全局图像编辑传播系统框图，本实施例提出的全局图像编辑传播方法还包括步骤：

S4、对粗略传播结果进行平滑优化处理，得到最终传播结果。

优选地，采用零范数最小化梯度法来平滑粗略传播结果得到最终传播结果F，F二维非零梯度数量和为：

公式一：

其中，为横坐标方向梯度，为纵坐标方向梯度，为像素点p的横坐标方向梯度，为像素点p的纵坐标方向梯度，#为统计所有像素点非零梯度的和，l为非零梯度数。

一方面，令处理后的最终传播结果F尽可能与输入的传播蒙版M相似，另一方面，令结果非零梯度数k尽可能小，对F进行优化得到目标函数：

公式二：

其中，λ表示平滑约束参数，λ取值增大时，对非零梯度数的约束增大，最终图像更加平滑，F_p表示最终传播结果在像素点p处的值，M_p表示输入传播蒙版在像素点p处的值。

求全局最优解是NP hard(NP难)的，上述公式二转换为：

公式三：

其中，h表示迭代中间过程图像x方向的梯度估计值，v表示迭代中间过程y方向的梯度估计值，c(h,v)表示上述两种梯度非零值和，β表示收敛速度系数，h_p表示估计最终结果x方向的梯度图，v_p表示估计最终结果y方向的梯度图，根据该优化表达式迭代求出最终传播结果F。

通过对粗略传播结果进行零范数梯度优化平滑可以较好的保留处理后的低频特征，去除高频噪声信息，可以实时得到较好的最终传播结果。

实施例五：

本实施例还提出一种全局图像编辑传播系统，包括图像获取模块、像素块匹配模块和用户编辑传播模块，其中：

(1)图像获取模块，用于获取用户期望编辑的原始图像I以及在原始图像I中不同颜色标记(即笔触)组成的笔触图像G，笔触图像G只粗略覆盖了原始图像I的部分编辑区域，原始图像I被笔触图像G覆盖的区域用标定编辑区域I_p∈G表示，原始图像I未被笔触图像G覆盖的区域用未标定编辑区域表示，其中，p为原始图像I上的像素点。

(2)像素块匹配模块，用于对未标定编辑区域中像素点i，获取像素点i对应的像素块A_i，在标定编辑区域I_p∈G中获取与像素块A_i相似度最高的像素块B_i'作为像素块A_i的最优匹配像素块；其中，像素块A_i是由未标定编辑区域中像素点i及其周围一定数量的其他像素点组成的图像区域，像素点i为像素块A_i的目标像素点，像素块B_i'是由标定编辑区域中像素点i'及其周围一定数量的其他像素点组成的图像区域，像素点i'为像素块B_i'的目标像素点，像素块A_i与像素块B_i'包含的像素点数量相同。

(3)用户编辑传播模块，用于将最优匹配像素块B_i'对应的目标像素点i’处覆盖的用户编辑传播到像素块A_i对应的目标像素点i处。

本实施例提出的系统结构简单、容易操作，可以在普通PC机或工作站等硬件上实现。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (6)

1.一种全局图像编辑传播方法，其特征在于，包括以下步骤：

S1、获取原始图像及用户编辑组成的笔触图像，所述原始图像被所述笔触图像覆盖的区域为标定编辑区域，所述原始图像未被所述笔触图像覆盖的区域为未标定编辑区域；

S2、获取所述未标定编辑区域中像素点i对应的像素块A_i，在所述标定编辑区域中获取与所述像素块A_i相似度最高的像素块B_i'作为所述像素块A_i的最优匹配像素块；其中，像素块A_i是由所述未标定编辑区域中像素点i及其周围一定数量的其他像素点组成的图像区域，所述像素点i为所述像素块A_i的目标像素点，像素块B_i'是由所述标定编辑区域中像素点i'及其周围一定数量的其他像素点组成的图像区域，所述像素点i'为所述像素块B_i'的目标像素点，所述像素块A_i与所述像素块B_i'包含的像素点数量相同；

S3、将所述最优匹配像素块B_i'对应的目标像素点i'处覆盖的用户编辑传播到像素块A_i对应的目标像素点i处；

步骤S2包括以下步骤：

S21、初始化：获取所述未标定编辑区域中像素点i对应的像素块A_i，在所述标定编辑区域中随机选取像素点i'对应的像素块B_i'作为所述像素块A_i的初始匹配像素块

S22、全局区域搜索：在所述标定编辑区域中若干个不同大小的矩形窗内搜索所述像素块A_i的最优匹配像素块B_i'，包括步骤：

S221、设定N个不同值，N为正整数；

S222、第k轮搜索：在以第k-1轮匹配像素块为中心、所述N个不同值分别为半径的矩形窗内各随机选取一个像素块并从N个像素块中选取与所述像素块A_i相似度最大的像素块k为正整数，n,n_max为不大于N的正整数，当k＝1时，以所述初始匹配像素块作为第k-1轮匹配像素块

S223、判断像素块A_i与像素块的相似度是否大于像素块A_i与第k-1轮匹配像素块的相似度，若是，将像素块作为第k轮匹配像素块若否，将第k-1轮匹配像素块作为第k轮匹配像素块

S224、判断第k轮匹配像素块与第k-1轮匹配像素块的位置偏移是否在预设范围内，若是，认为第k轮匹配像素块是所述像素块A_i的最优匹配像素块B_i'，结束迭代操作，执行步骤S3，若否，重复步骤S222～S223；

在步骤S21和步骤S22之间还包括局部区域优化步骤，所述局部区域优化包括：

检测所述初始匹配像素块的邻近像素块中是否有与像素块A_i相似度更高的像素块，若有，则将所述与像素块A_i相似度更高的像素块作为更新后的初始匹配像素块其中，所述初始匹配像素块的邻近像素块是指与所述初始匹配像素块有相交像素点的其他像素块，所述邻近像素块对应的目标像素点均属于所述标定编辑区域；

相应地，在步骤S222中，当k＝1时，以所述更新后的初始匹配像素块作为第k-1轮匹配像素块

所述初始匹配像素块的邻近像素块为所述初始匹配像素块分别沿上、下、左、右方向依次平移1～M个坐标得到的像素块集合，所述初始匹配像素块平移M个坐标后仍与所述初始匹配像素块有相交像素点。

2.如权利要求1所述的全局图像编辑传播方法，其特征在于，所述像素块A_i为分别以目标像素点i(x_i,y_i)和像素点(x_i+d,y_i+d)为对角线上两个端点的矩形图像区域，所述像素块B_p为分别以目标像素点i'(x_i',y_i')和像素点(x_i'+d,y_i'+d)为对角线上两个端点的矩形图像区域，其中，d为正整数。

3.如权利要求1所述的全局图像编辑传播方法，其特征在于，步骤S224中，所述判断第k轮匹配像素块与第k-1轮匹配像素块的位置偏移是否在预设范围内还包括：

根据像素块A_i与第k-1轮匹配像素块的位置偏移向量v_k-1，以及像素块A_i与第k轮匹配像素块的位置偏移向量v_k，获取第k轮匹配像素块与第k-1轮匹配像素块的位置偏移向量Δv_k,k-1，计算公式如下：

v_k＝v_k-1+Δv_k,k-1；

若第k轮匹配像素块与第k-1轮匹配像素块的位置偏移向量Δv_k,k-1在预设范围内时，认为第k轮匹配像素块是像素块A_i的最优匹配像素块B_i'。

4.如权利要求1所述的全局图像编辑传播方法，其特征在于，像素块A_i与像素块B_i'的相似度S_i-i'根据两像素块之间各个对应像素点RGB值特征向量差的二范数F_i-i'来衡量，所述二范数F_i-i'越小，所述相似度S_i-i'越高，二范数F_i-i'的计算公式如下：

<mrow> <msub> <mi>F</mi> <mrow> <mi>i</mi> <mo>-</mo> <msup> <mi>i</mi> <mo>,</mo> </msup> </mrow> </msub> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>,</mo> <msup> <mi>s</mi> <mo>,</mo> </msup> <mo>&amp;Element;</mo> <msub> <mi>B</mi> <msup> <mi>i</mi> <mo>,</mo> </msup> </msub> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mi>s</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <msup> <mi>s</mi> <mo>,</mo> </msup> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>;</mo> </mrow>

其中，f_s是像素块A_i中像素点s的RGB值特征向量，f_s'是像素块B_i'中像素点s'的RGB值特征向量，像素点s'在像素块B_i'中的位置与像素点s在像素块A_i中的相对位置相同。

5.如权利要求1所述的全局图像编辑传播方法，其特征在于，对所述未标定编辑区域中每个像素点执行所述步骤S2～S3，得到所述原始图像的粗略传播结果，在得到所述粗略传播结果后还包括：

步骤S4：对所述粗略传播结果进行平滑优化处理，得到最终传播结果。

6.如权利要求5所述的全局图像编辑传播方法，其特征在于，采用零范数最小化梯度法进行所述平滑优化处理，所述最终传播结果F的二维非零梯度数量和为：

公式一：

其中，为横坐标方向梯度，为纵坐标方向梯度，为像素点p的横坐标方向梯度，为像素点p的纵坐标方向梯度，#为统计所有像素点非零梯度的和，l为非零梯度数；

对所述最终传播结果F进行优化得到目标函数：

公式二：

其中，λ为平滑约束参数，表示非零梯度数，F_p表示最终传播结果在像素点p处的值，M_p表示输入传播蒙版在像素点p处的值；

公式二转换为：

公式三：

其中，h表示迭代中间过程图像x方向的梯度估计值，v表示迭代中间过程y方向的梯度估计值，c(h,v)表示上述两种梯度非零值和，β表示收敛速度系数，h_p表示估计最终结果x方向的梯度图，v_p表示估计最终结果y方向的梯度图；

根据公式三求出所述最终传播结果F。