CN103473796A - 获取图像编辑历史的方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，特别涉及一种根据编辑前后的图像对获取图像编辑历史的方法，该方法包括步骤：S1.确定编辑前后图像间相匹配的图像区域；S2.对每个所述相匹配的图像区域恢复语义层面的颜色变换；S3.结合所述颜色变换，生成编辑后图像相对于编辑前图像的编辑历史。通过本发明的方法可以获取简洁而完备的图像编辑历史，大大方便了如图像编辑版本控制，自动图像编辑教程生成和编辑可视化等任务的实现，从而提高了上述各种任务的效率。

Description

获取图像编辑历史的方法

技术领域

本发明涉及图像处理技术领域，特别涉及到一种根据编辑前后的图像对获取图像编辑历史的方法。

背景技术

在图像编辑中，完成编辑任务通常需要一系列几何和颜色操作。在许多场合都需要获取简洁而完备的图像编辑历史，如图像编辑版本控制系统，自动图像编辑教程生成和编辑可视化。通过获取图像编辑历史也可以产生新的图像编辑方式，例如改变某个编辑历史的一些步骤能得到一个新的编辑版本；也可以把一幅图像的编辑历史迁移到另一幅图像上。如果没有编辑历史，这些工作将变得十分困难。然而，尽管现有的图像编辑工具提供了强大的编辑功能，目前仍没有通用、高效的方案解决编辑历史的编码、存储、传播和重用问题。比如，AdobePhotoshop无论是图片还是日志文件都只保存了部分编辑历史。往往编辑任务完成后无法得到完整的编辑过程。

综上所述，一种获取图像编辑历史的方法是亟待提供的。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种获取图像编辑历史的方法，解决根据一个编辑前后的图像对，如何知道原始图像是经过怎样的操作才能得到编辑后的版本的问题，即如何获得图像对间的编辑历史的问题。

（二）技术方案

本发明技术方案如下：

一种获取图像编辑历史的方法，包括步骤：

S1.确定编辑前后图像间相匹配的图像区域；

S2.对每个所述相匹配的图像区域恢复语义层面的颜色变换；

S3.结合所述颜色变换，生成编辑后图像相对于编辑前图像的编辑历史。

进一步地，所述步骤S1进一步包括：

S11.分别建立编辑前后图像的图像金字塔；

S12.从所述图像金字塔的顶层开始，逐层确定对应层图像中图像块的对应关系并向下层传递，以及根据变换相似性合并相似的图像块为图像区域；

S13.利用图像分割算法优化所述图像区域边界；

S14.计算每个图像区域的三次颜色变换方程以及编辑强度图。

进一步地，所述步骤S12中确定对应层图像中图像块的对应关系包括：

根据3×3颜色变换矩阵计算所述对应层图像中每一对图像块的匹配误差D(u,u′)：

D(u,u′)=max(D_m(u→u′),D_m(u′→u))；

其中， $D_m(u\→u^{\′})=\underset{C_u}{\min }\underset{p\∈u}{\mathrm{\Σ}}{\mathrm{\α}}_p{\left|\right|C_{u}I\left(p\right)-I\left(p^{\′}\right)\left|\right|}_2;$ α_p为p点处的alpha混合值；I(·)表示某位置图像区域的像素值；C_u为3×3颜色变换矩阵；

建立匹配误差最小的图像块之间的对应关系。

进一步地，所述步骤S12中根据变换相似性合并相似的图像块为图像区域包括：

根据两个图像块的几何和颜色变换计算变换相似性Δ(u′,v′)：

$\mathrm{\Δ}(u^{\′},v^{\′})=\frac{{\left|\right|T_g^v\left(v_c^{\′}\right)-T_g^u\left(v_c^{\′}\right)\left|\right|}_2}{{\left|\right|T_g^u\left(u_c^{\′}\right)-T_g^u\left(v_c^{\′}\right)\left|\right|}_2}+\mathrm{\λ}{\left|\right|(C_u-C_v)\·I\left(u^{\′}\right)\left|\right|}_2;$

其中u′，v′表示编辑后图像的两个图像区域，它们的中心分别为u′_c和v′_c，

和为对应的几何和颜色变换，λ是常数；

合并变换相似性相近的图像块为图像区域。

进一步地，所述步骤S14中根据公式：

$I_m\left(p^{\′}\right)=(1-w\left(p\right))\·I_m\left(p\right)+w\left(p\right)\·\underset{i,j,k\≥0;i+j+k\≤3}{\mathrm{\Σ}}{a}_{i,j,k,m}{\left(I_0\left(p\right)\right)}^i{\left(I_1\left(p\right)\right)}^j{\left(I_2\left(p\right)\right)}^k$

计算每个图像区域的三次颜色变换方程以及所述图像区域内每个像素的编辑强度；

其中，p表示编辑前图像区域中的一个像素，p′是其在编辑后图像中对应的像素；I_m(·)表示某像素的第m个颜色通道；a_i,j,k,m为三次颜色变换方程系数；w(p)为每个像素的颜色编辑强度，范围是[0,1]。

进一步地，所述步骤S2包括：

迭代地恢复色相、饱和度、亮度、曝光度、色调曲线，以及每个像素的编辑强度。

进一步地，所述步骤S3进一步包括：

S31.计算每一条编辑路径的代价；

S32.选择代价最小的编辑路径作为编辑历史。

进一步地，所述步骤S31中使用如下函数计算一条编辑路径的代价：

$E=\underset{1\≤i\≤n}{\mathrm{\Σ}}{E}_s\left(i\right)+{\mathrm{\λ}}_p\underset{1\≤i\≤n-1}{\mathrm{\Σ}}|c_s(i+1)-c_s^{\′}\left(i\right)|;$

其中，n是编辑的步骤数；E_s(i)表示第i步的单步编辑代价；c_s(i)和c_s′(i)表示第i步的图像区域在编辑前后的中心；λ_p是常数。

进一步地，所述单步编辑代价使用如下公式计算：

$E_s\left(i\right)=\sqrt{\left|\right|R_s\left|\right|}\·(d_c+d_g)\·(1+{\mathrm{\λ}}_{s}i)\·P;$

其中，||R_s||是所述单步编辑中所有被编辑的图像区域的面积；d_c和d_g为颜色和几何编辑代价；λ_s是常数；P表示对下采样的惩罚函数。

进一步地，所述颜色和几何编辑代价使用如下公式计算：

$d_c=\underset{p\∈R_s}{\mathrm{\Σ}}\left|\right|I\left(p^{\′}\right)-I\left(p\right)\left|\right|/\left({\mathrm{\σ}}_c\right|\left|R_s\right|\left|\right);$

$d_g=\sqrt{T_x^2+T_y^2}/{\mathrm{\σ}}_{\mathrm{xy}}+T_{\mathrm{rot}}/{\mathrm{\σ}}_{\mathrm{rot}}+\left|\log T_{\mathrm{scale}}\right|/{\mathrm{\σ}}_{\mathrm{scale}};$

其中，p和p′是所述单步编辑前后对应的像素；(T_x,T_y)，T_rot和T_scale为区域的平均位移、旋转和缩放量；σ_c，σ_xy，σ_rot和σ_scale是常数；

所述下采样惩罚函数使用如下公式计算：

$P=\frac{{\mathrm{\Σ}}_j\left|\right|R_j\left|\right|\min (1/t_{\mathrm{scale}}\left(R_j\right),1)}{{\mathrm{\Σ}}_j\left|\right|R_j\left|\right|};$

其中，R_j是当前编辑步骤的每个图像区域；t_scale(R_j)是应用在R_j上的缩放变换参数。

（三）有益效果

本发明实施例所提供的获取图像编辑历史的方法能根据用户输入的图像对自动生成一个语义层面的编辑序列，使得输入源图像经过这个编辑序列的操作能最终能得到输入目标图像的效果，即通过本方法能够获得图像对间的编辑历史，通过该简洁而完备的图像编辑历史，大大方便了如图像编辑版本控制，自动图像编辑教程生成和编辑可视化等任务的实现，从而提高了上述各种任务的效率。

附图说明

图1是本发明实施例中获取图像编辑历史的方法的流程示意图；

图2是图1中步骤S1的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

根据编辑前后的图像对恢复图像编辑历史的主要难点在于：第一，需要知道哪些物体或区域被编辑了；第二，这些物体或区域是如何被编辑的；最后，需要恢复一个有意义的编辑路径。要恢复所有可能的编辑操作是不现实的，本发明支持线性和非线性的几何和颜色变换，以及他们的组合。本发明支持的每一步编辑包括如下操作：（1）选择一个区域；（2）对该区域应用几何变换，包括缩放、旋转、移动、翻转及轻微变形；（3）对该区域进行颜色调节，包括亮度、曝光度、色相、饱和度和色调曲线调节，支持空间变化的编辑强度从而可以模拟局部画刷。下面对本实施例中所提供的获取图像编辑历史的方法加以详细说明。

本实施例中所提供的获取图像编辑历史的方法如图1所示，该获取图像编辑历史的方法，主要包括以下步骤：

S1.确定编辑前后图像间相匹配的图像区域；

S2.对每个所述相匹配的图像区域恢复语义层面的颜色变换；

S3.结合所述颜色变换，生成编辑后图像相对于编辑前图像的编辑历史。

如图2中所示，本实施例步骤S1中确定编辑前后图像间所匹配的图像区域具体包括：

步骤S11、分别建立编辑前后图像的图像金字塔；

步骤S12、从图像金字塔顶层开始，对每一层的两个图像I和I’建立密集对应关系，建立方法为，对图像I’的每个像素位置邻域的图像块u’，利用类似Generalized PatchMatch算法在图像I中寻找匹配误差最小的图像块u，计算匹配误差时考虑3×3颜色变换矩阵，分别计算颜色变换矩阵作用于u上与u’的最小误差，以及颜色变换矩阵作用于u’上与u的最小误差，取二者的较大值作为匹配误差。

步骤S13、将几何和颜色变换相近的图像块合并成一个区域，变换相似性的计算公式为：

$\mathrm{\Δ}(u^{\′},v^{\′})=\frac{{\left|\right|T_g^v\left(v_c^{\′}\right)-T_g^u\left(v_c^{\′}\right)\left|\right|}_2}{{\left|\right|T_g^u\left(u_c^{\′}\right)-T_g^u\left(v_c^{\′}\right)\left|\right|}_2}+\mathrm{\λ}{\left|\right|(C_u-C_v)\·I\left(u^{\′}\right)\left|\right|}_2$

其中u′，v′表示编辑后图像的两个图像区域，它们的中心分别为u′_c和v′_c，

和

为对应的几何和颜色变换，λ是常数。

上述步骤S12和S13之后如果没有达到图像金字塔最底层，则将对应关系向下层传播，转至步骤S12，进行下一层的匹配。

步骤S14、利用图像分割优化区域边界方法对图像区域边界进行优化，具体如下：首先把编辑前后的图像都用诸如Mean Shift算法进行过分割，如果分割块的80%以上在同一个匹配的或未匹配的区域，则认为整个分割块属于这个区域。

步骤S15、计算每个区域的三次颜色变换方程及编辑强度图，具体方法如下：假设变换方程为

$I_m\left(p^{\′}\right)=(1-w\left(p\right))\·I_m\left(p\right)+w\left(p\right)\·\underset{i,j,k\≥0;i+j+k\≤3}{\mathrm{\Σ}}{a}_{i,j,k,m}{\left(I_0\left(p\right)\right)}^i{\left(I_1\left(p\right)\right)}^j{\left(I_2\left(p\right)\right)}^k$

其中，p表示编辑前图像区域中的一个像素，p′是其在编辑后图像中对应的像素，I_m(·)表示某像素的第m个颜色通道，a_i,j,k,m为三次颜色变换方程系数，w(p)为每个像素的颜色编辑强度，范围是[0,1]。

求解用迭代法，初始设w(p)=1，分别固定w(p)用最小二乘法计算系数a_i,j,k,m，以及固定a_i,j,k,m优化w(p)。优化w(p)时假设它在7×7的窗口内是常数，同样用最小二乘求解。

步骤S2、对每个所述相匹配的图像区域恢复语义层面的颜色变换。参数包含（1）色相、（2）饱和度、（3）亮度、（4）曝光度、（5）色调曲线，以及（6）编辑强度图。其中色相和亮度的编辑操作为在原始数值上增加一个偏移量，饱和度和曝光度的编辑操作为在原始数值上乘以一个因子，色调曲线编辑操作表示为经过(0，0)、(0.25，f₁)、(0.5，f₂)、(0.75，f₃)、(1，1)这5个点的3次样条曲线，计算方法如下：初始化，将图像转到HSV空间，计算区域编辑前后的平均色相和饱和度，用编辑后的数值减去或除以编辑前的数值，其结果作为色相和饱和度的调节量的初始值；将图像转成灰度图，拟合直线，f_e和f_b作为曝光度和亮度调节量的初始值；补偿亮度和曝光度后用最小二乘法拟合色调曲线参数；编辑强度初始化均为1。然后采用迭代法依次优化各参数，优化目标为x′=w·f(x)+(1-w)·x。参数（1）～（5）用梯度下降法优化，参数（6）用最小二乘优化。

步骤S3、结合所述颜色变换，生成编辑后图像相对于编辑前图像的编辑历史。根据以下4条原则生成编辑历史：（1）优先编辑面积大的区域；（2）若相同的编辑操作应用在多个物体上，那么这些物体或者同时被编辑，或者逐个无间断的被编辑；（3）选择下一个编辑目标时优先选择距离当前编辑后位置相近的物体；（4）下采样应尽量延后。当上述原则冲突时，生成的编辑历史需要最小化编辑代价，即需要计算每一条编辑路径的代价，选择代价最小的编辑路径作为编辑历史。编辑代价E的计算公式如下：

$E=\underset{1\≤i\≤n}{\mathrm{\Σ}}{E}_s\left(i\right)+{\mathrm{\λ}}_p\underset{1\≤i\≤n-1}{\mathrm{\Σ}}|c_s\left(i\right)-{c_s}^{\′}\left(i\right)|$

其中，n是编辑的步骤数；E_s(i)表示第i步的单步编辑代价；c_s(i)和c_s′(i)表示第i步的区域在编辑前后的中心；λ_p是常数。

单步编辑代价E_s(i)计算公式如下：

$E_s\left(i\right)=\sqrt{\left|\right|R_s\left|\right|}\·(d_c+d_g)\·(1+{\mathrm{\λ}}_{s}i)\·P$

其中，||R_s||是所述单步编辑中所有被编辑的图像区域的面积；d_c和d_g为颜色和几何编辑代价；λ_s是常数；P表示对下采样的惩罚函数，定义为：

$P=\frac{{\mathrm{\Σ}}_j\left|\right|R_j\left|\right|\min (1/t_{\mathrm{scale}}\left(R_j\right),1)}{{\mathrm{\Σ}}_j\left|\right|R_j\left|\right|}$

其中，R_j是当前编辑步骤的每个区域；t_scale(R_j)是应用在R_j上的缩放变换参数。d_c和d_g定义为：

$d_c=\underset{p\∈R_s}{\mathrm{\Σ}}\left|\right|I\left(p^{\′}\right)-I\left(p\right)\left|\right|/\left({\mathrm{\σ}}_c\right|\left|R_s\right|\left|\right)$

$d_g=\sqrt{T_x^2+T_y^2}/{\mathrm{\σ}}_{\mathrm{xy}}+T_{\mathrm{rot}}/{\mathrm{\σ}}_{\mathrm{rot}}+\left|\log T_{\mathrm{scale}}\right|/{\mathrm{\σ}}_{\mathrm{scale}}$

其中，p和p′是所述单步编辑前后对应的像素，(T_x,T_y)，T_rot和T_scale为区域的平均位移、旋转和缩放量，σ_c，σ_xy，σ_rot和σ_scale是常数。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (10)

1.一种获取图像编辑历史的方法，其特征在于，该方法包括步骤：

S1.确定编辑前后图像间相匹配的图像区域；

S2.对每个所述相匹配的图像区域恢复语义层面的颜色变换；

S3.结合所述颜色变换，生成编辑后图像相对于编辑前图像的编辑历史。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

S11.分别建立编辑前后图像的图像金字塔；

S12.从所述图像金字塔的顶层开始，逐层确定对应层图像中图像块的对应关系并向下层传递，以及根据变换相似性合并相似的图像块为图像区域；

S13.利用图像分割算法优化所述图像区域边界；

S14.计算每个图像区域的三次颜色变换方程以及编辑强度图。

3.根据权利要求2所述的方法，其特征在于，所述步骤S12中确定对应层图像中图像块的对应关系包括：

根据3×3颜色变换矩阵计算所述对应层图像中每一对图像块的匹配误差D(u,u′)：

D(u,u′)=max(D_m(u→u′),D_m(u′→u))；

其中， $D_m(u\→u^{\′})=\underset{C_u}{\min }\underset{p\∈u}{\mathrm{\Σ}}{\mathrm{\α}}_p{\left|\right|C_{u}I\left(p\right)-I\left(p^{\′}\right)\left|\right|}_2;$ α_p为p点处的alpha混合值；I(·)表示某位置图像区域的像素值；C_u为3×3颜色变换矩阵；

建立匹配误差最小的图像块之间的对应关系。

4.根据权利要求2所述的方法，其特征在于，所述步骤S12中根据变换相似性合并相似的图像块为图像区域包括：

根据两个图像块的几何和颜色变换计算变换相似性Δ(u′,v′)：

$\mathrm{\Δ}(u^{\′},v^{\′})=\frac{{\left|\right|T_g^v\left(v_c^{\′}\right)-T_g^u\left(v_c^{\′}\right)\left|\right|}_2}{{\left|\right|T_g^u\left(u_c^{\′}\right)-T_g^u\left(v_c^{\′}\right)\left|\right|}_2}+\mathrm{\λ}{\left|\right|(C_u-C_v)\·I\left(u^{\′}\right)\left|\right|}_2;$

其中u′，v′表示编辑后图像的两个图像区域，它们的中心分别为u′_c和v′_c，

和为对应的几何和颜色变换，λ是常数；

合并变换相似性相近的图像块为图像区域。

5.根据权利要求2所述的方法，其特征在于，所述步骤S14中根据公式：

$I_m\left(p^{\′}\right)=(1-w\left(p\right))\·I_m\left(p\right)+w\left(p\right)\·\underset{i,j,k\≥0;i+j+k\≤3}{\mathrm{\Σ}}{a}_{i,j,k,m}{\left(I_0\left(p\right)\right)}^i{\left(I_1\left(p\right)\right)}^j{\left(I_2\left(p\right)\right)}^k$

计算每个图像区域的三次颜色变换方程以及所述图像区域内每个像素的编辑强度；

其中，p表示编辑前图像区域中的一个像素，p′是其在编辑后图像中对应的像素；I_m(·)表示某像素的第m个颜色通道；a_i,j,k,m为三次颜色变换方程系数；w(p)为每个像素的颜色编辑强度，范围是[0,1]。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述步骤S2包括：

迭代地恢复色相、饱和度、亮度、曝光度、色调曲线，以及每个像素的编辑强度。

7.根据权利要求6所述的方法，其特征在于，所述步骤S3进一步包括：

S31.计算每一条编辑路径的代价；

S32.选择代价最小的编辑路径作为编辑历史。

8.根据权利要求7所述的方法，其特征在于，所述步骤S31中使用如下函数计算一条编辑路径的代价：

$E=\underset{1\≤i\≤n}{\mathrm{\Σ}}{E}_s\left(i\right)+{\mathrm{\λ}}_p\underset{1\≤i\≤n-1}{\mathrm{\Σ}}|c_s(i+1)-c_s^{\′}\left(i\right)|;$

其中，n是编辑的步骤数；E_s(i)表示第i步的单步编辑代价；c_s(i)和c_s′(i)表示第i步的图像区域在编辑前后的中心；λ_p是常数。

9.根据权利要求8所述的方法，其特征在于，所述单步编辑代价使用如下公式计算：

$E_s\left(i\right)=\sqrt{\left|\right|R_s\left|\right|}\·(d_c+d_g)\·(1+{\mathrm{\λ}}_{s}i)\·P;$

其中，||R_s||是所述单步编辑中所有被编辑的图像区域的面积；d_c和d_g为颜色和几何编辑代价；λ_s是常数；P表示对下采样的惩罚函数。

10.根据权利要求9所述方法，其特征在于，所述颜色和几何编辑代价使用如下公式计算：

$d_c=\underset{p\∈R_s}{\mathrm{\Σ}}\left|\right|I\left(p^{\′}\right)-I\left(p\right)\left|\right|/\left({\mathrm{\σ}}_c\right|\left|R_s\right|\left|\right);$

$d_g=\sqrt{T_x^2+T_y^2}/{\mathrm{\σ}}_{\mathrm{xy}}+T_{\mathrm{rot}}/{\mathrm{\σ}}_{\mathrm{rot}}+\left|\log T_{\mathrm{scale}}\right|/{\mathrm{\σ}}_{\mathrm{scale}};$

其中，p和p′是所述单步编辑前后对应的像素；(T_x,T_y)，T_rot和T_scale为区域的平均位移、旋转和缩放量；σ_c，σ_xy，σ_rot和σ_scale是常数；

所述下采样惩罚函数使用如下公式计算：

$P=\frac{{\mathrm{\Σ}}_j\left|\right|R_j\left|\right|\min (1/t_{\mathrm{scale}}\left(R_j\right),1)}{{\mathrm{\Σ}}_j\left|\right|R_j\left|\right|};$

其中，R_j是当前编辑步骤的每个图像区域；t_scale(R_j)是应用在R_j上的缩放变换参数。

Images