CN106910226A - 一种利用层分解对图像和视频进行交互式颜色编辑的方法 - Google Patents

Abstract

本发明中提出的一种利用层分解对图像和视频进行交互式颜色编辑的方法，其主要内容包括：层颜色、超像素分割、能量函数、计算单个像素权重、交互式颜色重建，其过程为，首先提取输入图像或视频，计算输入像素的层颜色，计算图像的超像素分割，求解每个超像素层的层权重，最后通过线性组合一系列单个超像素的权重，从而计算出每个层的单个像素权重，再利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，从而实现交互式颜色重建。本发明缩减了色层提取的过程，减少线性求解当中变量的数目，可以更好地保持颜色混合效果的层，取得了在颜色重建的质量和时间复杂性方面的整体效果，使得图像和视频的交互式编辑更加方便。

Description

一种利用层分解对图像和视频进行交互式颜色编辑的方法

技术领域

本发明涉及图像编辑领域，尤其是涉及了一种利用层分解对图像和视频进行交互式颜色编辑的方法。

背景技术

图像编辑常用于平面设计和摄影等领域，对图像进行校色调色、纹理修复等操作编辑图像获得所需的视觉效果。例如在数字图像编辑软件中，可以方便快捷地对图像色彩进行明暗、冷暖色调的调整，同时，在处理图像时，可以逼真地模拟部分纹理细节获得更真实的图像。虽然现有方法以及可允许用户交互式颜色重建的同时，保持平稳的颜色混合，但是如何更容易地执行图像编辑以及交互修改最终的颜色重建结果仍是一个具有挑战性的问题。

本发明提出了一种利用层分解对图像和视频进行交互式颜色编辑的方法，一种将图像或视屏分解成色层线性组合的算法，以方便颜色编辑应用。首先提取一个输入图像或视频，通过层分解算法，包括计算输入像素的层颜色，计算图像的超像素分割，再通过求解一个线性系统求出每个超像素层的层权重，最后通过线性组合一系列单个超像素的权重，从而计算出每个层的单个像素权重，再利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，从而实现交互式颜色重建。本发明缩减了色层提取的过程，减少线性求解当中变量的数目，可以更好地保持颜色混合效果的层，取得了在颜色重建的质量和时间复杂性方面的整体效果，使得图像和视频的交互式编辑更加方便。

发明内容

针对难以交互式编辑图像和视频的问题，本发明的目的在于提供一种利用层分解对图像和视频进行交互式颜色编辑的方法，通过缩减色层提取的过程，减少线性求解当中变量的数目，更好地保持了颜色混合效果的层，取得了在颜色重建的质量和时间复杂性方面的整体效果，使得图像和视频的交互式编辑更加方便。

为解决上述问题，本发明提供一种利用层分解对图像和视频进行交互式颜色编辑的方法，其主要内容包括：

(一)层颜色；

(二)超像素分割；

(三)能量函数；

(四)计算单个像素权重；

(五)交互式颜色重建。

其中，所述的层颜色，由于人们在重组一个图像的颜色时也许有不同的目标，使用者可指定一个调色板或者使用自动调色板，自动调色板可提供一个有用的起始点，且能使颜色自动重组，为给可能的颜色空间提供直观的掌控，本方法模型可匹配人们从图像中提取的色板，基于颜色重建平均误差，为此模型添加一个惩罚项，此处，像素误差由测量像素颜色和调色板凸包之间的距离而得。

其中，所述的超像素分割，利用邻近像素之间的高相关性，通过更小数量的超像素(超体素)求出层权重，然后用邻近超像素的一个线性组合计算出每个像素的层解决方案，为计算超像素，伴随迭代k-均值重新定义中心，通过手动指定超像素S的数量，且初始化每个超像素S到一个随机种子位置，此时超像素由种子区域生长算法(SRG)算出，且它们的重心和颜色被用作下一次SRG迭代的种子，做5次K-means迭代，关于超像素，我们通过6-连接来定义邻近像素：4个空间相邻像素和2个时间相邻像素，从每个超像素里，计算出了一个6维特征向量(r，g，b，x，y，t)，此向量是通过连接平均像素颜色和超像素的时空重心形成的，颜色、空间和时间坐标归一化在0和1之间，且通过重要性重新计算权重。

其中，所述的能量函数，首先计算一系列的单个像素层的贡献L_j∈L，此处，L_j是一个S×1列向量，此向量将层j的贡献传递给每个超像素，且L是(SN)×1列向量，此向量通过连接所有的L_j形成，为了量化定义一个好的层的构成，在超像素层贡献L方面，最小化了一个能量函数Θ(L)，Θ(L)是4个项的权重总和：

Θ(L)＝λ_mM(L)+λ_rR(L)+λ_uU(L)+λ_eE(L) (1)

这4个项分别是流型一致性M(L)、图像重建R(L)、一致性U(L)以及显式约束E(L)，Θ(L)是L的一个二次函数，其可以通过求一个线性系统：

从而得到最小化Θ(L)。

进一步地，所述的流型一致性，即层贡献应是局部一致的，因为相邻且相似的超像素应该有相似的层分解，此流型由局部线性嵌入决定，将每个超像素s_i的颜色说成是它的K_s系邻近超像素的颜色的线性组合：

求出权重w_ij且用一个S×S超像素流型矩阵W表示，流型一致性术语就是：

此处I_n是n×n恒等矩阵，M是一个块对角矩阵：

此矩阵总尺寸为SN×SN。

进一步地，所述的图像重建，当层和其颜色相乘并求和时，色层应重新创建原图像，利用图像重建误差的平方：

此处，B_d是通道d超像素颜色的S×1向量，c_dj是j层颜色的通道d，R是整体尺寸为3S×(SN)的块矩阵：

且B是所有B_d的连接。

进一步地，所述的一致性，是把每个超像素的层贡献归结为一，来帮助总贡献规范化，这个总贡献能影响一个单一超像素，形式为：

此处，是列向量当中的一个S×1列向量，U是一个S×(SN)标识矩阵，此矩阵的行和超像素对应，

同时，在每个列索引里的超像素和那个像素的层贡献对应如上。

进一步地，所述的显示约束，某些情况下，来自使用者的、表明所提供的层应该贡献于一个所提供的图像区域的一些提示，可以帮助创造一个更好的层，例如，这些提示能把相似地建色但是语义上不同的区域分开，在设定C使用者约束的情况下，在层贡献偏离使用者约 束时惩罚层贡献：

E(L)＝‖EL-T‖² (10)

此处，E是一个C×(SN)指示矩阵，此矩阵将用户设定的超像素层贡献从L里选出，T是一个长度C向量，包含用户设定的目标值，当用户没有设定层贡献约束时，算法会自动地用非常相似的颜色为每个层把约束加到像素里，这样能在许多的图像里达成层之间更好的分离，对于有独立区域、有着相似颜色的、更复杂的图像，由用户设定的约束就需要更好的分离这些区域。

其中，所述的计算单个像素权重，使用局部线性嵌入的概念，从单个超像素层贡献L推出单个像素层贡献X，通过为每个像素计算一系列K_p型最近相邻超像素开始，一个像素和一个超像素之间的距离就通过利用6维超像素特征向量和每个像素的对应值之间的距离算出，下一步，将每个像素的颜色说成它的K_p系相邻超像素的颜色的线性组合，确切地，对于像素p_i，

通过最小化对象至约束：来计算权重q_ij，用一个P×S matrix Q，代表所有的q_ij的这个系列，最后，通过简单的矩阵乘法：

X_j＝QL_j (12)

对于层贡献，由于迭代负抑制会正确地重建图像且会产生另外一个类似分层，且对于4000超像素，无约束线性解决方案只需花费几秒，故利用迭代负抑制的4个迭代来绑定层贡献的大小。

其中，所述的交互式颜色重建，首先输入图像或视频，通过上述层分解算法，利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，帮助用户在编辑图像和视频时产生更直观的视觉效果，从而实现交互式颜色重建。

附图说明

图1是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的系统流程图。

图2是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的层分解算法概述图。

图3是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的交互式颜色重建过程图。

图4是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的编辑流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的系统流程图。主要包括层颜色、超像素分割、能量函数、计算单个像素权重、交互式颜色重建。

其中，所述的层颜色，由于人们在重组一个图像的颜色时也许有不同的目标，使用者可指定一个调色板或者使用自动调色板，自动调色板可提供一个有用的起始点，且能使颜色自动重组，为给可能的颜色空间提供直观的掌控，本方法模型可匹配人们从图像中提取的色板，基于颜色重建平均误差，为此模型添加一个惩罚项，此处，像素误差由测量像素颜色和调色板凸包之间的距离而得。

其中，所述的超像素分割，利用邻近像素之间的高相关性，通过更小数量的超像素(超体素)求出层权重，然后用邻近超像素的一个线性组合计算出每个像素的层解决方案，为计算超像素，伴随迭代k-均值重新定义中心，通过手动指定超像素S的数量，且初始化每个超像素S到一个随机种子位置，此时超像素由种子区域生长算法(SRG)算出，且它们的重心和颜色被用作下一次SRG迭代的种子，做5次K-means迭代，关于超像素，我们通过6-连接来定义邻近像素：4个空间相邻像素和2个时间相邻像素，从每个超像素里，计算出了一个6维特征向量(r，g，b，x，y，t)，此向量是通过连接平均像素颜色和超像素的时空重心形成的，颜色、空间和时间坐标归一化在0和1之间，且通过重要性重新计算权重。

其中，所述的能量函数，首先计算一系列的单个像素层的贡献L_j∈L，此处，L_j是一个S×1列向量，此向量将层j的贡献传递给每个超像素，且L是(SN)×1列向量，此向量通过连接所有的L_j形成，为了量化定义一个好的层的构成，在超像素层贡献L方面，最小化了一个能量函数Θ(L)，Θ(L)是4个项的权重总和：

Θ(L)＝λ_mM(L)+λ_rR(L)+λ_uU(L)+λ_eE(L) (1)

Θ(L)是L的一个二次函数，其可以通过求一个线性系统被最小化：

上述4个项分别是流型一致性M(L)、图像重建R(L)、一致性U(L)以及显式约束E(L)：

(1)流型一致性，即层贡献应是局部一致的，因为相邻且相似的超像素应该有相似的层分解，此流型由局部线性嵌入决定，将每个超像素s_i的颜色说成是它的K_s系邻近超像素的颜色的线性组合：

求出权重w_ij且用一个S×S超像素流型矩阵W表示，流型一致性术语就是：

此处I_n是n×n恒等矩阵，M是一个块对角矩阵：

此矩阵总尺寸为SN×SN。

(2)图像重建，当层和其颜色相乘并求和时，色层应重新创建原图像，利用图像重建误差的平方：

此处，B_d是通道d超像素颜色的S×1向量，c_dj是j层颜色的通道d，R是整体尺寸为3S×(SN)的块矩阵：

且B是所有B_d的连接。

(3)一致性，是把每个超像素的层贡献归结为一，来帮助总贡献规范化，这个总贡献能影响一个单一超像素，形式为：

此处，是列向量当中的一个S×1列向量，U是一个S×(SN)标识矩阵，此矩阵的行和 超像素对应，

同时，在每个列索引里的超像素和那个像素的层贡献对应如上。

(4)显示约束，某些情况下，来自使用者的、表明所提供的层应该贡献于一个所提供的图像区域的一些提示，可以帮助创造一个更好的层，例如，这些提示能把相似地建色但是语义上不同的区域分开，在设定C使用者约束的情况下，在层贡献偏离使用者约束时惩罚层贡献：

E(L)＝‖EL-T‖² (10)

此处，E是一个C×(SN)指示矩阵，此矩阵将用户设定的超像素层贡献从L里选出，T是一个长度C向量，包含用户设定的目标值，当用户没有设定层贡献约束时，算法会自动地用非常相似的颜色为每个层把约束加到像素里，这样能在许多的图像里达成层之间更好的分离，对于有独立区域、有着相似颜色的、更复杂的图像，由用户设定的约束就需要更好的分离这些区域。

其中，所述的计算单个像素权重，使用局部线性嵌入的概念，从单个超像素层贡献L推出单个像素层贡献X，通过为每个像素计算一系列K_p型最近相邻超像素开始，一个像素和一个超像素之间的距离就通过利用6维超像素特征向量和每个像素的对应值之间的距离算出，下一步，将每个像素的颜色说成它的K_p系相邻超像素的颜色的线性组合，确切地，对于像素p_i，

通过最小化对象至约束：来计算权重q_ij，用一个P×S matrix Q，代表所有的q_ij的这个系列，最后，通过简单的矩阵乘法：

X_j＝QL_j (12)

对于层贡献，由于迭代负抑制会正确地重建图像且会产生另外一个类似分层，且对于4000超像素，无约束线性解决方案只需花费几秒，故利用迭代负抑制的4个迭代来绑定层贡献的大小。

其中，所述的交互式颜色重建，首先输入图像或视频，通过上述层分解算法，利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，帮助用户在编辑图像和视频时产生更直观的视觉效果，从而实现交互式颜色重建。

图2是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的层分解算法概述图。(a)输入图像和提取的调色板；(b)使用250超像素的超像素分割；(c)每个超像素的红色层权重，用公式(2)算出；(d)通过公式12，利用上一步所得结果，计算红色层的单个像素权重。

图3是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的交互式颜色重建过程图。层分解利用输入图像自动地分解出一系列的色层，通过线性组合这些色层重建了原图像。其分解方式为，通过为色层选择一系列新的颜色，直接交互式地为图像颜色重建。右边是原输入图像的两种颜色重建效果。每个输入图像的层颜色展示在其右上方。层权重范围从0(黑)到1(白)变化。

图4是本发明一种利用层分解对图像和视频进行交互式颜色编辑的方法的编辑流程图。输入图像或视频，计算来自输入像素的层颜色，计算其超像素分割，为每一个像素求出层权重，对于每个层，通过线性地组合这一系列单个超像素的权重，计算出单个像素权重，利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，帮助用户在编辑图像和视频时产生更直观的视觉效果，从而实现交互式颜色重建。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种利用层分解对图像和视频进行交互式颜色编辑的方法，其特征在于，主要包括层颜色(一)；超像素分割(二)；能量函数(三)；计算单个像素权重(四)；交互式颜色重建(五)。

2.基于权利要求书1所述的层颜色(一)，其特征在于，由于人们在重组一个图像的颜色时也许有不同的目标，使用者可指定一个调色板或者使用自动调色板，自动调色板可提供一个有用的起始点，且能使颜色自动重组，为给可能的颜色空间提供直观的掌控，本方法模型可匹配人们从图像中提取的色板，基于颜色重建平均误差，为此模型添加一个惩罚项，此处，像素误差由测量像素颜色和调色板凸包之间的距离而得。

3.基于权利要求书1所述的超像素分割(二)，其特征在于，利用邻近像素之间的高相关性，通过更小数量的超像素(超体素)求出层权重，然后用邻近超像素的一个线性组合计算出每个像素的层解决方案，为计算超像素，伴随迭代k-均值重新定义中心，通过手动指定超像素S的数量，且初始化每个超像素S到一个随机种子位置，此时超像素由种子区域生长算法(SRG)算出，且它们的重心和颜色被用作下一次SRG迭代的种子，做5次K-means迭代，关于超像素，我们通过6-连接来定义邻近像素：4个空间相邻像素和2个时间相邻像素，从每个超像素里，计算出了一个6维特征向量(r，g，b，x，y，t)，此向量是通过连接平均像素颜色和超像素的时空重心形成的，颜色、空间和时间坐标归一化在0和1之间，且通过重要性重新计算权重。

4.基于权利要求书1所述的能量函数(三)，其特征在于，计算一系列的单个像素层的贡献L_j∈L，此处，L_j是一个S×1列向量，此向量将层j的贡献传递给每个超像素，且L是(SN)×1列向量，此向量通过连接所有的L_j形成，为了量化定义一个好的层的构成，在超像素层贡献L方面，最小化了一个能量函数Θ(L)，Θ(L)是4个项的权重总和：

Θ(L)＝λ_mM(L)+λ_rR(L)+λ_uU(L)+λ_eE(L) (1)

这4个项分别是流型一致性M(L)、图像重建R(L)、一致性U(L)以及显式约束E(L)，Θ(L)是L的一个二次函数，其可以通过求一个线性系统：

$\left({\mathrm{\λ}}_m{\left(I-M\right)}^T\right(I-M)+{\mathrm{\λ}}_r{R}^{T}R+{\mathrm{\λ}}_u{U}^{T}U+{\mathrm{\λ}}_e{E}^{T}E)L={\mathrm{\λ}}_r{R}^{T}B+{\mathrm{\λ}}_u{U}^T\hat{1}+{\mathrm{\λ}}_e{E}^{T}T---\left(2\right)$

从而得到最小化Θ(L)。

5.基于权利要求书4所述的流型一致性，其特征在于，层贡献应该是局部一致的，因为相邻且相似的超像素应该有相似的层分解，此流型由局部线性嵌入决定，将每个超像素s_i的颜色说成是它的K_s系邻近超像素的颜色的线性组合：

$\left|\right|Ccolor\left(s_i\right)-\underset{j=1}{\overset{k_s}{\Σ}}color\left(s_{ij}\right)|{|}^2---\left(3\right)$

求出权重w_ij且用一个S×S超像素流型矩阵W表示，流型一致性术语就是：

$\begin{array}{c}M\left(L\right)=\underset{j=1}{\overset{N}{\Σ}}\left|\right|(I_S-W)L_j|{|}^2\\ =\left|\right|(I_{sn}-M)L|{|}^2\end{array}---\left(4\right)$

此处I_n是n×n恒等矩阵，M是一个块对角矩阵：

此矩阵总尺寸为SN×SN。

6.基于权利要求书4所述的图像重建，其特征在于，当层和其颜色相乘并求和时，色层应重新创建原图像，利用图像重建误差的平方：

$\begin{array}{c}R\left(L\right)=\underset{d\∈(r,g,b)}{\Σ}\left|\right|\underset{j=1}{\overset{N}{\Σ}}\left(c_{dj}{L}_j\right)-B_d|{|}^2\\ =\left|\right|RL-B|{|}^2\end{array}---\left(6\right)$

此处，B_d是通道d超像素颜色的S×1向量，c_dj是j层颜色的通道d，R是整体尺寸为3S×(SN)的块矩阵：

$R=\left(\begin{array}{cccc}{c}_{r1}{I}_s& c_{r2}{I}_s& \mathrm{...}& c_{rN}{I}_s\\ c_{g1}{I}_s& c_{g2}{I}_s& \mathrm{...}& c_{gN}{I}_s\\ c_{b1}{I}_s& c_{b2}{I}_s& \mathrm{...}& c_{bN}{I}_S\end{array}\right)---\left(7\right)$

且B是所有B_d的连接。

7.基于权利要求书4所述的一致性，其特征在于，把每个超像素的层贡献归结为一，来帮助总贡献规范化，这个总贡献能影响一个单一超像素，形式为：

$UL=\left|\right|UL-\hat{1}|{|}^2---\left(8\right)$

此处，是列向量当中的一个S×1列向量，U是一个S×(SN)标识矩阵，此矩阵的行和超像素对应，

$U_{ij}=\left\{\begin{array}{cc}1& ifj-i\≡0\left(\mathrm{mod}S\right)\\ 0& ifj-i\≠0\left(\mathrm{mod}S\right)\end{array}\right.---\left(9\right)$

同时，在每个列索引里的超像素和那个像素的层贡献对应如上。

8.基于权利要求书4所述的显示约束，其特征在于，某些情况下，来自使用者的、表明所提供的层应该贡献于一个所提供的图像区域的一些提示，可以帮助创造一个更好的层，例如，这些提示能把相似地建色但是语义上不同的区域分开，在设定C使用者约束的情况下，在层贡献偏离使用者约束时惩罚层贡献：

E(L)＝‖EL-T‖² (10)

此处，E是一个C×(SN)指示矩阵，此矩阵将用户设定的超像素层贡献从L里选出，T是一个长度C向量，包含用户设定的目标值，当用户没有设定层贡献约束时，算法会自动地用非常相似的颜色为每个层把约束加到像素里，这样能在许多的图像里达成层之间更好的分离，对于有独立区域、有着相似颜色的、更复杂的图像，由用户设定的约束就需要更好的分离这些区域。

9.基于权利要求书1所述的计算单个像素权重(四)，其特征在于，使用局部线性嵌入的概念，从单个超像素层贡献L推出单个像素层贡献X，通过为每个像素计算一系列K_p型最近相邻超像素开始，一个像素和一个超像素之间的距离就通过利用6维超像素特征向量和每个像素的对应值之间的距离算出，下一步，将每个像素的颜色说成它的K_p系相邻超像素的颜色的线性组合，确切地，对于像素p_i，

$\left|\right|color\left(p_i\right)-\underset{j=1}{\overset{K_p}{\Σ}}{q}_{ij}Color\left(s_{ij}\right)|{|}^2---\left(11\right)$

通过最小化对象至约束：来计算权重q_ij，用一个P×S matrix Q，代表所有的q_ij的这个系列，最后，通过简单的矩阵乘法：

X_j＝QL_j (12)

对于层贡献，由于迭代负抑制会正确地重建图像且会产生另外一个类似分层，且对于4000超像素，无约束线性解决方案只需花费几秒，故利用迭代负抑制的4个迭代来绑定层贡献的大小。

10.基于权利要求书1所述的交互式颜色重建(四)，其特征在于，输入图像或视频，通过上述层分解算法，利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，帮助用户在编辑图像和视频时产生更直观的视觉效果，从而实现交互式颜色重建。