CN102903128B - 基于局部特征结构保持的视频图像内容编辑传播方法 - Google Patents

Abstract

本发明公开了一种基于局部特征结构保持的视频图像内容编辑传播方法，包括如下步骤：将输入的图像/视频中所有像素点映射到预设的特征空间；在特征空间中，对每一个像素点，求取其最近K个邻居；利用局部线性嵌入降维方法，将所有像素点构建局部线性关系；将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素。其保持图像/视频的编辑传播不受对象形状影响，具有一定的适应性和鲁棒性。

Description

基于局部特征结构保持的视频图像内容编辑传播方法

技术领域

本发明涉及图像处理、计算机视觉和增强处理技术领域，具体地说是一种基于局部特征结构保持的视频图像内容编辑传播方法。

背景技术

数字图像领域中，最常见的图像处理方法之一是根据视频图像内容，进行编辑处理。例如，改变视频图像的颜色；将不同视频源的对象融合到一起，形成一个无编辑痕迹的视频；精确提取图像中的毛发等。对于艺术设计者或者从事影视编辑的工作人员来说，为了对一个视频的颜色、内容进行编辑，将进行大量的手工编辑。事实上，视频图像内容特征之间通常具有某种内在联系。能根据这些内在联系，自动的进行视频图像编辑，可以在很大程度上提高视频图像编辑效率。

目前，一些科研工作者在相关技术上开展了研究。在图像编辑方面，大量的研究工作已经对此进行了探讨。Fabio Pellacini等人在2008年提出了基于所有像素相似性的编辑传播方法，但是该方法需要的时空资源太大，无法处理大图像或者视频数据；Kun Xu等人基于Fabio Pellacini等人的工作，在2009年提出了基于KD tree的编辑传播方法，该方法解决了Fabio Pellacini等提出方法的时空消耗问题，节省了系统资源，但是其针对颜色过渡区域会出现颜色异常现象。Zeev Farbman等人在2010年提出了基于扩散图(diffusionmap)的编辑传播方法，该方法利用扩散距离(diffusion distance)来衡量所有像素点之间的相似度，但是其依然在效率上不高，同时，这种方法不能有效的反映出像素之间的不相似性，而且针对颜色过渡区域的像素点，处理结果不理想。

在颜色风格一致化方面，2001年，布里斯托大学的Eric Reinhard等人是利用颜色空间的转换，将目标图像和参考图像首先从RGB颜色空间转换到lαβ颜色空间，然后在这三个通道上分别求取二阶统计量期望方差，再针对目标图像的每一个像素，进行缩放旋转，求得的最终结果转换为RGB颜色空间即为结果图像的像素颜色值，该方法简单有效，但是针对复杂的图像，需要用户指定样本进行颜色转换。针对这个问题，2005年，日本的Chang等人提出了一种基于颜色分类的方法实现颜色转换。其首先将目标图像和参考图像按照颜色差异，分成多个颜色类，然后在对应的颜色类之间进行颜色转换。Pitie.F等人以一种全新的思路，在证明了N维概率密度函数转移的可行性并将它运用到颜色迁移领域，在灰度图像中，利用直方图规定化实现图像灰度变换使其具有特定的直方图形式。直方图是概率分布密度的体现，而直方图规定化是目标图像概率分布密度映射到期望概率分布密度的过程，也就一维概率密度函数转移。而N维概率密度函数转移是基于一维展开的。设f(x)和g(x)是源图像和目标图像的颜色概率密度分布，x_i＝(r_i，g_i，b_i)，r_i、g_i、b_i分别代表红绿蓝三色，选择任意一个旋转矩阵尺，旋转后对N维分别作一维概率密度函数转移，重复多次，直到收敛，得到迁移后的新图像。但是，现有技术的生成的结果图像颜色过渡不平滑，有很多块状，需要通过二次处理对图像进行平滑，并且容易产生一些不自然的着色效果。因此，针对自动颜色转换方法中的这些问题，出现了一些基于交互式的颜色转换方法。Takahiko将概率松弛法引入颜色迁移，以选取最优的颜色信息迁移给目标图像素。2003年Takahiko等人又提出种子像素的概念，由用户选取一些彩色像素作为灰度图像的种子，利用颜色繁殖完成颜色迁移。Tomohisa等人改进了颜色繁殖算法，引入图像分割防止错误繁殖边缘像素颜色，并提出了新的基于CIELAB颜色空间的彩色化算法，但是该方法不能保证结果图像既能在颜色视觉上逼近参考图像的颜色的同时，保持目标图像的颜色流形线性结构。

在场景对象融合方面，一些研究机构在这方面也开展了研究。2003年Perez等人提出了一种基于泊松方程和狄利克雷边界条件的图像场景融合方法。该种方法能够较好的融合插入的对象，但是时间空间消耗率太大。2009年，Zeev Farbman等人提出了基于中值坐标的视频图像场景快速融合方法，很大程度上改善了泊松方法的时空效率，但是该种方法容易受到插入对象的形状影响。

在精确对象提取方面，Jian Sun等人在2004年提出了基于泊松方程的精确对象提取方法，该方法为国际首次提出的精确对象提取方法，但是该方法计算速度慢，存储空间耗费大，而且在半透明的图像区域不能很好的提取前景。Ahat Levin等人在2008年提出了一种基于频谱聚类的方法，该方法一定程度上提高了前景提取的准确率，但是效率低，而且在半透明的图像区域不能很好的提取前景。

在灰度图像着色方面，Welsh等人在2001年首先提出基于灰度匹配的灰度图像着色方法，该方法需要给定一张与灰度图像场景类似的彩色图像，然后根据两幅图像的灰度匹配，给灰度图像着色。但是该方法对场景复查的图像，不能很好的着色，着色过程中交互量太大。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于局部特征结构保持的视频图像内容编辑传播方法。其保持图像/视频的编辑传播不受对象形状影响，具有一定的适应性和鲁棒性。

为实现本发明目的而提供的一种基于局部特征结构保持的视频图像内容编辑传播方法，该方法包括以下步骤：

步骤S100，将输入的图像/视频中所有像素点映射到预设的特征空间；

步骤S200，在特征空间中，对每一个像素点，求取其最近K个邻居；

步骤S300，利用局部线性嵌入降维方法，将所有像素点构建局部线性关系；

步骤S400，将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；

步骤S500，根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素。

步骤S600，对异常结果进行处理，包括异常颜色值、边缘，生成最终结果。

较优地，所述步骤S100中，将输入的图像/视频中所有像素点映射到预设的特征空间，是根据预设的应用需求，包括自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合、灰度图像着色，选定不同的特征；

其中，针对颜色变换和交互式颜色编辑，所选择的特征空间为RGB颜色空间；

针对对象精准提取和场景对象融合，所选择的特征空间为RGBXYT六维空间，其中RGB指示颜色，XY指示像素的坐标，T指示第几帧；

针对灰度图像着色，选择的特征空间为：灰度-SIFT-纹理-位置特征空间。

较优地，在步骤S300中，在特征空间中，对每一个像素点，求取其最近K个邻居，是指对特征空间中的每个像素，求取与其特征最接近的K个像素点；

其中，针对颜色变换和交互式颜色编辑，所选择的K个特征邻居为颜色距离上最接近的K个邻居；

针对对象精准提取和场景对象融合，所选择的K个特征邻居为颜色和空间位置距离上最接近的K个邻居；

针对灰度图像着色，所选择的K个特征邻居为在灰度、SIFT、纹理和空间位置四种特征距离上最接近的K个邻居。

其中，所采用的距离计算方法为欧氏距离计算方法。

较优地，所述步骤S300中的局部线性嵌入降维方法，为所有像素点构建局部线性关系，包括如下步骤：

步骤S310，针对每一个像素，根据其特征，寻找与其在欧氏距离上最接近的K个像素；

步骤S320，通过求得最优的每组K近邻的线性组合系数，使得当前像素特征向量值与它的K近邻线性组合值尽可能的接近；

所述求得最优的每组K近邻的线性组合系数，是通过构建当前像素特征值与其K近邻的线性组合值的平方差之和，采用最小二乘法求解该方程，得到最优每组K近邻的线性组合系数。

较优地，设定X_i表示像素i的特征，X_i1，...，X_ik表示X_i的K个邻居的特征向量，其局部特征的结构关系构建方法为：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|X_i-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{X}_{\mathrm{ij}}\left|\right|}^2$

通过求解上述公式，得到W_ij的数值，{w_ij|i＝1，..，N}反映了数据之间的结构关系；

在此基础之上，编辑传播通过最小化如下能量公式实现：

$E=\mathrm{\λ}\underset{i\∈S}{\mathrm{\Σ}}{(z_i-g_i)}^2+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(z_i-\underset{z_j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{z}_j)}^2$

其中，g_i为用户预设的稀疏编辑，z_i为编辑传播的结果。

较优地，所述步骤S400中的在根据用户预设的编辑，对应到部分像素上，包括如下步骤：

步骤S410，将用户预设的自动色调调整请求对应到预设的色调模板的像素的色调上；

步骤S420，将用户预设的交互式色调调整请求对应到在图像/视频的关键帧上指定部分像素的色调上；

步骤S430，将用户预设的精细分割请求对应到预设的三分图的像素上；

步骤S440，将用户预设的无缝融合请求对应到选定的目标融合区域的像素上；

步骤S450，将用户预设的灰度图像着色要求对应到在部分区域上指定部分像素的色调上。

较优地，所述步骤S500包括如下步骤：

步骤S510，针对自动色调调整，将指定的色调传递到其他像素上，改变像素颜色；

步骤S520，针对交互式色调调整，将用户指定部分像素的色调，传递到其他像素颜色；

步骤S530，针对精细分割，根据三分图确定的前景和背景，得到未知区域的像素属于前景的概率；

步骤S540，针对无缝融合，根据插入区域边界和目标背景的色差，改变插入区域的颜色；

步骤S550，针对灰度图像着色，根据超像素的特征关系，将其着色。

本发明与现有的技术相比，其有益的特点是：1、本发明提出的方法能够应用到各种应用，包括：自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合及灰度图像着色。2、本发明提出的框架简单有效，不需要用户进行大量的手工编辑，要不需要专业的技能，只需要用户粗略的交互，就能在短时间内得到期望结果，节省了计算时间，提高了计算效率。3、本发明有效的解决了视频图像中颜色过渡区域的特征关系保持的问题，避免了在这些区域出现编辑异常。4、本发明提出的方法保持图像/视频的编辑传播不受对象形状影响，具有一定的适应性和鲁棒性。。

附图说明

图1是本发明基于局部特征结构保持的视频图像内容编辑传播方法流程图；

图2(a)-图2(c)是本发明的原理示意图；

图3是本发明的自动颜色转换流程图；

图4是本发明的交互式颜色编辑流程图；

图5是本发明的场景对象无缝融合的流程图；

图6是本发明的精准对象提取的流程图；

图7是本发明的灰度图像着色流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种基于局部特征结构保持的视频图像内容编辑传播方法进行解释。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的提出一个框架，其能够保持视频图像中局部特征的关系，以避免视频图像处理过程中出现问题；同时，将该框架应用到五个典型应用，包括：动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合、灰度图像着色。

本发明实施例基于局部特征结构保持的视频图像内容处理方法的优势在于：对于视频/图像中的颜色过渡区域，能够在视频/图像的编辑处理过程中保持这些区域中像素之间的关系，避免在颜色过渡区域出现颜色分裂或异常颜色的问题，确保生成的结果颜色过渡平滑。

本发明实施例提供了一种基于局部特征结构保持的视频图像内容编辑传播方法，如图1所示，包括如下步骤：

步骤S100，将输入的图像/视频中所有像素点映射到预设的特征空间；

将输入的图像/视频中所有像素点映射到预设的特征空间，作为一种可实施方式，是根据预设的应用需求，包括自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合、灰度图像着色，选定不同的特征。

具体而言，作为一种可实施方式，针对颜色变换和交互式颜色编辑，所选择的特征空间为RGB颜色空间；

针对对象精准提取和场景对象融合，所选择的特征空间为RGBXYT六维空间，其中RGB指示颜色，XY指示像素的坐标，T指示第几帧。

针对灰度图像着色，选择的特征空间为：灰度-SIFT-纹理-位置特征空间。

步骤S200，在特征空间中，对每一个像素点，求取其最近K个邻居；

在特征空间中，对每一个像素点，求取其最近K个邻居，作为一种可实施方式，是指对特征空间中的每个像素，求取与其特征最接近的K个像素点。

具体而言，作为一种可实施方式，针对颜色变换和交互式颜色编辑，所选择的K个特征邻居为颜色距离上最接近的K个邻居；

针对对象精准提取和场景对象融合，所选择的K个特征邻居为颜色和空间位置距离上最接近的K个邻居。

针对灰度图像着色，所选择的K个特征邻居为在灰度、SIFT、纹理和空间位置四种特征距离上最接近的K个邻居。

其中，较佳地，作为一种可实施方式，所采用的距离计算方法为欧氏距离计算方法。

步骤S300，利用局部线性嵌入降维方法，将所有像素点构建局部线性关系；

利用局部线性嵌入降维方法，为所有像素点构建局部线性关系，是为了计算出整个特征空间中所有像素之间的关系。这种关系本质上反应了像素之间的相似度及其可区别性。因此，针对颜色过渡区域的颜色，能更好的保持住他们之间的关系，以及和其他区域的颜色的可区别性。K近邻的数量越多，则整个特征空间的分布结构在编辑传播过程中会保持的越好。

较佳地，作为一种可实施方式，所述步骤S300中的局部线性嵌入降维方法，为所有像素点构建局部线性关系，包括如下步骤：

步骤S310，针对每一个像素，根据其特征，寻找与其在欧氏距离上最接近的K个像素；

步骤S320，通过求得最优的每组K近邻的线性组合系数，使得当前像素特征向量值与它的K近邻线性组合值尽可能的接近；

较佳地，作为一种可实施方式，所述求得最优的每组K近邻的线性组合系数，是通过构建当前像素特征值与其K近邻的线性组合值的平方差之和，采用最小二乘法求解该方程，得到最优每组K近邻的线性组合系数。

较佳地，作为一种可实施例，所述构建局部特征结构关系为：设定X_i表示像素i的特征，X_i1，...，X_ik表示X_i的K个邻居的特征向量，其局部特征的结构关系构建方法如式(1)所示，为：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|X_i-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{X}_{\mathrm{ij}}\left|\right|}^2---\left(1\right)$

通过求解公式(1)，得到W_ij的数值。{w_ij|i＝1，..，N}反映了数据之间的结构关系(W_ij反映了地i个数据点和第j个数据点之间的关系，即，W_ij越大，则表示这两个数据点特征越接近，反之则反。在此基础之上，编辑传播通过最小化如下能量公式(2)实现：

$E=\mathrm{\λ}\underset{i\∈S}{\mathrm{\Σ}}{(z_i-g_i)}^2+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(z_i-\underset{z_j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{z}_j)}^2---\left(2\right)$

其中，g_i为用户预设的稀疏编辑，z_i为编辑传播的结果。由此公式可以看出，本发明提出的基于局部特征结构保持的视频图像内容编辑传播方法能够既保持局部特征结构，又能实现编辑传播。

步骤S300中对局部特征结构保持，能够避免在视频图像颜色过渡区域出现颜色异常的问题。

步骤S400，将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；

为了利用特征结构保持的框架来实现不同的应用，其用户预设的编辑请求是不一样的。

具体而言，作为一种可实施方式，针对自动颜色变换，用户预设的编辑为提供颜色模板，然后根据输入视频图像的颜色值与颜色模板的颜色值进行匹配，建立起视频图像中的像素点的颜色值与颜色模板的颜色值的映射关系；

针对交互式颜色编辑，用户预设的编辑是为某些对象或者区域指定新的颜色，标记某些像素的新颜色。因此，可以建立起这些标记的像素的颜色和用户指定的新颜色的映射关系；

针对精准对象提取，用户预设的编辑为标记图像中哪些区域是确定的前景，哪些区域是确定的背景，哪些区域是待精确提取的区域，从而建立起图像像素与前景、背景、未知区域的对应关系；

针对场景对象融合，用户预设的编辑为放入的目标场景的位置。根据对象放入目标场景的位置，建立起对象边界像素与被对象边界所覆盖的目标场景像素的映射关系；

针对灰度图像着色，用户预设的编辑是指为某些对象或者区域指定新的颜色，标记某些像素的新颜色。

较佳地，作为一种可实施方式，所述步骤S400中的在根据用户预设的编辑，对应到部分像素上，包括如下步骤：

步骤S410，将用户预设的自动色调调整请求对应到预设的色调模板的像素的色调上；

较佳地，作为一种可实施方式，所述步骤S410中的色调模板可以为预先设计好的色调模板，也可以根据11标准色从其他图像或者视频中预先提取的得到的色调模板。

作为一种可实施方式，所述从其他图像或者视频中提取色调模板时，采用11标准色和K聚类的方法进行聚类，提取每一类的平均颜色，作为色调模板。

步骤S420，将用户预设的交互式色调调整请求对应到在图像/视频的关键帧上指定部分像素的色调上；

步骤S430，将用户预设的精细分割请求对应到预设的三分图(tri-map)的像素上；

步骤S440，将用户预设的无缝融合请求对应到选定的目标融合区域的像素上；

较佳地，作为一种可实施方式，所述步骤S440中的无缝融合，是通过求目标区域中的每一个像素点和边界上每一个像素点的线性关系，来实现颜色插值。

步骤S450，将用户预设的灰度图像着色要求对应到在某些区域上指定部分像素的色调上。

步骤S500，根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素；

根据像素间的结构关系，将编辑传播到所有其他像素。根据用户的应用需求，即自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合及灰度图像着色，像素之间的结构关系，以及用户指定的编辑和映射，将用户指定的编辑传播到其他未知像素。

具体而言，作为一种可实施方式，针对自动颜色变换和交互式颜色编辑，是指将用户指定的颜色模板或者用户指定的颜色传播到其他像素；

针对精准对象提取，是指根据确定的前景和背景，传播到未知区域的像素，推理出未知像素属于前景背景的概率；

针对场景对象融合，是指根据插入对象的边界和被覆盖的目标场景的颜色差，将其传播到插入对象的其他像素上，形成最终的融合结果。

针对灰度图像着色，是指根据灰度图像的超像素之间的关系，将指定的颜色传播到其他超像素上。

较佳地，作为一种可实施方式，所述步骤S500根据像素间的结构关系，将编辑传播到所有其他像素，包括如下步骤：

步骤S510，针对自动色调调整，将指定的色调传递到其他像素上，改变像素颜色；

步骤S520，针对交互式色调调整，将用户指定部分像素的色调，传递到其他像素颜色；

步骤S530，针对精细分割，根据三分图(tri-map)确定的前景和背景，得到未知区域的像素属于前景的概率；

步骤S540，针对无缝融合，根据插入区域边界和目标背景的色差，改变插入区域的颜色；

步骤S550，针对灰度图像着色，根据超像素的特征关系，将其着色。

步骤S600，对异常结果进行处理，包括异常颜色值、边缘等，生成最终结果。

对颜色异常处理的方法为：对所有的结果颜色值的范围进行约束，将其限制在0到255的数值范围之内。同时，结合原图像的梯度，对结果图像的梯度进行修正，尽可能的保留结果图像的边缘细节。

下面举例进一步详细说明本发明实施例的基于局部特征结构保持的视频图像内容编辑传播方法

以交互式颜色编辑为例，如图2所示，图2(a)中的像素点A处在颜色过渡的区域，而图2(a)中的像素点B、C则分别处在颜色一致区域，即非颜色过渡区域。

图2(b)是图2(a)中所有像素点颜色在LAB颜色空间中的颜色分布图，像素点A处在B和C的过渡区域。

图2(c)是由本发明实施例的结构保持的编辑传播方法生成的结果。可以看出，相比于现有技术，本发明实施例基于局部特征结构保持的视频图像内容编辑传播方法在针对具有颜色过渡区域的视频/图像数据有一定的优势。总体而言，本发明实施例的基于局部特征结构保持的视频图像内容编辑传播方法可分为两大步骤：1)局部特征结构关系构建；2)视频图像内容编辑传播。

参阅如图3，本发明实施例的自动颜色转换流程图。本发明实施例通过求取输入视频图像的主色调，建立与给定的色调模板的映射关系，完成颜色转换。视频图像的主色调指能代表给定视频图像颜色风格的几种颜色值。

作为一种可实施方式，较佳地，所述主色调的求取方法是：

首先，根据通过K聚类，对颜色分类，并求取每一类中像素的个数；

其次，对每一类像素在RGB三个通道上分别求取三个通道的颜色值和；

最后，在三个通道上求取均值，得到该类的主色调颜色值。

颜色映射关系的求取方法是：通过求取两组颜色模板的最小欧氏距离和，得到最优映射关系。

参阅图4本发明的交互式颜色编辑流程图，目的是根据用户在某些关键帧上为某些区域或者对象指定的颜色进行视频图像颜色变换。本发明实施例的用户编辑包括指定的前景颜色及其限定不变的颜色。在满足用户编辑约束的前提下，根据局部特征结构关系，编辑传播到其他像素，生成最终的结果。

参考图5场景对象无缝融合的流程图，将新插入的对象与场景无缝融合，保证视觉结果的合理性。

作为一种可实施方式，所述将新插入的对象与场景无缝融合，包括如下步骤：

在选定插入对象区域的基础上，对该区域进行三角剖分；

插入的对象可以用户用画笔选取，也可以是根据已经制作好的马斯克(mask)进行选取；

然后计算该插入区域的边缘各像素点与区域中各个三角形顶点的特征结构关系；

其后根据插入对象区域的边缘各个像素与被覆盖的目标场景像素点的颜色差，得出插入对象各个三角顶点的颜色修改值；

根据三角顶点的颜色值，线性插值出每个三角形中像素点的颜色值，得到最终的生成效果。

参考图6本发明的精准对象提取的流程图，其根据目标图像和给定的三分图(Trimap)图像，得到目标图像中各个像素点的性质，包括：前景、背景及待确定区域；为待确定区域中的每个像素点，在前景和背景区域中选择K近邻并构建局部特征结构关系，计算出待确定区域中每个像素点为前景的概率值，输出最终结果。

参考图7本发明的灰度图像着色流程图，以超像素为单位提取每个超像素的特征，构建局部特征结构关系。其根据用户指定的部分超像素的颜色，推理出其他超像素的颜色；在YUV颜色空间中，用原灰度图像的强度信息替换Y通道的值，然后进行平滑处理，获得最终效果。

本发明实施例基于局部特征结构保持的视频图像内容编辑传播方法，该框架简单且易于实现，执行时空效率高。提出并实现了局部特征结构保持的方法，解决了视频图像中颜色过渡区域的处理问题，提高了效果的逼真性。同时，本发明自动程度高，减少了用户交互。本发明实施例的基于局部特征机构保持的视频图像内容编辑传播方法，设计并实现了五个典型应用，分别为：自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合及灰度图像着色，证明的方法的可扩展性。

最后应当说明的是，很显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，如果本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。

Claims (5)

1.一种基于局部特征结构保持的视频图像内容编辑传播方法，其特征在于，包括如下步骤：

步骤S100，将输入的图像/视频中所有像素点映射到预设的特征空间；

步骤S200，在特征空间中，对每一个像素点，求取其最近K个邻居；

步骤S300，利用局部线性嵌入降维方法，将所有像素点构建局部线性关系；

步骤S400，将用户预设的图像/视频编辑请求对应到所述图像/视频的部分像素上；

步骤S500，根据像素间的结构关系，利用步骤S400中的部分像素的对应，将用户预设的编辑请求传播到图像/视频所有其他像素；

步骤S600，对异常结果进行处理，包括异常颜色值、边缘，生成最终结果；

其中，所述步骤S100中，将输入的图像/视频中所有像素点映射到预设的特征空间，是根据预设的应用需求，包括自动颜色变换、交互式颜色编辑、精准对象提取、场景对象融合、灰度图像着色，选定不同的特征；

其中，针对颜色变换和交互式颜色编辑，所选择的特征空间为RGB颜色空间；

针对对象精准提取和场景对象融合，所选择的特征空间为RGBXYT六维空间，其中RGB指示颜色，XY指示像素的坐标，T指示第几帧；

针对灰度图像着色，选择的特征空间为：灰度-SIFT-纹理-位置特征空间；

此外，在步骤S300中，在特征空间中，对每一个像素点，求取其最近K个邻居，是指对特征空间中的每个像素，求取与其特征最接近的K个像素点；

其中，针对颜色变换和交互式颜色编辑，所选择的K个特征邻居为颜色距离上最接近的K个邻居；

针对对象精准提取和场景对象融合，所选择的K个特征邻居为颜色和空间位置距离上最接近的K个邻居；

针对灰度图像着色，所选择的K个特征邻居为在灰度、SIFT、纹理和空间位置四种特征距离上最接近的K个邻居。

其中，所采用的距离计算方法为欧氏距离计算方法。

2.根据权利要求1所述的视频图像内容编辑传播方法，其特征在于，设定X_i表示像素i的特征，X_i1,...,X_ik表示X_i的K个邻居的特征向量，其局部特征的结构关系构建方法为：

$min\underset{i=1}{\overset{N}{\Σ}}\left|\right|X_i-\underset{j=1}{\overset{K}{\Σ}}{w}_{ij}{X}_{ij}|{|}^2$

通过求解上述公式得到W_ij的数值；{w_ij|i＝1,..,N}反映了数据之间的结构关系；

在此基础之上，编辑传播通过最小化如下能量公式实现：

$E=\mathrm{\λ}\underset{i\∈S}{\Σ}{(z_i-g_i)}^2+\underset{i=1}{\overset{N}{\Σ}}{(z_i-\underset{z_j\∈N_i}{\Σ}{w}_{ij}{z}_j)}^2$

其中，g_i为用户预设的稀疏编辑，z_i为编辑传播的结果。

3.根据权利要求1所述的视频图像内容编辑传播方法，其特征在于，所述步骤S300中的局部线性嵌入降维方法，为所有像素点构建局部线性关系，包括如下步骤：

步骤S310，针对每一个像素，根据其特征，寻找与其在欧氏距离上最接近的K个像素；

步骤S320，通过求得最优的每组K近邻的线性组合系数，使得当前像素特征向量值与它的K近邻线性组合值尽可能的接近；

所述求得最优的每组K近邻的线性组合系数，是通过构建当前像素特征值与其K近邻的线性组合值的平方差之和，采用最小二乘法求解该方程，得到最优每组K近邻的线性组合系数。

4.根据权利要求1所述的视频图像内容编辑传播方法，其特征在于，所述步骤S400中的在根据用户预设的编辑，对应到部分像素上，包括如下步骤：

步骤S410，将用户预设的自动色调调整请求对应到预设的色调模板的像素的色调上；

步骤S420，将用户预设的交互式色调调整请求对应到在图像/视频的关键帧上指定部分像素的色调上；

步骤S430，将用户预设的精细分割请求对应到预设的三分图的像素上；

步骤S440，将用户预设的无缝融合请求对应到选定的目标融合区域的像素上；

步骤S450，将用户预设的灰度图像着色要求对应到在部分区域上指定部分像素的色调上。

5.根据权利要求1所述的视频图像内容编辑传播方法，其特征在于，所述步骤S500包括如下步骤：

步骤S510，针对自动色调调整，将指定的色调传递到其他像素上，改变像素颜色；

步骤S520，针对交互式色调调整，将用户指定部分像素的色调，传递到其他像素颜色；

步骤S530，针对精细分割，根据三分图确定的前景和背景，得到未知区域的像素属于前景的概率；

步骤S540，针对无缝融合，根据插入区域边界和目标背景的色差，改变插入区域的颜色；

步骤S550，针对灰度图像着色，根据超像素的特征关系，将其着色。