CN105957124B - 具有重复场景元素的自然图像颜色编辑方法及装置 - Google Patents
具有重复场景元素的自然图像颜色编辑方法及装置 Download PDFInfo
- Publication number
- CN105957124B CN105957124B CN201610248743.XA CN201610248743A CN105957124B CN 105957124 B CN105957124 B CN 105957124B CN 201610248743 A CN201610248743 A CN 201610248743A CN 105957124 B CN105957124 B CN 105957124B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- pixel point
- value
- natural image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000013598 vector Substances 0.000 claims abstract description 72
- 238000009826 distribution Methods 0.000 claims abstract description 29
- 239000003086 colorant Substances 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000012546 transfer Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 230000003252 repetitive effect Effects 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种具有重复场景元素的自然图像颜色编辑方法及装置，其中，所述方法包括对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。本发明可提高颜色编辑的速度，且能有效的保持重复场景元素颜色的一致性，实现不同标记的图像子块区域的不同颜色的编辑，获得丰富的颜色编辑结果。
Description
技术领域
本发明涉及图像编辑技术领域，尤其涉及一种具有重复场景元素的自然图像颜色编辑方法及装置。
背景技术
随着数码相机和数码摄像机的普及以及互联网技术的迅猛发展，人们很容易得到大量的数字图像和数字视频，进而使得人们对于处理工具的方便快捷性的期望越来越高，以满足对数字图像和视频编辑的需求。因此，数字图像和视频的智能编辑处理的研究已成为相关领域的研究热点，其中的颜色编辑处理技术近年来倍受研究人员关注。
目前，围绕颜色处理技术的功能、性能和用户友好度三个方面，研究者希望能为广大用户提供具有较强功能、性能优越、使用方便的颜色处理工具，并将其广泛应用于影视特效、计算机游戏、动画制作、虚拟现实等多个领域中，这将有助于推动我国影视动漫、互动娱乐等数字内容产业的发展。现有的颜色处理技术主要涉及两种类型：用户交互指定颜色的方式和用户提供实例图像的方式。
重复场景元素在自然图像中是普遍存在的，且在外观上具有一定相似性的特点。在对这类自然图像进行局部或全局的编辑处理中，基于用户交互指定颜色的彩色化方法需要在待编辑区域内标注部分颜色信息，以获取整幅图像的彩色化效果。而这类方法未考虑自然图像中具有大量重复场景元素的情况，因而往往需要标注大量的颜色线条：一方面，颜色编辑过程中无法保持重复场景元素颜色风格的一致及空间上的连续；另一方面，在进行用户标记的时候需要在区域边缘的地方进行仔细的标记，这使得标记工作耗时耗力。而用户提供实例图像的方式需要寻找合适的参考图像才能获得令人满意的效果，很大程度上增加了颜色编辑的难度，限制了图像处理的质量。
发明内容
针对现有颜色编辑方法无法保持重复场景元素颜色风格的一致及空间上的连续，标记工作耗时耗力，颜色编辑难度大，图像处理质量差的缺陷，本发明提出如下技术方案：
一种具有重复场景元素的自然图像颜色编辑方法，包括：
对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；
其中，所述自然图像为具有重复场景元素的自然景观图像；
提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；
根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。
可选地，所述对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域，包括：
针对所述自然图像的不同区域进行预设颜色的线条标记；
根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s1,....,sj,...,sM}；
为所述颜色线条集合分配对应的颜色标签值
其中，sj表示第j个颜色对应的颜色线条，且sj的取值为所述颜色线条sj覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条sj对应的颜色标签值；
采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。
可选地，所述提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量，包括：
将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T；
其中，CMean和CVar分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；
采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；
逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；
计算每个尺度及方向上所述变换系数的均值μij和标准差σij，其中，i＝1，…，m，j＝1，…，n；
根据所述每个尺度及方向上所述变换系数的均值μij和标准差σij确定纹理特征向量W＝[μ0,0 σ0,0 μ0,1 ... μm,nσm,n]T；
根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。
可选地，所述根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配，包括：
根据所述特征空间向量确定图像子块区域ri和图像子块区域rj的外观相似性程度量D(ri,rj)，所述外观相似性程度量的计算公式为：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分别为图像子块区域ri和rj中的总像素数；
采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；
所述模糊C均值中误差函数的计算公式为：
其中：
是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性程度，所述D(ri,sj)由公式一计算得到；b取值为2；
采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；
根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；
所述图像子块区域ri中像素点p的置信度conf(p,ri)的计算公式为：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点；D(p,Mp)为像素点p与像素点Mp距离，所述D(p,Mp)由公式一计算得到。
可选地，所述通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，包括：
通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：
其中：
N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。
一种具有重复场景元素的自然图像颜色编辑装置，包括：
图像预处理单元，用于对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；
其中，所述自然图像为具有重复场景元素的自然景观图像；
特征空间向量构建单元，用于提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；
局部颜色分配单元，用于根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
编辑结果图像获取单元，用于通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。
可选地，所述图像预处理单元，进一步用于：
针对所述自然图像的不同区域进行预设颜色的线条标记；
根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s1,....,sj,...,sM}；
为所述颜色线条集合分配对应的颜色标签值
其中，sj表示第j个颜色对应的颜色线条，且sj的取值为所述颜色线条sj覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条sj对应的颜色标签值；
采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。
可选地，所述特征空间向量构建单元，进一步用于：
将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T；
其中，CMean和CVar分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；
采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；
逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；
计算每个尺度及方向上所述变换系数的均值μij和标准差σij，其中，i＝1，…，m，j＝1，…，n；
根据所述每个尺度及方向上所述变换系数的均值μij和标准差σij确定纹理特征向量W＝[μ0,0 σ0,0 μ0,1 ... μm,n σm,n]T；
根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。
可选地，所述局部颜色分配单元，进一步用于：
根据所述特征空间向量确定图像子块区域ri和图像子块区域rj的外观相似性程度量D(ri,rj)，所述外观相似性程度量的计算公式为：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分别为图像子块区域ri和rj中的总像素数；
采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；
所述模糊C均值中误差函数的计算公式为：
其中：
是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性程度，所述D(ri,sj)由公式一计算得到；b取值为2；
采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；
根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；
所述图像子块区域ri中像素点p的置信度conf(p,ri)的计算公式为：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点；D(p,Mp)为像素点p与像素点Mp距离，所述D(p,Mp)由公式一计算得到。
可选地，所述编辑结果图像获取单元，进一步用于：
通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：
其中：
N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。
本发明的具有重复场景元素的自然图像颜色编辑方法及装置，通过利用超像素分割方法将自然图像划分成图像子块区域，能够使用图像子块区域代替像素点进行颜色编辑，极大地提高了颜色编辑的速度；并且，在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法的流程图；
图2为本发明一个实施例的具有重复场景元素的自然图像颜色编辑装置的结构示意图；
图3为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法原理框架图；
图4为本发明一个实施例的具有重复场景元素的自然图像；
图5为本发明一个实施例的颜色线条标记结果示意图；
图6为本发明一个实施例的图像预处理结果示意图；
图7为本发明一个实施例的图像子块区域聚类结果示意图；
图8为本发明一个实施例的图像子块区域颜色分配结果；
图9为本发明一个实施例的具有重复场景元素的自然图像的局部颜色编辑结果；
图10为本发明一个实施例的具有重复场景元素的自然图像的全局颜色编辑结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法的流程图；如图1所示，该方法包括：
S1：对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；
其中，所述自然图像为具有重复场景元素的自然景观图像；
S2：提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；
S3：根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
S4：通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。
本实施例的具有重复场景元素的自然图像颜色编辑方法，通过利用超像素分割方法将自然图像划分成图像子块区域，能够使用图像子块区域代替像素点进行颜色编辑，极大地提高了颜色编辑的速度；并且，在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。
作为本实施例的优选，步骤S1中对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域，可进一步包括：
S11：针对所述自然图像的不同区域进行预设颜色的线条标记；
S12：根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s1,....,sj,...,sM}；
S13：为所述颜色线条集合分配对应的颜色标签值
其中，sj表示第j个颜色对应的颜色线条，且sj的取值为所述颜色线条sj覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条sj对应的颜色标签值；
S14：采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。
作为本实施例的优选，步骤S2中提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量，可进一步包括：
S21：将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T；
其中，CMean和CVar分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；
S22：采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；
S23：逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；
S24：计算每个尺度及方向上所述变换系数的均值μij和标准差σij，其中，i＝1，…，m，j＝1，…，n；
S25：根据所述每个尺度及方向上所述变换系数的均值μij和标准差σij确定纹理特征向量W＝[μ0,0 σ0,0 μ0,1 ... μm,n σm,n]T；
S26：根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。
作为本实施例的优选，步骤S3中根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配，可进一步包括：
S31:根据所述特征空间向量确定图像子块区域ri和图像子块区域rj的外观相似性程度量D(ri,rj)，所述外观相似性程度量的计算公式为：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分别为图像子块区域ri和rj中的总像素数；
S32:采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；
所述模糊C均值中误差函数的计算公式为：
其中：
是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性程度，所述D(ri,sj)由公式一计算得到；b取值为2；
S33:采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；
S34:根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；
所述图像子块区域ri中像素点p的置信度conf(p,ri)的计算公式为：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点；D(p,Mp)为像素点p与像素点Mp距离，所述D(p,Mp)由公式一计算得到。
作为本实施例的优选，步骤S4中通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，可进一步包括：
S41：通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：
其中：
N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。
图2为本发明一个实施例的具有重复场景元素的自然图像颜色编辑装置的结构示意图；如图2所示，该装置包括：
图像预处理单元10，用于对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；
其中，所述自然图像为具有重复场景元素的自然景观图像；
特征空间向量构建单元20，用于提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；
局部颜色分配单元30，用于根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
编辑结果图像获取单元40，用于通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。
本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
作为本实施例的优选，图像预处理单元10可进一步用于：
针对所述自然图像的不同区域进行预设颜色的线条标记；
根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s1,....,sj,...,sM}；
为所述颜色线条集合分配对应的颜色标签值
其中，sj表示第j个颜色对应的颜色线条，且sj的取值为所述颜色线条sj覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条sj对应的颜色标签值；
采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。
作为本实施例的优选，特征空间向量构建单元20可进一步用于：
将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T；
其中，CMean和CVar分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；
采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；
逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；
计算每个尺度及方向上所述变换系数的均值μij和标准差σij，其中，i＝1，…，m，j＝1，…，n；
根据所述每个尺度及方向上所述变换系数的均值μij和标准差σij确定纹理特征向量W＝[μ0,0 σ0,0 μ0,1 ... μm,n σm,n]T；
根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[CW]。
作为本实施例的优选，局部颜色分配单元30可进一步用于：
根据所述特征空间向量确定图像子块区域ri和图像子块区域rj的外观相似性程度量D(ri,rj)，所述外观相似性程度量的计算公式为：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分别为图像子块区域ri和rj中的总像素数；
采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；
所述模糊C均值中误差函数的计算公式为：
其中：
是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性程度，所述D(ri,sj)由公式一计算得到；b取值为2；
采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；
根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；
所述图像子块区域ri中像素点p的置信度conf(p,ri)的计算公式为：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点；D(p,Mp)为像素点p与像素点Mp距离，所述D(p,Mp)由公式一计算得到。
作为本实施例的优选，编辑结果图像获取单元40可进一步用于：
通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：
其中：
N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。
本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
下面以一具体的实施例来说明本发明，但不限定本发明的保护范围。图3为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法原理框架图；如图3所示，本实施例的具有重复场景元素的复杂自然图像颜色编辑方法的详细步骤如下：
步骤一：图像的预处理
首先，用户仅需要对复杂自然图像(参见图4)的不同区域进行少量的且粗略的颜色线条标记；对自然图像进行颜色线条标记后，这些标记的颜色线条的总和用S表示，则S＝{s1,....,sj,...,sM}，其中sj表示某一颜色线条覆盖的像素点的总数目；同时，为不同颜色线条分配对应的颜色标签值，表示为其中为颜色线条sj对应的颜色标签值，M为线条标记的总数目；在进行图像颜色线条标记后，图像预处理阶段还采用超像素分割方法将像素点聚合成超像素，以将图像划分成一定数量的图像子块区域；颜色线条标记结果和图像的预分割结果分别如图5、图6所示。
步骤二：特征空间的构建
首先，将图像中某一像素点p的颜色特征用其邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T，其中，CMean和CVar分别为其邻域内R、G和B三个通道的均值和方差；
然后，采用传统的伽柏小波变换(Gabor Wavelet Transform)对样本纹理图像中的纹理特征进行分析，在对给定的复杂自然图像进行纹理特征分析时，确定影响纹理分析的三个参数的取值，包括窗口大小w、尺度值m和方向值n的设置；
逐行扫描复杂自然图像，对以每一个像素点为中心的w×w大小的子块，需要先在多尺度和多方向上进行纹理特征统计，以获得Gabor变换系数；
其次，计算每个尺度及方向上变换系数的均值μij和标准差σij(i＝1:m，j＝1:n)；
然后，获得每个像素对应的纹理特征T，即由这这些均值和标准差组成的特征向量T＝[μ0,0 σ0,0 μ0,1 ... μm,n σm,n]T；
最后，复杂自然图像的特征空间是由图像中各像素点的颜色特征和纹理特征构成的特征向量F＝[C T]。
步骤三：基于局部特征相似的颜色分配
首先，根据已构建的特征空间，图像子块区域ri和图像子块区域rj的外观相似性度量D(ri,rj)定义如下：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分布为图像子块区域ri和rj中的总像素数。
然后，采用加权的模糊C均值方法进行图像子块区域的聚类，其目的是为了将相似的图像子块区域标记相同的类别标签，便于进行局部的相似颜色分配。模糊C均值中误差函数定义如下：
其中，是第i个图像子块区域对应与第j类颜色线条的隶属度函数，且要求一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性度，可由公式(1)计算求得到；b通常取值为2左右；采用就近取整法将模糊聚类结果进行去模糊化，具有相似特征的图像子块区域能够准确地进行聚类，从而能够自动地获得图像子块区域分类标记的结果。
最后，根据图像子块聚类结果，通过计算图像子块区域中各像素点的置信度值，实现具有较高置信度像素点的局部颜色分配。图像子块区域ri中像素点p的置信度conf(p,ri)定义如下：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点，D(p,Mp)为像素点p与像素点Mp距离，由公式(1)计算得到。采用这种局部颜色分配机制，能够对具有较高置信度值的像素点进行颜色信息分配。图像子块区域聚类结果和颜色分配结果分别如图7、图8所示。
步骤四：基于全局优化的颜色传递
在对自然图像的局部区域分配颜色信息之后，为了对整幅自然图像进行颜色编辑处理，采用全局优化算法进行颜色传递。全局优化通过最小化YUV颜色空间上的能量函数实现，能量函数定义如下：
其中，N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值。wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大；反之，其值越小。up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值，局部颜色编辑结果和全局颜色编辑结果分别如图9、图10所示。
与现有技术相比，本发明提出的技术方案中通过利用超像素分割方法将图像首先划分成一定数量的图像子块区域，此时能够使用图像子块区域代替像素点进行颜色编辑，这极大地提高了颜色编辑的速度。
在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，这不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种具有重复场景元素的自然图像颜色编辑方法，其特征在于，包括：
对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；
其中，所述自然图像为具有重复场景元素的自然景观图像；
提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；
根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像；
所述根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配，包括：
根据所述特征空间向量确定图像子块区域ri和图像子块区域rj的外观相似性程度量D(ri,rj)，所述外观相似性程度量的计算公式为：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分别为图像子块区域ri和rj中的总像素数；
采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；
所述模糊C均值中误差函数的计算公式为：
其中：
是第i个图像子块区域对应于第j类颜色线条的隶属度函数，为图像子块区域ri的颜色标签值，为颜色线条sj的颜色标签值，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性程度，所述D(ri,sj)由公式一计算得到；b取值为2；
采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；
根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；
所述图像子块区域ri中像素点p的置信度conf(p,ri)的计算公式为：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点；D(p,Mp)为像素点p与像素点Mp距离，所述D(p,Mp)由公式一计算得到。
2.根据权利要求1所述的方法，其特征在于，所述对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域，包括：
针对所述自然图像的不同区域进行预设颜色的线条标记；
根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s1,....,sj,...,sM}；
为所述颜色线条集合分配对应的颜色标签值
其中，sj表示第j个颜色对应的颜色线条，且sj的取值为所述颜色线条sj覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条sj对应的颜色标签值；
采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。
3.根据权利要求1所述的方法，其特征在于，所述提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量，包括：
将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T；
其中，CMean和CVar分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；
采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；
逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；
计算每个尺度及方向上所述变换系数的均值μij和标准差σij，其中，i＝1，…，m，j＝1，…，n；
根据所述每个尺度及方向上所述变换系数的均值μij和标准差σij确定纹理特征向量W＝[μ0,0 σ0,0 μ0,1 ... μm,n σm,n]T；
根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。
4.根据权利要求1所述的方法，其特征在于，所述通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，包括：
通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：
其中：
N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。
5.一种具有重复场景元素的自然图像颜色编辑装置，其特征在于，包括：
图像预处理单元，用于对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；
其中，所述自然图像为具有重复场景元素的自然景观图像；
特征空间向量构建单元，用于提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；
局部颜色分配单元，用于根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
编辑结果图像获取单元，用于通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像；
所述局部颜色分配单元，进一步用于：
根据所述特征空间向量确定图像子块区域ri和图像子块区域rj的外观相似性程度量D(ri,rj)，所述外观相似性程度量的计算公式为：
其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量；M和N分别为图像子块区域ri和rj中的总像素数；
采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记为相同的类别标签；
所述模糊C均值中误差函数的计算公式为：
其中：
是第i个图像子块区域对应于第j类颜色线条的隶属度函数，为图像子块区域ri的颜色标签值，为颜色线条sj的颜色标签值，且令一个图像子块区域到各类颜色线条的隶属度之和为1；D(ri,sj)为图像子块区域ri和第j类颜色线条的相似性程度，所述D(ri,sj)由公式一计算得到；b取值为2；
采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标记结果；
根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置信度值的确定结果进行局部颜色分配；
所述图像子块区域ri中像素点p的置信度conf(p,ri)的计算公式为：
其中，Mp为该像素点p所在区域ri对应的颜色线条中的最佳匹配像素点；D(p,Mp)为像素点p与像素点Mp距离，所述D(p,Mp)由公式一计算得到。
6.根据权利要求5所述的装置，其特征在于，所述图像预处理单元，进一步用于：
针对所述自然图像的不同区域进行预设颜色的线条标记；
根据所述线条标记的结果确定标记的所述颜色线条的集合S＝{s1,....,sj,...,sM}；
为所述颜色线条集合分配对应的颜色标签值
其中，sj表示第j个颜色对应的颜色线条，且sj的取值为所述颜色线条sj覆盖的像素点的总数目；M为所述颜色线条的总数目；为所述颜色线条sj对应的颜色标签值；
采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果将所述自然图像划分成预设数量的图像子块区域。
7.根据权利要求5所述的装置，其特征在于，所述特征空间向量构建单元，进一步用于：
将所述自然图像中某一像素点p的颜色特征用所述像素点p的邻域内颜色的均值和标准差表示，以构成颜色特征向量C＝[CMean CVar]T；
其中，CMean和CVar分别为所述像素点p的邻域内R、G和B三个通道的均值和方差；
采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹理特征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值n的取值；
逐行扫描所述自然图像，针对以每个像素为中心的w×w大小的子块，在多尺度和多方向上进行纹理特征统计，以获得变换系数；
计算每个尺度及方向上所述变换系数的均值μij和标准差σij，其中，i＝1，…，m，j＝1，…，n；
根据所述每个尺度及方向上所述变换系数的均值μij和标准差σij确定纹理特征向量W＝[μ0,0 σ0,0 μ0,1 ... μm,n σm,n]T；
根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F＝[C W]。
8.根据权利要求5所述的装置，其特征在于，所述编辑结果图像获取单元，进一步用于：
通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优化，所述能量函数的计算公式为：
其中：
N(p)为像素点p的邻域，q为邻域N(p)中的像素点；C(p)为p点的颜色值，分别为U通道或V通道的值；wpq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值越小；up和σp分别为p邻域内亮度的平均值和方差；Y(p)和Y(q)分别为像素点p和q在Y通道的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610248743.XA CN105957124B (zh) | 2016-04-20 | 2016-04-20 | 具有重复场景元素的自然图像颜色编辑方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610248743.XA CN105957124B (zh) | 2016-04-20 | 2016-04-20 | 具有重复场景元素的自然图像颜色编辑方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105957124A CN105957124A (zh) | 2016-09-21 |
| CN105957124B true CN105957124B (zh) | 2018-10-30 |
Family
ID=56917796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610248743.XA Active CN105957124B (zh) | 2016-04-20 | 2016-04-20 | 具有重复场景元素的自然图像颜色编辑方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105957124B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573506B (zh) * | 2017-03-13 | 2021-12-17 | 北京贝塔科技股份有限公司 | 图像处理方法及系统 |
| CN108022268B (zh) * | 2017-11-21 | 2020-03-17 | 长沙理工大学 | 图像颜色编辑方法及装置 |
| CN108171776B (zh) * | 2017-12-26 | 2021-06-08 | 浙江工业大学 | 一种基于改进的卷积神经网络实现图像编辑传播的方法 |
| CN108846869B (zh) * | 2018-05-24 | 2021-06-18 | 浙江传媒学院 | 一种基于自然图像色彩的服装自动配色方法 |
| JP7314680B2 (ja) * | 2019-07-23 | 2023-07-26 | 東洋製罐株式会社 | 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム |
| CN112950461A (zh) * | 2021-03-27 | 2021-06-11 | 刘文平 | 全局与超像素分割相融合的色彩迁移方法 |
| CN113101642B (zh) * | 2021-04-06 | 2023-11-28 | 长沙理工大学 | 一种虚拟现实自助游戏设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102360490A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 基于颜色转换和编辑传播的图像季节特征增强方法 |
| CN103854299A (zh) * | 2014-03-05 | 2014-06-11 | 清华大学 | 一种基于全局能量函数优化的图像层次提取与编辑方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9361709B2 (en) * | 2013-05-08 | 2016-06-07 | International Business Machines Corporation | Interpreting texture in support of mobile commerce and mobility |
-
2016
- 2016-04-20 CN CN201610248743.XA patent/CN105957124B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102360490A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 基于颜色转换和编辑传播的图像季节特征增强方法 |
| CN103854299A (zh) * | 2014-03-05 | 2014-06-11 | 清华大学 | 一种基于全局能量函数优化的图像层次提取与编辑方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于SLIC的超像素快速色彩传递算法;滕秀花 等;《哈尔滨师范大学自然科学学报》;20140615;第30卷(第3期);第78-79页 * |
| 基于色彩传递与扩展的图像着色算法;朱黎博 等;《中国图象图形学报》;20100228;第15卷(第2期);第202-203页 * |
| 纹理图像中重复纹理元素提取方法;杨弄影 等;《计算机科学与探索》;20150827;第1155、1158-1160页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105957124A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105957124B (zh) | 具有重复场景元素的自然图像颜色编辑方法及装置 | |
| CN111950653B (zh) | 视频处理方法和装置、存储介质及电子设备 | |
| Fang et al. | Saliency detection in the compressed domain for adaptive image retargeting | |
| CN104732506B (zh) | 一种基于人脸语义分析的人物照片颜色风格转换方法 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| KR100374791B1 (ko) | 영상의 영역 구분 방법 및 장치 | |
| Li et al. | Globally and locally semantic colorization via exemplar-based broad-GAN | |
| CN103605991A (zh) | 一种视频广告的自动检测方法 | |
| WO2023000895A1 (zh) | 图像风格转换方法、装置、电子设备和存储介质 | |
| CN104969240B (zh) | 用于图像处理的方法和系统 | |
| Kekre et al. | Creating the color panoramic view using medley of grayscale and color partial images | |
| CN110569859B (zh) | 一种服装图像的颜色特征提取方法 | |
| CN111325661B (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
| CN111179193A (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
| CN108038458B (zh) | 基于特征摘要图的视频中的户外场景文本自动获取方法 | |
| Ramanarayanan et al. | Constrained texture synthesis via energy minimization | |
| CN110390724B (zh) | 一种带有实例分割的slam方法 | |
| CN110321452B (zh) | 一种基于方向选择机制的图像检索方法 | |
| Liu | An overview of color transfer and style transfer for images and videos | |
| Liu | Two decades of colorization and decolorization for images and videos | |
| CN116311088B (zh) | 一种基于建筑工地的施工安全监测方法 | |
| Wang | Image matting with transductive inference | |
| CN111080748B (zh) | 基于互联网的图片自动合成系统 | |
| CN113034560B (zh) | 非均匀纹理迁移方法及装置 | |
| Srivastava et al. | An approach to pseudocoloring of grey scale image using deep learning technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |