CN110298365A - 一种基于人眼视觉的主题色提取方法 - Google Patents

Abstract

本发明提供了一种基于人眼视觉的主题色提取方法，包括以下步骤：在RGB颜色空间中构建颜色图模型；在颜色图模型中建立像素点颜色间连接关系；利用Louvain社区发现算法获得初始的主题色；利用数据驱动的方式获得与人眼视觉相似的排序主题色。本发明有益效果：解决了现有主题色提取方法中存在的与人眼视觉不一致和提取主题色无重要性排序的主要问题；为了获得与人眼视觉提取主题色一致的颜色，本发明在构建颜色图模型的基础上利用改进版社区发现算法获得初始主题色，然后选择了颜色提取中三个重要的属性值，即显著性、距离、数量，通过构建线性方程来拟合人眼提取主题色规律，获得与人眼相近似的主题色提取效果。

Description

一种基于人眼视觉的主题色提取方法

技术领域

本发明属于主题色提取领域，尤其是涉及一种基于人眼视觉的主题色提取方法。

背景技术

自然场景的图片一般具有和谐一致的颜色分布，然后在很多图像设计应用中，非专业的设计师很难提取出合适的主题色来创作出与自然场景一致的颜色视觉效果。因此，能够自动且准确提取出图片中的主题色在上述应用中有很大的作用。另外，精准地提取主题色在图像分类、图像检索、图像重新上色等领域有较多地应用。从图片中提取出满意的主题色仍然比较困难，目前已有的主题色提取算法主要有大类：基于颜色量化的主题色提取方法与基于特征建模的主题色提取方法。

基于颜色量化的主题色提取方法是一种通用的主题色提取算法，主要通过建模图像中像素点颜色信息的方式来提取主题色。已有的基于颜色量化的主题色提取方法主要包含：众位数法、中位切分法、八叉树算法、基于直方图的方法与基于聚类的方法。众位数法在存在较多颜色时提取的主题色较差；中位切分法通过重复切分空间体来提取主题色，每次切分像素点最多的空间体，切分的的位置选择最大的空间轴，但较稀疏的颜色空间区域切分的颜色空间体会比较大，这会导致较大的颜色误差；八叉树算法是一种层级融合颜色的方法，但该方法获得的主题色数量是不可控的；基于直方图的方法通过找到有意义的色调、饱和度、灰度值峰值来提取主题色，这类方法提取的主题色通常会冗余；基于聚类的主题色提取方法包含k-means和模糊c-means聚类两类方法，都需要指定初始聚类中心的数量作为输入参数，由于不同的图片包含不同数量的主题色，因此合理的设置初始参数对最后的主题色提取结果有较大的影响。另一方面，由于基于直方图与聚类的主题色提取方法并未考虑颜色在空间中的分布，因此会有部分的主题色被遗漏。

基于特征建模的方法主要通过对图像中的一些固有特征进行建模获得图片中的主题色。目前基于特征建模的方法主要分为三类：Shapira等人提出的方法、O’Donovan等人提出的方法、Lin等人提出的方法。Shapira等人提出的方法是基于高斯混合建模的方法，这种方法因为交互的存在因此处理速度非常的慢。O’Donovan等人提出一种基于测量颜色集融洽度的方法，但该方法定位于处理图形设计的应用，因此这类方法处理自然图像时，通常会提取出较差的主题色，另外此类方法需要从多张图片中提取出主题色并不适用于单张图片提取主题色。Lin等人也提取出了学习人眼提取主题色的方法，但是该颜色提取的方法提取的主题色无法覆盖整个图像的颜色空间，而且无法提取出固定数量的主题色，对于一些图像编辑相关的处理领域，可调节的主题色数量会更适应于场景。

发明内容

有鉴于此，本发明旨在提出一种基于人眼视觉的主题色提取方法，在提取到与人眼提取主题色一致同时，给出主题色的重要性排序，适应动态主题色数量需求的实际应用。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于人眼视觉的主题色提取方法，包括以下步骤：

A.在RGB颜色空间中构建颜色图模型；

B.在颜色图模型中建立像素点颜色间连接关系；

C.利用Louvain社区发现算法获得初始的主题色；

D.利用数据驱动的方式获得与人眼视觉相似的排序主题色。

进一步的，所述步骤A中的颜色图模型的建立步骤为：

A1.选取需要提取主题色的图片；

A2.利用线性迭代聚类算法获得步骤A1的图片中大小和形状均匀的超像素块；

A3.选取步骤A2得到的超像素块的中心像素点颜色值作为颜色图模型中的节点，构建成颜色图模型。

进一步的，所述步骤B中像素点颜色间连接关系的建立过程如下，

设置节点间是否存在连接的距离阈值为T，当颜色图模型中节点i与节点j之间的距离值W_i,j≤T时，颜色图模型中节点i与节点j进行连接，连接边上的权重值为W_i,j；当W_i,j＞T时，颜色图模型中节点i与节点j无连接，

所述距离值W_i,j采用如下公式计算，

其中，S_i与S_j为超像素块i与超像素块j的平均显著性，C_i与C_j为代表性像素点i与j的Lab颜色空间颜色值。

进一步的，所述步骤C中Louvain社区发现算法提取主题色的步骤如下：

C1.指定颜色图模型中每个节点为不同的单个团簇，对于每个节点i，将节点i放置到节点i的临近团簇(节点j的团簇C)中来衡量模块增益值ΔQ，该模块增益值计算公式如下，

其中，∑_in为团簇C中全部权重值的和，∑_tot为全部与团簇C中节点连接的权重值的和，k_m为连接到节点m的权重参数，k_i,in为节点m与团簇C中节点存在连接的全部权重值的和，W为颜色图模型中全部权重值的和，

节点i放置到获得最大模块增益性且为正值的团簇，如果没有正值模块增益值，节点i保留在原团簇，

该迭代按序进行，直到没有新的增益值增加或者团簇的数量达到指定的主题色数量为止；

C2.将步骤C1中无信息增益了的颜色图模型进行重建，重建过程如下，

将团簇中的节点视为新颜色图模型的节点，原团簇间的权重加和作为新颜色图模型节点间的连接权重，对于获得的新的颜色图模型，重复步骤C1中的操作，反复迭代步骤C1和C2直到颜色图模型不再发生变化或者团簇的数量达到指定主题色的数量要求；

对于最终获得颜色图模型团簇，采用最小距离法获得团簇中的代表颜色作为初始的主题色。

进一步的，所述步骤D的具体过程为：

利用主题色的提取公式计算主题色的得分，公式如下，

Score(c)＝αS+βN+γD,

s.t.α+β+γ＝1

其中，Score为主题色的得分，c是主题色，S是主题色c的正则化显著性值，N是主题色c对应团簇中正则化的顶点数量，D是主题色c对应团簇中主题色c与其它处于同一个对应团簇中主题色的平均距离，α,β,γ是从标注了主题色标签的数据集中学习人眼提取主题色对应的参数；

以收集到的带有人眼提取主题色标注的数据集中90％的部分作为训练数据集，通过线性拟合获得参数α,β,γ的值，对于每张测试图片，利用训练好的线性公式，可以获得每张图片的主题色以及对应的得分，将带有得分的主题色进行排序，并删除重复的主题色，获得最终的主题色。

相对于现有技术，本发明所述的基于人眼视觉的主题色提取方法具有以下优势：

本发明所述的基于人眼视觉的主题色提取方法解决了现有主题色提取方法中存在的与人眼视觉不一致和提取主题色无重要性排序的主要问题；为了获得与人眼视觉提取主题色一致的颜色，本发明在构建颜色图模型的基础上利用改进版社区发现算法获得初始主题色，然后选择了颜色提取中三个重要的属性值，即显著性、距离、数量，通过构建线性方程来拟合人眼提取主题色规律，获得与人眼相近似的主题色提取效果；另外，基于本发明提取的主题色可以获得主题色的重要性排序，在实际的应用中，可根据需求来获得所需的主题色。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的基于人眼视觉的主题色提取方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种基于人眼视觉的主题色提取方法，包括以下步骤：

A.在RGB颜色空间中构建颜色图模型；

B.在颜色图模型中建立像素点颜色间连接关系；

C.利用Louvain社区发现算法获得初始的主题色；

D.通过数据驱动的方式来学习人眼提取主题色的方式，获得与人眼视觉相似的排序主题色结果。

所述步骤A中的颜色图模型的建立步骤为：

A1.选取需要提取主题色的图片；

A2.利用线性迭代聚类算法获得步骤A1的图片中大小和形状均匀的超像素块，利用颜色相似性与颜色图片空间距离为度量基础的线性迭代聚类算法来获得图像的超像素块，是为了获得大小一致且形状规则的图像超像素块，该方法分割的超像素块具有相同的大小以及相似的形状；

A3.选取步骤A2得到的超像素块的中心像素点颜色值作为颜色图模型中的节点，构建成颜色图模型，在获得超像素块的基础上本发明选择了超像素块中间的颜色值作为代表颜色，这样可以减少颜色的冗余度并减少后续的计算量，在本发明中，对于像素数量处于12万到20万之间的图片，合适的超像素大小为100。

所述步骤B中像素点颜色间连接关系的建立过程如下：

设置节点间是否存在连接的距离阈值为T，当颜色图模型中节点i与节点j之间的距离值W_i,j≤T时，颜色图模型中节点i与节点j进行连接，连接边上的权重值为W_i,j；当W_i,j＞T时，颜色图模型中节点i与节点j无连接，在本发明中，距离阈值T设置为10，

所述距离值W_i,j采用如下公式计算，

其中，S_i与S_j为超像素块i与超像素块j的平均显著性，C_i与C_j为代表性像素点i与j的Lab颜色空间颜色值。

现有的Louvain社区发现算法无法提取出指定数量的主题色，本发明在建立颜色图模型的基础上对Louvain社区发现算法进行了改进，用于提取出指定数量的主题色，即在本实施例中Louvain社区发现算法为改进后的Louvain社区发现算法，在步骤C中，改进后的Louvain社区发现算法提取主题色的步骤如下：

C1.指定颜色图模型中每个节点为不同的单个团簇，对于每个节点i，将节点i放置到节点i的临近团簇(节点j的团簇C)中来衡量模块增益值ΔQ，该模块增益值计算公式如下，

其中，∑_in为团簇C中全部权重值的和，∑_tot为全部与团簇C中节点连接的权重值的和，k_m为连接到节点m的权重参数，k_i,in为节点m与团簇C中节点存在连接的全部权重值的和，W为颜色图模型中全部权重值的和，

节点i放置到获得最大模块增益性且为正值的团簇，如果没有正值模块增益值，节点i保留在原团簇，

该迭代按序进行，直到没有新的增益值增加或者团簇的数量达到指定的主题色数量为止；

C2.将步骤C1中无信息增益了的颜色图模型进行重建，重建过程如下，

将团簇中的节点视为新颜色图模型的节点，原团簇间的权重加和作为新颜色图模型节点间的连接权重，对于获得的新的颜色图模型，重复步骤C1中的操作，反复迭代步骤C1和C2直到颜色图模型不再发生变化或者团簇的数量达到指定主题色的数量要求；

对于最终获得颜色图模型团簇，采用最小距离法获得团簇中的代表颜色作为初始的主题色，最小距离法是找到团簇中的节点距离团簇中其它所有节点的距离总和最小的节点。

所述步骤D中，为了获得与人眼一致的主题色提取效果，本发明收集了带有人眼提取出主题色主标注的图片数据集，在收集的数据集的基础上，本发明利用显著性、平均距离与正则化节点数量构建了一个主题色提取公式，

利用主题色的提取公式计算主题色的得分，其公式和线性公式如下，

Score(c)＝αS+βN+γD,

s.t.α+β+γ＝1

其中，Score为主题色的得分，c是主题色，S是主题色c的正则化显著性值，N是主题色c对应团簇中正则化的顶点数量，D是主题色c对应团簇中主题色c与其它处于同一个对应团簇中主题色的平均距离，α,β,γ是从标注了主题色标签的数据集中学习人眼提取主题色对应的参数；

以收集到的带有人眼提取主题色标注的数据集中90％的部分作为训练数据集，通过线性拟合获得参数α,β,γ的值，对于每张测试图片，利用训练好的线性公式，可以获得每张图片的主题色以及对应的得分，将带有得分的主题色进行排序，并删除重复的主题色，获得最终的主题色。

通过上述四个步骤，可以建立适应图像大小的超像素分割方法、颜色图模型、初始主题色发现算法、模拟人眼提取主题色的线性提取方程，实现类似人眼提取主题色的同时获得主题色的重要性排序。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于人眼视觉的主题色提取方法，其特征在于，包括以下步骤：

A.在RGB颜色空间中构建颜色图模型；

B.在颜色图模型中建立像素点颜色间连接关系；

C.利用Louvain社区发现算法获得初始的主题色；

D.利用数据驱动的方式获得与人眼视觉相似的排序主题色。

2.根据权利要求1所述的一种基于人眼视觉的主题色提取方法，其特征在于，所述步骤A中的颜色图模型的建立步骤为：

A1.选取需要提取主题色的图片；

A2.利用线性迭代聚类算法获得步骤A1的图片中大小和形状均匀的超像素块；

A3.选取步骤A2得到的超像素块的中心像素点颜色值作为颜色图模型中的节点，构建成颜色图模型。

3.根据权利要求1所述的一种基于人眼视觉的主题色提取方法，其特征在于，所述步骤B中像素点颜色间连接关系的建立过程如下：

设置节点间是否存在连接的距离阈值为T，当颜色图模型中节点i与节点j之间的距离值W_i,j≤T时，颜色图模型中节点i与节点j进行连接，连接边上的权重值为W_i,j；当W_i,j＞T时，颜色图模型中节点i与节点j无连接，

其中，所述距离值W_i,j采用如下公式计算，

式中，S_i与S_j为超像素块i与超像素块j的平均显著性，C_i与C_j为代表性像素点i与j的Lab颜色空间颜色值。

4.根据权利要求1所述的一种基于人眼视觉的主题色提取方法，其特征在于，所述步骤C中Louvain社区发现算法提取主题色的步骤如下：

C1.指定颜色图模型中每个节点为不同的单个团簇，对于每个节点i，将节点i放置到节点i的临近团簇(节点j的团簇C)中来衡量模块增益值ΔQ，该模块增益值计算公式如下，

其中，∑_in为团簇C中全部权重值的和，∑_tot为全部与团簇C中节点连接的权重值的和，k_m为连接到节点m的权重参数，k_i,in为节点m与团簇C中节点存在连接的全部权重值的和，W为颜色图模型中全部权重值的和，

节点i放置到获得最大模块增益性且为正值的团簇，如果没有正值模块增益值，节点i保留在原团簇，

按序进行迭代，直到没有新的增益值增加或者团簇的数量达到指定的主题色数量为止；

C2.将步骤C1中无信息增益了的颜色图模型进行重建，重建过程如下，

将团簇中的节点视为新颜色图模型的节点，原团簇间的权重加和作为新颜色图模型节点间的连接权重，对于获得的新的颜色图模型，重复步骤C1中的操作，反复迭代步骤C1和C2直到颜色图模型不再发生变化或者团簇的数量达到指定主题色的数量要求；

对于最终获得颜色图模型团簇，采用最小距离法获得团簇中的代表颜色作为初始的主题色。

5.根据权利要求1所述的一种基于人眼视觉的主题色提取方法，其特征在于，所述步骤D的具体过程为：

利用主题色的提取公式计算主题色的得分，公式如下，

Score(c)＝αS+βN+γD,

s.t.α+β+γ＝1

其中，Score为主题色的得分，c是主题色，S是主题色c的正则化显著性值，N是主题色c对应团簇中正则化的顶点数量，D是主题色c对应团簇中主题色c与其它处于同一个对应团簇中主题色的平均距离，α,β,γ是从标注了主题色标签的数据集中学习人眼提取主题色对应的参数；

以收集到的带有人眼提取主题色标注的数据集中90％的部分作为训练数据集，通过线性拟合获得参数α,β,γ的值，对于每张测试图片，利用训练好的线性公式，可以获得每张图片的主题色以及对应的得分，将带有得分的主题色进行排序，并删除重复的主题色，获得最终的主题色。