CN110956184A - 一种基于hsi-lbp特征的抽象图方向确定方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为一种基于HSI‑LBP特征的抽象图方向确定方法；解决在没有明确方向提示的情况下，抽象画正确悬挂方向的判断问题；具体为将抽象画的彩色图像由RGB模型转成HSI模型，旋转四个角度后将图像平均分割为多个子块；然后在H‑S模式下提取每个子块的“局部二值模式LBP描述符”，组合外围子块的LBP编码直方图作为图像特征；最后通过支持向量机SVM进行自动方向判断；该方法能有效提高抽象画图像方向识别的准确率，此外，本发明也为抽象画图像的研究提供了一个新的研究视角。

Description

一种基于HSI-LBP特征的抽象图方向确定方法

技术领域

本发明属于图像处理技术领域，具体为一种基于HSI-LBP特征的抽象图方向确定方法。

背景技术

抽象画是艺术家根据自己的主观思想，将点、线、面和颜色等视觉元素结合起来创作的，通常被理解为不描述自然的艺术。抽象画一般有两种表现形式，为表现强烈的情感和愿望而创作的绘画被称为“热抽象”，仅用颜色和图形来表示结构的绘画被称为“冷抽象”。在创作抽象画时，艺术家根据自己的审美观念，决定作品悬挂的正确方向。虽然正确的方向通常在画布的背面指定，但对非专业的观察者来说并不明显。针对这个问题，一些心理学研究已表明绘画方向是一个与审美评价有关系的因素，特别地，抽象绘画的原始悬挂方向更易于获得较高的审美评价，即专业的艺术家或非专业的观赏者对正确方向的欣赏程度远远高于其他悬挂方向的审美程度。这些都为绘画方向与审美的关系提供了依据，方向判断的研究可以揭示视觉审美评价的客观规律。因此，在没有明确提示的情况下，自动检测抽象画的正确悬挂方向是十分必要的。

随着信息数字化的趋势，在网上可以很容易地找到绘画的数字图像。这使得计算机辅助绘画研究成为可能。人们通过直接探讨人的审美感知与计算视觉特征之间的关系，对各种审美评价方法进行了研究，但没有一种方法是通过计算机辅助的方位判断来解决审美评价问题。心理学的研究成果和艺术数字化的发展，促使我们用计算机模拟来处理抽象绘画的方向判断问题。

(1)以往研究对方向检测的研究主要针对摄影图片，比如自然、场景或人物图像，而且检测率都比较满意。然而，对于抽象画图像而言，其内容和语义相对于摄影图像比较含蓄，不明显，因此对抽象画的方向检测会比较困难，近几年的相关工作也比较少。(2)人类一般是通过对图像的理解来识别照片的正确方向，因此一些方法是基于高层语义特征来判断图像方向的，他们的准确率显然更高，但是它的准确性将在很大程度上取决于能否弥合高层次线索和低层次特征之间的语义鸿沟。(3)将抽象画方向检测为“向上(0o)”和“不向上(90o,180o,270o)”两类。由于数据集中的正负样本数量不等，因此很多方法会采用不同手段将正负样本平衡表示。但是，我们倾向于保持数据集的不平衡，因为这样更能代表实际应用中所发生的情况。

发明内容

本发明克服现有技术存在的不足，提供一种基于HSI-LBP特征的抽象图方向确定方法。解决在没有明确方向提示的情况下，抽象画正确悬挂方向的判断问题。

本发明是通过如下技术方案实现的。

一种基于HSI-LBP特征的抽象图方向确定方法，其特征在于，包括以下具体步骤：

1)将抽象图的彩色图像由RGB模型转成HSI模型，即通过R，G，B三个分量计算色调、饱和度、亮度，色调角度。

2)旋转分隔：将经过转换的抽象图旋转四个方向，最终得到四幅方向不同的抽象图；将得到的四个方向的抽象图分别平均分割成若干子块，对外层的子块按顺序标号。

3)提取每个子块的每个H和S分量的“局部二值模式LBP”描述符，按照外层若干子块的LBP编码直方图作为图像特征；具体为：

a、计算每个子块的非旋转不变LBP值，把图像中的某个像素点作为中心点，取半径为R，按照(Rcos(2π/P)，Rsin(2π/P))方法进行插值，得到的圆形采样点集作为该中心点的领域点，P为采样点个数。

b、再将中心像素点的值与其邻域像素点的值进行比较，再将中心像素点的值与其邻域像素点的值进行比较，当邻域像素点的值大于中心像素点，将该邻域位置置1；当邻域像素点的值小于中心像素点，将该邻域位置置0，之后读取圆形采样点，最终组合成一个二进制数，即为LBP_R,P码，计算如下：

其中g_c是当前像素的灰度级，g_n是其领域的灰度级，s(x)是一个符号函数。

c、对该LBP编码进行降维，限制二进制序列从0到1或从1到0的跳变次数不超过2次，最后得到降维后的编码种类。

d、按照所述a-c的方法，计算图像H和S分量的每个子块的LBP编码统计直方图，横坐标为所述编码种类的LBP编码方式，纵坐标为每个样本出现的频率，然后对该直方图进行归一化处理。

e、将得到的H和S分量的每个K_i的直方图纵坐标的值组合起来，得到整幅图的特征向量。

4)采用SVM对所述整幅图的特征向量进行训练，最终将抽象图分为“向上”和“不向上”两类，从而实现抽象图方向的自动判断。

所述由RGB模型转成HSI模型：具体计算方法为。

其中R，G，B分别表示彩色图像的红，绿，蓝三个分量，H表示色调，S表示饱和度，I表示亮度，θ为色调角度。

优选的，所述将经过转换的抽象图逆时针旋转四个方向，为将抽象画按照逆时针旋转0°，90°，180°，270°四个角度。

优选的，将得到的四个方向的抽象画分别平均分割成3×3的9个子块，从左上角开始顺时针标注外围的8个子块为K_i，i＝1，2，……8。

优选的，所述对该LBP编码进行降维，将跳变次数小于等于2和大于2的分成两类。

本发明相对于现有技术所产生的有益效果为。

本发明提出的方法基于低层特征所提供的信息，即在没有先验知识的情况下，可以从图像中可靠地提取特征。通过不使用高级特征，不仅保持算法的复杂性，而且还避免了由于特征和图像语义之间的语义鸿沟而对成像条件固有的敏感度；可以不需要完全的图像理解来可靠地检测图像的方向，并且当选择合适的分类器处理时，由低级特征提供的信息足以在对大量图像处理获得较好的精度。

附图说明

图1为本发明所述基于HSI-LBP特征的抽象图方向确定方法流程图。

图2为本发明所述抽象图旋转四个方向的示意图，图中a为正确方向，b为旋转90°，c为旋转180°，d为旋转270°。

图3为实施例中将得到的四个方向的抽象图平均分割成9个子块的示意图。

图4为LBP编码方式示意图。

图5为LBP编码邻域点插值示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。

参照图1的流程图，选取来公开网站的抽象画，进行实验，具体实施步骤如下：

S1:随机选取来自于全球视觉艺术网Wikiart(http://www.wikiart.org)的500幅抽象画图像。

S2:对步骤1获得的彩色图像由RGB模型转成HSI模型，

其中R，G，B分别表示彩色图像的红，绿，蓝三个分量，H(Hue)表示色调，S(Saturation)表示饱和度，I(Intensity)表示亮度，θ为色调角度。与摄影图片相比，绘画受光照影响较小，因此本发明主要使用H和S两个分量。

S3：对于大多数绘画来说，其悬挂方向不会是斜的，因此将S2中的图像逆时针旋转四个方向(0°，90°，180°，270°)，最终得到四幅方向不同的抽象画，并且旋转后的图像尺寸不发生变化，图2为旋转四个方向后的图像。

S4：将S3中的图像平均分割成3×3的9个子块，从观察者的视觉角度考虑，图像的外围对方向的视觉影响较大，因此从左上角开始顺时针标注外围的8个子块为K_i(i＝1,2,…8)，图3为图像分割示意图。

S5：提取每个子块的每个分量(H和S)的“局部二值模式LBP”描述符，按照顺时针组合外层8个子块的LBP描述符作为图像特征，具体流程为：

S51：计算每个子块的非旋转不变LBP值，把图像中的某个像素点作为中心点，取半径为R，按照(Rcos(2π/P)，Rsin(2π/P))方法进行插值，得到的圆形采样点集作为该中心点的领域点，P为采样点个数。然后将中心像素点的值与其邻域像素点的值进行比较，若邻域像素点的值大于中心点素，则将该邻域位置置1，反之置0，之后按顺时针读取圆形采样点，最终组合成一个8位二进制数，即为LBP_R，P码，计算如下：

其中g_c是当前像素的灰度级，g_n是其领域的灰度级，s(x)是一个符号函数。取R为2，P为16，二进制编码种类为65535，导致运算量较大。图4和图5为LBP编码提取示意图。

S52：对该LBP编码进行降维，提高运算速度。限制二进制序列从0到1或从1到0的跳变次数不超过2次，跳变次数小于等于2，则各自代表一类，大于2的所有情况归为一类。经过这样的优化之后，LBP编码的种类大大减少，由原来的2^p减少为2+P(P-1)，而且不会丢失任何信息。按照此办法得到降维后的编码种类为243。

S53：按照S51和S52的方法，计算图像H和S分量的每个K_i的LBP编码统计直方图，横坐标为243种LBP编码方式，纵坐标为每个样本出现的频率，然后对该直方图进行归一化处理。

S54：将S53中得到的H和S分量的每个K_i的直方图纵坐标的值组合起来，作为整幅图的特征，特征总数为2×8×243＝3888。

S6：采用SVM对S54中的特征向量进行训练，其中随机选取400幅绘画作为训练集原始图像，100幅绘画作为测试集,因此，原始图像通过旋转后得到最终的训练集样本为1600幅，测试集样本为400幅。为了得到更准确的分类结果，我们采用10折交叉验证评估该分类模型。最终将绘画分为“向上”和“不向上”两类，从而实现绘画方向的自动判断。

为充分验证本发明方法的有效性和适用性，通过在三种不同的颜色模式(灰度图像，RGB，HSI)下，采用LBP特征得到的分类准确率如表1所示，实验结果发现，采用不同的颜色模式，对发明的检测率较高。

表1：

颜色模式	分类精度/％
		灰度	76.76％
RGB	77.3％
		本发明(HSI)	78.85％

为进一步算法的实用性，对绘画图像进行不同尺度的分割后，得到不同的分类准确率和CPU运行时间，如表2所示。实验结果显示，随着分割块个数的不断增加，分类准确率也逐渐提高，并且运行时间也逐渐变长。但是，当分割块个数为“5×5”时，运行时间会增加很多，而分类准确率基本没有提高，因此我们将绘画按照“3×3”方式分割。

表2：

通过对不同方向的绘画的观察，我们发现内容清晰的绘画对眼睛和模型都有明显的方向性，而且更容易被判断；那些内容抽象或不清楚的绘画，眼睛和模型都很难进行判断；然而，还有一小部分抽象画的方向很容易被人识别，但模型却出错了。综合来看，本发明方法的判断模型的理论与人类类似，能够有效检测抽象画的正确方向。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种基于HSI-LBP特征的抽象图方向确定方法，其特征在于，包括以下具体步骤：

1)将抽象图的彩色图像由RGB模型转成HSI模型，即通过R，G，B三个分量计算色调、饱和度、亮度，色调角度；

2)旋转分隔：将经过转换的抽象图旋转四个方向，最终得到四幅方向不同的抽象图；将得到的四个方向的抽象图分别平均分割成若干子块，对外层的子块按顺序标号；

3)提取每个子块的每个H和S分量的“局部二值模式LBP”描述符，按照外层若干子块的LBP编码直方图作为图像特征；具体为：

a、计算每个子块的非旋转不变LBP值，把图像中的某个像素点作为中心点，取半径为R，按照(Rcos(2π/P)，Rsin(2π/P))方法进行插值，得到的圆形采样点集作为该中心点的领域点，P为采样点个数；

b、再将中心像素点的值与其邻域像素点的值进行比较，当邻域像素点的值大于中心像素点，将该邻域位置置1；当邻域像素点的值小于中心像素点，将该邻域位置置0，之后读取圆形采样点，最终组合成一个二进制数，即为LBP_R,P码，计算如下：

其中g_c是当前像素的灰度级，g_n是其领域的灰度级，s(x)是一个符号函数；

c、对该LBP编码进行降维，限制二进制序列从0到1或从1到0的跳变次数不超过2次，最后得到降维后的编码种类；

d、按照所述a-c的方法，计算图像H和S分量的每个子块的LBP编码统计直方图，横坐标为所述编码种类的LBP编码方式，纵坐标为每个样本出现的频率，然后对该直方图进行归一化处理；

e、将得到的H和S分量的每个K_i的直方图纵坐标的值组合起来，得到整幅图的特征向量；

4)采用SVM对所述整幅图的特征向量进行训练，最终将抽象图分为“向上”和“不向上”两类，从而实现抽象图方向的自动判断。

2.根据权利要求1所述的一种基于HSI-LBP特征的抽象图方向确定方法，其特征在于，所述由RGB模型转成HSI模型：具体计算方法为：

其中R，G，B分别表示彩色图像的红，绿，蓝三个分量，H表示色调，S表示饱和度，I表示亮度，θ为色调角度。

3.根据权利要求1所述的一种基于HSI-LBP特征的抽象图方向确定方法，其特征在于，所述将经过转换的抽象图逆时针旋转四个方向，为将抽象画按照逆时针旋转0°，90°，180°，270°四个角度。

4.根据权利要求1所述的一种基于HSI-LBP特征的抽象图方向确定方法，其特征在于，将得到的四个方向的抽象画分别平均分割成3×3的9个子块，从左上角开始顺时针标注外围的8个子块为K_i，i＝1，2，……8。

5.根据权利要求1所述的一种基于HSI-LBP特征的抽象图方向确定方法，其特征在于，所述对该LBP编码进行降维，将跳变次数小于等于2和大于2的分成两类。

Images