CN105528791B - 一种面向触摸屏手绘图像的质量评价装置及其评价方法 - Google Patents

Abstract

本发明提供一种面向触摸屏手绘图像的质量评价装置及其评价方法，方法过程是：提取模板手绘图的主体图，去除图片多余的空白，对手绘图进行去噪处理，将灰度值小于某个阈值的像素点过滤掉，然后提取调整主体图的长宽比，使得与模板图的主体图一致，构造图片空间金字塔，提取金字塔中每层图片的HOG特征，将所有层的HOG特征连接起来作为该图片的特征，将用户手绘图的特征与模板图的特征进行相对应层的距离计算，并将计算的结果作为学习排序模型的输入，通过学习，最后得到排序模型利用图片的排序值，分别计算该类图片下的各个分数的高斯模型，用该评分模型对待评分的图片进行评估分数。

Description

一种面向触摸屏手绘图像的质量评价装置及其评价方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种面向触摸屏手绘图像的质量评价装置及其评价方法。

背景技术

随着移动设备的广泛应用，运行在这些设备上的应用种类也越来越丰富。现在有来自一个绘图应用的实际需求，用户根据提供的模板线条图进行临摹，该应用需对用户的临摹图进行评估，并给出个分数，从而引导用户学画画。此类应用属于计算机辅助教学，属于人机交互的范畴。

图片质量评估技术，涉及到模式识别和图像处理、人工智能、计算机等学科；也涉及绘画学，认知心理学，生物学等，是一门综合性很强的技术。近年来，计算机辅助学习技术的研究已开始出现，取得了很大的进步，但图片质量评估技术却十分少见。现有的技术方案中并没有直接提供图片分数评估技术。

发明内容

本发明提供一种面向触摸屏手绘图像的质量评价方法，该方法基于学习排序的图片评分模型，可对用户的手绘图进行评价并给出分数。

该发明的又一目的在于提供一种面向触摸屏手绘图像的质量评价装置。

为解决上述技术问题，本发明的技术方案如下：

一种面向触摸屏手绘图像的质量评价装置，包括手绘图像样本采集模块和手绘图像的质量评价模块；

手绘图像样本采集模块，采用移动终端触摸屏作为用户接口，用于对手绘图像进行样本采集、表达、分类及标注；

手绘图像的质量评价模块，用于对手绘图像样本采集模块处理后的图像进行评价。

一种面向触摸屏手绘图像的质量评价方法，手绘图像的质量评价模块对手绘图像样本采集模块处理后的图像进行评价，包括以下步骤：

S1：预处理，将模板手绘图像转化成灰度图像，并在模板手绘图像中提取出 主体图，并调整主体图的长宽比，使得与模板手绘图像一致，调整后的主体图居中显示；

S2：特征提取，构造调整后的主体图空间金字塔，提取金字塔中每层图像的HOG特征，将所有层的HOG特征连接起来作为该原始的手绘图像的特征；

S3：将用户手绘图像的特征与模板手绘图像的特征进行相对应层的距离计算，并将计算的结果和图像分数标签作为学习排序模型的输入，通过学习，最后得到用户手绘图像排序模型；

S4：利用用户手绘图像的排序值，分别计算该类图像下的各个评价分数的高斯模型；

S5：利用高斯模型对待评分的用户手绘图像进行评估分数。

进一步地，所述步骤S1包括模板手绘图像的主体图提取，去噪处理，调整长宽比，具体操作如下：

提取模板手绘图像的主体图，去除图片多余的空白；去噪处理，将灰度值小于某个阈值的像素点过滤掉；调整主体图的长宽比，使得与模板手绘图像一致，并使调整后的主体图居中显示。

进一步地，所述步骤S2的具体过程如下：

对整后的主体图进行有限次的尺度取样，取样时先进行高斯平滑，每一层的分辨率都是下一层的1/4，随后，在图像每一层金字塔上计算HOG特征，在图像每一层金字塔上计算HOG特征时，使HOG特征中单元方格的大小自适应，让每个方格的大小跟图片的分辨率大小成正比，保证不同大小的图片划分的单元方格的数量是相同的；将每一层的特征连接起来，得到特征I＝(I_L1,…,I_Ln)，I_Ln为金字塔上第Ln层的特征。

进一步地，所述步骤S3-S4具体过程如下：

1)构造特征映射：

其中，T为模板手绘图像的特征，I为用户手绘图像的特征，dist为卡方距离函数，以该特征映射作为Ranking SVM的输入学习得到排序模型f(x)；

2)根据训练得到的排序模型f(x)，计算出所有手绘图的排序值，然后利用图像的排序值，分别计算同类图像下的各个评价分数的高斯模型，即计算得出排 序值的均值和方差。

进一步地，所述步骤S3中学习排序模型的模型学习具体操作如下：

对于一个待评分的手绘图x，首先计算其排序值，然后根据对应类别下的各个评价分数高斯模型，找出使该排序值概率最大的高斯模型，预测的该待评分的手绘图x的分数即为该高斯模型代表的分数，

其中，s为图片的预测分数，n为该类图片下的第n个高斯模型，y为待打分的手绘图的排序值，σ和μ为高斯模型的参数。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法提取模板手绘图的主体图，去除图片多余的空白，对手绘图进行去噪处理，将灰度值小于某个阈值的像素点过滤掉，然后提取调整主体图的长宽比，使得与模板图的主体图一致，构造图片空间金字塔，提取金字塔中每层图片的HOG特征，将所有层的HOG特征连接起来作为该图片的特征，将用户手绘图的特征与模板图的特征进行相对应层的距离计算，并将计算的结果作为学习排序模型的输入，通过学习，最后得到排序模型利用图片的排序值，分别计算该类图片下的各个分数的高斯模型，用该评分模型对待评分的图片进行评估分数。

附图说明

图1为实施例1中本发明装置的示意图；

图2为实施例2中本发明方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种面向触摸屏手绘图像的质量评价装置，包括手绘图像样本 采集模块和手绘图像的质量评价模块；

手绘图像样本采集模块，包括图片采集模块及预处理模块，采用移动终端触摸屏作为用户接口，用于对手绘图像进行样本采集、表达、分类及标注；

手绘图像的质量评价模块，包括多尺度空间特征提取模块、学习排序模块和图片质量评估模块，用于对手绘图像样本采集模块处理后的图像进行评价。

实施例2

如2所示，一种面向触摸屏手绘图像的质量评价方法，包括：

1、预处理

该步骤首先将RGB格式的图片转化成灰度图像。然后对手绘图进行去噪处理，将灰度值小于某个阈值的像素点过滤掉，这些噪点会影响到我们提取主体图的操作。由于在原始图像中，用户所画的图的位置并不都是固定不变的，如果直接在原始的图像上提取特征，即使画出来的图像是完全相同的，其特征也会呈现出很大的差异。这是因为基于HOG的特征，都会记录图片空间的梯度分布。为了使提取的特征具有平移不变性，我们将在原始的图片中提取出主体图，并调整主体图的长宽比，使得与模板图一致，调整后的主体图居中显示。为了方面叙述，作如下设定，下文所说的图片即为经过预处理后的图片。

2、特征提取

(1)该步骤首先构造图片的空间尺度金字塔，每张图片做有限次的尺度取样，取样时先进行高斯平滑，每一层的分辨率都是下一层的四分之一。随后，在图片每一层金字塔上计算HOG特征。最后将每一层的特征连接起来，得到特征I＝(I_L1,…,I_Ln)，I_Ln为金字塔上第Ln层的特征。在本发明中，Ln为4。

(2)方向梯度直方图(HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。其基本思想是，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好的刻画。图片通常首先被分割成单元方格(cell)，然后采集单元方格里各像素点的梯度的或边缘方向的直方图。单元方格里的直方图量化成K个区间(bin)，每个区间的值代表着在某些角度范围的像素梯度对此区间的贡献，通常可以采取加权的梯度强度。通常单元方格的分辨率大小是固定的，由于基本上所有主体图的分辨率大小都是不同的，这将造成每个图片的单元方格的数量是不同的，分辨率大的图片划分的单元方格数量将多于分辨率小的图片，那么，提取出的特征的维度会不一致。为了保持特征维度一致，不受分辨率影响， 我们使单元方格的大小自适应，即每个方格的大小跟图片的分辨率大小成正比，保证不同大小的图片划分的单元方格的数量是相同的。在本发明中，每层提取HOG特征时，将直方图方向量化为18个区间，采用有向方向梯度，块大小为2*2，块与块之间不重叠，单元方格大小为1/2Ln*第Ln层图片的分辨率。

3、学习排序模型

(1)Ranking SVM是解决排序问题的典型算法。它的核心思想是将排序问题转化成分类问题。假设存在很多图片，并且每张图片标记有对应的分值，通过训练，Ranking SVM能得到排序函数f(x)＝<w,x>的权值向量w(x为图片特征)，并将图片映射成一个排序值。我们希望函数f(x)能将分数高的图片映射成较大的排序值，将分数低的图片映射成较小的排序值。

对于图片质量评估这个问题，有两点是需要注意的。

a)由于人为的给图片评注分数是充满噪音的，也就是说由于每个人的喜好不同，对于同一张图片都可能打出不一样的分数；

b)分数越高和分数越低的图片的分数的噪音是越小的。这是因为人们对越相似的图片和画的机器糟糕的图片的认同感是一致的。所以，对于分数越高的图片和分数越低的图片，它们的排序关系应该得到较高精度的。

基于以上的观察，不同分数对的图片的正则因子应该是不同的，我们将RankingSVM的目标函数重新定义为：

s.t. w^T(x_i-x_j)≥1-ξ_ij

其中,C_ij为自适应的正则因子。我们可以通过二次规划的方法求解上面的问题。

(2)正则因子C_ij的定义。分数差距越大的图片之间特征的差异是比较大的，反而相近似图片直接的特征难以区分开来，很大一部分原因是，人们评估图片分 数时的不确定性。分数3的图片很可能评为了4分或者2分，但是却很少将其评为1分或者5分。因此，分数相近的正则因子应该比分数差距大的正则因子大。在本文中，我们将定义为：

其中，Ω为要寻优的常数，S_i，S_j分别为第i张和第j张图片的分数。

(3)常数参数Ω的确定。相同分数图片的排序值之间的方差应该越小越好。方差越小，代表模型更稳定，从而分数评估的效果也更精确。并且我们希望不同分数的排序值很好地区分开。为了评估排序的效果，我们用错误排序对率作为评估测度。下面将给出定义。

给定一组图片D＝{I1,…,Im}，及在D×D上的两个排序关系ra和rb，即若一个有序对(Ii,Ij)∈r，则图片Ii的排序高于Ij，即Ii>Ij，否则(Ii,Ij)r。对于(Ii,Ij)∈ra，但(Ii,Ij)rb，则我们称(Ii,Ij)为一个错误排序对，否则(Ii,Ij)为正确的排序对。因此，错误排序对率＝错误排序对的数量/正确的排序对数量在训练阶段，我们通过区间寻优，选择Ω的一个值，使得错误排序对率和各相同分数图片排序值之间的方差越小越好。

(4)分数评估

通过训练之后，我们得到了一个排序函数f(x)，我们将每张训练集中的图片都映射成排序值。通过观察，相同分数图片的排序值都相对集中在某个区间。我们提出，每个分数下的图片的排序值都服从一个高斯分布，因此，我们的分数评估方法总结如下：

1)通过Ranking SVM得到排序函数f(x)；

2)通过f(x)，计算训练集中的所有图片的排序值；

3)利用图片的排序值，分别计算每类图片下的各个分数的高斯模型，即计算得出排序值的均值和方差；

4)对于一个测试图片x，首先计算其排序值，然后根据对应类别下的高斯模型，找出使该排序值概率最大的高斯模型，测试图片的的分数即为该高斯模型代表的分数。即

其中，s为图片的预测分数，n为该类图片下的第n个高斯模型，y为测试图片的排序值，σ和μ为高斯模型的参数。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种面向触摸屏手绘图像的质量评价装置，其特征在于，包括手绘图像样本采集模块和手绘图像的质量评价模块；

手绘图像样本采集模块，采用移动终端触摸屏作为用户接口，用于对手绘图像进行样本采集、表达、分类及标注；

手绘图像的质量评价模块，用于对手绘图像样本采集模块处理后的图像进行评价；

手绘图像的质量评价模块对手绘图像样本采集模块处理后的图像进行评价，包括以下步骤：

S1：预处理，将模板手绘图像转化成灰度图像，并在模板手绘图像中提取出主体图，并调整主体图的长宽比，使得与模板手绘图像一致，调整后的主体图居中显示；

S2：特征提取，构造调整后的主体图空间金字塔，提取金字塔中每层图像的HOG特征，将所有层的HOG特征连接起来作为该原始的手绘图像的特征；

S3：将用户手绘图像的特征与模板手绘图像的特征进行相对应层的距离计算，并将计算的结果和图像分数标签作为学习排序模型的输入，通过学习，最后得到用户手绘图像排序模型；

S4：利用用户手绘图像的排序值，分别计算用户手绘图像下的各个评价分数的高斯模型；

S5：利用高斯模型对待评分的用户手绘图像进行评估分数。

2.根据权利要求1所述的面向触摸屏手绘图像的质量评价装置，其特征在于，所述步骤S1包括模板手绘图像的主体图提取，去噪处理，调整长宽比，具体操作如下：

提取模板手绘图像的主体图，去除图片多余的空白；去噪处理，将灰度值小于某个阈值的像素点过滤掉；调整主体图的长宽比，使得与模板手绘图像一致，并使调整后的主体图居中显示。

3.根据权利要求2所述的面向触摸屏手绘图像的质量评价装置，其特征在于，所述步骤S2的具体过程如下：

对调整后的主体图进行有限次的尺度取样，取样时先进行高斯平滑，每一层的分辨率都是下一层的1/4，随后，在图像每一层金字塔上计算HOG特征，在图像每一层金字塔上计算HOG特征时，使HOG特征中单元方格的大小自适应，让每个方格的大小跟图片的分辨率大小成正比，保证不同大小的图片划分的单元方格的数量是相同的；将每一层的特征连接起来，得到特征I＝(I_L1,…,I_Ln)，I_Ln为金字塔上第Ln层的特征。

4.根据权利要求3所述的面向触摸屏手绘图像的质量评价装置，其特征在于，所述步骤S3-S4具体过程如下：

1)构造特征映射：

其中，T为模板手绘图像的特征，I为用户手绘图像的特征，di st为卡方距离函数，以该特征映射作为Ranking SVM的输入学习得到排序模型f(x)；

2)根据训练得到的排序模型f(x)，计算出所有手绘图的排序值，然后利用图像的排序值，分别计算同类图像下的各个评价分数的高斯模型，即计算得出排序值的均值和方差。

5.根据权利要求4所述的面向触摸屏手绘图像的质量评价装置，其特征在于，所述步骤S3中学习排序模型的模型学习具体操作如下：

对于一个待评分的手绘图x，首先计算其排序值，然后根据对应类别下的各个评价分数高斯模型，找出使该排序值概率最大的高斯模型，预测的该待评分的手绘图x的分数即为该高斯模型代表的分数，

其中，s为图片的预测分数，n为该类图片下的第n个高斯模型，y为待打分的手绘图的排序值，σ和μ为高斯模型的参数。