CN106530317B - 一种简笔画计算机评分与辅助上色方法 - Google Patents

Abstract

本发明公开了一种简笔画计算机评分与辅助上色方法，包括以下步骤：步骤1、加载手绘图和模板图，进行尺寸的归一化调整和滑动窗口加权平滑处理；步骤2、提取图像边缘和轮廓，获得最优阈值和最优轮廓；步骤3、采用最优轮廓替换图像中原有轮廓，并通过膨胀和腐蚀操作获得清晰的图像轮廓；步骤4、再次提取轮廓，保存为第二层轮廓；步骤5、将提取的轮廓分解为子轮廓，计算子轮廓中心位置，形成对各中心之间的相对距离进行的形变模型；步骤6、进行轮廓的匹配，约束子轮廓的面积、形变位置，获得综合得分；步骤7、对原画作的轮廓进行伪彩色上色。上述方法能够促进人机智能交互，激发儿童学习画画兴趣，在儿童教育领域具有重要应用价值。

Description

一种简笔画计算机评分与辅助上色方法

技术领域

本发明涉及一种简笔画计算机评分与辅助上色方法，尤其是涉及一种基于轮廓强化与形变约束模型的简笔画计算机评分与辅助上色方法，属于数字图像处理领域。

背景技术

简笔画一直以来都是幼儿园和小学阶段，学生美术课上的重要科目。因其选材广泛、内容丰富、绘画逻辑清晰。小朋友可以轻松上手，快速完成。学习简笔画可以从小锻炼小朋友的审美观与审美意识，同时训练了相关眼、手、脑等器官的协调发展。

鉴于目前还没有为小朋友的简笔画评分系统，为帮助小朋友更有效的学习简笔画，设计了一种基于轮廓强化与形变约束模型的简笔画计算机评分与辅助上色方法。

目前常用的边缘检测算子(如Sobel、Roberts、Prewitt、Laplacian、Canny等)可以一定程度上检测出图像的边缘，但是对于两幅图像精准对比评分，这些算子检测出来的边缘轮廓过于粗糙。本文首先使用canny算子计算出图像边缘，然后多次使用腐蚀和膨胀算法，并遍历阈值参数从而获得最优图像轮廓和最优阈值。

发明内容

本发明提出一种简笔画的评分体系，结合了简笔画子轮廓形状相似度、各子轮廓面积比例、轮廓中心点欧式距离，三个评判标准。提出通过Hu矩对轮廓进行匹配、约束子轮廓面积、形变位置，进行综合评分。通过Hu不变矩识别简笔画这样纹理特征不复杂，物体描述性好的图像，即能发挥其识别速度快的优点，又不至过多降低其识别率。

本发明为了解决上述问题而提供的一种简笔画计算机评分与辅助上色方法，包括以下步骤：

步骤1加载手绘图和模板图，并且进行尺寸的归一化调整和滑动窗口加权平滑处理。

步骤1.1从摄像头读取手绘图片，从数据库读取模板图片，将彩色图片转换为灰度图片。

步骤1.2根据数据库模板的图片尺寸，将手绘图片进行尺寸规整化。令手绘图片宽度为W1，模板宽度为W2，手绘图片高度为H1，模板图片高度为H2，满足：

H1＝H2 (1)

W1＝W2*H1/H2 (2)

步骤1.3对手绘图像进行平滑处理，从用3×3的滑动窗口依次从左到右、从上到下对图片进行扫描，在滑动窗口内，计算9个像素点的均值，以此均值替代中心点像素的灰度值。

步骤2采用canny算子，提取图像边缘和轮廓，通过遍历阈值参数和比较轮廓数量的差异度来获得最优阈值和最优轮廓。

步骤2.1采用canny算子提取模板图的边缘，在0-255范围内遍历所有边缘提取参数阈值，从边缘提取图像内的所有轮廓，当达到预设的期望轮廓数量则终止遍历。预设数量采用经验值，在10-20之间。记录此时的边缘提取参数阈值，作为最优阈值。

步骤2.2据步骤2.1中所述的最优阈值提取模板图的轮廓，作为最优轮廓。

步骤2.3采用canny算子提取模板图的边缘，在0-255范围内遍历所有边缘提取参数阈值，从边缘提取图像内的所有轮廓，当所提取的手绘图的轮廓数量与步骤2.2中所述的最优轮廓的数量之差小于判断阈值时，则终止遍历。判断阈值采用经验值，在2-5之间。保存遍历终止时的参数阈值，作为手绘图的最优阈值。

步骤2.4将步骤2.3中所述据最优阈值提取手绘图的轮廓，并保存为手绘图的最优轮廓。

步骤3采用步骤2中所述的最优轮廓，替换图像中原有轮廓，并通过膨胀和腐蚀操作获得清晰的图像轮廓。

步骤3.1采用步骤2中所述最优轮廓替换原图生成新模板图和新手绘图，轮廓的粗细度采用经验值，可设为2或3个像素。

步骤3.2对步骤3.1中的轮廓线条，进行膨胀算子操作，过滤野点，并再次进行腐蚀算子操作，分离距离过近的线条，获得清晰的图像轮廓。

步骤3.3将图像转换为二值图像，通过遍历图像中所有像素点，求出轮廓线条区域的矩形范围，并将模板和手绘图缩放到同一尺寸。

步骤4对步骤3中所获得的清晰的轮廓，再次使用canny算子提取边缘，获得边缘信息后，再次提取轮廓，保存为第二层轮廓，边缘提取参数阈值采用固定值100。

步骤5将步骤4中所提取的轮廓，分解为子轮廓，计算子轮廓中心位置，形成对各中心之间的相对距离进行的形变模型。

5.1遍历所有子轮廓，计算子轮廓的几何质心位置构成星座图模型。

5.2设置代价函数，当子轮廓中心位置偏离原位置时，代价升高，以约束星座图模型的形变的程度。

步骤6采用Hu矩进行轮廓的匹配，约束子轮廓的面积、形变位置，获得综合得分。

步骤6.1遍历模板的所有子轮廓，判断子轮廓面积，当面积过小时舍去此子轮廓，遍历手绘图所有子轮廓，判断模板子轮廓和手绘子轮廓距离，当步骤5中所述代价过高时，舍去此子轮廓，计算子轮廓之间的Hu矩相似度，保存遍历过程中的最小值。

步骤6.2将模板子轮廓和手绘子轮廓之间最小值进行累计计分，取累计值均值为最终得分。

步骤7根据随机概率模型，对原画作的轮廓进行伪彩色上色。

步骤7.1根据均匀分布或者t分布随机概率模型，生成三维随机向量，作为颜色RGB的值。

步骤7.2根据步骤2中所述的最优轮廓，使用步骤7.1中所述的随机颜色对轮廓进行上色描绘，遍历轮廓上的所有像素点，用RGB颜色向量替换其原值。

本发明的有益效果在于：通过计算机自动打分，能够促进人机智能交互，激发儿童学习画画兴趣，在儿童教育领域具有重要应用价值。通过智能上色，可以辅助简笔画创作，提高画画过程的乐趣。通过轮廓的加强，有效提高了轮廓提取的精确度，通过对子轮廓建立形变约束模型，有效的对相似的线条进行打分，从而完成对简笔画的合理评分。

附图说明

图1为本发明涉及的计算机评分与上色流程图；

图2为本发明涉及的轮廓匹配打分算法流程图；

图3为本发明涉及的手绘图像的自适应边缘提取；

图4为本发明涉及的对手绘笔画的最优轮廓强化；

图5为本发明涉及的模板的轮廓模型提取；

图6为本发明涉及的形变约束的中心点星座图模型；

图7为本发明涉及的随机色彩矢量描绘笔画轮廓。

具体实施方式

下面结合附图对本发明作进一步阐述：

本发明的整体实施流程，如附图1所示，在计算机对作画评分前，需要用户选用简笔画的画册,根据上面的图例进行作画，通过计算机摄像头输入画作。通过运行步骤2到步骤6的评分算法获得分数，如果分数不满意则重画，如果满意则进行智能上色，通过概率模型生成随机颜色，对简笔画的轮廓进行彩色描绘，完成计算机辅助生成的画作。

如附图2所示，通过Canny算子可以进行图像的边缘提取，过程如下：

1.将图像和尺度为σ的高斯函数进行卷积

2.将图像内的每个像素，通过下式估计其局部边缘法向量n。

其中f为图像，G为2D高斯。

3.通过式(4)找到边缘位置。

4.计算边缘强度。

5.对边缘图像作滞后阈值化处理，除去虚假响应。

通过图像的边缘可以提取出图像的轮廓，过程如下：

1.将canny算子提取出来的边缘二值化；

2.计算每个像素点周围值为225的像素点个数；

3.若像素点周围像素点全为225，则将此像素点数值置为0，否则保持不变。

利用Hu矩对各个子轮廓进行相似度的计算，Hu不变矩过程如下：

1.计算图像f(x,y)的(p+q)阶中心矩μ_pq：

m_pq＝∫∫x^py^qf(x,y)dxdy p,q＝0,1,2,…(6)

μ_pq＝∫∫(x-x₀)^p(y-y₀)^qf(x,y)dxdy (8)

2.计算图像归一化中心矩y_pq：

其中：

3.计算Hu矩：

Hu矩通过使用二阶，三阶中心距构造七个不变矩，所以在连续图像的情况下，它具有平移、旋转、放缩不变性。

I₁＝y₂₀+y₀₂ (11)

I₃＝(y₃₀+3y)²+(3y₂₁-y₀₃)² (13)

I₄＝(y₃₀+y₁₂)²+(y₂₁+y₀₃)² (14)

I₆＝(y₂₀-y₀₂)[(y₃₀+y₁₂)²-(y₂₁+y₀₃)²]+4y₁₁(y₃₀+y₁₂)(y₂₁+y₀₃) (16)

如附图3所示，采用图像边缘算子可以提取出图像的边缘信息，反应了灰度值的变化梯度。此种图像边缘是断裂的、分散的，在其上进行轮廓的提取，不能获得流畅的连贯的轮廓，不适合与模板和手绘图片的对比打分。因此我们采用两次轮廓提取，将首次提取的轮廓，替换原图的断裂的边缘，获得强化后的边缘，效果如附图4所示。并且利用膨胀操作进行图像边缘噪声点的去除，利用腐蚀操作对距离过近的边缘进行分离。

膨胀操作如下：

a.将图像与内核经行卷积。

b.内核中有定义的锚点，为内核中心点。

c.膨胀操作时，将内核划过图像，内核覆盖的区域中的最大像素值提取出来，并且替代锚点处的像素值。

腐蚀操作如下：

a.将图像与内核经行卷积。

b.内核中有定义的锚点，为内核中心点。

c.腐蚀操作时，将内核划过图像，内核覆盖的区域中的最小像素值提取出来，并且替代锚点处的像素值。

如附图5所示，以模板图像为例，通过两次的轮廓提取，获得了清晰连贯的轮廓。图像的轮廓由各个相互独立的子轮廓构成，每个子轮廓构成一个闭合的拓扑结构。对整个轮廓的匹配打分，可通过对各个子轮廓的匹配打分完成。

如附图6所示，将各个子轮廓的几何中心点提取出来，构成星座图模型。通过约束各点之间的距离，来达到对形变的约束。以A、B、C、D四点为例，A到其余三点的距离必须以模板中的距离数值为参照，不能超过一定的变化范围。采用高斯分布对其形变建模，可得：

a.假设模版中A点到BCD三点的欧式距离记为μ_AB，μ_AC，μ_AD。

b.待检测图像中的A点到BCD三点的欧式距离记为样本x_AB，x_AC，x_AD。

c.样本x到μ的差为：D(x)＝|x-μ|，D(x)服从高斯分布，均值为0，方差为σ。

d.偏移概率密度函数为：取概率阈值p，令D(x)≤p来限定形变约束。

如附图7所示，将最优轮廓与原图进行合并，使得原有简笔画更加清晰流畅，生成随机RGB颜色对边缘进行上色，使得原有简笔画更加丰富生动，图中不同的灰度值代表对轮廓的不同分割，不同区域进行不同颜色的替换。

以上所述实施例，只是本发明的较佳实例，并非来限制本发明的实施范围，故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

Claims (4)

1.一种简笔画计算机评分与辅助上色方法，其特征在于，包括以下步骤：

步骤1加载手绘图和模板图，并且进行尺寸的归一化调整和滑动窗口加权平滑处理；

步骤2采用canny算子，提取图像边缘和轮廓，通过遍历阈值参数和比较轮廓数量的差异度来获得最优阈值和最优轮廓；

步骤3采用步骤2中所述的最优轮廓，替换图像中原有轮廓，并通过膨胀和腐蚀操作获得清晰的图像轮廓；

步骤4对步骤3中所获得的清晰的轮廓，再次使用canny算子提取边缘，获得边缘信息后，再次提取轮廓，保存为第二层轮廓，边缘提取参数阈值采用固定值100；

步骤5将步骤4中所提取的轮廓，分解为子轮廓，计算子轮廓中心位置，形成对各中心之间的相对距离进行约束的形变模型；

步骤6采用Hu矩进行轮廓的匹配打分，当子轮廓的面积过小、或形变位置过大时舍弃该子轮廓；

步骤7根据随机概率模型，对原画作的轮廓进行伪彩色上色。

2.根据权利要求1所述的一种简笔画计算机评分与辅助上色方法，其特征在于，所述步骤2具体包括：

步骤2.1采用canny算子提取模板图的边缘，在0-255范围内遍历所有边缘提取参数阈值，从边缘提取图像内的所有轮廓，当达到预设的期望轮廓数量则终止遍历，预设数量采用经验值，在10-20之间，记录此时的边缘提取参数阈值，作为最优阈值；

步骤2.2据步骤2.1中所述的最优阈值提取模板图的轮廓，作为最优轮廓；

步骤2.3采用canny算子提取手绘图的边缘，在0-255范围内遍历所有边缘提取参数阈值，从边缘提取图像内的所有轮廓，当所提取的手绘图的轮廓数量与步骤2.2中所述的最优轮廓的数量之差小于判断阈值时，则终止遍历，判断阈值采用经验值，在2-5之间，保存遍历终止时的参数阈值，作为手绘图的最优阈值；

步骤2.4将步骤2.3中所述手绘图的最优阈值提取手绘图的轮廓，并保存为手绘图的最优轮廓。

3.根据权利要求1所述的一种简笔画计算机评分与辅助上色方法，其特征在于，所述步骤3具体包括：

步骤3.1采用步骤2中所述最优轮廓替换原图生成新模板图和新手绘图，轮廓的粗细度采用经验值，可设为2或3个像素；

步骤3.2对步骤3.1中的轮廓，进行膨胀算子操作，过滤野点，并再次进行腐蚀算子操作，分离距离过近的线条，获得清晰的图像轮廓；

步骤3.3将新模板图和新手绘图转换为二值图像，通过遍历图像中所有像素点，求出轮廓线条区域的矩形范围，并将新模板图和新手绘图缩放到同一尺寸。

4.根据权利要求1所述的一种简笔画计算机评分与辅助上色方法，其特征在于，所述步骤6具体包括：

步骤6.1遍历模板的所有子轮廓，判断子轮廓面积，当面积过小时舍去此子轮廓，遍历手绘图所有子轮廓，判断模板子轮廓和手绘子轮廓距离，对步骤5中所述的形变模型，计算各中心之间的相对距离，当相对距离的绝对值的总和过高时，舍去此子轮廓，计算子轮廓之间的Hu矩相似度，保存遍历过程中的最小值；

步骤6.2将模板子轮廓和手绘子轮廓之间最小值进行累计计分，取累计值均值为最终得分。