CN1996347A - 一种基于书法图像的可视化重现方法 - Google Patents

Abstract

本发明公开了一种基于书法图像的可视化重现方法，用来根据一输入的书法文字图像来产生对应书写过程的动画序列，其特征是：输入的书法文字图像进行字体提取轮廓后应用细化算法，得到文字的骨架信息，然后通过字体结构分析对文字进行部首切分，接着对文字的各个部首按照平滑度规则提取笔顺，并结合书写规则完成整个文字的笔顺提取，然后使用轮廓最大包围度算法提取文字的笔宽，最后由客户端播放模块中的播放引擎根据笔顺和笔宽等信息重现书法文字的虚拟书写过程。本发明提供的书法图像可视化重现方法能够根据一幅图像快速产生文字的书写过程的动画序列，具有极大的创新性，在计算机辅助教学、影视制作等方面有较高的应用价值。

Description

一种基于书法图像的可视化重现方法

技术领域

本发明涉及计算机图像及三维动画技术领域，尤其涉及一种基于书法图像的可视化重现方法。

背景技术

中国书法是中国文化的一种重要体现形式，提供一种新的方法让人们更加深入地了解和熟悉中国书法，特别是让中国书法艺术走出世界，让世界了解中国书法艺术并爱上书法艺术，而不仅让她成为书法家的专利或特权就具备了重要的社会意义和学术意义。

目前对书法方面的应用开发，得到了许多研究者的关注，但是书法图像的可视化重现还是一个空白的领域。在现代数字图像处理(麦特尔等著)公布的轮廓提取算法可以得到文字图像的轮廓信息。在模式识别信件(Pattern Recognition Letters，13：5--12，1992)公布的细化方法可以得到形状的骨架信息。在第10届计算机图像和应用太平洋会议论文集(Proc.Pacific Graphics 2002，Beijing，China，pp.439-441)公布的方法是台湾国立大学开发的交互式触觉系统，当用户拿着输入设备，该设备可以模拟出写字过程中的作用力从而给用户以实际的感受。该系统主要通过建立以下基本模型来实现：毛笔的3D模型，可以模拟毛的弹性特性；Ink-spreading模型：模拟墨水在纸上的渲染效果。第九届国际信息可视化会议论文集(Proceedings of the Ninth International Conference on InformationVisualisation，London，England，p.221-226)公布的方法通过采用一个参数化的VirtualBrush模型系统来合成具有真实感的中文书法创作，系统通过参数化的模型来模拟物理书写笔划的过程，其中参数化模型包括：3D的毛笔几何模型；笔毛的特性模型；笔划中的墨水模型；并通过对一些常用中文字体风格：楷体、隶书、行书等建立相互关系，实现了不同细节程度上模拟文字不同的笔触效果，然后结合特定的人机界面技术，可以让用户进行电子书法的创作。在2006国际多媒体和展览会会议论文集(2006 International Conference 0nMultimedia & Expo，WEB BASED CHINESE CALLIGRAPHY LEARNING WITH 3-D VISUALIZATIONMETHOD，Toronto，Canada)公布了通过对文字的各个部首按照平滑度规则提取笔顺，并结合书写规则完成整个文字的笔顺提取的方法。

书法可重视化过程的研究中的一个关键点就是通过对一幅离线的书法图像提取文字的笔顺和笔宽。对于笔顺的提取，一直作为文字识别中的一个关键研究方向得到了广泛的关注，早在1996年IEEE第13届模式识别国际会议(Proc.13th Int’l Conf.Pattern Recognition，pp.150-154)公布的方法中首先假设在手写体书写过程中使用最小曲率，然后将问题转换为旅行者问题来完成笔顺的提取，这种方法在针对中文书法字多个部首的笔顺提取上还有很大的局限性；还有学者提出了根据骨架的连通信息进行笔顺提取，如《模式分析和机器学习学报》杂志2000年第22卷中(IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE，VOL.22，NO.9，pp.938-949，SEPTEMBER 2000)公布了对一笔完成的手写文字图像进行笔顺提取的方法，该方法首先按照骨架上边的性质进行标注，然后通过利用标注信息对图从起始点到终止点进行跟踪来恢复时序信息，这种方法需要一个标注的过程，且运算量比较大。

发明内容

本发明的目的是提供一种基于书法图像的可视化重现方法。

包括以下步骤：。

1)对输入的书法文字图像进行字体轮廓提取；

2)对字体轮廓使用细化算法，得到文字的骨架信息；

3)字体结构分析，假设G＝{g₁，g₂，...，g_n}表示骨架图，其中g_i为子图或者部首，子图由一组互相之间有通路连接的基本笔划组成，通过字体结构分析算法来计算G中任何两个子图之间的位置关系得到文字的结构；

4)对文字的各个部首按照平滑度规则提取笔顺，并结合书写规则完成整个文字的笔顺提取；

5)笔宽信息w的提取，对骨架点按照最大轮廓包围度算法进行笔宽信息w的提取；

6)可视化重现前台播放引擎的实现，其中包括书法书写虚拟场景中毛笔模型、纸张模型、墨迹轨迹点模型的真实感显示过程；

所述的对输入的书法文字图像进行字体轮廓提取：轮廓提取的算法通过掏空内部点得到，如果原图中有一点为黑，且它的8个相邻点都是黑色时，则此点是内部点，将该点删除，并最终完成轮廓提取过程。

字体结构分析，假设G＝{g₁，g₂，...，g_n}表示骨架图，其中g_i为子图，子图由一组互相之间有通路连接的基本笔划组成，通过字体结构分析算法来计算G中任何两个子图之间的位置关系得到文字的结构：当文字图像的骨架信息提取完，用G＝{g₁，g₂，...，g_n}来定义骨架图，其中g_i为子图，子图是由一组互相之间有通路连接的基本笔划组成，为获取骨架图中任意两个子图g_k和g_l之间的位置关系，其中g_k是由a个笔划组成，记作{s₁，s₂，...，s_a}，g_l由b个笔划组成，记作{s₁，s₂，...，s_b}，两个子图之间的位置关系通过一个二元组R＝{R_h，R_v}来表示，其中R_h和R_v分别表示水平方向和垂直方向的位置关系，子图间的位置关系总共可以分为四类：负X轴方向、正X轴方向、负Y轴方向、正Y轴方向，通过下面的公式来计算R_h，

R_h＝T(h_l，h_r，其中 $T=\left\{\begin{array}{c}1,\mathrm{if}(h_l>h_r)\\ 0,\mathrm{if}(h_l=h_r)\\ -1,\mathrm{if}(h_l<h_r)\end{array}\right\}$ ，h_l表示g_k在g_l负X轴方向的可能性，h_r表示g_k在g_l币X轴方向的可能性，R_v、h_l和h_b也通过类似R_h，h_l和h_r的方法来进行定义，h(统一代表h_l，h_r，h_t，h_b)通过下面的公式进行计算：

$h=\frac{\underset{i=1,j=1}{\overset{i=a,j=b}{\mathrm{\&Sigma;}}}p(f_1\left(s_i\right),f_2\left(s_j\right))}{a*b}$ ，s_i∈g_k，s_j∈g_l，其中 $p=\left\{\begin{array}{c}0,\mathrm{if}(f_1\left(s_i\right)\&GreaterEqual;f_2\left(s_j\right))\\ 1,\mathrm{if}(f_1\left(s_i\right)<f_2\left(s_j\right))\end{array}\right\},$

函数f₁和f₂根据不同的方向会有不同的函数定义，具体函数的定义参见下表中的详细定义，

位置关系	f1	f2
			hl	Max(vs.x，ve.x)	Min(vs′x，ve′x)
hr	Min(vs.x，ve.x)	Max(vs′x，ve′x)
			ht	Max(vs.y，ve.y)	Min(vs′.y，ve′.y)
hb	Min(vs.y，ve.y)	Max(vs′.y，ve′.y)

通过以上方法，分析出文字的字体结构信息。

笔宽信息w的提取：对骨架点按照最大轮廓包围度算法进行笔宽信息w的提取；笔宽信息w按如下方法计算，d表示目标像素点到最外层的环的距离，且该环上的所有点都是黑色的点，该环上的数目用T_b来表示，T_d+1表示为灰色环上黑点的数目，灰环是从目标点出发的第一个不是所有点都为黑色的环(见图7)，灰环上所有黑点的数目记作T_d+1，T_d+1＝(2(d+1)-1)²-(2d-1)²＝8d，因此，w公式计算为：

$w=d+\frac{T_b}{T_{d+1}}---1.$

可视化重现前台播放引擎的实现，其中包括书法书写虚拟场景中毛笔模型、纸张模型、墨迹轨迹点模型的真实感显示过程：客户端可视化重现书写过程重现过程在选择特定的文字图像后，书法数据提取引擎完成从后台数据库的文字笔顺和笔宽信息的提取和重构，在客户端播放模块中装载毛笔、纸张等模型，按照文字笔顺的时序信息完成毛笔运动轨迹和墨迹轨迹点真实感显示过程。

本发明的有益效果：

1.该方法根据书法图像完成书法书写过程的可视化再现的动画，是计算机图形和三维真实感显示技术结合书法艺术的一个新应用；

2.该方法在书法图像的笔顺提取方面采用文字的字体结构分析，并结合了汉字本身的书写规则来完成笔顺的提取过程；

3.该方法根据最大轮廓包围度算法完成了对骨架点笔宽信息w的快速提取；

4.该方法采用重建毛笔、纸张、墨点运动轨迹模型实现书法过程的可视化再现，结果真实自然，具有较高的可信度。

附图说明

图1是基于书法图像的可视化重现方法流程示意图；

图2是本发明的客户端播放模块场景示意图；

图3(a)是原始文字图像示意图；

图3(b)是原始文字图像的轮廓示意图；

图3(c)是图像的骨架和字体结构分析示意图；

图4是播放引擎在书法书写重现过程中的屏幕截图；

图5(a)是原始文字图像示意图；

图5(b)是原始文字图像的轮廓示意图；

图5(c)是图像经细化算法后的骨架示意图；

图5(d)是骨架的字体结构分析示意图；

图5(e)是笔顺提取后线段的书写顺序的示意图；

图6是播放引擎在书法书写重现过程中的屏幕截图，截图的时间间隔为3秒/幅；

图7是笔宽信息提取示意图；

具体实施方式

一种基于书法图像的可视化重现方法，其目的是根据输入的一张书法文字图像来实现书法书写过程的动画序列，具体实施的技术方案及步骤如下：提取书法图像的骨架信息，提取文字的笔顺信息和笔宽信息。对于笔顺的提取，我们采用了结合汉字文字结构分析方法来进行笔顺提取，并最后实现三维模型的构建来虚拟可视化书写的动画重现过程。

测试图像为书法文字图像，我们离线地规整所有图像并去掉噪声，且每幅图像中只包含一个独立的文字。为了建立包含多种文字的重现样本集，我们对100个文字图像进行规整，书法文字图像有不同作者不同年代的代表作，字体包括楷书、行楷、行书、草书等多种类型。图1是本发明的详细流程图。根据图1所示，方法流程主要由6个步骤：

步骤1：对输入的书法文字图像进行字体轮廓提取；

步骤2：图像细化：在原始图像使用图像细化算法，将图像中的粗线进行剥离，得到宽度为一个像素点的骨架信息。

步骤3：字体结构分析，分析字体结构的过程如下：当文字图像的骨架信息提取完，可用G＝{g₁，g₂，...，g_n}来定义骨架图，其中g_i为子图，子图是由一组互相之间有通路连接的基本笔划组成，为获取子图g_k和g_l之间的位置关系，其中g_k是由a个笔划组成，计作{s₁，s₂，...，s_a}，g_l由b个笔划作成，可以记作{s₁，s₂，...，s_b}，两个子图之间的位置关系通过一个二元组R＝{r_h，r_v}来进行表示，其中R_h表示水平方向的位置关系，R_v表示垂直方向的位置关系，相互的位置关系总共可以分为四类：负X轴方向、正X轴方向、负Y轴方向、正Y轴方向，通过下面的公式来计算R_h，

R_h＝T(h_l，h_r)，其中 $T=\left\{\begin{array}{c}1,\mathrm{if}(h_l>h_r)\\ 0,\mathrm{if}(h_l=h_r)\\ -1,\mathrm{if}(h_l<h_r)\end{array}\right\}$ ，h_l表示g_k在g_l负X轴方向的可能性，h_r表示g_k在g_l正X轴方向的可能性，R_v、h_t和h_b也通过类似R_h，h_landh_r的方法来进行定义，h(统一代表h_l，h_r，h_l，h_b)可以通过下面的公式进行计算：

$h=\frac{\underset{i=1,j=1}{\overset{i=a,j=b}{\mathrm{\&Sigma;}}}p(f_1\left(s_i\right),f_2\left(s_j\right))}{a*b}$ ，s_i∈g_k，s_j∈g_l，其中 $p=\left\{\begin{array}{c}0,\mathrm{if}(f_1\left(s_i\right)\&GreaterEqual;f_2\left(s_j\right))\\ 1,\mathrm{if}(f_1\left(s_i\right)<f_2\left(s_j\right))\end{array}\right\},$

函数f₁和f₂根据不同的方向会有不同的函数定义，具体函数的定义参见下表中的详细定义，

位置关系	f1	f2
			hl	Max(vs.x，ve.x)	Min(vs′x，ve′x)
hr	Min(vs.x，ve.x)	Max(vs′x，ve′x)
			ht	Max(vs.y，ve.y)	Min(vs′.y，ve′.y)
hb	Min(vs.y，ve.y)	Max(vs′.y，ve′.y)

步骤4：得到文字的字体结构后，利用汉字书写规则对文字的每个子笔划或部首使用平滑度算法来进行笔顺重建；实验结果证明，本方法在提取笔顺在针对一些特殊风格的字体如行草或草书上，能够有效提出字体结构信息，有效地提高了笔顺提取的正确率。

步骤5：笔宽提取：利用文字的轮廓使用最大轮廓包围度算法进行笔宽计算，笔宽信息w按如下方法计算，d表示目标像素点到最外层的环的距离，且该环上的所有点都是黑色的点，该环上的数目用T_b来表示，T_d+1表示为灰色环上黑点的数目，灰环是从目标点出发的第一个不是所有点都为黑色的环(见图7)，灰环上所有黑点的数目记作T_d+1，T_d+1＝(2(d+1)-1)²-(2d-1)²＝8d，因此，w公式计算为：

$w=d+\frac{T_b}{T_{d+1}}.$

步骤6：选择特定的文字图像后，书法数据提取引擎完成从后台数据库的文字笔顺和笔宽信息的提取和重构，在客户端播放模块中装载毛笔、纸张模型，按照文字笔顺的时序信息完成毛笔运动轨迹和墨迹轨迹点真实感显示过程。

实施例1：

图3(a)是输入的原始书法文字图像“静”

1)首先是对该文字图像提取完轮廓，轮廓提取的结果如图3(b)所示。

2)对文字轮廓运用细化算法，细化时将轮廓中的粗线进行逐层剥离，最后得到宽度仅为一个像素点的骨架信息，细化结果如图3(c)中的点线所示。

3)按照骨架信息，可以得到该文字共有4个子图组成，在图3(c)中分别使用绿色、蓝色、橘黄色，分别用g₁，g₂，g₃来表示。对3个子图使用字体结构分析算法后，得到以下结果：

子图	Rh	Rv
			g1-g2	0	1
g1-g3	1	0
			g2-g3	1	0

从上表的结果中，分析出该字为左右结构，左边则是上中下结构。

4)结合书写规则，按照先左后右，先上后下，即g₁，g₂，g₃的先后次序逐个对3个子图按照平滑度规则提取笔顺；

5)按照轮廓最大包围度算法提取文字的笔宽，按照笔宽的定义公式1，逐个计算骨架上的宽度信息，然后将笔顺和笔宽信息写入数据库，完成书法图像预处理阶段的任务；

6)用户在客户端进行播放时，首先选择该文字图像后，此时书法数据提取引擎会按照选定的文字从后台数据库进行文字笔顺和笔宽信息的提取和重构，在客户端播放模块中装载毛笔、纸张等模型，按照文字笔顺的时序信息完成毛笔运动轨迹和墨迹轨迹点真实感显示过程。

图4是播放引擎在书法书写重现过程中的屏幕截图；

实施例2：

图5(a)是输入的原始书法文字图像“清”

1)首先是对该文字图像提取完轮廓，轮廓提取的结果如图5(b)所示。

2)对文字轮廓运用细化算法，细化时将轮廓中的粗线进行逐层剥离，最后得到宽度仅为一个像素点的骨架信息，细化结果如图5(c)所示。

3)按照骨架信息，可以得到该文字共有4个子图组成，在图5(d)中分别使用绿色、蓝色、紫色、橘黄色，分别用g₁，g₂，g₃，g₄来表示。对4个子图使用字体结构分析算法后，得到以下结果：

子图	Rh	Rv
			g1-g2	0	1
g1-g3	0	1
			g1-g4	1	0
g2-g3	0	1
			g2-g4	1	0
g3-g4	1	0

从上表的结果中，分析出该字为左右结构，左边则是上中下结构。

4)结合书写规则，先左后右，先上后下，即g₁，g₂，g₃，g₄的先后次序逐个对4个子图按照平滑度规则提取笔顺，笔顺提取后线段的书写顺序如图5(e)；

5)按照轮廓最大包围度算法提取文字的笔宽，按照笔宽的定义公式1，逐个计算骨架上的宽度信息，然后将笔顺和笔宽信息写入数据库，完成书法图像预处理阶段的任务；

6)用户在客户端进行播放时，首先选择该文字图像后，此时书法数据提取引擎会按照选定的文字从后台数据库进行文字笔顺和笔宽信息的提取和重构，在客户端播放模块中装载毛笔、纸张等模型，按照文字笔顺的时序信息完成毛笔运动轨迹和墨迹轨迹点真实感显示过程。

图6是播放引擎在书法书写重现过程中的多个屏幕截图，截图的时间间隔为3秒/幅。

Claims (5)

1.一种基于书法图像的可视化重现方法，其特征在于包括以下步骤：

1)对输入的书法文字图像进行字体轮廓提取；

2)对字体轮廓使用细化算法，得到文字的骨架信息；

3)字体结构分析，假设G＝{g₁，g₂，...，g_n}表示骨架图，其中g_i为子图或者部首，子图由一组互相之间有通路连接的基本笔划组成，通过字体结构分析算法来计算G中任何两个子图之间的位置关系得到文字的结构；

4)对文字的各个部首按照平滑度规则提取笔顺，并结合书写规则完成整个文字的笔顺提取；

5)笔宽信息w的提取，对骨架点按照最大轮廓包围度算法进行笔宽信息w的提取；

6)可视化重现前台播放引擎的实现，其中包括书法书写虚拟场景中毛笔模型、纸张模型、墨迹轨迹点模型的真实感显示过程；

2.根据权利要求1所述的一种基于书法图像的可视化重现方法，其特征在于，所述的对输入的书法文字图像进行字体轮廓提取：轮廓提取的算法通过掏空内部点得到，如果原图中有一点为黑，且它的8个相邻点都是黑色时，则此点是内部点，将该点删除，并最终完成轮廓提取过程。

3.根据权利要求1所述的一种基于书法图像的可视化重现方法，其特征在于，所述的字体结构分析，假设G＝{g₁，g₂，...，g_n}表示骨架图，其中g_i为子图，子图由一组互相之间有通路连接的基本笔划组成，通过字体结构分析算法来计算G中任何两个子图之间的位置关系得到文字的结构：当文字图像的骨架信息提取完，用G＝{g₁，g₂，...，g_n}来定义骨架图，其中g_i为子图，子图是由一组互相之间有通路连接的基本笔划组成，为获取骨架图中任意两个子图g_k和g_l之间的位置关系，其中g_k是由a个笔划组成，记作{s₁，s₂，...，s_a}，g_l由b个笔划组成，记作{s₁，s₂，...，s_b}，两个子图之间的位置关系通过一个二元组R＝{R_h，R_v}来表示，其中R_h和R_v分别表示水平方向和垂直方向的位置关系，子图间的位置关系总共可以分为四类：负X轴方向、正X轴方向、负Y轴方向、正Y轴方向，通过下面的公式来计算R_h，

R_h＝T(h_l，h_r)，其中 $T=\left\{\begin{array}{c}1,\mathrm{if}(h_l>h_r)\\ 0,\mathrm{if}(h_l=h_r)\\ -1,\mathrm{if}(h_l<h_r)\end{array}\right\},$ h_l表示g_k在g_l负X轴方向的可能性，h_r表示g_k在g_l正X轴方向的可能性，R_v、h_t和h_b也通过类似R_h，h_l和h_r的方法来进行定义，h(统一代表h_l，h_r，h_t，h_b)通过下面的公式进行计算：

$h=\frac{\underset{i=1,j=1}{\overset{i=a,j=b}{\mathrm{\&Sigma;}}}p(f_1\left(s_i\right),f_2\left(s_j\right))}{a*b},$ s_i∈g_k,s_j∈g_l，其中 $p=\left\{\begin{array}{c}0,\mathrm{if}(f_1\left(s_i\right)\&GreaterEqual;f_2\left(s_j\right))\\ 1,\mathrm{if}(f_1\left(s_i\right)<f_2\left(s_j\right))\end{array}\right\},$

函数f₁和f₂根据不同的方向会有不同的函数定义，具体函数的定义参见下表中的详细定义，

位置关系 f₁ f₂ h_l Max(v_s.x，v_e.x) Min(v_s′x，v_e′x) h_r Min(v_s.x，v_e.x) Max(v_s′x，v_e′x) h_t Max(v_s.y，v_e.y) Min(v_s′.y，v_e′.y) h_b Min(v_s.y，v_e.y) Max(v_s′.y，v_e′.y)

通过以上方法，分析出文字的字体结构信息。

4.根据权利要求1所述的一种基于书法图像的可视化重现方法，其特征在于，所述的笔宽信息w的提取：对骨架点按照最大轮廓包围度算法进行笔宽信息w的提取；笔宽信息w按如下方法计算，d表示目标像素点到最外层的环的距离，且该环上的所有点都是黑色的点，该环上的数目用T_b来表示，T_d+1表示为灰色环上黑点的数目，灰环是从目标点出发的第一个不是所有点都为黑色的环(见图7)，灰环上所有黑点的数目记作T_d+1，T_d+1＝(2(d+1)-1)²-(2d-1)²＝8d，因此，w公式计算为：

$w=d+\frac{T_b}{T_{d+1}}---1.$

5.根据权利要求1所述的一种基于书法图像的可视化重现方法，其特征在于，所述的可视化重现前台播放引擎的实现，其中包括书法书写虚拟场景中毛笔模型、纸张模型、墨迹轨迹点模型的真实感显示过程：客户端可视化重现书写过程重现过程在选择特定的文字图像后，书法数据提取引擎完成从后台数据库的文字笔顺和笔宽信息的提取和重构，在客户端播放模块中装载毛笔、纸张等模型，按照文字笔顺的时序信息完成毛笔运动轨迹和墨迹轨迹点真实感显示过程。

Images