CN104268526A - 一种汉字图片匹配与变形方法 - Google Patents

Abstract

本发明公开了一种汉字图片匹配与变形方法。首先对给定字体的汉字部件图片进行预处理，用半自动的方式进行结构拆分成对应的部件，然后根据部件的骨架和特征点将其分解为笔段并建立模型，用笔画路径的相似度进行图模型的匹配来产生对应关系。最后为源汉字和目标汉字中对应的笔段建立同构三角形，并产生插值动画。本发明引入笔画路径的相似度，并采取图模型匹配方法获得对应笔画，最后采用三角化网格的方法进行插值计算形成一套完整的针对汉字图片匹配和变形方法，能够有效处理小篆、隶书、楷书等形成平滑自然的渐变动画。

Description

一种汉字图片匹配与变形方法

技术领域

本发明属于计算机虚拟现实技术领域，特别是汉字骨架匹配的模式识别领域以及汉字变形技术的多媒体领域。

背景技术

汉字是一种典型的表意语言，每一个字符都由一个象征性书写符号来表示。在它漫长的发展历史当中，汉字共经历主要五个阶段：甲骨文，金文，小篆，隶书，楷书。虽然形状和拓扑发生了极大的改变，但是这些阶段之间是相互关联的。其中前三种统一称作古文字，而后两种称作今文字。对语言文字研究可以分为共时与历时两个方向。共时是指研究语言在特定事件的情况，而历时是指研究语言在较长历史时期所经历的变化。如果能够理解演化的过程，将对汉字历时研究起到重要的作用。汉字演化过程中的变化主要包括：1)笔画形状的改变；2)汉字拓扑结构的改变；3)部分增加或减少。在本文中我们主要工作在于利用汉字过程中保持不变的特征进行汉字的匹配对应，并用于生成尽可能平滑的变形结果，为汉字历时研究提供技术基础。

形状变形是指在源形状与目标形状之间建立平滑的变化过程。他是计算机图形学中的重要技术，并广泛应用于电视、电影特效，卡通动画和表面重构等工作。它主要包括两个步骤：1)对应：建立源形状与目标形状之间的对应关系。2)路径插值：计算中间形状的位置。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种汉字图片匹配与变形方法，能够有效的提高匹配与变形效果。

本发明技术解决方案：一种汉字匹配与变形方法，该方法步骤如下：

步骤(1)、对源汉字和目标汉字进行结构拆分与匹配，获得对应的部件；

步骤(2)、根据步骤(1)的汉字对应部件，对其进行骨架细化，提取特征点拆分笔段，然后构造图模型，利用模型中的笔画相似度进行模型匹配产生对应的笔段；

步骤(3)、根据步骤(2)中得到对应笔段，对笔段进行三角化，然后对三角面片进行插值形成渐变动画。

所述步骤(1)中对汉字部件的拆分匹配描述的具体内容如下：

步骤(A1)、对已有的TTF字体文件中选取的文字进行处理，将其转化为统一大小的汉字图片；用包围盒确定连通区域的相对位置，判定归属于哪一种汉字结构；

步骤(A2)、对于无法匹配的结构，将连通区域较多的汉字作为标准，根据竖直或水平方向像素点直方图判断分割位置，将目标汉字的相应位置作为初始位置，然后用变形模版寻找源汉字边界和交叉位置作为分割边界；

步骤(A3)、添加人工交互确认上一步中的结果，并纠正错误结果；在需要拆分文字上标注多个多边形表示各个部件的位置，作为拆分结果；判断汉字类型后，两个汉字的相应部位即为匹配部件。

所述步骤(2)笔画匹配的步骤具体如下：

步骤(B1)、将输入汉字图片进行图像细化和骨架提取，检测角点，角点是汉字笔画中笔段与笔段间的转折点；

步骤(B2)、将所有笔段分类为横、竖、撇、捺四种类型，并且每种类型规定一个方向(0°，90°，135°和45°)，使用线性回归计算笔段方向，判断每个笔画的类型与方向；

步骤(B3)、利用角点与笔段性质，将角点分为起始点、连接点、终止点三类，其中起始点和终止点作为图模型的顶点，搜索从起始点到终止点的最短笔画路径作为两个顶点之间的边，构造图模型；

步骤(B4)、对于图的顶点采用归一化后的欧氏距离度量相似度，而边的相似度采用路径相似度的方法作依据；通过以上两个方法度量两笔画之间的路径相似度，并计算两个图模型的匹配结果。

步骤(B5)、在产生匹配结果后，我们可以得到了笔画路径的对应关系，每个对应关系赋予它所经过的笔段一个属性值，这样所有的笔段都可以得到一个对应关系决定的属性集合，一个字中具有相同属性集合的笔段合并为同一个笔画，两个字中相同属性的笔画为对应的笔画；为了方便进行下一步形状插值，不匹配的边将与相邻的边合并。

所述步骤(3)中渐变动画生成可能解的步骤如下：

步骤(C1)、为了获得同构三角形，先根据之前的笔画对应结果产生轮廓的细对应，然后对应点构造同构三角形并进行优化，产生高质量的同构三角形；

步骤(C2)、对这些三角形进行插值，运用“最小形变”准则来对这些内部三角形进行插值；这其中的关键就是如何运用“最小形变”准则，由于初始汉字部件轮廓的每一个三角形到目标汉字部件轮廓每一个三角形之间都有一个仿射变换矩阵，而这个“最小形变”准则就是一个二次最优化问题，通过求解这个二次最优化问题，完成每一帧的渐变效果生成。

附图说明

图1为本发明的一种汉字图片匹配与变形方法的整体过程示意图；

图2为小篆与隶书的字“止”以及它的属性关系图，其中S,E,N分别代表起始点，终止点，连接点；

图3为起始点与终止点间的笔画路径；

图4为起始点、终止点以及笔段的对应结果；

图5为笔段匹配的实验结果；

图6为变形动画的结果。

具体实施方式

下面结合附图与实例对本发明作进一步详细描述：

本发明实施过程包括三个主要步骤：汉字结构分割，笔画匹配，渐变动画生成。

如图1所示，本发明具体实现如下：

步骤一：汉字部件的拆分与匹配：

为了获取对应的部件我们使用最小包围盒对输入的不同时代汉字进行分割，并根据最小包围盒之间的相对位置构造汉字的块模型。之后，在块模型中位于相同位置的部件就是匹配的部件。然而由于部件间的可能会有交叉、粘连等情况出现上述方法并不一定能产生正确的匹配结果。因此我们使用变形模版自动分割部件，并用人工交互的方式确保结果正确。

步骤二：笔画匹配：

首先依次使用Zhang-Suen快速并行细化算法和Shi-Tomasi角点检测方法提取骨架和特征点。然后以特征点作为顶点，特征点间的笔段作为边构造属性关系图，如图2。具体细节如下：

1)两个相邻特征点之间的笔段为图的一条边，边可以根据它的方向可以分为横、竖、撇、捺四种类型。这四种类型普遍存在于汉字的各个阶段当中，并且有自己的方向(0°，45°，90°和135°)。这里使用线性回归计算笔段方向，并判断笔段类型，允许有±15°的差异。笔段分类后骨架变为一个有向无环图。

2)特征点作为图的顶点，它可以分为三种类型。入度为0，出度不为0的顶点叫做起始点；入度不为0，出度为零的点叫做终止点；既不为起始点也不为终止点的称作连接点。

我们通过建立起始点和终止点的对应关系来匹配两个图模型，因为这些点一般都是我们书写的时的起点和终点，而连接点并没有参与匹配。接下来先介绍匹配中的相似度度量方式。

假设有N个起始点和M个终止点在图G中，N’个起始点和M’个终止点在图G’中。u_i(i＝1,2,…,N)，v_i’(i’＝1,2,…,N’)分别表示两个模型中的起始点，u_j(j＝N+1,N+2,…,N+M)，v_j’(j’＝N’+1,N’+2,…,N’+M’)分别表示两个模型中的终止点。同类点间的相似度c_ii'由用欧式距离表示，公式如下：

$c_{{\mathrm{ii}}^{,}}=e^{{-(x_i+x_{i^{,}})}^2-{(y_i-y_{i^{,}})}^2}---\left(1\right)$

其中x，y是归一化到[0,1]后的坐标值。

一个起始点到一个终止点的最短路径由p(u_i,,u_j)表示，我们记录p(u_i,,u_j)中的笔画类型(横、竖、撇、捺)和顺序作为笔画路径sp(u_i,,u_j)，如图3中所示。那么任意两个路径的相似度d(p,p')表示为：

$d(p,p^{,})=\frac{\mathrm{LCS}(\mathrm{sp},{\mathrm{sp}}^{,})}{\max (\mathrm{len}\left(\mathrm{sp}\right),\mathrm{len}\left({\mathrm{sp}}^{,}\right))}---\left(2\right)$

其中LCS是两个序列的最大公共子序列的长度，len是序列的长度。

由以上两个相似度方程，我们可以将对应问题转化为求解最优匹配问题。先假设一个匹配矩阵M，m_ii’∈{0,1},m_ii’＝1表示图中G中的u_i匹配到G’中的v_i’，m_ii’＝0则表示不匹配。并且M的纵向之和与横向之和都为1，确保G与G’之间的匹配对应为一一对应。相似度方程可以写为：

$E=\underset{{\mathrm{ii}}^{,}}{\mathrm{\Σ}}{c}_{{\mathrm{ii}}^{,}}{m}_{{\mathrm{ii}}^{,}}+\underset{{\mathrm{jj}}^{,}}{\mathrm{\Σ}}{c}_{{\mathrm{jJ}}^{,}}{m}_{{\mathrm{jj}}^{,}}+\underset{{\mathrm{ii}}^{,},{\mathrm{jj}}^{,}}{\mathrm{\Σ}}{d}_{{\mathrm{ii}}^{,}{\mathrm{jj}}^{,}}{m}_{{\mathrm{ii}}^{,}}{m}_{{\mathrm{jj}}^{,}}---\left(3\right)$

其中c和d分别用我门上面介绍的方程1和方程2计算。我们的目标是寻找最优匹配，最大化该方程，使用双分解方法求解最优匹配结果。得到匹配结果后，我们可以得到了笔画路径的对应关系。比如m_ii’m_jj’＝1，表示p(u_i,,u_j)与p(v_i’,,v_j’)对应。每个对应赋予它所经过的骨架点一个属性值w_ij,,这样所有的骨架点都可以得到一个属性集合，如{w₁₃,w₁₄}。一个字里具有相同属性集合的点划分为统一个笔画，两个字中相同属性的笔画为对应的笔画。对应的结果在图3、4中显示，仅有轮廓线的部分代表未匹配笔段，为了方便进行形状插值，不匹配的部分将与相邻的笔画合并。

步骤三：生成变形动画：

在笔画对应之后，我们将轮廓点分配到最近的骨架上面，然后采用尽可能刚性的插值方法进行路径插值。这个方法对两形状的同构三角形进行插值而不是直接对轮廓点进行插值。为了获得同构三角形，细对应根据之前的笔画对应结果产生。一个笔段有一个起点和一个终点，当它们对应上之后，剩下的点用采样的方式一一对应。

取得轮廓点的对应后构造同构三角形，并优化产生高质量的同构三角形。然后问题就转化成了对应点的路径插值问题。对于三角形集合T＝{T_{i,j,k}}，每一个初始三角形P＝(p_i,p_j,p_k)与目标三角形Q＝(q_i,q_j,q_k)都有一一对应关系。对于每一对三角形来说，计算一种映射A_{i,j,k}(t)。由于大部分的顶点对应于不止一个三角形，所有顶点的映射通常来说不符合各自的最优变换A_{i,j,k}(t)。令V(t)为顶点的期望路径，能够在真实矩阵B_{i,j,k}(t)和期望矩阵A_{i,j,k}(t)之间确定最小二次误差。最小二次误差表示如下:

$E_{V\left(t\right)}=\underset{\{i,j,k\}\∈T}{\mathrm{\Σ}}{\left|\right|A_{\{i,j,k\}}\left(t\right)-B_{\{i,j,k\}}\left(t\right)\left|\right|}^2---\left(4\right)$

其中||·||是Frobenius范数。为了得到E_V(t)的唯一最小值，应该预先确定一个顶点的位置，例如v_1x(t),v_1y(t)，插值方法如线性插值。令u^T＝(1,v_2x(t),v_2y(t),…,v_nx(t),v_ny(t)),那么方程E_V(t)可以表示为：

$E_{V\left(t\right)}=u^T\left(\begin{array}{cc}c& G^T\\ G& H\end{array}\right)u---\left(5\right)$

其中c∈R表示常数，G∈R^2n×1是线性的，H∈R^2n×2n是二次型E_V(t)的混合或者单一二次项系数。令自由变量的梯度为0求解最小值,并对矩阵H求逆，然后与G(t)的矩阵相乘来求解：

V(t)＝-H^-1G(t)            (6)

求解该方程可以得到最优变形结果。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种汉字图片匹配与变形方法，其特征在于该方法步骤如下：

步骤(1)、对源汉字和目标汉字进行结构拆分与匹配，获得对应的部件；

步骤(2)、根据步骤(1)的汉字对应部件，对其进行骨架细化，提取特征点拆分笔段，然后构造图模型，利用模型中的笔画相似度进行模型匹配产生对应的笔段；

步骤(3)、根据步骤(2)中得到对应笔段，对笔段进行三角化，然后对三角面片进行插值形成渐变动画。

2.根据权利要求1所述的一种汉字图片匹配与变形方法，其特征在于：所述步骤(1)中对汉字部件的拆分匹配描述的具体内容如下：

步骤(A1)、对已有的TTF字体文件中选取的文字进行处理，将其转化为统一大小的汉字图片；用包围盒确定连通区域的相对位置，判定归属于哪一种汉字结构；

步骤(A2)、对于无法匹配的结构，将连通区域较多的汉字作为标准，根据竖直或水平方向像素点直方图判断分割位置，将目标汉字的相应位置作为初始位置，然后用变形模版寻找源汉字边界和交叉位置作为分割边界；

步骤(A3)、添加人工交互确认上一步中的结果，并纠正错误结果；在需要拆分文字上标注多个多边形表示各个部件的位置，作为拆分结果；判断汉字类型后，两个汉字的相应部位即为匹配部件。

3.根据权利要求1所述的一种汉字图片匹配与变形方法，其特征在于：所述步骤(2)笔画匹配的步骤具体如下：

步骤(B1)、将输入汉字图片进行图像细化和骨架提取，检测角点，角点是汉字笔画中笔段与笔段间的转折点；

步骤(B2)、将所有笔段分类为横、竖、撇、捺四种类型，并且由每种类型规定一个方向(0°，90°，135°和45°)，使用线性回归计算笔段方向，判断每个笔画的类型与方向；

步骤(B3)、利用角点与笔段性质，将角点分为起始点、连接点、终止点三类，其中起始点和终止点作为图模型的顶点，搜索从起始点到终止点的最短笔画路径作为两个顶点之间的边，构造图模型；

步骤(B4)、对于图的顶点采用归一化后的欧氏距离度量相似度，而边的相似度采用路径相似度的方法作依据；通过以上两个方法度量两笔画之间的路径相似度，并计算两个图模型的匹配结果。

步骤(B5)、在产生匹配结果后，我们可以得到了笔画路径的对应关系，每个对应关系赋予它所经过的笔段一个属性值，这样所有的笔段都可以得到一个对应关系决定的属性集合，一个字中具有相同属性集合的笔段合并为同一个笔画，两个字中相同属性的笔画为对应的笔画；为了方便进行下一步形状插值，不匹配的边将与相邻的边合并。

4.根据权利要求1所述的一种汉字图片匹配与变形方法，其特征在于：所述步骤(3)中渐变动画生成可能解的步骤如下：

步骤(C1)、为了获得同构三角形，先根据之前的笔画对应结果产生轮廓的细对应，然后对应点构造同构三角形并进行优化，产生高质量的同构三角形；

步骤(C2)、对这些三角形进行插值，运用“最小形变”准则来对这些内部三角形进行插值；这其中的关键就是如何运用“最小形变”准则，由于初始汉字部件轮廓的每一个三角形到目标汉字部件轮廓每一个三角形之间都有一个仿射变换矩阵，而这个“最小形变”准则就是一个二次最优化问题，通过求解这个二次最优化问题，完成每一帧的渐变效果生成。