CN101615195B - 一种基于傅氏频谱的汉字图像纹理特征提取方法 - Google Patents

Abstract

本发明是一种基于傅氏频谱的汉字图像纹理特征的提取方法，属于多媒体检索领域。本发明是对单个汉字图像进行特征向量提取。在进行特征向量提取的过程中，首先计算出单个汉字图像的质心的相对位置，将汉字以质心为中心点划分为四个部分；再对每个部分进行傅氏变换，得到该部分的傅氏频谱图；接着利用傅氏频谱图的方向性，获取每个部分汉字图像的笔画角度集合；最后对这些角度集合进行量化，得到汉字图像的特征向量。本发明通过对汉字图像的质心分割，对各个部分进行傅氏频谱的特征提取，忽略了汉字图像在结构上的微小畸变，降低汉字字体的影响，能够提高汉字图像的检索效率。

Description

一种基于傅氏频谱的汉字图像纹理特征提取方法

技术领域

本发明是一种基于傅氏频谱的汉字图像纹理特征的提取方法，属于多媒体检索领域。

背景技术

特征提取是检索系统中一个非常重要的步骤，因为它提取的特征是检索的依据。在基于图像特征的汉字图像检索系统中，首先由用户提交所要查询的汉字图像给系统，系统对待查询汉字图像进行预处理，然后对图像进行基于傅氏频谱的汉字图像纹理特征的提取，获取汉字图像的特征向量，最后对获得的特征向量在图像特征库中的特征向量进行相似性匹配，将与查询图像相似的汉字返回给用户。常用的汉字图像特征提取方法有：汉字特征点、笔划密度特征等等。

在计算机中存储的各种中文文档图像，由于在扫描或传输过程中引入的噪声(例如扫描得到的电子图书)而造成同一个汉字的不同图像存在一定的差异，有时甚至出现畸变，因此，在汉字图像特征提取的过程中，用户希望所采用的汉字图像特征向量能具有很好的鲁棒性，能忽略这些小的差异而将这些相关的汉字检索出来。现有的汉字图像特征的提取方法对汉字图像结构的一些微小变化具有较高的敏感度。

发明内容

本发明提出一种基于傅氏频谱的汉字图像纹理特征提取方法，该方法通过对汉字图像的傅氏频谱进行分析，提取相应的笔画角度集合构成特征向量进行相似度匹配，进而提高汉字图像的检索效率。

本发明的总体思想如下：本发明是对单个汉字图像进行特征向量提取。在进行特征向量提取的过程中，首先计算出单个汉字图像的质心的相对位置，将汉字以质心为中心点划分为四个部分；再对每个部分进行傅氏变换，得到该部分的傅氏频谱图；接着利用傅氏频谱图的方向性，获取汉字的笔画角度集合；最后对这些角度集合进行量化，得到汉字图像的特征向量。

具体创新点：利用汉字图像的质心将汉字分为四个部分，并对每个部分进行傅氏频谱的分析，提取笔画角度特征。本发明通过对汉字图像的质心分割，对各个部分进行傅氏频谱的特征提取，忽略了汉字图像在结构上的微小畸变，降低汉字字体的影响。

本发明的技术方案如图1所示。用于该汉字图像检索系统的检索图像为bmp格式的图像，保存于计算机硬盘或移动存储媒体上，首先由用户选择待查询的汉字图像，再由计算机进行相应的运算和处理。其主要过程为：计算机系统接收用户输入的待查询汉字图像，再由检索系统对其进行处理。

具体方法步骤为：

首先，检索系统事先离线对中文文档图像库中的所有图像进行预处理和特征提取，得到库中所有汉字图像的特征向量，形成图像的特征向量库。然后再由用户输入待查询汉字图像，检索系统对查询图像按照与图像库中的汉字图像相同的处理方法进行预处理和特征提取，获取查询图像的特征向量，并将查询图像的特征向量和图像特征向量库中的特征向量进行相似度匹配，将与查询图像最相似的汉字图像返回给用户。

所述的将汉字图像进行特征提取的具体方法如下：

现有单个汉字图像，在进行特征提取之前首先对其进行二值化和细化等预处理，接着对其进行基于傅氏频谱的纹理特征提取的步骤如下：

1)求取汉字图像的质心位置，利用图像的0阶矩(m₀₀)和1阶矩(m₁₀，m₀₁)进行质心(i_c，j_c)的计算：

$m_{\mathrm{pq}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j),$

i_c＝m₁₀/m₀₀，j_c＝m₀₁/m₀₀.

其中，M，N表示图像包含M行N列的像素点，i，j为像素点所在的行数和列数，f(i，j)是图像在(i，j)点的像素值，m_pq是p+q阶矩；当p，q分别取0和1时得到图像的0阶矩(m₀₀)和1阶矩(m₁₀，m₀₁)，i_c和j_c分别表示图像质心点所在的行数和列数。

2)以汉字图像的质心为原点，建立x，y轴，以x，y为对称轴，将汉字图像分为四个部分，即左上、左下、右上和右下；然后对每个部分分别进行傅氏变换，得到四个单独的傅里叶变换频谱图。

3)从步骤2)中得到的四个频谱图中任选一个，以所选频谱图中心为原点，建立x′，y′轴，再对频谱图分别进行二值化和细化处理，使其更加清晰。根据傅氏频谱的方向性，频谱图中的较高值与图像中的笔画方向是正交的，所以将频谱图转换为弧度直方图，并对弧度直方图进行处理，得到汉字的笔划方向特征集合，具体步骤如下：

i)统计频谱图x′轴下方的白色像素点相对于x′轴正向的角度，以角度为横轴，每个角度之间间隔为1°，以处于该角度的所有白色像素点的像素值之和为纵轴，构成[0，180)°弧度直方图。

ii)将[0，180)°弧度直方图中的角度按处于该角度的白色像素值之和的大小进行排序，得到前十个较大的白色像素值之和以及所在的角度。求得以这些角度为0点的[-5，5]°范围内的所有白色像素值之和。如果在这十个中有角度互相包含在另一个角度的[-5，5]°范围之内，则按较大的角度为准，舍弃较小角度的求和；

iii)因为频谱中存在噪音的干扰，所以设当步骤ii)中求得的所有白色像素值之和为765(相当于3个白色像素点)时为阈值，如果步骤ii)筛选得到的白色像素值之和小于765，则放弃该角度。最后将筛选得到的白色像素值之和所对应的角度构成笔划方向特征集合。

4)对步骤3)中得到一个部分的汉字笔划方向特征集合之后，要将集合中的角度值进行量化处理。设定四个向量h＝[h₀，h₁，h₂]，v＝[v₀，v₁，v₂]，lf＝[lf₀，lf₁，lf₂]，rf＝[rf₀，rf₁，rf₂]分别用来存储方向集合中的横、竖、撇、捺的信息。

当步骤iii)中筛选得到的角度值有落在[0，15]°范围内的，则v₁设置为1，否则为0；当角度值落在(15，20)°范围内，v₂设置为1，否则为0；当角度值落在[20，25)°范围内，lf₀设置为1，否则为0；当角度值落在[25，65]°范围内，lf₁设置为1，否则为0；当角度值落在(65，70)°范围内，lf₂设置为1，否则为0；当角度值落在[70，75)°范围内，h₀设置为1，否则为0；当角度值落在[75，103]°范围内，h₁设置为1，否则为0；当角度值落在(103，108)°范围内，h₂设置为1，否则为0；当角度值落在[108，115)°范围内，rf₀设置为1，否则为0；当角度值落在[115，150]°范围内，rf₁设置为1，否则为0；当角度值落在(150，158)°范围内，rf₂设置为1，否则为0；当角度值落在[158，165)°范围内，v₀设置为1，否则为0；当角度值落在[165，180)°范围内，v₁设置为1，否则为0。

5)设H，V，LF，RF分别为上述该部分四个向量的分量和，即H＝h₀+h₁+h₂，V＝v₀+v₁+v₂，LF＝lf₀+lf₁+lf₂，RF＝rf₀+rf₁+rf₂；将步骤4)求得的数值代入该四个向量，得到四个向量值；

设要检索的汉字图像的向量下标为I，图像库中的汉字图像的向量下标为II。如V_I代表要检索汉字图像的向量V，V_II代表图像库中的汉字图像的向量V。又r＝[r₀，r₁，r₂，r₃]，其中

6)则该部分比较结果R＝r₀+r₁+r₂+r₃，当R＞2.5时，则重复步骤3)～步骤5)，对步骤2)划分的汉字的其余部分继续进行相似性匹配，只有步骤2)划分的四部分同时满足R＞2.5才认为相匹配；否则，认为不匹配，对图像库中其他汉字图像进行检索。

汉字图像的四个部分的匹配顺序可以任意排列，最后得到在图像库中与要检索的图像相似的汉字图像。

本发明通过对汉字图像进行傅氏频谱的纹理特征提取，从而忽略了汉字图像在结构上的微小畸变，降低汉字字体的影响，能够提高汉字图像的检索效率。

附图说明

图1汉字图像检索系统整体流程框图

图2汉字图像的质心求取

图3(a)汉字图像频谱图(楷体“的”左上)

图3(b)汉字图像频谱图二值化(楷体“的”左上)

图3(c)汉字图像频谱图细化(楷体“的”左上)

图4弧度直方图(楷体“的”左上)

图5系统检索结果

具体实施方式

下面结合附图对本发明作进一步说明：

本实施例的技术方案如图1所示：

首先，检索系统事先离线对中文文档图像库中的所有图像进行预处理和特征提取，得到库中所有汉字图像的特征向量，形成图像的特征向量库。然后再由用户输入待查询汉字图像，检索系统对查询图像进行预处理和特征提取，获取查询图像的特征向量，并将查询图像的特征向量和图像特征向量库中的特征向量进行相似度匹配，将与查询图像最相似的汉字图像返回给用户。

用于该汉字图像检索系统的检索图像为bmp格式的图像，保存于计算机硬盘或移动存储媒体上，首先由用户选择待查询的汉字图像，再由计算机进行相应的运算和处理。计算机处理的过程为：计算机系统接收用户输入的待查询汉字图像，再由检索系统对其进行处理。本实施例中的计算机为“清华同方微机，Intel(R)Celeron(R)CPU 3.20GHz，1.25G内存，80G硬盘”，采用VC++6.0编程实现。

本实施例中将汉字图像进行特征提取的具体方法如下：

采用的文档图像库是由扫描仪扫描得到的文档图像库，经过改进的niblack二值化和行字分割获得单个的汉字图像，接着进行汉字图像的大小归一化(在本实例中，归一化为100×100大小的汉字图像)和rosenfeld细化。将所得到的单个汉字图像进行特征提取。

1)如图2所示，求取汉字图像的质心位置，利用图像的0阶矩(m₀₀)和1阶矩(m₁₀，m₀₁)进行质心(i_c，j_c)的计算：

$m_{\mathrm{pq}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j),---\left(1\right)$

i_c＝m₁₀/m₀₀，j_c＝m₀₁/m₀₀.(2)

其中，M，N表示图像包含M行N列的像素点，i，j为像素点所在的行数和列数，f(i，j)是图像在(i，j)点的像素值，m_pq是p+q阶矩；当p，q分别取0和1时得到图像的0阶矩(m₀₀)和1阶矩(m₁₀，m₀₁)，i_c和j_c表示图像质心点所在的行数和列数。

2)以汉字图像的质心为原点，建立x，y轴，将汉字图像分为四个部分。对每个部分分别进行傅氏变换，得到四个单独的傅里叶变换频谱图。如图3(a)所示。

3)从步骤2)中得到的四个频谱图中任选一个，然后以图像中心为原点，建立x′、y′轴，将频谱图分别进行二值化(如图3(b)所示)和细化(图3(c)所示)，使其更加清晰。根据傅氏频谱的方向性，频谱图中的较高值与图像中的笔画方向是正交的。统计频谱图x轴下方的白色像素点相对于x轴正向的角度，以角度为横轴，每个角度之间间隔为1°，以处于该角度的所有白色像素点的像素值之和为纵轴，构成弧度直方图。如图4所示。将[0，180)°直方图中的角度按处于该角度的所有白色像素值之和的大小进行排序，得到前十个较大的像素值之和以及所在的角度。分别求得以这十个角度为0点的[-5，5]°范围内的所有白色像素值之和。如果在这十个中，有角度互相包含在另一个角度的[-5，5]°范围之内，则按较大的角度为准，舍弃较小角度的求和。因为频谱中存在噪音的干扰，所以设当白色像素值之和为765(相当于3个白色像素点)时阈值，如果白色像素值之和小于765，则放弃该角度。最后将筛选得到的该部分汉字图像中较大像素值之和所对应的角度构成笔划方向特征集合。

4)当得到一个部分的汉字笔划方向集合之后，要将集合中的角度值进行量化处理。设定四个向量h＝[h₀，h₁，h₂]，v＝[v₀，v₁，v₂]，lf＝[lf₀，lf₁，lf₂]，rf＝[rf₀，rf₁，rf₂]分别用来存储方向集合中的横、竖、撇、捺的信息。

当步骤3)中筛选出来的角度值落在[0，15]°范围内，v₁设置为1，否则为0；当有角度值落在(15，20)°范围内，v₂设置为1，否则为0；当有角度值落在[20，25)°范围内，lf₀设置为1，否则为0；当有角度值落在[25，65]°范围内，lf₁设置为1，否则为0；当有角度值落在(65，70)°范围内，lf₂设置为1，否则为0；当有角度值落在[70，75)°范围内，h₀设置为1，否则为0；当有角度值落在[75，103]°范围内，h₁设置为1，否则为0；当有角度值落在(103，108)°范围内，h₂设置为1，否则为0；当有角度值落在[108，115)°范围内，rf₀设置为1，否则为0；当有角度值落在[115，150]°范围内，rf₁设置为1，否则为0；当有角度值落在(150，158)°范围内，rf₂设置为1，否则为0；当有角度值落在[158，165)°范围内，v₀设置为1，否则为0；当角度值落在[165，180)°范围内，v₁设置为1，否则为0。

按照步骤3)中筛选出来的角度值，确定以上各向量分量的取值，如果有筛选出的角度值落在上述角度范围内，则与该角度对应的向量分量取值为1，如果没有角度值落在该角度范围内，则与其对应的向量分量取值为0。

5)设H，V，LF，RF分别为上述该部分四个向量的分量和，即H＝h₀+h₁+h₂，V＝v₀+v₁+v₂，LF＝lf₀+lf₁+lf₂，RF＝rf₀+rf₁+rf₂。

设要检索的汉字图像的向量下标为I，图像库中的汉字图像的向量下标为II。如V_I代表要检索汉字图像的向量V，V_II代表图像库中的汉字图像的向量V。又r＝[r₀，r₁，r₂，r₃]，其中

lf_0I或II)＝1表示要检索的汉字图像或者图像库中的汉字图像的lf₀＝1，其它各标号与该标号的含义相同。

6)计算R＝r₀+r₁+r₂+r₃，如果R＞2.5，则重复步骤3)～步骤5)，对步骤2)划分的汉字的其余部分继续进行相似性匹配，只有步骤2)划分的四部分同时满足R＞2.5才认为相匹配；否则，认为不匹配，对图像库中其他汉字图像进行检索。

汉字图像的四个部分的匹配顺序可以任意排列，最后得到在图像库中与要检索的图像相似的汉字图像。

测试图像共400张，它们是利用不同的扫描设备，自由地以不同的分辨率，不同的灰度扫描得到的，这保证了测试图像集与待检索图像集的无关性。在400幅文档图像中任意选择中文字符进行检索。

图5所示为利用三中检索策略所得到的汉字图像检索的查全率和查准率结果，其中，网格点阵特征，外围特征和笔划分布特征都是典型的汉字图像特征，第三种傅氏频谱纹理特征为本发明中的特征。其中，F值为准确率和召回率的平均值。准确率和召回率的定义如下：

准确率(precision)用P表示，召回率(recall)用R表示。

$P=\frac{N_A}{N_B+N_A}$

$R=\frac{N_A}{N_A+N_C}$

其中：N_A为检索得到的正确汉字图像数目，N_B为检索返回的不正确的汉字图像数目，N_C为图像库中没有检索出来的正确的汉字图像数目。

由图5中可以看出，利用本发明中的方法和外围特征综合使用的检索效率比传统的方法要高。

实验结果表明，本发明通过对汉字图像进行傅氏频谱的纹理特征提取，能够提高汉字图像的检索效率。

Claims (1)

1.一种基于傅氏频谱的汉字图像纹理特征提取方法，具体方法步骤为：

首先，检索系统事先离线对中文文档图像库中的所有图像进行预处理和特征提取，得到库中所有汉字图像的特征向量，形成图像的特征向量库；然后再由用户输入待查询汉字图像，检索系统对查询图像按照与图像库中的汉字图像相同的处理方法进行预处理和特征提取，获取查询图像的特征向量，并将查询图像的特征向量和图像特征向量库中的特征向量进行相似度匹配，将与查询图像最相似的汉字图像返回给用户；其特征在于：

所述的将汉字图像进行特征提取的具体方法如下：

首先对单个汉字图像进行预处理，然后对其进行基于傅氏频谱的纹理特征提取，其提取步骤如下：

1)求取汉字图像的质心位置，利用图像的0阶矩m₀₀和1阶矩(m₁₀，m₀₁)进行质心(i_c，j_c)的计算：

$m_{\mathrm{pq}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j),$

i_c＝m₁₀/m₀₀，j_c＝m₀₁/m₀₀

其中：M，N表示图像包含M行N列的像素点，i，j为像素点所在的行数和列数，f(i，j)是图像在(i，j)点的像素值，m_pq是p+q阶矩；当p，q分别取0和1时得到图像的0阶矩m₀₀和1阶矩(m₁₀，m₀₁)，i_c和j_c分别表示图像质心点所在的行数和列数；

2)以汉字图像的质心为原点，建立x，y轴，以x，y为对称轴，将汉字图像分为四个部分，即左上、左下、右上和右下；然后对每个部分分别进行傅氏变换，得到四个傅里叶变换频谱图；

3)从步骤2)中得到的四个频谱图中任选一个，以所选频谱图的中心为原点，建立x′，y′轴，先对该频谱图分别进行二值化和细化处理，然后再将频谱图转换为弧度直方图，并对弧度直方图进行处理，得到汉字的笔划方向特征集合，具体步骤如下：

i)统计频谱图x′轴下方的白色像素点相对于x′轴正向的角度，以角度为横轴，每个角度之间间隔为1°，以处于该角度的所有白色像素点的像素值之和为纵轴，构成[0，180)°弧度直方图；

ii)将[0，180)°弧度直方图中的角度按处于该角度的白色像素值之和的大小进行排序，得到前十个较大的白色像素值之和以及所在的角度；求得以这些角度为0点的[-5，5]°范围内的所有白色像素值之和，如果在这十个中有角度互相包含在另一个角度的[-5，5]°范围之内，则按较大的角度为准，舍弃较小角度的求和；

iii)当步骤ii)筛选得到的白色像素值之和小于765，则放弃该角度，否则选取该角度；最后筛选得到的白色像素值所对应的角度构成笔划方向特征集合；

4)对步骤3)中得到的汉字笔划方向特征集合中的角度值进行量化处理：设定四个向量h＝[h₀，h₁，h₂]，v＝[v₀，v₁，v₂]，lf＝[lf₀，lf₁，lf₂]，rf＝[rf₀，rf₁，rf₂]分别用来存储方向集合中的横、竖、撇、捺的信息；

当步骤iii)中筛选得到的角度值有落在[0，15]°或[165，180)°范围内时，则v₁设置为1，否则为0；当有角度值落在(15，20)°范围内，v₂设置为1，否则为0；当有角度值落在[20，25)°范围内，lf₀设置为1，否则为0；当有角度值落在[25，65]°范围内，lf₁设置为1，否则为0；当有角度值落在(65，70)°范围内，lf₂设置为1，否则为0；当有角度值落在[70，75)°范围内，h₀设置为1，否则为0；当有角度值落在[75，103]°范围内，h₁设置为1，否则为0；当有角度值落在(103，108)°范围内，h₂设置为1，否则为0；当有角度值落在[108，115)°范围内，rf₀设置为1，否则为0；当有角度值落在[115，150]°范围内，rf₁设置为1，否则为0；当有角度值落在(150，158)°范围内，rf₂设置为1，否则为0；当有角度值落在[158，165)°范围内，v₀设置为1，否则为0；

5)设H，V，LF，RF分别为步骤3)中所选部分的四个向量的分量和，即H＝h₀+h₁+h₂，V＝v₀+v₁+v₂，LF＝lf₀+lf₁+lf₂，RF＝rf₀+rf₁+rf₂；将步骤4)求得的数值代入上式，得到四个向量值；

设待检索的汉字图像的向量下标为Ⅰ，图像库中的汉字图像的向量下标为Ⅱ；又r＝[r₀，r₁，r₂，r₃]，其中

6)则该部分比较结果R＝r₀+r₁+r₂+r₃，当R＞2.5时，则重复步骤3)～步骤5)，对步骤2)划分的汉字的其余部分继续进行相似性匹配，只有步骤2)划分的四部分同时满足R＞2.5才认为相匹配；否则，认为不匹配，对图像库中其他汉字图像进行检索。

Images