CN104965928B - 一种基于形状匹配的汉字图像检索方法 - Google Patents
一种基于形状匹配的汉字图像检索方法 Download PDFInfo
- Publication number
- CN104965928B CN104965928B CN201510441001.4A CN201510441001A CN104965928B CN 104965928 B CN104965928 B CN 104965928B CN 201510441001 A CN201510441001 A CN 201510441001A CN 104965928 B CN104965928 B CN 104965928B
- Authority
- CN
- China
- Prior art keywords
- chinese character
- character image
- shape
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Abstract
本发明公开了一种基于形状匹配的汉字图像检索方法。该方法在形状上下文算法的基础上构造了形状特征描述函数，在对汉字图像进行描述中进引入了Hu不变矩算法使得汉字图像特征描述函数有更高鲁棒性。本发明是针对碑贴中的古代书法家遗留下来的书法作品经过数字化提取得到的图像进行检索，以便用户欣赏和比较不同时期不同书法家的作品风格。通过提出的形状描述函数进行相似性度量在训练集中快速准确地检索到匹配的图像，同时可以查看匹配到的汉字图像在原碑文中的位置。本发明所提出的针对碑文中提取出的汉字的形状描述函数具有准确性高，效率高，鲁棒性好等优点。
Description
技术领域
本发明属于计算机视觉与计算机图形学领域，具体地说是结合不变矩和形状上下文算法的以二维形状轮廓信息为特征的汉字图像检索的方法，该方法可用于碑文字帖中的书法字检索，相似字查找等方面。
背景技术
书法作品和碑文是汉字的相对完整和艺术的表现形式，在当今社会，多媒体技术不断发展，同时互联网已经基本实现全面普及，图像信息已然成为了一种十分重要的信息资源被人们广泛使用，大量的汉字作品信息也以图像的方式进行存储。伴随着越来越多的汉字作品不断被发现，汉字的分类、作者的确认等工作变得非常复杂和繁琐，因此研究者需要对汉字图像信息资源实现管理和检索工作显得越来越困难。在早期的图像检索中，研究者们一般使用文本描述的方式来进行检索，并将其称为基于文本的检索技术(TBIR)。基于文本的图像检索沿用了传统文本检索技术，回避对图像可视化元素的分析，而是从图像名称、图像尺寸、压缩类型、作者、年代等方面标引图像，一般以关键词形式的提问查询图像，或者是根据等级目录的形式浏览查找特定类目下的图像。这种检索方式立足于文本，对图像进行检索。将传统的文本检索技术移植于对多媒体信息的检索上，因为基于文本的检索技术发展已经成熟。如Page-Rank方法、概率方法、位置方法、摘要方法、分类或聚类方法、词性标注法等，不仅技术发展较为成熟，同时分析和实现的难度略小。但是因为受控词汇本身的局限，易歧义，更新慢，所以不太容易应对网络上日新月异的各类图像，而且效率较为低下，通用性不好，因而往往不能满足人们的需要。
发明内容
汉字图像检索的两个主要关键在于高效性和准确性，为满足这个要求，同时克服上述方法的缺点，本发明在提供一种两层的层次化的检索框架，在第一层中使用形状的几何特征即汉字图像的边缘信息来建立索引。而Hu不变矩特征描述在引二层中用以对第一层中的检索结果进行二次检索，进行第二次过滤，实现检索的准确性。
为了达到上述目的，本发明提出了一种基于形状匹配的汉字图像检索方法。首先提出了一个基于形状上下文和Hu不就业矩两种分层特征描述方式，然后使用这两种方式分层次进行近似匹配。检索的过程都采用某种相似性度对图像库中图像进行匹配获得查询结果，但本发明与常规数据库检索的匹配方法不同。在对汉字图像进行特征提取和建立索引的过程是最复杂的，在这过程中，本发明使用了离线的方式由计算机自动对各汉字图像进行汉字图像特征提取，汉字图像分类。避免了人工描述的不客观，也减少了用户的工作量，一定程度上提高了效率。
附图说明
图1示出本发明基于形状匹配的汉字图像检索方法的主要流程图；
图2示出本发明构建图像集中的部分归一化处理后的图像；
图3示出本发明部分检索结果。
具体实施方式
如图1所示，本发明的基于形状匹配的汉字图像检索方法采用如下步骤：
(1)对数据库中的所有汉字图像进行预处理。由于本发明主要针对的是古代书法家遗留下来的碑文字贴的书法字进行检索，所以在经过首先要对获取到的书法字进行分割等处理。首先对获得的碑贴整体图像进行单字分割，考虑到古代书法的书写习惯为从上至下书写的，所以先对获取的书法图像纵向投影，即将碑文上所有汉字的像素点投影到横轴上，根据投影到横轴上的坐标把整个碑文划分为若干列，由于上述的书写特点每一列的汉字基本对齐，不存在错误分割现象对于分割成不同列的图像，在横向同样进行投影，根据各个汉字的像素点投影到纵轴上的坐标，将已经划分为列的汉字再划分成不同的单个汉字。但是由于碑文中汉字横向大多不对齐，因此直接分割会导致一个问题：对于写的比较分散的上下结构单字，可能会将其判定并分割为两个单字，产生错误的结果。解决上述问题的方法是在进行横向分割时，设定一个合适的阈值，上下两部分距离处于这个阈值内时，则认为上下两个部分为同一个汉字图像。对提取的单字汉字图像进行归一化，归一化之后的图像其特征易于提取且匹配准确度要更高。
(2)使用改进的Hu不变矩对汉字图像建立索引。经过上述处理的单字图像组成检索数据库，对检索数据库中的图像进行边缘检测及轮廓提取、形状特征提取并转化为向量表示，特征提取采用改进的Hu不变矩和改进的形状上下文描述算法。具体实现如下：
假定描述一幅数字图像的函数f(x，y)，当在连续情况下时，我们可以对该图像定义一个几何矩，该几何矩一般也被称为标准矩，其阶数为(u+v)：
(u+v)阶中心距的定义如下：
其中和分别代表图像重心的横坐标和纵坐标，定义如下：
其中，muv表示(u+v)阶中心矩，u，v为上式中的m的下标。
此外，定义归一化的中心距为：
其中ρ＝(u+v)/2+1 (14)
根据以上定义，我们构造出七个不变矩I1～I7，这七个不变矩的构造都使用二阶和三阶的归一化中心距来实现。
I1＝η20+η02 (15)
I3＝(η30+3η)2+(3η21-η03)2 (17)
I4＝(η30+η12)2+(η21+η03)2 (18)
I5＝(η30-η12)(η30+η12)[(η30+η12)2-3(η21+η0 3)2)]+(3η21-η03)(η21+η30)[3(η30+η12)2-(η21+η03)2] (19)
I6＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (20)
I7＝(3η21+η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(η30-3η12)(η21+η30)[3(η30+η12)2-η21+η03)2] (21)
式中ηuv表示(u+v)阶归一化中心矩。u，v为上述各式中的η的下标u，v＝0,1,2,3。
这七个不变矩构成一组特征向量，用以描述形状特征。在提取出相应的形状特征并以向量方式进行表达后，就可以进行相似度检测，以下是衡量相似度D的三种方法：
其中，和由式(25)求得。
分别表示形状A，B第r个不变矩函数值式。
得出的相似度D均大于等于零且小于1，D的值越接近零，则表示两个形状越相似。
(3)基于形状上下文建立索引。对数据库的图像集在建立基于不变矩的索引后，为了使用形状上下文进行二次检索，还需要对汉字图像建立基于形状上下文的索引。形状上下文描述子是一个r*α维的向量，其中r表示在极坐标空间中径向对空间划分的区域数，α表示在极坐标空间中角度方向对空间划分的区域数。
对于两个形状I和P，计算它们之间每个轮廓采样点(如g，h)之间的差别，即形状上下文描述子的差别。
其中，K为极坐标空间划分的区域数，g，h为进行相似度比较的两个采样点，Cs为两个点的距离。
在得到每个点之间的差别，就可以形成一个代价矩阵Mcost，然后通过最优匹配算法找到一个最优匹配结果，使整个代价最小，基于这个最优形状代价作为两个形状之间的相似度衡量标准，代价越小，两个形状就越相似，在匹配过程中使用了正规化TPS(ThinPlate Spline)转换模型。
匹配代价经过变换后，可以得到如下表示：
其中，Dsc(A，B)为形状点集A，B的匹配代价，s，t为分别为点集A，B的点数。p，q分别是形状采样点集A，B上的点，T()表示估计的TPS形状转换。
(4)汉字图像检索。以待检索汉字图像或者人工绘制出汉字作为输入，分别经过上述两种形状描述与匹配方法进行两次检索。本发明核心思想是通过对图像的形状特征参数化表示之后进行相似度检测达到匹配的目的。从查准率97％和查全率76％都可以看出本发明检索结果的有效性和稳定性。
Claims (1)
1.一种基于形状匹配的汉字图像检索方法，其特征在于包括以下步骤：
(1)对数据库中的所有汉字图像进行预处理，包括去噪，轮廓平滑，灰度化，单字分割，归一化；
(2)使用改进的Hu不变矩对汉字图像建立索引，在使用Hu不变矩对汉字图像进行表示中，加入边界矩描述子，并通过不同矩之间的比值Ri消除二维形状在缩放时带来的影响；同时获取汉字图像的区域、边界信息以提高汉字图像检索的精度；
(3)基于形状上下文对汉字图像建立索引，在使用形状上下文描述子对汉字图像描述时，只取汉字图像的骨架点和轮廓的角点进行采样；
(4)汉字图像检索，在使用上述方法对数据库中的汉字图像建立索引后，对输入的待查找图像进行同样的表示，分别通过两种索引方式在汉字图像数据库检索，先使用基于改进的Hu不变矩索引进行第一次检索，在结果集中再使用基于形状上下文索引进行二次检索；
所述步骤(2)采用改进的不变矩对汉字图像建立索引的步骤如下：
(1)对具有二维几何形状平移不变性、旋转不变性以及尺度不变性的Hu不变矩的引入并加以改进，Hu利用二阶和三阶中心矩构造了七个不变矩I1，I2，...，I7，在连续图像条件下可保持平移、绽放和旋转不变；
I1＝η20+η02 (1)
I3＝(η30+3η)2+(3η21-η03)2 (3)
I4＝(η30+η12)2+(η21+η03)2 (4)
I5＝(η30-η12)(η30+η12)[(η30+η12)2-3(η21+η03)2)]+(3η21-η03)(η21+η30)[3(η30+η12)2-(η21+η03)2] (5)
I6＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (6)
I7＝(3η21+η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(η30-3η12)(η21+η30)[3(η30+η12)2-η21+η03)2] (7)
式中ηuv表示(u+v)阶归一化中心矩；u，v为上述各式中的η的下标u，v＝0，1，2，3；
Hu不变矩具有旋转不变性，所以通过不同矩之间的比值Ri来去除公式中的比例因子y带来的影响，这样能够消除二维形状在缩放时带来的影响，使得形状描述只和形状信息相关，而没有冗余信息的干扰；
其中，Ii表示i阶不变矩函数值式，所述步骤(3)采用形状上下文对汉字图像建立索引的步骤如下：
在对汉字图像轮廓表示中引入改进形状上下文算法，通过该算法对形状的轮廓采样点进行分区域描述；反应了二维形状轮廓点样之间的相对关系；
其中，表示当前轮廓点为中心时第k个区域的轮廓点数；≠操作表示q为落入第k个区域中的不同于pi点的轮廓上的其余点的数量，k表示在极坐标系下对二维平面空间进行划分的区域编号，pi为待描述的轮廓点，q表示不同于pi的轮廓点，bin(k)表示极坐标系中被划分的第k个区域；
公式(10)给出两个轮廓点集间各个采样点的相似度计算函数；
其中，pm是二维形状采样点集A上的点，qn是形状采样点集B上的点，A和B为两个待比较的轮廓采样点集，hk表示k区域的轮廓点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510441001.4A CN104965928B (zh) | 2015-07-24 | 2015-07-24 | 一种基于形状匹配的汉字图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510441001.4A CN104965928B (zh) | 2015-07-24 | 2015-07-24 | 一种基于形状匹配的汉字图像检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104965928A CN104965928A (zh) | 2015-10-07 |
| CN104965928B true CN104965928B (zh) | 2019-01-22 |
Family
ID=54219967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510441001.4A Expired - Fee Related CN104965928B (zh) | 2015-07-24 | 2015-07-24 | 一种基于形状匹配的汉字图像检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104965928B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106851164A (zh) * | 2017-03-28 | 2017-06-13 | 戴金辰 | 记录图像、影像生成保留方法 |
| EP3602321B1 (en) * | 2017-09-13 | 2023-09-13 | Google LLC | Efficiently augmenting images with related content |
| CN109189966A (zh) * | 2018-08-02 | 2019-01-11 | 浙江理工大学 | 一种基于形状特征的服饰纹样检索方法 |
| CN112183585A (zh) * | 2020-09-08 | 2021-01-05 | 西安建筑科技大学 | 一种基于多特征测度的青铜器铭文相似性度量方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183427A (zh) * | 2007-12-05 | 2008-05-21 | 浙江工业大学 | 基于计算机视觉的违章停车检测装置 |
| CN102122348A (zh) * | 2011-02-26 | 2011-07-13 | 王枚 | 一种实用的模糊车牌图像复原方法 |
| CN103810484A (zh) * | 2013-10-29 | 2014-05-21 | 西安电子科技大学 | 基于打印字库分析的打印文件鉴别方法 |
-
2015
- 2015-07-24 CN CN201510441001.4A patent/CN104965928B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183427A (zh) * | 2007-12-05 | 2008-05-21 | 浙江工业大学 | 基于计算机视觉的违章停车检测装置 |
| CN102122348A (zh) * | 2011-02-26 | 2011-07-13 | 王枚 | 一种实用的模糊车牌图像复原方法 |
| CN103810484A (zh) * | 2013-10-29 | 2014-05-21 | 西安电子科技大学 | 基于打印字库分析的打印文件鉴别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 手写汉字图像动态信息恢复方法研究;苏哲文;《中国博士学位论文全文数据库 信息科技辑》;20111115(第11期);第28、88-96、120页 |
| 面向近红外合作目标的鲁棒检测与匹配算法;郝帅等;《系统工程与电子技术》;20140930;第36卷(第9期);第1856页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104965928A (zh) | 2015-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104850633B (zh) | 一种基于手绘草图部件分割的三维模型检索系统及方法 | |
| Zhang et al. | Sketch-based image retrieval by salient contour reinforcement | |
| EP2612263B1 (en) | Sketch-based image search | |
| CN101719142B (zh) | 基于分类字典的稀疏表示图片文字检测方法 | |
| CN104199842B (zh) | 一种基于局部特征邻域信息的相似图片检索方法 | |
| CN106203483B (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
| CN104965928B (zh) | 一种基于形状匹配的汉字图像检索方法 | |
| CN105718940B (zh) | 基于多组间因子分析的零样本图像分类方法 | |
| CN105740378B (zh) | 一种数字病理全切片图像检索方法 | |
| CN110472652B (zh) | 基于语义引导的少量样本分类方法 | |
| CN107301643B (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
| CN105654122A (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
| CN103399863B (zh) | 基于边缘方向差特征袋的图像检索方法 | |
| CN103839074A (zh) | 一种基于素描线段信息和空间金字塔匹配的图像分类方法 | |
| CN105843925A (zh) | 一种基于改进bow算法的相似图片搜索方法 | |
| CN109002828A (zh) | 基于均值跳动迹变换的图像纹理特征提取方法 | |
| CN108845999B (zh) | 一种基于多尺度区域特征比对的商标图像检索方法 | |
| CN103927540B (zh) | 一种基于生物视觉分层模型的不变特征提取方法 | |
| CN108763261B (zh) | 一种图形检索方法 | |
| CN111144469A (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
| Yin et al. | Video text localization based on Adaboost | |
| CN107423294A (zh) | 一种社群图像检索方法及系统 | |
| CN104111947B (zh) | 一种遥感图像的检索方法 | |
| Wang et al. | Extraction and recognition method of basketball players’ dynamic human actions based on deep learning | |
| CN108898149A (zh) | 基于增量调制迹变换的纹理图像特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190122 Termination date: 20210724 |