CN105913093B - 一种用于文字识别处理的模板匹配方法 - Google Patents

一种用于文字识别处理的模板匹配方法 Download PDF

Info

Publication number
CN105913093B
CN105913093B CN201610284102.XA CN201610284102A CN105913093B CN 105913093 B CN105913093 B CN 105913093B CN 201610284102 A CN201610284102 A CN 201610284102A CN 105913093 B CN105913093 B CN 105913093B
Authority
CN
China
Prior art keywords
image
template
images
recognized
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610284102.XA
Other languages
English (en)
Other versions
CN105913093A (zh
Inventor
梅亚敏
于鸿洋
张平
曾创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610284102.XA priority Critical patent/CN105913093B/zh
Publication of CN105913093A publication Critical patent/CN105913093A/zh
Application granted granted Critical
Publication of CN105913093B publication Critical patent/CN105913093B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明公开了一种用于文字识别处理的模板匹配方法，属于模式识别与图像处理技术领域。本发明对输入的模板和待识别图像进行预处理后进行特征提取：对图像文字区域以相邻的连通域为单位，进行矩形框的标定，得到多个特征矩形；再对当前模板图像和待识别图像进行多次坐标原点归一化处理、尺度归一化处理并分别计算每次归一化处理的特征集合相似度，取所有特征集合相似度中的最大者作为当前模板图像的匹配相似度，最后取所有模板图像中的最大匹配相似度作为当前待识别图像的最优匹配模板。本发明用于文字识别处理，尤其是医学化验单识别系统的字符识别模块，解决了场景图像褶皱、尺度多变以及光照多变等因素对文字识别造成的影响，提高字符识别率。

Description

一种用于文字识别处理的模板匹配方法
技术领域
本发明属于模式识别与图像处理技术领域，具体涉及文字识别技术中的模板匹配技术。
背景技术
随着信息技术的进步，特别是人工智能技术的高速发展，OCR(光学字符识别)技术在信息识别领域已经取得了很多成果，同时也步入社会化的实用阶段，OCR技术成功应用于社会各行各业中，在医疗行业也有着普遍的应用。
从统计模式识别的观点来看，字符的识别实际上是一个模式分类的问题。国内外学者提出了许多不同的识别方案，大致可分为基于分类器的识别方法和基于模板匹配的方法。
利用分类器进行识别的方法可以获得较好的识别结果，但是分类器的方法需要大量的学习样本进行训练。模板匹配算法通常是对二值图像进行匹配，是实现离散输入模式分类的有效途径之一，实质是度量输入模式与样本之间的某种相似性，取相似性最大者为输入模式所属类别。它根据字符的直观形象抽取特征，用相关匹配原理进行识别。
从实时性、算法复杂性等角度考虑，模板匹配算法能够满足字符识别的任务。但是模板匹配也有其缺陷，即对同一类字符在不同场景图像的尺度多变性以及光照多变性敏感，容易产生匹配偏差。
发明内容
本发明所要解决的技术问题是提供一种用于文字识别处理的模板匹配方法，该方法在模板集合中进行匹配寻优，以确定待识别图像(测试样本)的最优匹配模板。
本发明的用于文字识别处理的模板匹配方法，包括下列步骤：
对待识别图像和多幅模板图像(模板图像的数量基于实际应用需求进行设置)进行图像预处理，所述图像预处理包括图像倾斜校正、图像去噪、图像灰度化、图像二值化；
对待识别图像和各模板图像进行特征提取，得到对应的特征集合：
对各模板图像的文字区域以相邻的连通域为单位，进行矩形框的标定，得到模板图像的特征集合其中表示当前模板图像T中第j个特征矩的横向坐标、纵向坐标、横向像素长度、纵向像素长度，j＝{1,2,3,…,n}，n表示模板图像T中特征矩形的个数；
对待识别图像的文字区域以相邻的连通域为单位，进行矩形框的标定，得到待识别图像的特征集合其中表示当前待识别图像S中第i个特征矩形的横向坐标、纵向坐标、横向像素长度、纵向像素长度，i＝{1,2,3,…,m}，m表示待识别图像S中特征矩形的个数；
对模板图像和待识别图像进行多次坐标原点归一化处理、尺度归一化处理，每进行一次归一化处理，则计算一次特征集合相似度，取最大特征集合相似度作为当前模板图像的匹配相似度；取最大匹配相似度所对应的模板图像作为当前待识别图像的正确匹配模板；其中，特征集合相似度sim的计算公式为：αi∩βj表示当前待识别图像的第i个特征矩形和当前模板图像的第j个特征矩形的矩形区域重叠面积大小，αi∪βi表示前待识别图像的第i个特征矩形和当前模板图像的第j个特征矩形的矩形区域并集面积大小。
进一步的，为了降低计算复杂度，在尺度归一化处理时，先将缩放比例设置为R并进行一次尺度归一化处理，再基于爬坡算法筛选得到最佳缩放比例并进行对应的尺度归一化处理，其中R＝ws/wT，参数ws为当前待识别图像的图像宽度，wT为当前模板图像的横图像宽度；或者R＝hs/hT，参数hs为当前待识别图像的图像高度，hT为当前模板图像的横图像高度。
综上所述，由于采用了上述技术方案，本发明的有益效果是：解决了场景图像的褶皱、尺度多变以及光照多变等因素对文字识别造成的影响，有效提高字符识别率。
附图说明
图1为本发明具体实施方式的实现框图。
图2为本发明一种归一化锚点和归一化尺度的选取坐标图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
将本发明的模板匹配方法用于文字识别处理，其具体实现步骤如下：
S1：图像预处理过程：
S1-1：输入待识别图像。其中待识别图像可以通过联机的摄像设备采集，也可以是已保存的场景图像。本实施方式中，采集的图像样本是利用相机拍摄的，图像样本来自13种不同种类的纸质医学化验单。对于同一类别的同一张化验单，拍照时将选取不同的角度、距离和光照，以丰富待识别图像的测试样本库。
S1-2：图像倾斜校正：首先检测图像的倾斜角度，然后根据检测到的倾斜角度采用放射变换对图像进行旋转校正，即可得到符合要求的图像。
S1-3：图像去噪：本具体实施方式中，采用bilateral Filter双边滤波对图像进行去噪，结合图像的像素值相似度和空间邻近度的一种折衷处理，同时考虑灰度相似性，可以很好地保留边缘。
S1-4：图像灰度化：相机采集的图片为24位真彩图，需要转化为灰度图。用g表示灰度化后的灰度值，R、G、B分别表示真彩图中的红、绿、蓝分量，g＝0.299R+0.587G+0.114B。
S1-5：图像二值化：字符图像二值化一般是将256色的灰度图转化为只有黑白两色的二值图。通过选择一个合适的阈值T，然后逐个扫描图像中的各个像素点和阈值T进行比较，即其中f(x,y)表示经灰度处理过后的灰度值，f′(x,y)表示经过二值化后图像的像素值，thr为阈值。本具体实施方式中，通过局部阈值来选取阈值。
S2：模板匹配过程：
S2-1：模板图像(以下简称模板)和待识别图像(测试样本)的特征提取：选取其中一张模板，将模板的文字区域以相邻的连通域为单位，进行矩形框的标定，得到模板的特征集合：
其中，表示模板T中第j个特征矩的横向坐标、纵向坐标、横向像素长度、纵向像素长度，j＝{1,2,3,…,n}；n表示此模板T中特征矩形的个数。
同理，将预处理之后的待测试样本进行特征提取，得到测试样本的特征集合：
其中，表示测试样本S中第i个特征矩形的横向坐标、纵向坐标、横向像素长度、纵向像素长度，i＝{1,2,3,…,m}；m表示当前测试样本S中特征矩形的个数。
得到模板T和样本S的集合特征后，将二者进行坐标原点归一化和尺度归一化。归一化之后的模板T′的特征集合分别为：
其中，表示归一化后的模板T′中第i个特征矩形的横向坐标、纵向坐标、横向像素长度、纵向像素长度，n表示此模板T′中特征矩形的个数。同时得到归一化后的样本S′的特征集合为：
其中，表示归一化后的样本S′中第i个特征矩形的横向坐标、纵向坐标、横向像素长度、纵向像素长度，m表示当前测试样本S′中特征矩形的个数。
得到模板T′和样本S′的集合特征后，通过求T′与S′之间的特征集合相似度sim来判断样本与模板是否匹配。理论上，如果sim的值为1，则表示样本与模板之间完全匹配。求特征集合相似度的公式为：其中，αi∩βj表示当前待识别图像的第i个特征矩形和当前模板图像的第j个特征矩形的矩形区域重叠面积大小，αi∪βi表示当前待识别图像的第i个特征矩形和当前模板图像的第j个特征矩形的矩形区域并集面积大小。
当第i个特征矩形和第j个特征矩形的矩形区域有重叠时，αi∩βj和αi∪βi的计算方法如下：
当第i个特征矩形和第j个特征矩形的矩形区域没有重叠时，αi∩βj和αi∪βi的计算方法如下：
αi∩βj＝0
S2-2：锚点和尺寸的遍历归一化：为了将测试样本归一化到当前正在比对的模板，则必须获取准确的锚点和最佳尺度归一化比例。锚点即需要归一化的坐标原点的参考点，模板和测试样本需选取相同的矩形特征作为锚点，才能进行正确的坐标原点归一化。
根据先验知识，化验单模板的每一个矩形特征都是已知的，这里选取当前模板的其中一个指定的特征作为锚点，然后在测试样本中搜索对应的锚点。
参见图2，不同的锚点和不同的缩放比例构成一个坐标系。在坐标系中，将不同的锚点和不同的缩放比例进行遍历。在选取不同的锚点和缩放比例时，分别根据sim的计算公式进行对应的特征集合相似度计算，得到所有遍历后的特征集合相似度集合，并从中选取最大者作为当前模板的匹配相似度，记为SIM。
在遍历锚点之前，可以先进行初步筛选，缩小遍历范围。已知R为最佳缩放比例值的大概值，在遍历缩放比例之前，先将缩放比例暂定为R，然后利用爬坡算法进行筛选得到最佳缩放比例(图2所示的最佳值)。其中R＝ws/wT或R＝hs/hT，参数ws为当前测试样本的图像宽度，wT为当前模板的横图像宽度；参数hs为当前测试样本的图像高度，hT为当前模板的横图像高度。
S2-3模板集合遍历：将当前测试样本与13个模板依次进行比对。在比对时，根据S2-2中的步骤将测试样本的锚点和尺度归一化到模板的锚点和尺度，最终得到13个匹配相似度的集合：{SIM1,SIM2,...,SIM13}，取13个匹配相似度中的最大值所对应的模板作为当前测试样本的最优匹配模板。
S3：文字识别输出：
S3-1图像文本定位：将13个化验单模板的版面特征进行录入，对化验单模板里的每一个项目进行文本定位，定位时对每一个项目和待识别的文字区域采用画矩形框的方法进行标定，同时对每一个项目进行编号。根据S2中的步骤，在确定测试样本的对应的最优模板后，即可得到测试样本的版面特征。此时，将模板中的矩形框定位信息应用到测试样本中，矩形框的锁定采用自适应搜索方法进行精确定位。
S3-2字符分类识别：图像文本定位成功后，将按照模板中不同的项目进行分类识别。识别的结果通过计算机显示器显示出来或通过打印机输出结果或根据系统应用的领域将该领域数据融入系统中，得到该字符的全部相关信息。

Claims (2)

1.一种用于文字识别处理的模板匹配方法，其特征在于，包括下列步骤：
对待识别图像和多幅模板图像进行图像预处理，所述图像预处理包括图像倾斜校正、图像去噪、图像灰度化、图像二值化；
对待识别图像和各模板图像进行特征提取，得到对应的特征集合：
对各模板图像的文字区域以相邻的连通域为单位，进行矩形框的标定，得到模板图像的特征集合其中表示当前模板图像T中第j个特征矩的横向坐标、纵向坐标、横向像素长度、纵向像素长度，j＝{1,2,3,…,n}，n表示模板图像T中特征矩形的个数；
对待识别图像的文字区域以相邻的连通域为单位，进行矩形框的标定，得到待识别图像的特征集合其中表示当前待识别图像S中第i个特征矩形的横向坐标、纵向坐标、横向像素长度、纵向像素长度，i＝{1,2,3,…,m}，m表示待识别图像S中特征矩形的个数；
对模板图像和待识别图像进行坐标原点归一化处理、尺度归一化处理，每进行一次归一化处理，则计算一次特征集合相似度，取最大特征集合相似度作为当前模板图像的匹配相似度；取最大匹配相似度所对应的模板图像作为当前待识别图像的最优匹配模板；
其中，特征集合相似度sim的计算公式为：其中，αi∩βj表示当前待识别图像的第i个特征矩形和当前模板图像的第j个特征矩形的矩形区域重叠面积大小，αi∪βi表示前待识别图像的第i个特征矩形和当前模板图像的第j个特征矩形的矩形区域并集面积大小。
2.如权利要求1所述的方法，其特征在于，在尺度归一化处理时，先将缩放比例设置为R并进行一次尺度归一化处理，再基于爬坡算法筛选得到最佳缩放比例并进行对应的尺度归一化处理，其中R＝ws/wT，参数ws为当前待识别图像的图像宽度，wT为当前模板图像的横图像宽度；或者R＝hs/hT，参数hs为当前待识别图像的图像高度，hT为当前模板图像的横图像高度。
CN201610284102.XA 2016-05-03 2016-05-03 一种用于文字识别处理的模板匹配方法 Expired - Fee Related CN105913093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610284102.XA CN105913093B (zh) 2016-05-03 2016-05-03 一种用于文字识别处理的模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610284102.XA CN105913093B (zh) 2016-05-03 2016-05-03 一种用于文字识别处理的模板匹配方法

Publications (2)

Publication Number Publication Date
CN105913093A CN105913093A (zh) 2016-08-31
CN105913093B true CN105913093B (zh) 2019-06-21

Family

ID=56753487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610284102.XA Expired - Fee Related CN105913093B (zh) 2016-05-03 2016-05-03 一种用于文字识别处理的模板匹配方法

Country Status (1)

Country Link
CN (1) CN105913093B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354566B (zh) * 2015-10-26 2019-01-22 江苏国光信息产业股份有限公司 用于冠字号识别的字符污染去除方法
CN106569059A (zh) * 2016-11-01 2017-04-19 广西电网有限责任公司电力科学研究院 一种具备将测试数据转结构化功能的生产业务系统
CN106708793B (zh) * 2016-12-06 2018-06-08 掌阅科技股份有限公司 注释脚标识别方法、装置及电子设备
CN107403176B (zh) * 2017-03-29 2020-02-28 北京猿力未来科技有限公司 文本图片中文字背景反色的检测方法和装置
CN108961532B (zh) * 2017-05-26 2020-11-17 深圳怡化电脑股份有限公司 冠字号图像处理方法、装置、设备及存储介质
JP6938228B2 (ja) * 2017-05-31 2021-09-22 株式会社日立製作所 計算機、文書識別方法、及びシステム
CN107220634B (zh) * 2017-06-20 2019-02-15 西安科技大学 基于改进d-p算法与多模板匹配的手势识别方法
CN108230538B (zh) * 2017-12-30 2020-05-15 深圳怡化电脑股份有限公司 一种纸币鉴定方法、装置、设备和储存介质
CN109086756B (zh) * 2018-06-15 2021-08-03 众安信息技术服务有限公司 一种基于深度神经网络的文本检测分析方法、装置及设备
CN109271910A (zh) * 2018-09-04 2019-01-25 阿里巴巴集团控股有限公司 一种文字识别、文字翻译方法和装置
CN109977935B (zh) * 2019-02-27 2024-04-12 平安科技（深圳）有限公司 一种文本识别方法及装置
CN110569850B (zh) * 2019-08-20 2022-07-12 北京旷视科技有限公司 字符识别模板匹配方法、装置和文本识别设备
CN110751682B (zh) * 2019-10-28 2022-07-05 普联技术有限公司 一种提取和标识图像的方法、装置、终端设备及存储介质
CN111046736B (zh) * 2019-11-14 2021-04-16 北京房江湖科技有限公司 一种提取文本信息的方法、装置和存储介质
CN110957016B (zh) * 2019-11-21 2023-08-08 山东鲁能软件技术有限公司 基于健康云管理平台的体检数据智能识别系统及方法
CN110910841A (zh) * 2019-12-16 2020-03-24 电子科技大学中山学院 一种电泳电子纸鬼影减弱系统和减弱方法
CN111309618B (zh) * 2020-02-24 2023-05-09 广州市百果园信息技术有限公司 页面元素定位方法、页面测试方法及相关装置
CN111421539A (zh) * 2020-04-01 2020-07-17 电子科技大学 一种基于计算机视觉的工业零件智能识别与分拣系统
CN112308046A (zh) * 2020-12-02 2021-02-02 龙马智芯（珠海横琴）科技有限公司 图像的文本区域定位方法、装置、服务器及可读存储介质
CN113313217B (zh) * 2021-07-31 2021-11-02 北京惠朗世纪科技有限公司 一种基于鲁棒性模板的倾角文字精准识别方法及系统
CN114842003B (zh) * 2022-07-04 2022-11-01 杭州健培科技有限公司 一种医学影像随访目标配对方法、装置及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663377A (zh) * 2012-03-15 2012-09-12 华中科技大学 一种基于模板匹配的字符识别方法
CN104182750A (zh) * 2014-07-14 2014-12-03 上海交通大学 一种在自然场景图像中基于极值连通域的中文检测方法
CN105373794A (zh) * 2015-12-14 2016-03-02 河北工业大学 一种车牌识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663377A (zh) * 2012-03-15 2012-09-12 华中科技大学 一种基于模板匹配的字符识别方法
CN104182750A (zh) * 2014-07-14 2014-12-03 上海交通大学 一种在自然场景图像中基于极值连通域的中文检测方法
CN105373794A (zh) * 2015-12-14 2016-03-02 河北工业大学 一种车牌识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中文印刷体文档数学公式识别系统;李蕊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20071015;第16-65页 *
场景文本识别关键技术研究;尹芳;《中国博士学位论文全文数据库 信息科技辑》;20140815;第23-89页 *
基于模板匹配的手写体字符识别算法研究;王慧;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015;第9-35页 *

Also Published As

Publication number Publication date
CN105913093A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
CN106529537B (zh) 一种数字仪表读数图像识别方法
CN104376548B (zh) 一种基于改进型surf算法的图像快速拼接方法
CN107705288B (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN103345755B (zh) 一种基于Harris算子的棋盘格角点亚像素提取方法
CN109034047A (zh) 一种车道线检测方法及装置
Jovančević et al. Automated exterior inspection of an aircraft with a pan-tilt-zoom camera mounted on a mobile robot
CN104597057B (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN107014819A (zh) 一种太阳能电池板表面缺陷检测系统和方法
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
CN109253722A (zh) 融合语义分割的单目测距系统、方法、设备及存储介质
CN110097596A (zh) 一种基于opencv的目标检测系统
WO2018010387A1 (zh) 元件反件检测方法和系统
CN110288612B (zh) 铭牌定位与校正方法及设备
CN111259891B (zh) 一种自然场景下身份证识别方法、装置、设备和介质
CN107240112A (zh) 一种复杂场景下个体x角点提取方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN102095370B (zh) 三x组合标记的检测识别方法
CN104749801B (zh) 高精度自动光学检测方法和系统
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
Gui et al. A fast caption detection method for low quality video images
CN110969135A (zh) 自然场景中的车标识别方法
CN105930813B (zh) 一种在任意自然场景下检测行文本的方法
CN113284158B (zh) 一种基于结构约束聚类的图像边缘提取方法及系统
CN108898584A (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190621

CF01 Termination of patent right due to non-payment of annual fee