CN107958261B - 一种盲文点检测方法及系统 - Google Patents

一种盲文点检测方法及系统 Download PDF

Info

Publication number
CN107958261B
CN107958261B CN201711071085.2A CN201711071085A CN107958261B CN 107958261 B CN107958261 B CN 107958261B CN 201711071085 A CN201711071085 A CN 201711071085A CN 107958261 B CN107958261 B CN 107958261B
Authority
CN
China
Prior art keywords
braille
points
image
square
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711071085.2A
Other languages
English (en)
Other versions
CN107958261A (zh
Inventor
刘宏
钱跃良
王向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201711071085.2A priority Critical patent/CN107958261B/zh
Publication of CN107958261A publication Critical patent/CN107958261A/zh
Application granted granted Critical
Publication of CN107958261B publication Critical patent/CN107958261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种盲文点检测方法及系统,包括:利用采集设备获取纸版盲文的数字化图像;对该数字化图像的盲文进行盲文点标注;根据标注好的盲文图像,截取以盲文点为中心的盲文点图像区域作为正样本,截取除该盲文点图像区域以外的背景图像区域作为负样本;提取该正样本和该负样本的多个特征,训练级联分类器;在待检测的盲文图像上,利用该级联分类器进行盲文点的检测和定位。由此本发明可实现对盲文数字化图像的盲文点自动标注。

Description

一种盲文点检测方法及系统
技术领域
本发明涉及盲文标注领域,特别涉及一种盲文点检测方法及系统。
背景技术
视力残疾人士由于视觉障碍,无法像明眼人一样获取明文信息,主要通过触摸盲文点字符号来阅读盲文获取信息。目前流通的盲文图书数量还较少,无法满足盲人朋友的阅读需求。另一方面,盲文图书馆典藏了很多早期有价值的盲文图书和文献,这些图书由于缺乏盲文的数字化信息,导致再版的人工成本昂贵。而且,在特殊教育领域,盲生试卷的编制和阅卷,还是采用盲文老师手工翻译的方式,耗时费力,缺乏客观性。因此,针对纸质盲文图像的盲文点字自动检测和识别技术具有重要意义。
盲文俗称“点字”或“凸字”,由法国人路易·布莱尔于1824年发明,是一种依靠触觉感知的文字。盲文图书的一页大概有1000到2000个盲文凸点。盲文的基本组成单位是盲方或者盲符,每个盲方有6个点位,分布在三行两列的矩阵上,根据相应的点位上是否有凸点来代表不同的盲方。盲方根据“国家盲文标准”,按照一定的方距和行距进行排列,组成盲文。
为了节约纸张,盲文图书一般采用双面打印方式,即我们得到的盲文图像即含有当前页的凸点区域,又包含凹点区域。凸点和凹点区域会有一定的错位现象,但是在双面盲文的点字密集区域,凸点和凹点往往交错在一起,导致盲文点字的图像表观呈现多样性特点,凹凸点的外观形态也会发生极大的变化,这给双面盲文的盲点检测带来极大的困难和挑战。盲文图像中的凸点或者凹点检测,是盲文识别的基础,而目前还缺乏快速鲁棒的盲文点识别方法。
发明内容
为了解决上述纸版盲文点检测技术不够鲁棒,速度较慢,无法适应多样的盲文打印形式和采集形式的问题,本发明提出了一种盲文点检测方法及系统。
具体地说,本发明公开了一种一种盲文点检测方法,其中包括:
步骤1、利用采集设备获取纸版盲文的数字化图像;
步骤2、对该数字化图像的盲文进行盲文点标注;
步骤3、从标注好的盲文图像中截取训练样本,根据该训练样本训练级联分类器,并用训练完成的该级联分类器对待检测盲文图像内的盲文点进行检测,将检测到的各盲文点位置和各盲文点类型信息保存并输出;
其中该步骤3包括:
步骤31、根据标注好的盲文图像,截取以盲文点为中心的盲文点图像区域作为正样本,截取除该盲文点图像区域以外的背景图像区域作为负样本;
步骤32、提取该正样本和该负样本的多个特征,训练级联分类器;
步骤33、在待检测的盲文图像上,利用该级联分类器进行盲文点的检测和定位。
该盲文点检测方法,其中步骤32中的特征均为哈尔小波特征。
该盲文点检测方法,其中该级联分类器为Adaboost级联分类器。
该盲文点检测方法,其中步骤1中该采集设备包括扫描仪、摄像机或盲文图像采集仪器;该纸版盲文包括凸点和/或凹点形式的盲文点。
该盲文点检测方法,其中步骤33中的检测为基于滑动窗口的检测,利用该级联分类器判别该滑动窗口内的图像区域是盲文点还是背景。
本发明还提出了一种盲文点检测系统,其中包括:
采集模块,用于通过采集设备获取纸版盲文的数字化图像;
标注模块,用于对该数字化图像的盲文进行盲文点标注;
训练模块,用于从标注好的盲文图像中截取训练样本,根据该训练样本训练级联分类器,并用训练完成的该级联分类器对待检测盲文图像内的盲文点进行检测,将检测到的各盲文点位置和各盲文点类型信息保存并输出;
其中该训练模块包括:
截取模块,用于根据标注好的盲文图像,截取以盲文点为中心的盲文点图像区域作为正样本,截取除该盲文点图像区域以外的背景图像区域作为负样本;
提取模块,用于提取该正样本和该负样本的多个特征,训练级联分类器,在待检测的盲文图像上,利用该级联分类器进行盲文点的检测和定位。
该盲文点检测系统,其中提取模块中提取的多个特征均为哈尔小波特征。
该盲文点检测系统,其中该级联分类器为Adaboost级联分类器。
该盲文点检测系统,其中该采集设备包括扫描仪、摄像机或盲文图像采集仪器;该纸版盲文包括凸点和/或凹点形式的盲文点。
该盲文点检测系统,其中该提取模块中的检测为基于滑动窗口的检测,利用该级联分类器判别该滑动窗口内的图像区域是盲文点还是背景。
由此本发明可实现对盲文数字化图像的盲文点自动标注。
附图说明
图1为双面盲文图像截图;
图2为以点的形式在屏幕上显示盲文方对应盲文点位置的示意图;
图3为以“日”字的交叉点形式在屏幕上显示盲文方对应盲文点位置的示意图;
图4为已标注完成的盲文方示意图;
图5为选择盲文方进行删除的示意图;
图6为凸点和凹点的标注结果展示图;
图7为基于级联分类器的凸点检测结果展示图;
图8为盲文方定位结果示意图;
图9为初始的计算机盲文点检测结果图;
图10为本发明主要步骤框图。
具体实施方式
为实现上述技术效果,本发明由以下步骤组成:
步骤1、盲文图像采集;
步骤2、盲文点交互式标注;
步骤3、盲文点快速检测;
为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例对上述各步骤进行展开描述,并配合说明书附图作详细说明如下。
如图10所示,本发明包括,步骤1,盲文图像采集:
利用采集设备获取纸版盲文的数字化图像。采集方式可以包括扫描仪扫描,摄像机拍照,或者特殊的盲文图像采集仪器等方式。该纸版盲文包括凸点和/或凹点形式的盲文点,纸版盲文可以包括盲文图书或者盲文试卷等,可以是单面印刷或者双面印刷的盲文。单面印刷的盲文每页只包含凸点或者凹点一种形式的盲文点,双面印刷的盲文每页包含凸点和凹点两种形式的盲文点。例如,图1显示了采用扫描仪扫描得到的双面盲文图像的截图,既有凸点又有凹点,在文字密集区,凸点和凹点交互在一起。
步骤2,盲文点交互式标注:
以盲文方为单位对该数字化图像进行交互式盲文点标注,包括以下步骤:
步骤21,将该数字化图像作为待标注的盲文图像显示在屏幕上。例如,图1显示了一个盲文图像的截图。
步骤22,通过交互式设备的在该数字化图像上选取某一个盲文的盲文方位置,例如通过交互式设备鼠标点击盲文方的左上角来确定该盲文方位置。
步骤23,将属于该盲文方位置的盲文方标识显示在屏幕上。其中盲文方标识可为盲文方对应的6个盲文点,或者盲文方对应的“日”字形方格,例如将所选择的盲文方对应的6个盲文点位置显示在屏幕上,可以直接采用6个点来显示盲文方(如图2所示,其中盲文方对应的盲文点位置以浅灰色点标识),也可以采用“日”字形方格来表示盲文方标识(如图3所示,其中盲文方对应的盲文点位置以浅灰色矩形框标识),每个交叉点代表一个盲文点位置。盲文方标识对应的盲文点间距信息,可以参考中国盲文书写规范以及扫描图像的分辨率大小,通过统计的方法提前得到盲文点间距、盲文方间距和行距信息。并且在以上在点选盲文方时,可通过鼠标快捷键来区分是标注凸点盲文方还是凹点盲文方,例如点击鼠标左键代表标注凸点盲文方,点击鼠标右键代表标注凹点盲文方;可通过键盘快捷键进行盲文方位置,大小的微调,从而更精确的匹配盲文图像上的某一个盲文方,例如通过“I”、“K”、“J”、“L”四个键进行盲文方位置上下左右的微调,每次移动一个像素或者多个像素,具体移动的像素数课根据图像采集的分辨率决定。
步骤24,通过交互设备为该盲文方标识内的盲文点进行标注(填充),并在屏幕上实时显示已填充好的盲文点。以标注凸点为例,用交互设备例如是键盘快捷键进行盲文方内盲文点的快速填充,并在屏幕上实时显示已填充好的凸点。凹点盲文方的标注方法类似。例如,根据中国盲文要求,“日”字左边三个点代表1、2、3,右边三个点代表4、5、6。在实际标注时,可采用小键盘的数字键,仅选择某个位置上有凸点的数字。例如,如果该盲文方中仅有1、2、5三个位置有凸点,则仅利用数字键选择1、2、5三个键即可完成该盲文方凸点的填充。同时在屏幕上显示已经填充好的凸点,例如采用黑色点进行标识。图4显示了一个标注好的盲文方,例如左侧盲文方的黑点信息,右侧6个灰色点为移动到的下一个盲文方位置。
步骤25,该盲文方标注完之后,可以采用快捷键进行盲文方位置的移动,移动到下一个盲文方位置。由于中国盲文的排列遵循了国家标准,盲文方行间距和列间距有固定的范围,可以结合盲文图像采集的分辨率,提前统计该盲文图像中对应的盲文方行间距和列间距,方便在交互式操作时直接进行行列的移动。例如,利用键盘上的“上下左右”方向键进行盲文方位置的单步移动,每次移动距离可以提前根据盲文图像进行统计和确定。也可以采用步骤22,直接点选的方式,选取下一个需要标注的盲文方。这里也可以进一步用快捷键微调盲文方的位置,方法同上步骤23,并在屏幕上显示盲文方。
也可以对选取的盲文方进行标注信息的修改。例如选择了已经标注好的盲文方,可以重新通过数字快捷键进行重新标注。
也可以删除盲文方。例如,如图5所示,利用鼠标在屏幕上画矩形框的方式来圈定某一盲文方区域,按快捷键,例如DEL进行盲文方删除。或者直接点选某一盲文方,采用Del等键进行盲文方标注信息的删除。
重复步骤22,到步骤25,完成对整张盲文图像盲文点的交互式标注。实际标注时,可以根据需要仅标注凸点,或者仅标注凹点,或者凸点和凹点都进行标注。图6用不同的颜色信息展示了凸点和凹点的标注结果,其中凸点采用黑色,凹点采用白色。
标注结束之后,按快捷键保存该盲文图像的标注信息。例如,点击“S“键进行标注信息的保存,以盲文方的形式,保存盲文方位置信息,以及填充的盲文点的位置信息等。
本发明的实验效果。如果按照凸点进行鼠标进行逐个的标注,完成一张盲文图像的标注大概需要2个多小时。而采用了基于盲文方并结合数字键的快捷标注方法,标注一张图像在10分钟以内,极大地提高了人工标注的效率。其他可选的标注方法有,直接交互式的在盲文图像上,利用鼠标选择凸点位置。
步骤3,盲文点快速检测:
根据该训练样本训练级联分类器,并用训练完成的该级联分类器对待检测盲文图像内的盲文点进行检测,将检测到的各盲文点位置和各盲文点类型信息保存并输出。
基于以上步骤1和步骤2,得到了盲文图像的标注信息,包含凸点的位置信息。本发明下面将以凸点检测为例,凹点的检测方法亦然故不再赘述。
步骤31,根据该训练样本中盲文点的标注信息,将该数字化图像划分为包含盲文点的正样本和包含背景点的负样本。需要注意的是,此处盲文点根据用户需要可为凸点或凹点,如指定凸点为盲文点,则认为该数字化图像中除凸点外的区域均为背景,例如以标注的凸点为中心的周围20×20的区域图像作为正例样本,同样大小的背景和凹点区域作为反例样本。
步骤32,提取该正样本和该负样本的多个特征,根据该多个特征训练该级联分类器。分别提取正负样本的特征,训练分类器。优选的可以提取样本的哈尔Haar小波特征,训练Adaboost级联分类器。在待检测的盲文图像上,采用滑动窗口方式,提取窗口内图像的相应特征,例如Haar特征,利用训练完成的Adaboost分类器进行是否是凸点的分类判别。其中Haar是一组小波特征,最后利用Adaboost进行特征挑选,训练多个弱分类器,每个弱分类器对应一个Haar小波特征,然后这些弱分类器再组合成强的级联分类器作为该Adaboost级联分类器。
经过步骤31和步骤32可以得到初步检测的凸点位置信息,保存整个盲文图像的凸点信息。例如保存文件名,以及对应的凸点坐标信息。本发明针对扫描仪得到的200dpi的盲文图像,利用优选的Haar+Adaboost的方法,检测一张图像在0.5秒以内。同时凸点的平均识别准确率达到99.74%,召回率94.01%。图7展示了一个利用级联分类器检测的凸点识别结果。
其他可选的方案,可以提取样本的灰度特征,或者HOG方向直方图特征向量,或者LBP二值纹理特征等特征向量,训练SVM或者随机森林等分类器,同样采用滑动窗口方式进行凸点检测。
其他可选的方式,可以通过图像分割方法,将盲文点进行前景和背景的分割,从而得到盲文点位置。如果是单面图像就可以直接到的凸点或者凹点信息。如果是双面图像,需要进一步利用特征进行区分凸点还是凹点,从而得到盲文图像上的凸点位置信息。
本发明特举以下实施例,进一步详细对上述各步骤进行展开描述。
本发明除上述步骤外还包括:
步骤4盲文图像自动倾斜校正、步骤5盲文方自适应定位、步骤6盲文点计算机辅助标注和步骤7高精度盲文点和盲文方识别。
步骤4盲文图像倾斜校正。盲文点字倾斜可能有两种情况,一种是由于采集过程造成的,比如盲文纸张放置倾斜,一种是盲文在初期打印时本身就是倾斜的,导致盲文对应的盲文方行和列不是水平和垂直的,为后期盲文方定位和标注带来很大的误差。因此首先需要进行盲文图像倾斜校正。具体步骤如下:
步骤S1、基于步骤1、2、3,得到了盲文图像中的凸点位置信息。
步骤S2、较优的,首先利用前面得到的凸点位置信息将凸点和背景二值化。比如,在凸点位置使用一个黑色小正方形代替,背景等则设为全白。或者使用黑色的小圆点表示凸点,背景设为全白。
步骤S3、将该二值化图像以1°为间隔,进行多次旋转,统计每次旋转后水平投影行像素值和为0的行数和竖直投影列像素和为0的列数总和。空白行列数越多则意味着该旋转角度越接近真实倾斜角度,将空白行列数总和最大对应的旋转角度记为α°。比如,从-5°到5°进行多次旋转。
步骤S4、为了得到更新的角度,再次旋转步骤S3所得的二值化图像,以0.1°为间隔,从(α-0.5)°到(α+0.5)°进行多次旋转。同步骤S3的方法,将投影空白行列数总和最大对应的旋转角度记为β°。
步骤S5、角度β°即为所求得的盲文图像倾斜角度,反方向旋转原盲文图像可得到校正后的盲文图像。
通过以上由粗到细的旋转图像,可以快速的获取图像的倾斜角度,误差精细到0.1°。
其他可选的倾斜校正方法包括,在盲文图像上放置或粘贴一个黑色矩形框,假设该方框的水平线和竖直线与盲文方的行和列平行,通过校正该矩形框进行盲文图像的倾斜校正。
其他可选的倾斜校正方法包括,则提取上盲文图像边缘上的凸点,使用最小二乘法拟合直线来进行倾斜校正。可选的还有,人工交互式的标注出某盲文方行的第一行凸点所在位置,或者其他同一行的凸点位置,利用直线拟合的方式,求出直线的倾斜角度,从而进行盲文图像倾斜校正。
其他可选的倾斜校正方法包括,检测盲文图像的纸张边缘直线,利用直线的倾斜来校正盲文图像。
步骤5、盲文方自适应定位。盲文方定位是盲文识别的关键步骤。现有的盲文方定位算法大多利用规则方法,认为盲文方行列线的排列十分规范,采用标准的盲文方网格即可实现盲文方定位。但在实际处理盲文图像时我们发现,由于生产工艺、扫描设备等原因盲文图像中盲文方行列线排列存在着微小误差,其盲文方行距、方距也并不完全一致。具体步骤如下:
步骤S6、优选的,利用步骤1、2、3、4得到凸点的初步检测结果以及倾斜校正后的盲文图像。或者利用传统的图像分割方法,得到凸点的检测结果,和倾斜校正后的盲文图像。
步骤S7、针对倾斜校正后的图像,利用盲文方三行两列的特点,对凸点位置信息进行纵坐标的聚类,将凸点纵坐标接近的盲文点划分为一组,求其纵坐标均值得到多条预选盲文方水平行线的位置。
步骤S8、从上往下找出符合标准的三条水平行线,即相邻两条水平线之间距离符合统计信息中盲文方点距的范围,如果找不到则生成一个默认的盲文方网格,算法结束。
步骤S9、如果找到了,则从这三条水平线位置开始,根据统计得到的盲文方点距、行距等信息分别向上、向下拓展,且拓展的过程中生成以最新拓展的一组三条水平线为基准,同时剔除位置错误的水平线直到达到盲文图像两端,即可得到多组三条水平线一组的盲文方水平线。
步骤S10、同上述方法可得到多组两条竖直线一组的盲文方竖直线。
步骤S11、每组中三条水平线和两条竖直线的交叉点即为盲文点可能存在的位置,六个交叉点组成一个盲文方,最终生成整个盲文方网格。
根据上述算法得到的盲文方定位效果如图8所示,可见在凸点检测基础上进行盲文方定位,消除了凹点带来的影响,算法速度快鲁棒性高。
步骤6、盲文点计算机辅助标注。当需要标注新的盲文书籍,或者盲文试卷的时候。如果我们已经有了一个盲文点检测的分类器,该分类器可以辅助我们进行新盲文图像的快速标注,即由机器先进行标注,人工再进行修正,从而提升标注效率,减少人工标注劳动量。具体步骤如下。
步骤S12、基于以上步骤1、2、3、4、5,得到具有盲文方定位的凸点检测结果。如图9所示,将该图显示在屏幕上。
步骤S13、利用鼠标点选需要修改的盲文方位置,获取该盲文方的信息。
步骤S14、按快捷键删除该盲文方的标注信息。比如DEL进行盲文方标注的删除。
步骤S15、用键盘快捷键进行盲文方内盲文点的快速填充,并在屏幕上实时显示已填充好的凸点。在实际标注时,可采用小键盘的数字键,仅选择某个位置上有凸点的数字。比如,如果该盲文方中仅有1、2、5三个位置有凸点,则仅利用数字键选择1、2、5三个键即可完成该盲文方凸点的填充。同时在屏幕上显示已经填充好的凸点。
步骤S16、也可通过键盘快捷键进行盲文方位置微调,从而更精确的匹配盲文图像上的某一个盲文方。
步骤S17、该盲文方标注完之后,可以采用快捷键进行盲文方位置的移动,移动到下一个盲文方位置。由于中国盲文的排列遵循了国家标准,盲文方行间距和列间距有固定的范围,可以结合盲文图像采集的分辨率,提前统计该盲文图像中对应的盲文方行间距和列间距,方便在交互式操作时直接进行行列的移动。比如,利用键盘上的“上下左右”方向键进行盲文方位置的单步移动,每次移动距离可以提前根据盲文图像进行统计和确定。也可以采用步骤S13,直接点选的方式,选取下一个需要标注的盲文方。这里也可以进一步用快捷键微调盲文方的位置,方法同上步骤S25。
步骤S18、重复步骤S13到步骤S17,完成对整张盲文图像盲文点的交互式辅助修改。
步骤S19、标注结束之后,按快捷键保存该盲文图像的标注信息。比如,点击“S“键进行标注信息的保存,以盲文方的形式,保存盲文方位置信息,以及填充的盲文点的位置信息等。
步骤7、高精度盲文点和盲文方识别。通过以上步骤1到步骤5,得到盲文方的定位结果,可以利用盲文方位置信息,去除Adaboost级联分类器带来的部分误报,因为凸点基本上会出现在盲文方的六个盲文点位置,从而可以提升基于Adaboost分类器的识别效果。更重要的是在盲文方定位基础上,可以仅针对每个盲文方对应的6个盲文点区域,利用更复杂的分类器来提升凸点识别的准确性。具体步骤如下:
步骤S20、优选的,基于步骤1、2得到凸点标注信息,或者利用步骤1、2、3、4、5、6得到凸点标注信息。
步骤S21、截取以凸点为中心点的图像作为正例样本,以凹点和背景的中心点的图像作为反例样本。比如采用24*24的样本大小。
步骤S22、提取样本的多种特征,分别训练多个分类器。优选的,可以提取灰度特征,可以提取HOG梯度直方图特征,可以提取LBP局部二值特征,或者将HOG和LBP进一步串联的特征,并采用支持向量机SVM或者随机森林或者其他的分类器,训练凸点的分类器,同时得到多个分类器。
步骤S23、基于步骤5得到盲文方定位信息。
步骤S24、截取以每个盲文方对应的6个盲文点为中心的小图,将这些小图分别提取多种特征,利用训练好的分类器分别进行凸点的分类判别。优选的,可以提取HOG,LBP,串联的HOG_LBP特征,然后使用三个对应的SVM分类器进行识别,包括HOG-SVM,LBP-SVM,HOG_LBP+SVM。
步骤S25、将多个SVM分类器分类结果,与级联分类器进行结果融合。最终的融合结果为不同分类器的结果与其对应的权值的乘积。如果最终的融合结果超过某阈值,说明大多数分类器的输出是凸点,则认为其存在凸点。凹点的检测方法同凸点。
步骤S26、可以进一步将盲文方内的凸点信息转化为盲文方信息,从而完成基于盲文方的检测和识别。
步骤S27、可以融合正反面的盲文点的识别结果,来提高盲文点和盲文方的识别性能。
步骤S28、还可以将盲文方的信息翻译为汉语文字和句子,根据句子分析来排查检测错误的盲方,从而提高盲文编辑人员的工作效率。
基于以上步骤,基于组合分类器的方法,对盲文图像的凸点平均识别性能,达到了准确率99.75%,召回率99.58%。对盲文方的平均识别性能,达到了准确率98.27%,召回率98.84%。本发明针对扫描仪得到的200dpi的盲文图像,利用以上步骤1至步骤7得到盲文点和盲文方检测结果,检测一张图像平均在1.8秒以内。
以下为与上述方法实施例对应的系统实施例,本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效,为了减少重复,这里不再赘述。相应地,本实施系统中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种盲文点检测系统,其中包括:
采集模块,用于通过采集设备获取纸版盲文的数字化图像;
标注模块,用于对该数字化图像的盲文进行盲文点标注;
训练模块,用于从标注好的盲文图像中截取训练样本,根据该训练样本训练级联分类器,并用训练完成的该级联分类器对待检测盲文图像内的盲文点进行检测,将检测到的各盲文点位置和各盲文点类型信息保存并输出;
其中该训练模块包括:
截取模块,用于根据标注好的盲文图像,截取以盲文点为中心的盲文点图像区域作为正样本,截取除该盲文点图像区域以外的背景图像区域作为负样本;
提取模块,用于提取该正样本和该负样本的多个特征,训练级联分类器,在待检测的盲文图像上,利用该级联分类器进行盲文点的检测和定位。
该盲文点检测系统,其中提取模块中提取的多个特征均为哈尔小波特征。
该盲文点检测系统,其中该级联分类器为Adaboost级联分类器。
该盲文点检测系统,其中该采集设备包括扫描仪、摄像机或盲文图像采集仪器;该纸版盲文包括凸点和/或凹点形式的盲文点。
该盲文点检测系统,其中该提取模块中的检测为基于滑动窗口的检测,利用该级联分类器判别该滑动窗口内的图像区域是盲文点还是背景。
虽然本发明以上述实施例公开,但具体实施例仅用以解释本发明,并不用于限定本发明,任何本技术领域技术人员,在不脱离本发明的构思和范围内,可作一些的变更和完善,故本发明的权利保护范围以权利要求书为准。

Claims (4)

1.一种盲文点检测方法,其特征在于,包括:
步骤1、利用采集设备获取纸版盲文的数字化图像;
步骤2、对该数字化图像的盲文进行以盲文方为单位的盲文点标注,并保存标注信息;
步骤3、从标注好的盲文图像中截取训练样本,根据该训练样本训练级联分类器,并用训练完成的该级联分类器对待检测盲文图像内的盲文点进行检测,将检测到的各盲文点位置和各盲文点类型信息保存并输出;
其中该步骤2具体包括:
步骤21、将该数字化图像显示在屏幕上;
步骤22、通过交互式设备在该数字化图像上选取某一个盲文的盲文方位置;
步骤23、将属于该盲文方位置的盲文方标识显示在屏幕上,该标识包括该盲文方包含的六个盲文点的位置信息;
步骤24、通过数字键为该盲文方标识内实际存在的盲文点进行标注,并在屏幕上实时显示已标注完成的盲文点;
步骤25、移动该盲文方位置至下一个盲文方,或执行该步骤22选取下一个盲文的盲文方位置,重复执行该步骤23和步骤24直到对该数字化图像内全部盲文点完成标注;
步骤26、将标注的盲文点位置信息和类别信息进行保存,类别信息包括凸点或者凹点;
该步骤3具体包括:
步骤31、根据标注好的盲文图像中的盲文点位置和类别标注信息,截取以盲文点为中心的盲文点图像区域作为正样本,截取除盲文点图像区域以外的图像区域作为负样本,该盲文点为凸点或凹点;
步骤32、提取该正样本和该负样本的哈尔小波特征,训练级联分类器;
步骤33、对待检测的盲文图像,采用滑动窗口策略在盲文图像中截取图像区域,利用该级联分类器判别该滑动窗口内的图像区域是盲文点还是背景。
2.如权利要求1所述的盲文点检测方法,其特征在于,该级联分类器为Adaboost级联分类器。
3.一种盲文点检测系统,其特征在于,包括:
采集模块,用于通过采集设备获取纸版盲文的数字化图像;
标注模块,用于对该数字化图像的盲文进行以盲文方为单位的盲文点标注,并保存标注信息;
训练模块,用于从标注好的盲文图像中截取训练样本,根据该训练样本训练级联分类器,并用训练完成的该级联分类器对待检测盲文图像内的盲文点进行检测,将检测到的各盲文点位置和各盲文点类型信息保存并输出;
其中该训练模块包括:
截取模块,用于根据标注好的盲文图像中的盲文点标注信息,截取以盲文点为中心的盲文点图像区域作为正样本,截取除该盲文点图像区域以外的背景图像区域作为负样本;
提取模块,对待检测的盲文图像,采用滑动窗口策略在盲文图像中截取图像区域,利用该级联分类器判别该滑动窗口内的图像区域是盲文点还是背景;
该标注模块具体包括:
模块21、将该数字化图像显示在屏幕上;
模块22、通过交互式设备在该数字化图像上选取某一个盲文的盲文方位置;
模块23、将属于该盲文方位置的盲文方标识显示在屏幕上,该标识包括该盲文方包含的六个盲文点的位置信息;
模块24、通过数字键为该盲文方标识内实际存在的盲文点进行标注,并在屏幕上实时显示已标注完成的盲文点;
模块25、移动该盲文方位置至下一个盲文方,或执行该模块22选取下一个盲文的盲文方位置,重复执行该模块23和模块24直到对该数字化图像内全部盲文点完成标注;
模块26、保存标注的盲文点位置信息和类别信息,类别信息包括凸点或者凹点。
4.如权利要求3所述的盲文点检测系统,其特征在于,该级联分类器为Adaboost级联分类器。
CN201711071085.2A 2017-11-03 2017-11-03 一种盲文点检测方法及系统 Active CN107958261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711071085.2A CN107958261B (zh) 2017-11-03 2017-11-03 一种盲文点检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711071085.2A CN107958261B (zh) 2017-11-03 2017-11-03 一种盲文点检测方法及系统

Publications (2)

Publication Number Publication Date
CN107958261A CN107958261A (zh) 2018-04-24
CN107958261B true CN107958261B (zh) 2020-12-04

Family

ID=61963511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711071085.2A Active CN107958261B (zh) 2017-11-03 2017-11-03 一种盲文点检测方法及系统

Country Status (1)

Country Link
CN (1) CN107958261B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635826A (zh) * 2018-12-19 2019-04-16 北京奇艺世纪科技有限公司 一种压印类型识别方法及装置
CN109740601A (zh) * 2019-01-04 2019-05-10 北京奇艺世纪科技有限公司 一种压印类型识别方法及装置
CN110310311B (zh) * 2019-07-01 2022-04-01 成都数之联科技股份有限公司 一种基于盲文的图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063628A (zh) * 2011-01-14 2011-05-18 长春大学 双面盲文点字的提取方法
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4452286B2 (ja) * 2007-03-05 2010-04-21 株式会社日立製作所 タグ検知システム、移動物体検知方法、及び入退場管理システム
CN102111472A (zh) * 2009-12-24 2011-06-29 中兴通讯股份有限公司 一种盲文转换和显示方法、实现该方法的设备、以及通信终端
CN106446885A (zh) * 2016-09-21 2017-02-22 北京联合大学 纸介盲文识别方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063628A (zh) * 2011-01-14 2011-05-18 长春大学 双面盲文点字的提取方法
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法

Also Published As

Publication number Publication date
CN107958261A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
CN102567300B (zh) 图片文档的处理方法及装置
CN108052955B (zh) 一种高精度盲文识别方法及系统
CN106156761A (zh) 面向移动终端拍摄的图像表格检测与识别方法
CN110597806A (zh) 一种基于批阅识别的错题集生成与答题统计系统及方法
CN101719142B (zh) 基于分类字典的稀疏表示图片文字检测方法
CN108052936B (zh) 一种盲文图像自动倾斜校正方法及系统
Antonacopoulos et al. A robust braille recognition system
CN105095892A (zh) 基于图像处理的学生文档管理系统
CN107958261B (zh) 一种盲文点检测方法及系统
CN108564079A (zh) 一种便携式字符识别装置及方法
CN111626292B (zh) 一种基于深度学习技术的楼宇指示标识的文字识别方法
CN106446885A (zh) 纸介盲文识别方法和系统
CN102737240B (zh) 分析数字文档图像的方法
CN113901952A (zh) 一种基于深度学习的印刷体与手写体分开文字识别方法
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN108062548B (zh) 一种盲文方自适应定位方法及系统
CN111814576A (zh) 一种基于深度学习的购物小票图片识别方法
CN110298236B (zh) 一种基于深度学习的盲文图像自动识别方法和系统
CN107886808B (zh) 一种盲文方辅助标注方法及系统
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
CN107292255A (zh) 基于特征矩阵相似度分析的手写数字识别方法
CN109522892A (zh) 神经网络辅助的文字图像信息标注方法
CN114550176A (zh) 基于深度学习的试卷批改方法
CN108062886A (zh) 盲文点交互式标注方法及系统
CN114241486A (zh) 一种提高识别试卷学生信息准确率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant