CN107886808B - 一种盲文方辅助标注方法及系统 - Google Patents

Abstract

本发明涉及一种盲文方辅助标注方法及系统，包括：利用采集设备获取纸版盲文的数字化图像；根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；将该盲文方位置显示在屏幕上；通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方；对该待修改盲文方的信息进行修改；移动该待修改盲文方位置至下一个需要修改的盲文方，或选取下一个需要修改的盲文方，直到对该盲文图像的全部需要修改的盲文方完成修改。由此本发明可对计算机自动标注后的盲文信息进行标注完善，以实现对盲文方的辅助标注。

Description

一种盲文方辅助标注方法及系统

技术领域

本发明涉及盲文标注领域，特别涉及一种盲文方辅助标注方法及系统。

背景技术

视力残疾人士由于视觉障碍，无法像明眼人一样获取明文信息，主要通过触摸盲文点字符号来阅读盲文获取信息。目前流通的盲文图书数量还较少，无法满足盲人朋友的阅读需求。另一方面，盲文图书馆典藏了很多早期有价值的盲文图书和文献，这些图书由于缺乏盲文的数字化信息，导致再版的人工成本昂贵。而且，在特殊教育领域，盲生试卷的编制和阅卷，还是采用盲文老师手工翻译的方式，耗时费力，缺乏客观性。因此，针对纸质盲文图像的盲文点字自动检测和识别技术具有重要意义。而为了测试盲文点字检测方法的检测性能，或者获取用于机器学习的盲文点字图像样本，都需要对盲文图像中的盲文点进行人工标注。

盲文俗称“点字”或“凸字”，由法国人路易·布莱尔于1824年发明，是一种依靠触觉感知的文字。盲文图书的一页大概有1000到2000个盲文凸点。盲文的基本组成单位是盲方或者盲符，每个盲方有6个点位，分布在三行两列的矩阵上，根据相应的点位上是否有凸点来代表不同的盲方。盲方根据“国家盲文标准”，按照一定的方距和行距进行排列，组成盲文。

为了节约纸张，盲文图书一般采用双面打印方式，即我们得到的盲文图像即含有当前页的凸点区域，又包含凹点区域。凸点和凹点区域会有一定的错位现象，但是在双面盲文的点字密集区域，凸点和凹点往往交错在一起，导致盲文点字的图像表观呈现多样性特点，凹凸点的外观形态也会发生极大的变化，这给双面盲文的人工标注带来极大的困难和挑战，标注时间成本非常高，而且容易由于人的疲劳导致标注错误。

而且，当需要标注新的盲文书籍，或者盲文试卷的时候。如果我们已经有了一个盲点检测的分类器，该分类器可以辅助我们进行新盲文图像的快速标注，即由机器先进行标注，人工再进行修正，从而提升标注效率，减少人工标注劳动量。目前，这方面还缺乏相关的技术方案。

发明内容

为了解决上述问题，本发明提出了一种盲点辅助标注方法及系统。

具体地说，本发明公开了一种盲文方辅助标注方法，其中包括：

步骤1、利用采集设备获取纸版盲文的数字化图像；

步骤2、根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；

步骤3、为该盲文图像进行交互式辅助修改；

其中该步骤3包括：

步骤31、将该盲文方位置显示在屏幕上；

步骤32、通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方；

步骤33、对该待修改盲文方的信息进行修改；

步骤34、移动该待修改盲文方位置至下一个需要修改的盲文方，或执行该步骤32选取下一个需要修改的盲文方，重复执行该步骤33直到对该盲文图像的全部需要修改的盲文方完成修改。

该盲文方辅助标注方法，其中步骤1中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

该盲文方辅助标注方法，其中步骤2中该盲文自动标注算法包括：

训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或

通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。

该盲文方辅助标注方法，其中该步骤33包括：

对该待修改盲文方的位置进行微调；和/或删除该该待修改盲文方的标注信息；和/或对该待修改盲文方内盲文点进行填充。

该盲文方辅助标注方法，其中该交互式设备包括键盘、鼠标、触控板。

本发明还提出了一种盲文方辅助标注系统，其中包括：

采集模块，用于通过采集设备获取纸版盲文的数字化图像；

标注模块，用于根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；

辅助修改模块，用于为该盲文图像进行交互式辅助修改；

其中该辅助修改模块包括：

点选模块，用于将该盲文方位置显示在屏幕上，通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方对该待修改盲文方的信息进行修改；移动该待修改盲文方位置至下一个需要修改的盲文方，或选取下一个需要修改的盲文方，直到对该盲文图像的全部需要修改的盲文方完成修改。

该盲文方辅助标注系统，其中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

该盲文方辅助标注系统，其中该盲文自动标注算法包括：

训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或

通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。

该盲文方辅助标注系统，其中该点选模块包括：对该待修改盲文方的位置进行微调；和/或删除该该待修改盲文方的标注信息；和/或对该待修改盲文方内盲文点进行填充。

该盲文方辅助标注系统，其中该交互式设备包括键盘、鼠标、触控板。

由此本发明可对计算机自动标注后的盲文信息进行标注完善，以实现对盲文点的辅助标注。

附图说明

图1为双面盲文图像截图；

图2为以点的形式在屏幕上显示盲文方对应盲文点位置的示意图；

图3为以“日”字的交叉点形式在屏幕上显示盲文方对应盲文点位置的示意图；

图4为已标注完成的盲文方示意图；

图5为选择盲文方进行删除的示意图；

图6为凸点和凹点的标注结果展示图；

图7为基于级联分类器的凸点检测结果展示图；

图8为盲文方定位结果示意图；

图9为初始的计算机盲文点检测结果图；

图10为本发明主要步骤框图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例对上述各步骤进行展开描述，并配合说明书附图作详细说明如下。

如图10所示，本发明包括：步骤1，盲文图像采集：

利用采集设备获取纸版盲文的数字化图像。采集方式可以包括扫描仪扫描，摄像机拍照，或者特殊的盲文图像采集仪器等方式。该纸版盲文包括凸点和/或凹点形式的盲文点，纸版盲文可以包括盲文图书或者盲文试卷等，可以是单面印刷或者双面印刷的盲文。单面印刷的盲文每页只包含凸点或者凹点一种形式的盲文点，双面印刷的盲文每页包含凸点和凹点两种形式的盲文点。例如，图1显示了采用扫描仪扫描得到的双面盲文图像的截图，既有凸点又有凹点，在文字密集区，凸点和凹点交互在一起。

步骤2，根据盲文自动标注算法确定该数字化图像的盲文点位置和盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；其中该盲文自动标注算法包括：提取已标注好的训练样本中的灰度特征，或者HOG方向直方图特征，或者LBP二值纹理特征等特征向量，训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。如果是单面图像就可以直接到的凸点或者凹点信息。如果是双面图像，需要进一步利用特征进行区分凸点还是凹点，从而得到盲文图像上的凸点位置信息。

步骤3，为该盲文图像进行交互式辅助修改，实现盲文点计算机辅助标注：

当需要标注新的盲文书籍，或者盲文试卷的时候。如果已经有了一个盲文点检测的分类器，该分类器可以辅助用户进行新盲文图像的快速标注，即由机器先进行标注，人工再进行修正，从而提升标注效率，减少人工标注劳动量。

步骤3盲文点计算机辅助标注的具体步骤如下：

步骤31，获取盲文检测结果，将该盲文方位置显示在屏幕上。例如，得到具有盲文方定位的盲文点(本实施例以凸点为例)检测结果，如图9所示，将该图显示在屏幕上。

步骤32，通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方。利用鼠标点选需要修改的盲文方位置，获取该盲文方的信息。该交互式设备包括键盘、鼠标、触控板。

步骤33，对该待修改盲文方的信息进行修改，包括通过键盘快捷键进行盲文方位置微调，从而更精确的匹配盲文图像上的某一个盲文方，或者按快捷键删除该盲文方的标注信息。例如DEL进行盲文方标注的删除。用键盘快捷键进行盲文方内盲文点的快速填充，并在屏幕上实时显示已填充好的凸点。在实际标注时，可采用小键盘的数字键，仅选择某个位置上有凸点的数字。例如，如果该盲文方中仅有1、2、5三个位置有凸点，则仅利用数字键选择1、2、5三个键即可完成该盲文方凸点的填充。同时在屏幕上显示已经填充好的凸点。

步骤34、移动该待修改盲文方位置至下一个需要修改的盲文方，或执行该步骤32选取下一个需要修改的盲文方，重复执行该步骤33直到对该盲文图像的全部需要修改的盲文方完成修改。其中该盲文方标注完之后，可以采用快捷键进行该待修改盲文方位置的移动，移动到下一个盲文方位置。由于中国盲文的排列遵循了国家标准，盲文方行间距和列间距有固定的范围，可以结合盲文图像采集的分辨率，提前统计该盲文图像中对应的盲文方行间距和列间距，方便在交互式操作时直接进行行列的移动。例如，利用键盘上的“上下左右”方向键进行盲文方位置的单步移动，每次移动距离可以提前根据盲文图像进行统计和确定。也可以采用步骤32，直接点选的方式，选取下一个需要标注的盲文方。这里也可以进一步用快捷键微调盲文方的位置，方法同上步骤33。

标注结束之后，按快捷键保存该盲文图像的标注信息。例如，点击“S“键进行标注信息的保存，以盲文方的形式，保存盲文方位置信息，以及填充的盲文点的位置信息等。

上述步骤2具体包括：步骤21，将该数字化图像作为待标注的盲文图像显示在屏幕上。例如，图1显示了一个盲文图像的截图。

步骤22，通过交互式设备的在该数字化图像上选取某一个盲文的盲文方位置，例如通过交互式设备鼠标点击盲文方的左上角来确定该盲文方位置。

步骤23，将属于该盲文方位置的盲文方标识显示在屏幕上。其中盲文方标识可为盲文方对应的6个盲文点，或者盲文方对应的“日”字形方格，例如将所选择的盲文方对应的6个盲文点位置显示在屏幕上，可以直接采用6个点来显示盲文方(如图2所示，其中盲文方对应的盲文点位置以浅灰色点标识)，也可以采用“日”字形方格来表示盲文方标识(如图3所示，其中盲文方对应的盲文点位置以浅灰色矩形框标识)，每个交叉点代表一个盲文点位置。盲文方标识对应的盲文点间距信息，可以参考中国盲文书写规范以及扫描图像的分辨率大小，通过统计的方法提前得到盲文点间距、盲文方间距和行距信息。并且在以上在点选盲文方时，可通过鼠标快捷键来区分是标注凸点盲文方还是凹点盲文方，例如点击鼠标左键代表标注凸点盲文方，点击鼠标右键代表标注凹点盲文方；可通过键盘快捷键进行盲文方位置，大小的微调，从而更精确的匹配盲文图像上的某一个盲文方，例如通过“I”、“K”、“J”、“L”四个键进行盲文方位置上下左右的微调，每次移动一个像素或者多个像素，具体移动的像素数课根据图像采集的分辨率决定。

步骤24，通过交互设备为该盲文方标识内的盲文点进行标注(填充)，并在屏幕上实时显示已填充好的盲文点。以标注凸点为例，用交互设备例如是键盘快捷键进行盲文方内盲文点的快速填充，并在屏幕上实时显示已填充好的凸点。凹点盲文方的标注方法类似。例如，根据中国盲文要求，“日”字左边三个点代表1、2、3，右边三个点代表4、5、6。在实际标注时，可采用小键盘的数字键，仅选择某个位置上有凸点的数字。例如，如果该盲文方中仅有1、2、5三个位置有凸点，则仅利用数字键选择1、2、5三个键即可完成该盲文方凸点的填充。同时在屏幕上显示已经填充好的凸点，例如采用黑色点进行标识。图4显示了一个标注好的盲文方，例如左侧盲文方的黑点信息，右侧6个灰色点为移动到的下一个盲文方位置。

步骤25，该盲文方标注完之后，可以采用快捷键进行盲文方位置的移动，移动到下一个盲文方位置。由于中国盲文的排列遵循了国家标准，盲文方行间距和列间距有固定的范围，可以结合盲文图像采集的分辨率，提前统计该盲文图像中对应的盲文方行间距和列间距，方便在交互式操作时直接进行行列的移动。例如，利用键盘上的“上下左右”方向键进行盲文方位置的单步移动，每次移动距离可以提前根据盲文图像进行统计和确定。也可以采用步骤22，直接点选的方式，选取下一个需要标注的盲文方。这里也可以进一步用快捷键微调盲文方的位置，方法同上步骤23，并在屏幕上显示盲文方。

也可以对选取的盲文方进行标注信息的修改。例如选择了已经标注好的盲文方，可以重新通过数字快捷键进行重新标注。

也可以删除盲文方。例如，如图5所示，利用鼠标在屏幕上画矩形框的方式来圈定某一盲文方区域，按快捷键，例如DEL进行盲文方删除。或者直接点选某一盲文方，采用Del等键进行盲文方标注信息的删除。

重复步骤22，到步骤25，完成对整张盲文图像盲文点的交互式标注。实际标注时，可以根据需要仅标注凸点，或者仅标注凹点，或者凸点和凹点都进行标注。图6用不同的颜色信息展示了凸点和凹点的标注结果，其中凸点采用黑色，凹点采用白色。标注结束之后，按快捷键保存该盲文图像的标注信息。例如，点击“S“键进行标注信息的保存，以盲文方的形式，保存盲文方位置信息，以及填充的盲文点的位置信息等。

并且步骤2中该盲文自动标注算法可还包括：

步骤S1、基于以上步骤1和步骤2，得到了盲文图像的标注信息，包含凸点的位置信息。本发明下面将以凸点检测为例，凹点的检测方法类似。

步骤S2、利用标注信息，截取图像得到正负样本。比如以标注的凸点为中心的周围的区域图像作为正例样本，同样大小的背景和凹点区域作为反例样本。

步骤S3、提取样本的特征向量，训练分类器。优选的可以提取样本的Haar小波特征，训练Adaboost级联分类器。在待检测的盲文图像上，采用滑动窗口方式，提取窗口内图像的相应特征，比如haar特征，利用训练好的Adaboost分类器进行是否是凸点的分类判别。

步骤S4、经过步骤S1和步骤S2可以得到初步检测的凸点位置信息，保存整个盲文图像的凸点信息。比如保存文件名，以及对应的凸点坐标信息。本发明针对扫描仪得到的200dpi的盲文图像，利用优选的Haar+Adaboost的方法，检测一张图像在0.5秒以内。同时凸点的平均识别准确率达到99.74％，召回率94.01％。图7展示了一个利用级联分类器检测的凸点识别结果。

本发明特举以下实施例，进一步详细对上述各步骤进行展开描述。

本发明除上述步骤外还包括：

步骤4盲文图像自动倾斜校正、步骤5盲文方自适应定位和步骤6高精度盲文点和盲文方识别。

步骤4盲文图像倾斜校正。盲文点字倾斜可能有两种情况，一种是由于采集过程造成的，比如盲文纸张放置倾斜，一种是盲文在初期打印时本身就是倾斜的，导致盲文对应的盲文方行和列不是水平和垂直的，为后期盲文方定位和标注带来很大的误差。因此首先需要进行盲文图像倾斜校正。具体步骤如下：

步骤S5、基于步骤1、2、3，得到了盲文图像中的凸点位置信息。

步骤S6、较优的，首先利用前面得到的凸点位置信息将凸点和背景二值化。比如，在凸点位置使用一个黑色小正方形代替，背景等则设为全白。或者使用黑色的小圆点表示凸点，背景设为全白。

步骤S7、将该二值化图像以1°为间隔，进行多次旋转，统计每次旋转后水平投影行像素值和为0的行数和竖直投影列像素和为0的列数总和。空白行列数越多则意味着该旋转角度越接近真实倾斜角度，将空白行列数总和最大对应的旋转角度记为α°。比如，从-5°到5°进行多次旋转。

步骤S8、为了得到更新的角度，再次旋转步骤S7所得的二值化图像，以0.1°为间隔，从(α-0.5)°到(α+0.5)°进行多次旋转。同步骤S7的方法，将投影空白行列数总和最大对应的旋转角度记为β°。

步骤S9、角度β°即为所求得的盲文图像倾斜角度，反方向旋转原盲文图像可得到校正后的盲文图像。

通过以上由粗到细的旋转图像，可以快速的获取图像的倾斜角度，误差精细到0.1°。

其他可选的倾斜校正方法包括，在盲文图像上放置或粘贴一个黑色矩形框，假设该方框的水平线和竖直线与盲文方的行和列平行，通过校正该矩形框进行盲文图像的倾斜校正。

其他可选的倾斜校正方法包括，则提取上盲文图像边缘上的凸点，使用最小二乘法拟合直线来进行倾斜校正。可选的还有，人工交互式的标注出某盲文方行的第一行凸点所在位置，或者其他同一行的凸点位置，利用直线拟合的方式，求出直线的倾斜角度，从而进行盲文图像倾斜校正。

其他可选的倾斜校正方法包括，检测盲文图像的纸张边缘直线，利用直线的倾斜来校正盲文图像。

步骤5、盲文方自适应定位。盲文方定位是盲文识别的关键步骤。现有的盲文方定位算法大多利用规则方法，认为盲文方行列线的排列十分规范，采用标准的盲文方网格即可实现盲文方定位。但在实际处理盲文图像时我们发现，由于生产工艺、扫描设备等原因盲文图像中盲文方行列线排列存在着微小误差，其盲文方行距、方距也并不完全一致。具体步骤如下：

步骤S10、优选的，利用步骤1、2、3、4得到凸点的初步检测结果以及倾斜校正后的盲文图像。或者利用传统的图像分割方法，得到凸点的检测结果，和倾斜校正后的盲文图像。

步骤S11、针对倾斜校正后的图像，利用盲文方三行两列的特点，对凸点位置信息进行纵坐标的聚类，将凸点纵坐标接近的盲文点划分为一组，求其纵坐标均值得到多条预选盲文方水平行线的位置。

步骤S12、从上往下找出符合标准的三条水平行线，即相邻两条水平线之间距离符合统计信息中盲文方点距的范围，如果找不到则生成一个默认的盲文方网格，算法结束。

步骤S13、如果找到了，则从这三条水平线位置开始，根据统计得到的盲文方点距、行距等信息分别向上、向下拓展，且拓展的过程中生成以最新拓展的一组三条水平线为基准，同时剔除位置错误的水平线直到达到盲文图像两端，即可得到多组三条水平线一组的盲文方水平线。

步骤S14、同上述方法可得到多组两条竖直线一组的盲文方竖直线。

步骤S15、每组中三条水平线和两条竖直线的交叉点即为盲文点可能存在的位置，六个交叉点组成一个盲文方，最终生成整个盲文方网格。

根据上述算法得到的盲文方定位效果如图8所示，可见在凸点检测基础上进行盲文方定位，消除了凹点带来的影响，算法速度快鲁棒性高。

步骤6、高精度盲文点和盲文方识别。通过以上步骤1到步骤5，得到盲文方的定位结果，可以利用盲文方位置信息，去除Adaboost级联分类器带来的部分误报，因为凸点基本上会出现在盲文方的六个盲文点位置，从而可以提升基于Adaboost分类器的识别效果。更重要的是在盲文方定位基础上，可以仅针对每个盲文方对应的6个盲文点区域，利用更复杂的分类器来提升凸点识别的准确性。具体步骤如下：

步骤S16、优选的，基于步骤1、2得到凸点标注信息，或者利用步骤1、2、3、4、5得到凸点标注信息。

步骤S17、截取以凸点为中心点的图像作为正例样本，以凹点和背景的中心点的图像作为反例样本。比如采用24*24的样本大小。

步骤S18、提取样本的多种特征，分别训练多个分类器。优选的，可以提取灰度特征，可以提取HOG梯度直方图特征，可以提取LBP局部二值特征，或者将HOG和LBP进一步串联的特征，并采用支持向量机SVM或者随机森林或者其他的分类器，训练凸点的分类器，同时得到多个分类器。

步骤S19、基于步骤5得到盲文方定位信息。

步骤S20、截取以每个盲文方对应的6个盲文点为中心的小图，将这些小图分别提取多种特征，利用训练好的分类器分别进行凸点的分类判别。优选的，可以提取HOG，LBP，串联的HOG_LBP特征，然后使用三个对应的SVM分类器进行识别，包括HOG-SVM，LBP-SVM，HOG_LBP+SVM。

步骤S21、将多个SVM分类器分类结果，与级联分类器进行结果融合。最终的融合结果为不同分类器的结果与其对应的权值的乘积。如果最终的融合结果超过某阈值，说明大多数分类器的输出是凸点，则认为其存在凸点。凹点的检测方法同凸点。

步骤S22、可以进一步将盲文方内的凸点信息转化为盲文方信息，从而完成基于盲文方的检测和识别。

步骤S23、可以融合正反面的盲文点的识别结果，来提高盲文点和盲文方的识别性能。

步骤S24、还可以将盲文方的信息翻译为汉语文字和句子，根据句子分析来排查检测错误的盲方，从而提高盲文编辑人员的工作效率。

基于以上步骤，基于组合分类器的方法，对盲文图像的凸点平均识别性能，达到了准确率99.75％，召回率99.58％。对盲文方的平均识别性能，达到了准确率98.27％，召回率98.84％。本发明针对扫描仪得到的200dpi的盲文图像，利用以上步骤1至步骤7得到盲文点和盲文方检测结果，检测一张图像平均在1.8秒以内。

以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种盲文方辅助标注系统，其中包括：

采集模块，用于通过采集设备获取纸版盲文的数字化图像；

标注模块，用于根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；

辅助修改模块，用于为该盲文图像进行交互式辅助修改；

其中该辅助修改模块包括：

点选模块，用于将该盲文方位置显示在屏幕上，通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方对该待修改盲文方的信息进行修改；移动该待修改盲文方位置至下一个需要修改的盲文方，或选取下一个需要修改的盲文方，直到对该盲文图像的全部需要修改的盲文方完成修改。

该盲文方辅助标注系统，其中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

该盲文方辅助标注系统，其中该盲文自动标注算法包括：

训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或

通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。

该盲文方辅助标注系统，其中该点选模块包括：对该待修改盲文方的位置进行微调；和/或删除该该待修改盲文方的标注信息；和/或对该待修改盲文方内盲文点进行填充。

该盲文方辅助标注系统，其中该交互式设备包括键盘、鼠标、触控板。

虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书为准。

Claims (6)

1.一种盲文点辅助标注方法，其特征在于，包括：

步骤1、利用采集设备获取纸版盲文的数字化图像；

步骤2、对该数字化图像的盲文进行盲文点人工标注，该盲文点为凸点，具体包括：

步骤21、将该数字化盲文图像显示在屏幕上；

步骤22、采用交互式方法对该盲文图像中出现的盲文点进行人工标注，并记录盲文点位置；

步骤3、将标注完成的数字化图像作为训练图像，训练盲文点分类器，具体包括：

步骤31、根据训练样本中盲文点的标注信息，将该数字化图像划分为包含盲文点的正样本和包含背景点的负样本，其中该正样本是以标注的盲文点为中心的周围区域图像，该负样本是同样大小的背景区域，背景区域包含盲文凸点以外的纯背景区域；

步骤32、提取该正样本和该负样本的Harr小波特征，训练Adaboost级联分类器；

步骤4、针对需要辅助标注的新采集的盲文图像，采用滑动窗口策略，利用训练好的分类器对待该盲文图像进行盲文点检测，将检测到的盲文点的位置保存；

步骤5、对待辅助标注的盲文图像进行盲文倾斜矫正，具体包括：

步骤51、根据该步骤4得到的盲文点位置信息，将盲文点和周围背景区域进行二值化，盲文点所在像素的像素值设为1，周围背景像素的像素值设为0；

步骤52、将该二值化图像以1°间隔进行多次旋转，统计每次旋转后水平投影行像素值和为0的行数，以及竖直投影列像素和为0的列数总和，并记录空白行列数总和最大值对应的旋转角度α°；

步骤53、以该旋转角度α°为中心，以0.1°间隔从(α-0.5)°到(α+0.5)°进行二值图像的多次旋转，记录投影空白行列数总和最大值对应的旋转角度β°，作为待检测盲文图像的倾斜角度，根据该倾斜角度对待检测盲文图像进行倾斜矫正，得到倾斜矫正后的盲文图像和标注的盲文点信息；

步骤6、对该待辅助标注的盲文图像进行盲文网格构建，具体包括：

步骤61、根据盲文方三行两列的特点，对倾斜矫正后的盲文图像的盲文点位置信息进行纵坐标的聚类，将盲文点纵坐标在阈值范围内的盲文点划分为同一组，并计算各类别中盲文点的纵坐标均值，根据该纵坐标均值得到多条预选盲文方水平行线的位置；

步骤62、根据各预选盲文方水平行线的纵坐标，从上往下判断是否存在符合标准的三条水平行线，其中该标准为相邻两条水平行线间距离符合统计信息中盲文方点距的范围，若存在，则从该三条水平行线开始，根据统计得到的盲文方点距、行距等信息分别向上、向下拓展，且拓展的过程中生成以最新拓展的一组三条水平行线为基准，同时剔除位置错误的水平行线，直到达到该盲文图像上下两端，得到包含多组以三条水平行线为一组的盲文方水平线；

步骤63、对该盲文点位置信息进行横坐标的聚类，将盲文点横坐标在阈值范围内的盲文点划分为同一组，并计算各类别中盲文点的横坐标均值，根据该横坐标均值得到多条预选盲文方竖直列线的位置；

步骤64、根据各预选盲文方竖直列线的横坐标，从左到右判断是否存在符合标准的两条竖直列线，其中该标准为相邻两条竖直列线间距离符合统计信息中盲文方点距的范围，若存在，则从该两条竖直列线开始，根据统计得到的盲文方点距、行距等信息分别向左、向右拓展，且拓展的过程中生成以最新拓展的一组两条竖直列线为基准，同时剔除位置错误的竖直列线，直到达到该盲文图像左右两端，得到包含多组以两条竖直列线为一组的盲文方竖直线；

步骤65、以该盲文方竖直线和该盲文方竖直线的相交点，构成盲文方网格；

步骤7、将盲文方网格中盲文方位置信息以及盲文方中包含的盲文点信息进行存储；

步骤8、基于步骤7存储的盲文方自动标注信息，为该待辅助标注的盲文图像中盲文方和盲文点进行交互式修改；

其中该步骤8包括：

步骤81、将该数字化图像，以及自动检测得到的盲文方和盲文点信息显示在屏幕上；

步骤82、通过交互式设备的在该数字化图像上选取某一待修改的盲文方位置，为盲文方对应的6个盲文点或盲文方对应的“日”字形方格，通过交互式设备对盲文方位置和大小进行微调；

步骤83、通过交互设备以及数字键为该盲文方标识内的盲文点进行标注信息的修改，并在屏幕上实时显示已修改好的盲文点；

步骤84，采用快捷键进行盲文方位置的移动，移动到下一个盲文方位置；

步骤85、重复该步骤82到该步骤84，直到所有盲文方内的盲文点修改完成完成，保存盲文点和盲文方标注信息。

2.如权利要求1所述的盲文点辅助标注方法，其特征在于，步骤1中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

3.如权利要求1所述的盲文点辅助标注方法，其特征在于，该交互式设备包括键盘、鼠标、触控板。

4.一种盲文点辅助标注系统，其特征在于，包括：

采集模块，用于通过采集设备获取纸版盲文的数字化图像；

标注模块，用于对该数字化图像的盲文进行盲文点人工标注，该盲文点为凸点，具体包括：将该数字化盲文图像显示在屏幕上；采用交互式系统对该盲文图像中出现的盲文点进行人工标注，并记录盲文点位置；

训练模块，用于将标注完成的数字化图像作为训练图像，训练盲文点分类器，具体包括：根据训练样本中盲文点的标注信息，将该数字化图像划分为包含盲文点的正样本和包含背景点的负样本，其中该正样本是以标注的盲文点为中心的周围区域图像，该负样本是同样大小的背景区域，背景区域包含盲文凸点以外的纯背景区域；提取该正样本和该负样本的Harr小波特征，训练Adaboost级联分类器；

盲文点检测模块，用于对需要辅助标注的新采集的盲文图像，采用滑动窗口策略，利用训练好的分类器对待该盲文图像进行盲文点检测，将检测到的盲文点的位置保存；

矫正模块，用于对待辅助标注的盲文图像进行盲文倾斜矫正，具体包括：根据该盲文点检测模块得到的盲文点位置信息，将盲文点和周围背景区域进行二值化，盲文点所在像素的像素值设为1，周围背景像素的像素值设为0；将该二值化图像以1°间隔进行多次旋转，统计每次旋转后水平投影行像素值和为0的行数，以及竖直投影列像素和为0的列数总和，并记录空白行列数总和最大值对应的旋转角度α°；以该旋转角度α°为中心，以0.1°间隔从(α-0.5)°到(α+0.5)°进行二值图像的多次旋转，记录投影空白行列数总和最大值对应的旋转角度β°，作为待检测盲文图像的倾斜角度，根据该倾斜角度对待检测盲文图像进行倾斜矫正，得到倾斜矫正后的盲文图像和标注的盲文点信息；

盲文网格构建模块，用于对该待辅助标注的盲文图像进行盲文网格自适应构建，具体包括：根据盲文方三行两列的特点，对倾斜矫正后的盲文图像的盲文点位置信息进行纵坐标的聚类，将盲文点纵坐标在阈值范围内的盲文点划分为同一组，并计算各类别中盲文点的纵坐标均值，根据该纵坐标均值得到多条预选盲文方水平行线的位置；根据各预选盲文方水平行线的纵坐标，从上往下判断是否存在符合标准的三条水平行线，其中该标准为相邻两条水平行线间距离符合统计信息中盲文方点距的范围，若存在，则从该三条水平行线开始，根据统计得到的盲文方点距、行距等信息分别向上、向下拓展，且拓展的过程中生成以最新拓展的一组三条水平行线为基准，同时剔除位置错误的水平行线，直到达到该盲文图像上下两端，得到包含多组以三条水平行线为一组的盲文方水平线；对该盲文点位置信息进行横坐标的聚类，将盲文点横坐标在阈值范围内的盲文点划分为同一组，并计算各类别中盲文点的横坐标均值，根据该横坐标均值得到多条预选盲文方竖直列线的位置；根据各预选盲文方竖直列线的横坐标，从左到右判断是否存在符合标准的两条竖直列线，其中该标准为相邻两条竖直列线间距离符合统计信息中盲文方点距的范围，若存在，则从该两条竖直列线开始，根据统计得到的盲文方点距、行距等信息分别向左、向右拓展，且拓展的过程中生成以最新拓展的一组两条竖直列线为基准，同时剔除位置错误的竖直列线，直到达到该盲文图像左右两端，得到包含多组以两条竖直列线为一组的盲文方竖直线；以该盲文方竖直线和该盲文方竖直线的相交点，构成盲文方网格；

存储模块，用于存储盲文方网格中盲文方位置信息以及盲文方中包含的盲文点信息；

模块8、基于存储模块存储的盲文方自动标注信息，为该待辅助标注的盲文图像中盲文方和盲文点进行交互式修改；

其中该模块8包括：

显示模块，用于将该数字化图像，以及自动检测得到的盲文方和盲文点信息显示在屏幕上；

微调模块，用于通过交互式设备的在该数字化图像上选取某一待修改的盲文方位置，为盲文方对应的6个盲文点或盲文方对应的“日”字形方格，通过交互式设备对盲文方位置和大小进行微调；通过交互设备以及数字键为该盲文方标识内的盲文点进行标注信息的修改，并在屏幕上实时显示已修改好的盲文点；采用快捷键进行盲文方位置的移动，移动到下一个盲文方位置；

输出模块，重复执行该微调模块，直到所有盲文方内的盲文点修改完成完成，输出盲文点和盲文方标注信息。

5.如权利要求4所述的盲文点辅助标注系统，其特征在于，该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

6.如权利要求4所述的盲文点辅助标注系统，其特征在于，该交互式设备包括键盘、鼠标、触控板。

Images