CN107506767A

CN107506767A - 一种图片内数字粘连识别的方法和装置

Info

Publication number: CN107506767A
Application number: CN201710867290.3A
Authority: CN
Inventors: 方宏; 方达
Original assignee: Jiangsu Maritime Institute
Current assignee: Jiangsu Maritime Institute
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2017-12-22
Anticipated expiration: 2037-09-22
Also published as: CN107506767B

Abstract

本发明公开了一种图片内数字粘连识别的方法和装置。该方法包括两轮模板字符识别步骤以及识别字符提取步骤。其中第一轮模板字符识别中，通过逐步扩大目标图片识别区域，对目标图片识别区域与字符模板图片进行模板匹配，得到各个字符的相似度和坐标，然后选取相似度值最大且相似度值超过指定阈值的作为识别出的字符加入至字符识别队列中，并在目标图片中擦除该字符。在第二轮模板字符识别中，对目标图片识别区域与字符模板图片进行模板匹配，然后选取相似度值最大的作为识别出的字符加入至字符识别队列中。识别字符提取步骤根据字符识别队列中的坐标进行排序后得到最终识别结果。

Description

一种图片内数字粘连识别的方法和装置

技术领域

本发明涉及图片中字符识别。

背景技术

公告号为CN 104200204 A的专利文献《一种图片处理装置及方法》公开了一种图片字符的识别方法。该图片字符识别方法首先将字符和目标图片进行二值化处理，然后对目标图片进行逐行逐像素扫描，当扫描到非0像素点时作为识别内容的起始坐标，然后进行基于该起始坐标对字符的像素点逐一匹配，根据匹配数和字符总像素点计算匹配率，并选择匹配率最高的字符作为识别出的字符，识别出字符后在目标图片中异或擦除该字符后继续识别。该方法存在着准确率不高的问题，具体原因如下：

首先，起始坐标的确定方式存在问题。该方法逐行逐像素扫描，当扫描到非0像素点时作为识别内容的起始坐标。显而易见地，该起始坐标并不是字符的左上角，而是通常在字符中间，因此该起始坐标不是个稳固的坐标，它可能偏左一些，也可能偏右一些，也可能偏上一些，或者偏下一些。为此，该专利文献中采用上下左右偏移一个像素点解决这个问题。但偏移较大的情况下，特别是存在粘连问题的情形之下，这种方法由于只偏移一个像素点，而无法解决，比如偏移两个点或者左下偏移等情形。

其次，选择匹配率最高的字符作为识别出的字符存在问题。在存在字符粘连的情况下，由于起始坐标偏移不足导致计算得到的所有字符匹配率都较低的情况下，存在实际应该不匹配的字符而得到的匹配率却高于实际应该匹配的字符，由此导致识别错误的问题。

再次，在前面匹配出的字符匹配率较低的情况下，采用异或方式进行擦除时，实际上可能并非是擦除而是加入混扰非零的像素点。

发明内容

本发明所要解决的问题：现有技术下，图片中字符粘连情形导致字符识别准确率较低。

为解决上述问题，本发明采用的方案如下：

根据本发明的一种图片内字符粘连识别的方法，该方法包括获取模板字符图片集的步骤、获取目标图片的步骤、第一模板字符识别步骤以及识别字符提取步骤；所述模板字符图片集为模板字符图片的集合；所述模板字符图片与字符相对应；所述第一模板字符识别步骤包括：

S31：根据模板字符图片集中的模板字符图片的最小宽度确定识别区域宽度；

S32：对目标图片内的识别区域采用模板匹配方式匹配模板字符图片集中的模板字符图片，得到各个字符匹配出的相似度值和坐标；所述识别区域根据所述识别区域宽度所确定；

S33：判断各个字符匹配出的相似度值中是否存在相似度值超过指定阈值，如果存在相似度值超过指定阈值的，则选择相似度值最大的字符作为识别出的字符，然后将识别出的字符和匹配出的坐标存入字符识别队列中，同时，根据匹配出的坐标所确定的识别出的字符在目标图片中的位置和识别出的字符所对应的模板字符图片所确定的字符形状，在目标图片中擦除识别出的字符；

S34：增加识别区域宽度后重复步骤S32和S33直到识别区域宽度大于目标图片的宽度；所述增加识别区域宽度中所增加的宽度为模板字符图片集中的模板字符图片的最小宽度；

所述识别字符提取步骤为根据匹配出的坐标的横向值对所述字符识别队列进行排序，然后按顺序从字符识别队列中逐个提取识别出的字符作为最终识别结果。

进一步，根据本发明的图片内字符粘连识别的方法，该方法在第一模板字符识别步骤之后还有第二模板字符识别步骤；所述第二模板字符识别步骤包括：

S41：对目标图片采用模板匹配方式匹配模板字符图片集中的模板字符图片，得到各个字符匹配出的相似度值和坐标；

S42：选择相似度值最大的字符作为识别出的字符，然后将识别出的字符和匹配出的坐标存入字符识别队列中，同时，根据匹配出的坐标所确定的识别出的字符在目标图片中的位置和识别出的字符所对应的模板字符图片所确定的字符形状，在目标图片中擦除识别出的字符；

S43：重复步骤S41和S42直到重复次数超过限值或者字符识别队列中的字符数目达到指定的数目。

进一步，根据本发明的图片内字符粘连识别的方法，该方法之后还包括中间检查步骤；所述中间检查步骤在第一模板字符识别步骤之后判断字符识别队列中的字符数目达到指定的数目，假如未达到指定的数目，则执行第二模板字符识别步骤。

进一步，根据本发明的图片内字符粘连识别的方法，所述获取目标图片的步骤中还包括对所述目标图片进行灰化处理或二值化处理的步骤。

进一步，根据本发明的图片内字符粘连识别的方法，获取模板字符图片集的步骤还包括对模板字符图片集中的模板字符图片进行灰化处理或二值化处理的步骤。

根据本发明的一种图片内字符粘连识别的装置，该装置包括用于获取模板字符图片集的模块、用于获取目标图片的模块、第一模板字符识别模块以及识别字符提取模块；所述模板字符图片集为模板字符图片的集合；所述模板字符图片与字符相对应；所述第一模板字符识别模块包括以下模块：

M31，用于：根据模板字符图片集中的模板字符图片的最小宽度确定识别区域宽度；

M32，用于：对目标图片内的识别区域采用模板匹配方式匹配模板字符图片集中的模板字符图片，得到各个字符匹配出的相似度值和坐标；所述识别区域根据所述识别区域宽度所确定；

M33，用于：判断各个字符匹配出的相似度值中是否存在相似度值超过指定阈值，如果存在相似度值超过指定阈值的，则选择相似度值最大的字符作为识别出的字符，然后将识别出的字符和匹配出的坐标存入字符识别队列中，同时，根据匹配出的坐标所确定的识别出的字符在目标图片中的位置和识别出的字符所对应的模板字符图片所确定的字符形状，在目标图片中擦除识别出的字符；

M34，用于：增加识别区域宽度后重复执行模块M32和M33直到识别区域宽度大于目标图片的宽度；所述增加识别区域宽度中所增加的宽度为模板字符图片集中的模板字符图片的最小宽度；

所述识别字符提取模块，用于，根据匹配出的坐标的横向值对所述字符识别队列进行排序，然后按顺序从字符识别队列中逐个提取识别出的字符作为最终识别结果。

进一步，根据本发明的图片内字符粘连识别的装置，该装置还包括第二模板字符识别模块；所述第二模板字符识别模块包括以下模块：

M41，用于：对目标图片采用模板匹配方式匹配模板字符图片集中的模板字符图片，得到各个字符匹配出的相似度值和坐标；

M42，用于：选择相似度值最大的字符作为识别出的字符，然后将识别出的字符和匹配出的坐标存入字符识别队列中，同时，根据匹配出的坐标所确定的识别出的字符在目标图片中的位置和识别出的字符所对应的模板字符图片所确定的字符形状，在目标图片中擦除识别出的字符；

M43，用于：重复执行模块M41和M42直到重复次数超过限值或者字符识别队列中的字符数目达到指定的数目。

进一步，根据本发明的图片内字符粘连识别的装置，该装置还包括中间检查模块；所述中间检查模块，用于，在第一模板字符识别模块执行完成之后判断字符识别队列中的字符数目达到指定的数目，假如未达到指定的数目，则执行第二模板字符识别模块。

进一步，根据本发明的图片内字符粘连识别的装置，所述用于获取目标图片的模块中还包括用于对所述目标图片进行灰化处理或二值化处理的模块。

进一步，根据本发明的图片内字符粘连识别的装置，所述用于获取模板字符图片集的模块还包括用于对模板字符图片集中的模板字符图片进行灰化处理或二值化处理的模块。

本发明的技术效果如下：

1、本发明采用了模板匹配的现有技术，因此，不存在确定起始坐标，然后对扫描每个图片的像素等步骤，实现比较简单。

2、本发明采用了两轮模板匹配识别，两轮模板匹配识别采用不同的规则，其中第一轮模板匹配识别追求高相似度，每识别一个字符就在目标图片中擦除该字符。经擦除字符后的剩余图片字符中由于粘连影响导致相似度达到高标准的要求，于是在第二轮中采用了不追求高相似度的方式，再结合字符总数，实现受粘连干扰字符的识别，从而提高整体的准确性。

3、经测试表明，本发明在电话号码识别粘连识别中有99.5%准确率。

附图说明

图1是本发明示例目标图片。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本实施例是电话号码识别的实施例。目标图片中的内容为一电话号码。而电话号码由数字所组成，因此本实施例中的字符为数字字符。如图1所示，图1中为一电话号码，但该电话号码的数字字符存在着粘连问题。为识别这种采用图片方式表示的电话号码中的电话号码，本实施例采用了如下方法，该方法即为本发明所指的图片内字符粘连识别的方法：

首先，步骤S1，获取模板字符图片集。模板字符图片集是模板字符图片的集合。每个模板字符图片对应一字符，由于本实施例中的字符为数字字符，因此，从0至9总共10张模板字符图片。模板字符图片集可以表示为{（M₁，C₁），（M₂，C₂），...... ，（M_N，C_N）}。其中，M₁ ，M₂，......，M_N分别为N个字符的模板字符图片；C₁ ，C₂ ，......，C_N分别为N张模板字符图片所对应的字符。本实施例中，字符为0至9的数字字符，因此，其中N为10；C₁ ，C₂ ，......，C_N分别为0，1，2，......，9。

模板字符图片由人工从目标图片库中挑选图片，并从中截取出0至9共10张模板字符图片。人工截取得到的模板字符图片输入计算机后，计算机还需要进一步做模板字符的预处理。也就是说，步骤S1还包括模板字符的预处理步骤。模板字符的预处理步骤具体如下：

步骤S11，剔除边缘留白。也就是根据背景色，将模板字符图片四周边缘空白切割掉。

步骤S12，平均化模板字符图片的高度。也就是，在剔除边缘留白之后，计算各个模板字符图片的高度均值，然后对模板字符图片做宽与高等比例缩放，使得各个模板字符图片高度为前述计算得到的高度均值。

步骤S13，灰化处理。也就是将模板字符图片的每个像素RGB色彩转换成灰度值。灰度值可以采用如下计算公式：Gray = (R*19595 + G*38469 + B*7472) >> 16。

步骤S14，灰度值归一化。也就是将灰化处理后的模板字符图片中各个像素的灰度值进行对比度调整，调整至0~255的范围内。比如：灰化处理后的模板字符图片的背景色的灰度值为0。灰度值非0的像素点是为字符像素。字符像素中80%以上的字符像素灰度值为93。灰度值1-93之间的字符像素占比20%。由此，字符像素中灰度值超过93的均调整为255；灰度值位于1~93之间的则按比例扩展至1~255的范围内。

需要指出的是，步骤S14也可以看作为步骤S13的子步骤，因为步骤S14处理的也是灰度值。本实施例对模板字符图片中的色彩采用了灰化处理，本领域技术人员理解，也可以对模板字符图片中的色彩采用二值化处理。

计算机对模板字符的预处理后将预处理后的模板字符图片存入内存。

然后，步骤S2，获取目标图片。目标图片是识别分析的对象。目标图片输入至计算机后，计算机同样需要做目标图片的预处理。也就是说步骤S2还包括目标图片的预处理步骤。目标图片的预处理步骤具体如下：

步骤S21，剔除边缘留白。也就是根据背景色，将目标图片四周边缘空白切割掉。

步骤S22，灰化处理。也就是将目标图片的每个像素RGB色彩转换成灰度值。灰度值可以采用如下计算公式：Gray = (R*19595 + G*38469 + B*7472) >> 16。

步骤S23，灰度值归一化。也就是将灰化处理后的目标图片中各个像素的灰度值进行对比度调整，调整至0~255的范围内。比如：灰化处理后的模板字符图片的背景色的灰度值为0。灰度值非0的像素点是为字符像素。字符像素中80%以上的字符像素灰度值为93。灰度值1-93之间的字符像素占比20%。由此，字符像素中灰度值超过93的均调整为255；灰度值位于1~93之间的则按比例扩展至1~255的范围内。

本实施例中，对模板字符图片中的色彩采用了灰化处理，因此，对目标图片中的色彩也需要同样进行灰化处理。假如模板字符图片中的色彩采用了二值化处理，此时，本领域技术人员理解，对目标图片中的色彩也同样需要进行二值化处理。

目标图片的预处理后，即可开始字符识别。本实施例中，字符识别包括三个步骤：第一模板字符识别步骤、第二模板字符识别步骤以及识别字符提取步骤。其中，第一模板字符识别步骤为高相似度要求识别，第二模板字符识别步骤为低相似度要求识别或无相似度要求识别。第一模板字符识别步骤和第二模板字符识别步骤的输入为前述的模板字符图片集和目标图片，输出为字符识别队列。字符识别队列为字符识别结果的集合。字符识别结果包含两项数据：识别出的字符以及匹配出的坐标。匹配出的坐标表示识别出的字符在目标图片中的位置。识别字符提取步骤用于对字符识别队列进一步处理，得到最终识别结果：识别出的字符串，具体为：根据匹配出的坐标的横向值对字符识别队列自小到达进行升序排序，然后按顺序从字符识别队列中逐个提取识别出的字符作为最终识别结果。也就是说，字符识别队列中识别出的字符，并非按照目标图片内的字符顺序进行排序，而是按照识别出的先后进行排序。或者，也可以说，本发明中的第一模板字符识别步骤、第二模板字符识别步骤并非根据目标图片内的字符顺序逐个识别，而存在跳跃的情形。比如，图1中，目标图片的字符顺序为13813361180，而实际识别出的顺序可能为：18136110833。只不过字符识别队列中的每个字符都存有其对应的坐标，然后再根据横向坐标大小对18136110833重新排序后得到13813361180。需要指出的是，由于识别字符提取步骤仅仅需要用到横向坐标，因此，字符识别队列中的坐标也可以直接为横向坐标。

第一模板字符识别步骤的具体步骤如下：

首先，步骤S31，根据模板字符图片集中的模板字符图片的最小宽度确定识别区域宽度。

然后，步骤S32，对目标图片内的识别区域采用模板匹配方式匹配模板字符图片集中的模板字符图片，得到各个字符匹配出的相似度值和坐标。本实施例中，模板匹配通过调用opencv中的matchTemplate函数实现。matchTemplate函数的输入是目标图像、模板图像以及比较算法，输出为比较结果。通过调用opencv中的minMaxLoc函数可以从matchTemplate函数的比较结果中提取matchTemplate匹配出的相似度值和坐标。matchTemplate函数输入的目标图像，本实施例中，为目标图片中识别区域内的图像。matchTemplate函数输入的模板图像即为模板字符图片集中的模板字符图片。matchTemplate函数输入的比较算法采用CV_TM_CCOEFF_NORMED。识别区域为矩形区域。该矩形区域的上下与目标图片相同。该矩形区域的左端为目标图片的左端。该矩形区域的宽度即为前述的识别区域宽度。步骤S32的输出为各个字符匹配出的相似度值和坐标，可以表示为{（R₁，P₁，C₁），（R₂，P₂，C₂），...... ，（R_N，P_N，C_N）}。其中R₁ ，R₂ ，......，R_N分别为N个字符的模板字符图片匹配出的相似度值；P₁ ，P₂ ，......，P_N分别为N个字符的模板字符图片匹配出的坐标；C₁ ，C₂ ，......，C_N分别为N张模板字符图片所对应的字符。

再然后，步骤S33，判断各个字符匹配出的相似度值中是否存在相似度值超过指定阈值，如果存在相似度值超过指定阈值的，则选择相似度值最大的字符作为识别出的字符，然后将识别出的字符和匹配出的坐标存入字符识别队列中，同时，根据匹配出的坐标所确定的识别出的字符在目标图片中的位置和识别出的字符所对应的模板字符图片所确定的字符形状，在目标图片中擦除识别出的字符。“判断各个字符匹配出的相似度值中是否存在相似度值超过指定阈值，如果存在相似度值超过指定阈值的，则选择相似度值最大的字符作为识别出的字符”也可以表述成：选择相似度值最大的字符，假如该字符所对应的匹配出的相似度超过指定阈值，则该字符作为识别出的字符。指定阈值即为第一模板字符识别步骤中的相似度要求，本实施例中，指定阈值设为0.7。在目标图片中擦除识别出的字符，具体为：以匹配出的坐标为参照点，遍历目标图片的字符区域与模板字符图片中的像素点，假如模板字符图片中的像素点为字符像素，也就是灰度值不为0，则将目标图片的字符区域内相应的像素点的灰度值设为0。显而易见地，这里的匹配出的坐标为识别出的字符所对应的匹配出的坐标，模板字符图片为识别出的字符所对应的模板字符图片。字符区域也就是与模板字符图片等大小的区域，因此，字符区域内的像素点与模板字符图片的像素点一一对应。此外，还需要指出的是，步骤S33中，无论是否能够找到识别出的字符，后续都执行步骤S34。

最后，步骤S34，增加识别区域宽度后重复步骤S32和S33直到识别区域宽度大于目标图片的宽度；所述增加识别区域宽度中所增加的宽度为模板字符图片集中的模板字符图片的最小宽度。步骤S32至S34是循环步骤，每经一轮循环，识别区域宽度增加，直到识别区域宽度大于目标图片的宽度。识别区域宽度逐轮增加意味着，步骤S32中的目标图片内的识别区域逐轮增大。

第二模板字符识别步骤的具体步骤如下：

步骤S41：对目标图片采用模板匹配方式匹配模板字符图片集中的模板字符图片，得到各个字符匹配出的相似度值和坐标；

步骤S42：选择相似度值最大的字符作为识别出的字符，然后将识别出的字符和匹配出的坐标存入字符识别队列中，同时，根据匹配出的坐标所确定的识别出的字符在目标图片中的位置和识别出的字符所对应的模板字符图片所确定的字符形状，在目标图片中擦除识别出的字符；

步骤S43：重复步骤S41和S42直到重复次数超过限值或者字符识别队列中的字符数目达到指定的数目。

步骤S41与前述步骤S32类似，所不同的是，步骤S32中，模板匹配的matchTemplate函数输入的目标图像是目标图片中识别区域内的图像，而步骤S41中为整个目标图片。

步骤S42与前述步骤S33类似，所不同的是，步骤S33中对相似度值有要求，要求识别出的字符相似度值得超过指定阈值，而步骤S42无此要求。本领域技术人员理解，步骤S42也可以同步骤S33一样设定相似度要求，不过步骤S42的相似度要求较低。比如，步骤S33中的指定阈值为0.7，而步骤S42中指定的阈值为0.3。

步骤S41至步骤S43是循环步骤，该循环步骤的结束条件为：直到重复次数超过限值或者字符识别队列中的字符数目达到指定的数目。其中，字符识别队列中的字符数目达到指定的数目是特殊应用场合下可以采用的方式。比如在本实施例中，电话号码长度最大为11个字符，那么字符识别队列中的字符数目只要达到11，就可以结束步骤S41至S43的循环。此外，还需要指出的是，假如步骤S42中设定了较低的相似度要求，那么步骤S42可能找不到符合相似度要求的字符作为识别出的字符，这种情况下，也可以作为步骤S41至步骤S43循环的条件，也就是当各个字符匹配出的相似度值和坐标中，假如不存在相似度超过指定阈值的字符，就结束步骤S41至S43的循环。

此外，需要指出的是，本实施例中为数字字符的识别，本领域技术人员理解，数字字符也可以将其拓展至英文字符或者其他语言的字符中，方法步骤保持不变。

Claims

1.一种图片内字符粘连识别的方法，其特征在于，该方法包括获取模板字符图片集的步骤、获取目标图片的步骤、第一模板字符识别步骤以及识别字符提取步骤；所述模板字符图片集为模板字符图片的集合；所述模板字符图片与字符相对应；所述第一模板字符识别步骤包括：

2.如权利要求1所述的图片内字符粘连识别的方法，其特征在于，该方法在第一模板字符识别步骤之后还有第二模板字符识别步骤；所述第二模板字符识别步骤包括：

3.如权利要求2所述的图片内字符粘连识别的方法，其特征在于，该方法之后还包括中间检查步骤；所述中间检查步骤在第一模板字符识别步骤之后判断字符识别队列中的字符数目达到指定的数目，假如未达到指定的数目，则执行第二模板字符识别步骤。

4.如权利要求1所述的图片内字符粘连识别的方法，其特征在于，所述获取目标图片的步骤中还包括对所述目标图片进行灰化处理或二值化处理的步骤。

5.如权利要求1所述的图片内字符粘连识别的方法，其特征在于，获取模板字符图片集的步骤还包括对模板字符图片集中的模板字符图片进行灰化处理或二值化处理的步骤。

6.一种图片内字符粘连识别的装置，其特征在于，该装置包括用于获取模板字符图片集的模块、用于获取目标图片的模块、第一模板字符识别模块以及识别字符提取模块；所述模板字符图片集为模板字符图片的集合；所述模板字符图片与字符相对应；所述第一模板字符识别模块包括以下模块：

7.如权利要求1所述的图片内字符粘连识别的装置，其特征在于，该装置还包括第二模板字符识别模块；所述第二模板字符识别模块包括以下模块：

8.如权利要求2所述的图片内字符粘连识别的装置，其特征在于，该装置还包括中间检查模块；所述中间检查模块，用于，在第一模板字符识别模块执行完成之后判断字符识别队列中的字符数目达到指定的数目，假如未达到指定的数目，则执行第二模板字符识别模块。

9.如权利要求1所述的图片内字符粘连识别的装置，其特征在于，所述用于获取目标图片的模块中还包括用于对所述目标图片进行灰化处理或二值化处理的模块。

10.如权利要求1所述的图片内字符粘连识别的装置，其特征在于，所述用于获取模板字符图片集的模块还包括用于对模板字符图片集中的模板字符图片进行灰化处理或二值化处理的模块。