CN103606220B - 一种基于白光图像及红外图像的支票印刷体数字识别方法 - Google Patents

Abstract

本发明公开了一种基于白光图像及红外图像的支票印刷体数字识别系统，包括用于获取图像的图像采集设备；对获取的图像进行处理的高速处理模块，高速处理模块包括倾斜校正模块和数字印刷体识别模块；以及对处理结果进行显示的显示模块。利用图像采集设备，对待测支票进行扫描，采集支票在白光与红外光下所拍摄的两幅图像；利用倾斜校正模块对得到的两幅图像进行倾斜校正，在倾斜校正后图像的基础上利用数字印刷体识别模块进行数字印刷体的识别处理；将校正后的图像以及数字识别结果传输到显示设备进行显示。本发明的倾斜校正算法和印刷体数字字符的定位、分割、识别算法根据支票图像自身特性具有准确性高、实时性好、鲁棒性强的特点。

Description

一种基于白光图像及红外图像的支票印刷体数字识别方法

技术领域

本发明涉及一种基于白光图像及红外图像的支票印刷体数字识别系统及其方法，属于数字图像处理技术领域。

背景技术

随着支票在金融交易中更加普遍和频繁地使用以及金融领域人工成本的增加，对于支票上面的信息进行机器自动提取的需要变得越来越迫切。

支票作为一种金融活动的载体，国家对其大小、排版、制作都有严格的规定。最新国家规定的支票尺寸大小固定，例如支票尺寸大小为80*225mm，精度±1.5mm。在支票信息排版上，新版本支票其数字印刷体部分集中在右上角，分为上下两行。第一行八个数字，其中前三位数字表示银行机构代号；第四位数字为预留号，暂定为0；第五和第六位数字表示省别地区代码；第七位数字表示支票种类，其中1为现金支票，2为转账支票，3为清分机支票，4为银行汇票，5为银行承兑汇票，6为商业承兑汇票，7为非清分机本票，8为清分机本票；第八位数字表示印刷识别码。第二行八个数字表示流水号。可以看出，虽然印刷体数字只有短短的16位，但是其中涉及的信息量是必不可少的，因此对于这两行印刷体数字的识别成为支票自动识别过程中的必要步骤。

发明内容

本发明针对金融行业智能识别支票上数字印刷体的需要，同时为了实现识别的有效性和实时性，提供了一种基于白光图像及红外图像的支票印刷体数字识别系统及其方法。该系统利用在白光光照和红外光照条件下采集到的图像先进行图像角度判断确定是否存在倾斜，如果倾斜采用双立方差值进行倾斜较真，在此基础上进行印刷体数字的定位、分割、识别。其中很多处理过程都紧密依据支票图像这一特殊情况进行算法改进和策略选择，使该系统既能满足金融行业准确性的需要，又能满足用户对实时性体验的需要。

本发明的主要技术内容如下：

一种基于白光图像及红外图像的支票印刷体数字识别系统，包括用于获取图像的图像采集设备；对获取的图像进行处理的高速处理模块，所述高速处理模块包括倾斜校正模块和数字印刷体识别模块；以及对处理结果进行显示的显示模块。

上述图像采集设备为德国Ernst Reiner公司的图像采集设备RS893。

一种基于白光图像及红外图像的支票印刷体数字识别方法，包括以下步骤：

(1)、利用上述的图像采集设备，对待测支票进行扫描，采集支票在白光与红外光下所拍摄的两幅图像；

(2)、利用上述的倾斜校正模块对步骤(1)得到的两幅图像进行倾斜校正，在倾斜校正后图像的基础上利用上述的数字印刷体识别模块进行数字印刷体的识别处理；

(3)、将步骤(2)校正后的图像以及数字识别结果传输到显示模块进行显示。

上述步骤(2)中的倾斜校正的步骤有：

(4a)、取出白光下采集的支票图像；

(4b)、定位倾斜校正检测角度的矩形区域；

(4c)、对确定的矩形区域图像进行灰度化，对灰度图像进行Canny边缘检测；

(4d)、对经过Canny边缘检测的图像采用Hough变换的方法统计不同角度直线的个数；

(4e)、得到倾斜校正角度以后带入校正函数，采用立方插值得到校正后图像。

上述步骤(2)中数字印刷体的识别处理是基于模板匹配的，其算法包括如下步骤：

(5a)、定位校正后图像中的支票图像部分；

(5b)、对白光下采集图像进行右上角第一行八个数字印刷体的定位；对于右上角第二行八个数字印刷体，采用红外光照下图像进行定位；

(5c)、对于定位后的数字印刷体区域进行字符分割；

(5d)、对于分割出来的每个数字字符进行模板匹配得到识别结果进行输出。

上述步骤(5b)中对第一行数字印刷体的定位的方法是：先把步骤(5a)中白光下采集的图像灰度二值化，对二值化图像进行中值滤波去除单个黑点对定位的干扰，对中值滤波后图像进行膨胀将数字印刷体部分连成一片，根据数字印刷体在支票图像右上角这一先验条件以及设定连通域区间的长宽参数范围来定位数字印刷体部分。

上述步骤(5c)中对定位后的第一行数字印刷体的字符分割的方法采用垂直投影法，统计每一列黑色像素点个数，如果该列黑色像素点个数小于设定的阈值，那么该列被认为是不存在字符列。

上述步骤(5b)中对第二行数字印刷体的定位的方法是：先把步骤(5a)中红外光下采集的图像灰度二值化，对二值化图像进行中值滤波去除单个黑点对定位的干扰，遍历每一行黑色像素点个数，记录第一行黑色像素点数目大于阈值的行坐标，记为v_StartH,并统计该行第一个和最后一个黑色像素点的列坐标，分别记为v_StartW和v_EndW；从v_StartH开始，往下遍历8行记录每一行初始和结尾黑点列坐标，取初始列坐标最小值赋给v_StartW；取结尾列坐标最大值赋给v_EndW；最终取初始行为v_StartH，结尾行为v_StartH+25，初始列为v_StartW，结尾列为v_EndW+2的区域进行字符分割。

上述步骤(5c)中对第二行数字印刷体的字符分割的方法是：统计第一个字符起始列后第12列，即v_StartW+12列进行黑色像素点数目，记为v_Amount1，如果v_Amount1大于阈值，则认为第一个字符不是1，第一个字符所占宽度为19，字符间间隔为3，根据这两个信息可以推断第二个字符位置，后面字符位置的确定同理；如果v_Amount1小于阈值，则认为第一个字符是1，第一个字符所占宽度为14，与第二个字符之间间隔为5，从第二个字符开始，每个字符所占宽度以及字符之间的间隔又变为19和3；最后一个字符宽度为22，将其结束列坐标和v_EndW+2进行比较取两者中的较小值。

上述步骤(5d)对于分割出来的每个数字字符进行模板匹配得到识别结果进行输出的特征是：

对分割出来的单个字符先进行面积扩充；对于第一行数字所采用的是白底黑字大小为22*32的模板，对于第二行数字所采用的是白底黑字大小为20*32的模板，将垂直投影得到的单个字符进行面积扩充，扩充的原则是将已有分割出的字符置于扩充图像的中间位置，扩充的像素值为255，第一行每个字符扩充为26*36大小，第二行每个字符扩充为24*36大小；

匹配算法采用归一化相关匹配法：单个字符与每个模板进行归一化相关匹配将得到10个不同大小的值，其中匹配值最大的对应的数字作为识别结果，将每个字符的最大相似度值记录下来，如果在8个最大相似度值中小于0.9的个数超过阈值个数，那么提示用户识别结果不够准确，建议进行人工识别。

借由上述技术方案，本发明至少具有下列优点：

本发明科学合理，充分考虑到了支票图像规格化的特点。在识别之前增加倾斜校正这一预处理，使得识别更加的准确。

该系统充分考虑到了支票图像特点，具有鲁棒、快速、准确的识别效果和友好的用户体验，因此有很强的市场应用潜力。

本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

图1为本发明的系统结构示意图；

图2为本发明的图像倾斜校正的流程图；

图3为本发明的数字印刷体识别的流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的其具体实施方式、结构、特征及其功效，详细说明如后。

如图1所示，一种基于白光图像及红外图像的支票印刷体数字识别系统，包括用于获取图像的图像采集设备；对获取的图像进行处理的高速处理模块，所述高速处理模块包括倾斜校正模块和数字印刷体识别模块；以及对处理结果进行显示的显示模块。

作为优选方案，上述图像采集设备为德国Ernst Reiner公司的图像采集设备RS893。

一种基于白光图像及红外图像的支票印刷体数字识别方法，包括以下步骤：

(1)、利用上述的图像采集设备，对待测支票进行扫描，采集支票在白光与红外光下所拍摄的两幅图像；

(2)、利用上述的倾斜校正模块对步骤(1)得到的两幅图像进行倾斜校正，在倾斜校正后图像的基础上利用上述的数字印刷体识别模块进行数字印刷体的识别处理；

(3)、将步骤(2)校正后的图像以及数字识别结果传输到显示模块进行显示。

如图2所示，上述步骤(2)中的倾斜校正的步骤有：

(a)、取出白光下采集的支票图像。

(b)、定位倾斜校正检测角度的矩形区域。

由于支票图像自身的性质，其中间区域存在一黑色边框的矩形，在求取图像倾斜角度的时候，只要对该区域进行不同倾角直线的数目统计。对于一幅标准的没有倾斜的支票图像，其宽度为1336，高度为628，所取区域左上角坐标为(97,150)(其中，97为宽度坐标，150为高度坐标)，右下角坐标为(725,445)。但是对于一幅倾斜的支票图像，矩阵区域的绝对位置要转换为相对位置，通过新的左上角和右下角坐标确定统计区域。

(c)、对确定的矩形区域图像进行灰度化，对灰度图像进行Canny边缘检测。经过边缘检测后图像中待检测直线变少，从而有利于Hough变换检测角度的速度和精度的提升。采用Canny边缘检测算法的优点在于可以通过设置上限阈值和下限阈值来将断断续续的线连接起来。Canny算法检测边缘主要步骤有：1)用3*3高斯滤波器进行滤波，消除噪声；2)针对每一个像素，计算横向与纵向两方向的微分近似，以得到像素的梯度大小和方向；3)对梯度进行“非极大抑制”(非局部最大值置0)；4)对梯度取两次阈值；5)对边缘进行连接。

(d)、对经过Canny边缘检测的图像采用Hough变换的方法统计不同角度直线的个数。由于支票图像在放置的时候比较谨慎，一般图像的倾角都在-15°—15°之间，这里考虑-45°—45°之间的角度。如果斜率超过2(63.45°)，则不予统计(主要排除无穷大和无穷小对角度计算的影响)。定义三个斜率变量来记录斜率，其中默认三个斜率变量初值为直线数目最多对应的斜率，如果存在其他斜率的直线数目和最多数目相同，将该斜率记录到另外的斜率变量当中；如果不存在，则另外两个斜率变量不做修改。将斜率换算得到对应的角度，角度范围控制在-45°—45°之间。初始取三个角度中中间大小的角度作为校正函数输入角度(这主要是为了排除0°角对角度检测的影响，因为在很多情况下，检测出数目最多的角度为0°；如果图像没有倾斜，那么另外两个角度也将为0)，如果另外两个角度中任何一个和初始中间角度之间差值小于0.05°(0.1°就可以满足精度要求)，那么就将角度相加的和除以2得到最终的倾斜校正函数输入角度。

(e)、得到倾斜校正角度以后带入校正函数，采用立方插值得到校正后图像。

得到倾斜校正角度以后带入校正函数，如果角度为0，那么就跳过校正函数的执行(节省时间)；如果角度不为0，校正函数中采用双立方差值得到校正后图像(采集到的两幅图像都需要)。双立方差值可以很好的保存图像的细节，这点对于支票图像至关重要。

如图3所示，上述步骤(2)中数字印刷体的识别处理是基于模板匹配的，其算法包括如下步骤：

(a)、定位校正后图像中的支票图像部分；取白光下采集的图像，通过与标准支票图像进行模板匹配的方法得到支票图像区域坐标，根据该系列坐标可以得到两幅图像中支票部分。

(b)、对白光下采集图像进行右上角第一行八个数字印刷体的定位；对于右上角第二行八个数字印刷体，采用红外光照下图像进行定位。

第一行数字印刷体的定位的方法是：先把白光下采集的图像进行灰度二值化，对二值化图像进行中值滤波去除单个黑点对定位的干扰，对中值滤波后图像进行膨胀将数字印刷体部分连成一片，根据数字印刷体在支票图像右上角这一先验条件以及设定连通域区间的长宽参数范围来定位数字印刷体部分。

第二行数字印刷体的定位的方法是：先把支票图像进行灰度二值化，其中白色背景，黑色信息。对二值化图像进行中值滤波去除单个黑点对定位的干扰。遍历每一行黑色像素点个数，记录第一行黑色像素点数目大于阈值(参考阈值为15)的行坐标，记为v_StartH,并统计该行第一个和最后一个黑色像素点的列坐标，分别记为v_StartW和v_EndW。红外光照下得到的图像中流水号信息容易受到黑色打印的付款行名称信息的影响，通过对大量支票图像的统计发现，付款行名称信息其高度小于流水号信息，并且如果对流水号信息有所干扰，其所在位置不会超过流水号字符高度的2/3处。由于流水号字符高度为定值(26个像素点高度)，故从v_StartH开始，往下遍历8(小于26的1/3)行记录每一行初始和结尾黑点列坐标，取初始列坐标最小值赋给v_StartW；取结尾列坐标最大值赋给v_EndW。最终取初始行为v_StartH，结尾行为v_StartH+25(没有加26是为了去除流水号刚好下一行连着付款行信息这一种情况对于识别的干扰)，初始列为v_StartW，结尾列为v_EndW+2(加2是为了充分保留字符1下半部分的信息)的区域进行字符分割。

(c)、对于定位后的数字印刷体区域进行字符分割。

定位后的第一行数字印刷体的字符分割的方法：采用改进的垂直投影的算法，统计每一列黑色像素点(字符部分为黑色，背景为白色)个数，如果该列黑色像素点个数小于设定的阈值(参考阈值为15)，那么该列被认为是不存在字符列。

定位后的第二行数字印刷体的字符分割的方法是：由于存在付款行信息与流水号信息重叠这种情况，所以对流水号单个字符的分割就不能采用垂直投影的方法。新方法思路是：由于单个字符所占宽度以及字符与字符之间的间隔是个固定值(分别为18和4)，因此可以根据这样的先验信息进行单个字符的分割。但是第一个字符是否为1对后续字符能否准确定位影响很大，采用的策略是：统计第一个字符起始列后第12列，即v_StartW+12列进行黑色像素点数目，记为v_Amount1，如果v_Amount1大于阈值(参考阈值为3)，则认为第一个字符不是1，第一个字符所占宽度为19(单个字符所占宽度加1)，字符间间隔为3(由于单个字符宽度加1，所以对应字符间隔减1)，根据这两个信息可以推断第二个字符位置，后面字符位置的确定同理；如果v_Amount1小于阈值，则认为第一个字符是1，第一个字符所占宽度为14，与第二个字符之间间隔为5，从第二个字符开始，每个字符所占宽度以及字符之间的间隔又变为19和3。最后一个字符宽度为22(算上间隔)，将其结束列坐标和v_EndW+2进行比较取两者中的较小值。

(d)、对于分割出来的每个数字字符进行模板匹配得到识别结果进行输出。其特征是：

对分割出来的单个字符先要进行面积扩充。进行面积扩充的目的是，对于第一行数字所采用的是白底黑字大小为22*32的模板，对于第二行数字所采用的是白底黑字大小为20*32的模板，采用模板匹配的方法进行识别，需要单个字符图像的长宽都大于模板长宽，要不然程序会报错。因此将垂直投影得到的单个字符要进行面积扩充，扩充的原则是将已有分割出的字符置于扩充图像的中间位置，扩充的像素值为255，第一行每个字符扩充为26*36大小，第二行每个字符扩充为24*36大小。

匹配算法采用归一化相关匹配法。单个字符与每个模板进行归一化相关匹配将得到10个不同大小的值，其中匹配值最大的对应的数字作为识别结果，将每个字符的最大相似度值记录下来，如果在8个最大相似度值中小于0.9(如果匹配的很好的话，将会在0.9以上)的个数超过阈值个数(参考阈值为2)，那么提示用户识别结果不够准确，建议进行人工识别。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于白光图像及红外图像的支票印刷体数字识别方法，利用一种基于白光图像及红外图像的支票印刷体数字识别系统，所述基于白光图像及红外图像的支票印刷体数字识别系统包括用于获取图像的图像采集设备；对获取的图像进行处理的高速处理模块，所述高速处理模块包括倾斜校正模块和数字印刷体识别模块；以及对处理结果进行显示的显示模块；所述图像采集设备为德国ErnstReiner公司的图像采集设备RS893；其特征在于：包括以下步骤：

(1)、利用所述基于白光图像及红外图像的支票印刷体数字识别系统的图像采集设备，对待测支票进行扫描，采集支票在白光与红外光下所拍摄的两幅图像；

(2)、利用所述基于白光图像及红外图像的支票印刷体数字识别系统的倾斜校正模块对步骤(1)得到的两幅图像进行倾斜校正，在倾斜校正后图像的基础上利用所述基于白光图像及红外图像的支票印刷体数字识别系统的数字印刷体识别模块进行数字印刷体的识别处理；所述数字印刷体的识别处理是基于模板匹配的，其算法包括如下步骤：

(1a)、定位校正后图像中的支票图像部分；

(1b)、对白光下采集图像进行右上角第一行八个数字印刷体的定位；对于右上角第二行八个数字印刷体，采用红外光照下图像进行定位；

(1c)、对于定位后的第一行和第二行数字印刷体区域分别进行字符分割；

(1d)、对于分割出来的每个数字字符进行模板匹配得到识别结果进行输出；

(3)、将步骤(2)校正后的图像以及数字识别结果传输到显示模块进行显示。

2.根据权利要求1所述的一种基于白光图像及红外图像的支票印刷体数字识别方法，其特征在于：所述步骤(2)中的倾斜校正的步骤有：

(2a)、取出白光下采集的支票图像；

(2b)、定位倾斜校正检测角度的矩形区域；

(2c)、对确定的矩形区域图像进行灰度化，对灰度图像进行Canny边缘检测；

(2d)、对经过Canny边缘检测的图像采用Hough变换的方法统计不同角度直线的个数；

(2e)、得到倾斜校正角度以后带入校正函数，采用立方插值得到校正后图像。

3.根据权利要求1所示的一种基于白光图像及红外图像的支票印刷体数字识别方法，其特征在于：所述步骤(1b)中对第一行数字印刷体的定位的方法是：先把步骤(1a)中白光下采集的图像灰度二值化，对二值化图像进行中值滤波去除单个黑点对定位的干扰，对中值滤波后图像进行膨胀将数字印刷体部分连成一片，根据数字印刷体在支票图像右上角这一先验条件以及设定连通域区间的长宽参数范围来定位数字印刷体部分。

4.根据权利要求1所示的一种基于白光图像及红外图像的支票印刷体数字识别方法，其特征在于：所述步骤(1c)中对定位后的第一行数字印刷体的字符分割的方法采用垂直投影法，统计每一列黑色像素点个数，如果该列黑色像素点个数小于设定的阈值，那么该列被认为是不存在字符列。

5.根据权利要求1所示的一种基于白光图像及红外图像的支票印刷体数字识别方法，其特征在于：所述步骤(1b)中对第二行数字印刷体的定位的方法是：先把步骤(1a)中红外光下采集的图像灰度二值化，对二值化图像进行中值滤波去除单个黑点对定位的干扰，遍历每一行黑色像素点个数，记录第一行黑色像素点数目大于阈值的行坐标，记为v_StartH,并统计该行第一个和最后一个黑色像素点的列坐标，分别记为v_StartW和v_EndW；从v_StartH开始，往下遍历8行记录每一行初始和结尾黑点列坐标，取初始列坐标最小值赋给v_StartW；取结尾列坐标最大值赋给v_EndW；最终取初始行为v_StartH，结尾行为v_StartH+25，初始列为v_StartW，结尾列为v_EndW+2的区域进行字符分割。

6.根据权利要求1所示的一种基于白光图像及红外图像的支票印刷体数字识别方法，其特征在于：所述步骤(1c)中对第二行数字印刷体的字符分割的方法是：统计第一个字符起始列后第12列，即v_StartW+12列进行黑色像素点数目，记为v_Amount1，如果v_Amount1大于阈值，则认为第一个字符不是1，第一个字符所占宽度为19，字符间间隔为3，根据这两个信息可以推断第二个字符位置，后面字符位置的确定同理；如果v_Amount1小于阈值，则认为第一个字符是1，第一个字符所占宽度为14，与第二个字符之间间隔为5，从第二个字符开始，每个字符所占宽度以及字符之间的间隔分别变为19和3；最后一个字符宽度为22，将其结束列坐标和v_EndW+2进行比较取两者中的较小值。

7.根据权利要求1所示的一种基于白光图像及红外图像的支票印刷体数字识别方法，其特征在于：所述步骤(1d)对于分割出来的每个数字字符进行模板匹配得到识别结果进行输出的特征是：

对分割出来的单个字符先进行面积扩充；对于第一行数字所采用的是白底黑字大小为22*32的模板，对于第二行数字所采用的是白底黑字大小为20*32的模板，将垂直投影得到的单个字符进行面积扩充，扩充的原则是将已有分割出的字符置于扩充图像的中间位置，扩充的像素值为255，第一行每个字符扩充为26*36大小，第二行每个字符扩充为24*36大小；

匹配算法采用归一化相关匹配法：单个字符与每个模板进行归一化相关匹配将得到10个不同大小的值，其中匹配值最大的对应的数字作为识别结果，将每个字符的最大相似度值记录下来，如果在8个最大相似度值中小于0.9的个数超过阈值个数，那么提示用户识别结果不够准确，建议进行人工识别。