CN1975760A - 一种邮政信封自动识别系统及其识别方法 - Google Patents

Abstract

本发明提供一种邮政信封自动识别系统及方法，包括硬件系统和软件系统，硬件系统包括信封传输装置，信封图像获取装置，以及信封图像识别装置，所述信封图像获取装置采用频闪光源和与频闪光源配合的高速摄像机。所述所述图像识别装置包括高速图像采集模块、图像处理与识别模块、条码生成和打印模块、信封数据的压缩保存和检索模块。本发明不仅可以完成高速邮政信封的图像采集、压缩保存和检索，还可以完成高速邮政信封的邮政编码和地址的高精度识别和关键地址提取，以及条码生成和打印。成本低，鲁棒性好，自动化程度高，在高速邮政信封的处理系统中具有良好的应用前景。

Description

一种邮政信封自动识别系统及其识别方法

                        技术领域

本发明属于模式识别与人工智能技术领域，特别是涉及一种高速邮政信封自动识别系统。

                        背景技术

邮政信封自动识别技术是指通过计算机等设备将信封中的邮政编码和地址内容提取和识别出来，它是实现邮政系统自动化的关键技术之一。传统的邮政信封自动识别系统一般包括信封图像的获取、信封图像的处理与识别等模块。图像获取模块一般通过昂贵的高速扫描仪等设备采集信封图像，还没有使用摄像头在高速条件下采集到清晰的信封图像的邮政信封识别系统。这是因为，一般情况下用摄像头抓拍信封图像，往往会出现模糊或者拖尾等现象，使得图像处理与识别模块很难达到较好的性能。而采用高速扫描仪采用信封图像的不足之处是，系统的成本很高(目前，高速扫描仪价格的价格在一百万元人民币左右)。传统的邮政信封自动识别系统的图像处理与识别模块仅对信封图像中的邮政编码进行分割和识别(例如目前的邮政信封分拣系统)，不能识别处理信封中的邮政地址，无法满足现代邮政系统急需的信封检索、跟踪等信函管理的需要。要适应现代邮政系统海量信封的高速实时处理，现有的图像处理与识别技术也无法满足需要。现有的系统为了提高图像处理质量和识别精度，往往在图像处理模块采用复杂的图像局部二值化方法和字符分割算法，在识别模块采用高维的字符特征与复杂的分类算法，这些算法的处理速度难以满足高速实时的邮政系统的需要，因此需要研制适应高速信封处理的快速算法。另外，现有的邮政处理系统也不具有高速实时地信封图像数据库压缩存储和检索功能，无法实现信封图像的存档和检索，以及识别错误的后期校验。随着经济的发展，越来越多的企业、机关使用印刷体公函。邮政部门对海量的统一规范的信封处理提出了各种新的业务需求，目前，还没有能适应这些业务需求的、能够处理10000个信封以上/小时的高速邮政信封自动识别方面的专利和系统，无法满足现代邮政系统自动化的实际需要。

                        发明内容

本发明的目的在于克服现有技术的不足，提供一种高速实时的邮政信封自动识别系统，实现高速实时地提取和识别邮政信封中的邮政编码和地址内容，并可以高速实时地完成信封图像的压缩保存和检索，以及条形码的自动生成和实时打印。

本发明的另一目的在于提供一种邮政信封自动识别方法。

为了实现发明目的一，采用的技术方案如下：

一种邮政信封自动识别系统，包括信封传输装置，信封图像获取装置，以及信封图像识别装置，所述信封图像获取装置获取处于信封传输装置上的信封的图像信息，并将信封图像信息传送至信封图像识别装置进行识别，所述信封图像识别装置通过信封的图像信息识别信封的特征信息，所述信封图像获取装置采用频闪光源和与频闪光源配合的高速摄像机。

所述信封传输装置包括传送带及由激光传感器和触发电路组成的定位装置，所述定位装置设置于传送带上方，通过激光传感器在处于传送带上的信封经过时所造成的反射光变化，作为触发电路启动一个使信封图像获取装置拍摄所经过的信封的图像的触发信号的要件。

所述系统还设置有条形码打印机。

所述的信封图像识别装置所识别的信封的特征信息包括邮政编码和地址。

所述的信封图像识别装置采用安装有信封图像识别软件的计算机，所述信封图像识别软件包括高速图像采集模块、图像处理与识别模块、条码生成和打印模块、信封数据的压缩保存和检索模块。

为了实现发明目的二，采用的技术方案如下：

一种邮政信封自动识别方法，包括信封的传输过程、信封图像的获取过程、以及信封图像的识别过程，所述信封的传输过程由信封传输装置的传送带实现信封的传送，并通过定位装置触发信封图像的获取过程；所述信封图像的获取过程通过频闪光源配合高速摄像机抓拍处于传送带上的信封的图像，并将所抓拍的信封图像传送至作为信封图像识别装置的计算机；所述信封图像的识别过程通过高速图像采集模块接收高速摄像机抓取的信封图像，再通过图像处理和识别模块识别信封图像中的邮政编码、关键地址信息，并将识别结果发送到计算机所设置的数据库，同时通过条码生成和打印模块自动生成信封条形码，并将条形码与该信封数据进行关联，随后通过信封数据的压缩保存和检索模块将识别结果连同条形码进行压缩保存，且具有信封图像检索信息。

上述技术方案中，所述信封图像的识别过程的图像处理和识别模块的识别过程为依次对图像进行快速字符区域定位处理、基于全局和局部方法融合的快速二值化处理、快速图像倾斜检测和校正处理、基于投影分析的字符粗分割处理、基于几何特征和识别可信度的字符精确分割处理，从而得到邮政编码和地址内容的识别结果。

所述快速字符区域定位处理首先计算各像素点的水平梯度值和垂直梯度值，在对字符区域的上下左右边缘进行定位；

所述基于全局和局部方法融合的快速二值化处理对定位的字符区域采用全局和局部融合的方法进行二值化，首先将待处理区域分割为N×N个子区域，然后在每个子区域内以像素灰度值中值为阈值进行全局二值化；

所述快速图像倾斜检测和校正处理过程采用基于投影分析的倾斜角度检测方法对二值化图像进行倾斜检测和校正，首先在较大倾斜角度范围内进行低分辨率的的倾斜角度粗检测，然后对粗检测结果，在小倾斜角度范围内进行精确检测，并据此进行图像倾斜校正；

所述基于投影分析的字符粗分割处理过程根据投影分析对倾斜校正后的二值化图像进行行分割和字符分割，并利用邮政信封的布局模式去除噪声分割块，得到字符粗分割结果；

所述基于几何特征和识别可信度的字符精确分割处理利用粗分割结果建立候选分割网络，并根据字符的高度和宽度几何信息和分类器给出的可信度，利用动态规划寻找最优分割路径，从而得到识别结果。

所述基于几何特征和识别可信度的字符精确分割处理的分类器采用基于Gabor特征和LDA降维的字符识别模块，该模块提取待识别字符的Gabor特征，并进行LDA降维，其分类方法首先利用LDA降维后的低维特征矢量进行识别，选出字符的候选集合，然后再利用高维特征矢量在候选集合中确定字符的类别以及可信度。

本发明还采用邮政编码和关键地址的校正和提取模块对基于几何特征和识别可信度的字符精确分割处理后的识别结果进行邮政编码和关键地址的校正和提取，首先建立中国所有的关键地址库以及相应的邮政编码库，并根据邮政信封的布局模式初步确定可能的邮政编码行和地址行，然后，从初步确定的地址行首开始，依次在关键地址库的省名库中搜索最佳匹配的省名，在关键地址库的市名库中搜索最佳匹配的市名，在关键地址库的县名库中搜索最佳匹配的县名，并计算相应邮政编码与识别结果中的邮政编码的匹配度。

本发明的邮政信封识别系统包括硬件系统和软件系统。软件系统与硬件系统相互配合，完成信封图像的采集、图像处理与字符分割、识别处理和邮政编码与关键地址提取、图像与识别结果的压缩保存、以及条形码生成和打印，从而使本系统具有了如下功能：

(a)高速邮政信封图像的采集；

(b)邮政信封中地址的高速精确识别和邮政编码与关键地址的提取；

(c)包括信封图像、邮政地址、邮政编码与关键地址在内信封数据的压缩保存和检索；

(d)邮政信封的条形码自动生成和实时打印。

本发明的识别系统对邮政信封图像的采集运用频闪光源配合高速摄像机抓拍高速运动的信封。由于印刷体上的字体属于较小的目标，且处于高速运动状态，如果快门速度太大，感光将不充分，从而造成成像模糊，快门速度太小感光太久也会产生运动模糊和拖尾现象。一般相机很难清楚地拍到清晰的字体图像，本发明由于采用高速摄像机，快门速度为100us，配合频闪光源，在信封到达的瞬间触发频闪光源，使之成像，然后频闪光源在极短的时间消失，有效地去除了所拍摄字符的运动模糊现象。

而且通过软件系统的相互结合，使得本发明不仅可以完成高速邮政信封的图像采集、压缩保存和检索，还可以完成高速邮政信封的邮政编码和地址的高精度识别和关键地址提取，以及条码生成和打印。该系统成本较低，鲁棒性好，自动化程度高，在高速邮政信封的处理系统中具有良好的应用前景。

本发明与现有的邮政信封自动处理系统相比，具有如下的优点：

(1)利用高速抓拍摄像头代替高速扫描仪采集图像，使得本发明的造价低廉，高速扫描仪的价格在一百万元人民币左右，而本发明所搭建的摄像头系统的成本不足三万元人民币。

(2)由于采用了高速摄像机和频闪光源，本系统可以高速实时地采集到高清晰度的信封图像，并进行压缩保存到数据库，从而较好地解决了信封图像的归档问题，并为后续的图像处理和识别提供了良好条件。

(3)由于采用了快速图像处理算法和快速识别算法，配合本系统的高速图像采集模块，本系统可以在无人干预的情况下，高速度高精确度地识别和提取信封中的邮政编码和地址内容。对于50个字符左右的信封，处理速度可以达到18000个信封/小时，从而较好地解决了高速邮政信封的自动识别问题。

(4)本系统不仅可以高速实时地打印条形码，还可以实现所提取邮政编码和地址与条形码的关联，方便了邮政系统的条形码管理工作。

(5)由于采用的高速网卡和快速图像压缩存储方法，本系统可以高速实时地保存信封图像，一个100G的普通硬盘一般可以保存3个月的信封数据。所保存的数据不仅包括信封图像，还包括邮政编码和地址内容，以及所打印的条形码。相对于只处理邮政编码信息的传统邮政系统，本系统能满足客户多方面的需求，具有明显的优越性。

(6)本系统所提取的邮政编码和地址内容，以及与之关联的信封图像和条形码，可以用于邮政系统的信函跟追、检索等管理工作，从而较好地解决了现代邮政系统对高速邮政信封的自动化识别处理的需要。

                        附图说明

图1是本发明高速邮政信封自动识别系统的整体结构示意图；

图2是本发明的信封处理流程框图；

图3是本发明的图像处理与识别模块的流程图。

                      具体实施方式

下面结合附图对本发明作进一步具体的描述。

附图1为本发明的整体结构示意图，由图1可见，本发明包括硬件系统和软件系统，二者相互配合共同完成本系统的功能。

所述硬件系统包括信封传输带1、信封定位装置3、频闪光源4、高速摄像机和支架5、高性能电脑6、高速打印机7。所述软件系统安装于电脑6中，软件系统包括：高速图像采集模块a、快速字符区域定位模块b、基于全局和局部方法融合的快速二值化模块c、基于2级检测的快速图像倾斜检测和校正模块d、基于投影分析的字符粗分割模块e、基于几何特征和识别可信度的字符精确分割模块f、基于Gabor特征和LDA降维的字符识别模块g、邮政编码和关键地址的校正和提取模块h、信封图像的快速压缩保存模块i、信封图像数据库的检索模块j、条形码自动生成和打印模块k。

所述信封传输带1由传输带和真空汞以及速度调整机械装置组成，用户只要将叠好的信封2放在传输带上设定好速度后，就能自动地传输信封。信封定位装置3由激光传感器和单片机控制电路组成，信封2经过传感器的时候造成传感器反射光的变化，单片机控制电路根据传输带1的速度和传感器与摄像头5的距离计算出信封2到达摄像头5拍摄点的时间，并通过电路触发高速摄像头5和频闪光源4抓拍信封图像。

所述摄像机5和频闪光源4接受来自外部的信封到达触发信号，实现高速信封图像拍摄，并发送信号给所述软件系统的采集模块a，采集模块a将图像从摄像机内部缓存读取到计算机6中开辟的图像缓存。

附图2示出了本发明的信封处理流程框图，其处理流程为：系统首先初始化，其中包括字符集(简体、繁体)选择、信封布局模式选择(邮政编码与邮政地址的相对位置)等。完成初始化以后，本系统处于等待状态，每当接到信封定位装置3的“信封到达”触发信号后，在高性能电脑6的控制下，自动地向高速摄像机5和频闪光源4发出控制信号，实时抓拍高速运动信封2的图像，同时将信封图像传回本系统的图像处理和识别模块进行快速处理。图像处理和识别模块给出信封中地址的识别结果，并提取出信封邮政编码、关键地址。然后，系统通过高速网卡将倾斜校正后的二值化信封图像，以及信封中地址识别结果和所提取的邮编、关键地址等数据发送到数据库。本系统的数据库接到信封数据后，自动生成信封条形码，并将条形码与该信封数据进行关联。随后本系统一方面将条形码发送给信封传输装置配备的高速打印机7，在相应信封上打印条形码，另一方面将信封数据(包括条形码、地址识别结果和所提取的邮编、关键地址等)进行压缩保存，并具有信封图像检索功能。

附图3示出了本发明的图像处理与识别模块的流程图，图像处理与识别模块的流程图为：本系统的图像处理模块接收到信封图像后，将依次对图像进行快速字符区域定位处理、基于全局和局部方法融合的快速二值化处理、快速图像倾斜检测和校正处理、基于投影分析的字符粗分割处理、基于几何特征和识别可信度的字符精确分割处理，并得到邮政编码和地址内容的识别结果。然后，系统根据邮政信封中邮政编码和地址的布局模式，对上述识别结果中的邮政编码和关键地址进行校正，并提取出邮政编码和关键地址。

所述快速字符区域定位模块b首先计算各像素点的水平梯度值和垂直梯度值。字符区域的上下边缘定位过程为：在水平方向上，若某像素点的水平梯度值大于设定阈值，则标记该点为笔画边缘点，并统计各水平线上的笔画边缘点数。若笔画边缘点数大于设定阈值，则标记该水平线为字符线。然后，从图像的水平笔画穿越数最大的水平线分别向上下扫描，若存在连续T条水平线为非字符线(T为设定阈值)，则当前字符线为所定位字符区域的上(下)边缘。字符区域的左右边缘定位过程类似。

所述基于全局和局部方法融合的快速二值化模块c对快速字符区域定位模块b中定位的字符区域进行二值化。这里将全局和局部方法进行融合，首先将待处理区域分割为N×N个子区域，然后在每个子区域内以像素灰度值中值为阈值进行全局二值化。这里N为常数，其数值由现有实验确定。

所述基于2级检测的快速图像倾斜检测和校正模块d对基于全局和局部方法融合的快速二值化模块c中的二值化图像进行倾斜检测和校正。这里基本算法采用基于投影分析的倾斜角度检测方法。为了加快检测速度，首先在较大倾斜角度范围内进行低分辨率的的倾斜角度粗检测，检测精度较低而时间复杂度小。然后对粗检测结果，在小倾斜角度范围内进行精确检测，并据此进行图像倾斜校正。这样既能具有较大的倾斜角度检测范围，又能得到较高检测精度和较小的检测时间。

所述基于投影分析的字符粗分割模块e根据投影分析对倾斜校正后的二值化图像进行行分割和字符分割，并利用邮政信封的布局模式去除噪声分割块，得到字符粗分割结果。

所述基于几何特征和识别可信度的字符精确分割模块f利用粗分割结果建立候选分割网络，并根据字符的高度和宽度等几何信息和分类器给出的可信度，利用动态规划寻找最优分割路径，从而得到识别结果。

所述基于Gabor特征和LDA降维的字符识别模块g为基于几何特征和识别可信度的字符精确分割模块f提供分类器。该模块提取待识别字符的Gabor特征，并进行LDA降维。这里的分类方法首先利用LDA降维后的低维特征矢量进行识别，选出字符的候选集合，然后再利用高维特征矢量在候选集合中确定字符的类别以及可信度。这样该识别方法既可以获得较高的识别精度，又具有较快的识别速度。

所述邮政编码和关键地址的校正和提取模块h根据基于几何特征和识别可信度的字符精确分割模块f的识别结果进行邮政编码和关键地址的校正和提取。这里的关键地址是指地址中的省(或自治区)市县(或盟、自治州)名称等。本模块首先建立中国所有的关键地址库以及相应的邮政编码库，并根据邮政信封的布局模式(如邮政编码位于地址行的上方还是最下方)初步确定可能的邮政编码行和地址行。然后，从初步确定的地址行首开始，依次在关键地址库的省(或自治区)名库中搜索最佳匹配的省名，在关键地址库的市名库中搜索最佳匹配的市名，在关键地址库的县(或盟、自治州)名库中搜索最佳匹配的县(或盟、自治州)名，并计算相应邮政编码与识别结果中的邮政编码的匹配度。这里字符串的匹配度量采用编辑距离(Edit Distance)。最后应用如下规则进行邮政编码和关键地址的校正，并提取相应的关键地址：

(1)若省名完全匹配且市或县名完全匹配，则校正邮政编码；

(2)若省名完全匹配，市或县名部分匹配且邮政编码完全匹配，则校正市或县名；

(3)若省名部分匹配，市或县名完全匹配，则校正省名及邮政编码；

(4)若省名部分匹配，市或县名部分匹配且邮政编码完全匹配，则校正省和市或县名；

(5)若规则(1)～(4)均不满足，而市名完全匹配，则校正邮政编码；

(6)若规则(1)～(4)均不满足，而市名部分匹配且邮政编码完全匹配，则校正市名。

所述信封图像的快速压缩保存模块i通过高速网卡将基于2级检测的快速图像倾斜检测和校正模块d中倾斜校正后的二值化图像传输到数据库，并进行快速压缩保存，并与该信封图像对应的条形码进行关联。

所述信封图像数据库的检索模块j完成信封图像数据库中的归档图像的检索，检索内容包括信封图像及其生成日期、对应的邮政编码和地址、条形码等。

所述条形码自动生成和打印模块k自动生成条形码，并利用外部系统提供的高速打印机在对应信封上实时打印条形码。

Claims (10)

1、一种邮政信封自动识别系统，包括信封传输装置，信封图像获取装置，以及信封图像识别装置，所述信封图像获取装置获取处于信封传输装置上的信封的图像信息，并将信封图像信息传送至信封图像识别装置进行识别，所述信封图像识别装置通过信封的图像信息识别信封的特征信息，其特征在于所述信封图像获取装置采用频闪光源和与频闪光源配合的高速摄像机。

2、根据权利要求1所述的邮政信封自动识别系统，其特征在于所述信封传输装置包括传送带及由激光传感器和触发电路组成的定位装置，所述定位装置设置于传送带上方，通过激光传感器在处于传送带上的信封经过时所造成的反射光变化，作为触发电路启动一个使信封图像获取装置拍摄所经过的信封的图像的触发信号的要件。

3、根据权利要求1或2所述的邮政信封自动识别系统，其特征在于所述系统还设置有条形码打印机。

4、根据权利要求3邮政信封自动识别系统，其特征在于所述的信封图像识别装置所识别的信封的特征信息包括邮政编码和地址。

5、根据权利要求4所述的邮政信封自动识别系统，其特征在于所述的信封图像识别装置采用安装有信封图像识别软件的计算机，所述信封图像识别软件包括高速图像采集模块、图像处理与识别模块、条码生成和打印模块、信封数据的压缩保存和检索模块。

6、一种邮政信封自动识别方法，包括信封的传输过程、信封图像的获取过程、以及信封图像的识别过程，其特征在于所述信封的传输过程由信封传输装置的传送带实现信封的传送，并通过定位装置触发信封图像的获取过程；所述信封图像的获取过程通过频闪光源配合高速摄像机抓拍处于传送带上的信封的图像，并将所抓拍的信封图像传送至作为信封图像识别装置的计算机；所述信封图像的识别过程通过高速图像采集模块接收高速摄像机抓取的信封图像，再通过图像处理和识别模块识别信封图像中的邮政编码、关键地址信息，并将识别结果发送到计算机所设置的数据库，同时通过条码生成和打印模块自动生成信封条形码，并将条形码与该信封数据进行关联，随后通过信封数据的压缩保存和检索模块将识别结果连同条形码进行压缩保存，且具有信封图像检索信息。

7、根据权利要求6所述的邮政信封自动识别方法，其特征在于所述信封图像的识别过程的图像处理和识别模块的识别过程为依次对图像进行快速字符区域定位处理、基于全局和局部方法融合的快速二值化处理、快速图像倾斜检测和校正处理、基于投影分析的字符粗分割处理、基于几何特征和识别可信度的字符精确分割处理，从而得到邮政编码和地址内容的识别结果。

8、根据权利要求7所述的邮政信封自动识别方法，其特征在于

所述快速字符区域定位处理首先计算各像素点的水平梯度值和垂直梯度值，在对字符区域的上下左右边缘进行定位；

所述基于全局和局部方法融合的快速二值化处理对定位的字符区域采用全局和局部融合的方法进行二值化，首先将待处理区域分割为N×N个子区域，然后在每个子区域内以像素灰度值中值为阈值进行全局二值化；

所述快速图像倾斜检测和校正处理过程采用基于投影分析的倾斜角度检测方法对二值化图像进行倾斜检测和校正，首先在较大倾斜角度范围内进行低分辨率的的倾斜角度粗检测，然后对粗检测结果，在小倾斜角度范围内进行精确检测，并据此进行图像倾斜校正；

所述基于投影分析的字符粗分割处理过程根据投影分析对倾斜校正后的二值化图像进行行分割和字符分割，并利用邮政信封的布局模式去除噪声分割块，得到字符粗分割结果；

所述基于几何特征和识别可信度的字符精确分割处理利用粗分割结果建立候选分割网络，并根据字符的高度和宽度几何信息和分类器给出的可信度，利用动态规划寻找最优分割路径，从而得到识别结果。

9、根据权利要求8所述的邮政信封自动识别方法，其特征在于所述基于几何特征和识别可信度的字符精确分割处理的分类器采用基于Gabor特征和LDA降维的字符识别模块，该模块提取待识别字符的Gabor特征，并进行LDA降维，其分类方法首先利用LDA降维后的低维特征矢量进行识别，选出字符的候选集合，然后再利用高维特征矢量在候选集合中确定字符的类别以及可信度。

10、根据权利要求8所述的邮政信封自动识别方法，其特征在于还采用邮政编码和关键地址的校正和提取模块对基于几何特征和识别可信度的字符精确分割处理后的识别结果进行邮政编码和关键地址的校正和提取，首先建立中国所有的关键地址库以及相应的邮政编码库，并根据邮政信封的布局模式初步确定可能的邮政编码行和地址行，然后，从初步确定的地址行首开始，依次在关键地址库的省名库中搜索最佳匹配的省名，在关键地址库的市名库中搜索最佳匹配的市名，在关键地址库的县名库中搜索最佳匹配的县名，并计算相应邮政编码与识别结果中的邮政编码的匹配度。