CN105528604B - 一种基于ocr的票据自动识别与处理系统 - Google Patents
一种基于ocr的票据自动识别与处理系统 Download PDFInfo
- Publication number
- CN105528604B CN105528604B CN201610070970.8A CN201610070970A CN105528604B CN 105528604 B CN105528604 B CN 105528604B CN 201610070970 A CN201610070970 A CN 201610070970A CN 105528604 B CN105528604 B CN 105528604B
- Authority
- CN
- China
- Prior art keywords
- text
- bill
- block
- image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000006835 compression Effects 0.000 claims abstract description 6
- 238000007906 compression Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 36
- 230000009467 reduction Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000010408 sweeping Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/293—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of characters other than Kanji, Hiragana or Katakana
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
Abstract
本发明提供一种基于OCR的票据自动识别与处理系统，包括图像采集模块、快速图像二值化模块、文本块检测与定位模块、单栏文本块的精确定位模块、多栏文本块的精确定位与分割模块、文本识别模块和票据图像检索模块。本发明不仅可以完成发票票据图像的高清采集与压缩存储，还能够对每张票据中的购销方信息、商品信息、开票日期等文字字符进行鲁棒、高精度地定位与识别。票据图像识别能够进行方便的检索。该系统具有处理与识别精度高、成本较低、鲁棒性好、自动化程度高等特点，可广泛应用于票据的计算机自动化管理中，如票据的认证、票据的归档和查询等。
Description
技术领域
本发明属于模式识别与人工智能技术领域，特别是涉及一种基于OCR的票据自动识别与处理系统。
背景技术
基于OCR的票据自动识别与处理技术是指通过计算机等设备，利用OCR技术（光学字符识别）将纸质票据中的符号自动提取和识别出来，并进行相应处理。它是实现票据计算机自动处理的关键技术之一。尽管电子支付、电子票据等发展日益增多，传统纸质票据仍然是现实工作和生活中广泛使用的方式之一，如各类纸质发票、金融票据等。现有纸质票据的计算机自动处理一般有以下几种方式：（1）票据图像的自动采集和存储，一般通过专门的设备进行纸质票据的自动采集和压缩存储。但由于没有进行票据中文本等信息的自动识别与处理，难以进行按票据内容的自动检索和后续的有效管理，如票据内容的计算机自动验证和核对等。（2）票据内容的人工录入，一般通过人工的方式对票据信息进行手工录入和保存，以便于后续的票据计算机自动管理。这种方式不适用于大规模票据自动处理，且手工录入也容易出现录入错误，人力成本较高。（3）具有简单版式的票据计算机自动识别与处理，这种方式一般针对版式相对简单的票据，如银行支票等。这种方式中待识别的票据信息一般具有固定的几何位置或特殊的定位符号，通过定位符号或者简单几何换算可以实现票据信息的提取，并利用OCR技术进行字符的识别。对于具有较为复杂版面票据，特别是发票票据，由于票据种类繁多，票据版面格式复杂多样，目前还没有一种通用的方法或设备可以有效地自动识别票据中的文本信息。针对以上分析，本发明针对具有复杂版式的发票票据的信息自动录入与处理，特别是针对增值税发票票据，提供了一种有效的自动识别与处理的方法与系统。
发明内容
本发明的目的在于克服上述票据处理方式与系统的不足，提供一种快速、高精度的增值税发票票据自动识别与处理系统，其特点是采用高速扫描仪进行发票票据的图像采集，能够快速、高精度地提取和识别增值税发票中的购销双方企业名称与纳税人识别号、商品信息（包括商品名称、计量单位、数量、金额、税额）、开票日期等票据信息，并可以完成票据图像的压缩保存和检索。
一种基于OCR的票据自动识别与处理系统，包括票据图像采集模块、快速图像二值化模块、文本块检测与定位模块、单栏文本块的精确定位模块、多栏文本块的精确定位与分割模块、文本识别模块和票据图像检索模块；图像采集模块采集发票票据图像后，快速图像二值化模块对图像进行二值化处理，文本块检测与定位模块进行文本块检测与定位，并根据检测中确定的水平分割线倾角，对图像进行倾斜检测和校正；根据定位的文本块，分别通过单栏文本块的精确定位模块、多栏文本块的精确定位与分割模块进行精确定位与分割，从而得到待识别的票据信息文本行；文本行识别模块将文本行分为纯数字串和中文字符串两种，分别进行识别处理；票据图像检索模块将采集的票据图像与识别结果进行关联存储，完成票据图像数据中的检索，检索内容包括票据图像的购方信息、销方信息、商品信息、开票日期。
进一步地，系统还包括高清摄像头，实现发票图像的采集，并将图像传输到高性能电脑保存；用户只需将发票平整放置于摄像头下方，由图像采集模块触发摄像头进行发票图像采集，并保存到电脑的指定目录。
进一步地，用户启动系统后，本系统处于等待状态，用户将平整发票放置于摄像头下方，由图像采集模块根据连续帧图像计算触发信号，并触发摄像头进行发票图像采集，并保存到PC电脑的指定目录；然后，系统进行票据图像的自动处理与识别，分别提取与识别增值税发票票据中的购销双方名称与纳税人识别号、商品信息、开票日期信息，并完成票据图像的压缩保存，以及识别信息关联；根据生成的票据图像与识别信息数据，系统完成票据图像检索与归档自动化管理，并能依据识别信息，实现与税务机关数据库中相关票据信息进行认证管理。
进一步地，票据图像采集模块负责对高清摄像头进行触发控制，并将采集的票据图像传输到高性能电脑进行存储；触发信号根据高清摄像头采集的图像序列的帧间差进行计算；如果相邻帧间图像差小于设定阈值，且图像的前景像素点数所占比例大于预定值，则发送触发信号进行票据图像采集。
进一步地，快速图像二值化模块对发票图像进行二值化，采用基于最大类间方差方法以及局部分块的二值化方法；首先将图像进行灰度化，并等分为N个子区域，这里N的取值根据笔画宽度进行设定，然后在每个子区域中，利用最大类间方差方法确定图像二值化阈值T，并根据T进行图像二值化；若子区域内图像最大与最小灰度值差小于预设值，则置该子区域为背景。
进一步地，文本块检测与定位模块根据增值税发票票据的版式，将待识别内容分为购方信息、销方信息、商品信息、开票日期文本块，并利用基于直线检测的方法定位与分割出相应文本图像块；首先利用Hough变换直线检测方法检测倾角小于45°的横线，并根据检测的横线倾斜角度进行图像的倾斜校正；然后，分别取最长的前5条横线，并利用线间距的几何比例约束，定位出增值税发票的水平分割线；最后根据水平分隔线以及票据信息块的几何位置，定位出待识别的发票文本信息块；定位的文本信息块分为单栏文本块和多栏文本块，单栏文本块包括购方名称与纳税人识别号、销方名称与纳税人识别号、开票日期；多栏文本块包括商品信息块，商品信息块包括商品名称、计量单位、数量、金额、税额栏；如果文本块分割失败，则判断为无效票据。
进一步地，单栏文本块的精确定位模块主要处理单栏文本块的精确定位，对每个单栏文本图像块，首先按行进行扫描，并计算每行的笔画穿越数，然后以笔画穿越数最大的行为起始行，分别向上下扫描，若存在连续K行的笔画穿越数小于预定阈值（K由实验确定），则认为为行边缘，从而定位一行文本；然后对剩余部分图像重复上述步骤，直到定位到所有文本行为止；最后利用同一文本块中文本行高近似相等的特性，剔除行高异常的行，从而精确定位每个单栏文本图像块中的待识别文本行；如果文本行分割失败，则判断为无效票据；
多栏文本块的精确定位与分割模块主要处理多栏文本块的精确定位，即商品信息图像块；首先利用基于Hough变换直线检测方法，定位图像块中的垂直分隔线，并利用分隔线间的几何比例约束条件，剔除无效的分隔线，从而定位出商品名称、计量单位、数量、金额、税额栏对应的图像位置；最后根据每条商品信息图像位置满足水平对齐的特性，从而精确定位与分割出待识别的文本行图像；如果文本行分割失败，则判断为无效票据。
进一步地，文本行识别模块将文本行分为纯数字串和中文字符串两种，分别进行识别处理；文本行的识别过程为：首先进行基于垂直投影分析的行字符分割，然后采用动态规划的方法计算最优分割路径，得到字符识别结果；对于纯数字串的识别，对每个候选字符分割块，首先计算8方向梯度特征，并进行LDA降维，然后在降维后的特征矢量空间中，利用最近邻方法进行分类，得到每个候选字符的识别可信度，并代入到文本行识别的最优分割路径计算中；对于中文字符串的识别，对每个候选字符分割块，首先计算8方向梯度特征，并进行LDA降维；在降维后的特征矢量空间中，利用最近邻方法进行分类，得到每个候选字符的识别可信度，并将识别可信度与二元语言模型信息，以及相邻候选字符分割块的宽高比几何信息进行综合，并将综合后的识别可信度代入到文本行识别的最优分割路径计算中。
本发明与现有的票据图像计算机处理方法与技术相比，具有如下优点：
（1）利用高清摄像头进行票据图像的采集，系统结构简单，使用方便，硬件成本低。如果使用高速扫描仪，不仅成本高，操作也不够方便。
（2）由于采用了鲁棒的图像处理算法，包括图像二值化方法和基于Hough变换的直线检测与文本定位方法，系统能够较好地适应使用环境光照的变化，以及票据版面格式的一定调整，系统稳定性较好。
（3）针对票据图像的特点，由于采用了有效的字符分割与识别算法，配合本系统的高清摄像头，本系统可以获取清晰的票据图像，并进行票据的存储归档，字符识别精确较高。实验测试结果表明，本系统的字符识别率可以达到98%以上。
（4）本系统所提取的票据文本信息，与采集的票据图像进行了有效的关联，可以广泛应用于票据的计算机管理中，如票据的认证、票据的查询等，从而较好地解决了票据图像的自动化处理的需要。
附图说明
图1是本票据自动识别与处理系统的处理流程示意图。
图2是本票据自动识别与处理系统的图像处理与识别模块的流程图。
具体实施方式
下面结合附图对本发明作进一步具体地描述，但本发明的实施方式不限于此。
图1是本票据自动识别与处理系统的票据处理流程示意图。由图1可知，系统的处理流程为：用户启动本硬件和软件系统后，本系统处于等待状态，用户将平整发票放置于摄像头下方，由图像采集模块根据连续帧图像计算触发信号，并触发摄像头进行发票图像采集，并保存到PC电脑的指定目录。然后，系统进行票据图像的自动处理与识别，分别提取与识别增值税发票票据中的购销双方名称与纳税人识别号、商品信息（包括商品名称、计量单位、数量、金额、税额）、开票日期等票据信息，并完成票据图像的压缩保存，以及识别信息关联。根据系统生成的票据图像与识别信息数据，系统可以完成票据图像检索与归档自动化管理，并可以依据识别信息，实现与税务机关数据库中相关票据信息进行认证管理等。
图2为本票据自动识别与处理系统的图像处理与识别模块的流程图。由图2可知，图像处理与识别模块的流程图为：本系统的图像处理模块接收到发票票据票图像后，将依次对图像进行二值化处理、文本块检测与定位，并根据检测中确定的水平分割线倾角，对图像进行倾斜检测和校正。根据定位的文本块，系统将文本块分为单栏文本块和多栏文本块，分别进行精确定位与分割，从而得到待识别的票据信息文本行。然后依次进行基于投影分析的行字符分割、候选字符的可信度计算、最优分割路径的计算与字符识别。最后将识别信息与采集的票据图像进行有效关联与存储规定。
本发明实现一种基于OCR的票据自动识别与处理系统，利用高清摄像头和高性能电脑。
高清摄像头，实现发票图像的采集，并将图像传输到高性能电脑保存。用户只需将发票平整放置于摄像头下方，由图像采集模块触发摄像头进行发票图像采集，并保存到电脑的指定目录。
（1）图像采集模块
负责对高清摄像头进行触发控制，并将采集的票据图像传输到高性能电脑进行存储。触发信号根据高清摄像头采集的图像序列的帧间差进行计算。如果相邻帧间图像差小于一定阈值，且图像的前景像素点数所占比例大于预定值，则发送触发信号进行票据图像采集。
（2）快速图像二值化模块
对发票图像进行二值化。为了适应环境光照等带来的影响，这里采用基于最大类间方差方法以及局部分块的二值化方法。首先将图像进行灰度化，并等分为子区域，这里N的取值根据笔画宽度进行设定，然后在每个子区域中，利用最大类间方差方法确定图像二值化阈值T，并根据T进行图像二值化。若子区域内图像最大与最小灰度值差小于预设值，则置该子区域为背景。
（3）文本块检测与定位模块
根据增值税发票票据的版式，将待识别内容分为购方信息、销方信息、商品信息、开票日期等文本块，并利用基于直线检测的方法定位与分割出相应文本图像块。首先利用Hough变换直线检测方法检测倾角小于45°的横线，并根据检测的横线倾斜角度进行图像的倾斜校正。然后，分别取最长的前5条横线，并利用线间距的几何比例约束，定位出增值税发票的水平分割线。最后根据水平分隔线以及票据信息块的几何位置，定位出待识别的发票文本信息块。定位的文本信息块分为单栏文本块和多栏文本块，单栏文本块包括购方名称与纳税人识别号、销方名称与纳税人识别号、开票日期等；多栏文本块包括商品信息块（包括商品名称、计量单位、数量、金额、税额等栏）。如果文本块分割失败，则返回为无效票据。
（4）单栏文本块的精确定位模块
主要处理单栏文本块的精确定位，对每个单栏文本图像块，算法首先按行进行扫描，并计算每行的笔画穿越数，然后以笔画穿越数最大的行为起始行，分别向上下扫描，若存在连续K行的笔画穿越数小于预定阈值（K由实验确定），则认为为行边缘，从而定位一行文本。然后对剩余部分图像重复上述步骤，直到定位到所有文本行为止。最后利用同一文本块中文本行高近似相等的特性，剔除行高异常的行，从而精确定位每个单栏文本图像块中的待识别文本行。如果文本行分割失败，则返回为无效票据。
（5）多栏文本块的精确定位与分割模块
主要处理多栏文本块的精确定位，即商品信息图像块。首先利用基于Hough变换直线检测方法，定位图像块中的垂直分隔线，并利用分隔线间的几何比例约束条件，剔除无效的分隔线，从而定位出商品名称、计量单位、数量、金额、税额等栏对应的图像位置。最后根据每条商品信息图像位置满足水平对齐的特性，从而精确定位与分割出待识别的文本行图像。如果文本行分割失败，则返回为无效票据。
（6）文本识别模块
这里将文本行分为纯数字串（如纳税人识别号）和中文字符串两种，分别进行识别处理。文本行的识别过程为：首先进行基于垂直投影分析的行字符分割，然后采用动态规划的方法计算最优分割路径，得到字符识别结果。对于纯数字串的识别，对每个候选字符分割块，首先计算8方向梯度特征，并进行LDA降维，然后在降维后的特征矢量空间中，利用最近邻方法进行分类，得到每个候选字符的识别可信度，并代入到文本行识别的最优分割路径计算中。对于中文字符串的识别，对每个候选字符分割块，首先计算8方向梯度特征，并进行LDA降维。在降维后的特征矢量空间中，利用最近邻方法进行分类，得到每个候选字符的识别可信度，并将识别可信度与二元语言模型信息，以及相邻候选字符分割块的宽高比等几何信息进行综合，并将综合后的识别可信度代入到文本行识别的最优分割路径计算中。
（7）票据图像检索模块
通过将采集的票据图像与识别结果进行关联存储，完成票据图像数据中的检索，检索内容包括票据图像的购方信息、销方信息、商品信息、开票日期等。可以方便归档票据图像的检索。
上述实施例为本发明较佳的实施例子，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神与技术下所作的改变、修饰或替代，均应为等效的置换，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于OCR的票据自动识别与处理系统，其特征在于包括票据图像采集模块、快速图像二值化模块、文本块检测与定位模块、单栏文本块的精确定位模块、多栏文本块的精确定位与分割模块、文本识别模块和票据图像检索模块；图像采集模块采集发票票据图像后，快速图像二值化模块对图像进行二值化处理，文本块检测与定位模块进行文本块检测与定位，并根据检测中确定的水平分割线倾角，对图像进行倾斜检测和校正；根据定位的文本块，分别通过单栏文本块的精确定位模块、多栏文本块的精确定位与分割模块进行精确定位与分割，从而得到待识别的票据信息文本行；文本行识别模块将文本行分为纯数字串和中文字符串两种，分别进行识别处理；票据图像检索模块将采集的票据图像与识别结果进行关联存储，完成票据图像数据中的检索，检索内容包括票据图像的购方信息、销方信息、商品信息、开票日期；
用户启动系统后，本系统处于等待状态，用户将平整发票放置于摄像头下方，由图像采集模块根据连续帧图像计算触发信号，并触发摄像头进行发票图像采集，并保存到PC电脑的指定目录；然后，系统进行票据图像的自动处理与识别，分别提取与识别增值税发票票据中的购销双方名称与纳税人识别号、商品信息、开票日期信息，并完成票据图像的压缩保存，以及识别信息关联；根据生成的票据图像与识别信息数据，系统完成票据图像检索与归档自动化管理，并能依据识别信息，实现与税务机关数据库中相关票据信息进行认证管理。
2.根据权利要求1所述的基于OCR的票据自动识别与处理系统，其特征在于：还包括高清摄像头，实现发票图像的采集，并将图像传输到高性能电脑保存；用户只需将发票平整放置于摄像头下方，由图像采集模块触发摄像头进行发票图像采集，并保存到电脑的指定目录。
3.根据权利要求1所述的基于OCR的票据自动识别与处理系统，其特征在于：票据图像采集模块负责对高清摄像头进行触发控制，并将采集的票据图像传输到高性能电脑进行存储；触发信号根据高清摄像头采集的图像序列的帧间差进行计算；如果相邻帧间图像差小于设定阈值，且图像的前景像素点数所占比例大于预定值，则发送触发信号进行票据图像采集。
4.根据权利要求1所述的基于OCR的票据自动识别与处理系统，其特征在于：快速图像二值化模块对发票图像进行二值化，采用基于最大类间方差方法以及局部分块的二值化方法；首先将图像进行灰度化，并等分为N个子区域，这里N的取值根据笔画宽度进行设定，然后在每个子区域中，利用最大类间方差方法确定图像二值化阈值T，并根据T进行图像二值化；若子区域内图像最大与最小灰度值差小于预设值，则置该子区域为背景。
5.根据权利要求1所述的基于OCR的票据自动识别与处理系统，其特征在于：文本块检测与定位模块根据增值税发票票据的版式，将待识别内容分为购方信息、销方信息、商品信息、开票日期文本块，并利用基于直线检测的方法定位与分割出相应文本图像块；首先利用Hough变换直线检测方法检测倾角小于45°的横线，并根据检测的横线倾斜角度进行图像的倾斜校正；然后，分别取最长的前5条横线，并利用线间距的几何比例约束，定位出增值税发票的水平分割线；最后根据水平分隔线以及票据信息块的几何位置，定位出待识别的发票文本信息块；定位的文本信息块分为单栏文本块和多栏文本块，单栏文本块包括购方名称与纳税人识别号、销方名称与纳税人识别号、开票日期；多栏文本块包括商品信息块，商品信息块包括商品名称、计量单位、数量、金额、税额栏；如果文本块分割失败，则判断为无效票据。
6.根据权利要求1所述的基于OCR的票据自动识别与处理系统，其特征在于：单栏文本块的精确定位模块主要处理单栏文本块的精确定位，对每个单栏文本图像块，首先按行进行扫描，并计算每行的笔画穿越数，然后以笔画穿越数最大的行为起始行，分别向上下扫描，若存在连续K行的笔画穿越数小于预定阈值，则认为为行边缘，从而定位一行文本；然后对剩余部分图像重复上述步骤，直到定位到所有文本行为止；最后利用同一文本块中文本行高近似相等的特性，剔除行高异常的行，从而精确定位每个单栏文本图像块中的待识别文本行；如果文本行分割失败，则判断为无效票据；
多栏文本块的精确定位与分割模块主要处理多栏文本块的精确定位，即商品信息图像块；首先利用基于Hough变换直线检测方法，定位图像块中的垂直分隔线，并利用分隔线间的几何比例约束条件，剔除无效的分隔线，从而定位出商品名称、计量单位、数量、金额、税额栏对应的图像位置；最后根据每条商品信息图像位置满足水平对齐的特性，从而精确定位与分割出待识别的文本行图像；如果文本行分割失败，则判断为无效票据。
7.根据权利要求1所述的基于OCR的票据自动识别与处理系统，其特征在于：文本行识别模块将文本行分为纯数字串和中文字符串两种，分别进行识别处理；文本行的识别过程为：首先进行基于垂直投影分析的行字符分割，然后采用动态规划的方法计算最优分割路径，得到字符识别结果；对于纯数字串的识别，对每个候选字符分割块，首先计算8方向梯度特征，并进行LDA降维，然后在降维后的特征矢量空间中，利用最近邻方法进行分类，得到每个候选字符的识别可信度，并代入到文本行识别的最优分割路径计算中；对于中文字符串的识别，对每个候选字符分割块，首先计算8方向梯度特征，并进行LDA降维；在降维后的特征矢量空间中，利用最近邻方法进行分类，得到每个候选字符的识别可信度，并将识别可信度与二元语言模型信息，以及相邻候选字符分割块的宽高比几何信息进行综合，并将综合后的识别可信度代入到文本行识别的最优分割路径计算中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610070970.8A CN105528604B (zh) | 2016-01-31 | 2016-01-31 | 一种基于ocr的票据自动识别与处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610070970.8A CN105528604B (zh) | 2016-01-31 | 2016-01-31 | 一种基于ocr的票据自动识别与处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105528604A CN105528604A (zh) | 2016-04-27 |
| CN105528604B true CN105528604B (zh) | 2018-12-11 |
Family
ID=55770818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610070970.8A Expired - Fee Related CN105528604B (zh) | 2016-01-31 | 2016-01-31 | 一种基于ocr的票据自动识别与处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105528604B (zh) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485246B (zh) * | 2016-09-19 | 2019-07-16 | 北京小米移动软件有限公司 | 字符识别方法及装置 |
| CN106650714A (zh) * | 2016-10-08 | 2017-05-10 | 迪堡金融设备有限公司 | 一种纸钞的冠字号识别方法及其装置 |
| CN106485243B (zh) * | 2016-10-31 | 2019-10-22 | 用友网络科技股份有限公司 | 一种票据识别纠错方法及装置 |
| CN108242050A (zh) * | 2016-12-27 | 2018-07-03 | 航天信息股份有限公司 | 电子发票的处理方法及装置 |
| CN106886776A (zh) * | 2017-02-23 | 2017-06-23 | 山东浪潮云服务信息科技有限公司 | 一种利用图像识别实现证照电子化的应用模型 |
| CN107133571A (zh) * | 2017-04-11 | 2017-09-05 | 上海众开信息科技有限公司 | 一种将纸质发票自动生成财务报表的系统及方法 |
| CN107133618B (zh) * | 2017-04-24 | 2021-03-19 | 北京中安未来科技有限公司 | 电子证件识别触发方法及装置 |
| CN107169488A (zh) * | 2017-05-03 | 2017-09-15 | 四川长虹电器股份有限公司 | 一种票据扫描图像的矫正系统及矫正方法 |
| CN107194400B (zh) * | 2017-05-31 | 2019-12-20 | 北京天宇星空科技有限公司 | 一种财务报销全票据图片识别处理方法 |
| CN107392260B (zh) * | 2017-06-08 | 2020-03-17 | 中国民生银行股份有限公司 | 一种字符识别结果的错误标定方法和装置 |
| CN107679442A (zh) * | 2017-06-23 | 2018-02-09 | 平安科技（深圳）有限公司 | 单证信息录入的方法、装置、计算机设备及存储介质 |
| CN109299798A (zh) * | 2017-07-25 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 行程信息的处理方法、装置及电子设备 |
| CN109426814B (zh) * | 2017-08-22 | 2023-02-24 | 顺丰科技有限公司 | 一种发票图片特定板块的定位、识别方法、系统、设备 |
| CN107622266B (zh) * | 2017-09-21 | 2019-05-07 | 平安科技（深圳）有限公司 | 一种ocr识别的处理方法、存储介质和服务器 |
| CN107633239B (zh) * | 2017-10-18 | 2020-11-03 | 中电鸿信信息科技有限公司 | 基于深度学习和ocr的票据分类及票据字段提取方法 |
| CN109840520A (zh) * | 2017-11-24 | 2019-06-04 | 中国移动通信集团广东有限公司 | 一种发票关键信息识别方法及系统 |
| CN110109907B (zh) * | 2017-12-27 | 2021-08-24 | 航天信息股份有限公司 | 一种税务数据的存储、查询方法及装置 |
| CN109993619B (zh) * | 2017-12-29 | 2022-09-30 | 北京京东尚科信息技术有限公司 | 数据处理方法 |
| CN108446699A (zh) * | 2018-02-08 | 2018-08-24 | 东华大学 | 一种复杂场景下身份证图片信息识别系统 |
| CN108460418B (zh) * | 2018-03-07 | 2021-09-28 | 南京邮电大学 | 一种基于文字识别与语义分析的发票分类方法 |
| CN108460381B (zh) * | 2018-03-13 | 2022-06-10 | 南京邮电大学 | 基于图像识别的发票报销信息定位及截取方法 |
| CN108549890A (zh) * | 2018-03-22 | 2018-09-18 | 南京邮电大学 | 基于图像识别的发票倾斜检测及几何校正方法 |
| CN108549843A (zh) * | 2018-03-22 | 2018-09-18 | 南京邮电大学 | 一种基于图像处理的增值税发票识别方法 |
| CN108734849B (zh) * | 2018-04-25 | 2020-11-13 | 新浪网技术(中国)有限公司 | 一种自动化发票验真方法及系统 |
| CN110457973A (zh) * | 2018-05-07 | 2019-11-15 | 北京中海汇银财税服务有限公司 | 一种票据识别的方法及系统 |
| CN108717543B (zh) * | 2018-05-14 | 2022-01-14 | 北京市商汤科技开发有限公司 | 一种发票识别方法及装置、计算机存储介质 |
| CN109034159B (zh) * | 2018-05-28 | 2021-05-28 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
| CN109271910A (zh) * | 2018-09-04 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 一种文字识别、文字翻译方法和装置 |
| CN109544774A (zh) * | 2018-11-30 | 2019-03-29 | 上海贞众创空间管理有限公司 | 一种智能票据归档设备 |
| CN109726710A (zh) * | 2018-12-27 | 2019-05-07 | 平安科技（深圳）有限公司 | 发票信息采集方法、电子装置及可读存储介质 |
| CN110263239B (zh) * | 2019-05-31 | 2023-08-22 | 平安科技（深圳）有限公司 | 一种发票识别的方法、装置、存储介质及计算机设备 |
| CN110675270A (zh) * | 2019-09-05 | 2020-01-10 | 平安健康保险股份有限公司 | 基于发票信息的医保扣费金额的确定方法和装置 |
| CN110659607A (zh) * | 2019-09-23 | 2020-01-07 | 天津车之家数据信息技术有限公司 | 数据核对方法、装置、系统及计算设备 |
| CN110895690A (zh) * | 2019-10-11 | 2020-03-20 | 南京邮电大学 | 一种基于openCV形态学的发票定位方法 |
| CN113033562A (zh) * | 2019-12-25 | 2021-06-25 | 北大方正集团有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN111126319A (zh) * | 2019-12-27 | 2020-05-08 | 山东旗帜信息有限公司 | 一种发票识别方法及装置 |
| CN111209827B (zh) * | 2019-12-31 | 2023-07-14 | 中国南方电网有限责任公司 | 一种基于特征检测的ocr识别票据问题的方法及系统 |
| CN111209865A (zh) * | 2020-01-06 | 2020-05-29 | 中科鼎富（北京）科技发展有限公司 | 文件内容提取方法、装置、电子设备及存储介质 |
| US11570099B2 (en) | 2020-02-04 | 2023-01-31 | Bank Of America Corporation | System and method for autopartitioning and processing electronic resources |
| CN111444793A (zh) * | 2020-03-13 | 2020-07-24 | 安诚迈科(北京)信息技术有限公司 | 基于ocr的票据识别方法、设备、存储介质及装置 |
| CN111291741B (zh) * | 2020-05-13 | 2020-11-03 | 太平金融科技服务（上海）有限公司 | 单据识别方法、装置、计算机设备和存储介质 |
| CN112784014B (zh) * | 2021-01-15 | 2022-03-25 | 中国核动力研究设计院 | 一种基于多源异构系统的安全全文检索系统和方法 |
| CN112949450B (zh) * | 2021-02-25 | 2024-01-23 | 北京百度网讯科技有限公司 | 票据处理方法、装置、电子设备和存储介质 |
| CN112966583A (zh) * | 2021-02-26 | 2021-06-15 | 深圳壹账通智能科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112699860B (zh) * | 2021-03-24 | 2021-06-22 | 成都新希望金融信息有限公司 | 一种个税app操作视频中自动化提取和整理有效信息的方法 |
| CN113989485B (zh) * | 2021-11-29 | 2024-09-06 | 合肥高维数据技术有限公司 | 基于ocr识别的文本字符分割方法及系统 |
| CN114120322B (zh) * | 2022-01-26 | 2022-05-10 | 深圳爱莫科技有限公司 | 订单商品数量识别结果校正方法及处理设备 |
| CN114662462A (zh) * | 2022-03-10 | 2022-06-24 | 江西工程学院 | 一种会计数据处理方法及系统 |
| CN114550194B (zh) * | 2022-04-26 | 2022-08-19 | 北京北大软件工程股份有限公司 | 一种识别信访件的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101447017A (zh) * | 2008-11-27 | 2009-06-03 | 浙江工业大学 | 一种基于版面分析的选票快速识别统计方法及系统 |
| CN101751121A (zh) * | 2008-12-12 | 2010-06-23 | 汉王科技股份有限公司 | 基于ocr的无线扫描输入装置和方法 |
| CN104112128A (zh) * | 2014-06-19 | 2014-10-22 | 中国工商银行股份有限公司 | 应用于票据影像字符识别的数字图像处理系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1843276A1 (en) * | 2006-04-03 | 2007-10-10 | Océ-Technologies B.V. | Method for automated processing of hard copy text documents |
-
2016
- 2016-01-31 CN CN201610070970.8A patent/CN105528604B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101447017A (zh) * | 2008-11-27 | 2009-06-03 | 浙江工业大学 | 一种基于版面分析的选票快速识别统计方法及系统 |
| CN101751121A (zh) * | 2008-12-12 | 2010-06-23 | 汉王科技股份有限公司 | 基于ocr的无线扫描输入装置和方法 |
| CN104112128A (zh) * | 2014-06-19 | 2014-10-22 | 中国工商银行股份有限公司 | 应用于票据影像字符识别的数字图像处理系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于OCR快递单据识别的研究与实现;胡提坤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915(第09期);I138-821 * |
| 银行票据手写数字串识别的预处理与分割;刘培根;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第07期);I138-2179 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105528604A (zh) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105528604B (zh) | 一种基于ocr的票据自动识别与处理系统 | |
| US10943105B2 (en) | Document field detection and parsing | |
| CN108491799B (zh) | 一种基于图像识别的智能售货柜商品管理方法及系统 | |
| US8744196B2 (en) | Automatic recognition of images | |
| CN108717543B (zh) | 一种发票识别方法及装置、计算机存储介质 | |
| US9396404B2 (en) | Robust industrial optical character recognition | |
| CN103914680B (zh) | 一种喷印字符图像识别与校验系统及方法 | |
| CN104217203A (zh) | 复杂背景卡面信息识别方法及系统 | |
| US11436852B2 (en) | Document information extraction for computer manipulation | |
| CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
| CN111881923B (zh) | 一种基于特征匹配的票据要素提取方法 | |
| JP3078318B2 (ja) | 文書からの予め定められたデータを位置決定することおよび抽出することを含む文字認識方法および装置 | |
| Liu et al. | MRZ code extraction from visa and passport documents using convolutional neural networks | |
| CN116343237A (zh) | 基于深度学习和知识图谱的票据识别方法 | |
| CN106844767B (zh) | 格式文档关键信息块配准及提取的方法及装置 | |
| Guo et al. | A method of effective text extraction for complex video scene | |
| Tran et al. | A novel approach for text detection in images using structural features | |
| CN116363655A (zh) | 一种财务票据识别方法及系统 | |
| Shweka et al. | Automatic extraction of catalog data from digital images of historical manuscripts | |
| Ai et al. | Geometry preserving active polygon-incorporated sign detection algorithm | |
| Nehra et al. | Benchmarking of text segmentation in devnagari handwritten document | |
| Bogahawatte et al. | Online Digital Cheque Clearance and Verification System using Block Chain | |
| Hatami et al. | Iranian License Plate Recognition Using a Reliable Deep Learning Approach | |
| CN113469005B (zh) | 一种银行回单的识别方法、相关装置及存储介质 | |
| CN112818823B (zh) | 一种基于票据内容和位置信息的文本抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181211 |