CN106022246A - 一种基于差分的花纹背景印刷品文字提取系统和方法 - Google Patents

Abstract

本发明公开了一种基于差分的花纹背景印刷品文字提取系统和方法。该系统包括输入单元、处理单元和输出单元，输入单元用于获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像；处理单元包括文字图像提取模块和文字识别模块，文字图像提取模块对输入的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，文字识别模块采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；输出单元用于输出提取的文字信息。相比传统的文字提取系统，本发明系统可移植性强、扩展性好，且具有不受花纹背景影响和处理效率高的明显优点，具有很好的应用前景。

Description

一种基于差分的花纹背景印刷品文字提取系统和方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于差分的花纹背景印刷品文字提取系统和方法。

背景技术

随着计算机和互联网的广泛应用和飞速发展，人们在生产和生活中对大量的文字、报表和文本管理都越来越数字化，用计算机识别字符的研究已经成为一个热点。然而，目前对于含有花纹背景的印刷品中的文字如票据的数字化应用仍然以人工录入为主。这样的方法显然具有一定的局限性，工作重复简单但同时录入效率低。

OCR技术是光学字符识别的缩写(Optical Character Recognition)，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术，近些年得到了不断的发展并趋于成熟。但是，含有各类花纹背景的印刷品比较难直接使用成熟的OCR软件进行识别或是识别率比较低，大大限制了它的应用。

发明内容

本发明的目的在于针对现有技术的不足，提供一种应用范围广泛、可移植性强的基于差分的花纹背景印刷品文字提取系统和方法。

本发明的目的是通过以下技术方案来实现的：一种基于差分的花纹背景印刷品文字提取系统，包括输入单元、处理单元和输出单元，其中：

所述输入单元用于获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像，并将其传递给处理单元；

所述处理单元包括文字图像提取模块和文字识别模块，所述文字图像提取模块对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，所述文字识别模块采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；

所述输出单元用于输出提取的文字信息。

进一步地，所述处理单元中，所述基于差分的图像处理方法具体为：将带花纹背景且录有文字信息的印刷品图像和花纹模板图像进行对齐变换处理，然后将两张图像进行像素值的差分处理。

进一步地，所述对齐变换处理具体为：将带花纹背景且录有文字信息的印刷品图像和花纹模板图像进行图像匹配，并进行基于特征点的仿射变换。

进一步地，在对齐变换处理之前，对印刷品图像和花纹模板图像进行比例校正及颜色校正；所述比例校正用于修复梯形失真，校正图像的拍摄角度；所述颜色校正用于消除光照环境对图像颜色的影响。

进一步地，在差分处理后，对文字区域进行定位和标记，删除定位区域外的噪点，并对文字区域进行文字清晰化处理，对差分处理过程中导致的断续文字进行补全。可采用邻域法对断续文字进行补全。

进一步地，所述处理单元控制输入单元在数据库中获取花纹模板图像中各个区域的指定含义，或对带有说明文字的花纹模板图像进行图像处理及文字识别，以确定各个文字区域的指定含义，并将其与提取出带有区域标记的文字信息整合成带有说明标记的文字信息，传递到输出单元。

进一步地，所述的图像处理及文字识别具体为：提取出花纹模板图像中的说明文字，并对其进行文字识别，同时将其说明的区域与说明文字信息相对应。

进一步地，所述的输入单元与处理单元之间、处理单元与输出单元之间可部分或全部通过有线或无线方式进行连接，以保证数据的有效传输。

进一步地，所述的输入单元为至少一台具有图像获取功能的终端，包括但不局限于至少一台打印机、扫描仪、摄像机、照相机、网络摄像头、数字化图像设备、具有摄像功能的智能终端。

进一步地，所述的印刷品包括票据、报刊、书籍、文稿等。

进一步地，所述的处理单元为至少一台具有视频图像处理和信息分析能力的终端，包括数字芯片、智能终端等。所述的智能终端是指能够捕获外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的设备，包括但不限于台式电脑、笔记本电脑、移动智能终端。所述的移动智能终端是便携式的智能终端，包括但不限于各种智能手机、平板电脑(如iPad等)、掌上电脑、智能掌上游戏机。所述的数字芯片指经过设计，采用集成电子工艺，能够进行计算、分析和处理的芯片，并能够通过扩展控制其他设备，包括但不限于单片机，ARM，DSP，FPGA等。

进一步地，所述的输出单元是能输出文字信息的设备，输出形式包括但不局限于文字、数据流等。所述的输出单元包括但不局限于存储单元、显示器、打印机、智能终端以及它们的任意组合。不同的输出端之间相互独立，互不影响。

本发明还提供一种基于差分的花纹背景印刷品文字提取方法，包括以下步骤：

(1)图像获取：输入单元获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像，再将其传递给处理单元；

(2)文字提取：处理单元对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，对差分处理过程中导致的断续文字进行补全，再采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；

(3)数据输出：将获得的文字信息传递给输出单元输出。

进一步地，所述的步骤(1)中，无文字录入的花纹模板图像可以通过图像采集获得也可以从数据库终端直接获取。

进一步地，所述的步骤(2)中，当接收到图像信息，处理单元对图像信息加以融合处理，对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像先进行图像校正处理，再进行匹配变换和差分处理、文本定位、文字清晰化等图像处理操作，生成没有花纹背景的文字图像，然后采用文字识别技术进行识别提取出带有区域标记的文字信息。

本发明的有益效果是：

1、本发明系统及方法可以在花纹背景存在的条件下对印刷品中的文字进行提取，采用差分的方法简化了文字提取的过程，使得基于同一花纹背景模板的多张文字印刷品在获取该花纹背景模板后都可以进行文字提取，不受花纹背景影响，提高了文字识别技术的适用范围，一方面大大提高了处理效率，另一方面也一定程度的降低了人工成本。

2、本发明系统及方法通过文本定位以得到带有区域标记的文字信息，并结合各个区域的指定含义，可以自动导出带有说明标记的文字信息，达到对所提取的文字信息进行自动分类的目的，提高了工作效率。

3、本发明文字提取系统的所有单元可以集成在一个移动智能终端上，因此有很高的可移植性。

附图说明

图1为本发明的系统组成图。

图2为本发明的方法流程图。

图3为本发明中图像获取的流程图。

图4为本发明中文字提取的流程图。

图5为本发明中文字提取的示意图。

图6为本发明中初始信号转化为目标信息的信息传递图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明提供的一种基于差分的花纹背景印刷品文字提取系统，包括输入单元、处理单元和输出单元，其中：

所述的输入单元用于获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像，并将其传递给处理单元；

所述的处理单元包括文字图像提取模块和文字识别模块，所述文字图像提取模块对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，所述文字识别模块采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；

所述的输出单元用于输出提取的文字信息。

具体地，所述的输入单元与处理单元之间、处理单元与输出单元之间可部分或全部通过有线或无线方式进行连接，以保证数据的有效传输。

具体地，本发明的基于差分的花纹背景印刷品文字提取系统可以仅是一台具有摄像功能的台式电脑，或者一台具有摄像功能的笔记本电脑，或者一个具有摄像功能的移动智能终端。此时，设备的摄像头作为系统的输入单元，处理内核作为系统的处理单元，显示屏或存储单元作为系统的输出单元。本发明的基于差分的花纹背景印刷品文字提取系统也可以是具有摄像功能的台式电脑、笔记本电脑或移动智能终端的组合，例如，具有摄像功能的移动智能终端作为输入单元，笔记本电脑处理内核和显示屏分别作为处理单元和输出单元；再如台式电脑摄像头和处理内核作为输入单元和处理单元，移动智能终端显示屏作为输出单元，等等。

如图2所示，本发明提供的一种基于差分的花纹背景印刷品文字提取方法，包括以下步骤：

(1)图像获取：输入单元获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像，再将其传递给处理单元；

(2)文字提取：处理单元对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，对差分处理过程中导致的断续文字进行补全，再采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；

(3)数据输出：将获得的文字信息传递给输出单元输出，或进一步自动录入到Exce表格或数据库或数据仓库。

实施例1

下面以用一个由扫描仪和计算机组成的系统进行同一花纹背景模板的多张票据的文字提取为例，具体说明基于差分的花纹背景印刷品文字提取系统，该系统包括输入单元、处理单元和输出单元。

所述输入单元即扫描仪用于获取带花纹背景且录有文字信息的票据图像及无文字录入的花纹模板票据图像，并将其传递给处理单元；

所述处理单元即计算机包括文字图像提取模块和文字识别模块，所述文字图像提取模块对输入的带花纹背景且录有文字信息的票据图像和花纹模板票据图像采用基于差分的图像处理方法进行处理生成没有花纹背景的票据文字图像，所述文字识别模块采用文字识别技术对得到的票据文字图像进行识别提取出带有区域标记的票据文字信息；

所述输出单元即计算机显示屏或票据信息数据库用于输出提取的票据文字信息。

系统的具体工作步骤如下：

(1)图像获取：扫描仪先进行花纹模板票据的扫描，再进行基于此模板的多张录有文字信息票据的扫描。扫描结束后，扫描仪将图像传递给计算机；

(2)票据文字提取：当接收票据的图像信息以后，计算机的文字图像提取模块对图像信息加以融合处理，对输入的带花纹背景且录有文字信息的票据图像和花纹模板票据图像先进行图像校正处理，再进行匹配变换和差分处理、文本定位、文字清晰化等图像处理操作，生成没有花纹背景的带有区域标记的票据文字图像。而后，计算机的文字识别模块采用文字识别技术进行识别提取出带有区域标记的票据文字信息。具体地，所述文字图像提取模块首先分别对对输入的带花纹背景且录有文字信息的票据图像和花纹模板票据图像进行比例校正、颜色校正等处理消除拍摄角度和光线对图像的影响，再分别对两张图像进行图像匹配，根据匹配特征对带花纹背景且录有文字信息的票据图像进行仿射变换以进行花纹背景的差分对消，接着对文字区域进行定位和标记，删除定位区域外的噪点，并对文字区域进行文字清晰化处理，对差分处理过程中丢失的文字信息进行补全，生成没有花纹背景的带有区域标记的票据文字图像。所述文字识别模块采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的票据文字信息。进一步地，处理单元控制输入单元在数据库中获取花纹模板票据图像中各个区域的指定含义，或对带有说明文字的花纹模板票据图像进行图像处理及文字识别，以确定各个文字区域的指定含义，并将其与提取出带有区域标记的文字信息整合成带有说明标记的票据文字信息，传递到输出单元。所述的图像处理及文字识别具体为：提取出花纹模板票据图像中的说明文字，并对其进行文字识别，同时将其说明的区域与说明文字信息相对应。

(3)数据输出：将获得的票据文字信息传递到计算机显示屏输出，或发送到票据信息数据库进行查询或录入。

实施例2

下面以用一台具有摄像功能的智能手机提取票据中的文字信息为例，具体说明基于差分的花纹背景印刷品文字提取方法，该方法包括以下步骤：

(1)图像获取：输入单元在处理单元的控制下获取带花纹背景且录有文字信息的票据图像及无文字录入的花纹模板票据图像，并将其传递给处理单元；

具体地，智能手机直接从数据库终端获取无文字录入的花纹模板票据图像，再控制手机摄像头进行基于此模板的多张有文字信息票据的图像获取。获取结束后，处理单元直接获得票据图像信息。

(2)票据文字提取：处理单元对输入的带花纹背景且录有文字信息的票据图像和花纹模板票据图像采用基于差分的图像处理方法进行处理生成没有花纹背景的票据文字图像，再采用文字识别技术对得到的票据文字图像进行识别提取出带有区域标记的票据文字信息；

具体地，当接收票据的图像信息以后，智能手机处理单元具体地，当接收票据的图像信息以后，计算机对图像信息加以融合处理，对输入的带花纹背景且录有文字信息的票据图像和花纹模板票据图像先进行图像校正处理，再进行匹配变换和差分处理、文本定位、文字清晰化等图像处理操作，生成没有花纹背景的票据文字图像，然后采用文字识别技术进行识别提取出带有区域标记的票据文字信息。更具体地，处理单元首先分别对对输入的带花纹背景且录有文字信息的票据图像和花纹模板票据图像进行比例校正、颜色校正等处理消除拍摄角度和光线对图像的影响，再分别对两张图像进行图像匹配，根据匹配特征对带花纹背景且录有文字信息的票据图像进行仿射变换以进行花纹背景的差分对消，接着对文字区域进行定位和标记，删除定位区域外的噪点，并对文字区域进行文字清晰化处理，对差分处理过程中丢失的文字信息进行补全，生成没有花纹背景的票据文字图像，然后采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的票据文字信息。进一步地，处理单元控制输入单元在数据库中获取花纹模板票据图像中各个区域的指定含义，或对带有说明文字的花纹模板票据图像进行图像处理及文字识别，以确定各个文字区域的指定含义，并将其与提取出带有区域标记的文字信息整合成带有说明标记的票据文字信息，传递到输出单元。所述的图像处理及文字识别具体为：提取出花纹模板票据图像中的说明文字，并对其进行文字识别，同时将其说明的区域与说明文字信息相对应。

(3)数据输出：将获得的票据文字信息传递到智能手机显示屏输出，或发送到票据信息数据库进行查询或录入。

在上述实施例中，步骤(1)的流程图如图3所示，步骤(2)的流程图如图4所示，步骤(2)的示意图如图5所示。

整个方法过程中，信息量的转化关系如图6所示，最终从原始票据图像中提取出票据的文字信息，或进一步自动录入到Exce表格或数据库或数据仓库。

对本领域的技术人员来说应理解，根据设计要求和其他因素可以进行各种修改、组合、自组合和变化，只要它们都落于所附权利要求及其等效方案所限定的范围内。

Claims (9)

1.一种基于差分的花纹背景印刷品文字提取系统，包括输入单元、处理单元和输出单元，其中：

所述输入单元用于获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像，并将其传递给处理单元；

所述处理单元包括文字图像提取模块和文字识别模块，所述文字图像提取模块对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，所述文字识别模块采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；

所述输出单元用于输出提取的文字信息。

2.根据权利要求1所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：所述处理单元中，所述基于差分的图像处理方法具体为：将带花纹背景且录有文字信息的印刷品图像和花纹模板图像进行对齐变换处理，然后将两张图像进行像素值的差分处理。

3.根据权利要求2所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：所述对齐变换处理具体为：将带花纹背景且录有文字信息的印刷品图像和花纹模板图像进行图像匹配，并进行基于特征点的仿射变换。

4.根据权利要求2所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：在对齐变换处理之前，对印刷品图像和花纹模板图像进行比例校正及颜色校正；所述比例校正用于修复梯形失真，校正图像的拍摄角度；所述颜色校正用于消除光照环境对图像颜色的影响。

5.根据权利要求2所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：在差分处理后，对文字区域进行定位和标记，删除定位区域外的噪点，并对文字区域进行文字清晰化处理，对差分处理过程中导致的断续文字进行补全。

6.根据权利要求5所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：采用邻域法对断续文字进行补全。

7.根据权利要求1所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：所述处理单元控制输入单元在数据库中获取花纹模板图像中各个区域的指定含义，或对带有说明文字的花纹模板图像进行图像处理及文字识别，以确定各个文字区域的指定含义，并将其与提取出带有区域标记的文字信息整合成带有说明标记的文字信息，传递到输出单元。

8.根据权利要求7所述的基于差分的花纹背景印刷品文字提取系统，其特征在于：所述的图像处理及文字识别具体为：提取出花纹模板图像中的说明文字，并对其进行文字识别，同时将其说明的区域与说明文字信息相对应。

9.一种基于差分的花纹背景印刷品文字提取方法，其特征在于，包括以下步骤：

(1)图像获取：输入单元获取带花纹背景且录有文字信息的印刷品图像及无文字录入的花纹模板图像，再将其传递给处理单元；

(2)文字提取：处理单元对输入的带花纹背景且录有文字信息的印刷品图像和花纹模板图像采用基于差分的图像处理方法进行处理生成没有花纹背景的文字图像，对差分处理过程中导致的断续文字进行补全，再采用文字识别技术对得到的文字图像进行识别提取出带有区域标记的文字信息；

(3)数据输出：将获得的文字信息传递给输出单元输出，或进一步自动录入到Exce表格或数据库或数据仓库。