CN106228157B - 基于图像识别技术的彩色图像文字段落分割与识别方法 - Google Patents

Abstract

本发明公开了基于图像识别技术的彩色图像文字段落分割与识别方法，包括对原图像进行清晰度处理，提取图像的全部轮廓和全部轮廓的位置；从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，将外接矩形保存到矩形集合VECTOR；提取原图像中每个字体轮廓相应通道分量，分析并提取每个字体轮廓颜色；矩形集合VECTOR中外接矩形在水平方向和垂直方向组合生长，得到已段落分割的字体轮廓；通过OCR识别引擎生成文字字符；本发明快速识别图像中主要字体轮廓，准确提取彩色图像的文字数据，保留图像中关键文字数据，解决海量图片数据存储的压力的问题，解决因图像丢失而丢失图像内宝贵文字数据的问题，并为大数据分析提供基础数据。

Description

基于图像识别技术的彩色图像文字段落分割与识别方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于图像识别技术的彩色图像文字段落分割与识别方法。

背景技术

从人们最开始提出相应的概念到现在，OCR(Optical Character Recognition，光学字符识别)技术经历了近一个世纪的发展，现在，对于背景简单的文本，可高效准确的将其转化成可为计算机读懂的电子文本。随着技术发展的越来越成熟，应用面越来越广，市场需求越来越大，各种文字识别的软件和工具相继推出。然而，经典的文字识别技术只针对通过扫描得到的背景简单、分辨率和对比度高的图像有理想的识别率。但是，现实生活中有很多带有文字的场景，比如票据图像、证件图像、饭店菜单图像、产品传单图像、路牌、车站牌、店名、商品简介等,想要获得这些处于自然场景中的文字,依靠扫描的方式显然并不太实际，而且大量图片数据的存储占用很大的存储空间，图像内的宝贵数据因为图像的丢失而丢失等缺陷需要人们使用文字提取技术来解决这一问题。目前,虽然有很多针对自然场景中文本识别的研究，但其结果并不如人们期望中的理想。 一般通过拍摄设备获得的图片分为带有自然场景的图片和纯文字图片。由于自然场景的复杂性，造成了处于其中的文字背景相当复杂，还由于拍摄地点、拍摄角度和光线强弱等各种原因造成的文字的字体、大小、对比度以及亮度等不均匀,增大了定位文本区域的难度，直接影响了文字区域定位的准确性和字符识别的结果的准确性；因此研究日常生活中所遇到的复杂背景下彩色图像中文字的准确的提取与准确的识别，有着重要的意义。

然而，在文字识别领域如何准确快速提取到彩色图像中的文字字段还有待进一步研究开发，现有技术中还有部分涉及这方面的技术领域，但是都存在一定不足，例如，对于有些字体的提取技术，虽然能获取到图像中文字字段，但并不准确；在字体组合技术方面，现有技术大多只考虑位置关系而忽略了字体其他信息，如颜色等，只考虑文字的位置从而无法排除背景颜色对文字的干扰作用，准确性还会降低。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于图像识别技术的彩色图像文字段落分割与识别方法，本发明基于图像识别技术的彩色图像文字段落分割与识别方法能快速识别图像中主要的文字轮廓，通过字体轮廓的位置和颜色从而准确的提取彩色图像中的文字数据，将提取的文字数据保存起来，解决了海量图片数据存储的压力的问题，以及解决了因为图像的丢失而丢失图像内的宝贵文字数据的问题。

为实现上述技术目的，本发明采取的技术方案为：

基于图像识别技术的彩色图像文字段落分割与识别方法，包括：

对原图像进行清晰度分析处理，提取图像的全部轮廓和全部轮廓所在的位置；

从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，将每个字体轮廓的外接矩形，保存到矩形集合VECTOR中；

通过原图像的颜色通道提取每个字体轮廓的相应通道分量，分析并提取每个字体轮廓的颜色；

矩形集合VECTOR中的外接矩形根据字体轮廓的位置和字体轮廓的颜色在水平方向和垂直方向进行组合生长，得到已经段落分割的字体轮廓；

通过OCR识别引擎，将已经段落分割的字体轮廓生成文字字符。

作为本发明进一步改进的技术方案，所述对原图像进行清晰度分析处理，包括：

对原图像进行清晰度检测并计算原图像的清晰度，设定清晰度过高阈值与清晰度过低阈值；

将原图像的清晰度分别与清晰度过高阈值和清晰度过低阈值进行比较从而实现对原图像进行中值滤波或增强处理；

通过图像的亮度水平，确定图像二值化的阈值，对图像进行自适应二值化。

作为本发明进一步改进的技术方案，所述从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，包括：

计算经过清晰度分析处理的图像的全部轮廓的外接矩形，设定外接矩形的长最大阈值和外接矩形的长最小阈值，设定外接矩形的宽最大阈值和外接矩形的宽最小阈值；

从图像的全部轮廓的外接矩形中提取符合外接矩形的长的范围在外接矩形的长最大阈值和外接矩形的长最小阈值之间且外接矩形的宽的范围在外接矩形的宽最大阈值和外接矩形的宽最小阈值之间的字体轮廓的外接矩形。

作为本发明进一步改进的技术方案，所述通过原图像的颜色通道提取每个字体轮廓的相应通道分量，包括：

从原图像的HSV颜色通道与RGB颜色通道来提取每个字体轮廓的相应通道分量，根据HSV颜色通道的分量和RGB颜色通道的分量分析每个字体轮廓的相应通道分量从而提取每个字体轮廓的颜色。

作为本发明进一步改进的技术方案，所述矩形集合VECTOR中的外接矩形根据字体轮廓的位置和字体轮廓的颜色在水平方向和垂直方向进行组合生长，包括：

设置一个外接矩形为种子点；获取矩形集合VECTOR的外接矩形中与种子点在同一水平方向上的全部外接矩形子集合，在外接矩形子集合中，以种子点为起点根据水平方向生长的准则进行组合生长，生长后，以组合后的外接矩形为新的种子点；

获取矩形集合VECTOR的外接矩形中与新的种子点在同一垂直方向上的全部新的外接矩形子集合，在新的外接矩形子集合中，以新的种子点为起点根据垂直方向生长的准则进行组合生长，生长后，以组合后的新的外接矩形为最新的种子点，最新的种子点即为已经段落分割的字体轮廓。

作为本发明进一步改进的技术方案，所述水平方向生长的准则包括：选取外接矩形子集合中与种子点所在位置的高度相同的外接矩形且字体轮廓颜色相同的外接矩形，进行组合生长；所述垂直方向生长的准则包括：选取新的外接矩形子集合中与新的种子点所在位置的宽度相同的外接矩形且字体轮廓颜色相同的外接矩形，进行组合生长。

本发明对彩色图像内的文本数据进行数字化，快速识别图像内主要的文字，提取图像中的文字数据；图像中的文字数据的提取技术为图像进行快速文字标注提供基础，为图像的检索、分类提供文字重要信息；中文文字字符是图像中最重要的信息，通过存储图像中的文字数据从而解决了海量图像数据存储的压力、图像内包含的宝贵文字数据丢失等问题，快速对图像进行分解，分割出图像中最关键的文字段落部分，提取出图像中的文字数据，保存数据为后面的大数据分析提供海量数据；只提取字体轮廓部分的颜色，排除背景颜色的干扰，通过字体轮廓的位置和颜色来对字体轮廓进行组合，组合后获得的已经段落分割的字体轮廓的准确率较高。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面根据图1对本发明的具体实施方式作出进一步说明：

本发明的实施例通过HSV颜色通道与RGB颜色通道来提取每个字体轮廓的相应通道分量从而提取字体轮廓的颜色，排除了背景颜色的干扰；从水平方向和垂直方向对字体轮廓的外接矩形进行组合，外接矩形内包括字体轮廓，所以字体轮廓的位置相当于字体轮廓的外接矩形的位置，对外接矩形的组合相当于对文字轮廓的组合，从单一的字体轮廓组合成一个个段落，在组合过程中考虑到了字体轮廓的位置和字体轮廓的颜色。

参见图1，基于图像识别技术的彩色图像文字段落分割与识别方法，具体包括下列内容：对原图像进行清晰度分析处理，提取图像的全部轮廓和全部轮廓所在的位置；从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，将每个字体轮廓的外接矩形，保存到矩形集合VECTOR中；对原图像中的每个字体轮廓，通过原图像的颜色通道提取每个字体轮廓的相应通道分量，分析并提取每个字体轮廓的颜色；矩形集合VECTOR中的外接矩形根据字体轮廓的位置和字体轮廓的颜色在水平方向和垂直方向进行组合生长，得到已经段落分割的字体轮廓；通过OCR识别引擎，将已经段落分割的字体轮廓生成文字字符，将文字字符保存起来。

进一步地，对原图像进行清晰度分析处理，包括：对原图像进行清晰度检测并计算原图像的清晰度V，设定清晰度过高阈值Q1与清晰度过低阈值Q2；将原图像的清晰度V分别与清晰度过高阈值Q1和清晰度过低阈值Q2进行比较，当原图像的清晰度V大于清晰度过高阈值Q1时，对原图像进行中值滤波，当原图像的清晰度V小于清晰度过低阈值Q2时，对原图像进行增强处理，提高了原图像的清晰度；通过清晰度处理后的图像的亮度水平，确定图像二值化的阈值，对图像进行自适应二值化。最后提取自适应二值化后的图像的全部轮廓和全部轮廓所在的位置等形状信息。

进一步地，所述从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，包括：

计算经过清晰度分析处理的图像的全部轮廓的外接矩形，根据字体轮廓的长和宽，设定外接矩形的长最大阈值H1和外接矩形的长最小阈值H2，设定外接矩形的宽最大阈值W1和外接矩形的宽最小阈值W2；从图像的全部轮廓的外接矩形中提取符合外接矩形的长的范围在外接矩形的长最大阈值H1和外接矩形的长最小阈值H2之间且外接矩形的宽的范围在外接矩形的宽最大阈值W1和外接矩形的宽最小阈值W2之间的外接矩形，此外接矩形为字体轮廓的外接矩形。自适应二值化后的图像的全部轮廓的位置已提取出来，图像的全部轮廓的位置包括字体轮廓的位置和字体轮廓外接矩形的位置，因此字体轮廓的位置和字体轮廓外接矩形的位置也提取出来。

进一步地，所述通过原图像的颜色通道提取每个字体轮廓的相应通道分量，包括：

从原图像的HSV颜色通道与RGB颜色通道来提取每个字体轮廓的相应通道分量，根据HSV颜色通道的分量和RGB颜色通道的分量综合分析每个字体轮廓的相应通道分量从而提取每个字体轮廓的颜色，并标注每个字体轮廓的颜色。其中原图像的每个字体轮廓的位置是通过上述自适应二值化后的图像中所提取的字体轮廓的位置来对应判断出来的。

进一步地，所述矩形集合VECTOR中的外接矩形根据字体轮廓的位置和字体轮廓的颜色在水平方向和垂直方向进行组合生长，包括：设置矩形集合VECTOR中一个外接矩形为种子点；获取矩形集合VECTOR的外接矩形中与种子点在同一水平方向上的全部外接矩形子集合，在外接矩形子集合中，以种子点为起点根据水平方向生长的准则进行组合生长，生长后，以组合后的外接矩形为新的种子点；获取矩形集合VECTOR的外接矩形中与新的种子点在同一垂直方向上的全部新的外接矩形子集合，在新的外接矩形子集合中，以新的种子点为起点根据垂直方向生长的准则进行组合生长，生长后，以组合后的新的外接矩形为最新的种子点，因为字体轮廓的外接矩形内包含字体轮廓，所以最新的种子点即为已经段落分割的字体轮廓。

进一步地，所述水平方向生长的准则包括：选取外接矩形子集合中与种子点所在位置的高度相同的外接矩形且字体轮廓颜色相同的外接矩形，然后进行组合生长；所述垂直方向生长的准则包括：选取新的外接矩形子集合中与新的种子点所在位置的宽度相同的外接矩形且字体轮廓颜色相同的外接矩形，进行组合生长。最终得到已经段落分割的外接矩形，因为字体轮廓的外接矩形包含字体轮廓即每个外接矩形与每个字体轮廓均一一对应，因此得到已经段落分割的字体轮廓；其中外接矩形的高度和宽度通过字体轮廓的外接矩形的位置判断，其中字体轮廓颜色通过原图像的颜色通道分析出来，每个字体轮廓都有自己的外接矩形，外接矩形内包含字体轮廓，因此选取字体轮廓颜色相同的外接矩形也非常容易；最后通过OCR识别引擎，将已经段落分割的字体轮廓生成文字字符，将文字字符保存起来。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (4)

1.一种基于图像识别技术的彩色图像文字段落分割与识别方法，其特征在于，包括：

对原图像进行清晰度分析处理，提取图像的全部轮廓和全部轮廓所在的位置；

从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，将每个字体轮廓的外接矩形，保存到矩形集合VECTOR中；

通过原图像的颜色通道提取每个字体轮廓的相应通道分量，分析并提取每个字体轮廓的颜色；

矩形集合VECTOR中的外接矩形根据字体轮廓的位置和字体轮廓的颜色在水平方向和垂直方向进行组合生长，得到已经段落分割的字体轮廓；

通过OCR识别引擎，将已经段落分割的字体轮廓生成文字字符；

所述矩形集合VECTOR中的外接矩形根据字体轮廓的位置和字体轮廓的颜色在水平方向和垂直方向进行组合生长，包括：

设置一个外接矩形为种子点；获取矩形集合VECTOR的外接矩形中与种子点在同一水平方向上的全部外接矩形子集合，在外接矩形子集合中，以种子点为起点根据水平方向生长的准则进行组合生长，生长后，以组合后的外接矩形为新的种子点；

获取矩形集合VECTOR的外接矩形中与新的种子点在同一垂直方向上的全部新的外接矩形子集合，在新的外接矩形子集合中，以新的种子点为起点根据垂直方向生长的准则进行组合生长，生长后，以组合后的新的外接矩形为最新的种子点，最新的种子点即为已经段落分割的字体轮廓；

所述水平方向生长的准则包括：选取外接矩形子集合中与种子点所在位置的高度相同的外接矩形且字体轮廓颜色相同的外接矩形，进行组合生长；所述垂直方向生长的准则包括：选取新的外接矩形子集合中与新的种子点所在位置的宽度相同的外接矩形且字体轮廓颜色相同的外接矩形，进行组合生长。

2.根据权利要求1所述的基于图像识别技术的彩色图像文字段落分割与识别方法，其特征在于，所述对原图像进行清晰度分析处理，包括：

对原图像进行清晰度检测并计算原图像的清晰度，设定清晰度过高阈值与清晰度过低阈值；

将原图像的清晰度分别与清晰度过高阈值和清晰度过低阈值进行比较从而实现对原图像进行中值滤波或增强处理；

通过图像的亮度水平，确定图像二值化的阈值，对图像进行自适应二值化。

3.根据权利要求1所述的基于图像识别技术的彩色图像文字段落分割与识别方法，其特征在于，所述从图像的全部轮廓中计算并提取符合字体轮廓的外接矩形，包括：

计算经过清晰度分析处理的图像的全部轮廓的外接矩形，设定外接矩形的长最大阈值和外接矩形的长最小阈值，设定外接矩形的宽最大阈值和外接矩形的宽最小阈值；

从图像的全部轮廓的外接矩形中提取符合外接矩形的长的范围在外接矩形的长最大阈值和外接矩形的长最小阈值之间且外接矩形的宽的范围在外接矩形的宽最大阈值和外接矩形的宽最小阈值之间的字体轮廓的外接矩形。

4.根据权利要求1所述的基于图像识别技术的彩色图像文字段落分割与识别方法，其特征在于，所述通过原图像的颜色通道提取每个字体轮廓的相应通道分量，包括：

从原图像的HSV颜色通道与RGB颜色通道来提取每个字体轮廓的相应通道分量，根据HSV颜色通道的分量和RGB颜色通道的分量分析每个字体轮廓的相应通道分量从而提取每个字体轮廓的颜色。