CN103971376A - 应用程序执行方法和装置 - Google Patents

Abstract

本发明提供了一种应用程序执行方法和装置，用于在图像中执行字符定位和提取，该方法包括：将待处理图像进行模糊处理和边缘检测，得到边缘图像；对边缘图像进行形态学处理；进行边缘跟踪和扫描处理；利用字符约束条件进行连通域分析，输出结果图像。本发明较好的消除了背景的干扰，对环境的适应性大大增强，减少了计算量，提高了方法的计算速度。

Description

应用程序执行方法和装置

技术领域

本发明涉及图像处理，特别涉及一种嵌入式系统的图像识别。

背景技术

图像识别是智能交通系统(ITS)的核心组成部分，用于在嵌入式监控系统中从拍摄的车辆图像中全自动化定位车辆信息，包括车牌图像，车型识别，事故鉴定，使得车辆的电脑化监控和管理成为现实。近年来，很多研究人员一直致力于开发自适应的交通领域图像识别方法，主要包括神经网络、形态学分析、阈值分割、模板匹配等算法。其中，对于牌号字符提取技术，目前大致可分为以下三类:基于区域的数字定位方法，基于纹理的方法，和基于边缘的方法。

然而上述单一方法在智能交通应用中暴露出很多不足，包括各种复杂环境背景下字符提取准确率有待提高，不同角度中识别正确性不稳定，并且离实时性应用相差甚远。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种应用程序执行方法，用于在图像中执行字符定位和提取，包括：

步骤一，首先将待处理图像进行模糊处理和边缘检测，得到边缘图像；

步骤二，对边缘图像进行形态学处理，得到去背景图像；

步骤三，对去背景图像进行边缘跟踪和扫描处理，得到扫描后的字符边缘图像；

步骤四，利用字符约束条件对扫描后的边缘图像进行连通域分析，得到结果图像；

步骤五，将结果图像进行输出。

优选地，所述步骤一的模糊处理采用连续模糊方法用于滤除图像中的噪点，即第n步卷积运算在第n-1步卷积运算的结果上直接进行；

所述边缘检测在模糊处理之后执行，计算边缘图像EdgeMap(x，y)的公式为：

EdgeMap(x，y)＝MAX(SH，SV，SRD，SLD)

其中SH，SV，SLD和SRD为水平、垂直、左斜和右斜4个方向的经由拉普拉斯算子得到灰度图像的边缘图。

优选地，所述步骤二基于形态学运算检测二值边缘密度图像上的矩形区域即字符区域，通过选择线性结构元素数目和相位来保留图像细节，所采用的线性结构元素包括四个相位：0°，45°，90°，135°，所述形态学处理的运算过程进一步包括:

2.1对二值化的边缘密度图像做7个像素宽度的水平闭运算，

2.2连接字符笔画形成矩形区域得到图像P’，

2.3做15个像素宽度的水平开运算，对图像P’依次进行四个相位的滤波，包括：

2.3.1当相位＝0°时，对图像P’滤波得到图像P0；

2.3.2当相位＝45°时，对图像P0滤波得到图像P45；

2.3.3当相位＝90°时，对图像P45滤波得到图像P90；

2.3.4当相位＝135°时，对图像P90滤波得到图像P135；

2.4从所述边缘图像中减去图像P135得到残差图像D：D＝P-P135；

2.5对残差图像D作膨胀运算和腐蚀运算，运算后留下部分规则的矩形区域，即去背景图像。

优选地，所述步骤三利用边缘跟踪算法来逐个跟踪每条边缘，应用投影法删除规则的长直边缘，并根据边缘水平或垂直的长度、所占的面积来删除不规则的非字符长边缘，以删除掉更多的非字符边缘，该步骤进一步包括：

首先将去背景图像即执行步骤二得到的图像扩充L个像素的大小，扩充的图像空间以白色像素点填充；

对原始边缘图像进行同心正方形窗口扫描；

在边缘扫描时，把扫描的起点分别向右和向下移动L/2个像素，

根据一个以上的L值对图像进行多级扫描；

如果图像某边缘的一部分在扫描后被删除，则表示该边缘不是字符边缘，因此得到字符边缘图像。

优选地，所述步骤四是基于文本特征引入多个不等式约束条件进行连通域的字符判别，如果连通域的宽度、高度满足所述不等式约束，则认为该连通域为备选字符区域，否则丢弃；

所述不等式约束条件包括：字符大小约束、字符高宽比约束、字符边缘密度和区域密度约束；

所述字符大小约束条件为：W_i≤图像宽度/2，H_i≤图像高度/3

其中W_i和H_i分别代表第i个连通域的宽度和高度；

所述字符高宽比约束条件为：0.2<W_i/H_i<5

所述字符边缘密度用连通区域中的边缘像素数和包含此连通区域最小矩形的周长来表示，所述区域密度用连通区域中的边缘像素数和包含此连通区域最小矩形的面积来表示，即

EdgeDensity＝Sumpix/(2×(W_i+H_i))

RegionDensity＝Sumpix/(W_i·H_i)

其中Sumpix为第i个连通域内的像素数，EdgeDensity为字符边缘密度，RegionDensity为区域密度；

并且所述字符边缘密度和区域密度约束条件为：EdgeDensity>0.8，RegionDensity>0.5。

根据本发明的另一方面，提出了一种应用程序执行装置，用于在图像中执行字符定位和提取，包括：

模糊处理和边缘检测模块，用于将待处理图像进行模糊处理和边缘检测，得到边缘图像；

形态学处理模块，用于对边缘图像进行形态学处理，得到去背景图像；

边缘跟踪和扫描处理模块，用于对去背景图像进行边缘跟踪和扫描处理，得到扫描后的字符边缘图像；

连通域分析模块，用于利用字符约束对扫描后的边缘图像进行连通域分析，得到结果图像；

输出模块，用于将结果图像进行输出。

本发明相比现有技术，具有以下优点：

采用了根据以上图像优化处理方法，较好的消除了背景的干扰，对环境的适应性大大增强。相对于以往的识别方法采取逐区域扫描图像的方式，减少了计算量，提高了方法的计算速度。准确进行区域精确定位。

附图说明

图1是根据本发明实施例的方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

车牌的字符区域一般由边框包围，而且车牌上的字符一般具有固定大小。本发明利用这些先验知识区分字符和非字符区域，提高定位精度。考虑到车牌中的字符字体，采用分级提取的机制，利用多尺度对车牌中的数字按字符大小进行分级提取。并在基于边缘的方法上，引入模糊处理对拉普拉斯边缘提取进行降噪，进行形态学运算、边缘跟踪、多级边缘扫描等处理，然后在连通域分析时利用数字特征对连通区域判别字符区域，实现车牌号码的提取。

本发明的一方面提供了一种基于嵌入式的应用程序执行方法。图1是根据本发明实施例的方法的流程图。如图1所示。该方法包括如下步骤：

步骤一，首先将待处理图像进行模糊处理和边缘检测

根据车牌号特性，号码数字有很清晰的边缘，利用边缘检测可以较好地提取车牌中的数字边缘。但考虑到拉普拉斯算子去噪能力较差，所以本发明在边缘检测之前先进行模糊化处理，滤除图像中的部分噪点。由于车牌宽度大于高度，所以在图片质量不是很差的情况下，3×3的标准低通滤波并不会影响字符边缘的提取，但滤除能力较差。

因此本发明在实现过程中采用连续模糊方法，即第n步卷积运算在第n-1步卷积运算的结果上直接进行。

在边缘检测过程中，计算灰度图像边缘图EdgeMap(x，y)的公式为：

EdgeMap(x，y)＝MAX(SH，SV，SRD，SLD)

其中SH，SV，SLD和SRD为水平、垂直、左斜和右斜4个方向的经由拉普拉斯算子得到灰度图像的边缘图。

从边缘检测结果来看，在引入经过模糊处理后的拉普拉斯算子能够在不影响字符边缘提取的前提下取得很好的去噪效果。

步骤二，对边缘图像进行形态学处理

本发明基于形态学运算检测二值边缘密度图像上的矩形区域即字符区域。根据形态学的运算可得，开运算能够除去较小的明亮细节，同时能使较大的明亮区域保持不变；闭运算可用于除去图像中的暗细节部分，而能使明亮细节不受影响。正因为背景表现的是图像中的高频部分，所以可以采用开运算来进行背景估计，再从原始图像中减去背景。假如显示的图像比较暗，可进一步对图像对比度进行调整，从而突出目标区域。

采用传统的单一结构元素形态滤波进行背景估计时，应用较多的是矩形结构元素、方形结构元素和扁平结构元素，在滤除噪声的同时，模糊了图像的细节。在车牌图像背景估计中，当背景光照存在较强的起伏和方向性时，采用单一结构元素进行背景估计不能很好地保留图像细节，会使大量的背景混入目标区域，为后续的车牌区域检测带来不便。

为此，本发明改进了基于形态学的背景估计方法，通过对结构元素数目和相位的选择，即可达到良好的背景估计效果，特别是图像细节部分，可以得到很好的保护。所采用的线性结构元素包括四个角度的相位：0°，45°，90°，135°。

具体地，运算过程包括:

2.1对二值化的边缘密度图像做7个像素宽度的水平闭运算，

2.2连接字符笔画形成矩形区域得到图像P’，

2.3做15个像素宽度的水平开运算，对图像P’进行一系列滤波：2.3.1

当相位＝0°时，对P滤波得到P0；

2.3.2当相位＝45°时，对P0滤波得到P45；

2.3.3当相位＝90°时，对P45滤波得到P90；

2.3.4当相位＝135°时，对P90滤波得到P135。

2.4从原始车牌图像中减去背景P135得到残差图像D，即：D＝P-P135。上述四个步骤的作用是去除部分背景区域，将相连的背景和字符分开；

2.5对余下的图像作膨胀运算和腐蚀运算，运算后图像只留下部分规则的矩形区域。

经过以上形态学运算能得到比较准确的字符区域。

步骤三，边缘跟踪和扫描

虽然形态学处理可以检测到字符区域，但结果中还有大量不规则边缘和不包含字符的矩形区域。因此还需要去除非字符边缘以提高字符提取的准确率。

本发明改进边缘跟踪算法来逐个跟踪每条边缘，除了应用投影法删除规则的长直边缘(直线、斜线和矩形边缘)外，还根据边缘水平或垂直的长度、所占的面积来删除不规则的非字符长边缘。改进后的窗口扫描算法可以挖掘出原始图像4个边界中所存在的字符区域，删除掉更多的非字符边缘。

首先将原始图像即步骤二得到的图像扩充L个像素的大小，扩充的图像空间以白色像素点填充；

对原始边缘图像进行同心正方形窗口扫描；

在边缘扫描时，考虑到一条边缘与其临近边缘之间的联系，本发明把扫描的起点分别向右和向下移动L/2个像素。其中L的选择与字符、图像大小有关，根据不同L值对图像进行多级扫描，使得算法受数字大小的影响减小。

如果图像某边缘的一部分在扫描后被删除，那么该边缘不是字符边缘，因此删除该边缘，得到字符边缘图像。

步骤四，连通域分析

为进一步提高提取准确率，有必要对二值图像做连通域分析。经边缘检测后数字得到的往往是一个连通区域，而由偏旁部首组成的汉字大多得到的是多个小连通区域。因此结合中西字符特点，从文本特征角度引入多个不等式约束条件进行连通域的字符判别。

(1)字符大小约束

车牌中的字符，一般会出现5个或者5个以上，因此本发明认为字符的最大尺寸为图像大小的1/5。考虑到汉字多结构的特点，会存在比较小的笔画，因此不限制最小尺寸以保证其完整性，W_i和H_i分别代表第i个连通域的宽度和高度:

W_i≤图像宽度/2

H_i≤图像高度/3

(2)字符高宽比约束

考虑到号码是方形字符，高宽比一般在一个固定的范围内。

0.2<W_i/H_i<5

(3)字符的边缘密度(EdgeDensity)、区域密度(RegionDensity)约束用连通区域中的边缘像素数和包含此连通区域最小矩形的周长来衡量候选区域的边缘密度，用连通区域中的边缘像素数和包含此连通区域最小矩形的面积来衡量候选区域的区域密度。

EdgeDensity＝Sumpix/(2×(W_i+H_i))

RegionDensity＝Sumpix/W_i·H_i

其中Sumpix为第i个连通域内的像素数。

考虑到边界有断裂的可能，本发明认为字符的边界EdgeDensity>0.8，RegionDensity>0.5。

如果连通域的宽度、高度满足以上字符特征不等式约束，则认为该连通域为备选字符区域，否则丢弃。

步骤五，将经过连通域分析的图像输出为结果图像。

根据本发明的另一方面，提出了一种应用程序执行装置，用于在图像中执行字符定位和提取，包括：

模糊处理和边缘检测模块，用于将待处理图像进行模糊处理和边缘检测，得到边缘图像；

形态学处理模块，用于对边缘图像进行形态学处理，得到去背景图像；

边缘跟踪和扫描处理模块，用于对去背景图像进行边缘跟踪和扫描处理，得到扫描后的字符边缘图像；

连通域分析模块，用于利用字符约束对扫描后的边缘图像进行连通域分析，得到结果图像；

输出模块，用于将结果图像进行输出。

综上所述，本发明采用了根据以上图像优化处理方法，较好的消除了背景的干扰，对环境的适应性大大增强。相对于以往的识别方法采取逐区域扫描图像的方式，减少了计算量，提高了方法的计算速度。准确进行车牌区域精确定位。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种应用程序执行方法，用于在图像中执行字符定位和提取，其特征在于，包括：

步骤一，首先将待处理图像进行模糊处理和边缘检测，得到边缘图像；

步骤二，对边缘图像进行形态学处理，得到去背景图像；

步骤三，对去背景图像进行边缘跟踪和扫描处理，得到扫描后的字符边缘图像；

步骤四，利用字符约束条件对扫描后的边缘图像进行连通域分析，得到结果图像；

步骤五，将结果图像进行输出。

2.根据权利要求1所述的方法，其特征在于，所述步骤一的模糊处理采用连续模糊方法用于滤除图像中的噪点，即第n步卷积运算在第n-1步卷积运算的结果上直接进行；

所述边缘检测在模糊处理之后执行，计算边缘图像EdgeMap(x，y)的公式为：

EdgeMap(x，y)＝MAX(SH，SV，SRD，SLD)

其中SH，SV，SLD和SRD为水平、垂直、左斜和右斜4个方向的经由拉普拉斯算子得到灰度图像的边缘图。

3.根据权利要求2所述的方法，其特征在于，所述步骤二基于形态学运算检测二值边缘密度图像上的矩形区域即字符区域，通过选择线性结构元素数目和相位来保留图像细节，所采用的线性结构元素包括四个相位：0°，45°，90°，135°，所述形态学处理的运算过程进一步包括:

2.1对二值化的边缘密度图像做7个像素宽度的水平闭运算，

2.2连接字符笔画形成矩形区域得到图像P’，

2.3做15个像素宽度的水平开运算，对图像P’依次进行四个相位的滤波，包括：

2.3.1当相位＝0°时，对图像P’滤波得到图像P0；

2.3.2当相位＝45°时，对图像P0滤波得到图像P45；

2.3.3当相位＝90°时，对图像P45滤波得到图像P90；

2.3.4当相位＝135°时，对图像P90滤波得到图像P135；

2.4从所述边缘图像中减去图像P135得到残差图像D：D＝P-P135；

2.5对残差图像D作膨胀运算和腐蚀运算，运算后留下部分规则的矩形区域，即去背景图像。

4.根据权利要求3所述的方法，其特征在于，所述步骤三利用边缘跟踪算法来逐个跟踪每条边缘，应用投影法删除规则的长直边缘，并根据边缘水平或垂直的长度、所占的面积来删除不规则的非字符长边缘，以删除掉更多的非字符边缘，该步骤进一步包括：

首先将去背景图像即执行步骤二得到的图像扩充L个像素的大小，扩充的图像空间以白色像素点填充；

对原始边缘图像进行同心正方形窗口扫描；

在边缘扫描时，把扫描的起点分别向右和向下移动L/2个像素，

根据一个以上的L值对图像进行多级扫描；

如果图像某边缘的一部分在扫描后被删除，则表示该边缘不是字符边缘，因此得到字符边缘图像。

5.根据权利要求4所述的方法，其特征在于，所述步骤四是基于文本特征引入多个不等式约束条件进行连通域的字符判别，如果连通域的宽度、高度满足所述不等式约束，则认为该连通域为备选字符区域，否则丢弃；

所述不等式约束条件包括：字符大小约束、字符高宽比约束、字符边缘密度和区域密度约束；

所述字符大小约束条件为：W_i≤图像宽度/2，H_i≤图像高度/3

其中W_i和H_i分别代表第i个连通域的宽度和高度；

所述字符高宽比约束条件为：0.2<W_i/H_i<5

所述字符边缘密度用连通区域中的边缘像素数和包含此连通区域最小矩形的周长来表示，所述区域密度用连通区域中的边缘像素数和包含此连通区域最小矩形的面积来表示，即

EdgeDensity＝Sumpix/(2×(W_i+H_i))

RegionDensity＝Sumpix/(W_i·H_i)

其中Sumpix为第i个连通域内的像素数，EdgeDensity为字符边缘密度，RegionDensity为区域密度；

并且所述字符边缘密度和区域密度约束条件为：EdgeDensity>0.8，RegionDensity>0.5。

6.一种应用程序执行装置，用于在图像中执行字符定位和提取，其特征在于，包括：

模糊处理和边缘检测模块，用于将待处理图像进行模糊处理和边缘检测，得到边缘图像；

形态学处理模块，用于对边缘图像进行形态学处理，得到去背景图像；

边缘跟踪和扫描处理模块，用于对去背景图像进行边缘跟踪和扫描处理，得到扫描后的字符边缘图像；

连通域分析模块，用于利用字符约束对扫描后的边缘图像进行连通域分析，得到结果图像；

输出模块，用于将结果图像进行输出。