CN105404885A - 一种二维字符图形验证码复杂背景噪音干扰去除方法 - Google Patents

Abstract

一种二维字符图形验证码复杂背景噪音干扰去除方法，本方法在读入一张验证码图片后，对其实施背景颜色的量化操作，通过减少背景颜色，达到消除杂乱背景，突出字符的目的。在第一步平滑步骤中，设计了一个EPSF算法，目的是在平滑的同时保持边缘不被模糊；本算法用一个高斯核双边滤波器来代替EPSF算法，同原来的EPSF算法相比，高斯核双边滤波器在平滑图像的同时，保持边缘不被模糊的效果上要优于EPSF算法,这样就能确保字符的结构不被破坏，为后续字符识别奠定基础。在颜色类归并时,本算法采用层次聚类算法，对颜色进行自适应的合并。实践表明，本算法能对一些在复杂背景下的验证码的背景噪音进行有效去除。

Description

一种二维字符图形验证码复杂背景噪音干扰去除方法

技术领域

本发明方法属于计算机视觉、模式识别等交叉领域，涉及一种基于颜色信息的二维数字或汉字验证码图片背景噪音去除方法。

背景技术

验证码(CAPTCHAs：CompletelyAutomatedPublicTuringTesttoTellComputersandHumansApart，用于区分人和机器的全自动公共图灵测试)是当前被各网站广泛使用，来验证登录人，防止黑客程序自动登录网站的一种安全防御方法。验证码的种类多种多样，可以是基于视觉的图片验证码，也可以是听觉验证码等；常见的视觉验证码有：基于数字或字符的验证码，基于自然场景图的验证码，如：12306网站新更新的图片验证码，基于图片的测试问答等。

对于包含字符或数字的验证码，如果背景干净，字符大小均匀，则很容易被OCR(光栅字符识别)软件攻破。为了防止验证码被程序攻破，对于较为常见的基于数字或字符的验证码，一般在设计的时候，常采用添加背景干扰、扭曲、变形、相邻字符粘连等手段，使得程序识别验证码很困难，而人眼却能很容易辨别，从而达到防止程序自动登录的目的。破解一个验证码的问题，可以归结为一个AI(人工智能)问题，若某类验证码被破解，则标志着在这个困难的问题上AI领域的一个新的进展。

研究CAPTCHAs的破解，对于找出当前CAPTCHAs的漏洞，从而设计出更安全的验证码，确保网站的安全具有重要意义；同时，相关技术可以用于其它应用领域，如：自然场景图像中的文本检测和识别。

包含字符或数字的图形验证码的识别一般都遵循分割和识别两个步骤，其中分割是关键，正确的将字符分割出来，是后续进行识别的基础。然而，由于验证码在设计时噪音、粘连等干扰，使得正确的分割是一项极为困难的任务。由于验证码的种类多种多样，没有一个算法能对所有的图形验证码的分割都适用。因此，相关研究一般均基于一类或几类验证码,研究破解方案。

微软研究院的研究人员KumarChellapilla等在ConferenceofAdvancesinNeuralInformationProcessingSystems(NIPS2004)发表的文章“UsingMachineLearningtoBreakVisualHumanInteractionProofs(HIPS)”中提出利用机器学习的方法来破解验证码，并分别针对：Mailblocks,MSN,Yahoo，TicketMaster，google等几个网站的验证码的破解进行了实验，给出了解决思路。首先针对每一类型的验证码，其字符的大小尺寸的大致范围一般可事先确定，以此作为一个先验的知识。对图像预处理一般均为将彩色图像转换为灰度，再进行二值化处理。对于其中包含的背景不规则噪音线、倾斜网格线，采用先膨胀、后腐蚀等形态学方法，将噪音线去除；对于规则的水平、竖直网格线，则检测直线并移除水平、竖直网格线。在此基础上，利用字符大小这个先验知识，提取符合先验尺寸的连通体作为候选数字；同时将尺寸过宽的连通体进行分割。对分割好的字符候选，训练一个神经网络进行识别。

卡内基梅隆大学的研究人员GregMori等在IEEEConferenceonComputerVision&PatternRecognition(CVPR2003)发表的文章“RecognizingObjectsinAdversarialClutter:BreakingaVisualCAPTCHA”挑战了更为困难的杂乱背景字符图片验证码的识别。作者对图像利用Canny算子实施边缘检测，并通过纹理梯度操作子(texturegradientoperator)来粗略定位字符的位置，认为对纹理梯度操作子的较大的响应点为字符附近的点；并提取形状上下文描述子(shapecontextdescriptor),并利用形状上下文描述子和预先定义好的字符的形状上下文描述子通过变形模板匹配的方法，获得字符的定位和识别。

纽卡斯尔大学的研究人员JeffYan等在23rdAnnualComputerSecurityApplicationsConference上发表的文章“BreakingVisualCAPTCHAswithPatternRecognitionAlgorithms”中，对于包含背景噪音的验证码，利用了如下两种先验信息：一是虽然背景噪音包含了各种颜色，但是前景的字符的颜色是单一的，另外，每个字符所包含的像素个数是一定的，背景颜色模式为相同的颜色会重复出现多次；基于上述信息，排除背景干扰，将字符提取出来。

发明内容

本发明针对具有复杂背景的包含字符的二维图形验证码，以期能够将其背景变简单，并保持原有字符的结构，从而为后续字符连通体的提取做好准备。

本发明的技术方案为：在读入一张验证码图片后，对其实施背景颜色的量化操作，通过减少背景颜色，达到消除杂乱背景，突出字符的目的。

本算法主要基于的技术是颜色减少技术，所用的方法基于NikosNikolaou等发表在Internationaljournalofimagingsystemsandtechnology(2009)的文章“ColorReductionforComplexDocumentImages”，同其相比，本算法在如下几方面进行了改进：(1)在第一步平滑步骤中，作者设计了一个EPSF算法，目的是在平滑的同时保持边缘不被模糊；本算法用一个高斯核双边滤波器来代替EPSF算法，同原来的EPSF算法相比，高斯核双边滤波器在平滑图像的同时，保持边缘不被模糊的效果上要优于EPSF算法,这样就能确保字符的结构不被破坏，为后续字符识别奠定基础。(2)在颜色类归并时,本算法采用层次聚类算法，对颜色进行自适应的合并。实践表明，本算法能对一些在复杂背景下的验证码的背景噪音进行有效的去除。

附图说明

图1为EPSF滤波和双边滤波效果对比，其中(a)为EPSF的结果，(b)为双边滤波的结果。

图2为输入图片和颜色减少处理后的图片，其中(a)为原图片一；(b)为颜色减少处理后的图片一；(c)为原图片二；(d)为颜色减少处理后的图片二；(e)为原图片三；(f)为颜色减少处理后的图片三；

具体实施方式

图1显示了分别用EPSF滤波器和双边滤波器平滑的效果，可以看出，EPSF滤波后字符的边缘还是被造成了一定的模糊，而双边滤波器的边缘则没有被平滑。

本方法实施的过程如下，

S1预处理

S1.1读入验证码图片，用双边滤波器对其进行滤波；双边滤波器的基本思想是同时考虑定义域即像素空间邻域和值域即像素亮度空间邻域的差异。输出像素的值依赖于邻域像素值的加权和，其公式如下：

$g(i,j)\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}$

其中，g(i,j)表示输出图像第i行第j列的像素亮度值；f(k,l)表示输入图像第k行第l列的像素亮度值，它是第i行第j列像素的邻域像素，即k,l，＝i-m，j-n，其中m,n的取值为-1，0，1；分子项为第i行第j列像素的八邻域像素的加权和，权值为w(i,j,k,l)；分母是规范化项，确保权值的和为1；权值系数w(i,j,k,l)由定义域核和值域核的乘积决定；定义域核和值域核均为高斯函数，如下：

定义域核：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2})$

值域核：

$r(i,j,k,l)=\exp (-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{{2\mathrm{\σ}}_r^2})$

权值为：

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{{2\mathrm{\σ}}_d^2}-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{{2\mathrm{\σ}}_r^2})$

S1.2实施通道分割，将滤波后的图分解为R、G、B三个通道图像

S2颜色减少

S2.1子采样

S2.1.1对R、G、B三通道的每个通道，分别采用x向Sobel和y向Sobel边缘检测算子进行x向、y向的边缘检测,分别获得x向的边图和y向的边图。X向和Y向的Sobel算子模板分别如下：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

这样总共能获得六个边图，分别记为：

G^r _x，G^r _y，G^g _x，G^g _y，G^b _x，G^b _y

它们分别是红色通道x向梯度图G^r _x，红色通道y向梯度图G^r _y，绿色通道x向梯度图G^g _x，绿色通道y向梯度图G^g _y，蓝色通道x向梯度图G^b _x，蓝色通道y向梯度图G^b _y。

S2.1.2为R、G、B三个通道图中的每个象素i，用如下公式分别计算该象素在三个通道中的梯度值：

$G_i^r=\sqrt{({G_{ix}^r}^2+{G_{iy}^r}^2)}$

$G_i^g=\sqrt{({G_{\mathrm{ix}}^g}^2+{G_{\mathrm{iy}}^g}^2)}$

$G_i^b=\sqrt{({G_{ix}^b}^2+{G_{iy}^b}^2)}$

其中，G_ix ^r为红色通道中第i个像素的x向梯度值，G_iy ^r为红色通道中第I个像素的y向梯度值；G_ix ^g为绿色通道中第i个像素的x向梯度值，G_iy ^g为绿色通道中第i个像素的y向梯度值；G_ix ^b为蓝色通道中第i个像素的x向梯度值，G_iy ^b为蓝色通道中第i个像素的y向梯度值。

S2.1.3对每个象素i，选择三个通道的梯度值中最大值作为该象素最终的梯度值：

G_i＝max(G^r _i，G^g _i，G^b _i)

处理完之后得到一个梯度图像G，G中每个象素i的值即为G_i。

S2.1.4在获得的梯度图像G中，选择满足如下条件的局部极小值点作为子采样点：若该点的梯度值，均小于等于其八个邻域的梯度值，则选择该点作为采样点。

由于边上的象素点的梯度均较大，这样采样的点不包括边缘象素点，均为物体内部的点。这些点代表了当前图片上的颜色，本方法的目标是将一些相近的颜色进行合并，即实施颜色减少。

S2.2初始颜色聚类

S2.2.1根据所获得的采样点集合，统计出这些采样点的三维颜色直方图，记为P(r,g,b)，该直方图的每一个条目(bin)，记录颜色为(r,g,b)的采样点数目。

S2.2.2标记所有的初始采样点均为未处理

S2.2.3随机从初始采样点集合中取一个标记为未处理的点S_i，进行如下操作：

以该像素点S_i的颜色值(r_i,g_i,b_i)为中心，定义一个边长为2h的立方体，作为该颜色的一个邻域，该立方体的六个面定义如下：

r_i-h，r_i+h，g_i-h，g_i+h，b_i-h，b_i+h

S2.2.4从颜色包含在该立方体内的所有像素计算出像素颜色的平均值S_mi(r_mi,g_mi,b_mi)，标记所有颜色在该立方体内的像素为已处理。

S2.2.5重复步骤c，直到所有的像素点均被处理

经过这样的处理后，可以得到一系列的均值像素点的集合S_mi，该均值像素点集的数量K小于初始的颜色数量，并且k的数量和颜色立方体的边长2h有关，h越大，k越小。然而k一般与实际需要划分的颜色类的数目相比还要更大，以下利用mean-shift算法进一步实施颜色减少

S2.3基于Mean-Shift的颜色减少

S2.3.1从S2.2中所获得的均值像素点集中任取一个未处理的均值像素颜色值(r_mi,g_mi,b_mi)，标记该点为已处理；

S2.3.2以该点为中心计算该像素颜色值的h邻域立方体内的颜色均值(r_ni,g_ni,b_ni)，计算新的均值(r_ni,g_ni,b_ni)和原值的曼哈顿距离：

d＝|r_ni-r_mi|+|g_ni-g_mi|+|b_ni-b_mi|

S2.3.3若距离d小于预定义阈值(此处定义为3)，标记当前邻域中的所有颜色为已处理，并存储均值像素颜色，转到步骤a；否则，以新计算的像素点颜色值(r_ni,g_ni,b_ni)为中心，重复步骤b。

经过上述步骤，获得颜色集合S_mf，该颜色集合中的颜色数目要少于S2.2结束后的颜色数。

S2.4基于层次凝聚聚类算法进行最终的颜色类合并

S2.4.1设颜色集合S_mf中的颜色数目为N，计算该集合中任意两种颜色的Chebyshev距离，并构造一个上三角距离矩阵D如下：

其中d_ij表示集合S_mf中任意两种颜色i和j的Chebyshev距离。

S2.4.2创建一个同样大小的上三角标记矩阵L，初始值均为0

S2.4.3设定初始label＝1，按照如下算法更新标记矩阵L中的值：

S2.4.4经过上述处理，颜色相近，即距离值d_ij小于阈值的颜色值点被设定为相同的标记，即被归为同一类。

如图2所示为输入图片和颜色减少处理后的图片。

Claims (1)

1.一种二维字符图形验证码复杂背景噪音干扰去除方法，其特征在于：

本方法实施的过程如下，

S1预处理

S1.1读入验证码图片，用双边滤波器对其进行滤波；双边滤波器的基本思想是同时考虑定义域即像素空间邻域和值域即像素亮度空间邻域的差异；输出像素的值依赖于邻域像素值的加权和，其公式如下：

$g(i,j)\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}$

其中，g(i,j)表示输出图像第i行第j列的像素亮度值；f(k,l)表示输入图像第k行第l列的像素亮度值，它是第i行第j列像素的邻域像素，即k,l，＝i-m，j-n，其中m,n的取值为-1，0，1；分子项为第i行第j列像素的八邻域像素的加权和，权值为w(i,j,k,l)；分母是规范化项，确保权值的和为1；权值系数w(i,j,k,l)由定义域核和值域核的乘积决定；定义域核和值域核均为高斯函数，如下：

定义域核：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2})$

值域核：

$r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}_r^2})$

权值为：

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}_r^2})$

S1.2实施通道分割，将滤波后的图分解为R、G、B三个通道图像

S2颜色减少

S2.1子采样

S2.1.1对R、G、B三通道的每个通道，分别采用x向Sobel和y向Sobel边缘检测算子进行x向、y向的边缘检测,分别获得x向的边图和y向的边图；X向和Y向的Sobel算子模板分别如下：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

这样总共能获得六个边图，分别记为：

G^r _x，G^r _y，G^g _x，G^g _y，G^b _x，G^b _y

它们分别是红色通道x向梯度图G^r _x，红色通道y向梯度图G^r _y，绿色通道x向梯度图G^g _x，绿色通道y向梯度图G^g _y，蓝色通道x向梯度图G^b _x，蓝色通道y向梯度图G^b _y；

S2.1.2为R、G、B三个通道图中的每个象素i，用如下公式分别计算该象素在三个通道中的梯度值：

$G_i^r=\sqrt{({G_{ix}^r}^2+{G_{iy}^r}^2)}$

$G_i^g=\sqrt{({G_{\mathrm{ix}}^g}^2+{G_{\mathrm{iy}}^g}^2)}$

$G_i^b=\sqrt{({G_{ix}^b}^2+{G_{iy}^b}^2)}$

其中，G_ix ^r为红色通道中第i个像素的x向梯度值，G_iy ^r为红色通道中第I个像素的y向梯度值；G_ix ^g为绿色通道中第i个像素的x向梯度值，G_iy ^g为绿色通道中第i个像素的y向梯度值；G_ix ^b为蓝色通道中第i个像素的x向梯度值，G_iy ^b为蓝色通道中第i个像素的y向梯度值；

S2.1.3对每个象素i，选择三个通道的梯度值中最大值作为该象素最终的梯度值：

G_i＝max(G^r _i，G^g _i，G^b _i)

处理完之后得到一个梯度图像G，G中每个象素i的值即为G_i；

S2.1.4在获得的梯度图像G中，选择满足如下条件的局部极小值点作为子采样点：若该点的梯度值，均小于等于其八个邻域的梯度值，则选择该点作为采样点；

由于边上的象素点的梯度均较大，这样采样的点不包括边缘象素点，均为物体内部的点；这些点代表了当前图片上的颜色，本方法的目标是将一些相近的颜色进行合并，即实施颜色减少；

S2.2初始颜色聚类

S2.2.1根据所获得的采样点集合，统计出这些采样点的三维颜色直方图，记为P(r,g,b)，该直方图的每一个条目(bin)，记录颜色为(r,g,b)的采样点数目；

S2.2.2标记所有的初始采样点均为未处理

S2.2.3随机从初始采样点集合中取一个标记为未处理的点S_i，进行如下操作：

以该像素点S_i的颜色值(ri,g_i,b_i)为中心，定义一个边长为2h的立方体，作为该颜色的一个邻域，该立方体的六个面定义如下：

r_i-h，r_i+h，g_i-h，g_i+h，b_i-h，b_i+h

S2.2.4从颜色包含在该立方体内的所有像素计算出像素颜色的平均值S_mi(r_mi,g_mi,b_mi)，标记所有颜色在该立方体内的像素为已处理；

S2.2.5重复步骤c，直到所有的像素点均被处理

经过这样的处理后，可以得到一系列的均值像素点的集合S_mi，该均值像素点集的数量K小于初始的颜色数量，并且k的数量和颜色立方体的边长2h有关，h越大，k越小；然而k一般与实际需要划分的颜色类的数目相比还要更大，以下利用mean-shift算法进一步实施颜色减少

S2.3基于Mean-Shift的颜色减少

S2.3.1从S2.2中所获得的均值像素点集中任取一个未处理的均值像素颜色值(r_mi,g_mi,b_mi)，标记该点为已处理；

S2.3.2以该点为中心计算该像素颜色值的h邻域立方体内的颜色均值(r_ni,g_ni,b_ni)，计算新的均值(r_ni,g_ni,b_ni)和原值的曼哈顿距离：

d＝|r_ni-r_mi|+|g_ni-g_mi|+|b_ni-b_mi|

S2.3.3若距离d小于预定义阈值(此处定义为3)，标记当前邻域中的所有颜色为已处理，并存储均值像素颜色，转到步骤a；否则，以新计算的像素点颜色值(r_ni,g_ni,b_ni)为中心，重复步骤b；

经过上述步骤，获得颜色集合S_mf，该颜色集合中的颜色数目要少于S2.2结束后的颜色数；

S2.4基于层次凝聚聚类算法进行最终的颜色类合并

S2.4.1设颜色集合S_mf中的颜色数目为N，计算该集合中任意两种颜色的Chebyshev距离，并构造一个上三角距离矩阵D如下：

其中d_ij表示集合S_mf中任意两种颜色i和j的Chebyshev距离；

S2.4.2创建一个同样大小的上三角标记矩阵L，初始值均为0

S2.4.3设定初始label＝1，按照如下算法更新标记矩阵L中的值：

S2.4.4经过上述处理，颜色相近，即距离值d_ij小于阈值的颜色值点被设定为相同的标记，即被归为同一类。