CN102968637A - 一种复杂背景图像文字分割方法 - Google Patents

Abstract

本发明公开了一种复杂背景图像文字分割方法，主要包括以下步骤：进行图像读取；对读取的图像进行文字区域读取；对文字区域抽取底层颜色特征和底层纹理特征；对抽取出来的底层颜色特征和底层纹理特征进行融合得到底层局部特征；抽取文字区域的标签层全局特征；将文字区域的底层局部特征与文字区域的标签层全局特征进行融合得到文字区域所有像素的特征向量；对文字区域中所有像素特征向量训练得到第一级分割的分类器；用训练好的分类器进行第一级文字分割；对第一级分割的结果进行连通元标定；抽取连通元特征进行第文字分割；输出文字分割结果。本发明提高复杂背景图像中文字分割的准确率；具有一定的通用性和实用性。

Description

一种复杂背景图像文字分割方法

技术领域

本发明涉及图像处理领域中的图像分割技术，尤其涉及一种复杂背景图像文字分割方法。

背景技术

随着数码相机、摄像头、超高速扫描仪等图像获取设备的广泛应用，图像中信息越来越引起人们的关注，然而计算机理解图像的内容，目前还很困难。嵌入在图像中的文字，是图像语义内容的一种重要表达方式。如果能够自动提取和识别这些文字，就可以让机器自动理解图片内容并对图片进行分类，进而借助已经成熟的文本检索技术采用这些文字对图片进行标注和检索，从而为基于内容的图像和视频检索提供一种途径。然而，嵌入在图像中的文字通常都带有复杂背景，即使文本内容在图像中能被准确检测到，在没有去除背景之前，现有的OCR系统难以识别出字符，因而在提交给OCR系统之前还需要一个文字分割过程。因此，如何从复杂背景图像中分割文本信息，成为以文字为线索来理解和检索图像内容的一个关键任务。

现有的图像文字分割技术主要分为以下三类：基于阈值的方法、基于聚类的方法和基于统计模型的方法。

基于阈值的方法一般根据文字块中前景和背景的亮度分布自适应地选取一个全局阈值或自适应局部阈值。在图像背景比较单一时该类方法能取得较好的效果；当文字具有较复杂的背景，例如文字的灰度可能介于背景的多个灰度之间时，阈值法不再适用。

基于聚类的方法一般首先假定文字块中所有像素根据颜色可以分为K类，文字像素对应于其中一类，其余各类均为背景；然后采用经典的无监督聚类算法对所有像素进行聚类。这类方法可用于复杂背景的情况。但当背景中含有与文字颜色相同或相近的成分时，这些成分会被误分入文字类，从而产生大量的残余背景，影响OCR识别。

基于统计模型的方法首先为文字块内所有像素或者文字像素建立概率模型，一般根据颜色建立高斯混合模型(Gaussian Mixture Model,GMM)，所有同色区域用一个Gaussian核函数表示。然后使用EM算法估计模型参数，最后根据最大似然准则确定每个区域的类别。由于单纯地利用了颜色信息，GMM模型存在着与聚类方法同样的问题，而且GMM核函数的个数难以确定。

上述各种文字分割方法,只利用了图像底层局部的灰度或彩色信息,没有考虑到文字的空间或全局上下文信息。因而，对复杂背景中的文字分割效果不好。

发明内容

本发明的目的就是为了解决上述问题，提供一种复杂背景图像文字分割方法，根据复杂背景图像中文字信息的特点，融合图像底层的局部颜色、纹理特征和标签层全局特征，并采用由粗到精两级分割的方法，从而提高复杂背景图像文字分割的准确率。该方法对背景简单图像和背景复杂图像均具有较好的分割效果，具有一定的通用性和实用性。

为了实现上述目的，本发明采用如下技术方案：

一种复杂背景图像文字分割方法，主要包括以下步骤：进行图像读取；对读取的图像进行文字区域读取；对读取的文字区域进行底层颜色特征抽取；对抽取过底层颜色特征的文字区域进行底层纹理特征抽取；对抽取出来的文字区域的底层颜色特征和底层纹理特征进行融合得到文字区域的底层局部特征；对文字区域的底层局部特征进行粗分类，然后在粗分类的结果上抽取文字区域的标签层全局特征；将文字区域的底层局部特征与文字区域的标签层全局特征进行融合得到文字区域所有像素的特征向量；对文字区域中所有像素特征向量进行训练得到第一级文字分割的分类器；用训练好的分类器对图像的特征分类，实现第一级文字分割；对第一级分割的结果进行连通元标定；抽取连通元特征，利用文字连通元与背景连通元的特征差异，进行连通元筛选，去除背景连通元，实现第二级文字分割；输出文字分割结果。

一种复杂背景图像文字分割方法，具体步骤如下：

步骤（1）：开始，读取图像；

步骤（2）：将图像中的文字区域块提取出来，并将文字区域块保存到相应位置；

步骤（3）：判断是否所有的文字区域块提取完成，如果提取完成则进入步骤（4）；如果未提取完成返回步骤（2）；

步骤（4）：在RGB颜色空间抽取文字区域块中每个像素点的颜色特征，得到6维底层局部颜色特征；如果所有像素点的颜色特征抽取完毕就进入步骤（5）；

步骤（5）：抽取文字区域块中每个像素点的纹理特征：首先将文字区域块转换为灰度图像，然后在灰度图像上抽取Gabor纹理特征，每个像素点得到6维底层局部纹理特征；

步骤（6）：将6维颜色特征和6维纹理特征进行特征融合，得到12维图像底层局部特征；

步骤（7）：提取文字区域块的标签层全局特征。将步骤（6）得到的12维图像底层局部特征送入分类器训练，用训练好的分类器分别对文字区域块中的每个像素点进行分类，得到文字区域整体的粗略类别标签分布，计算每个像素点属于文字类和背景类的概率密度，然后抽取该像素点3×3邻域属于文字类和背景类的概率密度作为标签层全局特征，每个像素点共得到18维标签层全局特征，如果所有的像素点标签层全局特征抽取完毕就进入步骤（8）；

步骤（8）：判断是否所有像素点特征计算是否完成，如果完成则进入步骤（9）；如果未完成则返回步骤（4）；

步骤（9）：将12维图像底层局部特征和18维标签层全局特征进行融合，每个像素点得到一个30维特征向量；

步骤（10）：利用条件随机场模型对文字块中每个像素点30维特征向量进行训练，得到进行第一级文字分割的分类器；

步骤（11）：采用步骤（10）得到的分类器对文字区域中的像素进行分类，将文字区域块中的像素分为文字类和背景类，得到二值化的分割图像，实现文字区域的第一级粗分割；

步骤（12）：对二值化的粗分割图像进行连通元标定，采用4连通标定法；

步骤（13）：对步骤（12）标定好的每个连通元，抽取连通元特征，然后采用阈值分类器删除背景连通元，实现文字区域的第二级分割。本发明主要利用文字连通元与背景连通元在尺度、颜色方面的特性差异去除背景连通元，得到最终的文字分割结果；

步骤（14）：输出文字分割结果。

所述步骤（4）的颜色特征抽取方法为：

首先将彩色图像分解为R、G、B（红、绿、蓝）三个颜色通道，对每个像素点抽取相应的R、G、B颜色分量和8邻域像素R、G、B三个分量的均值。

所述步骤（5）的Gabor纹理特征的抽取方法是：

在文字区域块的灰度图像上用一组同一频率不同方向不同尺度的Gabor滤波器进行滤波，然后将滤波后的图像按照公式

进行合并，其中，i表示尺度，j表示方向，gaborⁱ表示尺度i的合并Gabor滤波图像，

表示尺度i方向j上的Gabor滤波图像，然后在滤波后的合并图像上抽取相应的纹理特征，抽取每个像素点的3×3邻域Gabor系数的均值和方差作为每个像素点的纹理特征。

本发明采用3个尺度，在每个尺度上抽取2维Gabor特征，所以在3个尺度上共抽取6维Gabor特征。

所述步骤（7）中，标签层全局特征的抽取方法为：采用神经网络对训练文字区域块中的每个像素点进行分类，得到文字区域整体的粗略类别标签分布，计算每个像素点属于文字类和背景类的概率密度，然后抽取该像素点3×3邻域属于文字类和背景类的概率密度作为标签层全局特征；因此，对于每个像素点可得到2×3×3=18维标签层全局特征。

所述步骤（10）中，第一级文字分割中分类器采用的是条件随机场模型；

所述条件随机场模型描述的图像的类条件概率密度为：

$P\left(Y\right|X,L)=\frac{1}{Z}\exp [\underset{i\∈S}{\mathrm{\Σ}}{V}_i(y_i,X)+\underset{i\∈S}{\mathrm{\Σ}}\underset{j\∈N_i}{\mathrm{\Σ}}{V}_{\mathrm{ij}}(y_i,y_j,X)+\underset{i\∈S}{\mathrm{\Σ}}\underset{j\∈N_i}{\mathrm{\Σ}}{G}_{\mathrm{ij}}(y_i,y_j,L)]$

其中，V_i(y_i,X)为图像底层一元势函数，V_ij(y_i,y_j,X)为图像底层二元势函数，G_ij(y_i,y_j,L)为标签层二元势函数。i,j为图像的像素点位置，y_i,y_j分别为图像像素点位置i,j处的类别标签，X为图像低层的特征向量，L为标签层的特征向量，Y为图像的类别标签，S为图像中所用像素点集合，N_i为像素点i的邻域像素集合，P(Y|X,L)为图像的类条件概率密度。

分类器训练采用极大似然估计方法，对模型中的参数进行估计：

${\mathrm{\θ}}^{*}=\underset{\mathrm{\θ}}{\arg \max }\left\{\log \left(\underset{k=1}{\overset{N}{\mathrm{\Π}}}P\left(y^k\right|x^k,l^k,\mathrm{\θ})\right)\right\}.$

其中x^k是第k个训练样本的底层特征，y^k是x^k的类别标签，l^k为第k个训练样本的标签层特征，N是训练样本的数量，k∈(1,2,……N)。

所述步骤（11）中，利用分类器的对文本进行第一级粗分割步骤是：将步骤（9）训练出的模型参数带入第一级分割的分类器中，根据式

求每个像素点的最大边缘后验概率，式中式中Y_i表示像素点位置i处的类别标签，Y_i∈(0,1)，0表示背景类，1表示文字类，X为图像底层特征，L为图像标签层全局特征，然后根据最大边缘后验概率判断每个像素点的属于文字类还是背景类，最后得到文字区域块图像的第一级粗分割结果。

所述步骤（13）中，抽取连通元特征，然后采用阈值分类器删除背景连通元，实现文字区域的第二级分割，所用到的文字连通元与背景连通元在尺度、颜色方面的特性差异特征包括：连通元的尺寸、连通元投影、连通元边界颜色渐变情况。

本发明的有益效果：本发明根据复杂背景图像中文字信息的特点，融合图像底层的局部颜色、纹理特征和标签层全局特征，采用由粗到精两级分割的方法，能够提高复杂背景图像中的文字分割的准确率。该方法对背景简单图像和背景复杂图像均具有较好的分割效果，具有一定的通用性和实用性。该发明的成果可直接应用于基于内容的图像检索，图像分类等领域，具有广阔的应用前景。

附图说明

图1是本发明一种复杂背景图像文字分割方法方案流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

实现本发明的系统结构所需的基本的硬件条件为：一台主频为2.4GHZ,内存为1G的计算机，所需软件条件为：编程环境为Visual C++6.0。

一种复杂背景图像文字分割方法，具体步骤如下：

步骤（1）：开始，读取图像；

步骤（2）：将图像中的文字区域块提取出来，并将文字块保存到相应位置；

步骤（3）：判断是否所有的文字区域块提取完成，如果提取完成则进入步骤（4）；如果未提取完成返回步骤（2）；

步骤（4）：在RGB颜色空间抽取文字区域块中每个像素点的颜色特征，得到6维底层局部颜色特征；如果所有像素点的颜色特征抽取完毕就进入步骤（5）；

步骤（5）：抽取文字区域块中每个像素点的纹理特征，首先将文字区域块转换为灰度图像，然后在灰度图像上抽取Gabor纹理特征，每个像素点得到6维底层局部纹理特征；

步骤（6）：将6维颜色特征和6维纹理特征进行融合，得到12维图像底层局部特征；

步骤（7）：提取文字区域块的标签层全局特征，将12维图像底层局部特征送入分类器训练，用训练好的分类器分别对文字区域块中的每个像素点进行分类，得到文字区域整体的粗略类别标签分布，计算该像素点属于文字类和背景类的概率密度，然后抽取每个像素点3×3邻域属于文字类和背景类的概率密度作为标签层全局特征，每个像素点共得到18维标签层全局特征，然后抽取标签层全局特征，每个像素点共得到18维标签层全局特征，所有的像素点标签层全局特征抽取完毕后进入步骤（8）；

步骤（8）：判断是否所有像素点特征计算是否完成，如果完成则进入步骤（9）；如果未完成则返回步骤（4）；

步骤（9）：将12维图像底层局部特征和18维标签层全局特征进行融合，每个像素点得到一个30的维特征向量；

步骤（10）：利用条件随机场模型对文字块中每个像素点30维特征向量进行训练，得到用于第一级文字分割的分类器；

步骤（11）：采用步骤（10）得到的分类器对文字区域中的像素进行分类，将文字区域块中的像素分为文字类和背景类，得到二值化的分割图像，实现文字区域的第一级粗分割；

步骤（12）：对粗分割的二值化图像进行连通元标定，采用4连通标定法；

步骤（13）：对步骤（12）标定好的每个连通元，抽取连通元特征，然后采用阈值分类器删除背景连通元，实现文字区域的第二级分割。本发明主要利用文字连通元与背景连通元在尺度、颜色方面的特性差异去除背景连通元，得到最终的文字分割结果；

步骤（14）：输出文字分割结果。

所述步骤（4）的颜色特征抽取方法为：

首先将图像分解为R、G、B三个颜色通道，对每个像素点抽取相应的R、G、B颜色分量和8邻域像素R、G、B三个分量的均值。

所述步骤（5）的Gabor纹理特征的抽取方法是：

在文字区域块的灰度图像上用一组同一频率不同方向不同尺度的Gabor滤波器进行滤波，然后将滤波后的图像按照公式

进行合并其中i表示尺度，j表示方向，gaborⁱ表示尺度i的合并Gabor滤波图像，

表示尺度i方向j上的Gabor滤波图像，然后在滤波后的合并图像上抽取相应的纹理特征，抽取每个像素点的3×3邻域Gabor系数的均值和方差作为每个像素点的纹理特征。

本发明采用3个尺度，在每个尺度上可抽取2维Gabor特征，所以在3各尺度上共抽取6维Gabor特征。

步骤（5-1）：首先将彩色图像转换为灰色图像；

步骤（5-2）：在灰度图像上用同一频率Gabor滤波器分别在8个方向（0°、30°、45°、60°、90°、120°、135°、150°）和3个尺度上进行滤波（滤波尺度分别为6×6，8×8，10×10）；

步骤（5-3）：对每个尺度Gabor滤波后的输出图像，采用如下公式获得合并滤波图像：

${\mathrm{gabor}}^i=\underset{j}{\max }\left\{{\mathrm{gabor}}_j^i\right\},$

其中i表示尺度，j表示方向，gaborⁱ表示尺度i的合并Gabor滤波图像，

表示尺度i方向j上的Gabor滤波图像。

步骤(5-4)：对于每幅图像，在每个尺度上可获得一幅合并Gabor滤波图像。在合并的Gabor滤波图像上对每个像素点的3×3邻域抽取相应的纹理特征。

步骤(5-5)：在每个像素点的3×3邻域抽取Gabor系数均值和方差作为每个像素点的纹理特征。在每个尺度上可抽取2维Gabor特征，所以在3各尺度上共抽取6维Gabor特征。

所述步骤（7）中，标签层全局特征的抽取方法为：采用神经网络对训练文字区域块中的每个像素点进行分类，得到文字区域的整体粗略类别标签分布，计算每个像素点属于文字类和背景类的概率密度，然后抽取该像素点3×3邻域对于文字类和背景类的概率密度作为标签层全局特征。因此，对于每个像素点可得到2×3×3=18维标签层全局特征。

步骤(7-1）：首先初始化神经网络，神经网络的输入节点数目为图像底层颜色、纹理特征的数目，共12维；输出结点数目为该像素属于文本和非文本的条件概率密度，为2维；隐层节点数为15；初始化权值采用-1和+1之间的随机数。

步骤(7-2）：用训练样本训练神经网络，求出神经网络的参数。

步骤(7-3）：用训练好的神经网络对样本中的每个像素点进行分类，得到像素点属于文字类和背景类的概率密度。

步骤(7-4)：对于每个像素点，统计其3×3邻域对于文字类和背景类的概率密度作为标签层全局特征。因此，对于每个像素点可得到2×3×3=18维标签层全局特征。

所述步骤（10）中，第一级文字分割中所用的分类器的训练步骤是：

将30维特征作为输入的学习样本，则用于第一级分类的条件随机场模型可表示为：

$P\left(Y\right|X,L)=\frac{1}{Z}\exp [\underset{i\∈S}{\mathrm{\Σ}}{V}_i(y_i,X)+\underset{i\∈S}{\mathrm{\Σ}}\underset{j\∈N_i}{\mathrm{\Σ}}{V}_{\mathrm{ij}}(y_i,y_j,X)+\underset{i\∈S}{\mathrm{\Σ}}\underset{j\∈N_i}{\mathrm{\Σ}}{G}_{\mathrm{ij}}(y_i,y_j,L)]$

其中，V_i(y_i,X)为图像底层一元势函数，V_ij(y_i,y_j,X)为图像底层二元势函数，G_ij(y_i,y_j,L)为标签层二元势函数。i,j为图像的像素点位置，y_i,y_j分别为图像像素点位置i,j处的类别标签，X为图像低层的特征向量，L为标签层的特征向量，Y为图像的类别标签，S为图像中所用像素点集合，N_i为像素点i的邻域像素集合，P(Y|X,L)为图像的类条件概率密度。

其中，

$V_i(y_i,X)=\log \left(y_i\right|f_i\left(X\right))\log \left(\frac{1}{1+e^{-\left(y_i{w}^T{f}_i\left(X\right)\right)}}\right)$

$=\log \left(\mathrm{\σ}\left(y_i{w}^T{f}_i\left(X\right)\right)\right)---\left(1\right)$

其中， $\mathrm{\σ}\left(y_i{w}^T{f}_i\left(X\right)\right)=1/(1+e^{-\left(y_i{w}^T{f}_i\left(X\right)\right)}),$ y_i为像素位置i处的类别标签，ω为参数向量，ω＝(α₀,ω₁,ω₂,…ω_n)，n为底层特征向量的维数，α₀是一偏置值，f_i(X)为像素点i处的特征向量，第一个值为1与偏置参数α₀对应。

V_ij(y_i,y_j,X)＝y_iy_jv^Tu_ij(X)            （2）

其中，y_i和y_j为像素点i和j的类别标签，v＝[α₁,v₁,v₂…v_n]^T为参数向量，n为底层特征向量的维数，α₁为偏置值，

第一个值为1与偏置值α₁相对应。

表示像素点对i和j的特征向量，

其中，f_i(X)和f_j(X)分别为像素点i、j的特征向量，d_ij表示像素点位置i、j底层特征向量的距离。

G_ij(y_i，y_j，L)＝y_iy_jγ^Tg_ij(L)         （3）

其中，y_i和y_j为像素点i和j的类别标签，γ＝[α₂,γ₁,γ₂…γ_m]^T为参数向量，m为标签层全局特征向量的维数，α₂为偏置值，g_ij(L)＝[1,δ_ij(L)]^T,δ_ij(L)定义为两位置之间向量之间的距离，即

δ_ij(L)＝||d′_ij||＝||f′_i(L)-f′_j(L)||

f′_i(L),f′_j(L)分别为位置点i,j的标签域特征向量，d′_ij为图像位置点i,j的标签域特征向量之间的距离。

分类器训练的目的就是在给定一组训练样本的情况下，寻找势函数中最优的参数向量θ＝(ω，v,γ)，ω，v,γ分别为式（1）、（2）、（3）中的参数。给定训练集D＝{x^k,l^k,y^k}，

样本是相互独立的，其中x^k是第k个训练样本的底层特征，l^k为第k个训练样本的标签层特征，y^k是x^k的类别标签，N是训练样本的数量。

采用极大似然估计方法，对参数θ＝(ω，v,γ)进行估计：

${\mathrm{\θ}}^{*}=\underset{\mathrm{\θ}}{\arg \max }\left\{\log \left(\underset{k=1}{\overset{N}{\mathrm{\Π}}}P\left(y^k\right|x^k,l^k,\mathrm{\θ})\right)\right\}$

其中θ^*为采用极大似然估计方法估计的参数。

最大似然估计的任务就是使用对数似然函数L(θ)来估计参数θ＝(ω，v,γ)的值，L(θ)表达式为

$L\left(\mathrm{\θ}\right)=\left\{\log \left(\underset{k=1}{\overset{N}{\mathrm{\Π}}}P\left(y^k\right|x^k,\mathrm{\θ})\right)\right\}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\log \left(P\left(y^k\right|x^k,l^k,\mathrm{\θ})\right)$

使得该训练样本集的似然函数达到最大：

${\mathrm{\θ}}_{\mathrm{ML}}=\underset{\mathrm{\θ}}{\arg \max }\left\{\underset{k=1}{\overset{N}{\mathrm{\Π}}}P\left(y^k\right|x^k,l^k,\mathrm{\θ})\right\}$

其中θ_ML为使用对数似然函数估计出的参数。

所述步骤（11）中，利用第一级分割的分类器对文字进行粗分割步骤是：将步骤（9）训练出的模型参数带入模型中，根据式

求每个像素点的最大边缘后验概率，式中Y_i表示像素点位置i处的分类标签，Y_i∈(0,1)，0表示背景类，1表示文字类，X为图像底层特征，L为图像标签层全局特征，然后根据最大边缘后验概率判断每个像素点的属于文字类还是背景类，最后得到文字区域图像的第一级粗分割结果。

所述步骤（13）中，抽取连通元特征，然后采用阈值分类器删除背景连通元，实现文字区域的第二级分割，所用到的文字连通元与背景连通元在尺度、颜色方面的特性差异特征包括：连通元的尺寸，连通元投影，连通元边界颜色渐变情况。

所用到的文字连通元与背景连通元在尺度、颜色方面的特性差异特征包括：检查其尺寸和位置，将尺寸明显超出字符及其笔画的尺寸范围的连通分量作为背景去掉；通过投影，将位置较偏、落在文字块的边界附近从而不可能是文字笔画的连通分量也去掉。根据连通分量的边界上的像素在原文字块中发生颜色跳变的剧烈程度，来去除一部分在原文字块中处于颜色渐变区域中的残余背景连通分量。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种复杂背景图像文字分割方法，其特征是，主要包括以下步骤：进行图像读取；对读取的图像进行文字区域读取；对读取的文字区域进行底层颜色特征抽取；对抽取过底层颜色特征的文字区域进行底层纹理特征抽取；对抽取出来的文字区域的底层颜色特征和底层纹理特征进行融合得到文字区域的底层局部特征；对文字区域的底层局部特征进行粗分类，然后在粗分类的结果上抽取文字区域的标签层全局特征；将文字区域的底层局部特征与文字区域的标签层全局特征进行融合得到文字区域所有像素的特征向量；对文字区域中所有像素特征向量进行训练得到用于第一级文字分割的分类器；用训练好的分类器对图像的特征分类，实现第一级文字分割；对第一级分割的结果进行连通元标定；抽取连通元特征，利用文字连通元与背景连通元的特征差异，进行连通元筛选，去除背景连通元，实现第二级文字分割；输出文字分割结果。

2.如权利要求1所述的一种复杂背景图像文字分割方法，其特征是，具体步骤如下：

步骤（1）：开始，读取图像；

步骤（2）：将图像中的文字区域块提取出来，并将文字块保存到相应位置；

步骤（3）：判断是否所有的文字区域块提取完成，如果提取完成则进入步骤（4）；如果未提取完成返回步骤（2）；

步骤（4）：在RGB颜色空间抽取文字区域块中每个像素点的颜色特征，得到6维局部颜色特征；如果所有像素点的颜色特征抽取完毕就进入步骤（5）；

步骤（5）：抽取文字区域块中每个像素点的纹理特征：首先将文字块转换为灰度图像，然后在灰度图像上抽取Gabor纹理特征，每个像素点得到6维纹理特征；

步骤（6）：将6维颜色特征和6维纹理特征进行特征融合，得到12维图像底层局部特征；

步骤（7）：提取文字区域块的标签层全局特征：将步骤（6）得到的12维图像底层局部特征送入分类器训练，用训练好的分类器分别对文字区域块中的每个像素点进行分类，得到文字区域整体的粗略类别标签分布，计算每个像素点属于文字类和背景类的概率密度，然后抽取每个像素点3×3邻域属于文字类和背景类的概率密度作为标签层全局特征，每个像素点共得到18维标签层全局特征，如果所有的像素点标签层全局特征抽取完毕就进入步骤（8）；

步骤（8）：判断是否所有像素点特征计算是否完成，如果完成则进入步骤（9）；如果未完成则返回步骤（4）；

步骤（9）：将12维图像底层局部特征和18维标签层全局特征进行融合，每个像素点得到一个30维的特征向量；

步骤（10）：利用条件随机场模型对文字块中每个像素点30维特征进行训练，得到用于第一级分割的分类器；

步骤（11）：采用步骤（10）得到的分类器对文字区域中的像素进行分类，将文字区域块中的像素分为文字类和背景类，得到二值化的分割图像，实现文字区域的第一级粗分割；

步骤（12）：对二值化的粗分割图像进行连通元标定，采用4连通标定法；

步骤（13）：对步骤（12）标定好的每个连通元，抽取连通元特征，然后采用阈值分类器删除背景连通元，实现文字区域的第二级分割；

步骤（14）：输出文字分割结果。

3.如权利要求2所述的一种复杂背景图像文字分割方法，其特征是，所述步骤（4）的颜色特征抽取方法为：

首先将图像分解为R、G、B三个颜色通道，对每个像素点抽取相应的R、G、B颜色分量和8邻域像素R、G、B三个分量的均值。

4.如权利要求2所述的一种复杂背景图像文字分割方法，其特征是，所述步骤（5）的Gabor纹理特征的抽取方法是：

在文字区域块的灰度图像上用一组同一频率不同方向不同尺度的Gabor滤波器进行滤波，然后将滤波后的图像按照公式

进行合并，其中，i表示尺度，j表示方向，gaborⁱ表示尺度i的合并Gabor滤波图像，

表示尺度i方向j上的Gabor滤波图像，然后在滤波后的合并图像上抽取相应的纹理特征，抽取每个像素点3×3邻域Gabor系数的均值和方差作为每个像素点的纹理特征。

5.如权利要求2所述的一种复杂背景图像文字分割方法，其特征是，所述步骤（7）中，标签层全局特征的抽取方法为：采用神经网络对训练文字区域块中的每个像素点进行分类，得到文字区域整体的粗略类别标签分布，计算每个像素点属于文字类和背景类的概率密度，然后抽取该像素点3×3邻域属于文字类和背景类的概率密度作为标签层全局特征。

6.如权利要求2所述的一种复杂背景图像文字分割方法，其特征是，所述步骤（10）中，第一级文字分割的分类器采用的是条件随机场模型；所述分类器训练采用极大似然估计方法，对模型中的参数进行估计。

7.如权利要求2所述的一种复杂背景图像文字分割方法，其特征是，所述步骤（11）中，利用第一级文字分割分类器对文本进行粗分割步骤是：将步骤（10）训练出的模型参数带入第一级文字分割的分类器中，根据式

求每个像素点的最大边缘后验概率，式中Y_i表示像素点位置i处的类别标签，Y_i∈(0,1)，0表示背景类，1表示文字类，X为图像底层特征，L为图像标签层全局特征，然后根据最大边缘后验概率判断每个像素点的属于文字类还是背景类，最后得到文字区域图像的第一级分割结果。

8.如权利要求2所述的一种复杂背景图像文字分割方法，其特征是，所述步骤（13）中，抽取连通元特征，然后采用阈值分类器删除背景连通元，实现文字区域的第二级分割，所用到的文字连通元与背景连通元在尺度、颜色方面的特性差异特征包括：连通元的尺寸、连通元投影、连通元边界颜色渐变情况。

Images