CN102208022A - 遮挡字符恢复装置及其方法、遮挡字符识别装置及其方法 - Google Patents

Abstract

本发明公开了一种遮挡字符恢复装置及其方法、以及一种遮挡字符识别装置及其方法。根据本发明的遮挡字符恢复方法包括：根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；在包括目标字符的输入图像的目标区域中标记源区域；针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；提取要被填充的输入图像的前景的边界；针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及如果前景没有全部填充完毕，则重复执行提取要被填充的输入图像的前景的边界及随后的处理。

Description

遮挡字符恢复装置及其方法、遮挡字符识别装置及其方法

技术领域

本发明一般地涉及字符识别。具体而言，本发明涉及一种遮挡字符恢复装置及其方法、以及一种遮挡字符识别装置及其方法。

背景技术

对于光学字符识别(OCR，Optical Character Recognition)引擎来说，遮挡字符的识别是其中最难解决的问题之一。典型的例子是文档图像中可见的水印字符，经常被前景内容遮挡，因此OCR引擎很难对其进行识别。例如，如图1所示，由于前景的遮挡，很难直接由OCR引擎提取并准确识别水印中的文字“关系者外秘”。

另外，随着数字照相机的普及并且功能越来越多，更多的遮挡情形对OCR提出了更严峻的挑战。例如，现在更加频繁地将照相机用作便携式“扫描仪”，以便从硬拷贝文档、书本、报纸、以及标语、海报和其他媒介等中捕获文本。此时，经常会由于光线不均匀、不期望的或存在的遮挡物体、甚至照相机内部处理的影响，导致出现文本被遮挡，由此对OCR引擎提出了挑战。

为此，需要一种能够对遮挡的字符进行识别的技术。

发明内容

有鉴于此，本发明提出了一种遮挡字符恢复装置及其方法、以及一种遮挡字符识别装置及其方法，能够对遮挡的字符进行恢复，从而能够提高遮挡字符的识别准确率。

为了实现上述目的，根据本发明的一个方面，提供了一种遮挡字符恢复方法包括：根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；在包括目标字符的输入图像的目标区域中标记源区域；针 对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；提取要被填充的输入图像的前景的边界；针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及如果前景没有全部填充完毕，则重复执行提取要被填充的输入图像的前景的边界及随后的处理。

优选地，按照下式计算填充优先权P(p)

P(p)＝R(p)*W(p)*C(p)

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}$

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\}$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量，以及N_gv表示要被填充的图像块内部的不同梯度向量的数量。

在一个具体实施例中，图像块尺寸按照公式 计算，SW表示目标字符的笔划宽度。

根据本发明一个优选实施例，在包括目标字符的输入图像的目标区域中标记源区域包括：生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模；生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标区域的第二掩模；以及提取第一掩模和第二掩模的重叠区域作为源区域。

根据本发明一个优选实施例的遮挡字符恢复方法还包括压缩输入图像和/或筛减参考图像块。

根据本发明另一个实施例的遮挡字符恢复方法还包括：提取目标字符的轮廓像素；根据提取的轮廓像素捕获目标字符的线段；根据捕获的线段选择假想为一个笔划的成对线的平行线段；根据选择的平行线段连接共线 线段为平行线对；以及使用目标字符的灰度值填充每对平行线对限定的区域。

根据本发明另一个优选实施例的遮挡字符恢复方法还包括：根据捕获的线段估计目标字符的笔划宽度；以及估计目标字符在投影轴上的字符宽度和字符高度。其中，所述选择的平行线段在Hough变换域中应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，θ表示线的旋转角度，ρ表示线到零点的距离，a＊SW和b＊SW为阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景；以及所述共线线段应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及|ρ1-ρ2|小于阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。

根据本发明的另一个方面，提供一种遮挡字符识别方法，包括：分割输入图像中的文本区域为要被识别的目标字符、背景和前景；上面所述的方法恢复文本区域中要被识别的遮挡字符；以及识别恢复的字符。

根据本发明一个优选实施例的遮挡字符识别方法，还包括从文本区域中提取包含要被识别的目标字符的目标区域。

在一个具体实施例中，从文本区域中提取包含要被识别的目标字符的目标区域包括：提取目标字符的轮廓像素；在水平方向θ和垂直方向(90-θ)上对轮廓像素执行Hough变换，其中θ表示目标字符的旋转角度；沿着水平方向θ和垂直方向(90-θ)求出Hough变换中的最小和最大距离值ρ_b1、ρh_2、ρ_v1和ρ_v2；使用四条线(ρ_h1，90-θ)、(ρ_h2，90-θ)、(ρ_v1，θ)和(ρ_v2，θ)计算四个角；以及剪切出覆盖四个角的区域作为目标区域。

根据本发明的再一个方面，提供了一种遮挡字符恢复装置，包括：图像块尺寸计算单元，配置为根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；源区域标记单元，配置为在包括目标字符的输入图像的目标区域中标记源区域；参考图像块生成单元，配置为针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；边界提取单元，配置为提取要被填充的输入图像的前景的边界；填充优先权计算单元，配置为针对前景边界上的每一个像素，根 据以该像素为中心的图像块的复杂度，计算填充优先权；前景填充单元，配置为使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及判断单元，配置为如果前景没有全部填充完毕，则重复执行边界提取单元、填充优先权计算单元、以及前景填充单元的处理。

优选地，其中填充优先权计算单元按照下式计算填充优先权P(p)

P(p)＝R(p)*W(p)*C(p)

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}$

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\}$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量，以及N_gv表示要被填充的图像块内部的不同梯度向量的数量。

根据本发明的一个具体实施例的遮挡字符恢复装置，其中图像块尺寸计算单元按照公式 

计算图像块尺寸，SW表示目标字符的笔划宽度。

根据本发明的另一个具体实施例的遮挡字符恢复装置，其中源区域标记单元生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模、生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标区域的第二掩模、并且提取第一掩模和第二掩模的重叠区域作为源区域。

根据本发明一个优选实施例的遮挡字符恢复装置还包括：压缩单元，配置为压缩输入图像；以及筛减单元，配置为筛减参考图像块。

根据本发明另一个优选实施例的遮挡字符恢复装置包括：轮廓像素提取单元，配置为提取目标字符的轮廓像素；线段捕获单元，配置为根据提取的轮廓像素捕获目标字符的线段；平行线段选择单元，配置为根据捕获的线段选择假想为一个笔划的成对线的平行线段；共线线段连接单元，配置为根据选择的平行线段连接共线线段为平行线对；以及区域填充单元， 配置为使用目标字符的灰度值填充每对平行线对限定的区域。

优选地，根据本发明的一个实施例的遮挡字符恢复装置还包括：笔划宽度估计单元，配置为根据捕获的线段估计目标字符的笔划宽度；以及尺寸范围估计单元，配置为估计目标字符在投影轴上的字符宽度和字符高度。其中，所述选择的平行线段在Hough变换域中应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，θ表示线的旋转角度，ρ表示线到零点的距离，a＊SW和b＊SW为阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景；以及所述共线线段应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及|ρ1-ρ2|小于阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。

根据本发明的又一个方面，提供了一种遮挡字符识别装置，包括：分割单元，配置为分割输入图像中的文本区域为要被识别的目标字符、背景和前景；如上所述的遮挡字符恢复装置；以及字符识别单元，配置为识别恢复的字符。

根据一个实施例的遮挡字符识别装置还包括目标区域提取单元，配置为从文本区域中提取包含要被识别的目标字符的目标区域。

在一个具体实施例中，目标区域提取单元提取目标字符的轮廓像素；在水平方向θ和垂直方向(90-θ)上对轮廓像素执行Hough变换，其中θ表示目标字符的旋转角度；沿着水平方向θ和垂直方向(90-θ)求出Hough变换中的最小和最大距离值ρ_h1、ρ_h2、ρ_v1和ρ_v2；使用四条线(ρ_h1，90-θ)、(ρ_h2，90-θ)、(ρ_v1，θ)和(ρ_v2，θ)计算四个角；以及剪切出覆盖四个角的区域作为目标区域。

另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述遮挡字符恢复方法和遮挡字符识别方法。

此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产 品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述遮挡字符恢复方法和遮挡字符识别方法。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中：

图1示出被前景遮挡的水印文字的示例；

图2示出根据本发明一个实施例的遮挡字符恢复方法的处理流程图；

图3示出标记的源区域的一个实例；

图4(a)至4(d)示出图像块的复杂度示例；

图5(a)至5(c)示出图像块尺寸大小对遮挡字符恢复质量的影响示例；

图6示出根据本发明另一个实施例的遮挡字符恢复方法的处理流程图；

图7示出要被恢复的遮挡字符的一个实例；

图8示出根据本发明的一个实施例所提取的目标字符的轮廓像素的具体示例；

图9示出根据本发明的一个实施例所捕获的字符线段的具体示例；

图10示出根据本发明的一个实施例用于估计目标字符尺寸的具体示例；

图11示出根据本发明的一个实施例用于判断两条线段之间的像素归属的具体示例；

图12示出根据本发明的一个实施例所选择的平行线段的具体示例；

图13示出根据本发明的一个实施例连接共线线段的具体示例；

图14示出根据本发明的一个实施例填充目标字符的平行线段之间的区域的具体示例；

图15(a)示出根据本发明的一个具体示例在目标字符填充之前的示意 图；

图15(b)示出根据本发明的一个具体示例在目标字符填充之后的示意图；

图16示出根据本发明的一个实施例的遮挡字符识别方法的处理流程图；

图17示出根据本发明的一个实施例的目标字符提取原理的具体示意图；

图18(a)至18(e)示出根据本发明的一个实施例要被识别的遮挡字符的具体示例、以及由图16的流程图所示的每一个步骤执行后的处理结果的具体示例；

图19示出根据本发明一个实施例的遮挡字符恢复装置的方框图；

图20示出根据本发明另一个实施例的遮挡字符恢复装置的方框图；

图21示出根据本发明一个实施例的遮挡字符识别装置的方框图；以及

图22示出用于实施根据本发明的遮挡字符恢复方法和遮挡字符识别方法的信息处理设备的结构方块图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。另外，还需要指出的是，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。

下面将结合附图详细说明根据本发明的具体实施例如何实现遮挡字符的恢复及识别，例如将图1中所示的水印分离、恢复并加以识别。

首先参照图2，示出根据本发明一个实施例的遮挡字符恢复方法的处理流程图。如图2所示，根据该实施例的遮挡字符恢复方法包括输入图像压缩步骤S210、图像块尺寸计算步骤S220、源区域标记步骤S230、参考图像块生成步骤S240、参考图像块筛减步骤S250、边界提取步骤S260、填充优先权计算步骤S270、前景填充步骤S280、以及判断块S290。

为了加快处理速度，根据本发明的一个实施例在步骤S210中将输入图像进行压缩。压缩输入图像的方法可以采用本领域公知的任何常用技术，只要保证压缩后的图像的大小合适并且笔划宽度足够即可。当然，该输入图像压缩步骤S210不是必需的，也可以不对输入图像进行压缩，而直接从图像块尺寸计算步骤S220开始流程处理。

在图像块尺寸计算步骤S220中，根据包括要被恢复的遮挡字符(也就是要被识别的遮挡字符)在内的目标字符的笔划宽度计算图像块尺寸。试验表明，采用不同的图像块尺寸，会对最后的恢复结果带来不同的影响。图5(a)至5(c)示出图像块尺寸大小对遮挡字符恢复质量的影响示例。如图所示，图5(a)为原始输入的带有遮挡的图像，图5(b)示出当选择7×7的图像块尺寸时的恢复结果，而图5(c)则示出选择17×17的图像块尺寸时的恢复结果。可以看出，对于相同尺寸大小的文本图像，在选择不同的图像块尺寸时，恢复效果明显不同。

优选地，根据本发明的一个具体实例，可以按照公式 

计算图像块尺寸S，SW表示目标字符的笔划宽度。按照该实施例计算的图像块尺寸可以相对最佳地恢复被遮挡的字符。

在确定了图像块尺寸之后，就可以在源区域标记步骤S230中，从包括目标字符的输入图像的目标区域中标记源区域。具体地说，根据本发明的一个实施例，首先生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模，然后生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标区域的第二掩模，最后提取第一掩模和第二掩模的重叠区域作为源区域。图3示出根据本发明的一个具体实施例按照上述方法所标记出的源区域的一个实例。

接下来，参考图像块生成步骤S240中，针对在步骤S230所标记的源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个 参考图像块的中心，参考图像块的图像块尺寸可以选择在步骤S220中所计算的图像块尺寸的大小。

如果生成的参考图像块过多并且相似的图像块较多的话，可以在参考图像块筛减步骤S250中对步骤S240中生成的参考图像块进行筛减，将那些相似度高的参考图像块合并为一个参考图像块，从而节省存储空间并且提高下面将要描述的前景填充时的搜索速度。当然，也可以跳过参考图像块筛减步骤S250而直接执行下面的边界提取步骤S260。

然后在边界提取步骤S260中，提取要被填充的输入图像的前景的边界。接着在填充优先权计算步骤S270中，针对边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权。

接下来，在前景填充步骤S280中，针对具有最高优先权的像素，从参考图像块中搜索最相似的图像块，将搜索到的图像块复制到以该具有最高优先权的像素为中心的图像块，并更新填充后的前景边界。在搜索参考图像块时，可以按照现有技术的任何常用方法，比如欧氏距离等，来搜索与要被填充的图像块最相似的参考图像块。

之后，在判断块S290中判断整个前景是否已经填充完毕。如果尚有没有填充的前景边界，则处理流程返回边界提取步骤S260并顺序执行随后的处理。

另外，如果在判断块S290中判断整个前景已经填充完毕，则结束整个处理流程。

根据本发明的具体实施例，主要基于图像块结构的复杂度来确定填充顺序，这是由于在填充时的重构误差会从前面填充的区域一直传递到随后要填充的区域。因此，最好先重构那些具有较低可能性引入误差的图像块，然后逐级填充需要重构的图像块，从而使最后重构完的字符具有最小的误差。而且，与具有复杂结构的图像块相比，更容易为具有简单结构的图像块从参考图像块中搜索到正确的相似参考图像块。图4(a)至4(d)分别示出了具有不同复杂度的图像块。可以看出，从图4(a)至4(d)图像块的复杂度逐步增加，越简单的图像块也就越接近于基本笔划元素。另一方面，具有复杂结构的图像块其内部体现出一致的特征。

如上所述，重构具有简单结构的图像块通常引入较小的误差，因此根据本发明的具体实例使用测量结构复杂度的因子来影响填充优先权。在此，用图像块的不同边缘方向的种类来定义复杂度，并且如下面的公式(1) 所示，根据图像块内部的不同梯度向量的数量N_gv来计算复杂度C(p)。

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\}---\left(1\right)$

此外，为了减少计算复杂度，根据本发明的一个具体实例，应用下面的公式(2)所示的简单算式来计算填充优先权P(p)。

P(p)＝R(p)*W(p)*C(P)    (2)

公式(2)中的R(p)和W(p)项构成置信因子，并且分别根据下面的公式(3)和(4)来计算。

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}---\left(3\right)$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}---\left(4\right)$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量。这里，置信因子R(p)和W(p)分别测量图像块内部背景像素和要填充的目标字符像素所占的比例，并且将内部没有要填充的目标字符像素的图像块的置信因子设为0，从而能够在不影响重构结果的前提下提高处理速度。

这里还需要指出的是，上面的公式(2)所示的优先权计算公式仅仅作为示例，在实际应用中可以根据不同的情况应用不同的加权因子来对复杂度C(p)进行加权，从而实现相应的技术效果。

根据上面所述的本发明的遮挡字符恢复方法，按照图像块结构的复杂度来确定填充顺序，从而避免了由于不正确的填充顺序所导致的明显重构误差。另外，根据本发明的上述实施例的遮挡字符恢复方法，还基于要恢复的遮挡字符的笔划宽度来确定图像块尺寸的大小，从而针对不同的字体能够使用最佳尺寸的匹配图像块来进行填充，由此达到最佳的重构效果。

这里再次需要强调的是，根据该实施例的遮挡字符恢复方法来说，输入图像压缩步骤S210和参考图像块筛减步骤S250并不是必需的，而是可以根据系统性能和实际需求来进行取舍。

下面将结合图6至图15描述根据本发明另一个实施例的遮挡字符恢 复方法的原理。图6示出根据该实施例的遮挡字符恢复方法的处理流程图，图7示出要被恢复的遮挡字符的一个实例。

在此以图7所示的要被恢复的遮挡字符的一个具体实例为例详细说明图6所示的遮挡字符处理的过程。

如图6所示，根据该实施例的遮挡字符恢复方法包括字符轮廓像素提取步骤S610、字符线段捕获步骤S620、字符笔划宽度估计步骤S630、字符大小范围估计步骤S640、平行线段选择步骤S650、共线线段连接步骤S660、以及区域填充步骤S670。

在字符轮廓像素提取步骤S610中，提取目标字符的轮廓像素。如图8所示，示出提取图7所示的目标字符的轮廓像素。

然后，在字符线段捕获步骤S620，基于Hough变换的结果，根据提取的轮廓像素捕获目标字符在水平方向θ和垂直方向(90-θ)上的线段。并且，在字符笔划宽度估计步骤S630使用两个相邻线段之间的最接近距离的平均值来粗略估算目标字符的笔划宽度。如图9所示，示出对图8所示的目标字符的轮廓像素所捕获的字符线段，图中方框内的部分为需要恢复的部分，即感兴趣的线段。

接着，在字符大小范围估计步骤S640中，估计目标字符的尺寸范围，也就是估计目标字符在投影轴上的字符宽度和字符高度。如图10所示，示出根据本发明的一个实施例用于估计目标字符尺寸的具体示例，图中所示w为字符在水平轴上投影的字符宽度，而h为字符在垂直轴上投影的字符高度。

这里需要指出的是，上面所述的字符笔划宽度估计步骤S630和字符大小范围估计步骤S640对于根据该实施例的遮挡字符恢复方法并不是必需的，而是可以跳过这两个步骤，在执行字符线段捕获步骤S620之后，直接执行接下来的平行线段选择步骤S650。

在平行线段选择步骤S650中，根据捕获的线段选择平行线段，所选择的平行线段可以假想为一个笔划的成对线。

根据本发明的一个具体实例，如果已经知道了笔划宽度和字符高度，则可以按照以下三个规则来选择平行线段。在Hough变换域中，对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，θ表示线的旋转角度，ρ表示线到零点的距离，规则1)满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，这里a＊SW和b＊SW为阈值，比如分别为1.5＊SW和0.5＊SW；规则2)对于水平线 段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及规则3)两个线段之间的像素位于笔划内部而不是背景。图11具体示出根据本发明的一个实施例如何对像素的归属进行判断。如图11所示，可以通过检查所选择的像素是否位于两条平行线段上的各点之间的连线上来进行判断。另外，图12具体示出根据本发明的一个实施例在图9所示的感兴趣的线段中所选择的平行线段的示意图。

接下来，在共线线段连接步骤S660中，根据选择的平行线段连接共线线段为平行线对。

同样，根据本发明的一个具体实例，在获取笔划宽度和字符高度之后，可以按照以下三个规则来选择平行线段。在Hough变换域中，对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，θ表示线的旋转角度，ρ表示线到零点的距离，规则1)满足θ1＝θ2以及|ρ1-ρ2|小于阈值，比如1；规则2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及规则3)两个线段之间的像素位于笔划内部而不是背景。图13示出根据本发明的一个实施例在对图12所示的平行线段进行共线线段连接之后的示例结果。

最后，在区域填充步骤S670中，使用目标字符的灰度值填充每对平行线对限定的区域。如图图14所示，示出根据本发明的一个实施例填充目标字符的平行线段之间的区域的具体示例。

在完成上述处理之后，可以将遮挡的目标字符的部分笔划恢复，从而方便随后的字符识别处理，以提高识别的准确率。如图15所示，图15(a)示出了根据本发明的一个具体示例在目标字符填充之前的示意图，而图15(b)示出根据本发明的一个具体示例在目标字符填充之后的示意图。

以上结合附图详细描述了根据本发明的两个具体实施例的遮挡字符恢复方法。当然，可以根据需要，将这两个遮挡字符恢复方法结合起来使用，从而达到更好的恢复效果，以便接下来更精确地实现遮挡字符的高效识别。

图16示出根据本发明的一个实施例的遮挡字符识别方法的处理流程图。如图16所示，根据该实施例的遮挡字符识别方法包括图像文本区域分割步骤S1610、目标区域提取步骤S1620、字符笔划恢复步骤S1630、 以及字符识别步骤S1640。

在图像文本区域分割步骤S1610中，对输入图像进行检测、分割和量化，从而将输入图像中的文本区域分割为要被识别的目标字符、背景和前景。在该步骤中，首先定位输入图像中的文本区域。这可以根据文本字符的区别特征例如垂直边缘灰度值、纹理或边缘方向变化等来进行检测。有关文本区域检测的研究工作已经进行的相当深入，而且这也不是本发明的重点所在，因此在此略去其详细描述。接着，可以进行必要的特定图像调整处理，以便生成期望的图像。例如，可以进行图像歪斜矫正处理、去噪声处理、图像放大/缩小处理等等。在执行该步骤之后，将文本区域分割成了目标字符、前景和背景并且分配不同的灰度值。图18(b)示出了在对图18(a)所示的包含要被识别的遮挡字符的输入图像执行该步骤后的结果。

在目标区域提取步骤S1620中，从文本区域中提取包含要被识别的目标字符的目标区域。

在一个具体实施例中，如图17所示，按照下面所述的步骤从文本区域中提取包含要被识别的目标字符的目标区域：提取目标字符的轮廓像素；在水平方向θ和垂直方向(90-θ)上对轮廓像素执行Hough变换，其中θ表示目标字符的旋转角度；沿着水平方向θ和垂直方向(90-θ)求出Hough变换中的最小和最大距离值ρ_h1、ρ_h2、ρ_v1和ρ_v2；使用四条线(ρ_h1，90-θ)、(ρ_h2，90-θ)、(ρ_v1，θ)和(ρ_v2，θ)计算四个角；以及剪切出覆盖四个角的区域作为目标区域。图18(c)示出了对图18(b)所示的图像文本区域进行目标区域提取之后所得到的示例结果。

这里需要指出的是，该目标区域提取步骤S1620对于本发明来说不是必需的。也就是说，可以跳过该步骤，而在图像文本区域分割步骤S1610之后直接跳到下面的字符笔划恢复步骤S1630。

在字符笔划恢复步骤S1630中，按照上面所述的方法恢复文本区域中要被识别的遮挡字符。图18(d)示出了对图18(c)所示的目标区域进行遮挡字符恢复之后所得到的结果。

最后，在字符识别步骤S1640中，对字符笔划恢复步骤S1630恢复后的字符进行识别。图18(e)示出了对图18(d)所示的恢复后的遮挡字符进行识别得到的最终结果。

以上结合附图1至18描述了根据本发明的实施例的遮挡字符恢复方 法和遮挡字符识别方法的处理过程，下面将结合附图19至21说明根据本发明的实施例的遮挡字符恢复装置和遮挡字符识别装置的工作原理。

图19示出根据本发明一个实施例的遮挡字符恢复装置的方框图。如图19所示，根据该实施例的遮挡字符恢复装置包括：压缩单元1910，配置为压缩输入图像；图像块尺寸计算单元1920，配置为根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；源区域标记单元1930，配置为在包括目标字符的输入图像的目标区域中标记源区域；参考图像块生成单元1940，配置为针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；筛减单元1950，配置为筛减参考图像块；边界提取单元1960，配置为提取要被填充的输入图像的前景的边界；填充优先权计算单元1970，配置为针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；前景填充单元1980，配置为使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及判断单元1990，配置为如果前景没有全部填充完毕，则重复执行边界提取单元1960、填充优先权计算单元1970、以及前景填充单元1980的处理。

根据本发明的一个具体实施例的遮挡字符恢复装置，图像块尺寸计算单元1920按照公式 

计算图像块尺寸，这里SW表示目标字符的笔划宽度。

根据本发明的另一个具体实施例的遮挡字符恢复装置，源区域标记单元1930生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模、生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标区域的第二掩模、并且提取第一掩模和第二掩模的重叠区域作为源区域。

同样，填充优先权计算单元1970可以按照下式计算填充优先权P(p)

P(p)＝R(p)*W(p)*C(p)

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}$

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\}$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量，以及N_gv表示要被填充的图像块内部的不同梯度向量的数量。

由于在根据该实施例的遮挡字符恢复装置所包括的压缩单元1910、图像块尺寸计算单元1920、源区域标记单元1930、参考图像块生成单元1940、筛减单元1950、边界提取单元1960、填充优先权计算单元1970、以及前景填充单元1980中的处理分别与上面参照图2至图5描述的遮挡字符恢复方法的第一实施例所包括的输入图像压缩步骤S210、图像块尺寸计算步骤S220、源区域标记步骤S230、参考图像块生成步骤S240、参考图像块筛减步骤S250、边界提取步骤S260、填充优先权计算步骤S270、以及前景填充步骤S280中的处理类似，因此为了简洁起见，在此省略这些单元中的详细描述。

这里同样需要指出的是，上述压缩单元1910和筛减单元1950对于实现本发明该实施例的遮挡字符恢复装置并不是必需的，而是可以根据实际需要进行取舍。

图20示出根据本发明另一个实施例的遮挡字符恢复装置的方框图。如图20所示，根据该实施例的遮挡字符恢复装置包括：轮廓像素提取单元2010，配置为提取目标字符的轮廓像素；线段捕获单元2020，配置为根据提取的轮廓像素捕获目标字符的线段；笔划宽度估计单元2030，配置为根据捕获的线段估计目标字符的笔划宽度；尺寸范围估计单元2040，配置为估计目标字符在投影轴上的字符宽度和字符高度；平行线段选择单元2050，配置为根据捕获的线段选择假想为一个笔划的成对线的平行线段；共线线段连接单元2060，配置为根据选择的平行线段连接共线线段为平行线对；以及区域填充单元2070，配置为使用目标字符的灰度值填充每对平行线对限定的区域。

类似地，所选择的平行线段在Hough变换域中应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，θ表示线的旋转角度，ρ表示线到零点的距离，a＊SW和b＊SW为阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距 离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。共线线段也应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及|ρ1-ρ2|小于阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。

由于在根据该实施例的遮挡字符恢复装置所包括的轮廓像素提取单元2010、线段捕获单元2020、笔划宽度估计单元2030、尺寸范围估计单元2040、平行线段选择单元2050、共线线段连接单元2060、以及区域填充单元2070中的处理分别与上面参照图6至图15描述的遮挡字符恢复方法的第二实施例所包括的字符轮廓像素提取步骤S610、字符线段捕获步骤S620、字符笔划宽度估计步骤S630、字符大小范围估计步骤S640、平行线段选择步骤S650、共线线段连接步骤S660、以及区域填充步骤S670中的处理类似，因此为了简洁起见，在此省略这些单元中的详细描述。

同样，这里需要指出的是，笔划宽度估计单元2030和尺寸范围估计单元2040对于该实施例的遮挡字符恢复装置也不是必需的，而是可以根据设计要求和实际情况进行选用。

当然，与上面的方法类似，也可以根据需要，将这两个遮挡字符恢复装置结合起来使用，从而达到更好的恢复效果，以便接下来更精确地实现遮挡字符的高效识别。

图21示出根据本发明一个实施例的遮挡字符识别装置的方框图。如图21所示，根据该实施例的遮挡字符识别装置包括：分割单元2110，配置为分割输入图像中的文本区域为要被识别的目标字符、背景和前景；目标区域提取单元2120，配置为从文本区域中提取包含要被识别的目标字符的目标区域；如上所述的遮挡字符恢复装置2130；以及字符识别单元2140，配置为识别恢复的字符。

类似地，在一个具体实施例中，目标区域提取单元2120提取目标字符的轮廓像素；在水平方向θ和垂直方向(90-θ)上对轮廓像素执行Hough变换，其中θ表示目标字符的旋转角度；沿着水平方向θ和垂直方向(90-θ)求出Hough变换中的最小和最大距离值ρ_h1、ρ_h2、ρ_v1和ρ_v2；使用四条线(ρ_h1，90-θ)、(ρ_h2，90-θ)、(ρ_v1，θ)和(ρ_v2，θ)计算四个角；以及剪切出覆盖四个角的区域作为目标区域。

由于在根据该实施例的遮挡字符识别装置所包括的分割单元2110、目标区域提取单元2120、遮挡字符恢复装置2130、以及字符识别单元2140中的处理分别与上面参照图16至图18描述的遮挡字符识别方法所包括的图像文本区域分割步骤S1610、目标区域提取步骤S1620、字符笔划恢复步骤S1630、以及字符识别步骤S1640中的处理类似，因此为了简洁起见，在此省略这些单元中的详细描述。

这里同样需要指出的是，目标区域提取单元2120对于实现本发明的遮挡字符识别装置也不是必需的，而是可以根据实际需要和设计要求来进行取舍。

此外，这里尚需指出的是，上述装置中各个组成模块、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图22所示的通用计算机1100)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

图22示出用于实施根据本发明的遮挡字符恢复方法和遮挡字符识别方法的信息处理设备的结构方块图。在图22中，中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM 1103中，还根据需要存储当CPU 1101执行各种处理等等时所需的数据。CPU 1101、ROM1102和RAM 1103经由总线504彼此连接。输入/输出接口1105也连接到总线1104。

下述部件连接到输入/输出接口1105：输入部分1106(包括键盘、鼠标等等)、输出部分1107(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1108(包括硬盘等)、通信部分1109(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1109经由网络比如因特网执行通信处理。根据需要，驱动器1110也可连接到输入/输出接口1105。可拆卸介质1111比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1110上，使得从中读出的计算机程序根据需要被安装到存储部分1108中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1111安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图22所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1102、存储部分1108中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

附记

附记1.一种遮挡字符恢复方法，包括：

根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；

在包括目标字符的输入图像的目标区域中标记源区域；

针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；

提取要被填充的输入图像的前景的边界；

针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；

使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及

如果前景没有全部填充完毕，则重复执行提取要被填充的输入图像的前景的边界及随后的处理。

附记2.根据附记1所述的遮挡字符恢复方法，其中按照下式计算填充优先权P(p)

P(p)＝R(p)*W(p)*C(p)

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}$

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\}$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量，以及N_gv表示要被填充的图像块内部的不同梯度向量的数量。

附记3.根据附记1所述的遮挡字符恢复方法，其中图像块尺寸按照公式 

计算，SW表示目标字符的笔划宽度。

附记4.根据附记1所述的遮挡字符恢复方法，其中在包括目标字符的输入图像的目标区域中标记源区域包括：

生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模；

生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标 区域的第二掩模；以及

提取第一掩模和第二掩模的重叠区域作为源区域。

附记5.根据附记1所述的遮挡字符恢复方法，还包括压缩输入图像和/或筛减参考图像块。

附记6.根据附记1至5中任一附记所述的遮挡字符恢复方法，还包括：

提取目标字符的轮廓像素；

根据提取的轮廓像素捕获目标字符的线段；

根据捕获的线段选择假想为一个笔划的成对线的平行线段；

根据选择的平行线段连接共线线段为平行线对；以及

使用目标字符的灰度值填充每对平行线对限定的区域。

附记7.根据附记6所述的遮挡字符恢复方法，还包括：

根据捕获的线段估计目标字符的笔划宽度；以及

估计目标字符在投影轴上的字符宽度和字符高度，

其中，所述选择的平行线段在Hough变换域中应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，θ表示线的旋转角度，ρ表示线到零点的距离，a＊SW和b＊SW为阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景；以及

其中，所述共线线段应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及|ρ1-ρ2|小于阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。

附记8.一种遮挡字符识别方法，包括：

分割输入图像中的文本区域为要被识别的目标字符、背景和前景；

根据附记1至7中任一附记所述的方法恢复文本区域中要被识别的遮挡字符；以及

识别恢复的字符。

附记9.根据附记8所述的遮挡字符识别方法，还包括从文本区域中提取包含要被识别的目标字符的目标区域。

附记10.根据附记9所述的遮挡字符识别方法，其中从文本区域中提取包含要被识别的目标字符的目标区域包括：

提取目标字符的轮廓像素；

在水平方向θ和垂直方向(90-θ)上对轮廓像素执行Hough变换，其中θ表示目标字符的旋转角度；

沿着水平方向θ和垂直方向(90-θ)求出Hough变换中的最小和最大距离值ρ_h1、ρ_h2、ρ_v1和ρ_v2；

使用四条线(ρ_h1，90-θ)、(ρ_h2，90-θ)、(ρ_v1，θ)和(ρ_v2，θ)计算四个角；以及

剪切出覆盖四个角的区域作为目标区域。

附记11.一种遮挡字符恢复装置，包括：

图像块尺寸计算单元，配置为根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；

源区域标记单元，配置为在包括目标字符的输入图像的目标区域中标记源区域；

参考图像块生成单元，配置为针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；

边界提取单元，配置为提取要被填充的输入图像的前景的边界；

填充优先权计算单元，配置为针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；

前景填充单元，配置为使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及

判断单元，配置为如果前景没有全部填充完毕，则重复执行边界提取单元、填充优先权计算单元、以及前景填充单元的处理。

附记12.根据附记11所述的遮挡字符恢复装置，其中填充优先权计算单元按照下式计算填充优先权P(p)

P(p)＝R(p)*W(p)*C(p)

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}$

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\}$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量，以及N_gv表示要被填充的图像块内部的不同梯度向量的数量。

附记13.根据附记11所述的遮挡字符恢复装置，其中图像块尺寸计算单元按照公式 

计算图像块尺寸，SW表示目标字符的笔划宽度。

附记14.根据附记11所述的遮挡字符恢复装置，其中源区域标记单元生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模、生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标区域的第二掩模、并且提取第一掩模和第二掩模的重叠区域作为源区域。

附记15.根据附记11所述的遮挡字符恢复装置，还包括：

压缩单元，配置为压缩输入图像；以及

筛减单元，配置为筛减参考图像块。

附记16.根据附记11至15中任一附记所述的遮挡字符恢复装置，还包括：

轮廓像素提取单元，配置为提取目标字符的轮廓像素；

线段捕获单元，配置为根据提取的轮廓像素捕获目标字符的线段；

平行线段选择单元，配置为根据捕获的线段选择假想为一个笔划的成对线的平行线段；

共线线段连接单元，配置为根据选择的平行线段连接共线线段为平行线对；以及

区域填充单元，配置为使用目标字符的灰度值填充每对平行线对限定 的区域。

附记17.根据附记16所述的遮挡字符恢复装置，还包括：

笔划宽度估计单元，配置为根据捕获的线段估计目标字符的笔划宽度；以及

尺寸范围估计单元，配置为估计目标字符在投影轴上的字符宽度和字符高度，

其中，所述选择的平行线段在Hough变换域中应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，θ表示线的旋转角度，ρ表示线到零点的距离，a＊SW和b＊SW为阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景；以及

其中，所述共线线段应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及|ρ1-ρ2|小于阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。

附记18.一种遮挡字符识别装置，包括：

分割单元，配置为分割输入图像中的文本区域为要被识别的目标字符、背景和前景；

根据附记11至17中任一附记所述的遮挡字符恢复装置；以及

字符识别单元，配置为识别恢复的字符。

附记19.根据附记18所述的遮挡字符识别装置，还包括目标区域提取单元，配置为从文本区域中提取包含要被识别的目标字符的目标区域。

附记20.根据附记19所述的遮挡字符识别装置，其中目标区域提取单元

提取目标字符的轮廓像素；

在水平方向θ和垂直方向(90-θ)上对轮廓像素执行Hough变换，其中θ表示目标字符的旋转角度；

沿着水平方向θ和垂直方向(90-θ)求出Hough变换中的最小和最大距离值ρ_h1、ρ_h2、ρ_v1和ρ_v2；

使用四条线(ρ_h1，90-θ)、(ρ_h2，90-θ)、(ρ_v1，θ)和(ρ_v2，θ)计算四个角；以及

剪切出覆盖四个角的区域作为目标区域。

Claims (9)

1.一种遮挡字符恢复方法，包括：

根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；

在包括目标字符的输入图像的目标区域中标记源区域；

针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；

提取要被填充的输入图像的前景的边界；

针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；

使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及

如果前景没有全部填充完毕，则重复执行提取要被填充的输入图像的前景的边界及随后的处理。

2.根据权利要求1所述的遮挡字符恢复方法，其中按照下式计算填充优先权P(p)

P(p)＝R(p)*W(p)*C(p)

$R\left(p\right)=\frac{N_B+N_w}{N_B+N_w+N_F}$

$W\left(p\right)=\left\{\begin{array}{cc}1& N_w>0\\ 0& N_w=0\end{array}\right\}$

$C\left(p\right)=\left\{\begin{array}{cc}0& N_{\mathrm{gv}}==0\\ \frac{1}{N_{\mathrm{gv}}}& N_{\mathrm{gv}}>0\end{array}\right\},$

其中，N_B、N_W和N_F分别表示要被填充的图像块中的背景、目标字符和前景的像素数量，以及N_gv表示要被填充的图像块内部的不同梯度向量的数量。

3.根据权利要求1所述的遮挡字符恢复方法，其中图像块尺寸按照公式

计算，SW表示目标字符的笔划宽度。

4.根据权利要求1所述的遮挡字符恢复方法，其中在包括目标字符的输入图像的目标区域中标记源区域包括：

生成包括目标字符的像素及其图像块中的所有相邻像素的第一掩模；

生成包括除前景像素及其图像块中的所有相邻像素之外的整个目标区域的第二掩模；以及

提取第一掩模和第二掩模的重叠区域作为源区域。

5.根据权利要求1所述的遮挡字符恢复方法，还包括压缩输入图像和/或筛减参考图像块。

6.根据权利要求1至5中任一权利要求所述的遮挡字符恢复方法，还包括：

提取目标字符的轮廓像素；

根据提取的轮廓像素捕获目标字符的线段；

根据捕获的线段选择假想为一个笔划的成对线的平行线段；

根据选择的平行线段连接共线线段为平行线对；以及

使用目标字符的灰度值填充每对平行线对限定的区域。

7.根据权利要求6所述的遮挡字符恢复方法，还包括：

根据捕获的线段估计目标字符的笔划宽度；以及

估计目标字符在投影轴上的字符宽度和字符高度，

其中，所述选择的平行线段在Hough变换域中应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及a＊SW＜|ρ1-ρ2|＜b＊SW，θ表示线的旋转角度，ρ表示线到零点的距离，a＊SW和b＊SW为阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景；以及

其中，所述共线线段应当满足下列条件：1)对于线1(θ1，ρ1)、线2(θ2，ρ2)和笔划宽度SW，满足θ1＝θ2以及|ρ1-ρ2|小于阈值；2)对于水平线段，沿着水平方向θ的投影线之间的距离小于字符宽度，并且对于垂直线段，沿着垂直方向(90-θ)的投影线之间的距离小于字符高度；以及3)两个线段之间的像素位于笔划内部而不是背景。

8.一种遮挡字符识别方法，包括：

分割输入图像中的文本区域为要被识别的目标字符、背景和前景；

根据权利要求1至7中任一权利要求所述的方法恢复文本区域中要被识别的遮挡字符；以及

识别恢复的字符。

9.一种遮挡字符恢复装置，包括：

图像块尺寸计算单元，配置为根据包括要被恢复的遮挡字符在内的目标字符的笔划宽度计算图像块尺寸；

源区域标记单元，配置为在包括目标字符的输入图像的目标区域中标记源区域；

参考图像块生成单元，配置为针对源区域中的像素生成参考图像块，其中将源区域中的每一个像素作为一个参考图像块的中心；

边界提取单元，配置为提取要被填充的输入图像的前景的边界；

填充优先权计算单元，配置为针对前景边界上的每一个像素，根据以该像素为中心的图像块的复杂度，计算填充优先权；

前景填充单元，配置为使用参考图像块中最相似的图像块，填充以具有最高优先权的像素为中心的图像块；以及

判断单元，配置为如果前景没有全部填充完毕，则重复执行边界提取单元、填充优先权计算单元、以及前景填充单元的处理。

Images