CN104376318B - 在保留交叉字符笔划的同时去除文档图像中的下划线和表格线 - Google Patents

在保留交叉字符笔划的同时去除文档图像中的下划线和表格线 Download PDF

Info

Publication number
CN104376318B
CN104376318B CN201410398898.2A CN201410398898A CN104376318B CN 104376318 B CN104376318 B CN 104376318B CN 201410398898 A CN201410398898 A CN 201410398898A CN 104376318 B CN104376318 B CN 104376318B
Authority
CN
China
Prior art keywords
line
zero crossing
run length
region
intersection region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410398898.2A
Other languages
English (en)
Other versions
CN104376318A (zh
Inventor
巫朝红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Laboratory USA Inc
Original Assignee
Konica Minolta Laboratory USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Laboratory USA Inc filed Critical Konica Minolta Laboratory USA Inc
Publication of CN104376318A publication Critical patent/CN104376318A/zh
Application granted granted Critical
Publication of CN104376318B publication Critical patent/CN104376318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/177Editing, e.g. inserting or deleting of tables; using ruled lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)

Abstract

一种在保留与文档图像中的水平和垂直线交叉的字符笔划的完整性的同时、去除这些线的方法。对于每一检测的水平线,计算垂直游程长度分布图。检测具有其间具有山谷的两个相邻山峰的游程长度分布图的区域,所述区域对应于水平线与非垂直线的交叉。可使用一阶导数曲线来检测这样的山峰和山谷。也检测用于连续像素地点的具有大游程长度值的游程长度分布图的区域,所述区域对应于水平线与接近垂直线的交叉。在保留交叉区域中的像素的同时,在交叉区域之外的区域中去除水平线。可类似地进行垂直线去除。该无模板方法能去除表格、制表和下划线中的线,并提取手写或打印字符。

Description

在保留交叉字符笔划的同时去除文档图像中的下划线和表 格线
技术领域
本发明涉及文档图像的处理,并具体地,它涉及在保留与水平、垂直、或其他直线交叉的字符笔划的连续性的同时、从文档图像去除这些线的处理。
背景技术
在文档图像(即,代表文档的数字图像)的数字处理中,经常期望去除图像中的水平和垂直线。这样的直线的示例包括文本中的下划线、以及表格(table)和制表(form)中的水平和垂直线。例如,当向文档图像应用OCR(光学字符识别)以提取文档的文本时,经常期望首先去除下划线,因为它们干扰字符识别。在另一示例中,银行支票的图像的数字处理经常需要去除各种线。文档图像典型地通过扫描或拍摄硬拷贝文档而获得;能在作为将灰度等级文档图像变换为二进制文档图像的处理的二值化之前或之后,执行线检测和去除。
已提出各种线检测和去除方法。能对二进制图像执行检测线段。这类方法包括游程(run)长度编码、最小二乘法拟合(Least square fitting)、霍夫变换、和具有针对邻居中心对称的单调线性结构元素(flat linear structuring element)的数学形态学(Mathematical Morphology)。最小二乘法拟合方法能受到噪声的显著影响。游程长度编码基于作为线段的候选的局部线状结构的搜索或跟踪。块邻接图(BAG)是其中合并邻接水平游程的线邻接图的概括。例如参见,Bin Yu和Anil K.Jain,“A Generic System for FormDropout”,IEEE Trans.PAMI,Vol.18,No.11,1996(其后“Yu et al.1996”)。然而,在要去除的线是断开片段的情况下,游程长度编码及其扩展BAG方法通常不产生(deliver)令人满意的结果。在基于BAG的系统中,仅当提供空白制表文档以生成制表结构模板时,才能提取手写和机器打印的字符两者。霍夫变换是特别耗时的,因为它通过昂贵的三角法计算而将图像中的每一像素变换到霍夫参数空间中。
也能对灰度等级文档图像执行检测线段。典型方法包括基于向量化的跟踪、数学形态学、和线段检测器(LSD)。基于LSD的方法对于文档图像不能很好工作,因为LSD基于梯度(gradient)拟合。复杂文本域梯度图(fieldgradient map)能改变局部线梯度分布。
许多现有线去除方法不保留与这些线交叉的手写和打印字符的完整笔划;结果,在线去除之后的二值化图像中,个别符号有时变得分解为几个破碎部分,或者符号的部分有时被截短。图7图示了使用传统方法的下划线去除的一些示例,其中能看到破碎字符和截短的结果。一些方法尝试在线去除之后重新连接破碎字符。例如,Yu et al.1996描述了线去除的方案,其包括线的局部化、字符和线的分离、以及在分离期间引入的破碎笔划的重构。
Xiangyun Ye、Mohamed Cheriet、Ching Y.Suen和Ke Liu,“Extraction ofbankcheck items by mathematical morphology,”International J.on DocumentAnalysis and Recognition(1999)(其后“Ye et al.1999”)描述了从银行支票图像中提取字符的方法,其使用数学形态学用于线检测。线去除之后的破碎笔划然后使用动态内核来恢复。在Ye的笔划恢复方法中,需要线和笔划交叉的区域周围的正确局部定位,以发现用于修补破碎笔划的正确动态内核,但是局部定位取决于接触线和笔划的长度和宽度。
发明内容
本发明针对用于文档图像中的线去除的方法和相关设备,其基本消除由于现有技术的缺陷和缺点导致的问题中的一个或多个。
本发明的目的是提供用于在保留与直线交叉的字符笔划的同时、从文档图像去除这些线的方法。
本发明的其他特征和优点将在接下来的描述中阐明,并将根据该描述而部分清楚,或者可通过实践本发明来得知。本发明的目的和其他优点将通过在书写的描述及其权利要求以及附图中具体指出的结构来实现和达到。
为了实现这些和/或其他目的,如实施和广泛描述的,本发明提供了一种用于处理包括沿第一方向延伸的直线的文档图像的方法,该方法包括:(a)标识沿第一方向延伸的直线;(b)计算用于该线的游程长度分布图,该游程长度分布图是作为沿着该线的第一方向中的位置的函数的游程长度值,其中给定位置处的每一游程长度值是包括该线中的非白像素的、沿着与第一方向正交的第二方向延伸的多个连续非白像素;(c)通过检测该游程长度分布图的第一类特性特征,来检测该线的第一类交叉区域的集合,所述第一类特性特征中的每一个包括山谷、和在预定义距离内位于山谷两侧的两个山峰,每一山峰和山谷的游程长度值之间的差大于第一阈值;(d)通过检测该游程长度分布图的第二类特性特征,来检测该线的第二类交叉区域的集合,所述第二类特性特征中的每一个包括其中游程长度值大于第二阈值的多个连续位置;和(e)在保留所述第一和第二类交叉区域中的线的同时,去除第一和第二类交叉区域外的区域中的线。
在一个实施例中,步骤(c)包括:计算该游程长度分布图的一阶导数曲线;检测该一阶导数曲线的向上过零点和向下过零点;和通过匹配向上过零点和向下过零点,来标识所述第一类交叉区域。在一个实施例中,使用N点中心差来计算一阶导数曲线。
在另一方面中,本发明提供了一种计算机程序产品,包括其中嵌入有用于控制数据处理设备的计算机可读程序代码的计算机可用非瞬时介质(即,存储器或储存装置),该计算机可读程序代码被配置为促使该数据处理设备运行以上方法。
应理解的是,前述一般描述和后面详细描述是示范性和解释性的,并意欲提供要求保护的本发明的进一步解释。
附图说明
图1示意性图示了根据本发明实施例的用于从文档图像检测和去除直线的方法的阶段。
图2(a)图示了包括与手写字符的笔划交叉的水平直线的灰度等级文档图像的示例。
图2(b)图示了在使用根据本发明实施例的方法去除水平线之后、从图2(a)的图像获得的二进制图像。
图3(a)是示出了水平线段和字符笔划的部分的交叉的文档图像的补丁(patch)的放大示意图示。
图3(b)示意性图示了使用根据本发明实施例的方法在保留交叉笔划的同时去除线之后的、图3(a)的图像的补丁。
图4(a)图示了用于水平线的垂直游程长度分布图。
图4(b)图示了从图4(a)的游程长度分布图获得的一阶导数曲线。
图5示意性图示了根据本发明实施例的检测线交叉区域的方法。
图6示意性图示了其中可实现本发明的实施例的数据处理设备。
图7示出了使用传统方法的线去除的示例。
具体实施方式
本发明的实施例在文档图像处理中提供了用于在保留与直线交叉的字符笔划的同时、检测和去除这些线的方法。文档中的字符可包括打印或手写字符。这些直线的示例包括文本的下划线、表格和制表中的线等。这样的线趋于非常接近垂直或水平,并在该公开中被称为垂直和水平线,但是应理解的是,在成像处理中由于歪斜或其他失真,它们可以不是严格水平或垂直的。换言之,应理解的是,该公开和所附权利要求中使用的术语“水平线”、“垂直线”、“沿着水平方向延伸的线”、和“沿着垂直方向延伸的线”广义包括接近水平和接近垂直的线,例如可分别与水平和垂直方向偏离至多1度的线。应注意的是,从成像处理(例如,扫描或拍摄)获得的原始图像经常包括歪斜和其他失真。作为文档图像处理中的广泛使用的技术的去歪斜应作为预处理步骤被施加到图像,以校正成像处理中引入的歪斜。当前可用的去歪斜技术能将歪斜校正为远低于1度。
下面的描述集中于水平和垂直线的去除;然而,如稍后描述的,该方法也可被用来通过首先旋转图像、来去除非垂直和非水平线。
图1示意性图示了根据本发明实施例的用于从文档图像检测和去除水平或垂直直线的方法。该方法被应用到已二值化的文档图像。该方法包括三个阶段。首先,通过使用例如数学形态学来检测线的存在(步骤S1)。可使用已知方法用于该阶段。第二,使用采用局部游程长度分布图的方法,来检测字符笔划和线之间的交叉区域(步骤S2)。第三,基于来自步骤S2的检测结果,使用保留交叉字符笔划的方法来去除这些线(步骤S3)。
在应用图1中示出的步骤S1到S3之前,文档图像可经受某些预处理步骤,其许多步骤是本领域普遍知道的。
下面使用图2(a)-4(b)中示出的示例来更详细地描述这些阶段。下面的描述使用水平线作为示例,但是该方法可利用适当变型(例如,通过切换该方法中的x和y像素坐标)应用到垂直线。
图2(a)示出了原始灰度等级文档图像的一部分的示例,其示出了三根水平直线,具有其中一些手写字符的笔划与每一线交叉的多个区域。图2(b)示出了在二值化之后、和使用图1的方法去除水平线之后的图2(a)的图像。图3(a)是示出了水平线段31和字符笔划/线32的一部分的交叉的文档图像的放大补丁的示意图示。图3(a)的虚线代表这两根线的大致中心。要注意的是,为了简化,将字符笔划32示出为直线,但是其也可以是曲线。
对于线检测的第一阶段S1,可以采用数学形态学。基本数学形态学运算包括腐蚀、膨胀、开和闭。为了检测水平线,可向该图像应用具有固定长度单调线性结构元素(例如,大约线结构的尺寸选择150个像素)的水平开运算。也可使用其他线检测方法,诸如霍夫变换、游程长度编码、多灰度线检测等。这些方法中的一些能检测沿着任何方向延伸的线,而不仅是接近水平和接近垂直的线。这些方法中的许多是公知的。线检测步骤从文档图像提取线,并生成仅包括提取的线的中间图像。该中间图像不包括与提取的线交叉的其他线。
参考图3(a)、4(a)和4(b)来描述线和笔划的交叉的检测(第二阶段S2)。交叉检测方法使用检测的水平线的垂直游程长度分布图。垂直游程长度是沿着垂直(y)方向游动的连续非白像素的数目。这里定义的水平线的垂直游程长度分布图是作为沿着该线的水平坐标x的函数的垂直游程长度值;垂直方向的非白像素的游程包括构成该线的非白像素、和与它们(沿着y方向)连续连接的任何非白像素。在交叉中没有涉及的沿着该线的x位置处,垂直游程长度趋于成为作为该线的高度的恒定值(水平线的宽度被统称为线高度)。图4(a)示出了用于水平线的垂直游程长度分布图;在该示例中,这是位于签名之上的图2(a)中的水平线的游程长度分布图。可以看到,例如,段41对应于没有涉及任何交叉的线的一段;该线段的线宽度是大约8个像素,垂直游程长度值在7和9个像素之间波动。应注意的是,像素的x和y坐标值是整数。
在与另一线(例如,字符笔划)的交叉点附近的x位置处,如图3(a)中示意性描绘的,垂直游程长度值显著偏移恒定值(线高度)。在图3(a)中,绘制多根短的双向箭头的垂直线以示意性指示各个x位置处的游程长度。游程长度分布图的典型行为如下。从交叉区域之外的x位置开始,当x增加时,游程长度值保持接近恒定值(线高度);当x到达交叉区域的开端时,游程长度值急剧增加;当x接近交叉区域的中心时,它然后相对缓和地下降到最小值,之后相对缓和地增加;当x到达交叉区域的结尾时,游程长度值急剧向回下降到接近恒定值。换言之,沿着x轴的游程长度分布图具有两个山峰和其间的山谷,其中山峰的外坡(它们的朝向远离山谷)陡峭并且内坡(它们朝向山谷)相对不太陡峭。在图4(a)中,标记为42的插入盒是示出该行为的游程长度分布图的一部分的扩展图。
因为该游程长度分布图的该行为是线交叉的区域中的特性,所以其能用来检测交叉。图5示意性图示了根据本发明实施例的用于检测沿着线的交叉点、并按照保留笔划的方式来去除线的方法。该方法对应于图1的阶段S2和S3。图5中示出的步骤施加到阶段S1中所检测的每一线。
使用仅包括所检测的线的中间图像,将形态平滑首先施加到正在处理的线,以使得其平滑(步骤S51)。该步骤是期望的但是是可选的。然后,计算该线的限制盒(步骤S52)。图像对象的限制盒是限制该图像对象的、形状典型为矩形的盒子。因为中间图像仅包括所检测的线并不包括其他交叉线,所以如果线是严格水平的,则限制盒将基本上符合线的形状。如果线不是严格水平的,则限制盒将比线高度更高。然后,使用多个样本点(即,x位置)来估计线高度(步骤S53)。优选地,样本点的数目是预先确定的,并且这些点处于沿着该线的相等间隔的地点处。可通过对x位置处的限制盒中的非白像素的数目进行计数,来计算每一样本点x处的线高度。在一个示例中,使用30个样本点。
然后,计算该线的中间轴(步骤S54)。一般来说,对象的中间轴是对象的边界上具有多于一个最接近的点的所有点的集合。应注意的是,线对象的真实中间轴可以不经过像素中心,特别是当线不严格水平的时侯。这里,线的中间轴可以通过位于与真实中间轴最接近处的像素来定义。由此,如果线轻微倾斜,则中间轴可具有台阶形状。中间轴可通过跟踪该线而获得。而且,由于中间图像仅包括没有分支的水平线,所以跟踪是直线前进的。即使在其中两根线平行并且彼此非常接近的情况下,中间轴跟踪也将不越过线的边界。
然后,计算用于该线的垂直游程长度分布图,即,沿着中间轴的每一点(x位置)处的垂直游程长度值(步骤S55)。这可例如通过从中间轴上的像素开始、并对沿着垂直上下方向的连续连接的非白像素的数目进行计数来进行。优选地,当计算垂直游程长度时,强加中间轴上面和下面的y坐标的上限和下限,以便避免在水平线与垂直线或字符笔划交叉的情况下、过分长的游程长度。
然后,使用游程长度分布图(例如图4(a)),在步骤S561-S565检测交叉区域。首先,使用N点中心差来计算游程长度分布图的一阶导数(步骤S561)。N点中心差被定义为:
d(i)=S(i+N)-S(i-N)
其中S是信号(游程长度)值,d是一阶导数,i是x位置,并且N是预定数。N的值可以是例如从1到10。一般来说,交叉线越接近垂直,山峰和山谷将越窄,并且所以N的相对较小值将是可期望的。
计算一阶导数的较简单的等式将是
d(i)=S(i+1)-S(i)
与该更典型的定义相比,该实施例中使用的N点中心差帮助去除局部噪声,并处置垂直游程长度分布图中的平坦峰顶,如图4(a)的插入盒42中所示(右边的山峰)。如果使用较简单的等式,则在平坦山峰区域中一阶导数将为零,导致检测过零点的困难,这将稍后更详细地进行描述。
可使用其他计算一阶导数的方式,但是优选地,使用的等式应包括一些形式的平均化,以降低或消除平坦峰顶的影响。
优选例如通过使用滑动窗口平均化来对一阶导数曲线进行平滑化(步骤S562)。窗口尺寸可以是例如6个像素。
图4(b)示出了图4(a)中示出的垂直游程长度分布图的一阶导数曲线。在该特定示例中,使用N(N=3)点中心差来计算一阶导数。插入盒43示出了交叉区域中的一阶导数曲线的一部分的扩展图。因为交叉区域中的垂直游程长度分布图具有两个山峰之间具有山谷的特性形状,所以,该区域中的一阶导数曲线具有以下特性形状:从接近零的电平开始,它急剧上升为正值,然后在经过第一过零点的同时急剧下降到负值,然后在经过第二过零点的同时第二次急剧上升到正值,然后在经过第三过零点的同时第二次急剧下降到负值,并最后上升返回到接近零的电平。第一和第三过零点(向下过零)对应于游程长度分布图中的峰顶;第二过零点(向上过零)对应于谷底。
使用一阶导数曲线的该特性形状来检测游程长度分布图的山谷(步骤S563)和山峰(步骤S564)。特别是,一阶导数曲线中的向上过零(对应于山谷)可通过找到满足以下的x位置j来检测:
d(j)≤0并且d(j+1)>0,以及
d(j+1)-d(j)>T1
换言之,一阶导数值在点j附近从负(或零)改变为正,并且该点处的一阶导数曲线的斜率大于阈值T1。阈值T1的目的是消除其中一阶导数值在零周围少量波动的非交叉区域中的点。
一阶导数曲线中的向下过零(对应于山峰)可通过找到满足以下的x位置k来检测:
d(k)≥0并且d(k+1)<0,以及
d(k)-d(k+1)>T2
其中T2是阈值。
按照该方式发现的地点j和k对应于垂直游程长度分布图中的山峰和山谷地点。
在发现所有山谷和山峰地点之后,通过匹配山谷地点和山峰地点,来验证交叉区域的存在(步骤S565)。特别是,对于每一山谷地点(向上过零点),如果两个山峰地点(向下过零点)分别存在于山谷的左边和右边的特定距离中,并且如果山峰地点和山谷地点之间的游程长度值的差值大于左和右山峰两者的阈值,则认为山谷和两个对应山峰定义交叉区域。该交叉区域可被定义为分别在左和右山峰地点处开始和结束,或者其可被定义为也分别包括在山峰左边和右边的预定数目的像素。
如前面提及的,一般来说,N点中心差的相对小值N趋于较好工作用于检测与比较接近垂直的线的交叉点,并且相对大值N趋于较好工作用于检测与比较接近水平的线的交叉点。对于典型文档,小心选择的N值(例如,5)将产生令人满意的结果。为了增强线检测可靠性和稳定性,在一个实现中,利用不同N值来多次执行步骤S561到S565(例如,两次分别N=3和N=6),并且在步骤S565从多个游程检测的交叉区域被组合到一起(即,通过检测的交叉点的多个集合的联合)。
垂直游程长度分布图及其一阶导数曲线的上述特性行为出现在其中水平线与非垂直线交叉的一类交叉区域中。在其中水平线与垂直或接近垂直的线交叉的第二类交叉区域中,垂直游程长度分布图将不具有山谷和两个山峰;相反,其将具有具有大游程长度值(典型地,比线高度大三倍)的多个连续x位置。如前面提及的,当计算垂直游程长度时,强加上和下限;由此,与垂直或接近垂直的线交叉的区域中的游程长度值经常和将允许的上和/或下限一样高。这些第二类交叉区域通过检测游程长度分布图中的这样的特征来检测(步骤S566)。
在步骤S57(对应于图1的阶段S3),例如通过对于位于这两类交叉区域(即,在步骤S565和S566检测的交叉区域)之外的线的所有像素、将像素值改变为白,来去除所检测的线。将保留位于这些交叉区域中的像素的像素值。图3(b)示意性图示了向图3(a)中示出的线段施加的线去除的结果。
这里描述的线检测和去除方法不需要关于线的地点的先验知识或假设。换言之,该方法是去除表格、制表和下划线中的线并提取手写或打印字符的无模板系统。
上述方法能被修改用于垂直线去除。例如,代替垂直游程长度分布图,使用用于垂直线的水平游程长度分布图。
而且,该方法不限于水平和垂直线的去除;其也可用来去除倾斜线。为了实现此,在线检测阶段(S1)中,使用能检测任何方向的线的方法,诸如霍夫变换方法。在计算出所检测的线的方向之后,旋转包括倾斜线的图像或图像的一部分,使得倾斜线成为水平(或垂直)线。然后,能对旋转的图像执行交叉检测阶段和线去除阶段(图1的步骤S2和S3,图5的步骤S51-S57)。在线去除之后,将图像旋转回到其原始朝向。
这里描述的线去除方法能在诸如图6中示出的计算机120的数据处理系统中实现。计算机120包括处理器121、存储装置(例如,硬盘)122、和内部存储器(例如,RAM)123。存储装置122存储软件程序,所述软件程序被读出到RAM123并由处理器121运行,以执行所述方法。
本领域技术人员将显而易见的是,能在本发明的线去除方法中进行各种修改和变型,而不脱离本发明的精神或范围。由此,本发明意欲覆盖落入所附权利要求及其等效的范围中的修改和变型。

Claims (14)

1.一种用于处理包括沿第一方向延伸的直线的文档图像的方法,该方法包括:
(a)标识沿第一方向延伸的直线;
(b)计算用于该线的游程长度分布图,该游程长度分布图是作为沿着该线的第一方向的位置的函数的游程长度值,其中给定位置处的每一游程长度值是包括该线中的非白像素的、沿着与第一方向正交的第二方向延伸的多个连续非白像素;
(c)通过检测该游程长度分布图的第一类特性特征,来检测该线的第一类交叉区域的集合,所述第一类特性特征中的每一个包括山谷、和在预定义距离内位于山谷两侧的两个山峰,每一山峰和山谷的游程长度值之间的差大于第一阈值;
(d)通过检测该游程长度分布图的第二类特性特征,来检测该线的第二类交叉区域的集合,所述第二类特性特征中的每一个包括其中游程长度值大于第二阈值的多个连续位置;和
(e)在保留所述第一和第二类交叉区域中的线的同时,去除所述第一和第二类交叉区域外的区域中的线。
2.根据权利要求1的方法,其中步骤(b)包括:
计算该线的中间轴;和
通过对与中间轴上的像素连接并沿着第二方向延伸的多个连续非白像素进行计数,来计算该中间轴的每一像素位置处的游程长度值。
3.根据权利要求1的方法,其中步骤(c)包括:
计算该游程长度分布图的一阶导数曲线;
检测该一阶导数曲线的向上过零点和向下过零点;和
通过匹配向上过零点和向下过零点,来标识所述第一类交叉区域。
4.根据权利要求1的方法,其中步骤(c)包括:
(c1)计算该游程长度分布图的一阶导数曲线d(i),其中i是第一方向上的位置;
(c2)检测该一阶导数曲线中满足下式的向上过零点j:
d(j)≤0并且d(j+1)>0,以及
d(j+1)-d(j)>T1
其中T1是第三阈值,
(c3)检测该一阶导数曲线中满足下式的向下过零点k:
d(k)≥0并且d(k+1)<0,以及
d(k)-d(k+1)>T2
其中T2是第四阈值,
(c4)标识所述第一类交叉区域的集合,在所述第一类交叉区域中的每一个中,两个向下过零点位于向上过零点两侧的预定义距离内,并且向下过零点中的每一个和向上过零点之间的游程长度值之差大于第一阈值,其中第一类交叉区域被定义为两个向下过零点之间的区域。
5.根据权利要求4的方法,其中,在步骤(c1)中,使用N点中心差来计算一阶导数曲线:
d(i)=S(i+N)-S(i-N)
其中S是游程长度值并且N是预定数目。
6.根据权利要求5的方法,其中步骤(c)进一步包括:
(c5)使用不同N值重复步骤(c1),以计算该游程长度分布图的另一一阶导数曲线;
(c6)使用所述另一一阶导数曲线重复步骤(c2)、(c3)和(c4),以标识第一类交叉区域的另一集合;和
(c7)组合在步骤(c4)标识的第一类交叉区域的集合和在步骤(c6)标识的第一类交叉区域的另一集合。
7.根据权利要求5的方法,进一步包括:在步骤(c2)之前,使得通过N点中心差计算的一阶导数曲线平滑。
8.一种计算机可用非瞬时介质,其中嵌入有用于控制数据处理设备的计算机可读程序代码,该计算机可读程序代码当由处理器运行时,促使该数据处理设备运行用于处理包括沿第一方向延伸的直线的文档图像的处理,该处理包括:
(a)标识沿第一方向延伸的直线;
(b)计算用于该线的游程长度分布图,该游程长度分布图是作为沿着该线的第一方向的位置的函数的游程长度值,其中给定位置处的每一游程长度值是包括该线中的非白像素的、沿着与第一方向正交的第二方向延伸的多个连续非白像素;
(c)通过检测该游程长度分布图的第一类特性特征,来检测该线的第一类交叉区域的集合,所述第一类特性特征中的每一个包括山谷、和在预定义距离内位于山谷两侧的两个山峰,每一山峰和山谷的游程长度值之间的差大于第一阈值;
(d)通过检测该游程长度分布图的第二类特性特征,来检测该线的第二类交叉区域的集合,所述第二类特性特征中的每一个包括其中游程长度值大于第二阈值的多个连续位置;和
(e)在保留所述第一和第二类交叉区域中的线的同时,去除所述第一和第二类交叉区域外的区域中的线。
9.根据权利要求8的计算机可用非瞬时介质,其中步骤(b)包括:
计算该线的中间轴;和
通过对与中间轴上的像素连接并沿着第二方向延伸的多个连续非白像素进行计数,来计算该中间轴的每一像素位置处的游程长度值。
10.根据权利要求8的计算机可用非瞬时介质,其中步骤(c)包括:
计算该游程长度分布图的一阶导数曲线;
检测该一阶导数曲线的向上过零点和向下过零点;和
通过匹配向上过零点和向下过零点,来标识所述第一类交叉区域。
11.根据权利要求8的计算机可用非瞬时介质,其中步骤(c)包括:
(c1)计算该游程长度分布图的一阶导数曲线d(i),其中i是第一方向上的位置;
(c2)检测该一阶导数曲线中满足下式的向上过零点j:
d(j)≤0并且d(j+1)>0,以及
d(j+1)-d(j)>T1
其中T1是第三阈值,
(c3)检测该一阶导数曲线中满足下式的向下过零点k:
d(k)≥0并且d(k+1)<0,以及
d(k)-d(k+1)>T2
其中T2是第四阈值,
(c4)标识所述第一类交叉区域的集合,在所述第一类交叉区域中的每一个中,两个向下过零点位于向上过零点两侧的预定义距离内,并且向下过零点中的每一个和向上过零点之间的游程长度值之差大于第一阈值,其中第一类交叉区域被定义为两个向下过零点之间的区域。
12.根据权利要求11的计算机可用非瞬时介质,其中,在步骤(c1)中,使用N点中心差来计算一阶导数曲线:
d(i)=S(i+N)-S(i-N)
其中S是游程长度值并且N是预定数目。
13.根据权利要求12的计算机可用非瞬时介质,其中步骤(c)进一步包括:
(c5)使用不同N值重复步骤(c1),以计算该游程长度分布图的另一一阶导数曲线;
(c6)使用所述另一一阶导数曲线重复步骤(c2)、(c3)和(c4),以标识第一类交叉区域的另一集合;和
(c7)组合在步骤(c4)标识的第一类交叉区域的集合和在步骤(c6)标识的第一类交叉区域的另一集合。
14.根据权利要求12的计算机可用非瞬时介质,进一步包括:在步骤(c2)之前,使得通过N点中心差计算的一阶导数曲线平滑。
CN201410398898.2A 2013-08-15 2014-08-14 在保留交叉字符笔划的同时去除文档图像中的下划线和表格线 Active CN104376318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/968,251 US9235755B2 (en) 2013-08-15 2013-08-15 Removal of underlines and table lines in document images while preserving intersecting character strokes
US13/968,251 2013-08-15

Publications (2)

Publication Number Publication Date
CN104376318A CN104376318A (zh) 2015-02-25
CN104376318B true CN104376318B (zh) 2017-12-29

Family

ID=52467734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410398898.2A Active CN104376318B (zh) 2013-08-15 2014-08-14 在保留交叉字符笔划的同时去除文档图像中的下划线和表格线

Country Status (3)

Country Link
US (1) US9235755B2 (zh)
JP (1) JP6106641B2 (zh)
CN (1) CN104376318B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2916189B1 (en) * 2014-03-06 2019-05-08 Hexagon Technology Center GmbH Quality assured manufacturing
US9286541B1 (en) * 2014-09-12 2016-03-15 Amazon Technologies, Inc. Fast multipass underline removal for camera captured OCR
US9417058B1 (en) * 2014-10-24 2016-08-16 Matrox Electronic Systems Ltd. Detecting a position of a sheet of light in an image
US9361536B1 (en) * 2014-12-16 2016-06-07 Xerox Corporation Identifying user marks using patterned lines on pre-printed forms
US9754374B1 (en) 2016-02-12 2017-09-05 Matrox Electronic Systems Ltd. Detection of a sheet of light based on second derivative
CN107451987B (zh) * 2016-05-30 2020-08-11 艾司科软件有限公司 用于图形图像中的细线的检测和移除的系统和方法
CN106651851A (zh) * 2016-12-28 2017-05-10 天津普达软件技术有限公司 一种包装盒喷印字符超界不合格品的剔除方法
US10318803B1 (en) * 2017-11-30 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Text line segmentation method
CN108776776B (zh) * 2018-05-25 2021-11-02 河南思维轨道交通技术研究院有限公司 一种针对图像中水平垂直线段的识别方法
KR101938653B1 (ko) * 2018-08-22 2019-01-15 남윤형 서명인식 시스템 및 방법
US10769429B2 (en) 2018-08-31 2020-09-08 Wipro Limited Method and system for extracting text from an engineering drawing
CN109685065B (zh) * 2018-12-11 2021-06-25 中国科学院自动化研究所 试卷内容自动分类的版面分析方法、系统
CN110147765B (zh) * 2019-05-21 2021-05-28 新华三信息安全技术有限公司 一种图像处理方法及装置
CN110210440B (zh) * 2019-06-11 2021-04-27 中国农业银行股份有限公司 一种表格图像版面分析方法及系统
CN112016481B (zh) * 2020-08-31 2024-05-10 民生科技有限责任公司 基于ocr的财务报表信息检测和识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923782A (en) * 1996-08-01 1999-07-13 Nynex Science & Technology, Inc. System for detecting and identifying substantially linear horizontal and vertical lines of engineering drawings
CN102446274A (zh) * 2010-09-30 2012-05-09 汉王科技股份有限公司 带有下划线的文本图像预处理方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065437A (en) * 1989-12-08 1991-11-12 Xerox Corporation Identification and segmentation of finely textured and solid regions of binary images
US5583956A (en) * 1993-01-12 1996-12-10 The Board Of Trustees Of The Leland Stanford Junior University Estimation of skew angle in text image
DE69519323T2 (de) * 1994-04-15 2001-04-12 Canon Kk System zur Seitensegmentierung und Zeichenerkennung
JP3846752B2 (ja) * 1997-03-06 2006-11-15 株式会社リコー 罫線消去方法
US6282326B1 (en) * 1998-12-14 2001-08-28 Eastman Kodak Company Artifact removal technique for skew corrected images
JP4108910B2 (ja) * 2000-09-01 2008-06-25 株式会社リコー 画像処理装置、画像処理方法および記録媒体
JP2006350680A (ja) * 2005-06-16 2006-12-28 Fuji Xerox Co Ltd 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8009928B1 (en) * 2008-01-23 2011-08-30 A9.Com, Inc. Method and system for detecting and recognizing text in images
US8649600B2 (en) * 2009-07-10 2014-02-11 Palo Alto Research Center Incorporated System and method for segmenting text lines in documents
US8218875B2 (en) * 2010-06-12 2012-07-10 Hussein Khalid Al-Omari Method and system for preprocessing an image for optical character recognition
CN103577817B (zh) * 2012-07-24 2017-03-01 阿里巴巴集团控股有限公司 表单识别方法与装置
US9262834B2 (en) * 2012-07-30 2016-02-16 General Electric Company Systems and methods for performing segmentation and visualization of images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923782A (en) * 1996-08-01 1999-07-13 Nynex Science & Technology, Inc. System for detecting and identifying substantially linear horizontal and vertical lines of engineering drawings
CN102446274A (zh) * 2010-09-30 2012-05-09 汉王科技股份有限公司 带有下划线的文本图像预处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种表格框线检测和字线分离算法;刘长松等;《电子与信息学报》;20020930;第24卷(第9期);全文 *
表格型票据中框线检测与去除算法;张艳等;《计算机研究与发展》;20081231;全文 *

Also Published As

Publication number Publication date
CN104376318A (zh) 2015-02-25
US20150052426A1 (en) 2015-02-19
JP6106641B2 (ja) 2017-04-05
JP2015036992A (ja) 2015-02-23
US9235755B2 (en) 2016-01-12

Similar Documents

Publication Publication Date Title
CN104376318B (zh) 在保留交叉字符笔划的同时去除文档图像中的下划线和表格线
CN109389121B (zh) 一种基于深度学习的铭牌识别方法及系统
KR101690981B1 (ko) 형태 인식 방법 및 디바이스
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN105469027B (zh) 针对文档图像的水平和垂直线检测和移除
Prabhakar et al. Automatic vehicle number plate detection and recognition
CN108038481A (zh) 一种结合最大极值稳定区域和笔画宽度变化的文本定位方法
CN105469026B (zh) 针对文档图像的水平和垂直线检测和移除
US20180082456A1 (en) Image viewpoint transformation apparatus and method
CN108960221B (zh) 基于图像的银行卡识别方法及装置
CN110598566A (zh) 图像处理方法、装置、终端和计算机可读存储介质
Choi et al. Localizing slab identification numbers in factory scene images
Grover et al. Text extraction from document images using edge information
CN110084117B (zh) 基于二值图分段投影的文档表格线检测方法、系统
Boiangiu et al. Handwritten documents text line segmentation based on information energy
Anoual et al. Features extraction for text detection and localization
Mol et al. Text recognition using poisson filtering and edge enhanced maximally stable extremal regions
JP5993100B2 (ja) 画像処理装置および特定図形検出方法
Ghoshal et al. Recognition of Bangla text from scene images through perspective correction
Timofte et al. Automatic stave discovery for musical facsimiles
Kumar et al. Segmentation of handwritten Gurmukhi text into lines
Sotoodeh et al. Staff detection and removal using derivation and connected component analysis
Baharlou et al. Fast and adaptive license plate recognition algorithm for persian plates
CN117373050B (zh) 一种高精度识别图纸管线的方法
CN103914710A (zh) 从图像中检测对象的设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant