CN103455995A - 图像处理装置、图像处理方法、扫描仪和存储介质 - Google Patents
图像处理装置、图像处理方法、扫描仪和存储介质 Download PDFInfo
- Publication number
- CN103455995A CN103455995A CN2012101776190A CN201210177619A CN103455995A CN 103455995 A CN103455995 A CN 103455995A CN 2012101776190 A CN2012101776190 A CN 2012101776190A CN 201210177619 A CN201210177619 A CN 201210177619A CN 103455995 A CN103455995 A CN 103455995A
- Authority
- CN
- China
- Prior art keywords
- border
- gradient
- linear section
- near linear
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 119
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims description 152
- 238000011156 evaluation Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000000034 method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 25
- 239000011230 binding agent Substances 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
- G06V30/18076—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
Abstract
提供一种图像处理装置、图像处理方法、扫描仪和存储介质。该图像处理装置用于跟踪图像中对象图像的边界,该边界连续且相邻点斜率变化平缓。该图像处理装置包括:边界估计单元,用于估计对象图像的边界的位置;干扰梯度处理单元,用于对图像中所估计边界附近的干扰梯度进行处理,以减弱或从图像中去除干扰梯度;边界跟踪单元,用于针对已处理干扰梯度的图像跟踪边界。采用本公开的技术,图像边界跟踪的准确性显著提高。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种用于边界跟踪的图像处理装置、图像处理方法、扫描仪和存储介质。
背景技术
通过对立体物体进行拍照或扫描等图像获取操作所获得的图像通常存在失真。以文档扫描为例,无论是传统的平板扫描仪,还是先进的曲面扫描仪,扫描图像都会存在失真,诸如透视变换,拉伸变形等。另外,以产品标识识别应用为例,对诸如饮料瓶等产品上的标识进行拍照所获得的图像也存在失真,因而影响识别的准确性。
因此,为了去除失真、丰富文档编辑、提高内容识别的准确性,得到准确的文档或标识等图像的边界变得很重要。在这种背景下,各种边界追踪技术被广泛研究和使用,例如动态规划技术。
发明内容
然而,当使用传统的边界追踪技术,诸如动态规划时,边界提取会被待追踪的对象图像中的内容或对象图像周围环境的梯度信息所干扰,从而影响边界跟踪的准确性。对象图像中的内容例如是文档图像或标识图像等中的图案文字等内容。对象图像周围环境诸如是文档所放置台面的背景纹路,或标识图像所粘贴的商品上的图案。具体地,当边界周围的内容或背景环境的梯度较强时,传统边界跟踪技术可能将内容或背景环境中的线条等误认为边界,造成误跟踪。
考虑以上问题,在本公开中,提出一种利用边界的全局信息来消除对象图像的内容或背景梯度的影响的图像处理装置、图像处理方法、扫描仪和存储介质。其主旨是在使用传统边界追踪技术之前,初步估计出边界的位置,然后将所估计边界位置附近的内容或/和背景梯度减弱或去除,从而避免其对后续边界跟踪处理的影响。根据本公开的技术尤其适用于对象图像的边界连续且相邻点斜率变化平缓的情况。
根据本发明的一个实施例,提供一种图像处理装置,用于跟踪图像中对象图像的边界,边界连续且相邻点斜率变化平缓,图像处理装置包括:边界估计单元,用于估计对象图像的边界的位置;干扰梯度处理单元,用于对图像中所估计边界附近的干扰梯度进行处理,以减弱或从图像中去除干扰梯度;边界跟踪单元,用于针对已处理干扰梯度的图像跟踪边界。
在一个实施例中,边界估计单元包括:分段单元,用于对图像在边界上的两个角点之间的部分进行分割,以获得预定数量的分段;分段边界估计单元,用于分别针对所分割的分段估计边界的位置。
在一个实施例中,分段边界估计单元包括边界近似单元,用于使用直线段近似各个分段中的边界,其中,针对角点所在的最外侧分段中的至少一个,边界近似单元将最外侧分段中的角点设置为近似最外侧分段中的边界的第一直线段的起点,并在最外侧分段的第一分割线上选取第一直线段的终点,使得在包含第一直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中;以及边界近似单元将已经得到的边界近似直线段的终点设置为近似相邻下一分段的边界的第二直线段的起点,并在下一分段的、不与已经得到边界近似直线段的分段共有的第二分割线上选取第二直线段的终点,使得在包含第二直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。
在一个实施例中,分段边界估计单元还包括评价单元,用于对由边界近似单元获得的近似直线段的可用性进行评价。
在一个实施例中,评价单元包括:集中度评价单元,用于确定像素相对于最大梯度的集中程度是否大于等于预定程度,在大于等于预定程度时,确定边界的近似直线段可用,在小于预定程度时,确定边界的近似直线段不可用。
在一个实施例中,评价单元包括:倾斜角验证单元,用于将最新获得的近似直线段的倾斜角与上一相邻分段中近似直线段的倾斜角进行比较,当倾斜角之差小于等于预定阈值时,确定近似直线段可用;当倾斜角之差大于预定阈值时,确定近似直线段不可用。
在一个实施例中,干扰梯度处理单元分别对各个分段中近似直线段附近的梯度进行处理。
在一个实施例中,干扰梯度处理单元对预定区域之内、除包含近似直线段的窄带区域之外的梯度进行处理。
在一个实施例中,当最外侧分段的近似直线段不可用时,干扰梯度处理单元对角点所在水平线上下预定宽度窄带之外的梯度进行处理;并且边界跟踪单元针对经过该处理的图像跟踪对象图像的边界。
在一个实施例中,当仅从一端角点开始近似,且某一分段的近似直线段不可用时,干扰梯度处理单元将最后近似可用的分段的近似直线段的终点与另一端的角点相连接,并对连线的不存在边界的一侧的梯度进行处理。
在一个实施例中,当同时从两端的角点开始近似,且某一侧或两侧分段的近似不可用时,干扰梯度处理单元将最后近似可用的分段的近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相连接,并对连线的不存在边界的一侧的梯度进行处理。
在一个实施例中,上述实施例中描述的对象图像是文档图像。
根据本发明的一个实施例,提供一种扫描仪,包括根据上述实施例中任一个的图像处理装置。
根据本发明的一个实施例,提供一种图像处理方法,用于跟踪图像中对象图像的边界,边界连续且相邻点斜率变化平缓,图像处理方法包括:边界估计步骤,估计对象图像的边界的位置;干扰梯度处理步骤,对图像中所估计边界附近的干扰梯度进行处理,以减弱或从图像中去除干扰梯度;边界跟踪步骤,针对已处理干扰梯度的图像跟踪边界。
根据本发明的一个实施例,提供一种计算机可读存储介质,存储有使计算机执行跟踪图像中对象图像的边界的处理的计算机程序,边界连续且相邻点斜率变化平缓,处理包括:估计对象图像的边界的位置;对图像中所估计边界附近的干扰梯度进行处理,以减弱或从图像中去除干扰梯度;针对已处理干扰梯度的图像跟踪边界。
利用根据本发明的图像处理装置、图像处理方法、扫描仪和计算机可读存储介质,可以通过在对图像进行传统的边界跟踪处理之前进行预处理,具体地,通过初步估计出边界位置,减弱或去除所估计位置周围的内容和/或背景梯度,从而降低边界误跟踪的可能性,提高边界跟踪的准确性。进而,有助于丰富文档编辑、提高标识识别的准确度等。
附图说明
参照下面结合附图对本发明实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中,相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。
图1是示出使用扫描仪对文档进行扫描获得的图像的示意图。
图2是示出根据本发明实施例的边界跟踪装置的功能框图。
图3是示出根据本发明实施例的边界跟踪装置的功能框图。
图4是示例性示出对图1所示文档图像中文档装订线一侧的下边界进行的分割的示意图。
图5是例示根据本发明实施例的由边界近似单元进行的边界近似处理的说明图。
图6是例示出相邻两个分段的边界的近似直线段的倾斜情况的说明图。
图7是例示根据本发明实施例的分段边界估计单元的一个实例的功能结构的框图。
图8是例示根据本发明实施例的干扰梯度处理的第一种情况的实例的说明图。
图9是例示根据本发明实施例的干扰梯度处理的第二种情况的实例的说明图。
图10是例示根据本发明实施例的干扰梯度处理的第三种情况的实例的说明图。
图11是示出根据本发明实施例的边界跟踪方法的处理流程的流程图。
图12是示例性示出对诸如图1所示文档图像进行的文档边界跟踪处理的实例的流程图。
图13是示出实现本发明的计算机的示例性结构的框图。
具体实施方式
下面参照附图来说明本发明的实施例。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域技术人员已知的部件和处理的表示和描述。
为了方便说明,下文中以通过扫描获得的文本图像为例,说明根据本发明实施例的图像处理装置和图像处理方法。
图1是示出使用扫描仪对文档进行扫描获得的图像的示意图。其中,省略示出文档中的内容,并且用“ο”标示出文档图像的角点。从图1中可见,文档图像的上下边界发生了失真。为了方便对文档图像的进一步编辑,需要对该上下边界进行准确的跟踪。图2是示出根据本发明实施例的边界跟踪装置200的功能框图。
如图2中所示,边界跟踪装置200包括:用于估计对象图像的边界的位置的边界估计单元201、用于对图像中所估计边界附近的干扰梯度进行处理以减弱或去除干扰梯度的干扰梯度处理单元202,以及用于针对已处理干扰梯度的图像跟踪边界的边界跟踪单元203。下文中,将采用文档图像作为对象图像的示例进行描述,但可以理解:可以对任何其它需要对边界进行跟踪的对象图像,诸如产品标识图像,应用根据本公开的技术,只要所要跟踪的边界连续且相邻点斜率变化平缓即可。
边界估计单元201估计通过扫描等图像获取操作获得的对象图像的边界的位置。具体地,针对如图1所示的文档图像,边界估计单元201可以估计文档图像的上下边界的位置。这里,边界估计单元201的作用是要初步地给边界定位,获得文档边界的大致位置,以便于进行后续的梯度处理操作。边界估计单元201可以采用本领域已知的各种方法来估计文档边界的位置。例如,采用诸如Sobel算子的初步边界检测技术等。甚至,可以在文档图像中手动地标注边界位置。
在得到所估计的边界的位置后,干扰梯度处理单元202可以选择性地对该位置周围的干扰梯度进行处理。例如,减弱或从图像中去除干扰梯度。例如,当由边界估计单元201估计出了图1中所示文档图像的下边界的位置时,干扰梯度处理单元202可以将该下边界之上的相邻区域中的各像素的梯度减弱或去除。
首先,需要说明的是:如本领域技术人员可以理解的,在本公开所举例的实施例中,对图像进行的各种处理,都是在整个图像或对象图像边界曲线区域的梯度图上进行的。在本公开中,为了所附说明性附图显示更清楚,各图例(图4-图6以及图8-图10)采用白色背景、黑色梯度的反色梯度图显示。在反色梯度图中,反色梯度值=255-原始梯度值。例如,在正常梯度图中,最大梯度的梯度值是255,最小梯度的梯度值是0。则,在反色梯度图中,最大梯度的梯度值是0,而最小梯度的梯度值是255。
在使用这种反色梯度图的实施例中,干扰梯度处理单元202可以将边界位置周围的区域(待处理区域)中的梯度值设为255(相当于去除梯度),也可以按照预定规则增加待处理区域中的梯度值(相当于减弱梯度)。诸如,当待处理区域中某个像素对应的梯度值是120时,可以将其乘以整数2,以将梯度值变为240,从而减弱梯度。对梯度进行减弱而不是去除可以防止在由边界估计单元201估计出的边界位置不准确时误去除了真正的边界。同理,当文档图像的背景(诸如扫描台)上有其它纹路时,也可以对该下边界之下的相邻区域进行同样的处理。
当然,在使用正常的梯度图(黑色背景)的实施例中,干扰梯度处理单元202可以对待处理区域中的梯度进行处理。例如,将待处理区域中的所有梯度值设为0。即,去除干扰梯度。或者,为了防止在由边界估计单元201估计出的边界位置不准确时误去除了真正的边界,干扰梯度处理单元202可以按照预定规则减小待处理区域中的梯度值。该预定规则例如可以是用梯度值除以一个整数(例如,2、3)或用梯度值减去一个固定数。从而,减弱待处理区域中的梯度。下文中,为了显示清楚,只示例性说明使用反色梯度图的情形。
经过了干扰梯度处理的文档图像被输送给边界跟踪单元203。边界跟踪单元203可以使用诸如动态规划等本领域公知的各种边界跟踪技术,针对已处理干扰梯度的文档图像进行边界跟踪处理。
显然,所估计边界位置的准确性对干扰梯度去除的有效性进而边界跟踪的准确性具有很大的影响。根据图3的实施例旨在提高估计边界位置的准确性。图3是示出根据本发明实施例的边界跟踪装置300的功能框图。边界跟踪装置300中的边界跟踪单元303与边界跟踪装置200中的边界跟踪单元203的功能和配置相同,省略其详细描述。
边界跟踪装置300包括:边界估计单元301、干扰梯度处理单元302以及边界跟踪单元303。其中,边界估计单元301包括分段单元31和分段边界估计单元32。分段单元31用于对图像在边界上的两个角点之间的部分进行分割,以获得预定数量的分段。分段边界估计单元32用于分别针对所分割的分段估计边界的位置。
图4是示例性示出对图1所示文档图像中文档装订线一侧的下边界进行的分割的示意图。图4中还示例性示出了可能影响边界跟踪的文档内容。在已知两个角点的情况下,分段单元41例如可以用最简单的方式来在边界上获得预定数量的分段:用垂直于两角点连线的分割线均匀分割两个角点之间的线段,从而分割边界曲线。在图4所示的实施例中,边界被分割为6段。当然,也可以根据设计需要选择任何其它分割方式。例如,可以使用倾斜于两脚点连线的分割线,或者通过不均匀地分割角点连线来分割边界。所分割的段数依据边界两端角点间距离、要求的边界估计精度等确定。例如可以取5至20段等。在系统计算量和边界估计精度之间寻求折衷。
可以采用不同的方式来确定边界的角点。例如,使用本领域已知的各种角点检测方法来自动检测边界的角点。或者,通过人工输入来确定角点。
分段边界估计单元32可以使用已知的各种方法自动、或手动输入地来按照所分割的分段估计边界的位置。图7是例示根据本发明实施例的分段边界估计单元的一个实例700的功能结构的框图。
在图7所示的实施例中,分段边界估计单元700可以包括:用于使用直线段近似各个分段中的边界的边界近似单元701,以及用于对由边界近似单元701获得的近似直线段的可用性进行评价的评价单元702。其中,评价单元702可以包括集中度评价单元71和倾斜角验证单元72。下文中,将结合图5和图6分别对这些单元的功能进行详细描述。
图5是例示根据本发明实施例的由边界近似单元701进行的边界近似处理的说明图。如图5中所示,首先,边界近似单元701从所有分段中最外侧的分段(即角点所在的分段)开始进行边界近似处理。根据对象图像的边界的特点和设计需要,可以选择同时从两个最外侧分段开始进行边界近似,也可以只从一个最外侧分段开始进行边界近似。在图5所示的实施例中,考虑到靠近文档装订线的边界失真较严重,只从文档远离装订线的角点A所在的最外侧分段开始进行边界近似。
具体地,边界近似单元701将该最外侧分段中的角点A设置为要用来近似该最外侧分段中的边界的直线段的起点,并在最外侧分段的分割线a1上选取该边界近似直线段的终点,以使得在包含该边界近似直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。后面将结合式(1)更详细地说明。
当已经得到最外侧分段中边界的近似直线段在分割线a1上的终点时,边界近似单元701将已经得到的终点设置为用来近似相邻下一分段的边界的直线段的起点。然后,边界近似单元701在下一分段的、不与已经得到边界近似直线段的分段共有的分割线(a2)上选取近似直线段的终点,使得在包含该近似直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。
以此类推,在已经得到从最外侧分段数起第m(m=1…n-1,n为分段总数)个分段的边界近似直线段在分割线am上的终点时,边界近似单元701将所获得的终点设置为第m+1个分段中的边界的近似直线段的起点。然后,边界近似单元701在第m+1个分段的、不与第m个分段共有的分割线,即分割线am+1上选取近似直线段的终点,使得在包含该近似直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。从而,得到两角点间边界的全部分段的近似直线段。
换句话说,对于边界的近似直线段(包括最外侧分段之外的其它分段中边界的近似直线段),起点是固定的。即,起点是角点或者前一段边界的近似直线段的终点。而终点要在不同于角点或前一分段近似所获得终点所在分割线的分割线上选择。例如,可以每隔预定距离在分割线上选择一个可能终点,或者遍历分割线上的所有点以选择一个可能终点,以和起点构成可能近似直线段。然后,通过在包含该可能近似直线段(例如以该近似直线段为中心线)的窄带区域的梯度直方图中像素相对于最大梯度最集中的原则进行近似直线段的选取。
对于每一条可能的近似直线段,计算邻近区域(例如窄带区域)的梯度直方图。如图5所示,用“——”表示可能的近似直线段,窄带区域是在两条“-------”线段之间的部分。对于每一条可能的直线段,都能计算出对应的梯度直方图。对于一个梯度直方图,横坐标是梯度值,纵坐标是相应的像素个数。
在使用反色梯度图的实例中,根据该反色梯度图获得的梯度直方图的梯度值0的位置对应最大梯度,梯度值255的位置对应最小梯度。可以通过求取反映该梯度直方图中像素相对于最大梯度的集中程度的α分位的梯度k来选取最可能的近似直线段。
如式(1)所示,可以计算求得超过α(例如α=0.95)分位的梯度值k:
而具有最小k值(梯度值最小)的线段,就是最有可能的线段,从而得到分段边界的近似直线段。
当然,在另外的实施例中,也可以使用正常的梯度图。在根据该正常梯度图获得的梯度直方图中,梯度直方图的梯度值255的位置对应最大梯度,梯度直方图的梯度值0的位置对应最小梯度。在这种情况下,可以通过诸如下面的式(2)来求取反映该梯度直方图中像素相对于最大梯度的集中程度的梯度k来选取最可能的近似直线段。
在使用正常梯度图的情况下,具有根据式(2)计算的最大k值的线段,就是最有可能的线段,从而得到分段边界的近似直线段。
分段边界估计单元可以只包括边界近似单元。在由边界近似单元获得分段边界的近似直线段之后,直接输送到干扰梯度处理单元执行后续的干扰梯度处理。
此外,为了提高边界估计的准确度,如图7中所示,分段边界估计单元还可以包括评价单元702,用于对由边界近似单元701获得的近似直线段的可用性进行评价。评价近似直线段的可用性,即确定近似直线段是否充分接近真正的边界,或者说,确定近似直线段充分接近真正的边界的可能性是否足够高。可以通过采用本领域已知的各种确定手段、标准进行评价。例如,使用上述像素相对于最大梯度的集中程度与预定程度的关系作为标准进行评价。或者,例如,使用获得的可能近似直线段与上一分段的近似直线段的倾斜角的差作为标准进行评价。当确定近似直线段可用时,可以将该近似直线段作为边界的估计位置,减弱或从图像中去除该位置附近的干扰梯度。而当确定近似直线段不可用时,可以根据需要选择是否减弱或去除该近似直线段附近的梯度。
在根据图7的实施例中,评价单元702例如可以包括集中度评价单元71和倾斜角验证单元72。
集中度评价单元71可以用来确定由边界近似单元701获得的近似直线段所在的位置的梯度是否足够强。换句话说,集中度评价单元71可以确定在上面描述的梯度直方图中像素相对于最大梯度的集中程度是否大于等于预定程度。
在使用反色梯度直方图的情况下,可以例如使用结合式(1)描述的α分位的梯度k来评价像素相对于最大梯度的集中程度是否大于等于预定程度。例如,在一个实例中,当k小于等于阈值Th1时,可以认为像素相对于最大梯度的集中程度大于等于预定程度;当k大于阈值Th1时,可以认为像素相对于最大梯度的集中程度小于预定程度。Th1的取值可以是例如小于等于245,优选在128至255之间。在集中程度大于等于预定程度时,集中度评价单元72确定边界的近似直线段可用;而在集中程度小于预定程度时,集中度评价单元71确定边界的近似直线段不可用。
当集中度评价单元71确定边界的近似直线段可用时,可选择地,还可以利用倾斜角验证单元72对该近似直线段的可用性进行进一步验证。
倾斜角验证单元72可以将最新获得的近似直线段的倾斜角与上一相邻分段中近似直线段的倾斜角进行比较。当倾斜角之差小于等于预定阈值Th2时,倾斜角验证单元72确定近似直线段可用;当倾斜角之差大于预定阈值Th2时,确定近似直线段不可用。根据具体情况,Th2可以在0度至90度之间取值。例如,Th2可以取8度。
图6是例示出相邻两个分段的边界的近似直线段的倾斜情况的说明图。从图6中可以直观地看出,在已知边界连续且相邻点的斜率变化平缓时,当近似直线充分接近真正的边界时,相邻两个分段的近似直线段的倾斜角变化很小。即,相邻两个分段的近似直线段的倾斜角之差将小于预定阈值Th2。在一些实施例中,也可以不使用集中度评价单元,而只设置倾斜角验证单元72对可能近似直线段进行评价。
重新参考图3。当边界估计单元301中进行边界近似的结果输入干扰梯度处理单元302。干扰梯度处理单元302分别处理各个分段中近似直线附近的梯度。例如,干扰梯度处理单元302减弱或去除预定区域之内、除包含近似直线段的窄带区域之外的梯度。如图8中从左数前两个分段所示。
图8是例示根据本发明实施例的干扰梯度处理的第一种情况的实例的说明图。以文档图像为例,当从最外侧角点开始成功地获取了两个分段的近似直线段的情况下,干扰梯度处理单元302可以对这两个分段进行干扰梯度处理。具体的处理方法可以是:针对每一个分段,处理预定区域(如图8所示的边界附近的矩形区域)之内,除包含近似直线段的窄带区域之外的梯度。处理部分如阴影部分所示。该进行梯度处理的预定区域可以根据对象图像的特点、以及干扰内容的分布特点设定。具体的处理实例已经在上文中说明。
图9和图10分别是例示根据本发明实施例的干扰梯度处理的第二、第三种情况的示例的说明图。
如图9中所示,当例如评价单元702确定最外侧分段的近似直线段不可用时,干扰梯度处理单元302(700)处理角点所在水平线上下预定宽度的窄带之外的梯度。并且,边界跟踪单元303针对经过该处理的图像跟踪对象图像的边界。虽然图9仅示出从一端角点进行近似的情况,但可以理解,图9所示的处理方法也适用于同时从两端角点进行近似的情况。
此外,当仅从一端角点开始近似,直至某一分段的近似直线段不可用时,干扰梯度处理单元302可以将最后近似可用的分段的近似直线段的终点与另一端的角点相连接,并处理连线的不存在边界的一侧的梯度。
如图10所示实施例中,成功地对从角点A开始前4个分段的边界进行了近似。此时,可以以图8示出的干扰梯度处理方式,针对图10中从角点A开始的前4个分段的每一个分段,处理预定区域之内,除包含近似直线段的窄带区域之外的梯度。此外,由于未能成功地获得第5个分段的边界的近似直线段,因而,干扰梯度处理单元302可以将最后(第4个)近似可用的分段的近似直线段的终点C与另一端的角点B相连接,并处理连线的不存在边界的一侧的梯度。
针对文档图像,考虑到靠近文档装订线一侧的边界失真较严重,可以不执行对靠近装订线的边界进行边界定位并减弱或去除附近干扰梯度的预处理,而是同样如图10中所示,将所获取的距离文档装订线最近的近似直线段终点(C)与装订线上的角点(B)相连接,并处理C、B连线的不存在边界的一侧的梯度。后面将对这样的实施例详细举例。
此外,在另外的实施例中,当同时从两端的角点开始近似,且某一侧或两侧分段的近似不可用时,干扰梯度处理单元将最后近似可用的分段的近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相连接,并处理连线的不存在边界的一侧的梯度。在边界曲线较复杂的情况下,可能在C、B连线的两侧都存在边界。在这种情况下,不进行参考图10对第5和第6分段进行的干扰梯度处理。
上面的实施例都是结合图1中所示的文档扫描图像进行说明的。但本领域技术人员在通读本公开后可以理解:本公开涉及的技术不仅仅限于只应用于文档图像的边界跟踪,而还可以应用与其它特定对象图像的边界跟踪。只要该对象图像的边界连续且相邻点斜率变化平缓即可。
对于上述对文档图像边界进行跟踪的图像处理装置,可以被集成在扫描仪中,以实现对扫描仪获得的扫描图像的后期处理。
图11是示出根据本发明实施例的边界跟踪方法的处理流程的流程图。使用该方法可以对从图像获取装置输入的、或从存储装置读取的图像中的对象图像的边界,尤其是连续且相邻点斜率变化平缓的对象图像边界进行跟踪。
在步骤S1101中,对对象图像的边界位置进行估计。以诸如图1所示的文档图像为例,可以估计文档图像的上下边界的位置,以初步地定位文档边界,以便于进行后续的梯度减弱或去除操作。可以采用本领域已知的各种方法来估计文档边界的位置。例如,采用诸如Sobel算子的初步边界检测技术。甚至,可以在文档图像中手动地标注边界位置。
在步骤S1102中,对图像中所估计边界附近的干扰梯度进行处理,以减弱或从图像中去除干扰梯度。在得到所估计的边界的位置后,可以选择性地将该位置周围的干扰梯度减弱或去除。例如,当估计出了图1中所示文档图像的下边界的位置时,可以将该下边界之上的相邻区域的所有像素的梯度减弱或去除。同理,当文档图像的背景上有其它纹路时,也可以将该下边界之下的相邻区域的所有像素的梯度减弱或去除。减弱或去除的具体实例已经在上文中描述。
在步骤S1108中,针对已处理干扰梯度的图像跟踪对象图像的边界。例如,可以使用诸如动态规划等本领域公知的各种边界跟踪技术,针对已处理干扰梯度的文档图像进行边界跟踪处理。
由于所估计边界位置的准确性对干扰梯度处理的有效性进而边界跟踪的准确性具有很大的影响,所以可以采用各种已知的方法提高估计边界位置的准确性。
在一个实施例中,可以对图像在边界上的两个角点之间的部分进行分割,以获得预定数量的分段。然后,分别针对所分割的分段估计边界的位置。
在已知两个角点的情况下,例如可以用最简单的方式来在边界上获得预定数量的分段:用垂直于两角点连线的分割线均匀分割两个角点之间的线段,从而分割边界曲线。例如,如图4所示的例子,边界曲线被分割为6段。当然,也可以根据设计需要选择任何其它分割方式。例如,可以使用倾斜于两脚点连线的分割线,或者通过不均匀地分割角点连线来分割边界。所分割的段数依据边界两端角点间距离、要求的边界估计精度等确定。例如可以取5至20段等。在系统计算量和边界估计精度之间寻求折衷。
可以采用不同的方式来确定边界的角点。例如,使用本领域已知的各种角点检测方法来自动检测边界的角点。或者,通过人工输入来确定角点。
可以使用已知的各种方法自动、或手动输入地来分别针对所分割的分段估计边界的位置。在一个例子中,可以使用直线段近似各个分段中的边界,并对所获得的近似直线段的可用性进行评价,从而获得所估计的边界位置。下面以实例的方式具体进行说明。
首先,可以从所有分段中最外侧的分段(即角点所在的分段)开始进行边界近似处理。根据对象图像的边界的特点和设计需要,可以选择同时从两个最外侧分段开始进行边界近似,也可以只从一个最外侧分段开始进行边界近似。结合图5所示的实施例中,考虑到靠近文档装订线的边界失真较严重,只从文档远离装订线的角点A所在的最外侧分段开始进行边界近似。
具体地,可以将该最外侧分段中的角点A设置为要用来近似该最外侧分段中的边界的直线段的起点,并在最外侧分段的分割线a1上选取该边界近似直线段的终点,以使得在包含所述第一直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。关于“像素相对于最大梯度最集中”已经在上面结合式(1)和(2)的例子进行了举例说明,这里不再赘述。
当已经得到最外侧分段中边界的近似直线段在分割线a1上的终点时,可以将已经得到的终点设置为用来近似相邻下一分段的边界的直线段的起点。然后,可以在下一分段的、不与已经得到边界近似直线段的分段共有的分割线(a2)上选取近似直线段的终点,使得在包含所述第二直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。以此类推,最终得到两角点间边界的全部分段的近似直线段。
在对边界估计的准确性要求不高时,可以在获得分段边界的近似直线段之后,直接执行干扰梯度减弱或去除处理,而不进行任何评价和验证。
然而,为了提高边界估计的准确度,可以对获得的近似直线段的可用性进行评价。评价近似直线段的可用性,即确定近似直线段是否充分接近真正的边界,或者说,确定近似直线段充分接近真正的边界的可能性是否足够高。可以通过采用本领域已知的各种确定手段、标准进行评价。例如,使用上述像素相对于最大梯度的集中程度与预定程度的关系作为标准进行评价。或者,例如,使用获得的可能近似直线段与上一分段的近似直线段的倾斜角的差作为标准进行评价。当确定近似直线段可用时,可以将该近似直线段作为边界的估计位置,对图像中该位置附近的干扰梯度进行处理。而当确定近似直线段不可用时,可以根据需要选择是否对该近似直线段附近的梯度进行处理。后面将举例说明。
在一个实施例中,可以依据边界近似直线段所在位置附近的梯度是否足够黑来进行评价。例如,可以确定在包含近似直线段的窄带的梯度直方图中,像素相对于最大梯度的集中程度是否大于等于预定程度。在集中程度大于等于预定程度时,确定边界的近似直线段可用;而在集中程度小于预定程度时,确定边界的近似直线段不可用。在使用反色梯度图的情况下,可以例如使用结合式(1)描述的α分位的梯度k来评价像素相对于最大梯度的集中程度是否大于等于预定程度。例如,在一个实例中,当k小于等于阈值Th1时,可以认为像素相对于最大梯度的集中程度大于等于预定程度;当k大于阈值Th1时,可以认为像素相对于最大梯度的集中程度小于预定程度。阈值Th1的取值可以是例如小于等于245,优选在128至255之间。
当确定边界的近似直线段可用时,可选择地,还可以对该近似直线段的可用性进行进一步验证。例如,可以将最新获得的近似直线段与上一相邻分段中近似直线段的倾斜角进行比较。当倾斜角之差小于等于预定阈值Th2时,确定近似直线段可用;当倾斜角之差大于预定阈值Th2时,确定近似直线段不可用。根据具体情况,Th2可以在0度至90度之间取值。例如,Th2可以取8度。
如图6所示,在已知边界连续且相邻点的斜率变化平缓时,当近似直线充分接近真正的边界时,相邻两个分段的近似直线段的倾斜角变化很小。即,相邻两个分段的近似直线段的倾斜角之差将小于预定阈值Th2。
接下来,根据边界近似的结果进行干扰梯度处理,分别处理各个分段中近似直线附近的梯度。例如,减弱或去除预定区域之内、除包含近似直线段的窄带区域之外的所有梯度。如图8中从左数前两个分段所示。
在一种情况下,以文档图像为例,当从最外侧角点开始成功地获取了两个分段的近似直线段的情况下,可以对这两个分段进行干扰梯度处理。具体的处理方法可以是:针对每一个分段,对预定区域(如图8所示的边界附近的矩形区域)之内,除包含近似直线段的窄带区域之外的梯度进行减弱或去除。处理部分如阴影部分所示。该进行梯度处理的预定区域可以根据对象图像的特点、以及干扰内容的分布特点设定。
在另一种情况下,当例如确定最外侧分段的近似直线段不可用时,可以减弱或去除角点所在水平线上下预定宽度的窄带之外的梯度,并针对经过该减弱或去除的图像跟踪对象图像的边界。如图9中所示。虽然图9仅示出从一端角点进行近似的情况,但可以理解,该去除方法也适用于同时从两端角点进行近似的情况。
此外,当仅从一端角点开始近似,直至某一分段的近似直线段不可用时,可以将最后近似可用的分段的近似直线段的终点与另一端的角点相连接,并处理连线的不存在边界一侧的梯度。
在再一种情况下,成功地对从角点A开始前4个分段的边界进行了近似。此时,可以以图8示出的处理方式,针对图10中从角点A开始的前4个分段的每一个分段,减弱或去除预定区域之内,除包含近似直线段的窄带区域之外的梯度。此外,由于未能成功地获得第5个分段的边界的近似直线段,因而,可以将最后(第4个)近似可用的分段的近似直线段的终点C与另一端的角点B相连接,并对连线的不存在边界的一侧的梯度进行处理。
针对文档图像,考虑到靠近文档装订线一侧的边界失真较严重,可以不执行对靠近装订线的边界进行边界定位并对附近干扰梯度进行减弱或去除的预处理,而是同样如图10中所示,将所获取的距离文档装订线最近的近似直线段终点(C)与装订线上的角点(B)相连接,并对C、B连线的不存在边界的一侧的梯度进行处理。
此外,在另外的实施例中,当同时从两端的角点开始近似,且某一侧或两侧分段的近似不可用时,干扰梯度处理单元将最后近似可用的分段的近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相连接,并对连线的不存在边界的一侧的梯度进行处理。
下面参考图12描述本发明的一个具体应用。图12是示例性示对图1所示文档图像进行的文档边界跟踪处理的实例的流程图。
在一个实例中,例如可以对文档装订线左右两侧的上下边界分别进行边界跟踪。下面以文档装订线左侧的下边界作为示例。
在步骤S1201中,获取下边界曲线的两个端点。可以自动进行角点提取或者人工输入角点的位置。
在步骤S1202中,以任意方式,诸如用垂直两个端点连线的若干分割线将边界曲线分割成N段;并且对变量n(n=0…N)赋值,使得n=1。
在步骤S1203中,确定n是否小于等于N-2。当在步骤S1203中确定为是时,在步骤S1204中,用直线段对该第n个分段中的边界进行近似,以获得该边界的近似直线段。
接下来,对最终获得的最可能的近似直线段进行评价。在步骤S1205中,确定所获得的近似直线段所在位置的梯度是否足够强。当在步骤S1205中确定为是时,在步骤S1206中确定n是否等于1。如果n=1,则进行到步骤S1208,如参考图8所描述的,减弱或去除包含近似直线段的窄带区域之外的梯度(简便起见,下文中称为“处理梯度1”)。
如果在S1206中确定n不等于1,则进行到步骤S1207,确定该第n个分段的近似直线段的倾斜角与第n-1个分段成功近似的直线段的倾斜角的差异是否足够小。如果足够小,则步骤进行到S1208,处理梯度1。然后,进行到步骤S1209,使得n自加1。并将步骤返回到步骤S1203,确定n是否小于等于N-2。
当在步骤S1205确定为否时,即所获得的近似直线段所在位置的梯度不足够强,即该近似直线段不可用时,处理进行到步骤S1210,确定n是否等于1。当n=1时,步骤进行到S1211,如参考图9所描述的,对端点所在水平线上下预定宽度的窄带之外的梯度进行处理(简便起见,下文中称为“处理梯度2”)。然后,进行步骤S1212,停止估计边界并处理干扰梯度的预处理,对处理了干扰梯度的文档图像进行边界跟踪。
当n不等于1时,停止估计边界并处理干扰梯度的预处理,直接进行到步骤S1212,开始对文档图像的边界进行跟踪。
此外,当在步骤S1207中确定倾斜角差异较大时,停止估计边界并处理干扰梯度的预处理,直接进行到步骤S1212,开始对文档图像的边界进行跟踪。
考虑到靠近装订线的文档边界的失真较严重,当在S1203的确定步骤中发现n等于N-2时,步骤进行到S1213。在S1213中,如参考图10所描述的,将第N-2个分段中得到的近似直线段的终点与位于装订线上的边界的端点相连,并对该连线之上区域中的内容梯度进行处理(简便起见,下文中称为“处理梯度3”)。
然后,处理进行到步骤S1212,停止估计边界并处理干扰梯度的预处理,开始对文档图像的边界进行跟踪。
这里,需要注意的是:在一些实施例中,可以省略步骤S1206。可以在对第一段的近似直线段进行评价时使用预估的倾斜角进行倾斜角比较。
下文中,参考图13描述实现本发明的数据处理设备的计算机的示例性结构。图13是示出实现本发明的计算机的示例性结构的框图。
在图13中,中央处理单元(CPU)1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中,也根据需要存储当CPU 1301执行各种处理时所需的数据。
CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。
下述部件连接到输入/输出接口1305:输入部分1306,包括键盘、鼠标等;输出部分1307,包括显示器,诸如阴极射线管(CRT)、液晶显示器(LCD)等,以及扬声器等;存储部分1308,包括硬盘等;以及通信部分1309,包括网络接口卡诸如LAN卡、调制解调器等。通信部分1309经由网络诸如因特网执行通信处理。
根据需要,驱动器1310也连接到输入/输出接口1305。可拆卸介质1311诸如磁盘、光盘、磁光盘、半导体存储器等根据需要被安装在驱动器1310上,使得从中读出的计算机程序根据需要被安装到存储部分1308中。
在通过软件实现上述步骤和处理的情况下,从网络诸如因特网或存储介质诸如可拆卸介质1311安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图13所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD))和半导体存储器。或者,存储介质可以是ROM 1302、存储部分1308中包含的硬盘等,其中存有程序,并且与包含它们的方法一起被分发给用户。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”,“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度,而仅仅是为了描述清楚起见而被配置用于在这些特征、要素、步骤或组件之间进行标识。
此外,本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行,也可以按照其他的时间顺序、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
综上,在根据本发明的实施例中,本发明提供了如下方案:
1.一种图像处理装置,用于跟踪图像中对象图像的边界,所述边界连续且相邻点斜率变化平缓,所述图像处理装置包括:
边界估计单元,用于估计所述对象图像的边界的位置;
干扰梯度处理单元,用于对所估计边界附近的干扰梯度进行处理,以减弱或从所述图像中去除所述干扰梯度;
边界跟踪单元,用于针对已处理干扰梯度的所述图像跟踪所述边界。
2.根据附记1所述的图像处理装置,其中,所述边界估计单元包括:
分段单元,用于对所述图像在所述边界上的两个角点之间的部分进行分割,以获得预定数量的分段;
分段边界估计单元,用于分别针对所分割的分段估计边界的位置。
3.根据附记2所述的图像处理装置,其中,所述分段边界估计单元包括边界近似单元,用于使用直线段近似各个分段中的边界,
其中,针对所述角点所在的最外侧分段中的至少一个,所述边界近似单元将所述最外侧分段中的角点设置为近似所述最外侧分段中的边界的第一直线段的起点,并在所述最外侧分段的第一分割线上选取所述第一直线段的终点,使得在包含所述第一直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中;以及
所述边界近似单元将已经得到的边界近似直线段的终点设置为近似相邻下一分段的边界的第二直线段的起点,并在所述下一分段的、不与所述已经得到边界近似直线段的分段共有的第二分割线上选取所述第二直线段的终点,使得在包含所述第二直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。
4.根据附记3所述的图像处理装置,其中,所述分段边界估计单元还包括评价单元,用于对由所述边界近似单元获得的近似直线段的可用性进行评价。
5.根据附记4所述的图像处理装置,其中,所述评价单元包括:集中度评价单元,用于确定像素相对于最大梯度的集中程度是否大于等于预定程度,在大于等于预定程度时,确定所述边界的近似直线段可用,在小于预定程度时,确定所述边界的近似直线段不可用。
6.根据附记4或5所述的图像处理装置,其中,所述评价单元包括:倾斜角验证单元,用于将最新获得的近似直线段的倾斜角与上一相邻分段中近似直线段的倾斜角进行比较,当倾斜角之差小于等于预定阈值时,确定近似直线段可用;当倾斜角之差大于预定阈值时,确定近似直线段不可用。
7.根据附记3至6中任一个所述的图像处理装置,其中,所述干扰梯度处理单元分别对各个分段中所述近似直线段附近的梯度进行处理。
8.根据附记7所述的图像处理装置,其中,所述干扰梯度处理单元对预定区域之内、除包含所述近似直线段的窄带区域之外的梯度进行处理。
9.根据附记4至6中任一个所述的图像处理装置,其中,当所述最外侧分段的近似直线段不可用时,所述干扰梯度处理单元对所述角点所在水平线上下预定宽度窄带之外的梯度进行处理;并且所述边界跟踪单元针对经过该处理的所述图像跟踪所述对象图像的边界。
10.根据附记4至6中任一个所述的图像处理装置,其中,当仅从一端角点开始近似,且某一分段的近似直线段不可用时,所述干扰梯度处理单元将最后近似可用的分段的近似直线段的终点与另一端的角点相连接,并对连线的不存在所述边界的一侧的梯度进行处理。
11.根据附记4至6中任一个所述的图像处理装置,其中,当同时从两端的角点开始近似,且某一侧或两侧分段的近似不可用时,所述干扰梯度处理单元将最后近似可用的分段的近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相连接,并对连线的不存在所述边界的一侧的梯度进行处理。
12.根据附记1至11中任一个所述的图像处理装置,其中,所述对象图像是文档图像。
13.一种扫描仪,包括根据附记1至12中任一个所述的图像处理装置。
14.一种图像处理方法,用于跟踪图像中对象图像的边界,所述边界连续且相邻点斜率变化平缓,所述图像处理方法包括:
边界估计步骤,估计所述对象图像的边界的位置;
干扰梯度处理步骤,对所述图像中所估计边界附近的干扰梯度进行处理,以减弱或从所述图像中去除所述干扰梯度;
边界跟踪步骤,针对已处理干扰梯度的所述图像跟踪所述边界。
15.根据附记14所述的图像处理方法,其中,所述边界估计步骤包括:
分段步骤,对所述图像在所述边界上的两个角点之间的部分进行分割,以获得预定数量的分段;
分段边界估计步骤,分别针对所分割的分段估计边界的位置。
16.根据附记15所述的图像处理方法,其中,所述分段边界估计步骤包括使用直线段近似各个分段中的边界的边界近似步骤,所述边界近似步骤包括:
针对所述角点所在的最外侧分段中的至少一个,将所述最外侧分段中的角点设置为近似所述最外侧分段中的边界的第一直线段的起点,并在所述最外侧分段的第一分割线上选取所述第一直线段的终点,使得在包含所述第一直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中;以及
将已经得到的边界近似直线段的终点设置为近似相邻下一分段的边界的第二直线段的起点,并在所述下一分段的、不与所述已经得到边界近似直线段的分段共有的第二分割线上选取所述第二直线段的终点,使得在包含所述第二直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。
17.根据附记16所述的图像处理方法,其中,所述分段边界估计步骤还包括对由所获得的近似直线段的可用性进行评价的评价步骤。
18.根据附记17所述的图像处理方法,其中,所述评价步骤包括:确定像素相对于最大梯度的集中程度是否大于等于预定程度,在大于等于预定程度时,确定所述边界的近似直线段可用,在小于预定程度时,确定所述边界的近似直线段不可用。
19.根据附记17或18所述的图像处理方法,其中,所述评价步骤包括:将最新获得的近似直线段的倾斜角与上一相邻分段中近似直线段的倾斜角进行比较,当倾斜角之差小于等于预定阈值时,确定近似直线段可用;当倾斜角之差大于预定阈值时,确定近似直线段不可用。
20.根据附记16至19中任一个所述的图像处理方法,其中,在所述干扰梯度处理步骤中分别处理各个分段中所述近似直线段附近的梯度。
21.根据附记20所述的图像处理方法,其中,在所述干扰梯度处理步骤中对预定区域之内、除包含所述近似直线段的窄带区域之外的梯度进行处理。
22.根据附记17至19中任一个所述的图像处理方法,其中,当所述最外侧分段的近似直线段不可用时,在所述干扰梯度处理步骤中对所述角点所在水平线上下预定宽度窄带之外的梯度进行处理;并且在所述边界跟踪步骤中针对经过该处理的所述图像跟踪所述对象图像的边界。
23.根据附记17至19中任一个所述的图像处理方法,其中,当仅从一端角点开始近似,且某一分段的近似直线段不可用时,在所述干扰梯度处理步骤中将最后近似可用的分段的近似直线段的终点与另一端的角点相连接,并对连线的不存在所述边界的一侧的梯度进行处理。
24.根据附记17至19中任一个所述的图像处理方法,其中,当同时从两端的角点开始近似,且某一侧或两侧分段的近似不可用时,在所述干扰梯度处理步骤中将最后近似可用的分段的近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相连接,并对连线的不存在所述边界的一侧的梯度进行处理。
25.根据附记14至24中任一个所述的图像处理方法,其中,所述对象图像是文档图像。
26.一种计算机可读存储介质,存储有使计算机执行跟踪图像中对象图像的边界的处理的计算机程序,所述边界连续且相邻点斜率变化平缓,所述处理包括:
估计所述对象图像的边界的位置;
对所述图像中所估计边界附近的干扰梯度进行处理,以减弱或从所述图像中去除所述干扰梯度;
针对已处理干扰梯度的所述图像跟踪所述边界。
Claims (10)
1.一种图像处理装置,用于跟踪图像中对象图像的边界,所述边界连续且相邻点斜率变化平缓,所述图像处理装置包括:
边界估计单元,用于估计所述对象图像的边界的位置;
干扰梯度处理单元,用于对所估计边界附近的干扰梯度进行处理,以减弱或从所述图像中去除所述干扰梯度;
边界跟踪单元,用于针对已处理干扰梯度的所述图像跟踪所述边界。
2.根据权利要求1所述的图像处理装置,其中,所述边界估计单元包括:
分段单元,用于对所述图像在所述边界上的两个角点之间的部分进行分割,以获得预定数量的分段;
分段边界估计单元,用于分别针对所分割的分段估计边界的位置。
3.根据权利要求2所述的图像处理装置,其中,所述分段边界估计单元包括边界近似单元,用于使用直线段近似各个分段中的边界,
其中,针对所述角点所在的最外侧分段中的至少一个,所述边界近似单元将所述最外侧分段中的角点设置为近似所述最外侧分段中的边界的第一直线段的起点,并在所述最外侧分段的第一分割线上选取所述第一直线段的终点,使得在包含所述第一直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中;以及
所述边界近似单元将已经得到的边界近似直线段的终点设置为近似相邻下一分段的边界的第二直线段的起点,并在所述下一分段的、不与所述已经得到边界近似直线段的分段共有的第二分割线上选取所述第二直线段的终点,使得在包含所述第二直线段的窄带区域的梯度直方图中,像素相对于最大梯度最集中。
4.根据权利要求3所述的图像处理装置,其中,所述分段边界估计单元还包括评价单元,用于对由所述边界近似单元获得的近似直线段的可用性进行评价。
5.根据权利要求4所述的图像处理装置,其中,所述评价单元包括:集中度评价单元,用于确定像素相对于最大梯度的集中程度是否大于等于预定程度,在大于等于预定程度时,确定所述边界的近似直线段可用,在小于预定程度时,确定所述边界的近似直线段不可用。
6.根据权利要求4或5所述的图像处理装置,其中,所述评价单元包括:倾斜角验证单元,用于将最新获得的近似直线段的倾斜角与上一相邻分段中近似直线段的倾斜角进行比较,当倾斜角之差小于等于预定阈值时,确定近似直线段可用;当倾斜角之差大于预定阈值时,确定近似直线段不可用。
7.根据权利要求3至6中任一个所述的图像处理装置,其中,所述干扰梯度处理单元分别对各个分段中所述近似直线段附近的梯度进行处理。
8.一种扫描仪,包括根据权利要求1至7中任一个所述的图像处理装置。
9.一种图像处理方法,用于跟踪图像中对象图像的边界,所述边界连续且相邻点斜率变化平缓,所述图像处理方法包括:
边界估计步骤,估计所述对象图像的边界的位置;
干扰梯度处理步骤,对所述图像中所估计边界附近的干扰梯度进行处理,以减弱或从所述图像中去除所述干扰梯度;
边界跟踪步骤,针对已处理干扰梯度的所述图像跟踪所述边界。
10.一种计算机可读存储介质,存储有使计算机执行跟踪图像中对象图像的边界的处理的计算机程序,所述边界连续且相邻点斜率变化平缓,所述处理包括:
估计所述对象图像的边界的位置;
对所述图像中所估计边界附近的干扰梯度进行处理,以减弱或从所述图像中去除所述干扰梯度;
针对已处理干扰梯度的所述图像跟踪所述边界。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210177619.0A CN103455995B (zh) | 2012-05-31 | 2012-05-31 | 图像处理装置、图像处理方法和扫描仪 |
JP2013114201A JP6260112B2 (ja) | 2012-05-31 | 2013-05-30 | 画像処理装置、画像処理方法、スキャナーおよび記憶媒体 |
US13/906,854 US9239954B2 (en) | 2012-05-31 | 2013-05-31 | Image processing device, image processing method, scanner and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210177619.0A CN103455995B (zh) | 2012-05-31 | 2012-05-31 | 图像处理装置、图像处理方法和扫描仪 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103455995A true CN103455995A (zh) | 2013-12-18 |
CN103455995B CN103455995B (zh) | 2016-08-03 |
Family
ID=49670336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210177619.0A Expired - Fee Related CN103455995B (zh) | 2012-05-31 | 2012-05-31 | 图像处理装置、图像处理方法和扫描仪 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9239954B2 (zh) |
JP (1) | JP6260112B2 (zh) |
CN (1) | CN103455995B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035266A (zh) * | 2017-06-08 | 2018-12-18 | 吴海霞 | 一种利用普通摄像完成身份证便携扫描的算法 |
CN112071037A (zh) * | 2019-06-11 | 2020-12-11 | 陈军 | 现场指示灯驱动方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455996B (zh) * | 2012-05-31 | 2016-05-25 | 富士通株式会社 | 边缘提取方法和设备 |
CN104657730B (zh) * | 2013-11-20 | 2018-01-05 | 富士通株式会社 | 文档图像的校正装置、方法以及扫描仪 |
CN106295484B (zh) * | 2015-06-12 | 2019-11-22 | 富士通株式会社 | 提取文档边界的方法和装置 |
CN109559344B (zh) * | 2017-09-26 | 2023-10-13 | 腾讯科技(上海)有限公司 | 边框检测方法、装置及存储介质 |
US20220198814A1 (en) * | 2019-08-14 | 2022-06-23 | Hewlett-Packard Development Company, L.P. | Image dewarping with curved document boundaries |
CN111091505B (zh) * | 2019-11-26 | 2022-06-24 | 浙江大学 | 基于古典概型的影印图像倾斜纠正方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1815492A (zh) * | 2005-02-06 | 2006-08-09 | 佳能株式会社 | 处理图像且在图像中检测标记的方法、装置及存储介质 |
US20080008369A1 (en) * | 2006-05-18 | 2008-01-10 | Sergei Koptenko | Methods and systems for segmentation using boundary reparameterization |
CN101567084A (zh) * | 2009-06-05 | 2009-10-28 | 西安电子科技大学 | 基于水平集和分水岭相结合的图像轮廓检测方法 |
US20110075882A1 (en) * | 2009-09-29 | 2011-03-31 | Hitachi Software Engineering Co., Ltd. | Geospatial information creating system and geospatial information creating method |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002793A (en) * | 1992-01-30 | 1999-12-14 | Cognex Corporation | Machine vision method and apparatus for finding an object orientation angle of a rectilinear object |
US5872864A (en) * | 1992-09-25 | 1999-02-16 | Olympus Optical Co., Ltd. | Image processing apparatus for performing adaptive data processing in accordance with kind of image |
US5841905A (en) * | 1996-10-25 | 1998-11-24 | Eastman Kodak Company | Business form image identification using projected profiles of graphical lines and text string lines |
JPH10143672A (ja) * | 1996-11-06 | 1998-05-29 | Dainippon Screen Mfg Co Ltd | 画像輪郭線データの作成方法および装置 |
US6266054B1 (en) * | 1997-11-05 | 2001-07-24 | Microsoft Corporation | Automated removal of narrow, elongated distortions from a digital image |
DE10157958B4 (de) * | 2000-11-29 | 2012-11-15 | Omron Corp. | Bildverarbeitungsverfahren und-vorrichtung |
US7430065B2 (en) * | 2001-08-27 | 2008-09-30 | Ricoh Company, Ltd | Method and system for correcting distortions in image data scanned from bound originals |
EP2438574A2 (en) | 2009-06-05 | 2012-04-11 | Hewlett-Packard Development Company, L.P. | Edge detection |
US8781160B2 (en) | 2009-12-31 | 2014-07-15 | Indian Institute Of Technology Bombay | Image object tracking and segmentation using active contours |
JP5724454B2 (ja) * | 2011-02-25 | 2015-05-27 | 村田機械株式会社 | 画像処理装置及び画像処理方法 |
US8457403B2 (en) * | 2011-05-19 | 2013-06-04 | Seiko Epson Corporation | Method of detecting and correcting digital images of books in the book spine area |
US8774508B2 (en) * | 2012-02-27 | 2014-07-08 | Denso It Laboratory, Inc. | Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point |
-
2012
- 2012-05-31 CN CN201210177619.0A patent/CN103455995B/zh not_active Expired - Fee Related
-
2013
- 2013-05-30 JP JP2013114201A patent/JP6260112B2/ja active Active
- 2013-05-31 US US13/906,854 patent/US9239954B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1815492A (zh) * | 2005-02-06 | 2006-08-09 | 佳能株式会社 | 处理图像且在图像中检测标记的方法、装置及存储介质 |
US20080008369A1 (en) * | 2006-05-18 | 2008-01-10 | Sergei Koptenko | Methods and systems for segmentation using boundary reparameterization |
CN101567084A (zh) * | 2009-06-05 | 2009-10-28 | 西安电子科技大学 | 基于水平集和分水岭相结合的图像轮廓检测方法 |
US20110075882A1 (en) * | 2009-09-29 | 2011-03-31 | Hitachi Software Engineering Co., Ltd. | Geospatial information creating system and geospatial information creating method |
Non-Patent Citations (2)
Title |
---|
宋晓东: "数字图像处理中分割方法的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
黎鑫 等: "一种程度可控的形态学多尺度梯度分水岭算法", 《计算机应用研究》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035266A (zh) * | 2017-06-08 | 2018-12-18 | 吴海霞 | 一种利用普通摄像完成身份证便携扫描的算法 |
CN112071037A (zh) * | 2019-06-11 | 2020-12-11 | 陈军 | 现场指示灯驱动方法 |
CN112071037B (zh) * | 2019-06-11 | 2022-07-01 | 虹球环艺科技集团有限公司 | 现场指示灯驱动方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2013250974A (ja) | 2013-12-12 |
CN103455995B (zh) | 2016-08-03 |
JP6260112B2 (ja) | 2018-01-17 |
US20130322769A1 (en) | 2013-12-05 |
US9239954B2 (en) | 2016-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103455995A (zh) | 图像处理装置、图像处理方法、扫描仪和存储介质 | |
JP4696635B2 (ja) | 画像領域の高凝縮要約画像を生成する方法、装置およびプログラム | |
CN107679442A (zh) | 单证信息录入的方法、装置、计算机设备及存储介质 | |
CN105719243A (zh) | 图像处理装置和方法 | |
JP5312420B2 (ja) | コンテンツ解析装置、方法およびプログラム | |
CN109447003A (zh) | 车辆检测方法、装置、设备和介质 | |
CN108648189B (zh) | 图像模糊检测方法、装置、计算设备及可读存储介质 | |
CN106500684B (zh) | 导航的路径信息的处理方法及装置 | |
US20030215136A1 (en) | Method and system for document segmentation | |
CN106156691A (zh) | 复杂背景图像的处理方法及其装置 | |
US20170351931A1 (en) | System and method for straightening curved page content | |
CN111199567B (zh) | 车道线绘制方法、装置及终端设备 | |
JP2018097551A (ja) | 携帯端末装置のカメラにより撮影される紙面画像から記事をスクラップするための方法、プログラム、及び装置 | |
KR20120138642A (ko) | 화상 처리 방법 및 화상 처리 장치 | |
US20170091547A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
CN112418199B (zh) | 多模态信息提取方法、装置、电子设备及存储介质 | |
CN106296629B (zh) | 图像处理装置和方法 | |
Seuret et al. | Robust heartbeat-based line segmentation methods for regular texts and paratextual elements | |
US20170091546A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
CN108629786B (zh) | 图像边缘检测方法及装置 | |
JP3544324B2 (ja) | 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 | |
Grossauer | Inpainting of movies using optical flow | |
CN108121988A (zh) | 信息处理方法和装置以及信息检测方法和装置 | |
JP6384050B2 (ja) | 線検出装置、線検出方法、及びプログラム | |
JP7200265B2 (ja) | バーコード検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160803 Termination date: 20210531 |
|
CF01 | Termination of patent right due to non-payment of annual fee |