CN103366165A - 图像处理装置、图像处理方法以及设备 - Google Patents

图像处理装置、图像处理方法以及设备 Download PDF

Info

Publication number
CN103366165A
CN103366165A CN2012100911937A CN201210091193A CN103366165A CN 103366165 A CN103366165 A CN 103366165A CN 2012100911937 A CN2012100911937 A CN 2012100911937A CN 201210091193 A CN201210091193 A CN 201210091193A CN 103366165 A CN103366165 A CN 103366165A
Authority
CN
China
Prior art keywords
page
angle point
candidate
document
leaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100911937A
Other languages
English (en)
Other versions
CN103366165B (zh
Inventor
谢术富
何源
孙俊
于浩
直井聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201210091193.7A priority Critical patent/CN103366165B/zh
Priority to EP13160924.0A priority patent/EP2645692B1/en
Priority to JP2013070507A priority patent/JP6102417B2/ja
Priority to US13/853,544 priority patent/US9129385B2/en
Publication of CN103366165A publication Critical patent/CN103366165A/zh
Application granted granted Critical
Publication of CN103366165B publication Critical patent/CN103366165B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Input (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供了图像处理装置、图像处理方法以及设备，以至少提高在针对文档所捕获的图像所进行的图像处理中的文档角点提取精度。图像处理装置包括：用于提取文档的沿第一方向的边界线和粗测文档角点的提取单元，其中，第一方向是文档图像的水平方向或垂直方向；用于在粗测文档角点附近、在沿第一方向的边界线上确定候选页角点的确定单元；以及用于在候选页角点中确定文档的文档角点的选择单元。图像处理方法用于执行能够实现上述图像处理装置的功能的处理。上述设备包括上述图像处理装置。应用本发明的上述技术，能够提取到较精确的文档角点，获得较好的图像处理效果，可以应用于图像处理领域。

Description

图像处理装置、图像处理方法以及设备
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理装置、图像处理方法以及设备。
背景技术
数字图像一般是指通过例如数码相机、扫描仪等设备捕获的图像，也可以通过任意的非图像数据合成而得到，例如通过数学函数等。通常，对于通过数码相机、扫描仪等设备的捕获而得到的数字图像有可能存在扭曲、倾斜或其他变形，因此需要使用一些图像处理技术来对其进行处理，以修正其畸变或变形。
其中，在一些图像处理技术中，例如针对文档所捕获的图像所进行的处理，其通常需要根据所捕获图像中的文档的角点来进行例如一些例如恢复、补偿等处理，在这些图像处理技术中，如果能提高所提取的文档角点的准确度，则有助于改善图像处理的效果。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于现有技术的上述缺陷，本发明的目的之一是提供一种图像处理装置、图像处理方法以及设备，以至少能够提高在针对文档所捕获的图像中的文档角点提取精度。
为了实现上述目的，根据本发明的一个方面，提供了一种图像处理装置，该图像处理装置包括：提取单元，其被配置用于在针对文档所捕获的文档图像中，提取文档的沿第一方向的边界线以及文档的粗测文档角点；确定单元，其被配置用于在粗测文档角点附近、在文档的沿第一方向的边界线上确定文档的候选页角点；以及选择单元，其被配置用于选择候选页角点中页内区域像素特征与文档的页角像素特征最接近的候选页角点，作为文档的文档角点；其中，上述第一方向是文档图像的水平方向或垂直方向。
根据本发明的另一个方面，还提供了一种图像处理方法，该图像处理方法包括：在针对文档所捕获的文档图像中，提取文档的沿第一方向的边界线以及文档的粗测文档角点；在粗测文档角点附近、在文档的沿第一方向的边界线上确定文档的候选页角点；以及选择候选页角点中页内区域像素特征与文档的页角像素特征最接近的候选页角点，作为文档的文档角点；其中，上述第一方向是文档图像的水平方向或垂直方向。
根据本发明的另一个方面，还提供了一种设备，该设备包括如上所述的图像处理装置。
依据本发明的其它方面，还提供了相应的计算机可读存储介质，该计算机可读存储介质上存储有能够由计算设备执行的计算机程序，所述程序在执行时能够使所述计算设备执行上述图像处理方法。
上述根据本发明实施例的图像处理装置和图像处理方法以及包括该图像处理装置的设备，可以在针对文档所捕获的文档图像所进行的图像处理中，提取到较精确的文档角点，改善图像处理效果。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：
图1A是示出一种针对文档所捕获的文档图像的示例性示意图。
图1B是示出利用现有的图像处理方法对如图1A所示的文档图像进行处理时所检测到的角点以及该文档的真实角点的示例性示意图。
图2是示意性地示出根据本发明的实施例的图像处理装置的一种示例结构的框图。
图3是示意性地示出图1中的提取单元的一种可能的示例结构的框图。
图4A是示出利用如图3所示的提取单元在处理过程中所提取的粗测文档角点的示例性示意图。
图4B是示出利用如图3所示的提取单元在处理过程中所提取的文档的沿第一方向的边界线的示例性示意图。
图5是示意性地示出图2中的确定单元的一种可能的示例结构的框图。
图6A是示出利用如图5所示的确定单元在处理过程中所得到的边界线片段以及包含该边界线片段的图像块的示例性示意图。
图6B、图6C是示出利用如图5所示的确定单元在处理过程中所确定的第一矩形区域的示例性示意图。
图7A是示意性地示出图2中的选择单元的一种可能的示例结构的框图。
图7B是示意性地示出图2中的选择单元的另一种可能的示例结构的框图。
图8A、图8B是示出利用如图7所示的选择单元在处理过程中所确定的页内区域的示例性示意图。
图9A是示出利用如图7B所示的选择单元在处理过程中所得到的未经过滤处理的候选页角点的示例性示意图。
图9B是示出利用如图7B所示的选择单元所最终得到的文档角点。
图10是示意性地示出根据本发明的实施例的图像处理方法的一种示例性处理的流程图。
图11是示意性地示出如图10所示的步骤S1020的一种可能的示例性处理的流程图。
图12是示意性地示出如图10所示的步骤S1030的一种可能的示例性处理的流程图。
图13是示意性地示出如图10所示的步骤S1040的一种可能的示例性处理的流程图。
图14是示意性地示出如图10所示的步骤S1040的另一种可能的示例性处理的流程图。
图15是示出了可用来实现根据本发明实施例的图像处理装置和图像处理方法的一种可能的信息处理设备的硬件配置的结构简图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
如上文所述，现有的一些图像处理技术在对针对文档所捕获的文档图像进行处理的过程中，其在提取文档角点时，所提取的文档角点有可能与文档的真实角点之间存在较大的误差。
例如，图1A示出了一种针对文档所捕获的文档图像的示意图，其中，如图1A所示的文档图像中的文档页面上是可以具有例如文字、图画等各种内容的(图1A中未示出该内容)。
图1B示出了利用现有的一些图像处理方法对如图1A所示的文档图像进行处理时可能检测到的角点P1’～P4’以及该文档的真实角点P1～P4。如图1A和图1B所示，由于这类文档存在多页，在其摊开的状态下，可能会导致检测的角点与真实角点之间偏差过大。此外，由于其他因素，例如在上述文档图像中，可能在文档的真实角点附近存在其他干扰因素(例如不易与前景分离开的背景内容等)，而导致检测的角点可能与真实角点之间偏差过大。
由此，为了对上述针对文档所捕获的文档图像能够提取到更为精确的文档角点，进而改善图像处理的处理效果，本发明提出了一种用于对针对文档所捕获的文档图像进行处理的图像处理装置，来解决以上问题。
该图像处理装置包括：提取单元，其被配置用于在针对文档所捕获的文档图像中，提取文档的沿第一方向的边界线以及文档的粗测文档角点；确定单元，其被配置用于在粗测文档角点附近、在文档的沿第一方向的边界线上确定文档的候选页角点；以及选择单元，其被配置用于选择候选页角点中页内区域像素特征与文档的页角像素特征最接近的候选页角点，作为文档的文档角点；其中，上述第一方向是文档图像的水平方向或垂直方向。
下面结合图2-图9B来详细描述根据本发明的实施例的图像处理装置。
图2是示意性地示出根据本发明的实施例的图像处理装置200的一种示例结构的框图。如图2所示，根据本发明的实施例的图像处理装置200包括提取单元210、确定单元220和选择单元230。
如图2所示，图像处理装置200中的提取单元210用于在针对文档所捕获的文档图像中，提取所述文档的沿第一方向的边界线以及所述文档的粗测文档角点。
其中，这里所说的文档例如可以是摊开的书本、杂志等文档(如图1A)，也可以是未摊开的、多页叠放的文档(未示出)，或者可以是单页纸、单张名片等单页文档(未示出)，等等。下面主要以如图1A所示的文档图像为例来对根据本发明的实施例的图像处理装置200进行示例性描述。
此外，这里所说的“第一方向”可以是文档图像的水平方向，也可以是文档图像的垂直方向。
例如，在图1A所示的例子中，其中的文档的打开方向为左右拼页打开，这样则使得在该文档在处于如图1A所示的摊开状态下，文档的左侧和右侧会分别呈现出多页纸的竖直外边缘，因此可能使得在对该文档图像进行处理的过程中提取到的角点与真实角点差距过大，或者由于多页纸的多个角点的干扰而提取到多个角点，无法从中选择。在这种情况下，优选地，可以令上述“第一方向”为文档图像的长度方向(该长度方向可能是文档图像的水平方向，也可能是文档图像的垂直方向)，这样则有利于提高所提取的文档角点的准确度。
图3是示意性地示出图1中的提取单元210的一种可能的示例结构的框图。如图3所示，提取单元210可以包括第一处理子单元310和第二处理子单元320。
其中，在一种实现方式中，可以利用第一处理子单元310来获得文档的粗测文档角点，以及利用第二处理子单元320来获得上述“文档的沿第一方向的边界线”。
例如，如图4A所示，在该实现方式中，第一处理子单元310例如可以被配置成通过全局二值化方法(例如可以参见N.Otsu，“A ThresholdSelection Method from Gray-Level Histograms”，IEEE Trans.Sys.，Man.，Cyber.vol.9，pp.62-66，1979)获得上述文档图像的前景区域，然后提取该前景区域的边缘线(在图4A所示的例子中为4条边缘线)，将其中相邻的边缘线的交点(如图4A中的C1～C4点)确定为文档的粗测文档角点。其中，图4A中的虚线表示该例子中得到的4条边缘线。
此外，在该实现方式中，第二处理子单元320例如可以被配置成在所述文档的粗测文档角点之间沿上述第一方向、通过动态规划的方法进行边界检测，并将检测到的边界作为上述文档的沿第一方向的边界线。具体地，如图4A所示，例如在“第一方向”为文档图像的水平方向(如图1A中所示的A2-A2’向)的情况下，按照上述方式可以获得C1与C2之间的边界线(包括部分延长线)(以下简称“文档的上边界线”)和C3与C4之间的边界线(包括部分延长线)(以下简称“文档的下边界线”)。例如，第二处理子单元320所提取的“上述文档的沿第一方向的边界线”可以是如图4B所示的文档的上边界线B12和文档的下边界线B43。此外，也可以通过其他方式来得到文档的粗测文档角点。
这里需要说明的是，图3所示的结构和功能仅作为提取单元210的一种可能实现方式，而不作为对提取单元210的限制，其他任何可以实现提取单元210的功能的结构都应当包含在本发明的保护范围内。
如图2所示，图像处理装置200中的确定单元220用于在提取单元210所得到的粗测文档角点附近、在上述文档的沿第一方向的边界线上来确定该文档的候选页角点。
具体地，可以采用如图5所示的结构来实现确定单元220的功能。
图5示意性地示出了如图2所示的确定单元220的一种可能的示例结构。如图5所示，确定单元220可以包括截取子单元510、第一计算子单元520、第一确定子单元530和计算与选择子单元540。
其中，截取子单元510可以被配置成针对提取单元210所得到的粗测文档角点中的每一个执行如下的处理：在上述文档的沿第一方向的边界线上截取包含该粗测文档角点的边界线片段，并在文档图像中截取包含该边界线片段的图像块。
例如，以图4B中所示的粗测文档角点C1为例来说明截取子单元510的处理。如图6A所示，对于粗测文档角点C1，可以通过截取子单元510在C1对应的“沿第一方向的边界线”(例如图6A中所示文档的上边界线B12)上截取一段边界线片段B0，其中，B0包含粗测文档角点C1。然后，如图6A所示，可以通过截取子单元510在文档图像中截取一个包含边界线片段B0的图像块S0，例如，可以根据边界线片段B0上所有点的最大和最小的横、纵坐标来确定一个矩形区域，将该矩形区域作为上述图像块；此外，在其他例子中，也可以选择其他形状的图像块，只要该图像块包含上述边界线片段B0即可。
通过截取子单元510获得了边界线片段B0和图像块S0之后，可以利用第一计算子单元520来获得图像块S0梯度的二值化图像。例如，可以将第一计算子单元520配置成通过计算图像块S0的沿第一方向的梯度(也即，水平梯度或垂直梯度)，并通过使用阈值化的方法来获得图像块S0梯度的二值化图像。
此外，第一计算子单元520还可以利用最小熵方法来获得文档的沿第二方向的边界线的倾斜度。其中，这里所说的“沿第二方向的边界线”是与“沿第一方向的边界线”相交的边界线。例如，在第一方向为文档图像的水平方向(如图1A中所示的A2-A2’向)的情况下第二方向为文档的垂直方向(如图1A中所示的A1-A1’向)，在第一方向为文档图像的垂直方向的情况下第二方向为文档的水平方向时。需要说明的是，这里并不需要确定“文档的沿第二方向的边界线”，而仅需获知其倾斜度即可。其中，图6A中的虚线k示出了该例子中所计算的“文档的沿第二方向的边界线的倾斜度”的方向。
由此，为了在截取子单元510所截取的边界线片段B0上选出粗测文档角点C1的候选页角点，可以按照如下的方式来配置第一确定子单元530和计算与选择子单元540。
例如，第一确定子单元530可以被配置成在边界线片段B0上的每个点附近确定一个与该点相关的第一矩形区域，其中，该第一矩形区域具有第一预设尺寸并且包含在对应的图像块中，且该第一矩形区域的长度按照与文档的沿第二方向的边界线的倾斜度相一致的方向延伸。如图6B所示，以边界线片段B0上的任意点X为例，SX1为与点X相关的第一矩形区域，其中，SX1的长度方向与k的方向是一致的。
例如，在已获得所述文档图像的前景区域的情况下，上述边界线片段上的每个点所对应的第一矩形区域可以位于文档图像的前景区域内部。也即，例如在上述第一方向为文档图像的水平方向的情况下，可以使得截取子单元510所得到的边界线片段中位置相对靠上的那个边界线片段上的每个点所对应的第一矩形区域位于该点的下方(如图6B中的点X及其对应的第一矩形区域SX1)，以及使得截取子单元510所得到的边界线片段中位置相对靠下的那个边界线片段上的每个点所对应的第一矩形区域位于该点的上方(如图6C所示)，这样，便可以保证边界线片段上的每个点所对应的第一矩形区域能够位于文档图像的前景区域内部。
然后，可以将计算与选择子单元540配置成根据上述图像块梯度的二值化图像来计算各个第一矩形区域所包含的前景像素点数目，并在粗测文档角点对应的边界线片段上选择满足如下条件的点来作为该粗测文档角点的候选页角点：其对应的第一矩形区域中所包含的前景像素点数目大于第一预设阈值。例如，如图6B所示，在粗测文档角点C1所在的边界线片段B0上的所有点中，将其中对应的第一矩形区域中所包含的前景像素点数目大于第一预设阈值的那些点选作为粗测文档角点C1的候选页角点。由此所选出的候选页角点更能代表文档的每页的角点。
如上所述，如图1所示，通过提取单元210和确定单元220可以得到文档的候选页角点。例如，对于如图1所示的文档图像来说，分别可以得到每个粗测文档角点的多个候选页角点。由此，可以通过选择单元230来在每个粗测文档角点的多个候选页角点选择其中的一个，来作为与该粗测文档角点有关的、文档的文档角点。其中，以粗测文档角点C1为例，在粗测文档角点C1的所有候选页角点中，可以选择其页内区域像素特征与文档的页角像素特征最接近的那个候选页角点来作为文档的文档角点。
其中，候选页角点的页内区域像素特征是指候选页角点附近的、属于文档内部的区域(以下简称为“页内区域”)的像素特征，例如该候选角点的页内区域所含的前景像素量或前景像素量所占该页内区域的百分比等。文档的页角像素特征则是指文档的页角区域(例如图1A中所示的区域SA)中所包含的像素特征，其中，文档的页角像素特征可以预先获得或根据经验值来设定。一般的文档常常设置一定宽度的页边距(也即，页面四周的空白区域)，由此，文档的页角区域往往几乎不包含前景像素(特殊情况例外)。因此，在这种情况下，“与文档的页角像素特征最接近”也即代表近似不包含前景像素，故而对于各个候选角点来说，其对应的同样大小的页内区域所包含的前景像素越少，则其距离文档的真实角点越近。
例如，在一种实现方式中，可以采用如图7A所示的结构来实现选择单元230的功能和操作。如图7A所示，选择单元230可以包括第二确定子单元710、第二计算子单元720和选择子单元730。
其中，可以按照如下的方式来配置第二确定子单元710：针对每个粗测文档角点，在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，页内区域具有第二预设尺寸并且包含在对应的图像块中。如图8A所示，对于某一候选角点Y，在其靠近页内侧的页内区域例如可以为区域SY2，其中，候选角点Y的页内区域SY2比候选角点Y的第一矩形区域SY1更靠近文档的内侧，也即更靠近文档图像的中心。
其中，页内区域并不局限为图8A所示的矩形或方形区域，也可以是圆形等其他形状的区域。
例如，在一种实现方式中，页内区域可以是以该页内区域所对应的候选页角点作为顶点的矩形或方形区域，且页内区域的其中一边沿着与上述沿第二方向的边界线的倾斜度一致的方向延伸。于是，在该实现方式中，如，通过如上述设置，则能够使得那些位于文档左上部的粗测文档角点的每个候选页角点对应的页内区域位于其右下方(如图8A所示)，使得那些位于文档左下部的粗测文档角点的每个候选页角点对应的页内区域位于其右上方(未示出)，使得那些位于文档右上部的粗测文档角点的每个候选页角点对应的页内区域位于其左下方(如图8B所示)，以及使得那些位于文档右下部的粗测文档角点的每个候选页角点对应的页内区域位于其左上方(未示出)。
其中，上述未示出的情况容易参照图8A和图8B获知。
然后，可以通过第二计算子单元720来计算每个粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比。其中，某个候选页角点所对应的页内区域中的前景像素百分比也即为该候选页角点所对应的页内区域中的前景像素量占该页内区域的比例。
接下来，可以利用选择子单元730在每个粗测文档角点的候选页角点中，选择其中对应的页内区域中的前景像素百分比与所述文档的页角区域中的前景像素百分比最接近的候选页角点来作为所述文档的文档角点。一般情况下，由于页边距的设置，可以认为文档的页角区域中的前景像素百分比接近0，因此在一种实现方式中，可以认为所述文档的页角区域中的前景像素百分比为0。因此，在某粗测文档角点的所有候选页角点中，可以选择页内区域中的前景像素百分比与0最接近的那个候选页角点，也即可以选择页内区域中的前景像素百分比最小(大于0的情况下)的那个候选页角点来作为最终确定的文档角点。
需要说明的是，在某些特殊情况下，例如，文档为某些彩印杂志或封面页等，其可能几乎不包含页边距，在这种情况下，也可以事先获得这类文档的页角像素特征(例如，颜色特征、形状特征和/或像素分布特征等等)，然后计算候选页角点的页内区域的同一类型的像素特征与之进行比较，选择二者之间特征最接近的那个候选页交点来作为文档的文档角点。
此外，在另外一种实现方式中，可以采用如图7B所示的结构来实现选择单元230的功能和操作。如图7B所示，选择单元230可以包括第二确定子单元710、第二计算子单元720、过滤子单元724以及选择子单元730。其中，在该实现方式中，如图7B所示的第二确定子单元710和第二计算子单元720可以具有与如图7A所示的第二确定子单元710和第二计算子单元720相同的结构和功能，并能够达到类似的技术效果，在此省略其描述。
由此，通过如图7B所示的第二确定子单元710和第二计算子单元720，同样可以确定候选页角点的页内区域以及计算各个页内区域中的前景像素百分比。
与图7A所示例子不同的是，在图7B所示的例子中，可以利用过滤子单元724来对候选角点进行过滤。例如，可以通过包括有配对模块7241、计算模块7242以及过滤模块7243的过滤子单元724来实现上述过滤功能。其中，图9A示出了利用如图7B所示的选择单元在处理过程中所得到的未经过滤处理的候选页角点的示例性示意图。需要说明的是，由于实际文档页面的内容中可能存在例如插图、折痕或其他内容，可能会使得通过扫描或其他途径所捕获的文档图像的页面中存在条纹等，从而使得通过上文所述的处理所得到的候选页角点中可能会存在例如D2和D4这种位置与实际角点位置偏差很大的候选页角点，因此有必要过滤掉例如D2和D4这种候选页角点。
在该实现方式中，可以利用配对模块7241按照如下方式对候选角点进行两两配对：
在第一方向为文档图像的水平方向的情况下，对分布在所有粗测文档角点的左上部的粗测文档角点的候选页角点和左下部的粗测文档角点的候选页角点之间进行两两配对得到多个第一候选角点对，以及对分布在所有粗测文档角点的右上部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第二候选角点对，以及
在第一方向为文档图像的垂直方向的情况下，对分布在所有粗测文档角点中的左上部的粗测文档角点的候选页角点和右上部的粗测文档角点的候选页角点之间进行两两配对得到多个第三候选角点对，以及对分布在所有粗测文档角点中的左下部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第四候选角点对。
其中，对于本领域技术人员来说，例如可以根据粗测文档角点的坐标来确定“分布在所有粗测文档角点的左上部的粗测文档角点”以及其余位置的粗测文档角点。需要注意的是，多个候选页角点对中是存在重复的候选角点的，下面以每个候选页角点对作为对象进行处理。例如，如图9A所示，得到的多个候选页角点对可以包括第一部分中的(D1，D4)、(D1，D5)以及第二部分中的(D2，D3)、(D6，D3)等等。
然后，可以利用计算模块7242来在第一方向为文档图像的水平方向的情况下，分别计算上述多个第一和第二候选页角点对中每个候选页角点对所包含的两个候选页角点之间的连线的斜率，在第一方向为文档图像的垂直方向的情况下，分别计算上述多个第三和第四候选页角点对中每个候选页角点对所包含的两个候选页角点之间的连线的斜率，如图9A所示的(D1，D4)所对应的斜率k’1以及(D2，D3)所对应的斜率k’2等等。
然后，将上述所计算的各个斜率与文档的沿第二方向的边界线的倾斜度进行比较。
然后，可以利用过滤模块7243来将例如k’1、k’2等斜率中与文档的沿第二方向的边界线的倾斜度k之间差异大于第二预设阈值的那些候选页角点对滤除掉，而将剩下的候选页角点对提供给选择子单元进行730进行处理。
在该实现方式中，选择子单元进行730首先计算过滤后的第一和第二候选页角点对中或者第三和第四候选页角点对中的每个候选页角点对所包括的两个候选页角点分别对应的页内区域中的前景像素百分比的和。例如，对于图9B所示的候选页角点对(D1，D5)中的候选页角点D1和候选页角点D5来说，计算候选页角点D1对应的页内区域中的前景像素百分比与候选页角点D5对应的页内区域中的前景像素百分比这两个前景像素百分比的和。
然后，选择子单元进行730例如可以按照如下方式来最终确定文档的文档角点：
在第一方向为文档图像的水平方向的情况下，在上述多个第一候选角点对中选择这样的候选页角点对：其包含的两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近；以及在上述多个第二候选角点对中选择这样的候选页角点对：其包含的两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近；将在第一候选角点对中和第二候选角点对中所分别选择的候选页角点对中的候选页角点确定为文档的文档角点；
在第一方向为文档图像的垂直方向的情况下，在上述多个第三候选角点对中选择这样的候选页角点对：其包含的两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近；以及在上述多个第四候选角点对中选择这样的候选页角点对：其包含的两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近；将在第三候选角点对中和第四候选角点对中所分别选择的候选页角点对中的候选页角点确定为文档的文档角点。
通常情况下，由于文档的页角区域中的前景像素百分比接近0，因此可以例如选择其中两个候选页角点分别对应的页内区域中的前景像素百分比的和最小的那个候选页角点对，而将该候选页角点对中的两个候选页角点确定为文档的文档角点。如图9B所示，例如，D1与D5分别对应的页内区域中的前景像素百分比的和在第一部分中是最小的，D3与D6分别对应的页内区域中的前景像素百分比的和在第二部分中是最小的，则最终确定的文档的文档角点为D1、D3、D6和D5。
通过以上描述可知，应用根据本发明的实施例的图像处理装置，可以在针对文档所捕获的文档图像所进行的图像处理中，提取到较精确的文档角点，改善图像处理效果。
此外，本发明的实施例还提供了一种图像处理方法。下面结合图10-图14来描述该方法的一种示例性处理。
图10是示意性地示出根据本发明的实施例的图像处理方法的一种示例性处理的流程图
如图10所示，根据本发明的实施例的图像处理方法的处理流程600开始于步骤S1010，然后执行步骤S1020。
在步骤S1020中，在针对文档所捕获的文档图像中，提取文档的沿第一方向的边界线以及文档的粗测文档角点，其中，第一方向可以是文档图像的水平方向，也可以是文档图像的垂直方向。然后执行步骤S1030。
其中，可以采用如图11所示的步骤S1110～S130来实现如图10所示的步骤S1020的处理。
图11是示意性地示出如图10所示的步骤S1020的一种可能的示例性处理的流程图。如图11所示，在步骤S1110中，通过全局二值化方法获得文档图像的前景区域，以得到该前景区域的边缘线。然后执行步骤S1120。
在步骤S1120中，将上述前景区域的相邻的边缘线之间的交点确定为文档的粗测文档角点。然后执行步骤S1130。
在步骤S1130中，在文档的粗测文档角点之间沿上述第一方向、通过动态规划的方法进行边界检测，并将检测到的边界作为上述“文档的沿第一方向的边界线”。
由此，通过步骤S1110～S130即可提取到文档的沿第一方向的边界线以及文档的粗测文档角点
如图10所示，在步骤S1030中，在粗测文档角点附近、在文档的沿第一方向的边界线上确定文档的候选页角点。然后执行步骤S1040。
其中，可以针对每个粗测文档角点分别执行如图12所示的步骤S1210～S1250来实现如图10所示的步骤S1030的处理。
图12是示意性地示出如图10所示的步骤S1030的一种可能的示例性处理的流程图。下面结合图12来描述对某一个粗测文档角点的处理。
如图12所示，在步骤S1210中，在所提取的文档的沿第一方向的边界线上截取包含该粗测文档角点的边界线片段，并在文档图像中选取包含该粗测文档角点对应的边界线片段的图像块。然后执行步骤S1220。
在步骤S1220中，通过计算该粗测文档角点对应的图像块的沿第一方向的梯度，并通过使用阈值化方法，获得该图像块梯度的二值化图像，以及利用最小熵方法获得文档的沿第二方向的边界线的倾斜度，其中，在第一方向为文档图像的水平方向的情况下第二方向为文档的垂直方向，在第一方向为文档图像的垂直方向的情况下第二方向为文档的水平方向。然后执行步骤S1230。
在步骤S1230中，在包含该粗测文档角点的边界线片段上的每个点附近分别确定与该点相关的第一矩形区域，其中，上述第一矩形区域具有第一预设尺寸并且包含在对应的图像块中，以及上述第一矩形区域的长度按与文档的沿第二方向的边界线的倾斜度相一致的方向延伸。然后执行步骤S1240。其中，在已获得文档图像的前景区域的情况下，边界线片段上的每个点所对应的第一矩形区域可以位于文档图像的前景区域内部。
在步骤S1240中，根据上述图像块梯度的二值化图像，计算各个第一矩形区域所包含的前景像素点数目。然后执行步骤S1250。
在步骤S1250中，在上述边界线片段上选择满足如下条件的点来作为该粗测文档角点的候选页角点(也即文档的候选页角点)：其对应的第一矩形区域中所包含的前景像素点数目大于第一预设阈值。
由此，通过步骤S1210～S1250，即可得到文档的候选页角点。
如图10所示，在步骤S1040中，选择候选页角点中页内区域像素特征与文档的页角像素特征最接近的候选页角点，作为文档的文档角点。然后执行步骤S1050。
其中，可以采用如图13所示的步骤S1310～S1330来实现如图10所示的步骤S1040的处理。
图13是示意性地示出如图10所示的步骤S1040的一种可能的示例性处理的流程图。如图13所示，在步骤S1310中，针对每个粗测文档角点，在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，其中，上述页内区域具有第二预设尺寸并且包含在对应的图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近文档图像的中心。然后执行步骤S1320。
在步骤S1320中，针对每个粗测文档角点，计算该粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比。然后执行步骤S1330。
在步骤S1330中，在每个粗测文档角点的候选页角点中，将其中对应的页内区域中的前景像素百分比与文档的页角区域中的前景像素百分比最接近的候选页角点确定为文档的文档角点。
此外，也可以采用如图14所示的步骤S1410～S1440来实现如图10所示的步骤S1040的处理。
图14是示意性地示出如图10所示的步骤S1040的另一种可能的示例性处理的流程图。如图14所示，步骤S1410和S1420的处理与如图13所示的步骤S1310和S1320的处理相同，而且可以达到相类似的技术效果，在此省略其描述。
如图14所示，执行完步骤S1410和S1420之后，执行步骤S1430。
在步骤S1430中，对候选角点进行过滤。然后执行步骤S1440。
例如，在步骤S1430中，可以这样来对候选角点进行过滤：在所述第一方向为所述文档图像的水平方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和左下部的粗测文档角点的候选页角点之间进行两两配对得到多个第一候选角点对，以及通过对所述粗测文档角点中的右上部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第二候选角点对；以及在所述第一方向为所述文档图像的垂直方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和右上部的粗测文档角点的候选页角点之间进行两两配对得到多个第三候选角点对，以及通过对所述粗测文档角点中的左下部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第四候选角点对；分别计算所述多个第一和第二候选页角点对中、或者所述多个第三和第四候选页角点对中的每个候选页角点对所包含的两个候选页角点之间的连线的斜率；在上述多个第一和第二候选页角点对中、或者多个第三和第四候选页角点对中，过滤掉其中对应斜率与文档的沿第二方向的边界线的倾斜度之间的差异大于第二预设阈值的那些候选页角点对，并得到过滤后的候选页角点对。由此，实现了对候选角点的过滤。
其中，上述页内区域可以是以该页内区域所对应的候选页角点作为顶点的矩形或方形区域，且页内区域的其中一边沿着与上述沿第二方向的边界线的倾斜度一致的方向延伸。
在步骤S1440中，计算经步骤S1430过滤后的候选页角点对中的每个候选页角点对所包括的两个候选页角点分别对应的页内区域中的前景像素百分比的和。
其中，在第一方向为文档图像的水平方向的情况下，选择多个第一候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择多个第二候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在第一候选角点对中和第二候选角点对中所分别选择的候选页角点对中的候选页角点确定为文档的文档角点。
在第一方向为文档图像的垂直方向的情况下，选择多个第三候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择多个第四候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在第三候选角点对中和第四候选角点对中所分别选择的候选页角点对中的候选页角点确定为文档的文档角点。
由此，通过步骤S1310～S1330的处理或者通过步骤S1410～S1440的处理，均可以最终确定文档的文档角点。
如图10所示，处理流程1000结束于步骤S1050。
需要说明的是，根据本发明的实施例的上述图像处理方法中的各步骤的处理或子处理，可以具有能够实现上文中所描述的图像处理装置的单元、子单元、模块或子模块的操作或功能的处理过程，并且能够达到类似的技术效果，在此省略其描述。
通过以上描述可知，应用根据本发明的实施例的图像处理方法，可以在针对文档所捕获的文档图像所进行的图像处理中，提取到较精确的文档角点，改善图像处理效果。
此外，本发明的实施例还提供了一种设备，该设备包括如上所述的图像处理装置。其中，该设备例如可以是文档校正设备；扫描仪；照相机；摄像机；手机；计算机；以及个人数字助理等等。
通过以上描述可知，应用根据本发明的实施例的上述设备，可以在针对文档所捕获的文档图像所进行的图像处理中，提取到较精确的文档角点，改善图像处理效果。
上述根据本发明的实施例的图像处理装置中的各个组成单元、子单元等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器(例如图15所示的通用机器1500)安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功能。
图15是示出了可用来实现根据本发明的实施例的图像处理装置和图像处理方法的一种可能的信息处理设备的硬件配置的结构简图。
在图15中，中央处理单元(CPU)1501根据只读存储器(ROM)1502中存储的程序或从存储部分1508加载到随机存取存储器(RAM)1503的程序执行各种处理。在RAM 1503中，还根据需要存储当CPU 1501执行各种处理等等时所需的数据。CPU 1501、ROM 1502和RAM 1503经由总线1504彼此连接。输入/输出接口1505也连接到总线1504。
下述部件也连接到输入/输出接口1505：输入部分1506(包括键盘、鼠标等等)、输出部分1507(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1508(包括硬盘等)、通信部分1509(包括网络接口卡例如LAN卡、调制解调器等)。通信部分1509经由网络例如因特网执行通信处理。根据需要，驱动器1510也可连接到输入/输出接口1505。可拆卸介质1511例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1510上，使得从中读出的计算机程序可根据需要被安装到存储部分1508中。
在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质1511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图15所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1511。可拆卸介质1511的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1502、存储部分1508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
此外，本发明还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明的实施例的图像处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本发明的公开中。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而被配置用于在这些特征、要素、步骤或组件之间进行标识。
此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
此外，显然，根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本发明的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时，只要该系统或者设备具有执行程序的功能，则本发明的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，客户计算机通过连接到因特网上的相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本发明。
最后，还需要说明的是，在本文中，诸如左和右、第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
综上，在根据本发明的实施例中，本发明提供了如下方案：\
附记1.一种图像处理装置，包括：提取单元，其被配置用于在针对文档所捕获的文档图像中，提取所述文档的沿第一方向的边界线以及所述文档的粗测文档角点；确定单元，其被配置用于在所述粗测文档角点附近、在所述文档的沿第一方向的边界线上确定所述文档的候选页角点；以及选择单元，其被配置用于选择所述候选页角点中页内区域像素特征与所述文档的页角像素特征最接近的候选页角点，作为所述文档的文档角点；其中，所述第一方向是所述文档图像的水平方向或垂直方向。
附记2.根据附记1所述的图像处理装置，其中，所述提取单元包括：第一处理子单元，其被配置用于通过全局二值化方法获得所述文档图像的前景区域，以得到所述前景区域的边缘线，以及将所述前景区域的相邻的边缘线之间的交点确定为所述文档的粗测文档角点；以及第二处理子单元，其被配置用于在所述文档的粗测文档角点之间沿所述第一方向、通过动态规划的方法进行边界检测，并将检测到的边界作为所述文档的沿第一方向的边界线。
附记3.根据附记1或2所述的图像处理装置，其中，所述确定单元包括：截取子单元，其被配置用于针对每个粗测文档角点，在所述文档的沿第一方向的边界线上截取包含该粗测文档角点的边界线片段，以及在所述文档图像中截取包含所述边界线片段的图像块；第一计算子单元，其被配置用于通过计算所述图像块的沿第一方向的梯度，并通过使用阈值化方法，获得所述图像块梯度的二值化图像，以及利用最小熵方法获得所述文档的沿第二方向的边界线的倾斜度，其中，在所述第一方向为所述文档图像的水平方向的情况下所述第二方向为所述文档的垂直方向，在所述第一方向为所述文档图像的垂直方向的情况下所述第二方向为所述文档的水平方向；第一确定子单元，其被配置用于在所述边界线片段上的每个点附近分别确定与该点相关的第一矩形区域，其中，所述第一矩形区域具有第一预设尺寸并且包含在所述图像块中，以及所述第一矩形区域的长度按与所述文档的沿第二方向的边界线的倾斜度相一致的方向延伸；以及计算与选择子单元，其被配置用于根据所述图像块梯度的二值化图像计算各个第一矩形区域所包含的前景像素点数目，并在所述边界线片段上选择满足如下条件的点来作为该粗测文档角点的候选页角点：其对应的第一矩形区域中所包含的前景像素点数目大于第一预设阈值。
附记4.根据附记3所述的图像处理装置，其中，在所述提取单元包括所述第一处理子单元、以及所述第一处理子单元已获得所述文档图像的前景区域的情况下，所述边界线片段上的每个点所对应的第一矩形区域位于所述文档图像的前景区域内部。
附记5.根据附记3或4所述的图像处理装置，其中，所述选择单元包括：第二确定子单元，其被配置用于针对每个粗测文档角点，在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，所述页内区域具有第二预设尺寸并且包含在所述图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近所述文档图像的中心；第二计算子单元，其被配置用于计算每个粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比；以及选择子单元，其被配置用于在每个粗测文档角点的候选页角点中，选择其中对应的页内区域中的前景像素百分比与所述文档的页角区域中的前景像素百分比最接近的候选页角点来作为所述文档的文档角点。
附记6.根据附记3或4所述的图像处理装置，其中，所述选择单元包括：
第二确定子单元，其被配置用于针对每个粗测文档角点，在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，所述页内区域具有第二预设尺寸并且包含在所述图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近所述文档图像的中心；
第二计算子单元，其被配置用于计算每个粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比；
过滤子单元，其被配置用于根据所述第二计算子单元的计算结果对候选页角点进行过滤，其中，所述过滤子单元包括：
配对模块，其被配置用于
在所述第一方向为所述文档图像的水平方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和左下部的粗测文档角点的候选页角点之间进行两两配对得到多个第一候选角点对，以及通过对所述粗测文档角点中的右上部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第二候选角点对，和
在所述第一方向为所述文档图像的垂直方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和右上部的粗测文档角点的候选页角点之间进行两两配对得到多个第三候选角点对，以及通过对所述粗测文档角点中的左下部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第四候选角点对；
计算模块，其被配置用于分别计算所述多个第一和第二候选页角点对中、或者所述多个第三和第四候选页角点对中的每个候选页角点对所包含的两个候选页角点之间的连线的斜率；以及
过滤模块，其被配置用于在所述配对模块所得到的所述多个第一和第二候选页角点对中、或者所述多个第三和第四候选页角点对中，过滤掉其中对应斜率与所述文档的沿第二方向的边界线的倾斜度之间的差异大于第二预设阈值的候选页角点对，并将剩余的候选页角点对提供给选择子单元进行处理；以及
选择子单元，其被配置用于针对所述剩余的候选页角点对，计算其中每个候选页角点对中的两个候选页角点分别对应的页内区域中的前景像素百分比的和，以及
在所述第一方向为所述文档图像的水平方向的情况下，选择所述多个第一候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择所述多个第二候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在所述第一候选角点对中和所述第二候选角点对中所分别选择的候选页角点对中的候选页角点确定为所述文档的文档角点，
在所述第一方向为所述文档图像的垂直方向的情况下，选择所述多个第三候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择所述多个第四候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在所述第三候选角点对中和所述第四候选角点对中所分别选择的候选页角点对中的候选页角点确定为所述文档的文档角点。
附记7.根据附记5或6所述的图像处理装置，其中，所述页内区域是以该页内区域所对应的候选页角点作为顶点的矩形或方形区域，且所述页内区域的其中一边沿着与所述沿第二方向的边界线的倾斜度一致的方向延伸。
附记8.一种图像处理方法，包括：在针对文档所捕获的文档图像中，提取所述文档的沿第一方向的边界线以及所述文档的粗测文档角点；在所述粗测文档角点附近、在所述文档的沿第一方向的边界线上确定所述文档的候选页角点；以及选择所述候选页角点中页内区域像素特征与所述文档的页角像素特征最接近的候选页角点，作为所述文档的文档角点；其中，所述第一方向是所述文档图像的水平方向或垂直方向。
附记9.根据附记8所述的图像处理方法，其中，所述的在针对文档所捕获的文档图像中提取所述文档的沿第一方向的边界线包括：通过全局二值化方法获得所述文档图像的前景区域，以得到所述前景区域的边缘线；将所述前景区域的相邻的边缘线之间的交点确定为所述文档的粗测文档角点；以及在所述文档的粗测文档角点之间沿所述第一方向、通过动态规划的方法进行边界检测，并将检测到的边界作为所述文档的沿第一方向的边界线。
附记10.根据附记9所述的图像处理方法，其中，所述的在所述文档的沿第一方向的边界线上确定所述文档的候选页角点包括：
针对每个粗测文档角点，
在所提取的所述文档的沿第一方向的边界线上截取包含该粗测文档角点的边界线片段，并在所述文档图像中选取包含所述边界线片段的图像块，
通过计算所述图像块的沿第一方向的梯度，并通过使用阈值化方法，获得所述图像块梯度的二值化图像，以及利用最小熵方法获得所述文档的沿第二方向的边界线的倾斜度，其中，在所述第一方向为所述文档图像的水平方向的情况下所述第二方向为所述文档的垂直方向，在所述第一方向为所述文档图像的垂直方向的情况下所述第二方向为所述文档的水平方向，
在所述边界线片段上的每个点附近分别确定与该点相关的第一矩形区域，其中，所述第一矩形区域具有第一预设尺寸并且包含在所述图像块中，以及所述第一矩形区域的长度按与所述文档的沿第二方向的边界线的倾斜度相一致的方向延伸，
根据所述图像块梯度的二值化图像，计算各个第一矩形区域所包含的前景像素点数目，以及
在所述边界线片段上选择满足如下条件的点来作为该粗测文档角点的候选页角点：其对应的第一矩形区域中所包含的前景像素点数目大于第一预设阈值。
附记11.根据附记10所述的图像处理方法，其中，在已获得所述文档图像的前景区域的情况下，所述边界线片段上的每个点所对应的第一矩形区域位于所述文档图像的前景区域内部。
附记12.根据附记10或11所述的图像处理方法，其中，所述的选择所述候选页角点中页内区域像素特征与所述文档的页角像素特征最接近的候选页角点作为所述文档的文档角点包括：
针对每个粗测文档角点，
在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，所述页内区域具有第二预设尺寸并且包含在所述图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近所述文档图像的中心，和
计算该粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比，
以及
在每个粗测文档角点的候选页角点中，将其中对应的页内区域中的前景像素百分比与所述文档的页角区域中的前景像素百分比最接近的候选页角点确定为所述文档的文档角点。
附记13.根据附记10或11所述的图像处理方法，其中，所述的选择所述候选页角点中页内区域像素特征与所述文档的页角像素特征最接近的候选页角点作为所述文档的文档角点包括：
针对每个粗测文档角点，
在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，所述页内区域具有第二预设尺寸并且包含在所述图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近所述文档图像的中心，以及计算该粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比；
在所述第一方向为所述文档图像的水平方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和左下部的粗测文档角点的候选页角点之间进行两两配对得到多个第一候选角点对，以及通过对所述粗测文档角点中的右上部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第二候选角点对，以及
在所述第一方向为所述文档图像的垂直方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和右上部的粗测文档角点的候选页角点之间进行两两配对得到多个第三候选角点对，以及通过对所述粗测文档角点中的左下部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第四候选角点对；
分别计算所述多个第一和第二候选页角点对中、或者所述多个第三和第四候选页角点对中的每个候选页角点对所包含的两个候选页角点之间的连线的斜率；
在所得到的第一和第二候选页角点对中或者在第三和第四候选页角点对中过滤掉这样的候选页角点对：其包含的两个候选页角点之间的连线的斜率与所述文档的沿第二方向的边界线的倾斜度之间的差异大于第二预设阈值；
计算所述过滤后的第一和第二候选页角点对中或者第三和第四候选页角点对中的每个候选页角点对所包括的两个候选页角点分别对应的页内区域中的前景像素百分比的和，以及
在所述第一方向为所述文档图像的水平方向的情况下，选择所述多个第一候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择所述多个第二候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在所述第一候选角点对中和所述第二候选角点对中所分别选择的候选页角点对中的候选页角点确定为所述文档的文档角点，
在所述第一方向为所述文档图像的垂直方向的情况下，选择所述多个第三候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择所述多个第四候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在所述第三候选角点对中和所述第四候选角点对中所分别选择的候选页角点对中的候选页角点确定为所述文档的文档角点。
附记14.根据附记11或12所述的图像处理方法，其中，所述页内区域是以该页内区域所对应的候选页角点作为顶点的矩形或方形区域，且所述页内区域的其中一边沿着与所述沿第二方向的边界线的倾斜度一致的方向延伸。
附记15.一种具有图像处理功能的设备，包括如附记1-7中任一项所述的图像处理装置。
附记16.根据附记15所述的具有图像处理功能的设备，其中，所述具有图像处理功能的设备是以下设备中的任意一种：文档校正设备；扫描仪；照相机；摄像机；手机；计算机；以及个人数字助理。
附记17.一种计算机可读存储介质，其上存储有能够由计算设备执行的计算机程序，所述程序在执行时能够使所述计算设备执行根据附记11-20中任意一项所述的图像处理方法。

Claims (10)

1.一种图像处理装置，包括：
提取单元，其被配置用于在针对文档所捕获的文档图像中，提取所述文档的沿第一方向的边界线以及所述文档的粗测文档角点；
确定单元，其被配置用于在所述粗测文档角点附近、在所述文档的沿第一方向的边界线上确定所述文档的候选页角点；以及
选择单元，其被配置用于选择所述候选页角点中页内区域像素特征与所述文档的页角像素特征最接近的候选页角点，作为所述文档的文档角点；
其中，所述第一方向是所述文档图像的水平方向或垂直方向。
2.根据附记1所述的图像处理装置，其中，所述提取单元包括：
第一处理子单元，其被配置用于通过全局二值化方法获得所述文档图像的前景区域，以得到所述前景区域的边缘线，以及将所述前景区域的相邻的边缘线之间的交点确定为所述文档的粗测文档角点；以及
第二处理子单元，其被配置用于在所述文档的粗测文档角点之间沿所述第一方向、通过动态规划的方法进行边界检测，并将检测到的边界作为所述文档的沿第一方向的边界线。
3.根据权利要求1或2所述的图像处理装置，其中，所述确定单元包括：
截取子单元，其被配置用于针对每个粗测文档角点，在所述文档的沿第一方向的边界线上截取包含该粗测文档角点的边界线片段，以及在所述文档图像中截取包含所述边界线片段的图像块；
第一计算子单元，其被配置用于通过计算所述图像块的沿第一方向的梯度，并通过使用阈值化方法，获得所述图像块梯度的二值化图像，以及利用最小熵方法获得所述文档的沿第二方向的边界线的倾斜度，其中，在所述第一方向为所述文档图像的水平方向的情况下所述第二方向为所述文档的垂直方向，在所述第一方向为所述文档图像的垂直方向的情况下所述第二方向为所述文档的水平方向；
第一确定子单元，其被配置用于在所述边界线片段上的每个点附近分别确定与该点相关的第一矩形区域，其中，所述第一矩形区域具有第一预设尺寸并且包含在所述图像块中，以及所述第一矩形区域的长度按与所述文档的沿第二方向的边界线的倾斜度相一致的方向延伸；以及
计算与选择子单元，其被配置用于根据所述图像块梯度的二值化图像计算各个第一矩形区域所包含的前景像素点数目，并在所述边界线片段上选择满足如下条件的点来作为该粗测文档角点的候选页角点：其对应的第一矩形区域中所包含的前景像素点数目大于第一预设阈值。
4.根据权利要求3所述的图像处理装置，其中，在所述提取单元包括所述第一处理子单元、以及所述第一处理子单元已获得所述文档图像的前景区域的情况下，
所述边界线片段上的每个点所对应的第一矩形区域位于所述文档图像的前景区域内部。
5.根据权利要求3或4所述的图像处理装置，其中，所述选择单元包括：
第二确定子单元，其被配置用于针对每个粗测文档角点，在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，所述页内区域具有第二预设尺寸并且包含在所述图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近所述文档图像的中心；
第二计算子单元，其被配置用于计算每个粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比；以及
选择子单元，其被配置用于在每个粗测文档角点的候选页角点中，选择其中对应的页内区域中的前景像素百分比与所述文档的页角区域中的前景像素百分比最接近的候选页角点来作为所述文档的文档角点。
6.根据权利要求3或4所述的图像处理装置，其中，所述选择单元包括：
第二确定子单元，其被配置用于针对每个粗测文档角点，在该粗测文档角点的每个候选页角点附近分别确定与该候选页角点有关的页内区域，所述页内区域具有第二预设尺寸并且包含在所述图像块中，其中，每个候选页角点对应的页内区域比该候选页角点对应的第一矩形区域更靠近所述文档图像的中心；
第二计算子单元，其被配置用于计算每个粗测文档角点的每个候选页角点所对应的页内区域中的前景像素百分比；
过滤子单元，其被配置用于根据所述第二计算子单元的计算结果对候选页角点进行过滤，其中，所述过滤子单元包括：
配对模块，其被配置用于
在所述第一方向为所述文档图像的水平方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和左下部的粗测文档角点的候选页角点之间进行两两配对得到多个第一候选角点对，以及通过对所述粗测文档角点中的右上部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第二候选角点对，和
在所述第一方向为所述文档图像的垂直方向的情况下，通过对所述粗测文档角点中的左上部的粗测文档角点的候选页角点和右上部的粗测文档角点的候选页角点之间进行两两配对得到多个第三候选角点对，以及通过对所述粗测文档角点中的左下部的粗测文档角点的候选页角点和右下部的粗测文档角点的候选页角点之间进行两两配对得到多个第四候选角点对；
计算模块，其被配置用于分别计算所述多个第一和第二候选页角点对中、或者所述多个第三和第四候选页角点对中的每个候选页角点对所包含的两个候选页角点之间的连线的斜率；以及
过滤模块，其被配置用于在所述配对模块所得到的多个第一和第二候选页角点对或者多个第三和第四候选页角点对中，过滤掉其中对应斜率与所述文档的沿第二方向的边界线的倾斜度之间的差异大于第二预设阈值的候选页角点对，并将剩余的候选页角点对提供给选择子单元进行处理；以及
选择子单元，其被配置用于针对所述剩余的候选页角点对，计算其中每个候选页角点对中的两个候选页角点分别对应的页内区域中的前景像素百分比的和，以及
在所述第一方向为所述文档图像的水平方向的情况下，选择所述多个第一候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择所述多个第二候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在所述第一候选角点对中和所述第二候选角点对中所分别选择的候选页角点对中的候选页角点确定为所述文档的文档角点，
在所述第一方向为所述文档图像的垂直方向的情况下，选择所述多个第三候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，以及选择所述多个第四候选角点对中两个候选页角点分别对应的页内区域中的前景像素百分比的和与所述文档的页角区域中的前景像素百分比最接近的候选页角点对，并将在所述第三候选角点对中和所述第四候选角点对中所分别选择的候选页角点对中的候选页角点确定为所述文档的文档角点。
7.根据权利要求5或6所述的图像处理装置，其中，
所述页内区域是以该页内区域所对应的候选页角点作为顶点的矩形或方形区域，且所述页内区域的其中一边沿着与所述沿第二方向的边界线的倾斜度一致的方向延伸。
8.一种图像处理方法，包括：
在针对文档所捕获的文档图像中，提取所述文档的沿第一方向的边界线；
在所述文档的沿第一方向的边界线上确定所述文档的候选页角点；以及
选择所述候选页角点中页内区域像素特征与所述文档的页角像素特征最接近的候选页角点，作为所述文档的文档角点；
其中，所述第一方向是所述文档图像的水平方向或垂直方向。
9.一种具有图像处理功能的设备，包括如权利要求1-7中任一项所述的图像处理装置。
10.根据权利要求9所述的具有图像处理功能的设备，其中，所述具有图像处理功能的设备是以下设备中的任意一种：文档校正设备；扫描仪；照相机；手机；计算机；以及个人数字助理。
CN201210091193.7A 2012-03-30 2012-03-30 图像处理装置、图像处理方法以及设备 Expired - Fee Related CN103366165B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210091193.7A CN103366165B (zh) 2012-03-30 2012-03-30 图像处理装置、图像处理方法以及设备
EP13160924.0A EP2645692B1 (en) 2012-03-30 2013-03-25 Image processing device, image processing method and apparatus
JP2013070507A JP6102417B2 (ja) 2012-03-30 2013-03-28 画像処理装置、画像処理方法及び画像処理デバイス
US13/853,544 US9129385B2 (en) 2012-03-30 2013-03-29 Image processing device, image processing method and apparatus for high precision document corners extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210091193.7A CN103366165B (zh) 2012-03-30 2012-03-30 图像处理装置、图像处理方法以及设备

Publications (2)

Publication Number Publication Date
CN103366165A true CN103366165A (zh) 2013-10-23
CN103366165B CN103366165B (zh) 2016-06-29

Family

ID=48087371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210091193.7A Expired - Fee Related CN103366165B (zh) 2012-03-30 2012-03-30 图像处理装置、图像处理方法以及设备

Country Status (4)

Country Link
US (1) US9129385B2 (zh)
EP (1) EP2645692B1 (zh)
JP (1) JP6102417B2 (zh)
CN (1) CN103366165B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680108A (zh) * 2017-07-28 2018-02-09 平安科技（深圳）有限公司 倾斜图像的倾斜值获取方法、装置、终端及存储介质
WO2018141109A1 (zh) * 2017-02-06 2018-08-09 华为技术有限公司 图像处理的方法和设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809136A (zh) * 2016-03-14 2016-07-27 中磊电子（苏州）有限公司 影像数据处理方法及影像数据处理系统
JP6810892B2 (ja) * 2017-06-05 2021-01-13 京セラドキュメントソリューションズ株式会社 画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124950A (en) * 1997-04-15 2000-09-26 Minolta Co., Ltd. Apparatus and method for detecting book document along the longitudinal edge
CN101477687A (zh) * 2009-01-22 2009-07-08 上海交通大学 复杂背景下的棋盘格角点检测方法
CN102184383A (zh) * 2011-04-18 2011-09-14 哈尔滨工业大学 一种印刷体字符图像样本的自动生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425366B2 (ja) * 1998-06-30 2003-07-14 シャープ株式会社 画像補正装置
JP2008124604A (ja) * 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像読取装置及びこれを備えた画像形成装置
JP4784500B2 (ja) * 2006-12-08 2011-10-05 日本電気株式会社 画像傾き補正装置及び画像傾き補正方法
WO2009094446A1 (en) * 2008-01-22 2009-07-30 Digital Business Processes, Inc. Method and apparatus for cropping images
JP2009194762A (ja) * 2008-02-15 2009-08-27 Murata Mach Ltd 画像処理装置
CN102196112B (zh) * 2010-03-01 2014-09-24 佳能株式会社 用于检测页边界的方法和装置
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备
US9736332B2 (en) * 2011-11-30 2017-08-15 Hewlett-Packard Indigo B.V. Automatic detection of corners of an imaged document

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124950A (en) * 1997-04-15 2000-09-26 Minolta Co., Ltd. Apparatus and method for detecting book document along the longitudinal edge
CN101477687A (zh) * 2009-01-22 2009-07-08 上海交通大学 复杂背景下的棋盘格角点检测方法
CN102184383A (zh) * 2011-04-18 2011-09-14 哈尔滨工业大学 一种印刷体字符图像样本的自动生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141109A1 (zh) * 2017-02-06 2018-08-09 华为技术有限公司 图像处理的方法和设备
US11074679B2 (en) 2017-02-06 2021-07-27 Huawei Technologies Co., Ltd. Image correction and display method and device
CN107680108A (zh) * 2017-07-28 2018-02-09 平安科技（深圳）有限公司 倾斜图像的倾斜值获取方法、装置、终端及存储介质
US11074443B2 (en) 2017-07-28 2021-07-27 Ping An Technology (Shenzhen) Co., Ltd. Method and device for acquiring slant value of slant image, terminal and storage medium

Also Published As

Publication number Publication date
JP2013214300A (ja) 2013-10-17
CN103366165B (zh) 2016-06-29
EP2645692A2 (en) 2013-10-02
EP2645692B1 (en) 2019-09-18
JP6102417B2 (ja) 2017-03-29
US20130259385A1 (en) 2013-10-03
EP2645692A3 (en) 2016-04-13
US9129385B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
AU2017302250B2 (en) Optical character recognition in structured documents
US10095925B1 (en) Recognizing text in image data
Burie et al. ICDAR2015 competition on smartphone document capture and OCR (SmartDoc)
RU2637989C2 (ru) Способ и устройство для идентификации целевого объекта на изображении
Antonacopoulos et al. ICDAR2015 competition on recognition of documents with complex layouts-RDCL2015
CN105930159A (zh) 一种基于图像的界面代码生成的方法及系统
JP2014531097A (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
US20150199821A1 (en) Segmentation of a multi-column document
CN104182722A (zh) 文本检测方法和装置以及文本信息提取方法和系统
CN108805116A (zh) 图像文本检测方法及其系统
CN103366165A (zh) 图像处理装置、图像处理方法以及设备
Bart et al. Information extraction by finding repeated structure
WO2019062426A1 (zh) 边框检测方法、服务器及存储介质
Kesiman et al. Southeast Asian palm leaf manuscript images: a review of handwritten text line segmentation methods and new challenges
US20220277574A1 (en) Image classification using color profiles
Turki et al. A hybrid method of natural scene text detection using msers masks in hsv space color
CN104182744A (zh) 文本检测方法和装置以及文本信息提取方法和系统
Ishii et al. A study on frame position detection of digitized comics images
CN111062262A (zh) 发票识别方法以及发票识别装置
US20230186592A1 (en) Division of images into separate color layers
CN115205881A (zh) 一种表格识别方法、设备及介质
CN114445807A (zh) 一种文本区域检测方法及装置
JP2019079201A (ja) 画像処理プログラム、画像処理装置および画像処理方法
KR20150047060A (ko) 명함 이미지 여부를 판별하는 장치 및 방법
CN104112135B (zh) 文本图像提取装置以及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160629

Termination date: 20210330

CF01 Termination of patent right due to non-payment of annual fee