CN110942435A - 一种文档图像处理的方法和装置 - Google Patents

一种文档图像处理的方法和装置 Download PDF

Info

Publication number
CN110942435A
CN110942435A CN201911185746.3A CN201911185746A CN110942435A CN 110942435 A CN110942435 A CN 110942435A CN 201911185746 A CN201911185746 A CN 201911185746A CN 110942435 A CN110942435 A CN 110942435A
Authority
CN
China
Prior art keywords
document image
image
target
foreground
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911185746.3A
Other languages
English (en)
Other versions
CN110942435B (zh
Inventor
宋腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xun Feizhi Metamessage Science And Technology Ltd
Original Assignee
Xun Feizhi Metamessage Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xun Feizhi Metamessage Science And Technology Ltd filed Critical Xun Feizhi Metamessage Science And Technology Ltd
Priority to CN201911185746.3A priority Critical patent/CN110942435B/zh
Publication of CN110942435A publication Critical patent/CN110942435A/zh
Application granted granted Critical
Publication of CN110942435B publication Critical patent/CN110942435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请公开了一种文档图像处理的方法和装置，该方法包括：针对RGB文档图像，通过负噪声三通道色彩关系进行图像去噪处理获得去噪文档图像；基于去噪文档图像中各个前景连通区域最小外接矩形，利用预设纠偏规则获得目标旋转方向和目标旋转角度，对去噪文档图像进行图像纠偏获得纠偏文档图像；针对纠偏文档图像，结合RGB文档图像通过背景三通道聚类进行图像着色处理和图像切边处理获得目标文档图像。可见，该方式从图像去噪、图像纠偏、图像着色和图像切边各个方面提高RGB文档图像的图像处理效果，满足RGB文档图像的图像处理需求。

Description

一种文档图像处理的方法和装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种文档图像处理的方法和装置。
背景技术
随着信息技术的发展，借助信息技术可以将历史纸质文档转换为电子文档，即，将历史纸质文档经过相机、摄像机或扫描仪等设备处理获得RGB文档图像，RGB文档图像相较于历史纸质文档具有传递方便、提取方便、占用空间小等优点。
由于历史纸质文档是经过印刷产生并被使用过的，可能存在部分涂抹、字体模糊、污点较多等现象，导致处理获得的RGB文档图像一般存在一些图像噪声；且处理时拍摄或扫描的角度等原因，导致处理获得的RGB文档图像一般存在图像倾斜问题，均对查阅者阅读产生一定的负面影响。因此，当历史纸质文档处理获得RGB文档图像后，需要通过图像处理快速、有效地解决上述问题，以提高RGB文档图像的质量。
但是，发明人经过研究发现，目前对RGB文档图像进行图像处理时，往往仅使用一种到两种图像处理方法，且传统的图像去噪方法、图像纠偏方法或者图像着色方法，仅仅是针对特定图像的图像处理效果较好，对于RGB文档图像而言并不适用，导致RGB文档图像的图像处理效果不佳，无法满足RGB文档图像的图像处理需求。
发明内容
有鉴于此，本申请实施例提供一种文档图像处理的方法和装置，从各个方面提高RGB文档图像的图像处理效果，满足RGB文档图像的图像处理需求。
第一方面，本申请实施例提供了一种文档图像处理的方法，该方法包括：
基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像；
基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像；
基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理和图像切边处理获得目标文档图像。
可选的，所述基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像，包括：
对所述RGB文档图像进行高斯滤波处理和拉普拉斯锐化处理获得第一文档图像；
基于所述第一文档图像的负噪声三通道色彩关系，对所述第一文档图像进行负噪声去除处理获得第二文档图像；
对所述第二文档图像进行中值滤波处理获得所述第三文档图像；
对所述第三文档图像进行边缘噪声去除处理获得去噪文档图像。
可选的，所述基于所述第一文档图像的负噪声三通道色彩关系，对所述第一文档图像进行负噪声去除处理获得第二文档图像，包括：
基于所述第一文档图像的背景三通道色彩关系，确定背景三通道像素值的取值范围；基于所述第一文档图像的负噪声三通道色彩关系，确定负噪声三通道像素值的取值范围；
基于所述背景三通道像素值的取值范围和所述负噪声三通道像素值的取值范围，对所述第一文档图像进行二值化处理获得所述第二文档图像。
可选的，所述基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像，包括：
基于各个所述前景连通区域最小外接矩形的旋转方向和旋转角度，利用预设纠偏规则获得所述目标旋转方向和所述目标旋转角度，所述前景连通区域最小外接矩形的旋转方向和旋转角度是基于所述前景连通区域最小外接矩形的宽高比获得的；
根据所述目标旋转方向和所述目标旋转角度，对所述去噪文档图像进行图像纠偏处理获得所述纠偏文档图像。
可选的，所述基于各个所述前景连通区域最小外接矩形的旋转方向和旋转角度，利用预设纠偏规则获得所述目标旋转方向和所述目标旋转角度，包括：
基于各个所述前景连通区域最小外接矩形的宽度、高度和旋转角度，以及预设的N+1个集合，确定各个所述前景连通区域最小外接矩形对应的集合，N为大于等于3的正整数；
若第N+1个集合为非空集合，基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度；所述第N+1个集合中前景连通区域最小外接矩形的宽度大于等于所述去噪文档图像的二分之一宽度，且前景连通区域最小外接矩形的高度大于等于所述去噪文档图像的二分之一高度；
若所述第N+1个集合为空集，基于第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
可选的，所述基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度，包括：
统计所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的数量D1和宽高比小于1前景连通区域最小外接矩形的数量D2；统计所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值；
若D1大于等于D2，确定所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；若D1小于D2，确定所述第N+1个集合中宽高比小于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值，确定所述目标旋转角度。
可选的，所述基于第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度，包括：
按照前景连通区域最小外接矩形的数量由大到小排列所述第1个至第N个集合，将前两个集合确定为第一目标集合和第二目标集合；
若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值大于等于预设差值，基于所述第一目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度；
若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值小于预设差值，基于所述第一目标集合和所述第二目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
可选的，所述基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理和图像切边处理获得目标文档图像，包括：
基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理获得着色文档图像；
基于所述RGB文档图像，对所述着色文档图像进行图像切边获得所述目标文档图像。
可选的，所述基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理获得着色文档图像，包括：
基于所述RGB文档图像中前景，对所述纠偏文档图像进行前景色复原处理获得前景色复原文档图像；
基于所述RGB文档图像的采样背景，对三通道中每个通道分别聚类获得三通道中每个通道聚类像素值；
基于所述三通道中每个通道聚类像素值，对所述前景色复原文档图像进行背景色复原获得着色文档图像。
可选的，所述基于所述RGB文档图像，对所述着色文档图像进行图像切边获得所述目标文档图像，包括：
基于所述RGB文档图像的宽和高，着色文档图像的宽和高，以及所述着色文档图像中前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，获得所述着色文档图像的四边切边长度；
基于所述着色文档图像的四边切边长度对所述着色文档图像进行图像切边获得所述目标文档图像。
第二方面，本申请实施例提供了一种文档图像处理的装置，该装置包括：
去噪文档图像获得单元，用于基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像；
纠偏文档图像获得单元，用于基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像；
目标文档图像获得单元，用于基于所述RGB文档图像通过背景三通道聚类对所述纠偏文档图像进行图像着色和图像切边获得目标文档图像。
第三方面，本申请实施例提供了一种终端设备，该终端设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的文档图像处理的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述的文档图像处理的方法。
与现有技术相比，本申请至少具有以下优点：
采用本申请实施例的技术方案，首先，针对RGB文档图像，通过负噪声三通道色彩关系进行图像去噪处理获得去噪文档图像；然后，基于去噪文档图像中各个前景连通区域最小外接矩形，利用预设纠偏规则获得目标旋转方向和目标旋转角度，对去噪文档图像进行图像纠偏获得纠偏文档图像；最后，针对纠偏文档图像，结合RGB文档图像通过背景三通道聚类进行图像着色处理和图像切边处理获得目标文档图像。由此可见，图像去噪利用负噪声三通道色彩关系，避免传统的图像去噪方法出现误处理现象，提高RGB文档图像的降噪效果；图像纠偏利用预设纠偏规则获得的目标旋转方向和目标旋转角度，有效解决传统的图像纠偏方法不适用于包含文本和表格文档图像的图像纠偏的问题，提高去噪文档图像的纠偏效果；图像着色利用背景三通道聚类方式，有效解决传统的图像着色仍存在负噪声的问题，提高纠偏文档图像的着色效果；即，该方式从各个方面提高RGB文档图像的图像处理效果，满足RGB文档图像的图像处理需求。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的系统框架示意图；
图2为本申请实施例提供的一种文档图像处理的方法的流程示意图；
图3为本申请实施例提供的RGB文档图像的负噪声示意图；
图4为本申请实施例提供的RGB文档图像的部分截图进行高斯滤波处理和拉普拉斯锐化处理的示意图；
图5为本申请实施例提供的第一文档图像进行负噪声去除处理获得第二文档图像的示意图；
图6为本申请实施例提供的第二文档图像的部分截图进行中值滤波处理的示意图；
图7为本申请实施例提供的第三文档图像的正噪声的示意图；
图8为本申请实施例提供的第三文档图像进行边缘噪声去除处理获得去噪文档图像的示意图；
图9为本申请实施例提供的前景连通区域最小外接矩形的宽、高和旋转角度的示意图；
图10为本申请实施例提供的去噪文档图像至纠偏文档图像的示意图；
图11为本申请实施例提供的着色文档图像的示意图；
图12为本申请实施例提供的着色文档图像的四边切边长度的示意图；
图13为本申请实施例提供的RGB文档图像至目标文档图像的示意图；
图14为本申请实施例提供的一种文档图像处理的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现阶段，针对RGB文档图像，在进行图像处理时往往仅使用一种到两种图像处理方法，且传统的图像去噪方法、图像纠偏方法或者图像着色方法，仅仅是针对特定图像的图像处理效果较好，对于RGB文档图像而言并不适用，导致RGB文档图像的图像处理效果不佳，无法满足RGB文档图像的图像处理需求。
为了解决这一问题，在本申请实施例中，针对RGB文档图像，通过负噪声三通道色彩关系进行图像去噪处理获得去噪文档图像；基于去噪文档图像中各个前景连通区域最小外接矩形，利用预设纠偏规则获得目标旋转方向和目标旋转角度，对去噪文档图像进行图像纠偏获得纠偏文档图像；针对纠偏文档图像，结合RGB文档图像通过背景三通道聚类进行图像着色处理和图像切边处理获得目标文档图像。可见，图像去噪利用负噪声三通道色彩关系，避免传统的图像去噪方法出现误处理现象，提高RGB文档图像的降噪效果；图像纠偏利用预设纠偏规则获得的目标旋转方向和目标旋转角度，有效解决传统的图像纠偏方法不适用于包含文本和表格文档图像的图像纠偏的问题，提高去噪文档图像的纠偏效果；图像着色利用背景三通道聚类方式，有效解决传统的图像着色仍存在负噪声的问题，提高纠偏文档图像的着色效果；即，该方式从各个方面提高RGB文档图像的图像处理效果，满足RGB文档图像的图像处理需求。
举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中。该场景包括用户终端101和图像处理器102，用户通过用户终端101传送RGB文档图像至图像处理器102，图像处理器102采用本申请实施例的具体实施方式获得目标文档图像，图像处理器102还可以将目标文档图像返回至用户终端101。
可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由图像处理器102执行，但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。
可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。
下面结合附图，通过实施例来详细说明本申请实施例中文档图像处理的方法和装置的具体实现方式。
示例性方法
参见图2，示出了本申请实施例中一种文档图像处理的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：
步骤201：基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像。
可以理解的是，RGB文档图像是指历史纸质文档经过相机、摄像机或扫描仪等设备处理获得的，由于历史纸质文档是经过印刷产生并被使用过的，其处理获得的RGB文档图像一般存在一些图像噪声，该图像噪声势必会对RGB文档图像产生负面影响，因此，在本申请实施例中，首先需要对RGB文档图像进行图像去噪处理。
需要说明的是，RGB文档图像的图像噪声主要是指如图3所示RGB文档图像的负噪声示意图，该RGB文档图像中表格左右竖线等均是历史纸质文档印刷或使用等历史原因产生的，称为负噪声，对于RGB文档图像而言，负噪声去除处理尤为重要。虽然传统的图像去噪方法较多，例如，均值滤波、中值滤波、双边滤波、高通滤波、低通滤波等，但是上述图像去噪方法仅仅是针对特定图像的图像去噪效果较好，实际应用中无法较好地解决RGB文档图像的负噪声去噪的问题。因此，在本申请实施例中，基于RGB文档图像，利用负噪声三通道色彩关系进行图像去噪处理，去除RGB文档图像的负噪声以获得去噪文档图像。
在步骤201具体实施时，首先，需要对RGB文档图像进行高斯滤波处理和拉普拉斯锐化处理，获得前景和背景区分更加明显的文档图像作为第一文档图像，以便后续实现RGB文档图像的负噪声去除；其次，需要明确第一文档图像的负噪声三通道色彩关系，基于此对第一文档图像进行负噪声去除处理，获得去除大部分负噪声的文档图像作为第二文档图像；然后，需要对第二文档图像进行中值滤波处理，去除第二文档图像中还存在的一些孤立噪声，以获得去除大部分孤立噪声的文档图像作为第三文档图像；最后，还需要对第三文档图像进行边缘噪声去除处理，去除第三文档图像中存在的无关信息形成的正噪声，以获得去除大部正噪声的文档图像作为去噪文档图像。因此，在本申请实施例一种可选的实施方式中，所述步骤201例如可以包括以下步骤：
步骤A：对所述RGB文档图像进行高斯滤波处理和拉普拉斯锐化处理获得第一文档图像。
其中，对RGB文档图像进行高斯滤波处理去除较高频的图像噪声，将RGB文档图像的背景变得模糊，降低较高频的图像噪声被误认为前景的概率。由于高斯滤波处理同样将RGB文档图像的前景变得模糊，此时，需要进行拉普拉斯锐化处理，将变得模糊的前景再次变得清晰，该方式并不会把上述变得模糊的较高频的图像噪声再次变清晰，因此，步骤A获得的第一文档图像中前景和背景区分更加明显。
作为一种示例，如图4所示的RGB文档图像的部分截图进行高斯滤波处理和拉普拉斯锐化处理的示意图，其中，左图表示RGB文档图像的部分截图，中图表示左图经过高斯滤波处理后的图像，右图表示中图经过拉普拉斯锐化处理后的图像。具体地，历史纸质文档由于年代久远或潮湿等原因墨水扩散到“姓”字周边，导致左图表示的RGB文档图像的部分截图中“姓”字看起来显得斑驳、不圆润，即，左图中“姓”字周边存在图像噪声；先将左图先经过高斯滤波处理后得到中图，由中图可知，高斯滤波处理不仅会把左图表示的RGB文档图像的部分截图中背景变得模糊，而且会把前景“姓”字模糊；再将中图经过拉普拉斯锐化处理后得到右图，由右图可知，拉普拉斯锐化处理把不该变得模糊的前景“姓”字再次变得清晰，使得前景“姓”字和背景区分更加明显。
步骤B：基于所述第一文档图像的负噪声三通道色彩关系，对所述第一文档图像进行负噪声去除处理获得第二文档图像。
其中，步骤A获得的第一文档图像仍然是彩色文档图像，三通道分别是R、G和B，三通道像素值大小不同产生不同色彩。当第一文档图像的背景总体呈现某种色彩时，由于RGB文档图像的负噪声具有特殊性，第一文档图像的负噪声一般总体呈现为棕色，利用负噪声三通道色彩关系，即可将第一文档图像的负噪声去除获得第二文档图像。
在步骤B具体实施时，首先，由于第一文档图像的背景总体呈现某种色彩，且对于第一文档图像而言，其负噪声一般总体呈现为棕色；因此，考虑背景三通道色彩关系和负噪声三通道色彩关系，即可分别确定背景三通道像素值的取值范围和负噪声三通道像素值的取值范围。然后，由于第一文档图像中符合上述负噪声三通道像素值的取值范围的像素表示第一文档图像的负噪声，则可以将该负噪声三通道像素值的取值范围的像素设置为背景，为了后续方便处理前景和背景，可以直接以负噪声三通道像素值的取值范围和背景三通道像素值的取值范围为依据，对第一文档图像进行二值化处理获得第二文档图像。即，在本申请实施例一种可选的实施方式中，所述步骤B例如可以包括以下步骤：
步骤B1：基于所述第一文档图像的背景三通道色彩关系，确定背景三通道像素值的取值范围；基于所述第一文档图像的负噪声三通道色彩关系，确定负噪声三通道像素值的取值范围。
例如，当第一文档图像的背景总体呈现为黄色，可得黄色三通道像素值的取值范围为(205～255，205～255，0～255)，其中，三通道中B的像素值小于R、G中最小的像素值。同理，当第一文档图像的负噪声总体呈现为棕色，可得棕色三通道像素值的取值范围，在此不再赘述。
步骤B2：基于所述背景三通道像素值的取值范围和所述负噪声三通道像素值的取值范围，对所述第一文档图像进行二值化处理获得所述第二文档图像。
对于第一文档图像而言，由于负噪声三通道像素值的取值范围的像素需要设置为背景，背景三通道像素值的取值范围的像素表示背景，为了后续方便处理前景和背景，上述二值化处理具体是指将该背景三通道像素值的取值范围和该负噪声三通道像素值的取值范围内像素的像素值均设置为0(或者255)，对应地，将该背景三通道像素值的取值范围和该负噪声三通道像素值的取值范围之外像素的像素值均设置为255(或者0)。
作为一种示例，如图5所示的第一文档图像进行负噪声去除处理获得第二文档图像的示意图，其中，左图表示RGB文档图像经过上述步骤A处理后的第一文档图像，右图表示左图经过上述步骤B1-步骤B2处理后的第二文档图像。具体地，左图表示的第一文档图像中表格左右的竖线是负噪声，需要通过第一文档图像的负噪声三通道色彩关系去除，首先，基于第一文档图像的背景三通道色彩关系，确定背景三通道像素值的取值范围；并基于第一文档图像的负噪声三通道色彩关系，确定负噪声三通道像素值的取值范围，然后，将该背景三通道像素值的取值范围和该负噪声三通道像素值的取值范围内像素的像素值均设置为0，将该背景三通道像素值的取值范围和该负噪声三通道像素值的取值范围之外像素的像素值均设置为255，从而去除第一文档图像中表格左右的竖线等背景负噪声，获得右图表示的第二文档图像。
步骤C：对所述第二文档图像进行中值滤波处理获得所述第三文档图像。
其中，由于步骤B获得第二文档图像中还可能存在一些相机拍照、或摄像机拍摄、或扫描仪扫描等原因产生的一些孤立噪声，还需要将第二文档图像中这些孤立噪声去除获得第三文档图像，因此，在本申请实施例中，考虑到中值滤波对孤立噪声的去除效果较好，对第二文档图像进行中值滤波处理获得第三文档图像。
作为一种示例，如图6所示的第二文档图像的部分截图进行中值滤波处理的示意图，左图表示第二文档图像的部分截图，右图表示左图经过中值滤波处理后的图像。具体地，由于相机拍照、或摄像机拍摄、或扫描仪扫描等原因，导致左图表示第二文档图像的部分截图中存在一些孤立噪声，将左图经过中值滤波处理后得到右图，由右图可知，大部分孤立噪声被去除使得图像噪声极小。
步骤D：对所述第三文档图像进行边缘噪声去除处理获得去噪文档图像。
其中，由于步骤C获得第三文档图像中还可能存在一些由于相机拍照、或摄像机拍摄、或扫描仪扫描过程中混入的对于其他文档图像有效而对于该文档图像无效的无关信息，称为正噪声。例如，如图7所示第三文档图像的正噪声的示意图，图中表格左边的文字在另一个文档图像中是有效字符，但是在该文档图像中却是无效字符，即，表格左边的文字为第三文档图像的正噪声。因此，在本申请实施例中，考虑到文档图像的正噪声一般与图像边缘相连或者接近图像边缘，对第三文档图像进行边缘噪声去除处理获得去噪文档图像。
在步骤D具体实施时，首先，在第三文档图像是二值化图像的基础上，需要对第三文档图像进行形态学处理，扩大正噪声的连通区域以便去除正噪声。然后，由于正噪声存在两种情况：一种是与图像边缘相连的正噪声，一种接近图像边缘但不与图像边缘相连的正噪声，根据先验知识利用边缘连通区域法去除与图像边缘相连的正噪声，利用凸包检测法去除接近图像边缘但不与图像边缘相连的正噪声，最终获得去噪文档图像。
作为一种示例，如图8所示的第三文档图像进行边缘噪声去除处理获得去噪文档图像的示意图，其中，左图表示RGB文档图像经过上述步骤A-步骤C处理后的第三文档图像，图中前景为白色，背景为黑色，右图表示左图先经过形态学腐蚀处理再经过边缘噪声去除处理后的去噪文档图像。具体地，左图表示的第三文档图像中表格左边的文字等是正噪声，首先，将左图经过形态学腐蚀处理，正噪声的连通区域被扩大便于正噪声去除，然后，经过边缘连通区域法和凸包检测法进行边缘噪声去除处理得到右图，由右图可知，表格左边的文字等正噪声被去除，前景和背景区分明显、图像噪声极小。需要注意的是，若第三文档图像中前景为黑色，背景为白色，需要进行的形态学处理是指形态学膨胀处理。
综上所述，步骤201在RGB文档图像的基础上，利用负噪声三通道色彩关系选择性去除历史原因造成的负噪声，避免了使用传统的图像去噪方法出现误处理的现象，提高了RGB文档图像的图像去噪效果。即，对RGB文档图像执行上述步骤201的具体实施方式之后，获得前景和背景区分明显、图像噪声极小的去噪文档图像，为下一步图像处理提供了良好的基础。
步骤202：基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像。
可以理解的是，RGB文档图像是指历史纸质文档经过相机、摄像机或扫描仪等设备处理获得的，由于处理角度原因获得的RGB文档图像一般存在图像倾斜问题，需要将倾斜的文档图像旋转成轴对称的文档图像，即，图像纠偏。而图像纠偏的前提是图像去噪，因此，在本申请实施例中，步骤201之后，需要对步骤201获得的去噪文档图像进行图像纠偏处理。
需要说明的是，步骤201获得的去噪文档图像前景和背景区分明显、图像噪声极小，便于计算出各个前景连通区域最小外接矩形，各个前景连通区域最小外接矩形的倾斜情况表征去噪文档图像的图像倾斜情况，基于此对去噪文档图像进行图像纠偏处理。然而传统的图像纠偏方法仅仅适合于纯文本文档图像或者纯表格文档图像，对于包含文本和表格文档图像进行图像纠偏很可能存在问题。因此，在本申请实施例中，基于各个前景连通区域最小外接矩形，结合对较大前景连通区域最小外接矩形赋予较大权重策略得到的预设纠偏规则，获得去噪文档图像的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像。
在步骤202具体实施时，由于去噪文档图像中各个前景连通区域最小外接矩形的旋转方向决定去噪文档图像的旋转方向，各个前景连通区域最小外接矩形的旋转角度决定去噪文档图像的旋转角度，则首先明确去噪文档图像中各个前景连通区域最小外接矩形的宽高比，获得各个前景连通区域最小外接矩形的旋转方向和旋转角度，结合预设纠偏规则即可确定将去噪文档图像的旋转方向和旋转角度，称为目标旋转方向和目标旋转角度。然后，按照该目标旋转方向和该目标旋转角度旋转去噪文档图像，得到轴对称的文档图像作为纠偏文档图像，实现去噪文档图像的图像纠偏。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以包括以下步骤：
步骤E：基于各个所述前景连通区域最小外接矩形的旋转方向和旋转角度，利用预设纠偏规则获得所述目标旋转方向和所述目标旋转角度，所述前景连通区域最小外接矩形的旋转方向和旋转角度是基于所述前景连通区域最小外接矩形的宽高比获得的。
其中，在x轴、y轴平面中，对于前景连通区域最小外接矩形而言，以其中心点为旋转中心顺时针旋转，直到前景连通区域最小外接矩形变成轴对齐的最小外接矩形，此时前景连通区域最小外接矩形中与x轴平行的边即为前景连通区域最小外接矩形的宽，与y轴平行的边即为前景连通区域最小外接矩形的高。例如，如图9所示的前景连通区域最小外接矩形的宽、高和旋转角度的示意图，当前景连通区域最小外接矩形的宽度小于去噪文档图像的二分之一宽度或者前景连通区域最小外接矩形的高度小于去噪文档图像的二分之一高度时，若前景连通区域最小外接矩形的宽高比大于等于1，前景连通区域最小外接矩形的旋转方向为顺时针，顺时针旋转计算得到前景连通区域最小外接矩形的旋转角度，详见图9中左上图；若前景连通区域最小外接矩形的宽高比小于1，前景连通区域最小外接矩形的旋转方向为逆时针，逆时针旋转计算得到前景连通区域最小外接矩形的旋转角度，详见图9中右上图。当前景连通区域最小外接矩形的宽度大于等于去噪文档图像的二分之一宽度，且前景连通区域最小外接矩形的高度大于等于去噪文档图像的二分之一高度时，若前景连通区域最小外接矩形的宽高比大于等于1，前景连通区域最小外接矩形的旋转方向为逆时针，逆时针旋转计算得到前景连通区域最小外接矩形的旋转角度，详见图9中左下图；若前景连通区域最小外接矩形的宽高比小于1，前景连通区域最小外接矩形的旋转方向为顺时针，顺时针旋转计算得到前景连通区域最小外接矩形的旋转角度，详见图9中右下图。
在步骤E具体实施时，前景连通区域最小外接矩形的旋转角度范围为[0°，90°)，各个前景连通区域最小外接矩形的旋转方向和旋转角度差别可能较大，可以将旋转角度范围[0°，90°)划分为N个旋转角度区间以设定N个集合，且另设定第N+1个集合，用于将各个前景连通区域最小外接矩形归类至不同的集合。首先，需要基于各个前景连通区域最小外接矩形的宽度、高度和旋转角度，以及上述预先设定的N+1个集合，确定各个前景连通区域最小外接矩形对应的集合；然后，通过判断第N+1个集合是非空集合还是空集，决定由第N+1个集合还是第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得目标旋转方向和目标旋转角度。因此，在本申请实施例一种可选的实施方式中，所述步骤E例如可以包括以下步骤：
步骤E1：基于各个所述前景连通区域最小外接矩形的宽度、高度和旋转角度，以及预设的N+1个集合，确定各个所述前景连通区域最小外接矩形对应的集合，N为大于等于3的正整数。
具体地，若前景连通区域最小外接矩形的宽度小于去噪文档图像的二分之一宽度或者前景连通区域最小外接矩形的高度小于去噪文档图像的二分之一高度时，按照前景连通区域最小外接矩形的旋转角度和上述N个旋转角度区间，从第1个至第N个集合中确定前景连通区域最小外接矩形对应集合；若前景连通区域最小外接矩形的宽度大于等于去噪文档图像的二分之一宽度，且前景连通区域最小外接矩形的高度大于等于去噪文档图像的二分之一高度时，确定前景连通区域最小外接矩形对应第N+1个集合。
例如，可以将旋转角度范围[0°，90°)划分为9个旋转角度区间，分为[0°，10°)、[10°，20°)、……和[80°，90°)，即，设定9个集合，且另设定第10个集合，则合计预设10个集合。
步骤E2：若第N+1个集合为非空集合，基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
具体地，第N+1个集合中各个前景连通区域最小外接矩形可以按照宽高比是否大于等于1进行划分类别，目标旋转方向由数量较多类别的前景连通区域最小外接矩形的旋转方向决定；目标旋转角度由第N+1个中各个前景连通区域最小外接矩形的旋转角度的平均值决定。因此，在本申请实施例中，所述步骤E2例如可以包括以下步骤：
步骤E21：统计所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的数量D1和宽高比小于1前景连通区域最小外接矩形的数量D2；统计所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值。
步骤E22：若D1大于等于D2，确定所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；若D1小于D2，确定所述第N+1个集合中宽高比小于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值，确定所述目标旋转角度。
其中，由于第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为逆时针，宽高比小于1前景连通区域最小外接矩形的旋转方向为顺时针；因此，当D1大于等于D2时，目标旋转方向为逆时针，当D1小于D2时，目标旋转方向为顺时针。由于计算得到的第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值可能存在误差，预设旋转角度纠正因子(例如0.3°)，因此，目标旋转角度为上述旋转角度的平均值与预设旋转角度纠正因子的和。
步骤E3：若所述第N+1个集合为空集，基于第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
具体地，从第1个至第N个集合中筛选出包括前景连通区域最小外接矩形的数量最多和次多的两个集合；当两个集合包括前景连通区域最小外接矩形的数量相差较大时，以两个集合中包括前景连通区域最小外接矩形的数量最多的集合为基础，执行类似步骤E21-步骤E22的具体实施方式获得目标旋转方向和目标旋转角度；当两个集合包括前景连通区域最小外接矩形的数量相差不大时，以两个集合为基础，执行类似步骤E21-步骤E22的方式获得目标旋转方向和目标旋转角度。因此，在本申请实施例中，所述步骤E3例如可以包括以下步骤：
步骤E31：按照前景连通区域最小外接矩形的数量由大到小排列所述第1个至第N个集合，将前两个集合确定为第一目标集合和第二目标集合。
步骤E32：若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值大于等于预设差值，基于所述第一目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
在步骤E32具体实施时，类似步骤E21-步骤E22的具体实施方式，由于第一目标集合是由第1个至第N个集合确定的，则第一目标集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为顺时针，宽高比小于1前景连通区域最小外接矩形的旋转方向为逆时针。因此，当第一目标集合中宽高比大于等于1前景连通区域最小外接矩形的数量D1大于等于第一目标集合中宽高比小于1前景连通区域最小外接矩形的数量D2时，目标旋转方向为顺时针，当D1小于D2时，目标旋转方向为逆时针。由于计算得到的第一目标集合中各个前景连通区域最小外接矩形的旋转角度的平均值可能存在误差，预设旋转角度纠正因子(例如0.3°)，因此，目标旋转角度为上述旋转角度的平均值与预设旋转角度纠正因子的和。
步骤E33：若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值小于预设差值，基于所述第一目标集合和所述第二目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
在步骤E33具体实施时，将第一目标集合和第二目标集合看作一个集合，类似步骤E21-步骤E22的具体实施方式，由于第一目标集合和第二目标集合均是由第1个至第N个集合确定的，则第一目标集合和第二目标集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为顺时针，宽高比小于1前景连通区域最小外接矩形的旋转方向为逆时针。因此，当第一目标集合和第二目标集合中宽高比大于等于1前景连通区域最小外接矩形的数量D1，大于等于第一目标集合和第二目标集合中宽高比小于1前景连通区域最小外接矩形的数量D2时，目标旋转方向为顺时针，当D1小于D2时，目标旋转方向为逆时针。由于计算得到的第一目标集合和第二目标集合中各个前景连通区域最小外接矩形的旋转角度的平均值可能存在误差，预设旋转角度纠正因子(例如0.3°)，因此，目标旋转角度为上述旋转角度的平均值与预设旋转角度纠正因子的和。
步骤F：根据所述目标旋转方向和所述目标旋转角度，对所述去噪文档图像进行图像纠偏处理获得所述纠偏文档图像。
可以理解的是，在步骤E获得目标旋转方向和目标旋转角度之后，基于目标旋转方向和目标旋转角度，利用仿射变换方法旋转去噪文档图像，即可获得轴对称的文档图像作为纠偏文档图像。作为一种示例，如图10所示的去噪文档图像至纠偏文档图像的示意图，其中，左图表示去噪文档图像中各个前景连通区域最小外接矩形，右图表示经过步骤202获得的纠偏文档图像。
综上所述，步骤202在去噪文档图像的基础上，针对其各个前景连通区域最小外接矩形，结合对较大前景连通区域最小外接矩形赋予较大权重策略得到的预设纠偏规则纠偏去噪文档图像，当存在较大前景连通区域最小外接矩形(一般为较大表格最小外接矩形)，则基于其旋转方向和旋转角度确定去噪文档图像的旋转方向和旋转角度；否则基于其他前景连通区域最小外接矩形(一般为文本最小外接矩形)的旋转方向和旋转角度确定去噪文档图像的旋转方向和旋转角度，有效解决了传统的图像纠偏方法不适用于包含文本和表格文档图像的图像纠偏的问题，提高了去噪文档图像的图像纠偏效果。
步骤203：基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理和图像切边处理获得目标文档图像。
可以理解的是，由于步骤202获得纠偏文档图像仍然是一个二值化图像，且图像纠偏导致纠偏文档图像大于RGB文档图像；针对纠偏文档图像，按照RGB文档图像进行图像着色处理可以实现对纠偏文档图像的色彩复原，按照RGB文档图像进行图像切边处理可以使得纠偏文档图像大小与RGB文档图像大小一致，因此，在本申请实施例中，在步骤202之后，需要对步骤202获得的纠偏文档图像进行图像着色处理和图像切边处理。
其中，需要说明的是，传统的图像着色处理是指将灰度空间转换为彩色空间，即，RGB文档图像的图像色彩直接覆盖纠偏文档图像，然而，为了保证图像着色处理后的文档图像仍然是前景和背景区分明显且图像噪声极小，对于纠偏文档图像中背景而言，需要转换为单彩色空间。因此，在本申请实施例中，RGB文档图像的图像色彩并非直接覆盖纠偏文档图像，而是基于RGB文档图像通过背景三通道聚类的方式，实现对盖纠偏文档图像的图像着色处理。
在步骤203具体实施时，例如可以先对纠偏文档图像进行图像着色处理获得着色文档图像，再对着色文档图像进行图像切边处理获得目标文档图像。即，在本申请实施例一种可选的实施方式中，所述步骤203例如可以包括以下步骤：
步骤G：基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理获得着色文档图像。
步骤G具体实施时，纠偏文档图像进行图像着色处理时，其前景和背景的着色需求不同，需要采用不同的处理方法。对于前景而言，为了确保图像着色处理后的文档图像中前景的色彩与RGB文档图像中前景的色彩一致，对纠偏文档图像中前景进行图像着色处理，实际上是需要利用前景色复原处理将RGB文档图像中前景的色彩直接覆盖至纠偏文档图像中前景，得到前景色复原文档图像。对于背景而言，为了图像着色处理后的文档图像中背景的色彩单一且噪声极小，对纠偏文档图像的背景进行图像着色处理，实际上是利用聚类算法计算RGB文档图像的采样背景三通道中每个通道聚类像素值，对上述前景色复原文档图像的背景进行背景色复原处理最终得到着色文档图像。因此，在本申请实施例一种可选的实施方式中，所述步骤G例如可以包括以下步骤：
步骤G1：基于所述RGB文档图像中前景，对所述纠偏文档图像进行前景色复原处理获得前景色复原文档图像。
步骤G2：基于所述RGB文档图像的采样背景，对三通道中每个通道分别聚类获得三通道中每个通道聚类像素值。
其中，RGB文档图像的采样背景是对RGB文档图像进行背景采样获得的，RGB文档图像的采样背景需要大于等于预设倍数的RGB文档图像的图像，且RGB文档图像的采样背景的像素数量大于等于预设像素数量，预设倍数小于1，例如，预设倍数为1/16，预设像素数量为100。这样可以避免RGB文档图像较大时进行背景采样消耗大量时间，也避免了对RGB文档图像的进行背景采样时采样较少导致不准确的问题。当然，如果像RGB文档图像中背景的像素数量小于预设像素数量，则RGB文档图像的采样背景是对RGB文档图像进行背景全采样获得的。
其中，三通道中每个通道聚类像素值的获得过程是指首先对三通道中每个通道使用聚类算法分别聚类获得三通道中每个通道的K个聚类簇，K为正整数；例如，聚类算法可以为k-means算法，K可以为3，即，获得三通道中每个通道的3个聚类簇。然后，基于三通道中每个通道的K个聚类簇，获得三通道中每个通道聚类像素值；例如，对于每个通道，统计3个聚类簇中每个聚类簇的像素平均值，取中值作为该通道的聚类像素值。
步骤G3：基于所述三通道中每个通道聚类像素值，对所述前景色复原文档图像进行背景色复原获得着色文档图像。
作为一种示例，如图11所示的色文档图像的示意图，其中，该图表示步骤202获得的纠偏文档图像经过步骤G1-步骤G3获得的着色文档图像，着色文档图像中背景的色彩单一且噪声极小。
步骤H：基于所述RGB文档图像，对所述着色文档图像进行图像切边获得所述目标文档图像。
在步骤H具体实施时，首先，考虑到着色文档图像中前景与所述RGB文档图像对应关系的，基于RGB文档图像的宽和高，着色文档图像的宽和高，以及着色文档图像中前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，可以获得着色文档图像相对于RGB文档图像每边的多余长度，作为四边切边长度；然后，按照四边切边长度对应切除着色文档图像的四边即可获得与RGB文档图像大小一致的目标文档图像。因此，在本申请实施例一种可选的实施方式中，所述步骤H例如可以包括以下步骤：
步骤H1：基于所述RGB文档图像的宽和高，着色文档图像的宽和高，以及所述着色文档图像中前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，获得所述着色文档图像的四边切边长度。
例如，如图12所示的着色文档图像的四边切边长度的示意图，由着色文档图像中前景即可获得前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，结合RGB文档图像的宽和高利用如下公式可获得左、右扩展长度和上、下扩展长度；再基于着色文档图像的宽和高，着色文档图像中前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，以及左、右扩展长度和上、下扩展长度，利用如下公式可获得着色文档图像的四边切边长度。
Er,l＝1/2(Ow-(Fr-Fl)) (1)
Et,b＝1/2(Oh-(Fb-Ft)) (2)
Cl＝Fl-Er,l (3)
Cr＝Bw-(Fr+Er,l) (4)
Ct＝Ft-Et,b (5)
Cb＝Bh-(Fb+Et,b) (6)
其中，Ow表示RGB文档图像的宽，Oh表示RGB文档图像的高，Fl表示着色文档图像中前景的最左像素坐标，Fr表示着色文档图像中前景的最右像素坐标，Ft表示着色文档图像中前景的最上像素坐标，Fb表示着色文档图像中前景的最下像素坐标，Er,l表示左、右扩展长度，Et,b表示上、下扩展长度，Bw表示着色文档图像的宽，Bh表示着色文档图像的高，Cl表示着色文档图像的左边切边长度，Cr表示着色文档图像的右边切边长度，Ct表示着色文档图像的上边切边长度，Cb表示着色文档图像的下边切边长度。
步骤H2：基于所述着色文档图像的四边切边长度对所述着色文档图像进行图像切边获得所述目标文档图像。
当然，在步骤203具体实施时，也可以先对纠偏文档图像进行图像切边处理获得切边文档图像，然后再对着切边档图像进行图像着色处理获得目标文档图像。在本申请实施例中并不限定图像着色和图像切边的执行顺序，只要执行完成获得目标文档图像即可。
作为一种示例，如图13所示的RGB文档图像至目标文档图像的示意图，其中，左图表示RGB文档图像，右图表示经过步骤201-步骤203获得的目标文档图像，由右图可知，目标文档图像满足RGB文档图像的图像处理需求。
通过本实施例提供的各种实施方式，首先，针对RGB文档图像，通过负噪声三通道色彩关系进行图像去噪处理获得去噪文档图像；然后，基于去噪文档图像中各个前景连通区域最小外接矩形，利用预设纠偏规则获得目标旋转方向和目标旋转角度，对去噪文档图像进行图像纠偏获得纠偏文档图像；最后，针对纠偏文档图像，结合RGB文档图像通过背景三通道聚类进行图像着色处理和图像切边处理获得目标文档图像。由此可见，图像去噪利用负噪声三通道色彩关系，避免传统的图像去噪方法出现误处理现象，提高RGB文档图像的降噪效果；图像纠偏利用预设纠偏规则获得的目标旋转方向和目标旋转角度，有效解决传统的图像纠偏方法不适用于包含文本和表格文档图像的图像纠偏的问题，提高去噪文档图像的纠偏效果；图像着色利用背景三通道聚类方式，有效解决传统的图像着色仍存在负噪声的问题，提高纠偏文档图像的着色效果；即，该方式从各个方面提高RGB文档图像的图像处理效果，满足RGB文档图像的图像处理需求。
示例性装置
参见图14，示出了本申请实施例中一种文档图像处理的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：
去噪文档图像获得单元1401，用于基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像；
纠偏文档图像获得单元1402，用于基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像；
目标文档图像获得单元1403，用于基于所述RGB文档图像通过背景三通道聚类对所述纠偏文档图像进行图像着色和图像切边获得目标文档图像。
在本申请实施例一种可选的实施方式中，所述去噪文档图像获得单元1401包括：
第一获得子单元，用于对所述RGB文档图像进行高斯滤波处理和拉普拉斯锐化处理获得第一文档图像；
第二获得子单元，用于基于所述第一文档图像的负噪声三通道色彩关系，对所述第一文档图像进行负噪声去除处理获得第二文档图像；
第三获得子单元，用于对所述第二文档图像进行中值滤波处理获得所述第三文档图像；
第四获得子单元，用于对所述第三文档图像进行边缘噪声去除处理获得去噪文档图像。
在本申请实施例一种可选的实施方式中，所述第二获得子单元包括：
第一确定模块，用于基于所述第一文档图像的背景三通道色彩关系，确定背景三通道像素值的取值范围；基于所述第一文档图像的负噪声三通道色彩关系，确定负噪声三通道像素值的取值范围；
第一获得模块，用于基于所述背景三通道像素值的取值范围和所述负噪声三通道像素值的取值范围，对所述第一文档图像进行二值化处理获得所述第二文档图像。
在本申请实施例一种可选的实施方式中，所述纠偏文档图像获得单元1402，包括：
第五获得子单元，用于基于各个所述前景连通区域最小外接矩形的旋转方向和旋转角度，利用预设纠偏规则获得所述目标旋转方向和所述目标旋转角度，所述前景连通区域最小外接矩形的旋转方向和旋转角度是基于所述前景连通区域最小外接矩形的宽高比获得的；
第六获得子单元，用于根据所述目标旋转方向和所述目标旋转角度，对所述去噪文档图像进行图像纠偏处理获得所述纠偏文档图像。
在本申请实施例一种可选的实施方式中，所述第五获得子单元包括：
第二确定模块，用于基于各个所述前景连通区域最小外接矩形的宽度、高度和旋转角度，以及预设的N+1个集合，确定各个所述前景连通区域最小外接矩形对应的集合，N为大于等于3的正整数；
第二获得模块，用于若第N+1个集合为非空集合，基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度；所述第N+1个集合中前景连通区域最小外接矩形的宽度大于等于所述去噪文档图像的二分之一宽度，且前景连通区域最小外接矩形的高度大于等于所述去噪文档图像的二分之一高度；
第三获得模块，用于若所述第N+1个集合为空集，基于第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
在本申请实施例一种可选的实施方式中，所述第二获得模块包括：
统计子模块，用于统计所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的数量D1和宽高比小于1前景连通区域最小外接矩形的数量D2；统计所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值；
第一确定子模块，用于若D1大于等于D2，确定所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；若D1小于D2，确定所述第N+1个集合中宽高比小于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值，确定所述目标旋转角度。
在本申请实施例一种可选的实施方式中，所述第三获得模块包括：
第二确定子模块，用于按照前景连通区域最小外接矩形的数量由大到小排列所述第1个至第N个集合，将前两个集合确定为第一目标集合和第二目标集合；
第一获得子模块，用于若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值大于等于预设差值，基于所述第一目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度；
第二获得子模块，用于若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值小于预设差值，基于所述第一目标集合和所述第二目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
在本申请实施例一种可选的实施方式中，所述目标文档图像获得单元1403，包括：
第七获得子单元，用于基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理获得着色文档图像；
第八获得子单元，用于基于所述RGB文档图像，对所述着色文档图像进行图像切边获得所述目标文档图像。
在本申请实施例一种可选的实施方式中，所述第七获得子单元包括：
第四获得模块，用于基于所述RGB文档图像中前景，对所述纠偏文档图像进行前景色复原处理获得前景色复原文档图像；
第五获得模块，用于基于所述RGB文档图像的采样背景，对三通道中每个通道分别聚类获得三通道中每个通道聚类像素值；
第六获得模块，用于基于所述三通道中每个通道聚类像素值，对所述前景色复原文档图像进行背景色复原获得着色文档图像。
在本申请实施例一种可选的实施方式中，所述第八获得子单元包括：
第七获得模块，用于基于所述RGB文档图像的宽和高，着色文档图像的宽和高，以及所述着色文档图像中前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，获得所述着色文档图像的四边切边长度；
第八获得模块，用于基于所述着色文档图像的四边切边长度对所述着色文档图像进行图像切边获得所述目标文档图像。
通过本实施例提供的各种实施方式，首先，针对RGB文档图像，通过负噪声三通道色彩关系进行图像去噪处理获得去噪文档图像；然后，基于去噪文档图像中各个前景连通区域最小外接矩形，利用预设纠偏规则获得目标旋转方向和目标旋转角度，对去噪文档图像进行图像纠偏获得纠偏文档图像；最后，针对纠偏文档图像，结合RGB文档图像通过背景三通道聚类进行图像着色处理和图像切边处理获得目标文档图像。由此可见，图像去噪利用负噪声三通道色彩关系，避免传统的图像去噪方法出现误处理现象，提高RGB文档图像的降噪效果；图像纠偏利用预设纠偏规则获得的目标旋转方向和目标旋转角度，有效解决传统的图像纠偏方法不适用于包含文本和表格文档图像的图像纠偏的问题，提高去噪文档图像的纠偏效果；图像着色利用背景三通道聚类方式，有效解决传统的图像着色仍存在负噪声的问题，提高纠偏文档图像的着色效果；即，该方式从各个方面提高RGB文档图像的图像处理效果，满足RGB文档图像的图像处理需求。
此外，本申请实施例还提供了一种终端设备，所述终端设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的文档图像处理的方法。
本申请实施例还提供了一种计算机可读存储介质所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例所述的文档图像处理的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (13)

1.一种文档图像处理的方法，其特征在于，包括：
基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像；
基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像；
基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理和图像切边处理获得目标文档图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像，包括：
对所述RGB文档图像进行高斯滤波处理和拉普拉斯锐化处理获得第一文档图像；
基于所述第一文档图像的负噪声三通道色彩关系，对所述第一文档图像进行负噪声去除处理获得第二文档图像；
对所述第二文档图像进行中值滤波处理获得所述第三文档图像；
对所述第三文档图像进行边缘噪声去除处理获得去噪文档图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一文档图像的负噪声三通道色彩关系，对所述第一文档图像进行负噪声去除处理获得第二文档图像，包括：
基于所述第一文档图像的背景三通道色彩关系，确定背景三通道像素值的取值范围；基于所述第一文档图像的负噪声三通道色彩关系，确定负噪声三通道像素值的取值范围；
基于所述背景三通道像素值的取值范围和所述负噪声三通道像素值的取值范围，对所述第一文档图像进行二值化处理获得所述第二文档图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像，包括：
基于各个所述前景连通区域最小外接矩形的旋转方向和旋转角度，利用预设纠偏规则获得所述目标旋转方向和所述目标旋转角度，所述前景连通区域最小外接矩形的旋转方向和旋转角度是基于所述前景连通区域最小外接矩形的宽高比获得的；
根据所述目标旋转方向和所述目标旋转角度，对所述去噪文档图像进行图像纠偏处理获得所述纠偏文档图像。
5.根据权利要求4所述的方法，其特征在于，所述基于各个所述前景连通区域最小外接矩形的旋转方向和旋转角度，利用预设纠偏规则获得所述目标旋转方向和所述目标旋转角度，包括：
基于各个所述前景连通区域最小外接矩形的宽度、高度和旋转角度，以及预设的N+1个集合，确定各个所述前景连通区域最小外接矩形对应的集合，N为大于等于3的正整数；
若第N+1个集合为非空集合，基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度；所述第N+1个集合中前景连通区域最小外接矩形的宽度大于等于所述去噪文档图像的二分之一宽度，且前景连通区域最小外接矩形的高度大于等于所述去噪文档图像的二分之一高度；
若所述第N+1个集合为空集，基于第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度，包括：
统计所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的数量D1和宽高比小于1前景连通区域最小外接矩形的数量D2；统计所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值；
若D1大于等于D2，确定所述第N+1个集合中宽高比大于等于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；若D1小于D2，确定所述第N+1个集合中宽高比小于1前景连通区域最小外接矩形的旋转方向为所述目标旋转方向；基于所述第N+1个集合中各个前景连通区域最小外接矩形的旋转角度的平均值，确定所述目标旋转角度。
7.根据权利要求5所述的方法，其特征在于，所述基于第1个至第N个集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度，包括：
按照前景连通区域最小外接矩形的数量由大到小排列所述第1个至第N个集合，将前两个集合确定为第一目标集合和第二目标集合；
若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值大于等于预设差值，基于所述第一目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度；
若所述第一目标集合中前景连通区域最小外接矩形的数量，与所述第二目标集合中前景连通区域最小外接矩形的数量的差值小于预设差值，基于所述第一目标集合和所述第二目标集合中各个前景连通区域最小外接矩形的旋转方向和旋转角度，获得所述目标旋转方向和所述目标旋转角度。
8.根据权利要求1所述的方法，其特征在于，所述基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理和图像切边处理获得目标文档图像，包括：
基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理获得着色文档图像；
基于所述RGB文档图像，对所述着色文档图像进行图像切边获得所述目标文档图像。
9.根据权利要求8所述的方法，其特征在于，所述基于所述RGB文档图像通过背景三通道聚类，对所述纠偏文档图像进行图像着色处理获得着色文档图像，包括：
基于所述RGB文档图像中前景，对所述纠偏文档图像进行前景色复原处理获得前景色复原文档图像；
基于所述RGB文档图像的采样背景，对三通道中每个通道分别聚类获得三通道中每个通道聚类像素值；
基于所述三通道中每个通道聚类像素值，对所述前景色复原文档图像进行背景色复原获得着色文档图像。
10.根据权利要求8所述的方法，其特征在于，所述基于所述RGB文档图像，对所述着色文档图像进行图像切边获得所述目标文档图像，包括：
基于所述RGB文档图像的宽和高，着色文档图像的宽和高，以及所述着色文档图像中前景的最左像素坐标、最右像素坐标、最上像素坐标和最下像素坐标，获得所述着色文档图像的四边切边长度；
基于所述着色文档图像的四边切边长度对所述着色文档图像进行图像切边获得所述目标文档图像。
11.一种文档图像处理的装置，其特征在于，包括：
去噪文档图像获得单元，用于基于所述RGB文档图像和负噪声三通道色彩关系，图像去噪获得去噪文档图像；
纠偏文档图像获得单元，用于基于所述去噪文档图像中各个前景连通区域最小外接矩形利用预设纠偏规则获得的目标旋转方向和目标旋转角度，图像纠偏获得纠偏文档图像；
目标文档图像获得单元，用于基于所述RGB文档图像通过背景三通道聚类对所述纠偏文档图像进行图像着色和图像切边获得目标文档图像。
12.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-10任一项所述的文档图像处理的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-10任一项所述的文档图像处理的方法。
CN201911185746.3A 2019-11-27 2019-11-27 一种文档图像处理的方法和装置 Active CN110942435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911185746.3A CN110942435B (zh) 2019-11-27 2019-11-27 一种文档图像处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911185746.3A CN110942435B (zh) 2019-11-27 2019-11-27 一种文档图像处理的方法和装置

Publications (2)

Publication Number Publication Date
CN110942435A true CN110942435A (zh) 2020-03-31
CN110942435B CN110942435B (zh) 2023-05-30

Family

ID=69908183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911185746.3A Active CN110942435B (zh) 2019-11-27 2019-11-27 一种文档图像处理的方法和装置

Country Status (1)

Country Link
CN (1) CN110942435B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491069A (zh) * 2020-06-29 2020-08-04 北京灵伴即时智能科技有限公司 一种文档图像的色彩模式自动设定方法
CN111611783A (zh) * 2020-06-18 2020-09-01 山东旗帜信息有限公司 一种图形表格的定位分割方法及装置
CN111768344A (zh) * 2020-05-12 2020-10-13 北京奇艺世纪科技有限公司 身份证正面图像的校正方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595933A (zh) * 2013-11-25 2014-02-19 陈皓 一种图像的降噪方法
CN106778752A (zh) * 2016-11-16 2017-05-31 广西大学 一种文字识别方法
CN108428237A (zh) * 2018-02-07 2018-08-21 西北大学 基于稀疏非负矩阵欠近似的高光谱彩绘文物线稿提取方法
CN109948521A (zh) * 2019-03-18 2019-06-28 北京华宇信息技术有限公司 图像纠偏方法和装置、设备及存储介质
US20190266433A1 (en) * 2018-02-27 2019-08-29 Intuit Inc. Method and system for background removal from documents
CN110427939A (zh) * 2019-08-02 2019-11-08 泰康保险集团股份有限公司 校正倾斜文本图像的方法、装置、介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595933A (zh) * 2013-11-25 2014-02-19 陈皓 一种图像的降噪方法
CN106778752A (zh) * 2016-11-16 2017-05-31 广西大学 一种文字识别方法
CN108428237A (zh) * 2018-02-07 2018-08-21 西北大学 基于稀疏非负矩阵欠近似的高光谱彩绘文物线稿提取方法
US20190266433A1 (en) * 2018-02-27 2019-08-29 Intuit Inc. Method and system for background removal from documents
CN109948521A (zh) * 2019-03-18 2019-06-28 北京华宇信息技术有限公司 图像纠偏方法和装置、设备及存储介质
CN110427939A (zh) * 2019-08-02 2019-11-08 泰康保险集团股份有限公司 校正倾斜文本图像的方法、装置、介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
姜代红: "《复杂环境下监控图像拼接与识别》", 28 February 2017 *
孙锴: "《基于系统图谱的复杂机电系统状态分析方法》", 31 August 2016 *
李剑波: "《大数据挖掘技术与应用》", 31 July 2018 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768344A (zh) * 2020-05-12 2020-10-13 北京奇艺世纪科技有限公司 身份证正面图像的校正方法、装置、设备及存储介质
CN111768344B (zh) * 2020-05-12 2023-06-30 北京奇艺世纪科技有限公司 身份证正面图像的校正方法、装置、设备及存储介质
CN111611783A (zh) * 2020-06-18 2020-09-01 山东旗帜信息有限公司 一种图形表格的定位分割方法及装置
CN111611783B (zh) * 2020-06-18 2023-04-25 山东旗帜信息有限公司 一种图形表格的定位分割方法及装置
CN111491069A (zh) * 2020-06-29 2020-08-04 北京灵伴即时智能科技有限公司 一种文档图像的色彩模式自动设定方法
CN111491069B (zh) * 2020-06-29 2020-10-02 北京灵伴即时智能科技有限公司 一种文档图像的色彩模式自动设定方法

Also Published As

Publication number Publication date
CN110942435B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110942435B (zh) 一种文档图像处理的方法和装置
CN111353497B (zh) 一种身份证信息的识别方法和装置
CN109993161B (zh) 一种文本图像旋转矫正方法及系统
CN112183038A (zh) 一种表格识别套打方法、计算机设备及计算机可读存储介质
CN103714327A (zh) 一种图像方向校正方法及系统
CN110647882A (zh) 图像校正方法、装置、设备及存储介质
CN112801088B (zh) 一种扭曲文本行图像矫正的方法和相关装置
CN114283156B (zh) 一种用于去除文档图像颜色及手写笔迹的方法及装置
WO2020107866A1 (zh) 一种文字区域获取方法、装置、存储介质及终端设备
CN112991536B (zh) 一种专题地图地理面要素自动提取和矢量化方法
CN113012059A (zh) 一种文字图像的阴影消除方法、装置及电子设备
CN109190517B (zh) 一种手指静脉图像边缘提取及方向矫正方法
CN111062317A (zh) 一种扫描文档的裁边方法与系统
CN110503704A (zh) 三分图的构造方法、装置和电子设备
CN110210467B (zh) 一种文本图像的公式定位方法、图像处理装置、存储介质
CN109348084B (zh) 图像形成方法、装置、电子设备和可读存储介质
CN111445402B (zh) 一种图像去噪方法及装置
CN113076952A (zh) 一种文本自动识别和增强的方法及装置
US6985629B2 (en) Image processing method, relative density detecting method and image processing apparatus
CN114694162B (zh) 基于图像处理的发票图像识别方法及系统
CN111767924A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN117292102A (zh) 基于融合特征的提取印章褶皱优化方法及系统
CN110070103A (zh) 身份证识别的方法及终端设备
JP2007334876A (ja) 文書イメージ処理システムおよび文書イメージ処理方法
CN111476800A (zh) 一种基于形态学操作的文字区域检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant