CN114119568A - 图像处理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请涉及图像处理方法、装置及计算机可读存储介质，其中，所述方法包括：获取原始图像；从所述原始图像中检测出包含有装订孔的装订孔区域；检测所述装订孔区域中是否包含有所述原始图像中的图像内容；当所述装订孔区域中包含所述原始图像中的图像内容，则针对所述装订孔区域执行第一修复处理，所述第一修复处理用于去除所述装订孔区域中的装订孔，而保留所述原始图像中的图像内容。本申请实施例提供的图像处理能够从原稿图像中识别出包含装订孔的装订孔区域，并检测出装订孔区域中是否包含有原始图像的内容，当包含有原始图像的内容时，对装订孔区域进行修正，去除装订孔而保留原始图像的内容，从而避免造成图像内容丢失的问题。

Description

图像处理方法、装置及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及计算机可读存储介质。

背景技术

目前，用户可以通过扫描仪、传真机、复印机等图像形成装置来获取书籍、票据、合同等原稿文件的图像，从而可以对这些文件的内容以图像方式进行存储、传输和复制。

当文件中存在装订孔时，图像形成装置获取的原稿图像中就有对应的装订孔的痕迹(例如，装订孔在原稿图像中可以表现为较小的黑色圆形区域)。

由于原稿图像中的装订孔并不是文件中有意义的内容，且影响图像的美观，所以通常需要将原稿图像中的装订孔进行去除。现有技术对原稿图像中的装订孔进行去除，有两种方式，一是通过人工去除的方式，二是基于计算机软件技术自动进行去除。人工去除的方式，即基于人工操作PS等软件将装订孔所在区域替换为背景颜色(通常为白色)，这种方式效率较低，人工成本高。而现有的计算机自动去除方式，自动将装订孔所在区域替换为背景颜色，虽然降低了人力成本，然而当装订孔所在区域中含有意义的原始图像的内容时，这种去除方式就会造成图像内容部分丢失的问题。

发明内容

本发明实施例提供图像处理方法、装置及计算机可读存储介质，能够从原稿图像中识别出包含装订孔的装订孔区域，并检测出装订孔区域中是否包含有原始图像的内容，当包含有原始图像的内容时，对装订孔区域进行修正，去除装订孔而保留原始图像的内容，从而避免造成图像内容丢失的问题。

第一方面，本申请提供一种图像处理方法，所述方法包括：

获取原始图像；

从所述原始图像中检测出包含有装订孔的装订孔区域；

检测所述装订孔区域中是否包含有所述原始图像中的图像内容；

当所述装订孔区域中包含所述原始图像中的图像内容，则针对所述装订孔区域执行第一修复处理，所述第一修复处理用于去除所述装订孔区域中的装订孔，而保留所述原始图像中的图像内容。

结合第一方面，在一种可行的实现方式中，所述方法还包括：当所述装订孔区域中不包含所述原始图像中的图像内容，则针对所述装订孔区域执行第二修复处理，所述第二修复处理用于将所述装订孔区域替换为所述原始图像的背景。

结合第一方面，在一种可行的实现方式中，所述从所述原始图像中检测出包含有装订孔的装订孔区域，具体包括：

从所述原始图像的预设区域中检测出预设第一形状及预设大小的装订孔，以及设置包括所述装订孔的预设第二形状的装订孔区域。

结合第一方面，在一种可行的实现方式中，所述从所述原始图像的预设区域中检测出预设第一形状及预设大小的装订孔的步骤，包括：

对所述原始图像进行预处理，所述预处理包括二值化处理和反转处理；

对执行预处理后的图像进行轮廓边缘检测，并对轮廓区域进行连通处理，以获取各个轮廓的形状；

利用形态学对各个轮廓进行增强处理，并获取各个轮廓内的面积大小；

从各个轮廓中筛选出符合所述预设区域、所述预设第一预设形状、所述预设大小的轮廓作为疑似装订孔的轮廓；

基于所述疑似装订孔的轮廓内的原始图像信息，确定所述疑似装订孔是否为真实的装订孔。

结合第一方面，在一种可行的实现方式中，所述基于所述疑似装订孔的轮廓内的原始图像信息，确定所述疑似装订孔是否为真实的装订孔的步骤，包括：

基于所述疑似装订孔轮廓的原始图像像素值和/或图像梯度值与标准装订孔的图像像素值和/或图像梯度值的方差或标准差在预设范围内，则确认所述疑似装订孔为真实的装订孔，否则所述疑似装订孔不是真实的装订孔。

结合第一方面，在一种可行的实现方式中，所述检测所述装订孔区域中是否包含有所述原始图像中的图像内容，包括：

分析所述装订孔区域中位于所述装订孔轮廓周围的图像信息，确定所述装订孔周围的图像是否为背景，若为背景，则判定为所述装订孔区域中不包含原始图像中的图像内容；

若所述装订孔周围的图像为非背景，则分析所述装订孔周围图像的轮廓与所述装订孔轮廓是否接近或连通，若判断为是，则判定所述装订孔区域中包含有所述原始图像中的图像内容。

结合第一方面，在一种可行的实现方式中，所述方法包括：

将所述装订孔区域中位于所述装订孔轮廓周围的原始图像像素值和/或图像梯度值与背景的标准像素值或图像梯度值进行对比，若超出预设误差，则包含原始图像的图像内容，否则不包含原始图像的图像内容。

第二方面，本申请提供一种图像处理装置，所述装置包括：

原始图像获取单元，用于获取原始图像；

装订孔检测单元，用于从所述原始图像中检测出包含有装订孔的装订孔区域；

图像内容检测单元，用于检测所述装订孔区域中是否包含有所述原始图像中的图像内容；

图像修复单元，用于当所述装订孔区域中包含所述原始图像中的图像内容，则针对所述装订孔区域执行第一修复处理，所述第一修复处理用于去除所述装订孔区域中的装订孔，而保留所述原始图像中的图像内容。

结合第二方面，在一种可行的实现方式中，所述图像修复单元，还用于当所述装订孔区域中不包含所述原始图像中的图像内容，则针对所述装订孔区域执行第二修复处理，所述第二修复处理用于将所述装订孔区域替换为所述原始图像的背景。

结合第二方面，在一种可行的实现方式中，所述装订孔检测单元，还用于从所述原始图像的预设区域中检测出预设第一形状及预设大小的装订孔，以及设置包括所述装订孔的预设第二形状的装订孔区域。

结合第二方面，在一种可行的实现方式中，所述装订孔检测单元，还用于对所述原始图像进行预处理，所述预处理包括二值化处理和反转处理；对执行预处理后的图像进行轮廓边缘检测，并对轮廓区域进行连通处理，以获取各个轮廓的形状；利用形态学对各个轮廓进行增强处理，并获取各个轮廓内的面积大小；从各个轮廓中筛选出符合所述预设区域、所述预设第一预设形状、所述预设大小的轮廓作为疑似装订孔的轮廓；基于所述疑似装订孔的轮廓内的原始图像信息，确定所述疑似装订孔是否为真实的装订孔。

结合第二方面，在一种可行的实现方式中，所述装订孔检测单元，还用于基于所述疑似装订孔轮廓的原始图像像素值和/或图像梯度值与标准装订孔的图像像素值和/或图像梯度值的方差或标准差在预设范围内，则确认所述疑似装订孔为真实的装订孔，否则所述疑似装订孔不是真实的装订孔。

结合第二方面，在一种可行的实现方式中，所述图像内容检测单元，还用于分析所述装订孔区域中位于所述装订孔轮廓周围的图像信息，确定所述装订孔周围的图像是否为背景，若为背景，则判定为所述装订孔区域中不包含原始图像中的图像内容；若所述装订孔周围的图像为非背景，则分析所述装订孔周围图像的轮廓与所述装订孔轮廓是否接近或连通，若判断为是，则判定所述装订孔区域中包含有所述原始图像中的图像内容。

结合第二方面，在一种可行的实现方式中，所述图像内容检测单元，还用于将所述装订孔区域中位于所述装订孔轮廓周围的原始图像像素值和/或图像梯度值与背景的标准像素值或图像梯度值进行对比，若超出预设误差，则包含原始图像的图像内容，否则不包含原始图像的图像内容。

第三方面，本申请提供一种计算机可读存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在设备执行上述第一方面所述的图像处理方法。

第四方面，本申请提供一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的图像处理方法。

本申请提供的图像处理方法及装置，先获取原始图像，再从原始图像中检测出包含装订孔的装订孔区域，然后进一步检测装订孔区域中是否包含原始图像中的图像内容，如果装订孔区域中包含原始图像中的图像内容，就针对装订孔执行第一修复处理，去除装订孔区域中的装订孔，而保留原始图像中的图像内容，从而可以避免现有技术中对装订孔区域进行修复时造成的图像内容丢失的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是本申请实施例提供的又一种图像处理方法的流程示意图；

图3是本申请实施例提供的图像处理方法中检测装订孔的流程示意图；

图4是本申请实施例提供的一种图像处理方法的流程示意图；

图5A至图5E是本申请图4实施例对应的应用场景示意图；

图6A是图5E中的方框3中的放大示意图；

图6B为现有技术中的修复方式与图6A的效果对比示意图；

图7是本申请实施例提供的图像处理装置的功能框图；

图8是本申请实施例提供一种计算机设备的功能框图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述终端，但这些终端不应限于这些术语。这些术语仅用来将终端彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第一终端。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

参见图1，在本申请实施例中提供了图像处理方法。本申请实施例中的图像处理方法，可以应用于图像处理装置。本申请实施例中的图像处理装置，可以具备图像获取的功能，可以将合同、票据、杂志、书籍等纸质文件的内容进行扫描并转换为扫描后的图像，即本申请实施例中的图像处理装置可以集合扫描仪、复印机、传真机等设备中至少其中之一的功能。进一步的，本申请实施例中的图像处理装置还可以但不限于对图像中的像素值、灰度、亮度、透明度进行运算，从而实现对图像的变换处理。

具体的，如图1，一种图像处理方法，包括：

S11，获取原始图像。

S12，从原始图像中检测出包含有装订孔的装订孔区域。

S13，检测装订孔区域中是否包含有原始图像中的图像内容。

S14，当装订孔区域中包含原始图像中的图像内容，则针对装订孔区域执行第一修复处理，第一修复处理用于去除所述装订孔区域中的装订孔，而保留原始图像中的图像内容。

上述技术方案中的图像处理方法，先获取原始图像，再从原始图像中检测出包含装订孔的装订孔区域，然后进一步检测装订孔区域中是否包含原始图像中的图像内容，如果装订孔区域中包含原始图像中的图像内容，就针对装订孔执行第一修复处理，去除装订孔区域中的装订孔，而保留原始图像中的图像内容，从而可以避免现有技术中对装订孔区域进行修复时造成的图像内容丢失的问题。

下面在一个具体的实施例中，对上述步骤S11至S14进行说明。

S11，获取原始图像。

本申请实施例中的图像处理装置，具备从纸质文件中获取图像的功能。例如，图像处理装置可以但不限于集成有扫描设备。扫描设备中具有光学部件和压纸部件。压纸部件起到对纸张进行夹持、传输及固定的作用，而光学部件对纸张进行扫描，从而获取纸质文件对应的原始图像。容易理解，当纸质文件中含有拆解后的装订孔时，扫描得到的原始图像中就会有装订孔。一般的，装订孔的形状为圆形，颜色通常与压纸部件的颜色一致，例如为黑色。

S12，从原始图像中检测出包含有装订孔的装订孔区域。

本申请实施例中图像处理装置可以基于机器视觉图像检测方法识别出原始图像中的装订孔，即根据图像中像素块的图像特征来进行匹配，从而识别出装订孔。例如，装订孔可以为圆形，也可以是较细的长条形，像素面积大小也在设定的数值范围内，且装订孔的颜色与压纸部件一致或近似。另外，容易理解，装订孔一般出现在纸质文件的上、下、左、右等边缘位置，可以设置仅对距离纸张边缘预设像素范围内的区域进行检测。本申请实施例中，检测出的结果一般以装订孔区域的形式来框出所检测的装订孔。例如，装订孔可以是一个圆形，而装订孔区域是以圆形的圆心为中心的一个矩形像素范围，且该矩形包括了所检测出来的装订孔。

S13，检测装订孔区域中是否包含有原始图像中的图像内容。

本申请实施例中的图像处理装置，进一步可以通过算法来检测装订孔区域中是否含有原始图像的图像内容。一般的，在纸质文件的原始图像中，可以包含图像内容、背景和装订孔。背景可以是白色、灰色或其它颜色组成的像素区域，而装订孔与背景不同，其颜色与压纸部件的一致，图像信息分布与背景的图像信息分布情况也有所差别。本申请实施例中的图像处理装置，在检测出包含装订孔的装订孔区域后，可以分析装订孔区域中位于装订孔轮廓周围的图像信息，确定装订孔周围的图像是否为背景，若为背景，则判定为装订孔区域中不包含原始图像中的图像内容，若装订孔周围的图像为非背景，则分析装订孔周围图像的轮廓与装订孔轮廓是否接近或连通，若判断为是，则判定装订孔区域中包含有原始图像中的图像内容，由此图像处理装置就可以检测出装订孔区域内是否包含原始图像内容，且将背景、装订孔以及图像内容作了有效区分。

S14，当装订孔区域中包含原始图像中的图像内容，则针对装订孔区域执行第一修复处理，第一修复处理用于去除所述装订孔区域中的装订孔，而保留原始图像中的图像内容

具体的，在本申请实施例中，图像处理装置检测出装订孔区域中包含原始图像的图像内容时，执行第一修复处理，去除装订孔区，而保留图像内容，从而可以避免造成图像内容丢失。

参见图2，在本申请又一个实施例中提供了一种图像处理方法。本实施例中的图像处理方法，包括：

S21，获取原始图像。

S22，从原始图像中检测出包含有装订孔的装订孔区域。

S23，检测装订孔区域中是否包含有原始图像中的图像内容。

S24，当装订孔区域中包含原始图像中的图像内容，则针对装订孔区域执行第一修复处理，第一修复处理用于去除所述装订孔区域中的装订孔，而保留原始图像中的图像内容。

上述步骤S21～S24，与图1中的步骤S11～S14相类似，其具体处理过程在此就不再赘述，可以参照S11～S14的描述进行理解。

本申请实施例中的图像处理方法，其流程还包括：

S25，当装订孔区域中不包含原始图像的图像内容，则针对装订孔区域执行第二修复处理，第二修复处理用于将装订孔区域替换为原始图像的背景。

具体的，当装订孔区域内不包含原始图像中的图像内容时，可以将装订孔区域替换为原始图像的背景，从而可以使图像中消除无意义的装订孔，并且使图像更美观。本申请实施例中的背景，例如可以但不限于由白色、灰色等单一颜色的像素组成。本申请实施例中，第二修复处理将装订孔区域替换为背景，可以是装订孔区域的矩形边的邻近的四个矩形区域，选择其中之一并填充到装订孔区域中，并对填充后的矩形边缘执行羽化等处理，以消除突变等痕迹。

参见图3，为本申请实施例中从原始图像中检测出装订孔的具体流程图。

具体的，在本申请实施例中，从原始图像中检测出包含有装订孔的装订孔区域，具体可以是：从原始图像的预设区域中检测出预设第一形状及预设大小的装订孔，以及设置包括装订孔的预设第二形状的装订孔区域。

从原始图像的预设区域中检测出预设第一形状即预设大小的装订孔，包括：

S31，对原始图像进行预处理，预处理包括二值化处理和反转处理。

本申请实施例，图像处理装置对获取的原始图像进行预处理，预处理包括二值化处理和反转处理。二值化处理是针对灰度图像而言的，即图像处理装置获取的原始图像如果为彩色图像，需要先将彩色图像转换为灰度图像，再对灰度图像进行处理。本申请实施例中的二值化处理，是通过设置适当的阈值选取规则，将图像中的各个像素点的灰度值重新设置为0或255，也就是使得图像呈现出明显的黑白效果，然而却保留图像原始的整体特征。而反转处理是将重新设置后的灰度值进行反转，以便于后续对装订孔进行识别和处理，例如反转后的装订孔，其灰度值可以是255，呈现为白色。

S32，对执行预处理后的图像进行轮廓边缘检测，并对轮廓区域进行连通处理，以获取各个轮廓的形状。

具体的，轮廓边缘检测可以通过边缘检测滤波器等算法来实现。边缘检测的原理为：在像素值变化比较大的地方，一般就视为边缘区域，例如在像素值跨度大的地方，由白色过渡到黑色，跨度区域的像素点就可以被检测为轮廓的边缘。

S33，利用形态学对各个轮廓进行增强处理，并获取各个轮廓内的面积大小。

在本申请实施例中，形态学图像处理可以包括对二值化的图像进行膨胀、腐蚀等操作，消除图像中的噪声，并提取边界等。其中，图像膨胀可以使目标边界相外部扩张，从而使检测的物体的面积增大像素点，即使图像具有“加粗”的效果，而腐蚀可以消除目标图像的部分边界点，即使图像变细。对图像进行形态学处理，并对轮廓进行增强，可以获取清晰的轮廓边界。再通过统计轮廓区域内的像素点的数目来得到轮廓区域的面积大小。

S34，从各个轮廓中筛选出符合预设区域、预设第一预设形状、预设大小的轮廓作为疑似装订孔的轮廓。

在本申请实施例中，预设区域可以是原始图像的左边缘、上边缘、下边缘，还可以包括右边缘，这些区域一般是装订孔具有较大概率出现的位置。预设形状，例如可以是圆形或长条形等。预设大小，根据扫描的纸张大小和装订孔的实际大小，可以设置为10个像素点等大小。对于符合预设区域、预设形状及预设大小的轮廓就可以作为疑似装订孔。

S35，基于疑似装订孔的轮廓内的原始图像信息，确定疑似装订孔是否为真实的装订孔。

在本申请实施例中，对疑似装订孔作进一步检测，可以提高装订孔检测的准确率，避免误检。确定疑似装订孔是否为真实的装订孔，可以由以下因素进行确定：(1)装订孔的位置，(2)装订孔的大小，以及(3)装订孔的颜色。其中装订孔的位置和大小，可以由前述步骤S24进行确认，对于装订孔的颜色，如果是真实的装订孔，其颜色应当与图像处理装置中的压纸部件的颜色一致(即通常是黑色)，且真实装订孔内的像素值比较均匀，梯度变化小，梯度差的方差或标准差也会较小。因此，在确定疑似装订孔是否为真实装订孔时，在对其颜色进行确认时，可以是基于疑似装订孔轮廓内的原始图像像素值和/或图像梯度值与标准装订孔的图像像素值和/或图像梯度值的方差或标准差在预设范围内，则确认疑似装订孔为真实的装订孔，否则疑似装订孔不是真实的装订孔。在本申请实施例中，标准装订孔的图像可以通过预先实验的方式进行实际采集获取，即通过多次采集真实装订孔的图像信息，获取其图像像素值、梯度、梯度查的方差或标准差，并将这些值存储为标准值。

本申请实施例中的图像处理装置经过上述S31～S35，就可以准确地检测出装订孔，再通过设置一个包括装订孔的矩形框来作为装订孔区域。

请一并参阅图4，图5A至图5E，图6A和图6B，下面在一个更为具体的实施例中说明本申请提供的图像处理方法。

如图4，一种图像处理方法，包括：

S41，获取原始图像并进行二值化和反转处理。

本申请实施例中的原始图像可以是彩色图像，也可以是灰度图像。在本申请实施例中仅以灰度图作为举例，例如如图5A所示的原始图像，图像内容中包括有文字、图画等。在本申请实施例中，装订孔可以出现在原始图像中的左边缘，例如方框1中存在两个装订孔，方框2和方框3中也存在装订孔。在本申请实施例的原始图像中，临近装订孔的附近位置处也存在有原始图像的内容，例如方框3中就存在有边框等线条信息。在本申请实施例中，装订孔还可以出现在图像的其它区域，例如在图像的下边缘，在方框5和6内也存在装订孔。

具体的，在本申请实施例中，二值化处理是针对灰度图像而言的，即图像处理装置获取的原始图像如果为彩色图像，需要先将彩色图像转换为灰度图像，再对灰度图像进行处理。本申请实施例中的二值化处理，是通过设置适当的阈值选取规则，将图像中的各个像素点的灰度值重新设置为0或255，也就是使得图像呈现出明显的黑白效果，然而却保留图像原始的整体特征。而反转处理是将重新设置后的灰度值进行反转，以便于后续对装订孔进行识别和处理，例如反转后的装订孔，其灰度值可以是255，呈现为白色。本申请实施例中的二值化处理后的图像如图5B所示，如图所示，该图像仍然具有图像的整体特征。而图5C为反转后的图像，反转后的图像在装订孔等位置处为白色。另外，值得说明的是，图5C为了便于示意清楚，去除了原始图像中部的一些内容。

S42，对预处理后的图像进行轮廓边缘检测，查找装订孔区域的边缘起始点和终止点，并对装订孔进行轮廓区域连通处理。

S43，对图像中的装订孔区域进行轮廓增强和图像去噪处理。

轮廓边缘检测可以通过边缘检测滤波器等算法来实现。边缘检测的原理为：在像素值变化比较大的地方，一般就视为边缘区域，例如在像素值跨度大的地方，由白色过渡到黑色，跨度区域的像素点就可以被检测为轮廓的边缘。

形态学图像处理可以包括对二值化的图像进行膨胀、腐蚀等操作，消除图像中的噪声，并提取边界等。其中，图像膨胀可以使目标边界相外部扩张，从而使检测的物体的面积增大像素点，即使图像具有“加粗”的效果，而腐蚀可以消除目标图像的部分边界点，即使图像变细。对图像进行形态学处理，并对轮廓进行增强，可以获取清晰的轮廓边界。再通过统计轮廓区域内的像素点的数目来得到轮廓区域的面积大小。

如图5D所示意，即为对图像进行边缘检测、形态处理后的图像。

S44，确定需要的检测的装订孔的轮廓大小和位置，对不符合要求的轮廓区域进行去除。

S45，检测符合要求的轮廓区域临近位置的背景图像值和轮廓区域内的图像梯度信息，并基于检测到的背景像素值和图像梯度信息确定装订孔区域内是否是装订孔区域以及装订孔区域内是否包含原始图像内容。

本申请实施例，基于检测到的背景像素值和图像梯度信息确定装订孔区域内是否是装订孔区域可以进一步提高装订孔检测的准确率，从而避免误检。例如，图5A中方框4中的刻度线就比较容易误检为装订孔。

S46，若当前装订孔区域不包含原始图像内容，则使用临近背景像素值对装订孔区域进行填充。

S47，若当前装订孔区域包含原始图像内容，则使用原始图像的图像像素值对装订孔区域进行填充。

如图5E所示，为本申请实施例图像处理装置输出的图像，对装订孔都实现了修复。具体以方框3为例，图6A为修复后的放大图，可知修复后的图像中不再具有装订孔，且保留了作为原始图像内容的线条，而图6B为现有修复技术的效果图，在图6B中虽然去除了装订孔，然而原始图像的图像内容的一部分线条也同时丢失了。由此可见，本申请的图像处理方法，既可以实现图像的美观，也可以避免图像内容的丢失。

第二方面，在本申请的实施例中提供了一种图像处理装置。本申请实施例中的图像处理装置，可以具备图像获取的功能，可以将合同、票据、杂志、书籍等纸质文件的内容进行扫描并转换为扫描后的图像，即本申请实施例中的图像处理装置可以集合扫描仪、复印机、传真机等设备中至少其中之一的功能。进一步的，本申请实施例中的图像处理装置还可以但不限于对图像中的像素值、灰度、亮度、透明度进行运算，从而实现对图像的变换处理。

如图7，一种图像装置500，包括：

原始图像获取单元501，用于获取原始图像。

装订孔检测单元502，用于从原始图像中检测出包含有装订孔的装订孔区域。

图像内容检测单元503，用于检测所述装订孔区域中是否包含有所述原始图像中的图像内容；

图像修复单元504，用于当装订孔区域中包含原始图像中的图像内容，则针对装订孔区域执行第一修复处理，第一修复处理用于去除装订孔区域中的装订孔，而保留原始图像中的图像内容。

在本申请的一个实施例中，原始图像获取单元501，用于获取原始图像。具体的，本申请实施例中的图像处理装置，具备从纸质文件中获取图像的功能。例如，图像处理装置的原始图像获取单元501，可以但不限于集成有扫描设备。扫描设备中具有光学部件和压纸部件。压纸部件起到对纸张进行夹持、传输及固定的作用，而光学部件对纸张进行扫描，从而获取纸质文件对应的原始图像。容易理解，当纸质文件中含有拆解后的装订孔时，扫描得到的原始图像中就会有装订孔。一般的，装订孔的形状为圆形，颜色通常与压纸部件的颜色一致，例如为黑色。

本申请实施例中图像处理装置的装订孔检测单元502，可以基于机器视觉图像检测方法识别出原始图像中的装订孔，即根据图像中像素块的图像特征来进行匹配，从而识别出装订孔。例如，装订孔可以为圆形，也可以是较细的长条形，像素面积大小也在设定的数值范围内，且装订孔的颜色与压纸部件一致或近似。另外，容易理解，装订孔一般出现在纸质文件的上、下、左、右等边缘位置，可以设置仅对距离纸张边缘预设像素范围内的区域进行检测。本申请实施例中，检测出的结果一般以装订孔区域的形式来框出所检测的装订孔。例如，装订孔可以是一个圆形，而装订孔区域是以圆形的圆心为中心的一个矩形像素范围，且该矩形包括了所检测出来的装订孔。

图像内容检测单元503，进一步可以通过算法来检测装订孔区域中是否含有原始图像的图像内容。一般的，在纸质文件的原始图像中，可以包含图像内容、背景和装订孔。背景可以是白色、灰色或其它颜色组成的像素区域，而装订孔与背景不同，其颜色与压纸部件的一致，图像信息分布与背景的图像信息分布情况也有所差别。本申请实施例中的图像处理装置，在检测出包含装订孔的装订孔区域后，可以分析装订孔区域中位于装订孔轮廓周围的图像信息，确定装订孔周围的图像是否为背景，若为背景，则判定为装订孔区域中不包含原始图像中的图像内容，若装订孔周围的图像为非背景，则分析装订孔周围图像的轮廓与装订孔轮廓是否接近或连通，若判断为是，则判定装订孔区域中包含有原始图像中的图像内容，，由此图像处理装置就可以检测出装订孔区域内是否包含原始图像内容，且将背景、装订孔以及图像内容作了有效区分。

图像修复单元504，用于检测出装订孔区域中包含原始图像的图像内容时，执行第一修复处理，去除装订孔区，而保留图像内容，从而可以避免造成图像内容丢失。

进一步的，图像修复单元504，还可以用于当装订孔区域中不包含原始图像的图像内容，则针对装订孔区域执行第二修复处理，第二修复处理用于将装订孔区域替换为原始图像的背景。具体的，当装订孔区域内不包含原始图像中的图像内容时，可以将装订孔区域替换为原始图像的背景，从而可以使图像中消除无意义的装订孔，并且使图像更美观。本申请实施例中的背景，例如可以但不限于由白色、灰色等单一颜色的像素组成。本申请实施例中，第二修复处理将装订孔区域替换为背景，可以是装订孔区域的矩形边的邻近的四个矩形区域，选择其中之一并填充到装订孔区域中，并对填充后的矩形边缘执行羽化等处理，以消除突变等痕迹。

在本申请的一个实施例中，装订孔检测单元502，从原始图像中检测出包含有装订孔的装订孔区域，具体可以是：从原始图像的预设区域中检测出预设第一形状及预设大小的装订孔，以及设置包括装订孔的预设第二形状的装订孔区域。

具体的，装订孔检测单元502的处理流程包括：

对原始图像进行预处理，预处理包括二值化处理和反转处理。

本申请实施例，图像处理装置对获取的原始图像进行预处理，预处理包括二值化处理和反转处理。二值化处理是针对灰度图像而言的，即图像处理装置获取的原始图像如果为彩色图像，需要先将彩色图像转换为灰度图像，再对灰度图像进行处理。本申请实施例中的二值化处理，是通过设置适当的阈值选取规则，将图像中的各个像素点的灰度值重新设置为0或255，也就是使得图像呈现出明显的黑白效果，然而却保留图像原始的整体特征。而反转处理是将重新设置后的灰度值进行反转，以便于后续对装订孔进行识别和处理，例如反转后的装订孔，其灰度值可以是255，呈现为白色。

对执行预处理后的图像进行轮廓边缘检测，并对轮廓区域进行连通处理，以获取各个轮廓的形状。

具体的，轮廓边缘检测可以通过边缘检测滤波器等算法来实现。边缘检测的原理为：在像素值变化比较大的地方，一般就视为边缘区域，例如在像素值跨度大的地方，由白色过渡到黑色，跨度区域的像素点就可以被检测为轮廓的边缘。

利用形态学对各个轮廓进行增强处理，并获取各个轮廓内的面积大小。

在本申请实施例中，形态学图像处理可以包括对二值化的图像进行膨胀、腐蚀等操作，消除图像中的噪声，并提取边界等。其中，图像膨胀可以使目标边界相外部扩张，从而使检测的物体的面积增大像素点，即使图像具有“加粗”的效果，而腐蚀可以消除目标图像的部分边界点，即使图像变细。对图像进行形态学处理，并对轮廓进行增强，可以获取清晰的轮廓边界。再通过统计轮廓区域内的像素点的数目来得到轮廓区域的面积大小。

从各个轮廓中筛选出符合预设区域、预设第一预设形状、预设大小的轮廓作为疑似装订孔的轮廓。

在本申请实施例中，预设区域可以是原始图像的左边缘、上边缘、下边缘，还可以包括右边缘，这些区域一般是装订孔具有较大概率出现的位置。预设形状，例如可以是圆形或长条形等。预设大小，根据扫描的纸张大小和装订孔的实际大小，可以设置为10个像素点等大小。对于符合预设区域、预设形状及预设大小的轮廓就可以作为疑似装订孔。

基于疑似装订孔的轮廓内的原始图像信息，确定疑似装订孔是否为真实的装订孔。

在本申请实施例中，对疑似装订孔作进一步检测，可以提高装订孔检测的准确率，避免误检。确定疑似装订孔是否为真实的装订孔，可以由以下因素进行确定：(1)装订孔的位置，(2)装订孔的大小，以及(3)装订孔的颜色。其中装订孔的位置和大小，可以由前述步骤S24进行确认，对于装订孔的颜色，如果是真实的装订孔，其颜色应当与图像处理装置中的压纸部件的颜色一致(即通常是黑色)，且真实装订孔内的像素值比较均匀，梯度变化小，梯度差的方差或标准差也会较小。因此，在确定疑似装订孔是否为真实装订孔时，在对其颜色进行确认时，可以是基于疑似装订孔轮廓内的原始图像像素值和/或图像梯度值与标准装订孔的图像像素值和/或图像梯度值的方差或标准差在预设范围内，则确认疑似装订孔为真实的装订孔，否则疑似装订孔不是真实的装订孔。在本申请实施例中，标准装订孔的图像可以通过预先实验的方式进行实际采集获取，即通过多次采集真实装订孔的图像信息，获取其图像像素值、梯度、梯度查的方差或标准差，并将这些值存储为标准值。

第三方面，本申请实施例提供了一种计算机可读存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的图像处理方法。

第四方面，本申请实施例提供一种计算机设备，图8是本申请实施例提供的一种计算机设备的示意图。如图8所示，该实施例的计算机设备800包括：处理器801、存储器802以及存储在存储器中并可在处理器801上运行的计算机程序803，处理器801执行计算机程序803时实现实施例中的图像处理方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器801执行时实现实施例中图像处理装置中各模型中/单元的功能，为避免重复，此处不一一赘述。

计算机设备800可以是桌上型计算机、笔记本、掌上电脑及云端服务器、扫描仪、打印机、复印机、传真机等计算设备。计算机设备可包括，但不仅限于，处理器801、存储器802。本领域技术人员可以理解，图8仅仅是计算机设备800的示例，并不构成对计算机设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器802可以是计算机设备800的内部存储单元，例如计算机设备800的硬盘或内存。存储器802也可以是计算机设备800的外部存储设备，例如计算机设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器802还可以既包括计算机设备300的内部存储单元也包括外部存储设备。存储器802用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器802还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例上述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上上述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始图像；

从所述原始图像中检测出包含有装订孔的装订孔区域；

检测所述装订孔区域中是否包含有所述原始图像中的图像内容；

当所述装订孔区域中包含所述原始图像中的图像内容，则针对所述装订孔区域执行第一修复处理，所述第一修复处理用于去除所述装订孔区域中的装订孔，并保留所述原始图像中的图像内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述装订孔区域中不包含所述原始图像中的图像内容，则针对所述装订孔区域执行第二修复处理，所述第二修复处理用于将所述装订孔区域替换为所述原始图像的背景。

3.根据权利要求1所述的方法，其特征在于，所述从所述原始图像中检测出包含有装订孔的装订孔区域，具体包括：

从所述原始图像的预设区域中检测出预设第一形状及预设大小的装订孔，以及设置包括所述装订孔的预设第二形状的装订孔区域。

4.根据权利要求3所述的方法，其特征在于，所述从所述原始图像的预设区域中检测出预设第一形状及预设大小的装订孔的步骤，包括：

对所述原始图像进行预处理，所述预处理包括二值化处理和反转处理；

对执行预处理后的图像进行轮廓边缘检测，并对轮廓区域进行连通处理，以获取各个轮廓的形状；

利用形态学对各个轮廓进行增强处理，并获取各个轮廓内的面积大小；

从各个轮廓中筛选出符合所述预设区域、所述预设第一预设形状、所述预设大小的轮廓作为疑似装订孔的轮廓；

基于所述疑似装订孔的轮廓内的原始图像信息，确定所述疑似装订孔是否为真实的装订孔。

5.根据权利要求4所述的方法，其特征在于，所述基于所述疑似装订孔的轮廓内的原始图像信息，确定所述疑似装订孔是否为真实的装订孔的步骤，包括：

当所述疑似装订孔轮廓内的原始图像像素值和/或图像梯度值与标准装订孔的图像像素值和/或图像梯度值的方差或标准差在预设范围内，则确认所述疑似装订孔为真实的装订孔，否则所述疑似装订孔不是真实的装订孔。

6.根据权利要求1所述的方法，其特征在于，所述检测所述装订孔区域中是否包含有所述原始图像中的图像内容，包括：

分析所述装订孔区域中位于所述装订孔轮廓周围的图像信息，确定所述装订孔周围的图像是否为背景，若为背景，则判定为所述装订孔区域中不包含原始图像中的图像内容；

若所述装订孔周围的图像为非背景，则分析所述装订孔周围图像的轮廓与所述装订孔轮廓是否接近或连通，若判断为是，则判定所述装订孔区域中包含有所述原始图像中的图像内容。

7.根据权利要求6所述的方法，其特征在于，所述方法包括：

将所述装订孔区域中位于所述装订孔轮廓周围的原始图像像素值和/或图像梯度值与背景的标准像素值和/或图像梯度值进行对比，若超出预设误差，则包含原始图像的图像内容，否则不包含原始图像的图像内容。

8.一种图像处理装置，其特征在于，所述装置包括：

原始图像获取单元，用于获取原始图像；

装订孔检测单元，用于从所述原始图像中检测出包含有装订孔的装订孔区域；

图像内容检测单元，用于检测所述装订孔区域中是否包含有所述原始图像中的图像内容；

图像修复单元，用于当所述装订孔区域中包含所述原始图像中的图像内容，则针对所述装订孔区域执行第一修复处理，所述第一修复处理用于去除所述装订孔区域中的装订孔，而保留所述原始图像中的图像内容。

9.根据权利要求8所述的装置，其特征在于，所述图像修复单元，还用于当所述装订孔区域中不包含所述原始图像中的图像内容，则针对所述装订孔区域执行第二修复处理，所述第二修复处理用于将所述装订孔区域替换为所述原始图像的背景。

10.根据权利要求8所述的装置，其特征在于，所述装订孔检测单元，还用于从所述原始图像的预设区域中检测出预设第一形状及预设大小的装订孔，以及设置包括所述装订孔的预设第二形状的装订孔区域。

11.根据权利要求10所述的装置，其特征在于，所述装订孔检测单元，还用于对所述原始图像进行预处理，所述预处理包括二值化处理和反转处理；对执行预处理后的图像进行轮廓边缘检测，并对轮廓区域进行连通处理，以获取各个轮廓的形状；利用形态学对各个轮廓进行增强处理，并获取各个轮廓内的面积大小；从各个轮廓中筛选出符合所述预设区域、所述预设第一预设形状、所述预设大小的轮廓作为疑似装订孔的轮廓；基于所述疑似装订孔的轮廓内的原始图像信息，确定所述疑似装订孔是否为真实的装订孔。

12.根据权利要求11所述的装置，其特征在于，所述装订孔检测单元，还用于基于所述疑似装订孔轮廓的原始图像像素值和/或图像梯度值与标准装订孔的图像像素值和/或图像梯度值的方差或标准差在预设范围内，则确认所述疑似装订孔为真实的装订孔，否则所述疑似装订孔不是真实的装订孔。

13.根据权利要求8所述的装置，其特征在于，所述图像内容检测单元，还用于分析所述装订孔区域中位于所述装订孔轮廓周围的图像信息，确定所述装订孔周围的图像是否为背景，若为背景，则判定为所述装订孔区域中不包含原始图像中的图像内容；若所述装订孔周围的图像为非背景，则分析所述装订孔周围图像的轮廓与所述装订孔轮廓是否接近或连通，若判断为是，则判定所述装订孔区域中包含有所述原始图像中的图像内容。

14.根据权利要求13所述的装置，其特征在于，所述图像内容检测单元，还用于将所述装订孔区域中位于所述装订孔轮廓周围的原始图像像素值和/或图像梯度值与背景的标准像素值或图像梯度值进行对比，若超出预设误差，则包含原始图像的图像内容，否则不包含原始图像的图像内容。

15.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7任意一项所述的图像处理方法。

16.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的图像处理方法。

Images