CN116843009A - 用于印刷品图像清晰化的神经网络模型的训练方法 - Google Patents

Abstract

本公开提供一种用于印刷品图像清晰化的神经网络模型的训练方法，包括：建立样本集，每个样本包括对应于相同印刷品内容的清晰图像和模糊图像；利用样本集对神经网络模型进行训练。建立样本集包括：获取清晰图像；对清晰图像执行模糊操作以得到对应的模糊图像；基于相互对应的清晰图像和模糊图像生成样本。模糊操作包括以下各项中的多个的组合：模拟拍摄时对焦不准导致的模糊的操作；模拟拍摄时抖动导致的模糊的操作；模拟数码变焦导致的模糊的操作；模拟相机的图像传感器的性能限制导致的模糊的操作；模拟拍摄环境导致的模糊的操作；模拟图像分辨率导致的模糊的操作；模拟图像质量导致的模糊的操作。本公开还涉及印刷品图像清晰化的方法。

Description

用于印刷品图像清晰化的神经网络模型的训练方法

技术领域

本公开涉及图像处理技术领域，尤其是一种用于印刷品图像清晰化的神经网络模型的训练方法。

背景技术

当我们拍摄照片或者从网络上下载图片时，经常会遇到图像模糊的问题，这些问题会影响图像的质量和清晰度。为了解决这些问题，人们开发了图像清晰化技术。图像清晰化旨在通过去除噪声、增强对比度、增强细节和增强色彩等方法，从而改善图像的清晰度和质量。

近年来，神经网络技术的发展为图像清晰化带来了新的突破。神经网络技术的出现使图像清晰化变得更加高效、准确和普适，具有广泛的应用前景。

发明内容

本公开一个或多个实施例的目的之一是提供用于印刷品图像清晰化的神经网络模型的训练方法、装置及计算机可读存储介质。

根据本公开实施例的第一方面，提供一种用于印刷品图像清晰化的神经网络模型的训练方法，包括：建立样本集，所述样本集中的每个样本包括对应于相同印刷品内容的一对图像，所述一对图像包括清晰图像和模糊图像；以及利用所述样本集对所述神经网络模型进行训练；其中，建立所述样本集包括：获取所述清晰图像；对所述清晰图像执行模糊操作以得到对应的所述模糊图像；以及基于相互对应的所述清晰图像和所述模糊图像生成样本，其中所述模糊操作包括以下各项中的多个的组合：模拟拍摄时对焦不准导致的模糊的操作；模拟拍摄时抖动导致的模糊的操作；模拟数码变焦导致的模糊的操作；模拟相机的图像传感器的性能限制导致的模糊的操作；模拟拍摄环境导致的模糊的操作；模拟图像分辨率导致的模糊的操作；模拟图像质量导致的模糊的操作；模拟光照强度导致的模糊的操作；和模拟光照颜色导致的模糊的操作。

根据本公开实施例的第二方面，提供一种印刷品图像清晰化的方法，包括：接收待清晰化的模糊图像，所述模糊图像为包含印刷品内容的图像；基于用于印刷品图像清晰化的神经网络模型对所述待清晰化的模糊图像进行处理，以生成所述待清晰化的模糊图像对应的清晰图像；输出生成的清晰图像；其中，所述神经网络模型基于上述任意一个实施例所述的方法训练得到。

根据本公开实施例的第三方面，提供一种用于印刷品图像清晰化的神经网络模型的训练装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述任意一个实施例所述的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的方法。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法的流程示意图。

图2和图3分别是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的对应于相同印刷品内容的清晰图像和模糊图像。

图4是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中对图像进行高斯模糊后得到的模糊图像。

图5是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中对图像添加高斯噪声后得到的模糊图像。

图6是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中将图像按预设缩小比例缩小再将缩小后的图像放大至原始尺寸后得到的模糊图像。

图7是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中将图像按照预设压缩比例压缩为有损格式再解压后得到的模糊图像。

图8是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的模拟抖动得到的模糊图像。

图9是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的模拟光照强度和光照颜色得到的模糊图像。

图10是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行高斯模糊与添加高斯噪声后的模糊图像。

图11是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行尺寸变换和有损压缩后的模糊图像。

图12是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行模拟抖动和改变图像的光照颜色后的模糊图像。

图13和图14分别是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行边缘和背景去除前的照片，以及进行边缘和背景去除后的照片。

图15是根据本公开一些实施例的印刷品图像清晰化方法的流程示意图。

图16和图17分别是根据本公开一些实施例的印刷品图像清晰化方法的待清晰化的模糊图像和生成的清晰图像的示意图。

图18和图19分别是根据本公开一些实施例的印刷品图像清晰化方法的调节白平衡之前的模糊图像、调节白平衡之后的模糊图像的示意图。

图20和图21分别是根据本公开一些实施例的印刷品图像清晰化方法的未锐化处理的清晰图像、经过锐化处理的清晰图像的示意图。

图22是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

发明人注意到用户对于包含印刷品内容的图像进行图像清晰化的需求很大，然而目前用于印刷品图像清晰化的神经网络模型的性能不佳。发明人经过研究发现这可能是由于用于训练神经网络模型的样本数量较少导致的。为了解决这一问题，发明人提出了如下方法。

图1是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法的流程示意图。图2和图3分别是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的对应于相同印刷品内容的清晰图像和模糊图像。图1所示的方法可以包括如下所述的步骤S110和步骤S120。

在步骤S110，建立样本集。样本集中的每个样本包括对应于相同印刷品内容的一对图像，这里的一对图像包括清晰图像和模糊图像。应理解，本文虽使用“印刷品”来描述图像所呈现的对象，但本文所称的印刷品不仅包括经由打字机、打印机、复印机等机器在媒介上印刷了内容的物品，还包括经由手写、描绘、印染等过程在媒介上呈现内容的物品。媒介可以是传统媒介，例如纸张，也可以是新媒介，例如手机屏幕、电脑屏幕、电子书屏幕等电子媒介。此外，本文所称印刷品可以是出版物例如书籍、报纸、杂志等，也可以是非出版物例如信笺、日记、试题等。印刷品内容可以是印刷品内的一页或者多页的全部内容，也可以是印刷品内的一页或者多页的部分内容，还可以是印刷品的表面的全部或部分内容。图2和图3为样本集中的一个样本，其包含的印刷品内容为印刷品内的一页的全部内容。

在步骤S120，利用样本集对用于印刷品图像清晰化的神经网络模型进行训练。应理解，用于印刷品图像清晰化的神经网络模型能够响应于用户输入待清晰化的模糊图像，生成清晰图像。神经网络模型例如为UNet模型。后文将结合一些实施例介绍用于印刷品图像清晰化的神经网络模型的应用。

具体而言，步骤S110可以包括步骤S111、步骤S112和步骤S113。

在步骤S111，获取清晰图像。例如可以通过拍摄或扫描等方式获取清晰图像，还可以使用已训练的用于图像清晰化的神经网络模型对图像进行清晰化而获取清晰图像。后文将结合一些实施例进一步介绍如何获取清晰图像。

在步骤S112，对清晰图像执行模糊操作以得到对应的模糊图像。模糊操作包括以下各项中的多个的组合：

(1)模拟拍摄时对焦不准导致的模糊的操作

(2)模拟拍摄时抖动导致的模糊的操作

(3)模拟数码变焦导致的模糊的操作

(4)模拟相机的图像传感器的性能限制导致的模糊的操作

(5)模拟拍摄环境导致的模糊的操作

(6)模拟图像分辨率导致的模糊的操作

(7)模拟图像质量导致的模糊的操作

(8)模拟光照强度导致的模糊的操作

(9)模拟光照颜色导致的模糊的操作。

应理解，图像分辨率决定于图片的像素数与图片的尺寸(幅面)大小，像素数高且图片尺寸小的图片，即单位面积所含的像素数多的图片，其分辨率也高。图像的清晰度不是取决于像素数，而是取决于像素的“点密度”(也即是图像分辨率)。图像分辨率可以用ppi表示，单位是“像素/英寸”，例如1080P。

还应理解，光照强度和光照颜色也会导致图像变模糊。例如，在光照强度很弱，或者光照颜色很浓的情况下都会使得图像变模糊。

后文将结合一些实施例进一步介绍这些操作。

在步骤S113，基于相互对应的清晰图像和模糊图像生成样本。

上述实施例中，对清晰图像执行模糊操作，可以得到清晰图像对应的模糊图像，继而基于清晰图像和对应的模糊图像生成样本，最后利用生成的样本来训练神经网络模型。由于神经网络模型的性能与训练数据息息相关，通过这种方式能够便捷地生成样本，有利于增加训练数据，从而提升神经网络模型的性能。

在实际场景中，图像的模糊往往是多种因素导致的，因此，模糊操作可以是多个操作的组合，每个操作用于模拟不同的图像模糊原因，使得模糊操作可以模拟多种因素导致的模糊。这样，生成的模糊图片能够反应多种因素作用下的模糊情况，更加贴近真实情况。利用这样的样本进行训练有利于提高神经网络模型的泛化能力，使得神经网络模型在进行图像清晰化时能够有效应对各种模糊情况。

图4是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中对图像进行高斯模糊后得到的模糊图像。图5是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中对图像添加高斯噪声后得到的模糊图像。图6是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中将图像按预设缩小比例缩小再将缩小后的图像放大至原始尺寸后得到的模糊图像。图7是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中将图像按照预设压缩比例压缩为有损格式再解压后得到的模糊图像。图8是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的模拟抖动得到的模糊图像。

下面结合图4至图8以及一些实施例介绍模糊操作。

在一些实施例中，如图4所示，通过对图像进行高斯模糊处理来模拟拍摄时对焦不准导致的模糊的操作或模拟数码变焦导致的模糊的操作。例如，可通过OpenCVGaussianBlur函数对图像进行高斯模糊处理。高斯模糊的参数可以在预设的模糊值范围内取随机值，例如滤波核大小可以从3到15这一范围内取随机值。

在一些实施例中，如图5所示，通过对图像添加高斯噪声来模拟相机的图像传感器的性能限制导致的模糊的操作或模拟拍摄环境导致的模糊的操作。在相机的图像传感器的性能限制和/或摄影环境等因素的影响，拍摄的图像有可能出现高斯噪声，因此，在图像中加入高斯噪声可以模拟这类情况。例如，可以使用numpy.random模块生成高斯分布的随机噪声，然后将该噪声叠加到图像上即可得到添加高斯噪声的图像。

在一些实施例中，如图6所示，可以通过将图像按预设缩小比例缩小再将缩小后的图像放大至原始尺寸(下文简称为“尺寸变换”)来模拟图像分辨率导致的模糊的操作。应理解，这里的原始尺寸是指尺幅或幅面大小，而不是占用存储空间的大小。将图形缩小再拉回原来的大小，图像的尺幅未变，但是在图形缩小过程中图像质量会损失一部分，因此，将图形缩小再拉回原来的大小后，单位尺寸中的像素数降低导致的，即图像分辨率降低。作为一些实现方式，可以利用最邻近插值算法、双线性插值算法或双立方插值算法进行缩小。作为一些实现方式，预设缩小比例大于或等于1/4，且小于或等于1/2。

在一些实施例中，如图7所示，可以通过将图像按照预设压缩比例压缩为有损格式再解压(下文简称为“有损压缩”)来模拟图像质量导致的模糊的操作。将图像压缩为有损格式会使得图像质量损失一部分，对压缩后的图像进行解压就可以得到模糊的图像。作为一些实现方式，有损格式包括JPEG格式。作为一些实现方式，预设压缩比例大于或等于30％，且小于或等于95％。由于压缩后图像会有一定程度的失真，通过设置预设压缩比例有利于控制失真情况，从而保障样本质量，进而保障神经网络模型的性能。

在一些实施例中，如图8所示，可以通过如下模拟拍摄时抖动导致的模糊的操作：对待模拟抖动的图像的像素施加随机位移量以得到像素位移后的图像；以及合成像素位移后的图像和待模拟抖动的图像。

由于用户拍摄的图像可能是在各种不同的光照强度和/或光照颜色的条件下拍摄的，利用能够模拟图像的光照强度和/或颜色的样本训练神经网络模型，使得神经网络模型能够应对不同的光照强度和/或光照颜色的图片的清晰化，有利于提升神经网络模型的性能。作为一些实现方式，模拟光照强度导致的模糊的操作包括确定光照强度系数，以及基于光照强度系数对图像进行乘法变换。例如可以使用cv2.multiply函数将原始图像乘以光照强度系数，光照强度系数例如可以设置在(0.8,1.2)的区间范围内。作为一些实现方式，模拟光照颜色导致的模糊的操作包括确定光照色调变换系数，以及基于光照色调变换系数对图像进行加权变换。例如可以使用cv2.add函数加上光照色调变换系数来进行光照模拟，光照色调变换系数例如可以设置在(-20,20)的区间范围内。

在一些实施例中，模糊操作可以包括以下各项中的2个或3个的组合：(1)模拟拍摄时对焦不准导致的模糊的操作；(2)模拟拍摄时抖动导致的模糊的操作；(3)模拟数码变焦导致的模糊的操作；(4)模拟相机的图像传感器的性能限制导致的模糊的操作；(5)模拟拍摄环境导致的模糊的操作；(6)模拟图像分辨率导致的模糊的操作；(7)模拟图像质量导致的模糊的操作；(8)改变图像的光照强度的操作；和(9)改变图像的光照颜色的操作(下文简称为“上述9项”)。

一方面，用户提供的待清晰化的模糊图像很可能是由多种模糊原因导致的模糊，因此，利用2个或3个操作组合生成的模糊图像更加贴近实际，也有利于增加训练样本，提供神经网络模型的泛化能力。另一方面，在模糊操作包括过多操作的组合的情况下，生成的模糊图像可能过于模糊，利用这样的样本进行训练可能影响神经网络模型的性能。因此，模糊操作可以是2个或3个操作的组合，能够在提高神经网络模型的泛化能力的同时保证神经网络模型的训练效果。

图9至图12示出了模糊操作可以包括上述9项中的2个的一些实施例。图9是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的模拟光照强度和光照颜色得到的模糊图像。如图9所示，可以模拟光照颜色和光照颜色两者共同导致的模糊。例如，可以先使用cv2.multiply将原始图像乘以光照强度系数，再使用cv2.add加上光照色调变换系数。应理解，由于附图以黑白颜色呈现的，因此，所以对于光照强度和光照颜色的改变体现得不明显。若附图以彩色颜色呈现，则可以看出模拟光照颜色和光照颜色两者共同导致的模糊后，图像整体呈现明亮的黄色，图像中的印刷品内容的清晰程度与改变光照强度和光照颜色前(参见图2)相比较差。由于用户拍摄时会处于各种光照强度和光照颜色下，上述实施例中通过加入随机的光照强度和光照色调来模拟不同环境下的光照情况，可以使模糊效果更真实。

图10是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行高斯模糊与添加高斯噪声后的模糊图像。图11是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行尺寸变换和有损压缩后的模糊图像。图12是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行模拟抖动和改变图像的光照颜色后的模糊图像。

在一些实施例中，模糊操作可以包括上述9项的至少4个的组合。这种情况下，在生成样本之前，基于模糊程度对模糊图像进行筛选；基于通过筛选的模糊图像和与其对应的清晰图像生成样本。上述实施例中，由于过多的组合可能造成合成的图像过于模糊，通过对合成的模糊图像进行筛选，能够去除过于模糊的图像，有利于在增加样本数量的同时保障样本的质量，从而提高神经网络模型的训练效果。

在一些实施例中，获取清晰图像包括获取来自于对真实印刷品内容的拍摄的图像，以及对图像进行背景去除和/或边缘去除。应理解，这里的对真实印刷品内容的拍摄的图像不包括对电子出版物的页面的截图。对真实印刷品内容的拍摄的图像可以是手持相机拍摄或者扫描得到的图像。

图13和图14分别是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练方法中的进行边缘和背景去除前的照片，以及进行边缘和背景去除后的照片。在进行边缘和背景去除前，如图13所示，图像的左下角有用户的手指。在进行边缘和背景去除后，如图14所示，图像的左下角的用户的手指被去除了。在真实的拍摄情况下，拍摄的照片通常除了印刷品内容还会存在拍摄者的手指、桌面等与印刷品内容无关的部分。上述实施例中考虑到这种场景，在对神经网络进行训练之前，先对图像进行背景去除和/或边缘去除，有利于提升神经网络模型的训练效果。

图15是根据本公开一些实施例的印刷品图像清晰化方法的流程示意图。图16和图17分别是根据本公开一些实施例的印刷品图像清晰化方法的待清晰化的模糊图像和生成的清晰图像的示意图。如图15所示，根据本公开实施例的第二方面，还提供了一种印刷品图像清晰化的方法，包括步骤S1510、S1520、S1530。该方法可以由安装在例如计算机、手机等的电子设备上的应用程序来执行，以向用户提供印刷品图像清晰化的功能。

在步骤S1510，接收待清晰化的模糊图像。如图16所示，模糊图像为包含印刷品内容的图像。在步骤S1520，基于用于印刷品图像清晰化的神经网络模型对待清晰化的模糊图像进行处理，以生成如图17所示的待清晰化的模糊图像对应的清晰图像。这里的神经网络模型可以基于上述任意一个实施例提供的方法训练得到。在步骤S1530，输出生成的清晰图像。上述实施例中，能够向用户提供印刷品图像清晰化的功能，通过图像清晰化可以使得模糊的印刷品图像更加易于观察和分析，使得印刷品内容更加易于阅读，有利于提升用户体验。进一步的，由于用户通常对印刷品图像有文字识别需求，在进行图像清晰化后再进行文字识别，有利于提升文字识别的精度。

在一些实施例中，在利用神经网络模型进行处理之前，对待清晰化的模糊图像进行预处理，预处理包括调节待清晰化的模糊图像的白平衡和/或去除待清晰化的模糊图像中的背景和/或边缘。

图18和图19分别是根据本公开一些实施例的印刷品图像清晰化方法的调节白平衡之前的模糊图像、调节白平衡之后的模糊图像的示意图。应理解，由于图18和图19是以黑白图像进行展示的，因此对于调节白平衡的效果展示得不够明显。若以彩色图像展示，可以看出图18中的图像的整体颜色偏红，图19的图像的整体颜色正常、不偏红。上述实施例中，在调节图片白平衡后，待清晰化的模糊图像能够更加准确地反应实际场景中的颜色，与用于训练的样本的色调也较为接近，这样有利于提高神经网络模型输出的清晰图像的质量。作为一些实现方式，基于完美反射和/或灰度世界算法调节待清晰化的模糊图像的白平衡。去除待清晰化的模糊图像中的背景和/或边缘也有能够去除待清晰化的模糊图像中与印刷品无关的部分，从而提高神经网络模型输出的清晰图像的质量。

在一些实施例中，在输出生成的清晰图像之前，对生成的清晰图像进行锐化处理；输出生成的清晰图像包括：输出经过锐化处理的清晰图像。例如，可以调用OpenCVcv2.filter2D函数，对生成的清晰图像进行锐化处理。图20和图21分别是根据本公开一些实施例的印刷品图像清晰化方法的未锐化处理的清晰图像、经过锐化处理的清晰图像的示意图。结合图20和图21，可以看出锐化处理能够使图像的边缘更加清晰，纹理更加明显，可以提高图像的清晰度和细节。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图22是根据本公开一些实施例的用于印刷品图像清晰化的神经网络模型的训练装置的结构示意图。

如图22所示，用于印刷品图像清晰化的神经网络模型的训练装置2200包括存储器2210以及耦接至该存储器2210的处理器2220，处理器2220被配置为基于存储在存储器2210中的指令，执行前述任意一个实施例的方法。

存储器2210例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如可以存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

用于印刷品图像清晰化的神经网络模型的训练装置2200还可以包括输入输出接口2230、网络接口2240、存储接口2250等。这些接口2230、2240、2250之间、以及存储器2210与处理器2220之间例如可以通过总线2260连接。输入输出接口2230为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口2240为各种联网设备提供连接接口。存储接口2250为SD卡、U盘等外置存储设备提供连接接口。

本公开实施例还提供了一种计算机可读存储介质，包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任意一个实施例的方法。

本公开实施例还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解，可由计算机程序指令实现流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

另外，本公开的实施方式还可以包括以下示例：

1、一种用于印刷品图像清晰化的神经网络模型的训练方法，包括：

建立样本集，所述样本集中的每个样本包括对应于相同印刷品内容的一对图像，所述一对图像包括清晰图像和模糊图像；以及

利用所述样本集对所述神经网络模型进行训练；

其中，建立所述样本集包括：

获取所述清晰图像；

对所述清晰图像执行模糊操作以得到对应的所述模糊图像；以及

基于相互对应的所述清晰图像和所述模糊图像生成样本，

其中所述模糊操作包括以下各项中的多个的组合：

模拟拍摄时对焦不准导致的模糊的操作；

模拟拍摄时抖动导致的模糊的操作；

模拟数码变焦导致的模糊的操作；

模拟相机的图像传感器的性能限制导致的模糊的操作；

模拟拍摄环境导致的模糊的操作；

模拟图像分辨率导致的模糊的操作；

模拟图像质量导致的模糊的操作；

模拟光照强度导致的模糊的操作；和

模拟光照颜色导致的模糊的操作。

2、根据1所述的方法，其中，

所述多个为2个或者3个。

3、根据1所述的方法，其中，所述多个包括至少4个，

所述方法还包括：在生成样本之前，基于模糊程度对模糊图像进行筛选；

其中，生成样本包括：基于通过筛选的模糊图像和与其对应的所述清晰图像生成样本。

4、根据1所述的方法，其中，获取所述清晰图像包括：

获取来自于对真实印刷品内容的拍摄的图像；以及

对所述图像进行背景去除和/或边缘去除。

5、根据1所述的方法，其中，通过对图像进行高斯模糊处理来模拟拍摄时对焦不准导致的模糊的操作或模拟数码变焦导致的模糊的操作。

6、根据1所述的方法，其中，通过对图像添加高斯噪声来模拟相机的图像传感器的性能限制导致的模糊的操作或模拟拍摄环境导致的模糊的操作。

7、根据1所述的方法，其中，通过将图像按预设缩小比例缩小再将缩小后的图像放大至原始尺寸来模拟图像分辨率导致的模糊的操作。

8、根据7所述的方法，其中，

利用最邻近插值算法、双线性插值算法或双立方插值算法进行缩小；和/或

所述预设缩小比例大于或等于1/4，且小于或等于1/2。

9、根据1所述的方法，其中，通过将图像按照预设压缩比例压缩为有损格式再解压来模拟图像质量导致的模糊的操作。

10、根据9所述的方法，其中，

所述有损格式包括JPEG格式；和/或

所述预设压缩比例大于或等于30％，且小于或等于95％。

11、根据1所述的方法，其中，通过如下模拟拍摄时抖动导致的模糊的操作：

对待模拟抖动的图像的像素施加随机位移量以得到像素位移后的图像；以及

合成所述像素位移后的图像和所述待模拟抖动的图像。

12、根据1所述的方法，其中，模拟光照强度导致的模糊的操作包括：

确定光照强度系数；以及

基于所述光照强度系数对图像进行乘法变换。

13、根据1所述的方法，其中，模拟光照颜色导致的模糊的操作包括：

确定光照色调变换系数；以及

基于所述光照色调变换系数对图像进行加权变换。

14、根据1所述的方法，其中，所述神经网络模型为UNet模型。

15、一种印刷品图像清晰化的方法，包括：

接收待清晰化的模糊图像，所述模糊图像为包含印刷品内容的图像；

基于用于印刷品图像清晰化的神经网络模型对所述待清晰化的模糊图像进行处理，以生成所述待清晰化的模糊图像对应的清晰图像；

输出生成的清晰图像；

其中，所述神经网络模型基于1至14中任一项所述的方法训练得到。

16、根据15所述的方法，还包括：

在利用所述神经网络模型进行处理之前，对所述待清晰化的模糊图像进行预处理，所述预处理包括调节所述待清晰化的模糊图像的白平衡和/或去除所述待清晰化的模糊图像中的背景和/或边缘。

17、根据16所述的方法，其中，

基于完美反射和/或灰度世界算法调节所述待清晰化的模糊图像的白平衡。

18、根据15所述的方法，还包括：

在输出生成的清晰图像之前，对生成的清晰图像进行锐化处理；

输出生成的清晰图像包括：输出经过锐化处理的清晰图像。

19、一种用于印刷品图像清晰化的神经网络模型的训练装置，包括：

存储器；以及

耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行1-14任意一项所述的方法。

20、一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现1-18任意一项所述的方法。

21、一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现1-18任意一项所述的方法。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种用于印刷品图像清晰化的神经网络模型的训练方法，包括：

建立样本集，所述样本集中的每个样本包括对应于相同印刷品内容的一对图像，所述一对图像包括清晰图像和模糊图像；以及

利用所述样本集对所述神经网络模型进行训练；

其中，建立所述样本集包括：

获取所述清晰图像；

对所述清晰图像执行模糊操作以得到对应的所述模糊图像；以及

基于相互对应的所述清晰图像和所述模糊图像生成样本，

其中所述模糊操作包括以下各项中的多个的组合：

模拟拍摄时对焦不准导致的模糊的操作；

模拟拍摄时抖动导致的模糊的操作；

模拟数码变焦导致的模糊的操作；

模拟相机的图像传感器的性能限制导致的模糊的操作；

模拟拍摄环境导致的模糊的操作；

模拟图像分辨率导致的模糊的操作；

模拟图像质量导致的模糊的操作；

模拟光照强度导致的模糊的操作；和

模拟光照颜色导致的模糊的操作。

2.根据权利要求1所述的方法，其中，

所述多个为2个或者3个。

3.根据权利要求1所述的方法，其中，所述多个包括至少4个，

所述方法还包括：在生成样本之前，基于模糊程度对模糊图像进行筛选；

其中，生成样本包括：基于通过筛选的模糊图像和与其对应的所述清晰图像生成样本。

4.根据权利要求1所述的方法，其中，获取所述清晰图像包括：

获取来自于对真实印刷品内容的拍摄的图像；以及

对所述图像进行背景去除和/或边缘去除。

5.根据权利要求1所述的方法，其中，通过对图像进行高斯模糊处理来模拟拍摄时对焦不准导致的模糊的操作或模拟数码变焦导致的模糊的操作。

6.根据权利要求1所述的方法，其中，通过对图像添加高斯噪声来模拟相机的图像传感器的性能限制导致的模糊的操作或模拟拍摄环境导致的模糊的操作。

7.根据权利要求1所述的方法，其中，通过将图像按预设缩小比例缩小再将缩小后的图像放大至原始尺寸来模拟图像分辨率导致的模糊的操作。

8.根据权利要求7所述的方法，其中，

利用最邻近插值算法、双线性插值算法或双立方插值算法进行缩小；和/或

所述预设缩小比例大于或等于1/4，且小于或等于1/2。

9.一种印刷品图像清晰化的方法，包括：

接收待清晰化的模糊图像，所述模糊图像为包含印刷品内容的图像；

基于用于印刷品图像清晰化的神经网络模型对所述待清晰化的模糊图像进行处理，以生成所述待清晰化的模糊图像对应的清晰图像；

输出生成的清晰图像；

其中，所述神经网络模型基于权利要求1至8中任一项所述的方法训练得到。

10.根据权利要求9所述的方法，还包括：

在利用所述神经网络模型进行处理之前，对所述待清晰化的模糊图像进行预处理，所述预处理包括调节所述待清晰化的模糊图像的白平衡和/或去除所述待清晰化的模糊图像中的背景和/或边缘。