CN110930333A - 图像修复方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种图像修复方法、装置、电子设备及计算机可读存储介质，其中方法包括：获取待修复图像的灰度图像和色彩信息；将灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，专用修复模型为通过属于待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，训练样本包括：相配对的原始灰度图像和经压缩的灰度图像；根据色彩信息和还原后的灰度图像得到修复后的图像。

Description

图像修复方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种图像修复方法、一种图像修复装置、一种电子设备及一种计算机可读存储介质。

背景技术

目前，电子设备在接收到从网络上下载的经多次压缩的低清图像时，首先将该低清图像，输入至预先训练好的神经网络模型中；然后利用预先训练好的神经网络模型修复该低清图像，以得到修复后的高清图像。

但是，由于预先训练好的神经网络模型是利用大量通用的图像(比如真实图像和/或电脑生成图像)作为训练样本训练得到，训练样本没有针对性，并且利用该预先训练好的神经网络模型修复得到的高清图像，通常在颜色和纹理上会有一定的失真。

发明内容

本发明的一个目的是提供一种用于图像修复的新技术方案。

根据本发明的第一方面，提供了一种图像修复方法，包括：

获取待修复图像的灰度图像和色彩信息；

将所述灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，所述专用修复模型为通过属于所述待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，所述训练样本包括：相配对的原始灰度图像和经压缩的灰度图像；

根据所述色彩信息和所述还原后的灰度图像得到修复后的图像。

可选的，所述方法在将所述灰度图像输入至专用修复模型，输出还原后的灰度图像之前，包括：

识别所述待修复图像的图像内容类别；

根据识别到的所述图像内容类别，查找对应所述图像内容类别的专用修复模型；

所述将所述灰度图像输入至专用修复图像，输出还原后的灰度图像，包括：

将所述灰度图像输入至查找到的所述专用修复模型，输出还原后的灰度图像。

可选的，所述根据所述色彩信息和所述还原后的灰度图像得到修复后的图像，包括：

在所述待修复图像与所述还原后的灰度图像尺寸不相同时，将所述色彩信息采样至所述还原后的灰度图像对应尺寸下的色彩信息；

根据所述还原后的灰度图像对应尺寸下的色彩信息，以及与所述还原后的灰度图像，确定所述还原后的待修复图像。

可选的，通过以下方式获取属于所述待修复图像的图像内容类别的多个训练样本，

获取属于所述待修复图像的图像内容类别的多幅原始图像；

对于每一所述原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

设置每一训练样本包括一幅原始图像的灰度图像和对应的一幅经压缩的样本图像的灰度图像。

可选的，所述修复模型包括：依次连接的第一卷积层、残差体、第二卷积层，以及第三卷积层；所述根据所述多个训练样本，对修复模型进行训练，得到所述专用修复模型，包括：

对于所述多个训练样本中的每一个，将对应训练样本中经压缩的灰度图像输入至所述修复模型的第一卷积层，输出第二特征图；

将所述第二特征图输入至所述残差体，输出残差特征图；

将所述残差特征图输入至所述第二卷积层，输出所述残差特征图对应的第三特征图；

将对应训练样本中经压缩的灰度图像输入至所述第三卷积层，输出第四特征图；

融合所述第三特征图和第四特征图，以得到所述对应训练样本的还原后的灰度图像；

根据所述对应训练样本的还原后的灰度图像和所述对应训练样本中的原始灰度图像，更新所述修复模型的参数，以得到所述专用修复模型。

根据本发明的第二方面，提供了一种图像修复装置，包括：

第一获取模块，用于获取待修复图像的灰度图像和色彩信息；

还原模块，用于将所述灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，所述专用修复模型为通过属于所述待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，所述训练样本包括：相配对的原始灰度图像和经压缩的灰度图像；

修复模块，用于根据所述色彩信息和所述还原后的灰度图像得到修复后的图像。

可选的，所述装置还包括：识别模块，用于识别所述待修复图像的图像内容类别；查找模块，用于根据识别到的所述图像内容类别，查找对应所述图像内容类别的专用修复模型；

所述还原模块还用于，将所述灰度图像输入至查找到的所述专用修复模型，输出还原后的灰度图像。

可选的，所述装置还包括：第二获取模块，用于通过以下方式获取属于所述待修复图像的图像内容类别的多个训练样本，

获取属于所述待修复图像的图像内容类别的多幅原始图像；

对于每一所述原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

设置每一训练样本包括一幅原始图像的灰度图像和对应的一幅经压缩的样本图像的灰度图像。

根据本发明的第三方面，提供了一种电子设备，包括第二方面所述的任一项所述的图像修复装置；或者，包括存储器和处理器，所述存储器用于存储可执行的指令；所述处理器用于根据所述指令的控制执行根据第一方面中任一项所述的方法。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。

在本发明实施例中，由于通过利用对于同一图像内容类别的灰度图像进行修复的专用修复模型，以对待修复图像进行修复，即利用具有针对性的专用修复模型对待修复图像的灰度图像进行修复，再将从待修复图像中提取出的色彩信息补充至修复后的灰度图像中，由于一般纹理失真主要体现在灰度图像上，因而利用相配对的原始灰度图像和经压缩的灰度图像组成的训练样本对修复模型进行训练得到的专用修复模型，来对待修复图像进行修复时，能够更好的消除纹理失真，因而提高了图像的去失真效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明实施例提供的一种实现图像修复方法的电子设备的硬件配置的框图；

图2是本发明实施例提供的一种图像修复方法的流程示意图；

图3是本发明实施例提供的一种WDSR模型的结构示意图；

图4是本发明实施例提供的一种待修复图像的示意图；

图5是本发明实施例提供的一种利用传统的图像修复方法得到的修复后的图像的示意图；

图6是本发明实施例提供的一种本实施例提供的图像修复方法得到的修复后的图像的示意图；

图7是本发明实施例提供的一种图像修复装置的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置实施例>

图1是根据本发明实施例提供的一种实现图像修复方法的电子设备的硬件配置的框图。

电子设备1000可以是手机、便携式电脑、平板电脑、掌上电脑等等电子设备。

电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800，等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。

尽管在图1中对电子设备1000均示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，电子设备1000只涉及存储器1200和处理器1100。

应用于本发明的实施例中，电子设备1000的存储器1200用于存储指令，该指令用于控制处理器1100执行本发明实施例提供的图像修复方法。

在上述描述中，技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

<方法实施例>

本发明实施例提供一种图像修复方法，如图2所示，该方法包括如下S201-S203：

S201、获取待修复图像的灰度图像和色彩信息。

在本实施例中，待修复图像通常为一个低清图像，因而也可称之为低清图像。可以理解的是，低清图像通常是一个高清图像经过各种压缩得到的，便于在网络上传输的图像。

另外，在本实施例中，待修复图像可以为直接从网络上下载得到的。

在一个实施例中，以待修复图像为RGB图像为例，获取待修复图像的灰度图像和色彩信息的具体实现方式可以为：

对于待修复图像的每一个像素，利用YUV与RGB之间的转换公式，得到对应的利用YUV值表示的像素；然后提取转换得到每一像素对应的Y通道的值，将该值对应的图像作为待修复图像的灰度图像；同时，提取转换得到每一像素对应的U通道的值和V通道的值，作为待修复图像的色彩信息。

S202、将灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，专用修复模型为通过属于待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，训练样本包括：相配对的原始灰度图像和经压缩的灰度图像。

在本实施例中，待修复图像的图像内容类别可以为设备生成文字的类别，或采集的文字的类别，或设备生成人物的类别，或采集的人物类别，或设备生成车辆的类别，或采集的车辆的类别等。其中，设备生成指的是基于设备自身功能生成，采集指的是从摄像装置中获取。在一个例子中，设备生成文字指的是，设备执行文字编辑功能所生成的文字。采集的文字指的是，由摄像装置采集到的文字。

基于上述S202中的对于修复模型的说明可知，本实施例提供的图像修复方法还包括生成专用修复模型步骤。该生成专用修复模型的步骤包括如下S2021和S2022：

S2021、获取属于待修复图像的图像内容类别的多个训练样本，其中，每一训练样本包括相配对的原始灰度图像和经压缩的灰度图像。

在本实施例中，上述S2021的具体实现进而通过如下S2021-1、S2021-2、S2021-3来实现：

S2021-1、获取属于待修复图像的图像内容类别的多幅原始图像。

在一个实施例中，以待修复图像的图像内容类别为设备生成文字类别为例，上述S2021-1的具体实现可以为：通过电子设备下载大量高清的小说、新闻等设备生成文字的类别的图像，和/或在文字编辑器中编辑大量的各种文字，然后通过截图的方式，或者文本转图像的方式，得到对应的原始图像。

需要说明的是，原始图像为未经过压缩等处理的高清图像。

S2021-2、对于每一原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

在一个例子中上述的预设图像压缩算法可以为jpeg压缩算法或者jpeg2000压缩算法等。上述的预设压缩质量可以为60、70、80等。上述的压缩质量还可以一预设压缩质量范围，例如60-70，和/或30-40，和/或70-90等。上述的预设压缩次数可以为1次、2次或者3次等。

在一个例子中，以基于上述S2021-1得到的原始图像共1000幅为例，上述S2021-2的具体实现方式可以为：

对于每一原始图像，采用jpeg压缩算法或jpeg2000压缩算法，按照压缩质量为60对原始图像进行一次压缩，以得到对应的经压缩的样本图像。

或者，对于每一原始图像，采用jpeg压缩算法或jpeg2000压缩算法，随机按照预设压缩质量中任一压缩质量进行一次压缩，以得到对应的经压缩的样本图像。

或者，对于每一原始图像，连续采用两次jpeg压缩算法，第一次按照压缩质量为60，第二次按照压缩质量为70进行压缩，以得到对应的经压缩的样本图像。

或者，对于每一原始图像，先采用jpeg压缩算法，按照压缩质量为60进行一次压缩；将该一次压缩得到的图像，再采用jpeg2000压缩算法，按照压缩质量为70进行一次压缩，以得到对应的经压缩的样本图像。

或者，对于每一原始图像，先采用jpeg压缩算法，随机按照压缩质量范围为70-90之间任一压缩质量进行一次压缩；将该一次压缩得到的图像再采用jpeg压缩算法，随机按照压缩质量范围为30-40之间任一压缩质量进行二次压缩；将该二次压缩得到的图像再采用jpeg压缩算法，随机按照压缩质量范围为60-70之间任一压缩质量进行是三次压缩，以得到对应的经压缩的样本图像。

S2021-3、设置每一训练样本包括一幅原始图像的原始灰度图像和对应的一幅经压缩的样本图像的灰度图像。

在本实施例中，基于上述S2021-1获取到的原始图像，利用例如上述S201中涉及到方法，以得到原始图像的原始灰度图像。同时，基于上述S2021-2获取到的经压缩的样本图像，利用例如上述S201中涉及到方法，以得到对应的一幅经压缩的样本图像的灰度图像。

S2022、根据多个训练样本，对修复模型进行训练，得到专用修复模型。

在一个实施例中，修复模型可以为EDSR(英文全称：Enhanced Deep ResidualNetworks for Single Image Super-Resolutio；中文：用于单图像超分辨率的增强深残差网络)模型，或者MDSR(英文全称：Wide Activation for Efficient and Accurate ImageSuper-Resolutio；中文：广泛激活以实现高效准确的图像超分辨率)模型等，或者还可以为一个拟合函数，或者数据库等，对此，本实施例并不做限定，只要能够实现将对待恢复图像进行修复的模型都可以理解为上述S2022中的专用修复模型。

在一个例子中，当修复模型为WDSR模型时，该模型的结构可如图3所示。其中，WDSR模型包括第一卷积层Conv1、残差体Residual Body、第二卷积层Conv2，第三卷积层Conv3以及Pixel Shuffle层。

基于图3以及WDSR模型可知，WDSR模型输出的还原后的灰度图像的尺寸将大于待修复图像的尺寸。基于此，若用户需要还原后的灰度图像的尺寸不发生变化，即与待修复图像的尺寸保持相同，此时，可将WDSR模型中的用于放大图像尺寸的Pixel Shuffle层去除。这也就是说，本实施例还提供了一种改进的WDSR模型，该模型包括第一卷积层Conv1、残差体Residual Body、第二卷积层Conv2，第三卷积层Conv3。

基于上述内容，在一个实施例中，上述S2022中的修复模型包括：依次连接的第一卷积层、残差体、第二卷积层，以及第三卷积层。基于此，上述S2022的具体是如下述步骤：

S2022-1、对于多个训练样本中的每一个，将对应训练样本中经压缩的灰度图像输入至修复模型的第一卷积层，输出第二特征图。

S2022-2、将第二特征图输入至残差体，输出残差特征图。

S2022-3、将残差特征图输入至第二卷积层，输出残差特征图对应的第三特征图。

S2022-4、将对应训练样本中经压缩的灰度图像输入至第三卷积层，输出第四特征图。

S2022-5、融合第三特征图和第四特征图，以得到对应训练样本的还原后的灰度图像。

S2022-6、根据对应训练样本的还原后的灰度图像和对应训练样本中的原始灰度图像，更新修复模型的参数，以得到专用修复模型。

需要说明的是，上述第一卷积层、残差体、第二卷积层，以及第三卷积层与WDSR模型中对应的网络结构的作用相同，这里不再赘述。

在本实施例中，本实施例提供的修复模型并未改变待修复图像的尺度，这样可提高用户的阅读体验。

在本实施例中，专用修复模型只能修复对应图像内容类别的待修复图像。例如，在专用修复模型为利用大量的设备生成文字类别的图像训练得到的修复模型时，该专用修复模型只能对设备生成文字类别的待修复图像进行修复。另外，本实施例提供的专用修复模型可以为一个，也可以为多个。

在一个实施例中，在专用修复模型为一个的情况下，上述S202的具体实现为：在该灰度图像对的待修复图像的图像内容类别，与专用修复模型对应的图像内容类别相同时，将灰度图像输入至专用修复图像中，输出还原后的灰度图像。该还原后的灰度图像相比于待修复图像的灰度图像，为一个高清晰度的灰度图像。

对应的，在该灰度图像对的待修复图像的图像内容类别，与专用修复模型对应的图像内容类别不相同时，将灰度图像输入至专用修复图像中，输出还原后的灰度图像。该还原后的灰度图像仍是待修复图像的灰度图像。即该专用修复模型不对输入的灰度图像进行处理，而是直接输出。

在另一个实施例中，在专用修复模型为多个的情况下(每一种专用修复模型对应的图像内容类别均不相同)，本实施例提供的图像修复方法在上述S202之前，还包括如下S2023和S2024：

S2023、识别待修复图像的图像内容类别。

在一个实施例中，可采用可进行图像分类的神经网络模型识别待修复图像的图像内容类别。

在另一个实施例中，用户可指定待修复图像的图像内容类别。

S2024、根据识别到的图像内容类别，查找对应图像内容类别的专用修复模型。

在一个实施例中，电子设备中存储有多个专用修复模型，每一专用修复模型对应有图像内容类别的标识。基于此，可通过遍历的方式，从多个专用修复模型中，查找出标识与基于上述S2021识别到的图像内容类别相同的专用修复模型。

在上述S2023和S2024的基础上，上述S202的具体实现为：将灰度图像输入至查找到的专用修复模型，输出还原后的灰度图像。

在本实施例中，本发明实施例提供了多种图像内容类别对应的专用修复模型。基于此，本实施例提供的图像修复方法可对对应多种图像内容类别的待修复图像进行修复，这提高了本发明实施例提供的图像修复方法的智能性及兼容性。

S203、根据色彩信息和还原后的灰度图像得到修复后的图像。

在一个实施例中，当还原后的灰度图像的尺度与待修复图像的尺度相同时，在上述S201中所示例子的基础上，上述S203的具体实现为：将每一像素的U通道和V通道的值，以及还原后的灰度图像对应像素的Y通道的值，作为修复后的图像中每一像素的像素值，这样便得到修复后的图像。

在一个实施例中，当还原后的灰度图像的尺度与待修复图像的尺度不相同时，上述S203的具体实现可以为下述S2031和S2032：

S2031、在待修复图像与还原后的灰度图像尺寸不相同时，将色彩信息采样至还原后的灰度图像对应尺寸下的色彩信息；

S2032、根据还原后的灰度图像对应尺寸下的色彩信息，以及与还原后的灰度图像，确定还原后的待修复图像。

在一个例子中，通常，待修复图像的尺寸是小于还原后的灰度图像尺寸的，因此，可采用上采样的方式，使得待修复图像的色彩信息可以匹配到还原后的灰度图像上，以使得还原后的灰度图像中每一像素对应有色彩信息。基于此，以得到还原后的待修复图像。

在本发明实施例中，由于通过利用对于同一图像内容类别的灰度图像进行修复的专用修复模型，以对待修复图像进行修复，即利用具有针对性的专用修复模型对待修复图像的灰度图像进行修复，再将从待修复图像中提取出的色彩信息补充至修复后的灰度图像中，由于一般纹理失真主要体现在灰度图像上，因而利用相配对的原始灰度图像和经压缩的灰度图像组成的训练样本对修复模型进行训练得到的专用修复模型，来对待修复图像进行修复时，能够更好的消除纹理失真，因而提高了图像的去失真效果。

进一步的，图4是待修复图像的示意图。图5是利用传统的图像修复方法(即利用大量通用的图像训练得到的修复模型进行修复)修复图4所示的待修复图像，所得到的修复后的图像。图6是利用本实施例提供的图像修复方法得到的修复后的图像的示意图，基于图4、图5以及图6可知，执行本实施例提供的图像修复方法得到的修复后的图像的颜色失真度以及纹理失真度更低。

在上述任一实施例的基础上，本实施例提供的图像修复方法在上述S201之前，还包括如下S2011：

S2011、响应于设定事件的触发，执行获取待修复图像的灰度图像和色彩信息的操作。

在本实施例中设定事件可以为指示电子设备执行本实施例提供的图像修复方法的事件。基于此，在一个例子中，电子设备的显示界面上有两种模式可选：一种为普通模式，一种为优质模式。

基于普通模式，用户通过电子设备查看到的图像即为一个待修复图像。基于优质模式，电子设备利用本实施例提供的图像修复方法进行图像修复，基于此，用户通过电子设备查看到的图像为一个修复后的图像。

在一个实施例中，用户可采用鼠标点击或者触摸的方式选择优质模式，此时用户触发该设定事件。电子设备响应于该设定时间的触发，然后再执行上述的S201。

在本实施例中，可进一步提高本实施例提供的图像修复方法的智能性，基于此，提高了用户的阅读体验。

<装置实施例>

如图7所示，本发明实施例还提供了一种图像修复装置70。该图像修复装置70包括第一获取模块71、还原模块72以及修复模块73；其中：

第一获取模块71，用于获取待修复图像的灰度图像和色彩信息；

还原模块72，用于将所述灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，所述专用修复模型为为通过属于所述待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，所述训练样本包括：相配对的原始灰度图像和经压缩的灰度图像；

修复模块73，用于根据所述色彩信息和所述还原后的灰度图像得到修复后的图像。

在一个实施例中，本实施例提高的图像修复装置70，还包括识别模块和查找模块，其中，识别模块用于：识别所述待修复图像的图像内容类别；

查找模块，用于根据识别到的所述图像内容类别，查找对应所述图像内容类别的专用修复模型；

在本实施例中，还原模块72具体用于：将所述灰度图像输入至查找到的所述专用修复模型，输出还原后的灰度图像。

在一个实施例中，本实施例提高的图像修复装置70，还包括第二获取模块，用于通过以下方式获取属于所述待修复图像的图像内容类别的多个训练样本，

获取属于所述待修复图像的图像内容类别的多幅原始图像；

对于每一所述原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

设置每一训练样本包括一幅原始图像的灰度图像和对应的一幅经压缩的样本图像的灰度图像。

在一个实施例中，修复模块73具体用于：

在所述待修复图像与所述还原后的灰度图像尺寸不相同时，将所述色彩信息采样至所述还原后的灰度图像对应尺寸下的色彩信息；

根据所述还原后的灰度图像对应尺寸下的色彩信息，以及与所述还原后的灰度图像，确定所述还原后的待修复图像。

在一个实施例中，本实施例提供的图像修复装置70还包括第三获取模块，所述第三获取模块用于获取属于所述待修复图像的图像内容类别的多个训练样本。所述第三获取模块具体用于：

获取属于所述待修复图像的图像内容类别的多幅原始图像；

对于每一所述原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

设置每一训练样本包括一幅原始图像的灰度图像和对应的一幅经压缩的样本图像的灰度图像。

在一个实施例中，所述修复模型包括：依次连接的第一卷积层、残差体、第二卷积层，以及第三卷积层；所述训练模块具体用于：

对于所述多个训练样本中的每一个，将对应训练样本中经压缩的灰度图像输入至所述修复模型的第一卷积层，输出第二特征图；

将所述第二特征图输入至所述残差体，输出残差特征图；

将所述残差特征图输入至所述第二卷积层，输出所述残差特征图对应的第三特征图；

将对应训练样本中经压缩的灰度图像输入至所述第三卷积层，输出第四特征图；

融合所述第三特征图和第四特征图，以得到所述对应训练样本的还原后的灰度图像；

根据所述对应训练样本的还原后的灰度图像和所述对应训练样本中的原始灰度图像，更新所述修复模型的参数，以得到所述专用修复模型。

在一个实施例中，本实施例提供的图像修复装置70还包括响应模块，所述响应模块，用于：

响应于设定事件的触发，执行所述获取待修复图像的灰度图像和色彩信息的操作。

需要说明的是，本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例的相关内容，在此不再赘述。

<电子设备实施例>

如图8所示，本发明实施例还提供一种电子设备80。该电子设备包括上一实施例的图像修复装置70。或者，该电子设备包括存储器81和处理器82。其中：

所述存储器81用于存储可执行指令；

所述处理器82用于根据所述指令的控制执行上述方法实施例中任一项图像修复方法。

<计算机可读存储介质>

在本实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项图像修复方法。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种图像修复方法，其特征在于，包括：

获取待修复图像的灰度图像和色彩信息；

将所述灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，所述专用修复模型为通过属于所述待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，所述训练样本包括：相配对的原始灰度图像和经压缩的灰度图像；

根据所述色彩信息和所述还原后的灰度图像得到修复后的图像。

2.根据权利要求1所述的方法，其特征在于，所述方法在将所述灰度图像输入至专用修复模型，输出还原后的灰度图像之前，包括：

识别所述待修复图像的图像内容类别；

根据识别到的所述图像内容类别，查找对应所述图像内容类别的专用修复模型；

所述将所述灰度图像输入至专用修复图像，输出还原后的灰度图像，包括：

将所述灰度图像输入至查找到的所述专用修复模型，输出还原后的灰度图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述色彩信息和所述还原后的灰度图像得到修复后的图像，包括：

在所述待修复图像与所述还原后的灰度图像尺寸不相同时，将所述色彩信息采样至所述还原后的灰度图像对应尺寸下的色彩信息；

根据所述还原后的灰度图像对应尺寸下的色彩信息，以及与所述还原后的灰度图像，确定所述还原后的待修复图像。

4.根据权利要求1所述的方法，其特征在于，通过以下方式获取属于所述待修复图像的图像内容类别的多个训练样本，

获取属于所述待修复图像的图像内容类别的多幅原始图像；

对于每一所述原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

设置每一训练样本包括一幅原始图像的灰度图像和对应的一幅经压缩的样本图像的灰度图像。

5.根据权利要求1所述的方法，其特征在于，所述修复模型包括：依次连接的第一卷积层、残差体、第二卷积层，以及第三卷积层；所述根据所述多个训练样本，对修复模型进行训练，得到所述专用修复模型，包括：

对于所述多个训练样本中的每一个，将对应训练样本中经压缩的灰度图像输入至所述修复模型的第一卷积层，输出第二特征图；

将所述第二特征图输入至所述残差体，输出残差特征图；

将所述残差特征图输入至所述第二卷积层，输出所述残差特征图对应的第三特征图；

将对应训练样本中经压缩的灰度图像输入至所述第三卷积层，输出第四特征图；

融合所述第三特征图和第四特征图，以得到所述对应训练样本的还原后的灰度图像；

根据所述对应训练样本的还原后的灰度图像和所述对应训练样本中的原始灰度图像，更新所述修复模型的参数，以得到所述专用修复模型。

6.一种图像修复装置，其特征在于，包括：

第一获取模块，用于获取待修复图像的灰度图像和色彩信息；

还原模块，用于将所述灰度图像输入至专用修复模型，输出还原后的灰度图像；其中，所述专用修复模型为通过属于所述待修复图像的图像内容类别的多个训练样本对修复模型进行训练得到的，其中，所述训练样本包括：相配对的原始灰度图像和经压缩的灰度图像；

修复模块，用于根据所述色彩信息和所述还原后的灰度图像得到修复后的图像。

7.根据权利要求6所述的装置，其特征在于，

所述装置还包括：识别模块，用于识别所述待修复图像的图像内容类别；查找模块，用于根据识别到的所述图像内容类别，查找对应所述图像内容类别的专用修复模型；

所述还原模块还用于，将所述灰度图像输入至查找到的所述专用修复模型，输出还原后的灰度图像。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：第二获取模块，用于通过以下方式获取属于所述待修复图像的图像内容类别的多个训练样本，

获取属于所述待修复图像的图像内容类别的多幅原始图像；

对于每一所述原始图像，按照预设压缩次数，根据至少一种预设图像压缩算法和至少一种预设压缩质量的各自组合，分别压缩对应的原始图像，获得经压缩的样本图像；

设置每一训练样本包括一幅原始图像的灰度图像和对应的一幅经压缩的样本图像的灰度图像。

9.一种电子设备，其特征在于，包括权利要求6至8中任一项所述的图像修复装置；或者，包括存储器和处理器，所述存储器用于存储可执行的指令；所述处理器用于根据所述指令的控制执行根据权利要求1-5中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至5中任一项所述的方法。

Images