CN111951172A - 一种图像优化方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供了一种图像优化方法、系统和存储介质。所述图像优化方法包括：从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。

Description

一种图像优化方法、装置、设备和存储介质

技术领域

本申请涉及图像处理领域，具体地，涉及一种图像优化方法、装置、设备和存储介质。

背景技术

目前，智能手机市场角逐激烈，而智能手机的拍照性能成为各大智能手机厂商激烈竞争的焦点之一。在此背景下，不断改善图像品质和提升用户的拍照体验成为各大智能手机厂商及其手机镜头配件供应商竞相追逐的重要目标。

细粒度的图像品质增强是当前进一步提升手机拍照性能的重要手段，例如针对人像的脸部、头发等区域以及人物着装进行专门的品质增强，针对天空、建筑、绿植等特定背景物体进行专门品质增强。

发明内容

本申请提供了一种图像优化方法，所述图像优化方法包括：从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。

根据本申请实施方式，所述设定区域是所述纹理品质低于预设阈值的区域。

根据本申请实施方式，从所述输入图像提取所述纹理品质信息包括：通过第一卷积神经网络对所述输入图像进行特征提取，以获取所述纹理品质信息。

根据本申请实施方式，所述纹理品质信息可以是0到1之间的数值。

根据本申请实施方式，若所述纹理品质信息为二值化图，则对所述设定区域的边界位置进行平滑处理。

根据本申请实施方式，所述纹理修复包括：基于所述纹理品质信息，通过第二卷积神经网络对所述设定区域进行纹理修复。

根据本申请实施方式，所述纹理修复包括：按照特定权重利用所述设定区域内的纹理品质信息和所述设定区域外的纹理品质信息，对所述输入图像中的设定区域进行纹理修复。

根据本申请实施方式，所述纹理修复包括：对图像的特定像素位置进行修复操作时，对包围所述特定像素的全部周边像素按照特定权重进行卷积运算，以获得修复后的像素值。

根据本申请实施方式，所述图像优化方法还包括对所述纹理修复图像进行纹理特征增强。对所述纹理修复图像进行整体纹理特征增强是针对图像的纹理细节信息进行增强或者进一步丰富图像纹理细节信息。

根据本申请实施方式，所述纹理特征增强包括：通过使用残差网络利用所述纹理修复图像与所述残差网络输出的残差对所述纹理修复图像进行纹理特征增强。

根据本申请实施方式，所述残差网络中包含级联的、小于设定数量的卷积模块。

根据本申请实施方式，所述残差网络的任一卷积模块中包含级联的若干个扩张卷积层。

根据本申请实施方式，任一卷积模块中的至少两个扩张卷积层的扩张率不同。

本申请提供了一种图像优化装置，所述图像优化装置包括：纹理品质信息提取模块，用于从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及纹理修复模块，用于根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。

根据本申请实施方式，纹理品质信息提取模块通过第一卷积神经网络对所述输入图像进行特征提取，以获取所述纹理品质信息。

根据本申请实施方式，所述纹理品质信息可以是0到1之间的数值。

根据本申请实施方式，若所述纹理品质信息为二值化图，则所述图像优化装置还包括平滑处理模块，用于对所述设定区域的边界位置进行平滑处理。

根据本申请实施方式，所述纹理修复模块基于所述纹理品质信息，通过第二卷积神经网络对所述设定区域进行纹理修复。

根据本申请实施方式，图像优化装置还包括纹理特征增强模块，纹理特征增强模块用于对所述纹理修复图像进行整体纹理特征增强，所述整体纹理特征增强是针对图像的纹理细节信息进行增强或者进一步丰富图像纹理细节信息。

根据本申请实施方式，所述纹理细节特征增强器通过使用残差网络利用所述纹理修复图像与所述残差网络输出的残差对所述纹理修复图像进行纹理特征增强。

根据本申请实施方式，所述残差网络中包含级联的、小于设定数量的卷积模块。

根据本申请实施方式，所述残差网络的任一卷积模块中包含级联的若干个扩张卷积层。

根据本申请实施方式，任一卷积模块中的至少两个扩张卷积层的扩张率不同。

本申请提供了一种图像优化方法，所述图像优化方法包括：获取输入图像；通过使用残差网络利用输入图像与所述残差网络输出的残差对所述输入图像进行纹理特征增强。

根据本申请实施方式，所述残差网络中包含级联的、小于设定数量的卷积模块。

根据本申请实施方式，所述残差网络的任一卷积模块中包含级联的若干个扩张卷积层。

根据本申请实施方式，任一卷积模块中的至少两个扩张卷积层的扩张率不同。

本申请提供了一种图像优化装置，所述图像优化装置包括：图像获取模块，用于获取输入图像；纹理特征增强模块，用于通过使用残差网络利用输入图像与所述残差网络输出的残差对所述输入图像进行纹理特征增强。

根据本申请实施方式，所述残差网络中包含级联的、小于设定数量的卷积模块。

根据本申请实施方式，所述残差网络的任一卷积模块中包含级联的若干个扩张卷积层。

根据本申请实施方式，任一卷积模块中的至少两个扩张卷积层的扩张率不同。

本申请提供了一种电子设备，包括：处理器；以及存储器，所述存储器连接至所述处理器并且存储有机器可读指令，所述机器可读指令能够由所述处理器执行并且致使所述处理器执行上述任一方法。

本申请提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器执行并且致使所述处理器执行上述任一方法。

本申请提供的技术方案整合了图像纹理品质预测、纹理修复和纹理特征增强中的至少两项任务，有针对性地进行图像优化，实现了更好的图像优化效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施方式所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1A是示出了根据本申请实施方式的图像优化方法的流程图；

图1B是示出了根据本申请另一实施方式的图像优化方法的流程图；

图2是示出了根据本申请实施方式的实施图像优化方法的网络架构；

图3是示出了根据本申请实施方式的图像优化设备的示意图；

图4是示出了根据本申请实施方式的图像优化系统的示意图；

图5是示出了根据本申请实施方式的训练网络架构的示意图；以及

图6是示出了根据本申请实施方式的实施图像优化方法的网络架构；

图7是示出了输入图像的纹理品质的示意图；

图8是示出了根据本申请实施方式的纹理品质信息；

图9是示出了利用设定区域内部的纹理信息的示意图；

图10是示出了利用局部卷积修复图像的示意图；

图11是示出了根据本申请实施方式的用于提取纹理品质信息的卷积神经网络的示意性结构图；以及

图12是示出了根据本申请实施方式的改进的局部卷积与现有的局部卷积的对比图。

具体实施方式

下面结合附图和实施方式对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅仅用于解释相关技术构思，而非对技术构思的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请技术构思相关的部分。应理解，除非另有说明，否则本文中使用的序数词，诸如“第一”、“第二”等，仅用于将一个要素与另一要素区分开，而不表示重要性或优先级。例如，第一卷积神经网络和第二卷积神经网络仅表示它们是不同的卷积神经网络。

需要说明的是，在不冲突的情况下，本申请中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本申请。

近年来，基于深度学习的图像优化已取得了长足进步。通常提及的图像优化是一个较为宽泛的概念，涉及图像修复、图像超分辨率、去模糊、去噪等分支领域。上述各分支领域通常着眼于某一特定问题，例如：图像修复主要着眼于如何对受到损坏的图像进行修复重建或者去除图像中的多余物体；图像超分辨率主要着眼于如何由一幅低分辨率图像或图像序列恢复出高分辨率图像；图像去模糊主要着眼于如何消除由于拍摄手抖或失焦造成的图像模糊现象；以及图像去噪主要着眼于如何消除在图像拍摄或数字化处理过程中产生的噪声。

此外，还有一些关于图像整体品质提升的研究。这些研究工作主要关注图像的亮度、色调、对比度的提升，以使图像看起来更鲜明生动。

更细粒度的图像品质增强是当前进一步提升手机拍照性能的重要手段，例如针对人像的脸部、头发等区域以及人物着装进行专门的品质增强，针对天空、建筑、绿植等特定背景物体进行专门品质增强。这种优化包括对缺失纹理的区域进行纹理恢复以及对有纹理的区域进行纹理增强，以使图像纹理看上去更清晰和自然。

用户通过诸如智能手机等终端拍摄的图像中往往包括诸多纹理，诸如人物脸部的皱纹、服装纹理、建筑物墙体的周期性图案以及山体断层的岩石纹理等。这些纹理的呈现反映了物体的细节信息，对于图像的表现力有着重要的影响。然而，由于种种原因，拍摄的图像或者经过数字化处理后的图像经常会缺失部分纹理。例如，由图像传感器捕获的图像将被发送到图像信号处理器(ISP，Image Signal Processing)，ISP中的一些后处理(如当拍摄环境光线不足时，拍摄得到的原始图像存在大量的噪点，ISP对这种图像会进行去噪处理)后，可能会降低图像的纹理质量，纹理信息在某些区域变得微弱甚至缺失。对于纹理较弱的区域，需要进行纹理特征增强，而对于缺失纹理的区域，需要进行纹理修复。

如前文所述，纹理的缺失包括拍摄时的固有缺失(如拍照角度、光照等造成的纹理缺失，也可以称为客观缺失)和数字化处理后的后天性缺失(由于图像的后处理，如ISP中的去噪、马赛克处理、有损压缩等造成的纹理缺失，也可以称为主观缺失)。根据本申请的实施方式，可仅对数字化处理后的后天性缺失进行优化，提高了图像的自然性和合理性。

本申请实施方式提出一种图像优化方法，不仅能够恢复图像中丢失的纹理信息，而且可以增强脆弱的纹理信息。本申请实施方式的图像优化方法可以针对特定区域进行优化，如人像的脸部区域、头发区域、服装区域、天空、建筑、绿植等区域。

对于需要进行修复的图像，可以采用图像修复的方法进行修复，例如用户想要在一张图像中将某个目标移除。图像修复的方法通常是以某种方式填充图像中的部分区域，使填充后的区域符合用户的视觉需求，尽量保证修复后的图像的真实性。例如，对于一张图像，用户可以标记出需要修复的区域，将只包含标记区域的图像称为掩码(Mask)图，根据掩码图，可以对标记出的区域进行修复，恢复区域中的信息，通过上述图像修复方法，可以将图像中的某些对象移除或者进行绘画的修复等处理。然而，这样的图像修复方法需要通过人工标记需要进行修复的区域，这导致了图像修复的效率较为低下，且不够灵活。另外，在对实时性有要求的图像处理任务(例如，视频直播)中，进行这样的人工标记过程是不切实际的。

另外，上述图像修复方法往往忽略标记区域内部的图像信息，而仅利用标记区域周边的图像信息对标记区域进行图像修复。标记区域内的纹理信息虽然有可能较弱，但是较弱的纹理信息对纹理修复还是有较大帮助的，可以认为是纹理修复过程中的有用信息，此外标记区域内还可能存在一些对纹理修复有帮助的其他有用信息，如颜色等。这些有用信息可以作为一个有意义的纹理修复指导。由于现有的图像修复方法中，标记区域内的信息没有得到有效利用，使得恢复后的纹理信息在语义上可能是合理的，但缺乏真实性，在某些图像处理任务中，修复后的图像可能品质欠佳。

另外，上述图像修复方法只在丢失的纹理区域内恢复信息，不关注弱纹理区域(纹理信息较弱的区域)。本申请实施方式提出可以增强弱纹理区域的纹理细节，提高整体的纹理质量。本申请实施方式还可以同时进行纹理修复和纹理增强，也就是说，不仅需要对丢失纹理信息的区域进行修复，而且能够增强弱纹理区域的纹理细节，提高了图像整体的纹理质量，此时的图像优化任务可以看作是一个混合的任务，混合了纹理修复的任务和纹理增强的任务。

图1A是示出了根据本申请实施方式的图像优化方法1000的流程图。

在步骤S1010中，从输入图像提取纹理品质信息，纹理品质信息指示输入图像中的纹理品质的空间分布。

一般而言，输入图像的纹理整体性匀质缺失的可能性较低。通常情况下，仅有部分区域存在纹理的明显缺失。换言之，纹理品质在空间中分布并不均匀。纹理品质信息够反应图像的纹理信息的品质，参考图7，在输入图像7000中，可存在条纹清晰的高纹理品质区域7100和条纹不清晰甚至消失的低纹理品质区域7200。在高纹理品质区域7100中，条纹的走向清晰、条纹图案的锐度较高；而在低纹理品质区域7200中，条纹的细节已肉眼难辨。

在对图像进行优化的过程中，针对纹理缺失严重的区域和纹理缺失不明显的区域采用不同的优化方法是有益的。这种针对性的优化可以更自然地还原真实的图像，从而实现更好的图像优化效果。因此，本申请提出了一种预先对输入图像的纹理品质进行判别的步骤S1010。

对图像的纹理品质进行预测(也可以称为对图像的纹理品质进行评估)，可以认为是对图像中的每一个像素点的纹理品质的好坏进行估计。“好”与“坏”只是一种定性的描述，在实际的纹理修复任务中需要进行量化。因此本申请实施方式提出，从输入图像中提取纹理品质信息。纹理品质信息可以体现为纹理品质图的形式，其可以认为是一张像素纹理品质好坏程度的概率图，纹理品质的好坏进一步可描述为图像的纹理丢失的程度，也就是相对于原有真实纹理，纹理变弱的程度。

纹理品质图可以具有与输入图像相同的像素密度，并且纹理品质图的每一像素点的像素值代表该像素点对应的纹理品质。纹理品质信息的取值范围可以例如是[0,1]，其中，0表示纹理完全丢失，而1表示纹理完全保留。纹理品质信息可以体现为0到1之间的数值，例如，0、0.2、0.6、0.8和1等。

图8示出了根据本申请实施方式的纹理品质信息的示例性体现方式。输入图像8100包括高纹理品质区域和低纹理品质区域。示例性地，输入图像8100与上文所述的输入图像7000具有相同的纹理结构。通过如下文所述的特征提取操作，可以从输入图像8100得到包含纹理品质的空间分布的纹理品质特征图8200。从纹理品质特征图8200可以进一步生成纹理品质图8300。如上文所述，纹理品质图可以是纹理品质信息的体现方式之一。纹理品质图8300可以是由表示纹理品质的数值构成的阵列。该阵列的行列交叉处也可称之为“像素”。纹理品质图8300可以具有与输入图像8100相同的像素密度。或者，纹理品质图8300的像素密度可以低于输入图像8100的像素密度。纹理品质图8300的每个像素可以是0到1之间的数值。该数值的大小体现了输入图像8100的纹理品质，例如，纹理的清晰程度、锐度等。

在步骤S1020中，对输入图像中的设定区域进行纹理修复以基于输入图像生成纹理修复图像。设定区域可以是纹理品质低于预设阈值的区域或用户指定的区域等。

如上文所述，基于纹理品质的空间分布，针对具有不同纹理品质的区域采用不同的优化方法是有益的。因此，根据本申请，可以以纹理品质信息作为引导，仅对输入图像中的设定区域进行纹理修复。这种设定区域可基于在步骤S1010中提取的纹理品质信息进行判别。例如，输入图像和纹理品质信息可逐像素一一对应。输入图像中的设定区域可对应于纹理品质信息中的纹理品质低于预定阈值的区域。本申请实施方式能够自动地进行纹理的品质估计并自动完成纹理修复，可以认为是一种主动式的图像修复，这一点不同于已有的图像修复(Image Inpainting)技术。已有的图像修复技术的目的是在给定一个的缺失区域(通常称为Mask或掩码图)情况下，填充缺失区域的像素，使其整体达到纹理和结构的一致性，或者实现语义和视觉可信。该技术需要人为指定缺失区域，属于被动式的图像修复。此外，现有的图像修复技术在实施过程中认为缺失区域的像素均为无效像素，在图像修复过程中只利用的缺失区域周围的像素信息和训练样本的信息。因此该技术修复的图像内容可能具有语义的合理性，但缺乏真实性。当缺失区域范围变大时，这一点更为显著。与此不同，本申请实施方式中的纹理修复会利用设定区域周围的像素信息和训练样本信息，同时会利用设定区域内已有的信息(如颜色、弱纹理特征等)作为引导来修复设定区域内的纹理细节信息，因此修复的图像内容更加真实和自然。

参考图1B，图像优化方法1000A还可包括在步骤S1030中，对纹理修复图像进行纹理特征增强。纹理修复图像既包括在步骤S1020中修复的设定区域，也包括在步骤S1020中未进行修复的外部区域。纹理特征增强可针对纹理修复图像的全部区域进行而非仅局限于与设定区域对应的区域。这样的纹理特征增强可包括对纹理细节特征的优化。在步骤S1020中修复的设定区域的图像纹理主要利用了设定区域周围的像素信息以及区内部的已有信息。设定区域周围的纹理也需要进行纹理特征增强，因此纹理修复区域的纹理特征同样需要增强。

对纹理细节特征的优化可理解为对纹理细节信息的进一步丰富。例如，可能的情形是将不清晰的纹理变得更加清晰，将钝化的纹理细节变得更加锐化等，这种细节变化有利于增强对物体渲染效果。

根据本申请实施方式，可通过神经网络(如卷积神经网络，以下称作第一卷积神经网络)对输入图像进行特征提取，以获取纹理品质信息。纹理品质可以表现为纹理的不同品质等级，例如可以分为10个品质等级，1级表示品质最差，10级表示品质最好。在这种情况下，上述纹理品质信息的提取任务可以理解为是一种通过卷积神经网络进行的分类任务，并且纹理品质信息可以看作是一种像素级的品质等级或者品质类别图。

当纹理品质信息仅具有0和1两个值时，即，当纹理品质信息是二值化图时，上述纹理品质信息的提取任务即演变为一种像素级的二类别分类任务，即分类级别只包含纹理好(对应1)和纹理差(对应0)两个类别，当然二值化图中的每个值可以为0或1，也可以为其他的两个数值，如0.1或0.9等。考虑到实际的纹理品质分布，纹理品质在好与差之间不是突变的，通常存在过渡区域，与之相对地，当纹理品质信息还具有0和1之外的其它值时，诸如0.2、0.4、0.6和0.8时，上述纹理品质信息的提取任务即演变为一种像素级的多类别分类任务(也可以称为多值分类任务)，例如可具有取值范围在[0,1]的像素值，即将纹理的品质好坏程度分成多个级别，每个级别对应一个类别。这种分类任务中的类别的多少决定了对纹理品质空间分布进行勾勒的精细程度。显然，当类别数量越多时，纹理品质的空间划分越细腻；而当类别数量越少时，纹理品质的空间划分越粗糙。

在实际的图像中，纹理品质好的区域和品质不好的区域之间通常不是突变的。要获得精确的纹理品质信息，必须对纹理的品质好坏进行精细的等级划分，与之相对应地，需要通过卷积神经网络进行多类别的像素分类。

本申请实施方式提出，纹理品质信息的多值化效果也可以通过二值化效果实现。当纹理品质信息是二值化图(即纹理品质信息为二值化信息)时，可以对图中的二值边界处(也可以称为弱纹理区域的边界位置，或称为过渡区域)的纹理品质信息进行平滑处理，可以采用如滤波处理等平滑处理方式，平滑处理后的边界处的值可以介于二值之间。该值可以理解为介于好品质与不好品质之间的过渡品质等级。通过上述平滑处理，能够使分类任务易于实践，也能够使得纹理品质信息中各区域间的过渡更真实，提高了后续的纹理修复的效果。此外，通过上述平滑处理，可以认为将二值化图处理为多值化图。需要说明的是，上述处理方式只提供了一种实际中易于操作的分类实践，但图像纹理品质信息的提取不局限这种方法。在实际应用过程中，可根据图像优化任务的具体需求选择合适的类别数。

本申请实施方式中的纹理品质图也可以称为掩码图。

第一卷积神经网络的具体结构不受特别的限制。可采用任何一种能够实现像素级分类的卷积神经网络，例如用于语义分割的SegNet及其变型。

根据本申请实施方式，步骤S1020可通过第二卷积神经网络使用改进的局部卷积(Partial Convolution)对输入图像中的弱纹理品质区域进行纹理修复。上述的局部卷积是指，对图像的某一像素位置进行卷积操作时，与卷积核矩阵相对应的该像素周围的像素不是全部参与卷积运算。上述改进的局部卷积是指，对图像的某一像素位置进行卷积操作时，与卷积核矩阵相对应的该像素周围的像素全部参与卷积操作，但参与的程度不同。上述参与的程度不同是指各像素按照一定权重参与卷积运算。通过第一卷积神经网络得到纹理品质信息上的每一个像素值可以理解为图像上对应像素的初始卷积权重。

第二卷积神经网络的输入是提取得到的上述纹理品质信息以及上述输入图像。第二卷积神经网络可采用Unet网络架构，Unet网络是一种网络结构为U形的卷积神经网络，包括特征提取和上采样融合两个部分，卷积的具体操作可采用现有技术的具体方式，这里不再赘述。

第二卷积神经网络的特征提取部分包含若干网络层，每一网络层的输入是上一网络层更新后的掩码图和特征图，对于第一个网络层，其输入为S1010提取出的掩码图和上述输入图像。每一网络层先对输入的掩码图和输入的特征图进行点乘运算，然后对点乘得到的特征图进行卷积运算；输入的掩码图同样通过卷积核矩阵为常量的卷积运算进行更新，将更新后的掩码图和卷积后的特征图输入到下一个网络层。

第二卷积神经网络的上采样融合部分和特征提取部分的结构基本一致，例如其包含的网络层的数量一致，卷积的操作方式和掩码图的更新方式一致，但图像的卷积核不同，每一层输入不同，输入包括上一网络层更新后的掩码图，以及上一网络层更新后的特征图和特征提取部分对应层位上的特征图的融合。

在现有的局部卷积操作中，仅利用待进行修复的区域外部周边的纹理或图像信息来对待进行修复的区域进行图像填补或修复。其具体表现在，现有的局部卷积操作中，所使用的掩码图由二值化掩码构成，也就是说，每个像素值为0或1，对于像素值为0的区域，实际上是被作为一个空洞来进行处理，并没有利用空洞内的信息。但是在实际的图像中，弱纹理区域并不是空洞，是存在纹理和颜色等图像信息的，如果直接用0值进行描述，那么在该区域进行局部卷积时，这些有效的图像信息并没有被利用，而是只利用了设定区域周边的信息进行修复，修复的内容可能具有语义上合理性，但缺乏真实性，从而影响了修复效果。

以下公式(1)为现有局部卷积技术中任一网络层更新掩码图的方式，其所利用的掩码图为二值化掩码图，更新方式采用“一刀切”方式，其中设定区域内的掩码的像素值为零。

m'为更新后的掩码图对应的像素值矩阵中的任一像素值，M为对上述任一像素值进行卷积时，更新前的掩码图对应的像素值矩阵中进行卷积运算的像素值区域(也可以称为像素值子矩阵)。sum(M)是指上述像素值子矩阵中像素值的和。

由上可见，只要上述像素值子矩阵中的任一像素值为1，则更新后得到的对应像素值即为1，若上述像素值子矩阵中的所有像素值均为0，则更新后得到的对应像素值即为0。

然而，就诸多实际图像优化任务而言，即使在设定区域中，大部分像素点的图像纹理也并未完全缺失。此外，设定区域中的颜色信息对于纹理修复亦是重要的引导信息。因此，设定区域内部的图像信息仍然具有利用价值。

图9是示出了利用设定区域内部的纹理信息的示意图。原始图像9100是纹理清晰的真值图像。输入图像9200可以是与原始图像9100相对应的图像。在输入图像9200中，因为数字化处理后的后天性缺失(诸如因图像去噪、马赛克处理、有损压缩等造成的纹理缺失)，部分区域9210中的纹理细节变得模糊不清。然而，即便在这样的纹理细节不清晰的区域9210中，图像纹理并未完全缺失。另外，这样的区域仍然包含着色彩信息(附图中未示出)。这些未完全缺失的纹理信息和色彩信息等对于纹理修复有着重要的作用。图9还示出了在不考虑上述区域9210中的信息而进行修复后的修复图像9300。从修复图像9300可见，在不考虑区域9210中的信息而仅利用区域9210周边的信息进行图像修复的情况下，修复后的图像9300中的修复区域9310的内容可能具有语义上的合理性，但真实性欠佳。

基于此，本申请的一个实施方式提出了一种改进的局部分卷积：在卷积过程中利用设定区域内部的图像信息和设定区域外部的图像信息对设定区域纹理进行修补。其具体表现在，在本申请提出的改进的局部卷积操作中，所使用的掩码图具备所示的多值属性，即为多值化信息，也可以称为多值化图。即使在设定区域内，掩码图的像素值也非零，该值为图像或者特征图对应像素参与卷积的权重系数，因此在卷积核矩阵与图像或者特征图进行点乘时，该像素以一定权重参与卷积运算，该像素位置的图像信息以一定程度被利用，也就是说设定区域的已有图像信息被有效地利用。设定区域内各个像素点的信息的利用程度取决于掩码图在该像素点处的像素值大小和设定区域外部的周边信息。

以下公式(2)为本申请提出的改进局部卷积中任一网络层更新掩码图的方式，其所利用的掩码为多值化掩码。

m'为更新后的掩码图对应的像素值矩阵中的任一像素值，W为卷积权重参数为常量(如可以均为1)的卷积核矩阵，M为对上述任一像素值进行卷积时，更新前的掩码图对应的像素值矩阵中进行卷积运算的像素值区域(也可以称为像素值子矩阵)，sum(W)是指上述卷积核矩阵中所有权重参数的和。

由上可见，对于设定区域，由于其掩码图中对应的像素值不为0，因此可以利用相应位置的已有图像信息来进行纹理恢复，提高了纹理恢复的真实感和自然感。

在这种情况下，在对纹理修复的过程中，不仅利用设定区域外部的图像信息作为素材来对设定区域进行纹理修复，还利用设定区域内部的图像信息对设定区域进行纹理修复。因此，纹理修复的合理性和真实性得以改善，图像优化效果得以提升。

图10是示出了利用局部卷积修复图像的示意图。参考图10，输入图像111与掩码图112进行逐元素(Element-Wise)的点乘操作。如上文所述，在这一过程中，不仅利用设定区域周围的图像信息对设定区域进行纹理修复，还利用设定区域内部的图像信息对设定区域进行纹理修复。换言之，掩码图112中与设定区域对应的区域的元素值不为0。卷积操作后生成特征图121，掩码图112同样通过卷积核矩阵为常量的点乘运算进行更新。更新后的掩码图122和特征图121进行点乘操作生成新的特征图，掩码图122也按照上述步骤进行更新。最后一级的特征图131和掩码图132进行点乘，生成修复后的输出图像140。

图12是示出了根据本申请实施方式的改进的局部卷积与现有的局部卷积的对比图。

根据现有的局部卷积技术，掩码图中与待修复的设定区域对应的掩码值均为0。在图像修复过程中只利用的被掩码的区域周围的像素信息和训练样本的信息。在一次或数次更新后，初始的掩码图11更新为最终的掩码图12，其中，设定区域内的掩码值都更新为1。根据这种技术修复的图像，其内容可能具有语义的合理性，但缺乏真实性。当缺失区域范围变大时，这一点更为显著。

根据本申请提供的改进的局部卷积技术，掩码图中与待修复的设定区域对应的掩码值不为零，而是例如根据其纹理品质的强弱赋予了非零值。在如上参照图10所述的纹理修复过程中，按照这些掩码值作为权重，同时利用设定区域内的纹理品质信息和设定区域外的纹理品质信息，对输入图像中的设定区域进行纹理修复。在每一次更新过程中，掩码图中各个元素的掩码值会相应更新，直至最终全部更新为1(即，完全修复)。

根据本申请实施方式，步骤S1030可通过使用残差网络来实现。例如，可利用纹理修复图像与残差网络输出的残差对纹理修复图像进行纹理特征增强。由于残差网络拟合网络的输出与输入之间的残差，因此可以忽略低频分量而突出高频分量。相应地，残差网络可以更容易地拟合目标函数，并且有效地避免或缓解训练过程中的梯度弥散现象。

在本申请实施方式中，残差网络中可以包含若干个级联的卷积模块，为了减少网络模型，降低计算量，提高网络训练时的收敛能力，本申请提出可以减少卷积模块的数量，可以选择小于设定数量的卷积模块，如选择5个卷积模块。

其中每个卷积模块可以包含级联的若干个卷积层，本申请实施方式提出，上述级联方式可以为串联方式、并联方式或者混合方式。串联方式为一个卷积层串接一个卷积层；并联方式为各个卷积层并行卷积，并将卷积的结果合并；混合方式为串联方式和并联方式混和使用，例如若干并联卷积层串接在一起。本申请实施方式提出，上述卷积层可以为扩张卷积层。

进一步的，为了获得较大的感受野，以及同时关注不同粒度的纹理信息，本申请实施方式提出每个卷积模块可以采用多尺度的卷积方式，即任一卷积模块中的至少两个扩张卷积层的扩张率不同，例如可以是扩张率为(1，2，5)的组合。不同的扩张率可以对应不同的感受野，不同的感受野可能对应不同尺度的信息。例如，较大的扩张率对应较大的感受野，较大的感受野更加关注长距离信息，有助于获得大尺度的纹理残差；较小的扩张率对应较小的感受野，较小的感受野更加关短距离信息，有助于获得小尺度的纹理残差。通过上述多尺度的卷积方式，可以保证内核的连续性，避免卷积的网格效应，同时关注不同粒度的信息，从而获得不同尺度的纹理残差信息，大大提高了图像优化效果。上述多尺度的卷积方式也可以称为混合扩张率的卷积方式。

以下参照图2描述实施图像优化方法的网络架构。

参照图2，第一卷积神经网络2010、第二卷积神经网络2020和残差网络2030可依次级联以分别实现纹理品质信息提取(第一阶段)、纹理修复(第二阶段)和纹理特征增强(第三阶段)。上述级联的网络可以看作是一种端到端的神经网络，把任务性质不同的子任务融合进一个网络，提高了纹理重绘的实时性。

输入图像2100可输入至第一卷积神经网络2010。第一卷积神经网络2010对输入图像2100进行特征提取并进行语义学像素分类，从而生成指示输入图像中的纹理品质的空间分布的纹理品质信息2200。

图11是示出了根据本申请实施方式的用于提取纹理品质信息的卷积神经网络的示意性结构图。

如图11所示，卷积神经网络2010包括编码器-解码器结构。编码器和解码器个包括6层扩张卷积层。编码器2011的扩张卷积层的位置及扩张率由图中的实线标出。

编码器2011中的至少两个扩张卷积层的扩张率不同。例如，如图11所示，编码器2011分别包括扩张率为1的两个扩张卷积层、扩张率为2的两个扩张卷积层和扩张率为5的两个扩张卷积层。

如图11所示，扩张率为2的扩张卷积层可以将卷积核的横向和纵向尺寸各增加为原来的两倍。不同的扩张率可以对应不同的感受野，不同的感受野可能对应不同尺度的信息，例如较大的扩张率对应较大的感受野，其更加关注长距离信息，有助于获得大尺度的纹理品质信息。例如，扩张率为5的两个扩张卷积层可以更精确地获取大尺度的第一区域2210的纹理品质信息。较小的扩张率对应较小的感受野，其更加关短距离信息，有助于获得小尺度的纹理品质信息。例如，扩张率为1和2的两个扩张卷积层可以更精确地获取大尺度的第二区域2220的纹理品质信息。通过上述多尺度的卷积方式，可以保证内核的连续性，避免卷积的网格效应，同时关注不同粒度的信息，从而获得不同尺度的纹理品质信息。图11还示意性示出了经过卷积处理后获取的中间层的各特征图的维度。

继续参考图2，然后，输入图像2100和纹理品质信息2200共同输入至第二卷积神经网络2020。纹理品质信息2200作为纹理修复的引导图，用于指示进行纹理修复的区域。输入图像2100和纹理品质信息2200可逐像素一一对应。输入图像2100中的设定区域与纹理品质信息2200中的纹理品质低于预定阈值的区域对应。第二卷积神经网络2020包括局部卷积层以对设定区域进行纹理修复。修复后的图像称作纹理修复图像2300，其既包括经修复后的设定区域，也包括原设定区域外部的、未经修复的外部区域。

纹理修复图像2300输入至残差网络2030以进行纹理特征增强。残差网络2030包括若干个(如5个)级联的卷积模块，每个卷积模块包括若干个(如3个)级联的扩张卷积层，每个扩张卷积层的扩张率不同，例如扩张率可以分别是(1，2，5)的组合，也就是说，每个卷积模块由三个扩张率分别是1、2和5的扩张卷积层依次级联而成，并且在每个卷积层前都可以包括边缘填充操作。上述卷积模块也可以称为复合扩张卷积模块。

通过这种网络配置，可以使用较少的卷积层获得较大的感受野(ReceptiveField)，从而更好地利用较大范围的纹理信息，获得更显著的增强效果。在纹理特征增强过程中应用了残差的思想，通过利用纹理修复图像2300与残差网络输出的残差2400进行纹理特征增强，以生成最终的增强后的图像2500。如上所述，残差的应用可以忽略低频分量而突出高频分量，从而有效地避免或缓解训练过程中的梯度弥散现象。

本申请提供的图像优化方法和相应的网络架构有机地结合了纹理品质的判别、纹理修复和纹理特征增强，因此能够有针对性地进行纹理修复。

就上文所述的网络架构而言，通常需要经过训练才能够实际应用。为了训练该网络架构，可以构造一个训练样本集。训练样本集包括彼此配对的训练样本和真值(GroundTruth)图像。每个训练样本可以通过对真值图像的预置退化而获得。例如，可以对真值图像设计合适的退化模型以得到局部纹理模糊的训练样本。

如图5所示，可首先对作为真值图像的高清纹理图片5100进行一个随机精度为s的降采样和尺度为1/s的升采样。精度s由随机函数生成，范围控制在例如[2,5]之间，其对应于2倍至5倍之间的图像缩放。升采样所使用的插值函数可以是双线性和Bicubic两种插值方法中的任一种。

然后，根据高清纹理图片的大小生成随机掩码。随机掩码的生成可按照以下步骤实施：

a)随机生成像素值在[0,255]之间的、与高清纹理图片具有相同大小的单通道(Channel)图片；

b)对该单通道图片进行高斯模糊，模糊窗口大小与高清纹理图片的大小有关(例如，当高清纹理图片的大小是512×512时，模糊窗口的大小为15×15)；

c)对步骤b)的模糊后的图片查找值为127的等值轮廓线，并在轮廓的内部填充像素值255，并且在轮廓的外部填充像素值0；

d)对新的单通道图片进行高斯模糊，模糊窗口的大小与步骤b)相同；以及

e)对步骤d)的模糊后的图片进行归一化。

在生成了随机掩码之后，对高清纹理图片进行退化处理。退化处理可按照以下步骤实施：

a)将高清纹理图片由RGB颜色模式转换成YUV颜色模型；

b)构造Y′＝Y，对YUV颜色模型的明亮度分量Y′进行两次均匀模糊；

c)构造Y^new＝M·Y+(1-M)·Y′，其中M为通过上述步骤生成的随机掩码；以及

d)将Y^newUV颜色模型重新转成RGB图片。

最后，为纹理退化后的图片添加高斯噪声和泊松噪声。

通过上述步骤，可逐一生成训练样本-真值图像对，这些训练样本-真值图像可构成训练样本集。

当网络层级较深时，训练过程中容易产生梯度消失的问题。本申请提出了一种分阶段训练的机制以提高训练效率。

根据本申请的实施方式，可以首先使用第一损失函数训练第一卷积神经网络。第一损失函数可以是用于纹理品质信息提取的掩码与设计退化模型时使用的随机掩码之间的交叉熵。

在对第一卷积神经网络训练完成后，可固定第一卷积神经网络的参数。之后，使用第二损失函数训练第二卷积神经网络。第二损失函数可以是第二阶段的纹理修复结果与第一阶段的退化模型之间的L1距离以及总变化损失。

在对第二卷积神经网络训练完成后，可固定第二卷积神经网络的参数。此时，第一卷积神经网络的参数仍然保持固定。之后，使用第三损失函数训练残差网络。第三损失函数是最终输出与未退化的输入图像的均方差损失。

根据本申请的实施方式，还可以实施如下所述的分阶段训练。

首先使用第一损失函数训练第一卷积神经网络。第一损失函数可以是用于纹理品质信息提取的掩码与设计退化模型时使用的随机掩码之间的交叉熵。然后，在对第一卷积神经网络训练完成后，固定第一卷积神经网络的参数并使用联合损失函数训练第二卷积神经网络和残差网络。联合损失函数是指第二损失函数和第三损失函数联合，此处的联合可以是第二损失函数与第三损失函数的线性组合，线性比例例如可以均设定为0.5。

图3是示出了根据本申请实施方式的图像优化设备3000的示意图。

图像优化设备3000包括：纹理品质提取器3100，从输入图像提取纹理品质信息，纹理品质信息指示输入图像中的纹理品质的空间分布；纹理修复器3200，对输入图像中的设定区域进行纹理修复以基于输入图像生成纹理修复图像，设定区域与纹理品质信息中的纹理品质低于预定阈值的区域对应。图像优化设备3000还可包括纹理特征增强器3300，以对纹理修复图像进行纹理特征增强。纹理特征增强器3300用于对纹理修复图像进行整体纹理特征增强，整体纹理特征增强是针对图像的纹理细节信息进行增强或者进一步丰富图像纹理细节信息。

图6是示出了根据本申请实施方式的纹理特征增强方法的网络架构。

根据本申请，可通过使用残差网络6000利用输入图像6100与所述残差网络输出的残差对所述输入图像6100进行纹理特征增强。由于残差网络6000拟合网络的输出与输入之间的残差，因此可以忽略相同的分量而突出微小的变化。相应地，残差网络6000可以更容易地拟合目标函数，并且有效地避免或缓解训练过程中的梯度弥散现象。

在本申请实施方式中，残差网络6000中可以包含若干个级联的卷积模块6010，为了减少网络模型，降低计算量，提高网络训练时的收敛能力，本申请提出可以减少卷积模块6010的数量，可以选择小于设定数量的卷积模块6010，如选择5个卷积模块。其中每个卷积模块可以包含级联的若干个卷积层，本申请实施方式提出，上述卷积层可以为扩张卷积层。

在纹理特征增强过程中应用了残差的思想，通过利用输入图像6100与残差网络输出的残差6200进行纹理特征增强，以生成最终的增强后的图像6300。

进一步的，为了获得较大的感受野，以及同时关注不同粒度的信息，本申请实施方式提出每个卷积模块6010可以采用多尺度的卷积方式，即任一卷积模块6010中的至少两个扩张卷积层的扩张率不同，不同的扩张率可以对应不同的感受野，不同的感受野可能对应不同尺度的信息，例如较大的扩张率对应较大的感受野，较大的感受野更加关注长距离信息，有助于获得大尺度的纹理残差。较小的扩张率对应较小的感受野，较小的感受野更加关短距离信息，有助于获得小尺度的纹理残差。通过上述多尺度的卷积方式，可以保证内核的连续性，避免卷积的网格效应，同时关注不同粒度的信息，从而获得不同尺度的纹理残差信息，大大提高了图像优化效果。

基于本申请提供的技术方案，可以获得以下所述的至少一项有益效果：纹理的修复可以利用自动提取的纹理品质信息作为引导进行而无需人工介入；可以将纹理修复和纹理增强集成到一个端到端的网络中进行集成优化和学习，从而能够完成一些实时的图像处理任务；能够利用待修复区域内部的图像信息和待修复区域外部的图像信息共同进行图像修复，从而提高了图像修复的准确性；可以通过纹理增强获得更加丰富的纹理信息；通过利用不同的扩张率的扩张卷积层，同时关注不同粒度的信息，提高了图像优化的效果。

本申请还提供了一种计算机系统，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请的终端设备或服务器的计算机系统的结构示意图：如图4所示，计算机系统包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器402和/或随机访问存储器403中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施方式提供的任一项方法对应的操作，例如：从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。再例如：获取输入图像；通过使用残差网络利用输入图像与所述残差网络输出的残差对所述输入图像进行特征增强。

此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU 401、ROM402以及RAM 403通过总线404彼此相连。在有RAM 403的情况下，ROM 402为可选模块。RAM403存储可执行指令，或在运行时向ROM 402中写入可执行指令，可执行指令使CPU 401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部407；包括硬盘等的存储部408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部409。通信部409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部408。

需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

另外，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令，例如：从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。再例如：获取输入图像；通过使用残差网络利用输入图像与所述残差网络输出的残差对所述输入图像进行纹理特征增强。在这样的实施方式中，该计算机程序可以通过通信部409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本申请的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (22)

1.一种图像优化方法，包括：

从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及

根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。

2.根据权利要求1所述的图像优化方法，其中，所述设定区域是所述纹理品质低于预设阈值的区域。

3.根据权利要求1或2所述的图像优化方法，其中，从所述输入图像提取所述纹理品质信息包括：

通过第一卷积神经网络对所述输入图像进行特征提取，以获取所述纹理品质信息。

4.根据权利要求1-3中任一项所述的图像优化方法，其中，所述纹理品质信息包括0到1之间的数值。

5.根据权利要求1至4中任一项所述的图像优化方法，若所述纹理品质信息为二值化信息，则对所述设定区域的边界位置的纹理品质信息进行平滑处理。

6.根据权利要求1至5中任一项所述的图像优化方法，其中，所述纹理修复包括：

基于所述纹理品质信息，通过第二卷积神经网络对所述设定区域进行纹理修复。

7.根据权利要求1至6中任一项所述的图像优化方法，其中，所述纹理修复包括：

按照特定权重利用所述设定区域内的纹理品质信息和所述设定区域外的纹理品质信息，对所述输入图像中的设定区域进行纹理修复。

8.根据权利要求1-7中任一项所述的图像优化方法，其中，所述图像优化方法还包括对所述纹理修复图像进行纹理特征增强。

9.根据权利要求8所述的图像优化方法，其中，所述纹理特征增强包括：通过使用残差网络利用所述纹理修复图像与所述残差网络输出的残差对所述纹理修复图像进行特征增强。

10.根据权利要求9所述的图像优化方法，其中，所述残差网络中包含级联的、小于设定数量的卷积模块。

11.根据权利要求9或10所述的图像优化方法，其中，所述残差网络的任一卷积模块中包含级联的若干个扩张卷积层。

12.根据权利要求11所述的图像优化方法，其中，任一卷积模块中的至少两个扩张卷积层的扩张率不同。

13.一种图像优化装置，包括：

纹理品质信息提取模块，用于从输入图像提取纹理品质信息，所述纹理品质信息指示所述输入图像中的纹理品质的空间分布；以及

纹理修复模块，用于根据所述纹理品质信息，对所述输入图像中的设定区域进行纹理修复以生成纹理修复图像。

14.一种电子设备，包括：

处理器；以及

存储器，所述存储器连接至所述处理器并且存储有机器可读指令，所述机器可读指令能够由所述处理器执行并且致使所述处理器执行权利要求1至12中任一项所述的方法。

15.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器执行并且致使所述处理器执行权利要求1至12中任一项所述的方法。

16.一种图像优化方法，包括：

获取输入图像；

通过使用残差网络利用输入图像与所述残差网络输出的残差对所述输入图像进行纹理特征增强。

17.根据权利要求16所述的图像优化方法，其中，所述残差网络中包含级联的、小于设定数量的卷积模块。

18.根据权利要求16或17所述的图像优化方法，其中，所述残差网络的任一卷积模块中包含级联的若干个扩张卷积层。

19.根据权利要求18所述的图像优化方法，其中，任一卷积模块中的至少两个扩张卷积层的扩张率不同。

20.一种图像优化装置，包括：

图像获取模块，用于获取输入图像；

纹理特征增强模块，用于通过使用残差网络利用输入图像与所述残差网络输出的残差对所述输入图像进行纹理特征增强。

21.一种电子设备，包括：

处理器；以及

存储器，所述存储器连接至所述处理器并且存储有机器可读指令，所述机器可读指令能够由所述处理器执行并且致使所述处理器执行权利要求16至19中任一项所述的方法。

22.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器执行并且致使所述处理器执行权利要求16至19中任一项所述的方法。

Images