CN112424834B - 用于图像处理的方法和设备 - Google Patents

Abstract

提供了用于图像处理的方法和设备。该方法包括以下处理：通过将原始图像分成背景图像和前景图像来获得掩模，通过根据选择的风格变换背景图像或前景图像得到部分风格化图像，根据掩模和部分风格化图像得到风格化图像。

Description

用于图像处理的方法和设备

技术领域

本公开涉及图像处理领域，特别地，涉及用于图像处理的方法和设备。

背景技术

目前，数码相机、移动电话相机、便携式录像机、以及其他带有集成摄像头的设备的普及，带来了大量且不断增长的媒体对象，例如，静态图像、视频、以及其他形式的媒体。为了改善媒体的显示效果或者获得不同风格或类型的媒体，已经做出了努力来对媒体进行处理，例如，诸如媒体转换(也称为风格转换)的媒体增强。这样，可以获得更多元化的媒体。

发明内容

根据本公开的第一方面，提供了一种用于图像处理的方法。该方法包括以下处理。通过将原始图像分成背景图像和前景图像来获得掩模，通过根据选择的风格变换背景图像或前景图像得到部分风格化图像，根据掩模和部分风格化图像得到风格化图像。

根据本公开的第二方面，提供了一种用于图像处理的方法。该方法包括以下处理。通过将原始图像分成背景图像和前景图像来获得掩模。通过使用图像变换网络根据选择的风格变换原始图像来获得中间图像，其中，中间图像包括风格化的背景图像和风格化的前景图像。通过使用风格化的背景图像和前景图像或者通过使用风格化的前景图像和背景图像填充掩模来获得风格化图像。

根据本公开的第三方面，提供了一种用于图像处理的设备。该设备包括至少一个处理器和存储有指令的至少一个非易失性存储器。当由至少一个处理器执行时，该指令使得设备执行根据上述第一方面或第二方面的方法的操作。

附图说明

当接合附图阅读具体实施方式时可以更好地理解本公开的内容。需要说明的是，按照惯例，附图中的各个特征并不是按比例绘制的。相反，为了清楚起见，扩大或缩小了各个特征的尺寸。

图1示出了涉及传统人像模式的示例图像。

图2示出了涉及传统风格转换的示例图像。

图3示出了图像分割的实例。

图4示出了用于实施本公开的用于图像处理的方法的示例系统。

图5示出了根据本公开实施例的示例行图像风格化器(imagestyler)。

图6是示出用于图像处理的方法的流程图。

图7是示出在用于图像处理的方法中使用的掩模的示意图。

图8是示出在用于图像处理的方法执行过程中获得的中间风格化图像的示意图。

图9示出了在用于图像处理的方法的执行过程中获得并呈现给用户的风格化图像。

图10示出了在用于图像处理的方法的执行过程中获得并呈现给用户的其他示例性风格化图像。

图11示出了逆风格化图像。

具体实施方式

提供了图像处理方案的实施例，该图像处理方案能够对诸如图像或视频的媒体自适应地执行风格转换。在下文中，将参照附图来详细描述公开的实施例。

目前，已有使得主题相对于背景看起来更清晰的传统人像模式。例如，具有长镜头的单反(single lens reflex，SLR)相机的景深很浅，这意味着距离相机一段距离的物体是清晰的，而“对焦平面”前面或后面的物体是模糊的。摄影师可以通过在单反相机上操纵焦距、光圈、和从镜头到物体的距离来控制景深。合成浅景深图像将图像分为两层，即，作为前景的一部分的像素(通常是人)和作为背景的一部分的像素。这种分割，有时称为语义分割，允许摄影师或用户模糊背景，然而，由于其没有深度的概念，因此，无法判断模糊背景的程度。例如，在图1的右侧示出了背景模糊的图像，在图1的左侧示出了原始图像。从图1中可以看出，在该传统人像模式中，“模糊”操作并没有为用户提供太多的选择，其仅仅模糊背景中的对象并且只能引起用户的非常有限的注意。

除了上述传统人像模式，还出现了一些于风格转换有关的应用(APP)或工具。风格转换可以定义为找到一个拼贴图像，该拼贴图像的内容与内容图像的内容类似，而该拼贴图像的风格与风格图像的风格类似。风格转换的焦点在于如何以不同的风格呈现内容图像。在L.A.Gatys、A.S.Ecker、和M.Bethge于2015年8月发表在ArXiv e-prints的“A neuralalgorithm of artistic style”以及Justin Johnson、Alexandre Alahi、和Fei-Fei Li于2016年发表在ECCV的“Perceptual Losses for Real-Time Style Transfer and Super-Resolution”中给出了风格转换的示例。而目前的风格转换的一个问题在于，对每个图像进行风格转换，这基本上意味着一旦为图像选择了一个特定风格，整个图像就会被转换成所选择的风格。图2示出了风格转换的示例，其中，原始图像在左侧示出，进行了风格转换的图像在右侧示出。从图2中可以看出，在进行了风格转换之后，呈现给用户的是一个完全风格化的图像。然而，这不够灵活，并且有时候，完全风格化的图像并不是用户真正想要的图像。

在本文中，提供了一种新的图像处理方案来丰富传统的人像模式和传统的风格转换。不同于仅仅模糊背景对象的传统人像模式或只能对整个图像进行风格转换的传统风格转换，本文提供的图像处理方案通过在背景内容或前景内容与风格(例如，诸如抽象画的一系列著名艺术作品的风格)之间构成有趣的互动，可以带来独特的视觉体验。

为了更好地理解本公开，将对本文中使用的术语进行说明。

图像分割：图像分割是指将数字图像分成诸如背景和前景的多个片段的处理。图像分割的结果是整体上覆盖整个图像的一组片段。图3示出了图像分割的实例。在图3中，原始图像在左侧示出而背景图像在右侧示出。在该情况下，除了背景图像以外的图像(即，人)是前景图像。

感兴趣区域(regionof interest，ROI)：ROI是为特定目的确定的数据集中的样本。通常，图像的ROI是指前景中的对象，例如，人，车，文本等。

掩模：在计算机科学中，掩模式用于进行特别是比特域中的比特操作的数据。在图形领域中，二进制掩模定义了原始图像的ROI。通过将每个像素分类为属于感兴趣区域或属于背景，可以从原始图像创建掩模。例如，前景中的图像区域中的像素值的所有比特设置为1，而周围区域(例如，背景)中的像素值的所有比特设置为0。在图7示出的实例中，黑色像素具有全0比特，而白色像素具有全1比特。

系统概述

图4是用于实施本公开的图像风格化器或人像风格化器的示例性系统的框图。图像风格化器用于实现以下详细描述的本公开的图像风格转换。可以理解，本公开的原理可以更广泛地应用与诸如图像、图片、视频等的任何媒体。文中所使用的“图像风格化器”、“图像变换”、“图像转换”等并不构成对本公开的技术方案的限制。

如图4所示，系统100可以包括终端设备102和网络104。

终端设备102可以是各种类型的电子设备，例如，移动电话、个人数字助理(PDA)、照相机、摄像机、视频播放器、音频播放器、传统计算机、具有便携式计算设备的移动计算机、全球定位系统(global positioning system，GPS)、或者其组合。在下文中，虽然本公开的实施例在终端设备102的背景下进行了描述，但是也可以在服务器、服务、或其组合中实施。

在一个实施例中，终端设备102能够根据非蜂窝通信机制来操作。例如，该系统能够与无线局域网(WLAN)或者其他通信网络通信。再者，该系统可以根据诸如射频(RF)、红外(IrDA)、或任何其他WLAN技术的通信协议进行通信。在图4中，上述特征作为网络104示出。

终端设备102包括处理器101或其他处理部件、存储器103、或诸如相机105的成像部件。终端设备102还可以包括诸如图形用户接口(GUI)的用户接口。用户接口可以耦合至处理器101。用户接口可以耦合至显示器107。显示器107可以是诸如触摸屏、液晶屏等的显示屏。终端设备102可以具有一个或多个输入或输出装置，诸如传统的耳机或扬声器、振铃器、麦克风、显示器等。

存储器103可以是非易失性计算机可读存储介质，诸如随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)等。存储器103还可以包括用于临时存储数据的缓存区域。终端设备102可以使用存储器103来存储诸如图像、图片、视频等的媒体数据。存储器103还可以存储一个或多个指令和/或公式用于执行本文提供的方法。例如，当由处理器101执行时，所存储的指令使得处理器101执行下文中给出的图6的方法。

在一个实施例中，处理器101可以向与其连接的部件提供至少一个信号和/或从其接收至少一个信号。另外，处理器101可以包括用于处理音频、视频特征、逻辑特征等的电路。例如，处理器101可以包括数字信号处理装置、微处理器装置、数模转换器、模数转换器、支撑电路等。在一个实施例中，处理器101可以是图形处理单元(GPU)。另外地或者替代地，处理器101还可以包括神经处理单元(neural processing unit，NPU)。NPU和GPU可以单独设置或者可以集成到一个处理器中。图像风格化器可以集成到GPU或NPU中，并与终端数设备中的基于相机的应用程序或基于图像的应用程序交互。

需要注意的是，图4是以示例的形式给出的，系统100和/或本公开所设想的其他系统可以包括更多和/或更少的部件，并且可以将部件组合和/或将一个或多个部件拆分成另外的部件等。例如，终端设备102可以只配备有存储器103和相机105中的一个。终端设备102可以从存储器103中读取媒体数据。或者，终端设备102可以通过相机105实时地拍摄图像。

本公开的图像风格化器可以表现为各种不同的形式，并且集成到终端设备中安装的各种应用中。例如，人像风格化器(Portrait Styler)可以容易地集成到产品中作为扩展的图像过滤器集，这可以进一步改进传统的语义无关的图像过滤器。

例如，可以在加载相机105时激活图像风格化器，以在拍摄期间实时地将图像风格化。可选地，可以基于用户的请求，激活人像风格化器用于存储器103中存储的图像相册的风格转换。类似地，图像风格化器可以用于视频的风格转换；在该模式下，其将视频相册中的视频的背景或前景风格化。在终端设备102可以接入网络110的情况下，图像风格化器甚至可以从网络110获得媒体。最终获得的风格化图像将显示在显示器107上呈现给用户。进行了风格转换并最终显示在显示器107上的图像可以是背景转换的图像或者是前景转换的图像。在前景进行了风格转换的情况下，图像风格化器可以称为逆图像风格化器，借助于该逆图像风格化器，前景特征被最终风格化，以创建类似于油画的用户肖像，例如，在图11中示出的图像。

图像风格化器

本文中提供的图像风格化器可以实施为神经网络。如图5所示，神经网络可以包括图像变换网络和损失网络。其中，图像变换网络的输出端连接至损失网络的输入端。图像变换网络被训练为将输入图像变换成输出图像。从图像分类预训练的损失网络用于定义测量图像之间的感知差异的感知损失函数。损失网络在训练过程中保持固定。

在一个实施例中，在训练阶段，可以将前馈图像变换神经网络用作图像变换网络，并且图像变换网络使用随机梯度下降来被训练用于执行图像变换任务，使损失函数最小化，以实现风格转换。然而，如上所述，本文中的网络使用取决于来自预先训练的损失网络的高级特征的感知损失函数来训练，而不是使用取决于低级像素信息的每像素的损失函数来训练。在训练过程中，感知损失比每像素损失更能衡量图像的相似性，并且在测试时，转换网络会实时运行，这将在下文中描述。

在一个实施例中，损失函数是具有多个卷积层的视觉几何组(visual geometrygroup，VGG)网络。图像变换网络是权值W参数化的深度残差卷积神经网络。图像变换网络用于经由映射y＝f_W(x)将输入图像x变换成输出图像y。每个损失函数计算用于测量输出图像y和目标图像y_c之间的差异的标量值l(y,y_c)。

并不是要求输出图像y中的像素与目标图像y_c中像素完全匹配，而是希望二者具有由损失网络计算的类似特征表示。将作为VGG网络的第j个卷积层的激活函数。其中，是形状C_j×H_j×W_j的特征图。特征重构损失是特征表示之间的(平方，归一化)欧几里德距离。

其中，j表示第j个卷积层，C_j表示输入到第j个卷积层的通道的数量；H_j表示第j个卷积层的高度；W_j表示第j个卷积层的宽度；表示形状C_j×H_j×W_j的特征图。

y表示图像变换网络的输出图像；y_c表示图像变换网络的目标图像；l(y,y_c)表示测量输出图像y和目标图像y_c之间的差异的标量值。

在测试阶段，图像变换网络可以经由训练的前馈网络将输入图像变换成风格化图像。

方法概述

为了通过由本文提供的用于图像处理的方法获得风格化图像，将依次执行图像分割、风格变换、以及风格化图像的生成。图6是示出该用于图像处理的方法的流程图，该方法开始于步骤62。

步骤62，通过将原始图像分成背景图像和前景图像，获得掩模。原始图像可以是彩色图像或灰度图像，本公开对此并无特别限制。可以通过背景或前景提取来实现图像分离。为此，训练神经网络(参见，Kaiming He Georgia Gkioxari Piotr Dollar RossGirshick,“Mask R-CNN”,ICCV 2017)以预测每个ROI的二进制掩模。为了获得二进制掩模，可以确定ROI(即，前景图像)和其他像素点(即，背景图像)。然后可以基于确定的ROI分别提取背景和前景的内容。

所得到的掩模在图7中示出，其将在后续融合部分风格化图像和部分原始图像，或者融合中间风格化图像和部分原始图像。

步骤64，通过根据选择的风格变换背景图像或前景图像来获得部分风格化图像。

例如，可以在图5中示出的图像风格化器中执行变换。具体地，可以将背景图像或前景图像输入图像风格化器，特别地，输入图像风格化器的图像变换网络。然后，图像风格化器根据选择的风格变换输入其中的背景图像或前景图像，以获得部分风格化图像。可以理解的是，这里的“部分风格化图像”可以是部分风格化的背景图像或部分风格化的前景图像。风格可以由用户选择，也可以由系统根据用户的使用历史考虑用户的习惯或偏好而默认地选择或设置。至于是背景图像还是前景图像被输入到图像变换网络进行变换，可以由用户选择或确定，或者可以由系统设置。例如，系统可以设置为除非收到来自用户的不同指示，否则将优先变换背景图像。这样，由于只有图像的一部分而非整个图像被变换，可以提高变换速度。

步骤66，根据掩模和部分风格化图像，获得风格化图像(即，相对于部分风格化图像而言，最终风格化的图像)。

在一些配置中，风格化图像可以通过用部分风格化图像以及背景图像和前景图像中未进行变换的图像填充掩模来获得。具体地，当背景图像被输入到图像变换网络并因此获得部分风格化的背景图像时，可以用在步骤64获得的部分风格化的背景图像填充掩模的背景部分，并且用原始前景图像(即，原始图像的前景的内容)来填充掩模的前景部分。另一方面，当前景图像被输入图像变换网络并因此得到部分风格化的前景图像时，可以用步骤64获得的部分风格化的前景图像和原始背景图像来填充掩模。

以上，已经讨论了只将原始图像的特定部分输入图像变换网络的情况，然而，上述方案只是本发明的一种选择。还可以存在其他实施方式。例如，可以将整个原始图像输入图像变换网络，在进行图像变换之后，将获得中间风格化图像，例如，图8中示出的图像。

在获得图8中示出的中间风格化图像之后，与图6所示的方法类似，将使用先前获得的掩模来获得最终的风格化图像以显示给用户。例如，如果用户实际上想要对背景内容进行图像处理，则可以根据ROI从中间风格化图像中提取风格化的背景图像，然后使用风格化的背景图像和原始前景图像填充掩模。或者，可以使用整个中间风格化图像填充掩模，之后沿着由ROI限定的边界，在中间风格化图像上叠加原始前景图像(例如，原始图像中的前景中的内容，例如，人)。

在这样填充之后，这样获得的风格化图像可以进一步进行诸如平滑或混合的后续处理，这有助于获得更好的结果。

呈现给用户的风格化图像如图9所示。另外，图10示出了一些具有不同的风格化背景的图像的示例。从图10可以看出，所显示的风格化图像抽象了背景，并为用户提供了更加印象深刻的视觉效果。图11示出了其中用户实际上想要对前景内容进行图像处理的示例，在该模式下，其反向风格化前景用户，以创建类似于绘画的用户肖像。

本公开的实施例还提供了一种用于图像处理的设备。该设备可以是图4示出的终端设备。该设备可以包括至少一个处理器以及与该至少一个处理器耦合的至少一个非易失性计算机可读介质。非易失性存储器用于存储指令，上述指令在由处理器执行时，可以使得处理器执行在上述方法实施例中描述的操作。非易失性存储器的实例包括但不限于ROM、RAM、磁盘、光盘等。

虽然已经接合特定实施例描述了本公开，但是应当理解，本公开并不限于所公开的实施例。相反，本公开旨在涵盖所附权利要求的范围内包括的各种变形或等同布置，该范围应被给予最广泛的解释，以包括法律允许的所有此类修改和等效结构。

Claims (7)

1.一种用于图像处理的方法，包括：

通过将原始图像分成背景图像和前景图像来获得掩模，其中，在所述掩模中，前景图像的区域中的像素值的所有比特设置为1，而背景图像的区域中的像素值的所有比特设置为0；

通过根据选择的风格变换所述背景图像或所述前景图像来获得部分风格化图像；以及

根据所述掩模和所述部分风格化图像来获得风格化图像；

其中，所述通过根据选择的风格变换所述背景图像或所述前景图像来获得所述部分风格化图像，包括：

将所述背景图像或所述前景图像输入图像变换网络；以及

使用所述图像变换网络根据所述选择的风格变换所述背景图像或所述前景图像，以获得所述部分风格化图像；

其中，在获得所述掩模之前，所述方法还包括：

使用由损失网络定义的感知损失函数来训练所述图像变换网络，其中，所述损失网络是具有多个卷积层的视觉几何群(VGG)网络；；

其中，使用由损失网络定义的感知损失函数来训练所述图像变换网络，包括：

根据以下公式，将所述感知损失函数的值用作所述损失网络的所述多个卷积层之一的激活函数：

其中，j表示第j个卷积层；

C_j表示输入到第j个卷积层的通道的数量；

H_j表示所述第j个卷积层的高度；

W_j表示所述第j个卷积层的宽度；以及

(x)表示形状C_j×H_j×W_j的特征图；

其中，

y表示所述图像变换网络的输出图像；

y_c表示所述图像变换网络的目标图像；以及

表示测量所述输出图像y和所述目标图像y_c之间的差异的标量值。

2.根据权利要求1所述的方法，其中，根据所述掩模和所述部分风格化图像来获得所述风格化图像包括：

通过用所述背景图像和所述前景图像中未进行所述变换的至少一个图像和所述部分风格化图像填充所述掩模，来获得所述风格化图像。

3.根据权利要求1所述的方法，其中，所述图像变换网络是深度残差卷积神经网络。

4.一种用于图像处理的方法，包括：

通过将原始图像分成背景图像和前景图像来获得掩模，其中，在所述掩模中，前景图像的区域中的像素值的所有比特设置为1，而背景图像的区域中的像素值的所有比特设置为0；

通过使用图像变换网络根据选择的风格变换所述原始图像来获得中间图像，其中，所述中间图像包括风格化的背景图像和风格化的前景图像；以及

通过使用所述风格化的背景图像和所述前景图像或者通过使用所述风格化的前景图像和所述背景图像填充所述掩模来获得风格化图像；

其中，在获得所述掩模之前，还包括：

使用由损失网络定义的感知损失函数来训练所述图像变换网络，其中，所述损失网络是具有多个卷积层的视觉几何群(VGG)网络；；

其中，使用由损失网络定义的感知损失函数来训练所述图像变换网络，包括：

通过根据以下公式将所述损失网络的输出用作所述损失网络的所述多个卷积层之一的激活函数，来训练所述图像变换网络：

其中，

j表示第j个卷积层；

C_j表示输入到所述第j个卷积层的通道的数量；

H_j表示所述第j个卷积层的高度；

W_j表示所述第j个卷积层的宽度；

(x)表示形状C_j×H_j×W_j的特征图；

其中，

y是所述图像变换网络的输出图像；

y_c是所述图像变换网络的目标图像；以及

表示测量所述输出图像y和所述目标图像y_c之间的差异的标量值。

5.根据权利要求4所述的方法，其中，所述图像变换网络是深度残差卷积神经网络，所述深度残差卷积神经网络是用由具有多个卷积层的损失网络的感知损失函数训练的。

6.根据权利要求5所述的方法，其中，用所述损失网络计算像素间的相似特征表示。

7.一种用于图像处理的设备，包括：

至少一个处理器；以及

存储有指令的至少一个非易失性存储器，当由所述至少一个处理器执行时，所述指令使得所述至少一个处理器执行如权利要求1-6任一项所述的方法中的步骤。