CN114792387A

CN114792387A - 图像恢复方法和设备

Info

Publication number: CN114792387A
Application number: CN202111196371.8A
Authority: CN
Inventors: 权基南; 金熙元; 李炅武; 李炯旭
Original assignee: Samsung Electronics Co Ltd; SNU R&DB Foundation
Current assignee: Samsung Electronics Co Ltd; SNU R&DB Foundation
Priority date: 2021-01-26
Filing date: 2021-10-14
Publication date: 2022-07-26
Also published as: EP4033446A1; JP2022114440A; JP7239116B2; US20220237744A1

Abstract

公开了图像恢复方法和设备。所述方法包括接收输入图像和指示多个候选图像效果中之的第一图像效果的第一任务向量，基于源神经网络的任务无关架构从输入图像提取由候选图像效果共享的共同特征，以及基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为与第一图像效果相对应的第一恢复图像。

Description

图像恢复方法和设备

本申请要求在韩国知识产权局于2021年1月26日提交的第10-2021-0010638号韩国专利申请和于2021年3月17日提交的第10-2021-0034480号韩国专利申请的权益，上述申请的全部公开内容出于所有目的通过引用合并于此。

技术领域

以下描述涉及图像恢复方法和设备。

背景技术

图像恢复是指用于将劣化的质量的图像恢复为改善的质量的图像的技术。可以使用基于深度学习的神经网络来执行图像恢复。神经网络可以基于深度学习被训练，然后通过映射彼此处于非线性关系的输入数据和输出数据来执行推断以用于期望的目的。生成映射的这种训练的能力可以被称为神经网络的学习能力。为了专用目的(诸如，图像恢复)训练的神经网络可以具有泛化能力，以响应于尚未训练的输入模式生成相对准确的输出。

发明内容

提供本发明内容从而以简化的形式介绍将在下面的具体实施方式中进一步被描述的构思的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

在一个总体方面，一种图像恢复方法包括：接收输入图像和指示多个候选图像效果之中的第一图像效果的第一任务向量，基于源神经网络的任务无关架构，从输入图像提取由所述多个候选图像效果共享的共同特征，以及基于源神经网络的任务特定架构和第一任务向量，将所述共同特征恢复为与第一图像效果相对应的第一恢复图像。

在另一个总体方面，一种训练方法包括：接收第一训练数据集，所述第一训练数据集包括第一训练输入图像、指示多个候选图像效果之中的第一图像效果的第一任务向量、以及与第一图像效果相对应的第一训练目标图像，基于源神经网络的任务无关架构，从第一训练输入图像提取由所述多个候选图像效果共享的共同特征，基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为第一恢复图像，以及基于第一训练目标图像与第一恢复图像之间的差异以及与提取共同特征的步骤和恢复第一恢复图像的步骤相关联的计算量来更新源神经网络。

在又一总体方面，一种电子设备包括被配置为生成输入图像的相机，以及处理器。处理器可以接收输入图像和指示多个候选图像效果之中的第一图像效果的第一任务向量，基于源神经网络的任务无关架构，从输入图像提取由所述多个候选图像效果共享的共同特征，以及基于源神经网络的任务特定架构和第一任务向量，将所述共同特征恢复为与第一图像效果相对应的第一恢复图像。

根据以下具体实施方式、附图和权利要求，其他特征和方面将是显而易见的。

附图说明

图1示出了图像恢复设备的整体操作的示例。

图2示出了源神经网络和修改网络的示例。

图3示出了任务特定架构和控制架构的示例。

图4示出了基于第一任务向量的图像恢复方法的示例。

图5示出了训练设备的示例。

图6示出了源神经网络的架构的示例。

图7示出了通道选择操作的示例。

图8示出了架构控制网络的配置的示例。

图9示出了具有绝对目标的训练数据集的示例。

图10示出了具有相对目标的训练数据集的示例。

图11示出了训练数据集的配置的示例。

图12示出了基于第一训练数据集的训练方法的示例。

图13示出了图像恢复设备的示例。

图14示出了电子设备的示例。

贯穿附图和具体实施方式中，相同的附图参考标号指代相同的元件。附图可能未按比例绘制，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可能被夸大。

具体实施方式

提供以下详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开内容之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是显而易见的。例如，在此描述的操作顺序仅仅是示例，并且不限于在此阐述的顺序，而是除了必须以特定顺序发生的操作之外，可以如在理解本申请的公开内容之后显而易见的那样改变。此外，为了更清楚和简明，可以省略对已知特征的描述。

在此描述的特征可以以不同的形式体现，并且不应被解释为限于在此描述的示例。相反，提供在此描述的示例仅是为了说明实现在此描述的方法、设备和/或系统的许多可能方式中的一些，这在理解本申请的公开内容之后将是显而易见的。

在此使用的术语仅用于描述特定示例的目的，而不用于限制公开内容。如在此所使用的，除非上下文另有明确指示，否则单数形式旨在也包括复数形式。如在此所使用的，术语“和/或”包括相关联的所列项目中的任何一个和任何两个或更多个的任何组合。如在此所使用的，术语“包括”、“包含”和“具有”指定存在陈述的特征、数字、操作、元件、组件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数字、操作、元件、组件和/它们的组合。

另外，在此可以使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个不用于定义对应组件的本质、顺序或次序，而是仅用于将对应组件与一个或多个其他组件区分开。贯穿说明书，当元件(诸如，层、区域或基底)被描述为“在”另一元件“上”、“连接到”或“结合到”另一元件时，它可以直接“在”另一元件“上”、直接“连接到”或直接“结合到”另一元件，或者可以存在介于它们之间的一个或多个其他元件。相反，当元件被描述为“直接在”另一元件“上”、“直接连接到”或“直接结合到”另一元件时，不存在介于它们之间的其他元件。

除非另有定义，否则与本公开的理解一致并且在理解本公开之后，在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。术语(诸如，在通用词典中定义的那些术语)应被解释为具有与其在相关领域和本公开的上下文中的含义一致的含义，并且除非在此明确地如此定义，否则不应以理想化或过于形式化的意义来解释。

此外，在示例实施例的描述中，当认为在理解本申请的公开之后从而已知的结构或功能的详细描述将导致示例实施例的模糊解释时，将省略这样的描述。在下文中，将参照附图详细描述示例，并且附图中的相同参考标号始终表示相同的元件。

图1示出了图像恢复设备的整体操作的示例。参照图1，图像恢复设备100接收输入图像101和各种任务向量102，并输出各种恢复图像103。任务向量102可以对应于各种图像效果。任务向量102各自可以具有一个或多个维度。每个维度可以指示效果类型并且具有指示控制水平的值。控制水平可以指示由任务向量102控制的效果水平的大小。在劣化方面，效果类型和效果水平也可以分别被称为劣化类型和劣化水平。任务向量102可以由图像恢复设备100的设计者和/或操作者预先设置，或者由用户在他/她使用图像恢复设备100时设置。

各种图像效果的效果类型可以包括，例如，噪声效果、模糊效果、联合图像专家组(JPEG)压缩效果、白平衡效果、曝光效果、对比度效果、镜头失真效果及它们中的一个或多个的组合。例如，三个维度的任务向量的第一维度可以指示噪声效果，并且第一维度的值可以指示噪声水平。在该示例中，任务向量的第二维度可以指示模糊效果，并且第二维度的值可以指示模糊水平。在该示例中，任务向量的第三维度可以指示JPEG压缩效果，并且第三维度的值可以指示JPEG压缩水平。然而，示例不限于前述示例，并且因此任务向量可以具有不同的维度、不同的效果类型和/或不同的效果水平。

图像恢复可以包括应用这样的图像效果。在清晰图像是高质量图像的假设下，图像质量可以基于是否应用图像效果而被改善或劣化。例如，图像质量可以通过噪声去除效果而被改善，或者通过噪声添加效果而被劣化。图像恢复可以实现图像质量的这种改善和/或劣化。

图像恢复设备100将由任务向量102指示的图像效果应用于输入图像101以生成恢复图像103。图像恢复设备100通过将任务向量102应用于源神经网络110来确定修改网络120，并且使用修改网络120生成恢复图像103。使用源神经网络110和修改网络120，图像恢复设备100可以最小化图像恢复所需的操作(或计算)。

源神经网络110和修改网络120可以包括包含多个层的深度神经网络(DNN)。多个层可以包括输入层、至少一个隐藏层和输出层。

DNN可以包括全连接网络(FCN)、卷积神经网络(CNN)和递归神经网络(RNN)中的至少一个。例如，包括在神经网络中的多个层的一部分可对应于CNN，且多个层的另一部分可对应于FCN。在该示例中，CNN可以被称为卷积层，并且FCN可以被称为全连接层。

在CNN的情况下，输入到每个层的数据可以被称为输入特征图，并且从每个层输出的数据可以被称为输出特征图。输入特征图和输出特征图可以被称为激活数据。例如，当卷积层对应于输入层时，输入层的输入特征图可以是输入图像。在该示例中，可以通过输入特征图与权重内核之间的卷积运算来生成输出特征图。输入特征图、输出特征图和权重内核可以以张量为单位来区分。

在基于深度学习进行训练之后，神经网络可以通过映射彼此处于非线性关系的输入数据和输出数据来执行适合于训练目的的推断。深度学习是指用于解决问题(诸如，来自大数据集的图像或语音识别)的机器学习方法。深度学习还可以被解释为在使用准备的训练数据训练神经网络时找到能量被最小化的点的求解优化问题的处理。

通过深度学习的有监督或无监督学习，可以获得与神经网络的架构或模型相对应的权重。通过这样的权重，可以映射输入数据和输出数据。当神经网络具有足够大的宽度和深度时，神经网络可以具有足够大以实现功能的能力。当神经网络通过适当的训练处理学习足够大量的训练数据时，神经网络可以实现最佳性能。

神经网络可以被表示为预先训练，其中，“预先”表示在神经网络被启动“之前”。神经网络被启动可以表示神经网络准备好进行推断。例如，神经网络被启动可以表示神经网络被加载到存储器中，或者用于推断的输入数据在神经网络被加载到存储器中之后被输入到神经网络。

源神经网络110可以包括任务无关(task-agnostic，又称为任务无偏)架构、任务特定架构和控制架构。任务无关架构可以从输入图像101提取通常用于各自的任务的特征。该特征在此可以被称为共同特征。任务特定架构可以基于共同特征来提取特定于每个任务的特征。该特征在此可以被称为特定特征。任务特定架构可以将特定特征恢复为恢复图像。控制架构可以基于每个任务向量和任务无关架构来确定每个任务特定网络。将参照图2和图3详细描述源神经网络110和修改网络120。

图2示出了源神经网络和修改网络的示例。参照图2，源神经网络200包括任务无关架构201和任务特定架构202。当第一任务向量203被应用于源神经网络200时，第一修改网络210可以被生成。当第二任务向量204被应用于源神经网络200时，第二修改网络220可以被生成。还可以基于附加任务向量生成附加的修改网络，并且以下描述也可以应用于附加任务向量和附加的修改网络。

第一修改网络210可以基于输入图像205来恢复(或生成)第一恢复图像206。第一修改网络210包括任务无关网络211和第一任务特定网络212。可以通过将共享参数应用于任务无关架构201来确定任务无关网络211，并且可以通过将第一任务向量203应用于任务特定架构202来确定第一任务特定网络212。例如，可以通过使用第一任务向量203对任务特定架构202执行通道剪枝来确定第一任务特定网络212。这种剪枝可以实现操作或计算的减少。任务无关网络211可以从输入图像205提取共同特征，并且第一任务特定网络212可以从共同特征提取特定于由第一任务向量203指示的第一图像效果的第一特定特征。第一任务特定网络212可以将第一特定特征恢复为第一恢复图像206。

第二修改网络220可以基于输入图像205来恢复(或生成)第二恢复图像207。第二修改的网络220包括任务无关网络221和第二任务特定网络222。任务无关网络211和任务无关网络221可以是相同的。任务无关网络221可以通过将共享参数应用于任务无关架构201被确定，并且从输入图像205提取共同特征。共同特征可以与来自任务无关网络211的输出相同。因此，任务无关网络211的输出可以被重新用于第二恢复图像207的恢复，并且用于确定任务无关网络221的操作和任务无关网络221的特征提取操作可以被省略。可以通过将第二任务向量204应用于任务特定网络202来确定第二任务特定网络222。第二任务特定网络222可以从共同特征提取特定于由第二任务向量204指示的第二图像效果的第二特定特征，并且将第二特定特征恢复为第二恢复图像207。

图3示出了任务特定架构和控制架构的示例。参照图3，任务特定架构310包括多个通道选择器(例如，CS1、CS2、……、CSn)311、312、……、313和多个层(例如，第一层、第二层、……、第n层)315、316、……、317。控制架构320包括多个架构控制网络(例如，第一架构控制网络、第二架构控制网络、……、第n架构控制网络)321、322、……、323。架构控制网络321至323中的每个可以包括至少一个卷积层和至少一个激活函数。例如，卷积层可以是1×1卷积层，并且激活函数可以是修正线性单元(ReLU)函数。然而，示例不限于前述示例，并且除了1×1之外的不同维度的其他卷积层和/或非线性函数(诸如，sigmoid和双曲正切(tanh))可以被使用。通道选择器311至313和架构控制网络321至323的相应对可以分别对应于层315至317。

图像恢复设备可以通过将任务向量301应用于任务特定架构310来确定任务特定网络。

图像恢复设备可以使用架构控制网络321至323和通道选择器311至313来生成与层315至317中的每个相关联的通道选择信息。架构控制网络321至323中的每个可以基于任务向量来确定任务的通道重要性或通道的任务偏好。通道重要性或任务偏好可以是实向量的形式。从架构控制网络321至323输出的相应的通道重要性可以具有不同的值。通道选择器311至313中的每个可以基于相应的通道重要性来生成通道选择信息。通道选择器311至313中的每个可以通过将指示通道重要性的实向量的每个实元素转换为真或假来生成通道选择信息。通道选择信息可以是二进制向量的形式。

图像恢复设备可以基于层315至317中的每个的通道选择信息来确定与任务向量301相对应的任务特定网络。图像恢复设备可以通过基于通道选择信息对层315至317中的每个应用通道剪枝来确定任务特定网络。例如，在第一层315具有c个输出通道的情况下，可基于由第一通道选择器311生成的通道选择信息来移除c个输出通道的至少一部分。在该示例中，可以保留与“真”的通道选择信息相对应的通道，并且可以移除与“假”的通道选择信息相对应的通道。通道的移除或通道移除还可以指示跳过通道或通道跳过。例如，在权重内核被划分为与每个输出通道相对应的权重张量的情况下，图像恢复设备可以不将待被移除的目标通道的权重张量加载到寄存器中，而是执行对应层与剩余通道的权重张量的卷积运算。通过基于特定任务向量(例如，任务向量301)的这种通道跳过，可以实现特定于任务向量301的任务特定网络。

图4示出了基于第一任务向量的图像恢复方法的示例。可以顺序地或非顺序地执行将在下文中参照图4描述的操作410至操作430。例如，可以改变执行操作410至操作430的顺序，和/或可以并行执行操作410至操作430中的至少两个。操作410至操作430可以由图像恢复设备(例如，图1的图像恢复设备100和图13的图像恢复设备1300)和/或电子设备(例如，图14的电子设备1400)的至少一个组件(例如，图13的处理器1310和图14的处理器1410)执行。在下文中，为了简化描述，操作410至操作430将被描述为由图像恢复设备执行。

参照图4，在操作410中，图像恢复设备接收输入图像和指示多个候选图像效果之中的第一图像效果的第一任务向量。在操作420中，图像恢复设备基于源神经网络的任务无关架构从输入图像提取由候选图像效果共享的共同特征。例如，在操作420中，可以通过将共享参数应用于任务无关架构来确定任务无关网络，并且可以基于任务无关网络从输入图像提取共同特征。

在操作430中，图像恢复设备基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为与第一图像效果相对应的第一恢复图像。例如，在操作430中，可以通过将第一任务向量应用于任务特定架构来确定第一任务特定网络，并且可以基于第一任务特定网络将共同特征恢复为第一恢复图像。在该示例中，可以基于第一任务特定网络从共同特征提取特定于第一图像效果的第一特定特征，并且可以基于第一任务特定网络将第一特定特征恢复为与第一图像效果相对应的第一恢复图像。

另外，可以使用架构控制网络来生成与第一任务向量相对应的第一通道选择信息。可以通过基于第一通道选择信息移除任务特定架构的通道的至少一部分来确定第一任务特定网络。可以通过架构控制网络处理第一任务向量以生成第一实向量，并且可以通过经由转换函数将第一实向量的每个实元素转换为真或假来生成第一通道选择信息。

还可以基于第二任务向量执行操作410至操作430以用于图像恢复。例如，图像恢复设备可以接收与多个候选图像效果之中的第二图像效果相对应的第二任务向量，并且基于任务特定架构和第二任务向量来将共同特征恢复为与第二图像效果相对应的第二恢复图像。共同特征可以对应于在上述操作420中提取的共同特征，并且可以重新用于第二恢复图像的恢复。当从输入图像提取共同特征时，可以重新使用共同特征以响应于相同的输入图像生成(或恢复)各种图像效果的恢复图像。通过这种重新使用，可以减少用于特征提取的操作。对于图像恢复的更详细描述，可以参考参照图1至图3和图5至图14所描述的内容。

图5示出了训练设备的示例。参照图5，训练设备500包括处理器510和存储器520。处理器510可以基于训练数据来训练存储在存储器520中的源神经网络530。源神经网络530的训练可以包括更新源神经网络530和/或更新源神经网络530的参数(例如，权重)。源神经网络530可以预先被训练和/或在其使用期间在装置端(on-device)被训练。训练数据可以包括训练输入和训练输出。训练输出也可以被称为训练目标。训练输入可以包括训练输入图像和任务向量，并且训练输出可以包括训练目标图像。

源神经网络530可以包括任务无关架构、任务特定架构和控制架构。训练设备500可以通过任务特定剪枝和任务无关剪枝来搜索有效的架构。任务特定剪枝可以实现学习如何自适应地移除与每个任务无关的网络参数。任务无关剪枝可以实现学习如何通过贯穿各种任务共享网络的初始层来找到有效的架构。

可控图像恢复或图像调制可以针对每个效果类型恢复不同效果的不同图像。例如，在存在D个效果类型的情况下，任务向量

可以对第m图像恢复任务(即，第m图像效果，m∈{1,2,...,M})进行编码，t_m(t_m,d∈[0,1])的每个第d元素可以确定对应的第d劣化类型的控制水平，并且

表示具有D个效果类型的任务向量的集合。在神经网络的训练期间，任务向量t_m可以连同输入图像和目标图像的相应训练对一起被随机采样。在推断期间，任务向量t_m可以对应于确定图像效果的控制变量。

对于真正劣化的图像，可以假设不知道用于针对预定测量值(例如，峰值信噪比(PSNR)、学习感知图像块相似性(LPIPS)、用户偏好等)生成最好的图像效果的最佳任务向量。因此，为了找到这样的任务向量，可能需要可控图像恢复网络对每个输入图像生成大量图像效果的处理或操作。在这种情况下，可以将在满足用户偏好或请求之前针对给定任务生成的任意数量的图像效果指示为M。

在先前任务的架构处于固定状态的情况下，可以对每个图像效果执行整个网络推断。根据示例实施例，可以提供网络架构，该网络架构在准确地生成每个输入图像的各种图像效果时，最小化恢复处理的计算成本。用于生成给定的M个图像效果的平均计算成本可以由公式1表示。

[公式1]

在公式1中，

表示用于使用网络架构f、输入图像x和任务向量t_m生成第m图像效果的每秒浮点运算(FLOPS)或延迟。任务特定剪枝可以搜索特定于每个图像效果的有效网络架构。这可以指示如公式2所表示的平均计算成本。

[公式2]

固定架构f可以用特定于第m图像效果的有效网络f_m代替，第m图像效果具有任务特定剪枝所需的辅助计算成本∈_m。随后，任务无关剪枝可以确定贯穿整个任务共享初始层的特征图以实现特征的重新使用的任务无关的架构f^a。这可以由公式3表示。

[公式3]

在公式3中，

表示在f^a之后的f_m的剩余任务特定层，并且

表示f^a(x)的特征图输出。特征图输出可以对应于各自的任务的共同特征。因此，对于所有M个图像效果，可以请求

的单个计算或运算，并且可以移除关于共享的初始层的特征图的重复的M-1个计算或运算。这可以由公式4表示。

[公式4]

在公式4中，

表示关于f^a的单次计算或运算的计算成本。训练设备500可以基于损失函数来训练源神经网络530。损失函数可以包括与恢复性能相关联的第一损失分量，以及与计算量或操作量相关联的第二损失分量。训练设备500可以训练源神经网络530以提高源神经网络530的恢复性能，并减少与源神经网络530相关联的计算量。例如，训练设备500可以将响应于训练输入(或训练输入图像和任务向量)的源神经网络530的输出(或恢复图像)与训练输出(或训练目标图像)进行比较，并且基于比较的结果确定损失函数的第一损失分量。另外，训练设备500可以在训练源神经网络530以减少计算量时最小化恢复性能的损失。例如，可以通过增加任务无关架构中包括的层的数量和/或将要从任务特定架构移除的通道的数量来实现计算量的这种减少。

训练设备500的搜索算法可以是基于超网络的方法，基于超网络的方法旨在从被称为超网络的大型网络找到每次执行的有效或最佳网络。搜索处理可以在操作或组件或元件的搜索空间中被执行，并且搜索处理的每个组合可以提供来源于超网络的候选网络。源神经网络530可以对应于超网络，并且来源于源神经网络530的修改网络可以对应于候选网络。训练设备500可以以端到端的方式与架构控制器一起确定层是否需要在任务之间被共享以及通道是否需要从超网络被移除。

图6示出了源神经网络的架构的示例。参照图6，源神经网络600包括任务无关架构610、任务特定架构620和控制架构630。任务无关架构610包括多个层6101至6103和多个通道选择器(CS)6111至6114。任务无关架构610还包括与将通道选择器6111的输出添加到通道选择器6114的输出的操作相对应的跳过连接6121。层6101至6103可以对应于卷积运算和/或激活函数的运算。例如，层6101和6103可以对应于3×3卷积运算，并且层6102可以对应于3×3卷积运算和激活操作(例如，ReLU操作)。层6101的步长可以是层6102和6103的2倍大。可以不同地调整像3×3和/或2倍这样的数字。

任务特定架构620包括特征提取部分621和图像恢复部分622。特征提取部分621包括多个通道选择器6211至6213以及多个层6215和层6216。特征提取部分621还包括乘法运算和加法运算，乘法运算将通道选择器6213的输出与任务向量t_m通过卷积块6129的卷积结果相乘，加法运算通过跳过连接6218将任务无关架构610的输出与乘法运算的结果相加。层6215和层6216可对应于卷积运算和/或激活函数的运算。例如，层6215可以对应于3×3卷积运算和激活操作(例如，ReLU操作)，并且层6216可以对应于3×3卷积运算。层6215和层6216的步长可以与层6102和层6103的步长相同。

图像恢复部分622包括多个层6221和层6222以及通道选择器6225。图像恢复部分622还包括乘法运算和加法运算，乘法运算通过卷积块6229将层6222的输出与任务向量t_m的卷积结果相乘，加法运算通过跳过连接6227将任务无关架构610的输入与乘法运算的结果相加。控制架构630包括多个架构控制网络6301至6304。层6221和层6222可以对应于卷积运算、激活函数的运算和像素重组操作中的至少一个。例如，层6221可以对应于a×2像素重组运算、3×3卷积运算和激活操作(例如，ReLU操作)，并且层6222可以对应于3×3卷积运算。通过层6101的两倍步长和层6221的两倍像素重组，输入图像和输出图像的大小可以保持相同。

训练设备可以通过确定每个通道对于给定任务或所有任务是重要还是不重要来搜索有效的网络。为了找到任务特定架构620，可以保持对于给定任务重要的通道，并且可以移除与任务不相关的通道。在下文中，任务特定架构也将被指示为f^s。类似地，在任务无关架构610的情况下，可以保持对大多数任务重要的通道，并且可以移除与任务不相关的通道。在下文中，任务无关架构也将被指示为f^a。f^a可以由任务的通道重要性或通道的任务偏好来确定，

并且

通道重要性

可以对应于控制架构630的输出。尽管将在下文中被描述，但是可以基于通道重要性

来确定通道重要性z^a。这里，m、N和C分别表示任务索引、通道选择模块索引和通道索引，并且

表示任务的通道重要性或通道的任务偏好的集合。

图7示出了通道选择操作的示例。参照图7，通道选择器710可以通过将通道重要性701转换为通道选择信息702并基于通道选择信息702从超级特征图705选择(或移除)至少一部分通道来确定修改特征图706。通道重要性701可以对应于实向量，并且通道选择信息702可以对应于二进制向量。通道选择器710可通过经由转换函数711将实向量的每个实元素转换为真或假来确定二进制向量。转换函数711可以对应于由公式5表示的可微门控函数。

[公式5]

在公式5中，*∈{a，s}，并且z^s表示

的分量，z^a表示通道重要性。

[·]表示指示器函数，该指示器函数在输入为真时返回1，否则返回0。因此，可以确定

和z^a的每个参数，使得关于f^s和f^a在超网络中激活或去激活对应的通道。在训练期间，可以通过经由乘法运算712将超级特征图705乘以通道选择信息702来生成修改特征图706。在推断期间，乘法运算712可以用跳过处理代替，因此计算量的减少可以被实现。例如，可以跳过与“假”的通道选择信息702相对应的权重张量的加载，并且可以仅选择性地加载与“真”相对应的权重张量以用于卷积运算。

图8示出了架构控制网络的配置的示例。参照图8，架构控制网络f^c 810包括卷积层(例如，1×1卷积层)811和激活函数(例如，ReLU)812，并且可以被配置为全连接网络。f^c可以自适应地修改f^s的网络架构。f^c可以如公式6所表示的那样定义。

[公式6]

在公式6中，

表示第n通道选择器的架构控制网络。

表示通道的任务偏好，并且因为每个任务向量自适应地激活超网络中的通道，所以

可以是t_m的函数。

表示第n通道的任务偏好。

返回参照图6，为了搜索任务无关层，可以通过贯穿整个训练从任务收集每个通道的偏好

来确定每个通道的偏好

如下面的公式7所表示的。

[公式7]

在公式7中，

可以被初始化为值0。c表示第n通道选择模块的通道索引，α表示指数移动平均(exponential moving average)的超参数。

可以用于通过计算如公式8所示的一致性标准来估计大小为M的小批次中的任务关于每个通道的偏好的一致性。

[公式8]

在公式8中，γ表示阈值超参数。公式8是否成立可以由布尔变量η指示。当公式8成立(例如，η＝1)时，大多数任务可以同意剪枝通道并共享层。然而，取决于当前训练小批次中的任务，公式8的条件可以成立或不成立。因此，类似于公式7，可以贯穿训练通过S_n累积η，以获得来自整个数据集的任务的一致性，如公式9所示。

[公式9]

在公式9中，S_n可以被初始化为0。较大的S_n值可以指示较大数量的任务可以就第n通道的偏好达成一致，并且较大数量的策略可以偏好变得任务无关的第n通道选择模块。任务无关层可以位于网络的初始阶段，实现任务之间的特征的重新使用。例如，在所有第n通道选择器和先前通道选择器具有如公式10所示的大于给定阈值γ的S_i的情况下，第n通道选择模块可以是任务无关的。这可以由公式10表示。

[公式10]

在公式10中，

表示行列式向量，

表示N维的二进制向量。在第n通道选择器是任务无关的情况下，φ的第n分量φ_n可以是1。

为了搜索有效的架构，可以使用正则项。

表示用于图像恢复任务的标准

损失函数。资源正则函数

可以通过公式4计算当前得到的架构的资源量。正则函数

可以用于最大化任务无关层的数量，以用于更有效地生成各种图像效果。总体目标函数可以由公式11表示。

[公式11]

在公式11中，θ表示恢复网络f(例如，f^s和f^a)的可学习参数，并且ψ表示架构控制网络f^c的可学习参数。λ₁和λ₂表示用于平衡资源正则函数

(·)和正则函数

的超参数。为了使网络在较少(或最小)的性能代价下实现任务无关，

可以将惩罚分配给任务之间关于通道重要性的不一致，如公式12所示。

[公式12]

在公式12中，n＝0的层可以指示输入图像，并且因为输入图像关于给定任务的各种图像效果被共享，所以φ₀＝1。在公式11中，

可以对应于与恢复性能相关联的第一损失分量，

和

可以对应于与计算量相关联的第二损失分量。第一损失分量可以用于训练源神经网络，使得训练目标图像与恢复图像之间的差异被减小。第二损失分量可以用于训练源神经网络，使得包括在任务无关架构中的层的数量增加，并且计算量因此被减少。

图9示出了具有绝对目标的训练数据集的示例。典型的图像恢复操作可以被定义为将各种劣化水平的劣化图像恢复为原始图像。例如，即使训练输入图像911至913具有不同的劣化水平(例如，劣化水平1至3)，它们也可以与相同劣化水平(例如，劣化水平0)的训练目标图像921形成相应的训练对。在图9的示例中，训练目标图像921可对应于绝对目标。

图10示出了具有相对目标的训练数据集的示例。图11示出了训练数据集的配置的示例。可控图像恢复可以旨在生成各种视觉上令人满意的图像效果。然而，基于集中于恢复为单个原始图像的典型训练方法，可能无法实现这样的目标。在一个示例中，恢复任务可以被重新定义为通过控制劣化(或效果)水平来分配各种效果。例如，训练输入图像1011、1012和1013中的每个可以与训练目标图像1021、1022和1023中的任何一个配对。在图10的示例中，训练目标图像1021、1022和1023中的每个可以对应于相对目标。

恢复的程度可以作为指示输入与目标之间的水平差异的控制水平给出。例如，将训练输入图像1011恢复为训练目标图像1021、将训练输入图像1012恢复为训练目标图像1022以及将训练输入图像1013恢复为训练目标图像1023可以对应于控制水平0。另外，将训练输入图像1012恢复为训练目标图像1021和将训练输入图像1013恢复为训练目标图像1022可以对应于控制水平1。另外，将训练输入图像1013恢复为训练目标图像1021可以对应于控制水平2。相反，也可以存在用于增加劣化效果的-1和-2的控制水平。基于这样的控制水平，可以如公式13所表示的那样定义任务向量t_m。

[公式13]

在公式13中，lⁱⁿ,

分别表示输入图像和目标图像的劣化或效果水平。对于第d劣化类型，它可以被定义为

例如，参照图11，图像1101到图像1106可具有标准偏差σ＝0至50的噪声。基于这样的噪声，可以将劣化水平l＝0至1分配给图像1101至1106。

的情况可以对应于目标图像比输入图像劣化少的场景(即，输入图像被恢复为更高质量的目标图像的场景)。相比之下，

的情况可以对应于目标图像比输入图像劣化的场景(即，劣化效果被添加到输入图像的场景)。

例如，在第二图像1102对应于第一训练输入图像并且第四图像1104对应于第一训练目标图像的情况下，第一任务向量可以指示将噪声水平减少0.4的第一图像效果。在该示例中，第一训练输入图像、第一任务向量和第一训练目标图像可以形成第一训练集。例如，在第三图像1103对应于第二训练输入图像并且第五图像1105对应于第二训练目标图像的情况下，第二任务向量可以指示将噪声水平减少0.4的第二图像效果。在该示例中，第二训练输入图像、第二任务向量和第二训练目标图像可以形成第二训练集。在这些示例中，第二训练输入图像的输入效果水平与第二训练目标图像的目标效果水平之间的差可以与第一训练输入图像的输入效果水平与第一训练目标图像的目标效果水平之间的差相同。因此，第一任务向量和第二任务向量可以具有相同的值，并且第一任务向量和第二任务向量可以相应地设置用于用相对目标进行训练的方向，该相对目标是0.4的水平差。对于每个小批次，训练图像对可以关于单个劣化类型的均匀分布、所有劣化类型的二进制分布以及所有劣化类型的均匀分布以相同的方式采样。

图12示出了基于第一训练数据集的训练方法的示例。可以顺序地或非顺序地执行将在下文中参照图12描述的操作1210至操作1240。例如，可以改变执行操作1210至操作1240的顺序和/或可以并行执行操作1210至操作1240中的至少两个。操作1210至操作1240可以由训练设备(例如，图5的训练设备500)和/或电子设备(例如，图14的电子设备1400)中包括的至少一个组件(例如，图5的处理器510和图14的处理器1410)执行。在下文中，为了简化描述，操作1210至操作1240将被描述为由训练设备执行。

参照图12，在操作1210中，训练设备接收第一训练数据集，第一训练数据集包括第一训练输入图像、指示多个候选图像效果之中的第一图像效果的第一任务向量、以及与第一图像效果相对应的第一训练目标图像。在操作1220中，训练设备基于源神经网络的任务无关架构，从第一训练输入图像提取由候选图像效果共享的共同特征。在操作1230中，训练设备基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为第一恢复图像。在操作1240，训练设备基于第一训练目标图像与第一恢复图像之间的差异以及与共同特征的提取和第一恢复图像的恢复相关联的计算量来更新源神经网络。例如，可以更新源神经网络，使得任务无关架构中包括的层的数量增加，并且计算量相应地减少。

第一任务向量可以包括第一图像效果的每个效果类型的控制水平，并且控制水平的值可以通过第一训练输入图像的输入效果水平与第一训练目标图像的目标效果水平之间的差来确定。例如，在存在包括第二训练输入图像、指示第二图像效果的第二任务向量和与第二图像效果相对应的第二训练目标图像的第二训练数据集，并且第二训练输入图像的输入效果水平与第二训练目标图像的目标效果水平之间的差和第一训练输入图像的输入效果水平与第一训练目标图像的目标效果水平之间的差相同的情况下，第二任务向量可以具有与第一任务向量相同的值。对于训练的更详细描述，可以参考上面参照图1至图11、图13和图14所描述的内容。

图13示出了图像恢复设备的示例。参照图13，图像恢复设备1300包括处理器1310和存储器1320。存储器1320可以连接到处理器1310，并且存储由处理器1310可执行的指令以及将要由处理器1310处理的数据或由处理器1310处理的数据。存储器1320可以包括非暂时性计算机可读介质(例如，高速随机存取存储器(RAM))和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储装置、闪存装置或其他非易失性固态存储器装置)。

处理器1310可以执行存储在存储器1320中的指令，以执行上面参照图1至图12和图14描述的操作。在一个示例中，处理器1310可以接收输入图像和指示多个候选图像效果之中的第一图像效果的第一任务向量，基于源神经网络的任务无关架构从输入图像提取由候选图像效果共享的共同特征，并且基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为与第一图像效果相对应的第一恢复图像。对于图像恢复设备1300的更详细描述，可以参考参照图1至图12和图14所描述的内容。

图14示出了电子设备的示例。参照图14，电子设备1400包括处理器1410、存储器1420、相机1430、存储装置1440、输入装置1450、输出装置1460和网络接口1470。这些组件可以通过通信总线1480彼此通信。例如，电子设备1400可以被实现为移动装置(例如，移动电话、智能电话、个人数字助理(PDA)、上网本、平板计算机、膝上型计算机等)、可穿戴装置(例如，智能手表、智能手环、智能眼镜等)、计算装置(例如，台式计算机、服务器等)、家用电器(例如，电视(TV)、智能TV、冰箱等)、安全装置(例如，门锁等)和车辆(例如，智能车辆等)的至少一部分。电子设备1400可以在结构上和/或功能上包括图1的图像恢复设备100、图5的训练设备500和图13的图像恢复设备1300中的至少一个。

处理器1410可以执行将要在电子设备1400中执行的功能和指令。例如，处理器1410可以处理存储在存储器1420或存储装置1440中的指令。处理器1410可执行上文参照图1到图13所描述的操作或方法中的一个或多个或全部。在一个示例中，处理器1410可以接收输入图像和指示多个候选图像效果之中的第一图像效果的第一任务向量，基于源神经网络的任务无关架构从输入图像提取由候选图像效果共享的共同特征，并且基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为与第一图像效果相对应的第一恢复图像。存储器1420可以包括计算机可读存储介质或装置。存储器1420可以存储将要由处理器1410执行的指令，并且在由电子设备1400执行软件和/或应用期间存储相关信息。

相机1430可以生成输入图像(例如，照片和/或视频)。存储装置1440可以包括计算机可读存储介质或装置。存储装置1440可以存储比存储器1420存储的信息大的量的信息，并且长时间存储信息。存储装置1440可以包括例如磁硬盘、光盘、闪存、软盘或在相关技术领域中已知的另一种形式的非易失性存储器。

输入装置1450可以经由键盘和鼠标通过传统的输入方法以及通过新的输入方法(例如，触摸输入、语音输入和图像输入)从用户接收输入。输入装置1450可以包括例如键盘、鼠标、触摸屏、麦克风以及可以从用户检测输入并将检测到的输入传送到电子设备1400的其他装置。输出装置1460可以通过视觉通道、听觉通道或触觉通道向用户提供电子设备1400的输出。输出装置1460可以包括例如显示器、触摸屏、扬声器、振动生成器和可以向用户提供输出的其他装置。网络接口1470可以通过有线或无线网络与外部装置通信。

在此关于图1至图3、图5、图6、图13和图14描述的图像恢复设备以及其他设备、装置、单元、模块和组件由硬件组件实现。在适当的情况下，可以用于执行本申请中描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，执行本申请中描述的操作的硬件组件中的一个或多个由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以定义的方式响应并执行指令以实现期望结果的任何其他装置或装置的组合)实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行而访问、操纵、处理、创建和存储数据。为简单起见，单数术语“处理器”或“计算机”可以在本申请中描述的示例的描述中被使用，但是在其他示例中，多个处理器或计算机可以被使用，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器实现，且一个或多个其它硬件组件可由一个或多个其它处理器、或者另一处理器及另一控制器实现。一个或多个处理器、或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同处理配置中的任何一个或多个，不同处理配置的示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。

执行本申请中描述的操作的图1-14中所示的方法由如上所述实现的执行指令或软件以执行本申请中描述的由方法执行的操作的计算硬件(例如，由一个或多个处理器或计算机)执行。例如，单个操作、或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器、或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其他处理器、或者另一处理器和另一控制器执行。一个或多个处理器、或者处理器和控制器可以执行单个操作、或者两个或更多个操作。

用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件被编写为计算机程序、代码段、指令或它们的任何组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域普通技术的程序员可以基于附图中所示的框图和流程图以及说明书中的相应描述容易地编写指令或软件，附图中所示的框图和流程图以及说明书中的相应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。

用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡型存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，该任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机，使得处理器或计算机可以执行指令。

虽然本公开包括具体示例，但是在理解本申请的公开内容之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变。在此描述的示例仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行，和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式组合，和/或由其他组件或它们的等同物替换或补充，则可以实现合适的结果。

因此，公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化应被解释为包括在公开中。

Claims

1.一种图像恢复方法，包括：

接收输入图像和指示多个候选图像效果之中的第一图像效果的第一任务向量；

基于源神经网络的任务无关架构，从输入图像提取由所述多个候选图像效果共享的共同特征；以及

基于源神经网络的任务特定架构和第一任务向量，将所述共同特征恢复为与第一图像效果相对应的第一恢复图像。

2.如权利要求1所述的图像恢复方法，其中，恢复的步骤包括：

通过将第一任务向量应用于任务特定架构来确定第一任务特定网络；以及

基于第一任务特定网络将所述共同特征恢复为第一恢复图像。

3.如权利要求2所述的图像恢复方法，其中，恢复的步骤包括：

基于第一任务特定网络从所述共同特征提取特定于第一图像效果的第一特定特征；以及

基于第一任务特定网络将第一特定特征恢复为与第一图像效果相对应的第一恢复图像。

4.如权利要求2所述的图像恢复方法，其中，确定第一任务特定网络的步骤包括：

使用架构控制网络生成与第一任务向量相对应的第一通道选择信息；以及

通过基于第一通道选择信息移除任务特定架构的多个通道的至少一部分来确定第一任务特定网络。

5.如权利要求4所述的图像恢复方法，其中，生成第一通道选择信息的步骤包括：

通过经由架构控制网络处理第一任务向量来生成第一实向量；以及

通过经由转换函数将第一实向量的每个实元素转换为真或假来生成第一通道选择信息。

6.如权利要求1所述的图像恢复方法，其中，提取的步骤包括：

通过将共享参数应用于任务无关架构来确定任务无关网络；以及

基于任务无关网络从输入图像提取所述共同特征。

7.如权利要求1所述的图像恢复方法，还包括：

接收与所述多个候选图像效果之中的第二图像效果相对应的第二任务向量；以及

基于任务特定架构和第二任务向量，将所述共同特征恢复为与第二图像效果相对应的第二恢复图像，

其中，所述共同特征被重新用于恢复第二恢复图像的步骤。

8.如权利要求1至7中的任意一项所述的图像恢复方法，其中，第一任务向量包括第一图像效果的每个效果类型的控制水平。

9.一种训练方法，包括：

接收包括第一训练输入图像、指示多个候选图像效果之中的第一图像效果的第一任务向量、以及与第一图像效果相对应的第一训练目标图像的第一训练数据集；

基于源神经网络的任务无关架构，从第一训练输入图像提取由所述多个候选图像效果共享的共同特征；

基于源神经网络的任务特定架构和第一任务向量将共同特征恢复为第一恢复图像；以及

基于第一训练目标图像与第一恢复图像之间的差异以及与提取共同特征的步骤和恢复第一恢复图像的步骤相关联的计算量来更新源神经网络。

10.如权利要求9所述的训练方法，其中，更新源神经网络的步骤包括：

更新源神经网络，使得任务无关架构中包括的层的数量增加并且所述计算量减少。

11.如权利要求9或10所述的训练方法，其中，第一任务向量包括第一图像效果的每个效果类型的控制水平，

其中，控制水平的值通过第一训练输入图像的输入效果水平与第一训练目标图像的目标效果水平之间的差被确定。

12.如权利要求11所述的训练方法，其中，当存在包括第二训练输入图像、指示所述多个候选图像效果之中的第二图像效果的第二任务向量、以及与第二图像效果相对应的第二训练目标图像的第二训练数据集，并且第二训练输入图像的输入效果水平与第二训练目标图像的目标效果水平之间的差与第一训练输入图像的输入效果水平与第一训练目标图像的目标效果水平之间的差相同时，第二任务向量具有与第一任务向量相同的值。

13.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使所述处理器执行根据权利要求1至8中的任意一项所述的图像恢复方法或者根据权利要求9至12中的任意一项所述的训练方法。

14.一种电子设备，包括：

相机，被配置为生成输入图像；以及

处理器，

其中，所述处理器被配置为：

15.如权利要求14所述的电子设备，其中，处理器被配置为：

16.如权利要求15所述的电子设备，其中，处理器被配置为：

17.如权利要求15所述的电子设备，其中，处理器被配置为：

18.如权利要求17所述的电子设备，其中，所述处理器被配置为：

19.如权利要求14所述的电子设备，其中，处理器被配置为：

基于任务无关网络从输入图像提取所述共同特征。

20.如权利要求14至19中的任意一项所述的电子设备，其中，处理器被配置为：

其中，所述共同特征被重新用于恢复第二恢复图像的处理。