CN116997914A - 图像处理装置及其操作方法 - Google Patents

Abstract

公开了一种图像处理装置，包括：用于存储一个或多个指令的存储器；以及处理器，执行存储在存储器中的一个或多个指令，以使用包括一个或多个卷积层的卷积神经网络，从而获取与包括在第一图像中的多个像素中的每个像素对应的核系数信息，基于核系数信息和包括与多个像素的一个或多个梯度特性对应的多个梯度核的梯度核集来生成包括与每个像素对应的核的空间变化核，并且将包括在空间变化核中的核应用于每个像素周围的区域对第一图像进行滤波，从而生成第二图像。

Description

图像处理装置及其操作方法

技术领域

本公开涉及一种用于通过使用神经网络来增强图像质量的图像处理装置及其操作方法。

背景技术

随着计算机技术的发展，数据流量呈指数增长，并且人工智能(AI)已成为引领未来创新的重要趋势。因为AI可以模仿人们的思考方式，所以它可以以许多方式实际地应用于许多行业。代表性的AI技术包括模式识别、机器学习、专家系统、神经网络、自然语言处理等。

神经网络经由数学表达式来模拟人类生物神经元的特征，并使用模拟人类能力的称为学习的算法。通过该算法，神经网络可以生成输入数据与输出数据之间的映射，并且生成这种映射的能力可以表示为神经网络的学习能力。此外，神经网络具有基于训练结果针对未被用于训练的输入数据生成正确的输出数据的泛化能力。

当通过使用深度神经网络(例如，深层卷积神经网络(CNN))执行诸如图像的去噪的图像处理时，将相同的核(滤波器)应用于图像中包括的每个像素导致图像处理的性能劣化的问题。因此，在图像处理期间，可能需要通过根据图像中包括的每个像素的梯度特性应用不同的核来执行图像处理。

发明内容

问题的技术解决方案

根据本公开的各种实施例，提供了一种能够通过使用卷积神经网络根据图像中包括的每个像素的梯度特性执行自适应图像处理的图像处理装置及其操作方法。

本公开的有益效果

根据本公开的实施例的图像处理装置可以根据图像中包括的多个像素中的每个像素的梯度特性应用不同的核(滤波器)，从而实现根据像素的梯度特性的自适应图像处理。

根据本公开的实施例的图像处理装置可以通过使用卷积神经网络来执行去噪以去除噪声，同时保留输入图像的边缘和纹理细节。

根据本公开的实施例的图像处理装置可以通过根据质量信息对图像中包括的每个区域应用不同的核来执行图像处理，因此可以提高图像处理的性能。

附图说明

图1是示出根据实施例的由图像处理装置执行的通过使用图像处理网络来处理图像的操作的示图。

图2是示出根据实施例的图像处理网络的示图。

图3是示出根据实施例的获得核系数信息的方法的参考图。

图4和图5是示出根据实施例的在卷积层中执行的卷积运算的参考图。

图6是示出根据实施例的生成空间变化核的方法的参考图。

图7是示出根据另一实施例的生成空间变化核的方法的参考图。

图8是示出根据实施例的将空间变化核应用于第一图像的方法的参考图。

图9是示出根据实施例的图像处理装置的操作方法的流程图。

图10是示出根据另一实施例的图像处理装置的操作方法的流程图。

图11是根据实施例的图像处理装置的配置的框图。

最优方式

根据本公开的一方面，一种图像处理装置包括：存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以进行以下操作：使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的每个像素对应的核系数信息；基于梯度核集和所述核系数信息，生成包括与所述每个像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及通过将包括在所述空间变化核中的所述核应用于以所述每个像素为中心的区域并对所述第一图像进行滤波，生成第二图像。

所述多个像素的所述一个或多个梯度特性可以包括由所述多个像素表示的强度特性、角度特性或相干性中的至少一个。

可以使用训练数据集来训练所述多个梯度核，所述训练数据集包括低分辨率图像和分别与所述低分辨率图像对应的高分辨率图像，并且可以根据包括在所述低分辨率图像中的多个图像块的梯度特性来训练所述多个梯度核。

所述多个梯度核可以包括根据由所述多个图像块表示的强度特性、角度特性和相干性训练的多个核。

包括在与所述每个像素对应的所述核系数信息中的核系数的数量可以与包括在所述梯度核集中的所述多个梯度核的数量相同，并且包括在所述核系数信息中的所述核系数中的每个核系数可以表示与所述多个梯度核中的每个梯度核对应的权重。

所述空间变化核可以包括与所述第一图像中包括的第一像素对应的第一核和与所述第一图像中包括的第二像素对应的第二核，并且所述处理器还可以被配置为执行所述一个或多个指令以进行以下操作：通过获得关于所述第一像素的第一核系数信息与所述多个梯度核的加权和来生成所述第一核，以及通过获得关于所述第二像素的第二核系数信息与所述多个梯度核的加权和来生成所述第二核。

所述处理器还可以被配置为执行所述一个或多个指令以进行以下操作：通过将所述第一核应用于以所述第一像素为中心的第一区域并对所述第一图像进行滤波并且将所述第二核应用于以所述第二像素为中心的第二区域并对所述第一图像进行滤波来生成所述第二图像。

所述处理器还可以被配置为执行所述一个或多个指令以进行以下操作：获得关于所述第一图像中包括的至少一个区域的质量信息，基于所述质量信息从多个梯度核集中选择所述梯度核集，以及基于所述核系数信息和所述梯度核集，生成所述核。

所述处理器还可以被配置为执行所述一个或多个指令以进行以下操作：获得关于所述第一图像中包括的第一区域的第一质量信息；基于所述多个梯度核集中与所述第一质量信息对应的第一梯度核集和与包括在所述第一区域中的第一像素对应的第一核系数信息，生成与所述第一像素对应的第一核；获得关于所述第一图像中包括的第二区域的第二质量信息；以及基于所述多个梯度核集中与所述第二质量信息对应的第二梯度核集和与包括在所述第二区域中的第二像素对应的第二核系数信息，生成与所述第二像素对应的第二核。

根据本公开的一方面，一种图像处理装置的操作方法包括：使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的每个像素对应的核系数信息；基于梯度核集和所述核系数信息，生成包括与所述每个像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及通过将包括在所述空间变化核中的所述核应用于以所述每个像素为中心的区域并对所述第一图像进行滤波，生成第二图像。

所述多个像素的所述一个或多个梯度特性可以包括由所述多个像素表示的强度特性、角度特性或相干性中的至少一个。

可以使用训练数据集来训练所述多个梯度核，所述训练数据集包括低分辨率图像和分别与所述低分辨率图像对应的高分辨率图像，并且可以根据包括在所述低分辨率图像中的多个图像块的梯度特性来训练所述多个梯度核。

所述多个梯度核可以包括根据由所述多个图像块表示的强度特性、角度特性和相干性训练的多个核。

包括在与所述每个像素对应的所述核系数信息中的核系数的数量可以与包括在所述梯度核集中的所述多个梯度核的数量相同，并且包括在所述核系数信息中的所述核系数中的每个核系数可以表示与所述多个梯度核中的每个梯度核对应的权重。

所述空间变化核包括与所述第一图像中包括的第一像素对应的第一核和与所述第一图像中包括的第二像素对应的第二核，生成所述空间变化核可以包括：通过获得关于所述第一像素的第一核系数信息与所述多个梯度核的加权和来生成所述第一核，以及通过获得关于所述第二像素的第二核系数信息与所述多个梯度核的加权和来生成所述第二核。

生成所述第二图像可以包括：将所述第一核应用于以所述第一像素为中心的第一区域并对所述第一图像进行滤波，以及将所述第二核应用于以所述第二像素为中心的第二区域并对所述第一图像进行滤波。

所述操作方法还可以包括：获得关于所述第一图像中包括的至少一个区域的质量信息，基于所述质量信息从多个梯度核集中选择所述梯度核集，以及，生成所述空间变化核还可以包括：基于所述核系数信息和所述梯度核集，生成所述核。

获得所述质量信息可以包括：获得关于所述第一图像中包括的第一区域的第一质量信息；并且获得关于所述第一图像中包括的第二区域的第二质量信息，以及，生成所述空间变化核还可以包括：基于所述多个梯度核集中与所述第一质量信息对应的第一梯度核集和与包括在所述第一区域中的第一像素对应的第一核系数信息，生成与所述第一像素对应的第一核；以及基于所述多个梯度核集中与所述第二质量信息对应的第二梯度核集和与包括在所述第二区域中的第二像素对应的第二核系数信息，生成与所述第二像素对应的第二核。

根据本公开的一个方面，一种非暂时性计算机可读记录介质中存储有程序，所述程序在由至少一个处理器执行时使所述至少一个处理器进行以下操作：使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的每个像素对应的核系数信息；基于梯度核集和所述核系数信息，生成包括与所述每个像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及通过将包括在所述空间变化核中的所述核应用于以所述每个像素为中心的区域并对所述第一图像进行滤波，生成第二图像。

根据本公开的一方面，一种图像处理装置包括：存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行存储在所述存储器中的所述一个或多个指令进行以下操作：使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的像素对应的核系数信息；基于梯度核集和所述核系数信息，生成包括与所述像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及通过将包括在所述空间变化核中的所述核应用于以所述像素为中心的区域并对所述第一图像进行滤波，生成第二图像。

上述方法可以使用机器学习或人工智能模型在设备(即电子装置)上全部或部分地执行。该模型可以由在针对人工智能模型处理指定的硬件结构中设计的人工智能专用处理器来处理。可以通过训练获得人工智能模型。这里，“通过训练获得”是指通过训练算法用多条训练数据训练基本人工智能模型来获得被配置为执行期望特征(或目的)的预定义操作规则或人工智能模型。人工智能模型可以包括多个神经网络层。多个神经网络层中的每个神经网络层包括多个权重值，并且通过前一层的计算结果与多个权重值之间的计算来执行神经网络计算。

如上所述，本技术可以使用AI模型来实现。可以通过非易失性存储器、易失性存储器和处理器来执行与AI相关联的功能。处理器可以包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、纯图形处理单元(诸如图形处理单元(GPU)、视觉处理单元(VPU))和/或AI专用处理器(诸如神经处理单元(NPU)。一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(AI)模型来控制输入数据的处理。通过训练或学习提供预定义的操作规则或人工智能模型。这里，通过学习提供是指通过将学习算法应用于多个学习数据，形成期望特性的预定义操作规则或AI模型。学习可以在执行根据实施例的AI的装置本身中执行，和/或可以通过单独的服务器/系统实现。

AI模型可以由多个神经网络层组成。每个层具有多个权重值，并且通过前一层的计算和多个权重的运算来执行层运算。神经网络的示例包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向循环深度神经网络(BRDNN)、生成对抗网络(GAN)和深度Q网络。

学习算法是用于使用多个学习数据来训练预定目标装置(例如，机器人)以使得、允许或控制目标装置进行确定或预测的方法。学习算法的示例包括但不限于监督学习、无监督学习、半监督学习或强化学习。

具体实施方式

在整个公开内容中，表述“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部或其变体。

将简要定义说明书中使用的术语，并且将详细描述本公开的实施例。

本文使用的包括描述性或技术性术语的所有术语应被解释为具有对本领域普通技术人员显而易见的含义。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可以具有不同的含义。此外，申请人可以任意选择一些术语，并且在这种情况下，将在本公开的具体描述中详细地描述所选择的术语的含义。因此，本文使用的术语必须基于术语的含义以及整个说明书中的描述来定义。

当部件“包括”或“包含”元件时，除非存在与其相反的特定描述，否则该部件还可以包括其他元件，而不排除其他元件。在下面的描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，单元和块可以体现为硬件或软件，或者通过组合硬件和软件来体现。

如本领域中传统的，可以根据执行所描述的一个或多个功能的块来描述和示出实施例。这些块(其在本文中可以被称为单元或模块等，或者被命名为诸如驱动器、控制器、装置、引擎、网络、生成器、滤波器等的名称)可以由模拟或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现，并且可以由固件和软件驱动。例如，电路可以体现在一个或多个半导体芯片中，或者体现在诸如印刷电路板等的基底支撑件上。包括在块中的电路可以由专用硬件实现，或者由处理器(例如，一个或多个程序化的微处理器和相关联的电路)实现，或者由执行该块的一些功能的专用硬件和执行该块的其他功能的处理器的组合实现。实施例的每个块可以物理地分成两个或更多个交互和分离的块。同样地，实施例的块可以物理地组合为更复杂的块。

在下文中，将参照附图详细描述本公开的实施例，使得本领域普通技术人员可以容易地实现本公开的实施例。然而，本公开的实施例可以以许多不同的形式实现，并且不限于本文描述的那些实施例。在附图中，为了清楚地描述本公开，省略了与描述无关的组件，并且在整个说明书中，附图中相同的附图标记表示相同或相似的元件。

图1是示出根据本公开的实施例的由图像处理装置100执行的通过使用图像处理网络30来处理图像的操作的示图。

参照图1，根据本公开的实施例的图像处理装置100可以通过使用图像处理网络30处理第一图像10来生成第二图像20。在这方面，第一图像10可以是包括噪声的图像或低分辨率图像。图像处理装置100可以通过使用图像处理网络30执行去噪来生成第二图像20，该去噪在去除噪声的同时保留第一图像10的边缘和纹理细节。第二图像20可以是比第一图像10更高分辨率的图像，并且可以是与第一图像10相比具有增强质量的图像。

下面将参照附图详细描述根据本公开的实施例的由图像处理网络30执行的图像处理的示例。

图2是示出根据本公开的实施例的图像处理网络30的示图。

参照图2，根据本公开的实施例的图像处理网络30可以包括核系数生成器210、空间变化核生成器220和滤波器230。

根据本公开的实施例的图像处理网络30可以包括接收第一图像10并输出第二图像20的结构。

根据本公开的实施例的核系数生成器210可以获得与包括在第一图像10中的每个像素对应的核系数信息。将参照图3详细描述获得核系数信息的方法的示例。

图3是示出根据本公开的实施例的获得核系数信息的方法的参考图。

参照图3，核系数生成器210可以通过使用卷积神经网络300来获得核系数信息340。输入到核系数生成器210的第一图像10可以通过卷积神经网络300，使得可以从核系数生成器210输出核系数信息340。

根据本公开的实施例的卷积神经网络300可以包括一个或多个卷积层310和一个或多个激活层320。在这方面，每个激活层320可以位于每个卷积层310之后。例如，每个激活层320可以位于对应的一个卷积层310之后。

可以将第一图像10输入到包括在卷积神经网络300中的第一层，并且可以将从前一层输出的值输入到其余层。卷积神经网络300具有这样的结构：在每个层中执行运算以获得结果值，并且将获得的结果值输出到下一层。例如，在卷积层310中，可以执行包括在卷积层310中的核与输入到卷积层310的值之间的卷积运算。将参照图4和图5详细描述在卷积层310中执行的操作的示例。

图4和图5是示出根据本公开的实施例的在卷积层中执行的卷积运算的参考图。

图4是示出根据本公开的实施例的可以输入到卷积层310的输入图像或输入特征图F_in、包括在卷积层310中的核以及可以从卷积层310输出的输出图像或输出特征图F_out的示图。

参照图4，根据本公开的实施例的输入到卷积层310的输入图像F_in的尺寸可以是W×H，并且通道的数量可以是C_in。另外，卷积层310可以包括核，并且核可以包括C_out个子核。此外，一个子核可以具有Kw×Kh×C_in的大小。一个子核的通道的数量C_in可以与输入图像F_in的通道的数量C_in相同。卷积层310可以通过执行输入图像F_in与核之间的卷积运算来生成输出图像F_out。在这方面，输出图像F_out的尺寸可以是W×H，并且输出图像F_out的通道的数量可以由核的子核的数量C_out确定。

图5是示出根据本公开的实施例的通过输入图像F_in与包括在核中的第一子核410之间的卷积运算生成输出图像F_out的第一通道图像420的处理的参考图。

在图5中，为了便于描述，假设输入图像F_in的尺寸为5×5，通道的数量为1。此外，假设应用于输入图像F_in的核中包括的一个子核的大小为3×3，并且通道的数量C_in为1。

图5示出了通过从输入图像F_in的左上方到右下方应用第一子核410来提取输入图像F_in的特征的处理。在这方面，第一子核410的大小是3×3，并且通道的数量是1。例如，卷积层310可以通过将第一子核410应用于包括在输入图像F_in的左上方的3×3区域521中的像素来执行卷积运算。

也就是说，卷积层310可以通过将包括在左上方的3×3区域521中的像素值乘以包括在第一子核410中的参数值并对相乘的值求和，来生成映射到左上方的3×3区域521的一个像素值531。

另外，卷积层310可以通过将包括在3×3区域522中的像素值乘以包括在第一子核410中的参数值并对相乘的值求和，来生成映射到3×3区域522的一个像素值532，其中，3×3区域522是从输入图像F_in的左上方的3×3区域521向右移动了一个像素。

以相同的方式，卷积层310可以在输入图像F_in内将第一子核410从左向右和从上向下滑动一个像素时，通过将包括在第一子核410中的参数值乘以输入图像F_in的像素值并对相乘的值求和来生成包括在输出图像F_out的第一通道图像420中的像素值。在这方面，卷积运算的目标数据可以在移动一个像素时被采样，也可以在移动两个或更多个像素时被采样。在采样处理期间采样的像素之间的间隔的大小被称为步幅，并且可以根据步幅的大小来确定输出图像F_out的尺寸。此外，如图5所示，可以执行填充以使输出图像F_out的尺寸与输入图像F_in的尺寸相同。填充可以指通过向输入图像F_in的边缘赋予特定值(例如，“0”)来增大输入图像F_in的尺寸，以防止输出的输出图像F_out的尺寸减小。当在执行填充之后执行卷积运算时，输出图像F_out的尺寸可以与输入图像F_in的尺寸相同。然而，本公开不限于此。

此外，尽管图5仅示出了对第一子核410的卷积运算的结果(其可以是输出图像F_out的第一通道图像420)，但是当对C_out个子核执行卷积运算时，可以输出包括C_out个通道图像的输出图像F_out。也就是说，可以根据核中包括的子核的数量来确定输出图像F_out的通道的数量。

返回参照图3，激活层320可以位于卷积层310之后。

在根据本公开的实施例的激活层320中，可以执行将激活函数应用于输入到激活层320的值的操作。激活函数的运算是向第一特征信息提供非线性特性，并且激活函数可以包括sigmoid函数、Tanh函数、修正线性单元(ReLU)函数、渗漏ReLU函数等，但不限于此。

此外，卷积神经网络300还可以包括执行逐元素求和运算的层330。

逐元素求和运算可以是这样的运算：当输入到对每个元素执行求和运算的层330的第一输入信息中包括的每个值和第二输入信息中包括的每个值被求和时，对相同位置处的值进行相加。

参照图3，输入到卷积神经网络300的第一图像10可以通过卷积神经网络300中包括的一个或多个卷积层310、一个或多个激活层320、和执行逐元素求和运算的一个或多个层330，使得可以输出与第一图像10中包括的每个像素对应的核系数信息340。在这方面，第一图像10的尺寸可以是W×H，与第一图像10对应的核系数信息340的大小可以是W×H，并且通道的数量可以是N。在这方面，可以基于稍后将描述的梯度核集中包括的多个梯度核的数量来确定N。将参照图6详细描述这个示例。

返回参照图2，根据本公开的实施例的空间变化核生成器220可以基于由核系数生成器210生成的核系数信息340和梯度核集来生成空间变化核。

将参照图6详细描述根据本公开的实施例的生成空间变化核的方法的示例。

图6是示出根据本公开的实施例的生成空间变化核的方法的参考图。

根据本公开的实施例的梯度核集610可以包括与像素的一个或多个梯度特性的组合对应的多个梯度核。可以基于像素中出现的边缘的特性来确定像素的一个或多个梯度特性。根据本公开的实施例的梯度特性可以包括强度特性、角度特性或相干性中的至少一个。

在本公开的实施例中，为了便于描述，描述了像素的梯度特性包括强度特性、角度特性和相干性，但不限于此。例如，强度特性可以被确定使得边缘越尖锐，强度越大。角度特性可以指示边缘的方向。相干性可以表示对边缘的方向性的度量。当边缘是直的时的相干性高于当边缘是弯曲的时的相干性。

此外，根据本公开的实施例的梯度特性可以基于通过对像素的梯度值的本征分析所计算的本征值和本征向量来确定。

梯度核集610可以是先前训练的数据。在这方面，梯度核集610的学习可以由根据本公开的实施例的图像处理装置100或外部装置执行。当由外部装置执行梯度核集610的学习时，外部装置可以将先前训练的梯度核集610发送到图像处理装置100。然而，本公开不限于此。

可以通过使用包括低分辨率图像和分别与低分辨率图像对应的高分辨率图像的训练数据集来训练梯度核集610。例如，为了通过对低分辨率图像进行滤波来生成高分辨率图像，可以通过训练来确定根据包括在低分辨率图像中的多个图像块的梯度特性的核(滤波器)。在这方面，可以通过使用机器学习方法来训练与图像块的梯度特性的组合对应的梯度核，但不限于此。

可以基于根据每个梯度特性的变化的梯度核的数量来确定梯度核集610中包括的多个梯度核的数量。例如，当根据第一梯度特性(例如像素的角度特性θ)的值的变化的梯度核的数量是N1，根据第二梯度特性(例如像素的强度特性λ)的值的变化的梯度核的数量是N2，并且根据第三梯度特性(例如像素的相干性μ)的值的变化的梯度核的数量是N3时，梯度核集610可以包括N1×N2×N3个梯度核。此外，一个梯度核Kj的大小可以是K×K。

参照图6，根据本公开的实施例的空间变化核生成器220可以基于由核系数生成器210生成的核系数信息340和梯度核集610来生成空间变化核650。

核系数信息340可包括分别与像素对应的N个核系数。例如，如图6所示，一个像素可包括N个核系数621。在这方面，N可以是N1×N2×N3。与包括在第一图像中的每个像素对应的核系数信息340可由以下等式1表达。

【等式1】

C_i＝(C_i1，C_i2，...，C_iN)

其中，C_i表示与第一图像中包括的像素P_i对应的核系数信息。例如，与第一图像中包括的像素之中的第一像素P₁对应的第一核系数信息C₁可以包括N个核系数C₁₁、C₁₂、...、C_1N。

此外，梯度核集610可以包括N个梯度核，其中，N可以是N1×N2×N3。梯度核集610可以由以下等式2表示。

【等式2】

K_set＝(K₁，K₂，...，K_N)

与一个像素对应的N个核系数中的每个核系数表示与梯度核集610中包括的N个梯度核中的每个梯度核对应的权重。

根据本公开的实施例的空间变化核生成器220可以通过执行核系数信息与多个梯度核的加权和来生成与第一图像中包括的每个像素对应的核，如等式3所示。

【等式3】

在等式3中，K_pi表示与像素P_i对应的核，C_ij表示与像素P_i对应的核系数，并且K_j表示多个梯度核。在这方面，与每个像素对应的K_pi可以以与K_j相同的方式具有K×K的大小。

当针对每个像素生成并且大小为K×K的核以大小为1×1×K²的核向量631的形式来表示时，与第一图像10对应的空间变化核650可以具有W×H的大小，并且具有K²个通道，如图6所示。然而，图6中所示的空间变化核650仅是本公开的实施例，不限于此，并且可以根据本公开的实施例以各种形式出现。

返回参照图2，空间变化核生成器220可以将所生成的空间变化核650输出到滤波器230。滤波器230可以通过接收第一图像10并将空间变化核650应用于第一图像10来生成第二图像20。将参照图8详细描述通过将空间变化核650应用于第一图像10来生成第二图像20的方法的示例。

图7是示出根据本公开的另一实施例的生成空间变化核的方法的参考图。

参照图7，根据本公开的实施例的图像处理装置100还可以包括质量估计器710，质量估计器710获得第一图像10的质量信息。

根据本公开的实施例的质量估计器710可以获得与第一图像10或包括在第一图像10中的多个区域中的每个区域对应的质量信息。质量估计器710可以基于包括在多个区域中的每个区域中的纹理、边缘和噪声信息来估计整个第一图像10或包括在第一图像10中的多个区域中的每个区域的质量。在这方面，质量估计器710可以基于先前训练的质量估计网络来获得整个第一图像10或多个区域中的每个区域的质量信息。例如，质量估计网络可以是接收整个图像或图像的区域并输出图像或区域的质量值的网络，但不限于此。此外，质量估计器710可以获得第一图像10中包括的每个像素的质量信息。

梯度核集选择器720可以基于与第一图像10对应的质量信息或包括在第一图像10中的每个区域的质量信息来选择多个梯度核集725之一。在这方面，多个梯度核集725可以是先前训练的数据。此外，多个梯度核集725的学习可以由根据本公开的实施例的图像处理装置100或外部装置执行。当由外部装置执行多个梯度核集725的学习时，外部装置可以将多个先前训练的梯度核集725发送到图像处理装置100。然而，本公开不限于此。

可以以与参照图6描述的梯度核集610的学习类似的方式执行多个梯度核集725的学习。然而，可以通过使用具有不同质量信息的低分辨率图像训练梯度核来生成根据质量信息的不同梯度核集。例如，当质量信息的值为“0”时，可以通过使用具有第一质量信息的低分辨率图像和与低分辨率图像对应的高分辨率图像学习多个梯度核集725来生成与第一质量信息对应的第一梯度核集741。此外，例如，当质量信息的值为“1”时，可以通过使用具有第二质量信息的低分辨率图像和与低分辨率图像对应的高分辨率图像学习多个梯度核集725来生成与第二质量信息对应的第二梯度核集742。然而，本公开不限于此。

例如，当包括第一像素的第一区域的质量信息包括第一质量信息时，梯度核集选择器720可以选择与第一质量信息对应的第一梯度核集741。

因此，空间变化核生成器220可以基于与第一像素对应的第一核系数信息731和第一梯度核集741来生成与第一像素对应的第一核向量751。例如，空间变化核生成器220可以通过执行第一核系数信息731和包括在第一梯度核集741中的多个梯度核的加权和来生成与第一像素对应的第一核向量751。

此外，当包括第二像素的第二区域的质量信息包括第二质量信息时，梯度核集选择器720可以选择与第二质量信息对应的第二梯度核集742。

因此，空间变化核生成器220可以基于与第二像素对应的第二核系数信息732和第二梯度核集742生成与第二像素对应的第二核向量752。例如，空间变化核生成器220可以通过执行第二核系数信息732和包括在第二梯度核集742中的多个梯度核的加权和来生成与第二像素对应的第二核向量752。

以与上述相同的方式，梯度核集选择器720可以选择与第一图像10的质量信息或第一图像10中包括的每个区域的质量信息对应的梯度核集，并将所选择的梯度核集发送到空间变化核生成器220。另外，空间变化核生成器220可以通过使用每个区域的所选择的梯度核集，针对每个区域中包括的每个像素生成大小为1×1×K²的核向量。因此，包括核向量的空间变化核750可以具有W×H的大小和K²个通道，如图7所示。然而，图7中所示的空间变化核750仅是本公开的实施例，不限于此，并且可以根据本公开的实施例以各种形式出现。

返回参照图2，空间变化核生成器220可以将所生成的空间变化核750输出到滤波器230。滤波器230可以通过接收第一图像10并将空间变化核750应用于第一图像10来生成第二图像20。将参照图8详细描述通过将空间变化核750应用于第一图像10来生成第二图像20的方法的示例。

图8是示出根据本公开的实施例的将空间变化核应用于第一图像的方法的参考图。

参照图8，根据本公开的实施例的空间变化核850可以是图6的空间变化核650或图7的空间变化核750，但不限于此。

空间变化核850可以包括与第一图像10中包括的每个像素对应的核向量。例如，空间变化核850可以包括与第一图像10中包括的第一像素810对应的第一核向量851、以及与第一图像10中包括的第二像素820对应的第二核向量852。此外，空间变化核850可以包括与第一图像10中包括的第三像素830对应的第三核向量853。

滤波器230可以将大小为1×1×K²的一维核向量转换为大小为K×K的二维核。例如，滤波器230可以将第一核向量851转换为第一核815，将第二核向量852转换为第二核825，并且将第三核向量853转换为第三核835。

滤波器230可以通过将第一核815应用于第一图像10中包括的以第一像素810为中心的第一区域并对第一区域进行滤波来计算第二图像20的第四像素840的值。滤波器230可以通过将第二核825应用于第一图像10中包括的以第二像素820为中心的第二区域并对第二区域进行滤波来计算第二图像20的第五像素860的值。滤波器230可以通过将第三核835应用于第一图像10中包括的以第三像素830为中心的第三区域并对第三区域进行滤波来计算第二图像20的第六像素870的值。

以与上述相同的方式，滤波器230可以通过将与第一图像10中包括的每个像素对应的核应用于第一图像10中包括的以每个像素为中心的区域并对第一图像10进行滤波来计算第二图像20中包括的像素值。

图9是示出根据本公开的实施例的图像处理装置100的操作方法的流程图。

参照图9，在操作S910中，根据本公开的实施例的图像处理装置100可以通过使用卷积神经网络来获得与第一图像中包括的每个像素对应的核系数信息。

根据本公开的实施例的图像处理装置100可以将第一图像输入到卷积神经网络。当输入的第一图像通过卷积神经网络时，可以输出核系数信息。在这方面，卷积神经网络可以包括一个或多个卷积层、一个或多个激活层、以及一个或多个逐元素求和层。已经参照图3至图5详细描述了获得核系数信息的方法的示例，因此省略其详细描述。

在操作S920中，图像处理装置100可以基于梯度核集和核系数信息来生成空间变化核。

根据本公开的实施例的梯度核集可以包括与像素的一个或多个梯度特性的组合对应的多个梯度核。可以基于像素中出现的边缘的特性来确定像素的一个或多个梯度特性。根据本公开的实施例的梯度特性可以包括强度特性、角度特性或相干性中的至少一个。

梯度核集可以是先前训练的数据。在这方面，梯度核集的学习可以由根据本公开的实施例的图像处理装置100或外部装置执行。当由外部装置执行梯度核集的学习时，外部装置可以将先前训练的梯度核集发送到图像处理装置100。然而，本公开不限于此。

在操作S910中获得的核系数信息可以包括分别与像素对应的N个核系数，并且梯度核集可以包括N个梯度核。已经参照图6详细描述了这个的示例，因此省略了其详细描述。

与一个像素对应的N个核系数中的每个核系数表示与N个梯度核中的每个梯度核对应的权重。图像处理装置100可以通过执行N个核系数与N个梯度核的加权和来生成与一个像素对应的核。

因此，图像处理装置100可以针对第一图像10中包括的每个像素生成大小为K×K的核，并且当将大小为K×K的核转换为大小为1×1×K²的核向量时，生成与第一图像10对应的空间变化核。

在操作S930中，根据本公开实施例的图像处理装置100可以通过将空间变化核应用于第一图像10来生成第二图像。

在操作S920中生成的空间变化核可以包括与第一图像10中包括的每个像素对应的核向量。例如，空间变化核可以包括与第一图像10中包括的第一像素对应的第一核向量，并且可以包括与第一图像10中包括的第二像素对应的第二核向量。

图像处理装置100可以将大小为1×1×K²的一维核向量转换为大小为K×K的二维核。例如，图像处理装置100可以将第一核向量转换为二维第一核，并且将第二核向量转换为二维第二核。

图像处理装置100可以通过将第一核应用于以第一像素为中心的区域并对第一图像10进行滤波来计算包括在第二图像中的第三像素的值，并且通过将第二核应用于以第二像素为中心的区域并对第一图像10进行滤波来计算包括在第二图像中的第四像素的值。

因此，图像处理装置100可以通过根据中心像素的位置应用不同的核来对第一图像进行滤波。

图10是示出根据本公开另一实施例的图像处理装置100的操作方法的流程图。

参照图10，在操作S1010中，根据本公开的另一实施例的图像处理装置100可以获得第一图像的质量信息。

例如，图像处理装置100可以获得与第一图像或第一图像中包括的多个区域中的每个区域对应的质量信息。图像处理装置100可以基于包括在第一图像或多个区域中的每个区域中的纹理、边缘和噪声信息来估计整个第一图像或包括在第一图像中的多个区域中的每个区域的质量。图像处理装置100可以基于先前训练的质量估计网络来获得整个第一图像或多个区域中的每个区域的质量信息。例如，质量估计网络可以是接收整个图像或图像的区域并输出图像或区域的质量的值的网络，但不限于此。此外，图像处理装置100可以获得第一图像中包括的每个像素的质量信息。

在操作S1020中，图像处理装置100可以基于质量信息来选择多个梯度核集之一。

在这方面，多个梯度核集可以是先前训练的数据。已经参照图7详细描述了训练多个梯度核集的方法的示例，因此省略其详细描述。

例如，当第一区域的质量信息包括例如指示第一质量的第一质量信息时，图像处理装置100可以选择与第一质量信息对应的第一梯度核集，并且当第二区域的质量信息包括例如指示第二质量的第二质量信息时，图像处理装置100可以选择与第二质量信息对应的第二梯度核集。

在操作S1030中，图像处理装置100可以基于所选择的梯度核集来生成空间变化核。

例如，图像处理装置100可以基于核系数信息和所选择的梯度核集来生成空间变化核。在这方面，已经参照图9的操作S910详细描述了获得核系数信息的方法的示例，因此省略其详细描述。

在操作S1020中，图像处理装置100可以通过执行与第一区域对应的所选择的第一梯度核集中包括的多个梯度核与和第一区域中包括的第一像素对应的第一核系数信息的加权和，来生成与第一像素对应的第一核向量。

此外，在操作S1020中，图像处理装置100可以通过执行与第二区域对应的所选择的第二梯度核集中包括的多个梯度核与和第二区域中包括的第二像素对应的第二核系数信息的加权和，来生成与第二像素对应的第二核向量。

以与上述相同的方式，图像处理装置100可以通过使用针对每个区域选择的梯度核集来生成区域中包括的每个像素的核向量，因此，可以生成包括核向量的空间变化核。

在操作S1040中，图像处理装置100可以通过将在操作S1030中生成的空间变化核应用于第一图像来生成第二图像。图10的操作S1040可以对应于图9的操作S930，因此省略其详细描述。

图11是根据本公开的实施例的图像处理装置100的配置的框图。

参照图11，根据本公开的实施例的图像处理装置100可以包括处理器120和存储器130。

根据本公开的实施例的处理器120可以控制图像处理装置100的整体操作。根据本公开的实施例的处理器120可以执行存储在存储器130中的至少一个程序。

根据本公开的实施例的存储器130可以存储用于驱动和控制图像处理装置100的各种类型的数据、程序或应用。存储在存储器130中的程序可以包括一个或多个指令。存储在存储器130中的程序(例如，一个或多个指令)或应用可以由处理器120执行。

根据本公开的实施例的处理器120可以包括中央处理单元(CPU)、图形处理单元(GPU)或视频处理单元(VPU)中的至少一个。根据本公开的实施例，处理器120可以以片上系统(SoC)的形式实现，其中集成了CPU、GPU或VPU中的至少一个。在实施例中，处理器120还可以包括神经处理单元(NPU)。

根据本公开的实施例的处理器120可以通过使用图像处理网络30执行去噪来生成输出图像，该去噪在去除输入图像的噪声的同时处理边缘细节并保留纹理。例如，处理器120可以执行参照图2至图10示出和描述的核系数生成器210、空间变化核生成器220、滤波器230、质量估计器710或梯度核集选择器720的操作中的至少一个。

处理器120可以通过使用卷积神经网络获得与第一图像中包括的每个像素对应的核系数信息。处理器120可以将第一图像输入到卷积神经网络。输入的第一图像可以通过卷积神经网络，使得可以输出核系数信息。在这方面，卷积神经网络可包括一个或多个卷积层、一个或多个激活层、以及一个或多个逐元素求和层。已经参照图3至图5详细描述了获得核系数信息的方法的示例，因此省略其详细描述。

处理器120可基于梯度核集和核系数信息生成空间变化核。

根据本公开的实施例的梯度核集可以包括与像素的一个或多个梯度特性的组合对应的多个梯度核。可以基于像素中出现的边缘的特性来确定像素的一个或多个梯度特性。根据本公开的实施例的梯度特性可以包括强度特性、角度特性或相干性中的至少一个。梯度核集可以是先前训练的数据。

此外，处理器120可以获得第一图像或第一图像中包括的每个区域的质量信息，并且基于所获得的质量信息选择多个梯度核集之一。

核系数信息可以包括分别与像素对应的N个核系数，并且梯度核集可以包括N个梯度核。已经参照图6详细描述了这个的示例，因此省略了其详细描述。

与一个像素对应的N个核系数中的每个核系数表示与N个梯度核中的每个梯度核对应的权重。处理器120可以通过执行N个核系数与N个梯度核的加权和来生成与一个像素对应的核。

因此，处理器120可以针对包括在第一图像中的每个像素生成大小为K×K的核，并且当将大小为K×K的核转换为大小为1×1×K²的核向量时，生成与第一图像对应的空间变化核。

处理器120可以通过将空间变化核应用于第一图像来生成第二图像。空间变化核可以包括与第一图像中包括的每个像素对应的核向量。例如，空间变化核可以包括与第一图像中包括的第一像素对应的第一核向量，并且可以包括与第一图像中包括的第二像素对应的第二核向量。

处理器120可以将大小为1×1×K²的一维核向量转换为大小为K×K的二维核。例如，处理器120可以将第一核向量转换为二维第一核，并且将第二核向量转换为二维第二核。处理器120可以通过将第一核应用于以第一像素为中心的第一区域并对第一区域进行滤波来计算包括在第二图像中的第三像素的值，并且通过将第二核应用于以第二像素为中心的第二区域并对第二区域进行滤波来计算包括在第二图像中的第四像素的值。

此外，根据本公开的实施例的图像处理网络30可以是服务器或由外部装置训练的网络。外部装置可以基于训练数据来训练图像处理网络30。在这方面，训练数据可以包括多个数据集，所述多个数据集包括包含噪声的图像数据和从中去除噪声并且其中保留边缘特性或纹理特性的图像数据。

服务器或外部装置可以确定在图像处理网络30中包括的多个卷积层(例如，图3的卷积神经网络300中包括的多个卷积层)中的每个卷积层中使用的核中包括的参数值。例如，服务器或外部装置可以确定在减小由图像处理网络30生成的图像数据与作为训练数据的图像数据(其中噪声被去除并且边缘特性被保留)之间的差异(损失信息)的方向上的参数值。

根据本公开实施例的图像处理装置100可以从服务器或外部装置接收已经完成训练的图像处理网络30或卷积神经网络300，并将图像处理网络30或卷积神经网络300存储在存储器130中。例如，存储器130可以存储根据本公开的实施例的图像处理网络30或卷积神经网络300的结构和参数值，并且处理器120可以通过使用存储在存储器130中的参数值来生成根据本公开的实施例的从第一图像中去除噪声并且保留了边缘特性的第二图像。

此外，图11的图像处理装置100的框图是根据本公开的实施例的框图。基于实际实现的图像处理装置100的规格，可以集成组件，可以添加另外的组件，或者可以省略组件。换句话说，两个或更多个组件可以集成为一个组件，或者在必要时可以将一个组件划分为两个或更多个组件。此外，由每个块执行的功能用于描述本公开的实施例，并且详细操作或装置不限制本公开的范围。

根据本公开的实施例的图像处理装置的操作方法可以通过以通过使用各种计算机执行的程序命令的形式实现而被记录在非暂时性计算机可读记录介质上。非暂时性计算机可读记录介质可以包括程序命令、数据文件或数据结构中的至少一个。记录在非暂时性计算机可读记录介质中的程序命令可以是专门设计的或计算机软件领域的普通技术人员公知的。非暂时性计算机可读记录介质的示例包括专门配置为存储和执行程序命令的硬件装置，诸如磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM和DVD)、磁光介质(诸如软光盘、以及ROM、RAM和闪存)。程序命令的示例不仅包括由编译器生成的机器代码，而且还包括可由计算机通过使用解释器执行的高级语言代码。

此外，可以通过包括在计算机程序产品中来提供根据本公开的实施例的图像处理装置和图像处理装置的操作方法。计算机程序产品可以作为产品在卖方和买方之间交易。

计算机程序产品可以包括软件(S/W)程序或存储S/W程序的非暂时性计算机可读存储介质。例如，计算机程序产品可以包括通过电子装置的制造商或电子市场(例如，GooglePlay^TM商店或AppStore^TM)电子分发的S/W程序形式的产品(例如，可下载的应用)。对于电子分发，S/W程序的至少一部分可以存储在存储介质中或临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器或临时存储S/W程序的中继服务器的存储介质。

计算机程序产品可以包括在包括服务器和客户端装置的系统中的服务器的存储介质或客户端装置的存储介质。在实施例中，当存在可通信地连接到服务器或客户端装置的第三装置(例如，智能电话)时，计算机程序产品可以包括第三装置的存储介质。在实施例中，计算机程序产品可以包括从服务器发送到客户端装置或第三装置或者从第三装置发送到客户端装置的S/W程序本身。

在这种情况下，服务器、客户端装置和第三装置中的一个可以执行计算机程序产品以执行根据本公开的实施例的方法。在实施例中，服务器、客户端装置和第三装置中的两个或更多个可以执行计算机程序产品以分发和执行根据本公开的实施例的方法。

例如，服务器(例如云服务器或AI服务器)可以执行存储在服务器上的计算机程序产品，以控制可通信地连接到服务器的客户端装置执行根据本公开的实施例的方法。

虽然已经具体描述了本公开的实施例，但是本公开的范围不限于此，并且本领域普通技术人员将理解，使用由所附权利要求限定的本公开的基本概念的各种改变和修改也在本公开的范围内。

Claims (15)

1.一种图像处理装置，包括：

存储器，被配置为存储一个或多个指令；以及

处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以进行以下操作：

使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的每个像素对应的核系数信息；

基于梯度核集和所述核系数信息，生成包括与所述每个像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及

通过将包括在所述空间变化核中的所述核应用于以所述每个像素为中心的区域并对所述第一图像进行滤波，生成第二图像。

2.根据权利要求1所述的图像处理装置，其中，所述多个像素的所述一个或多个梯度特性包括由所述多个像素表示的强度特性、角度特性或相干性中的至少一个。

3.根据权利要求1所述的图像处理装置，其中，使用训练数据集来训练所述多个梯度核，所述训练数据集包括低分辨率图像和分别与所述低分辨率图像对应的高分辨率图像，并且

其中，根据包括在所述低分辨率图像中的多个图像块的梯度特性来训练所述多个梯度核。

4.根据权利要求3所述的图像处理装置，其中，所述多个梯度核包括根据由所述多个图像块表示的强度特性、角度特性和相干性训练的多个核。

5.根据权利要求1所述的图像处理装置，其中，包括在与所述每个像素对应的所述核系数信息中的核系数的数量与包括在所述梯度核集中的所述多个梯度核的数量相同，并且

其中，包括在所述核系数信息中的所述核系数中的每个核系数表示与所述多个梯度核中的每个梯度核对应的权重。

6.根据权利要求5所述的图像处理装置，其中，所述空间变化核包括与所述第一图像中包括的第一像素对应的第一核和与所述第一图像中包括的第二像素对应的第二核，并且

其中，所述处理器还被配置为执行所述一个或多个指令以进行以下操作：

通过获得关于所述第一像素的第一核系数信息与所述多个梯度核的加权和来生成所述第一核，以及

通过获得关于所述第二像素的第二核系数信息与所述多个梯度核的加权和来生成所述第二核。

7.根据权利要求6所述的图像处理装置，其中，所述处理器还被配置为执行所述一个或多个指令以进行以下操作：

通过将所述第一核应用于以所述第一像素为中心的第一区域并对所述第一图像进行滤波，并且将所述第二核应用于以所述第二像素为中心的第二区域并对所述第一图像进行滤波，来生成所述第二图像。

8.根据权利要求1所述的图像处理装置，其中，所述处理器还被配置为执行所述一个或多个指令以进行以下操作：

获得关于所述第一图像中包括的至少一个区域的质量信息，

基于所述质量信息从多个梯度核集中选择所述梯度核集，以及

基于所述核系数信息和所述梯度核集，生成所述核。

9.根据权利要求8所述的图像处理装置，其中，所述处理器还被配置为执行所述一个或多个指令以进行以下操作：

获得关于所述第一图像中包括的第一区域的第一质量信息；

基于所述多个梯度核集中与所述第一质量信息对应的第一梯度核集和与包括在所述第一区域中的第一像素对应的第一核系数信息，生成与所述第一像素对应的第一核；

获得关于所述第一图像中包括的第二区域的第二质量信息；以及

基于所述多个梯度核集中与所述第二质量信息对应的第二梯度核集和与包括在所述第二区域中的第二像素对应的第二核系数信息，生成与所述第二像素对应的第二核。

10.一种图像处理装置的操作方法，所述操作方法包括：

使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的每个像素对应的核系数信息；

基于梯度核集和所述核系数信息，生成包括与所述每个像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及

通过将包括在所述空间变化核中的所述核应用于以所述每个像素为中心的区域并对所述第一图像进行滤波，生成第二图像。

11.根据权利要求10所述的操作方法，其中，所述多个像素的所述一个或多个梯度特性包括由所述多个像素表示的强度特性、角度特性或相干性中的至少一个。

12.根据权利要求10所述的操作方法，其中，使用训练数据集来训练所述多个梯度核，所述训练数据集包括低分辨率图像和分别与所述低分辨率图像对应的高分辨率图像，并且

其中，根据包括在所述低分辨率图像中的多个图像块的梯度特性来训练所述多个梯度核。

13.根据权利要求12所述的操作方法，其中，所述多个梯度核包括根据由所述多个图像块表示的强度特性、角度特性和相干性训练的多个核。

14.根据权利要求10所述的操作方法，其中，包括在与所述每个像素对应的所述核系数信息中的核系数的数量与包括在所述梯度核集中的所述多个梯度核的数量相同，并且

其中，包括在所述核系数信息中的所述核系数中的每个核系数表示与所述多个梯度核中的每个梯度核对应的权重。

15.一种非暂时性计算机可读记录介质，其中，存储有程序，所述程序在由至少一个处理器执行时使所述至少一个处理器进行以下操作：

使用包括一个或多个卷积层的卷积神经网络，获得与包括在第一图像中的多个像素中的每个像素对应的核系数信息；

基于梯度核集和所述核系数信息，生成包括与所述每个像素对应的核的空间变化核，其中，所述梯度核集包括与所述多个像素的一个或多个梯度特性对应的多个梯度核；以及

通过将包括在所述空间变化核中的所述核应用于以所述每个像素为中心的区域并对所述第一图像进行滤波，生成第二图像。