CN114170082A - 视频播放、图像处理和模型训练方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例提供了一种视频播放、图像处理和模型训练方法、装置以及电子设备。所述图像处理方法包括：获取待处理图像；将待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理。所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。本发明实施例的方案提高了图像超分辨率处理的效率，同时利用简单的卷积网络结构保证了图像处理模型的低成本。

Description

视频播放、图像处理和模型训练方法、装置以及电子设备

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种视频播放、图像处理和模型训练方法、装置以及电子设备。

背景技术

图像超分辨率，又简称为图像超分，是一种由低分辨率图像或图像序列生成高分辨率图像的技术，其广泛被应用于诸如直播、点播、实时通信、播放器等需求高质量的视频播放场景中。

在日益增长的视频领域的需求中，尤其在弱网环境下，视频压缩编码的码率很低，导致视频画质比较差且有较为严重的失真，因而需要一种低成本的图像超分辨率方案。

发明内容

有鉴于此，本发明实施例提供一种视频播放、图像处理和模型训练方法、装置以及电子设备，以至少部分解决上述问题。

根据本发明实施例的第一方面，提供了一种图像处理方法，包括：获取待处理图像；将所述待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理，其中，所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

根据本发明实施例的第二方面，提供了一种模型训练方法，包括：获取训练数据；基于所述训练数据，对神经网络进行训练，得到图像处理模型，所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

根据本发明实施例的第三方面，提供了一种图像处理装置，包括：获取模块，获取待处理图像；处理模块，将所述待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理，其中，所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

根据本发明实施例的第四方面，提供了一种模型训练装置，包括：获取模块，获取训练数据；训练模块，基于所述训练数据，对神经网络进行训练，得到图像处理模型，所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

根据本发明实施例的第五方面，提供了视频播放方法，包括：获取视频数据；根据图像处理方法，对所述视频数据进行超分辨率处理，所述图像处理方法为根据第一方面所述的方法；播放超分辨率处理后的视频数据。

根据本发明实施例的第六方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的方法对应的操作。

根据本发明实施例的第七方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。

在本发明实施例的方案中，第一卷积网络的卷积参数经由训练表征图像参数，第二卷积网络的卷积参数经由预先设定用于表征算子参数，通过卷积网络高效地且可靠地实现了超分辨率算法，提高了图像超分辨率处理的效率，同时利用简单的卷积网络结构保证了图像处理模型的低成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1A为一个示例的视频播放系统的示意性框图；

图1B为根据本发明的一个实施例的图像处理方法的步骤流程图；

图2A为根据本发明的一个实施例的卷积网络结构的示意图；

图2B为根据本发明的一个实施例的卷积网络结构的示意图；

图3为根据本发明的另一实施例的卷积网络结构的示意图；

图4A为根据本发明的另一实施例的卷积网络结构的示意图；

图4B为根据本发明的另一实施例的卷积网络结构的示意图；

图4C为根据本发明的另一实施例的卷积网络结构的示意图；

图5为根据本发明的另一实施例的卷积网络结构的示意图；

图6为根据本发明的另一实施例的图像处理装置的结构框图；

图7A为根据本发明的另一实施例的模型训练方法的步骤流程图；

图7B为根据本发明的另一实施例的模型训练装置的结构框图；

图8为根据本发明的另一实施例的电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

图1A为一个示例的视频播放系统的示意性框图。图1A的视频播放系统包括终端设备110、视频播放服务器120以及模型训练服务器130。模型训练服务器130以及视频播放服务器120可以通过诸如互联网的网络与终端设备110进行通信。

视频播放服务器120能够响应用户通过终端设备110点播或直播操作，从视频数据资源121中获取诸如实时视频数据的视频数据。然后，视频播放服务器120的通信模块122能够与终端设备110的通信模块111执行通信，将视频数据发送到终端设备110，以便通过视频播放模块113进行播放。

具体而言，视频数据在视频数据资源121中可以以预定的编码格式编码后进行存储，视频播放服务器120将视频数据资源121中的视频数据传输到终端设备110。可替代地，视频数据在视频数据资源121中可以以未编码的方式存储，并且视频播放服务器120在通过通信模块122传输到终端设备110之前，将视频数据进行编码。相应地，终端设备110对编码视频数据进行解码以进行播放。

应理解，一方面，视频数据在视频播放服务器120侧进行编码，且在终端设备110侧进行解码，有利于视频传输效率，例如，节省了诸如传输带宽的通信资源。另一方面，视频数据的编码处理导致了视频数据的一定的分辨率损失。

因而，在终端设备110可以对从视频播放服务器120接收的视频数据进行诸如超分辨率处理，得到更高分辨率的视频图像。例如，通过图像处理模块112对视频数据进行超分辨率实时处理，具体而言，通过图像处理模块112对解码后的视频数据进行超分辨率处理，然后利用视频播放模块113播放超分辨率处理之后的视频数据。

具体地，图像处理模块112可以调用图像处理模型114对视频数据进行超分辨率处理。图像处理模型114可以在模型训练服务器130的模型训练模块131进行训练，并且经由模型部署模块132进行部署到终端设备110。

应理解，图像处理模型114可以周期性地或响应预定的更新指令，由模型部署模块132进行更新部署。

图1B为根据本发明的一个实施例的图像处理方法的步骤流程图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。在一个示例中，电子设备能够基于机器学习软件框架配合诸如GPU的硬件配置，执行本实施例的方法。图1B的图像处理方法包括：

S110：获取待处理图像。

应理解，待处理图像可以为上述实施例中的视频数据中的视频帧，也可以为非视频图像数据。具体地，在待处理图像为视频帧时，可以获取解码之后的视频帧，例如，获取基于关键帧解码的一组视频帧。

还应理解，待处理图像可以为包括RBG三个通道的多通道图像，也可以为单通道图像，例如，灰度图。待处理图像也可以为多个通道图像或单通道图像的特征图，即，多个通道图像或单通道图像经由诸如卷积层或卷积群处理之后输出的特征图。

S120：将待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理。

所述图像处理模型包括互相连接的第一卷积网络(Convolutional NeuralNetworks，CNN)和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

应理解，图像处理模型可以通过卷积网络实现，第一卷积网络是图像处理模型中需要调整参数的部分，第二卷积网络的卷积参数可以是预设的，用于实现各个算子参数，例如，求和运算、减法运算、乘法运算、除法运算、合并运算、归一化运算等。第二卷积网络的卷积参数可以是卷积网络的软件框架中定义的各种算子，以提高神经网络的配置效率，换言之，第二卷积网络的卷积参数可以是常规的卷积网络。

还应理解，超分辨率算法包括但不限于图像小波处理、图像边缘处理、图像锐化处理、图像双边滤波处理等。图像参数包括但不限于图像锐化参数、通道像素参数等与图像直接相关且反应图像指标的参数。

在本发明实施例的方案中，第一卷积网络的卷积参数经由训练表征图像参数，第二卷积网络的卷积参数经由预先设定用于表征算子参数，通过卷积网络高效地且可靠地实现了超分辨率算法，提高了图像超分辨率处理的效率，同时利用简单的卷积网络结构保证了图像处理模型的低成本。尤其在视频数据中的图像由于编码处理之后导致了分辨率的损失，本发明实施例能够以较低的成本和计算开销提供了高效的超分辨率处理。

应理解，本发明实施例提供的图像处理方法适用于各种类型的神经网络结构，利用神经网络实现了超分辨率算法，这与传统的超分辨率算法相比，提高了图像处理的效率。

在另一些示例中，超分辨率算法包括双边滤波算法，图像参数包括各个像素值与中心像素值之间的各个像素差值、以及各个像素差值的标准差。所述算子参数用于根据所述各个像素差值和所述标准差确定基于双边滤波算法处理后的各个像素值。第一卷积网络包括第一卷积群和第二卷积群，第一卷积群经由预先设定用于表征各个像素差值，且与经由训练得到的参数线性叠加，第二卷积群经由预先设定用于表征标准差，且与经由训练得到的参数线性叠加。本实施例通过卷积群实现了双边滤波算法的图像参数，降低了图像处理的成本，此外，通过与经由训练得到的参数线性叠加，进一步提高了双边滤波算法的效果。应理解，第二卷积网络可以包括诸如求和算子(add)、乘法算子(mul)、除法算子(div)、合并算子(concat)、归一化算子(softmax)等算子。

如图2A所示，图像处理模型的神经网络包括多个卷积群201-209。图像处理所采用的双边滤波算法满足下面的公式：

其中，aij为像素差值的权重；Ixy为基于双边滤波算法滤波之后的像素值，i为图像的通道图或特征图中的第一维度(例如，X轴)的位置(例如，坐标)，j为通道图或特征图中的第二维度(例如，Y轴)的位置(例如，坐标)；σ为各个像素值的标准差。公式(2)的加权处理中求和运算以及乘法运算都是算子参数的示例。

应理解，单通道图fI是单通道图中各个像素值与中心像素值之间的各个像素差值，其中，I可以为0、1、2和3。在一个示例中，I为0时，fI表示灰度图中各个像素值与中心像素值之间的各个像素差值。在另一示例中，Rxy、Gxy和Bxy分别表示图形通道R(红)、G(绿)和B(蓝)的通道像素值，f1、f2和f3为在相应的通道图中各个像素值与中心像素值之间的各个像素差值。下文仅以单通道图进行处理作为示例对神经网络结构进行描述。单通道图可以上述RGB通道中的任一通道图，也可以为灰度图。

在本示例中，以多个卷积群对第一卷积网络以及第二卷积网络进行描述和说明。卷集群201-209可以实现为一个或多个卷积以及与其连接的激活函数。各个卷积群的卷积参数包括权重参数和[输出通道数m；输入通道数n；卷积核尺寸k；卷积核尺寸k]、偏置B[输出通道数]以及填充参数，其中，填充参数可以预设为0或其他值。另外，各个通道图对应的输出通道数m和输入通道数n可以预定的任意值，只需满足一通道图的输出通道数m与下一通道图的输入通道数n相同。在本示例中，m可以取值为1或8，n可以取值为1或8。各个通道图对应的卷积核尺寸k也可以预先定义为任意值，在本示例中，卷积核尺寸为1、3或5。但是不应当理解对上述的输入通道数n、输出通道数m以及卷积核尺寸k进行了限定。

卷积群201指示获取单通道图，并且获取单通道图中的每个像素值的标准差σ。具体而言，单通道图可以为待处理图像的单通道图(例如，从输入层(input)获取)，也可以为单通道图经由卷积群处理后的特征图(例如，从求和(add)获取)。在本示例中，卷积群201的卷积参数为W[1；8；3；3]，B[1]，换言之，通过卷积核尺寸3ⅹ3的卷积将8通道特征图进行处理，得到单通道特征图。

卷积群202指示获得单通道图的各个像素值。在本示例中，卷积群202的卷积参数为W[1；8；3；3]。换言之，通过卷积核尺寸3ⅹ3的卷积将8通道特征图进行处理，输出单通道特征图。

卷积群203指示计算aij。具体而言，通过上述公式(1)计算得到aij。具体地，i和j不同时为0。在本示例中，卷积群203的卷积参数为W[8；1；3；3]。换言之，通过卷积核尺寸3ⅹ3的卷积将单通道特征图进行处理，输出8通道特征图。

卷积群204指示计算fI。具体而言，通过上述公式(1)计算得到f_I。具体地，i和j不同时为0。在本示例中，卷积群204的卷积参数为W[8；1；3；3]。换言之，通过卷积核尺寸3ⅹ3的卷积将单通道特征图进行处理，得到8通道特征图。

卷积群205指示通过求和计算，得到∑fI。在本示例中，卷积群205的卷积参数为W[1；8；1；1]。换言之，通过卷积核尺寸1ⅹ1的卷积将8通道特征图进行处理，得到单通道特征图，即，卷积核尺寸1ⅹ1的卷积的作用是执行8通道的通道间融合。

卷积群206指示通过求和计算，得到∑aij。在本示例中，卷积群206的卷积参数为W[1；8；1；1]，B[1]。换言之，通过卷积核尺寸1ⅹ1的卷积将8通道特征图进行处理，得到单通道特征图。

卷积群207指示通过卷积群205和卷积群206的计算结果应用于上述公式(2)，得到Ixy。

卷积群208指示将卷积群207的输出到8个通道中。在本示例中，卷积群208的卷积参数为W[8；1；3；3]，B[8]。换言之，通过卷积核尺寸3ⅹ3的卷积将单通道特征图进行处理，得到8通道特征图。

卷积群209指示8个通道的输出结果与其他的特征图合流，合流可以通过算子求和算子(add)或合并算子(concat)实现。

另外，在本示例中，卷积群202和卷积群204形成了第一卷积网络。其他的卷集群形成了第二卷积网络的示例。换言之，形成第一卷积网络的多个卷积群不一定彼此直接连接。

可替代地，图2B示出了根据本发明的一个实施例的卷积网络结构。

卷积群2001指示获取单通道图，并且获取单通道图中的每个像素值的标准差σ。具体而言，单通道图可以为待处理图像的单通道图(例如，从输入层(input)获取)，也可以为单通道图经由卷积群处理后的特征图(例如，从求和(add)获取)。

卷积群2002指示获得单通道图的各个像素值。在本示例中，卷积群2002的卷积参数为W[1；8；3；3]。换言之，通过卷积核尺寸3ⅹ3的卷积将8通道特征图进行处理，输出单通道特征图。

卷积群2003指示计算aij/∑aij。具体而言，通过上述公式(1)计算得到aij，并且softmax算子获得aij，然后进行归一化运算得到aij/∑aij。在本示例中，卷积群2003的卷积参数为W[9；1；3；3]。输出通道数9表示后续将计算出的9个aij。

卷积群2004指示计算fI。具体而言，通过上述公式(1)计算得到fI。具体地，i和j不同时为0。在本示例中，卷积群2004的卷积参数为W[9；1；3；3]。换言之，通过卷积核尺寸3ⅹ3的卷积将单通道特征图进行处理，得到9通道特征图。

卷积群2005指示通过乘法运算，得到fIⅹaij/∑aij。

卷积群2006指示通过求和计算，得到∑fIⅹaij/∑aij。

此外，第一卷积网络的卷积参数通过基础图像参数和调整参数表征图像参数。图像参数是基本图像参数和调整参数的函数，调整参数经由图像处理模型的参数调整接口输入。例如，参数调整接口可以配置在运行图像处理模型的设备可以通过人机交互接口中，用户可以通过参数调整接口对调整参数进行设置。应理解，参数调整接口可以在人机交互界面中作为分辨率设置实现(例如，建立分辨率与调整参数之间的对应关系)，以对视频画质或图像画质等进行调整。例如，参数调整接口关联到视频播放器中的分辨率设置选项中。在本示例中，上述的fI和/或σ可以作为调整参数的例子。

在另一些示例中，超分辨率算法包括边缘提取算法，算子参数包括边缘提取算法的多种边缘提取算子，图像参数用于对所述多种边缘提取算子进行线性组合。

在另一些示例中，第一卷积网络包括重参数化卷积，重参数化卷积通过对多个卷积群的卷积参数进行重参数化得到，其中，多个卷积群的卷积参数分别表征多种边缘提取算子的算子参数。如图3所示，多个卷积群包括第一卷积群、第二卷积群和第三卷积群。在一个具体的示例中，第一卷积群由5x5卷积构成，第二卷积群由1x1卷积、3x3卷积和3x3卷积构成，第三卷积群包括1x1卷积、3x3卷积和3x3卷积构成。其中，在另一示例中，第二卷积群和第三卷积群中也可以不包括1x1卷积。应理解，上述的1x1卷积能够起到通道间特征融合的作用。

在第二卷积群和第三卷积群中的任一者包括1x1卷积的情况下，1x1卷积和3x3卷积可以重参数化为一3x3卷积，该3x3卷积与卷积群中的另一3x3卷积可以重参数化为5x5卷积；在第二卷积群和第三卷积群都不包括1x1卷积的情况下，两个3x3卷积可以重参数化为5x5卷积。由此，第二卷积群和第三卷积群均可以被重参数化为5x5卷积，两者与作为第一卷积群的5x5卷积可以合并为5x5卷积。应理解，上述的运算仅仅为重参数化的一个示例，本实施例的重参数化可以适用于其他数目的卷积群，并且还可以适用于各种卷积核尺寸。

另外，第二卷积群中的3x3卷积和3x3卷积中的任一者可以为用于求梯度/边缘增强的卷积，在邻近输入侧的3x3卷积用于求梯度/边缘增强时，远离输入侧的另一3x3卷积可以设置成用于边缘滤波。应理解，求梯度/边缘增强的卷积包括但不限于laplace算子和sobel算子。在本示例中，第二卷积群中包括了用于求梯度/边缘增强的卷积，但是应理解，可以有多个卷积群包括这样的卷积，且本示例对进行图像边缘处理的卷积群的数目也不做限定。

作为一个具体的示例，输入特征图的参数为[训练批数目；输入通道数；第一维度像素数；第二维度像素数]，输出特征图的参数为[训练批数目；输出通道数；第一维度像素数；第二维度像素数]。5x5卷积的卷积参数包括权重参数和[输出通道数；输入通道数；卷积核尺寸；卷积核尺寸]、偏置B[输出通道数]以及填充参数，其中，填充参数可以预设为0或其他值。

重参数化的两个3x3卷积的参数分别是：W1，[中间通道数；输入通道数；卷积核尺寸；卷积核尺寸]，偏置bias1：[中间通道数]，步长stride＝1，填充padding＝0；W2：[中间通道数；输出通道数；卷积核尺寸；卷积核尺寸]，偏置bias2：[out_chs]，步长stride＝1，填充padding＝0。下面将示出两个3x3卷积合成一5x5卷积的具体公式：

W5x5[:,:,0,0]＝W2[:,:,0,0]×W1[:,:,0,0]

W5x5[:,:,0,1]＝W2[:,:,0,0]×W1[:,:,0,1]+W2[:,:,0,1]×W1[:,:,0,0]

W5x5[:,:,0,2]＝W2[:,:,0,0]×W1[:,:,0,2]+W2[:,:,0,1]×W1[:,:,0,1]+W2[:,:,0,2]×W1[:,:,0,0]

W5x5[:,:,0,3]＝W2[:,:,0,1]×W1[:,:,0,2]+W2[:,:,0,2]×W1[:,:,0,1]

W5x5[:,:,0,4]＝W2[:,:,0,2]×W1[:,:,0,2]；

W5x5[:,:,1,0]＝W2[:,:,0,0]×W1[:,:,1,0]+W2[:,:,1,0]×W1[:,:,0,0]

W5x5[:,:,1,1]＝W2[:,:,0,0]×W1[:,:,1,1]+W2[:,:,0,1]×W1[:,:,1,0]+W2[:,:,1,0]×W1[:,:,0,1]+W2[:,:,1,1]×W1[:,:,0,0]

W5x5[:,:,1,2]＝W2[:,:,0,0]×W1[:,:,1,2]+W2[:,:,0,1]×W1[:,:,1,1]+W2[:,:,0,2]×W1[:,:,1,0]+W2[:,:,1,0]×W1[:,:,0,2]+W2[:,:,1,1]×W1[:,:,0,1]+W2[:,:,1,2]×W1[:,:,0,0]

W5x5[:,:,1,3]＝W2[:,:,0,1]×W1[:,:,1,2]+W2[:,:,0,2]×W1[:,:,1,1]+W2[:,:,1,1]×W1[:,:,0,2]+W2[:,:,1,2]×W1[:,:,0,1]

W5x5[:,:,1,4]＝W2[:,:,0,2]×W1[:,:,1,2]+W2[:,:,1,2]×W1[:,:,0,2]；

W5x5[:,:,2,0]＝W2[:,:,0,0]×W1[:,:,2,0]+W2[:,:,1,0]×W1[:,:,1,0]+W2[:,:,2,0]×W1[:,:,0,0]

W5x5[:,:,2,1]＝W2[:,:,0,0]×W1[:,:,2,1]+W2[:,:,0,1]×W1[:,:,2,0]+W2[:,:,1,0]×W1[:,:,1,1]+W2[:,:,1,1]×W1[:,:,1,0]+W2[:,:,2,0]×W1[:,:,0,1]+W2[:,:,2,1]×W1[:,:,0,0]

W5x5[:,:,2,2]＝W2[:,:,0,0]×W1[:,:,2,2]+W2[:,:,0,1]×W1[:,:,2,1]+W2[:,:,0,2]×W1[:,:,2,0]+W2[:,:,1,0]×W1[:,:,1,2]+W2[:,:,1,1]×W1[:,:,1,1]+W2[:,:,1,2]×W1[:,:,1,0]+W2[:,:,2,0]×W1[:,:,0,2]+W2[:,:,2,1]×W1[:,:,0,1]+W2[:,:,2,2]×W1[:,:,0,0]

W5x5[:,:,2,3]＝W2[:,:,0,1]×W1[:,:,2,2]+W2[:,:,0,2]×W1[:,:,2,1]+W2[:,:,1,1]×W1[:,:,1,2]+W2[:,:,1,2]×W1[:,:,1,1]+W2[:,:,2,1]×W1[:,:,0,2]+W2[:,:,2,2]×W1[:,:,0,1]

W5x5[:,:,2,4]＝W2[:,:,0,2]×W1[:,:,2,2]+W2[:,:,1,2]×W1[:,:,1,2]+W2[:,:,2,2]×W1[:,:,0,2]；

W5x5[:,:,3,0]＝W2[:,:,1,0]×W1[:,:,2,0]+W2[:,:,2,0]×W1[:,:,1,0]

W5x5[:,:,3,1]＝W2[:,:,1,0]×W1[:,:,2,1]+W2[:,:,1,1]×W1[:,:,2,0]+W2[:,:,2,0]×W1[:,:,1,1]+W2[:,:,2,1]×W1[:,:,1,0]

W5x5[:,:,3,2]＝W2[:,:,1,0]×W1[:,:,2,2]+W2[:,:,1,1]×W1[:,:,2,1]+W2[:,:,1,2]×W1[:,:,2,0]+W2[:,:,2,0]×W1[:,:,1,2]+W2[:,:,2,1]×W1[:,:,1,1]+W2[:,:,2,2]×W1[:,:,1,0]

W5x5[:,:,3,3]＝W2[:,:,1,1]×W1[:,:,2,2]+W2[:,:,1,2]×W1[:,:,2,1]+W2[:,:,2,1]×W1[:,:,1,2]+W2[:,:,2,2]×W1[:,:,1,1]

W5x5[:,:,3,4]＝W2[:,:,1,2]×W1[:,:,2,2]+W2[:,:,2,2]×W1[:,:,1,2]；

W5x5[:,:,4,0]＝W2[:,:,2,0]×W1[:,:,2,0]

W5x5[:,:,4,1]＝W2[:,:,2,0]×W1[:,:,2,1]+W2[:,:,2,1]×W1[:,:,2,0]

W5x5[:,:,4,2]＝W2[:,:,2,0]×W1[:,:,2,2]+W2[:,:,2,1]×W1[:,:,2,1]+W2[:,:,2,2]×W1[:,:,2,0]

W5x5[:,:,4,3]＝W2[:,:,2,1]×W1[:,:,2,2]+W2[:,:,2,2]×W1[:,:,2,1]

W5x5[:,:,4,4]＝W2[:,:,2,2]×W1[:,:,2,2]。

另外，在另一些示例中，超分辨率算法包括锐化处理算法，图像参数包括锐化强度因子。所述算子参数用于根据所述锐化强度因子进行锐化处理，降低图像锐化处理的成本的前提下，提高了图像锐化处理的效率。如图4A所示，图像处理模型包括多个卷积群401-404。各个卷积群的卷积参数包括权重参数和[输出通道数m；输入通道数n；卷积核尺寸k；卷积核尺寸k]、偏置B[输出通道数]以及填充参数，其中，填充参数可以预设为0或其他值。另外，各个通道图对应的输出通道数m和输入通道数n可以预定的任意值，只需满足一通道图的输出通道数m与下一通道图的输入通道数n相同。在本示例中，m可以取值为1或8，n可以取值为1或8。各个通道图对应的卷积核尺寸k也可以预先定义为任意值，在本示例中，卷积核尺寸为3或5。但是不应当理解对上述的输入通道数n、输出通道数m以及卷积核尺寸k进行了限定。

此外，输入到图像处理模型的特征图参数为[训练批数目；输入通道数；第一维度像素；第二维度像素]。本示例中，第一维度和第二维度可以为X轴和Y轴，训练批数目(batchnorm)可以为1，输入通道数为8通道，特征图的分辨率为180ⅹ320。

其中，锐化处理算法可以遵循根据下面的公式：

y＝px-(p-1)f(x) (3)

f(x)＝boxfilter(x,kernelb) (4)

y＝(p-1)(x-f(x))+x＝dx+x (6)

卷积群401指示从输入的特征图中提取公式(5)中的(x-f(x))。在本示例中，卷积群401的卷积参数为W[8；1；3；3]，B[8]，换言之，通过卷积核尺寸3ⅹ3的卷积将8通道特征图进行处理，得到单通道特征图。

卷积群402指示从输入的特征图中提取(p-1)。具体而言，图4A示例性地示出了包括4个卷积的卷积群402，第一卷积的卷积参数为W[8；8；5；5]，B[8]；第二卷积的卷积参数为W[8；8；3；3]，B[8]；第三卷积的卷积参数为W[8；8；3；3]，B[8]；第四卷积的卷积参数为W[8；8；5；5]，B[8]。换言之，4个卷积进行8通道特征图处理，通过不同的卷积核提取到了准确的(p-1)。

卷积群403指示将卷积群401中的输出与卷积群403的输出相乘(例如，利用乘法算子mul)，得到(p-1)(x-f(x))。

卷积群404指示通过公式(5)进行求和(例如，利用求和算子add)计算，得到y。

此外，第一卷积网络的卷积参数通过基础图像参数和调整参数表征图像参数。图像参数是基本图像参数和调整参数的函数，调整参数经由图像处理模型的参数调整接口输入。例如，参数调整接口可以配置在运行图像处理模型的设备可以通过人机交互接口中，用户可以通过参数调整接口对调整参数进行设置。应理解，参数调整接口可以在人机交互界面中作为分辨率设置实现(例如，建立分辨率与调整参数之间的对应关系)，以对视频画质或图像画质等进行调整。例如，参数调整接口关联到视频播放器中的分辨率设置选项中。在本示例中，上述的p或(1-p)可以作为调整参数的例子。

在另一些示例中，图像处理模型通过将第一卷积网络连接到通用图像处理模型的开放接口而生成，通用图像处理模型基于第二卷积网络构建。换言之，通用图像处理模型可以基于第二卷积网络构建，并且配置有调参数接口，可以训练满足不同用户需求或图像处理指标的第一卷积网络连接到通用图像处理模型中，得到图像处理模型。本示例提高了模型训练效率，并且提高了模型训练灵活性。作为一个示例，可以服务器可以仅将第一卷积网络进行更新部署，同时保留通用图像处理模型，提高了模型部署的效率。作为另一示例，通用图像处理模型的更新周期大于第一卷积网络的更新周期，提高了通用图像处理模型的灵活性。

相应地，本发明实施例还提供了一种视频播放方法。可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。在一个示例中，电子设备能够基于机器学习软件框架配合诸如GPU的硬件配置，执行本实施例的方法。视频播放方法包括：

获取视频数据。

根据图像处理方法，对视频数据进行超分辨率处理。

播放超分辨率处理后的视频数据。

其中，图像处理方法可以为上述任一实施例的图像处理方法，本实施例的视频播放方法可以适用于图1A所示的架构。

其中，通信模块111可以用于获取视频数据。图像处理模块112可以调用图像处理模型114对视频数据进行图像处理。视频播放方法113可以播放超分辨率处理后的视频数据。

在另一些示例中，超分辨率算法包括小波处理算法，第一卷积网络包括线性叠加的用于小波变换的N级卷积群、以及用于逆小波变换的N级卷积群。用于小波变换的N级卷积群的卷积参数经由预先设定用于表征小波变换的图像频率参数，且与经由训练得到的参数线性叠加，用于逆小波变换的N级卷积群经由预先设定用于表征逆小波变换的图像频率参数，且经由训练得到的参数线性叠加。在用于小波变换的N级卷积群中，表征第i级低频信息的卷积的输入与表征第i级高频信息的卷积的输入连接到第i-1级低频信息的卷积的输出。在用于逆小波变换的N级卷积群中，表征第i-1级低频信息的卷积的输出与表征第i-1级高频信息的卷积的输出连接到第i级低频信息的卷积的输入。i为整数，且1≤i≤N，其中N与小波处理的精度相关，N的值越大，小波处理的精度越高。本实施例在降低图像小波处理的成本的前提下，提高了图像小波处理的效率。

如图4B所示，示出了用于小波变换的N级卷积群和用于逆小波变换的N级卷积群。各个卷积群的卷积参数包括权重参数和[输出通道数m；输入通道数n；卷积核尺寸k；卷积核尺寸k]、偏置B[输出通道数]以及填充参数，其中，填充参数可以预设为0或其他值。另外，各个通道图对应的输出通道数m和输入通道数n可以预定的任意值，只需满足一通道图的输出通道数m与下一通道图的输入通道数n相同。在本示例中，m可以取值为1或8，n可以取值为1或8。各个通道图对应的卷积核尺寸k也可以预先定义为任意值，k与小波处理类型相关，例如，k为2时，小波处理为haar小波处理。在本示例中，以卷积核尺寸为1、3或5为例进行说明，但是不应当理解对上述的输入通道数n、输出通道数m以及卷积核尺寸k进行了限定。卷积群4001表示对进行卷积处理得到的输入特征图，卷积群4011表示对输入特征图进行初级小波分解，得到低频信息L0和高频信息H0，然后与卷积群4012线性叠加，得到高频信息H0的增强表示。卷积群4021表示低频信息L0，卷积群4022表示对低频信息L0进行下一级小波分解，得到低频信息L1和高频信息H1，经过分解之后与卷积群4023线性叠加，然后与4024线性叠加，得到低频信息L0的增强表示。应理解，图4B的示例仅仅示出了图像频率特征的两级分解，也可以采用更多的卷积群继续对L1分解，得到L2和H2。各级分解的输入频率特征和输出频率特征可以满足如下关系：L(i-1)＝Li+Hi，i为大于1且小于N的整数。

卷积群4031用于对分解之后的图像频率信息进行逆小波变换。逆小波变换可以采用与小波变换相同的结构。还应理解，上述卷积群4001的输入可以为图像输入，也可以是图像特征图。

此外，第一卷积网络的卷积参数通过基础图像参数和调整参数表征图像参数。图像参数是基本图像参数和调整参数的函数，调整参数经由图像处理模型的参数调整接口输入。例如，参数调整接口可以配置在运行图像处理模型的设备可以通过人机交互接口中，用户可以通过参数调整接口对调整参数进行设置。应理解，参数调整接口可以在人机交互界面中作为分辨率设置实现(例如，建立分辨率与调整参数之间的对应关系)，以对视频画质或图像画质等进行调整。例如，参数调整接口关联到视频播放器中的分辨率设置选项中。在本示例中，上述的I可以作为调整参数的例子。

此外，将结合图4C说明和描述另一示例的图像处理方法。与图4B的情况下网络结构不同，图4C示出了i＝0的情况下的小波处理过程，且图4C的网络包括用于小波变换的卷积群41-43以及用于逆小波变换的卷积群44。

具体地，卷积群41表示对进行卷积处理得到的输入特征图，卷积群42表示对输入特征图进行小波分解，得到低频信息L0和高频信息H0，然后与卷积群43线性叠加。

卷积群44用于对分解之后的图像频率信息进行逆小波变换。逆小波变换可以采用与小波变换相同的结构。还应理解，上述卷积群41的输入可以为图像输入，也可以是图像特征图。

在另一些示例中，图5示出了根据本发明的另一实施例的卷积网络结构，图5的卷积网络结构为图2A或图2B、图3、图4A、图4B以及图4C中的结构的一个组合示例。具体而言，图5的网络结构包括依次连接的边缘处理网络、双边处理网络和上采样网络。输入图像经过边缘处理网络进行处理，将得到的特征图输入到双边滤波网络进行进一步处理。然后将双边滤波处理得到的特征图输入到上采样网络，得到最终的输出图像。应理解，小波处理的卷积网络可以连接在上述各个网络之间的任意位置，本示例对此不作限定。还应理解，上采样网络之后还可以连接到锐化处理网络。上述的各个网络都可以采用各个卷积群进行连接实现，并且图5的卷积网络可以作为整体进行训练得到。

图6为根据本发明的另一实施例的图像处理装置的结构框图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。在一个示例中，电子设备能够基于机器学习软件框架配合诸如GPU的硬件配置，执行本实施例的方法。图6的图像处理装置包括：

获取模块610，获取待处理图像。

处理模块620，将所述待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理。所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

在本发明实施例的方案中，第一卷积网络的卷积参数经由训练表征图像参数，第二卷积网络的卷积参数经由预先设定用于表征算子参数，通过卷积网络高效地且可靠地实现了超分辨率算法，提高了图像超分辨率处理的效率，同时利用简单的卷积网络结构保证了图像处理模型的低成本。

在另一些示例中，所述超分辨率算法包括双边滤波算法，所述图像参数包括各个像素值与中心像素值之间的各个像素差值、以及所述各个像素差值的标准差，所述算子参数用于根据所述各个像素差值和所述标准差确定基于所述双边滤波算法处理后的各个像素值，所述第一卷积网络包括线性叠加的表征所述各个像素差值的第一卷积群、以及表征所述标准差的第二卷积群。

在另一些示例中，所述超分辨率算法包括小波处理算法，所述第一卷积网络包括用于小波变换的N级卷积群、以及用于逆小波变换的N级卷积群，在用于小波变换的N级卷积群中，表征第i级低频信息的卷积的输入与表征第i级高频信息的卷积的输入连接到第i-1级低频信息的卷积的输出，在用于逆小波变换的N级卷积群中，表征第i-1级低频信息的卷积的输出与表征第i-1级高频信息的卷积的输出连接到第i级低频信息的卷积的输入，其中，i为整数，且1≤i≤N。

在另一些示例中，所述超分辨率算法包括边缘提取算法，所述算子参数包括所述边缘提取算法的多种边缘提取算子，所述图像参数用于对所述多种边缘提取算子进行线性组合。

在另一些示例中，所述第一卷积网络包括重参数化卷积，所述重参数化卷积通过对多个卷积群的卷积参数进行重参数化得到，其中，所述多个卷积群的卷积参数分别表征所述多种边缘提取算子的算子参数。

在另一些示例中，所述超分辨率算法包括锐化处理算法，所述图像参数包括锐化强度因子，所述算子参数用于根据所述锐化强度因子进行锐化处理。

在另一些示例中，所述图像处理模型通过将所述第一卷积网络连接到通用图像处理模型的开放接口而生成，所述通用图像处理模型基于所述第二卷积网络构建。

本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

图5为根据本发明的另一实施例的模型训练方法的步骤流程图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。在一个示例中，电子设备能够基于机器学习软件框架配合诸如GPU的硬件配置，执行本实施例的方法。图5的模型训练方法包括：

S510：获取训练数据。训练数据包括初始图像数据和图像超分辨率数据。

S520：基于训练数据，对神经网络进行训练，得到图像处理模型。

所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络，

所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

图7B为根据本发明的另一实施例的模型训练装置的结构框图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。在一个示例中，电子设备能够基于机器学习软件框架配合诸如GPU的硬件配置，执行本实施例的方法。图7B的模型训练装置包括：

获取模块710，获取训练数据。

训练模块720，基于所述训练数据，对神经网络进行训练，得到图像处理模型，所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络。所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

在本发明实施例的方案中，第一卷积网络的卷积参数经由训练表征图像参数，第二卷积网络的卷积参数经由预先设定用于表征算子参数，通过卷积网络高效地且可靠地实现了超分辨率算法，提高了图像超分辨率处理的效率，同时利用简单的卷积网络结构保证了图像处理模型的低成本。

本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

参照图8，示出了根据本发明的另一实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图8所示，该电子设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

其中：

处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。

通信接口804，用于与其它电子设备或服务器进行通信。

处理器802，用于执行程序810，具体可以执行上述方法实施例中的相关步骤。

具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。

处理器802可能是处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序810具体可以用于使得处理器802执行以下操作：获取待处理图像；将待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理。所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

可替代地，程序810具体可以用于使得处理器802执行以下操作：获取训练数据；基于所述训练数据，对神经网络进行训练，得到图像处理模型，所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

此外，程序810中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (13)

1.一种图像处理方法，包括：

获取待处理图像；

将所述待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理，

其中，所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

2.根据权利要求1所述的方法，其中，所述超分辨率算法包括双边滤波算法，所述图像参数包括各个像素值与中心像素值之间的各个像素差值、以及所述各个像素差值的标准差，所述算子参数用于根据所述各个像素差值和所述标准差确定基于所述双边滤波算法处理后的各个像素值，

所述第一卷积网络包括第一卷积群和第二卷积群，所述第一卷积群经由预先设定用于表征所述各个像素差值，且与经由训练得到的参数线性叠加，所述第二卷积群经由预先设定用于表征所述标准差，且与经由训练得到的参数线性叠加。

3.根据权利要求1所述的方法，其中，所述超分辨率算法包括小波处理算法，

所述第一卷积网络包括线性叠加的用于小波变换的N级卷积群、以及用于逆小波变换的N级卷积群，用于小波变换的N级卷积群的卷积参数经由预先设定用于表征小波变换的图像频率参数，且与经由训练得到的参数线性叠加，用于逆小波变换的N级卷积群经由预先设定用于表征逆小波变换的图像频率参数，且经由训练得到的参数线性叠加，

在用于小波变换的N级卷积群中，表征第i级低频信息的卷积的输入与表征第i级高频信息的卷积的输入连接到第i-1级低频信息的卷积的输出，

在用于逆小波变换的N级卷积群中，表征第i-1级低频信息的卷积的输出与表征第i-1级高频信息的卷积的输出连接到第i级低频信息的卷积的输入，

其中，i为整数，且1≤i≤N。

4.根据权利要求1所述的方法，其中，所述超分辨率算法包括边缘提取算法，

所述算子参数包括所述边缘提取算法的多种边缘提取算子，所述图像参数用于对所述多种边缘提取算子进行线性组合。

5.根据权利要求4所述的方法，其中，所述第一卷积网络包括重参数化卷积，所述重参数化卷积通过对多个卷积群的卷积参数进行重参数化得到，

其中，所述多个卷积群的卷积参数分别表征所述多种边缘提取算子的算子参数。

6.根据权利要求1所述的方法，其中，所述超分辨率算法包括锐化处理算法，所述图像参数包括锐化强度因子，所述算子参数用于根据所述锐化强度因子进行锐化处理。

7.根据权利要求1所述的方法，其中，所述第一卷积网络的卷积参数通过基础图像参数和调整参数表征所述图像参数，其中，所述图像参数是所述基本图像参数和所述调整参数的函数，所述调整参数经由所述图像处理模型的参数调整接口输入。

8.一种视频播放方法，包括：

获取视频数据；

根据图像处理方法，对所述视频数据进行超分辨率处理，所述图像处理方法为根据权利要求1-7中任一项所述的方法；

播放超分辨率处理后的视频数据。

9.一种模型训练方法，包括：

获取训练数据；

基于所述训练数据，对神经网络进行训练，得到图像处理模型，所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络，

所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

10.一种图像处理装置，包括：

获取模块，获取待处理图像；

处理模块，将所述待处理图像输入到图像处理模型中，以根据超分辨率算法进行图像处理，

其中，所述图像处理模型包括互相连接的第一卷积网络和第二卷积网络，所述第一卷积网络的卷积参数经由训练用于表征所述超分辨率算法的图像参数，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法的算子参数。

11.一种模型训练装置，包括：

获取模块，获取训练数据；

训练模块，基于所述训练数据，对神经网络进行训练，得到图像处理模型，所述图像处理模型用于基于超分辨率算法进行图像处理，所述神经网络包括互相连接的第一卷积网络和第二卷积网络，

所述第一卷积网络的卷积参数经由调整用于表征所述超分辨率算法中的图像参数，其中，所述第二卷积网络的卷积参数经由预先设定用于表征所述超分辨率算法中的算子参数。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的方法对应的操作。

13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images