CN204948182U - 一种图像升频系统及显示装置 - Google Patents

Abstract

本实用新型公开了一种图像升频系统及显示装置，采用卷积神经网络模块获取图像的特征图像，采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像。在复合器的升频过程中，输入信号中各特征图像的信息不损失的记载到生成的特征图像中，因此经过复合器后可以得到分辨率提升n倍的高质量图像。并且，在图像升频系统中可设置多个复合器进行逐次升频，每个复合器都可以执行单独倍数的升频功能，使系统可以根据需要灵活调整升频倍数。且由于复合器在将特征图像的分辨率放大n倍的同时，减少了复合器输出的特征图像的数量，从而减少下一级复合器或第一卷积神经网络模块的输入信号量，简化其计算量。

Description

一种图像升频系统及显示装置

技术领域

本实用新型涉及图像信号处理技术领域，尤其涉及一种图像升频系统及显示装置。

背景技术

目前，在图像信号处理的过程中，一般是利用标准的诸如双三次(bicubic)和线性等标准升频(提高图像分辨率)方式对图像进行分辨率的提升。如图1所示，示出了一个2x的升频方式，对输入图像的各像素(加上邻像素)使用四个不同的滤波器F1、滤波器F2、滤波器F3和滤波器F4，每个滤波器产生四分之一的输出图像的像素，这个过程可以看作是对输入图像应用4个滤波器(卷积)后交错或复用以创建宽度和高度翻倍的单一输出图像。

但是，目前的图像升频系统数据计算量较大，升频倍数无法灵活调节。

实用新型内容

有鉴于此，本实用新型实施例提供了一种图像升频系统及显示装置，用以基于卷积神经网络实现对图像分辨率高品质的升频，降低升频计算量，提高升频倍数调节的灵活度。

因此，本实用新型实施例提供的一种图像升频系统，包括：级联的至少一个第一卷积神经网络模块和至少一个复合器；其中，

升频系统的信号输入端与一所述第一卷积神经网络模块连接，升频系统的信号输出端与一所述复合器连接；

所述复合器的信号输入端与一所述第一卷积神经网络模块的信号输出端连接，或与另一所述复合器的信号输出端连接；

所述第一卷积神经网络模块，用于将输入到所述第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出；

所述复合器，用于将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出；输入到所述复合器的输入信号中特征图像的数量为n*n的倍数，n为大于1的整数。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，所述复合器的个数为两个或三个。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，各所述复合器的信号输入端均与一所述第一卷积神经网络模块的信号输出端连接。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，所述复合器为多个时，各所述复合器为升频倍数相同的复合器。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，所述复合器为升频倍数为质数的复合器。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，所述复合器为升频倍数为2的复合器。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，所述复合器为自适应插值滤波器。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，还包括：设置于升频系统的信号输出端与所述复合器之间的第二卷积神经网络模块；

所述第二卷积神经网络模块，用于对所述复合器的输出信号的特征图像进行画质优化。

在一种可能的实施方式中，本实用新型实施例提供的上述图像升频系统中，所述第一卷积神经网络模块和第二卷积神经网络模块包括至少一层由多个滤波单元组成的卷积层。

本实用新型实施例提供了一种显示装置，包括本实用新型实施例提供的上述图像升频系统。

本实用新型实施例的有益效果包括：

本实用新型实施例提供的一种图像升频系统及显示装置，采用卷积神经网络模块获取图像的特征图像，采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像，在复合器的升频过程中，输入信号中各特征图像的信息不损失的记载到生成的特征图像中，因此图像每经过一个升频倍数为n的复合器后，图像分辨率可提升n倍。并且，在图像升频系统中可设置不止一个复合器进行逐次升频，每个复合器都可以执行单独倍数的升频功能，使系统可以根据需要灵活调整升频倍数，实现了一种针对不同升频倍数可通用的升频系统。进一步地，由于每个复合器在将特征图像的分辨率放大n倍的同时，减少了复合器输出的特征图像的数量，可以减少级联的下一级复合器或第一卷积神经网络模块的输入信号量，从而简化升频计算量。

附图说明

图1为现有技术中2x的升频示意图；

图2a-图2e分别为本实用新型实施例提供的图像升频系统的结构示意图；

图3为本实用新型实施例提供的图像升频系统中复合器的升频示意图；

图4为本实用新型实施例提供的图像升频系统中卷积神经网络模块的结构示意图；

图5为本实用新型实施例提供的图像升频系统的训练方法的流程示意图。

具体实施方式

卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

基于卷积神经网络对于二维形状即图像的高度不变形，本实用新型提供一种图像升频系统、对该图像升频系统进行训练的方法，以及根据训练后的图像升频系统对输入图像进行升频的方法。该系统具体采用卷积神经网络对图像进行升频，在保证不丢失图像信息的前提下，可有效的将低分辨率的图像转换为高分辨率的图像。

下面结合附图，对本实用新型实施例提供的图像升频系统及显示装置的具体实施方式进行详细地说明。

本实用新型实施例提供的一种图像升频系统，如图2a至图2d所示，包括：级联的至少一个第一卷积神经网络模块(ConvolutionalNetwork，CN)和至少一个复合器(MuxerLayer，ML)；其中，

升频系统的信号输入端与一第一卷积神经网络模块连接，升频系统的信号输出端与一复合器连接；

复合器的信号输入端与一第一卷积神经网络模块的信号输出端连接，或与另一复合器的信号输出端连接；

第一卷积神经网络模块，用于将输入到第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出给复合器；

复合器，用于将输入到复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为输入信号的特征图像n倍的特征图像并输出；输入到复合器的输入信号中特征图像的数量为n*n的倍数，n为大于1的整数。

在本实用新型实施例提供的上述图像升频系统中，采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像，在复合器的升频过程中，输入信号中各特征图像的信息不损失的记载到生成的特征图像中，因此图像每经过一个升频倍数为n的复合器后，图像分辨率可提升n倍。并且，在图像升频系统中可设置不止一个复合器进行逐次升频，每个复合器都可以执行单独倍数的升频功能，使系统可以根据需要灵活调整升频倍数，实现了一种针对不同升频倍数可通用的升频系统。进一步地，由于每个复合器在将特征图像的分辨率放大n倍的同时，减少了复合器输出的特征图像的数量，可以减少级联的下一级复合器或第一卷积神经网络模块的输入信号量，从而简化升频计算量。

需要说明的是，若系统包含多个放大倍数为n倍的复合器，则图片经过该系统升频后，图像分辨率可提高n*n倍。

比如，若系统包括两个升频倍数为2x的复合器时，图像经过这两个复合器之后，分辨率提高为4x；若系统包括三个升频倍数为2x的复合器时，图像经过这三个复合器之后，分辨率提高为8x。

在具体实施时，根据所需的升频倍数，本实用新型实施例提供的上述图像升频系统的具体实施方式可以有多种。例如，根据所需的升频倍数，可以在本实用新型实施例提供的上述图像升频系统中，可以如图2a所示设置一个复合器也可以如图2b和图2c所示设置两个复合器，还可以如图2d所示设置三个复合器。

具体地，一般当需要升频倍数为诸如2x、3x或5x等质数倍的升频时，本实用新型实施例提供的上述图像升频系统，如图2a所示，包含一个第一卷积神经网络模块和一个将特征图像进行对应的2x、3x或5x倍频的复合器。当需要升频倍数为4x时，本实用新型实施例提供的上述图像升频系统，如图2b和图2c所示，可以包含两个2x倍频的复合器。当需要升频倍数为8x时，本实用新型实施例提供的上述图像升频系统，如图2d所示，可以包含三个2x倍频的复合器。以此类推，当需要的倍频数越大，所需的复合器的数量也就对应的越多，对应的系统所进行的数据计算量也就越大。因此，较佳地，在本实用新型实施例提供的上述图像升频系统中，一般设置两个或三个复合器，进行两次或三次升频。

进一步地，在本实用新型实施例提供的上述图像升频系统中设置多个复合器时，为了使每个复合器在进行升频处理时可以采用高质量的特征图像合成高质量的分辨率为n倍的特征图像，如图2c和图2d所示，一般各复合器的信号输入端均与一第一卷积神经网络模块的信号输出端连接，先采用第一卷积神经网络模块来获取特征图像后输入到对应的复合器的信号输入端，即在图像升频系统中，第一卷积神经网络模块和复合器成对设置。

进一步地，在本实用新型实施例提供的上述图像升频系统中设置多个复合器时，每个复合器的升频倍数可以相同，也可以不同。一般地，在复合器为多个时，一般将各复合器的升频倍数n设置为相同。而且，每个复合器的升频倍数越小，其计算量越小，升频效果越好。因此，若所需升频倍数较大时，一般采用多次升频，而每个复合器的升频倍数n一般均设置为诸如2、3、5或7等质数。较佳地，一般每个复合器的升频倍数n设置为2。

进一步地，本实用新型实施例提供的上述图像升频系统中，如图2e所示，还包括：设置于升频系统的信号输出端与复合器之间的第二卷积神经网络模块；第二卷积神经网络模块，用于对复合器的输出信号的特征图像进行画质优化。在最后一级的复合器输出最终的升频特征图像之前，可以利用第二卷积神经网络模块根据所需对输出画质进行画质增强，提高输出图像的质量。

具体地，本实用新型实施例提供的上述图像升频系统中，第一卷积神经网络模块和第二卷积神经网络模块均可以包括至少一层由多个滤波单元组成的卷积层。第一卷积神经网络模块和第二卷积神经网络模块所包含的卷积层数可以根据需要设定。且每个卷积层中包含的滤波单元个数可以相同也可以不同。一般地，由于为了便于系统优化参数，每个卷积神经网络模块中的卷积层的层数一般设置为不大于10层。

下面以图2e所示的结构，且采用两个2x的复合器进行4x升频为例说明本实用新型实施例提供的上述图像升频系统。

具体地，与系统的信号输入端连接的首级第一卷积神经网络模块由四层卷积层组成，每个卷积层包含128个滤波单元，每个滤波单元由3*3个滤波器组成，其中，将[1,1]位置的滤波器设置为中心像素。在输入信号的图像经过第一层的卷积层后会生成128个特征图像输出到下一卷积层，直至最后一层卷积层输出128个特征图像至下一级(第二级)的复合器。

第二级的复合器接收到首级第一卷积神经网络模块发送的128个特征图像之后，将输入的每四个特征图像合成一个四倍像素分辨率2x的特征图像，即128各输入的特征图像经过第二级的复合器后输出32个特征图像到下一级(第三级)的第一卷积神经网络模块。

第三级的第一卷积神经网络模块由四层卷积层组成，每个卷积层包含32个滤波单元，每个滤波单元由3*3个滤波器组成，其中，将[1,1]位置的滤波器设置为中心像素。在输入信号的图像经过第一层的卷积层后会生成32个特征图像输出到下一卷积层，直至最后一层卷积层输出32个特征图像至下一级(第四级)的复合器。

第四级的复合器接收到第三级的第一卷积神经网络模块发送的32个特征图像之后，将输入的每四个特征图像合成一个四倍像素分辨率2x的特征图像，即32个输入的特征图像经过复合器后输出8个特征图像到下一级(第五级)的第二卷积神经网络模块。

第五级的第二卷积神经网络模块由四层卷积层组成，前两个卷积层包含8个滤波单元，第三个卷积层包含4个滤波单元，第四个卷积层包含1个滤波单元，每个滤波单元由3*3个滤波器组成，其中，将[1,1]位置的滤波器设置为中心像素。在输入信号的图像经过第一层的卷积层后会生成8个特征图像输出到第二层卷积层，经过第二层卷积层后会生成8个特征图像输入到第三层卷积层，经过第三层卷积层后会有4个特征图像输入到第四层卷积层，第四层卷积层输出1个特征图像至图像升频系统的输出端。

在上述过程中，每个复合器实质上相当于一个自适应插值滤波器，如图3所示，将输入的特征图像中每四个特征图像为一组交错其图像的像素值后生成一4倍像素的特征图像。如图3所示，复合器的工作原理是将四个输入的特征图像中各相同像素点位置的像素值进行矩阵排列记载在输出的特征图像中，因此，在此升频过程中不会修改(丢失或增加)特征图像中的任何像素信息。

在上述过程中，不论是第一卷积神经网络模块还是第二卷积神经网络模块均可以看成是一个采用图像作为输入和输出的神经网络结构，每个神经网络结构中包含多个卷积层，且每个卷积层均由多个滤波器组成。下面以图4中的两层卷积层的神经网络结构为例简要的介绍下其工作原理。

在图4中左侧的具有四个输入图像，经过第一层卷积层的各滤波器后生成三个特征图像，经过第二层卷积层后生成两个特征图像输出。其中，每个写有标量权重的框相当于一个滤波器(例如一个3x3或5x5内核的滤波器)，偏置表示添加到卷积输出的画面增量。k表示卷积层编号，i和j分别表示输入图像编号和输出图像编号。

在系统运行过程中标量权重和偏置的数值相对固定，在系统运行前需要采用一系列的标准输入输出图像来对系统进行训练，并且依靠应用程序调整到适合某些优化准则。因此，在本实用新型实施例提供的上述图像升频系统运行之前，需要进行一系列的训练，基于同一实用新型构思，本实用新型实施例还提供了上述图像升频系统的训练方法，如图5所示，包括以下步骤：

S501、初始化图像升频系统中的各参数；由于复合器不会引入任何参数，因此图像升频系统中的各参数实际上为所有卷积神经网络模块的参数。

S502、采用原始图像信号作为图像升频系统的输出信号，采用原始图像信号经降频后的图像信号作为图像升频系统的输入信号，调整图像升频系统中的各参数，以使采用调整后的各参数对降频后的图像信号进行升频处理后与原始图像信号相同。之后，采用调整后的各参数作为升频系统的升频参数，对低分辨率的图像进行升频。

其中，步骤S501初始化图像升频系统中的各参数，可以采用传统的初始化方式，将所有卷积神经网络模块的各卷积层的各滤波单元的权值Wij设置为一小的随机数，并将所有偏置初始化为0。传统的初始化方式在应用于诸如2x的小倍数升频时不会出现任何问题，但是在应用于由几个卷积神经网络模块结合的诸如4x的高倍数升频时会出现一些问题，因此，本实用新型实施例提供的上述训练方法中对于图像升频系统中的各参数的初始化还提供了两种新的方式，具体如下：

第一种：将各滤波单元的偏置初始化为0；并按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij：

其中，m表示输入滤波单元的特征图像数量。

第二种：将各滤波单元的偏置初始化为0；并按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij：

$W_{ij}=W_{ij}^{\′}+\frac{uniform(-1,1)}{\sqrt{m}};$

其中，m表示输入滤波单元的特征图像数量；uniform(-1,1)表示在(-1,1)之间选取的随机数。

第二种初始化的方式相对于第一种初始化的方式，在各滤波单元的权值Wij中添加了小的均匀分布噪声值，这样利于图像升频系统在训练之后具有识别噪声的能力。

基于同一实用新型构思，本实用新型实施例还提供了一种采用上述图像升频系统进行图像升频的方法，由于该方法解决问题的原理与前述一种图像升频系统相似，因此该方法的实施可以参见系统的实施，重复之处不再赘述。

本实用新型实施例提供的一种采用图像升频系统进行图像升频的方法，包括：

第一卷积神经网络模块对输入到该第一卷积神经网络模块的输入信号的图像转换为多个具有特定特征的特征图像并输出；

复合器将输入到该复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为该输入信号的特征图像n倍的特征图像并输出；输入到该复合器的输入信号中特征图像的数量为n*n的倍数，n为大于1的整数。

具体地，在系统存在多个复合器时，每一个复合器接收到特征图像后都会对特征图像进行升频处理，然后输出给下一个复合器，该下一个复合器对接收到的特征图像进行升频处理直至最后一个复合器输出最终的升频图像。

本实用新型实施例所述的图像升频系统可以由一组中央处理器(CPU)实现、一也可由一组图像处理器(GPU)实现，或者还可以由现场可编程门阵列(FPGA)实现。

基于同一实用新型构思，本实用新型实施例还提供了一种显示装置，包括本实用新型实施例提供的上述图像升频系统，该显示装置可以为：手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、可穿戴设备、导航仪等任何具有显示功能的产品或部件。该显示装置的实施可以参见上述图像升频系统的实施例，重复之处不再赘述。

本实用新型实施例提供的一种图像升频系统及显示装置，采用卷积神经网络模块获取图像的特征图像，采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像，在复合器的升频过程中，输入信号中各特征图像的信息不损失的记载到生成的特征图像中，因此图像每经过一个升频倍数为n的复合器后，图像分辨率可提升n倍。并且，在图像升频系统中可设置不止一个复合器进行逐次升频，每个复合器都可以执行单独倍数的升频功能，使系统可以根据需要灵活调整升频倍数，实现了一种针对不同升频倍数可通用的升频系统。进一步地，由于每个复合器在将特征图像的分辨率放大n倍的同时，减少了复合器输出的特征图像的数量，可以减少级联的下一级复合器或第一卷积神经网络模块的输入信号量，从而简化升频计算量。

显然，本领域的技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。这样，倘若本实用新型的这些修改和变型属于本实用新型权利要求及其等同技术的范围之内，则本实用新型也意图包含这些改动和变型在内。

Claims (10)

1.一种图像升频系统，其特征在于，包括：级联的至少一个第一卷积神经网络模块和至少一个复合器；其中，

升频系统的信号输入端与一所述第一卷积神经网络模块连接，升频系统的信号输出端与一所述复合器连接；

所述复合器的信号输入端与一所述第一卷积神经网络模块的信号输出端连接，或与另一所述复合器的信号输出端连接；

所述第一卷积神经网络模块，用于将输入到所述第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出；

所述复合器，用于将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出；输入到所述复合器的输入信号中特征图像的数量为n*n的倍数，n为大于1的整数。

2.如权利要求1所述的图像升频系统，其特征在于，所述复合器的个数为两个或三个。

3.如权利要求2所述的图像升频系统，其特征在于，各所述复合器的信号输入端均与一所述第一卷积神经网络模块的信号输出端连接。

4.如权利要求1所述的图像升频系统，其特征在于，所述复合器为多个时，各所述复合器为升频倍数相同的复合器。

5.如权利要求1所述的图像升频系统，其特征在于，所述复合器为升频倍数为质数的复合器。

6.如权利要求5所述的图像升频系统，其特征在于，所述复合器为升频倍数为2的复合器。

7.如权利要求1所述的图像升频系统，其特征在于，所述复合器为自适应插值滤波器。

8.如权利要求1所述的图像升频系统，其特征在于，还包括：设置于升频系统的信号输出端与所述复合器之间的第二卷积神经网络模块；

所述第二卷积神经网络模块，用于对所述复合器的输出信号的特征图像进行画质优化。

9.如权利要求8所述的图像升频系统，其特征在于，所述第一卷积神经网络模块和第二卷积神经网络模块包括至少一层由多个滤波单元组成的卷积层。

10.一种显示装置，其特征在于，包括如权利要求1-9任一项所述图像升频系统。