CN105120130A - 一种图像升频系统、其训练方法及图像升频方法 - Google Patents

一种图像升频系统、其训练方法及图像升频方法 Download PDF

Info

Publication number
CN105120130A
CN105120130A CN201510595656.7A CN201510595656A CN105120130A CN 105120130 A CN105120130 A CN 105120130A CN 201510595656 A CN201510595656 A CN 201510595656A CN 105120130 A CN105120130 A CN 105120130A
Authority
CN
China
Prior art keywords
image
raising frequency
recombiner
frequency system
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510595656.7A
Other languages
English (en)
Other versions
CN105120130B (zh
Inventor
那彦波
张丽杰
何建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510595656.7A priority Critical patent/CN105120130B/zh
Publication of CN105120130A publication Critical patent/CN105120130A/zh
Priority to PCT/CN2016/075338 priority patent/WO2017045374A1/zh
Priority to US15/518,404 priority patent/US10019642B1/en
Application granted granted Critical
Publication of CN105120130B publication Critical patent/CN105120130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof

Abstract

本发明公开了一种图像升频系统、其训练方法及图像升频方法,采用卷积神经网络模块获取图像的特征图像,采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像。在复合器的升频过程中,输入信号中各特征图像的信息不损失的记载到生成的特征图像中,因此经过复合器后可以得到分辨率提升n倍的高质量图像。并且,在图像升频系统中可设置多个复合器进行逐次升频,每个复合器都可以执行单独倍数的升频功能,使系统可以根据需要灵活调整升频倍数。且由于复合器在将特征图像的分辨率放大n倍的同时,减少了复合器输出的特征图像的数量,从而减少下一级复合器或第一卷积神经网络模块的输入信号量,简化其计算量。

Description

一种图像升频系统、其训练方法及图像升频方法
技术领域
本发明涉及图像信号处理技术领域,尤其涉及一种图像升频系统、其训练方法及图像升频方法。
背景技术
目前,在图像信号处理的过程中,一般是利用标准的诸如双三次(bicubic)和线性等标准升频(提高图像分辨率)方式对图像进行分辨率的提升。如图1所示,示出了一个2x的升频方式,对输入图像的各像素(加上邻像素)使用四个不同的滤波器F1、滤波器F2、滤波器F3和滤波器F4,每个滤波器产生四分之一的输出图像的像素,这个过程可以看作是对输入图像应用4个滤波器(卷积)后交错或复用以创建宽度和高度翻倍的单一输出图像。
但是,目前的图像升频系统数据计算量较大,升频倍数无法灵活调节。
发明内容
有鉴于此,本发明实施例提供了一种图像升频系统、其训练方法及图像升频方法,用以基于卷积神经网络实现对图像分辨率高品质的升频,降低升频计算量,提高升频倍数调节的灵活度。
因此,本发明实施例提供的一种图像升频系统,包括:级联的至少一个第一卷积神经网络模块和至少一个复合器;其中,
升频系统的信号输入端与一所述第一卷积神经网络模块连接,升频系统的信号输出端与一所述复合器连接;
所述复合器的信号输入端与一所述第一卷积神经网络模块的信号输出端连接,或与另一所述复合器的信号输出端连接;
所述第一卷积神经网络模块,用于将输入到所述第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出;
所述复合器,用于将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出;输入到所述复合器的输入信号中特征图像的数量为n*n的倍数,n为大于1的整数。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,所述复合器的个数为两个或三个。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,各所述复合器的信号输入端均与一所述第一卷积神经网络模块的信号输出端连接。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,所述复合器为多个时,各所述复合器为升频倍数相同的复合器。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,所述复合器为升频倍数为质数的复合器。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,所述复合器为升频倍数为2的复合器。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,所述复合器为自适应插值滤波器。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,还包括:设置于升频系统的信号输出端与所述复合器之间的第二卷积神经网络模块;
所述第二卷积神经网络模块,用于对所述复合器的输出信号的特征图像进行画质优化。
在一种可能的实施方式中,本发明实施例提供的上述图像升频系统中,所述第一卷积神经网络模块和第二卷积神经网络模块包括至少一层由多个滤波单元组成的卷积层。
本发明实施例提供了一种显示装置,包括本发明实施例提供的上述图像升频系统。
本发明实施例提供了一种本发明实施例提供的上述图像升频系统的训练方法,包括:
初始化所述图像升频系统中的各参数;
采用原始图像信号作为图像升频系统的输出信号,采用所述原始图像信号经降频后的图像信号作为图像升频系统的输入信号,调整所述图像升频系统中的各参数,以使采用调整后的各参数对降频后的图像信号进行升频处理后与原始图像信号相同。
在一种可能的实现方式中,本发明实施例提供的上述训练方法中,初始化所述图像升频系统中的各参数,具体包括:
按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij:
其中,m表示输入所述滤波单元的特征图像数量;
将各滤波单元的偏置初始化为0。
在一种可能的实现方式中,本发明实施例提供的上述训练方法中,初始化所述图像升频系统中的各参数,具体包括:
按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij:
W i j = W i j ′ + u n i f o r m ( - 1 , 1 ) m ;
其中,m表示输入所述滤波单元的特征图像数量;uniform(-1,1)表示在(-1,1)之间选取的随机数;
将各滤波单元的偏置初始化为0。
本发明实施例提供了一种采用本发明实施例提供的上述图像升频系统进行图像升频的方法,包括:
第一卷积神经网络模块对输入到所述第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出;
复合器将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出;输入到所述复合器的输入信号中特征图像的数量为n*n的倍数,n为大于1的整数。
本发明实施例的有益效果包括:
本发明实施例提供的一种图像升频系统、其训练方法及图像升频方法,采用卷积神经网络模块获取图像的特征图像,采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像,在复合器的升频过程中,输入信号中各特征图像的信息不损失的记载到生成的特征图像中,因此图像每经过一个升频倍数为n的复合器后,图像分辨率可提升n倍。并且,在图像升频系统中可设置不止一个复合器进行逐次升频,每个复合器都可以执行单独倍数的升频功能,使系统可以根据需要灵活调整升频倍数,实现了一种针对不同升频倍数可通用的升频系统。进一步地,由于每个复合器在将特征图像的分辨率放大n倍的同时,减少了复合器输出的特征图像的数量,可以减少级联的下一级复合器或第一卷积神经网络模块的输入信号量,从而简化升频计算量。
附图说明
图1为现有技术中2x的升频示意图;
图2a-图2e分别为本发明实施例提供的图像升频系统的结构示意图;
图3为本发明实施例提供的图像升频系统中复合器的升频示意图;
图4为本发明实施例提供的图像升频系统中卷积神经网络模块的结构示意图;
图5为本发明实施例提供的图像升频系统的训练方法的流程示意图。
具体实施方式
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
基于卷积神经网络对于二维形状即图像的高度不变形,本发明提供一种图像升频系统、对该图像升频系统进行训练的方法,以及根据训练后的图像升频系统对输入图像进行升频的方法。该系统具体采用卷积神经网络对图像进行升频,在保证不丢失图像信息的前提下,可有效的将低分辨率的图像转换为高分辨率的图像。
下面结合附图,对本发明实施例提供的图像升频系统、其训练方法及图像升频方法的具体实施方式进行详细地说明。
本发明实施例提供的一种图像升频系统,如图2a至图2d所示,包括:级联的至少一个第一卷积神经网络模块(ConvolutionalNetwork,CN)和至少一个复合器(MuxerLayer,ML);其中,
升频系统的信号输入端与一第一卷积神经网络模块连接,升频系统的信号输出端与一复合器连接;
复合器的信号输入端与一第一卷积神经网络模块的信号输出端连接,或与另一复合器的信号输出端连接;
第一卷积神经网络模块,用于将输入到第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出给复合器;
复合器,用于将输入到复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为输入信号的特征图像n倍的特征图像并输出;输入到复合器的输入信号中特征图像的数量为n*n的倍数,n为大于1的整数。
在本发明实施例提供的上述图像升频系统中,采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像,在复合器的升频过程中,输入信号中各特征图像的信息不损失的记载到生成的特征图像中,因此图像每经过一个升频倍数为n的复合器后,图像分辨率可提升n倍。并且,在图像升频系统中可设置不止一个复合器进行逐次升频,每个复合器都可以执行单独倍数的升频功能,使系统可以根据需要灵活调整升频倍数,实现了一种针对不同升频倍数可通用的升频系统。进一步地,由于每个复合器在将特征图像的分辨率放大n倍的同时,减少了复合器输出的特征图像的数量,可以减少级联的下一级复合器或第一卷积神经网络模块的输入信号量,从而简化升频计算量。
需要说明的是,若系统包含多个放大倍数为n倍的复合器,则图片经过该系统升频后,图像分辨率可提高n*n倍。
比如,若系统包括两个升频倍数为2x的复合器时,图像经过这两个复合器之后,分辨率提高为4x;若系统包括三个升频倍数为2x的复合器时,图像经过这三个复合器之后,分辨率提高为8x。
在具体实施时,根据所需的升频倍数,本发明实施例提供的上述图像升频系统的具体实施方式可以有多种。例如,根据所需的升频倍数,可以在本发明实施例提供的上述图像升频系统中,可以如图2a所示设置一个复合器也可以如图2b和图2c所示设置两个复合器,还可以如图2d所示设置三个复合器。
具体地,一般当需要升频倍数为诸如2x、3x或5x等质数倍的升频时,本发明实施例提供的上述图像升频系统,如图2a所示,包含一个第一卷积神经网络模块和一个将特征图像进行对应的2x、3x或5x倍频的复合器。当需要升频倍数为4x时,本发明实施例提供的上述图像升频系统,如图2b和图2c所示,可以包含两个2x倍频的复合器。当需要升频倍数为8x时,本发明实施例提供的上述图像升频系统,如图2d所示,可以包含三个2x倍频的复合器。以此类推,当需要的倍频数越大,所需的复合器的数量也就对应的越多,对应的系统所进行的数据计算量也就越大。因此,较佳地,在本发明实施例提供的上述图像升频系统中,一般设置两个或三个复合器,进行两次或三次升频。
进一步地,在本发明实施例提供的上述图像升频系统中设置多个复合器时,为了使每个复合器在进行升频处理时可以采用高质量的特征图像合成高质量的分辨率为n倍的特征图像,如图2c和图2d所示,一般各复合器的信号输入端均与一第一卷积神经网络模块的信号输出端连接,先采用第一卷积神经网络模块来获取特征图像后输入到对应的复合器的信号输入端,即在图像升频系统中,第一卷积神经网络模块和复合器成对设置。
进一步地,在本发明实施例提供的上述图像升频系统中设置多个复合器时,每个复合器的升频倍数可以相同,也可以不同。一般地,在复合器为多个时,一般将各复合器的升频倍数n设置为相同。而且,每个复合器的升频倍数越小,其计算量越小,升频效果越好。因此,若所需升频倍数较大时,一般采用多次升频,而每个复合器的升频倍数n一般均设置为诸如2、3、5或7等质数。较佳地,一般每个复合器的升频倍数n设置为2。
进一步地,本发明实施例提供的上述图像升频系统中,如图2e所示,还包括:设置于升频系统的信号输出端与复合器之间的第二卷积神经网络模块;第二卷积神经网络模块,用于对复合器的输出信号的特征图像进行画质优化。在最后一级的复合器输出最终的升频特征图像之前,可以利用第二卷积神经网络模块根据所需对输出画质进行画质增强,提高输出图像的质量。
具体地,本发明实施例提供的上述图像升频系统中,第一卷积神经网络模块和第二卷积神经网络模块均可以包括至少一层由多个滤波单元组成的卷积层。第一卷积神经网络模块和第二卷积神经网络模块所包含的卷积层数可以根据需要设定。且每个卷积层中包含的滤波单元个数可以相同也可以不同。一般地,由于为了便于系统优化参数,每个卷积神经网络模块中的卷积层的层数一般设置为不大于10层。
下面以图2e所示的结构,且采用两个2x的复合器进行4x升频为例说明本发明实施例提供的上述图像升频系统。
具体地,与系统的信号输入端连接的首级第一卷积神经网络模块由四层卷积层组成,每个卷积层包含128个滤波单元,每个滤波单元由3*3个滤波器组成,其中,将[1,1]位置的滤波器设置为中心像素。在输入信号的图像经过第一层的卷积层后会生成128个特征图像输出到下一卷积层,直至最后一层卷积层输出128个特征图像至下一级(第二级)的复合器。
第二级的复合器接收到首级第一卷积神经网络模块发送的128个特征图像之后,将输入的每四个特征图像合成一个四倍像素分辨率2x的特征图像,即128各输入的特征图像经过第二级的复合器后输出32个特征图像到下一级(第三级)的第一卷积神经网络模块。
第三级的第一卷积神经网络模块由四层卷积层组成,每个卷积层包含32个滤波单元,每个滤波单元由3*3个滤波器组成,其中,将[1,1]位置的滤波器设置为中心像素。在输入信号的图像经过第一层的卷积层后会生成32个特征图像输出到下一卷积层,直至最后一层卷积层输出32个特征图像至下一级(第四级)的复合器。
第四级的复合器接收到第三级的第一卷积神经网络模块发送的32个特征图像之后,将输入的每四个特征图像合成一个四倍像素分辨率2x的特征图像,即32个输入的特征图像经过复合器后输出8个特征图像到下一级(第五级)的第二卷积神经网络模块。
第五级的第二卷积神经网络模块由四层卷积层组成,前两个卷积层包含8个滤波单元,第三个卷积层包含4个滤波单元,第四个卷积层包含1个滤波单元,每个滤波单元由3*3个滤波器组成,其中,将[1,1]位置的滤波器设置为中心像素。在输入信号的图像经过第一层的卷积层后会生成8个特征图像输出到第二层卷积层,经过第二层卷积层后会生成8个特征图像输入到第三层卷积层,经过第三层卷积层后会有4个特征图像输入到第四层卷积层,第四层卷积层输出1个特征图像至图像升频系统的输出端。
在上述过程中,每个复合器实质上相当于一个自适应插值滤波器,如图3所示,将输入的特征图像中每四个特征图像为一组交错其图像的像素值后生成一4倍像素的特征图像。如图3所示,复合器的工作原理是将四个输入的特征图像中各相同像素点位置的像素值进行矩阵排列记载在输出的特征图像中,因此,在此升频过程中不会修改(丢失或增加)特征图像中的任何像素信息。
在上述过程中,不论是第一卷积神经网络模块还是第二卷积神经网络模块均可以看成是一个采用图像作为输入和输出的神经网络结构,每个神经网络结构中包含多个卷积层,且每个卷积层均由多个滤波器组成。下面以图4中的两层卷积层的神经网络结构为例简要的介绍下其工作原理。
在图4中左侧的具有四个输入图像,经过第一层卷积层的各滤波器后生成三个特征图像,经过第二层卷积层后生成两个特征图像输出。其中,每个写有标量权重的框相当于一个滤波器(例如一个3x3或5x5内核的滤波器),偏置表示添加到卷积输出的画面增量。k表示卷积层编号,i和j分别表示输入图像编号和输出图像编号。
在系统运行过程中标量权重和偏置的数值相对固定,在系统运行前需要采用一系列的标准输入输出图像来对系统进行训练,并且依靠应用程序调整到适合某些优化准则。因此,在本发明实施例提供的上述图像升频系统运行之前,需要进行一系列的训练,基于同一发明构思,本发明实施例还提供了上述图像升频系统的训练方法,如图5所示,包括以下步骤:
S501、初始化图像升频系统中的各参数;由于复合器不会引入任何参数,因此图像升频系统中的各参数实际上为所有卷积神经网络模块的参数。
S502、采用原始图像信号作为图像升频系统的输出信号,采用原始图像信号经降频后的图像信号作为图像升频系统的输入信号,调整图像升频系统中的各参数,以使采用调整后的各参数对降频后的图像信号进行升频处理后与原始图像信号相同。之后,采用调整后的各参数作为升频系统的升频参数,对低分辨率的图像进行升频。
其中,步骤S501初始化图像升频系统中的各参数,可以采用传统的初始化方式,将所有卷积神经网络模块的各卷积层的各滤波单元的权值Wij设置为一小的随机数,并将所有偏置初始化为0。传统的初始化方式在应用于诸如2x的小倍数升频时不会出现任何问题,但是在应用于由几个卷积神经网络模块结合的诸如4x的高倍数升频时会出现一些问题,因此,本发明实施例提供的上述训练方法中对于图像升频系统中的各参数的初始化还提供了两种新的方式,具体如下:
第一种:将各滤波单元的偏置初始化为0;并按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij:
其中,m表示输入滤波单元的特征图像数量。
第二种:将各滤波单元的偏置初始化为0;并按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij:
W i j = W i j ′ + u n i f o r m ( - 1 , 1 ) m ;
其中,m表示输入滤波单元的特征图像数量;uniform(-1,1)表示在(-1,1)之间选取的随机数。
第二种初始化的方式相对于第一种初始化的方式,在各滤波单元的权值Wij中添加了小的均匀分布噪声值,这样利于图像升频系统在训练之后具有识别噪声的能力。
基于同一发明构思,本发明实施例还提供了一种采用上述图像升频系统进行图像升频的方法,由于该方法解决问题的原理与前述一种图像升频系统相似,因此该方法的实施可以参见系统的实施,重复之处不再赘述。
本发明实施例提供的一种采用图像升频系统进行图像升频的方法,包括:
第一卷积神经网络模块对输入到该第一卷积神经网络模块的输入信号的图像转换为多个具有特定特征的特征图像并输出;
复合器将输入到该复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为该输入信号的特征图像n倍的特征图像并输出;输入到该复合器的输入信号中特征图像的数量为n*n的倍数,n为大于1的整数。
具体地,在系统存在多个复合器时,每一个复合器接收到特征图像后都会对特征图像进行升频处理,然后输出给下一个复合器,该下一个复合器对接收到的特征图像进行升频处理直至最后一个复合器输出最终的升频图像。
本发明实施例所述的图像升频系统可以由一组中央处理器(CPU)实现、一也可由一组图像处理器(GPU)实现,或者还可以由现场可编程门阵列(FPGA)实现。
基于同一发明构思,本发明实施例还提供了一种显示装置,包括本发明实施例提供的上述图像升频系统,该显示装置可以为:手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、可穿戴设备、导航仪等任何具有显示功能的产品或部件。该显示装置的实施可以参见上述图像升频系统的实施例,重复之处不再赘述。
本发明实施例提供的一种图像升频系统、其训练方法及图像升频方法,采用卷积神经网络模块获取图像的特征图像,采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像,在复合器的升频过程中,输入信号中各特征图像的信息不损失的记载到生成的特征图像中,因此图像每经过一个升频倍数为n的复合器后,图像分辨率可提升n倍。并且,在图像升频系统中可设置不止一个复合器进行逐次升频,每个复合器都可以执行单独倍数的升频功能,使系统可以根据需要灵活调整升频倍数,实现了一种针对不同升频倍数可通用的升频系统。进一步地,由于每个复合器在将特征图像的分辨率放大n倍的同时,减少了复合器输出的特征图像的数量,可以减少级联的下一级复合器或第一卷积神经网络模块的输入信号量,从而简化升频计算量。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种图像升频系统,其特征在于,包括:级联的至少一个第一卷积神经网络模块和至少一个复合器;其中,
升频系统的信号输入端与一所述第一卷积神经网络模块连接,升频系统的信号输出端与一所述复合器连接;
所述复合器的信号输入端与一所述第一卷积神经网络模块的信号输出端连接,或与另一所述复合器的信号输出端连接;
所述第一卷积神经网络模块,用于将输入到所述第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出;
所述复合器,用于将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出;输入到所述复合器的输入信号中特征图像的数量为n*n的倍数,n为大于1的整数。
2.如权利要求1所述的图像升频系统,其特征在于,所述复合器的个数为两个或三个。
3.如权利要求2所述的图像升频系统,其特征在于,各所述复合器的信号输入端均与一所述第一卷积神经网络模块的信号输出端连接。
4.如权利要求1所述的图像升频系统,其特征在于,所述复合器为多个时,各所述复合器为升频倍数相同的复合器。
5.如权利要求1所述的图像升频系统,其特征在于,所述复合器为升频倍数为质数的复合器。
6.如权利要求5所述的图像升频系统,其特征在于,所述复合器为升频倍数为2的复合器。
7.如权利要求1所述的图像升频系统,其特征在于,所述复合器为自适应插值滤波器。
8.如权利要求1所述的图像升频系统,其特征在于,还包括:设置于升频系统的信号输出端与所述复合器之间的第二卷积神经网络模块;
所述第二卷积神经网络模块,用于对所述复合器的输出信号的特征图像进行画质优化。
9.如权利要求8所述的图像升频系统,其特征在于,所述第一卷积神经网络模块和第二卷积神经网络模块包括至少一层由多个滤波单元组成的卷积层。
10.一种显示装置,其特征在于,包括如权利要求1-9任一项所述图像升频系统。
11.一种如权利要求1-9任一项所述的图像升频系统的训练方法,其特征在于,包括:
初始化所述图像升频系统中的各参数;
采用原始图像信号作为图像升频系统的输出信号,采用所述原始图像信号经降频后的图像信号作为图像升频系统的输入信号,调整所述图像升频系统中的各参数,以使采用调整后的各参数对降频后的图像信号进行升频处理后与原始图像信号相同。
12.如权利要求11所述的训练方法,其特征在于,初始化所述图像升频系统中的各参数,具体包括:
按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij:
其中,m表示输入所述滤波单元的特征图像数量;
将各滤波单元的偏置初始化为0。
13.如权利要求11所述的训练方法,其特征在于,初始化所述图像升频系统中的各参数,具体包括:
按照以下公式初始化图像升频系统中第一卷积神经网络模块和第二卷积神经网络模块的各卷积层的各滤波单元的权值Wij:
W i j = W i j ′ + u n i f o r m ( - 1 , 1 ) m ;
其中,m表示输入所述滤波单元的特征图像数量;uniform(-1,1)表示在(-1,1)之间选取的随机数;
将各滤波单元的偏置初始化为0。
14.一种采用如权利要求1-9任一项所述的图像升频系统进行图像升频的方法,其特征在于,包括:
第一卷积神经网络模块对输入到所述第一卷积神经网络模块的输入信号的图像转换为多个的特征图像并输出;
复合器将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出;输入到所述复合器的输入信号中特征图像的数量为n*n的倍数,n为大于1的整数。
CN201510595656.7A 2015-09-17 2015-09-17 一种图像升频系统、其训练方法及图像升频方法 Active CN105120130B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510595656.7A CN105120130B (zh) 2015-09-17 2015-09-17 一种图像升频系统、其训练方法及图像升频方法
PCT/CN2016/075338 WO2017045374A1 (zh) 2015-09-17 2016-03-02 图像升频系统、其训练方法及图像升频方法
US15/518,404 US10019642B1 (en) 2015-09-17 2016-03-02 Image upsampling system, training method thereof and image upsampling method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510595656.7A CN105120130B (zh) 2015-09-17 2015-09-17 一种图像升频系统、其训练方法及图像升频方法

Publications (2)

Publication Number Publication Date
CN105120130A true CN105120130A (zh) 2015-12-02
CN105120130B CN105120130B (zh) 2018-06-29

Family

ID=54668007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510595656.7A Active CN105120130B (zh) 2015-09-17 2015-09-17 一种图像升频系统、其训练方法及图像升频方法

Country Status (3)

Country Link
US (1) US10019642B1 (zh)
CN (1) CN105120130B (zh)
WO (1) WO2017045374A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847968A (zh) * 2016-03-21 2016-08-10 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
WO2017045374A1 (zh) * 2015-09-17 2017-03-23 京东方科技集团股份有限公司 图像升频系统、其训练方法及图像升频方法
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
WO2017152499A1 (zh) * 2016-03-07 2017-09-14 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
CN107169927A (zh) * 2017-05-08 2017-09-15 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
CN107231566A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种视频转码方法、装置和系统
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置
WO2018086354A1 (zh) * 2016-11-09 2018-05-17 京东方科技集团股份有限公司 图像升频系统及其训练方法、以及图像升频方法
CN108475331A (zh) * 2016-02-17 2018-08-31 英特尔公司 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域
CN109564636A (zh) * 2016-05-31 2019-04-02 微软技术许可有限责任公司 使用一个神经网络来训练另一个神经网络
CN110426560A (zh) * 2019-06-28 2019-11-08 北京大学 一种脉冲阵列信号时空上采样器生成方法
CN110717405A (zh) * 2019-09-17 2020-01-21 平安科技(深圳)有限公司 人脸特征点定位方法、装置、介质及电子设备
WO2020220797A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 特征图放大的方法、装置、设备和计算机可读存储介质
US11321593B2 (en) 2017-02-23 2022-05-03 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3259914A1 (en) 2015-02-19 2017-12-27 Magic Pony Technology Limited Interpolating visual data
GB201604672D0 (en) * 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
GB201604345D0 (en) * 2016-03-14 2016-04-27 Magic Pony Technology Ltd Super resolution using fidelity transfer
US10410322B2 (en) * 2017-04-05 2019-09-10 Here Global B.V. Deep convolutional image up-sampling
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
JP7146372B2 (ja) * 2017-06-21 2022-10-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10979718B2 (en) 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
CN107895174B (zh) 2017-11-09 2020-01-07 京东方科技集团股份有限公司 图像分类和转换方法、装置以及图像处理系统
CN107729885B (zh) * 2017-11-23 2020-12-29 中电科新型智慧城市研究院有限公司 一种基于多重残差学习的人脸增强方法
CN110956575B (zh) * 2018-09-26 2022-04-12 京东方科技集团股份有限公司 转变图像风格的方法和装置、卷积神经网络处理器
CN109191382B (zh) * 2018-10-18 2023-12-05 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109903219B (zh) * 2019-02-28 2023-06-30 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN112788338B (zh) * 2020-12-31 2022-08-26 展讯通信(天津)有限公司 图像压缩及解压缩方法、设备、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法
US20150117760A1 (en) * 2013-10-30 2015-04-30 Nec Laboratories America, Inc. Regionlets with Shift Invariant Neural Patterns for Object Detection
CN204948182U (zh) * 2015-09-17 2016-01-06 京东方科技集团股份有限公司 一种图像升频系统及显示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4416288A (en) * 1980-08-14 1983-11-22 The Regents Of The University Of California Apparatus and method for reconstructing subsurface electrophysiological patterns
US5138695A (en) * 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
US7028271B2 (en) * 2002-11-06 2006-04-11 Canon Kabushiki Kaisha Hierarchical processing apparatus
US7187811B2 (en) * 2003-03-18 2007-03-06 Advanced & Wise Technology Corp. Method for image resolution enhancement
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
CN101639937B (zh) 2009-09-03 2011-12-14 复旦大学 一种基于人工神经网络的超分辨率方法
CN105120130B (zh) * 2015-09-17 2018-06-29 京东方科技集团股份有限公司 一种图像升频系统、其训练方法及图像升频方法
US11074492B2 (en) * 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
US10726328B2 (en) * 2015-10-09 2020-07-28 Altera Corporation Method and apparatus for designing and implementing a convolution neural net accelerator
US10614354B2 (en) * 2015-10-07 2020-04-07 Altera Corporation Method and apparatus for implementing layers on a convolutional neural network accelerator
US10997496B2 (en) * 2016-08-11 2021-05-04 Nvidia Corporation Sparse convolutional neural network accelerator
IL293688B2 (en) * 2016-10-04 2024-02-01 Magic Leap Inc Efficient data layouts for convolutional neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117760A1 (en) * 2013-10-30 2015-04-30 Nec Laboratories America, Inc. Regionlets with Shift Invariant Neural Patterns for Object Detection
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法
CN204948182U (zh) * 2015-09-17 2016-01-06 京东方科技集团股份有限公司 一种图像升频系统及显示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘娜,李翠华: "基于多层卷积神经网络学习的单帧图像超分辨率重建方法", 《中国科技论文》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019642B1 (en) 2015-09-17 2018-07-10 Boe Technology Group Co., Ltd. Image upsampling system, training method thereof and image upsampling method
WO2017045374A1 (zh) * 2015-09-17 2017-03-23 京东方科技集团股份有限公司 图像升频系统、其训练方法及图像升频方法
CN108475331A (zh) * 2016-02-17 2018-08-31 英特尔公司 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
US11244191B2 (en) 2016-02-17 2022-02-08 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
WO2017152499A1 (zh) * 2016-03-07 2017-09-14 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
US10015510B1 (en) 2016-03-07 2018-07-03 Boe Technology Group Co., Ltd. Image compression system, decompression system, training method and device, and display device
CN105847968A (zh) * 2016-03-21 2016-08-10 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
WO2017161710A1 (zh) * 2016-03-21 2017-09-28 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
CN105847968B (zh) * 2016-03-21 2018-12-21 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
US10769758B2 (en) 2016-03-21 2020-09-08 Boe Technology Group Co., Ltd. Resolving method and system based on deep learning
CN107231566A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种视频转码方法、装置和系统
CN107231566B (zh) * 2016-03-25 2020-12-18 阿里巴巴集团控股有限公司 一种视频转码方法、装置和系统
US11159790B2 (en) 2016-03-25 2021-10-26 Alibaba Group Holding Limited Methods, apparatuses, and systems for transcoding a video
CN109564636B (zh) * 2016-05-31 2023-05-02 微软技术许可有限责任公司 使用一个神经网络来训练另一个神经网络
CN109564636A (zh) * 2016-05-31 2019-04-02 微软技术许可有限责任公司 使用一个神经网络来训练另一个神经网络
US10311547B2 (en) 2016-11-09 2019-06-04 Boe Technology Group Co., Ltd. Image upscaling system, training method thereof, and image upscaling method
CN108074215A (zh) * 2016-11-09 2018-05-25 京东方科技集团股份有限公司 图像升频系统及其训练方法、以及图像升频方法
WO2018086354A1 (zh) * 2016-11-09 2018-05-17 京东方科技集团股份有限公司 图像升频系统及其训练方法、以及图像升频方法
CN108074215B (zh) * 2016-11-09 2020-04-14 京东方科技集团股份有限公司 图像升频系统及其训练方法、以及图像升频方法
US11321593B2 (en) 2017-02-23 2022-05-03 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
US10515435B2 (en) 2017-04-27 2019-12-24 Boe Technology Group Co., Ltd. Apparatus for upscaling an image, method for training the same, and method for upscaling an image
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
US11216910B2 (en) 2017-05-08 2022-01-04 Boe Technology Group Co., Ltd. Image processing system, image processing method and display device
WO2018205627A1 (zh) * 2017-05-08 2018-11-15 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
CN107169927B (zh) * 2017-05-08 2020-03-24 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
CN107169927A (zh) * 2017-05-08 2017-09-15 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置
WO2020220797A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 特征图放大的方法、装置、设备和计算机可读存储介质
US11049217B2 (en) 2019-04-30 2021-06-29 Beijing Sensetime Technology Development Co., Ltd. Magnifying feature map
CN110426560A (zh) * 2019-06-28 2019-11-08 北京大学 一种脉冲阵列信号时空上采样器生成方法
CN110426560B (zh) * 2019-06-28 2020-08-25 北京大学 一种脉冲阵列信号时空上采样器生成方法
WO2021051562A1 (zh) * 2019-09-17 2021-03-25 平安科技(深圳)有限公司 人脸特征点定位方法、装置、计算设备和存储介质
CN110717405A (zh) * 2019-09-17 2020-01-21 平安科技(深圳)有限公司 人脸特征点定位方法、装置、介质及电子设备
CN110717405B (zh) * 2019-09-17 2023-11-24 平安科技(深圳)有限公司 人脸特征点定位方法、装置、介质及电子设备

Also Published As

Publication number Publication date
US10019642B1 (en) 2018-07-10
US20180197037A1 (en) 2018-07-12
WO2017045374A1 (zh) 2017-03-23
CN105120130B (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN105120130A (zh) 一种图像升频系统、其训练方法及图像升频方法
CN204948182U (zh) 一种图像升频系统及显示装置
US10515435B2 (en) Apparatus for upscaling an image, method for training the same, and method for upscaling an image
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
US9734558B2 (en) Method for generating high-resolution images using regression patterns
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN107169927B (zh) 一种图像处理系统、方法及显示装置
CN103985085A (zh) 图像超分辨率放大的方法和装置
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN110322400A (zh) 图像处理方法及装置、图像处理系统及其训练方法
DE102015114162A1 (de) Effiziente Interpolation
CN101600039B (zh) 半色调图像转换方法、打印方法及产生半色调屏蔽的方法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
TWI559255B (zh) Visual illusion analysis device, visual illusion adding image generating device, visual illusion analysis method, visual illusion adding image generation method, and program
DE102018008064A1 (de) Herunterskalieren von Bildern mit Pixelsätzen, die durch eine für blaues Rauschen gegebene Abtastung ausgewählt werden
CN106161875B (zh) 图像处理装置与方法
CN106210707A (zh) 一种全息显示系统及全息显示方法
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
CN114463181A (zh) 一种基于改进生成对抗网络的图像超分辨率方法
JP2014119949A (ja) 超解像装置及びプログラム
KR100300338B1 (ko) 2차원 이산 웨이브렛 변환을 위한 초고밀도 집적회로 구조
CN111461987B (zh) 一种网络构建方法、图像超分辨率重建方法及系统
JP2020064557A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、および、プログラム
Niu et al. A Novel Attention Enhanced Dense Network for Image Super-Resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant