CN108288251A - 图像超分辨率方法、装置及计算机可读存储介质 - Google Patents

图像超分辨率方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108288251A
CN108288251A CN201810147781.5A CN201810147781A CN108288251A CN 108288251 A CN108288251 A CN 108288251A CN 201810147781 A CN201810147781 A CN 201810147781A CN 108288251 A CN108288251 A CN 108288251A
Authority
CN
China
Prior art keywords
image
pending image
resolution
super
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810147781.5A
Other languages
English (en)
Inventor
黄哲
肖志林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN201810147781.5A priority Critical patent/CN108288251A/zh
Publication of CN108288251A publication Critical patent/CN108288251A/zh
Priority to EP18905631.0A priority patent/EP3576046A4/en
Priority to PCT/CN2018/099071 priority patent/WO2019153671A1/zh
Priority to US16/545,967 priority patent/US10991076B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像超分辨率方法，通过获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；之后对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明还公开了一种图像超分辨率装置及计算机可读存储介质。本发明增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K电视的超分辨率应用需求。

Description

图像超分辨率方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率方法、装置及计算机可读存储介质。
背景技术
如今，高分辨率显示屏幕正在家庭影音设备和移动设备上普及，因此人们对于高质量的图像或视频的需求日益加大。高质量的图像或视频有助于人们获取更加丰富和准确的信息，其中，分辨率是一项重要的标准。然而很多情况下，由于外界机器设备性能的限制以及拍摄条件的影响，会使得采集到图像分辨率较低，进而造成图像比较模糊，导致采集到的图像不能达到实际应用的需求。因此，提高图像分辨率势在必行。虽然提高图像分辨率最直接的方法是提高硬件的配置，但是往往受制于成本和设备物理条件的限制，所以通常采用软件的方法对图像分辨率进行提高，也就是超分辨率技术。
图像超分辨率重建技术是利用一组低质量、低分辨率图像或运动序列来产生高质量、高分辨率图像。随着人工智能的发展，目前技术人员已经能够基于深度卷积神经网络实现单帧图像的超分辨率，使得单帧图像超分辨率技术有了巨大进步。
目前，超分辨率技术在现实生活中有着十分广泛的用途，包括高清电视，医学影像，卫星图像，安全检测，显微成像，虚拟现实等领域。其中，在数字电视领域，利用超分辨率重建技术将数字电视信号转换为高清晰度电视信号是极为重要的应用，能够有效提高视频清晰度。超分辨率技术遵循“网络更深、效果越好”的原则，但采用SRResNet网络结构的超分辨率技术由于网络的加深，会产生参数过多、梯度收敛过慢、训练困难、实时率下降等问题。经典ResNet模型采用批归一化(Batch Normalization)方法收敛梯度加快训练过程，但批归一化随着网络深度加深会使得计算开销过大，并且其原理会使得特征被标准化，并不适用于超分辨率应用，因此需要提出不同于批归一化的处理方法，达到减少计算开销、加快计算收敛速度的目的。同时，经典ResNet模型并未提及不同放大倍率的超分辨率技术如何实现。但是由于电视应用的分辨率放大倍率较为固定，因此不能很好的适应于电视应用。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像超分辨率方法、装置及计算机可读存储介质，旨在解决不同放大倍率下的视频图像不能共享卷积神经网络训练结果的技术问题。
为实现上述目的，本发明提供一种图像超分辨率方法，所述图像超分辨率方法包括以下步骤：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
优选地，所述获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤包括：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
优选地，所述预置的放大尺度包括2倍、3倍或4倍。
优选地，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
优选地，所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
优选地，所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。
优选地，所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。
优选地，所述对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤包括：
在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
输出所述还原图像。
此外，为实现上述目的，本发明还提供一种图像超分辨率装置，其特征在于，所述图像超分辨率装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像超分辨率程序，所述图像超分辨率程序被所述处理器执行时实现如上述任一项图像超分辨率方法的步骤。
此外，为实现上述目的，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时实现如上述任一项所述的图像超分辨率方法的步骤。
本发明方案，通过获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块；之后在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K(视频像素的总列数为4320)电视的超分辨率应用需求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中图像超分辨率装置所属终端的结构示意图；
图2为本发明图像超分辨率方法第一实施例的流程示意图；
图3为本发明图像超分辨率方法第一实施例中的主流程图；
图4为本发明图像超分辨率方法第一实施例中的瓶颈残差单元结构示意图；
图5为本发明图像超分辨率方法第二实施例中获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤的细化流程示意图；
图6为本发明图像超分辨率方法第三实施例中发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块的步骤的细化流程示意图；
图7为本发明图像超分辨率方法第四实施例中在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置所属终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像超分辨率程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像超分辨率程序。
在本实施例中，图像超分辨率装置包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的图像超分辨率程序，其中，处理器1001调用存储器1005中存储的图像超分辨率程序时，并执行以下操作：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
所述预置的放大尺度包括2倍、3倍或4倍。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。
进一步地，处理器1001可以调用存储器1005中存储的图像超分辨率程序，还执行以下操作：
在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
输出所述还原图像。
本发明第一实施例提供一种图像超分辨率方法，参照图2，图2为本发明图像超分辨率方法第一实施例的流程示意图，所述图像超分辨率方法包括：
步骤S10，获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
本发明的超分辨率方法既可以应用到图像领域也可以应用到视频领域。首选需要获取单帧图像，对于视频来说，可以先将该视频分解成连续的多帧图像序列，然后再对序列中的多帧图像进行超分辨率处理，基于处理后的高分辨率头像整合成高分辨率视频。
如图3所示为本方法的主流程图。在获取到待处理的低分辨率图像时，将待处理图像输入到预处理卷积层中提取特征，在完成原始待处理图像的特征提取后，将经过特征提取的图像发送至尺度放大模块，在尺度放大模块预置了三个不同的放大尺度，分别是2倍，3倍和4倍，可以根据实际情况选择不同的放大尺度进行应用。由于数字电视所采用的视频分辨率是固定的几种，例如720P，1080P，2K，4K等，因此通常情况下，不同的视频质量适用于不同的放大尺度。放大尺度为2倍时，每个像素点在单一方向上的尺度变为原来的2倍，也就是从1个像素点变为4个像素点，这4个像素为2×2排列，也就是说放大后的图像像素在任意一个方向上的尺度变为原来的2倍，放大尺度为3倍和4倍时同理，每个像素点都变为原来的若干倍，例如，放大尺度为3倍时，一个像素点变为9个像素点，放大尺度为4倍时，一个像素点变为16个像素点。
待处理图像在放大模块中完成特定尺度的放大处理后，提取尺度缩放特征。尺度缩放特征是关于放大倍数的特征信息，表示某一个图像的放大情况。之后可以得到经过尺度缩放特征提取后的第一待处理图像，这个图像不带有尺度缩放特征，也就是说，对于不同的放大尺度，在经过尺度缩放特征提取后，所得到的第一待处理图像都是一样的。
步骤S20，发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
残差网络实际上是一个卷积神经网络，由若干个瓶颈残差单元和卷积层组成，在每个瓶颈残差单元后添加了一个权重归一化模块。其中，每个瓶颈残差单元的结构示意图如图4所示，包括三个卷积层和两个激活函数层，两个激活函数层分别位于每两个卷积层之间。激活函数采用PReLu函数，含有一个变量，从上一层网络学习中得到。另外，在本实施例中，采用ResNet-34网络模型。
残差网络出现之前，人们采用的深度网络模型层数较少，通过设置合理的权重初始化、增加批量规范化、以及改进激活函数等一系列手段，有效缓解了梯度消失，使得深度网络训练变得可行。随着网络层数的加深，理论上误差会变小，同时模型的表达能力增强，但是在简单的叠加网络层后，训练误差变得更大了，主要是受到了梯度消失等因素的影响。于是出现了残差网络，残差网络是由残差模块垒叠构成，残差模块又分为常规残差模块和瓶颈残差模块，瓶颈残差模块中的1×1卷积能够起到升降维的作用，从而令3×3卷积可以在较低维度的输入上进行，该设计可大幅减少计算量，尤其是在非常深的网络中效果较好。其中残差网络中的激活函数将ReLu改为PReLu，引入了一个可学习参数帮助它适应性的学习部分负系数，另外上述残差网络使用图像上采样方法，使用子像素卷积层。
步骤S30，对所述第二待处理图像进行还原处理，生成还原图像并输出。
在残差网络之后设置有一个尺度还原模块，该模块的主要作用是将经过放大模块放大过的待处理图像进行缩小性还原，并最终生成高分辨率的还原图像进行输出，进而得到高质量的视频。
本实施例中提出的图像超分辨率方法，通过获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块；之后在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K(视频像素的总列数为4320)电视的超分辨率应用需求。
基于第一实施例，提出本发明图像超分辨率方法的第二实施例，参照图5，步骤S10包括：
步骤S11，获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
在获取到待处理的低分辨率图像时，将待处理图像输入到预处理卷积层中提取特征，在完成原始待处理图像的特征提取后，将经过特征提取的图像发送至尺度放大模块。
步骤S12，发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
在尺度放大模块预置了三个不同的放大尺度，分别是2倍，3倍和4倍，可以根据实际情况选择不同的放大尺度进行应用。由于数字电视所采用的视频分辨率是固定的几种，例如720P，1080P，2K，4K等，因此通常情况下，不同的视频质量适用于不同的放大尺度。待处理图像在放大模块中完成特定尺度的放大处理后，提取尺度缩放特征。尺度缩放特征是关于放大倍数的特征信息，表示某一个图像的放大情况。之后可以得到经过尺度缩放特征提取后的第一待处理图像，这个图像不带有尺度缩放特征，也就是说，对于不同的放大尺度，在经过尺度缩放特征提取后，所得到的第一待处理图像都是一样的。
进一步地，在一实施例中，所述方法还包括：
所述预置的放大尺度包括2倍、3倍或4倍。
放大尺度为2倍时，每个像素点在单一方向上的尺度变为原来的2倍，也就是从1个像素点变为4个像素点，这4个像素为2×2排列，也就是说放大后的图像像素在任意一个方向上的尺度变为原来的2倍，放大尺度为3倍和4倍时同理，每个像素点都变为原来的若干倍，例如，放大尺度为3倍时，一个像素点变为9个像素点，放大尺度为4倍时，一个像素点变为16个像素点。
本实施例中提出的图像超分辨率方法，通过获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；然后发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像；在视频图像的超分辨率问题上，考虑到相邻几帧具有很强的关联性，因此不仅要保证超分辨率结果的质量，还要能达到实时处理的效率要求。
基于第一实施例，提出本发明图像超分辨率方法的第三实施例，参照图6，步骤S20包括：
步骤S21，发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
残差网络出现之前，人们采用的深度网络模型层数较少，通过设置合理的权重初始化、增加批量规范化、以及改进激活函数等一系列手段，有效缓解了梯度消失，使得深度网络训练变得可行。随着网络层数的加深，理论上误差会变小，同时模型的表达能力增强，但是在简单的叠加网络层后，训练误差变得更大了，主要是受到了梯度消失等因素的影响。于是出现了残差网络，残差网络是由残差模块垒叠构成，残差模块又分为常规残差模块和瓶颈残差模块，瓶颈残差模块中的1×1卷积能够起到升降维的作用，从而令3×3卷积可以在较低维度的输入上进行，该设计可大幅减少计算量，尤其是在非常深的网络中效果较好。其中残差网络中的激活函数将ReLu改为PReLu，引入了一个可学习参数帮助它适应性的学习部分负系数，另外上述残差网络使用图像上采样方法，使用子像素卷积层。
残差网络实际上是一个卷积神经网络，由若干个瓶颈残差单元和卷积层组成，在每个瓶颈残差单元后添加了一个权重归一化模块。其中，每个瓶颈残差单元的结构示意图如图4所示，包括三个卷积层和两个激活函数层，两个激活函数层分别位于每两个卷积层之间。激活函数采用PReLu函数，含有一个变量，从上一层网络学习中得到。
步骤S22，将所述第二待处理图像发送至尺度还原模块。
将不具有尺度缩放特征的第一待处理图像输入至残差网络，得到残差网络的超分辨率重建处理，从残差网络中输出经过修正后的第二待处理图像至尺度还原模块，以供尺度还原模块对该不具有尺度缩放特征的图像进行尺度还原处理，生成具有尺度特征的还原图像。
进一步地，在一实施例中，所述方法还包括：
所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
如图3所示，残差网络设置在尺度放大模块之后，包含有若干个瓶颈残差单元，在上述瓶颈残差单元后面设置有一个卷积层，其中每个瓶颈残差单元后面都有一个权重归一化模块，权重归一化处理是神经网络模型参数化的一种方法。由于在深度神经网络中，参数集包含着大量的权重和偏差值，因此如何最优化的处理上述参数实时深度学习中的一个重要问题。
在权重归一化模块中，为了加快优化步骤的收敛速度，基于随机梯度下降通过k阶向量v和尺度因子g来表示k阶权重向量，通过一定的数学变化，我们可以得到下面的公式：
其中g为尺度因子，w为k阶权重向量，v为k阶向量，L为损失函数。
进一步地，在一实施例中，所述方法还包括：
所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，都含有一个激活函数层，所述激活函数为PReLu函数。
如图4所示，每个瓶颈残差单元包含有3个卷积层，在每两个卷积层之间包含有一个激活函数层，该激活函数为Parametric ReLU也就是PReLU函数。该函数的公式如下：
其中α为一个变量，从上一层网络学习得到，引入的变量α帮助它适应性的学习部分负系数。
本实施例中提出的图像超分辨率方法，通过发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；然后将所述第二待处理图像发送至尺度还原模块；改善了激活函数层，提高了残差网络的学习能力和适应性。
基于第一实施例，提出本发明图像超分辨率方法的第四实施例，参照图7，步骤S30包括：
步骤S31，在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
在残差网络之后设置有一个尺度还原模块，该模块的主要作用是将经过放大模块放大过的待处理图像进行缩小性还原，并最终生成高分辨率的还原图像进行输出，进而得到高质量的视频。
步骤S32，输出所述还原图像。
本实施例中提出的图像超分辨率方法，通过在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的缩小，生成还原图像；然后输出所述还原图像；增加了权重归一化模块的残差网络大大减少了权重标准化的计算成本，避免了在噪声估计的过程中增加随机性，能够适应更多种类的网络模型。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时实现如下操作：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
所述预置的放大尺度包括2倍、3倍或4倍。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。
进一步地，所述图像超分辨率程序被处理器执行时还实现如下操作：
在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
输出所述还原图像。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像超分辨率方法，其特征在于，所述图像超分辨率方法包括以下步骤：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
2.如权利要求1所述的图像超分辨率方法，其特征在于，所述获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤包括：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
3.如权利要求2所述的图像超分辨率方法，其特征在于，所述预置的放大尺度包括2倍、3倍或4倍。
4.如权利要求1所述的图像超分辨率方法，其特征在于，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
5.如权利要求4所述的图像超分辨率方法，其特征在于，所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
6.如权利要求5所述的图像超分辨率方法，其特征在于，所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。
7.如权利要求6所述的图像超分辨率方法，其特征在于，所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。
8.如权利要求1所述的图像超分辨率方法，其特征在于，所述对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤包括：
在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
输出所述还原图像。
9.一种图像超分辨率装置，其特征在于，所述图像超分辨率装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像超分辨率程序，所述图像超分辨率程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像超分辨率方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时实现如权利要求1至8中任一项所述的图像超分辨率方法的步骤。
CN201810147781.5A 2018-02-11 2018-02-11 图像超分辨率方法、装置及计算机可读存储介质 Pending CN108288251A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810147781.5A CN108288251A (zh) 2018-02-11 2018-02-11 图像超分辨率方法、装置及计算机可读存储介质
EP18905631.0A EP3576046A4 (en) 2018-02-11 2018-08-07 METHOD AND DEVICE FOR IMAGE SUPER RESOLUTION AND COMPUTER-READABLE STORAGE MEDIUM
PCT/CN2018/099071 WO2019153671A1 (zh) 2018-02-11 2018-08-07 图像超分辨率方法、装置及计算机可读存储介质
US16/545,967 US10991076B2 (en) 2018-02-11 2019-08-20 Image super-resolution method, image super-resolution device, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810147781.5A CN108288251A (zh) 2018-02-11 2018-02-11 图像超分辨率方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN108288251A true CN108288251A (zh) 2018-07-17

Family

ID=62832935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810147781.5A Pending CN108288251A (zh) 2018-02-11 2018-02-11 图像超分辨率方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10991076B2 (zh)
EP (1) EP3576046A4 (zh)
CN (1) CN108288251A (zh)
WO (1) WO2019153671A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413213A (zh) * 2018-12-20 2019-03-01 泉州装备制造研究所 基于片上系统的集群监控系统
CN109889800A (zh) * 2019-02-28 2019-06-14 深圳市商汤科技有限公司 图像增强方法和装置、电子设备、存储介质
WO2019153671A1 (zh) * 2018-02-11 2019-08-15 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法
CN111260558A (zh) * 2020-01-22 2020-06-09 武汉大学 一种可变倍率的图像超分辨率网络模型
CN111429458A (zh) * 2020-03-20 2020-07-17 北京创世云科技有限公司 一种图像还原的方法、装置及电子设备
WO2020186888A1 (zh) * 2019-03-21 2020-09-24 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN112150360A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN112419146A (zh) * 2019-08-20 2021-02-26 武汉Tcl集团工业研究院有限公司 一种图像处理方法、装置及终端设备
CN112488916A (zh) * 2019-09-12 2021-03-12 武汉Tcl集团工业研究院有限公司 一种图像超分重建模型的训练方法和计算机设备
CN113191955A (zh) * 2021-06-17 2021-07-30 江苏奥易克斯汽车电子科技股份有限公司 图像超分辨率重建的方法及装置
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114436A (ko) * 2019-03-28 2020-10-07 국방과학연구소 스케일러블 영상 부호화를 수행하는 장치 및 방법
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
US20220335571A1 (en) * 2019-09-11 2022-10-20 The State Of Israel, Ministry Of Agriculture & Rural Development, Agricultural Research Organization Methods and systems for super resolution for infra-red imagery
CN111161152B (zh) * 2019-12-31 2023-03-31 西安电子科技大学 基于自适应卷积神经网络的图像超分辨方法
TWI733341B (zh) * 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
CN113313636A (zh) * 2020-02-27 2021-08-27 瑞昱半导体股份有限公司 用于图像放大与增强的方法与装置
CN111353939B (zh) * 2020-03-02 2023-10-27 中国科学院深圳先进技术研究院 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法
US11138781B1 (en) * 2020-04-01 2021-10-05 International Business Machines Corporation Creation of photorealistic 3D avatars using deep neural networks
CN111754406B (zh) * 2020-06-22 2024-02-23 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN112053287B (zh) * 2020-09-11 2023-04-18 北京邮电大学 图像超分辨率方法、装置及设备
CN112345251B (zh) * 2020-11-04 2022-03-04 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法
CN112419201A (zh) * 2020-12-04 2021-02-26 珠海亿智电子科技有限公司 一种基于残差网络的图像去模糊方法
CN114612294A (zh) * 2020-12-08 2022-06-10 武汉Tcl集团工业研究院有限公司 一种图像超分辨率处理方法和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128394A1 (en) * 2009-11-30 2011-06-02 Indian Institute Of Technology Madras Method and system for generating a high resolution image
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107657586A (zh) * 2017-10-13 2018-02-02 深圳市唯特视科技有限公司 一种基于深度残差网络的单照片超分辨增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
WO2019102476A2 (en) * 2017-11-26 2019-05-31 Yeda Research And Development Co. Ltd. Signal enhancement and manipulation using a signal-specific deep network
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128394A1 (en) * 2009-11-30 2011-06-02 Indian Institute Of Technology Madras Method and system for generating a high resolution image
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107657586A (zh) * 2017-10-13 2018-02-02 深圳市唯特视科技有限公司 一种基于深度残差网络的单照片超分辨增强方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153671A1 (zh) * 2018-02-11 2019-08-15 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
US10991076B2 (en) 2018-02-11 2021-04-27 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Image super-resolution method, image super-resolution device, and computer readable storage medium
CN109413213A (zh) * 2018-12-20 2019-03-01 泉州装备制造研究所 基于片上系统的集群监控系统
CN109889800B (zh) * 2019-02-28 2021-09-10 深圳市商汤科技有限公司 图像增强方法和装置、电子设备、存储介质
CN109889800A (zh) * 2019-02-28 2019-06-14 深圳市商汤科技有限公司 图像增强方法和装置、电子设备、存储介质
WO2020186888A1 (zh) * 2019-03-21 2020-09-24 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法
CN112419146B (zh) * 2019-08-20 2023-12-29 武汉Tcl集团工业研究院有限公司 一种图像处理方法、装置及终端设备
CN112419146A (zh) * 2019-08-20 2021-02-26 武汉Tcl集团工业研究院有限公司 一种图像处理方法、装置及终端设备
CN112488916B (zh) * 2019-09-12 2023-12-26 武汉Tcl集团工业研究院有限公司 一种图像超分重建模型的训练方法和计算机设备
CN112488916A (zh) * 2019-09-12 2021-03-12 武汉Tcl集团工业研究院有限公司 一种图像超分重建模型的训练方法和计算机设备
CN111260558A (zh) * 2020-01-22 2020-06-09 武汉大学 一种可变倍率的图像超分辨率网络模型
CN111429458B (zh) * 2020-03-20 2021-06-08 北京创世云科技股份有限公司 一种图像还原的方法、装置及电子设备
CN111429458A (zh) * 2020-03-20 2020-07-17 北京创世云科技有限公司 一种图像还原的方法、装置及电子设备
CN112150360A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN113191955A (zh) * 2021-06-17 2021-07-30 江苏奥易克斯汽车电子科技股份有限公司 图像超分辨率重建的方法及装置
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法

Also Published As

Publication number Publication date
WO2019153671A1 (zh) 2019-08-15
US10991076B2 (en) 2021-04-27
EP3576046A1 (en) 2019-12-04
US20190370938A1 (en) 2019-12-05
EP3576046A4 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
CN108288251A (zh) 图像超分辨率方法、装置及计算机可读存储介质
US11244170B2 (en) Scene segmentation method and device, and storage medium
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
US20210209459A1 (en) Processing method and system for convolutional neural network, and storage medium
CN108600782A (zh) 视频超分辨率方法、装置及计算机可读存储介质
US20200160528A1 (en) High fidelity interactive segmentation for video data with deep convolutional tessellations and context aware skip connections
CN107633218A (zh) 用于生成图像的方法和装置
CN111681177B (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
CN111932463B (zh) 图像处理方法、装置、设备及存储介质
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
WO2024011976A1 (zh) 一种扩展图像动态范围的方法及电子设备
US20190340726A1 (en) Projection image construction method and device
CN111866483A (zh) 颜色还原方法及装置、计算机可读介质和电子设备
CN110290285B (zh) 图像处理方法、图像处理装置、图像处理系统及介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
WO2023202283A1 (zh) 图像生成模型的训练方法、图像生成方法、装置及设备
CN111696034B (zh) 图像处理方法、装置及电子设备
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
US11683358B2 (en) Dynamic user-device upscaling of media streams
WO2024032331A9 (zh) 图像处理方法及装置、电子设备、存储介质
CN106909263A (zh) 三维图像的交互展示方法及系统
CN116091292B (zh) 数据处理方法和相关装置
US10152818B2 (en) Techniques for stereo three dimensional image mapping
CN108027715B (zh) 图形命令令牌的修改

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180717

RJ01 Rejection of invention patent application after publication