CN107194879A - 超分辨率重建方法、装置及电子设备 - Google Patents

超分辨率重建方法、装置及电子设备 Download PDF

Info

Publication number
CN107194879A
CN107194879A CN201710494187.9A CN201710494187A CN107194879A CN 107194879 A CN107194879 A CN 107194879A CN 201710494187 A CN201710494187 A CN 201710494187A CN 107194879 A CN107194879 A CN 107194879A
Authority
CN
China
Prior art keywords
image
images
super
video image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710494187.9A
Other languages
English (en)
Inventor
马兆远
郝君
龙诺明
侯沛宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sima Great (beijing) Intelligent Systems Ltd
Original Assignee
Sima Great (beijing) Intelligent Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sima Great (beijing) Intelligent Systems Ltd filed Critical Sima Great (beijing) Intelligent Systems Ltd
Priority to CN201710494187.9A priority Critical patent/CN107194879A/zh
Publication of CN107194879A publication Critical patent/CN107194879A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及视频图像处理技术领域，提供一种超分辨率重建方法、装置及电子设备，所述方法包括：获取摄像装置捕获的原始视频图像；利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像；将重建后的连续帧图像还原成超分辨率视频图像。本发明通过利用预设的RAISR滤波器对原始视频图像进行超分辨率重建，得到重建后的超分辨率视频图像，具有良好的超分辨率重建效果。另外，RAISR滤波器由成对的LR图像和HR图像训练生成，训练的数据量小，处理速度快。

Description

超分辨率重建方法、装置及电子设备
技术领域
本发明涉及视频图像处理技术领域，具体而言，涉及一种超分辨率重建方法、装置及电子设备。
背景技术
随着我国城市建设的展开以及智慧城市建设的开始，城市中各个角落和各种车载的摄像头捕捉的视频图像，为保证城市安全和提高城市管理水平，发挥了重要的作用。但是，由于目标物体本身的运动以及摄像头分辨率低等原因，摄像头捕获的视频图像存在模糊和分辨率低的情况，当从视频图像中获取目标的相关信息时，需要对这些视频图像进行超分辨率重建，以获得分辨率和锐度均较好的视频图像。
目前对视频图像进行超分辨率重建的方法有两种：其一，利用摄像头捕获的连续多帧视频图像选择一个像元内连续多帧的亚像素图像，并根据多帧亚像素图像进行目标运动估计，实现视频图像重建，该方法处理的视频图像超分辨率重建的效果不佳；其二，视频图像可以利用SRCNN(Image super-resolution using deep convolutional networks，超分辨率深度卷积神经网络)技术重建，该方法超分辨率重建效果较好，但是超分辨率深度卷积神经网络需要进行大量的训练和计算，处理速度低。
发明内容
本发明的目的在于提供一种超分辨率重建方法、装置及电子设备，用以改善上述问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明提供了一种超分辨率重建方法，应用于设置有摄像装置的电子设备，所述方法包括：获取摄像装置捕获的原始视频图像；利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，所述RAISR滤波器由成对的LR图像和HR图像训练得到；将重建后的连续帧图像还原成超分辨率视频图像。
第二方面，本发明提供了一种超分辨率重建装置，应用于设置有摄像装置的电子设备，所述超分辨率重建装置包括视频图像获取模块、图像重建模块及视频图像还原模块。其中，视频图像获取模块用于获取摄像装置捕获的原始视频图像；图像重建模块用于利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，所述RAISR滤波器由成对的LR图像和HR图像训练得到；视频图像还原模块用于将重建后的连续帧图像还原成超分辨率视频图像。
第三方面，本发明提供了一种电子设备，其包括摄像装置，所述电子设备还包括存储器、处理器、以及超分辨率重建装置，其中，所述处理器与所述摄像装置电连接，所述超分辨率重建装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组。所述超分辨率重建装置包括视频图像获取模块、图像重建模块及视频图像还原模块。其中，视频图像获取模块用于获取摄像装置捕获的原始视频图像；图像重建模块用于利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，所述RAISR滤波器由成对的LR图像和HR图像训练得到；视频图像还原模块用于将重建后的连续帧图像还原成超分辨率视频图像。
相对现有技术，本发明具有以下有益效果：本发明提供的一种超分辨率重建方法、装置及电子设备，通过利用预设的RAISR滤波器对原始视频图像进行超分辨率重建，得到重建后的超分辨率视频图像，与现有技术中根据多帧亚像素图像实现视频图像重建的方法相比，具有良好的超分辨率重建效果。另外，RAISR滤波器由成对的LR图像和HR图像训练生成，与现有技术中的SRCNN技术相比，训练的数据量小，处理速度快。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的方框示意图。
图2示出了本发明实施例提供的超分辨率重建方法流程图。
图3为图2示出的步骤S108的子步骤流程图。
图4示出了本发明实施例提供的超分辨率重建装置的方框示意图。
图5为图4示出的超分辨率重建装置中图像重建模块的方框示意图。
图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-GPU；106-摄像装置；107-显示屏；200-超分辨率重建装置；201-视频图像获取模块；202-图像获取模块；203-高斯模糊模块；204-图像锐化模块；205-图像划分模块；206-矩形块确定模块；207-RAISR滤波器获得模块；208-图像重建模块；2081-图像预处理单元；2082-第一图像获取单元；2083-升采样单元；2084-划分单元；2085-像素重建单元；2086-滤波单元；2087-执行单元；209-视频图像还原模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于智能手机、平板电脑、膝上型便携计算机、车载电脑、个人数字助理(personal digital assistant，PDA)、穿戴式移动终端等等。所述电子设备100包括超分辨率重建装置200、存储器101、存储控制器102、处理器103、外设接口104、GPU(GraphicsProcessing Unit，图形处理器)105、摄像装置106和显示屏107。
所述存储器101、存储控制器102、处理器103、外设接口104、GPU105、摄像装置106和显示屏107各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述超分辨率重建装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述超分辨率重建装置200包括的软件功能模块或计算机程序。
其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。
处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
GPU105用于对摄像装置106捕获的原始视频图像，利用超分辨率重建方法重建为超分辨率视频图像。在本实施例中，GPU105可以是独立显卡(例如SLI、CrossFire等)、集成绘图处理器(例如Radeon HD 4290等)。
摄像装置106与处理器103电连接，用于捕获原始视频图像。在本实施例中，摄像装置106可以是，但不限于USB摄像头、IP Camera(网络摄像机)等，例如，运动摄像头，包括随着车辆移动/转动的摄像头等。
显示屏107用于实现用户与电子设备100之间的交互，具体可以是，但不限于显示屏107将经过超分辨率重建后的超分辨率视频图像进行显示。在本实施例中，显示屏107可以是VGA(Video Graphics Array，视频传输标准)显示器。
第一实施例
请参照图2，图2示出了本发明实施例提供的超分辨率重建方法流程图。超分辨率重建方法包括以下步骤：
步骤S101，获取摄像装置捕获的原始视频图像。
在本发明实施例中，摄像装置106捕获的原始视频图像可以是城市各个角落的摄像头和各种车载摄像头捕获的各种视频图像，例如，城市道路上用于交通监督及违章拍摄的摄像头，该摄像头捕获的原始视频图像可以包括车辆、车牌、驾驶员等信息。
步骤S102，获取待训练的HR图像。
在本发明实施例中，HR(High Resolution，高分辨率)图像可以从网上下载获得。
步骤S103，对HR图像进行高斯模糊变换，得到对应的LR图像，其中，LR图像与HR图像的大小相同。
在本发明实施例中，可以利用低通滤波器对HR图像进行低通滤波操作得到对应的模糊图像，也就是LR(Low Resolution，低分辨率)图像，低通滤波器可以是高斯滤波器。利用高斯滤波器对HR图像进行滤波，得到对应的LR图像的方法可以是，但不限于首先根据高斯分布的均方差创建高斯滤波器，然后用高斯滤波器扫描HR图像中的每一个像素点，用高斯滤波器确定的邻域内像素点的加权平均像素值替代HR图像中该像素点的像素值，就能得到模糊处理之后的LR图像。
作为一种实施方式，对HR图像进行高斯模糊变换时，可以先将HR图像由RGB格式转换成YCrCb格式，然后将YCrCb格式的HR图像的亮度通道进行高斯模糊，得到LR图像。
步骤S104，对HR图像进行锐化，增强HR图像的对比度。
在本发明实施例中，对待训练的离线图像集中的HR图像进行锐化，增强HR图像的对比度之后，再对离线图像集进行训练，得到的RAISR(Rapid and Accurate Image SuperResolution，快速、精确的超分辨率)滤波器可以使得超分辨率重建的图像清晰度、对比度更好，并且不会增加超分辨率重建的时间。对HR图像进行锐化的方法可以是通过高通滤波来减少HR图像的模糊，例如，可以通过组合微分滤波器和HR图像来实现。
步骤S105，将LR图像划分成多个第一矩形块，并将该LR图像对应的HR图像划分成多个第二矩形块。
在本发明实施例中，将LR图像划分成多个第一矩形块的方法可以是：首先，求取LR图像的x方向的梯度及y方向的梯度，得到梯度图像gradX及gradY；其次，将包含LR图像、梯度图像gradX、梯度图像gradY的图像集合根据相同坐标区域划分成多个第一矩形块，第一矩形块可以是包括LR图像矩形块、gradX矩形块及gradY矩形块集合的矩形块。采用相同的划分方式，将HR图像划分成多个第二矩形块。
步骤S106，确定每个第一矩形块的中心像素点对应的第二矩形块。
在本发明实施例中，根据每个第一矩形块的中心像素点，确定与该中心像素点对应的第二矩形快，也就是说，找出一一对应的第一矩形块和第二矩形块。
步骤S107，根据多个成对的第一矩形块及第二矩形块，利用最小二乘法进行训练，得到RAISR滤波器，其中，RAISR滤波器包括多个子滤波器，每个子滤波器是由一个成对的第一矩形块及第二矩形块训练得到的。
在本发明实施例中，根据多个成对的第一矩形块及第二矩形块，得到RAISR滤波器的方法可以是：首先，求取每个第一矩形块及第二矩形块各自的梯度；然后，根据梯度确定每个第一矩形块及第二矩形块的中心像素点对应的像素类型；最后，根据像素类型和梯度，利用最小二乘法，得到每个成对的第一矩形块及第二矩形块所属的类对应的子滤波器，最终得到包括多个子滤波器的RAISR滤波器。
作为一种实施方式，求取每个成对的第一矩形块及第二矩形块各自的梯度的方法是：以任意一个第一矩形块为例，首先，将多个gradX矩形块及gradY矩形块填充到梯度矩阵中，并求出矩阵的特征值和特征向量，其中，Wk为对角线元素为一维高斯核、其他位置为0的矩阵。然后，根据求取的最大特征值对应的特征向量，计算该第一矩形块的梯度(Angle，Strength，Coherence)，其中，Angle为梯度角，可以根据公式确定；Strength为梯度强度，可以根据公式确定，其中，Gx,k(x,y)、Gy,k(x,y)分别表示第一矩形块第k个像素点的水平方向的梯度和垂直方向的梯度；Coherence表示梯度向量，可以根据公式确定。
作为一种实施方式，求取每个类对应的子滤波器的方法可以是：首先，设置梯度角的范围为[0，180]，将该范围分为24段，设置梯度强度和梯度向量的范围均为[0，1.0]，各分为3份，这样每个第一矩形块和第二矩形块都可以根据各自的梯度，分类到24*3*3＝216种类别中；根据每个第一矩形块和第二矩形块的中心像素点的像素类型，可以将每个第一矩形块和第二矩形块分为4类，因此每个第一矩形块和第二矩形块将被分类为4*216＝864个类中。
作为一种实施方式，根据像素类型和梯度，得到每个成对的第一矩形块及第二矩形块对应的子滤波器的方法可以是：每个类中，第一矩形块的数据保存到Q中，该第一矩形块对应的第二矩形块的数据保存到V中，代入公式中，根据最小二乘法求解，得到每个类对应的子滤波器。
步骤S108，利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，RAISR滤波器由成对的LR图像和HR图像训练得到。
在本发明实施例中，利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建的方法包括：首先，获取原始视频图像中的任意一帧图像，记为第一图像，并对该第一图像进行插值升采样，得到第二图像；第二，获取第二图像的梯度图像gradX及gradY，将包含第二图像、gradX及gradY的图像集合划分成多个跟第一矩形块和第二矩形块大小相同的第三矩形块；第三，确定每个第三矩形块的中心像素点对应的像素类型及梯度；第四，根据每个第三矩形块的对应的像素类型和梯度，在864个类中，找到该第三矩形块所属的类，也就获取到了该第三矩形块进行超分辨率重建对应的子滤波器；第五，将每个第三矩形块和其对应的子滤波器进行卷积操作，得到该第三矩形块对应的超分辨率图像的像素值；第五，遍历第二图像全图，生成第一图像对应的超分辨率图像。
请参照图3，步骤S108可以包括以下子步骤：
子步骤S1081，对原始视频图像进行预处理，以减小原始视频图像的失真。
在本发明实施例中，获取到摄像装置106捕获的原始视频图像之后，对该原始视频图像进行预处理，并保存成连续帧的方式。预处理可以是对对原始视频图像进行灰度校正、噪声过滤等处理，以减小原始视频图像的失真。
子步骤S1082，获取第一图像，其中，第一图像为原始视频图像中的任意一帧图像。
在本发明实施例中，在子步骤S1081中，将原始视频图像保存成连续帧方式的图像，第一图像就是从该连续帧方式的图像中获取的任意一帧图像。
子步骤S1083，对第一图像进行插值升采样，得到第二图像。
在本发明实施例中，对第一图像进行插值升采样可以利用双线性插值算法实现，利用双线性插值算法对第一图像进行插值升采样的方法可以是在第一图像的x方向和y方向上分别进行一次线性插值，完成第一图像的插值升采样，得到得到第二图像。
子步骤S1084，将第二图像划分成多个第三矩形块。
在本发明实施例中，根据步骤S107中介绍的方法，获取第二图像的梯度图像gradX及gradY，将包含第二图像、gradX及gradY的图像集合划分成多个第三矩形块，第三矩形块的大小跟跟第一矩形块和第二矩形块的大小相同。
子步骤S1085，对每个第三矩形块利用其对应的子滤波器进行像素重建，生成第一图像对应的超分辨率图像。
在本发明实施例中，生成第一图像对应的超分辨率图像的方法可以是：首先，根据每个第三矩形块的中心像素点确定该中心像素点对应的像素类型，并计算每个第三矩形块的梯度；其次，根据每个第三矩形块对应的像素类型和梯度，在864个类中，找到该第三矩形块所属的类，也就获取到了该第三矩形块进行超分辨率重建对应的子滤波器；最后，将每个第三矩形块和其对应的子滤波器进行卷积操作，得到该第三矩形块对应的超分辨率图像的像素值，遍历第二图像全图，生成第一图像对应的超分辨率图像。
子步骤S1086，根据结构相似度，对第一图像对应的超分辨率图像进行滤波，去除超分辨率图像中的异常像素点。
在本发明实施例中，结构相似度是衡量预先获取的无失真图像和第一图像相似度的指标，可以根据公式计算，其中，μx是无失真图像的平均值，μy是第一图像的平均值，是无失真图像的方差，是第一图像的方差，σxy是无失真图像和第一图像的协方差，c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03。异常像素点可以是由于某个子滤波器没有训练好、或者某个第三矩形块错选导致的影响超分辨率重建效果的像素点。
子步骤S1087，遍历原始视频图像的每一帧，得到重建后的连续帧图像。
在本发明实施例中，对原始视频图像的每一帧都利用上述的子步骤S1082～子步骤S1086介绍的方法进行超分辨率重建，得到重建后的连续帧图像。
步骤S109，将重建后的连续帧图像还原成超分辨率视频图像。
在本发明实施例中，得到重建后的连续帧图像，将重建后的连续帧图像还原成视频方式，就得到超分辨率视频图像。
在本发明实施例中，首先，通过利用预设的RAISR滤波器对原始视频图像进行超分辨率重建，得到重建后的超分辨率视频图像，具有良好的超分辨率重建效果。其次，RAISR滤波器由成对的LR图像和HR图像训练生成，训练的数据量小，处理速度快；最后，对待训练的HR图像进行锐化，增强HR图像的对比度之后，再对离线图像集进行训练，得到的RAISR滤波器可以使得超分辨率重建的图像清晰度、对比度更好，并且不会增加超分辨率重建的时间。
第二实施例
请参照图4，图4示出了本发明实施例提供的超分辨率重建装置200的方框示意图。超分辨率重建装置200包括视频图像获取模块201、图像获取模块202、高斯模糊模块203、图像锐化模块204、图像划分模块205、矩形块确定模块206、RAISR滤波器获得模块207、图像重建模块208及视频图像还原模块209。
视频图像获取模块201，用于获取摄像装置捕获的原始视频图像。
在本发明实施例中，视频图像获取模块201可以用于执行步骤S101。
图像获取模块202，用于获取待训练的HR图像。
在本发明实施例中，图像获取模块202可以用于执行步骤S102。
高斯模糊模块203，用于对所述HR图像进行高斯模糊变换，得到对应的LR图像，其中，所述LR图像与所述HR图像的大小相同。
在本发明实施例中，高斯模糊模块203可以用于执行步骤S103。
图像锐化模块204，用于对HR图像进行锐化，增强HR图像的对比度。
在本发明实施例中，图像锐化模块204可以用于执行步骤S104。
图像划分模块205，用于将LR图像划分成多个第一矩形块，并将该LR图像对应的HR图像划分成多个第二矩形块。
在本发明实施例中，图像划分模块205可以用于执行步骤S105。
矩形块确定模块206，用于确定每个第一矩形块的中心像素点对应的第二矩形块。
在本发明实施例中，矩形块确定模块206可以用于执行步骤S106。
RAISR滤波器获得模块207，用于根据多个成对的第一矩形块及第二矩形块，利用最小二乘法进行训练，得到RAISR滤波器，其中，RAISR滤波器包括多个子滤波器，每个子滤波器是由一个成对的第一矩形块及第二矩形块训练得到的。
在本发明实施例中，RAISR滤波器获得模块207可以用于执行步骤S107。
图像重建模块208，用于利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，RAISR滤波器由成对的LR图像和HR图像训练得到。
在本发明实施例中，图像重建模块208可以用于执行步骤S108。
请参照图5，图5为图4示出的超分辨率重建装置200中图像重建模块208的方框示意图。图像重建模块208包括图像预处理单元2081、第一图像获取单元2082、升采样单元2083、划分单元2084、像素重建单元2085、滤波单元2086及执行单元2087。
图像预处理单元2081，用于对原始视频图像进行预处理，以减小原始视频图像的失真。
在本发明实施例中，图像预处理单元2081可以用于执行子步骤S1081。
第一图像获取单元2082，用于获取第一图像，其中，第一图像为原始视频图像中的任意一帧。
在本发明实施例中，第一图像获取单元2082可以用于执行子步骤S1082。
升采样单元2083，用于对第一图像进行插值升采样，得到第二图像。
在本发明实施例中，升采样单元2083可以用于执行子步骤S1083。
划分单元2084，用于将第二图像划分成多个第三矩形块。
在本发明实施例中，划分单元2084可以用于执行子步骤S1084。
像素重建单元2085，用于对每个第三矩形块利用其对应的子滤波器进行像素重建，生成第一图像对应的超分辨率图像。
在本发明实施例中，像素重建单元2085可以用于执行子步骤S1085。
滤波单元2086，用于根据结构相似度，对第一图像对应的超分辨率图像进行滤波，去除超分辨率图像中的异常像素点。
在本发明实施例中，滤波单元2086可以用于执行子步骤S1086。
执行单元2087，用于遍历原始视频图像的每一帧，得到重建后的连续帧图像。
在本发明实施例中，执行单元2087可以用于执行子步骤S1087。
视频图像还原模块209，用于将重建后的连续帧图像还原成超分辨率视频图像。
在本发明实施例中，视频图像还原模块209可以用于执行步骤S109。
综上所述，本发明提供的一种超分辨率重建方法、装置及电子设备，所述方法包括：获取摄像装置捕获的原始视频图像；利用预设的RAISR滤波器对原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，RAISR滤波器由成对的LR图像和HR图像训练得到；将重建后的连续帧图像还原成超分辨率视频图像。本发明通过利用预设的RAISR滤波器对原始视频图像进行超分辨率重建，得到重建后的超分辨率视频图像，具有良好的超分辨率重建效果。另外，RAISR滤波器由成对的LR图像和HR图像训练生成，训练的数据量小，处理速度快。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种超分辨率重建方法，其特征在于，应用于设置有摄像装置的电子设备，所述方法包括：
获取所述摄像装置捕获的原始视频图像；
利用预设的RAISR滤波器对所述原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，所述RAISR滤波器由成对的LR图像和HR图像训练得到；
将所述重建后的连续帧图像还原成超分辨率视频图像。
2.如权利要求1所述的方法，其特征在于，所述利用预设的RAISR滤波器对所述原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像的步骤之前，还包括：
获取待训练的HR图像；
对所述HR图像进行高斯模糊变换，得到对应的LR图像，其中，所述LR图像与所述HR图像的大小相同；
将所述LR图像划分成多个第一矩形块，并将该LR图像对应的HR图像划分成多个第二矩形块；
确定每个第一矩形块的中心像素点对应的第二矩形块；
根据多个成对的第一矩形块及第二矩形块，利用最小二乘法进行训练，得到RAISR滤波器，其中，RAISR滤波器包括多个子滤波器，每个所述子滤波器是由一个成对的第一矩形块及第二矩形块训练得到的。
3.如权利要求2所述的方法，其特征在于，所述对所述HR图像进行高斯模糊变换，得到对应的LR图像的步骤之后，还包括：
对所述HR图像进行锐化，增强所述HR图像的对比度。
4.如权利要求2所述的方法，其特征在于，所述利用预设的RAISR滤波器对所述原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像的方法，包括：
对所述原始视频图像进行预处理，以减小所述原始视频图像的失真；
获取第一图像，其中，所述第一图像为所述原始视频图像中的任意一帧；
对所述第一图像进行升采样，得到第二图像；
将所述第二图像划分成多个第三矩形块；
对每个第三矩形块利用其对应的子滤波器进行像素重建，生成所述第一图像对应的超分辨率图像；
遍历所述原始视频图像的每一帧，得到重建后的连续帧图像。
5.如权利要求4所述的方法，其特征在于，所述遍历所述原始视频图像的每一帧，得到重建后的连续帧图像的步骤之前，还包括：
根据结构相似度，对所述第一图像对应的超分辨率图像进行滤波，去除所述超分辨率图像中的异常像素点。
6.一种超分辨率重建装置，其特征在于，应用于设置有摄像装置的电子设备，所述超分辨率重建装置包括：
视频图像获取模块，用于获取所述摄像装置捕获的原始视频图像；
图像重建模块，用于利用预设的RAISR滤波器对所述原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，所述RAISR滤波器由成对的LR图像和HR图像训练得到；
视频图像还原模块，用于将所述重建后的连续帧图像还原成超分辨率视频图像。
7.如权利要求6所述的装置，其特征在于，所述超分辨率重建装置还包括：
图像获取模块，用于获取待训练的HR图像；
高斯模糊模块，用于对所述HR图像进行高斯模糊变换，得到对应的LR图像，其中，所述LR图像与所述HR图像的大小相同；
图像划分模块，用于将所述LR图像划分成多个第一矩形块，并将该LR图像对应的HR图像划分成多个第二矩形块；
矩形块确定模块，用于确定每个第一矩形块的中心像素点对应的第二矩形块；
RAISR滤波器获得模块，用于根据多个成对的第一矩形块及第二矩形块，利用最小二乘法进行训练，得到RAISR滤波器，其中，RAISR滤波器包括多个子滤波器，每个所述子滤波器是由一个成对的第一矩形块及第二矩形块训练得到的。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
图像锐化模块，用于对每个所述HR图像进行锐化，增强每个所述HR图像的对比度。
9.如权利要求7所述的装置，其特征在于，所述图像重建模块包括：
图像预处理单元，用于对所述原始视频图像进行预处理，以减小所述原始视频图像的失真；
第一图像获取单元，用于获取第一图像，其中，所述第一图像为所述原始视频图像中的任意一帧；
升采样单元，用于对所述第一图像进行升采样，得到第二图像；
划分单元，用于将所述第二图像划分成多个第三矩形块；
像素重建单元，用于对每个第三矩形块利用其对应的子滤波器进行像素重建，生成所述第一图像对应的超分辨率图像；
执行单元，用于遍历所述原始视频图像的每一帧，得到重建后的连续帧图像。
10.一种电子设备，其特征在于，包括摄像装置，所述电子设备还包括：
存储器；
处理器，所述处理器与所述摄像装置电连接；以及
超分辨率重建装置，所述超分辨率重建装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，其包括：
原始视频图像获取模块，用于获取所述摄像装置捕获的原始视频图像；
图像重建模块，用于利用预设的RAISR滤波器对所述原始视频图像中的每一帧图像进行超分辨率重建，得到重建后的连续帧图像，其中，所述RAISR滤波器由成对的LR图像和HR图像训练得到；
视频图像还原模块，用于将所述重建后的连续帧图像还原成超分辨率视频图像。
CN201710494187.9A 2017-06-26 2017-06-26 超分辨率重建方法、装置及电子设备 Pending CN107194879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710494187.9A CN107194879A (zh) 2017-06-26 2017-06-26 超分辨率重建方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710494187.9A CN107194879A (zh) 2017-06-26 2017-06-26 超分辨率重建方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN107194879A true CN107194879A (zh) 2017-09-22

Family

ID=59880871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710494187.9A Pending CN107194879A (zh) 2017-06-26 2017-06-26 超分辨率重建方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107194879A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416733A (zh) * 2018-02-07 2018-08-17 杭州电子科技大学 一种不降低质量且快速的图像超分辨率方法
CN110766610A (zh) * 2019-10-28 2020-02-07 维沃移动通信有限公司 一种超分辨率图像的重建方法及电子设备
CN111626305A (zh) * 2019-02-28 2020-09-04 阿里巴巴集团控股有限公司 目标检测方法、装置和设备
CN111784580A (zh) * 2020-06-30 2020-10-16 北京金山云网络技术有限公司 图像的超分辨率方法、装置和服务器
WO2022042124A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN105389778A (zh) * 2015-11-04 2016-03-09 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
CN106327428A (zh) * 2016-08-31 2017-01-11 深圳大学 一种基于迁移学习的图像超分辨率方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN105389778A (zh) * 2015-11-04 2016-03-09 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
CN106327428A (zh) * 2016-08-31 2017-01-11 深圳大学 一种基于迁移学习的图像超分辨率方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YANIV ROMANO等: ""RAISR: Rapid and Accurate Image Super Resolution"", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 *
YANIV ROMANO等: "RAISR: Rapid and Accurate Image Super Resolution", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 *
技术宅: "模糊瞬变高清？谷歌超分辨率技术RAISR", 《电脑爱好者》 *
羽凌寒: ""Google超分辨率论文RAISR实现小结"", 《HTTPS://BLOG.CSDN.NET/U011630458/ARTICLE/DETAILS/69524582?UTM_MEDIUM=DISTRIBUTE.PC_RELEVANT.NONE-TASK-BLOG-BLOGCOMMENDFROMMACHINELEARNPAI2-2.NONECASE&DEPTH_1-UTM_SOURCE=DISTRIBUTE.PC_RELEVANT.NONE-TASK-BLOG-BLOGCOMMENDFROMMACHINELEARNPAI2-2.NONECASE *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416733A (zh) * 2018-02-07 2018-08-17 杭州电子科技大学 一种不降低质量且快速的图像超分辨率方法
CN111626305A (zh) * 2019-02-28 2020-09-04 阿里巴巴集团控股有限公司 目标检测方法、装置和设备
CN111626305B (zh) * 2019-02-28 2023-04-18 阿里巴巴集团控股有限公司 目标检测方法、装置和设备
CN110766610A (zh) * 2019-10-28 2020-02-07 维沃移动通信有限公司 一种超分辨率图像的重建方法及电子设备
CN110766610B (zh) * 2019-10-28 2023-06-09 维沃移动通信有限公司 一种超分辨率图像的重建方法及电子设备
CN111784580A (zh) * 2020-06-30 2020-10-16 北京金山云网络技术有限公司 图像的超分辨率方法、装置和服务器
WO2022042124A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN107194879A (zh) 超分辨率重建方法、装置及电子设备
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN108182670A (zh) 一种事件图像的分辨率增强方法及系统
CN107240078A (zh) 镜头清晰度验算方法、装置及电子设备
CN104751405A (zh) 一种用于对图像进行虚化的方法和装置
CN112308797B (zh) 角点检测方法、装置、电子设备及可读存储介质
CN106934806A (zh) 一种基于结构清晰度的无参考图失焦模糊区域分割方法
CN109934785A (zh) 图像锐化方法及装置
US8488899B2 (en) Image processing apparatus, method and recording medium
CN113592776A (zh) 图像处理方法及装置、电子设备、存储介质
Maiseli et al. A multi-frame super-resolution method based on the variable-exponent nonlinear diffusion regularizer
CN109711268A (zh) 一种人脸图像筛选方法及设备
CN107330854A (zh) 一种基于新型模板的图像超分辨率增强方法
Wang et al. First image then video: a two-stage network for spatiotemporal video denoising
CN116485646A (zh) 一种基于微注意力的轻量化图像超分辨率重建方法及装置
EP3316212A1 (en) Method for deblurring a video, corresponding device and computer program product
CN107330891A (zh) 一种有效的图像质量评价系统
Park et al. Down-scaling with learned kernels in multi-scale deep neural networks for non-uniform single image deblurring
CN106874012A (zh) 主题背景设置方法、装置及电子设备
CN106713762A (zh) 图像处理方法及装置
Zhu et al. Hue guidance network for single image reflection removal
CN117496019A (zh) 一种驱动静态图像的图像动画处理方法及系统
Schaffner et al. Towards edge-aware spatio-temporal filtering in real-time
CN107395983A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN113628148B (zh) 红外图像降噪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922

RJ01 Rejection of invention patent application after publication