CN110766610B - 一种超分辨率图像的重建方法及电子设备 - Google Patents

一种超分辨率图像的重建方法及电子设备 Download PDF

Info

Publication number
CN110766610B
CN110766610B CN201911030882.5A CN201911030882A CN110766610B CN 110766610 B CN110766610 B CN 110766610B CN 201911030882 A CN201911030882 A CN 201911030882A CN 110766610 B CN110766610 B CN 110766610B
Authority
CN
China
Prior art keywords
resolution
image
super
raw domain
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911030882.5A
Other languages
English (en)
Other versions
CN110766610A (zh
Inventor
刘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201911030882.5A priority Critical patent/CN110766610B/zh
Publication of CN110766610A publication Critical patent/CN110766610A/zh
Application granted granted Critical
Publication of CN110766610B publication Critical patent/CN110766610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超分辨率图像的重建方法及电子设备，用于解决现有的超分辨率重建技术在重建图像时往往会丢失一些原始信息进而影响图像的重建效果的问题。该方法包括：获取连续采集的至少两帧低分辨率RAW域图像；基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；对所述单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。

Description

一种超分辨率图像的重建方法及电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种超分辨率图像的重建方法及电子设备。
背景技术
随着电子设备的快速发展，为了满足用户对高分辨率图像的拍摄需求，许多电子设备的图像处理模块都内置有图像处理算法，以增大拍摄图像的分辨率。目前，当用户使用电子设备拍摄远景或较小的目标时，通常需要放大图像的局部细节才能满足用户的拍摄需求。而当光学变焦达到极限时，电子设备则会采用数字变焦将图像进一步放大，即利用算法插入像素以增大图像的分辨率。
然而，这种方法得到的图像仍然难以满足用户的拍摄需求，而超分辨率重建技术由于能够基于深度学习的方法，利用低分辨率图像重建生成高分辨率图像，实现图像清晰度的提高，从而受到越来越多的关注。
现有的超分辨率重建技术主要是以RGB图像或者YUV图像为处理对象。而这种以RGB图像或者YUV图像为处理对象的超分辨率重建技术，往往会由于RGB图像和YUV图像是处理过的图像，而丢失一些原始的信息，这就可能影响图像的重建效果。
发明内容
本发明实施例提供一种超分辨率图像的重建方法及电子设备，以解决现有的超分辨率重建技术在重建图像时往往会丢失一些原始信息进而影响图像的重建效果的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种超分辨率图像的重建方法，包括：
获取连续采集的至少两帧低分辨率RAW域图像；
基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；
对所述单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
第二方面，本发明实施例还提供一种电子设备，包括：
获取单元，用于获取连续采集的至少两帧低分辨率RAW域图像；
超分辨率重建单元，用于基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；
图像信号处理单元，用于对所述单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的超分辨率图像的重建方法的步骤。
第四方面，本发明实施例还提供一种可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的超分辨率图像的重建方法的步骤。
本发明实施例提供的RAW域图像的超分辨率重建方法，能够获取连续采集的至少两帧低分辨率RAW域图像；基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。由于RAW域图像保留了更加原始、完整的信息，因此RAW域图像更有利于超分辨率重建技术的实现，并能有效提升预设的超分辨率重建模型的图像重建效果。
附图说明
图1为本发明实施例提供的一种超分辨率图像的重建方法的实现流程示意图；
图2为本发明实施例提供的超分辨率图像的重建方法中一种超分辨率重建模型的训练流程示意图；
图3为本发明实施例提供的超分辨率图像的重建方法应用在一种实际场景中的流程示意图；
图4为本发明实施例提供的一种电子设备的结构示意图；
图5为本发明实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
为解决现有技术的超分辨率重建技术在重建图像时往往会丢失一些原始信息进而影响图像的重建效果的问题，本发明提供一种超分辨率图像的重建方法，该方法的执行主体，可以但不限于手机、平板电脑、可穿戴设备等能够被配置为执行本发明实施例提供的该方法用户终端中的至少一种，或者，该方法的执行主体，还可以是能够执行该方法的客户端本身。
为便于描述，下文以该方法的执行主体为能够执行该方法的电子设备为例，对该方法的实施方式进行介绍。可以理解，该方法的执行主体为电子设备只是一种示例性的说明，并不应理解为对该方法的限定。
具体地，本发明提供的超分辨率图像的重建方法包括：首先，获取连续采集的至少两帧低分辨率RAW域图像；然后，基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；最后，对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
本发明实施例提供的RAW域图像的超分辨率重建方法，能够获取连续采集的至少两帧低分辨率RAW域图像；基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。由于RAW域图像保留了更加原始、完整的信息，因此RAW域图像更有利于超分辨率重建技术的实现，并能有效提升预设的超分辨率重建模型的图像重建效果。
下面结合图1所示的超分辨率图像的重建方法的具体实施流程示意图，对该方法的实施过程进行详细介绍，包括：
步骤101，获取连续采集的至少两帧低分辨率RAW域图像。
具体地，本发明实施例能够使用至少两帧RAW域图像，通过深层网络模型实现图像超分辨率重建，能够充分利用相机传感器原始信息。由于RAW域图像中保留了大量的原始、完整的信息，因此在本发明实施例中，采用连续采集的至少两帧低分辨率RAW域图像输入至预设的超分辨率重建模型，使得预设的超分辨重建模型能够从这连续采集的至少两帧低分辨率RAW域图像中，获取大量有效数据，并且使得重建得到的超分辨率图像更加接近于实际场景，从而提高重建得到的超分辨率图像的清晰度。
可选地，可根据需要输入至预设的超分辨率重建模型中以供处理的图像的数量，从相机或手机等电子设备的图像传感器中获取一组未经处理的连续采集的至少两帧低分辨率RAW域图像，以确保相邻两帧低分辨率RAW域图像之间的差别控制在一定范围内，这样可以更好地保证超分辨率重建得到的图像质量。
步骤102，基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像。
可选地，虽然RAW域图像保留了大量原始和完整的信息，但由于RAW域图像往往噪声严重，这就会影响图像的超分辨率重建效果，并使得超分辨率重建的复杂度较大。而降噪操作能够减少RAW域图像中的噪声，从而降低噪声对图像的超分辨率重建效果的干扰。因此，为了提高图像的超分辨率重建效果，并降低预设的超分辨率重建模型的拟合复杂度，本发明实施例在将至少两帧低分辨率RAW域图像输入预设的超分辨率重建模型之前，对该至少两帧低分辨率RAW域图像进行了降噪操作和对齐操作等图像预处理。
具体地，在本发明实施例中，能够训练得到预设的超分辨率重建模型，并将至少两帧低分辨率RAW域图像输入至该预设的超分辨率重建模型，输出单帧超分辨率RAW域图像，以极大地提高图像的清晰度。其中，基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像，包括：
对至少两帧低分辨率RAW域图像进行图像预处理，得到图像预处理后的至少两帧低分辨率RAW域图像；
将图像预处理后的至少两帧低分辨率RAW域图像输入至预设的超分辨率重建模型，输出单帧超分辨率RAW域图像；
其中，图像预处理包括如下至少一项：降噪操作、对齐操作。
可选地，为了使得这至少两帧低分辨率RAW域图像中同一个特征在每帧低分辨率RAW域图像中的坐标一致，在本发明实施例中，可在对这至少两帧低分辨率RAW域图像进行降噪操作之后，再对其进行对齐操作。且为了降低降噪操作对低分辨率RAW域图像中原始信息的影响，以降低降噪操作对对齐操作产生的影响，可先将进行降噪操作后的至少两帧低分辨率RAW域图像、与最初从电子设备的图像传感器中连续采集的至少两帧低分辨率RAW域图像直接堆叠，也可采用卷积、3D卷积等其他可处理时序数据的网络结构进行处理；然后，将上述处理过的至少两帧低分辨率RAW域图像一起输入至对齐模型，以生成进行对齐操作后的至少两帧低分辨率RAW域图像。
具体地，为了使得本发明实施例中的预设的超分辨率重建模型能够适应多种复杂情况的图像，在训练预设的超分辨率重建模型时，可从至少两个高分辨率RGB视频中截取至少两组高分辨率RGB图像，再对这至少两组高分辨率RGB图像进行处理得到至少两帧高分辨率RAW域图像，作为训练预设的超分辨率重建模型的样本数据。具体地，在获取连续采集的至少两帧低分辨率RAW域图像之后，该方法还包括：
获取至少两个高分辨率RGB视频；
分别从至少两个高分辨率RGB视频中，截取对应的至少两组高分辨率RGB图像，其中，一组高分辨率RGB图像包括连续的至少两帧高分辨率RGB图像；
分别对至少两组高分辨率RGB图像进行逆向图像信号处理，生成对应的至少两组高分辨率RAW域图像；
基于至少两组高分辨率RAW域图像，通过迭代训练得到预设的超分辨率重建模型，直到预设的超分辨率重建模型输出的图像的损失函数值最小。
具体地，为了能够模拟出用户在手持电子设备拍摄时产生的各种影响图像清晰度的情形，并扩充样本数据的类型和数量，以使得预设的超分辨率重建模型能够重建较为复杂的各类模糊的图像，本发明实施例在获取了上述至少两组高分辨率RAW域图像之后，还可对这至少两组高分辨率RAW域图像进行降采样，得到至少两组低分辨率RAW域图像，并对这些至少两组低分辨率RAW域图像进行模拟抖动、模拟模糊和模拟噪声等样本预处理。
具体地，基于至少两组高分辨率RAW域图像，迭代训练得到预设的超分辨率重建模型，直到预设的超分辨率重建模型输出的图像的损失函数值最小，包括：
分别对至少两组高分辨率RAW域图像进行降采样，生成对应的至少两组低分辨率RAW域图像；
分别对至少两组低分辨率RAW域图像进行样本预处理，得到样本预处理后的至少两组样本数据，其中，每组样本数据包括连续的至少两帧低分辨率RAW域图像；样本预处理包括模拟抖动操作、模拟模糊操作、模拟噪声操作中的至少一种；
分别对样本预处理后的至少两组样本数据进行图像预处理，得到图像预处理后的至少两组样本数据，其中，图像预处理包括如下至少一种：降噪操作和对齐操作；
基于图像预处理后的至少两组样本数据，通过迭代训练得到预设的超分辨率重建模型，直到预设的超分辨率重建模型输出的图像的损失函数值最小。
其中，分别对至少两组低分辨率RAW域图像进行模拟抖动操作、模拟模糊操作和/或模拟噪声操作等样本预处理，得到样本预处理后的至少两组样本数据，这在使用多帧RAW域图像通过深层网络模型实现图像超分辨率重建过程中，充分利用了相机传感器的原始信息。
可选地，本发明实施例考虑了用户在手持电子设备拍摄的过程中，通常都会因为手臂的晃动而导致拍摄出来的图像模糊的情况，使得预设的超分辨率重建模型可以更加拟合实际应用场景中的数据，实现更好的超分辨率重建效果。可预先获取透视变换参数的至少两个回归模型，并基于这至少两个回归模型来确定模糊抖动时的各帧图像的透视变换参数。具体地，样本预处理包括模拟抖动操作；
分别对至少两组低分辨率RAW域图像进行样本预处理，包括：
基于透视变换参数的概率分布，预测第i组低分辨率RAW域图像中的第2帧图像的透视变换参数，其中，透视变换参数的概率分布为基于距离连续变化的不同位置处拍摄得到的至少两帧的标定板图像确定的，第i组低分辨率RAW域图像包括n帧低分辨率RAW域图像；
基于n-2个透视变换参数的回归模型，分别预测第i组低分辨率RAW域图像中的第3帧图像至第n帧图像的透视变换参数；
基于第i组低分辨率RAW域图像中的第2帧图像至第n帧图像的透视变换参数，对第i组低分辨率RAW域图像进行透视变换处理；
其中，第i组低分辨率RAW域图像为至少两组低分辨率RAW域图像中的任意一组，n为正整数，i为正整数且i小于等于低分辨率RAW域图像的组数。
具体地，对第i组低分辨率RAW域图像进行模拟抖动操作时，该第i组低分辨率RAW域图像中的第一帧图像可不进行模拟抖动操作；对该第i组低分辨率RAW域图像中的第二帧图像进行模拟抖动操作时用到的透视变换参数，可基于建立回归模型时得到的所有透视变换参数获得，即可以根据所有透视变换参数出现的概率随机抽取一个透视变换参数，作为该第二帧图像进行模拟抖动操作的透视变换参数；对第i组低分辨率RAW域图像中的第三帧图像及其之后的各帧图像进行模拟抖动操作时，可基于每帧图像对应的回归模型得到对应的透视变换参数的概率分布，再根据对应的透视变换参数的概率分布随机抽取一个透视变换参数，作为该帧图像的透视变换参数。
可选地，若对至少两组高分辨率RAW域图像进行降采样的降采样系数较大，即若在至少两组高分辨率RAW域图像的每帧图像中各行各列中每隔k个像素点选取一个像素点组成至少两组低分辨率RAW域图像时，k的值较大，而导致至少两组低分辨率RAW域图像的分辨率较低，从而无法实现其每帧图像对应的模拟抖动操作，可考虑根据降采样的系数按倍率折算出合适的透视变换参数。
例如，单帧高分辨率RAW域图像的分辨率为100*100，降采样的系数k为10，则该单帧高分辨率RAW域图像降采样后得到的单帧低分辨率RAW域图像的分辨率为10*10。此时，若该单帧低分辨率RAW域图像对应的透视变换参数为10，显而易见，该透视变换参数会使得该单帧低分辨率RAW域图像进行模拟抖动操作后，得到的单帧低分辨率RAW域图像脱离其基本的图像轮廓。因此，为了避免得到的单帧低分辨率RAW域图像脱离其基本的图像轮廓，可将透视变换参数10除以降采样的系数k＝10，得到新的透视变换参数1，新的透视变换参数1明显比原先的透视变换参数10更为合理。
可选地，为了更贴合实际用户拍摄时可能产生的抖动，本发明实施例中的模拟抖动过程中使用的透视变换参数的至少两个回归模型，可预先基于连续变化的不同位置处拍摄得到的至少两帧标定板图像中的透视变换参数的变化规律获取得到。具体地，在基于透视变换参数的概率分布，预测第i组低分辨率RAW域图像中的第2帧图像的透视变换参数之前，本实施例提供的方法还包括：
获取距离连续变化的不同位置处拍摄得到的至少两帧标定板图像；
从至少两帧标定板图像中，获取第2帧图像至第n帧图像相对于相邻前一帧图像的透视变换参数；
基于第2帧图像至第n帧图像相对于相邻前一帧图像的透视变换参数，分别建立第3帧图像至第n帧图像相对于之前帧图像的n-2个透视变换参数的回归模型。
具体地，首先，可以选取符合实际要求的标定板，并手持电子设备在连续变化的不同位置处拍摄标定板，得到至少两帧标定板图像；然后，可以基于这至少两帧标定板图像中的第二帧图像及其之后的各帧图像相对于相邻前一帧图像的透视变换参数，如第二帧标定板图像的透视变换参数可基于第一帧标定板图像获得，第三帧标定板图像的透视变换参数可基于第二帧标定板图像相对于第一帧的透视变换参数、以及第三帧标定板图像相对于第二帧的透视变换参数获得，第四帧标定板图像的透视变换参数可基于第二帧标定板图像相对于第一帧的透视变换参数、第三帧标定板图像相对于第二帧的透视变换参数、以及第四帧标定板图像相对于第三帧的透视变换参数获得，并以此类推；最后，基于得到的第二帧图像之后的各帧标定板图像对应的透视变换参数，分别建立第三帧标定板图像及其之后各帧标定板图像的回归模型。
可选地，为了模拟现实中物距变化或者焦距变化引起的同一物体成像的分辨率变化、以及拍摄时可能产生的运动模糊和其他模糊情况，以使得样本数据能够更加拟合应用场景，本发明实施例中的样本预处理还可以包括模拟模糊操作。首先，可以根据抖动情况对至少两帧帧低分辨率RAW域图像添加运动模糊；然后，可以对至少两帧低分辨率RAW域图像添加低分辨率成像和失焦造成的模糊。
具体地，可以获取供模拟模糊用的至少两帧高分辨率RAW域图像，并拍摄在不同距离或不同焦距下的目标区域，得到针对该目标区域的至少两帧不同分辨率的RAW域图像，该目标区域为上述供模拟模糊用的至少两帧高分辨率RAW域图像中的拍摄区域；然后，将上述供模拟模糊用的至少两帧高分辨率RAW域图像降采样，得到供模拟模糊用的至少两帧低分辨率RAW域图像；最后，将供模拟模糊用的至少两帧低分辨率RAW域图像与拍摄得到的至少两帧不同分辨率的RAW域图像组成相互对应的一组图像，具体可以将一帧供模拟模糊用的低分辨率RAW域图像与一帧拍摄得到的RAW域图像组成一组相互对应的图像，再基于模糊核估计方法得到模糊核。
可选地，为了模拟在实际拍摄中由于各种原因产生的图像噪声，以使得样本数据能够更贴近实际情况，本发明实施例中的样本预处理还可以包括模拟噪声操作。具体可以根据标定的噪声模型和参数范围，对至少两组低分辨率RAW域图像添加噪声。
可选地，在实际应用场景中，降采样以及样本预处理中各操作步骤的顺序会影响到后续的步骤、以及样本预处理后的至少两组样本数据的具体图像情况。为了降低上述影响，如可先对至少两组高分辨率RAW域图像进行样本预处理，然后再对得到的图像进行降采样，这样操作时，更便于控制模拟抖动操作的程度；而模拟噪声操作的形态会较大地受到降采样的影响，所以可综合考虑实际应用场景，以调整出合适的降采样和样本预处理中各步骤的先后顺序。
具体地，对上述步骤得到的样本预处理后的至少两组样本数据进行图像预处理，以得到图像预处理后的至少两组样本数据，其中，图像预处理可以包括降噪操作、对齐操作等，且可采用可拍摄电子设备中的降噪操作，以降低降噪操作产生的误差。
可选地，对样本预处理后的至少两组样本数据进行降噪操作后，可将降噪前后的至少两组样本数据一起输入至对齐模型，以输出对齐后的至少两组样本数据。该对齐操作可以按照顺序进行，或者可采用预训练光流网络并进行运动补偿的方式，也可以合并到预设的超分辨率重建模型中。
进一步地，为了提高预设的超分辨率重建模型训练时的收敛效率和效果，以节约训练时间并提高预设的超分辨率重建模型的输出效果，在本发明实施例中，预设的超分辨率重建模型输出的图像的损失函数值包括如下至少一种：
图像重建损失函数值；
图像对齐损失函数值。
具体地，图像对齐损失函数值可以通过公式(1)来计算：
Figure BDA0002250111490000111
其中，N为作为样本数据的至少两帧低分辨率RAW域图像的帧数，fISP(*)表示图像信号处理流程，
Figure BDA0002250111490000112
为该为对齐模型的输出，/>
Figure BDA0002250111490000113
为从上述图像预处理后的至少两组样本数据中通过质量评价方式选取出的最优帧图像，该质量评价方式可以包括计算各帧图像的像素梯度等。
进一步地，可将对齐后的至少两组样本数据和降噪前的至少两组样本数据一起输入至预设的超分辨率重建模型，生成单帧超分辨率RAW域图像。
并且，为了加快预设的超分辨率重建模型的收敛速度，图像重建损失函数可采用L1损失函数、L2损失函数、感知损失函数、对抗损失函数等中的一种损失函数或者至少两种损失函数的组合。各种损失函数有其优缺点，可根据预设的超分辨率重建模型的需要来选择图像重建损失函数的组成。
若单独采用L1损失函数作为图像重建损失函数，则图像重建损失函数值具体可以通过公式(2)来计算：
Figure BDA0002250111490000121
其中，
Figure BDA0002250111490000122
为预设的超分辨率重建模型的输出，/>
Figure BDA0002250111490000123
为从最初获取以作为样本数据的至少两帧高分辨率RGB图像中通过质量评价方式选取出的质量评价分数最高的单帧高分辨率RGB图像。
进一步地，根据上述公式，可得出整个预设的超分辨率重建模型输出的图像的损失函数可为图像对齐损失函数和图像重建损失函数的加权组合，预设的超分辨率重建模型输出的图像的损失函数值具体可以通过公式(3)来计算：
L＝Lsr+λ·Lalign (3)
其中，λ为图像对齐损失函数的权重系数。
进一步地，为了尽量降低预设的超分辨率重建模型的拟合难度，从而控制该预设的超分辨率重建模型运算的复杂度，对上述预设的超分辨率重建模型输出的单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像，该图像信号处理可采用电子设备中的图像信号处理流程，以避免操作不同影响到预设的超分辨率重建模型的输出效果。
进一步地，基于预设的超分辨率重建模型输出的单帧超分辨率重建RGB图像和经过图像信号处理的质量评价分数最高的单帧高分辨率RGB图像，通过上述公式(1)、公式(2)和公式(3)计算得出预设的超分辨率重建模型输出的图像的损失函数值，并由预设的超分辨率重建模型的最后一层开始逐层向第一层的方向反向计算每层损失函数的权重梯度，以更新预设的超分辨率重建模型中的权重系数，从而提高预设的超分辨率重建模型的效果。
除此以外，还可以基于上述公式(1)、公式(2)和公式(3)，来计算预设的超分辨率重建模型输出的单帧超分辨率重建RAW图像和质量评价分数最高的单帧高分辨率RGB图像之间的损失函数值，并与单帧超分辨率重建RGB图像和质量评价分数最高的单帧高分辨率RGB图像之间的损失函数值相结合，以得到综合的损失函数值，从而加快预设的超分辨率重建模型的收敛。
如图2所示，为本发明实施例提供的超分辨率图像的重建方法中一种超分辨率重建模型的训练流程示意图。下面结合图2，对本发明实施例中的一种超分辨率重建模型的训练流程进行说明，具体包括：
步骤201，对获取到的至少两帧高分辨率RGB图像进行逆向图像信号处理，得到至少两帧高分辨率RAW域图像；
步骤202，对至少两帧高分辨率RAW域图像进行降采样操作和样本预处理，得到至少两帧低分辨率RAW域图像；
步骤203，对至少两帧低分辨率RAW域图像进行降噪，得到降噪后的至少两帧低分辨率至少两帧RAW域图像；
步骤204，将降噪后的至少两帧低分辨率RAW域图像输入至预设的超分辨率重建模型，输出单帧超分辨率重建RAW域图像；
步骤205，对单帧超分辨率重建RAW域图像进行图像信号处理，得到单帧超分辨率重建RGB图像；
步骤206，对至少两帧高分辨率RAW域图像进行质量评价，并选取质量评价分数最高的单帧高分辨率RAW域图像；
步骤207，对质量评价分数最高的单帧高分辨率RAW域图像进行图像信号处理，得到单帧高分辨率RGB图像；
步骤208，基于预设的超分辨率重建模型输出的单帧超分辨率重建RGB图像和经过图像信号处理的质量评价分数最高的单帧高分辨率RGB图像，计算预设的超分辨率重建模型输出的图像的损失函数值，并由预设的超分辨率重建模型的最后一层开始逐层向第一层的方向反向计算每层损失函数的权重梯度，以更新预设的超分辨率重建模型中的权重系数。
步骤103，对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
由于RAW域图像是图像传感器输出的最原始的图像，不能直接作为电子设备的输出，所以需对预设的超分辨率重建模型输出的单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像，且预设的超分辨率重建模型输出的单帧超分辨率RAW域图像在进行图像信号处理后，还可实现去马赛克、伽马变换等效果。
如图3所示，为本发明实施例提供的超分辨率图像的重建方法应用在一种实际场景中的流程示意图，包括：
步骤301，从电子设备的图像传感器中获取连续的至少两帧低分辨率RAW域图像；
步骤302，对至少两帧低分辨率RAW域图像进行降噪操作，以减少至少两帧低分辨率RAW域图像的噪声，并生成降噪后的的至少两帧低分辨率RAW域图像；
步骤303，对至少两帧低分辨率RAW域图像和S301获取得到的至少两帧低分辨率RAW域图像进行对齐操作，生成对齐后的至少两帧低分辨率RAW域图像，并将其输入至预设的超分辨率重建模型；
步骤304，对图像预处理后的至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；
步骤305，对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
本发明实施例提供的RAW域图像的超分辨率重建方法，能够获取连续采集的至少两帧低分辨率RAW域图像；基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。由于RAW域图像保留了更加原始、完整的信息，因此RAW域图像更有利于超分辨率重建技术的实现，并能有效提升预设的超分辨率重建模型的图像重建效果。
本发明实施例还提供一种电子设备400，如图4所示，包括：
获取单元401，用于获取连续采集的至少两帧低分辨率RAW域图像；
超分辨率重建单元402，用于基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；
图像信号处理单元403，用于对所述单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
可选地，在一种实施方式中，为了提高图像的超分辨率重建效果，并降低预设的超分辨率重建模型的拟合复杂度，所述超分辨率重建单元402，用于：
对所述至少两帧低分辨率RAW域图像进行图像预处理，得到所述图像预处理后的至少两帧低分辨率RAW域图像；
将所述图像预处理后的至少两帧低分辨率RAW域图像输入至所述预设的超分辨率重建模型，输出所述单帧超分辨率RAW域图像；
其中，所述图像预处理包括如下至少一项：降噪操作、对齐操作。
可选地，在一种实施方式中，为了使得本发明实施例中的预设的超分辨率重建模型能够适应多种复杂情况的图像，在所述获取连续采集的至少两帧低分辨率RAW域图像之后，所述电子设备还包括：
第一获取单元404，用于获取至少两个高分辨率RGB视频；
截取单元405，用于分别从所述至少两个高分辨率RGB视频中，截取对应的至少两组高分辨率RGB图像，其中，一组高分辨率RGB图像包括连续的至少两帧高分辨率RGB图像；
逆向图像信号处理单元406，用于分别对所述至少两组高分辨率RGB图像进行逆向图像信号处理，生成对应的至少两组高分辨率RAW域图像；
训练单元407，用于基于所述至少两组高分辨率RAW域图像，通过迭代训练得到所述预设的超分辨率重建模型，直到所述预设的超分辨率重建模型输出的图像的损失函数值最小。
可选地，在一种实施方式中，为了能够模拟出用户在手持电子设备拍摄时产生的各种影响图像清晰度的情形，并扩充样本数据的类型和数量，以使得预设的超分辨率重建模型能够重建较为复杂的各类模糊的图像，所述训练单元407，用于：
分别对所述至少两组高分辨率RAW域图像进行降采样，生成对应的至少两组低分辨率RAW域图像；
分别对所述至少两组低分辨率RAW域图像进行样本预处理，得到所述样本预处理后的至少两组样本数据，其中，每组样本数据包括连续的至少两帧低分辨率RAW域图像；所述样本预处理包括模拟抖动操作、模拟模糊操作、模拟噪声操作中的至少一种；
分别对所述样本预处理后的至少两组样本数据进行图像预处理，得到所述图像预处理后的至少两组样本数据，其中，所述图像预处理包括如下至少一种：降噪操作和对齐操作；
基于所述图像预处理后的至少两组样本数据，通过迭代训练得到所述预设的超分辨率重建模型，直到所述预设的超分辨率重建模型输出的图像的损失函数值最小。
可选地，在一种实施方式中，为了使得样本数据更贴合实际场景中用户拍摄得到的模糊图像，所述样本预处理包括模拟抖动操作；
所述训练单元407，用于：
基于透视变换参数的概率分布，预测第i组低分辨率RAW域图像中的第2帧图像的透视变换参数，其中，所述透视变换参数的概率分布为基于距离连续变化的不同位置处拍摄得到的至少两帧的标定板图像确定的，所述第i组低分辨率RAW域图像包括n帧低分辨率RAW域图像；
基于n-2个透视变换参数的回归模型，分别预测所述第i组低分辨率RAW域图像中的第3帧图像至第n帧图像的透视变换参数；
基于所述第i组低分辨率RAW域图像中的第2帧图像至第n帧图像的透视变换参数，对所述第i组低分辨率RAW域图像进行透视变换处理；
其中，所述第i组低分辨率RAW域图像为所述至少两组低分辨率RAW域图像中的任意一组，n为正整数，i为正整数且i小于等于所述低分辨率RAW域图像的组数。
可选地，在一种实施方式中，为了更贴合实际用户拍摄时可能产生的抖动，在所述基于透视变换参数的概率分布，预测所述第i组低分辨率RAW域图像中的第2帧图像的透视变换参数之前，所述电子设备还包括：
第二获取单元408，用于获取距离连续变化的不同位置处拍摄得到的至少两帧标定板图像；
第三获取单元409，用于从所述至少两帧标定板图像中，获取第2帧图像至第n帧图像相对于相邻前一帧图像的透视变换参数；
建立单元410，用于基于所述第2帧图像至第n帧图像相对于相邻前一帧图像的透视变换参数，分别建立所述第3帧图像至第n帧图像相对于之前帧图像的n-2个透视变换参数的回归模型。
电子设备400能够实现图1～图3的方法实施例的方法，具体可参考图1～图3所示实施例的超分辨率图像的重建方法，不再赘述。
图5为实现本发明各个实施例的一种电子设备的硬件结构示意图，
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器510，用于获取连续采集的至少两帧低分辨率RAW域图像；基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
本发明实施例提供的RAW域图像的超分辨率重建方法，能够获取连续采集的至少两帧低分辨率RAW域图像；基于预设的超分辨率重建模型，对至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；对单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。由于RAW域图像保留了更加原始、完整的信息，因此RAW域图像更有利于超分辨率重建技术的实现，并能有效提升预设的超分辨率重建模型的图像重建效果。
应理解的是，本发明实施例中，射频单元501可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器510处理；另外，将上行的数据发送给基站。通常，射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元501还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获电子设备(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度，接近传感器可在电子设备500移动到耳边时，关闭显示面板5061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测电子设备和触摸控制器两个部分。其中，触摸检测电子设备检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测电子设备上接收触摸信息，并将它转换成触点坐标，再送给处理器510，接收处理器510发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071，用户输入单元507还可以包括其他输入设备5072。具体地，其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板5071可覆盖在显示面板5061上，当触控面板5071检测到在其上或附近的触摸操作后，传送给处理器510以确定触摸事件的类型，随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图5中，触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元508为外部电子设备与电子设备500连接的接口。例如，外部电子设备可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的电子设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部电子设备的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部电子设备之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器509可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器509内的软件程序和/或模块，以及调用存储在存储器509内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元；优选的，处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
电子设备500还可以包括给各个部件供电的电源511(比如电池)，优选的，电源511可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备500包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器510，存储器509，存储在存储器509上并可在所述处理器510上运行的计算机程序，该计算机程序被处理器510执行时实现上述超分辨率图像的重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述超分辨率图像的重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种超分辨率图像重建方法，其特征在于，包括：
获取连续采集的至少两帧低分辨率RAW域图像；
基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；
对所述单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
2.根据权利要求1所述的方法，其特征在于，所述基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像，包括：
对所述至少两帧低分辨率RAW域图像进行图像预处理，得到所述图像预处理后的至少两帧低分辨率RAW域图像；
将所述图像预处理后的至少两帧低分辨率RAW域图像输入至所述预设的超分辨率重建模型，输出所述单帧超分辨率RAW域图像；
其中，所述图像预处理包括如下至少一项：降噪操作、对齐操作。
3.根据权利要求1所述的方法，其特征在于，在所述获取连续采集的至少两帧低分辨率RAW域图像之后，所述方法还包括：
获取至少两个高分辨率RGB视频；
分别从所述至少两个高分辨率RGB视频中，截取对应的至少两组高分辨率RGB图像，其中，一组高分辨率RGB图像包括连续的至少两帧高分辨率RGB图像；
分别对所述至少两组高分辨率RGB图像进行逆向图像信号处理，生成对应的至少两组高分辨率RAW域图像；
基于所述至少两组高分辨率RAW域图像，通过迭代训练得到所述预设的超分辨率重建模型，直到所述预设的超分辨率重建模型输出的图像的损失函数值最小。
4.根据权利要求3所述的方法，其特征在于，基于所述至少两组高分辨率RAW域图像，迭代训练得到所述预设的超分辨率重建模型，直到所述预设的超分辨率重建模型输出的图像的损失函数值最小，包括：
分别对所述至少两组高分辨率RAW域图像进行降采样，生成对应的至少两组低分辨率RAW域图像；
分别对所述至少两组低分辨率RAW域图像进行样本预处理，得到所述样本预处理后的至少两组样本数据，其中，每组样本数据包括连续的至少两帧低分辨率RAW域图像；所述样本预处理包括模拟抖动操作、模拟模糊操作、模拟噪声操作中的至少一种；
分别对所述样本预处理后的至少两组样本数据进行图像预处理，得到所述图像预处理后的至少两组样本数据，其中，所述图像预处理包括如下至少一种：降噪操作和对齐操作；
基于所述图像预处理后的至少两组样本数据，通过迭代训练得到所述预设的超分辨率重建模型，直到所述预设的超分辨率重建模型输出的图像的损失函数值最小。
5.根据权利要求4所述的方法，其特征在于，所述样本预处理包括模拟抖动操作；
所述分别对所述至少两组低分辨率RAW域图像进行样本预处理，包括：
基于透视变换参数的概率分布，预测第i组低分辨率RAW域图像中的第2帧图像的透视变换参数，其中，所述透视变换参数的概率分布为基于距离连续变化的不同位置处拍摄得到的至少两帧的标定板图像确定的，所述第i组低分辨率RAW域图像包括n帧低分辨率RAW域图像；
基于n-2个透视变换参数的回归模型，分别预测所述第i组低分辨率RAW域图像中的第3帧图像至第n帧图像的透视变换参数；
基于所述第i组低分辨率RAW域图像中的第2帧图像至第n帧图像的透视变换参数，对所述第i组低分辨率RAW域图像进行透视变换处理；
其中，所述第i组低分辨率RAW域图像为所述至少两组低分辨率RAW域图像中的任意一组，n为正整数，i为正整数且i小于等于所述低分辨率RAW域图像的组数。
6.根据权利要求5所述的方法，其特征在于，在所述基于透视变换参数的概率分布，预测所述第i组低分辨率RAW域图像中的第2帧图像的透视变换参数之前，所述方法还包括：
获取距离连续变化的不同位置处拍摄得到的至少两帧标定板图像；
从所述至少两帧标定板图像中，获取第2帧图像至第n帧图像相对于相邻前一帧图像的透视变换参数；
基于所述第2帧图像至第n帧图像相对于相邻前一帧图像的透视变换参数，分别建立所述第3帧图像至第n帧图像相对于之前帧图像的n-2个透视变换参数的回归模型。
7.一种电子设备，其特征在于，包括：
获取单元，用于获取连续采集的至少两帧低分辨率RAW域图像；
超分辨率重建单元，用于基于预设的超分辨率重建模型，对所述至少两帧低分辨率RAW域图像进行超分辨率重建，生成单帧超分辨率RAW域图像；
图像信号处理单元，用于对所述单帧超分辨率RAW域图像进行图像信号处理，生成单帧超分辨率RGB图像。
8.根据权利要求7所述的电子设备，其特征在于，所述超分辨率重建单元，用于：
对所述至少两帧低分辨率RAW域图像进行图像预处理，得到所述图像预处理后的至少两帧低分辨率RAW域图像；
将所述图像预处理后的至少两帧低分辨率RAW域图像输入至所述预设的超分辨率重建模型，输出所述单帧超分辨率RAW域图像；
其中，所述图像预处理包括如下至少一项：降噪操作、对齐操作。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的超分辨率图像重建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的超分辨率图像重建方法的步骤。
CN201911030882.5A 2019-10-28 2019-10-28 一种超分辨率图像的重建方法及电子设备 Active CN110766610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030882.5A CN110766610B (zh) 2019-10-28 2019-10-28 一种超分辨率图像的重建方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030882.5A CN110766610B (zh) 2019-10-28 2019-10-28 一种超分辨率图像的重建方法及电子设备

Publications (2)

Publication Number Publication Date
CN110766610A CN110766610A (zh) 2020-02-07
CN110766610B true CN110766610B (zh) 2023-06-09

Family

ID=69333007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030882.5A Active CN110766610B (zh) 2019-10-28 2019-10-28 一种超分辨率图像的重建方法及电子设备

Country Status (1)

Country Link
CN (1) CN110766610B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696039B (zh) * 2020-05-28 2023-07-28 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN111899315B (zh) * 2020-08-07 2024-04-26 深圳先进技术研究院 利用多尺度特征感知深度网络重建低剂量图像的方法
CN112163999B (zh) * 2020-09-25 2023-03-31 Oppo（重庆）智能科技有限公司 图像重建方法和装置、电子设备、可读存储介质
CN112419158A (zh) * 2020-12-07 2021-02-26 上海互联网软件集团有限公司 图像视频超分辨率与超清晰度重建系统及方法
CN114897697A (zh) * 2022-05-18 2022-08-12 北京航空航天大学 一种面向相机成像模型的超分辨率重建方法
CN117788287A (zh) * 2023-11-16 2024-03-29 爱芯元智半导体(宁波)有限公司 图像超分模型的训练方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN107194879A (zh) * 2017-06-26 2017-09-22 司马大大（北京）智能系统有限公司 超分辨率重建方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600858B1 (en) * 2013-10-17 2017-03-21 Pixelworks, Inc. Visually comfortable content-adaptive dithering for super-resolution
US9691133B1 (en) * 2013-12-16 2017-06-27 Pixelworks, Inc. Noise reduction with multi-frame super resolution
CN110211057B (zh) * 2019-05-15 2023-08-29 武汉Tcl集团工业研究院有限公司 一种基于全卷积网络的图像处理方法、装置和计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN107194879A (zh) * 2017-06-26 2017-09-22 司马大大（北京）智能系统有限公司 超分辨率重建方法、装置及电子设备

Also Published As

Publication number Publication date
CN110766610A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110766610B (zh) 一种超分辨率图像的重建方法及电子设备
CN108513070B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN107566739B (zh) 一种拍照方法及移动终端
CN108491775B (zh) 一种图像修正方法及移动终端
CN111145192B (zh) 图像处理方法及电子设备
CN108307109B (zh) 一种高动态范围图像预览方法及终端设备
CN110262737A (zh) 一种视频数据的处理方法及终端
CN109688322B (zh) 一种生成高动态范围图像的方法、装置及移动终端
CN108449541B (zh) 一种全景图像拍摄方法及移动终端
CN111145087B (zh) 一种图像处理方法及电子设备
CN110213485B (zh) 一种图像处理方法及终端
CN107566730A (zh) 一种全景图像拍摄方法及移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
CN113744160B (zh) 图像处理模型训练方法、图像处理方法、装置及电子设备
CN110868544B (zh) 一种拍摄方法及电子设备
CN111008929B (zh) 图像矫正方法及电子设备
CN111145151B (zh) 一种运动区域确定方法及电子设备
CN111028161B (zh) 图像校正方法及电子设备
CN109167917B (zh) 一种图像处理方法及终端设备
CN110503618A (zh) 图像处理方法及电子设备
CN111182206B (zh) 图像处理方法和装置
CN111416948A (zh) 一种图像处理方法及电子设备
WO2021016932A1 (zh) 数据处理方法、装置及计算机可读存储介质
CN111010514A (zh) 一种图像处理方法及电子设备
CN112308771B (zh) 一种图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant