CN110827200B - 一种图像超分重建方法、图像超分重建装置及移动终端 - Google Patents

一种图像超分重建方法、图像超分重建装置及移动终端 Download PDF

Info

Publication number
CN110827200B
CN110827200B CN201911066747.6A CN201911066747A CN110827200B CN 110827200 B CN110827200 B CN 110827200B CN 201911066747 A CN201911066747 A CN 201911066747A CN 110827200 B CN110827200 B CN 110827200B
Authority
CN
China
Prior art keywords
image
brightness
frame
reference frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911066747.6A
Other languages
English (en)
Other versions
CN110827200A (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911066747.6A priority Critical patent/CN110827200B/zh
Publication of CN110827200A publication Critical patent/CN110827200A/zh
Priority to US16/944,962 priority patent/US11151690B2/en
Priority to PCT/CN2020/110878 priority patent/WO2021088473A1/en
Priority to EP20192785.2A priority patent/EP3816928A1/en
Application granted granted Critical
Publication of CN110827200B publication Critical patent/CN110827200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像超分重建方法、图像超分重建装置、移动终端及计算机可读存储介质，其中，该方法包括：在获取到低分辨率的连续N帧YUV图像后，提取得到N帧亮度图像及N帧色度图像，并对N帧亮度图像依次进行锐度估计、图像配准及基于神经网络的图像重建操作，同时还对N帧色度图像进行图像重建操作，并将重建后的色图图像与亮度图像融合在一起，得到目标YUV图像。通过本申请方案，将神经网络作为图像重建的主体，可以有效的抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障了重建图像的图像质量。

Description

一种图像超分重建方法、图像超分重建装置及移动终端
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像超分重建方法、图像超分重建装置、移动终端及计算机可读存储介质。
背景技术
由于多帧图像在拍照过程中存在亚像素位移，这使得多帧图像包含了更高分辨率的信息，基于此，当前已提出基于多帧图像的超分辨率重建方法。现有的超分辨率重建方法一般包括图像配准和融合重建这两个主要步骤，其中，图像配准的质量决定后续的融合重建操作是否能够准确利用多帧图像所包含的高分辨率的信息。然而，由于图像配准往往计算量庞大，且极易受运动模式(例如手抖)和图像质量的影响，这将不可避免产生配准误差，而配准误差又将转换为重建误差，使得最终所得的重建图像的质量受到制约。
发明内容
有鉴于此，本申请提供了一种图像超分重建方法、图像超分重建装置、移动终端及计算机可读存储介质，可以有效抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障重建图像的图像质量。
本申请的第一方面提供了一种图像超分重建方法，包括：
获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；
提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；
将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；
基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像；
根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。
本申请的第二方面提供了一种图像超分重建装置，包括：
图像获取单元，用于获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；
图像提取单元，用于提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
亮度参考帧确定单元，用于在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；
亮度图像配准单元，用于将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；
亮度图像重建单元，用于基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
色度图像重建单元，用于基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像；
图像融合单元，用于根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。
本申请的第三方面提供了一种移动终端，上述移动终端包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，在本申请方案中，首先获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数，然后提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像，接着在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧，并将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量，随后基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像，同时基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像，最后根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。通过本申请方案，将神经网络作为图像重建的主体，可以有效的抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障了重建图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像超分重建方法的实现流程示意图；
图2是本申请实施例提供的图像超分重建方法中所采用的3D卷积神经网络的结构示意图；
图3是本申请实施例提供的图像超分重建方法中，双三次插值操作的工作示意图；
图4是本申请实施例提供的图像超分重建装置的结构框图；
图5是本申请实施例提供的移动终端的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
下面对本申请实施例提供的一种图像超分重建方法进行描述。请参阅图1，该图像超分重建方法包括：
步骤101，获取低分辨率的连续N帧YUV图像；
在本申请实施例中，首先获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；也即，首先获取多帧连续的低分辨率的YUV图像。具体地，可以是移动终端的相机应用在接收到了用户输入的连拍指令后，采集连续N帧图像，其中，上述连拍指令可以是单击输入，也可以是长按输入；或者，也可以是移动终端从视频流中所截取的连续N帧图像，此处不作限定。需要注意的是，若移动终端获取的连续N帧图像不是YUV格式，则可以先对上述连续N帧图像进行格式转换，将其转换为YUV格式后再作处理。
步骤102，提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
在本申请实施例中，考虑到YUV图像中包含有色度信息及亮度信息，而人眼对亮度信息的感知强于对色度信息的感知，基于此，可以分别对每一帧YUV图像进行色度信息提取及亮度信息提取，以得到N帧亮度图像及N帧色度图像。具体地，可以是通过预设的Y通道提取得到每一帧YUV图像所对应的亮度图像，并通过预设的UV通道提取得到每一帧YUV图像所对应的色度图像。
步骤103，在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；
在本申请实施例中，可以根据亮度图像中的局部亮度特征来评价亮度图像的锐度，以计算得到各帧亮度图像的锐度值，并将锐度值最大的亮度图像确定为上述N帧亮度图像中的参考帧，该参考帧可以被记为亮度参考帧。具体地，上述计算得到各帧亮度图像的锐度值的步骤包括：
A1、将目标亮度图像划分为两个以上子图像区域；
其中，由于本申请实施例对每一帧亮度图像都采用同样的流程计算其锐度值，因而，此处选定上述N帧亮度图像中的任一帧亮度图像作为目标亮度图像，并基于该目标亮度图像对如何计算锐度值进行说明。为了通过局部亮度特征来计算上述目标亮度图像的锐度值，可以将上述目标亮度图像划分为两个以上子图像区域。具体地，可以将其划分为k1*k2个子图像区域，且各个子图像区域的面积相等；也即，亮度图像被划分为具有k1列及k2行的子图像区域矩阵，其中，k1与k2均为正整数。
A2、获取上述目标亮度图像中各个像素点的亮度值；
其中，可以是先获取目标亮度图像中各个像素点的亮度值，然后再将目标亮度图像划分为两个以上子图像区域；或者，也可以是先将目标亮度图像先划分为两个以上子图像区域，然后再获取每一子图像区域中各个像素点的亮度值，此处不对上述步骤A1及A2的执行顺序作出限定。
A3、基于各个像素点的亮度值，确定每一子图像区域中的最大亮度值及最小亮度值；
其中，通过遍历每一个子图像区域中各个像素点的亮度值，可以查找出各个子图像区域中的最大亮度值及最小亮度值；通过上述方式，最终确定每一子图像区域中的最大亮度值及最小亮度值。
A4、基于各个子图像区域中的最大亮度值及最小亮度值，通过预设的锐利度参考模型对所述目标亮度图像进行锐度估计，得到所述目标亮度图像的锐度值。
其中，上述通过预设的锐利度参考模型对上述目标亮度图像进行锐度估计，所采用的公式如下：
Sharpness＝EME(I)
Figure BDA0002259605360000061
上式中，Sharpness为计算得到的目标亮度图像的锐度值；k1、k2在步骤A1中已作解释，意为将目标亮度图像划分为所得的k1*k2个子图像区域；EME表示锐利度参考模型；I表示亮度，Imax,k,l表示第k*l个子图像区域中的最大亮度值，Imin,k,l表示第k*l个子图像区域中的最小亮度值。通过以上公式，即可得到上述目标亮度图像的锐度值。以同样的流程计算出上述N帧亮度图像中每一帧亮度图像的锐度值，并将其中锐度值最大的亮度图像确定为参考帧。
步骤104，将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；
在本申请实施例中，在确定了亮度参考帧之后，即可基于该亮度参考帧对其它帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量。具体地，上述步骤104包括：
B1、分别对待匹配帧及上述亮度参考帧进行特征点检测；
其中，由于本申请实施例对各个其它帧都采用同样的流程来进行图像配准操作，因而，此处选定上述亮度图像中的其它帧中的任一帧亮度图像作为待匹配帧，并基于该待匹配帧对如何进行待匹配帧与参考帧的图像配准进行说明。首先，基于预设的尺度不变特征变换(Scale-invariant feature transform，SIFT)算法，分别对待匹配帧及上述亮度参考帧进行特征点检测。该SIFT算法的实质是在不同的尺度空间上查找特征点，并计算特征点的比如大小、方向、尺度信息，并利用上述这些信息对特征点进行描述。需要注意的是，SIFT算法所查找的特征点受光照、仿射变换或噪声等因素的影响较小，即SIFT算法查找出的特征点特定较为稳定，从而能够保证特征点匹配的精准性。当然，也可以基于其它特征点检测算法对特征点进行检测及描述，例如，可以采用SURF(Speeded-Up Robust Features)特征检测算法或角点特征检测算法等，此处不作限定。
B2、计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离；
其中，在查找到待匹配帧的特征点以及上述亮度参考帧中相应的特征点后，需要计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离。具体地，可以先根据每一特征点的所处区域中所包含的其它像素点，构建每一特征点的梯度直方图，随后基于每一特征点的梯度直方图，生成每一特征点的特征向量，其中，上述特征向量的表现形式为
Figure BDA0002259605360000071
该特征向量即为对一特征点的描述，最后根据各个特征点的特征向量，计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离。在本申请实施例中，假定上述待匹配帧为YK(意为第K帧亮度图像)，上述亮度参考帧为Y0，则分别对Y0和YK检测特征点，即可得到两组特征点
Figure BDA0002259605360000072
和
Figure BDA0002259605360000073
则上述欧式距离的计算公式可以表示为：
Figure BDA0002259605360000074
B3、基于上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离，求解上述待匹配帧对上述亮度参考帧的单应性矩阵，以得到上述待匹配帧相对于上述亮度参考帧的偏移量。
其中，在找到Y0和Yk这两帧上距离最近的4对或者更多特征点对时，则可将这些特征点对确定为相对应的特征点。基于此，此处可以进一步通过直接线性变换(DirectLinear Transformation，DLT)来求解单应性矩阵HK的系数。具体地，上述待匹配帧Yk向亮度参考帧Y0的单应性矩阵HK如下公式所示：
Figure BDA0002259605360000081
其中，(x,y)是YK中的任意一点坐标,3x3矩阵即为单应性矩阵HK，经过转换后的点(x`,y`)是上述(x,y)配准到参考帧图像Y0后的坐标，w`＝w＝1。从而，可以根据上述单应性矩阵HK计算YK中的每个点相对于Y0的位移[mvxk,mvyk]，最终即可构成与Y0还有YK相同尺寸的两通道的偏移向量图。在经过上述特征点匹配的操作后，假定所得到的在YK上的特征点的坐标为(x1,y1),(x2,y2),...,(xt,yt)，对应的Y0上的特征点坐标为(x1`,y1`),(x2`,y2`),...,(xt`,yt`)，则将单应性矩阵作用在特征点对上，重新写出上述单应性矩阵HK的公式，即可得到以下式子：
Figure BDA0002259605360000082
其中，上述矩阵中的M代表的是矩阵中的竖直省略号，上述矩阵A是一个具有对应特征点对二倍数量行数的矩阵，将上述特征点对的方程的系数堆叠到一个矩阵中，即可使用奇异值分解(Singular Value Decomposition，SVD)算法找到单应性矩阵Hk的最小二乘解,从而计算出待匹配帧YK中各个点相对于Y0的偏移量[mvxk,mvyk]。
当然，也可以通过其它方式得到各个其它帧相对于上述亮度参考帧的偏移量，例如，可以先根据任意两个相邻的图像帧中的每个点周围的亮度信息求解出待匹配帧YK中的各个点到参考帧Y0的光流矢量，然后再根据各个点的光流矢量计算出待匹配帧YK中的各个点相对于Y0的偏移量[mvxk,mvyk]，此处不对上述偏移量的计算过程作出限定。
步骤105，基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
在本申请实施例中，上述神经网络可以是3D卷积神经网络或其它类型的神经网络，此处不作限定。以上述神经网络为3D卷积神经为例，为了更好的说明本申请实施例所提供3D卷积神经网络，下面从上述3D卷积神经网络的输入数据、网络结构及损失函数这三个方面对上述3D卷积神经网络进行介绍：
上述3D卷积神经网络的输入数据为上述N帧亮度图像。具体地，上述输入数据包括四个维度[c,d,w,h]，其中，w表示上述N帧亮度图像的宽，h表示上述N帧亮度图像的高，c表示上述N帧亮度图像的通道数，d表示上述N帧亮度图像的图像深度；需要注意的是，上述通道数是研发人员设计上述3D卷积神经网络就已经预先设定好的值，在本申请实施例中，向3D卷积神经网络输入的是N帧亮度图像，每帧亮度图像包括三个通道，分别为亮度Y，以及该帧亮度图像相对于亮度参考帧的位移mvx和mvy；而上述图像深度指的则是输入的多帧亮度图像的帧数N。相比于目前大部分基于单帧图像进行超分重建的神经网络，例如当前广泛使用的超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network，SRCNN)和SRGAN(Photo-Realistic Single Image Super-Resolution Using a GenerativeAdversarial Network)，它们的输入数据都为单帧图像，与本申请实施例所提供的3D卷积神经网络的输入数据相比，缺少了图像深度d这一维度；而由于单帧重建超分没有办法利用多帧图像之间的亚像素位移，使得基于单帧图像所得到的重建后的图像会较为模糊(例如SRCNN)，或者导致重建后的图像会生成一些假细节(例如SRGAN)。
上述3D卷积神经网络的网络结构由特征提取层、特征转换层、放大层及融合层所构成。请参阅图2，以下对各层的工作内容进行描述，以说明上述3D卷积神经网络的工作流程：
特征提取层(Feature Extract Layer)的工作内容是通过较大的卷积核来提取亮度图像的线性特征，其中，上述线性特征包括梯度、亮度、大小关系等，此处不作限定。通常上述线性提取层包括两层，在本申请实施例中，将其称之为特征提取层A及特征提取层B。上述特征提取层输出的特征图(Feature Map)与输入的亮度图像相比，其图像深度不变、图像尺寸不变、通道数递增。具体地，以输入3D卷积神经网络的亮度图像为8帧为例，下表1示出了上述特征提取层的网络结构参数：
Figure BDA0002259605360000101
表1
特征转换层(Feature Transform Layer)的工作内容是通过较小的卷积核将特征提取层所提取的线性特征经过非线性组合得到非线性特征。上述特征转换层的层数越多，则转换得到的特征的非线性程度越高，越能够表达复杂的图像结构，也就越有利于图像重建的真实性。上述特征转换层输出的特征图与输入的特征图(也即特征提取层输出的特征图)相比，其图像深度不变、图像尺寸不变、通道数也不变，重复M次，上述M即为特征转换层的层数。需要注意的是，上述M的取值需为2的m次方，m为正整数。在本申请实施例中，以M＝16为例，下表2示出了上述特征转换层的网络结构参数：
Figure BDA0002259605360000102
Figure BDA0002259605360000111
表2
放大层(Upsample Layer)并不是卷积层，其工作内容是对上述特征转换层所输出的特征图像通过插值处理放大至所需要的预设比例，比如×2比例。其中，上述插值处理可以是双三次(Bi-cubic)插值处理，也可以是双线性插值处理等其它插值处理方式，此处不作限定。融合层(Fusion Layer)紧跟在上述放大层之后，其工作内容是将放大层所放大后的多帧特征图像融合为一帧超分辨率图像输出。可选地，上述放大层也可以通过其它的方式将上述特征转换层所输出的特征图像放大至所需要的预设比例，例如，利用反卷积核(Deconvolution)或者像素置换(Pixel-shuffle)保持特征图像的尺寸不变，并将通道数放大至所需要的预设比例，再将得到的多个通道的特征图像拼成一个通道的特征图像，以实现特征图像的放大。
在本申请实施例中，以预设比例为×2比例为例，下表3示出了上述放大层及融合层的网络结构参数：
Figure BDA0002259605360000112
表3
通过上述示例可知，3D卷积神经网络可以将输入的低分辨率的N帧亮度图像融合为一帧超分辨率图像(也即高分辨率图像)，且可根据用户需求，将图像的尺寸放大，以使得超分辨率的图像的尺寸为输入的亮度图像的尺寸的若干倍。需要注意的是，上述3D卷积神经网络中各层的单位结构可以不采用单一的卷积核，而是采用卷积核的组合。例如。上述转换层可以采用单独一个3×3的卷积核；或者，也可以采用一个1×1的卷积核及一个3×3的卷积核的串联组合，此处不作限定。
除了上述3D卷积神经网络的输入数据及网络结构之外，上述3D卷积神经网络的损失函数也是构建上述3D卷积神经网络的关键。通常来说，基于单帧的超分重建卷积神经网络，比如上文提到的SRCNN和SRGAN，在损失函数的选择上，会采用l2 loss及GAN loss，或者l1 loss及GAN loss。其中，采用l1 loss/l2loss是为了图像保真，保证图像平滑；而采用GAN loss是为了生成在单帧图像中本身不存在的细节。由于多帧图像本身含有亚像素位移的信息，因而本申请实施例中，不需要采用GAN loss来制造细节，而是需要一个既能够保证图像平滑，又可以保留细节和锐利边缘的损失函数。基于此，本申请实施例所提供的3D卷积神经网络采用的多尺度结构相似性(Multi Scale Structure Similarity，MS-SSIM)作为损失函数的基础。
首先，在上述3D卷积神经网络的训练过程中，计算预测的超分辨率(SR)图像和真实的高分辨率(HR)图像的结构相似性(Structure Similarity，SSIM)，其公式如下：
Figure BDA0002259605360000121
其中，p表示图像中的某个像素；μx表示SR图像的亮度均值；μy表示HR图像的亮度均值；σx表示SR图像的亮度方差；σy表示HR图像的亮度方差；σxy表示SR图像和HR图像的亮度协方差；C1和C2是防除零项。优选地，上述C1＝(0.01*255)2，上述C2＝(0.03*255)2。这样一来，即可得到l(p)和cs(p)，其中，l(p)表示亮度对比因子，cs(p)表示对比度对比因子。
然后，即可基于上述SSIM，计算多尺度下的SSIM；也即，计算MS-SSIM，其公式如下：
Figure BDA0002259605360000122
其中，lM(p)指的是最大尺度下的亮度对比因子；
Figure BDA0002259605360000131
指的是不同尺度下的对比度因子的乘积；上述不同尺度，指的是对参与对比的两张图像(分别为SR图像和HR图像)做不同比例的缩小；上述最大尺度，指的是原图像(也即SR图像及HR图像)的尺寸。
最后，基于上述MS-SSIM的计算公式可知，上述MS-SSIM越大，代表了参与比对的两张图像(也即SR图像和HR图像)越像，而在对3D卷积神经网络进行训练时，是希望找损失最低的位置；因此，上述3D卷积神经网络的损失函数为：LMS-SSIM(p)＝1-MS-SSIM(p)，以1减去上述MS-SSIM作为上述3D卷积神经网络的损失，使得上述3D卷积神经网络在训练的过程中，损失越低，即为上述MS-SSIM越大，代表3D卷积神经网络预测的SR图像和真实的HR图像越来越像。当上述损失不再下降时，可结束对上述3D卷积神经网络的训练，得到已训练的3D卷积神经网络。由于在训练上述3D卷积重建神经网络的过程中，所采用的损失函数是以MS-SSIM为基础而构建的，因此，最终所得到的训练完成的3D卷积神经网络既能够保证图像的平滑性，又能使得图像在强边缘的锐度和富细节区域的纹理特征也能够得到有效的重建。可选地，作为另一种可能的实现方式，上述损失函数也可以不采用MS-SSIM，而是直接采用单一尺度的SSIM loss、l1 loss、l2 loss或者GAN loss等，此处不作限定。
步骤106，基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像；
在本申请实施例中，由于人眼对色度信息不是特别敏感，因而并不需要对色度图像进行复杂的重建。基于此，可以先根据上述步骤103确定得到了亮度参考帧之后，在上述N帧色度图像中查找到与上述亮度参考帧相关联的色度图像，并将该色度图像作为色度参考帧。具体地，假定基于原来的一帧YUV图像提取得到了该YUV图像的色度图像及亮度图像，则认为该色度图像及亮度图像相关联，因为其均属于同一YUV图像。在确定色度参考帧之后，基于该色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像。其中，上述插值处理可以是双三次插值处理，也可以是双线性插值处理等其它插值处理方式，此处不作限定。需要注意的是，此处所得到的目标色度图像的尺寸，与上述目标亮度图像的尺寸相同。考虑到上述3D卷积神经网络的放大层会对图像进行预设比例的放大处理，因而，本步骤所进行的插值处理的放大比例需与上述3D卷积神经网络的放大层进行放大处理时所采用的预设比例保持同步。
具体地，双三次插值是一种根据待插值点与采样点的距离来决定采样点对待插值点的权重的方法。下面结合图3，对上述双三次插值处理的操作流程进行说明：假设待插值点是P，选取周围离该待插值点P最近的16个采样点Z11～Z44，采用先对行处理再对列处理的方法：先用[Z11,Z12,Z13,Z14]插出R1，再用[Z21,Z22,Z23,Z24]插出R2，以此类推，插出R3,R4；随后，再用[R1,R2,R3,R4]插出P。插值过程以P点的像素值为例，用以下公式进行计算：
Figure BDA0002259605360000141
其中，d(P,Rt)表示P到Rt{t＝1,2,3,4}的欧式距离，W(x)表示根据距离x所计算得到的权重。具体地，上述权重的计算公式如下：
Figure BDA0002259605360000142
其中，a的取值优选为-0.5。
步骤107，根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。
在本申请实施例中，在得到了尺寸相同的目标亮度图像及目标色度图像之后，可将二者合成为一张YUV图像，即可得到对低分辨率的连续N帧YUV图像进行重建后所得的一帧高分辨率的目标YUV图像。
由上可见，通过本申请实施例，将低分辨率的连续N帧YUV图像通过Y通道及UV通道提取得到N帧色度图像及N帧亮度图像，由于人眼对亮度信息较为敏感，因而针对N帧亮度图像，依次进行锐度估计操作、图像匹配操作及基于神经网络的图像重建操作，以得到高分辨率的目标亮度图像；由于人眼对色度信息较为不敏感，针对N帧色度图像，直接通过插值算法进行简单的图像重建操作，以得到高分辨率的目标色度图像，最终基于目标亮度图像及目标色度图像得到高分辨率的目标YUV图像。上述过程将神经网络作为图像重建的主体，可以有效的抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障了重建图像的图像质量；并且，由于神经网络的鲁棒性，可使得移动终端在抖动、高速运动等不同的场景下都能够获得可靠的图像超分重建效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文所提出的图像超分重建方法，本申请实施例还提供了一种图像超分重建装置。下面对本申请实施例所提供的图像超分重建装置进行描述，该请参阅图4，该图像超分重建装置4包括：
图像获取单元401，用于获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；
图像提取单元402，用于提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
亮度参考帧确定单元403，用于在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；
亮度图像配准单元404，用于将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；
亮度图像重建单元405，用于基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
色度图像重建单元406，用于基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像；
图像融合单元407，用于根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。
可选地，上述亮度参考帧确定单元403包括：
锐度值计算子单元，用于计算各帧亮度图像的锐度值；
参考帧确定子单元，用于将锐度值最大的亮度图像确定为上述N帧亮度图像中的参考帧。
可选地，上述锐度值计算子单元包括：
区域划分子单元，用于将目标亮度图像划分为两个以上子图像区域，其中，上述目标亮度图像为上述N帧亮度图像中的任一帧亮度图像；
亮度值获取子单元，用于获取上述目标亮度图像中各个像素点的亮度值；
亮度值确定子单元，用于基于各个像素点的亮度值，确定每一子图像区域中的最大亮度值及最小亮度值；
锐度估计子单元，用于基于各个子图像区域中的最大亮度值及最小亮度值，通过预设的锐利度参考模型对所述目标亮度图像进行锐度估计，得到所述目标亮度图像的锐度值。
可选地，上述亮度图像配准单元404包括：
特征点检测子单元，用于分别对待匹配帧及上述亮度参考帧进行特征点检测，其中，上述待匹配帧为上述亮度图像中的其它帧中的任一帧；
距离计算子单元，用于计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离；
单应性矩阵求解子单元，用于基于上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离，求解上述待匹配帧对上述亮度参考帧的单应性矩阵，以得到上述待匹配帧相对于上述亮度参考帧的偏移量。
可选地，上述特征点检测子单元，具体用于基于预设的尺度不变特征变换算法，分别对对上述待匹配帧及上述亮度参考帧进行特征点检测。
可选地，上述距离计算子单元包括：
梯度直方图构建子单元，用于根据每一特征点的所处区域中所包含的其它像素点，构建每一特征点的梯度直方图；
特征向量构建子单元，用于基于每一特征点的梯度直方图，生成每一特征点的特征向量；
欧式距离计算子单元，用于根据各个特征点的特征向量，计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离。
可选地，上述神经网络包括特征提取层，特征转换层、放大层及融合层，其中，上述特征提取层用于提取各帧亮度图像的线性特征；
上述特征转换层用于对各帧亮度图像的线性特征进行转换，以得到各帧亮度图像的非线性特征；
上述放大层用于将上述特征转换层输出的图像进行插值处理，以放大至预设尺寸；
上述融合层用于将放大后的图像进行融合，得到高分辨率的目标亮度图像。
由上可见，通过本申请实施例，将低分辨率的连续N帧YUV图像通过Y通道及UV通道提取得到N帧色度图像及N帧亮度图像，由于人眼对亮度信息较为敏感，因而针对N帧亮度图像，依次进行锐度估计操作、图像匹配操作及基于神经网络的图像重建操作，以得到高分辨率的目标亮度图像；由于人眼对色度信息较为不敏感，针对N帧色度图像，直接通过插值算法进行简单的图像重建操作，以得到高分辨率的目标色度图像，最终基于目标亮度图像及目标色度图像得到高分辨率的目标YUV图像。上述过程将神经网络作为图像重建的主体，可以有效的抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障了重建图像的图像质量；并且，由于神经网络的鲁棒性，可使得移动终端在抖动、高速运动等不同的场景下都能够获得可靠的图像超分重建效果。
本申请实施例还提供了一种移动终端，上述移动终端可以是智能手机、平板电脑等，此处不作限定。请参阅图5，本申请实施例中的移动终端5包括：存储器501，一个或多个处理器502(图5中仅示出一个)及存储在存储器501上并可在处理器上运行的计算机程序。其中：存储器501用于存储软件程序以及模块，处理器502通过运行存储在存储器501的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器502通过运行存储在存储器501的上述计算机程序时实现以下步骤：
获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；
提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；
将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；
基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像；
根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧，包括：
计算各帧亮度图像的锐度值；
将锐度值最大的亮度图像确定为上述N帧亮度图像中的参考帧。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述计算各帧亮度图像的锐度值，包括：
将目标亮度图像划分为两个以上子图像区域，其中，上述目标亮度图像为上述N帧亮度图像中的任一帧亮度图像；
获取上述目标亮度图像中各个像素点的亮度值；
基于各个像素点的亮度值，确定每一子图像区域中的最大亮度值及最小亮度值；
基于各个子图像区域中的最大亮度值及最小亮度值，通过预设的锐利度参考模型对所述目标亮度图像进行锐度估计，得到所述目标亮度图像的锐度值。
在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量，包括：
分别对待匹配帧及上述亮度参考帧进行特征点检测，其中，上述待匹配帧为上述亮度图像中的其它帧中的任一帧；
计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离；
基于上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离，求解上述待匹配帧对上述亮度参考帧的单应性矩阵，以得到上述待匹配帧相对于上述亮度参考帧的偏移量。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述分别对待匹配帧及上述亮度参考帧进行特征点检测，包括：
基于预设的尺度不变特征变换算法，分别对对上述待匹配帧及上述亮度参考帧进行特征点检测。
在上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离，包括：
根据每一特征点的所处区域中所包含的其它像素点，构建每一特征点的梯度直方图；
基于每一特征点的梯度直方图，生成每一特征点的特征向量；
根据各个特征点的特征向量，计算上述待匹配帧的各个特征点与上述亮度参考帧的对应特征点的欧式距离。
在上述第一种可能的实施方式作为基础而提供的第七种可能的实施方式中，上述神经网络包括特征提取层，特征转换层、放大层及融合层，其中，上述特征提取层用于提取各帧亮度图像的线性特征；
上述特征转换层用于对各帧亮度图像的线性特征进行转换，以得到各帧亮度图像的非线性特征；
上述放大层用于将上述特征转换层输出的图像进行插值处理，以放大至预设尺寸；
上述融合层用于将放大后的图像进行融合，得到高分辨率的目标亮度图像。
应当理解，在本申请实施例中，所称处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器501可以包括只读存储器和随机存取存储器，并向处理器502提供指令和数据。存储器501的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器501还可以存储设备类型的信息。
由上可见，通过本申请实施例，将低分辨率的连续N帧YUV图像通过Y通道及UV通道提取得到N帧色度图像及N帧亮度图像，由于人眼对亮度信息较为敏感，因而针对N帧亮度图像，依次进行锐度估计操作、图像匹配操作及基于神经网络的图像重建操作，以得到高分辨率的目标亮度图像；由于人眼对色度信息较为不敏感，针对N帧色度图像，直接通过插值算法进行简单的图像重建操作，以得到高分辨率的目标色度图像，最终基于目标亮度图像及目标色度图像得到高分辨率的目标YUV图像。上述过程将神经网络作为图像重建的主体，可以有效的抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障了重建图像的图像质量；并且，由于神经网络的鲁棒性，可使得移动终端在抖动、高速运动等不同的场景下都能够获得可靠的图像超分重建效果。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，系统或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种图像超分重建方法，其特征在于，包括：
获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；
提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
在所述N帧亮度图像中，根据各帧亮度图像的锐度确定所述N帧亮度图像中的参考帧，记为亮度参考帧；
将所述亮度图像中除所述亮度参考帧之外的其它帧与所述亮度参考帧进行图像配准，得到各个其它帧相对于所述亮度参考帧的偏移量；
基于各个其它帧相对于所述亮度参考帧的偏移量，通过已训练的神经网络对所述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
基于色度参考帧，对所述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，所述色度参考帧为所述N帧色度图像中，与所述亮度参考帧相关联的色度图像；
根据所述目标亮度图像及所述目标色度图像合成得到目标YUV图像；
所述将所述亮度图像中除所述亮度参考帧之外的其它帧与所述亮度参考帧进行图像配准，得到各个其它帧相对于所述亮度参考帧的偏移量，包括：
分别对待匹配帧及所述亮度参考帧进行特征点检测，其中，所述待匹配帧为所述亮度图像中的其它帧中的任一帧；
计算所述待匹配帧的各个特征点与所述亮度参考帧的对应特征点的欧式距离；
基于所述待匹配帧的各个特征点与所述亮度参考帧的对应特征点的欧式距离，求解所述待匹配帧对所述亮度参考帧的单应性矩阵，以得到所述待匹配帧相对于所述亮度参考帧的偏移量。
2.如权利要求1所述的图像超分重建方法，其特征在于，所述在所述N帧亮度图像中，根据各帧亮度图像的锐度确定所述N帧亮度图像中的参考帧，记为亮度参考帧，包括：
计算各帧亮度图像的锐度值；
将锐度值最大的亮度图像确定为所述N帧亮度图像中的参考帧。
3.如权利要求2所述的图像超分重建方法，其特征在于，所述计算各帧亮度图像的锐度值，包括：
将目标亮度图像划分为两个以上子图像区域，其中，所述目标亮度图像为所述N帧亮度图像中的任一帧亮度图像；
获取所述目标亮度图像中各个像素点的亮度值；
基于各个像素点的亮度值，确定每一子图像区域中的最大亮度值及最小亮度值；
基于各个子图像区域中的最大亮度值及最小亮度值，通过预设的锐利度参考模型对所述目标亮度图像进行锐度估计，得到所述目标亮度图像的锐度值。
4.如权利要求1所述的图像超分重建方法，其特征在于，所述分别对待匹配帧及所述亮度参考帧进行特征点检测，包括：
基于预设的尺度不变特征变换算法，分别对所述待匹配帧及所述亮度参考帧进行特征点检测。
5.如权利要求1所述的图像超分重建方法，其特征在于，所述计算所述待匹配帧的各个特征点与所述亮度参考帧的对应特征点的欧式距离，包括：
根据每一特征点的所处区域中所包含的其它像素点，构建每一特征点的梯度直方图；
基于每一特征点的梯度直方图，生成每一特征点的特征向量；
根据各个特征点的特征向量，计算所述待匹配帧的各个特征点与所述亮度参考帧的对应特征点的欧式距离。
6.如权利要求1所述的图像超分重建方法，其特征在于，所述神经网络包括特征提取层，特征转换层、放大层及融合层，其中，所述特征提取层用于提取各帧亮度图像的线性特征；
所述特征转换层用于对各帧亮度图像的线性特征进行转换，以得到各帧亮度图像的非线性特征；
所述放大层用于将所述特征转换层输出的图像进行插值处理，以放大至预设尺寸；
所述融合层用于将放大后的图像进行融合，得到高分辨率的目标亮度图像。
7.一种图像超分重建装置，其特征在于，包括：
图像获取单元，用于获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；
图像提取单元，用于提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；
亮度参考帧确定单元，用于在所述N帧亮度图像中，根据各帧亮度图像的锐度确定所述N帧亮度图像中的参考帧，记为亮度参考帧；
亮度图像配准单元，用于将所述亮度图像中除所述亮度参考帧之外的其它帧与所述亮度参考帧进行图像配准，得到各个其它帧相对于所述亮度参考帧的偏移量；
亮度图像重建单元，用于基于各个其它帧相对于所述亮度参考帧的偏移量，通过已训练的神经网络对所述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；
色度图像重建单元，用于基于色度参考帧，对所述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，所述色度参考帧为所述N帧色度图像中，与所述亮度参考帧相关联的色度图像；
图像融合单元，用于根据所述目标亮度图像及所述目标色度图像合成得到目标YUV图像；
所述将所述亮度图像中除所述亮度参考帧之外的其它帧与所述亮度参考帧进行图像配准，得到各个其它帧相对于所述亮度参考帧的偏移量，包括：
分别对待匹配帧及所述亮度参考帧进行特征点检测，其中，所述待匹配帧为所述亮度图像中的其它帧中的任一帧；
计算所述待匹配帧的各个特征点与所述亮度参考帧的对应特征点的欧式距离；
基于所述待匹配帧的各个特征点与所述亮度参考帧的对应特征点的欧式距离，求解所述待匹配帧对所述亮度参考帧的单应性矩阵，以得到所述待匹配帧相对于所述亮度参考帧的偏移量。
8.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201911066747.6A 2019-11-04 2019-11-04 一种图像超分重建方法、图像超分重建装置及移动终端 Active CN110827200B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911066747.6A CN110827200B (zh) 2019-11-04 2019-11-04 一种图像超分重建方法、图像超分重建装置及移动终端
US16/944,962 US11151690B2 (en) 2019-11-04 2020-07-31 Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
PCT/CN2020/110878 WO2021088473A1 (en) 2019-11-04 2020-08-24 Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
EP20192785.2A EP3816928A1 (en) 2019-11-04 2020-08-26 Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911066747.6A CN110827200B (zh) 2019-11-04 2019-11-04 一种图像超分重建方法、图像超分重建装置及移动终端

Publications (2)

Publication Number Publication Date
CN110827200A CN110827200A (zh) 2020-02-21
CN110827200B true CN110827200B (zh) 2023-04-07

Family

ID=69552660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911066747.6A Active CN110827200B (zh) 2019-11-04 2019-11-04 一种图像超分重建方法、图像超分重建装置及移动终端

Country Status (4)

Country Link
US (1) US11151690B2 (zh)
EP (1) EP3816928A1 (zh)
CN (1) CN110827200B (zh)
WO (1) WO2021088473A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042588A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 영상을 압축 또는 복원하기 위한 방법 및 장치
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien
CN111429371B (zh) * 2020-03-23 2023-09-29 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
US11790489B2 (en) 2020-04-07 2023-10-17 Samsung Electronics Co., Ltd. Systems and method of training networks for real-world super resolution with unknown degradations
CN111626310B (zh) * 2020-05-27 2023-08-29 百度在线网络技术（北京）有限公司 图像比对方法、装置、设备以及存储介质
CN111667445B (zh) * 2020-05-29 2021-11-16 湖北工业大学 一种基于Attention多特征融合的图像压缩感知重建方法
WO2022099710A1 (zh) * 2020-11-16 2022-05-19 京东方科技集团股份有限公司 图像重建方法、电子设备和计算机可读存储介质
CN112488976B (zh) * 2020-12-11 2022-05-17 华中科技大学 一种基于darts网络的多模态医学图像融合方法
US20220368829A1 (en) * 2021-05-11 2022-11-17 Samsung Electronics Co., Ltd. Image super-resolution with reference images from one or more cameras
CN113362252B (zh) * 2021-06-30 2024-02-02 深圳万兴软件有限公司 智能画幅重构方法、装置、计算机设备及存储介质
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质
CN113674241A (zh) * 2021-08-17 2021-11-19 Oppo广东移动通信有限公司 选帧方法、装置、计算机设备和存储介质
CN113870314B (zh) * 2021-10-18 2023-09-19 南京硅基智能科技有限公司 一种动作迁移模型的训练方法及动作迁移方法
JP2023067714A (ja) * 2021-10-29 2023-05-16 エヌビディア コーポレーション １つ又は複数のニューラル・ネットワークを使用した画像アップサンプリング
CN114549307B (zh) * 2022-01-28 2023-05-30 电子科技大学 一种基于低分辨率图像的高精度点云色彩重建方法
CN114331849B (zh) * 2022-03-15 2022-06-10 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
CN114972043B (zh) * 2022-08-03 2022-10-25 江西财经大学 基于联合三边特征滤波的图像超分辨率重建方法与系统
CN115731146B (zh) * 2022-12-26 2023-05-12 中国人民解放军战略支援部队航天工程大学 基于色彩梯度直方图特征光流估计多曝光图像融合方法
CN115861146B (zh) * 2023-02-28 2023-06-02 季华实验室 一种目标被遮挡的处理方法、装置、电子设备及存储介质
CN117726656B (zh) * 2024-02-08 2024-06-04 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980289A (zh) * 2010-10-25 2011-02-23 上海大学 基于频域配准和凸集投影的多帧图像超分辨率重建方法
CN107220934A (zh) * 2017-05-15 2017-09-29 北京小米移动软件有限公司 图像重建方法及装置
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085323B2 (en) * 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
US20080170126A1 (en) * 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
US8995793B1 (en) * 2009-10-09 2015-03-31 Lockheed Martin Corporation Moving object super-resolution systems and methods
KR101624210B1 (ko) 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
JP6155785B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体
US9154698B2 (en) * 2013-06-19 2015-10-06 Qualcomm Technologies, Inc. System and method for single-frame based super resolution interpolation for digital cameras
CN106204440A (zh) 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
US10366480B2 (en) * 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
JP6957197B2 (ja) * 2017-05-17 2021-11-02 キヤノン株式会社 画像処理装置および画像処理方法
EP3662439A1 (en) * 2017-07-31 2020-06-10 Institut Pasteur Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
CN108154474B (zh) 2017-12-22 2021-08-27 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及设备
CN108280804B (zh) 2018-01-25 2021-03-16 湖北大学 一种多帧图像超分辨率重建方法
JP6572500B1 (ja) * 2018-03-14 2019-09-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11010872B2 (en) * 2019-04-29 2021-05-18 Intel Corporation Method and apparatus for person super resolution from low resolution image
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
JP7417640B2 (ja) * 2019-06-18 2024-01-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド リアルタイム映像超高解像度
US11410275B2 (en) * 2019-09-23 2022-08-09 Tencent America LLC Video coding for machine (VCM) based system and method for video super resolution (SR)
KR20190119550A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 영상의 해상도를 향상시키기 위한 방법 및 장치
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980289A (zh) * 2010-10-25 2011-02-23 上海大学 基于频域配准和凸集投影的多帧图像超分辨率重建方法
CN107220934A (zh) * 2017-05-15 2017-09-29 北京小米移动软件有限公司 图像重建方法及装置
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Also Published As

Publication number Publication date
CN110827200A (zh) 2020-02-21
US20210133926A1 (en) 2021-05-06
WO2021088473A1 (en) 2021-05-14
EP3816928A1 (en) 2021-05-05
US11151690B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN111080724B (zh) 一种红外和可见光的融合方法
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
Gao et al. Image super-resolution with sparse neighbor embedding
Zhang et al. Non-local kernel regression for image and video restoration
Agrawal et al. Resolving objects at higher resolution from a single motion-blurred image
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN113508416B (zh) 图像融合处理模块
CN110599400B (zh) 一种基于epi的光场图像超分辨的方法
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
US20190206117A1 (en) Image processing method, intelligent terminal, and storage device
CN114862725B (zh) 基于光流法实现运动感知模糊特效的方法及装置
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
CN114926514B (zh) 一种事件图像与rgb图像的配准方法及装置
CN111429371A (zh) 图像处理方法、装置及终端设备
Wang et al. Coarse-to-fine disentangling demoiréing framework for recaptured screen images
WO2014114529A1 (en) Method and apparatus for performing single-image super-resolution
US20230098437A1 (en) Reference-Based Super-Resolution for Image and Video Enhancement
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
WO2014077024A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Yu et al. Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration
WO2013011797A1 (ja) 劣化復元システム、劣化復元方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant