CN110880160B - 图片帧超分方法、装置、终端设备及计算机可读存储介质 - Google Patents

图片帧超分方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110880160B
CN110880160B CN201911112790.1A CN201911112790A CN110880160B CN 110880160 B CN110880160 B CN 110880160B CN 201911112790 A CN201911112790 A CN 201911112790A CN 110880160 B CN110880160 B CN 110880160B
Authority
CN
China
Prior art keywords
frame
reference frame
picture
homography matrix
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911112790.1A
Other languages
English (en)
Other versions
CN110880160A (zh
Inventor
方冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911112790.1A priority Critical patent/CN110880160B/zh
Publication of CN110880160A publication Critical patent/CN110880160A/zh
Application granted granted Critical
Publication of CN110880160B publication Critical patent/CN110880160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于图像处理技术领域，提供了图片帧超分方法、装置、终端设备及计算机可读存储介质，所述方法包括：从至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；若非参考帧的数量大于0，则将参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取参考帧和非参考帧的ORB特征；根据提取的ORB特征以及提取的ORB特征在划分的网格中的位置对参考帧和非参考帧进行匹配操作，并在匹配成功后估计非参考帧中的网格的第一单应性矩阵；从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；根据第二单应性矩阵、参考帧以及第二单应性矩阵对应的非参考帧生成最终超分重建图片。通过上述方法能够生成效果更好的超分图片。

Description

图片帧超分方法、装置、终端设备及计算机可读存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及图片帧超分方法、装置、终端设备及计算机可读存储介质。
背景技术
超分辨率技术(Super-Resolution，SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像，其在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
目前的超分辨率重建方法通常是从输入的多帧图片帧中选取参考帧，再使用尺度不变特征变换(Scale-invariant feature transform，SIFT)特征进行匹配，第一单应性矩阵，最后使用其余帧与参考帧的移位关系重建超分图。但由于输入的多帧图片帧通常具有相近的尺度，因此，使用SIFT特征会浪费计算量，并且直接在参考帧与其余帧之间寻找匹配关系，会降低估计的单应性矩阵的质量，进而导致生成的超分图像的效果较差。
故，需要提出一种新的方法，以解决上述技术问题。
发明内容
本申请实施例提供了图片帧超分方法、装置、终端设备及计算机可读存储介质，可以解决现有方法在生成超分图片时速度过慢且效果较差问题。
第一方面，本申请实施例提供了一种图片帧超分方法，包括：
获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率。
第二方面，本申请实施例提供了一种图片帧超分装置，包括：
参考帧确定单元，用于获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
特征提取单元，用于若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
第一单应性矩阵确定单元，用于根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
第二单应性矩阵确定单元，用于从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
最终超分重建图片生成单元，用于根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中所述的方法。
本申请实施例与现有技术相比存在的有益效果是：由于对参考帧和非参考帧提取的特征是ORB特征，而提取该ORB特征的运算速度更快，因此，有利于减少特征提取所需要的计算量；此外，由于在选取参考帧后，将参考帧和非参考帧划分为N个面积相同的网格，因此，能够针对划分的每个网格确定一个第一单应性矩阵，进而保证从多个第一单应性矩阵选取的第二单应性矩阵是每一个非参考帧的最优的单应性矩阵，从而使得后续根据该第二单应性矩阵生成的最终超分重建图片的效果更好。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的图片帧超分方法所适用于的手机的结构示意图；
图2是本申请一实施例提供的一种图片帧超分方法的流程示意图；
图3是本申请一实施例提供的一种获取第二单应性矩阵的流程示意图；
图4是本申请一实施例提供的一种预设的神经网络的结构示意图；
图5是本申请一实施例提供的一种类残差模块的结构示意图；
图6是本申请一实施例提供的侧窗高斯滤波器的结构示意图；
图7是本申请一实施例提供的一种图片帧超分装置的结构示意图；
图8是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的图片帧超分方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
例如，所述终端设备可以是WLAN中的站点(STAION，ST)，可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box，STB)、用户驻地设备(customer premise equipment，CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network，PLMN)网络中的移动终端等。
作为示例而非限定，当所述终端设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
以所述终端设备为手机为例。图1示出的是与本申请实施例提供的手机的部分结构的框图。参考图1，手机包括：摄像模组11、处理器12以及显示单元13等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图1对手机的各个构成部件进行具体的介绍：
摄像模组11可以为单摄像头、双摄像头或三摄像头等，本申请实施例对此不作限定。
例如，手机100可以包括三摄像头，其中，一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。
可选地，当手机100包括一个或多个摄像头时，这一个或多个摄像头可以全部前置，或者全部后置，或者一部分前置、另一部分后置，本申请实施例对此不作限定。
摄像模组11用于获取至少一帧图片帧，处理器12用于从摄像模组11获取的至少一帧图片帧中选取参考帧和非参考帧，若获取的至少一帧图片帧中存在非参考帧，则将参考帧和非参考帧分别划分为N个面积相同的网格，并提取该参考帧和非参考帧的ORB特征，再根据提取的ORB特征对参考帧和非参考帧进行匹配，若匹配成功，则估计所述非参考帧中的网格的第一单应性矩阵，以及从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵，最后根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片。
显示单元13显示处理器12生成的最终超分重建图片。
另外，尽管未示出，手机100还可以包括蓝牙模块等，在此不再赘述。
图2示出了本申请提供的图片帧超分方法的示意性流程图，作为示例而非限定，该方法可以应用于上述手机100中。
步骤S21，获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
该步骤中，选取的参考帧是获取的图片帧中清晰度满足要求的图片帧。比如，若根据经验得出：在特定场景中，第一帧的清晰度较高，则在判断出图片帧的场景为该特定场景后，将第一帧选取为参考帧，在实际情况中，参考帧的数量也可以大于1(比如2张或2张以上相似的图片帧作为参考帧)，此时，可通过图像融合处理后得到一个参考帧。当然，若为了选取出清晰度更准确的参考帧，则需要对获取的图片帧进行清晰度的运算，并根据运行结果选取出清晰度最高的图片帧作为参考帧。
需要指出的是，为了保证后续获得更好的超分效果，则需要保证获取连续的图片帧。或者，保证获取的图片帧之间的间隔帧的数量小于预设的间隔帧阈值。
步骤S22，若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
其中，ORB的全称是ORiented Brief，是文章ORB:an efficient alternative toSIFT or SURF中提出的一种新的角点检测与特征描述算法。ORB特征包括特征点和描述子：特征点用于筛选比较“特殊”的点，比如，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等；而描述子用来描述特征点的属性，比如，在特征点的周围以一定模式选取I个点对，再把I个点对的比较结果组合起来作为该特征点的描述子。
在一些实施例中，若所述非参考帧的数量等于0，则根据所述参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述参考帧的分辨率。
步骤S23，根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
可以理解，网格的划分与ORB特征的提取没有关系，划分网格后可以确定网格中有哪些ORB特征。每一非参考帧的每个网格和参考帧对应的网格都有一个第一单应性矩阵和匹配程度的度量。
该步骤中，在分别提取了参考帧和非参考帧的ORB特征之后，确定提取的ORB特征在参考帧(或在非参考帧)划分的网格中的位置，在对参考帧和非参考帧进行匹配操作时，是将参考帧中的网格的ORB特征和非参考帧中与该网格对应的网格的ORB特征进行比较，若两个网格中的ORB特征相同或者相似度大于或等于预设的相似度阈值，则判定这两个网格匹配成功，若参考帧中的网格与非参考帧中的网格匹配成功的数量大于或等于预设的网格数量阈值，则判定该参考帧和该非参考帧匹配成功，否则，判定该参考帧和该非参考帧匹配失败。
在该步骤中，若参考帧中的网格和非参考帧中的网格匹配成功，则估计该非参考帧中该网格的第一单应性矩阵。若参考帧中的网格和非参考帧中匹配成功的网格数量为x，则估计的该非参考帧中的第一单应性矩阵的数量也为x。其中，该第一单应性矩阵存储的是该非参考帧到该参考帧的映射关系。参见下式：
Figure BDA0002273221080000081
[xr,yr,1]T是参考帧的齐次坐标，[xo,yo,1]T非参考帧的齐次坐标，
Figure BDA0002273221080000082
为第一单应性矩阵，即根据上式能够确定参考帧与非参考帧对应的第一单应性矩阵。
步骤S24，从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
需要指出的是，由于每一非参考帧的每个网格和参考帧对应的网格都有一个第一单应性矩阵和匹配程度的度量，因此，根据匹配程度的度量，在N个第一单应性矩阵(如果非参考帧和参考帧分别都划分为N个面积相同的网格)中选择最优的作为第二单应性矩阵，即，若除了参考帧外，如果还有M个帧，就会有M个最优单应性矩阵(第二单应性矩阵)。
该步骤中，若一个非参考帧中的第一单应性矩阵的数量为x，则从该x个第一单应性矩阵中选取出一个最优的第一单应性矩阵作为第二单应性矩阵，或者，从该x个第一单应性矩阵中选取出y(y大于1且小于x)个较优的第一单应性矩阵，再根据该y个较优的第一单应性矩阵确定一个第二单应性矩阵。即，假设非参考帧的数量为N，则从该N个非参考帧中确定出N个第二单应性矩阵。具体地，参加图3，图3示出了得到第二单应性矩阵的示意图，在图3中，“31”为参考帧，“32”为非参考帧，“33”中的每一个网格都有一个第一单应性矩阵，比如B(1,1)代表参考帧和非参考帧在(1,1)这个网格对的第一单应性矩阵，这参考帧和非参考帧的所有的第一单应性矩阵中选择最优的第一单应性矩阵作为第二单应性矩阵。
步骤S25，根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率。
该步骤中，由于第二单应性矩阵存储的是非参考帧到参考帧的映射关系，因此，根据该第二单应性矩阵能够对所述参考帧(或对非参考帧)的像素点进行扩展，进而能够生成分辨率高于参考帧以及高于非参考帧的最终超分重建图片。
本申请实施例中，由于对参考帧和非参考帧提取的特征是ORB特征，而提取该ORB特征的运算速度更快，因此，有利于减少特征提取所需要的计算量；此外，由于在选取参考帧后，将参考帧和非参考帧划分为N*N个网格，因此，能够针对划分的每个网格确定一个第一单应性矩阵，进而保证从多个第一单应性矩阵确定的第二单应性矩阵是每一个非参考帧的最优的单应性矩阵，从而使得后续根据该第二单应性矩阵生成的最终超分重建图片的效果更好。
在一些实施例中，为了获取更准确的清晰度，则对获取的图片帧进行清晰度计算，此时，所述步骤S21，包括：
A1、获取至少一帧图片帧，确定所述至少一帧图片帧的梯度信息；
其中，梯度信息包括幅值和方向。由于梯度信息反映了图片帧的边缘信息，因此，可通过获取梯度信息确定图片帧的清晰度。
具体地，在获取梯度信息之前使用高斯滤波器平滑获取的至少一帧图片帧，以去掉部分噪声。
A2、分别根据至少一帧图片帧的所述梯度信息、预设的梯度阈值、预设的权重值确定所述至少一帧图片帧的清晰度；
具体地，将梯度信息与预设的梯度阈值比较，并根据比较结果选取满足要求的梯度信息，再根据选取的梯度信息与预设的权重值确定图片帧的清晰度，比如，只选取大于预设的梯度阈值的梯度信息，再将该大于预设的梯度阈值的梯度信息与预设的权重值确定图片帧的清晰度。
A3、根据清晰度选取参考帧，其余图片帧作为非参考帧。
该步骤中，可选取清晰度最高的图片帧作为参考帧，当然，也可以将清晰度按照从高到低的顺序进行排序，再选取清晰度排序在前面的几个图片帧作为参考帧。进一步地，也可将选取的几个参考帧融合为一个参考帧，此处不作限定。
在一些实施例中，由于清晰度较低的时候，其在后续生成最终超分重建图片所起的作用有限，因此，为了减少后续的计算量，提高最终超分重建图片的生成效率，则丢弃清晰度小于预设的丢弃阈值的图片帧，剩余的图片帧才作为非参考帧。
在一些实施例中，若所述预设的梯度阈值为预设的第一梯度阈值和预设的第二梯度阈值，所述预设的权重值为预设的第一权重值和预设的第二权重值，为了在上述基础上确定出更准确的清晰度，则所述步骤A2，包括：
A21、根据所述预设的第一梯度阈值和所述预设的第二梯度阈值，分别将所述至少一帧图片帧的梯度信息划分为强边缘信息、弱边缘信息以及噪声；
假设，预设的第一梯度阈值大于预设的第二梯度阈值，则可根据以下方式划分强边缘信息、弱边缘信息以及噪声：将大于或等于预设的第一梯度阈值的梯度信息划分为强边缘信息，将小于预设的第一梯度阈值且大于或等于预设的第二梯度阈值划分为弱边缘信息，将小于预设的第二梯度阈值划分为噪声。
或者，若预设的第一梯度阈值大于预设的第二梯度阈值，也可根据以下方式划分强边缘信息、弱边缘信息以及噪声：将大于或等于预设的第一梯度阈值与预设的第二梯度阈值之和的梯度信息划分为强边缘信息，将小于预设的第一梯度阈值与预设的第二梯度阈值之和的梯度信息且大于或等于预设的第一梯度阈值的梯度信息划分为弱边缘信息，将小于预设的第一梯度阈值且大于预设的第二梯度阈值的梯度信息划分为噪声。当然，在实际操作中，也可以采用其他的划分方式，此处不再限定。
A22、根据所述强边缘信息、所述强边缘信息对应的所述预设的第一权重值、所述弱边缘信息、所述弱边缘信息对应的所述预设的第二权重值确定所述至少一帧图片帧的清晰度。
例如，假设预设的第一权重值为K1，预设的第一权重值为K2，累加一个图片帧的强边缘信息得到的和为H1，累加一个图片帧的弱边缘信息得到的和为H2，则根据下式确定该图片帧的清晰度：K1*A1+K2*A2，其中，“*”表示相乘。
当然，在实际情况中，也可以采用其他方式确定图片帧的清晰度，比如，将(A1/K1+A2/K2)的值作为该图片帧的清晰度。
在一些实施例中，为了减少后续的计算量，提高最终超分重建图片的生成效率，则所述图片帧超分方法还包括：
若匹配失败，则丢弃匹配失败的所述非参考帧；
具体地，若参考帧和非参考帧匹配失败，则丢弃匹配失败的非参考帧，以减少后续用于超分的图片的数量。需要指出的是，若所有非参考帧都匹配失败，则将参考帧作为初始超分重建图片，再执行后续的步骤B2。
对应地，所述步骤S24具体为：
从剩余的每一个非参考帧的第一单应性矩阵中分别确定第二单应性矩阵。
在一些实施例中，为了得到更具竞争力的超分图片，所述步骤S25，具体包括：
B1、根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成初始超分重建图片；
该步骤中，可通过插值算法生成初始超分重建图片。
B2、将所述初始超分重建图片输入预设的神经网络，得到所述预设的神经网络输出的最终超分重建图片。
其中，预设的神经网络的结构可如图4所示，在图4中，将一个图片帧输入到上分支的第一卷积层，为了能够快速提取出该图片帧的特征，设定该第一卷积层的卷积核较大，再将提取的特征输入到至少一个类残差模块以对提取的特征进行处理，再将处理后的特征输入第二卷积层以扩展出更多的特征，最后通过第一sub-pixel卷积层对特征的像素重排，得到该图片帧的高频信息；将相同的图片帧输入到下分支的第三卷积层以及第二sub-pixel卷积层，以获取该图片帧的低频信息，最后将得到的高频信息和低频信息相加得到最终超分重建图片。
其中，一个类残差模块的结构可如图5所示，在图5中，第一卷积层1*1用于对上一层提取的特征进行变换，第二卷积层1*1用于对变换后的特征进行压缩，第三卷积层3*3用于对压缩后的特征进行放大，再将放大后的特征与该上一层提取的特征相加得到处理后的特征。其中，“1*1”和“3*3”是指卷积核的大小。
本实施例中，由于第二单应性矩阵是参考帧与非参考帧之间的最优的第一单应性矩阵，即实现了参考帧与非参考帧的对齐，因此，根据参考帧、第二单应性矩阵以及该第二单应性矩阵对应的参考帧能够生成更接近真实的初始超分重建图片，之后，再通过预设的神经网络对该更接近真实的初始超分重建图片进行再次超分，而该预设的神经网络在再次超分过程不仅保留该初始超分重建图片的基本信息，还会恢复该初始超分重建图片的细节信息，从而使得通过两步超分生成的最终超分重建图片具有更好的超分重建结果。
在一些实施例中，为了得到更具竞争力的超分图片，则所述若所述非参考帧的数量等于0，则根据所述参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述参考帧的分辨率，具体为：
若所述非参考帧的数量等于0，则将所述参考帧输入预设的神经网络，得到所述预设的神经网络输出的最终超分重建图片。其中，预设的神经网络为图3所示的神经网络。
在一些实施例中，为了尽量降低参考帧的噪声，在所述步骤S23之后，包括：
使用侧窗高斯滤波器对匹配成功后的所述非参考帧进行降噪处理；
对应地，所述步骤B1，具体为：
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的降噪处理后的非参考帧生成初始超分重建图片。
本实施例的侧窗高斯滤波器如图6所示。
本实施例的侧窗高斯滤波器考虑图片帧的像素点处8个方向的信息，并选取最优方向作为去除该图片帧的噪声的方向，从而保证在去除噪声的同时保持该图片帧的边界。具体地，分别计算图片帧的像素点处8个方向的像素值，并将计算的8个方向的像素值与参考帧中对应位置的像素值比较，最后将最接近参考帧中的像素值所在的方向确定为去除噪声的最优方向。
在一些实施例中，为了生成更好的初始超分重建图片，所述根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的降噪处理后的非参考帧生成初始超分重建图片，具体包括：
C1、根据所述第二单应性矩阵将所述非参考帧与所述参考帧对齐，所述非参考帧为所述第二单应性矩阵对应的降噪处理后的非参考帧；
C2、根据下式生成初始超分重建图片：
Figure BDA0002273221080000141
其中，SR为初始超分重建图片，LR为参考帧和降噪处理后的非参考帧，i为超分图中的坐标点，(X,Y)为所述超分图中的点的坐标，U为超分的放大倍数，(X/U,Y/U)为参考帧和降噪处理后的非参考帧中对应的坐标，n为所述第二单应性矩阵对应的降噪处理后的非参考帧的帧数，δ(X/U,Y/U)为(X/U,Y/U)的邻域，Wn.i为对应的权重，其中：
Figure BDA0002273221080000142
Ω与LRn.i处的结构张量有关。
本实施例中，LR为参考帧和降噪处理后的非参考帧，该参考帧和降噪处理后的非参考帧为低分辨率图片帧。在本实施例中，由于直接使用第二单应性矩阵将非参考帧与参考帧对齐，然后再进行插值后通过邻域选取对应的坐标点，即及时X/U或Y/U得到的值是小数，也能从邻域选取对应的整数的坐标点，从而便于后续根据该坐标点的坐标(即亚像素坐标)执行插值计算。即由于不是根据第二单应性矩阵对参考帧进行正向坐标变换得到亚像素坐标，而直接通过正向坐标变换得到的亚像素坐标很可能是小数，因此，不利于后续的插值计算。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图片帧超分方法，图6示出了本申请实施例提供的图片帧超分装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该图片帧超分装置包括：参考帧确定单元71、特征提取单元72、第一单应性矩阵确定单元73、第二单应性矩阵确定单元74以及最终超分重建图片生成单元75。其中：
参考帧确定单元71，用于获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
其中，选取的参考帧是获取的图片帧中清晰度满足要求的图片帧。
需要指出的是，为了保证后续获得更好的超分效果，则需要保证获取连续的图片帧。或者，保证获取的图片帧之间的间隔帧的数量小于预设的间隔帧阈值。
特征提取单元72，用于若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
在一些实施例中，所述图片帧超分装置7还包括：
参考帧超分单元，用于若所述非参考帧的数量等于0，则根据所述参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述参考帧的分辨率。
第一单应性矩阵确定单元73，用于根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
具体地，将参考帧中的网格的ORB特征和非参考帧中与该网格对应的网格的ORB特征进行比较，若两个网格中的ORB特征相同或者相似度大于或等于预设的相似度阈值，则判定这两个网格匹配成功，若参考帧中的网格与非参考帧中的网格匹配成功的数量大于或等于预设的网格数量阈值，则判定该参考帧和该非参考帧匹配成功，否则，判定该参考帧和该非参考帧匹配失败。
第二单应性矩阵确定单元74，用于从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
具体地，若一个非参考帧中的第一单应性矩阵的数量为x，则从该x个第一单应性矩阵中选取出一个最优的第一单应性矩阵作为第二单应性矩阵，或者，从该x个第一单应性矩阵中选取出y(y大于1且小于x)个较优的第一单应性矩阵，再根据该y个较优的第一单应性矩阵确定一个第二单应性矩阵。
最终超分重建图片生成单元75，用于根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率。
本申请实施例中，由于对参考帧和非参考帧提取的特征是ORB特征，而提取该ORB特征的运算速度更快，因此，有利于减少特征提取所需要的计算量；此外，由于在选取参考帧后，将参考帧和非参考帧划分为N*N个网格，因此，能够针对划分的每个网格确定一个第一单应性矩阵，进而保证从多个第一单应性矩阵选取的第二单应性矩阵是每一个非参考帧的最优的单应性矩阵，从而使得后续根据该第二单应性矩阵生成的最终超分重建图片的效果更好。
在一些实施例中，所述参考帧确定单元71，包括：
梯度信息确定模块，用于获取至少一帧图片帧，确定所述至少一帧图片帧的梯度信息；
其中，梯度信息包括幅值和方向。
清晰度确定模块，用于分别根据至少一帧图片帧的所述梯度信息、预设的梯度阈值、预设的权重值确定所述至少一帧图片帧的清晰度；
参考帧选取模块，用于根据清晰度选取参考帧，其余图片帧作为非参考帧。
在一些实施例中，若所述预设的梯度阈值为预设的第一梯度阈值和预设的第二梯度阈值，所述预设的权重值为预设的第一权重值和预设的第二权重值，则所述清晰度确定模块具体用于：
根据所述预设的第一梯度阈值和所述预设的第二梯度阈值，分别将所述至少一帧图片帧的梯度信息划分为强边缘信息、弱边缘信息以及噪声；根据所述强边缘信息、所述强边缘信息对应的所述预设的第一权重值、所述弱边缘信息、所述弱边缘信息对应的所述预设的第二权重值确定所述至少一帧图片帧的清晰度。
在一些实施例中，为了减少后续的计算量，提高最终超分重建图片的生成效率，则所述图片帧超分装置7还包括：
非参考帧丢弃单元，用于在参考帧和非参考帧匹配失败时，丢弃匹配失败的所述非参考帧；
对应地，所述第二单应性矩阵确定单元74具体用于：
从剩余的每一个非参考帧的第一单应性矩阵中分别确定第二单应性矩阵。
在一些实施例中，为了得到更具竞争力的超分图片，所述最终超分重建图片生成单元75具体包括：
初始超分重建图片生成模块，用于根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成初始超分重建图片；
最终超分重建图片生成模块，用于将所述初始超分重建图片输入预设的神经网络，得到所述预设的神经网络输出的最终超分重建图片。
在一些实施例中，为了尽量降低参考帧的噪声，所述图片帧超分装置7还包括：
侧窗降噪单元，用于使用侧窗高斯滤波器对匹配成功后的所述非参考帧进行降噪处理；
对应地，所述初始超分重建图片生成模块，具体用于：
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的降噪处理后的非参考帧生成初始超分重建图片。
在一些实施例中，所述初始超分重建图片生成模块具体用于：
根据所述第二单应性矩阵将所述非参考帧与所述参考帧对齐，所述非参考帧为所述第二单应性矩阵对应的降噪处理后的非参考帧；根据下式生成初始超分重建图片：
Figure BDA0002273221080000181
其中，SR为初始超分重建图片，LR为参考帧和降噪处理后的非参考帧，i为超分图中的坐标点，(X,Y)为所述超分图中的点的坐标，U为超分的放大倍数，(X/U,Y/U)为参考帧和降噪处理后的非参考帧中对应的坐标，n为所述第二单应性矩阵对应的降噪处理后的非参考帧的帧数，δ(X/U,Y/U)为(X/U,Y/U)的邻域，Wn.i为对应的权重，其中：
Figure BDA0002273221080000182
Ω与LRn.i处的结构张量有关。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图8为本申请一实施例提供的终端设备的结构示意图。如图8所示，该实施例的终端设备8包括：至少一个处理器80(图8中仅示出一个)处理器、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时实现上述任意各个方法实施例中的步骤：
获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率。
所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的举例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图片帧超分方法，其特征在于，包括：
获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率；
所述获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧，包括：
获取至少一帧图片帧，确定所述至少一帧图片帧的梯度信息；
分别根据至少一帧图片帧的所述梯度信息、预设的梯度阈值、预设的权重值确定所述至少一帧图片帧的清晰度；
根据清晰度选取参考帧，其余图片帧作为非参考帧。
2.如权利要求1所述的图片帧超分方法，其特征在于，若所述预设的梯度阈值为预设的第一梯度阈值和预设的第二梯度阈值，所述预设的权重值为预设的第一权重值和预设的第二权重值，则所述分别根据所述至少一帧图片帧的梯度信息、预设的梯度阈值、预设的权重值确定所述至少一帧图片帧的清晰度，包括：
根据所述预设的第一梯度阈值和所述预设的第二梯度阈值，分别将所述至少一帧图片帧的梯度信息划分为强边缘信息、弱边缘信息以及噪声；
根据所述强边缘信息、所述强边缘信息对应的所述预设的第一权重值、所述弱边缘信息、所述弱边缘信息对应的所述预设的第二权重值确定所述至少一帧图片帧的清晰度。
3.如权利要求1所述的图片帧超分方法，其特征在于，所述图片帧超分方法还包括：
若匹配失败，则丢弃匹配失败的所述非参考帧；
对应地，所述从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵具体为：
从剩余的每一个非参考帧的第一单应性矩阵中分别确定第二单应性矩阵。
4.如权利要求1至3任一项所述的图片帧超分方法，其特征在于，所述根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，具体包括：
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成初始超分重建图片；
将所述初始超分重建图片输入预设的神经网络，得到所述预设的神经网络输出的最终超分重建图片。
5.如权利要求4所述的图片帧超分方法，其特征在于，所述预设的神经网络包括上分支和下分支，所述上分支包括第一卷积层、至少一个类残差模块、第二卷积层以及第一sub-pixel卷积层；所述下分支包括第三卷积层以及第二sub-pixel卷积层。
6.如权利要求4所述的图片帧超分方法，其特征在于，在所述根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵之后，包括：
使用侧窗高斯滤波器对匹配成功后的所述非参考帧进行降噪处理；
对应地，所述根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成初始超分重建图片，具体为：
根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的降噪处理后的非参考帧生成初始超分重建图片。
7.如权利要求6所述的图片帧超分方法，其特征在于，所述根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的降噪处理后的非参考帧生成初始超分重建图片，具体包括：
根据所述第二单应性矩阵将所述非参考帧与所述参考帧对齐，所述非参考帧为所述第二单应性矩阵对应的降噪处理后的非参考帧；
根据下式生成初始超分重建图片：
Figure FDA0004080846880000031
其中，SR为初始超分重建图片，LR为参考帧和降噪处理后的非参考帧，i为超分图中的坐标点，(X,Y)为所述超分图中的点的坐标，U为超分的放大倍数，(X/U,Y/U)为参考帧和降噪处理后的非参考帧中对应的坐标，n为所述第二单应性矩阵对应的降噪处理后的非参考帧的帧数，δ(X/U,Y/U)为(X/U,Y/U)的邻域，Wn.i为对应的权重，其中：
Figure FDA0004080846880000041
Ω与LRn.i处的结构张量有关。
8.如权利要求4所述的图片帧超分方法，其特征在于，所述图片帧超分方法还包括：
若所述非参考帧的数量等于0，则根据所述参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述参考帧的分辨率。
9.一种图片帧超分装置，其特征在于，包括：
参考帧确定单元，用于获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧；
特征提取单元，用于若所述非参考帧的数量大于0，则将所述参考帧和非参考帧分别划分为N个面积相同的网格，以及，提取所述参考帧和非参考帧的ORB特征，其中，N为整数，且N大于1；
第一单应性矩阵确定单元，用于根据提取的ORB特征以及所述提取的ORB特征在划分的网格中的位置对所述参考帧和所述非参考帧进行匹配操作，并在匹配成功后估计所述非参考帧中的网格的第一单应性矩阵；
第二单应性矩阵确定单元，用于从每一个非参考帧的第一单应性矩阵中分别确定对应的第二单应性矩阵；
最终超分重建图片生成单元，用于根据所述第二单应性矩阵、所述参考帧以及所述第二单应性矩阵对应的非参考帧生成最终超分重建图片，所述最终超分重建图片的分辨率高于所述非参考帧的分辨率；
所述获取至少一帧图片帧，从所述至少一帧图片帧中选取参考帧，其余图片帧作为非参考帧，包括：
获取至少一帧图片帧，确定所述至少一帧图片帧的梯度信息；
分别根据至少一帧图片帧的所述梯度信息、预设的梯度阈值、预设的权重值确定所述至少一帧图片帧的清晰度；
根据清晰度选取参考帧，其余图片帧作为非参考帧。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
CN201911112790.1A 2019-11-14 2019-11-14 图片帧超分方法、装置、终端设备及计算机可读存储介质 Active CN110880160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911112790.1A CN110880160B (zh) 2019-11-14 2019-11-14 图片帧超分方法、装置、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911112790.1A CN110880160B (zh) 2019-11-14 2019-11-14 图片帧超分方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110880160A CN110880160A (zh) 2020-03-13
CN110880160B true CN110880160B (zh) 2023-04-18

Family

ID=69730534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911112790.1A Active CN110880160B (zh) 2019-11-14 2019-11-14 图片帧超分方法、装置、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110880160B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096014B (zh) * 2021-03-31 2023-12-08 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质
CN113592706B (zh) * 2021-07-28 2023-10-17 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428408A (zh) * 2013-07-18 2013-12-04 北京理工大学 一种适用于帧间的图像稳像方法
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108257155A (zh) * 2018-01-17 2018-07-06 中国科学院光电技术研究所 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN109215077A (zh) * 2017-07-07 2019-01-15 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
CN103428408A (zh) * 2013-07-18 2013-12-04 北京理工大学 一种适用于帧间的图像稳像方法
CN109215077A (zh) * 2017-07-07 2019-01-15 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN108257155A (zh) * 2018-01-17 2018-07-06 中国科学院光电技术研究所 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Also Published As

Publication number Publication date
CN110880160A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
US11151690B2 (en) Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN108921806B (zh) 一种图像处理方法、图像处理装置及终端设备
CN109064428B (zh) 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN107563974B (zh) 图像去噪方法、装置、电子设备及存储介质
CN111325694B (zh) 图像噪声去除方法及装置
US9514523B2 (en) Method and apparatus for filling images captured by array cameras
CN107786780B (zh) 视频图像降噪方法、装置及计算机可读存储介质
CN110880160B (zh) 图片帧超分方法、装置、终端设备及计算机可读存储介质
WO2021179745A1 (zh) 一种环境重建方法及装置
CN114255337A (zh) 文档图像的矫正方法、装置、电子设备及存储介质
CN112767281A (zh) 图像鬼影消除方法、装置、电子设备及存储介质
CN110827336A (zh) 一种图像对齐方法、装置、设备及存储介质
CN111340777B (zh) 图像噪声点的判断方法及装置
CN111709879A (zh) 图像处理方法、图像处理装置及终端设备
CN113192101B (zh) 图像处理方法、装置、计算机设备和存储介质
CN114584785A (zh) 视频图像的实时稳像方法及装置
CN111416937B (zh) 图像处理方法、装置、存储介质及移动设备
CN112714263A (zh) 视频生成方法、装置、设备及存储介质
CN111833285A (zh) 图像处理方法、图像处理装置及终端设备
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
Liu et al. Gradient prior dilated convolution network for remote sensing image super-resolution
CN114972119A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115409719A (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
KR20080069084A (ko) 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant