CN113592709B - 图像超分处理方法、装置、设备及存储介质 - Google Patents

图像超分处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113592709B
CN113592709B CN202110191879.2A CN202110191879A CN113592709B CN 113592709 B CN113592709 B CN 113592709B CN 202110191879 A CN202110191879 A CN 202110191879A CN 113592709 B CN113592709 B CN 113592709B
Authority
CN
China
Prior art keywords
image frame
image
optical flow
frame
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110191879.2A
Other languages
English (en)
Other versions
CN113592709A (zh
Inventor
谢植淮
李松南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110191879.2A priority Critical patent/CN113592709B/zh
Publication of CN113592709A publication Critical patent/CN113592709A/zh
Application granted granted Critical
Publication of CN113592709B publication Critical patent/CN113592709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像超分处理方法、装置、设备及存储介质，该方法包括：获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像；根据第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的光流矢量；获取第一图像帧对应的第一超分图像帧；根据光流矢量、第二图像帧和第一超分图像帧，确定第二图像帧对应的第二超分图像帧，以实现图像超分。

Description

图像超分处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种图像超分处理方法、装置、设备及存储介质。
背景技术
超分技术指的是将低分辨率图像映射至高分辨率图像，以期达到增强图像细节的作用。
目前超分技术在许多场景都得到了普遍应用，例如：在网络直播过程中，为了向用户提供更好的视频服务，视频直播平台会对直播视频进行超分处理后，再推送给用户，以为用户带来更好的观看体验。再例如：在航拍和遥感视频中，目标往往较小，检测难度较大，检测到的图像都是低分辨率图像，对这类低分辨率图像进行超分处理也至关重要。那么，如何对图像进行超分处理是本申请亟待解决的技术问题。
发明内容
本申请提供一种图像超分处理方法、装置、设备及存储介质，以实现图像超分。
第一方面，提供了一种图像超分处理方法，包括：获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像；根据第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的光流矢量；获取第一图像帧对应的第一超分图像帧；根据光流矢量、第二图像帧和第一超分图像帧，确定第二图像帧对应的第二超分图像帧。
第二方面，提供了一种图像超分处理装置，包括：第一获取模块、第一确定模块、第二获取模块和第二确定模块，其中，第一获取模块用于获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像；第一确定模块用于根据第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的光流矢量；第二获取模块用于获取第一图像帧对应的第一超分图像帧；第二确定模块用于根据光流矢量、第二图像帧和第一超分图像帧，确定第二图像帧对应的第二超分图像帧。
第三方面，提供了一种图像超分处理设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。
第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面的方法。
通过本申请提供的技术方案，图像超分处理设备可以结合光流矢量确定超分图像帧，即考虑了相邻图像帧之间的细节数据。此外，在确定超分图像帧时，图像超分处理设备结合了该超分图像帧对应的低分辨率图像帧，即考虑了低分辨率图像帧本身的特征，从而保证了超分图像帧之间的连续性，防止图像突变，进而使得得到的超分图像帧的效果更佳。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种场景图；
图2为本申请实施例提供的一种图像超分处理方法的流程图；
图3为本申请实施例提供的另一种图像超分处理方法的流程图；
图4为本申请提供的第一操作的示意图；
图5为本申请提供的第二操作的示意图；
图6为本申请提供的第三操作的示意图；
图7为本申请实施例提供的再一种图像超分处理方法的流程图；
图8为本申请实施例提供的光流生成网络的示意图；
图9为本申请实施例提供的融合模块的示意图；
图10为本申请实施例提供的输入模块的示意图；
图11为本申请实施例提供的残差神经网络的示意图；
图12为本申请实施例提供的上采样模块的示意图；
图13为本申请实施例提供的输出模块的示意图；
图14为本申请实施例提供的一种光流生成网络训练方法的流程图；
图15为本申请实施例提供的判别网络的示意图；
图16为本申请实施例提供的判别子模块的示意图；
图17为本申请实施例提供的一种图像超分处理装置的示意图；
图18是本申请实施例提供的图像超分处理设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
一、云技术和云计算
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
二、超分技术
如上所述，超分技术指的是将低分辨率图像映射至高分辨率图像，以期达到增强图像细节的作用。即超分辨率重建(Super Resolution，SR)，用来提高原始图像的分辨率，即增加图像的像素点数量，使得图像可以适应高分辨率的应用场景或者恢复原图像丢失的细节。例如：将图像的分辨率从4K提高到8K。
三、光流(Optical Flow)
光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。
四、卷积神经网络
卷积神经网络的关键是：局部连接+权值共享。
局部连接：图像有一个性质是局部关联性质，即一个图像的像素点影响最大的是它周边的像素点，而距离这个像素点较远的像素点与其关系不大，这个性质意味着每一个神经元用于处理全局的图像了，每个神经元只需要和上一层局部连接，相当于每个神经元扫描一个小区域。
权值共享：许多神经元共享一套权重，所有神经元扫描的局部区域合起来相当于扫描了全局区域，这样就构成一个特征图，每个特征图表示图像的一维特征，例如：颜色、形状等特征。
卷积：利用卷积核对输入图像进行处理，可学习到鲁棒性较高的特征。卷积操作的核心是：可以约减不必要的权值连接，引入稀疏或者局部连接，带来的权重共享策略大大的减少参数量相对于地提升了数据量，从而可以避免过拟合现象的发生。
池化：降采样操作，即在一个小区域内，采取一个特定的值作为输出值。
激活：非线性操作，通过弯曲或者扭曲实现表征能力的提升。
反卷积：又称转秩卷积(Transposed Convolution)，上采样(Upsampled)。
如上所述，如何对图像进行超分处理是本申请亟待解决的技术问题。
为了解决上述技术问题，本申请结合光流矢量估计，以进行图像的超频处理。
本申请可应用于如下场景，但不限于此：
场景一：航拍和遥感场景，其中，目标往往较小，检测难度较大，因此，无人机拍摄的图像为低分辨率图像。
场景二：图1为本申请实施例提供的一种场景图，如图1所示，在视频直播过程中，终端设备11实时采集的图像可能是低分辨率图像，其将该低分辨率图像可以传输至服务器12，服务器12对该低分辨率图像可以进行超分处理，以得到超分图像。
应理解的是，本申请中的终端设备是具有拍摄功能的任何电子设备，例如：手机、计算机、平板、笔记本电脑、无人机、相机等。
应理解的是，本申请中的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
实施例1
图2为本申请实施例提供的一种图像超分处理方法的流程图，该方法的执行主体可以是终端设备、服务器等，但不限于此，其中，关于终端设备和服务器的描述可参见上文，本申请对此不再赘述。下面以服务器为执行主体，对图像超分处理方法进行示例性说明，如图2所示，该方法包括如下步骤：
S201：获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像。
S202：根据第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的光流矢量。
S203：获取第一图像帧对应的第一超分图像帧。
S204：根据光流矢量、第二图像帧和第一超分图像帧，确定第二图像帧对应的第二超分图像帧。
应理解的是，由于视频是由一帧一帧的图像构成的，因此，本申请中的图像超分处理方法也可以称为视频超分处理方法。
应理解的是，上述相邻两帧图像是同一视频中的相邻两帧图像，也被称为同一视频中连续两帧图像。
可选的，该视频可以是任一尺寸的视频，该视频的格式可以是mp4，avi等，本申请对此不做限制。
可选的，该视频是高清视频或者非高清视频，本申请对此不做限制。
应理解的是，如果该视频是高清视频，那么上述第一图像帧和第二图像帧是对高分辨率(High Resolution，HR)图像帧进行下采样s倍的图像帧，或者，是对高清图像帧进行下采样s倍的图像帧，并且增加高斯噪声、高斯模糊或者去压缩噪声等后的图像帧，s为大于1的整数。
总之，上述第一图像帧和第二图像帧是低分辨率(Low Resolution，LR)图像帧。
如上所述，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像。例如：第一图像帧和第二图像帧是同一视频分别在t-1时刻和t时刻的图像帧。
可选的，服务器可以对第一图像帧和第二图像帧基于通道信息进行合并，得到第一合并图像帧。即服务器可以采用concat对第一图像帧和第二图像帧进行合并。其次，服务器对第一合并图像帧先进行卷积、激活和池化操作，以提取第一合并图像帧的特征，以及对该特征进行非线性映射和降维。进一步地，服务器再对处理的图像帧进行上采样，以保证得到的特征图的尺寸没有发生变化。最后，对处理后的特征图进行卷积、激活操作等，以得到第一图像帧和第二图像帧之间的光流矢量。
应理解的是，本申请对服务器如何确定第一图像帧和第二图像帧之间的光流矢量不做限制。
应理解的是，S201至S204是确定第二图像帧对应的第二超分图像帧的过程。其中，该过程假设服务器已经获取到了第一图像帧对应的第一超分图像帧。
需要说明的是，第一超分图像帧的确定过程与第二超分图像帧的确定过程相同，本申请对此不再赘述。
可选的，服务器在获取到上述光流矢量之后，可以结合光流矢量和第一超分图像帧初步估计一个图像帧，再结合第二图像帧的图像特征得到最终的第二超分图像帧。
应理解的是，在本申请中，服务器可以对图像帧进行x2，x4等偶数倍超分，本申请对超分倍数不做限制。最终超分图像帧可以是64*64、96*96、128*128等，本申请对此不做限制。
综上，在本申请中，服务器可以结合光流矢量确定超分图像帧，即考虑了相邻图像帧之间的细节数据。此外，在确定超分图像帧时，服务器结合了该超分图像帧对应的低分辨率图像帧，即考虑了低分辨率图像帧本身的特征，从而保证了超分图像帧之间的连续性，防止图像突变，进而使得得到的超分图像帧的效果更佳。
实施例2
在实施例1的基础上，下面将重点对S202进行阐述，图3为本申请实施例提供的另一种图像超分处理方法的流程图，该方法的执行主体可以是终端设备、服务器等，但不限于此，其中，关于终端设备和服务器的描述可参见上文，本申请对此不再赘述。下面以服务器为执行主体，对图像超分处理方法进行示例性说明，如图3所示，该方法包括如下步骤：
S301：获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像。
S302：对第一图像帧和第二图像帧基于通道信息进行合并，得到第一合并图像帧。
S303：对第一合并图像帧进行卷积、激活和池化操作，得到第一特征图，第一特征图相对第一合并图像帧的尺寸缩小，n为正整数。
S304：对第一特征图进行卷积、激活和反卷积操作，得到第二特征图，第二特征图与第一合并图像帧的尺寸相同。
S305：对第二特征图进行卷积和激活操作，得到光流矢量。
S306：获取第一图像帧对应的第一超分图像帧。
S307：根据光流矢量、第二图像帧和第一超分图像帧，确定第二图像帧对应的第二超分图像帧。
应理解的是，实施例2中S301、S306和S307分别与实施例1中的S201、S203和S204相同，本申请对此不再赘述。本实施例重点阐述确定光流矢量的过程，具体如下：
如上所述，服务器可以采用concat对第一图像帧和第二图像帧进行合并。其中，每个图像帧都包括三个维度信息，宽W、高H和通道(即深度Deep)D。concat是一种基于通道信息的叠加或者合并。即服务器对第一图像帧和第二图像帧进行concat时，得到的第一合并图像帧的宽和高与第一图像帧、第二图像帧的宽和高相同，而第一合并图像帧的通道数是第一图像帧和第二图像帧之和。
可选的，服务器可以对第一合并图像帧进行n轮第一操作，图4为本申请提供的第一操作的示意图，如图4所示，每轮第一操作依次包括：卷积(conv)、激活、卷积(conv)、激活和池化操作。其中，这里的激活操作可以采用relu激活函数实现，当然，也可以采用其他激活函数实现，本申请对此不做限制。这里的池化操作可以采用maxpool函数实现，当然，也可以采用其他池化函数实现，本申请对此不做限制。
可选的，第一操作中的卷积(conv)操作不改变第一合并图像帧的尺寸，例如：卷积核可以设置为3*3，步幅(stride)设置为1。其中，服务器可以根据实际情况设置卷积的通道数，本申请对此不做限制。
可选的，第一操作中的池化操作改变图像帧的尺寸，例如：服务器采用2*2的maxpool，基于此，每进行一次池化操作，图像帧的尺寸缩小2倍。基于此，服务器对第一合并图像帧进行n轮第一操作之后，得到的第一特征图的尺寸相对于第一合并图像帧缩小了2n倍。
应理解的是，上述第一操作不限于包括：卷积(conv)、激活、卷积(conv)、激活和池化操作。例如：第一操作包括：卷积(conv)、激活和池化操作。
可选的，服务器在获取到第一特征图之后，可以采用n轮第二操作，以恢复图像帧的尺寸，可选的，图5为本申请提供的第二操作的示意图，如图5所示，每轮第二操作依次包括：卷积(conv)、激活、卷积(conv)、激活和反卷积(deconvolution)操作。其中，这里的激活操作可以采用relu激活函数实现，当然，也可以采用其他激活函数实现，本申请对此不做限制。这里的池化操作可以采用maxpool函数实现，当然，也可以采用其他池化函数实现，本申请对此不做限制。
可选的，第二操作中的卷积(conv)操作不改变第一特征图的尺寸，例如：卷积核可以设置为3*3，步幅(stride)设置为1。其中，服务器可以根据实际情况设置卷积的通道数，本申请对此不做限制。
可选的，第二操作中的反卷积操作改变图像帧的尺寸，每进行一次反卷积操作，图像帧的尺寸扩大2倍。基于此，服务器对第一特征图进行n轮第二操作之后，得到的第二特征图的尺寸是第一特征图的尺寸的2n倍，即第二特征图与第一合并图像帧的尺寸相同。
应理解的是，上述第二操作不限于包括：卷积(conv)、激活、卷积(conv)、激活和反卷积(deconvolution)操作。例如：第二操作包括：卷积(conv)、激活和反卷积(deconvolution)操作。
可选的，服务器可以对第二特征图进行第三操作，得到光流矢量。图6为本申请提供的第三操作的示意图，如图6所示，第三操作依次包括：卷积(conv)、第一激活、卷积(conv)、第二激活。其中，可以将第四操作中第一个卷积(conv)称为第一卷积、第二个卷积(conv)称为第二卷积。
可选的，这里的第一卷积(conv)操作不改变第二特征图的尺寸。第二卷积(conv)操作也不改变第二特征图的尺寸，但第二卷积需要将第二特征图的通道数映射为与第一超分图像帧的通道数相同，例如：将第二特征图的通道数映射为两通道。原因是服务器后续需要对光流矢量和第一超分图像帧进行融合(warp)操作。
可选的，第一激活对应relu激活函数，第二激活对应tanh激活函数。其中，tanh激活函数可以将像素基于通道信息构成的向量映射至【-1,1】区间。每个像素对应的【-1,1】区间内的数值即为该像素的光流矢量。
应理解的是，上述第三操作不限于包括：第一卷积(conv)、第一激活、第二卷积(conv)、第二激活。例如：第三操作包括：第二卷积(conv)、第二激活。
在本申请中，服务器可以采用如上方式确定第一图像帧和第二图像帧之间的光流矢量，即考虑了相邻图像帧之间的细节数据，从而使得得到的超分图像帧的效果更佳。
实施例3
在实施例1或实施例2的基础上，下面将重点对S204进行阐述，下面将结合实施例2对S204进行示例性说明。图7为本申请实施例提供的再一种图像超分处理方法的流程图，该方法的执行主体可以是终端设备、服务器等，但不限于此，其中，关于终端设备和服务器的描述可参见上文，本申请对此不再赘述。下面以服务器为执行主体，对图像超分处理方法进行示例性说明，如图7所示，该方法包括如下步骤：
S701：获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像。
S702：对第一图像帧和第二图像帧基于通道信息进行合并，得到第一合并图像帧。
S703：对第一合并图像帧进行卷积、激活和池化操作，得到第一特征图，第一特征图相对第一合并图像帧的尺寸缩小，n为正整数。
S704：对第一特征图进行卷积、激活和反卷积操作，得到第二特征图，第二特征图与第一合并图像帧的尺寸相同。
S705：对第二特征图进行卷积和激活操作，得到光流矢量。
S706：获取第一图像帧对应的第一超分图像帧。
S707：对光流矢量进行上采样，以对上采样后的光流矢量和第一超分图像帧进行融合，得到融合图像帧。
S708：对融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧，转换图像帧与第二图像帧的尺寸相同。
S709：对转换图像帧和第二图像帧基于通道信息进行合并，得到第二合并图像帧。
S710：对第二合并图像帧进行上采样，得到第一上采样图像帧。
S711：根据第一上采样图像帧，确定第二图像帧对应的第二超分图像帧。
应理解的是，实施例3中S701至S706分别与实施例2中的S301至S306相同，本申请对此不再赘述。本实施例重点阐述确定第二超分图像帧的过程，即重点阐述S707至S711，具体如下：
应理解的是，服务器在获取到光流矢量之后，由于这些光流矢量构成的图像或者矩阵的尺寸与第一合并图像帧的尺寸相同，即与第一图像帧的尺寸相同，而第一超分图像帧的尺寸大于第一图像帧的尺寸，例如：第一超分图像帧的尺寸是第一图像帧的尺寸的两倍或者四倍等，这个由超分倍数决定，例如：如果采用的是x2的超分倍数，那么第一超分图像帧的尺寸是第一图像帧的尺寸的两倍，如果采用的是x4的超分倍数，那么第一超分图像帧的尺寸是第一图像帧的尺寸的四倍。因此，服务器需要对光流矢量构成的图像或者矩阵进行上采样，如进行反卷积操作。
可选的，在本申请中，服务器可以采用tensorflow中的tf.contrib.image.dense_image_warp函数对上采样后的光流矢量和第一超分图像帧进行融合(warp)，得到融合图像帧。
可选的，在服务器获取到融合图像帧之后，由于后续需要与第二图像帧进行合并(concat)，因此，需要对融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧，以使转换图像帧与第二图像帧的尺寸相同。
可选的，TensorFlow中tf.space_to_depth()函数可以实现空间信息到通道信息上的转换，但不限于此。
应理解的是，空间信息到通道信息上的转换为：服务器将图像帧的宽W和高H的值转换为通道(即深度D)值。
可选的，服务器可以对第二合并图像帧进行卷积(conv)操作。或者，通过残差神经网络对第二合并图像帧进行处理。或者，对第二合并图像帧进行卷积操作，并通过残差神经网络对执行卷积操作后的第二合并图像帧进行处理。
可选的，服务器对第二合并图像帧进行的卷积(conv)操作可以进行初步的特征提取，消除concat的像素偏移。
可选的，服务器可以通过m个残差神经网络依次对第二合并图像帧进行处理，m为正整数，例如：m＝8或者11。
可选的，服务器采用concat函数对转换图像帧和第二图像帧进行合并，得到第二合并图像帧。其中，关于concat函数的可参数上文，本申请对此不再赘述。
应理解的是，由于第二合并图像帧的尺寸与第二图像帧的尺寸相同，因此，服务器需要对第二合并图像帧进行上采样，得到第一上采样图像帧。这里的上采样由超分倍数决定，例如：如果采用的是x2的超分倍数，那么对第二合并图像帧进行上采样，得到的第一上采样图像帧的尺寸是第二图像帧的尺寸的两倍，如果采用的是x4的超分倍数，那么对第二合并图像帧进行上采样，得到的第一上采样图像帧的尺寸是第二图像帧的尺寸的四倍。
可选地，服务器可以通过如下任一实现方式确定第二超分图像帧：
可实现方式一：服务器将第一上采样图像帧确定为第二图像帧对应的第二超分图像帧。
可实现方式二：服务器对第二图像帧进行上采样，得到第二上采样图像帧。根据第一上采样图像帧和第二上采样图像帧，确定第二图像帧对应的第二超分图像帧。
下面针对可实现方式二进行说明：
应理解的是，服务器对第二图像帧进行上采样也是由超分倍数决定的，本申请对此不再赘述。
可选的，服务器可以对第一上采样图像帧和第二上采样图像帧求和，得到第二图像帧对应的第二超分图像帧。或者，服务器可以对第一上采样图像帧和第二上采样图像帧求和，再乘以一个预设因子或者增加一个预设因子，得到第二图像帧对应的第二超分图像帧。
应理解的是，在本申请中，服务器对第一上采样图像帧和第二上采样图像帧求和可以被理解为对第一上采样图像帧对应的矩阵和第二上采样图像帧对应的矩阵求和。
可选的，服务器在对第一上采样图像帧和第二上采样图像帧求和，得到第二图像帧对应的第二超分图像帧之前，还可以对第二上采样图像帧进行卷积和激活操作，其中，该卷积操作对应的卷积核可以是3*3的卷积核，当然也可以不进行卷积和激活操作，本申请对此不做限制。
在本申请中，服务器可以对光流矢量进行上采样，以对上采样后的光流矢量和第一超分图像帧进行融合，得到融合图像帧；对融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧；对转换图像帧和第二图像帧基于通道信息进行合并，得到第二合并图像帧；对第二合并图像帧进行上采样，得到第一上采样图像帧。由于服务器结合了第二超分图像帧对应的第二图像帧，即考虑了低分辨率图像帧本身的特征，从而保证了超分图像帧之间的连续性，防止图像突变，进而使得得到的第二超分图像帧的效果更佳。
实施例4
在本申请中，服务器可以采用光流生成网络确定光流矢量和第二超分图像帧，下面将对光流生成网络进行说明：
图8为本申请实施例提供的光流生成网络的示意图，如图8所示，该光流生成网络包括：第一合并模块801、n个下采样模块802、n个上采样模块803、光流模块804、融合模块805、第二合并模块806、输入模块807、m个残差神经网络808、上采样模块809和输出模块810。
其中，第一合并模块801用于对第一图像帧和第二图像帧基于通道信息进行合并，得到第一合并图像帧。n个下采样模块中的每个下采样模块和图4所示的第一操作相同。n个上采样模块中的每个上采样模块和图5所示的第二操作相同。光流模块和图6所示的第三操作相同。
示例性的，图9为本申请实施例提供的融合模块的示意图，如图9所示，该融合模块包括：反卷积子模块、融合子模块和空间信息到深度信息的转换子模块。其中，反卷积子模块用于对光流矢量进行上采样。融合子模块用于对上采样后的光流矢量和第一超分图像帧进行融合，得到融合图像帧。空间信息到深度信息的转换子模块用于对融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧，转换图像帧与第二图像帧的尺寸相同。
第二合并模块806对转换图像帧和第二图像帧基于通道信息进行合并，得到第二合并图像帧。
示例性的，图10为本申请实施例提供的输入模块的示意图，如图10所示，输入模块包括：卷积子模块和激活子模块，卷积子模块用于对第二合并图像帧进行卷积(conv)操作，激活子模块用于对进行卷积操作之后的第二合并图像帧进行激活操作。
示例性的，图11为本申请实施例提供的残差神经网络的示意图，如图11所示，每个残差神经网络包括：第一卷积子模块、激活子模块和第二卷积子模块，其中，残差神经网络可以对第二卷积子模块输出的图像帧与该残差神经网络输入的图像帧进行残差运算。
示例性的，图12为本申请实施例提供的上采样模块的示意图，如图12所示，该上采样模块，即上采样模块809包括反卷积子模块和激活子模块，该反卷积子模块用于对第二图像帧进行上采样，得到第二上采样图像帧，该激活子模块用于对第二上采样图像帧进行激活操作。
示例性的，图13为本申请实施例提供的输出模块的示意图，如图13所示，该输出模块包括：反卷积子模块、卷积子模块和激活子模块，其反卷积子模块用于对第二合并图像帧进行上采样，得到第一上采样图像帧。该卷积子模块用于对第一上采样图像帧进行特征提取，该激活子模块用于对特征提取后的图像帧进行激活操作。最后，输出模块可以对第一上采样图像帧和第二上采样图像帧求和，得到第二图像帧对应的第二超分图像帧。
综上，在本申请中，服务器可以采用光流生成网络得到第二合并图像帧。即考虑了相邻图像帧之间的细节数据。此外，在确定超分图像帧时，服务器结合了该超分图像帧对应的低分辨率图像帧，即考虑了低分辨率图像帧本身的特征，从而保证了超分图像帧之间的连续性，防止图像突变，进而使得得到的超分图像帧的效果更佳。
实施例5
如实施例4所述，服务器可以采用光流生成网络得到第二合并图像帧。因此，光流生成网络的精度越高，那么得到的超分图像帧的效果更佳。因此，在本申请中，服务器还可以获取同一视频不同场景下的多组相邻图像帧，通过多组相邻图像帧训练光流生成网络。
需要说明的是，服务器通过不同场景下的多组相邻图像帧对光流生成网络进行训练，这种训练方式可以提高光流生成网络的精度。
下面将通过示例对训练光流生成网络的过程进行说明：
图14为本申请实施例提供的一种光流生成网络训练方法的流程图，该方法的执行主体可以是终端设备、服务器等，但不限于此，其中，关于终端设备和服务器的描述可参见上文，本申请对此不再赘述。下面以服务器为执行主体，对图像超分处理方法进行示例性说明，如图14所示，该方法包括如下步骤：
S1401：针对多组相邻图像帧中的任一组相邻图像帧，相邻图像帧依次包括：第三图像帧和第四图像帧，通过光流生成网络确定第四图像帧对应的第三超分图像帧。
S1402：通过判别网络确定第三超分图像帧的得分和第五图像帧的得分，第五图像帧是相对于第四图像帧的高分辨率图像帧。
S1403：根据第三超分图像帧、第五图像帧、第四图像帧的通道数、在确定第三超分图像帧时第四图像帧对应的上采样光流矢量和第三超分图像帧的得分确定光流生成网络的第一损失值。
S1404：根据第三超分图像帧的得分和第五图像帧的得分确定判别网络的第二损失值。
S1405：当第一损失值和第二损失值均满足预设条件时，则停止训练光流生成网络，否则，则采用相邻图像帧的下一相邻图像帧训练光流生成网络。
应理解的是，服务器确定第四图像帧对应的第三超分图像帧可参考上述确定第二超分图像帧的过程，本申请对此不再赘述。
应理解的是，上述判别网络用于确定第三超分图像帧的得分和第五图像帧的得分。
示例性的，图15为本申请实施例提供的判别网络的示意图，如图15所示，该判别网络包括：卷积(conv)子模块1510、第一激活子模块1520、d个判别子模块1530、全连接子模块1540和第二激活子模块1550。
其中，判别网络的输入是第三超分图像帧和第五图像帧，针对第三超分图像帧和第五图像帧中的任一图像帧，卷积(conv)子模块1510用于对图像帧进行特征提取，第一激活子模块1520可以采用relu函数，用于对特征提取后的图像帧进行激活操作。
示例性的，图16为本申请实施例提供的判别子模块的示意图，如图16所示，该判别子模块包括：第一卷积(conv)单元、第二卷积单元和激活(rule)单元，其中，第二卷积单元可以采样BathNorm函数实现。
可选的，全连接子模块1540为Dense layer。
可选的，第二激活子模块1550可以采用sigmoid激活函数。
可选的，服务器可以采用如下公式(1)计算光流生成网络的第一损失值：
Gloss＝L*l2_loss+S*ssim_loss+W*warp_loss+A*adversarial_loss (1)
其中L为权重参数，可设为0.75，S＝1.5，W＝0.75，A＝0.5，以上损失函数的公式为：
l2_loss＝|SRt-HRt|2
ssim_loss＝ssim(SRt，HRt)
warp_loss＝|LRt-Wt|2/C
adversarial_loss＝-log(D_fake_ouput)
SRt表示第三超分图像帧，HRt表示第五图像帧，训练阶段时，Wt表示在确定第三超分图像帧时第四图像帧对应的上采样光流矢量，C表示第四图像帧的通道数，D_fake_ouput表示第三超分图像帧的得分。ssim()是结构相似度(Structural Similarity IndexMeasure，SSIM)函数。
应理解的是，服务器也可以采用其他公式确定光流生成网络的第一损失值，例如：采用l2_loss、ssim_loss、warp_loss和adversarial_loss的任意组合，组合权重，组合项数都可以根据实际情况设置，本申请对此不做限制。
可选的，服务器可以采用如下公式(2)计算判别网络的第二损失值：
Dloss＝reduce_mean(-(log(1-D_fake_ouput)+log(D_real_ouput))) (2)
Reduce_mean是指对结果的矩阵进行逐元素值相加，然后求平均值，D_fake_ouput表示第三超分图像帧的得分，D_real_ouput表示第五图像帧的得分。
应理解的是，服务器也可以采用其他公式确定判别网络的第二损失值，本申请对此不做限制。
可选的，S1405中的预设条件可以是第一损失值和第二损失值均收敛，本申请对此不做限制。
在本申请中，服务器可以结合判别网络对光流生成网络进行训练，以提高光流生成网络的精度。
实施例6
图17为本申请实施例提供的一种图像超分处理装置的示意图，如图17所示，该装置包括：
第一获取模块1701，用于获取第一图像帧和第二图像帧，第一图像帧和第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像。
第一确定模块1702，用于根据第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的光流矢量。
第二获取模块1703，用于获取第一图像帧对应的第一超分图像帧。
第二确定模块1704，用于根据光流矢量、第二图像帧和第一超分图像帧，确定第二图像帧对应的第二超分图像帧。
可选的，第一确定模块1702具体用于：对第一图像帧和第二图像帧基于通道信息进行合并，得到第一合并图像帧。对第一合并图像帧进行卷积、激活和池化操作，得到第一特征图，第一特征图相对第一合并图像帧的尺寸缩小，n为正整数。对第一特征图进行卷积、激活和反卷积操作，得到第二特征图，第二特征图与第一合并图像帧的尺寸相同。对第二特征图进行卷积和激活操作，得到光流矢量。
可选的，第一确定模块1702具体用于：对第一合并图像帧进行n轮第一操作，每轮第一操作依次包括：卷积、激活、卷积、激活和池化操作。
可选的，第一确定模块1702具体用于：对第一特征图进行n轮第二操作，每轮第二操作依次包括：卷积、激活、卷积、激活和反卷积操作。
可选的，第一确定模块1702具体用于：对第二特征图进行第三操作，得到光流矢量，第三操作依次包括：卷积、第一激活、卷积、第二激活。
可选的，第一激活对应relu激活函数，第二激活对应tanh激活函数。
可选的，第二确定模块1704具体用于：对光流矢量进行上采样，以对上采样后的光流矢量和第一超分图像帧进行融合，得到融合图像帧。对融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧，转换图像帧与第二图像帧的尺寸相同。对转换图像帧和第二图像帧基于通道信息进行合并，得到第二合并图像帧。对第二合并图像帧进行上采样，得到第一上采样图像帧。根据第一上采样图像帧，确定第二图像帧对应的第二超分图像帧。
可选的，该装置还包括：第一处理模块1705，用于在第二确定模块1704对第二合并图像帧进行上采样，得到第一上采样图像帧之前，对第二合并图像帧进行卷积操作。或者，通过残差神经网络对第二合并图像帧进行处理。或者，对第二合并图像帧进行卷积操作，并通过残差神经网络对执行卷积操作后的第二合并图像帧进行处理。
可选的，第二确定模块1704具体用于：将第一上采样图像帧确定为第二图像帧对应的第二超分图像帧。
可选的，该装置还包括：第二处理模块1706用于在第二确定模块1704根据第一上采样图像帧，确定第二图像帧对应的第二超分图像帧之前，对第二图像帧进行上采样，得到第二上采样图像帧。相应的，第二确定模块1704具体用于：根据第一上采样图像帧和第二上采样图像帧，确定第二图像帧对应的第二超分图像帧。
可选的，第二确定模块1704具体用于：对第一上采样图像帧和第二上采样图像帧求和，得到第二图像帧对应的第二超分图像帧。
可选的，该装置还包括：第三处理模块1707，用于在第二确定模块1704对第一上采样图像帧和第二上采样图像帧求和，得到第二图像帧对应的第二超分图像帧之前，对第二上采样图像帧进行卷积和激活操作。
可选的，第一确定模块1702具体用于：根据第一图像帧、第二图像帧和光流生成网络，确定光流矢量。
可选的，第二确定模块1704具体用于：根据光流矢量、第二图像帧、第一超分图像帧和光流生成网络，确定第二超分图像帧。
可选的，该装置还包括：第三获取模块1708和训练模块1709，其中，第三获取模块1708用于获取同一视频不同场景下的多组相邻图像帧。训练模块1709用于通过多组相邻图像帧训练光流生成网络。
可选的，训练模块1709具体用于：针对多组相邻图像帧中的任一组相邻图像帧，相邻图像帧依次包括：第三图像帧和第四图像帧，通过光流生成网络确定第四图像帧对应的第三超分图像帧。通过判别网络确定第三超分图像帧的得分和第五图像帧的得分，第五图像帧是相对于第四图像帧的高分辨率图像帧。根据第三超分图像帧、第五图像帧、第四图像帧的通道数、在确定第三超分图像帧时第四图像帧对应的上采样光流矢量和第三超分图像帧的得分确定光流生成网络的第一损失值。根据第三超分图像帧的得分和第五图像帧的得分确定判别网络的第二损失值。当第一损失值和第二损失值均满足预设条件时，则停止训练光流生成网络，否则，则采用相邻图像帧的下一相邻图像帧训练光流生成网络。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图17所示的装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了实现各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
实施例7
图18是本申请实施例提供的图像超分处理设备的示意性框图。该图像超分处理设备可以是终端设备、服务器等，本申请对此不做限制。
如图18所示，该图像超分处理设备可包括：
存储器1810和处理器1820，该存储器1810用于存储计算机程序，并将该程序代码传输给该处理器1820。换言之，该处理器1820可以从存储器1810中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该处理器1820可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该处理器1820可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器1810包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1810中，并由该处理器1820执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该图像超分处理设备中的执行过程。
如图18所示，该图像超分处理设备还可包括：
收发器1830，该收发器1830可连接至该处理器1820或存储器1810。
其中，处理器1820可以控制该收发器1830与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1830可以包括发射机和接收机。收发器1830还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该图像超分处理设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (14)

1.一种图像超分处理方法，其特征在于，包括：
获取第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像；
根据所述第一图像帧和所述第二图像帧，确定所述第一图像帧和所述第二图像帧之间的光流矢量；
获取所述第一图像帧对应的第一超分图像帧；
根据所述光流矢量、所述第二图像帧和所述第一超分图像帧，确定所述第二图像帧对应的第二超分图像帧；
其中，所述根据所述光流矢量、所述第二图像帧和所述第一超分图像帧，确定所述第二图像帧对应的第二超分图像帧，包括：
对所述光流矢量进行上采样，以对上采样后的光流矢量和所述第一超分图像帧进行融合，得到融合图像帧；
对所述融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧，所述转换图像帧与所述第二图像帧的尺寸相同；
对所述转换图像帧和所述第二图像帧基于通道信息进行合并，得到第二合并图像帧；
对所述第二合并图像帧进行上采样，得到第一上采样图像帧；
根据所述第一上采样图像帧，确定所述第二图像帧对应的第二超分图像帧。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧，确定所述第一图像帧和所述第二图像帧之间的光流矢量，包括：
对所述第一图像帧和所述第二图像帧基于通道信息进行合并，得到第一合并图像帧；
对所述第一合并图像帧进行卷积、激活和池化操作，得到第一特征图，所述第一特征图相对所述第一合并图像帧的尺寸缩小2n倍，n为正整数；
对所述第一特征图进行卷积、激活和反卷积操作，得到第二特征图，所述第二特征图与所述第一合并图像帧的尺寸相同；
对所述第二特征图进行卷积和激活操作，得到所述光流矢量。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一合并图像帧进行卷积、激活和池化操作，得到第一特征图，包括：
对所述第一合并图像帧进行n轮第一操作，每轮所述第一操作依次包括：卷积、激活、卷积、激活和池化操作。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一特征图进行卷积、激活和反卷积操作，得到第二特征图，包括：
对所述第一特征图进行n轮第二操作，每轮所述第二操作依次包括：卷积、激活、卷积、激活和反卷积操作。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述对所述第二特征图进行卷积和激活操作，得到所述光流矢量，包括：
对所述第二特征图进行第三操作，得到所述光流矢量，所述第三操作依次包括：卷积、第一激活、卷积、第二激活。
6.根据权利要求5所述的方法，其特征在于，所述第一激活对应relu激活函数，所述第二激活对应tanh激活函数。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述第二合并图像帧进行上采样，得到第一上采样图像帧之前，还包括：
对所述第二合并图像帧进行卷积操作；或者，
通过残差神经网络对所述第二合并图像帧进行处理；或者，
对所述第二合并图像帧进行卷积操作，并通过残差神经网络对执行卷积操作后的第二合并图像帧进行处理。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一上采样图像帧，确定所述第二图像帧对应的第二超分图像帧之前，还包括：
对所述第二图像帧进行上采样，得到第二上采样图像帧；
所述根据所述第一上采样图像帧，确定所述第二图像帧对应的第二超分图像帧，包括：
根据所述第一上采样图像帧和所述第二上采样图像帧，确定所述第二图像帧对应的第二超分图像帧。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一上采样图像帧和所述第二上采样图像帧，确定所述第二图像帧对应的第二超分图像帧，包括：
对所述第一上采样图像帧和所述第二上采样图像帧求和，得到所述第二图像帧对应的第二超分图像帧。
10.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧，确定所述第一图像帧和所述第二图像帧之间的光流矢量，包括：
根据所述第一图像帧、所述第二图像帧和光流生成网络，确定所述光流矢量；
所述根据所述光流矢量、所述第二图像帧和所述第一超分图像帧，确定所述第二图像帧对应的第二超分图像帧，包括：
根据所述光流矢量、所述第二图像帧、所述第一超分图像帧和所述光流生成网络，确定所述第二超分图像帧。
11.根据权利要求10所述的方法，其特征在于，还包括：
获取同一视频不同场景下的多组相邻图像帧；
通过所述多组相邻图像帧训练所述光流生成网络。
12.根据权利要求11所述的方法，其特征在于，所述通过所述多组相邻图像帧训练所述光流生成网络，包括：
针对所述多组相邻图像帧中的任一组相邻图像帧，所述相邻图像帧依次包括：第三图像帧和第四图像帧，通过所述光流生成网络确定所述第四图像帧对应的第三超分图像帧；
通过判别网络确定所述第三超分图像帧的得分和第五图像帧的得分，所述第五图像帧是相对于所述第四图像帧的高分辨率图像帧；
根据所述第三超分图像帧、所述第五图像帧、所述第四图像帧的通道数、在确定所述第三超分图像帧时所述第四图像帧对应的上采样光流矢量和所述第三超分图像帧的得分确定所述光流生成网络的第一损失值；
根据所述第三超分图像帧的得分和所述第五图像帧的得分确定所述判别网络的第二损失值；
当所述第一损失值和所述第二损失值均满足预设条件时，则停止训练所述光流生成网络，否则，则采用所述相邻图像帧的下一相邻图像帧训练所述光流生成网络。
13.一种图像超分处理装置，其特征在于，包括：
第一获取模块，用于获取第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧是相邻两帧图像中的前一帧图像和后一帧图像；
第一确定模块，用于根据所述第一图像帧和所述第二图像帧，确定所述第一图像帧和所述第二图像帧之间的光流矢量；
第二获取模块，用于获取所述第一图像帧对应的第一超分图像帧；
第二确定模块，用于：
对所述光流矢量进行上采样，以对上采样后的光流矢量和所述第一超分图像帧进行融合，得到融合图像帧；
对所述融合图像帧进行空间信息到通道信息上的转换，得到转换图像帧，所述转换图像帧与所述第二图像帧的尺寸相同；
对所述转换图像帧和所述第二图像帧基于通道信息进行合并，得到第二合并图像帧；
对所述第二合并图像帧进行上采样，得到第一上采样图像帧；
根据所述第一上采样图像帧，确定所述第二图像帧对应的第二超分图像帧。
14.一种图像超分处理设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至12中任一项所述的方法。
CN202110191879.2A 2021-02-19 2021-02-19 图像超分处理方法、装置、设备及存储介质 Active CN113592709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110191879.2A CN113592709B (zh) 2021-02-19 2021-02-19 图像超分处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110191879.2A CN113592709B (zh) 2021-02-19 2021-02-19 图像超分处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113592709A CN113592709A (zh) 2021-11-02
CN113592709B true CN113592709B (zh) 2023-07-25

Family

ID=78238091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110191879.2A Active CN113592709B (zh) 2021-02-19 2021-02-19 图像超分处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113592709B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797453A (zh) * 2022-03-17 2023-09-22 北京字节跳动网络技术有限公司 一种视频的超分辨率方法及装置
CN116797452A (zh) * 2022-03-17 2023-09-22 北京字节跳动网络技术有限公司 一种视频的超分辨率方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN110570356A (zh) * 2019-09-18 2019-12-13 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
WO2020062191A1 (zh) * 2018-09-29 2020-04-02 华为技术有限公司 图像处理方法、装置及设备
CN111047516A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111192312A (zh) * 2019-12-04 2020-05-22 中广核工程有限公司 基于深度学习的深度图像获取方法、装置、设备及介质
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111402130A (zh) * 2020-02-21 2020-07-10 华为技术有限公司 数据处理方法和数据处理装置
CN111587447A (zh) * 2018-01-02 2020-08-25 谷歌有限责任公司 帧循环视频超分辨率
CN111667410A (zh) * 2020-06-10 2020-09-15 腾讯科技（深圳）有限公司 图像分辨率提升方法、装置及电子设备
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111783712A (zh) * 2020-07-09 2020-10-16 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备及介质
WO2020220517A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN112365403A (zh) * 2020-11-20 2021-02-12 山东大学 一种基于深度学习和相邻帧的视频超分辨率恢复方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326069B2 (en) * 2008-06-30 2012-12-04 Intel Corporation Computing higher resolution images from multiple lower resolution images
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9230303B2 (en) * 2013-04-16 2016-01-05 The United States Of America, As Represented By The Secretary Of The Navy Multi-frame super-resolution of image sequence with arbitrary motion patterns
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111587447A (zh) * 2018-01-02 2020-08-25 谷歌有限责任公司 帧循环视频超分辨率
WO2020062191A1 (zh) * 2018-09-29 2020-04-02 华为技术有限公司 图像处理方法、装置及设备
WO2020220517A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN110570356A (zh) * 2019-09-18 2019-12-13 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN111192312A (zh) * 2019-12-04 2020-05-22 中广核工程有限公司 基于深度学习的深度图像获取方法、装置、设备及介质
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111402130A (zh) * 2020-02-21 2020-07-10 华为技术有限公司 数据处理方法和数据处理装置
CN111047516A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111667410A (zh) * 2020-06-10 2020-09-15 腾讯科技（深圳）有限公司 图像分辨率提升方法、装置及电子设备
CN111783712A (zh) * 2020-07-09 2020-10-16 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备及介质
CN112365403A (zh) * 2020-11-20 2021-02-12 山东大学 一种基于深度学习和相邻帧的视频超分辨率恢复方法

Also Published As

Publication number Publication date
CN113592709A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US20220108542A1 (en) Image processing method and apparatus, electronic device and computer readable storage medium
CN108460411B (zh) 实例分割方法和装置、电子设备、程序和介质
US20210090217A1 (en) Video coding for machine (vcm) based system and method for video super resolution (sr)
US20210065393A1 (en) Method for stereo matching using end-to-end convolutional neural network
CN113592709B (zh) 图像超分处理方法、装置、设备及存储介质
CN112330664B (zh) 路面病害检测方法、装置、电子设备及存储介质
CN112949388A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN114898315A (zh) 驾驶场景信息确定方法、对象信息预测模型训练方法及装置
CN110166759B (zh) 图像的处理方法和装置、存储介质、电子装置
CN111028279A (zh) 点云数据处理方法及装置、电子设备和存储介质
CN112381828A (zh) 基于语义和深度信息的定位方法、装置、介质与设备
KR102342526B1 (ko) 비디오 컬러화 방법 및 장치
CN112598673A (zh) 全景分割方法、装置、电子设备和计算机可读介质
CN113313832A (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
KR102340988B1 (ko) 고해상도 객체 검출장치 및 방법
CN112801907A (zh) 深度图像的处理方法、装置、设备和存储介质
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
CN113421217A (zh) 可行驶区域检测方法和装置
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
Selvaraj et al. Infrared and visible image fusion using multi‐scale NSCT and rolling‐guidance filter
CN112714263A (zh) 视频生成方法、装置、设备及存储介质
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN113808157B (zh) 图像处理方法、装置、及计算机设备
CN115965839A (zh) 图像识别方法、存储介质及设备
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056090

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant