CN114418845A - 图像分辨率提升方法及装置、存储介质及电子设备 - Google Patents
图像分辨率提升方法及装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114418845A CN114418845A CN202111630872.2A CN202111630872A CN114418845A CN 114418845 A CN114418845 A CN 114418845A CN 202111630872 A CN202111630872 A CN 202111630872A CN 114418845 A CN114418845 A CN 114418845A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- frame
- resolution
- hyper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000003287 optical effect Effects 0.000 claims abstract description 82
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000006872 improvement Effects 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开涉及图像处理技术领域，具体涉及一种图像分辨率提升方法及装置、计算机可读存储介质及电子设备，方法包括：获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流；对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像；根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像；对所述目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。本公开实施例的技术方案提升了图像分辨率提升方法的精度。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像分辨率提升方法及装置、计算机可读存储介质及电子设备。
背景技术
随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。
视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。但是，现有技术中的图像分辨率提升方法的精度较差。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像分辨率提升方法、图像分辨率提升装置、计算机可读介质和电子设备，进而至少在一定程度上提升了图像分辨率提升方法的精度。
根据本公开的第一方面，提供一种图像分辨率提升方法，包括：获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流；对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像；根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像；对所述目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。
根据本公开的第二方面，提供一种图像分辨率提升装置，包括：图像获取模块，用于获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流；特征提取模块，用于对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像；图像超分模块，用于根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像；图像融合模块，用于对所述目标帧进行上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像分辨率提升方法，获取一个目标帧和至少一个参考帧，并确定目标帧和参考帧之间光流；对目标帧和参考帧进行特征提取得到目标特征图像和参考特征图像；根据目标特征图像、参考特征图像以及光流利用预训练的视频超分模型对目标特征图像及进行分辨率提升得到目标中间超分图像；对目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据第一参考图像与中间超分图像得到目标超分图像，相较于现有技术，根据目标特征图像、参考特征图像以及光流利用预训练的视频超分模型对目标特征图像及进行分辨率提升得到中间超分图像，能更充分利用时间信息，表达力更强，提升精度，进一步的采用对目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据第一参考图像与中间超分图像得到目标超分图像，利用目标特征图像作为参考进一步的提升了图像分辨率提升方法的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图2示意性示出本公开示例性实施例中一种图像分辨率提升方法的流程图；
图3示意性示出本公开示例性实施例中一种图像分辨率提升方法的总体数据流向图；
图4示意性示出本公开示例性实施例中一种图像分辨率提升方法中视频超分模型的结构图；
图5示意性示出本公开示例性实施例中一种第二方向光流时视频超分模型的数据流向图；
图6示意性示出本公开示例性实施例中一种第一方向光流时视频超分模型的数据流向图；
图7示意性示出本公开示例性实施例中一种transformer层的结构示意图；
图8示意性示出本公开示例性实施例中一种消融实验的结果图；
图9示意性示出本公开示例性实施例中一种图像分辨率提升方法与其他方法的比较图；
图10示意性示出本公开示例性实施例中一种图像分辨率提升方法与其他方法的比较的数据图；
图11示意性示出本公开示例性实施例中图像分辨率提升装置的组成示意图；
图12示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中XXX相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。
在一种实施方式中，可以由终端110执行上述图像分辨率提升方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取目标帧和至少一个参考帧后，由终端110对该图像进行图像分辨率提升，输出目标超分图像。
在一种实施方式中，可以由服务器120可以执行上述图像分辨率提升图像分辨率提升方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取目标帧和至少一个参考帧后，终端110将该图像上传至服务器120，由服务器120对该图像进行图像分辨率提升，向终端110返回目标超分图像。
由上可知，本示例性实施方式中的种图像分辨率提升方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。
本公开的示例性实施方式还提供一种用于执行上述图像分辨率提升方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像图像分辨率提升方法。
在相关技术中，根据模型尺度，可以分成3种模式，上采样，下采样和混合采样方式。直接上采样到高维度之后再进一步提取特征表达，计算复杂度会很高；下采样方式一般是在低尺度进行特征计算，最后上采样到高维度，降低了复杂度，但是低维度阶段的模型选择对结果影响很大。
另一个角度看，也可以分为单帧超分和多帧超分，前者是根据一张图的信息获取高分辨率的图像，后者是利用时序相关的多帧图片获取某帧的高分辨率图像。在时序模型中，对齐机制非常重要，否则容易出现伪影。特征表达对结果影响非常重要，但是一般而言好的特征表达需要更多的CNN层，也意味着更大的复杂度。时序信息的引入加上合适的对齐机制，对超分结果是有益的。但是时序信息的引入会同时导致计算复杂度增加。
下面结合图2对本示例性实施方式中的图像分辨率提升方法进行说明，图2示出了该图像分辨率提升方法的示例性流程，可以包括：
步骤S210，获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流；
步骤S220，对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像；
步骤S230，根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像；
步骤S240，对所述目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。
基于上述方法，相较于现有技术，根据目标特征图像、参考特征图像以及光流利用预训练的视频超分模型对目标特征图像及进行分辨率提升得到中间超分图像，能更充分利用时间信息，表达力更强，提升精度，进一步的采用对目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据第一参考图像与中间超分图像得到目标超分图像，利用目标特征图像作为参考进一步的提升了图像分辨率提升方法的精度。
下面对图2中的每个步骤进行具体说明。
参考图2，在步骤S210中，获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流。
在一示例性实施例中，在一示例性实施例中，可以获取一个目标帧和至少一个参考帧作为输入数据，其中，输入数据可以包括多帧连续图像，即上述参考图像包括多个，例如，三帧连续图像、四帧连续图形或更多帧的连续图像等，采用连续图像能够使得视频分辨率的提升效果更好。在另一种示例实施方式中，输入数据还可以包括多帧非连续图像，在本示例实施方式中不对多帧图像做具体限定。
在本示例实施方式中，在上述输出数据为三帧连续图像时，上述参考帧可以是目标帧的前一帧和后一帧，即目标帧取输入数据的中间帧。若上述输入数据为偶数帧，此时，上述中间帧可以包括两帧，其中目标帧可以是两帧中的任一帧，或者是两帧的平均值。其他帧均为参考帧。
在本示例实施方式中，以输入数据包括3帧连续图像进行详细说明，即，以上述参考帧包括目标帧的前一帧和目标帧的后一帧为例进行说明。
在步骤S220中，对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像。
在本示例实施方式中，服务器可以采用首先按照预设规则对上述目标帧和上述参考帧进行切分，可以切分为20份、50份或69份等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
需要说明的是，上述目标帧和上述参考帧的切分次数相同，且切分后的目标帧以上述参考帧一一对应。
在本示例实施方式中，参照图3所示，可以在完成切分后，采用特征预提取模块对上述切分后的目标帧和上述参考帧分别进行特征提取得到目标特征图像法和参考特征图像。xj-1,xj,and xj+1表示3个连续低分辨率图，F0,j-1,F0,j,and F0,j+1代表从xj-1,xj,and xj+1经过特征预提取模块310后得到的目标特征图像和参考特征图像。这些预提取特征会送给SR模块，即视频超分模块。
在本示例实施方式中，特征预提取模块310可以由由5个残差block组成，能够提取低分辨率图片的浅层特征。特征预提取模块310的具体结构也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在步骤S230中，根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像。
在本示例实施方式中，可以根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型330对所述目标特征图像进行多阶段分辨率提升得到中间超分图像，其中，上述阶段可以是4个、5个、6个等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定，
在本示例实施方式中，上述光流可以包括第一方向光流和第二方向光流，其中，第一方向光流可以是正向时间光流，第二方向光流可以是逆向时间光流，即第一方向光流是前一帧向后一帧的光流，第二方向光流为后一帧向前一帧的光流。
在本示例时候中，参照图4所示，上述多个阶段的辨率提升过程中，若所述阶段为奇数阶段，则所述光流为第二方向光流，若所述阶段为偶数阶段，则所述光流为第一方向光流，采用混合双向传播机制，能更充分利用时间信息，表达力更强。
需要说明的是，在图4中，直接利用参考帧特征融入目标帧会导致出现偏差，利用光流来warp参考帧帧，即图4中的flowi,j；pi(·)表示第i个前向传播节点，图4中i＝[1,2,3,4]。Fi,j表示目标特征图像经过第i个前向传播函数后的输出特征。Fj表示目标特征图像帧图像的中间超分图像。那么，有如下公式：
Fi,j＝pi(xj),Fj＝SR(xj)
低分辨率图像xj的SR module处理过程可以表述为
Fj＝SR(F0,j-1,F0,j,F0,j+1,flowj+1,j,flowi-1,j)
SR(·)代表超分的SR module，即视频超分模型,flowj+1,j代表xj+1到xj的光流，即第二方向光流。SR是由多个前向传播和后向传播组成，具体的：
前向传播节点是Fi,j＝Pi(F0,j+1,F0,j,Fi-1,j,Fi,j-1,flowj-1,j)
后向传播节点是Fi,j＝Pi(F0,j-1,F0,j,Fi-1,j,Fi,j+1,flowj+1,j)
最后一层输出之后，和之前的所有层的输出进行融合，得到
Fj＝C(F1,j,F2,j,F3,j,F4,j)
C代表concatenation操作，即融合操作。
在本示例实施方式中，参照图5所示，可以响应所述光流为第一方向光流，将所述目标特征图像、所述目标帧的后一帧对应的参考特征图像、当前阶段的所述目标帧前一帧的参考帧对应的特征图像、前一阶段的中间超分图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升得到当前阶段的参考中间超分图像。
具体而言，利用三维卷积层520对目标特征图像、目标帧的后一帧对应的参考特征图像、当前阶段的目标帧前一帧的参考帧对应的特征图像进行卷积操作得到第一特征图像；对当前阶段的目标帧前一帧的参考帧对应的特征图像和光流进行变化得到第二特征图像；对第二特征图像、前一阶段的中间超分图像以及第一特征图像执行融合操作，即concatenation操作，得到第三特征图像；利用至少一个transformer层520对第三特征图像进行特征转换得到第一待输出超分图像；对第一待输出超分图像进行第二预设倍数的上采样得到当前阶段的参考中间超分图像。
或者，参照图6所示，响应光流为第二方向光流，将目标特征图像、目标帧的前一帧对应的参考特征图像、当前阶段的目标帧后一帧的参考帧对应的特征图像、前一阶段的目标特征图像输入至预训练的视频超分模型对目标特征图像进行分辨率提升，得到当前阶段的参考中间超分图像。
具体而言，利用三维卷积层510对目标特征图像、目标帧的前一帧对应的参考特征图像、当前阶段的目标帧后一帧的参考帧对应的特征图像进行卷积操作得到第四特征图像；对当前阶段的目标帧前一帧的参考帧对应的特征图像和光流进行变化得到第五特征图像；将第四特征图像、前一阶段的中间超分图像以及第五特征图像执行融合操作，即concatenation操作，得到第六特征图像；利用至少一个transformer层520对第六特征图像进行特征转换得到第二待输出超分图像；对第二待输出超分图像进行第二预设倍数的上采样得到当前阶段的参考中间超分图像。
在本示例实施方式中，参照图7所示，利用至少一个transformer层520对第三特征图像进行特征转换得到第一待输出超分图像时，可以首先根据上述第三特征图像计算transformer层中自注意力机制层(图7中Attentionceng1)中的Q矩阵、V矩阵以及K矩阵，然后利用自注意力机制和前馈神经网络(图7中的Feed Forward)得到上述第一待输出超分图像。
同理，利用至少一个transformer层对第六特征图像进行特征转换得到第二待输出超分图像是，可以首先根据上述第六特征图像计算transformer层中自注意力机制层中的Q矩阵、V矩阵以及K矩阵，然后利用自注意力机制和前馈神经网络得到上述第二待输出超分图像。
在本示例实施方式中，在得到上述第一待输出超分图像和第二待输出超分图像之后，可以对上述第一待输出超分图像进行第二预设倍数的上采样得到当前阶段的参考中间特征图像，或者对上述第二待输出超分图像进行第二预设倍数的上采样得到当前阶段的参考中间特征图像。
其中，上述第二预设倍数可以是2倍、4倍等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在本示例实施方式，可以根据上述第二预设倍数确定至少一个上采样卷积层，利用上述至少一个上采样卷积层对完成上采样过程。
具体而言，利用至少一个上采样卷积层增大上述第一待输出超分图像的通道数得到第一待合并通道图像，可以将上述第一待合并通道图像转移至上述第一待输出特征图像的高和宽上得到上述当前阶段的参考中间超分图像。具体可以采用pixel_shuffle将第一待合并通道图像‘转移到’第一待输出特征图像的宽度和高度上。若上述预设倍数为2，则得到的目标图像的高和宽均为上述第一待输出特征图像的两倍。
同理，利用至少一个上采样卷积层增大上述第二待输出超分图像的的通道数得到第二待合并通道图像，可以将上述第二待合并通道图像转移至上述第二待输出特征图像的高和宽上得到上述当前阶段的参考中间超分图像。具体可以采用pixel_shuffle将第二待合并通道图像‘转移到’第二待输出特征图像的宽度和高度上。若上述预设倍数为2，则得到的目标图像的高和宽均为上述第二待输出特征图像的两倍。
在步骤S240，对所述目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。
在本示例实实施方式中，可以多上述目标特征图像进行第一预设倍数的上采样模块320得到上述第一参考图像，其中，上述第一预设倍数可以是2倍、四倍等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在得到上述第一参考图像之后，可以将上述第一参考图像和上述目标中间中间超分图像进行相加得到所述目标超分图像。
在本示例实施方式中，可以通过消融实验来队本公开提出的图像分辨率提升方法的技术效果进行详细说明，参照图8所示，其中，Base是basicVSR的简化版，MBP表示图4的传播结构，LGM表示提出的收集多信息的3Dresblocks，LVT是transformer模块，MDF是重建模块。PSNR和SSIM两个指标来衡量超分效果。每个提出的模块都对最终结果有增益。其中Base是basicVSR[2]的简化版，将resblocks数量从30减少到20。在此基础上，我们进一步减少了LGM模块中3D-Res-Blocks的层数，可以降低到和basicVSR差不多的复杂度，此时PSNR依然比basicVSR高，参照图9所示图10所示，本文提出的像分辨率提升方法即MBT，与其他方法比较。可以看出我们提出的方法在多个数据集包括REDS4和VID4上都有较大提升,在vimeo-90K上也有很强的竞争力，参数量和计算复杂度比SOTA低67％。FLOPs/frame表示输出每一帧对应的FLOPs。
综上所述，本示例性实施方式中，相较于现有技术，根据目标特征图像、参考特征图像以及光流利用预训练的视频超分模型对目标特征图像及进行分辨率提升得到中间超分图像，能更充分利用时间信息，表达力更强，提升精度，进一步的采用对目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据第一参考图像与中间超分图像得到目标超分图像，利用目标特征图像作为参考进一步的提升了图像分辨率提升方法的精度，进一步的采用混合双向光流传播机制，能更充分利用时间信息，表达力更强，再进一步的，利用transformer层进行了特征转换能够较为准确的捕获图像的全局信息，提升对他徐昂分辨率提升的精度。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图11所示，本示例的实施方式中还提供一种图像分辨率提升装置1100，包括图像获取模块1110、特征提取模块1120、图像超分模块1130和图像融合模块1140。其中：
图像获取模块1110可以用于获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流。所述光流包括第一方向光流和第二方向光流；其中，所述第一方向光流为正向时间的光流；所述第二方向光流为逆向时间光流。所述参考帧包括所述目标帧的前一帧和所述目标帧的后一阵。
特征提取模块1120可以用于对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像。具体而言，将所述目标帧按照预设规则进行切分并进行特征提取得到多个所述目标特征图像；将所述参考帧帧按照预设规则进行切分并进行特征提取得到多个所述参考特征图像。
图像超分模块1130可以用于根据所述目标特征图像、所述参考特征图像以及所属光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到中间超分图像。
具体而言，根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像进行多阶段分辨率提升得到目标中间超分图像。
图像超分模块1130针对每一个阶段，执行如下步骤：
响应所述光流为第一方向光流，将所述目标特征图像、所述目标帧的后一帧对应的参考特征图像、当前阶段的所述目标帧前一帧的参考帧对应的特征图像、前一阶段的中间超分图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升得到当前阶段的参考中间超分图像；将每一个阶段的参考中间超分图像进行融合得到所述目标中间超分图像其中，第0阶段的中间超分图像为所述目标特征图像。
具体而言，若所述阶段为奇数阶段，则所述光流为第二方向光流，若所述阶段为偶数阶段，则所述光流为第一方向光流，利用三维卷积层对所述目标特征图像、所述目标帧的后一帧对应的参考特征图像、当前阶段的所述目标帧前一帧的参考帧对应的特征图像进行卷积操作得到第一特征图像；对所述当前阶段的所述目标帧前一帧的参考帧对应的特征图像和所述光流进行变化得到第二特征图像；将所述第二特征图像、所述前一阶段的中间超分图像以及所述第一特征图像及得到第三特征图像；利用至少一个transformer层对所述第三特征图像进行特征转换得到第一待输出超分图像；对所述第一待输出超分图像进行第二预设倍数的上采样得到当前阶段的所述参考中间超分图像。或
图像超分模块1130响应所述光流为第二方向光流，将所述目标特征图像、所述目标帧的前一帧对应的参考特征图像、当前阶段的所述目标帧后一帧的参考帧对应的特征图像、前一阶段的目标特征图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升，得到当前阶段的参考中间超分图像；将每一个阶段的参考中间超分图像进行融合得到所述目标中间超分图像。
具体而言，利用三维卷积层对所述目标特征图像、所述目标帧的前一帧对应的参考特征图像、当前阶段的所述目标帧后一帧的参考帧对应的特征图像进行卷积操作得到第四特征图像；对所述当前阶段的所述目标帧前一帧的参考帧对应的特征图像和所述光流进行变化得到第五特征图像；将所述第四特征图像、所述前一阶段的中间超分图像以及所述第五特征图像及得到第六特征图像；利用至少一个transformer层对所述第六特征图像进行特征转换得到第二待输出超分图像；对所述第二待输出超分图像进行第二预设倍数的上采样得到当前阶段的所述参考中间超分图像。
图像融合模块1140可以用于对所述目标特征图像进行上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。具体而言，将所述第一参考图像与所述目标中间超分图像进行相加得到所述目标超分图像。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
下面以图12中的移动终端1200为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图12中的构造也能够应用于固定类型的设备。
如图12所示，移动终端1200具体可以包括：处理器1201、存储器1202、总线1203、移动通信模块1204、天线1、无线通信模块1205、天线2、显示屏1206、摄像模块1207、音频模块1208、电源模块1209与传感器模块1210。
处理器1201可以包括一个或多个处理单元，例如：处理器1210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像分辨率提升方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。
编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行分辨率提升的相关处理。移动终端1200可以支持一种或多种编码器和解码器。这样，移动终端1200可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG12、H.1263、H.1264、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。
处理器1201可以通过总线1203与存储器1202或其他部件形成连接。
存储器1202可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器1201通过运行存储在存储器1202的指令，执行移动终端1200的各种功能应用以及数据处理。存储器1202还可以存储应用数据，例如存储图像，视频等文件。
移动终端1200的通信功能可以通过移动通信模块1204、天线1、无线通信模块1205、天线12、调制解调处理器以及基带处理器等实现。天线1和天线12用于发射和接收电磁波信号。移动通信模块1204可以提供应用在移动终端1200上12G、3G、4G、5G等移动通信解决方案。无线通信模块1205可以提供应用在移动终端1200上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏1206用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1207用于实现拍摄功能，如拍摄图像、视频等。音频模块1208用于实现音频功能，如播放音频，采集语音等。电源模块1209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1210可以包括深度传感器12101、压力传感器12102、陀螺仪传感器12103、气压传感器12104等，以实现相应的感应检测功能。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的根据体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (12)
1.一种图像分辨率提升方法，其特征在于，包括：
获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流；
对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像；
根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像；
对所述目标特征图像进行第一预设倍数的上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。
2.根据权利要求1所述的方法，其特征在于，所述光流包括第一方向光流和第二方向光流；
其中，所述第一方向光流为正向时间的光流；所述第二方向光流为逆向时间光流。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像进行分辨率提升得到目标中间超分图像包括：
根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像进行多阶段分辨率提升得到目标中间超分图像。
4.根据权利要求3所述的方法，其特征在于，所述参考帧包括所述目标帧的前一帧和所述目标帧的后一阵，所述根据所述目标特征图像、所述参考特征图像以及所述光流利用预训练的视频超分模型对所述目标特征图像进行多阶段分辨率提升得到目标中间超分图像，包括：
针对每一个阶段，执行如下步骤：
响应所述光流为第一方向光流，将所述目标特征图像、所述目标帧的后一帧对应的参考特征图像、当前阶段的所述目标帧前一帧的参考帧对应的特征图像、前一阶段的中间超分图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升得到当前阶段的参考中间超分图像；或
响应所述光流为第二方向光流，将所述目标特征图像、所述目标帧的前一帧对应的参考特征图像、当前阶段的所述目标帧后一帧的参考帧对应的特征图像、前一阶段的目标特征图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升，得到当前阶段的参考中间超分图像；
将各所述阶段的参考中间超分图像进行融合得到所述目标中间超分图像；
其中，第0阶段的中间超分图像为所述目标特征图像。
5.根据权利要求4所述的方法，其特征在于，若所述阶段为奇数阶段，则所述光流为第二方向光流，若所述阶段为偶数阶段，则所述光流为第一方向光流。
6.根据权利要求4所述的方法，其特征在于，所述将所述目标特征图像、所述目标帧的后一帧对应的参考特征图像、当前阶段的所述目标帧前一帧的参考帧对应的特征图像、前一阶段的中间超分图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升得到当前阶段的所述中间超分图像，包括：
利用三维卷积层对所述目标特征图像、所述目标帧的后一帧对应的参考特征图像、当前阶段的所述目标帧前一帧的参考帧对应的特征图像进行卷积操作得到第一特征图像；
对所述当前阶段的所述目标帧前一帧的参考帧对应的特征图像和所述光流进行变化得到第二特征图像；
将所述第二特征图像、所述前一阶段的中间超分图像以及所述第一特征图像执行融合操作得到第三特征图像；
利用至少一个transformer层对所述第三特征图像进行特征转换得到第一待输出超分图像；
对所述第一待输出超分图像进行第二预设倍数的上采样得到当前阶段的所述参考中间超分图像。
7.根据权利要求4所述的方法，其特征在于，所述将所述目标特征图像、所述目标帧的前一帧对应的参考特征图像、当前阶段的所述目标帧后一帧的参考帧对应的特征图像、前一阶段的中间超分图像输入至所述预训练的视频超分模型对所述目标特征图像进行分辨率提升，得到当前阶段的所述中间超分图像，包括：
利用三维卷积层对所述目标特征图像、所述目标帧的前一帧对应的参考特征图像、当前阶段的所述目标帧后一帧的参考帧对应的特征图像进行卷积操作得到第四特征图像；
对所述当前阶段的所述目标帧前一帧的参考帧对应的特征图像和所述光流进行变化得到第五特征图像；
将所述第四特征图像、所述前一阶段的中间超分图像以及所述第五特征图像执行融合操作得到第六特征图像；
利用至少一个transformer层对所述第六特征图像进行特征转换得到第二待输出超分图像；
对所述第二待输出超分图像进行第二预设倍数的上采样得到当前阶段的所述参考中间超分图像。
8.根据权利要求1所述的方法，其特征在于，所述对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像包括：
将所述目标帧按照预设规则进行切分并进行特征提取得到多个所述目标特征图像；
将所述参考帧帧按照预设规则进行切分并进行特征提取得到多个所述参考特征图像。
9.根据权利要求1所述的方法，其特征在于，所述根据所述第一参考图像与所述中间超分图像得到目标超分图像包括：
将所述第一参考图像与所述目标中间超分图像进行相加得到所述目标超分图像。
10.一种图像分辨率提升装置，其特征在于，包括：
图像获取模块，用于获取一个目标帧和至少一个参考帧，并确定所述目标帧和所述参考帧之间光流；
特征提取模块，用于对所述目标帧和所述参考帧进行特征提取得到目标特征图像和参考特征图像；
图像超分模块，用于根据所述目标特征图像、所述参考特征图像以及所属光流利用预训练的视频超分模型对所述目标特征图像及进行分辨率提升得到目标中间超分图像；
图像融合模块，用于对所述目标特征图像进行上采样得到第一参考图像，并根据所述第一参考图像与所述中间超分图像得到目标超分图像。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9中任一项所述的图像分辨率提升方法。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的图像分辨率提升方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630872.2A CN114418845A (zh) | 2021-12-28 | 2021-12-28 | 图像分辨率提升方法及装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630872.2A CN114418845A (zh) | 2021-12-28 | 2021-12-28 | 图像分辨率提升方法及装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114418845A true CN114418845A (zh) | 2022-04-29 |
Family
ID=81269447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111630872.2A Pending CN114418845A (zh) | 2021-12-28 | 2021-12-28 | 图像分辨率提升方法及装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418845A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116055778A (zh) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | 视频数据的处理方法、电子设备及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402130A (zh) * | 2020-02-21 | 2020-07-10 | 华为技术有限公司 | 数据处理方法和数据处理装置 |
| KR102141319B1 (ko) * | 2019-12-09 | 2020-08-04 | 이화여자대학교 산학협력단 | 다시점 360도 영상의 초해상화 방법 및 영상처리장치 |
| CN112734644A (zh) * | 2021-01-19 | 2021-04-30 | 安徽工业大学 | 一种多个注意力结合光流的视频超分辨模型及方法 |
| CN113055713A (zh) * | 2021-03-08 | 2021-06-29 | Oppo广东移动通信有限公司 | 视频图像超分方法及装置、存储介质和电子设备 |
| CN113409190A (zh) * | 2021-05-14 | 2021-09-17 | 广东工业大学 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
| CN113556496A (zh) * | 2020-04-23 | 2021-10-26 | 京东方科技集团股份有限公司 | 视频分辨率提升方法及装置、存储介质及电子设备 |
| CN113592709A (zh) * | 2021-02-19 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像超分处理方法、装置、设备及存储介质 |
| CN113747242A (zh) * | 2021-09-06 | 2021-12-03 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-28 CN CN202111630872.2A patent/CN114418845A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102141319B1 (ko) * | 2019-12-09 | 2020-08-04 | 이화여자대학교 산학협력단 | 다시점 360도 영상의 초해상화 방법 및 영상처리장치 |
| CN111402130A (zh) * | 2020-02-21 | 2020-07-10 | 华为技术有限公司 | 数据处理方法和数据处理装置 |
| CN113556496A (zh) * | 2020-04-23 | 2021-10-26 | 京东方科技集团股份有限公司 | 视频分辨率提升方法及装置、存储介质及电子设备 |
| CN112734644A (zh) * | 2021-01-19 | 2021-04-30 | 安徽工业大学 | 一种多个注意力结合光流的视频超分辨模型及方法 |
| CN113592709A (zh) * | 2021-02-19 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像超分处理方法、装置、设备及存储介质 |
| CN113055713A (zh) * | 2021-03-08 | 2021-06-29 | Oppo广东移动通信有限公司 | 视频图像超分方法及装置、存储介质和电子设备 |
| CN113409190A (zh) * | 2021-05-14 | 2021-09-17 | 广东工业大学 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
| CN113747242A (zh) * | 2021-09-06 | 2021-12-03 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| LONGGUANG WANG等: "Learning for Video Super-Resolution through HR Optical Flow Estimation", ARXIV:1809.08573V2, 25 October 2018 (2018-10-25), pages 4321 - 4330 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116055778A (zh) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | 视频数据的处理方法、电子设备及可读存储介质 |
| CN116055778B (zh) * | 2022-05-30 | 2023-11-21 | 荣耀终端有限公司 | 视频数据的处理方法、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
| CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN112449140B (zh) | 视频超分辨率处理方法及装置 | |
| CN110889809B9 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| Zhang et al. | Attention-guided image compression by deep reconstruction of compressive sensed saliency skeleton | |
| JP2023522527A (ja) | 画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラム | |
| CN113850718A (zh) | 一种基于帧间特征对齐的视频同步时空超分方法 | |
| CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
| CN114418845A (zh) | 图像分辨率提升方法及装置、存储介质及电子设备 | |
| CN115222974A (zh) | 特征点匹配方法及装置、存储介质及电子设备 | |
| CN114139703A (zh) | 知识蒸馏方法及装置、存储介质及电子设备 | |
| CN113658073A (zh) | 图像去噪处理方法、装置、存储介质与电子设备 | |
| CN113962861A (zh) | 图像重建方法、装置、电子设备和计算机可读介质 | |
| CN113747242A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN113409203A (zh) | 图像模糊程度确定方法、数据集构建方法与去模糊方法 | |
| CN116824005A (zh) | 图像处理方法及装置、存储介质以及电子设备 | |
| CN115205117B (zh) | 图像重建方法及装置、计算机存储介质、电子设备 | |
| CN114399648A (zh) | 行为识别方法及装置、存储介质及电子设备 | |
| CN115187488A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN112215848B (zh) | 一种基于空间信息引导的实时语义分割方法 | |
| CN111798385B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN115063319A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN117808857B (zh) | 一种自监督360°深度估计方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |