CN111047516B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111047516B CN111047516B CN202010168491.6A CN202010168491A CN111047516B CN 111047516 B CN111047516 B CN 111047516B CN 202010168491 A CN202010168491 A CN 202010168491A CN 111047516 B CN111047516 B CN 111047516B
- Authority
- CN
- China
- Prior art keywords
- block
- feature
- frame image
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 159
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000003672 processing method Methods 0.000 title abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 82
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000010586 diagram Methods 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000007499 fusion processing Methods 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 description 87
- 230000008569 process Effects 0.000 description 33
- 238000012549 training Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000499 effect on compression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。方法包括：获取目标帧图像和目标帧图像的相邻帧图像；目标帧图像和相邻帧图像的分辨率均为第一分辨率；根据相邻帧图像对目标帧图像进行运动补偿处理，得到目标帧图像的补偿帧图像；对补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；第一特征块为补偿帧图像中的特征块；对第一特征块和第二特征块进行融合，得到融合特征块；根据融合特征块输出目标帧图像对应的输出帧图像；输出帧图像的分辨率为第二分辨率，第二分辨率高于第一分辨。根据本申请的方案能得到具有更多细节信息的高分辨图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，目前出现了图像超分辨率处理技术，旨在利用低分辨率的图片输出高分辨率的图片。
为了更高效地利用时序信息，传统算法通常会加入一个运动补偿过程，例如基于光流的运动补偿方法。但是，现有方法容易受限于光流的预测精度等，导致不能很好地完成对齐操作，反而在图片重建过程中引入很多噪声，导致输出的图像分辨率不够高。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
基于此，有必要针对上述技术问题，提供一种能够输出高分辨率图像的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，所述方法包括：获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；对所述第一特征块和所述第二特征块进行融合，得到融合特征块；根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。
一种图像处理装置，所述装置包括：图像获取模块，用于获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；运动补偿模块，用于根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；特征块确定模块，用于对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；特征块融合模块，用于对所述第一特征块和所述第二特征块进行融合，得到融合特征块；图像输出模块，用于根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。
在一个实施例中，所述运动补偿模块，包括：第一采样子模块，用于对所述目标帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的目标特征图；第二采样子模块，用于对所述相邻帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的相邻特征图；补偿采样子模块，用于根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像。
在一个实施例中，所述补偿采样子模块，包括：补偿采样单元，用于根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到补偿采样特征图；解码单元，用于通过解码器对所述补偿采样特征图中的特征进行解码，得到所述目标帧图像的补偿帧图像。
在一个实施例中，所述补偿采样子模块，包括：运动补偿单元，用于根据第一尺寸的所述相邻特征图对第一尺寸的所述目标特征图进行运动补偿处理，得到补偿特征图；上采样单元，用于对所述补偿特征图进行上采样，得到第二尺寸的参考特征图；补偿帧图像获取单元，用于根据第二尺寸的所述目标特征图、所述相邻特征图以及所述参考特征图，得到与所述目标帧图像尺寸相同的所述补偿帧图像。
在一个实施例中，所述运动补偿单元，包括：目标图片块获取子单元，用于获取第一尺寸的所述目标特征图中的目标图片块；相似图片块获取子单元，用于从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块；图片块融合子单元，用于对所述目标图片块和所述至少一个相似图片块进行特征融合处理，得到所述补偿特征图。
在一个实施例中，所述图片块融合子单元，包括：相似图片块卷积段，用于对所述至少一个相似图片块进行卷积处理，得到卷积图片块；权重特征图确定段，用于对第一尺寸的所述目标特征图和第一尺寸的所述相邻特征图进行卷积处理，根据卷积处理结果得到权重特征图；所述权重特征图中包含有所述目标特征图各个像素点对应的权重；权重图片块确定段，用于从所述权重特征图中确定与所述目标图片块中像素点对应的权重图片块；特征向量内积段，用于对所述卷积图片块对应的颜色特征向量和所述权重图片块对应的权重特征向量进行内积运算，将内积运算的结果作为所述目标图片块的中心像素点的颜色特征；特征图确定段，用于根据所述中心像素点的颜色特征得到所述补偿特征图。
在一个实施例中，相似图片块获取子单元，包括：第一特征向量确定段，用于确定第一尺寸的所述相邻特征图中各个图片块的颜色特征向量；第二特征向量确定段，用于确定所述目标图片块的颜色特征向量；相似度确定段，用于确定所述各个图片块的颜色特征向量与所述目标图片块的颜色特征向量的余弦相似度；相似图片块确定段，用于对所述各个图片块对应的余弦相似度进行排序，根据排序结果从所述各个图片块中选出所述相似图片块。
在一个实施例中，所述特征块确定模块，包括：第三采样子模块，用于对所述补偿帧图像进行至少一次下采样，得到至少一个候选特征图；特征块确定子模块，用于从所述至少一个候选特征图的全局确定所述第一特征块的相似特征块，得到所述第二特征块。
在一个实施例中，所述特征块融合模块，包括：特征块聚焦子模块，用于通过自注意力模型分别确定所述第一特征块和所述第二特征块中的有效特征块，得到第一目标特征块和第二目标特征块；第一卷积子模块，用于对所述第一目标特征块进行卷积处理，得到第一子卷积块；对所述第一目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第二子卷积块，将所述第一子卷积块和所述第二子卷积块相乘，得到与所述第一目标特征块对应的第一卷积块；第二卷积子模块，用于对所述第二目标特征块进行卷积处理，得到第三子卷积块；对所述第二目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第四子卷积块，将所述第三子卷积块和所述第四子卷积块相乘，得到与所述第二目标特征块对应的第二卷积块；第三卷积子模块，用于对所述第一卷积块和所述第二卷积块进行卷积处理，得到所述融合特征块。
在一个实施例中，所述图像输出模块，包括：图像重构子模块，用于通过图像重构模型对所述融合特征块进行图像重构；图像输出子模块，用于根据图像重构结果输出所述输出帧图像。
在一个实施例中，所述装置包括：边缘区域确定模块，用于通过边缘探测器确定所述输出帧图像的边缘区域；权重增大模块，用于增大所述边缘区域的权重，得到目标权重；模型训练模块，用于将所述目标权重输入到所述图像重构模型的损失函数中，以对所述图像重构模型进行训练。
在一个实施例中，所述图像输出模块，包括：上采样子模块，用于对所述融合特征块进行上采样处理；图像显示子模块，用于根据经过上采样处理的所述融合特征块得到输出帧图像并显示在显示屏中。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；对所述第一特征块和所述第二特征块进行融合，得到融合特征块；根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；对所述第一特征块和所述第二特征块进行融合，得到融合特征块；根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨。
上述图像处理方法、装置、计算机设备和存储介质，根据相邻帧图像对目标帧图像进行运动补偿处理，得到补偿帧图像，这个补偿帧图像融合了目标帧图像和相邻帧图像的特征信息；然后对补偿帧图像进行下采样，将下采样得到的特征图中的特征块进行融合，得到融合了补偿帧图像多尺寸的特征信息的融合特征块，根据该融合特征块输出目标帧图像对应的高分辨率图像，能得到具有更多细节信息的高分辨图像。
附图说明
图1为一个实施例中图像处理方法的应用环境图。
图2为一个实施例中图像处理方法的流程示意图。
图3为一个实施例中确定补偿帧图像的流程示意图。
图4为一个实施例中对齐过程的流程示意图。
图5为一个实施例中确定融合特征块的流程示意图。
图6为一个实施例中对特征块进行处理的流程示意图。
图7为另一个实施例中图像处理方法的流程示意图。
图8为再一个实施例中图像处理方法的流程示意图。
图9为一个实施例中NNHA对边缘特征影响的效果示意图。
图10为一个实施例中MPI Sintel流数据集上不同近邻数估计的光流平均误差。
图11为一个实施例中NNCA的结果对比示意图。
图12为一个实施例中EAL的结果对比示意图。
图13为一个实施例中EDVR与VSRKNN的结果对比示意图。
图14为一个实施例中图像处理装置的结构框。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于计算机设备中，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，如图2所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S201，获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率。
超分辨率(Super-Resolution)是提高原有图像的分辨率的方法，通过一系列低分辨率的图像来得到高分辨率的图像过程就是超分辨率重建。
进一步的，目标帧图像指的是当前所研究的帧图像，而相邻帧图像指的是与目标帧图像相邻的帧图像，其中，相邻帧不限定隔壁一个帧，可以是隔壁2个，也可以是隔壁3个，甚至更多。具体的，因为同时要考虑到前后，所以相邻帧图像也可以为前后帧图像，例如：为前边2帧和后边2帧。
目标帧图像及其相邻帧图像可以是视频监控等安防领域及直播、短视频分享社区等社交化娱乐产品产生的图像，例如，从监控摄像头拍摄的视频中拆分出来的图像，图像在网络传输过程中由于受到宽带限制，都会进行压缩，所以传到用户电脑，视频或者图像可能是低分辨率的（或者相对于原始图像分辨率变低了），需要通过超分辨率处理技术输出其对应的高分辨率图像。本发明实施例限定目标帧图像和相邻帧图像的分辨率为第一分辨率，这个第一分辨率可以为低分辨率，其中，低分辨率可以指图像分辨率很低，例如：128×96等，这些图像在屏幕上显示不够清晰，用户用肉眼可能看不清很多图片细节；另一方面，低分辨率也可以是一个相对概念，即，其低分辨率图像的实际分辨率不低，用户用肉眼也可以看清该图像中的大部分图片细节，但是当前需要对其进行超分辨率处理，得到一个分辨率更高的高分辨率图像，那相对于输出的图像而言该图像就是低分辨率图像了。在某些实施例中，也可以对输入图像通过编码器编码的方式得到对应的低分辨率图像。
S202，根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像。
本步骤根据相邻帧图像对目标帧图像中的信息进行运动补偿，所得到的补偿帧图像综合了目标帧图像和相邻帧图像中的特征，拥有了更丰富的特征信息。
其中，运动补偿是一种描述相邻帧（相邻在这里可以表示在编码关系上相邻，在播放顺序上两帧未必相邻）差别的方法，具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去。相邻的帧通常很相似，也就是说，包含了很多冗余，使用运动补偿的目的是通过消除这种冗余，提高压缩比。进一步地，对相邻帧图像进行运动补偿能够使得某一帧图像与其相邻帧图像中的信息实现对齐，因此，对帧图像进行运动补偿处理也可以称为对齐处理。其中，对齐（Alignmeng）指的是将两个帧图像中相同的图案匹配到一起的处理方式，可以通过平均池化（AvgPool）等实现。对于一个目标A在运动的视频，目标A身上的纽扣会不断的移动，则将该视频中相邻的多个帧中目标A身上的纽扣匹配到一起并建立这几个帧中纽扣的对应关系，就可以理解为对齐。进一步的，对齐操作还可以包括根据这几帧的图像信息整合得到一个图像信息的过程。
在一些实施例中，可以先对目标帧图像和相邻帧图像分别进行下采样，下采样得到的图像在同一尺寸上进行运动补偿，并逐个尺寸进行上采样，得到补偿帧图像。其中，下采样（subsampled）也被称为缩小图像或降采样，其主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。对于一幅尺寸为M×N的图像，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的图像。进一步的，对目标帧图像和相邻帧图像的下采样可以为一次、两次甚至多次，假设目标帧图像和相邻帧图像的原始尺寸为W×H，经过一次下采样之后，其尺寸可以变为（W/2）×（H/2），再经过一次下采样，其尺寸可以变为（W/4）×（H/4），以此类推。进一步的，下采样可以通过编码器（Encoder）实现。
通过下采样和对齐操作后得到的补偿帧图像可以与目标帧图像尺寸相同（可以对下采样和对齐操作得到的图像进行上采样进而使得图像尺寸变大为与目标帧图像尺寸相同），也可以不同。
S203，对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块。
同样的，对补偿帧图像进行的下采样也可以为一次、两次甚至多次，每一次下采样后得到的图像称为候选特征图。
本步骤从补偿帧图像中选择一个图片块（其大小可以根据实际情况确定），作为第一特征块，进而从候选特征图中分别确定对应的第二特征块。其中，第二特征块可以是与第一特征块颜色信息（可以是RGB值、灰度值等）相似或者位置上对应/相临近的特征块。进一步地，第二特征块可以从候选特征图的全局（整张图像）中查找，以尽可能找到合适的第二特征块。
S204，对所述第一特征块和所述第二特征块进行融合，得到融合特征块。
对第一特征块和所述第二特征块进行融合可以是将两个特征块中各个像素点的颜色信息进行叠加、计算加权和、卷积运算等处理，对各个像素点处理后的结果进行整合，得到融合特征块。
进一步的，第一特征块可以为补偿帧图像中的一个特征块，也可以为补偿帧图像中的多个特征块。若第一特征块为一个特征块，则可以确定与该第一特征块对应的一个第二特征块，进而融合得到对应的融合特征块，之后从补偿帧图像中确定出下一个特征块作为新的第二特征块，并确定这个新的第二特征块对应的融合特征块，直到补偿帧图像中的各个特征块都完成了融合过程，当然，也可以同时分别从补偿帧图像中确定第二特征块，将这些第二特征块与第一特征块进行融合得到融合特征块；若第一特征块为多个特征块，则可以分别确定这些特征块对应的第二特征块，并通过同步或异步的方式确定出对应的融合特征块。
S205，根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。
融合特征块中融合了多帧图像的特征信息，同时融合了补偿帧图像多个尺寸上的特征信息，能充分还原出目标帧图像中的高分辨率信息。本步骤根据融合特征块得到完整的图像，进而输出对应的图像，所输出的图像就可以作为目标帧图像对应的输出帧图像，即得到对应的高分辨率图像。
进一步的，根据融合特征块得到输出帧图像的过程可以理解为图像重建的过程。更进一步地，可以对融合特征块进行卷积处理，根据卷积处理后的信息得到输出帧图像。
上述图像处理方法，根据相邻帧图像对目标帧图像进行运动补偿处理，得到补偿帧图像，这个补偿帧图像融合了目标帧图像和相邻帧图像的特征信息；然后对补偿帧图像进行下采样，将下采样得到的特征图中的特征块进行融合，得到融合了补偿帧图像多尺寸的特征信息的融合特征块，根据该融合特征块输出目标帧图像对应的高分辨率图像，能得到具有更多细节信息的高分辨图像。
上述实施例描述的是根据相邻帧图像对目标帧图像进行运动补偿处理，其中，目标帧图像可以为一个帧图像，也可以为两个或多个帧图像。以目标帧图像为多个帧图像为例，可以将视频中的各个帧图像分别作为目标帧图像，确定其附近的帧图像为相邻帧图像，进而逐个确定各个帧图像对应的补偿帧图像。
进一步的，在一个实施例中，可以同时对多帧图像进行对齐处理，更具体的，可以将各个帧图像与某一个帧图像进行对齐，得到各个帧图像对应的对齐结果，例如，本次需要对齐A/B/C/D/E这5个帧图像，可以将C帧图像作为中间帧（目标帧图像），将A/B/D/E帧图像（相邻帧图像）分别与C帧图像进行对齐，而C帧图像可以与其本身进行对齐或者不进行对齐处理，根据A/B/C/D/E帧图像的对齐结果得到C帧图像的补偿帧图像。更进一步的，在对齐过程中，可以通过窗口滑动的方式逐步将各个帧图像作为中间帧，例如，滑动窗口为5帧，当前时刻选中A/B/C/D/E这5个帧图像，将C帧图像作为中间帧，下一时刻选中B/C/D/E/F，将D帧图像作为中间帧，以此类推。进一步的，在确定某个帧图像为目标帧图像后，可以根据上述对齐结果确定出对应的补偿帧图像。在某些情况下，目标帧图像的前方（历史时间）或者后方可能没有相邻帧图像，例如，当前的目标帧图像为视频中的第一帧，其前方没有其他的帧图像，则可以将目标帧图像复制到前方，作为前方的相邻帧图像，进而完成对目标帧图像的运动补偿。
进一步的，在一些实施例中，将视频拆分为多个视频帧（帧图像），对这些视频帧同步进行下采样、对齐、特征融合等操作，得到各个视频帧的高分辨率图像，进而输出对应的高分辨率视频。
在一个实施例中，所述根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像的步骤，包括：对所述目标帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的所述目标特征图；对所述相邻帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的所述相邻特征图；根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像。
如前面所述，对目标帧图像和相邻帧图像的下采样可以为一次、两次甚至多次。本发明实施例中的编码器可以是各种类型，能实现特征提取的目的即可。
本实施例分别对目标帧图像和相邻帧图像进行下采样处理，并对下采样处理得到的对应尺寸的特征图进行对齐处理，根据不同尺寸的经过下采样和对齐操作的图像整合得到补偿帧图像。
进一步地，在一个实施例中，所述根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像的步骤，包括：根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到补偿采样特征图；通过解码器对所述补偿采样特征图中的特征进行解码，得到所述目标帧图像的补偿帧图像。
本发明实施例采用的特征提取网络进行特征提取，该网络可以采用编码器和解码器来实现，以结合编码器-解码器结构的优点。其中，解码器能够提取目标帧图像和相邻帧图像在不同层上的特征，由此产生的多级特征映射具有相对较大的接受域，可以自然地集成到后续的基于局部最近邻的多层次对齐（local-nearestneighbour-basedhierarchical alignment，NN-based hierarchical alignment，NNHA）中。通过NNHA模块进行多层次对齐之后，解码器对补偿采样特征图进行解码，就可以得到补偿帧图像。
其中，上采样（upsampling）也被称为放大图像或图像插值，其主要目的是放大原图像，从而可以显示在更高分辨率的显示设备上。图像放大可以采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。
进一步的，在一个实施例中，所述根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像的步骤，包括：根据第一尺寸的所述相邻特征图对第一尺寸的所述目标特征图进行运动补偿处理，得到补偿特征图；对所述补偿特征图进行上采样，得到第二尺寸的参考特征图；根据第二尺寸的所述目标特征图、所述相邻特征图以及所述参考特征图，得到与所述目标帧图像尺寸相同的所述补偿帧图像。
对补偿特征图进行上采样得到第二尺寸的参考特征图（其中，第二尺寸大于第一尺寸），此时，如果第二尺寸等于目标帧图像的尺寸，则对第二尺寸的目标特征图、相邻特征图以及参考特征图进行对齐处理就可以得到该补偿帧图像；而如果第二尺寸小于目标帧图像的尺寸，则可以对第二尺寸的目标特征图、相邻特征图以及参考特征图继续进行对齐处理以及上采样处理，得到第三尺寸的参考特征图，进而根据第三尺寸的所述目标特征图、所述相邻特征图以及所述参考特征图，得到与所述目标帧图像尺寸相同的所述补偿帧图像（其实现过程与第二尺寸类似，在此不再赘述）。
得到补偿帧图像的过程可以如图3所示，图3以三次下采样为例进行说明。具体的：
为目标帧图像（其中，t表示当前时刻，即当前帧，L表示低分辨率），
为相邻帧图像，首先对目标帧图像和相邻帧图像（也可以将两者称为输入图像）进行三次下采样，得到1/4、1/2、1（原尺寸）尺寸的补偿采样特征图，通过对齐单元（Alignmeng Unit，简称为AU）从尺寸最小的特征图开始对齐，并逐步上采样，恢复到输入尺寸大小。
具体举例如下：对目标帧图像和相邻帧图像进行下采样后分别得到1/4、1/2、1（原尺寸）尺寸的目标特征图和相邻特征图，对齐单元1/4尺寸的相邻特征图对1/4尺寸的目标特征图进行对齐操作，得到1/4尺寸的补偿特征图，对1/4尺寸的补偿特征图进行上采样，得到1/2尺寸的参考特征图，通过对齐单元对1/2尺寸的目标特征图、相邻特征图以及参考特征图进行对齐操作，得到1/2尺寸的补偿特征图，对1/2尺寸的补偿特征图进行上采样，得到原尺寸的参考特征图，通过对齐单元对原尺寸的目标特征图、相邻特征图以及参考特征图进行对齐操作，得到原尺寸的补偿特征图，通过解码器对该原尺寸的补偿特征图进行解码，即可以得到原尺寸的补偿帧图像。
上述实施例通过对目标帧图像和相邻帧图像进行逐步下采样、对齐、上采样操作，得到与目标帧图像尺寸对应的补偿帧图像，利用局部最近邻实现了多层次的图片对齐，使得补偿帧图像融合了多帧图像多尺寸的特征信息，以使最终得到的图像包含更多的相关信息。
在一个实施例中，所述根据第一尺寸的所述相邻特征图对第一尺寸的所述目标特征图进行运动补偿处理，得到补偿特征图的步骤，包括：获取第一尺寸的所述目标特征图中的目标图片块；从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块；对所述目标图片块和所述至少一个相似图片块进行特征融合处理，得到所述补偿特征图。
其中，目标图片块可以是从目标帧图像的特定位置按照特定尺寸选择的图片块，可以将目标帧图像划分为尺寸相同的网格，每一个网格作为一个图片块，通过窗口滑动的方式逐步从中选择图片块，作为目标图片块，并据此确定目标图片块对应的补偿特征图。相似图片块可以指颜色特征信息（可以是对应像素点的RGB值、灰度值等）与目标图片块相似度满足设定条件的图片块。对目标图片块和至少一个相似图片块进行融合处理，可以是对图片块中各个像素点的颜色信息进行叠加、计算加权和、卷积运算等处理。
进一步的，在一个实施例中，所述对所述目标图片块和所述至少一个相似图片块进行特征融合处理，得到所述补偿特征图的步骤，包括：对所述至少一个相似图片块进行卷积处理，得到卷积图片块；对第一尺寸的所述目标特征图和第一尺寸的所述相邻特征图进行卷积处理，根据卷积处理结果得到权重特征图；所述权重特征图中包含有所述目标特征图各个像素点对应的权重；从所述权重特征图中确定与所述目标图片块中像素点对应的权重图片块；对所述卷积图片块对应的颜色特征向量和所述权重图片块对应的权重特征向量进行内积运算，将内积运算的结果作为所述目标图片块的中心像素点的颜色特征；根据所述中心像素点的颜色特征得到所述补偿特征图。
其中，对目标特征图和相邻特征图中各个像素点的颜色特征信息进行卷积处理（可以将目标特征图与一个或多个相邻特征图进行卷积运算），每个像素点可以得到对应的卷积处理结果，这个卷积处理结果可以作为各个像素点对应的权重，根据各个像素点对应的权重就可以整合得到权重特征图。
卷积图片块中包含有图片块中各个像素点的颜色特征，将各个像素点的颜色特征进行向量化处理就可以得到对应的颜色特征向量；另外，权重图片块中包含有各个像素点的权重，将这些像素点的权重进行向量化处理就可以得到对应的权重特征向量。
具体的，确定补偿特征图的过程可以如图4所示，当前确定了K（K的大小可以根据实际情况确定，本发明实施例对此不做限制）个相似图片块
、
、……、
对这些相似图片块进行卷积处理，得到一个卷积图片块
；另一方面，根据目标特征图
和相邻特征图
进行卷积处理，得到权重特征图，从权重特征图中确定权重图片块
，对卷积图片块和权重图片块进行内积（Inner Product）运算，即得到目标图片块的中心像素点（xt，yt）的颜色特征信息。
逐步选择下一个目标图片块并确定对应的中心像素点，即可以确定出整个图片中各个像素点的颜色特征信息，进而得到补偿特征图
。
上述实施例对目标图片块最相似的图片块利用动态权重融合起来，进而逐步产生目标帧图像的对齐结果，能将目标帧图像和相邻帧图像有序地融合在一起，进而得到清晰的高分辨率图像。另外，如果直接根据图片块得到补偿特征图，可能会造成图片块重叠的问题，而本实施例根据像素点得到补偿特征图，能有效防止图片块重叠的问题，进而可以得到清晰的高分辨率图像。
在一个实施例中，所述从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块的步骤，包括：确定第一尺寸的所述相邻特征图中各个图片块的颜色特征向量；确定所述目标图片块的颜色特征向量；确定所述各个图片块的颜色特征向量与所述目标图片块的颜色特征向量的余弦相似度；对所述各个图片块对应的余弦相似度进行排序，根据排序结果从所述各个图片块中选出所述相似图片块。
为提高运算效率，可以在相邻特征图
的设定范围内确定图片块，举例说明如下：假设目标图片块
所在的坐标（当目标图片块中有多个像素点时，该坐标可以指其中心点所在的坐标）为(xt,yt)，在相邻特征图中查找到的图片块对应的坐标(xt-1,yt-1)需要满足以下条件：
其中，
和
表示预先确定的查找范围，其大小可以根据实际情况确定。
另一方面，以图4所示的图片块为例说明颜色特征向量，图4中的图片块包括9个小方格，每个小方格可以代表一个像素点，而每一个像素点可以对应有一个颜色特征信息，将9的像素点的颜色特征信息转为向量的形式，即得到对应的颜色特征向量。进一步的，可以通过如下公式计算余弦相似度：
上述公式中，
表示目标图片块的颜色特征向量，
表示相邻特征图中某一图片块的颜色特征向量，
表示向量的模。
进一步的，可以对各个图片块对应的余弦相似度进行排序，将排序在前的K（K的大小可以根据实际情况确定，本发明实施例对此不做限定）个图片块确定为目标图片块的相似图片块。
更进一步的，可以将这K个相似图片块通过以下形式连接在一起：
其中，||表示连接。
在一些实施例中，考虑到不同位置的聚合模式可能不同，采用动态权重的方式来确定补偿特征图，其确定公式可以如下：
其中，Conv表示卷积。
上述通过计算余弦相似度的方式来确定目标图片块的相似图片块，能从相邻帧图像中简单快速地挑选出与目标图片块相关的相似图片块，所得到的相似图片块与目标图片块中包含的信息是高度相似的，因此可以对目标图片块和相似图片块进行有效的对齐处理，进而得到准确的对齐结果。同时，选择排序在前的K个图片块作为目标图片块的相似图片块，能有效提高运算效率，进而快速实现图像的超分辨率处理。
在一些实施例中，也可以在相邻特征图中确定出目标图片块的相邻区域，在相邻区域中确定相似图片块，而相似图片块的具体过程同样可以采用余弦相似度的方法实现。具体的，不同尺寸的对齐过程可以采用不同大小的相邻区域（例如，原尺寸中相邻区域为7*7的像素区域，1/2采样后相邻区域为5*5，1/4采样后相邻区域为3*3），当然，也可以采用相同大小的相邻区域（例如，都为7*7的像素区域）。
在一个实施例中，所述对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块的步骤，包括：对所述补偿帧图像进行至少一次下采样，得到至少一个候选特征图；从所述至少一个候选特征图的全局确定所述第一特征块的相似特征块，得到所述第二特征块。
其中，相似特征块也可以按照上述计算余弦相似度的方式来确定。另外，第二特征块的数量可以为一个、两个甚至多个。在第二特征块为两个或者多个时，可以将这些第二特征块和第一特征块一起进行融合处理。
逐步下采样得到的候选特征图尺寸逐渐变小，将补偿帧图像与这些候选特征图排列在一起，类似于一个倒金字塔（如图5所示，第一列第一行的图像表示补偿帧图像，图中向下的箭头表示下采样，因此，三个向下的箭头所指向的是逐步下采样得到的候选特征图），因此，可以将补偿帧图像和候选特征图称为金字塔（Pyramid）构造。
具体的，下采样三次并得到融合特征块的过程可以如图5所示，图5中依次在三次下采样的候选特征图，候选特征图与补偿帧图像构成特征金字塔（Feature Pyramid），在补偿帧图像中确定第一特征块，并分别在各个候选特征图上寻找最相似的第二特征块，这些特征块构成第2列的4个相关特征（Correlated Features），随后将四个特征块输入到金字塔注意力模块（ATT）中去，最后进行融合，产生细节补偿的结果。其中，金字塔注意力模块属于自注意力模型，能对特征块进行特征分析并确定对应的特征是否有用，进而可以将有用的特征用于后续的融合过程。
其中，第二特征块可以是在整个候选特征图（全局）中确定，这样能使得所确定的第二特征块尽可能全面准确。
进一步的，在一个实施例中，所述对所述第一特征块和所述第二特征块进行融合，得到融合特征块的步骤，包括：通过自注意力模型分别确定所述第一特征块和所述第二特征块中的有效特征块，得到第一目标特征块和第二目标特征块；对所述第一目标特征块进行卷积处理，得到第一子卷积块；对所述第一目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第二子卷积块，将所述第一子卷积块和所述第二子卷积块相乘，得到与所述第一目标特征块对应的第一卷积块；对所述第二目标特征块进行卷积处理，得到第三子卷积块；对所述第二目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第四子卷积块，将所述第三子卷积块和所述第四子卷积块相乘，得到与所述第二目标特征块对应的第二卷积块；对所述第一卷积块和所述第二卷积块进行卷积处理，得到所述融合特征块。
更进一步的，对第一特征块和第二特征块进行下采样可以是两次或者多次，并分别对每次下采样得到的特征块进行卷积和上采样处理，得到与第一特征块尺寸相同的融合特征块。具体的，进行下采样可以通过平均池化的方式实现。
在一些实施例中，得到第二卷积块后，可以加上残差，使得所得到的融合特征块更为准确。其中，残差可以是对第二卷积块进行卷积处理得到。
具体的，金字塔注意力模块的实现过程可以如图6所示，图6中带有“+”号的圈圈表示求和运算（Addition），带有“×”号的圈圈表示乘积运算（Hadamard Product）。如图6，一个尺寸为H×W（可以是第一特征块或第二特征块，以下以第一特征块为例进行说明）的特征块输入到金字塔注意力模块中，金字塔注意力模块对第一特征块分两条路进行处理：1、对第一特征块进行卷积处理（Conv）得到第一子卷积块；2、对第一特征块进行下采样（AvgPool）得到特征块T1，对T1进行卷积处理得到尺寸为H/2×W/2的第二子卷积块，对T1进行下采样处理得到特征块T2，对T2进行卷积处理得到H/4×W/4的第五子卷积块，对第五子卷积块进行上采样（Up）和卷积处理，得到第六子卷积块，将第二子卷积块和第六子卷积块相加得到第七子卷积块，对第七子卷积块进行上采样和卷积处理得到第七子卷积块和第八子卷积块，将第一子卷积块和第七子卷积块相乘，将相乘得到的结果与第八子卷积块进行求和运算，就可以得到尺寸为H×W的第一卷积块。
上述实施例通过金字塔注意力模块对特征块进行融合处理，能通过分析不同分辨率上的相似图片块提取更多的细节信息，充分融合特征块在多尺寸上的特征信息，使得最终得到的融合特征块尽可能包含更多的图像细节信息。
上述确定特征块以及进行特征融合的过程可以总结为通过基于全局最近邻的跨尺寸特征融合（nonlocal-nearest-neighbour-based cross-scale aggregation module，NN-based cross-scale aggregation module，NNCA）过程。
在一个实施例中，所述根据所述融合特征块输出所述目标帧图像对应的输出帧图像的步骤，包括：通过图像重构模型对所述融合特征块进行图像重构；根据图像重构结果输出所述输出帧图像。
其中，图像重构模型指的是根据图像特征生成图像的模型，该模型可以是已训练的深度学习模型。
进一步地，在得到输出帧图像之前，还可以包括对图像重构模型进行训练的过程，该训练过程可以通过损失函数实现。
在某些情况下，重建的高分辨率图像（输出帧图像）会存在锯齿状边缘，这就导致图像质量不高。为解决上述问题，本发明实施例提出边缘感知损失函数来对图像边缘进行调整，其实现过程如下：
所述图像处理方法，还包括：通过边缘探测器确定所述输出帧图像的边缘区域；增大所述边缘区域的权重，得到目标权重；将所述目标权重输入到所述图像重构模型的损失函数中，以对所述图像重构模型进行训练。
具体的，通过边缘探测器提取高分辨率图像中的边缘信息，之后，在损失计算的过程中加大边缘区域的权重，以使得图像重构模型更关注于这些区域。更具体的，可以采用拉普拉斯过滤器作为边缘探测器。通过边缘探测器对边缘区域进行处理得到对应的边缘掩码图，边缘掩码图的过程可以如下：
其中，D表示边缘探测器，
表示边缘掩码图中像素点的坐标，δ表示预设的阈值（其大小可以根据实际情况确定）。
假设输入的高分辨率图像的大小为H × W，通过上述处理过程得到边缘掩码图的大小同样是H × W，另外，该掩码图中各个像素点都被二值化，其中，边缘区域被设置为1，非边缘区域被设置为0。
进一步地，在训练过程中，可以采用查尔邦尼损失函数（Charbonnier Loss），其具体的公式可以如下：
其中，
表示高分辨率图像的预测图像，
表示常数（其大小可以根据实际情况确定）。
最终的损失函数可以为：
其中，
表示平衡系数，其大小可以根据实际情况确定。
在一个实施例中，所述根据所述融合特征块输出所述目标帧图像对应的输出帧图像的步骤，包括：对所述融合特征块进行上采样处理；根据经过上采样处理的所述融合特征块得到输出帧图像并显示在显示屏中。
其中，一个第一特征块对应的融合特征块可能是图片中的一部分，因此需要确定目标帧图像中所有第一特征块的融合特征块，根据第一特征块的位置对融合特征块进行整合，得到一个完整的整合图像。这个整合图像的尺寸可以与目标帧图像相同，也可以不同。
进一步的，对整合图像可以进行一次、两次（对于两次上采样的情况，可以得到整合图像的四倍上采样）甚至多次上采样处理。更进一步的，输出高分辨率图像时还可以加上相应的残差。
进一步的，可以对输入的视频进行处理，得到视频中各个帧图像对应的高分辨率图像，进而对这些高分辨率图像进行整合，得到高分辨率视频，在显示屏中显示该高分辨率视频。
进一步的，可以对监控摄像头输入的监控视频进行超分辨率处理，并在监控摄像头的监控中心设备显示屏中显示对应的高分辨率视频。
上述实施例对融合特征块进行整合，并通过上采样处理得到高分辨率图像，所得到高分辨率图像充分融合各个融合特征块的信息，能在显示屏中显示出细节尽可能详细的高分辨率图像。
在一个实施例中，提供一种图像处理方法，如图7所示，该方法包括以下步骤：
S701、对目标帧图像进行至少一次下采样，得到至少一个尺寸的目标特征图；对相邻帧图像进行至少一次下采样，得到至少一个尺寸的相邻特征图。
S702、获取第一尺寸的所述目标特征图中的目标图片块，从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块。
S703、对所述至少一个相似图片块进行卷积处理，得到卷积图片块。
S704、对所述目标特征图和所述相邻特征图进行卷积处理，根据卷积处理结果得到权重特征图；从所述权重特征图中确定与所述目标图片块中像素点对应的权重图片块。
S705、对所述卷积图片块对应的颜色特征向量和所述权重图片块对应的权重特征向量进行内积运算，将内积运算的结果作为所述目标图片块的中心像素点的颜色特征；根据所述中心像素点的颜色特征得到补偿特征图。
S706、对所述补偿特征图进行上采样，得到第二尺寸的参考特征图。
S707、根据第二尺寸的所述目标特征图、所述相邻特征图以及所述参考特征图，得到与所述目标帧图像尺寸相同的补偿帧图像。
S708、对所述补偿帧图像进行至少一次下采样，从下采样得到的候选特征图中确定第一特征块的相似特征块，得到第二特征块。
S709、通过自注意力模型分别确定所述第一特征块和所述第二特征块中的有效特征块，得到第一目标特征块和第二目标特征块。
S710、对所述第一目标特征块进行卷积处理，得到第一子卷积块；对所述第一目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第二子卷积块，将所述第一子卷积块和所述第二子卷积块相乘，得到与所述第一目标特征块对应的第一卷积块。
S711、对所述第二目标特征块进行卷积处理，得到第三子卷积块；对所述第二目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第四子卷积块，将所述第三子卷积块和所述第四子卷积块相乘，得到与所述第二目标特征块对应的第二卷积块。
S712、对所述第一卷积块和所述第二卷积块进行卷积处理，得到融合特征块。
S713、通过图像重构模型对所述融合特征块进行图像重构；根据图像重构结果输出所述输出帧图像。
上述图像处理方法中，对目标帧图像及其相邻帧图像进行至少一次下采样和对齐处理，得到目标帧图像对应的补偿帧图像，该补偿帧图像融合了目标帧图像和相邻帧图像的特征信息；然后对补偿帧图像进行至少一次下采样，将下采样得到的特征图中的特征块进行融合，得到融合特征块，该融合特征块融合了补偿帧图像多尺寸的细节特征信息，根据该融合特征块输出目标帧图像对应的高分辨率图像，能得到具有着更多细节信息的高分辨图像。
本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，如图8所示，该图像处理方法在该应用场景的应用如下：
该应用场景中，输入为三帧连续的低分辨率图片（LR Frames）：
、
、
，然后依次经过基于局部最近邻的多层次对齐（NNHA）、基于全局最近邻的跨尺寸特征融合（NNCA）和图像重构（Recons.），最后产生预测的高分辨率图像。具体实现过程如下：
1、基于最近邻的多层次对齐
利用局部最近邻实现多层次的图片对齐。首先将输入的多帧图片进行三次下采样，并通过编码器进行特征编码，得到对应的不同尺寸的特征图，从尺寸最小的特征图开始对齐，逐步上采样，恢复到输入尺寸大小。
2、基于最近邻的跨尺寸特征融合
为了更好地利用单张图片不同尺寸的空间信息，将多帧图片融合后的特征图进行三次下采样，对于原尺寸大小特征图上的一个特征块，依次在三次下采样的特征图上寻找最相似的特征块，这些特征块构成金字塔特征块，随后将四个特征块输入到金字塔注意力模块中去，最后进行特征融合，产生细节补偿的结果。
3、图像重构
通过图像重构模型对特征融合得到的融合特征块进行处理，重构得到最终的高分辨率图片
。
传统的视频超分辨率算法大多采用深度神经网络，按照如何进行时序上的对齐，大致可以分为三类。第一类是利用3D卷积神经网络来，没有任何显式的对齐处理, 不能很好地利用时序信息。第二类是先预测光流从而进行运动补偿，然后将多帧对齐后的低分辨率图片融合，产生最后高分辨的结果，但通常受限于光流的预测精度不能很好地完成对齐操作，从而在图片重建过程中引入很多噪声，在动作幅度较大时处理效果不明显，同时对于压缩伪影和噪声的处理效果不够好。第三类利用可变形卷积神经网络在提取特征的同时完成对齐，直接生产高分辨预测结果，但现有基于可变形卷积的算法鲁棒性较差，在分布差异较大的数据上易产生瑕疵。此外，现有的这些方法都没有很好地利用单张图片不同分辨率上细节信息。
上述实施例基于局部最近邻提出了一种多层次对齐方案，可以称为VSRKNN方案。其中，KNN指的是K最近邻（k-NearestNeighbor）。为了能同时处理大幅度和细微的运动差异，先将输入图片下采样到更小的分辨率上进行对齐，然后逐步上采样并进行对齐。另一方面，基于在不同分辨率上基于全局最近邻进行了特征融合，更好地补充了细节信息。因此，本发明实施例的技术方案可以有效地将低分辨率的图像转为清晰的高分辨率图像。相对于Bicubic、RCAN（深度残差通道注意力网络）、TOFlow（Task-Oriented Flow）、DUF等传统算法，能够产生更清晰、瑕疵更少的高分辨率图像，进而可以得到高分辨率视频。
在一些实施例中，可以采用REDS、Vimeo-90K等数据集来实现图像处理过程。其中，REDS是在NTIRE 2019挑战赛中发布的一个真实动态场景的数据集。它包含了从300个视频序列中提取的30万张图像。单独的训练、验证和测试子集分别包含24030个和30个序列。每个序列平均有100张分辨率为720×1280的图像。本发明实施例将训练和验证部分聚合在一起，并将数据划分为新的训练数据集（trainval datasets）和小型数据集（minivaldatasets）。小型数据集包含4个序列(000,011,015,020)。剩下266个序列都包含在训练数据集中。
Vimeo-90K是为各种视频任务设计的大型高质量视频数据集。它由89800个视频剪辑而成，涵盖了大量的动作和场景。超分辨率子集有91701个7帧序列，它们的固定分辨率为448×256，其中训练和测试分别包括64612个序列和7824个序列。
另外，采用峰值信噪比(PSNR)和结构相似度指数(SSIM)作为实验的指标，以验证本发明实施例提供的图像处理方法的效果。
具体的图像处理过程可以包括以下几个部分：
1、网络设置。网络以5(或7)帧图像为输入，整个网络可以包括特征提取模块和重构模块。在特征提取模块和重构模块中，分别包含有5个和40个残差块(其中7帧图像采用20个残差块)，这些残差块的通道大小为128。以图8为例，对3个下采样图像进行对齐处理，从低分辨率到高分辨率其最大位移分别设置为{3,5,7}。相似图片块的个数K被设置为4。在跨尺度聚合模块（NNCA）中，将对1个图像进行下采样，并融合来自4个尺度的信息（如图5所示）。经过重建后，图像的长度和宽度都是原来的四倍。
2、训练。使用8个Nvidia GeForce RTX 2080Ti GPU来训练网络，每个GPU的批处理大小为3，总共迭代60万次。使用Adam作为优化器。余弦学习率的初始值设置为4e-4。每个输入图像将随机经过剪切、翻转和旋转等处理，其中，裁剪大小为64×64，对应输出为256×256，旋转为90度或-90度。在计算边缘感知损失时，δ和λ这两个参数均可以设置为0.1。
3、测试。将所有未经过边界裁剪的低分辨率的图像输入到网络中，并得到输出的各个目标帧图像对应的输出帧图像，进而得到与所有输入图像对应的输出图像序列。
进一步地，以下通过消融实验来验证本发明实施例所提供的图像处理方法的效果。
为了证明所提方法的有效性，对每一个单独的设计进行了实验，即分别对NNHA、NNCA和EAL进行了独立的消融实验。为了方便起见，采用轻量级设置。将网络的信道大小设置为64，重建模块包含10个剩余块。同时，训练迭代的数量减少到200K。
消融实验的总体结果比对可以如下表1所示。
表1 VSRKNN在REDS小型数据集上的消融实验结果
其中，“基线”表示没有采用模型和损失函数的图像处理，“NNHA”表示基于NNHA的层次对齐，“NNCA”表示基于NN（nonlocal-nearest-neighbour，全局最近邻）的跨尺度聚合，“EAL”表示边缘感知损失函数。
对NNHA的实验过程详细说明如下：
为了进行清晰的比较，首先建立一个没有采用本发明实施例方法的基线模型。如表1所示，基线仅得到28.98 dB的PSNR和0.8280的SSIM（表1第1行），结果相对较差。本发明实施例的对齐模块使得PSNR提高了1.15 dB（表1第2行）。为了更直观地展示NNHA的有效性，将对齐结果通过可视化的方式展示在图9中，图9中w/NNHA表示采用NNHA的方法，w/o NNHA表示未采用NNHA的方法，各个小图右上角的数值表示邻近特征和中心特征间的平均差值。如图9所示，通过本发明实施例的NNHA进行特征对齐后，特征图明显更平滑、更清晰了。同时，对齐后的图像中，邻近特征和中心特征间的平均差值较小。所有这些事实表明，本发明实施例提供的图像处理方法具有良好的对齐性能。
进一步地，评估聚合图像（patchs）的数量（相邻帧和目标帧图像的总数量）如何影响性能，其结果如下表2所示：
表2 基于REDS小型数据集在不同patch下的NNHA结果
从表2可以看出，随着patch的增加，NNHA的能力呈现先上升后下降的趋势。与只使用一个patch相比，四个patch设置可以获得超过0.1 dB的PSNR增益。这说明高度相关的patch可以提供细节补充，然而，一旦饱和，增加patch数量是没有用的，因为低相关的patch可能会引入更多的噪声。另外，采用动态权重的方式可以提高PSNR和SSIM。
通过在MPI Sintel流数据集中使用KNN策略来估计光流进一步验证了上述效果。在获得K个相邻帧后，计算相邻帧与目标帧之间的平均误差，其结果如图10所示。从图10可以看出四个相邻帧的设置仍然是最好的选择。因此，在实现中将K设为4。
最后，在实验中验证了动态权重的性能，发明人发现，在NNHA中，一个较大的patch通常可以达到更好的结果，因为相邻像素通常具有相似的信息并可能相互补充，同时嵌入有结构信息。为了在性能和计算成本之间取得平衡，将patch的大小size设置为3。如上表2所示，可以看到动态权重的PSNR比固定权重高将近0.2 dB。
对NNCA的实验过程详细说明如下：
发明人注意到高度相关的patch可以作为运动补偿的一个补充。为了进一步处理不同尺寸的特征图，提出了基于NNCA的跨尺度聚合模块。为了更直观地展示NNCA的有效性，将NNCA的结果通过可视化的方式展示在图11中，图11中Bicubic表示一种传统特征融合方法，w/NNCA表示采用NNCA的方法，w/o NNCA表示未采用NNCA的方法，GT（ground-truth）表示正确的图。如表1所示，NNCA可以将PSNR提高0.12 dB，从定量的角度显示了其有效性。此外，从图11中可以看到，当图像包含有在空间域或跨尺度上重复的窗户和建筑物等时，这个NNCA可以使网络显示更多的细节。这些事实表明，NNCA模块可以进一步提高超分辨率图像处理质量。
对边缘感知损失函数的实验过程详细说明如下：
从表1可以看出，EAL取得了较好的结果。将EAL的结果通过可视化的方式展示在图12中，图12中w/EAL表示采用EAL的方法，w/o EAL表示未采用EAL的方法。图12中的可视化示例显示EAL有利于网络生成更精细的边缘，其中，墙上的纹理和灯光的边缘更加清晰。进一步地，基于REDS和Vimeo-90K，将本发明实施例提出的VSRKNN与之前的方法进行比较。对于REDS这一数据集，其结果如下表3所示。
表3 基于REDS数据集的总体对比结果
其中，原始的EDVR是通过预训练的模型来进行初始化的。为提高比对的公正性，通过官方编码来训练EDVR，其中“*”表示未经过预训练的EDVR，“+”表示测试过程中包含有翻转和旋转。其中，Clip 000、Clip 011、Clip 015和Clip 020分别表示视频被剪辑0/11/15/20次。
从表3可以明显看出，本发明实施例提供的方法取得了与EDVR相当的性能，并在很大程度上优于其他方法。另外，自集成策略（VSRKNN +）可以进一步提高0.15 dB的PSNR。
至于Vimeo-90K，结果如下表4所示。
表4 基于Vimeo-90K数据集的总体对比结果
其中，“-”表示没有结果。RGB表示RGB颜色通道的结果，Y表示YUV颜色通道中Y通道的结果。
从表4可以看出，VSRKNN在RGB通道上比DUF高出近1.2 dB。同时，与RBPN相比，Y通道高了0.3 dB。所有这些结果都证明了本发明实施例所提供的方法是有效的。
此外，在RED数据集上使用已训练的模型来对户外视频进行测试，同时，在RED数据集上使用官方发布的模型对EDVR进行了测试，其可视化结果如图13所示，其中“Ours”表示本发明实施例提供的方案。结果表明，由于训练和测试之间数据分布的差异，EDVR很可能产生人为干扰。相比之下，VSRKNN在实际环境中表现良好，说明了本发明实施例所提供方法的通用性。
综上，本发明实施例提供的基于最近邻的视频超分辨率网络中，基于NN的分层对齐模块可以利用高度相关的patch来实现更好的对齐。基于NN的跨尺度聚合模块可以利用多尺度信息，进一步提高网络的性能。此外，边缘感知损失可以使网络在高分辨率输出上获得更精确的边缘。
应该理解的是，虽然图2/7/8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2/7/8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述实施例中的图像处理方法相同的思想，本发明还提供图像处理装置，该装置可用于执行上述图像处理方法。为了便于说明，图像处理装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
在一个实施例中，如图14所示，提供一种图像处理装置1400，所述装置包括：图像获取模块1401，用于获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；运动补偿模块1402，用于根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；特征块确定模块1403，用于对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；特征块融合模块1404，用于对所述第一特征块和所述第二特征块进行融合，得到融合特征块；图像输出模块1405，用于根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率。
上述图像处理装置，根据相邻帧图像对目标帧图像进行运动补偿处理，得到补偿帧图像，这个补偿帧图像融合了目标帧图像和相邻帧图像的特征信息；然后对补偿帧图像进行下采样，将下采样得到的特征图中的特征块进行融合，得到融合了补偿帧图像多尺寸的特征信息的融合特征块，根据该融合特征块输出目标帧图像对应的高分辨率图像，能得到具有更多细节信息的高分辨图像。
在一个实施例中，所述运动补偿模块，包括：第一采样子模块，用于对所述目标帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的目标特征图；第二采样子模块，用于对所述相邻帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的相邻特征图；补偿采样子模块，用于根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像。
在一个实施例中，所述补偿采样子模块，包括：补偿采样单元，用于根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到补偿采样特征图；解码单元，用于通过解码器对所述补偿采样特征图中的特征进行解码，得到所述目标帧图像的补偿帧图像。
在一个实施例中，所述补偿采样子模块，包括：运动补偿单元，用于根据第一尺寸的所述相邻特征图对第一尺寸的所述目标特征图进行运动补偿处理，得到补偿特征图；上采样单元，用于对所述补偿特征图进行上采样，得到第二尺寸的参考特征图；补偿帧图像获取单元，用于根据第二尺寸的所述目标特征图、所述相邻特征图以及所述参考特征图，得到与所述目标帧图像尺寸相同的所述补偿帧图像。
在一个实施例中，所述运动补偿单元，包括：目标图片块获取子单元，用于获取第一尺寸的所述目标特征图中的目标图片块；相似图片块获取子单元，用于从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块；图片块融合子单元，用于对所述目标图片块和所述至少一个相似图片块进行特征融合处理，得到所述补偿特征图。
在一个实施例中，所述图片块融合子单元，包括：相似图片块卷积段，用于对所述至少一个相似图片块进行卷积处理，得到卷积图片块；权重特征图确定段，用于对第一尺寸的所述目标特征图和第一尺寸的所述相邻特征图进行卷积处理，根据卷积处理结果得到权重特征图；所述权重特征图中包含有所述目标特征图各个像素点对应的权重；权重图片块确定段，用于从所述权重特征图中确定与所述目标图片块中像素点对应的权重图片块；特征向量内积段，用于对所述卷积图片块对应的颜色特征向量和所述权重图片块对应的权重特征向量进行内积运算，将内积运算的结果作为所述目标图片块的中心像素点的颜色特征；特征图确定段，用于根据所述中心像素点的颜色特征得到所述补偿特征图。
在一个实施例中，相似图片块获取子单元，包括：第一特征向量确定段，用于确定第一尺寸的所述相邻特征图中各个图片块的颜色特征向量；第二特征向量确定段，用于确定所述目标图片块的颜色特征向量；相似度确定段，用于确定所述各个图片块的颜色特征向量与所述目标图片块的颜色特征向量的余弦相似度；相似图片块确定段，用于对所述各个图片块对应的余弦相似度进行排序，根据排序结果从所述各个图片块中选出所述相似图片块。
在一个实施例中，所述特征块确定模块，包括：第三采样子模块，用于对所述补偿帧图像进行至少一次下采样，得到至少一个候选特征图；特征块确定子模块，用于从所述至少一个候选特征图的全局确定所述第一特征块的相似特征块，得到所述第二特征块。
在一个实施例中，所述特征块融合模块，包括：特征块聚焦子模块，用于通过自注意力模型分别确定所述第一特征块和所述第二特征块中的有效特征块，得到第一目标特征块和第二目标特征块；第一卷积子模块，用于对所述第一目标特征块进行卷积处理，得到第一子卷积块；对所述第一目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第二子卷积块，将所述第一子卷积块和所述第二子卷积块相乘，得到与所述第一目标特征块对应的第一卷积块；第二卷积子模块，用于对所述第二目标特征块进行卷积处理，得到第三子卷积块；对所述第二目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第四子卷积块，将所述第三子卷积块和所述第四子卷积块相乘，得到与所述第二目标特征块对应的第二卷积块；第三卷积子模块，用于对所述第一卷积块和所述第二卷积块进行卷积处理，得到所述融合特征块。
在一个实施例中，图像输出模块，包括：图像重构子模块，用于通过图像重构模型对所述融合特征块进行图像重构；图像输出子模块，用于根据图像重构结果输出所述输出帧图像。
在一个实施例中，所述装置包括：边缘区域确定模块，用于通过边缘探测器确定所述输出帧图像的边缘区域；权重增大模块，用于增大所述边缘区域的权重，得到目标权重；模型训练模块，用于将所述目标权重输入到所述图像重构模型的损失函数中，以对所述图像重构模型进行训练。
在一个实施例中，所述图像输出模块，包括：上采样子模块，用于对所述融合特征块进行上采样处理；图像显示子模块，用于根据经过上采样处理的所述融合特征块得到输出帧图像并显示在显示屏中。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像处理方法，所述方法包括：
获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；
根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；
对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；
对所述第一特征块和所述第二特征块进行融合，得到融合特征块；
根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；
所述对所述第一特征块和所述第二特征块进行融合，得到融合特征块的步骤，包括：
分别对第一特征块和第二特征块进行下采样、卷积以及上采样处理，对处理后的第一特征块和第二特征块进行融合，得到所述融合特征块。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像的步骤，包括：
对所述目标帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的目标特征图；
对所述相邻帧图像进行至少一次下采样，通过编码器提取下采样得到的图像中的特征，根据所提取的特征得到至少一个尺寸的相邻特征图；
根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像的步骤，包括：
根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到补偿采样特征图；
通过解码器对所述补偿采样特征图中的特征进行解码，得到所述目标帧图像的补偿帧图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述相邻特征图逐个尺寸对所述目标特征图进行运动补偿处理和上采样处理，得到所述目标帧图像的补偿帧图像的步骤，包括：
根据第一尺寸的所述相邻特征图对第一尺寸的所述目标特征图进行运动补偿处理，得到补偿特征图；
对所述补偿特征图进行上采样，得到第二尺寸的参考特征图；
根据第二尺寸的所述目标特征图、所述相邻特征图以及所述参考特征图，得到与所述目标帧图像尺寸相同的所述补偿帧图像。
5.根据权利要求4所述的方法，其特征在于，所述根据第一尺寸的所述相邻特征图对第一尺寸的所述目标特征图进行运动补偿处理，得到补偿特征图的步骤，包括：
获取第一尺寸的所述目标特征图中的目标图片块；
从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块；
对所述目标图片块和所述至少一个相似图片块进行特征融合处理，得到所述补偿特征图。
6.根据权利要求5所述的方法，其特征在于，所述对所述目标图片块和所述至少一个相似图片块进行特征融合处理，得到所述补偿特征图的步骤，包括：
对所述至少一个相似图片块进行卷积处理，得到卷积图片块；
对第一尺寸的所述目标特征图和第一尺寸的所述相邻特征图进行卷积处理，根据卷积处理结果得到权重特征图；所述权重特征图中包含有所述目标特征图各个像素点对应的权重；
从所述权重特征图中确定与所述目标图片块中像素点对应的权重图片块；
对所述卷积图片块对应的颜色特征向量和所述权重图片块对应的权重特征向量进行内积运算，将内积运算的结果作为所述目标图片块的中心像素点的颜色特征；
根据所述中心像素点的颜色特征得到所述补偿特征图。
7.根据权利要求5所述的方法，其特征在于，所述从第一尺寸的所述相邻特征图中确定所述目标图片块的至少一个相似图片块的步骤，包括：
确定第一尺寸的所述相邻特征图中各个图片块的颜色特征向量；
确定所述目标图片块的颜色特征向量；
确定所述各个图片块的颜色特征向量与所述目标图片块的颜色特征向量的余弦相似度；
对所述各个图片块对应的余弦相似度进行排序，根据排序结果从所述各个图片块中选出所述相似图片块。
8.根据权利要求1所述的方法，其特征在于，所述对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块的步骤，包括：
对所述补偿帧图像进行至少一次下采样，得到至少一个候选特征图；
从所述至少一个候选特征图的全局确定所述第一特征块的相似特征块，得到所述第二特征块。
9.根据权利要求1所述的方法，其特征在于，所述对所述第一特征块和所述第二特征块进行融合，得到融合特征块的步骤，包括：
通过自注意力模型分别确定所述第一特征块和所述第二特征块中的有效特征块，得到第一目标特征块和第二目标特征块；
对所述第一目标特征块进行卷积处理，得到第一子卷积块；对所述第一目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第二子卷积块，将所述第一子卷积块和所述第二子卷积块相乘，得到与所述第一目标特征块对应的第一卷积块；
对所述第二目标特征块进行卷积处理，得到第三子卷积块；对所述第二目标特征块进行下采样，并对下采样得到的特征块进行卷积处理，得到第四子卷积块，将所述第三子卷积块和所述第四子卷积块相乘，得到与所述第二目标特征块对应的第二卷积块；
对所述第一卷积块和所述第二卷积块进行卷积处理，得到所述融合特征块。
10.根据权利要求1至9任意一项所述的方法，其特征在于，所述根据所述融合特征块输出所述目标帧图像对应的输出帧图像的步骤，包括：
通过图像重构模型对所述融合特征块进行图像重构；
根据图像重构结果输出所述输出帧图像。
11.根据权利要求10所述的方法，其特征在于，还包括：
通过边缘探测器确定所述输出帧图像的边缘区域；
增大所述边缘区域的权重，得到目标权重；
将所述目标权重输入到所述图像重构模型的损失函数中，以对所述图像重构模型进行训练。
12.根据权利要求1至9任意一项所述的方法，其特征在于，所述根据所述融合特征块输出所述目标帧图像对应的输出帧图像的步骤，包括：
对所述融合特征块进行上采样处理；
根据经过上采样处理的所述融合特征块得到输出帧图像并显示在显示屏中。
13.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标帧图像和所述目标帧图像的相邻帧图像；所述目标帧图像和所述相邻帧图像的分辨率均为第一分辨率；
运动补偿模块，用于根据所述相邻帧图像对所述目标帧图像进行运动补偿处理，得到所述目标帧图像的补偿帧图像；
特征块确定模块，用于对所述补偿帧图像进行下采样，从下采样得到的候选特征图中确定与第一特征块对应的第二特征块；所述第一特征块为所述补偿帧图像中的特征块；
特征块融合模块，用于对所述第一特征块和所述第二特征块进行融合，得到融合特征块；
图像输出模块，用于根据所述融合特征块输出所述目标帧图像对应的输出帧图像；所述输出帧图像的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；
所述特征块融合模块，还用于分别对第一特征块和第二特征块进行下采样、卷积以及上采样处理，对处理后的第一特征块和第二特征块进行融合，得到所述融合特征块。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010168491.6A CN111047516B (zh) | 2020-03-12 | 2020-03-12 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010168491.6A CN111047516B (zh) | 2020-03-12 | 2020-03-12 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047516A CN111047516A (zh) | 2020-04-21 |
| CN111047516B true CN111047516B (zh) | 2020-07-03 |
Family
ID=70230798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010168491.6A Active CN111047516B (zh) | 2020-03-12 | 2020-03-12 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047516B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11863880B2 (en) | 2022-05-31 | 2024-01-02 | Microsoft Technology Licensing, Llc | Image frame selection for multi-frame fusion |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476740B (zh) * | 2020-04-28 | 2023-10-31 | 北京大米未来科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN113592724A (zh) * | 2020-04-30 | 2021-11-02 | 北京金山云网络技术有限公司 | 目标人脸图像的修复方法和装置 |
| CN114339260A (zh) * | 2020-09-30 | 2022-04-12 | 华为技术有限公司 | 图像处理方法及装置 |
| CN112464733A (zh) * | 2020-11-04 | 2021-03-09 | 北京理工大学重庆创新中心 | 基于双向特征融合的高分辨率光学遥感图像地物分类方法 |
| CN112733672B (zh) * | 2020-12-31 | 2024-06-18 | 深圳一清创新科技有限公司 | 基于单目相机的三维目标检测方法、装置和计算机设备 |
| CN112862871A (zh) * | 2021-01-20 | 2021-05-28 | 华中科技大学 | 图像融合方法及装置 |
| CN112785667A (zh) * | 2021-01-25 | 2021-05-11 | 北京有竹居网络技术有限公司 | 视频生成方法、装置、介质及电子设备 |
| CN113038055B (zh) * | 2021-01-27 | 2023-06-23 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| CN112801876B (zh) * | 2021-02-07 | 2024-07-26 | 联想(北京)有限公司 | 信息处理方法、装置及电子设备和存储介质 |
| CN113592709B (zh) * | 2021-02-19 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 图像超分处理方法、装置、设备及存储介质 |
| CN112950473B (zh) * | 2021-03-04 | 2023-04-18 | 清华大学深圳国际研究生院 | 一种mr图像超分辨方法 |
| CN113205451B (zh) * | 2021-03-30 | 2024-05-24 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113128583B (zh) * | 2021-04-15 | 2022-08-23 | 重庆邮电大学 | 基于多尺度机制和残差注意力的医学图像融合方法及介质 |
| CN113140005B (zh) * | 2021-04-29 | 2024-04-16 | 上海商汤科技开发有限公司 | 目标对象定位方法、装置、设备及存储介质 |
| CN115253300A (zh) * | 2021-04-30 | 2022-11-01 | 华为技术有限公司 | 一种图形渲染方法以及装置 |
| CN112990171B (zh) * | 2021-05-20 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113436068B (zh) * | 2021-06-10 | 2022-12-02 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
| CN113938575B (zh) * | 2021-07-23 | 2023-06-13 | 东莞理工学院 | 一种视频超分辨率重构方法、装置、终端设备及存储介质 |
| CN113706429B (zh) * | 2021-07-30 | 2023-08-04 | 爱芯元智半导体(上海)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN113706385A (zh) * | 2021-09-02 | 2021-11-26 | 北京字节跳动网络技术有限公司 | 一种视频超分辨率方法、装置、电子设备及存储介质 |
| CN113674156B (zh) * | 2021-09-06 | 2022-12-30 | 苏州大学 | 一种图像超分辨率重建的方法及系统 |
| CN113781312B (zh) * | 2021-11-11 | 2022-03-25 | 深圳思谋信息科技有限公司 | 视频增强方法、装置、计算机设备和存储介质 |
| CN116309587A (zh) * | 2023-05-22 | 2023-06-23 | 杭州百子尖科技股份有限公司 | 一种布料瑕疵检测方法、装置、电子设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5144202B2 (ja) * | 2007-10-05 | 2013-02-13 | オリンパス株式会社 | 画像処理装置およびプログラム |
| CN109246332A (zh) * | 2018-08-31 | 2019-01-18 | 北京达佳互联信息技术有限公司 | 视频流降噪方法和装置、电子设备及存储介质 |
| CN109949221B (zh) * | 2019-01-30 | 2022-05-17 | 深圳大学 | 一种图像处理方法及电子设备 |
| CN110070511B (zh) * | 2019-04-30 | 2022-01-28 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN110570356B (zh) * | 2019-09-18 | 2023-10-20 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN110807379B (zh) * | 2019-10-21 | 2024-08-27 | 腾讯科技（深圳）有限公司 | 一种语义识别方法、装置、以及计算机存储介质 |
| CN110852951B (zh) * | 2019-11-08 | 2023-04-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
-
2020
- 2020-03-12 CN CN202010168491.6A patent/CN111047516B/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11863880B2 (en) | 2022-05-31 | 2024-01-02 | Microsoft Technology Licensing, Llc | Image frame selection for multi-frame fusion |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047516A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
| CN111179177B (zh) | 图像重建模型训练方法、图像重建方法、设备及介质 | |
| CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
| CN109584178A (zh) | 图像修复方法、装置和存储介质 | |
| Yang et al. | Fast image super-resolution based on in-place example regression | |
| US9405960B2 (en) | Face hallucination using convolutional neural networks | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| Cheng et al. | Zero-shot image super-resolution with depth guided internal degradation learning | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| US20100124383A1 (en) | Systems and methods for resolution-invariant image representation | |
| KR20130001213A (ko) | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 | |
| Vitoria et al. | Semantic image inpainting through improved wasserstein generative adversarial networks | |
| JP2015513151A (ja) | 入力画像の階層的超解像を実行する方法及び装置 | |
| CN113762147B (zh) | 人脸表情迁移方法、装置、电子设备及存储介质 | |
| CN115345866B (zh) | 一种遥感影像中建筑物提取方法、电子设备及存储介质 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN115082322B (zh) | 图像处理方法和装置、图像重建模型的训练方法和装置 | |
| CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
| CN112508786B (zh) | 面向卫星图像的任意尺度超分辨率重建方法及系统 | |
| Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| Liu et al. | Gradient prior dilated convolution network for remote sensing image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022590 Country of ref document: HK |