CN114782251A - 视频超分方法、装置、电子设备及可读存储介质 - Google Patents
视频超分方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114782251A CN114782251A CN202210445849.4A CN202210445849A CN114782251A CN 114782251 A CN114782251 A CN 114782251A CN 202210445849 A CN202210445849 A CN 202210445849A CN 114782251 A CN114782251 A CN 114782251A
- Authority
- CN
- China
- Prior art keywords
- level
- frame
- target frame
- reference frames
- nth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 22
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 38
- 230000007704 transition Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请适用于视频处理技术领域，提供了视频超分方法、装置、电子设备及可读存储介质。该视频超分方法包括：获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。通过金字塔互相关对齐模块分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧；通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。通过金字塔互相关的对齐方法分别对目标帧和多张参考帧进行特征对齐，由于金字塔互相关的对齐方法，采用了局部互相关的方式，可以有效减少了运算量，同时，通过金字塔级联的方式，由粗到细的进行特征对齐，速度更快精度更高，简便易用。
Description
技术领域
本申请属于视频处理技术领域，尤其涉及一种视频超分方法、装置、电子设备及可读存储介质。
背景技术
视频超分和视频插帧是目前计算机视觉领域非常热门的研究方向。视频超分指的是对视频中每一帧图像进行空间上的放大，视频插帧任务则可以理解为对视频进行时间上的放大，也就是视频时间超分。视频时空超分可以理解为对视频中的图像同时进行时间上的插帧以及空间上的超分。
其中，多帧对齐是进行视频时空超分的重要步骤。但是，现有的多帧对齐方式效果不佳，应用起来较为繁琐。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，可以解决现有的多帧对齐方式效果不佳，应用起来较为繁琐的问题。
第一方面，本申请实施例提供了一种视频超分方法，包括：获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。通过金字塔互相关对齐模块(Pyramid CorrelationAlignment，PCA)分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
在第一方面中，通过金字塔互相关的对齐方法分别对目标帧和多张参考帧进行特征对齐，由于金字塔互相关的对齐方法，采用了局部互相关的方式，可以有效减少了运算量，同时，通过金字塔级联的方式，由粗到细的进行特征对齐，速度更快精度更高，简便易用。
一些实施方式中，通过PCA对目标帧特征对齐，得到对齐后的目标帧，包括：获取目标帧的N级图像特征，N为大于1的整数。将目标帧的N级图像特征分别输入多帧局部互相关(Multi-Patch Correlation，MPC)模块，得到目标帧与目标帧的预测帧之间的对齐偏移量。其中，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成目标帧的预测帧。
一些实施方式中，将目标帧的N级图像特征分别输入MPC模块，得到目标帧与目标帧的预测帧之间的对齐偏移量，包括：对目标帧执行以下步骤。将目标帧的第N级图像特征输入MPC模块，得到目标帧在第N级的对齐偏移量。根据目标帧在第N级的对齐偏移量，对第N级和对第N-1级的目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N-1级目标帧。将对齐后的第N级目标帧、对齐后的第N-1级目标帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到目标帧与目标帧的预测帧图像之间的对齐偏移量。
一些实施方式中，将对齐后的第N级目标帧、对齐后的第N-1级目标帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量，包括：对对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，过渡目标帧与第N-1级的参考帧的尺度相同。将过渡目标帧、对齐后的第N-1级目标帧帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。
一些实施方式中，通过PCA对多张参考帧特征对齐，得到对齐后的参考帧，包括：
获取多张参考帧的N级图像特征，N为大于1的整数。将多张参考帧的N级图像特征分别输入多帧局部互相关MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成多张参考帧的预测帧。
一些实施方式中，将多张参考帧的N级图像特征分别输入MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，包括：对多张参考帧执行以下步骤：将多张参考帧的第N级图像特征输入MPC模块，得到多张参考帧在第N级的对齐偏移量。根据多张参考帧在第N级的对齐偏移量，对第N级和对第N-1级的多张参考帧进行仿射变换，得到特征对齐后的第N级参考帧以及多张第N-1级参考帧。将对齐后的第N级参考帧、对齐后的第N-1级参考帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到多张参考帧与多张参考帧的预测帧图像之间的对齐偏移量。
一些实施方式中，将对齐后的第N级参考帧、对齐后的第N-1级参考帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量，包括：对对齐后的第N级参考帧进行上采样，得到多张过渡参考帧，过渡参考帧与第N-1级的参考帧的尺度相同。将过渡参考帧、对齐后的第N-1级参考帧帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。
一些实施方式中，通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧，包括：
对对齐后的目标帧进行上采样，得到插帧和超分后的目标帧。
和/或，对多张参考帧和特征对齐后的多张参考帧进行上采样，并将多张上采样后的参考帧分别与对应的上采样后的特征对齐后的参考帧相加，得到超分后的目标帧。
第二方面，本申请实施例提供了一种视频超分装置，装置包括：
获取模块，用于获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。
对齐模块，用于通过PCA分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。
处理模块，用于通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
一些实施方式中，对齐模块，具体用于获取目标帧的N级图像特征，N为大于1的整数。将目标帧的N级图像特征分别输入MPC模块，得到目标帧与目标帧的预测帧之间的对齐偏移量。其中，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成目标帧的预测帧。
一些实施方式中，对齐模块，具体用于对目标帧执行以下步骤。将目标帧的第N级图像特征输入MPC模块，得到目标帧在第N级的对齐偏移量。根据目标帧在第N级的对齐偏移量，对第N级和对第N-1级的目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N-1级目标帧。将对齐后的第N级目标帧、对齐后的第N-1级目标帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到目标帧与目标帧的预测帧图像之间的对齐偏移量。
一些实施方式中，对齐模块，具体用于对对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，过渡目标帧与第N-1级的参考帧的尺度相同。将过渡目标帧、对齐后的第N-1级目标帧帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。
一些实施方式中，对齐模块，具体用于获取多张参考帧的N级图像特征，N为大于1的整数。将多张参考帧的N级图像特征分别输入多帧局部互相关MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成多张参考帧的预测帧。
一些实施方式中，对齐模块，具体用于对多张参考帧执行以下步骤：将多张参考帧的第N级图像特征输入MPC模块，得到多张参考帧在第N级的对齐偏移量。根据多张参考帧在第N级的对齐偏移量，对第N级和对第N-1级的多张参考帧进行仿射变换，得到特征对齐后的第N级参考帧以及多张第N-1级参考帧。将对齐后的第N级参考帧、对齐后的第N-1级参考帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到多张参考帧与多张参考帧的预测帧图像之间的对齐偏移量。
一些实施方式中，对齐模块，具体用于对对齐后的第N级参考帧进行上采样，得到多张过渡参考帧，过渡参考帧与第N-1级的参考帧的尺度相同。将过渡参考帧、对齐后的第N-1级参考帧帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。
一些实施方式中，处理模块，具体用于对对齐后的目标帧进行上采样，得到插帧和超分后的目标帧。
和/或，对多张参考帧和特征对齐后的多张参考帧进行上采样，并将多张上采样后的参考帧分别与对应的上采样后的特征对齐后的参考帧相加，得到超分后的目标帧。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面提供的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现第一方面提供的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中提供的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的视频超分方法的流程示意图；
图2是本申请一实施例提供的视频超分方法的示意图；
图3是本申请一实施例提供的视频超分方法中PCA的结构的示意图；
图4是本申请一实施例提供的视频超分方法中PCA的流程示意图；
图5是本申请一实施例提供的视频超分方法中MPC模块的结构示意图；
图6是本申请另一实施例提供的视频超分方法中PCA的流程示意图；
图7是本申请实施例提供的数据处理装置的结构示意图；
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，本发明中附图仅起到说明和描述的目的，并不用于限定本发明的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，本发明所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。还应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，还需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
视频超分指的是对视频中每一帧图像进行空间上的放大，视频插帧任务则可以理解为对视频进行时间上的放大，也就是视频时间超分。视频时空超分可以理解为对视频中的图像同时进行时间上的插帧以及空间上的超分。多帧对齐是进行视频时空超分的重要步骤。目前，视频超分可以使用基于增强可变形卷积网络的视频恢复(Video Restorationwith Enhanced Deformable Convolutional Networks，EDVR)的方式进行，但是，EDVR提出的显式对齐模块需要输入参考帧，对于插帧任务来说，无法获取把需要插帧的图像作为参考帧进行对齐。
而视频插帧可以使用基于二次视频插值(Quadratic Video Interpolation，QVI)方法进行，但是，该方法没有估计各个相邻帧到目标帧的相关关系，而是简单的利用卷积神经网络对中间帧进行合成。
基于此，本申请提供了一种视频超分方法，包括：获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。通过PCA分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
在本申请中，通过金字塔互相关的对齐方法分别对目标帧和多张参考帧进行特征对齐，由于金字塔互相关的对齐方法，采用了局部互相关的方式，可以有效减少了运算量，同时，通过金字塔级联的方式，由粗到细的进行特征对齐，速度更快精度更高，简便易用。
图1是本申请一实施例提供的视频超分方法的流程示意图。
参照图1，数据处理方法包括：
S101、获取目标帧和多张参考帧。
其中，参考帧为目标帧的相邻帧图像。
一些实施方式中，目标帧可以取自于一段视频，如通过摄像头拍摄的视频流，存储在存储器内的视频文件等。参考帧可以是目标帧的前两帧以及后两帧图像，但是不以此为限。例如，还可以前两帧和后三帧图像，或者前四帧和后一帧图像等。
S102、通过PCA分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。
S103、通过上采样对对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
图2是本申请一实施例提供的视频超分方法的示意图。
一些实施方式中，参考图2，在通过PCA对目标帧和多张参考帧进行特征对齐之前，可以先通过卷积的方式提取目标帧和多张参考帧的图像特征，然后根据图像特征通过PCA得到对齐后的目标帧和对齐后的多张参考帧。
然后，对对齐后的目标帧进行上采样，得到插帧和超分后的目标帧。和/或，对多张参考帧和特征对齐后的多张参考帧进行上采样，并将多张上采样后的参考帧分别与对应的上采样后的对齐后的参考帧相加，得到超分后的目标帧。
图3是本申请一实施例提供的视频超分方法中PCA的结构的示意图。
一些实施方式中，参考图3，其中，Warp指的是仿射变换，MPC则为多帧局部互相关(Multi-Patch Correlation，MPC)模块。
通过PCA对目标帧特征对齐，得到对齐后的目标帧，包括：
首先，获取目标帧的N级图像特征，N为大于1的整数。其中，参考图2，获取目标帧的N级图像特征可以通过卷积神经网络(Convolutional Neural Networks,CNN)实现。在本申请中，以N＝4为例进行说明。
图4是本申请一实施例提供的视频超分方法中PCA的流程示意图。
一些实施方式中，参考图4，将目标帧的N级图像特征分别输入MPC模块，得到目标帧与目标帧的预测帧之间的对齐偏移量，预测帧为对齐后的帧图像，包括对目标帧执行以下步骤：
S201、将目标帧的第N级图像特征输入MPC模块，得到目标帧在第N级的对齐偏移量。
S202、根据目标帧在第N级的对齐偏移量，对第N级和对第N-1级的目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N-1级目标帧。
S203、将对齐后的第N级目标帧、对齐后的第N-1级目标帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。
一些实施方式中，可以对对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，过渡目标帧与第N-1级的参考帧的尺度相同。将过渡目标帧、对齐后的第N-1级目标帧帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。
S204、多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到目标帧与目标帧的预测帧图像之间的对齐偏移量。
最后，根据对齐偏移量，通过网格采样层生成目标帧的预测帧。
图5是本申请一实施例提供的视频超分方法中MPC模块的结构示意图。
参考图5，其中，corr指相关(correlation)，conv指卷积(Convolution)。多帧局部互相关模块是由两两相邻帧之间的块互相关与卷积层结合而成。块互相关使用了局部的特征进行互相关操作，对比全局互相关而言，大大减少了运算量。
另一些实施方式中，参考图3，通过PCA对多张参考帧特征对齐，得到对齐后的多张参考帧，包括：
首先，获取多张参考帧的N级图像特征，N为大于1的整数。其中，参考图2，获取多张参考帧的N级图像特征可以通过CNN实现。在本申请中，以N＝4为例进行说明。
图6是本申请另一实施例提供的视频超分方法中PCA的流程示意图。
一些实施方式中，参考图6，将多张参考帧的N级图像特征分别输入MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，预测帧为对齐后的帧图像，包括对多张参考帧执行以下步骤：
S301、将多张参考帧的第N级图像特征输入MPC模块，得到多张参考帧在第N级的对齐偏移量。
S302、根据多张参考帧在第N级的对齐偏移量，对第N级和对第N-1级的多张参考帧进行仿射变换，得到特征对齐后的第N级参考帧以及多张第N-1级参考帧。
S303、将对齐后的第N级参考帧、对齐后的第N-1级参考帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。
一些实施方式中，可以对对齐后的第N级参考帧进行上采样，得到多张过渡参考帧，过渡参考帧与第N-1级的参考帧的尺度相同。将过渡参考帧、对齐后的第N-1级参考帧帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。
S304、多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到多张参考帧与多张参考帧的预测帧图像之间的对齐偏移量。
最后，根据对齐偏移量，通过网格采样层生成多张参考帧的预测帧。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图7是本申请实施例提供的数据处理装置的结构示意图。
参考图7，本申请实施例提供了一种视频超分装置，装置包括：
获取模块401，用于获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。
对齐模块402，用于通过金字塔互相关对齐模块PCA分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。
处理模块403，用于通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
一些实施方式中，对齐模块402，具体用于获取目标帧的N级图像特征，N为大于1的整数。将目标帧的N级图像特征分别输入多帧局部互相关MPC模块，得到目标帧与目标帧的预测帧之间的对齐偏移量。其中，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成目标帧的预测帧。
一些实施方式中，对齐模块402，具体用于对目标帧执行以下步骤。将目标帧的第N级图像特征输入MPC模块，得到目标帧在第N级的对齐偏移量。根据目标帧在第N级的对齐偏移量，对第N级和对第N-1级的目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N-1级目标帧。将对齐后的第N级目标帧、对齐后的第N-1级目标帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到目标帧与目标帧的预测帧图像之间的对齐偏移量。
一些实施方式中，对齐模块402，具体用于对对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，过渡目标帧与第N-1级的参考帧的尺度相同。将过渡目标帧、对齐后的第N-1级目标帧帧以及第N-1级的图像特征输入MPC模块，得到目标帧在第N-1级的对齐偏移量。
一些实施方式中，对齐模块402，具体用于获取多张参考帧的N级图像特征，N为大于1的整数。将多张参考帧的N级图像特征分别输入多帧局部互相关MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成多张参考帧的预测帧。
一些实施方式中，对齐模块402，具体用于对多张参考帧执行以下步骤：将多张参考帧的第N级图像特征输入MPC模块，得到多张参考帧在第N级的对齐偏移量。根据多张参考帧在第N级的对齐偏移量，对第N级和对第N-1级的多张参考帧进行仿射变换，得到特征对齐后的第N级参考帧以及多张第N-1级参考帧。将对齐后的第N级参考帧、对齐后的第N-1级参考帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到多张参考帧与多张参考帧的预测帧图像之间的对齐偏移量。
一些实施方式中，对齐模块402，具体用于对对齐后的第N级参考帧进行上采样，得到多张过渡参考帧，过渡参考帧与第N-1级的参考帧的尺度相同。将过渡参考帧、对齐后的第N-1级参考帧帧以及第N-1级的图像特征输入MPC模块，得到多张参考帧在第N-1级的对齐偏移量。
一些实施方式中，处理模块403，具体用于对对齐后的目标帧进行上采样，得到插帧和超分后的目标帧。
和/或，对多张参考帧和特征对齐后的多张参考帧进行上采样，并将多张上采样后的参考帧分别与对应的上采样后的特征对齐后的参考帧相加，得到超分后的目标帧。
上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
应该理解，以上所描述的装置实施例仅仅是示意性的，本发明实施例所揭露的装置和方法，也可以通过其它的方式实现。例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得用户终端或司机终端执行本发明各个实施例所述方法的全部或部分步骤。
也即，本领域内的技术人员应明白，本发明实施例可以采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式中的任一种实现。
基于此，本发明实施例还提供一种程序产品，该程序产品可以是U盘、移动硬盘、ROM、RAM、磁碟或者光盘等存储介质，存储介质上可以存储有计算机程序，计算机程序被处理器运行时执行如前述方法实施例中所述的目标检测方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(FerroelectricRandom Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandom Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
可选地，本发明实施例还提供一种电子设备，该电子设备可以是服务器、计算机、工控机等设备，图8是本申请实施例提供的电子设备的结构示意图。
如图8所示，该电子设备可以包括：处理器501、存储介质502和总线503，存储介质502存储有处理器501可执行的机器可读指令，当目标检测设备运行时，处理器2501与存储介质502之间通过总线503通信，处理器501执行机器可读指令，以执行时执行如前述实施例中所述的目标检测方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
为了便于说明，在上述目标检测设备中仅描述了一个处理器。然而，应当注意，一些实施例中，本发明中的目标检测设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种视频超分方法，其特征在于，包括：
获取目标帧和多张参考帧，所述参考帧为目标帧的相邻帧图像；
通过金字塔互相关对齐模块分别对所述目标帧和多张所述参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧；
通过上采样对所述特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
2.根据权利要求1所述的方法，其特征在于，通过金字塔互相关对齐模块对所述目标帧特征对齐，得到对齐后的目标帧，包括：
获取目标帧的N级图像特征，N为大于1的整数；
将所述目标帧的N级图像特征分别输入多帧局部互相关模块，得到所述目标帧与所述目标帧的预测帧之间的对齐偏移量；其中，所述预测帧为对齐后的帧图像；
根据所述对齐偏移量，通过网格采样层生成所述目标帧的预测帧。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标帧的N级图像特征分别输入多帧局部互相关模块，得到所述目标帧与所述目标帧的预测帧之间的对齐偏移量，包括：
对所述目标帧执行以下步骤：
将所述目标帧的第N级图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N级的对齐偏移量；
根据所述目标帧在第N级的对齐偏移量，对第N级和对第N-1级的所述目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N-1级目标帧；
将所述对齐后的第N级目标帧、所述特征对齐后的第N-1级目标帧以及第N-1级的图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N-1级的对齐偏移量；
多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到所述目标帧与所述目标帧的预测帧图像之间的对齐偏移量。
4.根据权利要求2所述的方法，其特征在于，将所述对齐后的第N级目标帧、所述对齐后的第N-1级目标帧以及第N-1级的图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N-1级的对齐偏移量，包括：
对所述对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，所述过渡目标帧与第N-1级的参考帧的尺度相同；
将所述过渡目标帧、所述对齐后的第N-1级目标帧帧以及第N-1级的图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N-1级的对齐偏移量。
5.根据权利要求1-4任一项所述的方法，其特征在于，通过金字塔互相关对齐模块对多张所述参考帧特征对齐，得到对齐后的参考帧，包括：
获取多张参考帧的N级图像特征，N为大于1的整数；
将多张所述参考帧的N级图像特征分别输入多帧局部互相关多帧局部互相关模块，得到多张所述参考帧与多张所述参考帧的预测帧之间的对齐偏移量，所述预测帧为对齐后的帧图像；
根据所述对齐偏移量，通过网格采样层生成多张所述参考帧的预测帧。
6.根据权利要求5所述的方法，其特征在于，所述将多张所述参考帧的N级图像特征分别输入多帧局部互相关模块，得到多张所述参考帧与多张所述参考帧的预测帧之间的对齐偏移量，包括：
对多张所述参考帧执行以下步骤：
将多张所述参考帧的第N级图像特征输入所述多帧局部互相关模块，得到多张所述参考帧在第N级的对齐偏移量；
根据多张所述参考帧在第N级的对齐偏移量，对第N级和对第N-1级的多张所述参考帧进行仿射变换，得到特征对齐后的第N级参考帧以及多张第N-1级参考帧；
将所述对齐后的第N级参考帧、所述特征对齐后的第N-1级参考帧以及第N-1级的图像特征输入所述多帧局部互相关模块，得到多张所述参考帧在第N-1级的对齐偏移量；
多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到多张所述参考帧与多张所述参考帧的预测帧图像之间的对齐偏移量。
7.根据权利要求6所述的方法，其特征在于，将所述对齐后的第N级参考帧、所述对齐后的第N-1级参考帧以及第N-1级的图像特征输入所述多帧局部互相关模块，得到多张所述参考帧在第N-1级的对齐偏移量，包括：
对所述对齐后的第N级参考帧进行上采样，得到多张过渡参考帧，所述过渡参考帧与第N-1级的参考帧的尺度相同；
将所述过渡参考帧、所述对齐后的第N-1级参考帧帧以及第N-1级的图像特征输入所述多帧局部互相关模块，得到多张所述参考帧在第N-1级的对齐偏移量。
8.根据权利要求1-3任一项所述的方法，其特征在于，通过上采样对所述特征对齐后的目标帧和所述多张参考帧进行处理，得到超分后的目标帧，包括：
对所述特征对齐后的目标帧进行上采样，得到插帧和超分后的目标帧；和/或，
对所述多张参考帧和所述特征对齐后的所述多张参考帧进行上采样，并将多张上采样后的参考帧分别与对应的上采样后的所述特征对齐后的参考帧相加，得到超分后的目标帧。
9.一种视频超分装置，其特征在于，所述装置包括：
获取模块，用于获取目标帧和多张参考帧，所述参考帧为目标帧的相邻帧图像；
对齐模块，用于通过金字塔互相关对齐模块分别对所述目标帧和多张所述参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧；
处理模块，用于通过上采样对所述特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210445849.4A CN114782251A (zh) | 2022-04-26 | 2022-04-26 | 视频超分方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210445849.4A CN114782251A (zh) | 2022-04-26 | 2022-04-26 | 视频超分方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782251A true CN114782251A (zh) | 2022-07-22 |
Family
ID=82433441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210445849.4A Pending CN114782251A (zh) | 2022-04-26 | 2022-04-26 | 视频超分方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782251A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740241A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
-
2022
- 2022-04-26 CN CN202210445849.4A patent/CN114782251A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740241A (zh) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3540637B1 (en) | Neural network model training method, device and storage medium for image processing | |
| WO2020238560A1 (zh) | 视频目标跟踪方法、装置、计算机设备及存储介质 | |
| JP7032536B2 (ja) | インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 | |
| CN110570356B (zh) | 图像处理方法和装置、电子设备及存储介质 | |
| CN110544214A (zh) | 一种图像修复方法、装置及电子设备 | |
| CN105635588A (zh) | 一种稳像方法及装置 | |
| CN105590304B (zh) | 超分辨率图像重建方法和装置 | |
| CN110163221B (zh) | 在图像中进行物体检测的方法、装置、车辆、机器人 | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| CN113891027B (zh) | 视频插帧模型训练方法、装置、计算机设备和存储介质 | |
| CN114782251A (zh) | 视频超分方法、装置、电子设备及可读存储介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Wu et al. | Bridging component learning with degradation modelling for blind image super-resolution | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| CN114758145A (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
| CN114202648A (zh) | 文本图像矫正方法、训练方法、装置、电子设备以及介质 | |
| WO2021211771A1 (en) | Systems and methods for optical flow estimation | |
| CN111583329B (zh) | 增强现实眼镜显示方法、装置、电子设备和存储介质 | |
| JP4563982B2 (ja) | 動き推定方法，装置，そのプログラムおよびその記録媒体 | |
| CN111724292B (zh) | 图像处理方法、装置、设备以及计算机可读介质 | |
| CN109885369B (zh) | 图像联动方法及装置 | |
| CN117408886A (zh) | 气体图像增强方法、装置、电子装置和存储介质 | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN114998814A (zh) | 目标视频生成方法、装置、计算机设备和存储介质 | |
| CN115797194A (zh) | 图像降噪方法、装置、电子设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |