CN112581372B - 一种跨时空映射超分辨光场成像方法、装置及设备 - Google Patents

一种跨时空映射超分辨光场成像方法、装置及设备 Download PDF

Info

Publication number
CN112581372B
CN112581372B CN202110218288.XA CN202110218288A CN112581372B CN 112581372 B CN112581372 B CN 112581372B CN 202110218288 A CN202110218288 A CN 202110218288A CN 112581372 B CN112581372 B CN 112581372B
Authority
CN
China
Prior art keywords
feature set
target
feature
image sequence
dimensional convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110218288.XA
Other languages
English (en)
Other versions
CN112581372A (zh
Inventor
方璐
王滨
季梦奇
王星
林克章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110218288.XA priority Critical patent/CN112581372B/zh
Publication of CN112581372A publication Critical patent/CN112581372A/zh
Application granted granted Critical
Publication of CN112581372B publication Critical patent/CN112581372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种跨时空映射超分辨光场成像方法、装置及设备，该方法包括：从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；依据所述对准特征集合和所述目标特征集合确定融合特征集合；对融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。通过本申请的技术方案，有效提高图像的分辨率，分辨率的提升效果很好。

Description

一种跨时空映射超分辨光场成像方法、装置及设备
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种跨时空映射超分辨光场成像方法、装置及设备。
背景技术
图像的分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI（Pixels Per Inch，像素每英寸），显然，分辨率越大，则图像的清晰度越高，分辨率越小，则图像的清晰度越低。在实际应用中，图像的分辨率、图像的宽尺寸和图像的高尺寸一起决定了图像的大小以及质量。
随着图像处理技术的发展，在越来越多的应用场景中，如自动驾驶，监控，影视，医疗，AR（Augmented Reality，增强现实）/VR（Virtual Reality，虚拟现实）等应用场景，需要对低分辨率的图像进行重建，得到高分辨率的图像。
为了将低分辨率的图像重建为高分辨率的图像，需要采集低分辨率的图像，然后利用图像插值等算法对低分辨率的图像进行处理，得到高分辨率的图像。但是，采用图像插值等算法，分辨率的提升效果有限，无法达到高分辨率的要求，尤其是在自动驾驶，AR/VR等应用场景，图像的分辨率无法满足用户要求。
发明内容
本申请提供一种跨时空映射超分辨光场成像方法，所述方法包括：
从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；
对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
依据所述对准特征集合和所述目标特征集合确定融合特征集合；
对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。
本申请提供一种跨时空映射超分辨光场成像装置，所述装置包括：
选取模块，用于从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻；
操作模块，用于对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
处理模块，用于利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
确定模块，用于依据所述对准特征集合和目标特征集合确定融合特征集合；
所述操作模块，还用于对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。
本申请提供一种跨时空映射超分辨光场成像设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下步骤：
从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；
对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
依据所述对准特征集合和所述目标特征集合确定融合特征集合；
对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。
由以上技术方案可见，本申请实施例中，基于目标图像序列和参考图像序列获取与目标图像序列对应的超分辨图像，超分辨图像的分辨率大于目标图像序列中任一目标图像的分辨率，即该超分辨图像的分辨率更大，有效提高图像的分辨率，分辨率的提升效果很好，能够达到高分辨率的要求，即使在自动驾驶，AR/VR等应用场景，图像的分辨率也能够满足用户要求。目标图像序列包括不同视角的至少两帧图像，参考图像序列包括不同视角的至少两帧图像，在获取超分辨图像时，可以参考不同视角的图像信息，从而考虑图像空间位置来生成超分辨图像，使图像达到更高的分辨率要求。目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻，在获取超分辨图像时，可以参考比目标图像序列更早的参考图像序列，从而考虑图像时间信息来生成超分辨图像，使图像达到更高的分辨率要求。显然，上述方式能够有效利用空域冗余和时域冗余，充分考虑到多视角和多时序特性，对目标图像和参考图像进行校正和融合，能够更有效的利用图像信息，得到超分辨图像，提升光场超分辨质量，成像效果更好，具有很强的适应性、可扩展性，实现跨时空映射。
附图说明
图1是本申请一种实施方式中的跨时空映射超分辨光场成像方法的流程图；
图2是本申请一种实施方式中的目标场景的图像采集示意图；
图3是本申请一种实施方式中的跨时空映射光场成像的示意图；
图4是本申请一种实施方式中的跨时空映射超分辨光场成像装置的结构图；
图5是本申请一种实施方式中的跨时空映射超分辨光场成像设备的结构图。
具体实施方式
本申请实施例中提出一种跨时空映射超分辨光场成像方法，用于将低分辨率的图像转换为高分辨率的图像，从而提高图像的分辨率，满足应用场景的需求。参见图1所示，为该方法的流程示意图，该方法可以包括：
步骤101，从已获得的至少两个图像序列中选取目标图像序列和参考图像序列。示例性的，针对已获得的至少两个图像序列，同一图像序列中可以存在不同视角的至少两帧图像，可以将该目标图像序列中的至少两帧图像称为目标图像，并将该参考图像序列中的至少两帧图像称为参考图像。该目标图像序列中各目标图像的采集时刻，可以晚于该参考图像序列中各参考图像的采集时刻。
步骤101之前，还可以先获取至少两个图像序列，比如说，至少两个图像序列可以是通过光场相机采集。该光场相机在每个采集时刻采集不同视角的至少两帧图像，将同一采集时刻采集的至少两帧图像组成一个图像序列。
比如说，光场相机在采集时刻1，采集视角a1的图像P11、视角a2的图像P12和视角a3的图像P13，将图像P11、图像P12和图像P13组成一个图像序列1。光场相机在采集时刻2，采集视角a1的图像P21、视角a2的图像P22和视角a3的图像P23，将图像P21、图像P22和图像P23组成一个图像序列2。光场相机在采集时刻3，采集视角a1的图像P31、视角a2的图像P32和视角a3的图像P33，将图像P31、图像P32和图像P33组成一个图像序列3，以此类推。
当然，光场相机只是示例，还可以采用其它类型的相机采集至少两个图像序列，只要能够在同一采集时刻采集不同视角的至少两帧图像即可。
示例性的，光场相机对目标场景进行成像时，可以通过光场相机的镜头阵列采集不同视角的至少两帧图像，也就是说，可以采集至少两帧图像，且不同图像的视角不同，从而在图像中体现目标场景的光场信息。光场作为一种涵盖多视角的图像信息，是一个四维的参数化表示，是空间中包含位置信息和方向信息的四维光辐射场，涵盖光线在传播中的所有信息。通过光场相机采集的图像，相对于普通图像来说，能够得到更多的空间信息，如空间维度上获得所有物体色彩感知信息，能够以多个视角的形式展现出来，即多个视角的图像。
在步骤101中，基于已获取的至少两个图像序列，可以从至少两个图像序列中选取目标图像序列和参考图像序列，目标图像序列可以为一个，参考图像序列可以为至少一个，目标图像序列中各目标图像的采集时刻，需要晚于参考图像序列中各参考图像的采集时刻。示例性的，若目标图像序列是采集时刻t的图像序列，参考图像序列的数量为n，则n个参考图像序列可以包括采集时刻t-1的图像序列，采集时刻t-2的图像序列，…，采集时刻t-n的图像序列。
比如说，若需要将采集时刻3的图像转换为高分辨率的图像，则图像序列3作为目标图像序列，若参考图像序列为1个，则图像序列2作为参考图像序列，若参考图像序列为2个，则图像序列1和图像序列2均作为参考图像序列。
在上述应用场景下，在图像序列3作为目标图像序列，图像序列1和图像序列2均作为参考图像序列时，则图像序列3可以存在不同视角的图像P31、图像P32和图像P33，这些图像作为目标图像；图像序列2可以存在不同视角的图像P21、图像P22和图像P23，这些图像作为参考图像；图像序列1可以存在不同视角的图像P11、图像P12和图像P13，这些图像作为参考图像。
步骤102，对目标图像序列进行三维卷积操作，得到与目标图像序列对应的目标特征集合（为了区分方便，将与目标图像序列对应的特征集合记为目标特征集合）。以及，对参考图像序列进行三维卷积操作，得到与参考图像序列对应的参考特征集合（将与参考图像序列对应的特征集合记为参考特征集合）。
示例性的，在得到目标图像序列之后，可以依据N个不同尺度的三维卷积核（可以根据实际应用配置）对该目标图像序列进行三维卷积操作，得到与该目标图像序列对应的N个目标子特征集合，N为大于或者等于1的正整数。然后，基于N个目标子特征集合确定与目标图像序列对应的目标特征集合。
比如说，若N为1，则可以预先配置一个三维卷积核，该三维卷积核的尺度可以根据经验配置，对此不做限制，该三维卷积核可以表示为a*b*K，a*b表示三维卷积核的尺度，a表示三维卷积核的宽度，b表示三维卷积核的高度，K表示三维卷积核的深度数量（本文的三维卷积核的深度数量，均是指二维的平面卷积核的厚度，即深度数量个二维的平面卷积核组成三维卷积核），K的取值需要与目标图像序列中目标图像的数量相同，即光场相机在同一时刻需要采集K帧不同视角的图像。目标图像序列可以表示为c*d*K，c*d表示目标图像的尺寸（不同目标图像的尺寸需要相同），c表示目标图像的宽度，即横向分辨率，d表示目标图像的高度，即纵向分辨率，K表示目标图像的数量，K也可以称为目标图像序列的深度数量（本文的目标图像序列的深度数量，均是指二维的平面图像的厚度，即深度数量个二维的平面图像组成图像序列）。
综上所述，由于三维卷积核和目标图像序列均是三维表示，且三维卷积核的深度数量与目标图像序列的深度数量相同，因此，可以基于三维卷积核对目标图像序列进行三维卷积操作，三维卷积操作的结果为目标子特征集合，从而通过三维卷积操作得到一个目标子特征集合，对此三维卷积操作过程不做限制。
在得到目标子特征集合后，可以基于该目标子特征集合确定与目标图像序列对应的目标特征集合，即目标特征集合可以包括该目标子特征集合。
又例如，若N大于1，则可以预先配置N个不同尺度的三维卷积核，即不同三维卷积核的尺度可以不同，对此三维卷积核不做限制，三维卷积核可以表示为ai*bi*Ki，ai*bi表示第i个三维卷积核的尺度，i的取值为1-N，ai表示第i个三维卷积核的宽度，bi表示第i个三维卷积核的高度，Ki表示第i个三维卷积核的深度数量。目标图像序列可以表示为c*d*K，c*d表示目标图像的尺寸，c表示目标图像的宽度，d表示目标图像的高度，K表示目标图像序列的深度数量。
由于三维卷积核和目标图像序列均是三维表示，因此，可以依据N个不同尺度的三维卷积核对目标图像序列进行三维卷积操作（即进行N次三维卷积操作），每次三维卷积操作的结果为一个目标子特征集合，从而通过三维卷积操作得到N个目标子特征集合，对此三维卷积操作过程不做限制。在得到N个目标子特征集合之后，可以基于N个目标子特征集合确定与目标图像序列对应的目标特征集合，即，该目标特征集合可以包括N个目标子特征集合。
以下结合两种实现方式，对目标图像序列的三维卷积操作过程进行说明，当然，如下两种实现方式也只是示例，对此实现方式不做限制。
方式1、通过每个三维卷积核分别对目标图像序列进行三维卷积操作，得到一个目标子特征集合，在通过N个三维卷积核分别对目标图像序列进行三维卷积操作后，就可以得到N个目标子特征集合，然后，可以将N个目标子特征集合组合成目标特征集合。在方式1中，每个三维卷积核的深度数量Ki均与目标图像序列的深度数量K相同，只是不同三维卷积核的尺度ai*bi不同。
比如说，假设存在3个三维卷积核，通过三维卷积核1对目标图像序列进行三维卷积操作，得到目标子特征集合1，通过三维卷积核2对目标图像序列进行三维卷积操作，得到目标子特征集合2，通过三维卷积核3对目标图像序列进行三维卷积操作，得到目标子特征集合3，将目标子特征集合1、目标子特征集合2和目标子特征集合3组成目标特征集合。三维卷积核1、三维卷积核2和三维卷积核3的深度数量Ki均与目标图像序列的深度数量K相同，三维卷积核1的尺度为8*8，三维卷积核2的尺度为6*6，三维卷积核3的尺度为4*4。
方式2、通过第一个三维卷积核对目标图像序列进行三维卷积操作，得到目标子特征集合1，通过第二个三维卷积核对目标子特征集合1进行三维卷积操作，得到目标子特征集合2，通过第三个三维卷积核对目标子特征集合2进行三维卷积操作，得到目标子特征集合3，以此类推，直到通过最后一个三维卷积核对目标子特征集合进行三维卷积操作，从而得到N个目标子特征集合，将N个目标子特征集合组合成目标特征集合。在方式2中，第一个三维卷积核的深度数量与目标图像序列的深度数量K相同，第二个三维卷积核的深度数量与目标子特征集合1的深度数量相同，且第二个三维卷积核的深度数量大于第一个三维卷积核的深度数量，第三个三维卷积核的深度数量与目标子特征集合2的深度数量相同，且第三个三维卷积核的深度数量大于第二个三维卷积核的深度数量，以此类推。在方式2中，不同三维卷积核的尺度ai*bi不同。
示例性的，在方式2中，可以通过如下步骤得到N个目标子特征集合：
步骤S11、利用第一卷积核序列中的首个三维卷积核对目标图像序列进行三维卷积操作，得到目标子特征集合。示例性的，第一卷积核序列包括N个不同尺度的三维卷积核，N个不同尺度的三维卷积核按照尺度从大到小的顺序排列。
比如说，可以预先配置3个三维卷积核，三维卷积核1的深度数量为K1，三维卷积核1的尺度为8*8，三维卷积核2的深度数量为K2，三维卷积核2的尺度为6*6，三维卷积核3的深度数量为K3，三维卷积核3的尺度为4*4。
第一卷积核序列可以包括三维卷积核1、三维卷积核2和三维卷积核3，这3个三维卷积核按照尺度从大到小的顺序排列，即第一卷积核序列依次包括三维卷积核1（即首个三维卷积核）、三维卷积核2和三维卷积核3。
在步骤S11中，利用三维卷积核1对目标图像序列进行三维卷积操作，得到目标子特征集合1，目标图像序列的尺寸为c*d，目标图像序列的深度数量为K，三维卷积核1的尺度为a1*b1，本实施例中以8*8为例，三维卷积核1的深度数量为K1，深度数量K1与目标图像序列的深度数量K相同。在利用三维卷积核1对目标图像序列进行三维卷积操作后，得到的目标子特征集合1的尺度为c’*d’，目标子特征集合1的深度数量为K’。基于三维卷积操作的特性，目标子特征集合1的尺度c’*d’小于目标图像序列的尺寸c*d，目标子特征集合1的深度数量K’大于目标图像序列的深度数量K，即尺度变小，深度数量增加。
步骤S12、将首个三维卷积核更新为已遍历卷积核，将当前得到的目标子特征集合更新为已遍历特征集合，比如说，可以将三维卷积核1更新为已遍历卷积核，将当前得到的目标子特征集合1更新为已遍历特征集合。
步骤S13、确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核。如果是，则可以执行步骤S14，如果否，则可以执行步骤S15。
步骤S14、将已得到的所有目标子特征集合确定为N个目标子特征集合。
步骤S15、利用第一卷积核序列中的该已遍历卷积核的后一个三维卷积核对该已遍历特征集合进行三维卷积操作，得到目标子特征集合。然后，可以将该已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，并将当前得到的该目标子特征集合更新为已遍历特征集合，返回执行步骤S13。
例如，在将三维卷积核1更新为已遍历卷积核，将目标子特征集合1更新为已遍历特征集合后，由于已遍历卷积核不是最后一个三维卷积核，因此，利用已遍历卷积核的后一个三维卷积核（即三维卷积核2）对已遍历特征集合（即目标子特征集合1）进行三维卷积操作，得到目标子特征集合2。
在利用三维卷积核2对目标子特征集合1进行三维卷积操作，得到目标子特征集合2时，目标子特征集合1的尺度为c’*d’，目标子特征集合1的深度数量为K’，三维卷积核2的尺度为a2*b2，三维卷积核2的深度数量为K2，深度数量K2与目标子特征集合1的深度数量K’相同。目标子特征集合2的尺度为c’’*d’’，目标子特征集合2的深度数量为K’’。目标子特征集合2的尺度c’’*d’’小于目标子特征集合1的尺度c’*d’，目标子特征集合2的深度数量K’’大于目标子特征集合1的深度数量K’，即尺度变小，深度数量增加。
然后，将三维卷积核2更新为已遍历卷积核，将目标子特征集合2更新为已遍历特征集合，由于已遍历卷积核不是最后一个三维卷积核，因此，利用已遍历卷积核的后一个三维卷积核（即三维卷积核3）对已遍历特征集合（即目标子特征集合2）进行三维卷积操作，得到目标子特征集合3。三维卷积核3的尺度为a3*b3，三维卷积核3的深度数量为K3，深度数量K3与目标子特征集合2的深度数量K’’相同。目标子特征集合3的尺度会小于目标子特征集合2的尺度，目标子特征集合3的深度数量会大于目标子特征集合2的深度数量。
然后，将三维卷积核3更新为已遍历卷积核，将目标子特征集合3更新为已遍历特征集合，由于已遍历卷积核是最后一个三维卷积核，因此，将已得到的所有目标子特征集合（如目标子特征集合1、目标子特征集合2和目标子特征集合3）确定为N个目标子特征集合，至此，完成三维卷积操作。
示例性的，在得到参考图像序列（每个参考图像序列的处理相同，后续以一个参考图像序列为例）之后，可以依据N个不同尺度的三维卷积核（与目标图像序列使用的三维卷积核相同）对该参考图像序列进行三维卷积操作，得到与该参考图像序列对应的N个参考子特征集合，N为大于或者等于1的正整数。然后，基于N个参考子特征集合确定与参考图像序列对应的参考特征集合。
比如说，若N为1，则预先配置一个三维卷积核，该三维卷积核的深度数量与参考图像序列的深度数量相同。可以基于该三维卷积核对参考图像序列进行三维卷积操作，得到一个参考子特征集合，基于该参考子特征集合确定与参考图像序列对应的参考特征集合，即参考特征集合包括该参考子特征集合。
又例如，若N大于1，则预先配置N个不同尺度的三维卷积核，依据N个不同尺度的三维卷积核对参考图像序列进行三维卷积操作（即进行N次三维卷积操作），得到N个参考子特征集合，基于N个参考子特征集合确定与参考图像序列对应的参考特征集合，即，参考特征集合包括N个参考子特征集合。
以下结合两种实现方式，对参考图像序列的三维卷积操作过程进行说明，当然，如下两种实现方式也只是示例，对此实现方式不做限制。
方式1、通过每个三维卷积核分别对参考图像序列进行三维卷积操作，得到一个参考子特征集合，在通过N个三维卷积核对参考图像序列进行三维卷积操作后，得到N个参考子特征集合，将N个参考子特征集合组合成参考特征集合。
方式2、通过第一个三维卷积核对参考图像序列进行三维卷积操作，得到参考子特征集合1，通过第二个三维卷积核对参考子特征集合1进行三维卷积操作，得到参考子特征集合2，以此类推，直到通过最后一个三维卷积核对参考子特征集合进行三维卷积操作，从而得到N个参考子特征集合，将N个参考子特征集合组合成参考特征集合。示例性的，通过如下步骤得到N个参考子特征集合：
步骤S21、利用第一卷积核序列中的首个三维卷积核对参考图像序列进行三维卷积操作，得到参考子特征集合。示例性的，第一卷积核序列包括N个不同尺度的三维卷积核，N个不同尺度的三维卷积核按照尺度从大到小的顺序排列。
步骤S22、将首个三维卷积核更新为已遍历卷积核，将当前得到的参考子特征集合更新为已遍历特征集合。
步骤S23、确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核。如果是，则可以执行步骤S24，如果否，则可以执行步骤S25。
步骤S24、将已得到的所有参考子特征集合确定为N个参考子特征集合。
步骤S25、利用第一卷积核序列中的该已遍历卷积核的后一个三维卷积核对该已遍历特征集合进行三维卷积操作，得到参考子特征集合。然后，可以将该已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，并将当前得到的该参考子特征集合更新为已遍历特征集合，返回执行步骤S23。
示例性的，对参考图像序列进行三维卷积操作的实现过程，可以与对目标图像序列进行三维卷积操作的实现过程类似，在此不再重复赘述。
步骤103，利用目标特征集合对参考图像序列对应的参考特征集合进行调整，以得到与该参考图像序列对应的对准特征集合。示例性的，该对准特征集合与该目标特征集合中对应同一对象的特征点的位置可以对应。
示例性的，参见步骤102，参考图像序列的数量可以为至少一个，针对每个参考图像序列，可以得到与该参考图像序列对应的参考特征集合。在步骤103中，可以利用目标特征集合对该参考图像序列对应的参考特征集合进行调整，以得到与该参考图像序列对应的对准特征集合，为了方便描述，在后续实施例中，以对一个参考图像序列对应的参考特征集合进行调整为例。
示例性的，对准特征集合与目标特征集合中对应同一对象的特征点的位置对应是指：针对目标场景的某个对象（即目标场景的任一对象，目标场景可能存在多个对象，每个对象的处理方式相同，为了方便描述，后续以一个对象为例进行说明），该对象在对准特征集合中的特征点与该对象在目标特征集合中的特征点的位置对应。比如说，假设对准特征集合中存在100个特征点，则目标特征集合中也存在100个特征点，若该对象在对准特征集合中的特征点处于位置1（如所有100个特征点中的第50个特征点），则该对象在目标特征集合中的特征点也处于位置1（如所有100个特征点中的第50个特征点）。
在一种可能的实施方式中，还可以采用如下步骤对参考特征集合进行调整，得到对准特征集合，当然，如下步骤只是示例，对此不做限制，只要能够保证对准特征集合与目标特征集合中对应同一对象的特征点的位置对应即可。
步骤S31、依据目标图像序列和参考图像序列，从该目标特征集合和该参考特征集合中选择特征点对。示例性的，该特征点对可以包括该目标特征集合中的目标特征点和该参考特征集合中的参考特征点，且该特征点对中的该目标特征点和该特征点对中的该参考特征点可以对应同一对象。
示例性的，针对目标场景的某个对象，可以从目标特征集合中选择与该对象对应的特征点，将该特征点记为目标特征点，如目标特征集合中的位置1的特征点是与该对象对应的目标特征点。可以从参考特征集合中选择与该对象对应的特征点，将该特征点记为参考特征点，如参考特征集合中的位置2的特征点是与该对象对应的参考特征点。可以将该目标特征点和该参考特征点组成一个特征点对，从而从目标特征集合和参考特征集合中选择出特征点对。
在一种可能的实施方式中，可以对目标图像序列和参考图像序列进行光流估计，得到目标光流，目标光流用于表示同一视角下采集的参考图像序列中参考图像与目标图像序列中目标图像中同一对象对应的像素位置关系。基于目标光流从目标特征集合和参考特征集合中选择特征点对，该特征点对包括同一对象在目标特征集合中的目标特征点和该对象在参考特征集合中的参考特征点。
首先，可以采用光流估计算法（例如，Lucas-Kanade算法、FlowNet算法、FlowNet2算法、改进的FlowNet-S算法等，对此光流估计算法不做限制，只要能够实现光流估计即可）对目标图像序列和参考图像序列进行光流估计，得到目标光流。比如说，可以将目标图像序列和参考图像序列输入给已训练的用于光流估计的深度学习模型，由深度学习模型对目标图像序列和参考图像序列进行光流估计，得到目标光流，并输出目标光流。关于深度学习模型的光流估计过程，本实施例中不再赘述，只要深度学习模型能够输出目标光流即可。
该目标光流用于表示同一对象对应的像素位置关系（即像素级别的密集对应关系），比如说，参考图像序列中参考图像1的视角与目标图像序列中目标图像1的视角相同，参考图像序列中参考图像2的视角与目标图像序列中目标图像2的视角相同，则目标光流用于表示参考图像1与目标图像1中同一对象对应的像素位置关系，也用于表示参考图像2与目标图像2中同一对象对应的像素位置关系，这两个位置关系相同，因此，目标光流是同一个。
目标光流用于表示参考图像与目标图像中同一对象对应的像素位置关系可以是指：假设某个对象1在参考图像中的像素位置是像素位置L1，该对象1在目标图像中的像素位置是像素位置J1，则该目标光流能够表示参考图像中的像素位置L1与目标图像中的像素位置J1之间的对应关系。假设某个对象2在参考图像中的像素位置是像素位置L2，该对象2在目标图像中的像素位置是像素位置J2，则该目标光流能够表示参考图像中的像素位置L2与目标图像中的像素位置J2之间的对应关系，以此类推。显然，该目标光流用于表示目标图像中的大量像素位置与参考图像中的大量像素位置之间的一一对应关系。
然后，基于目标光流从目标特征集合和参考特征集合中选择特征点对，该特征点对包括目标特征集合中的目标特征点和参考特征集合中的参考特征点。
比如说，针对某个对象1，由于目标光流能够表示参考图像中的像素位置L1与目标图像中的像素位置J1之间的对应关系，因此，确定对象1在参考图像中的像素位置是L1，确定对象1在目标图像中的像素位置是J1。
由于目标特征集合是基于目标图像序列中的目标图像得到，因此，目标特征集合中存在与对象1对应的特征点，这个特征点与像素位置J1对应，即对像素位置J1进行三维卷积操作时对应的特征点。综上，可以从目标特征集合中找到与像素位置J1对应的特征点，即对象1在目标特征集合中的目标特征点。
由于参考特征集合是基于参考图像序列中的参考图像得到，因此，参考特征集合中存在与对象1对应的特征点，这个特征点与像素位置L1对应，即对像素位置L1进行三维卷积操作时对应的特征点。综上，可以从参考特征集合中找到与像素位置L1对应的特征点，即对象1在参考特征集合中的参考特征点。
综上所述，可以从目标特征集合中找到对象1的目标特征点，从参考特征集合中找到对象1的参考特征点，并将该目标特征点和该参考特征点组成特征点对。同理，针对其它对象，也可以得到特征点对，在此不再赘述。
步骤S32、针对每个特征点对，依据该特征点对中的目标特征点和参考特征点之间的关系，以及参考特征集合中的该参考特征点上的特征值，对该参考特征集合进行调整，以得到与参考图像序列对应的对准特征集合。
在一种可能的实施方式中，步骤S32可以采用如下步骤实现：
步骤S321、确定目标特征点在目标特征集合中的目标位置。
步骤S322、依据特征点对中的目标特征点和参考特征点之间的关系，从参考特征集合中确定出与目标特征点对应的参考特征点上的特征值。
步骤S323、将该参考特征点上的特征值移动到该参考特征集合中与该目标位置对应的特征点上，以替换该特征点上的特征值。
示例性的，在步骤S31中，可以得到大量特征点对（如目标特征集合中所有特征点与参考特征集合中所有特征点的一一对应关系），在步骤S32中，针对每个特征点对，先确定该特征点对中的目标特征点在目标特征集合中的目标位置，比如说，假设目标特征集合中存在100个特征点，目标特征点在目标特征集合中的目标位置是位置1（如所有100个特征点中的第50个特征点）。
然后，依据特征点对中的目标特征点和参考特征点之间的关系，从参考特征集合中确定出与目标特征点对应的参考特征点上的特征值，比如说，参考特征集合中的特征点数量与目标特征集合中的特征点数量相同，也是100个特征点，参考特征点在参考特征集合中的位置是位置2（如所有100个特征点中的第40个特征点），则参考特征集合中的位置2的特征值是参考特征点上的特征值。
然后，将参考特征点上的特征值移动到参考特征集合中与目标位置对应的特征点上，以替换该特征点上的特征值，比如说，将参考特征集合中的位置2的特征值移动到参考特征集合中的位置1（即目标位置）的特征点上，以替换位置1的特征点上的特征值，即使用位置2的特征值替换位置1的特征值。
基于每个特征点对进行上述处理后，可以对参考特征集合中的各个位置的特征值进行替换，将各个位置的特征值替换后的参考特征集合记为对准特征集合。显然，在采用上述方式得到对准特征集合后，对准特征集合与目标特征集合中对应同一对象的特征点的位置对应，也就是说，该对象在对准特征集合中的特征点与该对象在目标特征集合中的特征点的位置对应。
在一种可能的实施方式中，参见上述实施例，目标特征集合包括N个目标子特征集合，参考特征集合也包括N个参考子特征集合，在此基础上，对准特征集合也可以包括N个对准子特征集合，以下对此过程进行说明。
在步骤103中，利用目标子特征集合对参考子特征集合进行调整，以得到对准子特征集合，该对准子特征集合与该目标子特征集合中对应同一对象的特征点的位置对应。示例性的，该目标子特征集合、该参考子特征集合以及该对准子特征集合的尺度均相同。比如说，目标特征集合可以包括尺度1的目标子特征集合1，尺度2的目标子特征集合2，参考特征集合可以包括尺度1的参考子特征集合1，尺度2的参考子特征集合2，则可以利用目标子特征集合1对参考子特征集合1进行调整，得到尺度1的对准子特征集合1，利用目标子特征集合2对参考子特征集合2进行调整，得到尺度2的对准子特征集合2，参考特征集合包括对准子特征集合1和对准子特征集合2。以下结合具体应用场景，对利用目标子特征集合1对参考子特征集合1进行调整的过程进行说明。
示例性的，对准子特征集合1与目标子特征集合1中对应同一对象的特征点的位置对应，即目标场景的某个对象在对准子特征集合1中的特征点与该对象在目标子特征集合1中的特征点的位置对应。在一种可能的实施方式中，可以采用如下步骤对参考子特征集合1进行调整，得到对准子特征集合1。
步骤S41、对目标图像序列和参考图像序列进行光流估计，得到目标光流，目标光流用于表示同一视角下采集的参考图像序列中参考图像与目标图像序列中目标图像中同一对象对应的像素位置关系。目标光流包括N个不同尺度的子光流，子光流的尺度与执行三维卷积操作所使用的三维卷积核的尺度对应。
例如，可以采用光流估计算法（如改进的FlowNet-S算法）对目标图像序列和参考图像序列进行光流估计，得到目标光流，该目标光流包括N个不同尺度的子光流。比如说，假设预先配置有尺度11的三维卷积核和尺度12的三维卷积核，且采用这两个三维卷积核执行三维卷积操作，则在步骤S41中，对目标图像序列和参考图像序列进行光流估计后，可以得到尺度21的子光流1，尺度22的子光流2，对此光流估计过程不做限制，只要基于目标图像序列和参考图像序列，能够得到两个不同尺度的子光流即可，如采用改进的FlowNet-S算法对目标图像序列和参考图像序列进行光流估计时，得到两个尺度的子光流。
尺度21的子光流1，用于表示同一视角下的第一参考图像与第一目标图像中同一对象对应的像素位置关系，第一参考图像是采用尺度11的三维卷积核对参考图像序列中的参考图像进行三维卷积操作后的图像，第一参考图像的尺寸小于参考图像序列中的参考图像的尺寸。第一目标图像是采用尺度11的三维卷积核对目标图像序列中的目标图像进行三维卷积操作后的图像，第一目标图像的尺寸小于目标图像序列中的目标图像的尺寸。第一参考图像的尺寸与第一目标图像的尺寸相同，假设第一参考图像的尺寸和第一目标图像的尺寸均为10*10，则尺度21的子光流1表示10*10的两帧图像的像素位置关系，即尺度21为10*10。显然，子光流1的尺度21与三维卷积核的尺度11对应，也就是说，尺度21是采用尺度11的三维卷积核对图像进行三维卷积操作后的图像的尺度。
尺度22的子光流2，用于表示同一视角下的第二参考图像与第二目标图像中同一对象对应的像素位置关系，第二参考图像是采用尺度12的三维卷积核对第一参考图像进行三维卷积操作后的图像，第二参考图像的尺寸小于第一参考图像的尺寸。第二目标图像是采用尺度12的三维卷积核对第一目标图像进行三维卷积操作后的图像，第二目标图像的尺寸小于第一目标图像的尺寸。第二参考图像的尺寸与第二目标图像的尺寸相同，如8*8，尺度22的子光流2表示8*8的两帧图像的像素位置关系。子光流2的尺度22与三维卷积核的尺度12对应，尺度22是采用尺度12的三维卷积核对图像进行三维卷积操作后的图像的尺度。
步骤S42、基于目标光流的子光流从目标子特征集合和参考子特征集合中选择特征点对，该特征点对包括同一对象在目标子特征集合中的目标特征点和该对象在参考子特征集合中的参考特征点，且该特征点对中该目标特征点所处的目标子特征集合与该特征点对中该参考特征点所处的参考子特征集合的尺度相同。目标光流的子光流的尺度与该特征点对中该目标特征点所处的目标子特征集合（或该特征点对中该参考特征点所处的参考子特征集合）的尺度对应。
比如说，采用尺度11的三维卷积核对目标图像序列进行三维卷积操作，得到目标子特征集合1，并对参考图像序列进行三维卷积操作，得到参考子特征集合1，且子光流1的尺度21与三维卷积核的尺度11对应时，则可以基于子光流21从目标子特征集合1和参考子特征集合1中选择特征点对，选择方式可以参见步骤S31。显然，目标子特征集合1与参考子特征集合1的尺度相同，且子光流1的尺度21与目标子特征集合1或参考子特征集合1的尺度对应。
又例如，采用尺度12的三维卷积核对目标子特征集合1进行三维卷积操作，得到目标子特征集合2，并对参考子特征集合1进行三维卷积操作，得到参考子特征集合2，且子光流2的尺度22与三维卷积核的尺度12对应时，则可以基于子光流22从目标子特征集合2和参考子特征集合2中选择特征点对。
步骤S43、针对每个特征点对，依据该特征点对中的目标特征点和参考特征点之间的关系，以及参考子特征集合中的该参考特征点上的特征值，对该参考子特征集合进行调整，以得到与参考图像序列对应的对准子特征集合。
比如说，基于目标子特征集合1和参考子特征集合1中的特征点对，可以对参考子特征集合1进行调整，得到对准子特征集合1，调整方式可以参见步骤S32，在此不再重复赘述。以及，基于目标子特征集合2和参考子特征集合2中的特征点对，可以对参考子特征集合2进行调整，得到对准子特征集合2。
至此，可以得到对准子特征集合1和对准子特征集合2，继而得到对准特征集合，且该对准特征集合包括对准子特征集合1和对准子特征集合2。
步骤104，依据对准特征集合和目标特征集合确定融合特征集合。
在一种可能的实施方式中，若参考图像序列的数量为一个，则依据一个参考图像序列对应的对准特征集合与该目标特征集合，确定融合特征集合。
比如说，可以将对准特征集合和目标特征集合组合在一起，得到融合特征集合。例如，对准特征集合和目标特征集合的尺度相同，如均为8*8，可以将8*8的对准特征集合和目标特征集合组合起来，得到8*8*2的融合特征集合，即融合特征集合的深度数量为2，融合特征集合的尺度与对准特征集合的尺度相同。
又例如，对准特征集合可以包括对准子特征集合1和对准子特征集合2，目标特征集合可以包括目标子特征集合1和目标子特征集合2，对准子特征集合1的尺度与目标子特征集合1的尺度相同，对准子特征集合2的尺度与目标子特征集合2的尺度相同。可以将对准子特征集合1和目标子特征集合1组合起来，使得深度数量增加，得到融合子特征集合1，可以将对准子特征集合2和目标子特征集合2组合起来，使得深度数量增加，得到融合子特征集合2。至此，可以得到融合特征集合，该融合特征集合包括融合子特征集合1和融合子特征集合2。
在另一种可能的实施方式中，若参考图像序列的数量为至少两个，则可以对至少两个参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合。然后，依据该加权特征集合与该目标特征集合，确定融合特征集合。
比如说，加权特征集合和目标特征集合的尺度相同，可以将加权特征集合和目标特征集合组合在一起，使得深度数量增加，得到融合特征集合。该融合特征集合的尺度也与该加权特征集合的尺度相同，但是，该融合特征集合的深度数量是加权特征集合的深度数量与目标特征集合的深度数量之和。
又例如，加权特征集合包括加权子特征集合1和加权子特征集合2，目标特征集合包括目标子特征集合1和目标子特征集合2，加权子特征集合1的尺度与目标子特征集合1的尺度相同，加权子特征集合2的尺度与目标子特征集合2的尺度相同。将加权子特征集合1和目标子特征集合1组合起来，得到融合子特征集合1，将加权子特征集合2和目标子特征集合2组合起来，得到融合子特征集合2。融合特征集合包括融合子特征集合1和融合子特征集合2。
示例性的，若参考图像序列为至少两个，为了得到加权特征集合，可以采用如下步骤对所有对准特征集合进行加权运算。当然，如下步骤只是示例，只要基于所有参考图像序列对应的对准特征集合得到加权特征集合即可。
步骤S51、基于每个参考图像序列对应的对准特征集合，对该对准特征集合和目标特征集合进行卷积运算，得到该对准特征集合对应的初始权重系数。
示例性的，可以预先训练一个深度学习模型，该深度学习模型的输入为两个特征集合，该深度学习模型的输出为处于指定数值区间的数值，该指定数值区间可以为[0，1]，即该深度学习模型的输出是大于等于0且小于等于1的数值。当然，该指定数值区间也可以为其它区间，如[0，100]等，对此不做限制。
示例性的，该深度学习模型具有卷积层，深度学习模型能够对输入的两个特征集合进行卷积运算，得到处于指定数值区间的数值，本实施例对此深度学习模型的结构和训练过程均不做限制，只要能够满足上述输入输出关系即可。
基于已训练的该深度学习模型，在步骤S51中，将对准特征集合和目标特征集合输入给该深度学习模型，由该深度学习模型对对准特征集合和目标特征集合进行卷积运算，得到一个处于指定数值区间的数值，这个数值就是该对准特征集合对应的初始权重系数。比如说，将对准特征集合1和目标特征集合输入给深度学习模型，由深度学习模型对对准特征集合1和目标特征集合进行卷积运算，得到对准特征集合1对应的初始权重系数。将对准特征集合2和目标特征集合输入给深度学习模型，由深度学习模型对对准特征集合2和目标特征集合进行卷积运算，得到对准特征集合2对应的初始权重系数，以此类推。
当然，上述深度学习模型的实现方式只是示例，还可以采用其它方式得到对准特征集合对应的初始权重系数，只要能够基于对准特征集合和目标特征集合得到该对准特征集合对应的初始权重系数即可，对此不做限制。
在一种可能的实施方式中，假设存在t-1个参考图像序列，t-1个参考图像序列对应t-1个对准特征集合，则另目标特征集合为
Figure 102813DEST_PATH_IMAGE001
，另t-1个对准特征集合为
Figure 642028DEST_PATH_IMAGE002
，则t-1个对准特征集合对应的初始权重系数为
Figure 363997DEST_PATH_IMAGE003
，则通过如下表达式表示对准特征集合和目标特征集合的卷积运算：
Figure 260408DEST_PATH_IMAGE004
。
在上述表达式中，i的取值范围是1-（t-1），在i的取值是1时，则表示对对准特征集合
Figure 977698DEST_PATH_IMAGE005
和目标特征集合
Figure 793207DEST_PATH_IMAGE001
进行卷积运算，得到对准特征集合
Figure 877837DEST_PATH_IMAGE005
对应的初始权重系数
Figure 436995DEST_PATH_IMAGE006
，以此类推，在i的取值是t-1时，则表示对对准特征集合
Figure 775835DEST_PATH_IMAGE007
和目标特征集合
Figure 637611DEST_PATH_IMAGE001
进行卷积运算，得到对准特征集合
Figure 68593DEST_PATH_IMAGE007
对应的初始权重系数
Figure 290495DEST_PATH_IMAGE008
。
步骤S52、针对每个对准特征集合，对该对准特征集合对应的初始权重系数进行归一化处理，得到该对准特征集合对应的目标权重系数。
示例性的，在得到每个对准特征集合对应的初始权重系数之后，可以基于所有对准特征集合对应的初始权重系数对每个对准特征集合对应的初始权重系数进行归一化处理，得到对准特征集合对应的目标权重系数。比如说，可以采用如下公式对初始权重系数进行归一化处理，得到目标权重系数。
Figure 123322DEST_PATH_IMAGE009
在上述公式中，i的取值范围是1-（t-1），
Figure 890421DEST_PATH_IMAGE010
表示对准特征集合
Figure 74278DEST_PATH_IMAGE011
对应的初始权重系数，
Figure 598407DEST_PATH_IMAGE012
表示对准特征集合
Figure 20161DEST_PATH_IMAGE011
对应的目标权重系数。从上述公式可以看出，可以基于所有对准特征集合对应的初始权重系数对每个对准特征集合对应的初始权重系数进行归一化处理，得到该对准特征集合对应的目标权重系数。
当然，上述公式只是归一化处理的示例，对此不做限制，只要能够对初始权重系数进行归一化，得到位于目标数值区间（如[0，1]）的目标权重系数即可。
步骤S53、基于每个对准特征集合对应的目标权重系数，对所有参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合。
示例性的，在得到所有对准特征集合对应的目标权重系数后，可以基于所有目标权重系数以及所有对准特征集合进行加权运算，得到加权特征集合。比如说，可以采用如下公式进行加权运算，得到加权特征集合。
Figure 489319DEST_PATH_IMAGE013
在上述公式中，
Figure 753947DEST_PATH_IMAGE011
表示对准特征集合，
Figure 193019DEST_PATH_IMAGE012
表示对准特征集合
Figure 875804DEST_PATH_IMAGE011
对应的目标权重系数，
Figure 374919DEST_PATH_IMAGE014
表示加权特征集合。从上述公式可以看出，可以基于所有对准特征集合和所有目标权重系数进行加权运算，得到加权特征集合。当然，上述公式只是加权运算的示例，对此不做限制，只要能够得到加权特征集合即可。
在一种可能的实施方式中，对准特征集合可以包括至少两个对准子特征集合，目标特征集合可以包括至少两个目标子特征集合，在此基础上，加权特征集合也包括至少两个加权子特征集合。对准子特征集合的数量与目标子特征集合的数量相同，加权子特征集合的数量与目标子特征集合的数量相同。
比如说，一共存在t-1个对准特征集合，以两个对准特征集合为例，第一个对准特征集合包括对准子特征集合11和对准子特征集合12，第二个对准特征集合包括对准子特征集合21和对准子特征集合22，目标特征集合包括目标子特征集合1和目标子特征集合2，对准子特征集合11、对准子特征集合21和目标子特征集合1的尺度相同，对准子特征集合12、对准子特征集合22和目标子特征集合2的尺度相同。在此基础上，基于对准子特征集合11、对准子特征集合21和目标子特征集合1，采用步骤S51-步骤S53（将对准特征集合替换为对准子特征集合，将目标特征集合替换为目标子特征集合即可），可以得到加权子特征集合1，加权子特征集合1的尺度与目标子特征集合1的尺度相同。同理，基于对准子特征集合12、对准子特征集合22和目标子特征集合2，可以得到加权子特征集合2，加权子特征集合2的尺度与目标子特征集合2的尺度相同。
至此，可以得到加权子特征集合1和加权子特征集合2，而加权子特征集合1和加权子特征集合2就可以组成加权特征集合，从而得到加权特征集合。
综上所述，在步骤104中，若参考图像序列的数量为至少两个，则可以基于所有参考图像序列对应的对准特征集合确定加权特征集合，并依据该加权特征集合与目标特征集合，确定融合特征集合，基于融合特征集合进行后续处理。
步骤105，对融合特征集合进行反三维卷积操作，得到超分辨图像，该超分辨图像的分辨率可以大于目标图像序列中任一目标图像的分辨率。
示例性的，在得到融合特征集合之后，可以依据N个不同尺度的三维卷积核（可以根据实际应用配置）对该融合特征集合进行反三维卷积操作，得到与目标图像序列对应的超分辨图像，N为大于或者等于1的正整数，如N的取值与步骤102中N的取值相同。由于超分辨图像的分辨率大于目标图像序列中任一目标图像的分辨率，因此，将目标图像序列转换为超分辨图像后，可以提高目标图像序列的分辨率，得到更高分辨率的超分辨图像（可以为一帧）。
比如说，若N为1，则可以预先配置一个三维卷积核，该三维卷积核的尺度可以根据经验配置，对此不做限制，该三维卷积核的深度数量可以与融合特征集合的深度数量相同。由于三维卷积核和融合特征集合均是三维表示，且三维卷积核的深度数量与融合特征集合的深度数量相同，因此，可以基于三维卷积核对融合特征集合进行反三维卷积操作，反三维卷积操作的结果为超分辨图像，从而通过反三维卷积操作得到超分辨图像。在对融合特征集合进行反三维卷积操作时，尺度增加，深度数量降低，即超分辨图像的尺度大于融合特征集合的尺度，超分辨图像的深度数量小于融合特征集合的深度数量，如超分辨图像的深度数量可以为1，即得到一帧图像，这个图像作为超分辨图像。
又例如，若N大于1，则可以预先配置N个不同尺度的三维卷积核，即不同三维卷积核的尺度可以不同，对此三维卷积核不做限制，j的取值为1-N，三维卷积核可以表示为aj*bj*Kj，aj*bj表示第j个三维卷积核的尺度，Kj表示第j个三维卷积核的深度数量。由于三维卷积核和融合特征集合均是三维表示，因此，可以依据N个不同尺度的三维卷积核对融合特征集合进行反三维卷积操作（即进行N次反三维卷积操作），每次反三维卷积操作的结果为输出图像，从而能够基于输出图像得到超分辨图像，对此反三维卷积操作过程不做限制。
反三维卷积操作是步骤102中三维卷积操作的反向操作，即三维卷积操作过程中，每次三维卷积操作，使得尺度降低，深度数量增加，而反三维卷积操作过程中，每次反三维卷积操作，使得尺度增加，深度数量降低。
以下结合两种实现方式，对融合特征集合的反三维卷积操作过程进行说明，当然，如下两种实现方式也只是示例，对此实现方式不做限制。
方式1、通过第一个三维卷积核对融合特征集合进行反三维卷积操作，得到输出图像1，通过第二个三维卷积核对输出图像1进行反三维卷积操作，得到输出图像2，通过第三个三维卷积核对输出图像2进行反三维卷积操作，得到输出图像3，以此类推，一直到通过最后一个三维卷积核对输出图像进行反三维卷积操作，得到一个输出图像，将该输出图像作为超分辨图像。第一个三维卷积核的深度数量与融合特征集合的深度数量相同，第二个三维卷积核的深度数量与输出图像1的深度数量相同，第二个三维卷积核的深度数量小于第一个三维卷积核的深度数量。第三个三维卷积核的深度数量与输出图像2的深度数量相同，第三个三维卷积核的深度数量小于第二个三维卷积核的深度数量，以此类推。
示例性的，在方式1中，可以通过如下步骤得到超分辨图像：
步骤S61、利用第二卷积核序列中的首个三维卷积核对融合特征集合进行反三维卷积操作，得到输出图像。示例性的，第二卷积核序列包括N个不同尺度的三维卷积核，N个不同尺度的三维卷积核按照尺度从小到大的顺序排列。
比如说，可以预先配置3个三维卷积核，三维卷积核h1的深度数量大于三维卷积核h2的深度数量，三维卷积核h1的尺度小于三维卷积核h2的尺度。三维卷积核h2的深度数量大于三维卷积核h3的深度数量，三维卷积核h2的尺度小于三维卷积核h3的尺度。第二卷积核序列可以包括三维卷积核h1、三维卷积核h2和三维卷积核h3，这3个三维卷积核按照尺度从小到大的顺序排列，即第二卷积核序列依次包括三维卷积核h1、三维卷积核h2和三维卷积核h3。
在步骤S61中，由于三维卷积核h1的深度数量与融合特征集合的深度数量相同，因此，利用三维卷积核h1对融合特征集合进行反三维卷积操作，得到输出图像1。基于反三维卷积操作的特性，输出图像1的尺寸大于融合特征集合的尺度，输出图像1的深度数量小于融合特征集合的深度数量，即尺度变大，深度数量减少，且输出图像1的深度数量与三维卷积核h2的深度数量相同。
步骤S62、将第二卷积核序列中的首个三维卷积核更新为已遍历卷积核，将当前得到的输出图像更新为已遍历图像，比如说，可以将三维卷积核h1更新为已遍历卷积核，将当前得到的输出图像1更新为已遍历图像。
步骤S63、确定该已遍历卷积核是否为第二卷积核序列中最后一个三维卷积核。如果是，则可以执行步骤S64，如果否，则可以执行步骤S65。
步骤S64、将当前得到的输出图像确定为超分辨图像。
步骤S65、利用第二卷积核序列中的已遍历卷积核的后一个三维卷积核对已遍历图像进行反三维卷积操作，得到输出图像。将所述后一个三维卷积核更新为已遍历卷积核，将当前得到的输出图像更新为已遍历图像，返回步骤S63。
例如，在将三维卷积核h1更新为已遍历卷积核，将输出图像1更新为已遍历图像后，由于已遍历卷积核不是最后一个三维卷积核，且三维卷积核h2的深度数量与输出图像1的深度数量相同，因此，利用已遍历卷积核的后一个三维卷积核（即三维卷积核h2）对已遍历图像（即输出图像1）进行反三维卷积操作，得到输出图像2。基于反三维卷积操作的特性，输出图像2的尺寸大于输出图像1的尺寸，输出图像2的深度数量小于输出图像1的深度数量，即尺寸变大，深度数量减少，且输出图像2的深度数量与三维卷积核h3的深度数量相同。
然后，将三维卷积核h2更新为已遍历卷积核，将输出图像2更新为已遍历图像，由于已遍历卷积核不是最后一个三维卷积核，且三维卷积核h3的深度数量输出图像2的深度数量与相同，因此，利用已遍历卷积核的后一个三维卷积核（即三维卷积核h3）对输出图像2进行反三维卷积操作，得到输出图像3。基于反三维卷积操作的特性，输出图像3的尺寸大于输出图像2的尺寸，输出图像3的深度数量小于输出图像2的深度数量，即尺寸变大，深度数量减少。
然后，将三维卷积核h3更新为已遍历卷积核，将输出图像3更新为已遍历图像，由于已遍历卷积核是最后一个三维卷积核，因此，将输出图像3确定为超分辨图像。在使用最后一个三维卷积核h3对输出图像2进行反三维卷积操作后，输出图像3的深度数量可以为1。至此，完成反三维卷积操作。
方式2、融合特征集合包括多个融合子特征集合，通过第一个三维卷积核对第一个融合子特征集合进行反三维卷积操作，得到输出图像1，将输出图像1和第二个融合子特征集合组合，得到输出子特征集合1。通过第二个三维卷积核对输出子特征集合1进行反三维卷积操作，得到输出图像2，将输出图像2和第三个融合子特征集合组合，得到输出子特征集合2。通过第三个三维卷积核对输出子特征集合2进行反三维卷积操作，得到输出图像3，以此类推，一直到通过最后一个三维卷积核对输出子特征集合进行反三维卷积操作，得到一个输出图像，将该输出图像作为超分辨图像。第一个三维卷积核的深度数量与第一个融合子特征集合的深度数量相同，第二个三维卷积核的深度数量与输出子特征集合1的深度数量相同，第二个三维卷积核的深度数量小于第一个三维卷积核的深度数量。第三个三维卷积核的深度数量与输出子特征集合2的深度数量相同，第三个三维卷积核的深度数量小于第二个三维卷积核的深度数量，以此类推。
示例性的，在方式2中，可以通过如下步骤得到超分辨图像：
步骤S71、利用第二卷积核序列中的首个三维卷积核对最小尺度的融合子特征集合进行反三维卷积操作，得到输出图像。示例性的，第二卷积核序列可以包括N个不同尺度的三维卷积核，且N个不同尺度的三维卷积核按照尺度从小到大的顺序排列。此外，融合特征集合可以包括N个不同尺度的融合子特征集合，且N个不同尺度的融合子特征集合按照尺度从小到大的顺序排列。
比如说，第二卷积核序列依次包括三维卷积核h1、三维卷积核h2和三维卷积核h3。假设融合特征集合包括融合子特征集合1、融合子特征集合2和融合子特征集合3，融合子特征集合1的深度数量大于融合子特征集合2的深度数量，融合子特征集合1的尺度小于融合子特征集合2的尺度，融合子特征集合2的深度数量大于融合子特征集合3的深度数量，融合子特征集合2的尺度小于融合子特征集合3的尺度，则对所有融合子特征集合进行排序后，融合特征集合依次包括融合子特征集合1、融合子特征集合2和融合子特征集合3。
在步骤S71中，三维卷积核h1的深度数量与融合子特征集合1的深度数量相同，可以利用三维卷积核h1对融合子特征集合1进行反三维卷积操作，得到输出图像1。输出图像1的尺寸大于融合子特征集合1的尺度，输出图像1的深度数量小于融合子特征集合1的深度数量，即尺度变大，深度数量减少。
步骤S72、将第二卷积核序列中的首个三维卷积核更新为已遍历卷积核，将融合特征集合中的首个融合子特征集合更新为已遍历集合，将当前得到的输出图像更新为已遍历图像。比如说，可以将三维卷积核h1更新为已遍历卷积核，将融合子特征集合1更新为已遍历集合，将输出图像1更新为已遍历图像。
步骤S73、确定该已遍历卷积核是否为第二卷积核序列中最后一个三维卷积核。如果是，则可以执行步骤S74，如果否，则可以执行步骤S75。
步骤S74、将当前得到的输出图像确定为超分辨图像。
步骤S75、利用融合特征集合中的已遍历集合的后一个融合子特征集合和已遍历图像得到输出子特征集合，利用第二卷积核序列中的已遍历卷积核的后一个三维卷积核对该输出子特征集合进行反三维卷积操作，得到输出图像。
在得到输出图像之后，还可以将该已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，并将该已遍历集合的后一个融合子特征集合更新为已遍历集合，并将当前得到的输出图像更新为已遍历图像，返回执行步骤S73。
例如，在将三维卷积核h1更新为已遍历卷积核，将融合子特征集合1更新为已遍历集合，将输出图像1更新为已遍历图像后，由于已遍历卷积核不是最后一个三维卷积核，则利用已遍历集合的后一个融合子特征集合2和已遍历图像（即输出图像1）得到输出子特征集合1，即将融合子特征集合2和输出图像1组合起来，得到输出子特征集合1。融合子特征集合2的尺度与输出图像1的尺度相同，输出子特征集合1的尺度与输出图像1的尺度相同。输出子特征集合1的深度数量是融合子特征集合2的深度数量与输出图像1的深度数量之和。
三维卷积核h2的深度数量与输出子特征集合1的深度数量相同，可以利用已遍历卷积核的后一个三维卷积核（即三维卷积核h2）对输出子特征集合1进行反三维卷积操作，得到输出图像2。输出图像2的尺度大于输出子特征集合1的尺度，输出图像2的深度数量小于输出子特征集合1的深度数量。
然后，将三维卷积核h2更新为已遍历卷积核，将融合子特征集合2更新为已遍历集合，将输出图像2更新为已遍历图像。由于已遍历卷积核不是最后一个三维卷积核，则利用已遍历集合的后一个融合子特征集合3和已遍历图像（即输出图像2）得到输出子特征集合2。融合子特征集合3的尺度与输出图像2的尺度相同，输出子特征集合2的尺度与输出图像2的尺度相同。输出子特征集合2的深度数量是融合子特征集合3的深度数量与输出图像2的深度数量之和。
三维卷积核h3的深度数量与输出子特征集合2的深度数量相同，可以利用已遍历卷积核的后一个三维卷积核（即三维卷积核h3）对输出子特征集合2进行反三维卷积操作，得到输出图像3。输出图像3的尺度大于输出子特征集合2的尺度，输出图像3的深度数量小于输出子特征集合2的深度数量。
然后，将三维卷积核h3更新为已遍历卷积核，将融合子特征集合3更新为已遍历集合，将输出图像3更新为已遍历图像，由于已遍历卷积核是最后一个三维卷积核，因此，将输出图像3确定为超分辨图像，输出图像3的深度数量可以为1。至此，完成反三维卷积操作，可以得到超分辨图像。
示例性的，上述执行顺序只是为了方便描述给出的示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见，本申请实施例中，基于目标图像序列和参考图像序列获取与目标图像序列对应的超分辨图像，超分辨图像的分辨率大于目标图像序列中任一目标图像的分辨率，即该超分辨图像的分辨率更大，有效提高图像的分辨率，分辨率的提升效果很好，能够达到高分辨率的要求，即使在自动驾驶，AR/VR等应用场景，图像的分辨率也能够满足用户要求。目标图像序列包括不同视角的至少两帧图像，参考图像序列包括不同视角的至少两帧图像，在获取超分辨图像时，可以参考不同视角的图像信息，从而考虑图像空间位置来生成超分辨图像，使图像达到更高的分辨率要求。目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻，在获取超分辨图像时，可以参考比目标图像序列更早的参考图像序列，从而考虑图像时间信息来生成超分辨图像，使图像达到更高的分辨率要求。显然，上述方式能够有效利用空域冗余和时域冗余，充分考虑到多视角和多时序特性，对目标图像和参考图像进行校正和融合，能够更有效的利用图像信息，得到超分辨图像，提升光场超分辨质量，成像效果更好，具有很强的适应性、可扩展性，实现跨时空映射。
以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。
参见图2所示，针对目标场景来说，可以通过光场相机采集目标场景的视频，如视角1的视频，视角2的视频，…，视角m的视频，将同一采集时刻采集到的不同视角的图像组成一个图像序列，如将采集时刻1采集到的视角1的图像（位于视角1的视频中）、视角2的图像、…、视角m的图像组成一个图像序列1，将采集时刻2采集到的视角1的图像、视角2的图像、…、视角m的图像组成一个图像序列2，以此类推，从而可以得到多个图像序列。
基于多个采集时刻的图像序列，采用跨时空映射超分辨光场成像方法，就可以得到每个采集时刻的超分辨图像，即得到分辨率更高的图像。
参见图3所示，为跨时空映射光场成像的示意图，该成像过程可以包括：
（1）使用光场相机获取至少两个图像序列，每个图像序列中可以存在不同视角的至少两帧图像，例如，使用光场相机拍摄目标场景中的物体，得到不同视角的图像，将同一个采集时刻采集到的不同视角的图像组成一个图像序列。
从至少两个图像序列中选取目标图像序列和参考图像序列，目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻。
（2）提取目标图像序列对应的目标特征集合和参考图像序列对应的参考特征集合。比如说，对目标图像序列进行三维卷积操作，得到与目标图像序列对应的目标特征集合。对参考图像序列进行三维卷积操作，得到与参考图像序列对应的参考特征集合。考虑到目标图像序列中的图像是多视角的，可以对多视角的图像进行叠加操作，然后使用三维卷积操作提取目标特征集合，该目标特征集合可以包括多个尺度的目标子特征集合。考虑到参考图像序列中的图像是多视角的，可以对多视角的图像进行叠加操作，然后使用三维卷积操作提取参考特征集合，该参考特征集合可以包括多个尺度的参考子特征集合。至此，可以得到目标图像序列的目标特征集合和参考图像序列的参考特征集合。
（3）时序光流估计与图像对齐。对目标图像序列和参考图像序列进行光流估计，得到目标光流，该目标光流包括多个不同尺度的子光流。例如，通过光流估计器估计目标图像序列中目标图像和参考图像序列中参考图像的像素位置关系（像素级别的密集对应关系，可以是每个像素点）。比如说，利用改进的FlowNet-S算法对目标图像序列和参考图像序列进行光流估计，得到目标光流。
然后，基于目标光流对参考图像序列对应的参考特征集合进行对齐操作，得到参考图像序列对应的对准特征集合。比如说，基于目标光流从目标特征集合和参考特征集合中选择特征点对，依据该特征点对中的目标特征点和参考特征点之间的关系，以及参考特征集合中的该参考特征点上的特征值，对该参考特征集合进行调整，以得到与参考图像序列对应的对准特征集合。
（4）多个对准特征集合的加权。对所有参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合。为了避免图像对齐操作的误差带来的负面影响，同时更好地收集时域上的更多信息，还可以使用注意力机制进行加权融合，加权原理可以如下：另目标特征集合为
Figure 628308DEST_PATH_IMAGE001
，另t-1个对准特征集合为
Figure 871070DEST_PATH_IMAGE002
，另t-1个对准特征集合对应的初始权重系数为
Figure 142783DEST_PATH_IMAGE003
，则可以利用卷积运算
Figure 812798DEST_PATH_IMAGE004
确定t-1个对准特征集合对应的初始权重系数，然后，采用如下公式对初始权重系数进行归一化处理，得到目标权重系数：
Figure 52019DEST_PATH_IMAGE009
，然后，采用如下公式进行加权运算，得到加权特征集合：
Figure 832893DEST_PATH_IMAGE013
。
（5）多帧图像融合得到成像结果（即超分辨图像）。依据加权特征集合与目标特征集合，确定融合特征集合，并对融合特征集合进行反三维卷积操作，得到超分辨图像，即具有高分辨率的图像。综上所述，能够完成对目标图像序列的超分辨率重建，融合生成高分辨率的图像，得到具有高分辨率的超分辨图像。能够通过跨时空映射进行超分辨率重建，成像得到多视角高分辨率图像。
由以上技术方案可见，本申请实施例中，可以通过光场相机采集目标场景的多视角低清图像，叠加光场相机采集的每一时间帧的多视角图像，利用三维卷积操作提取多视角图像特征；基于多尺度光流估计，得到不同图像间的像素级密集的跨时空映射关系，对图像特征做形变操作；利用注意力机制进行多帧图像加权的时域融合，成像得到具有高分辨率的图像。上述方式能够使用光场相机有效地采集场景时空信息，进行多视角多图像的融合与分辨率提升，能够使用低清成像得到多视角高分辨率视频，成像效果好，具有很强的适应性、可扩展性。提出一种通用成像框架，拍摄多视角低分辨率图像，通过跨时空映射进行超分辨率重建，成像得到多视角高分辨率图像。可以节省成像系统大量成本，对计算摄像学等方面具有重要意义和研究价值。通过多视角信息和时域信息结合补偿的方式，设计一种基于多视角特征提取、多尺度光流估计和注意力机制的视频超分辨算法。通过三维卷积操作提取多视角图像特征，进行不同图像对齐与融合，利用空域和时域的补充信息，成像得到高清光场图像。设计一个光流估计器，用于估计参考图像和目标图像之间像素级别的对应关系，这个光流是多尺度的，并且是密集的，可以对应到图像的每个像素点。
基于与上述方法同样的申请构思，本申请实施例中提出一种跨时空映射超分辨光场成像装置装置，参见图4所示，为所述装置的结构示意图，包括：
选取模块41，用于从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻；
操作模块42，用于对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
处理模块43，用于利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
确定模块44，用于依据对准特征集合和目标特征集合确定融合特征集合；
所述操作模块42，还用于对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。
示例性的，所述处理模块43利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合时具体用于：
依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对；其中，所述特征点对包括所述目标特征集合中的目标特征点和所述参考特征集合中的参考特征点，且所述特征点对中的目标特征点和所述特征点对中的参考特征点对应同一对象；
依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合。
示例性的，所述操作模块42对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合时具体用于：
依据N个不同尺度的三维卷积核对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的N个目标子特征集合，N为大于1的正整数；基于所述N个目标子特征集合确定与所述目标图像序列对应的目标特征集合；
依据所述N个不同尺度的三维卷积核对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的N个参考子特征集合；基于所述N个参考子特征集合确定与所述参考图像序列对应的参考特征集合；
其中，所述特征点对中目标特征点所处的目标子特征集合与所述特征点对中参考特征点所处的参考子特征集合的尺度相同。
所述操作模块42依据N个不同尺度的三维卷积核对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的N个目标子特征集合时具体用于：利用第一卷积核序列中的首个三维卷积核对所述目标图像序列进行三维卷积操作，得到目标子特征集合；其中，第一卷积核序列包括N个不同尺度的三维卷积核，所述N个不同尺度的三维卷积核按照尺度从大到小的顺序排列；
将首个三维卷积核更新为已遍历卷积核，将目标子特征集合更新为已遍历特征集合，确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核；
若是，则将已得到的所有目标子特征集合确定为所述N个目标子特征集合；
若否，则利用第一卷积核序列中的所述已遍历卷积核的后一个三维卷积核对所述已遍历特征集合进行三维卷积操作，得到目标子特征集合；
将所述已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，将当前得到的该目标子特征集合更新为已遍历特征集合，返回执行确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核的操作。
示例性的，所述处理模块43依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对时具体用于：
对所述目标图像序列和所述参考图像序列进行光流估计，得到目标光流，所述目标光流用于表示同一视角下采集的所述参考图像序列中参考图像与所述目标图像序列中目标图像中同一对象对应的像素位置关系；
基于所述目标光流从所述目标特征集合和所述参考特征集合中选择特征点对，所述特征点对包括所述同一对象在所述目标特征集合中的目标特征点和所述同一对象在所述参考特征集合中的参考特征点。
示例性的，所述处理模块43依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整时具体用于：确定所述目标特征点在所述目标特征集合中的目标位置；依据所述特征点对中的目标特征点和参考特征点之间的关系，从所述参考特征集合中确定出与所述目标特征点对应的参考特征点上的特征值；
将所述参考特征点上的特征值移动到所述参考特征集合中与所述目标位置对应的特征点上，以替换该特征点上的特征值。
示例性的，所述确定模块44依据所述对准特征集合和所述目标特征集合确定融合特征集合时具体用于：若参考图像序列的数量为一个，则依据一个参考图像序列对应的对准特征集合与所述目标特征集合，确定所述融合特征集合；或者，若参考图像序列的数量为至少两个，则对至少两个参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合；依据所述加权特征集合与所述目标特征集合，确定所述融合特征集合。
示例性的，所述确定模块44对至少两个参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合时具体用于：
基于每个参考图像序列对应的对准特征集合，对该对准特征集合和所述目标特征集合进行卷积运算，得到该对准特征集合对应的初始权重系数，并对所述初始权重系数进行归一化处理，得到该对准特征集合对应的目标权重系数；
基于每个对准特征集合对应的目标权重系数，对所有参考图像序列对应的对准特征集合进行加权运算，得到所述加权特征集合。
示例性的，所述操作模块42对所述融合特征集合进行反三维卷积操作，得到超分辨图像时基于用于：依据N个不同尺度的三维卷积核对所述融合特征集合进行反三维卷积操作，得到与所述目标图像序列对应的所述超分辨图像。
所述操作模块42依据N个不同尺度的三维卷积核对所述融合特征集合进行反三维卷积操作，得到与所述目标图像序列对应的所述超分辨图像时具体用于：利用第二卷积核序列中的首个三维卷积核对所述融合特征集合进行反三维卷积操作，得到输出图像；其中，第二卷积核序列包括N个不同尺度的三维卷积核，所述N个不同尺度的三维卷积核按照尺度从小到大的顺序排列；
将首个三维卷积核更新为已遍历卷积核，将当前得到的输出图像更新为已遍历图像，确定该已遍历卷积核是否为第二卷积核序列中最后一个三维卷积核；
若是，则将当前得到的输出图像确定为所述超分辨图像；
若否，则利用第二卷积核序列中的所述已遍历卷积核的后一个三维卷积核对所述已遍历图像进行反三维卷积操作，得到输出图像；
将所述已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，将当前得到的该输出图像更新为已遍历图像，返回执行确定该已遍历卷积核是否为第二卷积核序列中最后一个三维卷积核的操作。
基于与上述方法同样的申请构思，本申请实施例中提出一种跨时空映射超分辨光场成像设备，参见图5所示，所述设备可以包括：处理器51和机器可读存储介质52，所述机器可读存储介质52存储有能够被所述处理器51执行的机器可执行指令；所述处理器51执行机器可执行指令时实现上述实施例的方法。比如说，所述处理器51用于执行机器可执行指令，以实现如下步骤：
从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；
对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
依据所述对准特征集合和所述目标特征集合确定融合特征集合；
对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的跨时空映射超分辨光场成像方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（Radom Access Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种跨时空映射超分辨光场成像方法，其特征在于，所述方法包括：
从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；
对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
依据所述对准特征集合和所述目标特征集合确定融合特征集合；
对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率；
其中，所述利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合，包括：依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对；其中，所述特征点对包括所述目标特征集合中的目标特征点和所述参考特征集合中的参考特征点，且所述特征点对中的目标特征点和所述特征点对中的参考特征点对应同一对象；依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合。
2.根据权利要求1所述的方法，其特征在于，
所述对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合，包括：
依据N个不同尺度的三维卷积核对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的N个目标子特征集合，N为大于1的正整数；基于所述N个目标子特征集合确定与所述目标图像序列对应的目标特征集合；
依据所述N个不同尺度的三维卷积核对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的N个参考子特征集合；基于所述N个参考子特征集合确定与所述参考图像序列对应的参考特征集合；
其中，所述特征点对中目标特征点所处的目标子特征集合与所述特征点对中参考特征点所处的参考子特征集合的尺度相同。
3.根据权利要求2所述的方法，其特征在于，
所述依据N个不同尺度的三维卷积核对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的N个目标子特征集合，包括：
利用第一卷积核序列中的首个三维卷积核对所述目标图像序列进行三维卷积操作，得到目标子特征集合；其中，第一卷积核序列包括N个不同尺度的三维卷积核，所述N个不同尺度的三维卷积核按照尺度从大到小的顺序排列；
将首个三维卷积核更新为已遍历卷积核，将目标子特征集合更新为已遍历特征集合，确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核；
若是，则将已得到的所有目标子特征集合确定为所述N个目标子特征集合；
若否，则利用第一卷积核序列中的所述已遍历卷积核的后一个三维卷积核对所述已遍历特征集合进行三维卷积操作，得到目标子特征集合；
将所述已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，将当前得到的该目标子特征集合更新为已遍历特征集合，返回执行确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核的操作。
4.根据权利要求2所述的方法，其特征在于，
所述依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对，包括：
对所述目标图像序列和所述参考图像序列进行光流估计，得到目标光流，所述目标光流用于表示同一视角下采集的所述参考图像序列中参考图像与所述目标图像序列中目标图像中同一对象对应的像素位置关系；
基于所述目标光流从所述目标特征集合和所述参考特征集合中选择特征点对，所述特征点对包括所述同一对象在所述目标特征集合中的目标特征点和所述同一对象在所述参考特征集合中的参考特征点。
5.根据权利要求4所述的方法，其特征在于，
所述目标光流包括N个不同尺度的子光流，所述子光流的尺度与执行三维卷积操作所使用的三维卷积核的尺度对应。
6.根据权利要求1所述的方法，其特征在于，所述依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，包括：
确定所述目标特征点在所述目标特征集合中的目标位置；
依据所述特征点对中的目标特征点和参考特征点之间的关系，从所述参考特征集合中确定出与所述目标特征点对应的参考特征点上的特征值；
将所述参考特征点上的特征值移动到所述参考特征集合中与所述目标位置对应的特征点上，以替换该特征点上的特征值。
7.根据权利要求1所述的方法，其特征在于，
所述依据所述对准特征集合和所述目标特征集合确定融合特征集合，包括：
若参考图像序列的数量为一个，则依据一个参考图像序列对应的对准特征集合与所述目标特征集合，确定所述融合特征集合；或者，
若参考图像序列的数量为至少两个，则对至少两个参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合；
依据所述加权特征集合与所述目标特征集合，确定所述融合特征集合。
8.根据权利要求7所述的方法，其特征在于，所述对至少两个参考图像序列对应的对准特征集合进行加权运算，得到加权特征集合，包括：
基于每个参考图像序列对应的对准特征集合，对该对准特征集合和所述目标特征集合进行卷积运算，得到该对准特征集合对应的初始权重系数，并对所述初始权重系数进行归一化处理，得到该对准特征集合对应的目标权重系数；
基于每个对准特征集合对应的目标权重系数，对所有参考图像序列对应的对准特征集合进行加权运算，得到所述加权特征集合。
9.根据权利要求1所述的方法，其特征在于，
所述对所述融合特征集合进行反三维卷积操作，得到超分辨图像，包括：
依据N个不同尺度的三维卷积核对所述融合特征集合进行反三维卷积操作，得到与所述目标图像序列对应的所述超分辨图像，N为大于1的正整数。
10.根据权利要求9所述的方法，其特征在于，
所述依据N个不同尺度的三维卷积核对所述融合特征集合进行反三维卷积操作，得到与所述目标图像序列对应的所述超分辨图像，包括：
利用第二卷积核序列中的首个三维卷积核对所述融合特征集合进行反三维卷积操作，得到输出图像；其中，第二卷积核序列包括N个不同尺度的三维卷积核，所述N个不同尺度的三维卷积核按照尺度从小到大的顺序排列；
将首个三维卷积核更新为已遍历卷积核，将当前得到的输出图像更新为已遍历图像，确定该已遍历卷积核是否为第二卷积核序列中最后一个三维卷积核；
若是，则将当前得到的输出图像确定为所述超分辨图像；
若否，则利用第二卷积核序列中的所述已遍历卷积核的后一个三维卷积核对所述已遍历图像进行反三维卷积操作，得到输出图像；
将所述已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，将当前得到的该输出图像更新为已遍历图像，返回执行确定该已遍历卷积核是否为第二卷积核序列中最后一个三维卷积核的操作。
11.根据权利要求1所述的方法，其特征在于，所述至少两个图像序列是通过光场相机采集，其中，所述光场相机在每个采集时刻采集不同视角的至少两帧图像，将同一采集时刻采集的至少两帧图像组成一个图像序列。
12.一种跨时空映射超分辨光场成像装置，其特征在于，所述装置包括：
选取模块，用于从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻；
操作模块，用于对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
处理模块，用于利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；具体用于：依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对；其中，所述特征点对包括所述目标特征集合中的目标特征点和所述参考特征集合中的参考特征点，且所述特征点对中的目标特征点和所述特征点对中的参考特征点对应同一对象；依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；
确定模块，用于依据所述对准特征集合和目标特征集合确定融合特征集合；
所述操作模块，还用于对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。
13.一种跨时空映射超分辨光场成像设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下步骤：
从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；
对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
依据所述对准特征集合和所述目标特征集合确定融合特征集合；
对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率；
其中，所述利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合，包括：依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对；其中，所述特征点对包括所述目标特征集合中的目标特征点和所述参考特征集合中的参考特征点，且所述特征点对中的目标特征点和所述特征点对中的参考特征点对应同一对象；依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合。
CN202110218288.XA 2021-02-26 2021-02-26 一种跨时空映射超分辨光场成像方法、装置及设备 Active CN112581372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218288.XA CN112581372B (zh) 2021-02-26 2021-02-26 一种跨时空映射超分辨光场成像方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218288.XA CN112581372B (zh) 2021-02-26 2021-02-26 一种跨时空映射超分辨光场成像方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112581372A CN112581372A (zh) 2021-03-30
CN112581372B true CN112581372B (zh) 2021-05-28

Family

ID=75114044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218288.XA Active CN112581372B (zh) 2021-02-26 2021-02-26 一种跨时空映射超分辨光场成像方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112581372B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN109767383A (zh) * 2017-11-09 2019-05-17 三星电子株式会社 用于使用卷积神经网络的视频超分辨率的方法和设备
CN111915492A (zh) * 2020-08-19 2020-11-10 四川省人工智能研究院(宜宾) 一种基于动态重建的多分支视频超分辨率方法及系统
CN112037129A (zh) * 2020-08-26 2020-12-04 广州视源电子科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919993B (zh) * 2019-03-12 2023-11-07 腾讯科技（深圳）有限公司 视差图获取方法、装置和设备及控制系统
CN111861897A (zh) * 2019-05-17 2020-10-30 北京嘀嘀无限科技发展有限公司 一种图像处理方法及装置
CN111784578A (zh) * 2020-06-28 2020-10-16 Oppo广东移动通信有限公司 图像处理、模型训练方法及装置、设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767383A (zh) * 2017-11-09 2019-05-17 三星电子株式会社 用于使用卷积神经网络的视频超分辨率的方法和设备
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN111915492A (zh) * 2020-08-19 2020-11-10 四川省人工智能研究院(宜宾) 一种基于动态重建的多分支视频超分辨率方法及系统
CN112037129A (zh) * 2020-08-26 2020-12-04 广州视源电子科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deformable 3D Convolution for Video Super-Resolution;Xinyi Ying,etc;《Journal of Latex class files》;20150831;第14卷(第8期);第1页至第5页 *
Super-resolution recurrent convolutional neural networks for learning with multi-resolution whole slide images;Lopamudra Mukherjee,etc;《Journal of Biomedical Optics》;20191213;第24卷(第12期);第1页至15页 *
融合多尺度特征的光场图像超分辨率方法;赵圆圆等;《光电工程》;20201222;第47卷(第12期);第1页至11页 *

Also Published As

Publication number Publication date
CN112581372A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
Yue et al. Supervised raw video denoising with a benchmark dataset on dynamic scenes
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
EP2494524B1 (en) Algorithms for estimating precise and relative object distances in a scene
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
US20130063571A1 (en) Image processing apparatus and image processing method
TWI359387B (en) Robust camera pan vector estimation using iterativ
Liang et al. Raw image deblurring
US20120300115A1 (en) Image sensing device
EP2489007A1 (en) Image deblurring using a spatial image prior
WO2013151873A1 (en) Joint video stabilization and rolling shutter correction on a generic platform
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
Cheng et al. A dual camera system for high spatiotemporal resolution video acquisition
Xu et al. Deep joint demosaicing and high dynamic range imaging within a single shot
Xin et al. Video face super-resolution with motion-adaptive feedback cell
Chandramouli et al. A generative model for generic light field reconstruction
CN112581372B (zh) 一种跨时空映射超分辨光场成像方法、装置及设备
Jung et al. Multi-task learning framework for motion estimation and dynamic scene deblurring
Hu et al. Cnn-based deghosting in high dynamic range imaging
WO2014077024A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Liang et al. Coherent Event Guided Low-Light Video Enhancement
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
Alzayer et al. DC2: Dual-Camera Defocus Control by Learning To Refocus
CN112634139B (zh) 光场超分辨成像方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant