CN112907443A - 一种面向卫星相机的视频超分辨率重建方法及系统 - Google Patents

Abstract

一种面向卫星相机的视频超分辨率重建方法及系统，方法包括：S1.视频中第n帧图像、第n‑1帧图像和第n‑2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像，n大于等于3；S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配，根据灰度匹配结果重建第三图像；S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。本发明通过低复杂度的算法提升视频图像的分辨率。

Description

一种面向卫星相机的视频超分辨率重建方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种面向卫星相机的视频超分辨率重建方法及系统。

背景技术

随着新材料、电子学、光学与人工智能等技术的发展，几十公斤的微纳卫星已经能够执行过去数百公斤卫星需承担的任务。卫星体积和重量缩小后，除可大大降低开发费和运营费外，研制时间亦可大大缩短，并能有效利用发射能力小的火箭进行发射，还有利于计划管理及适应各种任务的需求。要实现卫星的超小型化，关键则在于能否有效利用高新技术，研制成功超小型、轻量且性能稳定的有效载荷。卫星相机是遥感卫星的核心载荷，其体积重量直接决定了遥感卫星的体积重量。

在通过卫星相机进行采集、传输、存储等过程中，视频可能会受到周围环境和硬件设备的影响产生一定程度的失真，导致视频出现模糊等问题，影响人们对图像/视频信息的正确认识，甚至无法使用。如何恢复模糊或失真的视频，超分辨率技术应运而生，成为卫星相机领域需要的一个关键技术。目前大多数学者提出的超分辨率算法都是针对普通相机的，而专门针对卫星相机的视频模糊问题目前还没有什么比较好的解决方案。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

本发明的目的在于提供一种面向卫星相机的视频超分辨率重建方法及系统，能够获得较好的高分辨率图像，并且算法复杂度低，能够很好的应用在卫星相机上。

本发明提供一种面向卫星相机的视频超分辨率重建方法，包括：

S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像，n大于等于3；

S2.所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配，根据灰度匹配结果重建所述第三图像；

S3.根据步骤S1和步骤S2依次处理所述视频中的各帧图像。

其中，所述步骤S1包括：

S11.所述第n帧图像的分辨率放大一倍得到所述第一图像，将所述第n帧图像的各像素点映射至所述第一图像，得到第一类像素点；

S12.确定由所述第一类像素点组成顶点的最小正方形，所述最小正方形的中心像素点为第二类像素点，对四个顶点的所述第一类像素点取平均值，得到所述第二类像素点的取值；

S13.确定所述最小正方形中未赋值像素点为第三类像素点，对所述第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值，得到所述第三类像素点的取值；

S14.根据步骤S11至S13依次处理第n-1帧图像和第n-2帧图像。

其中，所述对所述第三类像素点的上、下、左、右方向的像素点取加权平均值，包括：

根据所述正上、正下、正左、正右方向的像素点所在类别确定加权系数；

对所述第三类像素点的上、下、左、右方向的像素点根据所述加权系数取加权平均值。

其中，所述将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配，包括：

选取所述第三图像的一图像子块作为目标图像块，在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合；

计算目标图像块的灰度均值，根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量；

通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异，确定差异最小的候选图像块上中心像素点为所述目标图像块上中心像素点的对应像素点。

其中，所述在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合，包括：

在所述第二图像和所述第三图像上分别滑动所述目标图像块，得到多个候选图像块，计算该图像子块与目标图像子块的灰度差值；

滑动搜索结束后，根据所述灰度差值排序结果确定所述候选图像块集合。

其中，所述根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量，包括：

将所述目标图像中各像素点的灰度值与灰度均值进行比较，若像素点的所述灰度值小于所述灰度均值，将所述像素点标记为1，否则标记为0；

将各像素点的标记值顺次连接，得到由0和1组成的特征向量T_K。

其中，所述通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异，包括：

提取各候选图像块的特征向量T_H_i；

根据汉明距离计算T_H_i和T_K的灰度差异。

其中，所述根据灰度匹配结果重建所述第三图像，包括：

根据灰度匹配结果确定所述第三图像上各像素点在所述第一图像和实施第二图像的对应像素点；

融合所述第一图像和所述第二图像的对应像素点至所述第三图像。

其中，根据如下公式融合所述第一图像和所述第二图像的对应像素点至所述第三图像：

其中，C_n0(x,y)表示融合后图像，B_n0-2(x,y)为表示第一图像，B_n0-1(x,y)表示第二图像，B_n0(x,y)表示第三图像，(α,β,γ)表示权重系数；

所述权重系数根据所述像素点所在类别及所在图像确定：

其中，T_n0-2(x0,y0)＝1表示第一图像的第一类像素点，T_n0-2(x0,y0)＝2表示第一图像的第二类像素点，T_n0-2(x0,y0)＝3表示第一图像第三类像素点，T_n0-1(x0,y0)＝1表示第二图像的第一类像素点，T_n0-1(x0,y0)＝2表示第二图像的第二类像素点，T_n0-1(x0,y0)＝3表示第二图像第三类像素点，T_n0(x0,y0)＝1表示第三图像的第一类像素点，T_n0(x0,y0)＝2表示第三图像的第二类像素点，T_n0(x0,y0)＝3表示第三图像第三类像素点。

本发明还提供一种面向卫星相机的视频超分辨率重建系统，包括图像放大模块、图像匹配模块和图像重建模块；

所述图像放大模块，用于将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像；

所述图像匹配模块，用于将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配；

所述图像重建模块，用于根据所述图像匹配模块的灰度匹配结果重建所述第三图像。

本发明提供的一种面向卫星相机的视频超分辨率重建方法及系统，方法包括：S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像，n大于等于3；S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配，根据灰度匹配结果重建第三图像；S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。本发明通过低复杂度的算法提升视频图像的分辨率。

附图说明

图1为本发明实施例中面向卫星相机的视频超分辨率重建方法的流程示意图。

图2为本发明实施例中指示函数的生成及分布规律的示意图。

图3为本发明实施例中面向卫星相机的视频超分辨率重建系统的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例中，提供一种面向卫星相机的视频超分辨率重建方法，包括：

步骤S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像，n大于等于3；

步骤S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配，根据灰度匹配结果重建第三图像；

步骤S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。

超分辨率技术是通过处理一系列低分辨率图像得到清晰的高分辨率图像的一个过程，本质是利用图像本身的空间信息冗余和视频帧中相邻帧之间的时间信息冗余，恢复出高分辨率视频图像，用以获得更细腻的画质，提升人眼的视觉感受。

步骤S1中，首先将第n帧图像的分辨率放大一倍得到第一图像，将第n帧图像的各像素点映射至第一图像，得到第一类像素点，用指示函数T_n0(x,y)＝1表示，如图2(a)。然后确定由第一类像素点组成顶点的最小正方形，最小正方形的中心像素点为第二类像素点，用指示函数T_n0(x,y)＝2表示，如图2(b)。对四个顶点的第一类像素点取平均值，得到第二类像素点的取值。接着，确定最小正方形中未赋值像素点为第三类像素点，用指示函数T_n0(x,y)＝3表示，如图2(c)。对第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值，得到第三类像素点的取值。

具体地，输入待处理的低分辨率视频图像，低分辨率视频图像序列为{A_n(x,y)|n＝1,2,…,N}，n是帧数目，每帧图像A_n(x,y)都是一个H×W的矩阵。取第n帧图像A_n0(x,y)、第n-1帧图像A_n0-1(x,y)和第n-2帧图像A_n0-2(x,y)，其中n0≥3，将A_n0(x,y)、A_n0-1(x,y)和A_n0-2(x,y)的分辨率提高一倍，分别得到一个(2H-1)×(2W-1)的第一图像B_n0-2(x,y)、第二图像B_n0-1(x,y)和第三图像B_n0(x,y)，以及B_n0(x,y)上的每个像素点对应的指示函数。

将图像A_n0(x,y)上所有的像素按下述公式映射到图像B_n0(x,y)上：

其中x∈[1,H]，y∈[1,W]，T_n0(x,y)是一个自定义的指示函数，说明图像B_n0(x,y)上该像素点的来源信息。

然后，在图像B_n0(x,y)上，定义一个像素集合Ω1＝{(x,y)|T_n0(x±1,y±1)＝1}，也即集合Ω1中的像素均满足以自身为中心的大小为3*3的正方形的四个顶点的指示函数均为1，然后将这四个顶点的均值作为该像素的取值，公式如下：

其中(x,y)∈Ω1，并令集合Ω1的所有像素点的指示函数T_n0(x,y)＝2。

在图像B_n0(x,y)上，将还没有获得赋值的像素点组成的集合定义为Ω2，通过观察分析可以知道，对于Ω2中任一个像素，它的正上方、正下方、正左方、正右方的像素点均已被赋值，将这四个像素点的加权均值作为该像素的取值，公式如下：

其中(x,y)∈Ω2，λ为加权参数，如果像素点A_n0(x+1,y)的指示函数T_n0(x+1,y)＝1那么令λ＝0.7，否则令λ＝0.3，最后令集合Ω2的所有像素点的指示函数T_n0(x,y)＝3。

通过上述方法，可以得到一个(2H-1)×(2W-1)的图像B_n0(x,y)，和对应的指示函数T_n0(x,y)。如图2所示，给出一个大小为7*7的指示函数T_n0(x,y)的生成及分布规律的示意图。

步骤S2中，将第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配。首先选取第三图像的一图像子块作为目标图像块，在第二图像和第三图像上滑动搜索与目标图像块灰度匹配的候选图像块集合。实际实现时，在第二图像和第三图像上分别滑动目标图像块，得到多个候选图像块，计算该图像子块与目标图像子块的灰度差值。滑动搜索结束后，根据灰度差值排序结果确定候选图像块集合。

然后计算目标图像块的灰度均值，根据灰度均值及目标图像块中各像素点的灰度值提取目标图像块的特征向量。将目标图像中各像素点的灰度值与灰度均值进行比较，若像素点的灰度值小于灰度均值，将像素点标记为1，否则标记为0；将各像素点的标记值顺次连接，得到由0和1组成的特征向量T_K。

最后通过特征向量计算目标图像块与候选图像块集合中各候选图像块的灰度差异，确定差异最小的候选图像块上中心像素点为目标图像块上中心像素点的对应像素点。提取各候选图像块的特征向量T_H_i，并根据汉明距离计算T_H_i和T_K的灰度差异。

本实施例中需要给图像B_n0(x,y)上的每一个像素点，找到其在图像B_n0-1(x,y)上的对应像素点，任取图像B_n0(x,y)上的一点(x0,y0)为例。在图像B_n0(x,y)上以(x0,y0)为中心，选择a×a的图像子块，记为K(x,y)，其中a是参数，使用一个大小为a×a的窗口，在图像B_n0-1(x,y)上进行滑动搜索，通过灰度匹配找到一个候选图像块集合。滑动搜索时，窗口每滑动一次在图像B_n0-1(x,y)上得到的一个大小为a×a的图像块，记为H(x,y)，计算H(x,y)和目标图像K(x,y)的灰度差值SAD(H)：

SAD(H)＝∑|K(x,y)-H(x,y)| (4)

灰度差值越小，两者匹配程度越高。因此窗口滑动搜索完毕后，对所有的灰度差值进行排序，选择数值最小的前100个对应的图像块作为候选图像块集合，记为{H_i(x,y)|i＝1,…,100}。

然后计算图像K(x,y)的灰度均值μ，然后将图像K(x,y)的每个像素点的灰度值与灰度均值μ进行比较，若该值小于中心像素点的灰度值，将其记为1，否则记为0。最后将它们按位连接，得到一串由0和1组成的特征向量，记为T_K。

通过特征向量计算图像K(x,y)和候选图像的差异，选择最小的作为最佳匹配结果。以任一候选图像H_i(x,y)为例说明计算过程，提取H_i(x,y)的特征向量，记为为T_H_i，采用汉明距离计算T_H_i和T_K的差异，记为HAMM(H_i)；

HAMM(H_i)＝Hamming(T_H_i,T_K) (5)

其中Hamming表示求汉明距离的算子。

对所有的候选图像都采用上述方法计算和目标图像的距离后，进行排序，找到距离最小的候选图像H_i0(x,y)作为最佳匹配结果，然后图像H_i0(x,y)的中心像素点(x0₁,y0₁)，就是像素点(x0,y0)就是在图像B_n0-1(x,y)上的对应像素点。遍历图像B_n0(x,y)上的每一个像素点，按照上述方法可找到其在图像B_n0-1(x,y)上的对应像素点。接着按照上述方法，给图像B_n0(x,y)上的每一个像素点，找到其在图像B_n0-2(x,y)上的对应像素点。

步骤S2中，根据灰度匹配结果重建第三图像时，根据灰度匹配结果确定第三图像上各像素点在第一图像和实施第二图像的对应像素点；融合第一图像和第二图像的对应像素点至第三图像。使用图像B_n0-1(x,y)和B_n0-2(x,y)的信息，对图像B_n0(x,y)进行融合增强，增强后图像记为C_n0(x,y)，任取图像B_n0(x,y)上的一点(x0,y0)进行说明：

其中，C_n0(x,y)表示融合后图像，B_n0-2(x,y)为表示第一图像，B_n0-1(x,y)表示第二图像，B_n0(x,y)表示第三图像，(α,β,γ)表示权重系数。权重系数根据像素点所在类别及所在图像确定，权重系数关系到融合图像的质量。需要根据这三个像素点的指示函数来决定取值，规则如下：

其中，T_n0-2(x0,y0)＝1表示第一图像的第一类像素点，T_n0-2(x0,y0)＝2表示第一图像的第二类像素点，T_n0-2(x0,y0)＝3表示第一图像第三类像素点，T_n0-1(x0,y0)＝1表示第二图像的第一类像素点，T_n0-1(x0,y0)＝2表示第二图像的第二类像素点，T_n0-1(x0,y0)＝3表示第二图像第三类像素点，T_n0(x0,y0)＝1表示第三图像的第一类像素点，T_n0(x0,y0)＝2表示第三图像的第二类像素点，T_n0(x0,y0)＝3表示第三图像第三类像素点。

指示函数为1时，该像素值来源于原始低分辨率图像；指示函数为2时，该像素值来源于指示函数为1的像素值的运算；指示函数为3时，该像素值来源于指示函数为1和指示函数为2的像素值的运算；所以，在像素值的可靠性方面，指示函数1>指示函数2>指示函数3。另外，在和当前帧的相似度方面，当前帧>前一帧>前两帧。基于此设计了上述的权重系数的取值规律。

步骤S3中，令低分辨率的视频图像序列{A_n(x,y)|n＝1,2,…,N}，从第3帧图像开始，根据步骤S1和步骤S2依次处理视频中的各帧图像，得到高分辨率视频图像序列{C_n(x,y)|n＝3,4,…,N}。对于第1帧和第2帧图像，则分别与其后两帧图像按预设倍数扩充分辨率后进行灰度匹配和融合强化，以提升视频图像整体的分辨率，保证视频图像的清晰度和流畅度。

本发明提出的视频超分辨率方法，能够充分利用低分辨率图像的信息，获得较好的高分辨率图像，并且算法复杂度低，能够很好的应用在卫星相机上。

本实施例的面向卫星相机的视频超分辨率重建方法包括：S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像，n大于等于3；S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配，根据灰度匹配结果重建第三图像；S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。本发明通过低复杂度的算法提升视频图像的分辨率。

如图3所示，本发明还提供一种面向卫星相机的视频超分辨率重建系统60，包括图像放大模块602、图像匹配模块604和图像重建模块606；

图像放大模块602，用于将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像；

图像匹配模块604，用于将第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配；

图像重建模块606，用于根据图像匹配模块的灰度匹配结果重建第三图像。

本实施例的具体实施步骤详见面向卫星相机的视频超分辨率重建方法的实施例，在此不再赘述。

在附图中，为了清晰起见，会夸大层和区域的尺寸和相对尺寸。应当理解的是，当元件例如层、区域或基板被称作“形成在”、“设置在”或“位于”另一元件上时，该元件可以直接设置在所述另一元件上，或者也可以存在中间元件。相反，当元件被称作“直接形成在”或“直接设置在”另一元件上时，不存在中间元件。

在本文中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语的具体含义。

在本文中，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了表达技术方案的清楚及描述方便，因此不能理解为对本发明的限制。

在本文中，用于描述元件的序列形容词“第一”、“第二”等仅仅是为了区别属性类似的元件，并不意味着这样描述的元件必须依照给定的顺序，或者时间、空间、等级或其它的限制。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种面向卫星相机的视频超分辨率重建方法，其特征在于，包括：

S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像，n大于等于3；

S2.所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配，根据灰度匹配结果重建所述第三图像；

S3.根据步骤S1和步骤S2依次处理所述视频中的各帧图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

S11.所述第n帧图像的分辨率放大一倍得到所述第一图像，将所述第n帧图像的各像素点映射至所述第一图像，得到第一类像素点；

S12.确定由所述第一类像素点组成顶点的最小正方形，所述最小正方形的中心像素点为第二类像素点，对四个顶点的所述第一类像素点取平均值，得到所述第二类像素点的取值；

S13.确定所述最小正方形中未赋值像素点为第三类像素点，对所述第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值，得到所述第三类像素点的取值；

S14.根据步骤S11至S13依次处理第n-1帧图像和第n-2帧图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述第三类像素点的上、下、左、右方向的像素点取加权平均值，包括：

根据所述正上、正下、正左、正右方向的像素点所在类别确定加权系数；

对所述第三类像素点的上、下、左、右方向的像素点根据所述加权系数取加权平均值。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配，包括：

选取所述第三图像的一图像子块作为目标图像块，在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合；

计算目标图像块的灰度均值，根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量；

通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异，确定差异最小的候选图像块上中心像素点为所述目标图像块上中心像素点的对应像素点。

5.根据权利要求4所述的方法，其特征在于，所述在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合，包括：

在所述第二图像和所述第三图像上分别滑动所述目标图像块，得到多个候选图像块，计算该图像子块与目标图像子块的灰度差值；

滑动搜索结束后，根据所述灰度差值排序结果确定所述候选图像块集合。

6.根据权利要求4所述的方法，其特征在于，所述根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量，包括：

将所述目标图像中各像素点的灰度值与灰度均值进行比较，若像素点的所述灰度值小于所述灰度均值，将所述像素点标记为1，否则标记为0；

将各像素点的标记值顺次连接，得到由0和1组成的特征向量T_K。

7.根据权利要求6所述的方法，其特征在于，所述通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异，包括：

提取各候选图像块的特征向量T_H_i；

根据汉明距离计算T_H_i和T_K的灰度差异。

8.根据权利要求4所述的方法，其特征在于，所述根据灰度匹配结果重建所述第三图像，包括：

根据灰度匹配结果确定所述第三图像上各像素点在所述第一图像和实施第二图像的对应像素点；

融合所述第一图像和所述第二图像的对应像素点至所述第三图像。

9.根据权利要求8所述的方法，其特征在于，根据如下公式融合所述第一图像和所述第二图像的对应像素点至所述第三图像：

其中，C_n0(x,y)表示融合后图像，B_n0-2(x,y)为表示第一图像，B_n0-1(x,y)表示第二图像，B_n0(x,y)表示第三图像，(α,β,γ)表示权重系数；

所述权重系数根据所述像素点所在类别及所在图像确定：

其中，T_n0-2(x0,y0)＝1表示第一图像的第一类像素点，T_n0-2(x0,y0)＝2表示第一图像的第二类像素点，T_n0-2(x0,y0)＝3表示第一图像第三类像素点，T_n0-1(x0,y0)＝1表示第二图像的第一类像素点，T_n0-1(x0,y0)＝2表示第二图像的第二类像素点，T_n0-1(x0,y0)＝3表示第二图像第三类像素点，T_n0(x0,y0)＝1表示第三图像的第一类像素点，T_n0(x0,y0)＝2表示第三图像的第二类像素点，T_n0(x0,y0)＝3表示第三图像第三类像素点。

10.一种面向卫星相机的视频超分辨率重建系统，其特征在于，包括图像放大模块、图像匹配模块和图像重建模块；

所述图像放大模块，用于将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大，得到第一图像、第二图像和第三图像；

所述图像匹配模块，用于将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配；

所述图像重建模块，用于根据所述图像匹配模块的灰度匹配结果重建所述第三图像。

Images