CN113487487B - 一种异构立体图像的超分辨率重建方法及系统 - Google Patents

Abstract

本发明公开了一种异构立体图像的超分辨率重建方法及系统，获取双目视觉系统中利用非对称压缩方法压缩的某个时刻的立体图像对，立体图像对包括两个视图，其中一个视图为高分辨率图像，另一个为低分辨图像；缩小高分辨率图像和低分辨图像的搜索区域；分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息；将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息。优点：能够直接利用异构立体图像中高分辨率图像的先验知识来对低分辨率图像的高频信息进行恢复。能够利用立体图像的空间相关性和视点相关性，从高分辨率图像中为低分辨率图像寻找对应子块，高效率地对立体图像之间的异质性进行补偿。

Description

一种异构立体图像的超分辨率重建方法及系统

技术领域

本发明涉及一种异构立体图像的超分辨率重建方法及系统，属于计算机视觉技术领域。

背景技术

计算机视觉的任务是要为计算机和机器人开发与人类具有同等的视觉能力，立体视觉是计算机领域的一个重要研究方向。双目立体视觉相比声呐和激光能够提供丰富的场景颜色信息和三维坐标信息，使得基于几何信息的研究方法和基于视觉特征点的研究方法能够结合，采用这些信息能够在计算机中重建出三维的场景或模型。双目视觉借鉴了人类双眼的“视差”原理，即左、右眼对于真实世界中某一物体的观测是存在差异的，人类的大脑正是利用了左、右眼的差异，才能够辨识物体的远近。左、右眼的差异在立体视觉技术中被称作视差。从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息，就可以计算出物体与相机之间的实际距离及物体实际大小。

由于双目视觉系统成本低，精度高，并且能够呈现使人身临其境的环境信息等优点，在公共交通场景的安防监控领域的应用最为广泛，如机场、公交站、地铁站等。在安防监控领域，摄像机通常24小时持续工作，且双目图像所需的存储空间和传输带宽是普通单路图像的两倍。因此对图像的存储方式有较高的要求。为了减少立体图像的传输和存储成本，常采用非对称压缩方法对立体图像进行压缩，也就是两个图像用不同的分辨率或不同的质量进行编码。然而，这会导致两张图像之间存在异质性，这为后续利用立体图像进行三维重构及其他信息融合工作带来了极大困难。

为了使两个图像质量一致，可以采用图像超分辨率重建算法来恢复低分辨率图像的细节。超分辨率重建是计算机视觉领域另一研究热点，常被应用于行人检测、视频监控、遥感图像处理等。但是，直接采用单图像超分辨率重建算法处理立体图像，会破坏左右视图之间的联系，因此探索立体图像的超分辨率重建算法具有重大的理论意义和实际意义。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种异构立体图像的超分辨率重建方法及系统，能够利用立体图像的空间相关性和视点相关性，从高分辨率图像中为低分辨率图像寻找对应子块，高效率地对立体图像之间的异质性进行补偿。不受限于特定的图像压缩方法，具有良好的鲁棒性和普适性，同时无需耗费大量时间训练卷积神经网络的权重和偏移量。

为解决上述技术问题，本发明提供一种异构立体图像的超分辨率重建方法，包括：

获取双目视觉系统中利用非对称压缩方法压缩的某个时刻的立体图像对，立体图像对包括两个视图，其中一个视图为高分辨率图像，另一个为低分辨图像；

缩小高分辨率图像和低分辨图像的搜索区域；

分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息；

将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息。

进一步的，采用边缘检测方法缩小高分辨率图像和低分辨图像的搜索区域。

进一步的，所述采用边缘检测方法缩小高分辨率图像中的搜索区域的过程包括：

利用高斯滤波器与高分辨率图像和低分辨图像进行卷积，得到去噪后的高分辨率图像和低分辨图像；

分别计算去噪后的高分辨率图像和低分辨图像的梯度强度G和方向θ；

根据高分辨率图像的梯度强度G和方向θ、低分辨率图像梯度强度G和方向θ分别计算初始边缘；

对初始边缘采用非极大值抑制方法进行边缘稀疏；

在边缘稀疏之后，根据预先设置的高低阈值抑制弱边缘像素，得到最终的理想边缘，根据理想边缘确定所述搜索区域。

进一步的，采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息。

进一步的，所述采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息，包括：

将高分辨率图像的搜索区域和与该搜索区域相匹配的低分辨率图像对应区域分别划分为N个子块和/>

对N个子块和/>中的每个子块s_i和t_i使用五个梯度算子提取梯度特征，五个梯度算子的表示形式为：

f₁＝[-1,0,1]

f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]

f₄＝f₃ ^T

f₅＝[1,0,-1；0；-1,0,1]

使用五个梯度算子提取出的特征向量分别记作f_x,f_y,f_xx,f_yy和f_xy，特征差异D_i用公式表示为：

其中：

确定高分辨率图像或低分辨率图像的高频信息，包括：

使用五个梯度算子提取出对应图像的每个子块的特征向量，根据提取出的特征向量计算子块的特征差异，将所有的特征差异按大小顺序排列起来，形成一个数列，寻找处于数列中间位置的特征差异，该特征差异对应的子块为高频信息的子块。

进一步的，所述将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息，包括：

获取成本函数；

成本函数的表达形式为：

T_i为转换参数，为立体图像对的像素索引，E_u(t_i,s_i,H_i)表示欧几里得距离，其表达形式为：

其中，P(t_i)为低分辨率图像中像素i在子块t_i的强度，S(s_i,T_i)为高分辨率图像中像素i在子块s_i的强度；

根据成本函数计算转换参数T_i，包括：

获取用于对场景中的平面进行校正的同构图同构图/>的三个向量分别为h₁,h₂,h₃，则校正后的源补丁和目标补丁表示为：

t'_i＝[h₁t_i,h₂t_i,h₃t_i]^T

s'_i＝[h₁s_i,h₂s_i,h₃s_i]^T

令(d^x,d^y)为目标空间到校正空间中源补丁位置的位移向量，源补丁s'_i的位置表示为：

则高分辨率图像中像素i在子块s_i表示为：

令

使用上述公式求得转换参数T_i，根据转换参数T_i将高分辨率图像的高频信息粘贴到低分辨率图像的高频信息上。

一种异构立体图像的超分辨率重建系统，包括：

获取模块，用于获取双目视觉系统中利用非对称压缩方法压缩的某个时刻的立体图像对，立体图像对包括两个视图，其中一个视图为高分辨率图像，另一个为低分辨图像；

缩小模块，用于缩小高分辨率图像和低分辨图像的搜索区域；

确定模块，用于分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息；

处理模块，用于将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息。

进一步的，所述缩小模块采用边缘检测方法缩小高分辨率图像和低分辨图像的搜索区域，包括：

去噪模块，用于利用高斯滤波器与高分辨率图像和低分辨图像进行卷积，得到去噪后的高分辨率图像和低分辨图像；

第一计算模块，用于分别计算去噪后的高分辨率图像和低分辨图像的梯度强度G和方向θ；

第二计算模块，用于根据高分辨率图像的梯度强度G和方向θ、低分辨率图像梯度强度G和方向θ分别计算初始边缘；

边缘稀疏模块，用于对初始边缘采用非极大值抑制方法进行边缘稀疏；

抑制模块，用于在边缘稀疏之后，根据预先设置的高低阈值抑制弱边缘像素，得到最终的理想边缘，根据理想边缘确定所述搜索区域。

进一步的，所述确定模块采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息，包括：

划分模块，用于将高分辨率图像的搜索区域和与该搜索区域相匹配的低分辨率图像对应区域分别划分为N个子块和/>

提取模块，用于对N个子块和/>中的每个子块s_i和t_i使用五个梯度算子提取梯度特征，五个梯度算子的表示形式为：

f₁＝[-1,0,1]

f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]

f₄＝f₃ ^T

f₅＝[1,0,-1；0；-1,0,1]

特征差异计算模块，用于使用五个梯度算子提取出的特征向量计算特征差异D_i，五个梯度算子提取出的特征向量分别记作f_x,f_y,f_xx,f_yy和f_xy，特征差异D_i用公式表示为：

其中：

高频信息确定模块，用于使用五个梯度算子提取出对应图像的每个子块的特征向量，根据提取出的特征向量计算子块的特征差异，将所有的特征差异按大小顺序排列起来，形成一个数列，寻找处于数列中间位置的特征差异，该特征差异对应的子块为高频信息的子块。

进一步的，所述处理模块包括：

函数获取模块，用于获取成本函数；

成本函数的表达形式为：

T_i为转换参数，为立体图像对的像素索引，E_u(t_i,s_i,H_i)表示欧几里得距离，其表达形式为：

其中，P(t_i)为低分辨率图像中像素i在子块t_i的强度，S(s_i,T_i)为高分辨率图像中像素i在子块s_i的强度；

转换参数计算模块，用于根据成本函数计算转换参数T_i，包括：

获取用于对场景中的平面进行校正的同构图同构图/>的三个向量分别为h₁,h₂,h₃，则校正后的源补丁和目标补丁表示为：

t'_i＝[h₁t_i,h₂t_i,h₃t_i]^T

s'_i＝[h₁s_i,h₂s_i,h₃s_i]^T

令(d^x,d^y)为目标空间到校正空间中源补丁位置的位移向量，源补丁s'_i的位置表示为：

则高分辨率图像中像素i在子块s_i表示为：

转换参数T_i为：

粘贴模块，用于根据转换参数T_i将高分辨率图像的高频信息粘贴到低分辨率图像的高频信息上。

本发明所达到的有益效果：

能够直接利用异构立体图像中高分辨率图像的先验知识来对低分辨率图像的高频信息进行恢复。能够利用立体图像的空间相关性和视点相关性，从高分辨率图像中为低分辨率图像寻找对应子块，高效率地对立体图像之间的异质性进行补偿。不受限于特定的图像压缩方法，具有良好的鲁棒性和普适性，同时无需耗费大量时间训练卷积神经网络的权重和偏移量。

附图说明

图1是异构立体图像超分辨率重建方法流程图；

图2是边缘检测示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种异构立体图像超分辨率重建方法，框图如图1所示。输入是高分辨率的右视图图像和低分辨率的左视图图像。输出是重构的高分辨率左视图图像。所提出的方法框架包括三个步骤：边缘检测，信息补丁选择，最近邻域(NNF)估计。算法为了获得与低分辨率图像的每一部分对应的高频信息，首先采用边缘检测方法来约束高分辨率图像中的搜索区域，接着采用选择性补丁处理方法从相应搜索区域中获得匹配的高频信息，这能够有效地提高高频补丁的搜索效率。最后，来自高分辨率图像的补丁通过参数变换粘贴到低分辨率图像的目标位置，从而实现对低质量信息的覆盖每个步骤将在以下各节中详细描述。

1.边缘检测

边缘检测的结果用来缩小补丁片段的搜索范围，只有纹理趋于一致的片段才能被入选为搜索区域，以此用来提高方法的效率。边缘检测算法采用Canny边缘检测算法。该算法有着过程简单和效果好的优势。为了避免由于噪声引起的边缘错误检测，在边缘检测之前要对图像集进行去噪处理。去噪方法我们选择高斯滤波器与图像进行卷积。用于生成高斯卷积核的方程定义为：

其中1≤i,j≤(2k+1)，也就是说该高斯卷积核的大小为(2k+1)×(2k+1)。高斯卷积核的大小十分重要，它影响着算法的效果。很多基于Canny的边缘检测算法有自适应卷积核大小的性能，但综合考虑到算法的复杂度和算法效果，本算法将卷积核的大小设置为5×5。接下来计算图像的梯度强度G和方向θ，可以用公式表示为

θ＝arctan(G_y/G_x)

其中G_x和G_y分别为图像水平方向和垂直方向的导数，可以通过Sobel算子求得。

如果只采用梯度导数来求边缘，那么边缘还是很模糊。为了解决这个问题，然后采用非极大值抑制进行边缘稀疏，能够使边缘在局部有唯一最大值。在进行非极大值抑制之后，还是会存在细小噪声和颜色变化而引起的杂散响应。因此需要定义高低阈值来过滤边缘像素。最后通过抑制弱边缘像素就能够得到最终的理想边缘。边缘检测之后对填充像素分类示意图如图2所示。图2左图为原视图，图2右图为边缘检测结果。

3.搜索高分辨率补丁片段

将输入的立体图像对X^l和X^h分别划分为N个子块和/>以获得更好的对应性。为了获取具有高频分量的图像块，采用高通滤波器来表示特征。高通滤波器用于锐化图像或提取图像的边缘，纹理和噪声。最简单的滤波器是理想的高通滤波器。同时采用一阶和二阶导数用作梯度算子。

通过使用五个梯度算子提取梯度特征，五个梯度算子的表示形式为：

f₁＝[-1,0,1] (3)

f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]

f₄＝f₃ ^T

f₅＝[1,0,-1；0；-1,0,1]

使用梯度算子提取出的特征向量分别记作f_x,f_y,f_xx,f_yy和f_xy，特征差异用公式表示为：

其中：

通过这五个梯度算子，采用用五个特征向量表示每个补丁，这些特征向量被转换为一个

代表性向量。不同的特征值表示来自图像的不同信息：

1)从区域分析，边缘的|f_i ^ε|较大但较小。

2)从光滑性分析，|f_i ^ε|和较小。

3)从噪音分析，|f_i ^ε|和都较大。

本方法的目标是选择具有高频信息的子块，因此寻求使D_i为中值的特征向量。基于此分析，该方法不仅使低频基础结构的距离最小化，而且还精确地保留了高频详细结构。

4.最邻近区域估计

为了获取高分辨率补丁覆盖低分辨率信息的变换参数，本方法采用最邻近区域估计。成本函数的关键思想是计算欧几里德距离的平方和，经典特征检测算法SIFT也采用了它。成本函数可以用公式表示为：

T_i为源片段的变换参数，也就是需要求得得变换参数。为立体图像对的像素索引。E_u(t_i,s_i,H_i)可以用公式表示为：

其中，P(t_i)为低分辨率图像中像素i在片段t_i的强度，S(s_i,T_i)为高分辨率图像中像素i在片段s_i的强度。求解T_i即求解令E_u(t_i,s_i,H_i)为最小的T_i参数。假设是对场景中的平面进行校正的同构图。h₁,h₂,h₃是/>的三个向量。校正后的源补丁和目标补丁可以表示为：

t'_i＝[h₁t_i,h₂t_i,h₃t_i]^T (10)

s'_i＝[h₁s_i,h₂s_i,h₃s_i]^T (11)

令(d^x,d^y)为目标空间到校正空间中源补丁位置的位移向量。因此，源补丁s'_i的位置可以表述为：

令

使用上述公式求得转换参数T_i即可将源补丁粘贴到目标补丁上。

一种异构立体图像的超分辨率重建系统，包括：

获取模块，用于获取双目视觉系统中利用非对称压缩方法压缩的某个时刻的立体图像对，立体图像对包括两个视图，其中一个视图为高分辨率图像，另一个为低分辨图像；

缩小模块，用于缩小高分辨率图像和低分辨图像的搜索区域；

确定模块，用于分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息；

处理模块，用于将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息。

进一步的，所述缩小模块采用边缘检测方法缩小高分辨率图像和低分辨图像的搜索区域，包括：

去噪模块，用于分别对高分辨率图像和低分辨图像进行去噪处理，包括：利用高斯滤波器与高分辨率图像和低分辨图像进行卷积，得到去噪后的高分辨率图像和低分辨图像；

第一计算模块，用于分别计算去噪后的高分辨率图像和低分辨图像的梯度强度G和方向θ；

第二计算模块，用于根据高分辨率图像的梯度强度G和方向θ、低分辨率图像梯度强度G和方向θ分别计算初始边缘；

边缘稀疏模块，用于对初始边缘采用非极大值抑制方法进行边缘稀疏；

抑制模块，用于在边缘稀疏之后，根据预先设置的高低阈值抑制弱边缘像素，得到最终的理想边缘，根据理想边缘确定所述搜索区域。

进一步的，所述确定模块采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息，包括：

划分模块，用于将高分辨率图像的搜索区域和与该搜索区域相匹配的低分辨率图像对应区域分别划分为N个子块和/>

提取模块，用于对N个子块和/>中的每个子块s_i和t_i使用五个梯度算子提取梯度特征，五个梯度算子的表示形式为：

f₁＝[-1,0,1]

f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]

f₄＝f₃ ^T

f₅＝[1,0,-1；0；-1,0,1]

特征差异计算模块，用于使用五个梯度算子提取出的特征向量计算特征差异D_i，五个梯度算子提取出的特征向量分别记作f_x,f_y,f_xx,f_yy和f_xy，特征差异D_i用公式表示为：

其中：

高频信息确定模块，用于使用五个梯度算子提取出对应图像的每个子块的特征向量，根据提取出的特征向量计算子块的特征差异，将所有的特征差异按大小顺序排列起来，形成一个数列，寻找处于数列中间位置的特征差异，该特征差异对应的子块为高频信息的子块。

进一步的，所述处理模块包括：

函数获取模块，用于获取成本函数；

成本函数的表达形式为：

T_i为转换参数，为立体图像对的像素索引，E_u(t_i,s_i,H_i)表示欧几里得距离，其表达形式为：

其中，P(t_i)为低分辨率图像中像素i在子块t_i的强度，S(s_i,T_i)为高分辨率图像中像素i在子块s_i的强度；

转换参数计算模块，用于根据成本函数计算转换参数T_i，包括：

获取用于对场景中的平面进行校正的同构图同构图/>的三个向量分别为h₁,h₂,h₃，则校正后的源补丁和目标补丁表示为：

t'_i＝[h₁t_i,h₂t_i,h₃t_i]^T

s'_i＝[h₁s_i,h₂s_i,h₃s_i]^T

令(d^x,d^y)为目标空间到校正空间中源补丁位置的位移向量，源补丁s'_i的位置表示为：

则高分辨率图像中像素i在子块s_i表示为：

转换参数T_i为：

粘贴模块，用于根据转换参数T_i将高分辨率图像的高频信息粘贴到低分辨率图像的高频信息上。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种异构立体图像的超分辨率重建方法，其特征在于，包括：

获取双目视觉系统中利用非对称压缩方法压缩的某个时刻的立体图像对，立体图像对包括两个视图，其中一个视图为高分辨率图像，另一个为低分辨图像；

缩小高分辨率图像和低分辨图像的搜索区域；

分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息；

将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息；

所述将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息，包括：

获取成本函数；

成本函数的表达形式为：

T_i为转换参数，为立体图像对的像素索引，E_u(t_i,s_i,T_i)表示欧几里得距离，其表达形式为：

其中，P(t_i)为低分辨率图像中像素i在子块t_i的强度，S(s_i,T_i)为高分辨率图像中像素i在子块s_i的强度；

根据成本函数计算转换参数T_i，包括：

获取用于对场景中的平面进行校正的同构图同构图/>的三个向量分别为h₁,h₂,h₃，则校正后的源补丁和目标补丁表示为：

t'_i＝[h₁t_i,h₂t_i,h₃t_i]^T

s'_i＝[h₁s_i,h₂s_i,h₃s_i]^T

令(d^x,d^y)为目标空间到校正空间中源补丁位置的位移向量，源补丁s'_i的位置表示为：

则高分辨率图像中像素i在子块s_i表示为：

令

使用上述公式求得转换参数T_i，根据转换参数T_i将高分辨率图像的高频信息粘贴到低分辨率图像的高频信息上。

2.根据权利要求1所述的异构立体图像的超分辨率重建方法，其特征在于，采用边缘检测方法缩小高分辨率图像和低分辨图像的搜索区域。

3.根据权利要求2所述的异构立体图像的超分辨率重建方法，其特征在于，所述采用边缘检测方法缩小高分辨率图像中的搜索区域的过程包括：

利用高斯滤波器与高分辨率图像和低分辨图像进行卷积，得到去噪后的高分辨率图像和低分辨图像；

分别计算去噪后的高分辨率图像和低分辨图像的梯度强度G和方向θ；

根据高分辨率图像的梯度强度G和方向θ、低分辨率图像梯度强度G和方向θ分别计算初始边缘；

对初始边缘采用非极大值抑制方法进行边缘稀疏；

在边缘稀疏之后，根据预先设置的高低阈值抑制弱边缘像素，得到最终的理想边缘，根据理想边缘确定所述搜索区域。

4.根据权利要求1所述的异构立体图像的超分辨率重建方法，其特征在于，采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息。

5.根据权利要求4所述的异构立体图像的超分辨率重建方法，其特征在于，所述采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息，包括：

将高分辨率图像的搜索区域和与该搜索区域相匹配的低分辨率图像对应区域分别划分为N个子块和/>

对N个子块和/>中的每个子块s_i和t_i使用五个梯度算子提取梯度特

征，五个梯度算子的表示形式为：

f₁＝[-1,0,1]

f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]

f₅＝[1,0,-1；0；-1,0,1]

使用五个梯度算子提取出的特征向量分别记作f_x,f_y,f_xx,f_yy和f_xy，特征差异D_i用公式表示为：

其中：

确定高分辨率图像或低分辨率图像的高频信息，包括：

使用五个梯度算子提取出对应图像的每个子块的特征向量，根据提取出的特征向量计算子块的特征差异，将所有的特征差异按大小顺序排列起来，形成一个数列，寻找处于数列中间位置的特征差异，该特征差异对应的子块为高频信息的子块。

6.一种异构立体图像的超分辨率重建系统，其特征在于，包括：

获取模块，用于获取双目视觉系统中利用非对称压缩方法压缩的某个时刻的立体图像对，立体图像对包括两个视图，其中一个视图为高分辨率图像，另一个为低分辨图像；

缩小模块，用于缩小高分辨率图像和低分辨图像的搜索区域；

确定模块，用于分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息；

处理模块，用于将高分辨率图像的高频信息通过参数变换粘贴到低分辨率图像的高频信息；

所述处理模块包括：

函数获取模块，用于获取成本函数；

成本函数的表达形式为：

T_i为转换参数，为立体图像对的像素索引，E_u(t_i,s_i,T_i)表示欧几里得距离，其表达形式为：

其中，P(t_i)为低分辨率图像中像素i在子块t_i的强度，S(s_i,T_i)为高分辨率图像中像素i在子块s_i的强度；

转换参数计算模块，用于根据成本函数计算转换参数T_i，包括：

获取用于对场景中的平面进行校正的同构图同构图/>的三个向量分别为h₁,h₂,h₃，则校正后的源补丁和目标补丁表示为：

t'_i＝[h₁t_i,h₂t_i,h₃t_i]^T

s'_i＝[h₁s_i,h₂s_i,h₃s_i]^T

令(d^x,d^y)为目标空间到校正空间中源补丁位置的位移向量，源补丁s'_i的位置表示为：

则高分辨率图像中像素i在子块s_i表示为：

转换参数T_i为：

粘贴模块，用于根据转换参数T_i将高分辨率图像的高频信息粘贴到低分辨率图像的高频信息上。

7.根据权利要求6所述的异构立体图像的超分辨率重建系统，其特征在于，所述缩小模块采用边缘检测方法缩小高分辨率图像和低分辨图像的搜索区域，包括：

去噪模块，用于利用高斯滤波器与高分辨率图像和低分辨图像进行卷积，得到去噪后的高分辨率图像和低分辨图像；

第一计算模块，用于分别计算去噪后的高分辨率图像和低分辨图像的梯度强度G和方向θ；

第二计算模块，用于根据高分辨率图像的梯度强度G和方向θ、低分辨率图像梯度强度G和方向θ分别计算初始边缘；

边缘稀疏模块，用于对初始边缘采用非极大值抑制方法进行边缘稀疏；

抑制模块，用于在边缘稀疏之后，根据预先设置的高低阈值抑制弱边缘像素，得到最终的理想边缘，根据理想边缘确定所述搜索区域。

8.根据权利要求6所述的异构立体图像的超分辨率重建系统，其特征在于，所述确定模块采用选择性补丁处理方法分别从高分辨率图像和低分辨图像的搜索区域中确定高分辨率图像和低分辨图像的高频信息，包括：

划分模块，用于将高分辨率图像的搜索区域和与该搜索区域相匹配的低分辨率图像对应区域分别划分为N个子块和/>

提取模块，用于对N个子块和/>中的每个子块s_i和t_i使用五个梯度算子提取梯度特征，五个梯度算子的表示形式为：

f₁＝[-1,0,1]

f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]

f₅＝[1,0,-1；0；-1,0,1]

特征差异计算模块，用于使用五个梯度算子提取出的特征向量计算特征差异D_i，五个梯度算子提取出的特征向量分别记作f_x,f_y,f_xx,f_yy和f_xy，特征差异D_i用公式表示为：

其中：

高频信息确定模块，用于使用五个梯度算子提取出对应图像的每个子块的特征向量，根据提取出的特征向量计算子块的特征差异，将所有的特征差异按大小顺序排列起来，形成一个数列，寻找处于数列中间位置的特征差异，该特征差异对应的子块为高频信息的子块。