CN102006477A - 图像传输方法及系统 - Google Patents

Abstract

本发明公开了一种图像传输方法及系统，该方法包括：发送终端获取一幅原始图像，根据原始图像获得M幅低分辨率图像，其中，M幅低分辨率图像中的每一幅的分辨率为原始图像的分辨率的N分之一，且M＜N；发送终端将M幅低分辨率图像发送至接收终端；接收终端通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像。本发明提供了一种减小图像的传输尺寸，进而减小网络资源的开销的新方案，不仅更好地利用了网络资源，也为终端的选择增加了可观点，更为超分辨率复原技术找到了贴近日常生活的应用方式。

Description

图像传输方法及系统

技术领域

本发明涉及通信领域，具体而言，涉及一种图像传输方法及系统。

背景技术

终端通过网络传输图像时，由于图像的尺寸往往比较大，因此会占用较多的网络资源，另外，还会给终端用户带来比较大的流量开销。因此，相关技术中，为了解决这个问题，往往采用图像压缩技术对图像进行压缩。

图像压缩技术一般是将原始图像(不失图像像素)采用图像压缩算法进行压缩。终端对图像进行压缩后，将压缩后的图像通过网络进行传输。这种压缩图像的传输对网络资源的影响很大程度上受制于图像压缩技术的使用。

可以看出，相关技术中，对于终端传输的图像占用网络资源较高这一问题，往往仅能够采用对原始图像进行图像压缩这种途径来解决，处理的方式比较单一，很难满足用户的各种需求。

发明内容

本发明的主要目的在于提供一种图像传输方法及系统，以至少解决上述问题。

本发明的一个方面提供了一种图像传输方法，包括：发送终端获取一幅原始图像，根据所述原始图像获得M幅低分辨率图像，其中，所述M幅低分辨率图像中的每一幅的分辨率为所述原始图像的分辨率的N分之一，且M＜N；所述发送终端将所述M幅低分辨率图像发送至接收终端；所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像。

进一步地，所述M幅低分辨率图像中的每一幅低分辨率图像通过以下方式获得：所述发送终端对所述原始图像进行变形；所述发送终端对所述变形后的图像进行降采样，得到分辨率为所述原始图像的分辨率的N分之一的低分辨率图像。

进一步地，所述变形包括以下至少之一：在二维方向上平移、在二维方向上旋转。

进一步地，在所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像之前，还包括：所述接收终端以所述M幅低分辨率图像中的一幅作为参考低分辨率图像，对其他的M-1幅低分辨率图像进行相对于所述参考低分辨率图像的运动估计；所述接收终端根据所述运动估计的结果对所述M-1幅低分辨率图像进行调整；所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像包括：所述接收终端根据所述参考低分辨率图像和经过调整的所述M-1幅低分辨率图像，采用超分辨率复原方式得到分辨率与所述原始图像的分辨率相同的图像。

进一步地，在所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像的过程中，所采用的Huber边缘惩罚函数的判断阈值T通过以下方式确定：在|x_i，j-M_T|＜β的情况下，T＝第一阈值，否则，T＝第二阈值，其中，所述第一阈值＞所述第二阈值，x_i，j为所述参考低分辨率图像的第i行第j列像素的灰度值，M_T为第i行第j列像素的二阶邻域系统所有像素灰度值的均值，β为预设阈值，i和j为正整数。

进一步地，所述第一阈值为64，所述第二阈值为32。

进一步地，所述超分辨率复原方式包括以下之一：空域超分辨率复原方式、频域超分辨率复原方式。

进一步地，在所述发送终端将所述M幅低分辨率图像发送至接收终端之前，还包括：所述发送终端对所述M幅低分辨率图像进行压缩；在所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像之前，还包括：所述接收终端对经压缩的M幅低分辨率图像进行解压。

本发明的另一个方面提供了一种图像传输系统，包括发送终端和接收终端，其中，所述发送终端包括：原始图像获取模块，用于获取一幅原始图像；低分辨率图像获取模块，用于根据所述原始图像获得M幅低分辨率图像，其中，所述M幅低分辨率图像中的每一幅的分辨率为所述原始图像的分辨率的N分之一，且M＜N；发送模块，用于将所述M幅低分辨率图像发送至接收终端；所述接收终端包括：超分辨率复原模块，用于通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像。

进一步地，所述低分辨率图像获取模块包括：变形模块，用于对所述原始图像进行变形；降采样模块，用于对所述变形后的图像进行降采样，得到分辨率为所述原始图像的分辨率的N分之一的低分辨率图像；控制模块，用于在已得到的低分辨率图像的数量小于M的情况下，调度所述变形模块。

进一步地，所述接收终端还包括：运动估计模块，用于以所述M幅低分辨率图像中的一幅作为参考低分辨率图像，对其他的M-1幅低分辨率图像进行相对于所述参考低分辨率图像的运动估计；调整模块，用于根据所述运动估计的结果对所述M-1幅低分辨率图像进行调整；超分辨率复原模块用于根据所述参考低分辨率图像和经过调整的所述M-1幅低分辨率图像，采用超分辨率复原方式得到分辨率与所述原始图像的分辨率相同的图像。

进一步地，所述发送终端还包括：压缩模块，用于对所述M幅低分辨率图像进行压缩；所述接收终端还包括：解压模块，用于对经压缩的M幅低分辨率图像进行解压。

通过本发明，发送端将根据原始图像获得的多个低分辨率图像(总分辨率小于原始图像的分辨率)发送到接收端，接收端采用超分辨率复原方式通过接收到的低分辨率图像对原始图像进行复原，解决了相关技术中减小传输图像大小的方式比较单一的问题，提供了另外一种通过其他的方式来减小图像的传输尺寸，进而减小网络资源的开销的方案，不仅更好地利用了网络资源，也为终端的选择增加了可观点，更为超分辨率复原技术找到了贴近日常生活的应用方式。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的图像传输方法的流程图；

图2是根据本发明实施例的图像传输系统的结构框图；

图3是根据本发明实施例的低分辨率图像获取模块222的优选结构框图；

图4是根据本发明实施例的图像传输系统的优选结构框图一；

图5是根据本发明实施例的图像传输系统的优选结构框图二；

图6是根据实施例1-3的图像传输方法所基于的系统的结构框图；

图7是根据实施例3的发送端通过一幅(初始)图像经过降采样、变形过程获得一序列低分辨率图像的过程的示意图；

图8是根据实施例3的在接收端进行超分辨率复原的方法的流程图；

图9是根据实施例3的超分辨图像复原算法最速下降法优化原理的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1是根据本发明实施例的图像传输方法的流程图，该方法包括：

步骤S102，发送终端获取一幅原始图像，根据原始图像获得M幅低分辨率图像，其中，M幅低分辨率图像中的每一幅的分辨率为原始图像的分辨率的N分之一，且M＜N；

步骤S104，发送终端将M幅低分辨率图像发送至接收终端；

步骤S106，接收终端通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像。

相关技术中，终端图像的处理方法一般只依据终端摄像本身的分辨率，在目前的压缩方法下实现图像资源网络传输，这种解决方式比较单一，难以取得明显的效果。本实施例的方法中，利用超分辨率技术在接收终端对图像进行复原重建的处理，可减小图片在网络传输中所占用的资源。

需要说明的是，相关技术中超分辨图像重建技术的应用，更多的是关注遥感、医学、军事和公共安全等领域，还可以用于视频会议的应用，该技术在这些领域中的使用，主要目的是为了改进摄像获取的图像的质量，例如，在摄像头由于距离过远等因素无法获取到非常清晰的画面时，综合多个这样的图像来得到一幅更加清晰的图像，从而提高图像的质量。而在本实施例中，将超分辨率复原技术应用于终端的图像处理，在终端能够获得且网络能够传输清晰的图像的条件下，传输的是根据原始的清晰图片获得的多个低分辨率的图像，只要传输的图像的总分辨率小于原始图像的分辨率，就能够达到减小图像占用的网络资源的目的，且在接收到能够保证与原始图像大致相同的图像效果，可见，超分辨率图像重建技术在本实施例中，不仅能够提高图像的质量，而且还具有减小图像传输尺寸的作用。该方法不仅为网络资源的更好利用打下了基础，也为终端的选择增加了可观点，更为超分辨率复原技术找到了贴近日常生活的应用方式。

为了使得复原的效果更好，且复原出与原始图像更加接近的图像，作为一种优选的实施方式，M幅低分辨率图像中的每一幅低分辨率图像可以通过以下方式获得：发送终端对原始图像进行变形；发送终端对变形后的图像进行降采样，得到分辨率为原始图像的分辨率的N分之一的低分辨率图像。优选地，以上变形可以包括以下至少之一：在二维方向上移动、旋转。

优选地，在接收终端通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像之前，接收终端还可以以M幅低分辨率图像中的一幅作为参考低分辨率图像，对其他的M-1幅低分辨率图像进行相对于参考低分辨率图像的运动估计；接收终端根据运动估计的结果对M-1幅低分辨率图像进行调整；接收终端通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像可以包括：接收终端根据参考低分辨率图像和经过调整的M-1幅低分辨率图像，采用超分辨率复原方式得到分辨率与原始图像的分辨率相同的图像。通过进行这样的预处理，接收端能够把握发送终端所发送的低分辨率图像相对于选定的参考低分辨率图像的变形大小(例如，在x/y方向的位移量、旋转角度值等等)，从而将图片调整到和参考低分辨率图像相同的位置和/或旋转角度，保证了后续复原步骤的准确度。

优选地，在接收终端通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像的过程中，所采用的Huber边缘惩罚函数的判断阈值T通过以下方式确定：在|x_i，j-M_T|＜β的情况下，T＝第一阈值，否则，T＝第二阈值，其中，第一阈值＞第二阈值，x_i，j为参考低分辨率图像的第i行第j列像素的灰度值，M_T为第i行第j列像素的二阶邻域系统中所有像素灰度值的均值，β为预设阈值。在实际应用中，可以另第一阈值为64，第二阈值为32。

如上所述，相关技术中为了减小传输图像的尺寸多采用在原始分辨率基础上，对图像进行压缩，也就是说，压缩是基于原始分辨率图像的，而实际上，图像压缩同样适用于本实施例中的低分辨率图像，这样可以进一步地减小传输图像的大小，从而起到了更好的降低图像占用的网络资源的作用。因此，该方法中，在发送终端将M幅低分辨率图像发送至接收终端之前，还包括：发送终端对M幅低分辨率图像进行压缩；在接收终端通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像之前，还包括：接收终端对经压缩的M幅低分辨率图像进行解压。

以上超分辨率重建技术可以在通过算法的途径在终端上实现，在发送端对图像本身处理如对图像进行降采样、位移等操作，而在接收端，采用超分辨率技术对图像复原，则可在采用同样压缩技术条件下，达到图像资源传输中减少网络资源占用的目的。

优选地，超分辨率复原方式可以采用以下之一：空域超分辨率复原方式、频域超分辨率复原方式。

图2是根据本发明实施例的图像传输系统的结构框图，该系统包括发送终端22和接收终端24，其中，发送终端22包括：原始图像获取模块221，用于获取一幅原始图像；低分辨率图像获取模块222，用于根据原始图像获得M幅低分辨率图像，其中，M幅低分辨率图像中的每一幅的分辨率为原始图像的分辨率的N分之一，且M＜N；发送模块223，用于将M幅低分辨率图像发送至接收终端24；接收终端24包括：超分辨率复原模块241，用于通过超分辨率复原方式，根据M幅低分辨率图像复原原始图像。

图3是根据本发明实施例的低分辨率图像获取模块222的优选结构框图，如图3所示，该模块包括：变形模块2222，用于对原始图像进行变形；降采样模块2224，用于对变形后的图像进行降采样，得到分辨率为原始图像的分辨率的N分之一的低分辨率图像；控制模块2226，用于在已得到的低分辨率图像的数量小于M的情况下，调度变形模块2222。

图4是根据本发明实施例的图像传输系统的优选结构框图一，如图4所示，接收终端24还包括：运动估计模块242，用于以M幅低分辨率图像中的一幅作为参考低分辨率图像，对其他的M-1幅低分辨率图像进行相对于参考低分辨率图像的运动估计；调整模块243，用于根据运动估计的结果对M-1幅低分辨率图像进行调整；超分辨率复原模块241用于根据参考低分辨率图像和经过调整的M-1幅低分辨率图像，采用超分辨率复原方式得到分辨率与原始图像的分辨率相同的图像。

图5是根据本发明实施例的图像传输系统的优选结构框图二，如图5所示，发送终端22还包括：压缩模块224，用于对M幅低分辨率图像进行压缩；接收终端24还包括：解压模块244，用于对经压缩的M幅低分辨率图像进行解压。

以下描述的实施例1-3，综合了上述多个优选实施例的技术方案。以下描述的实施例1-3，基于图6所示的系统，包括发送端、网络和接收端，发送端通过网络向接收端发送图像。

实施例1

本实施例中描述的图像传输过程涉及到以下部分：

(1)作为发送终端的手机摄像装置或者摄像监控设备，其作用主要是或的初始图像资源，为E模块提供图像处理对象；

(2)作为接收端的手机，用于接受由网络传输来的图像，然后对图像进行(3)所述的解压缩操作；

(3)手机或网络现有的图像传输时采用的图像压缩解压缩技术，主要完成在发送端对图像进行压缩，在接收端对图像进行解压缩；

(4)图像传输介质网络，连接发送端和接收端，作为图像传输的中介；

(5)图像降采样、变形(移动旋转)的实现模块，主要是对发送端所获得的初始图像进行操作，以获得一序列低分辨率图像，例如，图像分辨率在坐标x、y方向上分别为原始图像的1/2；

(6)运动估计模块，在接收端对序列低分辨率图像，计算出相对于某一参考帧的位移值偏移量(在坐标x、y方向上，单位像素)和旋转的角度值(单位弧度)；

(7)由超分辨率复原算法实现的图像复原模块，对经过运动估计计算的图片，根据所获得的参数值，选取适当的超分辨率图像复原算法，重建初始分辨率大小的图像。

其中，(5)-(7)是涉及实现超分辨率图像复原技术的部分。

实施例2

本实施例基于实施例1所述的系统构成，描述了图像传输方法的详细处理过程，包括以下步骤：

第一步，首先在(1)模块，即作为发送终端的手机摄像装置或者摄像监控设备，获取初始图像资源(如一幅图片)；

第二步，然后由(5)模块，对图像进行变形(移动旋转)、降采样操作，获得序列低分辨率图像，因为受到摄像装置和环境或者说传感器光学因素的影响，序列低分辨率图像会存在模糊效果，当然，这也要看目前摄像设备本身获取图像的处理情况，另加上噪声存在，这些因素也是要在图像复原算法中要考虑的；

第三步，将获得序列图像通过(3)模块的操作，即进行图像压缩，再经由(4)模块，即网络，到达(2)模块，即作为接收端的手机终端；

第四步，对接收到的图像，由(3)模块进行图像解压缩操作，获得发送端处理好的序列低分辨率图像，再由(6)模块，对图像进行运动估计操作，以提供给(7)模块图像复原需要的输入内容。

实施例3

该实施例以一种具体的超分辨率复原方法为例，描述了图像传输方法的详细处理过程，包括以下步骤：

步骤1，从作为发送端的手机终端获得一幅图像，然后按照图7的方法，对该幅图像旋转和降采样运算，图7所示是实际是建立了一个由高分辨率到低分辨率图像的观测模型，考虑到是对已有图像的操作，接收端对图像进行复原操作，如果设在坐标系内每次旋转的角度为θ，位移量在坐标x、y方向上分别为x′、y′(旋转角度和位移量每次可以随机设置求取)，每隔一像素采样一次，即降采样系数为2，则经过此过程后获得的图像分辨率大小为原图像的1/4；如果要在接收端能够更好的复原图像，当然是如上方式获得的图像越多越好，按照实际情况看选取3帧即可，因为不难发现，每一幅低分辨率图像都是对同一个场景(即原始图像的内容)的获得，理论上提供超分辨率图像复原所需要的先验信息。则所获得的三帧低分辨率图像，在相同的压缩算法，是原图像大小的3/4，这一数值也正是降低图像传输占用网络资源的原因；

步骤2，将压缩的这三帧序列图像经由网络传输，在接收端，首先对图像解压缩。当获得了对同一场景的三帧图像后，设其分辨率为N×N。而最终的目的是要在接收端，从这三帧低分辨率图像序列中重建原图像。即复原出一幅分辨率为2N×2N的高分辨率图像(2是插值因子)。为了能将这三帧低分辨率图像中的不同亚像素信息作为先验知识在复原算法中应用，就需要运动估计，即通过搜索计算得到各帧图像间的运动位移矢量。如果采用基于光流的运动估计，则其实现基于的原理即为：假定连续时变图像为s_c(x，y，t)，x，y沿着运动轨迹随t变换，图像强度沿着运动轨迹保持不变，即条件

成立，若将该条件按偏微分展开有：

$\frac{\∂s_c(x,t)}{\∂x}{v}_1(x;t)+\frac{{\∂s}_c(x,t)}{\∂y}{v}_2(x;t)+\frac{{\∂s}_c(x,t)}{\∂t}=0$

上式称为光流约束方程。对光流计算提出的附加约束：

${\mathrm{\ϵ}}_{\mathrm{sm}}\left(v\right)=({\left(\frac{{\∂v}_1}{\∂x}\right)}^2+{\left(\frac{{\∂v}_1}{\∂y}\right)}^2+{\left(\frac{\∂v_2}{\∂x}\right)}^2+{\left(\frac{\∂v_2}{\∂y}\right)}^2)\→\min$

同时光流方程自身约束也将满足：

${\mathrm{\ϵ}}_{\mathrm{of}}\left(v\right)={(v_1\left(x\right)\frac{\∂s_c}{\∂x}+v_2\left(x\right)\frac{\∂s_c}{\∂y}+\frac{\∂s_c}{\∂t})}^2\→\min$

这样，根据上述两式，光流计算归结于求如下式的变分问题的解：

$\underset{v(x,t)}{\min }\underset{\mathrm{\Ω}}{\∫}({\mathrm{\ϵ}}_{\mathrm{of}}\left(v\right)+{\mathrm{\λ\ϵ}}_{\mathrm{sm}}\left(v\right))\mathrm{dx}$

从而可以通过算法推导实现求解。运动估计为图像的复原提供了必要的关于各帧图像间相对位移的输入信息。从而可以通过算法推导实现求解。运动估计为图像的复原提供了必要的关于各帧图像间相对位移的输入信息。比如对于参考帧M，则之后的图像帧M_i，对应参考帧中匹配的对应像素，位移为(x′，y′)，则复原算法中需要要相对于参考帧图像，向相反方向位移(-x′，-y′)，从而得到对应的M′_i，这为图像复原提供了共同场景的图像序列。

步骤3，图8是根据实施例3的在接收端进行超分辨率复原的方法的流程图，在接收端需要实现图像的超分辨率重建，关于重建算法有空域和频域两种，我们这里采用最大后验概率算法，它属于空域算法中的一种，该算法优势在于能够充分的利用图像的先验信息，根据已知的低分辨率图像序列求出能够使高分辨率图像的后验概率达到最大的解。该算法是基于数学上的贝叶斯原理：高分辨率图像的后验概率等价于两项之积：一个是在已知理想高分辨率图像的前提下，低分辨率图像序列出现的条件概率；另一个是理想高分辨率图像的先验概率。而这两项乘积的数学意义为假设给定观测数据y，要找到高分辨率图像x的估计值

并且使其满足后验概率P{x|y}的值为极大值，可表达为：

$\hat{x}=\underset{z}{\arg \max }\left[P\left(x\right|y)\right]\≅\arg \max \left[P\left(y\right|x)P\left(x\right)\right]$

就是所要获得的高分辨率图像。如果对上式等式右边求对数，并取观测值yⁱL，平移或旋转适当角度为

其中条件概率模型为： $P\left(y^i\right|x)=\frac{1}{{\left({2\mathrm{\π\δ}}^2\right)}^{\frac{N_1{N}_2}{2}}}\exp \{-\frac{1}{2{\mathrm{\δ}}^2}||y^i-\mathrm{Ax}|\left|\right\}$

A表示运动、模糊和下采样过程，该式表示的特点是均值为零、方差相同为σ²，也即它是服从独立同分布的零均值的高斯随机变量，N₁和N₂分别为图像的长和宽，||○||是一个欧几里德二范数。

先验概率模型为： $P\left(x\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{N_1{N}_2}{2}}{\left|C\right|}^{\frac{1}{2}}}\exp (-\frac{1}{\mathrm{\λ}}\underset{c\∈C}{\mathrm{\Σ}}{x}^t{d}_c{d^t}_{c}x)$

c即为随机场中表示局部的一群像素的簇，C表示所有的簇的集合。d_c表示簇c的系数向量。从物理意义上来说，它表示了图像某一块中像素点之间的关系，因此，先验约束的引入即为通过对它的设置而完成的。图像复原是一个病态(或非适定)问题的求逆过程，且在这个过程中为受噪声的影响，为了更好的处理这种情况，需要采用平滑约束法。其思想为：设置d_c使得d^t _cx为期望图像的平滑性测度，也可称为空域活动性测度，也就是说这个测度越大(越不平滑)，复原图像的概率越小，这样使得复原结果的高频分量得到有效的抑制。

为了能够保留图像边缘信息，可以利用Huber所提出的一个新函数，称为Huber边缘惩罚函数：

$\mathrm{\ρ}({d^t}_{c}x,T)=\left\{\begin{array}{cc}{\left({d^t}_{c}x\right)}^2,& \left|{d^t}_{c}x\right|\≤T\\ T^2+2T\left(\right|{d^t}_{c}x|-T),& \left|{d^t}_c\right|>T\end{array}\right.$

可以看出，这种函数保留了凸集特性。关于T的取值方法，可以对对像素x_i，j的二阶邻域系统所有像素灰度值取均值，即令：

$M_T=\frac{1}{9}\underset{k=i-1}{\overset{i+1}{\mathrm{\Σ}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\Σ}}}{x}_{k,l}$

则阈值T的取值规则可表示为：

式中，β为某一预先设定值如可设为噪声标准方差的估计。如果x_i，j与M_T之差的绝对值大于β，则有理由认为该像素点属于图像边缘，此时将T取较小值，由线性函数进行对该像素点计算；相反情况，则T取较大值，由Huber函数中二次函数对像素点处理。从而因T值不同而控制Huber函数边缘惩罚的区域，更好地保护图像的细节。分别将条件概率模型和先验概率模型带入，即可经过迭代求得MAP估计问题的最优解。这一求解，算法是可实现的。

这里采用线性迭代算法，具体描述为：对接收端的三帧大小N×N为低分辨率序列图像，设第i帧yⁱL为参考帧，也即迭代初始估计，则目标为复原该图像为高分辨率x_H。首先是对该参考帧图像yⁱL进行双线性插值，内插因子为2，得到大小为2N×2N的一帧高分辨率图像x_H(0)，以它作为迭代初始估计值。整个算法可以看作是分内外两层的循环迭代过程，外层用来交替更新序列图像，内层可以采用最速下降迭代算法，实现调整图像像素灰度值，实现对图像的优化。在迭代结束后会重新开始对下一帧图像进行如此的处理，就意味着参考帧图像与当前帧图像的比较已经完成。这个过程中，当前帧对参考帧图像的复原提供了如下信息：两帧间的运动位移量，当前帧已知的作为先验信息。

而作为具体的迭代过程，设x_H(k)为第k次迭代图像，则存在如下关系：x_H(k+1)＝x_H(k)-λ_(k)d_(k)，其中-d_(k)表示目标函数M(x_(H))负梯度向量，λ_(k)表示沿着梯度向量的步长。即梯度最速下降法的实现过程为：

将x_H(k)沿梯度的相反方向即

移动，得到x_H(k+1)，其中代表梯度运算符；

图9是根据实施例3的超分辨图像复原算法最速下降法优化原理的示意图。如图9所示，分三种情况，一是如果M(x_H(k+1))＜threshold，其中threashold是一个预先设定的阈值，那么算法结束；二是如果M(x_H(k+1))＞M(x_(H))，表示x_H(k)已经是最优解，算法结束；三是如果上述两种情况都不成立，则进入下一轮的实现，转1继续。

通过这样的算法，最终在接收端复原出原分辨率大小的图像，且不失分辨率。作为扫尾工作，需要在接收端将解压缩出的三帧低分辨率图像删除，以节省出作为接收端的手机终端的存储空间。

从以上的描述中，可以看出，以上方案中使用终端利用超分辨率复原技术的方法，利用序列低分辨率图像传输，与现有只采用图像压缩然后进行网络传输技术相比，取得了在单纯图像压缩基础上进一步减少传输图像网络资源占用率进步，节省了手机用户图像资源传输时的资源从而节省了用户网络流量的费用，并且在现有的硬件平台基础上利用超分辨率图像复原算法，即从数据软件处理角度，对图像处理，在不提高系统的硬件成本的条件下，可行性也较好。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种图像传输方法，其特征在于，包括：

发送终端获取一幅原始图像，根据所述原始图像获得M幅低分辨率图像，其中，所述M幅低分辨率图像中的每一幅的分辨率为所述原始图像的分辨率的N分之一，且M＜N；

所述发送终端将所述M幅低分辨率图像发送至接收终端；

所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像。

2.根据权利要求1所述的方法，其特征在于，所述M幅低分辨率图像中的每一幅低分辨率图像通过以下方式获得：

所述发送终端对所述原始图像进行变形；

所述发送终端对所述变形后的图像进行降采样，得到分辨率为所述原始图像的分辨率的N分之一的低分辨率图像。

3.根据权利要求2所述的方法，其特征在于，所述变形包括以下至少之一：在二维方向上平移、在二维方向上旋转。

4.根据权利要求2所述的方法，其特征在于，

在所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像之前，还包括：所述接收终端以所述M幅低分辨率图像中的一幅作为参考低分辨率图像，对其他的M-1幅低分辨率图像进行相对于所述参考低分辨率图像的运动估计；所述接收终端根据所述运动估计的结果对所述M-1幅低分辨率图像进行调整；

所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像包括：所述接收终端根据所述参考低分辨率图像和经过调整的所述M-1幅低分辨率图像，采用超分辨率复原方式得到分辨率与所述原始图像的分辨率相同的图像。

5.根据权利要求4所述的方法，其特征在于，在所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像的过程中，所采用的Huber边缘惩罚函数的判断阈值T通过以下方式确定：

在|x_i，j-M_T|＜β的情况下，T＝第一阈值，否则，T＝第二阈值，其中，所述第一阈值＞所述第二阈值，x_i，j为所述参考低分辨率图像的第i行第j列像素的灰度值，M_T为第i行第j列像素的二阶邻域系统所有像素灰度值的均值，β为预设阈值，i和j为正整数。

6.根据权利要求5所述的方法，其特征在于，所述第一阈值为64，所述第二阈值为32。

7.根据权利要求1所述的方法，其特征在于，所述超分辨率复原方式包括以下之一：空域超分辨率复原方式、频域超分辨率复原方式。

8.根据权利要求1至7中任一项所述的方法，其特征在于，

在所述发送终端将所述M幅低分辨率图像发送至接收终端之前，还包括：所述发送终端对所述M幅低分辨率图像进行压缩；

在所述接收终端通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像之前，还包括：所述接收终端对经压缩的M幅低分辨率图像进行解压。

9.一种图像传输系统，其特征在于，包括发送终端和接收终端，其中，

所述发送终端包括：

原始图像获取模块，用于获取一幅原始图像；

低分辨率图像获取模块，用于根据所述原始图像获得M幅低分辨率图像，其中，所述M幅低分辨率图像中的每一幅的分辨率为所述原始图像的分辨率的N分之一，且M＜N；

发送模块，用于将所述M幅低分辨率图像发送至接收终端；

所述接收终端包括：

超分辨率复原模块，用于通过超分辨率复原方式，根据所述M幅低分辨率图像复原原始图像。

10.根据权利要求9所述的系统，其特征在于，所述低分辨率图像获取模块包括：

变形模块，用于对所述原始图像进行变形；

降采样模块，用于对所述变形后的图像进行降采样，得到分辨率为所述原始图像的分辨率的N分之一的低分辨率图像；

控制模块，用于在已得到的低分辨率图像的数量小于M的情况下，调度所述变形模块。

11.根据权利要求9所述的系统，其特征在于，

所述接收终端还包括：运动估计模块，用于以所述M幅低分辨率图像中的一幅作为参考低分辨率图像，对其他的M-1幅低分辨率图像进行相对于所述参考低分辨率图像的运动估计；调整模块，用于根据所述运动估计的结果对所述M-1幅低分辨率图像进行调整；

超分辨率复原模块用于根据所述参考低分辨率图像和经过调整的所述M-1幅低分辨率图像，采用超分辨率复原方式得到分辨率与所述原始图像的分辨率相同的图像。

12.根据权利要求9至11中任一项所述的系统，其特征在于，

所述发送终端还包括：

压缩模块，用于对所述M幅低分辨率图像进行压缩；

所述接收终端还包括：

解压模块，用于对经压缩的M幅低分辨率图像进行解压。

Images