CN104144313B - 视频通信方法、系统与云端图像服务器 - Google Patents

Abstract

本发明公开了一种视频通信方法、系统与云端图像服务器。该方法包括：视频通信模块接收视频通话发送端的用户终端发送的低分辨率的视频数据；视频通信模块将低分辨率的视频数据发送给云端图像服务器；云端图像服务器从低分辨率的视频数据中提取低分辨率关键图像帧，根据发送端的用户所对应的图像超完备字典，通过图像超分辨重建处理操作，获得高分辨率关键图像帧；对高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，通过视频通信模块视频通话另一端用户终端。本发明提供的技术方案，在低带宽上传网络环境下，能够实现具有高清晰度画面的视频通信。

Description

视频通信方法、系统与云端图像服务器

技术领域

本发明涉及通信领域，特别涉及一种视频通信方法、系统与云端图像服务器。

背景技术

近年来，随着网络带宽的快速提升以及硬件设备的发展，视频通信终端已经不再局限于个人电脑（PC）。用于视频通信的设备包括各种类型的终端，例如，手机、电话、监控系统等设备都能够实现视频通话，从而拓展了视频通信的应用范围。尤其在移动通信技术发展到第三代（The Third Generation，3G）、4G的今天，传统的语音通话的功能已经被弱化，视频通话业务逐渐变为主流业务。

虽然用户可以与通信对方通过视频通信，“面对面”地聊天或者录下一段影像传送给对方，但是，由于视频通信过程需要占用大量带宽，使得视频通信的质量受到了网络带宽的限制。

例如，在移动通信中，受到3G网络通信带宽的限制，3G手机用户目前视频通话采用的通常是最低端的30万象素手机前摄像头，导致画面比较模糊，对方在视频通信中无法获得较高清晰度的视频图像。如果3G信号较低时或被干扰时，画面还会出现雪花、干扰线。

在固网通信中，以ADSL为例，由于上下行带宽不对称的限制，用户的上传带宽大大小于下载带宽，例如，用户的网络具有4Mbps下行带宽，却只有512Kbps的上行带宽，虽然用户A和用户B之间都有4Mbps下载带宽，但是，由于双方之间的视频通信质量最多只能达到512Kbps的上传带宽，从而限制了视频通话业务用户之间点对点的高清视频通信。

由此可见，目前在低带宽上传网络环境下，无法实现高清晰度画面的视频通信。

发明内容

根据本发明实施例的一个方面，所要解决的一个技术问题是：提供一种视频通信方法、系统与云端图像服务器，以在低带宽上传网络环境下，实现具有高清晰度画面的视频通信。

本发明实施例提供的一种视频通信方法，所述方法包括：

视频通信模块接收视频通话发送端的用户终端发送的视频通话数据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；

所述视频通信模块将所述低分辨率的视频数据发送给云端图像服务器；

所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧；

所述云端图像服务器根据所述发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧；

所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信模块；

所述视频通信模块根据视频通话接收端用户终端的标识，将所述高分辨率视频图像序列发送给视频通话另一端用户终端。

优选地，所述方法还包括：

所述云端图像服务器接收发送端的用户终端上传的发送端用户的高分辨率图像；

所述云端图像服务器根据预定的低分辨，对所述高分辨率图像进行下采样，得到低分辨率图像；

所述云端图像服务器分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；

所述云端图像服务器根据所述高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩阵。

优选地，所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧，具体包括：

计算所述视频数据中每帧视频图像f的运动度量M（f），所述基于运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；

将所述运动度量M（f）作为时间t函数，获得两个运动度量的局部极大值；

在所述两个运动度量的局部极大值之间，取得运动度量M（f）局部极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。

优选地，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧，具体包括：

获得低分辨率关键图像帧图像块的特征向量表示；

根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示；

根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像块；

将所述高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。

优选地，所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，具体包括：

针对所述高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；

根据所述影响比例，在所述高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。

本发明实施例提供的一种云端图像服务器，所述服务器包括：

关键图像帧提取单元，用于从所述低分辨率的视频数据中提取低分辨率关键图像帧；

超分辨率重建处理单元，根据所述发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧；

插值单元，用于对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信模块。

优选地，所述服务器还包括：

接收单元，用于接收发送端的用户终端上传的发送端用户的高分辨率图像；

下采用单元，用于根据预定的低分辨，对所述高分辨率图像进行下采样，得到低分辨率图像；

特征矩阵提取单元，用于分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；

字典获取单元，用于根据所述高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩阵。

优选地，所述关键图像帧提取单元，具体用于计算所述视频数据中每帧视频图像f的运动度量M（f），所述基于运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；将所述运动度量M（f）作为时间t函数，获得两个运动度量的局部极大值；在所述两个运动度量的局部极大值之间，取得运动度量M（f）局部极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。

优选地，所述超分辨率重建处理单元，具体用于获得低分辨率关键图像帧图像块的特征向量表示；根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示；根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像块；将所述高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。

优选地，所述插值单元，具体用于针对所述高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；根据所述影响比例，在所述高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。

本发明实施例提供的一种视频通信系统，所述系统包括：

上述任意一种云端图像服务器实施例中提供的云端图像服务器；

视频通信模块，用于接收视频通话发送端的用户终端发送的视频通话数据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；将所述低分辨率的视频数据发送给云端图像服务器；根据视频通话接收端用户终端的标识，将云端图像服务器返回的高分辨率视频图像序列发送给视频通话另一端用户终端。

基于本发明上述实施例提供的视频通信方法、系统与云端图像服务器，视频通信模块将低分辨率的视频数据发送给云端图像服务器；云端图像服务器根据用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得高分辨率关键图像帧，从而从模糊的视频图像中恢复出质量较高的视频图像，对高分辨率关键图像帧进行帧间插值处理操作，使得通话另一端用户终端获得连续的高分辨率视频图像序列。本发明提供的技术方案，由于发送方只需要上传低分辨率的视频数据，而使得对方能够接收到高分辨率的视频数据，从而在低带宽上传网络环境下，能够实现具有高清晰度画面的视频通信，提高视频通信的用户体验。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1示出本发明所提供的视频通信方法一种实施例的流程示意图；

图2示出本发明所提供的视频通信方法一种实施例中获得图像超完备字典的流程示意图；

图3示出本发明所提供的视频通信方法一种实施例中提取低分辨率关键图像帧的流程示意图；

图4示出本发明所提供的视频通信方法一种实施例中图像超分辨率重建处理操作的流程示意图；

图5示出本发明所提供的视频通信方法一种实施例中帧间插值处理操作的流程示意图；

图6示出本发明所提供的云端图像服务器一种实施例的结构示意图；

图7示出本发明所提供的云端图像服务器一种实施例的结构示意图；

图8示出本发明所提供的视频通信系统一种实施例的结构示意图；

图9示出现有技术中普通视频通信方式的系统架构示意图；

图10示出本发明提供的基于云端图像服务器的图像超分辨率视频通信方式的系统架构示意图；

图11示出本发明提供的基于云端图像服务器的图像超分辨率视频通信方式的另一系统架构示意；

图12是示出本发明提供的基于云端图像服务器的图像超分辨率视频通信方式的另一系统架构示意。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

参见图1所示，图1示出本发明所提供的视频通信方法一种实施例的流程示意图。该实施例提供的视频通信方法包括以下操作：

101，视频通信模块接收视频通话发送端的用户终端发送的视频通话数据，视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；

102，视频通信模块将低分辨率的视频数据发送给云端图像服务器；

103，云端图像服务器从低分辨率的视频数据中提取低分辨率关键图像帧；

104，云端图像服务器根据发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得低分辨率关键图像帧对应的高分辨率关键图像帧；

105，云端图像服务器对高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给视频通信模块；

106，视频通信模块根据视频通话接收端用户终端的标识，将高分辨率视频图像序列发送给视频通话另一端用户终端。

本发明上述实施例提供的视频通信方法中，视频通信模块将低分辨率的视频数据发送给云端图像服务器；云端图像服务器根据用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，从模糊的视频图像中恢复出质量较高的高分辨率关键图像帧，对高分辨率关键图像帧进行帧间插值处理操作，使得通话另一端用户终端获得连续的高分辨率视频图像序列。由于发送方只需要上传低分辨率的视频数据，而使得对方能够接收到高分辨率的视频数据，从而在低带宽上传网络环境下，能够实现具有高清晰度画面的视频通信，提高视频通信的用户体验。

举例来说，发送端的用户终端发送的视频通话数据包含480P标准的低分辨率画面，云端图像服务器根据发送端的用户所对应的图像超完备字典，获得720P或者更高的如1080P的高分辨率画面的视频图像序列，从而，使得另一端能够获得高清视频图像。

参见图2所示，图2示出本发明所提供的视频通信方法一种实施例中获得图像超完备字典的流程示意图。根据本发明方法实施例的一个具体示例，该方法还可以先获得用户所对应的图像超完备字典。对于一个用户可以仅建立一次图像超完备字典，在之后的通信中可以重复利用该图像超完备字典。

通过对高、低分辨率图像进行学习训练得到图像超完备字典。图像超完备字典将被作为低分辨率视频通信图像超分辨率重建的基础。具体地，得到图像超完备字典的方法可以包括：

201，云端图像服务器接收发送端的用户终端上传的发送端用户的高分辨率图像。例如，发送端的用户终端向云端图像服务器上传多张发送端用户的高清头像或高清多角度半身像。

用户在上传高清图像数据后，用户可以通过参数设置自由选择使用原始图像或者多种分辨率的高清图像。预定的低分辨可以是发送端用户所选择或者预先设定的视频通话图像分辨率。

接下来，云端图像服务器利用高清图像及预定的低分辨参数进行超完备字典的建立。

202，云端图像服务器根据预定的低分辨，对高分辨率图像进行下采样，得到低分辨率图像。可以通过双线性三次插值的方法，对高分辨率图像下采样得到用户设定的低分辨图像。通过该方法，综合了采样效果和采样效率的性能，在不会出现边缘和细节严重丢失的前提下保证一定的处理速度。

203，云端图像服务器分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵。

对于高分辨率图像，可以提取预定大小的图像块，将每一个提取图像块转成一个m维列向量，这些m维的列向量就构成了高分辨率图像的高分辨率特征矩阵。

对于低分辨率图像，对每一张低分辨率图像可以进行4次滤波，得到四个不同方向的4种梯度特征，提取一定大小的图像块，可以采用LBP方法从低分辨率图像中提取纹理特征提取纹理特征，将这些特征信息转换成n维的列向量，并将其并入低分辨率图像的特征数据矩阵中，获得低分辨率特征矩阵，其中，高、低分辨率图像的特征值矩阵存在着一定的对应关系。

204，云端图像服务器根据高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵Ah、低分辨率稀疏矩阵Al，用户终端的用户所对应的图像超完备字典包含高分辨率稀疏矩阵Ah、低分辨率稀疏矩阵Al。

上述204操作通过联合学习训练，获得将低分辨率图像块与高分辨图像块进行对应的索引。获得稀疏编码的目的是通过以高、低分辨率特征矩阵的特征向量作为样本，对样本进行学习以估计稀疏字典，并且将高分辨图特征块和低分辨率图像特征块统一到稀疏字典中，使它们具有相同的稀疏表示。目标函数可以为：

其中，Al是通过特征矩阵训练得到的低分辨率稀疏矩阵，即低分辨率图像块词典，Ah是与之对应的高分辨率稀疏矩阵，即高分辨率图像块词典；αi是同时满足xi在词典和yi在词典下的稀疏表示，λ表示调整系数；xi、yi分别对应低分辨率、高分辨率特征矩阵中的特征向量。将上式重写成：

其中， 使用K-SVD算法求解该目标函数。即，通过输入高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率图像块词典Ah，低分辨率图像块词典Ah，及成组特征向量在两个字典下的共同的稀疏表示αi。

参见图3所示，图3示出本发明所提供的视频通信方法一种实施例中提取低分辨率关键图像帧的流程示意图。该实施例中，云端图像服务器从低分辨率的视频数据中提取低分辨率关键图像帧，具体包括：

301，计算视频数据中每帧视频图像f的运动度量M（f），基于运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和。在301中，运动度量M（f）为每帧图像的光流，可以利用Horn和Schunck提出的方法计算光流。

302，将运动度量M（f）作为时间t函数，获得两个运动度量的局部极大值；找到两个局部极大值之间满足预定的条件，例如，M(f)在两个局部极大值处对应的值至少变化了N%，可以设定N％为20%。

303，在两个运动度量的局部极大值之间，取得运动度量M（f）局部极小值，局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。确定运动度量M(f)的局部最小值，通过观察该值随着视频帧t的变化曲线来得到局部最小值。

通过上述方法计算每帧图像的光流，基于光流计算运动度量；然后将该运动度量作为时间函数，分析运动的取值情况，将运动极小值处对应的视频帧作为关键帧。

参见图4所示，图4示出本发明所提供的视频通信方法一种实施例中图像超分辨率重建处理操作的流程示意图。该实施例中，通过图像超分辨率重建处理操作，获得低分辨率关键图像帧对应的高分辨率关键图像帧，具体包括：

401，获得低分辨率关键图像帧图像块的特征向量表示，即低分辨率关键图像帧图像块的特征向量矩阵，可以采用203操作中类似的方法来获得；

402，根据低分辨率稀疏矩阵Al，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示αi；

403，根据高分辨率稀疏矩阵Ah和稀疏表示αi，获得高分辨率关键图像帧图像块；

404，将高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。例如，低分辨关键图像帧图像块的中心点为x=10，y=20，基于该图像帧获得的高分辨率关键图像帧图像块在高分辨率关键图像帧的中心点仍然为x=10，y=20。

通过对低分辨率关键图像帧的图像块进行超分辨率重建处理，获得高分辨率关键图像帧。

参见图5所示，图5示出本发明所提供的视频通信方法一种实施例中帧间插值处理操作的流程示意图。该实施例中，云端图像服务器对高分辨率关键图像帧进行帧间插值处理操作，具体包括：

501，针对高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；可以根据连续高分辨率关键图像帧中特征点的光流速度，决定需要填补的空白帧数量，例如，在关键帧N和M中需要填补的帧数为T，那么对于第N+1帧，第N对第N+1帧的影响要大于第M对第N+1帧的影响。

502，根据影响比例，在高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。通过构造连续关键帧中的特征点的对应关系，计算出特征点间的直线距离，由于影响比例控制着当前插补帧中特征点与前一关键帧相比较所发生的位移距离，因此，根据影响比例，能够在高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。

通过上述双线性插值方法进行帧间插值，使得图像帧之间过渡自然，整体画面连贯清晰。

上述实施例中，对于本领域技术人员所公知的有关图像超分辨率重建技术的具体实现方式，这里不再赘述。

参见图6所示，图6示出本发明所提供的云端图像服务器一种实施例的结构示意图。该实施例提供的云端图像服务器包括：

关键图像帧提取单元601，用于从低分辨率的视频数据中提取低分辨率关键图像帧。关键图像帧提取单元601，具体用于计算视频数据中每帧视频图像f的运动度量M（f），基于运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；将运动度量M（f）作为时间t函数，获得两个运动度量的局部极大值；在两个运动度量的局部极大值之间，取得运动度量M（f）局部极小值，局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。

超分辨重建处理单元602，根据发送端的用户所对应的图像超完备字典，通过图像超分辨重建处理操作，获得低分辨率关键图像帧对应的高分辨率关键图像帧。

具体地，超分辨重建处理单元602用于获得低分辨率关键图像帧图像块的特征向量表示；根据低分辨率稀疏矩阵Al，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示αi；根据高分辨率稀疏矩阵Ah和稀疏表示αi，获得高分辨率关键图像帧图像块；将高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。

插值单元603，用于对高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给视频通信模块。插值单元603具体用于针对高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；根据影响比例，在高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。

参见图7所示，图7示出本发明所提供的云端图像服务器一种实施例的结构示意图。该实施例中的相对于图6所增加的单元，具体用于获得用户所对应的图像超完备字典。具体地，该服务器还包括：

接收单元701，用于接收发送端的用户终端上传的发送端用户的高分辨率图像；

下采用单元702，用于根据预定的低分辨，对高清图像进行下采样，得到低分辨率图像；

特征矩阵提取单元703，用于分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；

字典获取单元704，用于根据高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵Ah、低分辨率稀疏矩阵Al，用户终端的用户所对应的图像超完备字典包含高分辨率稀疏矩阵Ah、低分辨率稀疏矩阵Al。

图像超分辨重建处理操作从低分辨率图像或图像序列恢复出高分辨率图像。该过程可能需要占用较多的计算资源，为提高这种图像的处理速度，满足视频通话的时效性要求，云端图像服务器可以通过云计算来实现。云计算利用分布在各处的分散的计算资源整合成较大的计算资源，以统计的界面提供给任务使用。云端图像服务器可以基于云计算，将分散在各处的零散资源集中，获得整块计算资源。云端图像服务器可以基于开发的云计算平台来实现。例如，AbiCloud，Hadoop，Eucalyptus项目，MongoDB，Enomalism弹性计算平台和Nimbus（即网格中间件Globus），也可以利用微软公司提出的Azure服务平台来实现。

通过云端图像服务器使用云计算资源，从而能够获得可动态伸缩的廉价计算服务，并且可以随时按需使用、扩展，或者按使用付费。可以通过浏览器或其他web服务访问的方式来实现云端图像服务器获取云计算资源，从而为图像超分辨率技术在视频通话中的应用提供了一种实现方式。

参见图8所示，图8示出本发明所提供的视频通信系统一种实施例的结构示意图。该实施例提供的视频通信系统包括：

上述云端图像服务器实施例中的任意一种云端图像服务器801；

视频通信模块802，用于接收视频通话发送端的用户终端发送的视频通话数据，视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；将低分辨率的视频数据发送给云端图像服务器；根据视频通话接收端用户终端的标识，将云端图像服务器返回的高分辨率视频图像序列发送给视频通话另一端用户终端。

为更好地说明本发明所提供的技术方案。下面对比图9进行说明，图9示出现有技术中普通视频通信方式的系统架构示意图。用户A的通信终端获取低分辨率摄像头数据，通过网络将视频数据传输给用户B的通信终端进行显示，由于在网络传输过程中受上传带宽原因限制，用户A与用户B只能通过低分辨率视频数据进行视频通信，视频通话质量低。

图10示出本发明提供的基于云端图像服务器的图像超分辨率视频通信方式的系统架构示意图。用户A与用户B能够上传低分辨率视频数据，接收方能够获得高分辨率视频数据。

基于图10，图11具体示出本发明提供的基于云端图像服务器的图像超分辨率视频通信方式的另一系统架构示意。图11基于无线通信环境，包括具有移动视频通信功能的移动终端A、B作为视频通信客户端，用户A、B通过无线网络环境通信环境，以及云端图像服务器、视频通信模块进行视频通信。移动终端可以上传低分辨率视频数据，通过本发明的提供的系统，另一端移动终端下载高分辨率视频数据，从而能够播放清晰的画质。

基于图10，图12是示出本发明提供的基于云端图像服务器的图像超分辨率视频通信方式的另一系统架构示意。图12基于固网通信环境，包括具有视频通信功能的个人电脑PC A、B作为视频通信客户端，用户A、B双方通过固定网络通信环境云端，以及云端图像服务器、视频通信模块进行视频通信。固定网络以ADSL为例，ADSL上下行带宽不对称，用户的上传带宽大大小于下载带宽。对于这种非对等网络，发送端客户端获取模糊画质的低分辨率视频图像，将其上传云端图像服务器处理，由于低分辨率图像数据量较小，所需的传输带宽也较小，因而不会受到上传带宽较小的限制。通信另一端下载处理获得的高分辨率清晰图像，在客户终端上进行播放，高分辨率图像所需要的传输带宽较大，充分利用了下载带宽优势。可见，本发明提供的方案对于非对等网络具有很好的适用性。

综上所述，通过本发明提供的视频通信方法、系统与云端图像服务器，具有以下优点：

1.解决上传带宽的限制，接收端能够获得高清视频通信图像，改善视频通信的图像质量，提高用户体验；

2.利用互联网云端的超强计算能力，将通话视频的图像超分辨率处理过程移到云端图像服务器集群中，节省了计算处理周期，降低了通信双方终端的硬件要求。使用云端强大的计算资源，还优化图像处理速度；

3.特别适用于上传速度小于下载速度的非对等网络。

至此，已经详细描述了根据本发明的一种视频通信方法、系统与云端图像服务器。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统与云端图像服务器实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的视频通信方法、系统与云端图像服务器。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的视频通信方法、系统与云端图像服务器。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (11)

1.一种视频通信方法，其特征在于，所述方法包括：

视频通信模块接收视频通话发送端的用户终端发送的视频通话数据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；

所述视频通信模块将所述低分辨率的视频数据发送给云端图像服务器；

所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧；

所述云端图像服务器根据所述发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧，其中，所述用户所对应的图像超完备字典为根据用户上传的高分辨率图像训练生成；

所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信模块；

所述视频通信模块根据视频通话接收端用户终端的标识，将所述高分辨率视频图像序列发送给视频通话另一端用户终端。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述云端图像服务器接收发送端的用户终端上传的发送端用户的高分辨率图像；

所述云端图像服务器根据预定的低分辨，对所述高分辨率图像进行下采样，得到低分辨率图像；

所述云端图像服务器分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；

所述云端图像服务器根据所述高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩阵。

3.根据权利要求2所述的方法，其特征在于，所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧，具体包括：

计算所述视频数据中每帧视频图像f的运动度量M(f)，所述运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；

将所述运动度量M(f)作为时间t函数，获得两个运动度量的局部极大值；

在所述两个运动度量的局部极大值之间，取得运动度量M(f)局部极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。

4.根据权利要求3所述的方法，其特征在于，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧，具体包括：

获得低分辨率关键图像帧图像块的特征向量表示；

根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示；

根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像块；

将所述高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。

5.根据权利要求4所述的方法，其特征在于，所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，具体包括：

针对所述高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；

根据所述影响比例，在所述高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。

6.一种云端图像服务器，其特征在于，所述服务器包括：

关键图像帧提取单元，用于从低分辨率的视频数据中提取低分辨率关键图像帧；

超分辨率重建处理单元，根据发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧，其中，所述用户所对应的图像超完备字典为根据用户上传的高分辨率图像训练生成；

插值单元，用于对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给视频通信模块。

7.根据权利要求6所述的服务器，其特征在于，所述服务器还包括：

接收单元，用于接收发送端的用户终端上传的发送端用户的高分辨率图像；

下采用单元，用于根据预定的低分辨，对所述高分辨率图像进行下采样，得到低分辨率图像；

特征矩阵提取单元，用于分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；

字典获取单元，用于根据所述高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩阵。

8.根据权利要求7所述的服务器，其特征在于，所述关键图像帧提取单元，具体用于计算所述视频数据中每帧视频图像f的运动度量M(f)，所述运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；将所述运动度量M(f)作为时间t函数，获得两个运动度量的局部极大值；在所述两个运动度量的局部极大值之间，取得运动度量M(f)局部极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。

9.根据权利要求8所述的服务器，其特征在于，所述超分辨率重建处理单元，具体用于获得低分辨率关键图像帧图像块的特征向量表示；根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示；根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像块；将所述高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。

10.根据权利要求9所述的服务器，其特征在于，所述插值单元，具体用于针对所述高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；根据所述影响比例，在所述高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。

11.一种视频通信系统，其特征在于，所述系统包括：

根据权利要求6至10任意一项所述的云端图像服务器；

视频通信模块，用于接收视频通话发送端的用户终端发送的视频通话数据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；将所述低分辨率的视频数据发送给云端图像服务器；根据视频通话接收端用户终端的标识，将云端图像服务器返回的高分辨率视频图像序列发送给视频通话另一端用户终端。