CN104685840A - 用于传输图像信息的方法和分组通信系统 - Google Patents

Abstract

将图像信息从传输节点传输为具有满足关系q₁<q₂<...<q_m的数据量(q₁,q₂,...,q_m)的分组(P₁,P₂,...,P_m)。接收节点基于分组(P₁,P₂,...,P_m)的延迟时间(t₁,t₂,...,t_m)，选择分组中的一个。

Description

用于传输图像信息的方法和分组通信系统

技术领域

本发明涉及通过使用分组通信，传输图像信息。具体地，本发明涉及通过使用经至少部分包括无线通信部，诸如无线通信网络的数据通信网络的分组通信，传输图像信息。

背景技术

当经分组通信网络编码和传输图像信息时，取决于分组通信网络的通信量拥塞状况，在一些情况下，发生分组延迟。特别地，在移动通信，诸如移动电话通信的情况下，取决于终端的位置和时间，其通信量拥塞状况大大地改变。

因此，当在通信前，假定通信量拥塞状况并且预先确定在所假定的拥塞状况下，对应于可用带宽的数据速率，以及编码和分组图像信息以便以确定的数据速率传输时，不一定实现适合于准确通信量拥塞状况的比特率。当实际通信量比假定的通信量更拥塞时，分组延迟发生，由此恶化实时特性。相反，当实际通信量比假定通信量更不拥塞时，因此，错过无延迟地在该实际通信量状况下，以能传输数据的高比特率传输的机会。

近年来，特别在公司等等中，使用“瘦客户端”开始变得普及以便确保高级安全性。该瘦客户端是从终端操作服务器上的虚拟客户端的技术，就像操作实际终端一样，并且通过使用客户端来运行应用以生成画面信息，以及将画面信息传送到终端以便在终端的屏幕上显示。瘦客户端的优点在于因为无数据保留在终端上，即使当终端丢失时，也不必担心向外泄露保密信息、公司信息等等。

现有技术文献

专利文档

专利文献1：JP-A-2011-193357

发明内容

技术问题

在一些瘦客户端系统中，通过在终端侧上执行的操作，运行应用软件来在服务器侧上生成画面，并且压缩所生成的画面并且经网络传送到终端，然后，终端解码该画面用于显示。在这种瘦客户端系统中，通过在服务器侧上压缩和编码画面获得的位流经网络被传送到终端。在执行这种传送时，特别是在移动网络或互联网中，带宽很窄，进一步，可用带宽随时间显著地改变，取决于流过网络的其他通信量的数据量。因此，存在下述问题。除非将通过使用瘦客户端传送的数据量抑制到可由可用带宽管理的量或更小，那么数据仍然在网络中，并且由于此，数据到达终端前经过的延迟时间变得更长，由于用于更新画面的数据延迟到达，因此，终端画面冻结，或减小终端的响应速度。

给出专利文献1，作为公开了与本发明有关的技术的文献。在专利文献1中，公开了一种服务器机，用来当将第一编码图像数据传送到客户端，然后将具有比第一编码图像数据更高图像质量的第二编码图像数据传送到客户端时，传送由第二编码图像数据构成的多个图像数据中，对应于不同于构成第一编码图像数据的图像数据的部分的图像数据。

鉴于上述情况，做出了本发明，本发明的目的是当经分组通信网络传输图像信息时，响应分组通信网络的通信量的时间变化，在不导致延迟并且以较高质量数据传输图像信息。

技术方案

为了解决上述问题，根据本发明的一个方面，提供一种分组通信系统，包括：第一节点；以及第二节点，所述第一节点包括：分组生成装置，用于编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；以及分组传输装置，用于经分组通信网络，将所述多个分组P₁,P₂,...,P_m传输到不同于所述第一节点的所述第二节点，所述第二节点包括：延迟时间测量装置，用于分别测量多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；以及分组选择装置，用于基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个。

此外，根据本发明的另一方面，提供一种分组通信设备，包括：分组接收装置，用于编码将传输的图像信息以便经分组通信网络，接收多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量₂,...,q_m，其中，m为2或更大的自然数；延迟时间测量装置，用于分别测量多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；以及分组选择装置，用于基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个。

此外，根据本发明的又一方面，提供一种分组通信设备，包括：分组生成装置，用于编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；以及分组传输装置，用于经分组通信网络，将所述多个分组P₁,P₂,...,P_m传输不同于所述分组通信设备的目的地分组通信设备。目的地分组通信设备被配置成：分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；以及基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个

此外，根据本发明的又一方面，一种用于使计算机充当下述的程序：分组接收装置，用于编码待传输的图像信息来经分组通信网络，接收多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；延迟时间测量装置，用于分别测量多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；以及分组选择装置，用于基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个

此外，根据本发明的又一方面，提供一种用于使计算机充当下述的程序：分组生成装置，用于编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；以及分组传输装置，用于经分组通信网络，将所述多个分组P₁,P₂,...,P_m传输不同于所述分组通信设备的目的地分组通信设备。目的地分组通信设备被配置成：分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；以及基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个

此外，根据本发明的又一方面，提供一种传输图像信息的方法，包括当将图像信息从第一节点经分组通信网络传输到第二节点时：分组生成步骤，所述分组生成步骤通过所述第一节点编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；分组传输步骤，所述分组传输步骤经所述分组通信网络，将所述多个分组P₁,P₂,...,P_m从所述第一节点传输到所述第二节点，延迟时间测量步骤，所述延迟时间测量步骤通过所述第二节点，分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；以及分组选择步骤，所述分组选择步骤通过所述第二节点，基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个。

有益效果

根据本发明的一个实施例，传输侧上的节点将一条图像信息传输为具有相互不同的数据量的多个分组，以及接收侧上的节点无延迟或在可容许延迟时间内，从已经接收的分组中，选择具有最大数据量的分组并且解码所选择的分组的图像信息。因此，在指定时间，在分组通信网络的拥塞状况下，可以无延迟地在允许传输的范围内，以较高比特率传输图像信息。

附图说明

图1是示例根据本发明的一个实施例的图像信息传输系统1的框图。

图2是根据本发明的第二实施例的远程移动通信系统100的框图。

图3是示例服务器机110的结构的框图。

图4是示例判别单元185的结构的框图。

图5是示例图像编码单元186的结构的框图。

图6示出当将小波变换用作图像编码器时获得的小波变换系数的特性。

图7是示例安装在便携式终端170中的客户端软件171的结构的框图。

图8是示例第一分组接收/延迟测量/选择单元250的结构的框图。

具体实施方式

参考图1，描述根据本发明的第一实施例的图像信息传输系统1。图像信息传输系统1包括传输节点2和接收节点3。

传输节点2是用于编码和分组输入到其中的图像信息X4并且经分组通信网络，将最终图像信息传输到接收节点3的分组通信设备。具体地，传输节点2最好是用于执行分组数据通信的无线通信设备，诸如移动电话终端，但也可以是在网络，诸如互联网上安装的服务器机或客户端设备。传输节点2包括编码器5、可变长度分组生成单元6和分组传输单元7。

编码器5编码图像信息X4，并且在编码图像信息X4中，生成对应于一条图像信息X4的多个数据d₁,d₂,...,d_m(其中，m是2或更大的自然数)。当在这种情况下，假定分别由数据量q₁,q₂,...,q_m表示数据d₁,d₂,...,d_m的数据量时，编码器5生成数据，使得q₁<q₂<...<q_m成立。例如，在m＝4的情况下，编码器5以128kbps、256kbps、512kbps和1Mbps的比特率编码图像信息X4来分别生成数据d₁,d₂,...,d₄。

可变长度分组生成单元6生成分别具有对应于数据量的分组长度的可变长度分组。可变长度分组生成单元6生成分别对应于数据d₁,d₂,...,d_m的分组P₁,P₂,...,P_m。所生成的分组是可变长度分组，因此，分组P₁,P₂,...,P_m的数量间的大小关系原样继承数据d₁,d₂,...,d_m之间的大小关系。

分组传输单元7以该所述顺序，将分组P₁,P₂,...,P_m传输到分组通信网络。分组传输单元7按数据量的升序，将对应于图像信息X4并且包括其数据量彼此不同的m个分组的分组集8传输到接收节点3。所传输的分组的顺序关系示例为分组集8。

接收节点也最好是安装在网络，诸如互联网上的服务器机或客户端设备。或者，接收节点3也可以是用于执行分组数据通信的移动通信设备，诸如移动电话终端。在接收节点3中，当分组接收单元9接收分组集8时，延迟时间测量单元10测量每一分组的延迟时间。分组传输单元7按该所述的顺序，传输分组P₁,P₂,...,P_m，因此，分组接收单元8基本上按此所述接收分组P₁,P₂,...,P_m。在此假定分别由t₁,t₂,...,t_m表示分组P₁,P₂,...,P_m的延迟时间。分组选择单元11基于延迟时间t₁,t₂,...,t_m和相应分组的数据量，从分别具有可容许延迟时间的分组中，选择并输出具有最大数据量的分组。

通常，具有较小数据量的分组的网络上的延迟时间可能更短，相反，具有较大数据量的分组的网络上的延迟时间可能更长。鉴于此观点，可能的情形是分组选择单元11有顺序地确定已经按所述顺序接收的分组P₁,P₂,...,P_m的延迟时间，并且当确定指定分组的延迟时间超出可容许范围时，选择紧接在该指定分组前接收的分组。在这种情况下，可以丢弃后来接收的分组，而不经过基于它们的延迟时间的确定。

例如，当假定基于分组P₃的延迟时间t₃进行确定并且确定相当大地延迟分组P₃时，分组选择单元11选择紧接在分组P₃之前接收的分组P₂。如上所述，具有较小数据量的分组的延迟时间可能更短。由此可以想到除非通信量拥塞状况突然改变，否则在对应于图像信息X4的分组集内，不检测到较早接收的分组P₁和P₁相当大地延迟同时检测到分组P₃相当大地延迟的事实意味着之后接收的分组P₄,P₅,...,P_m相当大地延迟。鉴于此观点，对分组P₄及之后接收的分组，可以省略基于延迟时间的确定，或相反，可以丢弃分组本身。

此外，按它们的数据量的升序传输分组P₁,P₂,...,P_m，因此，紧接在确定为相当大延迟的分组之前接收的分组在小延迟接收的分组中，具有最大数据量。例如，如在上述情况下，假定m＝4并且分别以比特率128kbps、256kbps、512kbps和1Mbps编码和分组图像信息X4的数据d₁,d₂,...,d₄，然后，传输最终分组。然后，在这种情况下，假定分组选择单元11确定当m＝3时，即，在存储以512kbps的数据速率编码的数据d₃的分组P₃的延迟时间t₃的情况下，大大地延迟分组P₃。此时，紧接在分组P₃之前接收的两个分组P₁和P₂已经到达接收节点3，而未相对大地延迟，并且紧接在分组P₃之前接收的分组P₂在分组P₁和P₂之间，具有最大数据量。

当分组选择单元11以这种方式，基于延迟时间，选择并输出包括在分组集8中的分组的任何一个时，解码器12解码在被选分组中存储的数据并且输出图像信息X'13。通过此，与仅传输以单一数据速率生成的分组的情形相比，接收节点3能基于以取决于分组通信网络的拥塞状况而确定的更大数据速率编码的数据，解码图像信息X'13。

或者，接收节点3可以将由分组选择单元11选择的分组经分组传输单元14，传送到另一分组通信设备。第三节点是常见的分组通信设备。更具体地，第三节点最好是用于执行分组数据通信的无线通信设备，诸如移动电话终端，也可以是安装在网络，诸如互联网上的服务器机或客户端设备。与第二节点不同，第三节点不必选择分组，并且原样解码所接收的分组。

参考图2，描述根据本发明的第二实施例的远程移动通信系统100。参考图2，图2示例将移动网络150用作远程移动通信系统100中的网络的例子。此外，图2示例在将SGSN/GGSN设备用作分组传送设备的情况下采用的结构。SGSN/GGSN设备在此是指通过集成服务GPRS支持节点(SGSN)设备和网关GPRS支持节点(GGSN)设备形成的设备。此外，图2举例示例瘦客户端的服务器机100位于云网络130中并且云网络130与移动网络150相互连接的结构。

在图2中，终端用户将便携式终端170连接到位于云网络130中的服务器机110的虚拟客户端来操作该虚拟客户端，就像操作实际终端一样。为实现此，经移动网络150上的基站、RNC设备195和SGSN/GGSN设备190，将存储操作信号的分组传送到服务器机110。操作信号在此是指通过在便携式终端170上执行的操作，诸如按键操作、屏幕上的触摸操作、字符输入和滚动，从便携式终端170的客户端软件到服务器机110的信号。

从安装在便携式终端170中的客户端软件的分组传输单元，传输操作信号分组并且经移动网络150上的基站194、RNC设备195和SGSN/GGSN设备190，到达云网络130上的服务器机110，并且服务器机110接收操作信号。能将公知的协议用作当传输操作信号时使用的协议，但在此假定使用TCP/IP和比TCP/IP上层的协议。注意，除HTTP外，也可以使用会话初始化协议(SIP)等等。

图3是示例服务器机110的结构的框图。

操作信号分组接收单元182经基站194、RNC设备195和SGSN/GGSN设备195，从便携式终端170的客户端软件，接收存储操作信号的分组。操作信号分组接收单元182从所接收的操作信号TCP/IP分组提取操作信号并且将所提取的操作信号输出到虚拟客户端单元211。

虚拟客户端单元211包括能提供各种服务的应用软件、控制单元、画面生成单元、高速缓存和其他。此外，虚拟客户端单元211具有从服务器机100的外部，简单更新应用软件的结构。注意，虚拟客户端单元在主OS上构建虚拟环境，在所构建的虚拟环境上运行客OS，并且在客OS上运行虚拟客户端，在图3中未示出。任意OSes能在此用作主OS和客OS。虚拟客户端单元211分析从操作信号分组接收单元182输入的操作信号并且激活由该操作信号指定的应用软件。以预定屏幕分辨率生成由应用软件创建的画面，并且将所生成的画面输出到画面捕捉单元180。

画面捕捉单元180以预定屏幕分辨率和预定帧速率捕捉并输出画面。

可以由图像编码器压缩和编码整个画面，或可以将该画面分成多个(例如2)区，并且可以由不同的图像编码器压缩和编码每一区。下述描述了将画面分成两种区域并且将不同图像编码器用于各个区域的例子。在此假定例如，区域包括视频区和其他区域。

划分单元将所捕捉的画面划分成分别具有预定大小的多个块。在此假定，每一块的大小是例如16像素×16行，但也可以使用另一大小，诸如8像素×8行。当使用较小块大小时，增加判别单元的判别精度，但判别单元的处理量增加。划分单元184将通过划分获得的块输出到判别单元185。

图4示例判别单元185的结构。在该例子中，描述了判别单元185区分两种画面区域的情形。在这种情况下，这两种包括视频区和其他区。此外，假定将运动矢量用作将由判别单元使用的图像特征量。

在图4中，运动矢量计算单元201对每一块，计算例如有关最小化下述公式的Dk的运动矢量Vk(dx,dy)。

$\mathrm{Dk}=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}|f\_n(\mathrm{Xi},\mathrm{Yj})-f\_n-1(\mathrm{Xi}+\mathrm{dx},\mathrm{Yj}+\mathrm{dy})|$ …(公式1)

其中，f_n_k(Xi,Yj)和f_n-1(Xi,Yj)分别表示包括在第n帧的第k块中的像素和包括在第(n-1)帧的第k块中的像素。

运动矢量计算/判别单元201接着对每一块，根据下述公式2和公式3，分别计算运动矢量的大小和方向。

$\mathrm{Vk}=\sqrt{(\mathrm{dx}*\mathrm{dx}+\mathrm{dy}*\mathrm{dy})}$ …(公式2)

$\mathrm{\&theta;k}=\arctan \left(\frac{\mathrm{dy}}{\mathrm{dx}}\right)$ …(公式3)

其中，Vk表示第k块中的运动矢量的大小，以及θk表示第k块的运动矢量的角度(方向)。

接着，区域判别单元202取得用于多个连续块的Vk和θk，并且当Vk的值超出预定阈值以及θk的值在多个连续块中变化时，将那些块判定为视频区。在此假定第一区域是指视频区。

注意，当Vk的值超出阈值，而θk的值在多个连续块中表示基本上同一角度时，区域判别单元202不将那些块判定为视频区，而是将那些块判定为由画面滚动等等引起的运动区。

区域判别单元202将表示是否存在视频区的判别标志和当存在视频区时，该区域的范围输出到图3的图像编码单元186。在此假定通过将块形成为矩形区获得的区域被用作视频区，并且该区域的范围包括水平方向中的像素数和矩形区的垂直方向中的行数，以及包括在该区域中的块的大小。

接着，区域判别单元202将例如运动区和静态图像区之间判别为除视频区外的其他区域，并且将判别标志和区域范围输出到图3的图像编码器单元186。

参考图5，描述图像编码单元186的结构。在图5中，缩小处理单元225和第二图像编码器单元从图像捕捉单元180输入捕捉图像，从划分单元184输入用于划分的每一块的大小，以及从判别单元输入判别标志、视频区的范围和其他区(例如运动区和静态图像区)的范围。

接着，当存在视频区时，缩小处理单元225确定水平方向中的像素数和垂直方向中的行数，即，视频区的大小是否超出预定大小。在此假定预定大小是例如QVGA大小。当视频区的大小超出QVGA大小时，缩小处理单元225计算图像缩小过滤器来缩小包括在视频区中的图像，使得视频区具有QVGA大小，并且将所缩小的图像输出到第一图像编码器227。在这种情况下，缩小处理单元225已经缩小第一区域的大小，因此，缩小处理单元225将缩小前的大小输出到第一图像编码器227，作为视频区的范围。当视频区的大小不超出预定大小时，不计算图像缩小过滤器，缩小处理单元225将视频区的图像原样输出到第一图像编码器227，并且将视频区的大小也原样输出到第一图像编码器227。

接着，第一图像编码器227输入视频区的图像信号，并且使用预定视频编码器来将图像信号压缩和编码成具有多个比特率的位流，并且将具有多个比特率的位流输出到图3的第一分组传输单元176。例如，可以将下述结构用于多个比特率的选择。具体地，基于信息，诸如终端的图像大小或将使用的网络的类型，从预定比特率中，选择多个比特率，或可以在启动会话时，从终端接收上述信息并且用于选择。在此假定例如使用四种比特率。具体地，例如，使用128kbps、256kbps、512kbps和1Mbps。此外，假定将H.264用作预定视频编码器，但也可以使用公知的视频编码器，诸如H.264可扩展编解码器(SVC)、MPEG-4或MPEG-4可扩展编解码器(SVC)。当使用H.264SVC或MPEG-4SVC时，可以减少以多个比特率编码时，编码所需的处理量。第一图像编码器227进一步将有关视频区的信息输出到图3的第一分组传输单元176。

接着，第二图像编码器228输入其他区的信息，并且在静态图像的情况下，使用静态图像编解码器来以多个比特率压缩和编码图像，并且将具有多个比特率的位流输出到图3的第一分组传输单元176。在此假定将JPEG 2000的小波编码器用作静态图像编解码器，但也可以使用另一公知的编解码器，诸如JPEG。注意，当使用小波编码器或JPEG2000编码器时，通过使用用在那些编码器中的小波变换的特性，关于在小波变换后获得的系数，如图6所示，在从低频到高频的范围中，分别从四种区域LL、LH、HL和HH获得压缩编码位流B1、B2、B3和B4。通过使用上述特性，例如，可以从第二图像编码器228，将位流B1、B1+B2、B1+B2+B3和B1+B2+B3+B4输出为具有四种比特率的位流。通过该结构，能使图像质量劣化在终端上更不突出。第二图像编码器228进一步将其他区的信息也输出到图3的第一分组传输单元176。

在运动区的情况下，第二图像编码器228将通过静态图像编解码器，压缩和编码移动前的图像获得的位流以及一种代表性运动矢量输出到图3的第一分组传输单元176。第二图像编码器228进一步将有关其他区的信息也输出到图3的第一分组传输单元176。

接着，当画面伴有音频数据时，图3的音频编码单元从画面捕捉单元180，输入伴有画面的音频信号，使用音频编码器来压缩和编码音频信号，并且将最终音频信号输出到图3的第二分组传输单元177。在此假定将MPEG-4AAC用作音频编码器，但也可以使用另一公知的音频编码器。

再参考图3，第一分组传输单元176从图5的第一图像编码器227和第二图像编码器228输入区域信息，并且在视频区的情况下，第一分组传输单元176从图5的第一图像编码器，输入具有四种比特率的压缩编码位流，并且形成存储相应位流的四种分组。具体地，第一分组传输单元176将各个位流数据存储在预定协议的分组的有效载荷中，在预定时间区间内，按预定顺序排列四种分组，并且在短时间间隔，将四种分组连续地传输到图2的SGSN/GGSN设备190。在此假定，预定时间间隔是比特率的升序，并且在上述比特率的例子中，是128kbps、256kbps、384kbps和512kbps的顺序。

接着，在其他区的情况下，例如，第一分组传输单元176从图5的第二图像编码器228输入具有四种比特率的位流，并且形成四种分组。具体地，第一分组传输单元176将各个位流存储在预定协议的分组的有效载荷中，在预定时间区间内，按预定顺序排列四种分组，并且以短时间间隔，将四种分组传输到图2的SGSN/GGSN设备。在此假定预定时间间隔是比特率的升序。

注意，例如，能将UDP/IP用作预定协议。也可以使用除UDP/IP外的公知的协议，诸如RTP/UDP/IP。可以将从几十ms到100ms的时间区间用作预定时间区间。可以将从几ms到几十ms的时间间隔用作短时间间隔。

注意，可以将区域信息存储在RTP报头或UDP报头，或存储在有效载荷中。

第二分组传输单元177将通过压缩和编码音频信号获得的压缩编码位流存储在分组的有效载荷中，形成预定协议的分组，并且将分组输出到SGSN/GGSN设备190。将公知协议，诸如RTP/UDP/IP、UDP/IP或TCP/IP用作预定协议，但在此假定例如使用UDP/IP。

SGSN/GGSN设备通过在GTP-U协议下的隧道效应，将从服务器机110接收的分组传送到RNC设备195。RNC设备195经基站194，将分组无线地传输到便携式终端170。

在本发明中，客户端软件171安装在便携式终端170中。客户端软件171用于将当用户操作终端时发出的操作信号传送到服务器，并且用于从服务器接收分组和解码压缩编码流以便显示。图7示例客户端软件171的结构。

首先，图8示例图7的第一分组接收/延迟测量/选择单元250的结构。在图8中，分组接收单元270接收用于视频区和其他区的每一个的多个连续分组。分组接收单元270在视频区的情况下，提取在已经按比特率的升序接收的四种连续分组中存储的有关视频区的信息、接收时间信息R(j)和传输时间信息S(j)(1≤j≤4)，从四种分组的有效载荷提取位流信息，以及将那些所提取的信息输出到延迟测量单元271_1。

延迟测量单元271_1使用每一分组的S(j)和R(j)来对四个分组的每一个，根据下述公式4，计算延迟时间D(j)。

D(j)＝R(j)-S(j)…(4)

其中，D(j)表示第j分组的延迟时间。延迟测量单元271_1将所计算的延迟时间D(j)、所提取的四种位流和有关视频区的信息输出到选择单元272_1。

选择单元272_1使D(j)的值进行比较，并且选择紧接在延迟时间Dj突然增加之前接收的分组中的位流。当假定D1＝100ms、D2＝120ms、D3＝118ms和D4＝250ms时，例如，突然增加的延迟时间为对应于第四分组的D4，因此，第三分组是紧接在延迟时间突然增加之前接收的分组。在该例子中，选择单元272_1由此选择在第三分组，即，具有比特率384的分组的有效载荷中存储的位流。然后，选择单元272_1将被选位流和有关视频区的信息输出到图7的第一图像解码器252。

同时，第一分组接收/延迟测量/选择单元250在其他区上执行类似的处理。分组接收单元270接收用于其他区的多个连续分组。分组接收单元270在其他区的情况下，提取在已经按比特率的升序接收的四种连续分组中存储的有关其他区的信息、接收时间信息R'(m)和传输时间信息S'(m)(1≤m≤4)，从四个分组的有效载荷提取位流信息，并且将那些提取的信息输出到延迟测量单元271_2。

延迟测量单元271_2使用每一分组的S'(m)和R'(m)来对四个分组的每一个，根据下述公式5，计算延迟时间D'(m)。

D′(m)＝R′(m)-S′(m)…(5)

其中，D'(m)表示第m分组的延迟时间。延迟测量单元271_2将所计算的延迟时间D'(m)、所提取的四种位流和有关其他区的信息输出到选择单元272_2。

选择单元272_2使D'(m)的值相互比较，并且选择紧接在延迟时间D'(m)突然增加之前接收的分组中存储的位流。然后，选择单元272_2将所选择的位流以及有关其他区的信息输出到图7的第二图像解码器253。

再参考图7，第一图像解码器252输入有关视频区的信息和具有由第一分组接收/延迟测量/选择单元250选择的比特率的位流，解码该位流，并且将所解码的位流输出到放大处理单元254。第一图像解码器252进一步还将有关视频区的信息输出到放大处理单元254。在此假定例如将H.264解码器用作第一图像解码器，但也可以使用另一公知的图像解码器，诸如H.264SVC解码器、MPEG-4SVC解码器或MPEG-4解码器。然而，应理解到，将使用的解码器是与服务器的第一图像编码器227相同类型。

接着，放大处理单元254输入解码后的图像信号和有关视频区的信息。放大处理单元254首先使用解码后的图像信号来计算解码后的图像信号的区域的大小(在下文中，称为“A”)，并且将A与基于有关视频区的信息的视频区的大小(在下文中，称为“B”)比较。当A<B时，放大处理单元254通过公知过滤计算，在解码后的图像信号上执行放大处理，并且将具有放大大小B的图像信号输出到画面显示单元256。注意，当A与B匹配时，放大处理单元254绕过放大处理，并且将所解码的图像信号原样输出到画面显示单元256。放大处理单元254进一步将有关视频区的信息输出到画面显示单元256。

第二图像解码器253输入有关其他区的信息和由第一分组接收/延迟测量/选择单元250选择的比特率，解码与其他区有关的位流，并且将所解码的位流输出到画面显示单元256。第二图像解码器253进一步将有关其他区的信息输出到画面显示单元256。

画面显示单元256从放大处理单元254输入有关视频区的信息和视频区的图像信号，并且从第二图像解码器253输入有关其他区的信息和其他区的图像信号。然后，画面显示单元256使用第一区的信息来在第一区域中显示从放大处理单元254输出的图像，并且使用其他区的信息来在其他区中显示从第二图像解码器253输出的图像。画面显示单元256通过以组合各个区的图像信号的方式，生成显示画面，并且输出所生成的显示画面。

第二分组接收单元251接收分组，提取与在分组中存储的音频数据有关的压缩编码位流，并且将所获得的位流输出到音频解码器255。

音频解码器255输入和解码压缩编码流并且与画面的图像信号同步，输出解码流。例如，MPEG-4AAC在此能用作音频解码器，但也可以使用另一公知的音频解码器。然而，应理解到，将使用的音频解码器与服务器的音频解码器相同类型。

操作信号生成单元257检测由用户输入到便携式终端170的操作，诸如画面触摸、画面滚动、图标触摸和字符输入，生成用于每一操作的操作信号，并且将所生成的操作信号输出到分组传输单元258。

分组传输单元258输入操作信号，将操作信号存储在预定协议的分组中，将该分组传输到网络。在此，能将TCP/IP、UDP/IP等等用作预定协议。

根据该实施例，实现下述效果。当经网络使用瘦客户端，并且压缩和解码服务器侧上生成的画面来经网络传送到终端时，使用具有将真正传送那些位流的多种比特率的位流来从服务器传送分组位流。然后，计算已经在终端侧接收的分组的各个延迟时间，并且选择在其延迟时间不增加的分组中存储的位流并且解码以便显示。因此，可以使用瘦客户端，即使在具有窄带宽的网络中或即使当网络的带宽改变时，也不增加延迟时间并且无画面冻结。

在上文中，通过实施例，描述了本发明，但本发明不限于上述实施例。

判别单元判别的画面的区域类型可以是3个或更大。此外，也可以将除运动矢量外的图像特征量用作将用于在区域间判别的图像特征量，或可以组合使用多种图像特征量。

此外，为了减少判别处理所需的处理量等等，也可以采用下述结构。仅使用一种区域并且不执行区域划分和区域间判别，并且使用仅一种图像编码器和仅一种图像解码器。当使用仅一种编码器/解码器时，可以将视频编码器/解码器或静态图像编码器/解码器用作图像编码器/解码器。

在图2中，作为移动网络150，也可以使用移动LTE/EPC网络，或也可以使用WiMAX网络或Wi-Fi网络。此外，也可以使用固定网络、NGN或互联网。注意，在那些情况下，从固定终端或PC连接网络，而不是从移动终端。

在图2中，服务器机位于云网络中，但也可以位于互联网中。此外，当瘦客户端的服务器位于企业中时，服务器机也可以位于企业网络中。此外，作为另一结构，当通讯载波本身配置瘦客户端服务器时，服务器机110也可以位于移动网络150、固定网络或NGN中。

将上述实施例的一部分或全部描述为下述附注。然而，下述附注不用来限制本发明。

(附注1)

一种分组通信系统，包括：

第一节点；以及

第二节点，

所述第一节点包括：

分组生成装置，用于编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；以及

分组传输装置，用于经分组通信网络，将所述多个分组P₁,P₂,...,P_m传输到不同于所述第一节点的所述第二节点，

所述第二节点包括：

延迟时间测量装置，用于分别测量多个分组P1,P2,...,Pm的延迟时间t1,t2,...,tm；

分组选择装置，用于基于所述延迟时间t1,t2,...,tm，选择所述多个分组P1,P2,...,Pm中的任何一个；以及

解码装置，用于基于所述多个分组的被选一个，解码所述图像信息。

(附注2)

根据附注1所述的系统，

其中，所述分组传输装置按数据量的升序，传输所述多个分组P₁,P₂,...,P_m，以及

其中，所述分组选择装置每次接收到所述多个分组的每一个时，基于所述多个分组的每一个的延迟时间，确定所述多个分组的每一个是否有效，并且当确定所述多个分组的每一个无效时，选择紧接在所述多个分组的每一个前接收的多个分组中的一个。

(附注3)

如附注1或2所述的系统，其中，所述系统将一个图像划分成多个图像区，并且将所述多个图像区中的一个传输为图像信息。

(附注4)

如附注3所述的系统，其中，所述系统基于与所述多个图像区的每一个有关的图像特征量，将所述多个图像区的每一个分成多种图像区的任何一个，并且将已经分成预定类型图像区的多个图像区中的一个传输为图像信息。

(附注5)

一种分组通信设备，包括：

分组接收装置，用于编码将传输的图像信息以便经分组通信网络，接收多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量₂,...,q_m，其中，m为2或更大的自然数；

延迟时间测量装置，用于分别测量多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择装置，用于基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码装置，用于基于所述多个分组的被选一个，解码所述图像信息。

(附注6)

根据附注5所述的分组通信设备，

其中，所述分组接收装置按数据量的升序，接收所述多个分组P₁,P₂,...,P_m，以及

其中，所述分组选择装置每次接收到所述多个分组的每一个时，基于所述多个分组的每一个的延迟时间，确定所述多个分组的每一个是否有效，并且当确定所述多个分组的每一个无效时，选择紧接在所述多个分组的每一个前接收的多个分组中的一个。

(附注7)

如附注5或6所述的分组通信设备，其中，所述分组通信设备将一个图像划分成多个图像区，并且将所述多个图像区中的一个传输为图像信息。

(附注8)

如附注7所述的分组通信设备，其中，所述分组通信设备基于与所述多个图像区的每一个有关的图像特征量，将所述多个图像区的每一个分成多种图像区的任何一个，并且将已经分成预定类型图像区的多个图像区中的一个传输为图像信息。

(附注9)

一种分组通信设备，包括：

分组生成装置，用于编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；以及

分组传输装置，用于经分组通信网络，将所述多个分组P₁,P₂,...,P_m传输不同于所述分组通信设备的目的地分组通信设备，

其中，所述目的地分组通信设备被配置成：

分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

基于所述多个分组的被选一个，解码所述图像信息。

(附注10)

根据附注9所述的分组通信设备，

其中，所述分组传输装置按数据量的升序，传输所述多个分组P₁,P₂,...,P_m，以及

其中，所述目的地分组通信设备每次接收到所述多个分组的每一个时，基于所述多个分组的每一个的延迟时间，确定所述多个分组的每一个是否有效，并且当确定所述多个分组的每一个无效时，选择紧接在所述多个分组的每一个前接收的多个分组中的一个。

(附注11)

如附注9或10所述的分组通信设备，其中，所述分组通信设备将一个图像划分成多个图像区，并且将所述多个图像区中的一个传输为图像信息。

(附注12)

如附注11所述的分组通信设备，其中，所述分组通信设备基于与所述多个图像区的每一个有关的图像特征量，将所述多个图像区的每一个分成多种图像区的任何一个，并且将已经分成预定类型图像区的多个图像区中的一个传输为图像信息。

(附注13)

一种用于使计算机充当下述的程序：

分组接收装置，用于编码待传输的图像信息来经分组通信网络，接收多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；

延迟时间测量装置，用于分别测量多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择装置，用于基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码装置，用于基于所述多个分组的被选一个，解码所述图像信息。

(附注14)

根据附注13所述的程序，

其中，所述分组接收装置按数据量的升序，接收所述多个分组P₁,P₂,...,P_m，以及

其中，所述分组选择装置每次接收到所述多个分组的每一个时，基于所述多个分组的每一个的延迟时间，确定所述多个分组的每一个是否有效，并且当确定所述多个分组的每一个无效时，选择紧接在所述多个分组的每一个前接收的多个分组中的一个。

(附注15)

如附注13或14所述的程序，其中，所述程序将一个图像划分成多个图像区，并且将所述多个图像区中的一个传输为图像信息。

(附注16)

如附注15所述的程序，其中，所述程序基于与所述多个图像区的每一个有关的图像特征量，将所述多个图像区的每一个分成多种图像区的任何一个，并且将已经分成预定类型图像区的多个图像区中的一个传输为图像信息。

(附注17)

一种用于使计算机充当下述的程序：

分组生成装置，用于编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；以及

分组传输装置，用于经分组通信网络，将所述多个分组P₁,P₂,...,P_m传输不同于所述分组通信设备的目的地分组通信设备，

其中，所述目的地分组通信设备被配置成：

分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

基于所述多个分组的被选一个，解码所述图像信息。

(附注18)

根据附注17所述的程序，

其中，所述分组传输装置按数据量的升序，传输所述多个分组P₁,P₂,...,P_m，以及

其中，所述目的地分组通信设备每次接收到所述多个分组的每一个时，基于所述多个分组的每一个的延迟时间，确定所述多个分组的每一个是否有效，并且当确定所述多个分组的每一个无效时，选择紧接在所述多个分组的每一个前接收的多个分组中的一个。

(附注19)

如附注17或18所述的程序，其中，所述程序将一个图像划分成多个图像区，并且将所述多个图像区中的一个传输为图像信息。

(附注20)

如附注19所述的程序，其中，所述程序基于与所述多个图像区的每一个有关的图像特征量，将所述多个图像区的每一个分成多种图像区的任何一个，并且将已经分成预定类型图像区的多个图像区中的一个传输为图像信息。

(附注21)

一种传输图像信息的方法，包括当将图像信息从第一节点经分组通信网络传输到第二节点时：

分组生成步骤，所述分组生成步骤通过所述第一节点编码待传输的图像信息来生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m分别对应于所述图像信息并且分别具有满足关系q₁<q₂<...<q_m的数据量q₁,q₂,...,q_m，其中，m为2或更大的自然数；

分组传输步骤，所述分组传输步骤经所述分组通信网络，将所述多个分组P₁,P₂,...,P_m从所述第一节点传输到所述第二节点，

延迟时间测量步骤，所述延迟时间测量步骤通过所述第二节点，分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择步骤，所述分组选择步骤通过所述第二节点，基于所述延迟时间t₁,t₂,...,t_m，选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码步骤，所述解码步骤基于所述多个分组的被选一个，解码所述图像信息。

(附注22)

根据附注21所述的方法，

其中，所述分组传输步骤包括按数据量的升序，传输所述多个分组P₁,P₂,...,P_m，以及

其中，所述分组选择步骤包括每次接收到所述多个分组的每一个时，基于所述多个分组的每一个的延迟时间，确定所述多个分组的每一个是否有效，并且当确定所述多个分组的每一个无效时，选择紧接在所述多个分组的每一个前接收的多个分组中的一个。

(附注23)

如附注21或22所述的方法，进一步包括将一个图像划分成多个图像区，并且将所述多个图像区中的一个传输为图像信息。

(附注24)

如附注23所述的方法，进一步包括基于与所述多个图像区的每一个有关的图像特征量，将所述多个图像区的每一个分成多种图像区的任何一个，并且将已经分成预定类型图像区的多个图像区中的一个传输为图像信息。

本申请基于并要求2012年9月27日提交的日本专利申请No.2012-214170的优先权，其全部内容在此引入以供参考。

Claims (10)

1.一种分组通信系统，包括：

第一节点；以及

第二节点，

所述第一节点包括：

分组生成装置，所述分组生成装置用于编码待传输的图像信息以生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m中的每一个对应于所述图像信息并且分别具有数据量q₁,q₂,...,q_m，所述数据量q₁,q₂,...,q_m满足关系q₁<q₂<...<q_m，其中，m为2或更大的自然数；以及

分组传输装置，所述分组传输装置用于经由分组通信网络，将所述多个分组P₁,P₂,...,P_m传输到不同于所述第一节点的所述第二节点，

所述第二节点包括：

延迟时间测量装置，所述延迟时间测量装置用于分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择装置，所述分组选择装置用于基于所述延迟时间t₁,t₂,...,t_m来选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码装置，所述解码装置用于基于所述多个分组中的所选择的一个来解码所述图像信息。

2.如权利要求1所述的系统，

其中，所述分组传输装置按数据量的升序来传输所述多个分组P₁,P₂,...,P_m，并且

其中，每当接收到所述多个分组的每一个时，所述分组选择装置基于所述多个分组中的每一个的延迟时间来确定所述多个分组中的每一个是否有效，并且当确定了所述多个分组中的每一个无效时，选择紧接在所述多个分组中的每一个之前接收到的所述多个分组中的一个。

3.如权利要求1或2所述的系统，其中，所述系统将一个图像划分成多个图像区，并且将所述多个图像区中的一个作为所述图像信息进行传输。

4.如权利要求3所述的系统，其中，所述系统基于与所述多个图像区中的每一个有关的图像特征量来将所述多个图像区中的每一个分类成多个类型图像区中的任何一个，并且将已经分类成预定类型图像区的所述多个图像区中的一个作为所述图像信息进行传输。

5.一种分组通信设备，包括：

分组接收装置，所述分组接收装置用于编码将传输的图像信息以经由分组通信网络接收多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m中的每一个对应于所述图像信息，并且分别具有数据量₂,...,q_m，所述数据量₂,...,q_m满足关系q₁<q₂<...<q_m，其中，m为2或更大的自然数；

延迟时间测量装置，所述延迟时间测量装置用于分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择装置，所述分组选择装置用于基于所述延迟时间t₁,t₂,...,t_m来选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码装置，所述解码装置用于基于所述多个分组中的所选择的一个来解码所述图像信息。

6.如权利要求5所述的分组通信设备，

其中，所述分组接收装置按数据量的升序来接收所述多个分组P₁,P₂,...,P_m，并且

其中，每当接收到所述多个分组的每一个时，所述分组选择装置基于所述多个分组中的每一个的延迟时间来确定所述多个分组中的每一个是否有效，并且当确定了所述多个分组中的每一个无效时，选择紧接在所述多个分组中的每一个之前接收到的所述多个分组中的一个。

7.一种分组通信设备，包括：

分组生成装置，所述分组生成装置用于编码待传输的图像信息以生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m中的每一个对应于所述图像信息，并且分别具有数据量q₁,q₂,...,q_m，所述数据量q₁,q₂,...,q_m，满足关系q₁<q₂<...<q_m，其中m为2或更大的自然数；以及

分组传输装置，所述分组传输装置用于经分组通信网络来将所述多个分组P₁,P₂,...,P_m传输到不同于所述分组通信设备的目的地分组通信设备，

其中，所述目的地分组通信设备被配置成：

分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

基于所述延迟时间t₁,t₂,...,t_m来选择所述多个分组P₁,P₂,...,P_m中的任何一个；并且

基于所述多个分组中的所选择的一个来解码所述图像信息。

8.一种程序，所述程序用于使得计算机用作：

分组接收装置，所述分组接收装置用于编码将传输的图像信息以经由分组通信网络接收多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m中的每一个对应于所述图像信息，并且分别具有数据量₂,...,q_m，所述数据量₂,...,q_m满足关系q₁<q₂<...<q_m，其中，m为2或更大的自然数；

延迟时间测量装置，所述延迟时间测量装置用于分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择装置，所述分组选择装置用于基于所述延迟时间t₁,t₂,...,t_m来选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码装置，所述解码装置用于基于所述多个分组中的所选择的一个来解码所述图像信息。

9.一种程序，所述程序用于使得计算机用作：

分组生成装置，所述分组生成装置用于编码待传输的图像信息以生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m中的每一个对应于所述图像信息并且分别具有数据量q₁,q₂,...,q_m，所述数据量q₁,q₂,...,q_m满足关系q₁<q₂<...<q_m，其中，m为2或更大的自然数；以及

分组传输装置，所述分组传输装置用于经由分组通信网络，将所述多个分组P₁,P₂,...,P_m传输到不同于所述分组通信设备的目的地分组通信设备，

其中，所述目的地分组通信设备被配置成：

分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

基于所述延迟时间t₁,t₂,...,t_m来选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

基于所述多个分组中的所选择的一个来解码所述图像信息。

10.一种传输图像信息的方法，包括：当经由分组通信网络将图像信息从第一节点传输到第二节点时，

分组生成步骤，由所述第一节点编码待传输的图像信息以生成多个分组P₁,P₂,...,P_m，所述多个分组P₁,P₂,...,P_m中的每一个对应于所述图像信息并且分别具有数据量q₁,q₂,...,q_m，所述数据量q₁,q₂,...,q_m满足关系q₁<q₂<...<q_m，其中，m为2或更大的自然数；

分组传输步骤，经由分组通信网络，将所述多个分组P₁,P₂,...,P_m从所述第一节点传输到所述第二节点，

延迟时间测量步骤，由所述第二节点分别测量所述多个分组P₁,P₂,...,P_m的延迟时间t₁,t₂,...,t_m；

分组选择步骤，由所述第二节点基于所述延迟时间t₁,t₂,...,t_m来选择所述多个分组P₁,P₂,...,P_m中的任何一个；以及

解码步骤，基于所述多个分组中的所选择的一个来解码所述图像信息。