CN102075771A - 图像传输方法和设备、图像接收方法和设备及图像传输系统 - Google Patents

Abstract

提供了图像传输方法、图像接收方法、图像传输设备、图像接收设备和图像传输系统。该图像传输方法包括顺序地输入多个不同源运动图像的步骤。该图像传输方法还包括从多个不同源图像之一建立每个帧的主要图像的步骤。该图像传输方法还包括从表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差异的差分图像建立每个帧的次要图像的步骤。该图像传输方法还包括通过组合主要图像和次要图像来建立集合图像的步骤。该图像传输方法还包括向接收侧传输集合图像的步骤。

Description

图像传输方法和设备、图像接收方法和设备及图像传输系统

技术领域

本发明涉及图像传输方法、图像接收方法、图像传输设备、图像接收设备和图像传输系统。

背景技术

已知诸如在例如日本专利申请公开号JP-A-9-138384、日本专利申请公开号JP-A-2000-36969和日光专利申请公开号JP-A-2003-45343中公开的那些方法，用于在指定周期上交替向显示器供应在其间存在不一致(disparity)的左眼图像和右眼图像并用于以被提供了与指定的周期同步工作的液晶快门的一副眼镜来观看图像。

另外，在现有数字广播中，正提供诸如电子节目列表、数据广播等的服务，以便可以根据用户的意愿接收除了普通视频和音频节目之外的服务。

发明内容

在这些环境中，即使在普通节目中，也已经逐渐需要通过向视频和音频添加新的值来增强服务。已经提到的用于向视频添加值的一个方法要传输诸如上述那些的双目立体运动图像。通过传输左眼图像和右眼图像且在接收侧上向用户的左眼呈现左眼图像且向用户的右眼呈现右眼图像，使得可以进行双目立体观看。

但是，在双目立体运动图像的传输中，出现空间分辨率和时间分辨率之一比二维图像的差的问题，则是因为传输的数据量加倍。

因此，鉴于上述问题，本发明提供新颖和改进的图像传输方法、图像接收方法、图像传输设备、图像接收设备和图像传输系统，其能够在将分辨率的任何降低保持到最小的状态下传输多个源运动图像。

为了解决上述问题，根据本发明的方面，提供了包括顺序地输入多个不同源运动图像的步骤的图像传输方法。该图像传输方法还包括从多个不同源图像之一建立每个帧的主要图像的步骤。该图像传输方法还包括从差分图像对于每个帧建立次要图像的步骤，差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差。该图像传输方法还包括通过组合主要图像和次要图像来建立集合图像的步骤。该图像传输方法还包括向接收侧传输集合图像的步骤。

还可以通过减小源运动图像的原始尺寸来建立主要图像。

还可以通过减小表示各帧之间的差的差分图像来建立次要图像。

还可以从表示当前帧的另一源运动图像和紧接在之前的帧的另一源运动图像之间的差的差分图像来建立当前帧的次要图像。

还可以从通过从当前帧的另一原始源运动图像减去推定原始图像而得到的差分图像建立次要图像，该推定原始图像是从在时间轴上在该另一源运动图像之前和之后的一系列图像得到的。

在源运动图像的总数是N、当前帧是第K个源运动图像且主要图像是第(K-M)个源运动图像的情况下，该推定原始图像还可以是第(K-M)个图像和第(K+N-M)个图像之一。

在源运动图像的总数是N、当前帧是第K个源运动图像、主要图像是第(K-M)个源运动图像、且i和j是不小于零的整数的情况下，推定原始图像可以是以下的其中之一：从第(K-N×i-M)个之前图像和第(K+N×j+N-M)个之后图像中选择的多个图像的加权平均、从第(K-1)个之前图像和第(K+N×j+N-M)个之后图像中选择的多个图像的加权平均、通过基于从第(K-M)个图像到第K个图像的变化对第(K-M)个图像进行运动补偿而产生的运动补偿图像、通过基于从第(K+N-M)个图像到第K个图像的变化对第(K+N-M)个图像进行运动补偿而产生的运动补偿图像、从第(K-N×i-M)个之前图像和第(K+N×j+N-M)个之后图像以及通过基于其与第K个图像的差对多个图像的每个进行运动补偿而产生的一系列运动补偿图像中选择的多个图像的加权平均、以及从第(K-1)个之前图像和第(K+N×j+N-M)个之后图像以及通过基于其与第K个图像的差对多个图像的每个进行运动补偿而产生的一系列运动补偿图像中选择的多个图像的加权平均。

还可以通过对差分图像进行校正处理来建立次要图像，该差分图像是通过从当前帧的另一原始源运动图像减去推定原始图像而得到的，该推定原始图像是从在时间轴上在该另一源运动图像之前和之后的一系列图像得到的。所述校正处理还可以是关于将传输的校正差分图像的数量S建立至少一个校正差分图像的处理，校正差分图像1也可以是通过以基于将传输的图像内的排列的减小率对差分图像进行减小处理而得到的图像，该差分图像表示在推定原始图像以及原始图像及减小原始图像之一之间的差。校正差分图像n(其中，n至少是2且不大于S)还可以是通过以基于将传输的图像内的排列的减小率进行减小处理而得到的图像，该减小处理是对差分图像进行的，该差分图像是通过从原始图像及减小原始图像之一中减去放大校正差分图像1到放大校正差分图像(n-1)来计算的，且通过将校正差分图像1到校正差分图像(n-1)放大到与推定原始图像相同的尺寸而得到放大校正差分图像1到放大校正差分图像(n-1)。

集合图像还可以组合校正差分图像以及原始图像及减小原始图像之一，且各个源运动图像的布置的切换还可能导致在下一集合图像中的原始图像及减小原始图像之一被布置在与集合图像中的原始图像及减小原始图像的相应的一个相同的位置上，且还可能导致在下一集合图像中的校正差分图像被布置在与集合图像中的校正差分图像相同的位置上。

为了解决上述问题，根据本发明的另一方面，提供图像接收方法，其包括接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像的步骤，该差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差。该图像接收方法还可以包括从集合图像分离主要图像和次要图像的步骤。该图像接收方法还包括恢复与主要图像对应的源运动图像的步骤。该图像接收方法还包括基于相邻帧的主要图像和所分离的次要图像，来恢复与次要图像对应的源运动图像的步骤。该图像接收方法还包括显示分别与主要图像和次要图像对应的源运动图像的步骤。

为了解决上述问题，根据本发明的另一方面，提供了图像传输设备，其包括输入部分、主要图像处理部分、次要图像处理部分和集合图像建立处理部分。向该输入部分顺序地输入多个不同源运动图像。该主要图像处理部分从多个不同源图像之一建立每个帧的主要图像。次要图像处理部分从差分图像建立每个帧的次要图像，该差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差。集合图像建立处理部分通过组合主要图像和次要图像来建立集合图像。

为了解决上述问题，根据本发明的另一方面，提供了图像接收设备，其包括分离部分、主要图像恢复部分、次要图像恢复部分和显示部分。该分离部分接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像，该差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差。该分离部分还从该集合图像中分离主要图像和次要图像。主要图像恢复部分恢复与主要图像对应的源运动图像。次要图像恢复部分基于相邻帧的主要图像和所分离的次要图像，来恢复与次要图像对应的源运动图像。显示部分显示分别与主要图像和次要图像对应的源运动图像。

为了解决上述问题，根据本发明的另一方面，提供了图像传输系统，包括图像传输设备和图像接收设备。该图像传输设备包括输入部分、主要图像处理部分、次要图像处理部分和集合图像建立处理部分。向该输入部分顺序地输入多个不同源运动图像。该主要图像处理部分从多个不同源图像之一建立每个帧的主要图像。次要图像处理部分从差分图像建立每个帧的次要图像，该差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差。集合图像建立处理部分通过组合主要图像和次要图像来建立集合图像。该图像接收设备包括分离部分、主要图像恢复部分、次要图像恢复部分和显示部分。该分离部分接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像，该差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差。该分离部分还从该集合图像中分离主要图像和次要图像。主要图像恢复部分恢复与主要图像对应的源运动图像。次要图像恢复部分基于相邻帧的主要图像和所分离的次要图像，来恢复与次要图像对应的源运动图像。显示部分显示分别与主要图像和次要图像对应的源运动图像。

为了解决上述问题，根据本发明的另一方面，提供了图像接收方法，其包括接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像的步骤，该差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差。该图像接收方法还包括从集合图像分离主要图像和次要图像的步骤。该图像接收方法还包括恢复与主要图像对应的源运动图像的步骤。该图像接收方法还包括基于相邻帧的主要图像和所分离的次要图像，来恢复与次要图像对应的源运动图像的步骤。该图像接收方法还包括显示分别与主要图像和次要图像对应的源运动图像的步骤。

为了解决上述问题，根据本发明的另一方面，提供了图像传输设备，其包括输入部分、主要图像处理部分、次要图像处理部分和集合图像建立处理部分。向该输入部分顺序地输入多个不同源运动图像。该主要图像处理部分从多个不同源图像之一建立每个帧的主要图像。该次要图像处理部分从差分图像建立每个帧的次要图像，该差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差。集合图像建立处理部分通过组合主要图像和次要图像来建立集合图像。

提供了图像接收设备，包括分离部分、主要图像恢复部分、次要图像恢复部分和显示部分。该分离部分接收包括从多个不同源图像之一建立的主要图像和差分图像建立的次要图像的集合图像，该差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差。该分离部分还从该集合图像中分离主要图像和次要图像。主要图像恢复部分恢复与主要图像对应的源运动图像。次要图像恢复部分基于相邻帧的主要图像和所分离的次要图像，来恢复与次要图像对应的源运动图像。显示部分显示分别与主要图像和次要图像对应的源运动图像。

提供了图像传输系统，包括图像传输设备和图像接收设备。该图像传输设备包括输入部分、主要图像处理部分、次要图像处理部分和集合图像建立处理部分。向该输入部分顺序地输入多个不同源运动图像。该主要图像处理部分从多个不同源图像之一建立每个帧的主要图像。该次要图像处理部分从差分图像建立每个帧的次要图像，该差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差。该集合图像建立处理部分通过组合主要图像和次要图像来建立集合图像。该图像接收设备包括分离部分、主要图像恢复部分、次要图像恢复部分和显示部分。该分离部分接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像，该差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差。该分离部分还从该集合图像中分离主要图像和次要图像。主要图像恢复部分恢复与主要图像对应的源运动图像。次要图像恢复部分基于相邻帧的主要图像和所分离的次要图像，来恢复与次要图像对应的源运动图像。显示部分显示分别与主要图像和次要图像对应的源运动图像。

根据本发明，可以传输多个源运动图像而不降低分辨率。

附图说明

图1是用于说明示出跳动球等的运动图像的本发明的实施例的示意图；

图2是示出其中在已经消除了次要图像的情况下对于左眼和右眼交替布置主要图像的运动图像的示意图；

图3是示出其中在横向方向上布置主要图像和次要图像的情况的示意图；

图4是示出其中在垂直方向上布置主要图像和次要图像的情况的示意图；

图5是示出根据第一实施例的传输设备的处理块的示意图；

图6是示出根据第一实施例的接收设备的处理块的示意图；

图7是示出图5中的处理块的操作的传输侧流程图；

图8是示出次要图像处理的流程图；

图9是示出根据第一实施例的接收侧上的处理的流程图；

图10是示出根据第一实施例的接收侧上的处理的流程图；

图11是示出根据第二实施例的传输设备的处理块的示意图；

图12是示出根据第二实施例的接收设备的处理块的示意图；

图13是示出根据第二实施例的传输侧上的处理的流程图；

图14是示出图13中的次要图像处理的流程图；

图15是示出根据第二实施例的接收侧上的处理的流程图；

图16是示出图15中的次要图像恢复处理的流程图；

图17是示出根据第三实施例的传输设备的处理块的示意图；

图18是示出根据第三实施例的接收设备的处理块的示意图；

图19是示出根据第三实施例的传输侧上的处理的流程图；

图20是示出图19中的输出处理的流程图；

图21是示出次要图像处理的流程图；

图22是示出图21中的步骤S1102处的推定原始图像计算处理的流程图；

图23是示出主要图像处理的流程图；

图24是示出图23中的步骤S1306处的次要图像恢复处理的流程图；

图25是示出推定原始图像计算处理的流程图；

图26是示出集合图像的示意图，在每个集合图像中，次要图像位于主要图像的右侧和底侧；

图27是示出其中在三个位置上放置次要图像的集合图像的情况的示意图；

图28是示出其中在两个位置上放置次要图像的集合图像的情况的示意图；

图29是示出其中在两个位置上放置次要图像的集合图像的情况的示意图；

图30是示出在以原始图像尺寸处理差分图像的情况下的传输侧次要图像处理的流程图；

图31是示出在以原始图像尺寸处理差分图像的情况下的接收侧次要图像恢复处理的流程图；

图32是示出用于计算在当前帧L2中的推定原始图像L1的方法的示意图；以及

图33是示出其中传输三个完全不同的运动图像作为集合图像的情况的示意图。

具体实施方式

此后，将参考附图详细描述本发明的优选实施例。注意，在本说明书和所附附图中，用相同附图标记来标示具有实质上相同功能和结构的结构元素，且省略了这些结构元素的重复说明。

注意，将以以下顺序来进行描述。

1.第一实施例(根据本发明的实施例的基本配置)

2.第二实施例(使用原始图像来创建次要图像的例子)

3.第三实施例(使用运动补偿和加权来创建推定原始图像的例子)

1.第一实施例

在现有视频传输中传输双目立体运动图像的情况下，使用交替传输左眼图像和右眼图像而不独立地对于左眼图像和右眼图像进行运动图像传输的帧(场)顺序方法、在单个帧(场)内的左部和右部上传输左眼图像和右眼图像的并排方法、在单个帧(场)内的上部和下部传输左眼图像和右眼图像的上下方法等。

这些方法使得可以通过减半在时间维度、左右方向和上下方向之一上的样本的数量来传输左眼图像和右眼图像。因此，这些方法还减半在时间维度、左右方向和上下方向之一上的分辨率。

在时间维度上的分辨率(时间分辨率)不足够的情况下，发生消弱运动的跟踪，且丢失了运动的流畅性的现象。当在上下方向和左右方向之一中的分辨率(空间分辨率)减半时，发生其中对象的现实质量(具体地在静止图像中的对象的现实质量)丢失的现象。

假设在现有视频传输中正在传输单目(monocular)图像，因此如果以相同的压缩率进行编码，则在传输双目(binucular)立体运动图像的情况下的数据量加倍，这在时间维度、左右方向和上下方向之一上的减小的分辨率方面产生了折衷。

问题的实质在于，此时，即使不抑制维度(时间维度和空间维度)之一上的分辨率的降低，也还没有想象出一种方法，用于抑制分辨率的整体降低，代替抑制在这些维度之一中分辨率的降低。

以下将描述关于时间分辨率、空间分辨率和人类视觉的属性的已知内容。

静止图像和运动图像

在传输静止图像的情况下，优选地，空间分辨率高，且认为通过帧(场)顺序方法进行的传输是最好的。相反，在传输快速运动的运动图像的情况下，优选地，时间分辨率高，且认为通过减小垂直和水平方向上的图像的分辨率的并排方法和上下方法之一进行的传输是最好的。

但是，以普通视频摄像机捕获的图像的状态是，背景接近为静止图像，而前景接近为运动图像，因此不能统筹地陈述期望给予时间分辨率和空间分辨率之一优先权，或在空间分辨率的情况下牺牲垂直分辨率和水平分辨率之一。

视觉的属性和时间分辨率

人类视觉的属性之一是，对在时间维度上是否有图像变化强烈敏感。针对对象的运动，人类视觉还敏锐地响应于在运动速度上的变化以及不同于预测的运动。因此，在弹跳球(bouncing ball)的运动图像中，如图1所示，如果在时间维度上的采样减半且每个帧被显示两次，则观察到重复的停止和开始，且看到缺乏流畅性的不连贯的运动。

另外，当改变场景而不立即改变整个场景时，通过在随后的场景中混合之前的场景来实现更平滑的场景改变。该现象比运动对象更取决于静态对象，且认为静态对象的突然消失建立了不协调的感觉。

视觉的属性和空间分辨率

人类视觉的另一属性是，相比于关于与运动有关的任意东西的空间分辨率，对关于静态对象的空间分辨率更敏感。如果人们想到当车轮停止时车轮设计多么清楚地可见，但当车轮开始运动时变得难以观察到，则这就容易理解。

在旋转车轮的情况下，认为人类视觉关于运动对象对时间分辨率的敏感性以及其对空间分辨率的相对的不敏感性如下工作：如果旋转车轮的车轮设计的细节不清楚地可见，则观察者感觉不到不协调(incongruity)的感觉，但如果车轮看上去要停止和要开始、则即使车轮的设计的细节清楚地可见，观察者也将感到不协调的感觉。

双目视觉的校正动作

当人用两眼立体地看着某物时，即使在由一个眼睛获得的信息不足够的状态下，该信息也由另一眼睛获取的信息来补充，因此使得立体视觉成为可能。例如，在一个眼睛的视觉敏锐是劣等的情况下，即使眼睛看到的图像是模糊的，双目立体视觉也使得可以通过来使用来自另一眼睛的信息看到立体图像，且模糊可以看起来某种程度地消除。

如上所述，通过根据人类视觉考虑时间分辨率和空间分辨率，可以理解，不期望牺牲仅视觉维度、左右方向和上下方向之一的分辨率作为折衷，且优选地，构思一种方法以通过考虑人类视觉的属性来最佳地控制时间和空间分辨率。

考虑如下观点：本发明提供方法、系统和设备，其传输多个运动图像(具体为双目立体运动图像)、且通过考虑人类视觉的属性使得可以比由通过对仅时间维度、左右方向和上下方向之一的分辨率减半来传输双目立体运动图像的方法能实现的更好地控制时间和空间分辨率。

首先，将描述本实施例的基本形式。图5是示出根据第一实施例的传输设备100的处理块的示意图。在本实施例中的传输侧处理使用图5的左侧示出的左眼图像、右眼图像、主要图像(main image)减小率、次要图像(sccondary image)减小率、以及主要-次要布置信息作为其输入，且使用左和右标记、集合图像、主要图像减小率、次要图像减小率、主要-次要布置信息和推定原始图像零标记作为其输出。

左眼图像和右眼图像是可以通过用各个眼睛同时看它们来立体地观看的运动图像。主要图像和次要图像减小率涉及主要图像和次要图像的布置，且指示集合图像中主要图像和次要图像关于左眼运动图像和右眼运动图像的图像尺寸(被称为原始图像尺寸)而减小的程度。

在本实施例中，不一定将源运动图像的数量限制为二，但是首先，将说明其中输入了双目立体运动图像的情况，这是最有效的。在双目立体运动图像的情况下，源图像是左眼和右眼的运动图像，且在下文中它们将被称为左眼源图像和右眼源图像，因为这些术语比术语“第一源图像”和“第二源图像”更容易理解。

图2的左侧示出如何以时间顺序传输分别包括主要图像L0和次要图像dR0、主要图像R1和次要图像dL1、主要图像L2和次要图像dR2以及主要图像R3和次要图像dL3的集合图像。如图2所示，集合图像的每个是其中组合了主要图像和次要图像的图像，且它们的尺寸与左眼和右眼的原始图像相同。关于原始图像以由主要图像减小率规定的减小率减小主要图像。关于原始图像以由次要图像减小率规定的减小率减小次要图像。在本实施例中，可以在将适于集合图像的范围内修改用于主要图像和次要图像的减小率。例如，在消除了次要图像的情况下，如图2的右侧所示，布置主要图像L0、R1、L2和R3以便用于左眼和右眼的运动图像交替，因此该传输方法等效于帧顺序方法。

以与图2的左侧上的图相同的方式，图3和4的左侧上的图示出了其中主要图像减小率和次要图像减小率不同的情况。图3的中间的图示出其中已经使得主要图像和次要图像尺寸相同且将其布置在左部和右部、因此该传输方法等效于并排方法的情况。图4的中间的图示出其中已经使得主要图像和次要图像尺寸相同且将其布置在上部和下部、因此该传输方法等同于上下方法的情况。

在本实施例中，如图2到图4的左侧的图所示，通过使得主要图像减小率和次要图像减小率不同来建立集合图像。因此，在本实施例中，传输方法在帧顺序方法、并排方法和上下方法中间，其消除了必须通过将仅对时间维度、左右方向和上下方法之一的分辨率减半来传输双目立体运动图像的局限，其又使得可以根据要被传输的内容、通过设置接近于帧顺序方法的传输方法、接近于并排方法的传输方法等来控制时间和空间分辨率。在本实施例中，随着主要减小率增加，设置该传输方法更接近于帧顺序方法，且随着主要图像减小率降低，设置该传输方法更接近于并排方法和上下方法之一。

如图3所示，如果当前帧是第二帧，则次要图像dL1是在当前帧中的主要图像L1和在之前帧中的主要图像L0之间的差，且不从传输侧传输主要图像L1。换句话说，可以通过传输差dL1作为第二帧中的左眼图像来减小次要图像的数据量，且可以通过关于主要图像减小次要图像来建立集合图像。以相同的方式，次要图像dR2是主要图像R2和在之前帧中的主要图像R1之间的差，且不从传输侧传输主要图像R2。概括该模式得到公式dR_2n＝R_2n-R_2n-1和dL_2n+1＝L_2n+1-L_2n。在图4中示出的上下方法的情况类似。注意，dR_2n和dR_2n+1称为差分图像。

在本实施例中，基于时间轴的方向上的差分图像的概念引入校正差分图像使得可以分离随时间变化的成分与不随时间变化的成分，并分离静态对象和运动对象的空间频率的处理。这考虑人类视觉的属性，即，人对空间频率的高范围分量的敏感性对于静态对象和运动对象不同，这意味着可以修改主要图像和次要图像的减小率，并通过从次要图像中排除静态对象来改进主要图像的分辨率，这是因为人对高范围分量的敏感性高，以便次要图像变得更抵抗高范围中的恶化。

换句话说，不修改在一帧和下一帧之间保持静态的部分的数据。例如，在帧L1和帧L2中，静态部分的数据是相同的，因此仅修改存在运动的部分。因此，差分图像dL1(L1-L0)是与存在运动的部分对应的图像。

关于次要图像，可以仅在增加了减小率的图像中(仅在被使得更小的次要图像中)，避免在图像中的减小的清楚性，但是分离出静态对象改进了对高范围中的恶化的对抗，且改进了主要图像的高范围属性，主要图像是相反侧的眼睛的图像，这用在双目立体视觉中来补偿丢失的信息。

另外，交替切换关于左眼图像和右眼图像的主要图像和次要图像、并对于次要图像内的静态对象、从来自包括相同眼睛的时间轴上向前和向后方向上的主要图像的推定原始图像包括高范围分量，这使得可以获得图像信息，并使得可以以高分辨率显示静态对象。

使用上述本实施例使得可以提供方法、系统和设备，其通过考虑人类视觉的属性来用比通过常用方法能够进行的时间和空间分辨率的更好的控制来传输双目立体运动图像，该常用方法通过仅对时间维度、左右方向和上下方向之一减半分辨率来传输双目立体运动图像。

接下来，将说明除了双目立体运动图像以外的多个运动图像的本发明的处理的效果。本实施例的特征之一在于，在传输双目立体运动图像的情况下，有效地使用补充双目立体视觉的动作以补偿丢失的信息和布置在集合图像中的主要图像和次要图像有利于集合图像的运动图像压缩。但是，由于分开地处理每个源图像，因此该处理本身不局限于立体运动图像处理，且不局限于具有两个运动图像作为输入。

例如，可以通过顺序改变用作主要图像的源图像来处理其中传输三个完全不同的运动图像作为集合图像的情况，如图33所示。即使在该情况下，将次要图像基于在时间轴的方向上的差分图像的概念也保持不变，因此可以通过分离出静态对象来改进对空间频率的高范围的恶化的抵抗，并且可以传输次要图像而几乎不具有减小和放大的效果。

存在除了主要图像以外的两个源图像，因此在集合图像中，布置第一源图像作为主要图像L0，布置第二源图像作为次要图像dL0，且布置第三源图像作为次要图像dR0。同样在此情况下，布置这些图像以便主要图像具有高分辨率且减小次要图像的图像尺寸，这使得可以对主要图像中的静态对象提供好的空间分辨率，并对次要图像中的运动对象提供时间维度上的好的分辨率。

根据上述本实施例，可以提供方法、系统和设备，其通过考虑人类视觉的属性，可以以时间和空间分辨率的最佳控制来传输多个运动图像(具体为双目立体运动图像)。

任何一个源图像的次要图像的数量不限于一，且可以在集合图像内布置多个次要图像。例如，图26示出集合图像，在每个集合图像中，在主要图像的右侧和底侧上布置次要图像。在第一帧中，例如，L0是主要图像，而dR00和dR10是次要图像。主要图像L0和R1的尺寸与原始图像尺寸的比率被定义为主要图像减小率，且次要图像dR00和dR10的尺寸与原始图像尺寸的比率被定义为次要图像减小率。

图5中的处理块被划分为输入部分110、主要图像处理部分120、次要图像处理部分130和集合图像建立处理部分140。通过在图7中的本实施例中的传输侧处理的流程图来描述处理块的操作。

在传输侧处理中，存在用于确定左眼图像和右眼图像中的哪个是主要图像且哪个是次要图像的左标记和右标记(这些标记的初始值是左眼图像是主要图像，且右眼图像是次要图像)。输入部分110取得输入的原始左眼图像和右眼图像，并将它们分别分配给主要图像处理部分120和次要图像处理部分130。

在主要图像处理部分120中，根据主要图像减小率来减小(按原始图像尺寸)原始主要图像，以便其匹配集合图像内的主要图像的尺寸。因为dR_2n＝R_2n-R_2n-1和dL_2n+1-L_2n+1-L_2n，保存主要图像(R_2n-1和L_2n之一)以便用于建立下一帧的次要图像(R_2n和L_2n+1之一)。接下来，输出指示主要图像和次要图像的左标记和右标记，且在集合图像内布置主要图像和次要图像，然后输出该集合图像。如果仍剩余输入图像，切换左和右标记的设置，以便也将切换由输入部分110向主要图像处理部分120和次要图像处理部分130的原始左眼图像和右眼图像的分配。

次要图像处理部分130计算次要图像。将根据图8中示出的次要图像处理的流程图，来说明由次要图像处理部分130进行的处理。首先，建立推定原始图像。在本实施例中，紧接在之前的主要图像被放大或减小到当前主要图像的尺寸，且被定义为推定原始图像(步骤S200)。通过次要图像处理部分130的放大和减小部分131来进行该处理。注意，如果主要图像尺寸保持未改变，如图3和图4所示，不需要紧接在之前的主要图像的放大和减小之一，因此紧接在之前的主要图像(如图3和图4所示的L0、L2、R1、R3)等被定义为推定原始图像。

但是，进行次要图像处理的第一时间、不存在紧接在之前的主要图像，因此推定原始图像的所有像素值被设置为零。也设置推定原始图像零标记以便允许接收侧确定是否已经进行了设置推定原始图像的像素值为零的处理。在本实施例中，确定如果推定原始图像零标记被设置为1，则已经将像素值设置为零。

接下来，(按原始图像尺寸的)原始次要图像被减小到与推定原始图像相同的尺寸(步骤S202)，且通过从减小原始次要图像(图3和4中的L1、L3、R0、R2等)减去推定原始图像来计算差分图像(步骤S204)。通过减小处理部分132来进行减小处理，且通过差分图像计算部分133进行差分图像的计算。在本实施例中，差分图像等于减小原始次要图像减去推定原始图像，因此如果向差分图像添加推定原始图像，则可以按主要图像尺寸来产生原始次要图像。在接收侧上，可以基于从紧接在之前的集合图像中提取的主要图像来计算推定原始图像。

在某些情况下，在主要图像的右侧和底侧上布置次要图像，如图26所示。在这类情况下，在本实施例中，首先计算主要图像的右侧上的次要图像(第二帧中的dL00)，以及接下来计算主要图像的底侧上的次要图像(在第二帧中的dL01)。首先如上述计算的差分图像被减小为右侧上的次要图像的尺寸，且被输出为校正差分图像(次要图像)。如果对步骤S208的问题“是否存在剩余要得到的次要图像”的答案是“是”，则进行对底侧上的次要图像的计算的处理。也就是说，通过将在底侧上布置的次要图像之前计算的次要图像(在本实施例中，在右侧上的次要图像)放大到主要图像尺寸来计算放大次要图像，且通过从差分图像减去放大次要图像来计算新的差分图像(步骤212)。换句话说，新的差分图像等于差分图像减去放大次要图像。新的差分图像被减小到底侧上的次要图像的尺寸，输出在底侧上的次要图像，终止要得出的所有次要图像的计算，且终止次要图像处理。

在该情况下，如果假设在第K集合图像中的主要图像是M(K)，则右侧上的次要图像是dS0(K)，且底侧上的次要图像是dS1(K)，且如果假设将差分图像减小到右侧上的次要图像的尺寸的处理是F1，将在右侧上的次要图像放大到主要图像的尺寸的处理是F2，将差分图像减小到底侧上的次要图像的尺寸的处理是G1，且将底侧上的次要图像放大到主要图像的尺寸的处理是G2，则

(次要图像dS0(K))

＝F1×(差分图像)

＝F1×((减小原始次要图像)-(推定原始图像))

(新的差分图像)

＝(差分图像)-(放大次要图像)

＝(差分图像)-F2×(次要图像)

＝(差分图像)-F2×F1×(差分图像)

＝(1-F2×F1)×(差分图像)

＝(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

因此，

(次要图像dS1(K))

＝G1×(新的差分图像)

＝G1×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

因为通过减小处理来减小数据量，即使在减小处理之后进行放大处理，也不能恢复预减小图像，因此其将不会发生在新的差分图像中的所有像素为零。但是，在其中减小率和放大率都是1.0的例外情况(即，不进行减小的情况)下，F2×F1等于1，因此在新的差分图像中的所有像素变为零，且新的差分图像不再具有任何意义。在该情况下，相邻于集合图像中的主要图像的次要图像占据了与主要图像相同尺寸的面积，这与通过并排方法和上下方法使用的布置相同。

差分图像被视为包括正和负值，因此当使用与主要图像相同的位数在集合图像中布置差分图像时，削弱了差分图像的精确度。在本实施例中，使用在其量化的精确度方面没有问题的交替的主要图像，且关于此，缩小了差分图像的精确度，因此通过整个系列的运动图像，不太可能产生质量问题，但是可想到，除了简单地忽略最低阶位的处理以外还可以使用非线性量化等。

注意，仅在其中仅存在一个次要图像尺寸且其尺寸与主要图像尺寸相同的特殊情况下，在传输侧和接收侧之间进行布置来将次要图像，而不是校正差分图像处理为已经减小到次要图像尺寸的原始次要图像，因此使得可以避免由于通过减法来生成加和减符号的位数的增加而导致的精确度的降低。

可以想象其中在集合图像中的三个位置布置次要图像的情况，如图27所示。在该情况下，如果假设在右下的次要图像是dS2(K)，减小差分图像到右下的次要图像的尺寸的处理是H1，且放大右下的次要图像到主要图像的尺寸的处理是H2，则事实上，差分图像已经被表示为

差分图像＝(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

意味着新的差分图像被表示如下：

(新的差分图像)

＝(差分图像)-(放大次要图像)

＝(差分图像)-G2×(次要图像)

＝(差分图像)-G2×G1×(差分图像)

＝(1-G2×G1)×(差分图像)

＝(1-G2×G1)×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

因此，

(次要图像dS2(K))

＝H1×(新的差分图像)

＝H1×(1-G2×G1)×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

当以此方式建立次要图像时，通过放大部分135来将次要图像放大到主要图像尺寸。当计算下一帧的差分图像时，使用放大次要图像作为推定原始图像(在紧接在之前的帧中的主要图像)。

集合图像建立处理部分140接收作为来自主要图像处理部分120的输入的主要图像，且接收作为来自次要图像处理部分130的输入的次要图像，然后建立集合图像并将其输出到接收设备200。另外，如图5所示的传输设备100向接收设备200传输左和右标记、推定原始图像零标记、主要图像减小率、次要图像减小率和主要-次要布置信息。

接收侧处理

接下来，将说明接收侧处理。图6是示出根据本实施例的接收设备200的处理块的示意图。本实施例中的接收侧处理使用集合图像、主要-次要布置信息、主要图像减小率、次要图像减小率、左和右标记以及推定原始图像零标记作为其输入，其在图6的左侧示出，且输出左眼运动图像和右眼运动图像。图6中的处理块被划分为输入部分210、主要图像处理部分220、次要图像处理部分230和恢复图像分离处理部分240。通过图9和图10的流程图来示出接收侧处理。

用图9中的流程图开始说明，图6中的输入部分210基于已经输入的集合图像和主要-次要布置信息来提取主要图像和次要图像(步骤S300)。在图3和图4中的每个集合图像中，仅存在一个次要图像。在图26中的每个集合图像中，存在两个次要图像，且在图27中的每个集合图像中，存在三个次要图像。向主要图像处理部分220输入主要图像，且向次要图像处理部分230输入次要图像。接下来，通过次要图像处理部分230进行稍后描述的次要图像恢复处理，且计算恢复次要图像(步骤S302)。此后，主要图像处理部分220使用主要图像减小率来将主要图像放大到原始图像尺寸，且计算恢复主要图像(步骤S304)。通过主要图像处理部分220的放大处理部分221来进行放大以建立恢复主要图像。在下一次要图像恢复处理中使用恢复主要图像，因此保存主要图像减小率和主要图像直到进行下一次要图像恢复处理(步骤S306)。

然后，已经产生的恢复主要图像和恢复次要图像被分离为左眼图像和右眼图像并被输出(步骤S308)。一旦对所有集合图像重复了从步骤S310到步骤S300的循环，则终止接收侧处理。

图10是示出次要图像恢复处理的流程图。次要图像恢复处理是将已经被调整为相应的推定原始图像的尺寸的所有次要图像相加、将它们放大到其原始图像尺寸并输出它们的处理。

首先，次要图像恢复处理通过使用紧接在之前的主要图像和当前图像的主要图像减小率将紧接在之前的主要图像放大或减小到当前主要图像尺寸，来得到推定原始图像(步骤S400)。注意，如果还没有改变主要图像的尺寸，则如图3和图4所示，不需要放大或减小的步骤，且紧接在之前的主要图像被定义为推定原始图像。该处理基于在本实施例中的传输侧和接收侧之间进行以定义紧接在之前的图像作为推定原始图像的布置，且使用在传输侧和接收侧两者上的相同的推定原始图像进行该处理。但是，在已经将推定原始图像零标记设置为1的情况下，传输侧处理用被设置为零的推定原始图像的所有像素值来计算次要图像，因此将推定原始图像的像素值都被设置为零。

接下来，将推定原始图像定义为暂时恢复图像(步骤S402)，且次要图像的每个被放大为当前主要图像尺寸(步骤S404)且依次被添加到暂时恢复图像(步骤S406)。一旦已经为所有次要图像完成了从步骤S408到步骤S404的循环，则暂时恢复图像被放大到原始图像尺寸，并被输出为恢复次要图像(步骤S410)，此后终止次要图像恢复处理。

例如，考虑在传输侧处理中的图26中的集合图像，如果假设在第K个集合图像中的主要图像是M(K)，右侧上的次要图像是dS0(K)，且底侧上的次要图像是dS1(K)，而如果假设将差分图像减小到右侧上的次要图像的尺寸的处理是F1，将在右侧上的次要图像放大到主要图像的尺寸的处理是F2，将差分图像减小到底侧上的次要图像的尺寸的处理是G1，且将底侧上的次要图像放大到主要图像的尺寸的处理是G2，则如下表示其中添加了所有次要图像的状态下的暂时恢复图像：

(暂时恢复图像)

＝(推定原始图像)+F2×(次要图像dS0(K))+G2×(次要图像dS1(K))

＝(推定原始图像)

+F2×F1×((减小原始次要图像)-(推定原始图像))

+G2×G1×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

＝(减小原始次要图像)

＝(1-G2×G1)×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

最佳情况是恢复减小原始次要图像，但进行减小处理以便将该分辨率与集合图像的分辨率齐平，因此除了特殊情况，表达式(1-G2×G1)×(1-F2×F1)将不等于零。当然，可以将表达式(减小原始次要图像)-(推定原始图像)重述为当前帧和之前帧之间的差分图像，这意味着可以没有任何问题地恢复静止图像。

对于图27，其中次要图像的数量更大，暂时恢复图像更接近于减小原始次要图像：

(暂时恢复图像)

＝(推定原始图像)+F2×(次要图像dS0(K))+G2×(次要图像dS1(K))+H2(次要图像dS2(K))

＝(推定原始图像)

+F2×F1×((减小原始次要图像)-(推定原始图像))

+G2×G1×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

+H2×H1×(1-G2×G1)×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

＝(减小原始次要图像)

-(1-H2×H1)×(1-G2×G1)×(1-F2×F1)×((减小原始次要图像)-(推定原始图像))

接下来，在更具体的方面来说明减小处理和放大处理。例如，在图26中，在减小了右侧上的次要图像的情况下，不改变垂直维度中的尺寸，因此在水平方向上向每行的像素应用一维滤波器以减小(pare down)像素数并输出水平减小的图像。

该处理将整个图像视为矩阵，且如果将每个像素视为矩阵的元素，则可以将矩阵运算表示如下：

[水平减小图像]＝[原始图像][F1]

F1的i-列向量是用于计算输出的水平减小图像的i列的像素的减小FIR滤波器的系数。换句话说，其是用于计算用于向关心的像素周围的区域分配权重的代表像素值的向量，且列向量的数量用作水平减小图像的水平宽度。因此，[F1]不是方矩阵，而是行的数量大于列的数量的矩阵。

另外，在水平放大处理中，通常进行的处理类似地也可以被表示为如下矩阵：

[水平放大图像]＝[原始图像][F2]

以与F1相同的方式，i-列向量是用于计算输出的恢复图像的i列的像素的放大FIR滤波器的系数。差别是该矩阵具有比列更少的行。

使用该方法，在水平减小之后放大和恢复图像的处理表示如下：

[恢复图像]＝[原始图像][F1][F2]

相反，在垂直方向上，i行向量、而不是i列向量用作滤波器，且从不同方向处理该矩阵，因此

[恢复图像]＝[G2][G1][原始图像]

如果使用这些关系来计算图26的暂时恢复图像，则

[次要图像dS0(K)]＝([减小原始次要图像]-[推定原始图像])[F1]

[次要图像dS1(K)]＝[G1]([减小原始次要图像]-[推定原始图像])(1-[F1][F2])

(暂时恢复图像)

＝[减小原始次要图像]

-(1-[G2][G1])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])

对于图27，在垂直方向和水平方向两者上放大和减小更大数量的次要图像。如果考虑使用分离的滤波器用于垂直方向和水平方向(减小滤波器H10、H11；放大滤波器H20、H21)，则

[次要图像dS2(K)]＝[H10](1-[G1][G2])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])[H11]

[暂时恢复图像]

＝[减小原始次要图像]

-(1-[G2][G1])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])

+[H20][H10](1-[G2][G1])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])[H11][H21]

＝[减小原始次要图像]

-(1-[H20][H10])(1-[G2][G1])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])

-(1-[G2][G1])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])(1-[H11][H21])

+(1-[H20][H10])(1-[G2][G1])([减小原始次要图像]-[推定原始图像])(1-[F1][F2])(1-[H11][H21])

在本实施例中，使用紧接在之前的主要图像用于推定原始图像，且暂时恢复图像的错误分量取决于随时间改变的图像的部分。因为上述减小和放大滤波器被设计为低通滤波器，发生对于图26和图27两者的关于随时间改变的图像的部分产生的错误，这是因为可以被描述为全范围减低通滤波器的高通滤波器替换了在紧接在之前的主要图像中随时间改变的图像的部分的高频分量。

如之前描述的，人类视觉的属性之一是，对时间维度的变化极敏感，但不对空间维度的高频分量那么敏感，因此认为特定量的错误是可允许的。但是，应该避免其中减小和放大滤波器导致在紧接在之前的帧中不存在的假轮廓和在时间维度中的图像的摇摆的情形。

一旦如上所述恢复了主要图像和次要图像，恢复图像分离处理部分240根据左和右标记将主要图像和次要图像分离为左眼图像和右眼图像。因此，可以产生左眼图像和右眼图像。

2.第二实施例

在第二实施例中，简化第一实施例中的处理。在第一实施例中，用按主要图像尺寸的次要图像进行大多数次要图像处理，且在传输侧上，进行将主要图像从原始图像尺寸减小到主要图像尺寸并将次要图像减小到次要图像尺寸的图像处理。在传输次要图像之后，在接收侧上将其从次要图像尺寸放大到主要图像尺寸，然后，由图像处理产生的暂时恢复图像被进一步放大到原始图像尺寸并显示。

相反，在第二实施例中，按原始图像尺寸而不是按主要图像尺寸来进行次要图像的处理。图11是根据第二实施例的传输设备100的处理块的示意图。不像图5，在差分图像计算部分133之前不进行原始次要图像的减小处理。与第一实施例的另一点差异是已经被保存的主要图像被放大部分136放大到原始图像尺寸，而不是当前主要图像尺寸。

在图13中示出了在本实施例中的传输侧处理的流程图。图13中的处理的流程图与图7中的流程图中的处理相同，差异在于图13中的步骤S504的次要图像处理对图7中的步骤S104。该差异在图14中示出的次要图像处理流程图中很明显。

如图14中的第一步骤所示，在本实施例中，用作推定原始图像的图像是被放大到原始图像尺寸的紧接在之前的主要图像(步骤S600)。由放大部分136进行放大处理。注意，在不存在紧接在之前的主要图像的情况下，将推定原始图像的所有像素值设置为零并设置推定原始图像零标记以指示已经将推定原始图像的所有像素值设置为零的处理与图8中的处理相同。

因为该原始次要图像是原始图像尺寸，该差分图像被定义为原始次要图像减去推定原始图像(步骤S602)。因为差分图像等于原始次要图像减去推定原始图像，可以通过向差分图像添加推定原始图像来产生原始次要图像。注意，在接收侧上，可以基于从紧接在之前的集合图像中提取的主要图像来计算推定原始图像。

在本实施例中，如果首先计算右侧上的次要图像，且接下来计算底侧上的次要图像，则首先计算的差分图像被减小到右侧上的次要图像的尺寸，且被输出为校正差分图像(次要图像)(步骤S604)。

如果对图14中的步骤S606的问题“是否存在剩余要得到的次要图像”的答案是“是”，则进行对底侧上的次要图像的计算的处理。也就是说，通过将在底侧上布置的次要图像之前计算的次要图像(在本实施例中，右侧上的次要图像)放大到原始图像尺寸来计算放大次要图像(步骤S608)，且通过从差分图像减小放大次要图像来计算新的差分图像(步骤610)。

换句话说，新的差分图像等于差分图像减小放大次要图像。一旦新的差分图像已经被减小到底侧上的次要图像的尺寸，已经输出底侧上的次要图像，且已经终止要得到的所有次要图像的计算，终止次要图像处理。

在该情况下，如果假设在第K集合图像中的主要图像是M(K)，右侧上的次要图像是dS0(K)，且底侧上的次要图像是dS1(K)，而如果假设将差分图像减小到右侧上的次要图像的尺寸的处理是F1，将在右侧上的次要图像放大到原始图像尺寸的处理是F2，将差分图像减小到底侧上的次要图像的尺寸的处理是G1，且将底侧上的次要图像放大到原始图像尺寸的处理是G2，则

(次要图像dS0(K))

＝F1×(差分图像)

＝F1×((原始次要图像)-(推定原始图像))

(新的差分图像)

＝(差分图像)-(放大次要图像)

＝(差分图像)-F2×(次要图像)

＝(差分图像)-F2×F1×(差分图像)

＝(1-F2×F1)×(差分图像)

＝(1-F2×F1)×((原始次要图像)-(推定原始图像))

因此，

(次要图像dS1(K))

＝G1×(新的差分图像)

＝G1×(1-F2×F1)×((原始次要图像)-(推定原始图像))

因为通过减小处理来减小数据量，即使在减小处理之后进行放大处理，也不能恢复预减小图像，因此其将不会发生在新的差分图像中的所有像素为零。

对于图27中的第三次要图像，如果假设在右下的次要图像是dS2(K)，减小差分图像到右下的次要图像的尺寸的处理是H1，且放大右下的次要图像到主要图像的尺寸的处理是H2，则事实上，差分图像已经被表示为

差分图像＝(1-F2×F1)×((原始次要图像)-(推定原始图像))

意味着新的差分图像被表示如下：

(新的差分图像)

＝(差分图像)-(放大次要图像)

＝(差分图像)-G2×(次要图像)

＝(差分图像)-G2×G1×(差分图像)

＝(1-G2×G1)×(差分图像)

＝(1-G2×G1)×(1-F2×F1)×((原始次要图像)-(推定原始图像))

因此，

(次要图像dS2(K))

＝H1×(新的差分图像)

＝H1×(1-G2×G1)×(1-F2×F1)×((原始次要图像)-(推定原始图像))

接下来，图12中示出了根据第二实施例的接收设备200的处理块。其中在主要图像处理之前保存主要图像和主要图像减小率的图6中的处理已经被改变为在主要图像处理之后保存按原始图像尺寸的主要图像的处理。另外，次要图像处理已经被改变以便如对推定原始图像那样地使用按原始尺寸的紧接在之前的主要图像，且与放大次要图像组合。在其中组合推定原始图像和放大次要图像的处理块之后，所组合的推定原始图像和放大次要图像被输入到恢复图像分离处理，而没有任何放大处理，因此次要图像处理比图6中的更简单。

由图15和图16中的流程图示出接收侧处理。图15中的处理的流程图与图9中的流程图中的处理相同，差异在于其中保存主要图像和主要图像减小率的第一实施例已经被改变以便保存恢复主要图像这一点(该差异是在步骤S302和步骤S702之间)。在图16所示的次要图像恢复处理中，与图10所示的处理不同的点是推定原始图像尺寸和放大次要图像尺寸都是原始图像尺寸，因为暂时恢复图像是原始图像尺寸(步骤S800到S804)，且放大到原始图像尺寸不必须当输出恢复次要图像时完成(步骤810)。

考虑在传输侧处理中的图26中的集合图像，如果假设在第K个集合图像中的主要图像是M(K)，右侧上的次要图像是dS0(K)，且底侧上的次要图像是dS1(K)，且如果假设将差分图像减小到右侧上的次要图像的尺寸的处理是F1，将在右侧上的次要图像放大到原始图像尺寸的处理是F2，将差分图像减小到底侧上的次要图像的尺寸的处理是G1，且将底侧上的次要图像放大到原始图像尺寸的处理是G2，则如下表示其中添加了所有次要图像的状态下的暂时恢复图像：

(暂时恢复图像)

＝(推定原始图像)+F2×(次要图像dS0(K))+G2×(次要图像dS1(K))

＝(推定原始图像)

+F2×F1×((原始次要图像)-(推定原始图像))

+G2×G1×(1-F2×F1)×((原始次要图像)-(推定原始图像))

＝(原始次要图像)

-(1-G2×G1)×(1-F2×F1)×((原始次要图像)-(推定原始图像))

最佳情况是恢复原始次要图像，但进行减小处理以便将该分辨率与集合图像的分辨率的齐平，因此表达式(1-G2×G1)×(1-F2×F1)将不等于零。当然，可以将表达式(原始次要图像)-(推定原始图像)重述为当前帧和之前帧之间的差分图像，这意味着可以没有任何问题地恢复静止图像。

对于图27，其中次要图像的数量更大，暂时恢复图像更接近于原始次要图像：

(暂时恢复图像)

＝(推定原始图像)+F2×(次要图像dS0(K))+G2×(次要图像dS1(K))+H2(次要图像dS2(K))

＝(推定原始图像)

+F2×F1×((原始次要图像)-(推定原始图像))

+G2×G1×(1-F2×F1)×((原始次要图像)-(推定原始图像))

+H2×H1×(1-G2×G1)×(1-F2×F1)×((原始次要图像)-(推定原始图像))

＝(原始次要图像)

-(1-H2×H1)×(1-G2×G1)×(1-F2×F1)×((原始次要图像)-(推定原始图像))

接下来，以与第一实施例相同的方式，在更具体的方面来说明减小处理和放大处理。在第一实施例中已经示出了，通过向多个像素分配权值来计算输出像素的减小处理和放大处理可以被表示为矩阵运算。还将以与矩阵运算相同的方式来说明根据本实施例的处理。注意，还可以使用不能被表示为矩阵运算的减小处理和放大处理。

在本实施例中，用按原始图像尺寸的次要图像来进行次要图像处理，因此在右侧上的次要图像和底侧上的次要图像两者的垂直和水平方向上进行减小和放大处理。如果假设右侧上的次要图像的减小处理是F10、F11，且放大处理是F20、F21，且如果假设底侧上的次要图像的减小处理是G10，G11，且放大处理是G20、G21，则在图26的次要图像处理和次要图像恢复处理中，

[次要图像dS0(K)]＝[F10][差分图像0][F11]

但是，

[差分图像0]＝[原始次要图像]-[推定原始图像]

[次要图像dS1(K)]＝[G10][差分图像1][G11]

但是，

[差分图像1]

＝(1-[F20][F10])[差分图像0]

+[差分图像0](1-[F11][F21])

-(1-[F20][F10])[差分图像0](1-[F11][F21])

[恢复次要图像]

＝[原始次要图像]

+(1-[G20][G10])[差分图像1](1  [G11][G21])

-[差分图像1](1-[G11] [G21])

-(1-[G20][G10])[差分图像1]

对于图27，通过其大量的次要图像，如果考虑其中减小处理是H10、H11，且放大处理是H20、H21的情况，则

[次要图像dS2(K)]＝[H10][差分图像2] [H11]

但是，

[差分图像2]＝[差分图像1]-[G20][G10])[差分图像1][G11][G21]

＝(1-[G20][G10])[差分图像1]

+[差分图像0](1-[G11][G21])

-(1-[G20][G10])[差分图像1](1-[G11] [G21])

[恢复次要图像]

＝[原始次要图像]

+(1-[H20][H10])[差分图像2](1-[H11][H21])

-[差分图像2](1-[H11][H21])

-(1-[H20][J10])[差分图像2]

在上述公式中，如果次要图像的数量增加，则认为恢复次要图像变得更接近于原始次要图像，但实际上通过对集合图像的分辨率的限制来更改减小和放大处理的矩阵F、G和H。因此，图27中的三个次要图像的情况比图28和图29中的两个次要图像的情况的优势根据对分辨率的限制而改变。还可能发生其中具有一个次要图像的简单主要图像是优选的情况。最佳情况也取决于传输的内容的特征，因此可以灵活地处理这些情况。

如果对于每个集合图像传输主要-次要布置信息、主要图像减小率和次要图像减小率，可以动态地改变主要-次要布置。还可以限制改变的数量且仅当发生改变时传输。也可以固定主要-次要布置、减小率和传输与接收时间，以便不包括传输参数。还可以传输用于减小和放大处理的滤波器参数以及主要图像减小率和次要图像减小率。

在本实施例中，按原始图像尺寸建立差分图像，因此即使次要图像尺寸和主要图像尺寸相同，则F1、F2的减小率和放大减小率将不会是1.0。因此，构思将使用图30中所示的传输侧次要图像处理，且将使用图31中所示的接收侧次要图像处理。

在图30和图31中的流程图中，首先确定主要图像和次要图像的减小率是否相同。在它们相同的情况下，不使用差分图像，如在传输侧上那样减小原始次要图像，且在接收侧上，未更改的次要图像被放大到原始图像尺寸并输出。注意，对大多数内容，更适当地考虑次要图像小于主要图像，而不是次要图像和主要图像尺寸相等，因此它不总是需要图30和图31中的处理的情况。

3.第三实施例

在第三实施例中，将描述包括运动补偿的例子。在第一实施例中，建立次要图像并从次要图像建立恢复图像所需的推定原始图像被定义为紧接在之前的集合图像中的主要图像。但是，在第三实施例中，通过参考多个主要图像和恢复次要图像来建立推定原始图像。另外，在第三实施例中，进行检测在主要图像和恢复次要图像之间的运动的处理，并补偿该运动，且通过加权平均来计算推定原始图像。

在本实施例中，使用紧接在之前的主要图像的和前第三和第五的主要图像、前第二和第四的恢复次要图像来计算推定原始图像，该前第二和第四的恢复次要图像是主要图像尺寸且紧接在之后的是主要图像。图32是计算当前帧L2中的推定原始图像L1的方法的示意图。在该情况下，使用L₀、L_-2和L_-4作为紧接在之前的主要图像和前第三和第五的主要图像，使用L_-1和L_-3作为是主要图像尺寸的前第二和第四的恢复次要图像，且使用L₂作为紧接在之后的主要图像。

运动检测和运动补偿处理将主要图像尺寸图像划分为八个像素乘以八个像素的块。然后，该处理确定这些块匹配的其他图像的哪个部分，重新布置这些匹配部分，并计算推定原始图像。明显地，对用于计算的主要图像的数量、主要图像尺寸和恢复次要图像的数量不设置具体限制，且不对运动检测方法和运动补偿方法设置具体限制。可以使用任何运动检测方法和任何运动补偿方法将本实施例应用于任何数量的图像。

图17是示出根据第三实施例的传输设备100的处理块的示意图。在图17中，次要图像处理块内的处理不同于图5中的处理，且输入部分暂时缓冲原始次要图像和次要图像减小率。另外，在图17中，从主要图像处理部分120输出的左和右标记以及主要图像被缓冲，且可以供应由次要图像处理部分需要的多个主要图像和主要图像减小率，因为从主要图像处理部分120输出的多个主要图像和主要图像减小率可以被缓冲。

在图17中，从次要图像处理部分130输出的主要图像尺寸恢复次要图像和恢复次要图像减小率也被缓冲，因此可以供应由次要图像处理需要的主要图像尺寸恢复次要图像和恢复次要图像减小率。另外，在图17中，输出平均加权而不是推定原始图像零标记。上述图17中的结构元件不同于图5中的结构元件。

结合该修改，在图19中的流程图是图7中的流程图的修改形式。首先，分别将左和右标记设置为主要和次要，且称为p_num的集合图像计数器被设置为零(步骤S900)。左和右标记指示左眼图像和右眼图像中的哪个是主要图像以及哪个是次要图像，且p_num是集合图像的图像号，对于第一图像计数值被设置为零，且每次建立集合图像时递增1。

剩余的处理是处理所有双目图像的循环。首先，根据左和右标记，双目图像被分离为原始主要图像和原始次要图像(步骤S902)，然后保存原始次要图像和次要图像减小率(步骤S904)。

接下来，进行其中根据主要图像减小率来减小原始主要图像且减小主要图像被定义为主要图像的主要图像处理(步骤S906)。此时，保存主要图像和主要图像减小率，且还保存指示主要图像和次要图像的左和右标记(步骤S908)。因此保存的数据可以使用指示数据应用于多个图像中的哪个的图像索引等来搜索，以第一图像开始，因此使得可以标识用于输出处理和次要图像处理所需的图像。

在流程图中的此时，确定用于次要图像处理所需的之后的主要图像是否是可用的，且该处理根据确定的结果而分支(步骤S910)。在本实施例中，使用紧接在之前的主要图像和前第三和第五的主要图像、是主要图像尺寸的前第二和第四的恢复次要图像和紧接在之后的主要图像，因此，用于由p_num指示的次要图像的次要图像处理的之后的主要图像是由p_num+1指示的主要图像。

因此，在处理的第一轮，没有之后的主要图像是可用的，且确定的结果是否。因为双目图像明显地仍剩余，在下一分支点的确定的结果是“是”，因此在步骤S928处切换左和右标记的主要和次要设置，且重复循环处理。当重复该处理时，次要图像处理所需的之后的主要图像(p_num+1)是可用的，因此在步骤S910处的确定的结果是“是”，且对由p_num指示的次要图像进行次要图像处理(步骤S922)和输出处理(步骤S924)。

进行循环处理直到根据步骤S926的确定已经处理了所有双目图像。一旦最后的双目图像已经被划分为主要和次要图像并被保存，且已经进行了分支处理、次要图像处理和输出处理，不存在剩余的双目图像。但是，因为使用之后的主要图像，在由次要图像处理处理的图像的数量和保存的主要图像和次要图像的数量之间产生不一致，因此必须继续该处理直到已经在集合图像中布置了所有主要图像并将其传输为止。因此，在步骤S920处切换左和右标记的主要和次要设置，且再次进行次要图像处理和输出处理，而不是之后的主要图像，以便在当已经处理了所有保存的原始次要图像时的点时终止该处理。

图20是示出图19中的步骤S924的输出处理的流程图。在图20中的输出处理中，在集合图像中布置与计算的次要图像相同时间(time)的主要图像(步骤S1000)，输出相同时间的集合图像、主要-次要布置、左和右标记、主要图像减小率、次要图像减小率和运动向量(步骤S1002)，且输出在计算用于计算次要图像的推定原始图像时使用的权重(步骤S1004)。在处理的第一轮中，设计零的加权用于还不可用的之后的主要图像且用于恢复次要图像。在处理的第一轮中，当不存在之后的主要图像时，也设计零的加权用于不再可用的之后的主要图像。设置在接收侧上的处理，以便用于不可用图像的零的加权允许要建立相同的推定原始图像。

在已经输出了该加权之后，p_num递增1(步骤S1006)，p_num被定义为用于接下来要处理的集合图像的图像号，且终止输出处理。

图21是示出在图19中的步骤S922处的次要图像处理的流程图。在本实施例中的次要图像处理中，原始次要图像被减小到当前主要图像尺寸，且被定义为减小原始次要图像(步骤S1100)。接下来，由稍后将描述的推定原始图像计算处理来计算推定原始图像(步骤S1102)。接下来，从减小原始次要图像减去推定原始图像，以建立差分图像，且差分图像被拷贝到暂时恢复次要图像(步骤S1104)。此后，进行循环处理达到与存在要得出次要图像的相同的时间。

将描述循环处理的内容。首先，通过减小差分图像来得出校正差分图像，且然后输出校正差分图像作为次要图像(步骤S1106)。接下来，次要图像被放大到当前主要图像尺寸，且被定义为放大次要图像(步骤S1108)。然后，放大次要图像被添加到暂时恢复次要图像，且该结果被定义为新的暂时恢复次要图像(步骤S1110)。

在步骤S1112中，确定是否存在剩余要得出的次要图像。此时，如果不存在剩余要得出的次要图像，则终止该循环处理，且输出暂时恢复次要图像作为按主要图像尺寸的恢复次要图像(步骤S1116)。在其中存在剩余要得出的次要图像的情况下，从差分图像中减去放大次要图像，且该结果被定义为新的差分图像(步骤S1114)，此后，重复该循环处理。

图22是示出图21中的步骤S1102处的推定原始图像计算处理的流程图。在本实施例中，从多个图像计算推定原始图像。使用加权平均基于多个图像计算一个推定原始图像，因此首先将暂时推定原始图像中的所有像素值初始化为零(步骤S1200)，因为通过对像素值的加权求和来产生最终的推定原始图像。注意，将不说明当分配该加权时使用的轮回方法(rounding method)等的细节，但不存在对该方法的具体限制。

如已经说明的，推定源图像被定义为三个之前的主要图像、两个之前的次要图像和一个之后的主要图像(步骤S1202)。对所有推定源图像进行循环处理。

将描述循环处理的内容。首先，在步骤S1204中，确定是否存在可应用的推定源图像。在不存在可应用的推定源图像的情况下，暂时加权因子被设置为零，且该处理继续到下一推定源图像(步骤S1214)。可应用的推定源图像不存在的情况包括例如，其中不存在先于第一次处理双目图像时计算的次要图像的图像的情况和其中不存在最后一次处理图像时计算的次要图像之后的图像的情况。在这些情况下，其中所有像素值是零的图像被安置为推定源图像，因此不进行将其添加到暂时恢复次要图像的处理。以相同方式处理在接收侧上的处理，因此应用到这些情况的加权因子被作为零传输。

在不存在可应用的推定源图像的情况下，可应用的推定源图像被放大或减小到当前主要图像尺寸，且被定义为预校正输入图像(步骤S1206)。

接下来，在图21中的次要图像处理流程图中的第一步骤计算的减小原始次要图像被划分为八个像素乘以八个像素的块。选择大多数接近地匹配每个块的预校正输入图像中的块位置，且输出在匹配位置之间的不一致作为运动向量(步骤S1208)。

使用运动向量以重新布置在预校正输入图像中与减小原始次要图像中的匹配块位置匹配的块，且输出该结果作为后校正输入图像(步骤S1210)。在该状态下，已经匹配了后校正输入图像和减小原始次要图像中的单独的块，因此在后校正输入图像中的单独的像素乘以已经对于每个推定源图像设置的加权因子，且向暂时推定原始图像添加这些结果。还将加权因子拷贝到暂时加权因子(步骤S1212)。

在步骤S1216处，确定是否存在剩余的推定源图像。此时，如果已经对所有推定源图像完成了处理，终止循环处理。然后，暂时推定原始图像被作为推定原始图像输出，且暂时加权因子被作为加权因子输出(步骤S1218)，此后，终止推定原始图像计算处理。另一方面，如果在步骤S1216处存在剩余的推定源图像，重复该循环处理。

如上所述，在本实施例中，在对多个推定源图像进行运动检测和运动补偿之后，可以使用加权平均来计算推定原始图像。

可以通过接收侧提前布置确切地将使用哪个主要图像和按主要图像尺寸的哪个恢复次要图像、进行运动检测和运动补偿的块是什么尺寸等。在不进行这种布置的情况下，可以从传输侧传输该信息，且可以在接收侧上建立与在传输侧上一样的推定原始图像。对于主要图像，在当前主要图像之后到来的主要图像可以被用作推定源图像，但对于按主要图像尺寸的恢复次要图像，仅可以使用在当前图像之前的按主要图像尺寸的恢复次要图像。

也必定可以在接收侧上进行计算推定原始图像的处理。在接收侧上可以产生主要图像和在当前图像之前的按主要图像尺寸的恢复次要图像，且如果已经到达的集合图像的处理被延迟，且从在将被处理的集合图像之后到来的集合图像获得推定源图像，则从集合图像提取的主要图像可以被用作仅用于放大和减小推定源图像，但是必须对次要图像进行恢复处理，因此不可以照原样地使用它们。这是为什么上述限制被施加在推定源图像的使用上的原因。

图18是示出根据本实施例的接收设备200的处理块的示意图。本实施例中的接收侧处理使用在图18的左侧示出的集合图像、主要-次要布置信息、主要图像减小率、次要图像减小率、左和右标记、运动向量和加权因子作为其输入，且输出左眼运动图像和右眼运动图像。

以第一和第二实施例中相同的方式，输入部分210基于主要-次要布置信息来将集合图像分离为主要图像和次要图像。暂时缓冲了分离的主要图像和次要图像。其他输入也暂时被缓冲。进行该缓冲以便在集合图像中的主要图像的处理中使用这些输入，其中，这些集合图像在次要图像处理中要处理的集合图像之后到达。

主要图像处理部分220是如在第一和第二实施例中进行的同类处理，且使用主要图像减小率将主要图像放大为原始图像尺寸。以与由次要图像处理恢复恢复次要图像相同的时间对主要图像进行放大处理，且由恢复图像分离处理来分离左眼图像和右眼图像。还在分离处理中与恢复次要图像相同的时间使用左和右标记。在图23中示出该处理的流程图。

图24是示出在图23中的步骤S1306的次要图像恢复处理的流程图。首先，在次要图像恢复处理中，通过进行将要在之后描述的推定原始图像计算处理来计算推定原始图像(步骤S1400)。

推定原始图像被定义为暂时恢复次要图像(步骤S1402)，然后进行循环处理。首先，次要图像被放大到当前主要图像尺寸(步骤S1404)。接下来，放大次要图像被添加到暂时恢复次要图像，且该结果被定义为新的暂时恢复次要图像(步骤S1406)。

在步骤S1408，确定是否存在剩余的次要图像。在对所有次要图像进行了循环处理之后，将暂时恢复次要图像保存为按主要图像尺寸的恢复次要图像，将其放大到原始图像尺寸，且将其作为按原始图像尺寸的恢复次要图像输出(步骤S1410)。

图25是示出推定原始图像计算处理的流程图。首先，在暂时推定原始图像中的所有像素值首先被初始化为零(步骤S1500)。如已经指示用于传输侧处理的，在本实施例中，使用紧接在之前的主要图像和前第三和第五的主要图像、前第二和第四的恢复次要图像和紧接在之后的主要图像。

从缓冲器取得这些图像，且将其定义为推定源图像(步骤S1502)，且对所有推定源图像进行随后的处理。但是，不对在步骤S1504确定加权因子是零的图像进行该处理。加权因素是零的图像被放大或减小到当前主要图像尺寸，且被定义为预校正输入图像(步骤S1506)。

接下来，对于在后校正输入图像中的八个像素乘以八个像素的每个块，从预校正输入图像提取八个像素乘以八个像素的相应的块，且使用运动向量重新排列它们，以便产生后校正输入图像(步骤S1508)。

一旦已经得出了后校正输入图像且已经应用了加权因子，向暂时恢复原始图像添加这些结果(步骤S1510)。在已经对所有推定源图像进行了上述处理之后(步骤S1512)，暂时推定原始图像被输出为推定原始图像(步骤S1516)。

根据第一、第二和第三实施例的推定原始图像计算处理仅是该处理的一个例子，且可构思许多其他组合。例如，可以通过仅使用紧接在之前的主要图像进行运动补偿来建立推定原始图像，且还可以通过利用紧接在之前的主要图像和紧接在之后的主要图像的平均(简单平均或加权平均)来建立推定原始图像。

另外，在本实施例中，双目立体图像的处理被描述为被认为是最有效的，但使用基于时间轴方向上的差分图像的次要图像且以关于主要图像减小形式传输该次要图像的本方法的有效性不由在立体运动图像或运动图像的数量之间的相似度来限制，且即使在本发明被应用于多个不相关的运动图像的情况下也可以产生足够的效果。

上面已经参考附图详细地说明了本发明的优选实施例，但本发明不局限于该例子。本发明的本领域普通技术人员应该理解在所附权利要求中描述的技术概念的范围内可清楚地构思各种修改的例子和修正的例子，且这些修改的例子和修正的例子明显地在本发明的技术范围内。

本申请包含涉及在2009年11月17在日本专利局提交的日本优先权专利申请JP 2009-262186中公开的主题，其全部内容被通过引用合并于此。

Claims (13)

1.一种图像传输方法，包括以下步骤：

顺序地输入多个不同源运动图像；

从所述多个不同源图像之一建立每个帧的主要图像；

从差分图像建立每个帧的次要图像，所述差分图像表示从其建立所述主要图像的源运动图像和在不同帧中的另一源运动图像之间的差；

通过组合所述主要图像和所述次要图像来建立集合图像；以及

向接收侧传输所述集合图像。

2.根据权利要求1的图像传输方法，

其中，通过减小所述源运动图像的原始尺寸来建立所述主要图像。

3.根据权利要求1的图像传输方法，

其中，通过减小表示各帧之间的差的差分图像来建立次要图像。

4.根据权利要求1的图像传输方法，

其中，从表示当前帧的另一源运动图像和紧接在之前的帧的另一源运动图像之间的差的差分图像来建立当前帧的次要图像。

5.根据权利要求1的图像传输方法，

其中，从通过从当前帧的另一原始源运动图像减去推定原始图像而得到的差分图像来建立次要图像，所述推定原始图像是从在时间轴上在所述另一源运动图像之前和之后的一系列图像得出的。

6.根据权利要求5的图像传输方法，

其中，在所述源运动图像的总数是N、当前帧是第K个源运动图像且所述主要图像是第(K-M)个源运动图像的情况下，所述推定原始图像是第(K-M)个图像和第(K+N-M)个图像之一。

7.根据权利要求5的图像传输方法，

其中，在所述源运动图像的总数是N、当前帧是第K个源运动图像、所述主要图像是第(K-M)个源运动图像且i和j是不小于零的整数的情况下，所述推定原始图像是如下之一，

从第(K-N×i-M)个之前图像和第(K+N×j+N-M)个之后图像中选择的多个图像的加权平均，

从第(K-1)个之前图像和第(K+N×j+N-M)个之后图像中选择的多个图像的加权平均，

通过基于从第(K-M)个图像到第K个图像的改变来对第(K-M)个图像进行运动补偿而产生的运动补偿图像，

通过基于从第(K+N-M)个图像到第K个图像的改变来对第(K+N-M)个图像进行运动补偿而产生的运动补偿图像，

从第(K-N×i-M)个之前图像和第(K+N×j+N-M)个之后图像中选择的多个图像以及通过基于其与第K个图像的差来对多个图像的每个进行运动补偿而产生的一系列运动补偿图像的加权平均，以及

从第(K-1)个之前图像和第(K+N×j+N-M)个之后图像中选择的多个图像以及通过基于其与第K个图像的差来对多个图像的每个进行运动补偿而产生的一系列运动补偿图像的加权平均。

8.根据权利要求1的图像传输方法，

其中，通过对通过从当前帧的另一原始源运动图像减去推定原始图像而得出的差分图像进行校正处理来建立次要图像，所述推定原始图像是从在时间轴上在所述另一源运动图像之前和之后的一系列图像得出的，

所述校正处理是关于将被传输的已校正差分图像的数量S建立至少一个已校正差分图像的处理，

校正差分图像1是通过对差分图像进行以基于将被传输的图像内的布置的减小率的减小处理而得出的图像，所述差分图像表示在推定原始图像与原始图像和减小原始图像之一之间的差，以及

已校正差分图像n是通过进行以基于将传输的图像内的布置的减小率的减小处理而得出的图像，该减小处理是对通过从原始图像和减小原始图像之一中减去放大校正差分图像1到放大校正差分图像(n-1)来计算的差分图像进行的，其中，通过将校正差分图像1到校正差分图像(n-1)放大到与所述推定原始图像相同的尺寸而得出放大校正差分图像1到放大校正差分图像(n-1)，且n至少是2且不大于S。

9.根据权利要求5的图像传输方法，

其中，集合图像组合校正差分图像以及原始图像及减小原始图像之一，以及

单独的源运动图像的布置的切换导致下一集合图像中的原始图像及减小原始图像所述之一被布置在与集合图像中原始图像及减小原始图像中相应的一个相同的位置上，且导致下一集合图像中的校正差分图像被布置在与集合图像中的校正差分图像相同的位置上。

10.一种图像接收方法，包括步骤：

接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像，所述差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差；

从所述集合图像中分离所述主要图像和所述次要图像；

恢复与所述主要图像对应的源运动图像；

基于相邻帧的主要图像和分离的次要图像，恢复与所述次要图像对应的源运动图像；以及

显示分别与所述主要图像和所述次要图像对应的源运动图像。

11.一种图像传输设备，包括：

输入部分，向其顺序地输入多个不同源运动图像；

主要图像处理部分，从多个不同源图像之一建立每个帧的主要图像；

次要图像处理部分，从差分图像建立每个帧的次要图像，所述差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差；以及

集合图像建立处理部分，通过组合所述主要图像和所述次要图像来建立集合图像。

12.一种图像接收设备，包括：

分离部分，接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像，并从所述集合图像中分离主要图像和次要图像，所述差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差；

主要图像恢复部分，恢复与主要图像对应的源运动图像；

次要图像恢复部分，基于相邻帧的主要图像和分离的次要图像，恢复与次要图像对应的源运动图像；以及

显示部分，显示分别与主要图像和次要图像对应的源运动图像。

13.一种图像传输系统，包括：

图像传输设备，包括输入部分，向其顺序地输入多个不同源运动图像；包括主要图像处理部分，从多个不同源图像之一建立每个帧的主要图像；包括次要图像处理部分，从差分图像建立每个帧的次要图像，所述差分图像表示从其建立主要图像的源运动图像和在不同帧中的另一源运动图像之间的差；以及包括集合图像建立处理部分，通过组合主要图像和次要图像来建立集合图像；以及

图像接收设备，包括：分离部分，接收包括从多个不同源图像之一建立的主要图像和从差分图像建立的次要图像的集合图像，并从所述集合图像中分离主要图像和次要图像，所述差分图像表示与主要图像对应的源运动图像和在不同帧中的另一源运动图像之间的差；包括主要图像恢复部分，恢复与主要图像对应的源运动图像；包括次要图像恢复部分，基于相邻帧的主要图像和分离的次要图像，恢复与次要图像对应的源运动图像；以及包括显示部分，显示分别与主要图像和次要图像对应的源运动图像。

Images