CN101616317A - 发送和接收运动图像数据的方法及其设备 - Google Patents

Abstract

本发明涉及发送和接收运动图像数据的方法及其设备。具体地，本发明包括：接收控制部分(11)，从存储器或通信通道接收包括数据及其发送格式信息的信息；分析和分离接收到的信息的分离部分(12)；把信息发送给存储器或传输通道的发送部分(13)；扩展图像的图像扩展部分(14)；图像扩展控制部分(15)，控制所述视频扩展部分(14)的处理状态，以至少扩展一个或多个图像；由图像合成部分(16)构成的图像合成设备，根据扩展信息合成图像；输出合成结果的输出部分(17)；终端控制部分(18)，控制上述装置，使得可以对应于发送格式信息的动态范围同时合成多个图像。

Description

发送和接收运动图像数据的方法及其设备

本发明是国际申请日为1998年3月13日、申请号为200610099756.1(国际申请号：PCT/JP98/01084)、发明名称为“发送和接收动态图像数据的方法及其设备”的分案申请。

其中申请号为200610099756.1的申请本身是国际申请日为1998年3月13日、申请号为200410032361.0(国际申请号：PCT/JP98/01084)、发明名称为“发送和接收动态图像数据的方法及其设备”的分案申请。

另外，申请号为200410032361.0的申请本身是国际申请日为1998年3月13日、申请号为98800657.X(国际申请号：PCT/JP98/01084)、发明名称为“发送和接收动态图像数据的方法及其设备”的分案申请。

技术领域

本发明涉及一种音频-视频发送机和音频-视频接收机、数据处理设备和方法、波形数据发送方法和设备和波形数据接收方法和设备以及视频发送方法和设备和视频接收方法和设备。

背景技术

已有一种设备，它满足了感觉到你面前出现的对方图像实际存在的要求，其目的在于进行现实图像通信，这是通过从例如有你本人的风景图像中提取出某人的图像，然后，将此人的图像(即对方发送来的某人的图像)和要与预先存储的对方图像一起显示的虚拟空间图像相互叠加，并加以显示来实现的(日本专利申请No.4-24914)。

具体地说，在已有技术的情况下，已有了涉及加速图像合成和减小存储器的方法的一些发明(例如日本专利公开No.5-46592的官方公报：图像合成器)。

虽然已有技术已提出了利用图像合成对两维静止图像或三维CG数据进行合成的通信系统，但从下面的观点来看，同时合成多幅图像和多路声音并进行显示的系统，其实现方法还没有进行具体讨论。

即，从下面列举的方法来看，存在没有具体讨论的课题。

(A1)一种方法，它利用在一条或多条实际传输线路上由软件构成的多条逻辑传输线路独立地传输数据和控制信息(由与控制终端侧处理数据不同的数据包传输的信息)的环境下传输(通信和广播)并控制图像和声音。

(A2)一种方法，它动态地改变要加到待发送的图像或声音数据中的首部信息(对应于本发明的控制信息)；

(A3)一种方法，它动态地改变要加入的首部信息(对应于本发明的传输控制信息)，以便进行传输；

(A4)一种方法，它通过动态动复接和分离多条逻辑传输线路来传输信息；

(A5)一种方法，它考虑了节目或数据的读取和增长周期，以传输图像和声音；

(A6)一种考虑了快速切换传输图像和声音的方法。

然而，就动态调整要传输到网络的数据量而言，已提出了改变编码系统的方法和根据图像帧的类型讨论帧数据的方法(H.Jinzenji和T.Tajiri撰写的分配自适应型VOD系统的研究，D-8，刊登于电子、信息和通信工程学会(IEICE)系统社的D-8(1995))。

能在受限制的处理时间下提供高质量图像的动态通过量换算算法已作为一种调整编码器侧的通过量提出(T.Osako、Yajima、H.Kodera、H.Watanabe、K.shimamura等撰写的利用动态通过量换算算法对软件视频进行编码，刊登于IEICE的论文期刊D-2，Vol.80-D-2，第二期，第444-458页，1997)。

而且，存在MPEG1/MPEG2系统作为实现同步再现图像和声音的例子。

(B1)对应于图像帧的类型讨论图像的传统方法有这样一个问题，即通过处理多个视频数据流或多个音频数据流，难以与声音同步地重点再现重要的场面，反映编辑的意图，这是由于可以处理的信息的等级位于单一信息流中。

(B2)而且，由于其必要条件是用硬件来实现MPEG1/MPEG2，所以解码器必须可以对每个提供的位流进行解码。因此，其问题就是如何适应超出解码器通过出量的情况。

此外，为了传输图像，已有一些系统，例如H.261(ITU-T建议H.261的px.64声像业务视频编码解码器)，并且它们是用硬件组装的。因此，由于在设计硬件时考虑了必要性能的上限，所以没有产生不能在指定时间内完成解码的情况。

上面的指定时间表示发送编码一张图像获得的位流所需要的时间。如果解码不能在该时间内完成，其额外的时间就成为延迟。如果把这种延迟累积，则发送侧到接收侧的的延迟就增加，系统就不能用作可视电话。这种状态必须避免。

而且，当由于通信对方产生了规定以外的位流而不能在指定时间内完成解码时，则就产生不能传输图像的问题。

上述问题不仅产生在视频数据中，而且也产生在音频数据中。

然而，近年来，由于个人计算机(PC)所形成网络环境的布局带来互联网和ISDN的扩展，所以传输速率已得到改善，已经可以利用PC和网络传输图像。而且，用户传输图像的要求也已高速增长。又由于CPU性能已得到改善，所以完全可以用软件来对视频信号的解码。

然而，由于结构上不同的个人计算机，例如CPU、总线宽度或加速器等方面不同的个人计算机可以执行相同的软件，所以预先考虑必要性能的上限是困难的，因此，产生了图像不能在指定时间内解码的问题。

而且，当发送长度超过接收机通过量的视频编码数据，就不能在指定时间内完成编码。

课题(C1)：减小在指定时间内解码图像的延迟。

当把视频信号输入成本发明的权利要求C1的波形数据，或者把视频信号输出成本发明的权利要求C7的波形数据作为解决问题1的手段时，剩下的问题是由于部分传输位流没有利用，传输线路的实际工作效率降低。而且，存在一些根据最后的编码图像(例如P图像)，产生当前解码视频的编码系统。然而，由于最后的解码图像通过解决问题1的手段没有完全恢复，所以存在着随时间变化而使图像质量劣化的严重的问题。

课题(C2)：在解决问题1的手段的情况下，传输线路的实际工作效率降低。而且，扩大了图像质量的劣化。

在用软件安装的情况下，图像的帧速率是由一次编码所需要的时间来指定的。因此，当用户指定的帧速率超过计算机的通过量时，不可能符合这种指定。

课题(C3)：当用户指定的帧速率超过计算机的通过量时，不可能符合这种指定。

考虑第一种已有技术的课题(A1)至(A6)，本发明的目的在于提供一种音频-视频发送机和音频-视频接收机以及数据处理设备和方法，以至少解决上述问题之一。

且，考虑第二种已有技术的课题(B1)至(B2)，本发明的另一目的在于提供一种数据处理设备和方法，以至少解决上述问题之一。

再，考虑第三种已有技术的课题(C1)至(C3)，本发明的再一目的在于提供一种波形数据接收方法和设备、波形数据发送方法和设备以及视频发送方法和设备和视频接收方法和设备，以至少解决上述问题之一。

发明内容

本发明的第1方面是一种音频-视频发送设备，它包含发送装置，通过与要发送的数据的传输线路相同的传输线路或与该数据传输线路不同的传输线路发送涉及传输方法的内容和/或要发送的数据的结构或将内容作为发送格式信息表示的标识符；其中

所述要发送的数据是视频数据和/或音频数据。

在本发明的音频-视频发送设备中，所述发送格式信息至少包括在加到所述数据上以控制所述数据的数据控制信息、加到所述数据上以发送所述数据的发送控制信息和控制终端侧的处理的信息三者之一中。

在本发明的音频-视频发送设备中，至少所述数据控制信息、发送控制信息和控制所述终端侧处理的信息三者之一动态地改变。

在本发明的音频-视频发送设备中，所述数据被分成多个数据包，所述数据控制信息或所述发送控制信息不仅加到所述分割数据包的首数据包，也加到中间数据包中。

在本发明的音频-视频发送设备中，将是否使用与所述数据有关的定时信息作为表示所述数据的再现时间的信息表示的标识符包括在所述发送格式信息中。

在本发明的音频-视频发送设备中，所述发送格式信息是所述数据的结构信息，接收所述数据的发送结构信息的接收设备输出的信号确认该结构信息可以接收后，所述发送装置向所述接收设备发送相应的数据。

在本发明的音频-视频发送设备中，所述发送格式信息包括(1)标识接收设备以后使用的节目或数据的标识符和(2)作为获知所述节目或数据使用的特定时间或使用所述节目或数据的有效期的信息的标记、计数和定时三者中至少一种。

在本发明的音频-视频发送设备中，利用发送序列号把所述节目或数据使用的所述特定时间作为发送控制信息来发送，以识别传输序列，或者作为与控制终端侧处理的数据不同的数据包要发送的信息来。

在本发明的音频-视频发送设备中，还包括存储装置，用于存储多项涉及所述传输方法的内容和/或所述要发送的数据的结构及其多个标识符，所述标识符至少包括在所述数据控制信息、发送控制信息和控制终端侧处理的作为所述发送格式信息的信息三者之一中。

在本发明的音频-视频发送设备中，还包括存储装置，用于存储多项涉及所述传输方法的内容和/或所述要发送的数据的结构，所述内容至少包括在所述数据控制信息、发送控制信息和控制终端侧处理的作为所述传输格式信息的信息三者之一中。

在本发明的音频-视频发送设备中，增加了缺省标识符，以表示是否改变涉及所述传输方法的内容和或要发送的数据的结构。

在本发明的音频-视频发送设备中，把所述标识符或所述缺省标识符加到待发送信息的的长度固定的预定区域中或所述预定位置上。

本发明的音频-视频接收设备，包含：接收装置，接收上述任一个音频-视频发送设备发送的所述发送格式信息；发送信息解释装置，解释所述接收的发送格式信息。

在本发明的音频-视频接收设备中还包括存储装置，用于存储多项涉及传输方法的内容和/或所述要传输的数据的结构及其多个标识符；把存储在所述存储装置中的内容用于解释所述发送格式信息。

本发明的音频-视频发送设备，它包含：信息多路复用装置，用于控制多路复用传输数据和/或控制信息的；多条逻辑传输线的信息的开始和结束；其中，不仅把所述信息多路复用装置多路复用的所述数据和/或控制信息作为多路复用控制信息发送，也把与所述信息多路复用装置的所述多路复用开始和结束有关的控制内容作为多路复用控制信息发送，所述数据包括视频数据和/或音频数据。

在本发明的音频-视频发送设备中可以选择安排所述多路复用控制信息不进行多路复用，从而在所述数据和/或控制信息之前发送所述多路复用控制信息，或者通过与传输所述数据和/或控制信息的传输线路不同的传输线路发送所述多路复用控制信息不进行多路复用。

本发明的音频-视频接收设备，包含：接收装置，接收权利要求15的音频-视频传输装置发送的所述多路复用控制信息和所述多路复用数据和/或控制信息；分离装置，根据所述多路复用控制信息分离所述多路复用数据和/或控制信息。

本发明的音频-视频接收设备，包含：主视听装置，用于观看和收听广播节目；辅助视听装置，用于周期性地检测与通过所述主视听装置观看和收听的广播节目不同广播节目的状态；其中进行所述检测以便在通过所述主视听装置观看和收听的所述广播节目被转换到其它广播节目时，可以平滑地处理所需的节目和/或数据，所述数据包括视频数据和/或音频数据。

在本发明的音频-视频发送设备中优先值可以根据情况，通过发送表示处理所述数据的优先级的信息的偏移值来改变。

本发明的音频-视频接收设备，包含：接收装置，接收预加到与在过载状态下处理的优先级有关的信息的编码信息；优先级确定装置，用确定阈值，作为选择是否处理所述接收装置接收到的所述信息内的对象的标准；其中

把输出所述接收信息的时间与在开始处理后经过的时间比较，或者把解码所述接收信息的时间与开始处理后经过的时间比较，以根据比较结果改变所述阈值，并包括视频数据和/或音频数据，作为编码对象。

在本发明的音频-视频接收设备中包括重发请求优先级确定装置，用于需要重发所述信息时，确定阈值，作为选择是否请求重发一些在发送中丢失而没有接收到的所述信息的标准，并且所述确定阈值是至少根据所述优先级确定装置控制的优先级、重发次数、信息丢失因数、帧内编码帧之间的插入间隔以及优先级划分之一确定的。

本发明的音频-视频发送设备，包含：重发优先级确定装置，用于请求重发所述未接收信息时，确定阈值，作为选择是否请求重发一些因发送时丢失而没有接收到的所述信息的标准，其中，所述确定阈值是至少根据权利要求20的所述音频-视频接收设备的优先级确定装置控制的优先级、重发次数、信息丢失因数、帧内编码帧之间的插入间隔以及优先级划分之一确定的。

本发明的音频-视频发送设备，利用加到所述编码信息中的优先级传输所述编码信息，从而若(1)实际传输速率超过视频或音频信息目标传输速率或(2)把开始传输后经过的时间与加到所述编码信息的解码或输出周期相比结果判定把所述编码信息写入到发送缓存器延迟，则使发送信息减少。

本发明的数据处理设备，它包含：接收装置，接收数据序列，该数据序列包括(1)音频或视频时间序列数据，(2)表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级，以及(3)多个时间序列数据内优先级，后者用于划分所述时间序列数据值，以表示所划分数据值之间的处理优先级；数据处理装置，当同时出现多个所述时间序列数据值时，同时利用所述互时间序列数据间优先级和所述时间序列数据内优先级进行处理。

本发明的数据处理设备，包含：接收装置，接收数据系列，该数据系列包括：(1)音频或视频时间序列数据，(2)表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级，以及(3)多个内时间序列数据内优先级，后者用于划分所述时间序列数据值，以表示所划分数据值之间的处理优先级；数据处理装置，根据所述时间序列数据间优先级为每个所述时间序列数据值分配通过量，而且，根据所述时间序列数据内优先级自适应地降低所述时间序列数据内所划分数据的处理质量，以把每个所述时间序列数据保持在所述分配的通过量内。

本发明的数据处理设备，其特征在于，当每帧所述视频数据提升视频的时间序列数据内优先级，并且把每帧的所述视频数据分割成多个数据包时，仅把所述时间序列数据内优先级加到数据包的首部，以把可访问的一帧所述视频数据的首部作为独立的信息传输。

根据上述任一的数据处理设备，其中所述时间序列数据内优先级在数据包的首部描述，以进行优先级处理。

根据上述任一的数据处理设备，其中，能表示所述时间序列数据内优先级的值的范围是可变的，以进行优先级处理。

本发明的数据处理方法，它包含下列步骤：输入数据序列，该数据序列包括：音频或视频时间序列数据和表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级；以及利用所述时间序列数据间优先级把优先级处理成相对或绝对优先级值。

本发明的数据处理方法，它包含下列步骤：对音频或视频时间序列数据进行分类；输入数据系列，该数据系列包括所述时间序列数据和表示所述分类数据值之间处理优先级的多个时间序列数据内优先级；利用所述时间序列数据内优先级把优先级处理成相对或绝对优先级值。

而且，为了解决课题(C1)，本发明的特征在于：根据上述的波形数据发送方法，输入例如视频信号作为波形数据；或上述的波形数据接收方法，输出例如视频信号作为波形数据。

而且，为了解决课题(C2)，本发明的特征在于：

(d)根据上述的波形数据接收方法，输出通过估计获得的每组执行时间；或

(d)输入由每组执行时间构成的数据串；

(e)根据上述的波形数据发送方法，按照接收装置的每一执行时间，对每组执行次数计数，以在发送由速率控制器等的标示所确定的码长所需要的时间内完成解码。

而且，为了解决课题(C3)，本发明的特征在于：

(d)根据对视频信号编码所需要的时间和计数装置输出的各执行次数，估计每组执行时间；

(e)根据上述的波形数据发送方法，利用上述执行时间估计对视频信号编码所需要的处理时间，并计算处理时间不超过由用户指定的帧速率确定的可用于处理一张图像的时间的每组执行次数。

本发明具有上述结构，以获得必要处理的执行次数和非必要处理的执行次数后，向接收侧发送执行次数，并根据执行次数和解码时间估计每个处理所需要的时间。

根据对每个处理的估计时间，减少非必要处理的执行次数，使解码所需要的时间比指定时间短，这样可以把解码时间控制到指定时间或更短，以保持延迟小。

而且，通过向发送侧发送接收侧估计的必要处理的执行时间和非必要处理的执行时间，并在发送侧根据每个执行时间确定每个执行次数可以把解码执行时间设置成等于或小于指定时间的值。

而且，通过估计必要处理的执行时间和非必要处理的执行时间，并根据每个执行时间和由用户指定的帧速率决定的用户指定时间确定每个执行次数，可以把编码估计时间设置成等于或小于用户的指定时间的值。

本发明的一种发送设备，其特征在于，具有将传输格式信息发送到接收设备的发送部分，所述传输格式信息包含识别在所述接收设备使用的程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备自动启动所述程序或者所述数据的开始时间的开始时间信息。

本发明的一种发送设备，其特征在于，具有将传输格式信息发送到接收设备的发送部分，所述传输格式信息包含识别在所述接收设备使用的程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的期间的处理期间信息。

本发明的一种接收设备，其特征在于，具备：接收传输格式信息的接收部分，所述传输格式信息包含识别程序或者数据的标识符，和与所述标识符相关联、表示自动启动所述程序或者所述数据的开始时间的开始时间信息；以及根据所述标识符和所述开始时间信息，自动启动所述程序或者所述数据的控制部分。

本发明的一种接收设备，其特征在于，具备：接收传输格式信息的接收部分，所述传输格式信息包含识别程序或者数据的标识符，和与所述标识符相关联、表示处理所述程序或者所述数据的期间的处理期间信息；以及根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的控制部分。

本发明的一种通信系统，所述通信系统具有发送设备和接收设备，其特征在于，所述发送设备具有发送传输格式信息的发送部分，所述传输格式信息包含识别在所述接收设备使用的程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备自动启动所述程序或者所述数据的开始时间的开始时间信息，所述接收设备具有：从发送设备接收所述传输格式信息的接收部分；以及根据所述标识符和所述开始时间信息，自动启动所述程序或者所述数据的控制部分。

本发明的一种通信系统，所述通信系统具有发送设备和接收设备，其特征在于，所述发送设备具有发送传输格式信息的发送部分，所述传输格式信息包含识别在所述接收设备使用的程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的处理期间的处理期间信息，所述接收设备具有：从发送设备接收所述传输格式信息的接收部分；以及根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的控制部分。

本发明的一种发送方法，其特征在于，具有将传输格式信息发送到接收设备的步骤，所述传输格式信息包含识别在所述接收设备使用的程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备自动启动所述程序或者所述数据的开始时间的开始时间信息。

本发明的一种发送方法，其特征在于，具有将传输格式信息发送到接收设备的步骤，所述传输格式信息包含在所述接收设备使用的识别程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的期间的处理期间信息。

本发明的一种接收方法，其特征在于，具备：接收传输格式信息的步骤，所述传输格式信息包含识别程序或者数据的标识符，和与所述标识符相关联、表示自动起动所述程序或者所述数据的开始时间的开始时间信息；以及根据所述标识符和所述开始时间信息，自动启动所述程序或者所述数据的步骤。

本发明的一种接收方法，其特征在于，具备：接收传输格式信息的步骤，所述传输格式信息包含识别程序或者数据的标识符，和与所述标识符相关联、表示处理所述程序或者所述数据的期间的处理期间信息；以及根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的步骤。

本发明的一种通信方法，其特征在于，具备：发送传输格式信息的步骤，所述传输格式信息包含在所述接收设备使用的识别程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备自动启动所述程序或者所述数据的开始时间的开始时间信息；

接收所述传输格式信息的步骤；以及根据所述标识符和所述开始时间信息，自动启动所述程序或者所述数据的步骤。

本发明的一种通信方法，其特征在于，具备：发送传输格式信息的步骤，所述传输格式信息包含在所述接收设备使用的识别程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的处理期间的处理期间信息；接收所述传输格式信息的步骤；以及根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的步骤。

附图概述

图1是本发明一个实施例的音频-视频收发装置的示意性框图；

图2是接收控制部分和分离部分的示意图；

图3是利用多个逻辑传输线路发送和控制视频和音频的方法的示意图；

图4是动态地改变加到要的视频或音频数据中的首部信息的方法的示意图；

图5(a)和5(b)是增加AL信息的方法的示意图；

图6(a)至6(d)是增加AL信息的方法的例子的示意图；

图7是通过动态动多路复用和分离多个逻辑传输线路传输信息的方法的示意图；

图8是传输广播节目过程的示意图；

图9(a)示出了当在接收端出现节目或数据时，考虑了程序或数据的读取和启动时间的图像或声音发送方法；

图9(b)示出了当传输节目或数据时，考虑了程序或数据读取或启动时间传输视频或音频的方法；

图10(a)是对应于快速切换的方法的示意图；

图10(b)是对应于快速切换的方法的示意图；

图11(a)示出了在终端之间实际传输的协议的具体例子；

图11(b)示出了在终端之间实际传输的协议的具体例子；

图12示出了在终端之间实际传输的协议的具体例子；

图13(a)示出了在终端之间实际传输的协议的具体例子；

图13(b)示出了在终端之间实际传输的协议的具体例子；

图13(c)示出了在终端之间实际传输的协议的具体例子；

图14示出了在终端之间实际传输的协议的具体例子；

图15示出了在终端之间实际传输的协议的具体例子；

图16(a)示出了在终端之间实际传输的协议的具体例子；

图16(b)示出了在终端之间实际传输的协议的具体例子；

图17示出了在终端之间实际传输的协议的具体例子；

图18示出了在终端之间实际传输的协议的具体例子；

图19(a)示出了在终端之间实际传输的协议的具体例子；

图19(b)示出了在终端之间实际传输的协议的具体例子；

图20(a)至20(c)是本发明CGD的示范系统的框图；

图21示出了编码器过载时附加优先级的方法；

图22示出了过载时，在接收终端决定优先级的方法；

图23示出了临时改变优先级；

图24示出了数据流优先级和对象优先级；

图25是本发明一个实施例的视频编码器和视频解码器的示意性框图；

图26是本发明一个实施例的音频编码器和音频解码器的示意性框图；

图27(a)和27(b)示出了过载时控制优先级处理的优先级附加部分和优先级决定部分；

图28(a)和28(b)示出了附加优先等级；

图29示出了向多分辨率视频数据分配优先级的方法；

图30示出了构成通信有效负载的方法；

图31示出对应于通信有效负载产生数据的方法；

图32示出了对象优先级、数据流优先级和通信数据包优先级之间的关系；

图33是本发明第一实施例的发送机的框图；

图34是第一实施例的示意图；

图35是本发明第三实施例的接收机的框图；

图36是本发明第五实施例的接收机的框图；

图37是第五实施例的示意图；

图38是本发明第六实施例的发送机的框图；

图39是本发明第八实施例的发送机的框图；

图40是本发明第二实施例的发送方法的流程图；

图41是本发明第四实施例的接收方法的流程图；

图42是本发明第七实施例的发送方法的流程图；

图43是本发明第九实施例的发送方法的流程图；

图44是本发明音频-视频发送装置的框图；

图45是本发明音频-视频接收装置的框图；

图46示出了向本发明的音频-视频发送装置的视频和音频数据增加优先级的优先级附加装置的解释图；

图47示出了通过解释加到本发明的音频-视频接收装置的视频和音频数据中的优先级决定是否进行解码的优先级确定装置的解释图。

符号说明

11接收控制部分

12分离部分

13发送部分

14视频扩展部分(图像扩展部分)

15视频扩展控制部分(图像扩展控制部分)

16视频合成部分(图像合成部分)

17输出部分

18终端控制部分

4011发送控制部分

4012视频编码部分(图像编码部分)

4013接收控制部分

4014视频解码部分(图像解码部分)

4015视频合成部分(图像合成部分)

4016输出部分

4101视频编码器(图像编码器)

4102视频解码器(图像解码器)

301接收装置

302估计装置

303视频解码器(即运动图像解码器)

304次数削减装置

306输出端

307输入端

3031可变长解码装置

3032反正交变换装置

3033切换器

3034运动补偿装置

3035执行时间测量装置

本发明的实施方式

下面参照附图描述本发明的实施例。

下面描述的实施例主要解决上述课题(A1)至(A6)中的任一项。

本发明所用的“图像”包括静止图像和运动图像。而且，作为对象的图像可以是象计算机图形(CG)的两维图像或由线框模型构成的三维图像数据。

图1是本发明一个实施例的音频-视频收发机的示意性框图。

在图1中，接收信息的接收控制部分11和发送信息的发送部分13是诸如同轴电缆、CATV、LAN和调制解调器等的信息传输装置。通信环境可以是能用多条逻辑传输线路而不用考虑多路复用装置的环境，例如互联网，或者可以是必须考虑多路复用装置的环境，例如模拟电话或卫星广播。

而且，作为终端连接系统，可列举在诸如视频电话或电话会议系统等终端之间进行双向传送视频或音频数据的系统，或通过卫星广播、CATV或互联网播发广播型视频或音频数据的系统。本发明考虑了这些终端连接系统。

图1所示的分离部分12是用于分析接收到的信息并把数据与控制信息分离的装置。具体地说，分离部分12将发送用的附加到数据中的发送首部信息和数据进行分解，或者附加到数据自身中的数据控制首部和数据内容进行分解。图像扩展部分14是扩展接收到的图像的装置。例如，要扩展的图像可以是标准化的运动(动态)或静止图像的压缩图像，例如H.261，H.263，MPEG 1/2或JPEG等，也可以不是上述的压缩图像。

图1所示的图像扩展控制部分15是用于监视图像扩展状态的装置。例如，通过监视图像的扩展状态，当接收缓存器几乎要溢出时，可以空读接收缓存器，而不扩展图像，并在处于可以进行图像的扩展状态时，可以重新开始扩展图像。

在图1中，图像合成部分16是用于合成扩展图像的装置。图像合成方法可以通过用诸如JAVA、VRML或MHEG等脚本语言，描述图像及其结构信息来(显示位置和显示时间(而且，还可以包括显示周期))、对图像分组的方法、图像显示层(深度)、对象ID(以后描述的SSRC)以及它们的属性之间的关系来定义。描述合成方法的脚本通过网络或本地存储器输入或输出。

输出部分17是显示器或打印机，用于输出图像合成结果。终端控制部分18是用于控制每个部分的装置。此外，可以采用扩展声音而不是图像的结构(可以通过把图像扩展部分改成声音扩展部分，把图像扩展控制部分改成声音扩展控制部分，把图像合成部分改成声音合成部分来构成这种结构)，或者采用扩展图像和声音的双方，在保持时间上的同步的同时，进行合成和显示的结构。

也可以利用压缩图像的图像压缩部分。控制图像压缩部分的图像压缩控制部分、压缩声音的声音压缩部分和控制声音压缩部分的声音压缩控制部分来发送图像和声音。

图2示出了接收控制部分和分离部分。

图1的接收控制部分11由接收数据的数据接收部分101和接收控制数据的控制信息的控制信息接收部分102构成，分离部分12由存储解释传送内容的传送结构(后面详述)的传送格式存储部分103和根据存储在格式存储部分103内的传送结构解释传送内容的传送信息解释部分104构成，通过这种结构可以独立地接收数据和控制信息。因此，例如，可以使在接收视频或音频数据的同时删除或移动该数据变得容易。

如上所述，作为接收控制部分11的对象的通信环境可以利用能使用多条逻辑传输线路而不用考虑多路复用装置的环境(互联网类环境)，如互联网，也可以利用必须考虑多路复用装置的环境(原类环境)的，如模拟电话或卫星广播等。然而，从用户的角度来看，以备有多条逻辑传输线路(逻辑通道)(例如，在可以使用TCP/IP的通信环境的情况下，通常使用称为“通信端口”的表述)的通信环境为前提。

如图2所示，假设接收控制部分11接收一种或多种类型的数据传输线路和一种或多种类型的控制逻辑传输线路，以控制要传输的数据。也可以准备多条传输线路传输数据，也可以仅准备一条传输线路控制数据。还可以准备一条传输线路在每次数据传输时控制数据，如在H.323也使用的RTP/RTCP。当考虑利用UDP的广播时，可以使用利用单个通信端口(多播地址)的通信系统。

图3的示意图用于解释利用多条逻辑传输线路传输和控制视频和音频数据的方法。将要发送的数据本身称为ES(基本数据流)，如果是图像的话，它可以是一帧的图像信息或小于一帧的GOB单位、或者宏块单位的图像信息。

如果是音频数据的话，可以使用用户决定的固定长度。而且，把要附加到要发送的数据中的数据控制首部信息称为AL(自适应层信息)。作为AL信息，可以举出表示是否为能处理数据的开始位置的信息、表示数据再现时刻的信息和表示数据处理的优先级的信息等。本发明的数据控制信息对应于AL信息。而且，本发明所用的ES和AL不一定必须与MPEG 1/2所定义的内容一致。

表示是否为可以处理数据的开始位置的信息具体包括两种类型的信息。第一种是随机访问标记，即，如果是图像的话，是表示如帧内(I图像)那样的可以个别读取和独立再现前后数据的信息。第二种是表示作为可以个别读取的标记，可以定义成访问标记，即，如果是图像的话，表示其为GOB单位的图像的开始位置，或者为图像宏块开始位置的信息。因此，如果没有访问标记那就表示其为数据的途中部分。这两种随机访问标记和随机标记作为表示能处理数据的开始位置的信息，并非总是需要的。

有时候在诸如视频会议等的实时通信的情况下，不附加这两种标记，也不会产生问题。然而，为了简化编辑工作，随机访问标记是必需的。也可以在传送数据之前，通过通信通道决定标记是否需要，或者需要何种标记。

指示数据再现时刻的信息表示再现图像和声音时的时间同步的信息，在MPEG1/2的情况下，它称为PTS(展现时间标志)。由于在诸如视频会议等实时通信的情况下，一般不考虑时间同步，所以表示再现时间的信息并不一定是必需的。编码帧之间的时间间隔可以是必需的信息。

通过在接收侧调整时间间隔，可以防止帧间隔有较大波动。然而，接收侧由于调整再现间隔而发生延迟。因此，有时可以判定表示编码帧之间帧间隔的时间信息是不必要的。

为了确定表示数据再现时间的信息是表示PTS还是表示帧间隔，也可以决定在传输数据之前，通过通信通道传送数据再现时间不附加到数据本身中，并把该决定通知接收终端，也可以与所决定的数据控制信息一起传送数据。

当由于接收终端的负载或网络的负载的原因而不能处理或发送表示处理数据的优先级的信息时，可以停止处理或发送数据，也可以减小接收终端或网络的负载。

接收终端可以用图像扩展控制部分15处理数据，在网络的情况下可以用中继终端或路由器进行处理。可以用数值或标记表示优先级。而且，在接收终端或网络的负载有突然的波动时，把表示数据处理优先级的信息的偏移值作为控制信息或数据控制信息(AL信息)与数据一起发送，并将该偏移值与预先分配给视频或音频数据的优先级值相加，由此，可以对应于系统的操作状态设置动态优先级。

而且，通过把识别是否有加密编码、是否有版权、以及是原件还是复制件等的信息作为控制信息与和数据分开的数据标识符(SSRC)一起发送，可以容易地去除在中继节点的加扰。

表示数据处理优先级的信息可以由多个图像或声音的帧集合构成的流单位附加，也可以视频或音频数据的帧单位附加。

为发送终端单元提供优先级附加装置，该装置为利用诸如H.263或G.723等编码方法，按照事先规定的基准决定在编码信息过载情况下的处理优先级，并使编码信息对应于确定的优先级的装置(见图46)。

图46是用于解释把优先级加到图像或声音中的优先级附加装置5201的示意图。

即，如图46所示，根据事先规定的规则，对编码视频数据(由视频编码装置5202处理)和编码音频数据(由音频编码装置5203处理)附加优先级。附加优先级的规则存储在优先级附加规则5204中。这些规则包括把比P帧(帧间编码图像帧)的优先级高的优先级附加给I帧(帧内编码图像帧)的规则、或者把比音频数据的优先级低的优先级附加给图像的规则。而且，根据用户的指定可以改变这些规则。

优先级附加对象，在图像的情况下，为场景变化、编辑者或用户指定的图像帧或流、在声音的情况下，则为有声区和无声区。

定义在过载时的处理的优先级的图像帧或音频帧单位的优先级的附加方法：把优先级附加到通信首部的方法和在进行编码时把优先级嵌入到已对视频或音频数据编码的位流的首部中的方法，前一方法可以在不进行解码的情况下获得优先级信息，而后一方法可以与系统无关的地独立地处理单一位流。

把优先级附加到通信首部的情况，当把一图像帧(例如帧内编码的I帧或帧间编码的P或B帧)分成多个传输数据包时，在图像的情况下，作为独立的信息仅在传送可访问的图像帧的首部附加优先级(当优先级在相同图像帧中一样时，可以认为在下一个可访问图像帧出现之前优先级没有改变)。

而且，使能表示优先级的值的范围为可变(例如，可以根据用途，用16位或32位表示时间信息)，也可以用控制信息使其可配置。

解码器具有，根据所接收各种编码信息过载时的优先级决定处理方法的优先级决定装置的接收终端装置(见图47)。

图47是用于解释附加到图像或声音中的优先级和决定可否进行解码的优先级确定装置5301示意图。

即，如图47所示，优先级包括加到每一图像或声音的每一数据流的优先级和附加到每帧图像或声音数据中的优先级。可以各自独立地利用这些优先级，或者使帧优先级对应于数据流优先级。优先级确定装置5301根据这些优先级确定要解码的数据流或帧。

解码是利用决定终端过载时的处理的优先级的两种类型的优先级进行的。

即，定义了：用于规定诸如图像和声音的位流之间的相对优先级的数据流优先级(Stream Priority，时间序列间优先级)；用于规定诸如相同数据流中的图像帧等解码单元之间的相对优先级(Frame Priority，时间序列内优先级)(图24)。

前一种数据流优先级可以处理多个视频或音频数据。后一种帧优先级可根据图像的场景的变化、或者编辑者的意图，即使是同一帧内编码图像帧(I帧)也可以附加不同的优先级。

通过使数据流优先级对应于分配给对图像或声音进行编码或解码时的操作系统(OS)的时间、或处理的优先级，并进行管理，可以在OS层上管理处理时间。例如，在微软公司的Windows 95/NT的情况下，可以在五个OS层上定义优先级。用软件以线程单位实现编码或解码功能时，可以在分配给各线程的OS层上根据处理对象的数据流的数据流优先级决定优先级。

上述的帧优先级和数据流优先级可以应用到传输媒体或数据记录媒体上。例如，把要发送的数据包优先级定义为访问单元优先级，可以根据Access UnitPriority＝Stream Priority-Frame Priorit的帧优先级与数据流优先级之间的关系，决定与数据包发送有关的优先级和在过载时终端的处理优先级。

而且，可以把软盘或光盘用作数据记录媒体。再者，记录媒体不仅限于这些，而且还可以是诸如IC卡或ROM盒等，只要能记录程序的物体同样可实施。而且，可以以进行数据中继的诸如路由器或网关等图像或声音的中继装置为对象。

作为利用优先级的具体方法，当接收终端过载时，把决定要处理的编码信息的优先级阈值的优先级确定装置设置于图像扩展控制部分或声音扩展控制部分，把要显示的时间(PTS)与开始处理后经过的时间进行比较，或者把要解码的时间(DTS)与开始处理后经过的时间比较，根据比较结果改变要处理的编码信息的优先级阈值(也可以参照帧的插入间隔或优先级等作为改变阈值的信息)。

图20(a)所示的例子中，在编码时，用编码器(H.263)对具有捕获的QCIF或CIF尺寸的图像进行编码，与编码信息一起输出表示解码时间(DTS)或显示图像的时间的时间标志(PTS)、表示过载时的处理顺序的优先级信息(CGD，计算适度弱化)、帧类型和序列号(SN)。

而且，在图20(b)所示的例子中，还通过话筒进行录音，通过编码器(G.721)进行编码，与编码信息一起输出解码时间(DTS)或表示再现声音的时间的时间标志(PTS)、优先级信息(CGD)和序列号(SN)。

如图20(c)所示，在解码时，把图像和声音各自分别提供给缓存器，把它们各自的DTS(解码时间)与开始处理后经过的时间进行比较。如果DTS不滞后，则把该图像和声音分别提供给它们相应的解码器(H.263和G.721)。

图21的例子描述了一种在编码器过载时附加优先级的方法。对于图像，把高优先级的“0”和“1”分配给I帧(帧内编码图像帧)(数字越小，优先级越低)。P帧的优先级“2”低于I帧。由于把两种级别的优先级分配给I帧，所以当解码终端的负载较大时，可以仅再现优先级为“0”的I帧。而且，必须根据优先级附加方法调整I帧的插入间隔。

图22的例子示出了在过载时，在接收终端确定优先级的方法。把要废弃的帧的优先级设置成比cutOffPriority大的值。即，把所有的图像帧都作为处理的对象。通过把附加到图像帧的优先级最大值从发送侧通知给接收侧(步骤101)可以事先得知该值。

当把DTS与开始处理之后经过的时间相比较，并且其结果是经过的时间长于DTS(当解码处理来不及时)，则降低要处理的图像或声音的优先级阈值，以减少处理(步骤102)。然而，若开始处理之后经过的时间短于DTS(解码处理来得及时)，则增大优先级的阈值，以增加可以处理的图像或声音的数量(步骤103)。

如果该帧之前的图像跳过了P帧，则不进行处理。否则把优先级偏移值附加到图像帧(或音频数据帧)的优先级上，把该优先级偏移值与优先级阈值比较。当该偏移值不超过该阈值时，把要解码的数据提供给解码器(步骤104)。

优先级偏移可用于事先检查机器的性能，并把该偏移值传送给接收终端(用户也可以在接收终端进行指示)，还可用于改变数据流中的多个视频和音频数据流的优先级(例如，通过增加最后面背景的偏移值来减少处理)。

当以多数据流为对象时，也可以对每个数据流附加优先级，并判定跳过对图像或声音的解码。而且，在实时通信的情况下，通过处理H.263的TR(临时基准)与DTS同样的处理，可以判定解码是超前还是滞后，并且实现如上面所述的跳过。

图23示出了利用上述算法进行的优先级的时间的变化。

图23示出了要附加到图像帧中的优先级的变化。该优先级是在终端过载时决定可否进行解码的优先级，它附加于每一帧中。优先级值越小，优先级越高。在图23的例子中，0的优先级最高。当优先级的阈值为3时，附加了值大于3的优先级的帧不进行解码而废弃，对附加了值为3或小于3的优先级的帧进行解码。根据优先级有选择地废弃这些帧，可以控制终端的负载。也可以根据当前处理时间和附加到各帧的解码时间(DTS)之间关系，动态地决定优先级阈值。根据同样的过程，这种技术不仅可以应用于图像帧，也可以应用于声音。

考虑到在传输线路为互联网等的情况下，在传送途中丢失的编码信息需要重发示，在接收控制部分设置决定要重发的编码信息的优先级的阈值的重发请求优先级确定部分，根据重发请求优先级确定部的优先级信息、重发次数、信息丢失率、帧内编码帧的插入间隔、受优先级确定部分控制的优先级的级别(例如五级优先)，对接收控制部分确定要重发的编码信息的优先级阈值，并决定附加给需要请求重发的编码信息的优先级阈值，这样，当必须重发传输时丢失的编码信息时，可以仅重发接收侧所要求的图像或音频数据。如果重发次数很多或信息丢失率很高，则有必要提高要重发信息的优先级，减少重发次数或降低丢失率。而且，通过了解优先级确定部分使用的优先级，可以防止发送处理对象外的信息。

在发送终端，当实际传送速率超过发送端的信息的目标传送速率时，或者当开始传送处理后经过的时间与附加到要解码或显示的编码信息的时间比较，把编码信息写入到发送缓存器的过程滞后时，可用附加到编码信息中的、在接收终端的优先级决定部分所利用的过载时的优先级，通过减少信息的发送，使其能够与目标速率一致地发送图像或声音数据。在发送终端也可以通过将在接收所进行的过载时处理跳过功能引入到发送终端，可以控制发送终端过载引起的故障。

通过根据需要仅发送上述AL信息中必要的信息，可以调整要发送到诸如模拟电话线等窄带通信通道上的信息量。在发送数据之前决定在发送终端上要附加到数据自身中的数据控制信息，把要使用的数据控制信息作为控制信息(例如仅使用随机访问标记)传送给接收终端，并根据在接收终端获得的控制信息，通过重写与存储在发送格式存储部分103内的发送结构(见图16)有关的信息，可以重组在发送终端所使用的AL信息(数据控制信息)。

图4是一示意图，用于解释动态改变要附加到待发送的视频或音频数据中的首部信息的方法。在图4的例子中，把要发送的数据(ES)分解成数据片并以通信首部的形式在这些数据片附加表示数据顺序关系的识别信息(序列号)、表示能处理数据片的开始位置的信息(标记位)和与数据片的传送有关的时间信息(时间标记)，其中假设上述各信息对应于本发明的传输控制信息。

具体地说，RTP(实时传送协议，RFC1889)利用上述序列号的信息、标记位、时间标志、对象ID(称为SSRC)和版本号作为通信首部。虽然可以扩充首部信息项，但上述各项总是作为固定项附加。然而，当诸如视频电话等实时通信和诸如影视点播等累积媒体的传输一起出现在要同时传输多个不同的编码图像或声音的环境下时，由于通信首部的含义彼此不同，所以必需有识别手段。

例如，在MPEG 1/2情况下，如上所述，时间标记信息表示PTS为再现时间。然而，在H.261或H.263中，时间标记信息表示对信息编码时的间隔时间。但是，当要进行使H.263与音频数据同步的处理时，必须表示时间标记为PTS信息。这是因为在H.263的情况下，RTP定义时间标记信息表示编码帧之间的时间间隔，第一帧的时间标记是随机的。

因此，必须附加(a)表示时间标志是否为PTS的标记作为通信首部信息(必须扩充通信首部)、或(b)H.263或H.261的有效负荷的首部信息(即，AL信息)(在这种情况下，必须扩充有效负荷信息)。

用作表示是否为能处理数据片的开始位置的信息的标记位作为RTP首部信息附加。而且，作为AL信息，如上所述，往往希望使其具有表示是能访问数据的开始位置的访问标记和表示可以随机访问数据以获得AL信息的随机访问标记。由于使其双重具有通信首部的标记而降低了效率，所以也可以考虑由通信首部准备的标记替代AL标记的方法。

(c)在通信首部新设表示不附加AL标记将在通信首部所附加的AL标记替代，或定义通信首部的标记位与AL相同，(与提供AL标记的情况相比，预期解释可以更快地进行)，由此，解决上述问题。即，采用一种标记，表示标记位是否具有与AL标记相同的含义。在这种情况下，认为可以是通信首部的改良或在扩充的范围内描述首部。

然而，(d)也可以将通信首部的标记位的含义，解释表示为在AL中至少存在随机访问标记和访问标记之一。在这种情况下，要知道其含义与原来的不同，可以由通信首部的版本号来对应。而且，只要通过在通信首部或AL首部设置访问标记或随机访问标记处理是很简单的(对于前者，考虑两个首部都设置标记的情况，但必须重新扩充通信首部)。

已经描述了附加表示数据处理优先级的信息，作为AL信息。通过把数据处理优先级附加到通信首部，可以使数据处理优先级的处理的判定，即使在网络上也可以不进行数据内容的解释而得到处理。而且，在IPv6的情况下，可以在比RTP级更低的层上附加该优先级。

通过向RTP通信首部附加表示数据处理的有效期间的计时器或计数器，可以判断所传送的数据包的状态是怎样变化的。例如，当需要的解码软件存储在低访问速率的存储器时，可以由计数器或定时器判断解码器所需要的信息以及什么时候需要信息。在这种情况下，根据用途，对于AL信息来说，计时器或计数器的优先级信息或数据处理的优先级信息不是必需的。

图5(a)和5(b)以及图6(a)至6(d)是解释附加AL信息的方法的示意图。

通过向接收终端发送控制信息，可以选择处理发送信息的等级。所述控制信息为是如图5(a)所示，把AL仅加到要发送的数据的首部，还是如图5(b)所示，在把要发送的数据(ES)分解成一个以上的数据片之后的各数据片中附加把AL。当访问滞后成问题时，通过把AL附加到细分割数据中是有效的。

如上所述，为了事先把在接收侧数据控制信息的重组合或把数据控制信息配置到数据中的方法的变化传送给接收终端，接收终端可以利用标记、计数器或定时器的表达方法，将表述准备成AL信息或通信首部通知接收终端，使接收终端能顺利地进行对应。

在上述例子中，描述了避免用AL信息复制RTP首部(或通信首部)的方法和扩充RTP或AL信息通信首部的方法。然而，对于本发明来说，并不总是必须使用RTP。例如，也可以利用UDP或TCP重新定义独立的通信首部或AL信息。虽然互联网类环境有时利用了RTP，但在原类环境中并没有定义诸如RTP等多功能首部。关于对AL信息和通信首部的思考方法有下面四种类型(参见图6(a)至6(d))。

(1)对RTP或AL信息的首部信息进行校正和扩充，以使已分配给RTP的首部信息和已分配给AL的首部信息不重叠(特别是，时间标记的信息重叠，计时器、计数器或数据处理的优先级信息变成扩充信息)。或者，可以利用不扩充RTP首部和即使AL信息与RTP重复也不考虑的方法。它们对应于至此已说明的内容。由于RTP的一部分，已实际上在H.323被使用化，所以扩充具有兼容性的RTP是有效的。(参见图6(a)。)

(2)不拘泥于RTP，简化通信首部(例如，仅使用序列号等)，把剩余的内容，作为多功能控制信息提供给AL信息。而且，通过使得在通信前可变地设置AL信息使用的项目，这样可以灵活地指定发送格式。(参见图6(b)。)

(3)不管RTP如何，简化AL信息(极端的例子是对AL不附加信息)，并把控制信息全部提供给通信首部。将可频繁地经常被参照的通信首部的序列号、时间标记、标记位、有效负荷类型和对象ID作为固定信息，并将向数据处理优先级信息和定时器信息作为扩充信息，设置表示扩展信息是否存在的标识符，只要扩充信息被定义，则参考该信息(参见图6(c)。)

(4)与RTP无关，简化通信首部和AL信息，把通信首部或AL信息作为分开的数据包定义其格式并发送。例如，对AL信息仅定义标记位、时间标记和对象ID，对通信首部也仅定义序列号，作为与这些信息不同的数据包(第二数据包)，定义有效负载信息、数据处理优先级信息和计时器信息等并发送(参见图6(d)。)

如上所述，当考虑用途和已附加到图像或声音数据中的首部信息时，优选根据该用途，能自由地定义(定制)与通信首部、AL信息以及数据是分开发送的数据包(第二数据包)。

图7的示意图用于解释通过动态多路复用和分离多条逻辑传输线路来传输信息的方法。其通过在传输部分设置信息多路复用部分和在接收控制部分设置信息分离部分来实现。所述信息多路复用部分为减少逻辑传输线路的数量，根据用户的指定或者所用逻辑传输线路的数量，可以使传送多个数据或控制信息的逻辑传输线路信息的多路复用开始或者结束的信息多路复用部分，该分离部分离所接收的多路复用信息。

在图7中，信息多路复用部分称为“Group MUX”，具体地说，它可以使用诸如H.223的多路复用系统。可以设置于传输/接收终端Group MUX。通过将其设置于中继路由器或终端，可以进行窄带通信通道的对应。而且，如果Group MUX在H.223中实现，则可以使H.223和H.324互连。

为了快速地取得信息多路复用部分的控制信息(多路复用控制信息)，通过另一逻辑传输线路发送信息多路复用部分内的控制信息，而在信息多路复用部分中的控制信息不与信息多路复用部分内的数据进行多路复用，可以减少因多路复用引起的延迟。因而，通过通知是将与信息多路复用部分有关的控制信息与数据多路复用后传送，还是控制信息不与数据进行多路复用，不进行多路复用，而是通过另一逻辑传输线路传送，并进行传送，用户可以选择是保持与传统多路复用的一致性，还是减少由于多路复用引起的延迟。在此，关于信息多路复用部分的多路复用控制信息是例如表示信息多路复用部分对每片数据进行什么样的多路复用的、表示多路复用的内容的信息。

同样，如上所述，根据表述方法，例如根据标记、计数器或计时器，可以传送发送方法的通知，该方法至少发送传达多路复用开始和结束的信息、传达多路复用逻辑传输线路的组合的信息和与多路复用有关的控制信息(多路复用控制信息)的传送方法，作为控制信息传送，或者作为数据控制信息与数据一起发送给接收终端，从而减少在接收侧的设置时间。而且，如上所述，可以在传输RTP首部设置表示标记、计数器或计时器的项目。

当存在多个信息多路复用部分或多个信息分离部分时，只需与标识符一起传送用于识别信息多路复用部分或信息分离部分控制信息(多路复用控制信息)，就可以识别控制信息属于哪个信息多路复用部分。控制信息(多路复用控制信息)包括多路复用模式等。而且，对于信息多路复用部分或信息分离部分的识别符，可以通过利用随机数表在终端之间决定，以产生信息多路复用部分的标识符。例如，可以在发送和接收终端之间规定的范围内产生随机数，并采用其最大值为信息多路复用部分的标识符(识别号)。

由于信息多路复用部分多路复用的数据在以前与RTP中定义的多媒体类型不同，所以需要对RTP有效负载类型定义表示在信息多路复用部分(定义新媒体类型H.223)多路复用的信息。

作为提高对多路复用数据的访问速度的方法，通过将信息多路复用部分传送或记录的信息以控制信息和数据信息的顺序配置，谋求快速地分析出多路复用信息。而且，将根据附加到控制信息中的数据控制信息描述的项目固定，并附加和多路复用与数据不同的标识符(唯一的模式)，可以快速分析出首部信息。

图8的示意图用于解释广播节目的传输过程。通过把逻辑传输线路的标识符与广播节目的标识符之间的对应关系作为广播节目的信息进行传送，或者发送控制信息或者使增加将广播节目的标识符作为数据控制信息(AL信息)附加到数据并传送，可以辨别出在多条传输线路传输的数据是为哪个节目广播而广播的。而且，将数据标识符(在RTP的情况下为SSRC)和逻辑传输线路的标识符(例如LAN端口号)之间的关系，作为控制信息向接收终端传送，并在确认了接收终端可以接收控制信息之后(Ack/Reject)，通过发送相应数据，即使控制信息和数据都分别通过独立的传输线路传输，也可以形成数据之间的对应关系。

将表示对广播节目或数据的传输顺序的标识符和具有表示广播节目或数据可以用作信息的有效期限的计数器或计时器的信息组合起来。并通过将其附加到广播节目或数据加以发送，可以实现无返回信道的广播(当有效期限几乎要失效时，即使信息不够，也开始再现广播节目的信息或数据)。而且，可以考虑这样一种方法，即使用单个通信端口(多播地址)，不分离控制信息和数据进行广播的方法。

在没有返回信道的通信中，必须在发送数据之前充分地发送比数据足够多的控制信息，以使接收终端能得知数据结构。而且，控制信息一般应当通过不会产生数据包丢失的、可靠性高的传输信道发送。然而，当利用可靠性低的传输信道时，必须周期性地发送具有相同传输序列号的控制信息。然而，这不限于发送与设置时间有关的控制信息的情况。

而且，通过选择可以作为数据信息附加的项目(例如访问标记、随机访问标记、数据再现时间(PTS)，或数据处理优先级信息等)，在发送数据之前并在发送侧决定是作为控制信息与数据的标识符(SSRC)一起通过与数据的传输线路不同逻辑传输线路进行传送，还是把数据控制信息作为数据控制信息(AL信息)传送，在接收侧作为控制信息通知并传送，可以灵活地控制和传送数据。

因而，可以不向AL附加信息而传送数据信息。因此，在使用RTP传送图像或声音数据时，就不必扩大对以前已定义的有效负载的定义。

图9(a)和9(b)为考虑了程序或数据的读取和启动时间的图像或声音的发送方法的示意图。具体地说，当如没有返回信道的单向的如卫星广播或便携终端那样，终端资源为有限时，或程序或数据存在于接收侧终端并使用，以及所需的程序(例如H.263，MPEG 1/2，或音频解码器软件等)或数据(例如视频数据或音频数据)存储在需要较长读取时间的存储器(例如DVD、硬盘或网络上的文件服务器)时，可以根据诸如为事先需要的识别程序或数据的标识符、传送的数据流的标识符(例如SSRC或逻辑信道号(logical Channel Number))或估计在接收端所需要的特定的时间点标记、计数器(升/降计数)或计时器等表述方法，通过作为控制信息接收，或作为数据控制信息与数据一起接收，来减少所需的程序或数据的设置时间(图18)。

当发送程序或数据时，通过从发送侧将表示程序或数据的接收终端的存储器地(例如硬盘或存储器)的信息、开始或读取所需的时间、终端的类型或存储地与开始或读取所需的时间之间的对应关系(例如CPU功率、存储设备和平均响应时间之间的关系)和与表示利用的顺序的程序或数据一起发送，这样在接收终端实际上需要程序或数据时，则可以计划安排程序或数据的存储地和读取时间。

图10(a)和10(b)的示意图用于解释对应于快速切换(切换电视频道)的方法。

与传统的卫星广播仅接收图像的情况不同，当必须在接收终端执行程序时，读取程序并到启动的设置时间是一个大问题。这对于可用的资源有限的便携终端的情况也存在同样问题。

作为一个解决方案，可以通过以下方式减少在接收侧终端的设置时间：(a)具备利用用户进行观看和收听的主视听部分和接收终端周期性地视听的辅视听部分，所述辅视听部分为用于在用户正在视听的节目以外的节目，并所需的程序和数据存在于读取数据需要时间的存储装置中，而接收用户正在视听的节目以外的节目的接收终端进行周期性地视听，并对事先需要的识别程序或数据的标识符、用于估计接收终端所需的特定时间的标记、计数器或定时器的信息以及与节目之间的对应关系作为控制信息(由与数据的数据包不同的数据包发送给控制终端处理的信息)接收，或作为数据控制信息(AL信息)与数据一起接收，并事先准备读取程序或数据。

作为第二种解决措施，设置仅广播通过多频信道广播的图像的标题图像的广播频道，并由用户切换节目，通过如下方法可以防止屏幕在设置时停止显示。即，当在需要较长读取时间的存储器中存在所需的程序或数据时，一旦选择用户想视听的节目的标题图像，并把它向用户显示，或者显示当前正在读取中，于此同时由存储器读取所需的程序或数据后，重新启动用户想视听的节目。在此所述的标题图像包括对通过多频道广播的节目进行周期性取样获得的广播图像。

而且，定时器体现时间，例如表示要解码从发送侧发送的数据流所需的程序从现在起到何时需要。计数器是发送和接收终端之间决定的基本时间单位，它只要是表示第几次的信息即可。标记与在设置所必需的时间之前发送的数据或控制信息(通过与控制终端处理的数据的数据包不同的数据包发送的信息)一起发送并通知。可把定时器、计数器嵌入到数据中发送，也可以把它们作为控制信息发送。

而且，作为确定设置时间的方法，例如在利用诸如工作在时基上的ISDN等传输线路时，把识别传输序列的传输序列号用作控制信息，以通知从发送终端向接收终端需要程序或数据的时刻，作为数据控制信息与数据一起或作为控制信息通知给接收终端，由此，可以预测进行设置的时间。而且，当传输时间由于如互联网的跳动或延迟而波动时，则考虑到传输的传播时延，只需根据已在RTCP(互联网使用的媒体传输协议)实现的手段，由跳动或时延把传输时间加到设置时间中。

图11(a)至19(b)示出了终端之间实际传送的协议的具体例子。

在ASN.1中描述了发送格式和传输过程。而且，发送格式根据ITU的H.245扩展。如图11(a)所示，图像和声音的对象可以具有分层结构。在该例子的情况下，每个目标ID具有广播节目标识符(Program ID)和对象ID(S SRC)的属性和图像之间的结构信息、合成方法用诸如Java或VRML等脚本语言描述。

图11(a)示出了对象之间关系的例子。

在图11(a)中，对象是诸如声音、图像、CG和文本等媒体。在图11(a)的例子中，对象构成分层结构。每个对象具有节目号(“Program ID”相当于TV频道)，用于识别对象的“Object ID”对象标识符。当根据RTP(互联网使用的传输媒体的媒体传输协议，实时传输协议)传输每个对象时，使对象标识符通过使其与SSRC(同步源标识符)对应可以容易地识别对象。而且，可以利用诸如JAVA或VRML等描述语言描述对象之间的结构。

传输对象的方法可以由两种类型。一种是广播型，把对象单方面从发送侧终端发送。另一种是在发送和接收终端(终端A和B)之间传送对象的类型(通信型)。

例如，作为传输方法在互联网的情况下，可以用RTP。在视频电话标准的情况下，利用称作LCNO的传输通道，传输控制信息。在图11(a)的例子中，用多个传输通道来传输。把相同的节目通道(Program ID)分配给这些通道。

图11(b)的示意图用于解释如何实现这种实现了本发明描述的功能的协议。下面描述视频电话标准(H.324和H.323)所用的传输协议(H.245)。本发明描述的功能通过扩展H.245来实现。

图11(b)中的例子示出的描述方法是称为ASN.1的协议描述方法。“终端性能集(“Terminal Capabilityset”)表述终端的性能。在图11(b)的例子中，描述成“mpeg 4 Capability”的功能是对传统H.245的扩展。

在图12中，“mpeg 4性能”(“MPEG4 Capability”)描述了可以同时在终端处理的最大图像数据(“Max Namber of Video”)和最大声音信号数(“Max Numbeof Sounds”)，还描述终端可以实现的最大多路复用功能数(“Max Number ofMux”)。

在图12中，表示成可以处理的最大对象量(“Number of ProcessObject”)。而且，描述了表示是否可以改变通信首部(在图12中表示成AL)的标记。当标记的值为真时，可以改变通信首部。为了利用“MPEG 4性能确认(“MEG 4Capbility ACK”)彼此传达在终端之间可以处理的对象数，如果被传达侧可以接受(处理)这些对象，被传达侧把“MPEG 4 Capbility ACK”送回给发送“MPEG 4Capbility”的终端，如果不能，则向该终端回送“MEPG 4性能拒绝”(“MPEG4Capbility Reject”)。

图13(a)示出了如何描述利用上述Group MUX把多个逻辑信通道多路复用成一个传输通道(在本例中为LAN传输通道)的协议，以便逻辑通道共用传输通道。在图13(a)的例子中，使多路复用装置(Group MUX)对应于LAN(局域网)传输通道(LAN端口号，“LAN Poxt Number”)。“Group Mux ID”(“Group Max ID”)是用于鉴别多路复用装置的标识符。为了“创建组Max”(“Create group Mux”)，使终端共用多路复用装置，并在终端之间相互传送，如果被传送侧可以接受(使用)该多路复用装置，就向发送“Greate Group Mux”的终端回送“Greate Group Mux Ack”，如果不能接受，就向该终端回送“Greate Group Mux Reject”。可以用相同的方法实现分离装置，用作进行与多路复用手段相反的操作的手段。

在图13(b)，描述了删除已产生的多路复用手段的情况(“Destory GroupMux”：“破坏组Mux”)。

在图13(c)中，描述了LAN传输通道与多个逻辑通道之间的关系。

根据“LAN Port Numbef”描述LAN的传输通道，根据“逻辑端口号”(“Logical Port Number”)描述了逻辑通道。

在图13(c)的情况下，可以使一个LAN的传输通道对应多达15个逻辑通道。

在图13中，当可以使用的MUX的数量仅为一个时，Group Mux ID就不需要。而且，为了使用多个Mux，对于H.223的每个命令都必须有Group Mux ID。可以使用标记，以通知多路复用装置与分离装置之间使用的端口之间关系。还可以使用命令使其可以选择是对控制信息进行多路复用，还是通过另一逻辑传输线传输信息。

图13(a)至图13(c)所示的解释例中，传输通道利用LAN。然而，也可使用利用例如H.223或MPEG 2等的互联网协议的系统。

在图14中，“开逻辑通道”(“Open Logical Channel”)显示定义传输通道属性的协议描述。在图14的例子中，“MPEG 4逻辑通道参数”(“MPEG4 LogicalChannel Parameters”)根据H.245协议扩展和定义。

图15示出了对于LAN传输通道，表示节目号(相当于TV频道)，与节目的名称对应(“MPEG 4 Logical Cannel Parameters”)。

而且，在图15中“广播通道节目”(“Broadcesting Channel Program”)表示根据广播型发送LAN传输通道与节目号之间对应关系的描述方法。图15的例子使得可以发送多达1023个传输通道与节目号之间对应关系。由于在广播的情况下，发送侧单方面向接收侧发送，所以考虑到在传输期间的丢失现象，有必要周期性地发送这些信息。

在图16(a)中，描述了作为节目传输的对象(例如图像或声音)的属性(“MPEG4对象类别定义”)(“MPEG4 Object Calssdefinition”)。把对象信息(“对象结构单元”)(“Object Structure Element”)对应于节目标识符(“ProgramID”)。可以使多达1023个对象对应于节目标识符。对于对象信息，描述了LAN传输通道(“LAN port Number”)、表示是否使用加扰的标记(“加扰标记”)(ScrambleFlag)、终端过载时定义改变处理优先级的偏移值的字段(“CGD偏移”)(“CGDOffset”)以及识别要传输的媒体类型(图像或声音)的标识符(“媒体类型”)(“Mediatype”)。

在图16(b)所示的例子中，增加了AL(在本例中，定义成一帧解码图像所需的附加信息)以控制对ES(在本例中，定义成对应于一帧的图像的数据串)的解码。对于AL信息，定义如下。

(1)随机访问标记(表示是否可独立再现的标记，真表示帧内编码的图像帧)

(2)展现时间标志“Presentation Time Stamp”(帧显示的时间)

(3)CGD Priority(决定当终端过载时的处理优先级的优先级的值)

该例子示出了利用RTP(通过互联网传送连续的媒体的协议，即实时传送协议)传送一帧的数据串的情况。“AL Reconfiguration”是改变可以用上述的AL表示的最大值的传输表述。

图16(b)的例子使得可以把多达2位表示成“随机访问标记最大位数”(“Random Access Flag Max Bit”)。例如，当“0”时，不使用随机访问标记(“Random Access Flag”)。当有两位时，最大值等于3。

而且，可以用实数部分和尾数部分表示(例如3∧6)。当不设置数据时，也可以在缺省确定状态下工作。

在图17中，“设置请求”(“Setup Request”)表示传输设置时间的传输表述。“Setup Request”在传输节目之前发送，使要传输的传输通道号(“LogicalChannel Number”)、要执行的程序ID(“执行程序号”)(“excutive ProgramNumber”)要使用的数据ID(“data Number”)和要执行的命令ID(“执行命令号”)(“excutive Command Number”)成彼此对应，并传输给接收终端。而且，作为另外的表述方法，可以采用执行授权标记(“flag”)、描述在接收“SetupRequest”多少次时开始执行的计数器(“counter”)和表示在经过多少时间后开始执行的定时器值(“timer”)，并使它们对应于传输通道号。

作为要提出的请求的例子，可列举重写AL信息和确保Group Mux的启动时间。

图18的示意图用于解释传输表述，是否利用图16(b)描述的AL从发送终端向接收终端传送AL(“控制AL定义”)(“Control AL Definstion”)。

在图18中，如果“随机访问标记使用”(“Random Access Flag Use”)为真，则使用随机访问标记。否则就不使用。可以把AL变化通知作为控制信息通过与数据传输通道分开的通道进行传输，或通过与数据相同的传输通道，与数据一起传输。

作为执行用的程序，可列出解码程序。可以把设置请求用于广播和通信。根据上述请求，对接收终端指示作为控制信息，使用作为AL信息的哪一项。而且，可以同样地对接收终端指示作通信首部用哪一项，作为AL信息用哪一项，作为控制信息用哪一项。

图19(a)示出了传输表述的例子，它使用信息帧标识符(“首部ID”)(“headerID”)，在发送和接收终端之间，根据用途改变首部信息的结构(数据控制信息、传输控制信息和控制信息)。

在图19(a)中，“类别ES首部”(“class ES_header”)根据信息帧标识符，在发送和接收终端之间区分通过与数据传输通道相同的通道传输的数据控制信息的结构或者与传输控制信息所传输的信息的结构。

例如，当“header ID”值为0时，仅使用“缓存器规模的ES”(“bufferSize ES”)项，而当“header ID”值为1时，增加(“reserved”)项并使用。

而且，通过使用缺省标识符(“使用首部扩展”)(“use HeaderExtension”)，判定是否使用缺省形式的信息帧。当“use Header Extension”是真时，使用if语句中的项。假设事先在发送和接收终端之间决定了这些结构信息。而且，可以使用信息帧标识符和缺省标识符之任意一方。

在图19(b)的例子中，“AL配置”(“AL Configuration”)表示这样一个例子，在发送和接收终端之间，根据用途改变通过与传输的数据不同的传输通道发送的控制信息的结构。信息帧标识符和缺省标识符的使用方法与图19(a)的情况相同。

在本发明的情况下，从下面的观点具体描述实现同时合成和显示多个运动图像和多个声音的方法。

(1)通过多条逻辑传输线路传输图像和声音(通信和广播)并控制它们的方法。尤其是，描述了通过使将控制信息和数据分别进行传输的逻辑传输线路独立并传输的方法。

(2)动态改变附加到要传输的图像或声音的数据中的首部信息(AL信息)的方法。

(3)动态改变为传输而附加的通信首部信息的方法。

具体地说，对于第(2)和(3)项，描述了综合在AL信息和通信首部重复的信息并进行控制方法和把AL信息作为控制信息传输的方法。

(4)对多条逻辑传输线路进行动态地多路复用和分离和传输信息的方法。

描述了节省传输线路的通道数的方法和实现有效多路复用的方法。

(5)考虑了程序或数据的读取、启动时间的图像和声音的传输方法。而且，描述了从各种功能和用途的方面缩短表面上的设置时间的方法。

(6)针对频道快速切换的图像或声音的传输方法。

本发明并不仅限于合成两维图像。也可以使用把两维图像与三维图像组合的表述方法，或者可以包括合成如宽视野图像(全景图像)那样彼此相邻接多幅图像的图像合成方法。

而且，作为本发明的对象的通信形式并不仅限于诸如有线的双向CATV和B-ISDN。例如，可以使用从中央终端向家用终端传输图像和声音的无线电波(例如VHF频带或UHF频带)，或者卫星广播以及从家用终端向中央终端传送信息的模拟电话线路或N-ISDN(图像、声音或数据也不一定是被多路复用的)。

而且，可以使用无线电通信系统，诸如IrDA、PHS(个人手持电话)，或者无线LAN的通信形式。而且，对象终端可以是例如便携式信息终端的便携式终端或例如设置盒或个人计算机等桌面终端。而且，作为应用领域，还可以包含视频电话、多点监视系统、多媒体系统、多媒体数据库检索系统和游戏机。本发明不仅包括接收终端，而且还包括连接到接收终端的服务器和转发器。

在上述例子中，描述了避免RTP(通信)首部与AL信息重复的方法和扩充RTP通信首部或AL信息的方法。然而，本发明并不一定必须使用RTP。例如，也可以利用UDP或TCP重新定义独立的通信首部或AL信息。虽然互联网类环境有时使用RTP，但对于原类环境并未定义诸如RTP等多功能首部。如上所述，关于AL信息和通信首部的概念有四种。

因此，通过动态确定在发送和接收终端使用的数据控制信息的信息、传输控制信息或控制信息的各种信息的帧(例如：包括首先把随机访问标记作为1位标记信息分配，其后信息序列作为16位标记信息分配的、附加信息的顺序和伴随位数的信息的帧)，可以进行对应于状况的信息帧的改变，也可以根据用途或传输线路进行改变。

各信息的帧可以是如图6(a)至6(d)所示出的任一种，在RTP的情况下，数据控制信息(AL)可以是每种媒体的首部信息(例如，在H.263的情况下，可以是H.263固有的视频首部信息或有效负载的首部信息)，传输控制信息可以是RTP首部信息，控制信息可以是控制诸如RTCP等RTP的信息。

而且，在发送和接收终端之间预先设置了公知的信息帧的情况下，通过将表示是否进行发送或接收的缺省的标识符设置于数据控制信息、传输控制信息和控制信息(通过与数据不同的数据包传输的、控制终端处理的信息)，可以了解信息帧是否已改变。通过仅当进行了改变时，设置缺省标识符并根据图16所示的方法，通知已改变内容(例如时间标志信息从32位改变成16位)，这能防止信息的帧信息没有改变时传输不必要的配置信息。

例如，要改变数据控制信息的信息帧可以有下面的两种方法。首先，在描述对数据本身进行数据控制信息的信息帧的改变方法时，设置数据控制信息的信息帧描述的数据中存在的信息的缺省标识符(要写入到固定区域或位置)，然后描述信息帧的变化内容。

作为另一种方法是描述变控制信息(信息帧控制信息)为数据的信息帧的方法时，改变数据控制信息中的信息帧时，设置控制信息提供的缺省标识，描述要改变的数据控制信息的信息帧的内容，并根据ACK/Reject向接收终端通知并确认数据控制信息的信息帧已改变后，传输信息帧已改变的数据。改变传输控制信息和控制信息本身的信息帧时，也可以由上述两种方法实现(图19)。

更具体地说，虽然MPEG2的首部信息是固定的，通过对MPEG2-TS的视频数据流(传送数据流)与音频数据流相关联的程序映射表设置缺省标识符(由PSI定义)，并定义描述了视频数据流和音频数据流信息的帧的改变方法的配置数据流，只要缺省标识符一设置就可以首先解释配置数据流，然后根据配置数据流的内容解释视频和音频数据流的首部。配置数据流可以是图19所示的内容。

与传输方法和/或要传输的数据的结构有关的本发明的内容(传送格式信息)在上述实施例中，例如对应于信息帧。

上述实施例，主要描述了与传输方法和/或要传输的数据的结构有关的、要改变的内容。然而，并不限于此，也可以是使用仅传输内容标识符的结构。在这种情况下，作为发送装置，例如，如图44所示，可以是音频-视频发送装置包括：(1)发送装置5001，将发送与传输方法和/或要发送的数据的结构有关的内容或表示内容的标识符，作为发送格式内容，使用与传送数据相同的传输线路或与所述传输线路不同的传输线路进行传送；(2)存储装置5002，用于存储多种类型的与传输方法和/或要发送的数据的内容有关的内容及其标识符，所述标识符为在数据控制信息、传输控制信息和控制终端侧处理的至少一个信息。而且，作为接收装置，例如，如图45所示，可以是音频-视频接收装置，包括：用于接收从音频-视频发送装置发送的传输格式信息的接收装置5101和用于解释接收到的发送格式信息的发送格式信息解释装置5102。而且，音频-视频接收装置还可以具有存储装置5103，其用于存储多种类型的与传输方法和/或要发送的数据的结构有关的内容和这些内容的标识符，当作为发送格式信息接收标识符时，可以用存储在存储装置中的内容解释标识符的内容。

更具体地说，在发送和接收终端预先决定并准备多种类型的信息帧，通过与数据一起传输用于进行上述多种类型的信息帧的识别和数据控制信息、传输控制信息和控制信息(传输帧控制信息)的信息帧标识符，或者作为控制信息进行传送，这样，可以可以识别多种类型的数据控制信息、多种类型的传输控制信息和多种类型的控制信息，可以根据要传输的媒体类型或传输线路的容量自由地选择各种类型信息的信息帧。本发明的标识符对应于上述信息帧标识符。

通过把标识符附加到要传输的信息的预定的固定长度区域中或预定位置上，即使在接收侧终端即使信息帧被改变，也可以读取和解释这些信息标识符和缺省标识符。

而且，除了上述实施例描述的结构之外，也可以使用这样一种结构，在多个通道中设置仅广播通过由多频道广播的图像的标题图像的广播通道，用户通过切换要视听的节目，当程序或数据的设置需要花费很多时间时，可以一旦选择要观看和收听的节目的标题图像，并向用户提示。

如上所述，本发明可以动态地决定在发送和接收终端使用的数据控制信息的帧、传输控制信息或控制信息，可以对应于状态改变信息的帧，并也根据用途或传输线路改变。

而且，可以通过在发送和接收终端之间使用预先设置的公知信息，对数据控制信息、传输控制信息和控制信息各自设置表示是否发送或接收并处理信息的缺省标识符，可以得知信息帧是否已改变，并且仅当进行了改变时通过设置缺省标识符并通知改变内容，可以在没有改变信息帧时防止传输不必要的配置信息。

再者，通过在发送和接收终端预先决定并准备多种信息帧，通过与数据一起传输用于识别多种类型的数据控制信息、传输控制信息和控制信息的信息帧标识符，或者作为控制信息进行传送可以分别识别多种类型的数据控制信息、传输控制信息和控制信息，并且可以根据要传输的媒体的类型或传输线路的容量自由地选择各种类型的信息帧。

通过把标识符附加到要传输的信息的预定的固定长度区域中或预定的位置，即使在接收侧终端即使信息帧被改变，也可以读取和解释这些信息标识符和缺省标识符。

下面参照附图描述本发明的实施例。

在本例中，解释了上述课题(B1)至(B3)中的一个问题。

本发明所用的“图像”包括静止图像或运动图像。而且，提出的图像可以是二维图像，例如计算机图形(CG)图像，或者可以是用线框型构成的三维图像数据。

图25是本发明的实施例的图像编码器或图像解码器的示意性框图。

发送或记录各种编码信息发送控制部分4011是用于传送同轴电缆、CATV、LAN或调制解调器等的信息的装置。图像编码器4101具有图像编码部分4012，用于对诸如H.263、MPEG1/2、JPEG图像信息进行编码或进行Huffman编码，还具有发送控制部分4011。而且，图像编码器4102的输出部分4016由下列部分构成：接收各种编码信息的接收控制部分4013、解码各种接收到的图像信息的图像解码部分4014、合成一幅或多幅解码图像的图像合成部分4015和由输出图像的显示器和打印机构成的输出部分的4016。

图26是本发明一个实施例的音频编码器和音频解码器的示意性框图。

音频编码器(声音编码器4021)包括：发送或记录各种编码信息的发送控制部分4021和对诸如G.721或MPEG1音频信号的音频信息进行编码的音频编码部分4022。音频解码器(声音解码器)4202包括：接收各种编码信息的接收控制部分4023、解码上述音频信息的音频解码部分4024、合成一个或多个解码音频信号的音频合成部分(声音合成部分)4025和输出音频信号的输出装置4026。

上述编码器或解码器各自对声音或运动图像的时间序列数据进行具体的编码或解码。

图25和26的通信环境可以是能使用多条逻辑传输线路而不用考虑多路复用装置的环境，如互联网的情况，也可以是必需考虑多路复用装置的环境，如模拟电话或卫星广播的情况。作为终端连接系统，可列举诸如在视频电话或视频电话会议系统等终端之间双方向传输图像或声音的系统，或在卫星广播、CATV或互联网上广播的广播型图像或声音的系统。

同样，合成图像或声音的方法，可以用诸如JAVA、VRML或MHEG等脚本语，描述图像和声音、图像和声音的结构信息(显示位置和显示时间)、音频-视频分组方法、通过描述图像显示的层(深度)和对象ID(识别诸如图像或声音等各种对象的ID)和与它们的属性之间的关系，可以定义合成图像或声音的方法。描述合成方法的脚本可以从网络或本地存储器获得。

而且，可以任意组合任意个数的图像编码器、图像解码器、音频编码器和音频解码器，构成发送或接收终端。

图27(a)的示意图用于解释控制过载处理时的优先级的优先级附加部分和优先级决定部分。利用诸如H.263或G.723的编码方法，根据预定的标准决定过载时的处理的编码信息的优先级，并设置使编码信息与确定的优先级相关联的优先级附加部分31于图像编码器4101和音频编码器4201中。

优先级的附加基准是在图像的情况下为场景变化，编辑者或用户指定的图像帧、数据流，在声音的情况下为有声区和无声区。

定义过载时的优先级的优先级附加方法可以有两种。向通信首部附加优先级的附加方法和在编码时把优先级嵌入到要编码的视频或音频的位流的首部内的方法。前一种方法可以不用解码信息而获得与优先级有关的信息，后一种方法可以独立地处理一个位流，而与系统无关。

如图27(b)所示，当把优先级信息附加到通信首部时，把一图像帧(例如帧内编码的I帧或帧间编码的P或B帧)分割成多个传输数据包时，在图像的情况下，作为单独的信息仅在传输可访问的图像帧的首部附加优先级(当在同一图像中优先级相同时，可以假设一直到下一个可访问图像帧出现为止，优先级都不变化)。

又，在解码器中，根据在接收到的各种编码信息的过载时的优先级决定处理方法的优先级处理部分32设置于图像解码器4102和音频解码器4202。

图28(a)至28(c)的示意图用于解释附加优先级的等级。解码利用决定终端过载时的处理的优先级的两种类型的优先级进行。

即，定义了：用于规定以位流(诸如图像和声音的位流)单位过载时的处理的优先级的数据流优先级(数据流优先级“Stream Priority”；时间序列数据间优先级)；用于规定同一数据流中以帧(例如图像帧)单位过载时的处理的优先级的帧优先级(帧优先级“Fram Priority”；时间序列数据内优先级)(参见图28(a))。

前一种数据流优先级可以处理多个视频或音频数据。后一种帧优先级可以根据编辑者的意向，向图像场景变化或同一帧内编码的图像帧(I帧)附加不同的优先级。

数据流优先级表示的值的意义可以考虑到作为相对值处理的情况和作为绝对值处理的情况(参见图28(b)和28(c))。

数据流优先级和帧优先级的处理在网络上时，可以由诸如路由器或网关等转发终端；若为终端，则有发送和接收终端。

考虑用两种方法表示绝对值或相对值。一种是图28(b)所示的方法，另一种是图28(c)所示的方法。

在图28(b)中，绝对值优先级是表示被编辑者或机械性附加的图像数据流(视频流)或音频流过载时的处理(或要处理)的顺序的值(但不是考虑了实际网络或终端的负荷变化的值)。相对值优先级是根据终端或网络的负荷改变绝对优先级值的值。

通过把优先级分成相对值和绝对值进行控制，根据网络的负荷波动等，通过在发送侧或由转发器只改变相对值，可以保留附加在视频或音频数据流中的绝对优先级，同时将其记录到硬盘上或VTR上。因此，只要记录了绝对优先级的值，就可以不受网络的负荷波动等影响的而再现图像或声音。而且，可以独立于数据通过控制通道传输相对或绝对优先级。

在图28(b)中，可以使其的等级比数据流优先级更细，把定义过载时的帧的处理的优先级的帧优先级作为相对优先级的值，或者把作为绝对优先级的值处理。例如，通过在编码图像中描述绝对帧优先级、和为反映网络或终端的负荷波动，将对于附加到前面的图像帧中的绝对优先级的相对帧优先级描述在传输编码信息的通信数据包的首部，这样，即使在帧一级的情况下，也可以在保留原始优先级的同时，并根据网络或终端的负荷附加优先级。

还可以不是通信首部，而是独立于数据，在控制通道中描述与帧的关系，来传送相对优先级。这样，可保留原来附加到图像或声音数据流的绝对优先级，同时把数据记录到硬盘或VTR上。

而且，在图28(b)中，不在接收终端上记录数据，通在过网络传输数据的同时在接收终端再现数据，由于不必在接收终端分离绝对值和相对值进行控制，可以在发送侧对帧和数据流双方的级，在发送前事先计算绝对优先级的值和相对优先级，仅传送绝对值。

在图28(c)中，绝对值优先级是从Stream Priority和Fram Priority之间的关系获得的帧之间唯一确定的值。相对值优先级是表示编辑者或机械地附加的图像数据流或音频数据流在过载时处理(或要处理)的顺序的值。在图28(c)的例子中，图像或声音的各数据流的帧优先级(relative；相对值)或对每个数据流附加数据流优先级。

绝对帧优先级(absolute；绝对值)由相对帧优先级和数据流优先级之和求得(即，绝对帧优先级＝相对帧优先级+数据流优先级)。也可以使用减法或乘以常数的方法获得绝对优先级。

绝对帧优先级主要用于网络。这是因为利用绝对值的表述不需要确定通过诸如路由器或网关等转发器考虑Stream Priority和Fram Priority，来确定每帧的优先级。通过使用绝对帧优先级，可以使在转发器的帧废弃的处理得到简化。

另一方面，可以期望把相对帧优先级主要应用于进行记录或编辑累积系统。在编辑操作的情况下，可以同时处理多个图像和声音数据流。在这种情况下，因终端或网络的负荷情况，能再现图像数据流的数量和帧的数量有可能达到极限。

在上述情况下，与仅通过把Stream Priority与Fram Priority分离并控制，例如，仅通过改变编辑者想优先显示或用户要看的数据流的Stream Priority表述绝对值的情况不同，不必重新计算每个Fram Priority。因此，必须根据用途分别使用绝对表述或相对表述。

通过描述是把数据流优先级用作相对值还是用作绝对值，可以有效地表示在传输的情况和在累积的情况下的优先级。

在图28(b)的情况下，附随数据流优先级，通过设置数据流优先级表述的值是绝对值还是相对值的标记或标识符进行区别。在帧优先级的情况下，不需要标记或标识符，这是因为在通信首部描述了相对值，在编码帧内描述了绝对值。在图28(c)的例子中，设置了识别帧优先级是绝对值还是相对值的标记或标识符。在绝对值的情况下，帧优先级是根据数据流优先级和相对帧优先级计算得到的优先级，因此，转发器或终端并不进行这种计算。而且，当终端已知计算公式时，可以根据绝对帧优先级和数据流优先级反向计算相对帧优先级。例如，还可以从下面的相对表述获得要传输的数据包的绝对优先级(Access Unit Priority)：

“Access Unit Priority＝数据流优先级-帧优先级”

在这种情况下，由于帧优先级是在从数据流优先级中减去了之后获得的，所以它也可以表示为劣后优先级。

也可以使一个或多个数据流优先级与通过TCP/IP逻辑通道(LAN的端口号)的数据处理的优先级相关联，控制数据处理。

再者，通过把比字符或控制信息低的数据流优先级或帧优先级分配给图像或声音，预期可以减少重发。这是因为即使部分图像或声音丢失，在大多数情况下也不会产生问题。

图29的示意图用于解释把优先级分配给多分辨率视频数据的方法。

当一个数据流由多个子数据流构成时，可以通过把数据流优先级附加到子数据流中，并描述累积或传输时的逻辑和或逻辑积，定义子数据流处理方法。

在子波的情况下，可以把一图像帧分解成多个不同分辨率的图像帧。而且，即使在DCT基编码的方式中，通过把图像帧分割成高频分量和低频分量，并对它们进行编码，也可以把一图像帧分解成多个不同分辨率的图像帧。

除了附加到由一系列分解的图像帧构成的多个图像数据流中的数据流优先级之外，描述图像数据流之间的关系用“与”(逻辑积)以及“或”(逻辑和)来定义。具体地说，当数据流A的数据流优先级为5，数据流B的数据流优先级为10时(数值越小，优先级越高)，图像数据流之间的关系可以定义成根据优先级废弃数据流数据的情况下，废弃数据流B，但通过描述数据流之间的关系，在“与”的情况下，即使数据流B的优先级低于阈值优先级，也可以传输和处理数据流B，而不废弃。

因而，可以使有关联的数据流而不被废弃而的到处理。在“或”的情况下，则定义成可以废弃相关数据流。可以与前面的同样，废弃处理在发送或接收终端都可进行，甚至在转发终端也可进行。

而且，作为描述关系的运算符，当把同一视频剪辑分别编码成24Kbps和48Kbps时，存在是再现24还是再现48Kbps的情况(用异逻辑和“异或”描述关系)。

当前者的优先级被设置成10后者的优先级被设置成5时，用户可以根据优先级再现后者，或者不遵循优先级，选择后者。

图30的示意图用于解释通信有效负载的构成方法。

当由多个子数据流构成时，例如根据附加到子数据流中的数据流优先级，通过从具有最高优先级的子数据流开始，依次构成发送数据包，可以使在传输数据包一级上废弃变得容易。而且，提高精度，将具有高帧优先级的对象的信息汇总到一起构成通信数据包，可以使在通信数据包一级的废弃变得容易。

通过使图像的切片结构与通信数据包相关联，可以使回送遗漏的数据包变得容易。即，通过使运动图像的切片结构与数据包结构相关联，不需用于再同步的再同步标记。如果与通信数据包结构一致的切片结构不一致，则当发生遗漏数据包使信息受损时，必须附加再同步标记(告知回送位置的标记)，以便进行再同步。

根据上文所述，可认为把高防错措施应用于具有高优先级的通信数据包。而且，图像的切片结构表示诸如GOB或MB等的集合图像信息的单元。

图31的示意图用于解释使数据与通信有效负载相关联的方法。通过把数据流或对象与通信数据包相关联的方法与控制信息或数据一起传送，可以根据通信状态或用途产生任意的数据格式。例如在RTP(实时传送协议)的情况下，对要处理的每次编码定义RTP的有效负载。已有的RTP格式是固定。在H.263的情况下，如图31所示，定义了Mode A至Mode C的三种数据格式。在H.263的情况下，没有定义以多分辨率图像格式为对象的通信有效负载。

在图31的例子中，把层号“Layer No.”和上述关系描述(“与”，“或”)加到Mode A的数据格式中，并加以定义。

图32的示意图用于解释帧优先级、数据流优先级和通信数据包优先级之间的关系。

而且，图32示出了把在传输线路上附加到通信数据包中的优先级作为通信数据包优先级，并使数据流优先级和帧优先级与通信数据包优先级相对应的例子。

通常，在利用IP进行通信的情况下，必须使附加到图像或声音数据中的帧优先级或数据流优先级与下位的IP数据包的优先级相对应来传输数据。由于图像或声音数据被分割成IP数据包来传输，所以必须使这些优先级彼此相对应。在图32的例子中，由于数据流优先级的值为0至3，帧优先级的值从0至5，所以上位的数据的优先级可以取从0至15。

在IPv6的情况下，保留了优先级(4位)中的0至7是为拥挤控制业务而预约的。优先级中的8至15是为实时通信业务或非拥挤控制业务而预约的。优先级15是最高优先级，优先级8是最低优先级。这表示在IP数据包一级的优先级。

在利用IP的数据传输的情况下，必须使上位的0至15的优先级与下位的IP优先级8至15相对应。为了使这些优先级彼此相对应，可以削除一部分上位优先级的方法，或者也可以设置评价函数使这些优先级彼此相对应。建立上位数据与下位IP优先级的对应关系在中继节点(路由器或网关)或发送和接收终端进行。

传送手段并不仅限于IP。可以以具有象ATM或MPEG2的TS(传送数据流)那样的、具有表示是否可废弃的标记的数据包为对象。

至此已描述的帧优先级和数据流优先级可以应用于传输媒体或数据记录媒体。可以使用软盘或光盘作为数据记录媒体。

不仅可以使用软盘或光盘，也可以使用诸如IC卡或ROM盒等媒体，只要在这种媒体上可以记录程序都可以。再者，也可以以音频-视频转发器(例如，路由器或网关)的中继装置为对象。

而且，根据Stream Priority(时间序列数据间优先级)或Fram Priority(时间序列数据内优先级)的信息，确定要重发的时间序列数据，从而实现优先重发。例如，可以防止根据优先级信息在接收端进行解码时，将非处理对象的数据流或帧重发。

还可与目前要处理的优先极分开，根据重发次数和成功发送次数之间的关系确定具有应重要优先级的数据流或帧。

此外，在发送侧终端的情况下，根据Stream Priority(时间序列数据间优先级)或Fram Priority(时间序列数据内优先级)的信息确定要发送的时间序列数据，从而实现优先发送。例如，根据平均传送速率或重发次数，确定要发送的帧或数据流的优先级，即使网络过载时也可以发送自适应图像或声音。

上述实施例并不限于二维图像合成。也可以用的把二维图像与三维图像组合而获得的表述方法，或者包括如宽视野图像(全景图像)那样的、各图像彼此邻接的图像的合成的图像合成方法。而且，作为本发明的通信系统的对象并不限于双向CATV或B-ISDN。例如，把图像和声音从中央侧终端传输给家庭终端可以使用无线电波(例如VHF或UHF波段)，或者使用卫星广播，把从家庭侧终端的信息发送到中央侧终端可以使用模拟电话线路或N-ISDN(图像、声音或数据不一定多路复用)。还可以使用利用无线电的通信系统，例如IrDA、PHS(个人手持电话)或无线LAN。

而且，对象终端可以是便携终端(例如便携信息终端)或桌面终端(例如顶置盒或个人计算机)。

如上所述，本发明可以容易地处理多个视频数据流和多个音频数据流，并有重点地与声音同步再现主要场景片段，以反映编辑者的意图。

下面参照附图描述本发明的实施例。

下述的实施例解决了上述课题(C1)至(C3)之一。

图33示出了第一实施例的发送机的结构。符号2101表示图像输入端子，一张图像的大小为纵144像素×横176像素。符号2102表示运动图像编码器，由四个部分1021、1022、1023和1024构成(参见Recommendation H.261)。

符号1021表示切换器，把输入图像分割成宏块(16像素×16像素的正方形区域)，并决定对这些块是进行帧内编码还是进行帧间编码，1022表示运动补偿装置，根据可以根据上次编码结果计算得到的本机解码图像，产生运动补偿图像，计算运动补偿图像与输入图像之间的差分，并以宏块单位输出结果。运动补偿包括具有长处理时间的半像素运动补偿和具有短处理时间的全像素运动补偿。符号1023表示正交变换装置，对每个宏块进行DCT变换，1024表示可变长编码装置，对DCT变换结果和其它编码信息进行熵编码。

符号2103表示计数装置，对视频编码器2102的四个部件的执行次数进行计数，并向变换装置输出每个输入图像的计数结果。在这种情况下，从运动补偿装置1022对半像素运动补偿的执行次数和全像素运动补偿的执行次数进行计数。

符号2104表示变换装置，输出如图34所示的数据串。符号2105表示发送装置，把视频编码器2102的可变长码与变换装置2104的数据串多路复用成一个数据串，并向数据输出端2109输出该数据。

根据上述结构，可以向接收装置发送必须处理(切换器1021、正交变换装置1023和长度可变编码装置1024)和非必须处理(运动补偿装置1022)的执行次数。

第一实施例的发送装置对应于权利要求68。

图40是第二实施例的发送方法的流程图。

由于本实施例的操作与第一实施例相似，所以附注了相应的单元。在步骤801(图像输入端2101)输入图像，并在步骤802把图像分割成宏块。此后，重复步骤803至步骤806的处理，直到根据步骤807内的条件分支完成了对于每个宏块的处理。而且，为使从步骤803至步骤806的处理的次数能记录为特定的变量，当执行了各自的处理时，就把相应变量增1。

首先，在步骤803(切换器1021)判定对要处理的宏块是进行块内编码还是块间编码。当为对宏块进行块间编码时，在步骤804(运动补偿装置1022)进行运动补偿。此后，在步骤805和步骤806(正交变换装置1023和可变长编码装置1024)进行DCT变换和可变长编码。当完成了对全部的宏块的处理时(在步骤807为“是”的情况下)，在步骤808读取表示对应于每次处理的执行次数的变量，产生如图2所示的数据串，并多路复用和输出该数据串和代码。只要继续有输入图像，就重复执行步骤801至步骤808的处理。上述结构可以传送每次处理的执行次数。

第二实施例的发送方法对应于权利要求67。

图35示出了第三实施例的接收装置的结构。

在图35中，符号307表示输入端，输入第一实施例的发送机的输出，302表示接收装置，根据第一实施例的发送装置的输出，通过去多路复用，取得可变长码和数据串，并输出。在这种情况下，假设事先测量并输出了接收一页数据所需要的时间。

符号303表示把可变长码用作输入的视频解码器，它由五个部分构成。符号3031表示可变长解码装置，从可变长码取得DCT系数和其它编码信息，3032表示反正交变换装置，对DCT系数进行反DCT变换，3033表示切换器，根据表示宏块是帧内编码还是帧间编码的编码信息向上或向下对每个宏块的输出进行切换。符号3034表示运动补偿装置，利用上次解码图像和运动编码信息，产生运动补偿图像，并与反正交变换装置3032的输出相加后输出。符号3035表示执行时间测量装置，测量从把可变长码输入到解码器303后到完成解码和输出图像的执行时间并输出。

符号302表示估计装置，从来自接收装置301的数据串，接收各单元(可变长解码装置3031、反正交变换装置3032、切换器3033或运动补偿装置3034)的执行次数和执行时间测量装置305的执行时间，以估计每个单元的执行时间。

估计方法，例如可以使用线性回归法，把估计的执行时间设为目的变量y，把每个部件的执行次数设为解释变量x_i。在这种情况下，可以把回归参数a_i视为是每个单元的执行时间。而且，在线性回归的情况下，必须积累足够多的以前的数据，结果浪费了许多存储器。然而，为了防止浪费许多存储器，也可以使用卡尔曼滤波器估计内状态变量。可以认为：把观察值设为执行时间，把每个单元的执行时间设为内状态变量，则观测矩阵C则为以各单元执行次数按各步骤变化时。符号304表示次数削减装置，改变每个单元的执行次数，以削减全像素运动补偿的执行次数，只增加相当数的半像素运动补偿的执行次数。下面示出了计算相当数的方法。

首先，从估计装置302接收每个单元的执行次数和估计的执行时间，以估计执行时间。当执行时间超过从接收装置301接收数据所需的时间时，增加全像素运动补偿的执行次数，减少半像素运动补偿的执行次数，直到前一时间不超过后一时间。符号306表示解码图像的输出端。

有这样一种情况，即指定运动补偿装置3034，以根据编码信息进行半像素运动补偿。在这种情况下，当超过半像素运动补偿的预定执行次数时，把半像素运动舍入全像素运动，以执行全像素运动补偿。

根据上述第一和第三实施例，按照每个单元的估计执行时间来估计解码的执行时间，当解码执行时间可能超过接收一页数据所需要的时间(指定时间)时，用全像素运动补偿代替执行时间长的半像素运动补偿。从而，可以防止执行时间超过指定时间，解决课题(C1)(对应于权利要求68和74)。

而且，把必须和非必须处理部分视为两组的例子对应于权利要求66和72，把视频部分视为波形数据的例子对应于权利要求64和70。

通过使接收装置在IDCT计算中不利用高频分量，可以减少IDCT计算的处理时间。即，把低频分量的计算视为必须的处理，把高频分量的计算视为是IDCT计算中的非必须处理，也可以减少IDCT计算中高频分量的计算次数。

图41是第四实施例的接收方法的流程图。

由于本实施例的操作与第三实施例类似，所以附注相应的单元。在步骤901中，初始化表示每个单元的执行时间的变量a_i(估计装置302)。在步骤902，输入多路复用数据，并测量多路复用该数据所需的时间(接收装置301)。在步骤903中，把多路复用数据分割成可变长码和数据串，并输出(接收装置301)。在步骤904中，从数据串(图2)取得各执行次数，并设置成x_i。在步骤905中，根据每个单元的执行时间a_i和各执行次数x_i计算实际执行次数(次数削减装置304)。在步骤906中，开始测量解码执行时间。在步骤907，开始进行下述的解码子程序。此后，在步骤908，结束测量解码执行时间(运动图像解码器303和执行时间测量装置3035)。在步骤908，根据步骤908的解码执行时间和步骤906的每个单元的实际执行时间估计每个单元的执行时间，以更新a_i(估计装置302)。对每个输入的多路复用数据进行上述的处理。

而且，步骤907的解码子程序中，在步骤910进行可变长解码(可变长解码装置3031)，在步骤911进行反正交变换(反正交变换装置3032)后，处理在步骤912根据通过步骤910的处理取得的块内/块间编码处理的信息，进行分叉(切换器3033)。在块帧间编码处理的情况下，步骤913中进行运动补偿(运动补偿装置3034)。在步骤913中，对半像素运动补偿的执行时间进行计数。当计数的执行时间超过步骤905中获得的实际执行次数时，用全像素运动补偿代替半像素运动补偿执行。在完成了上述对于每个宏块(步骤914)处理后，结束该子程序。

根据上述第二和第四实施例，按照每个单元的估计执行时间来估计解码的执行时间，当执行时间可能超过接收一页数据所需要的时间(指定时间)时，用全像素运动补偿代替执行时间长的半像素运动补偿。由此，可以防止执行时间超过指定时间，解决课题(C1)(对应于权利要求67和73)。

而且，非必须和必须处理部分视为两组的例子对应于权利要求65和71，把运动图像部分视为波形数据的例子对应于权利要求63和69。

图36示出了第五实施例的接收装置的结构。

该实施例的大多数构成部分与第二实施例所述的构成部分相同。然而，下面描述两个增加了的构成部分和一个有改动的构成部分。

符号402表示估计装置，它是通过将实施例2描述的估计装置302的估计结果而得到的各构成部分的执行时间修改为不是输出到次数削减装置304而是输出到与其独立的装置而得到的。符号408表示发送装置，根据每个单元的执行时间产生图37所示的数据串，并输出。当把微秒为单位用16位表示执行时间时，可以表示多达约65毫秒。因此，这约65毫秒将是足够的。符号409表示把数据串传送给发送装置的输出端。

而且，可以仅紧接在图40的符号808后增加产生图37所示的数据串的步骤就可以获得对应于第五实施例的接收方法。

图38示出了第六实施例的发送机的结构。

该实施例的大部分构成部分与第一实施例所述的相同。然而，下面描述两个增加的部件。符号606表示输入端，接收第三实施例607的接收装置输出的数据串，607表示接收装置，接收数据串，并输出每个单元的执行时间。符号608表示决定装置，求出各单元的执行时间，下面描述其过程。首先，切换器1021处理图像的每个宏块，并求出切换器1021在此特定时间的执行次数。进而，可以根据处理结果，唯一地确定在此特定时间的运动补偿装置1022、正交变换装置1023和可变长编码装置1024的执行次数。因此，利用这些执行次数和接收装置607发送的执行时间，估计在接收装置侧解码所需的执行时间。获得的估计解码时间作为执行时间和执行次数之间乘积的、按各构成部分的总和求出。若估计的解码时间等于或大于传送通过速率控制器等指定的该图像产生的码数(例如16Kbit)所需的时间(例如在传输速率为64Kbits/s时，为250毫秒)，则增加全像素运动补偿的执行次数，减少半像素运动补偿的执行次数，以使估计的解码执行时间不超过传送所需的时间。(由于全像素运动补偿的执行时间短，所以减少全像素运动补偿的次数可以减少全预测的执行时间。)

此外，运动图像编码器2102根据决定装置608指定的执行次数进行各种处理。例如，在运动补偿装置1022以半像素运动补偿的预定执行次数执行了半像素运动补偿之后，仅进行全像素运动补偿。

可以改善选择方法，使半像素运动补偿在图像中分布均匀。例如，可以使用下列方法：首先求得需要进行半像素运动补偿的全部的宏块，求得上述宏块的数(例如12)除以半像素运动补偿的执行次数(例如4)得到的商(3)，然后将从需要进行半像素运动补偿的宏块开始的顺序号用上述商除得尽的宏块(0，3，6或9)进行半像素运动补偿。

根据上述第五和第六实施例，把每个估计的单元执行时间传送给发送侧，在发送侧估计解码的执行时间，并用全像素运动补偿代替执行时间较长的半像素运动补偿，并使估计的解码执行时间不超过接收一页数据可能需要的时间(指定时间)。由此，发送的编码信息中，就可以不用废弃半像素运动补偿信息，而且可以防止执行时间超过指定时间，解决课题(C2)(对应于权利要求76和78)。

此外，在非必须处理的情况下，可以把宏块间编码分成三种运动补偿：正常运动补偿；8×8运动补偿和重叠运动补偿。

图42是第七实施例的发送方法的流程图。

因为本实施例的操作与第六实施例相似，所以附注相应的单元。在步骤1001，对每个处理的执行时间设置初始值。在步骤801输入图像(输入端2101)，并在步骤802把它分割成宏块。在步骤1002，对全部的宏块进行是块内编码还是块间编码的判定(切换器1021)。结果由于从步骤1005至步骤806的每个处理的执行次数是可知的。因此，在步骤1003，根据上述每个处理的执行次数和执行时间计算实际执行次数(确定装置608)。

此后，重复步骤1005至步骤806的处理，直到根据步骤807的条件分支完成了对全部宏块的处理。

而且，当执行各处理时，为使步骤1005至步骤806的处理次数可以记录在特定的变量中，把相应的变量加1。首先在步骤1005，根据步骤1002的判定结果进行分叉(切换器1021)。在块间编码的情况下，在步骤804进行运动补偿(运动补偿装置1022)。在这种情况下，对半像素运动补偿的次数进行计数。当所计次数超过在步骤1003获得的实际次数时，执行全像素运动补偿代替执行半像素运动补偿。此后，在步骤805和806，进行DCT变换和可变长编码(正交变换装置1023和可变长编码装置1024)。当完成对全部宏块的处理时，(在步骤807为是的情况下)，在步骤808中读取表示对应于每个处理的执行次数的变量，产生图2所示的数据串，并多路复用和输出数据串和代码。在步骤1004中，接收数据串，并从该数据串取出各处理的执行时间并进行设置。

只要有图像输入就重复执行步骤801至1004的处理。

根据第五实施例和第七实施例描述部分的最后一个“而且”开始的段落，把每个单元的估计的执行时间传送给发送侧，在发送侧估计解码执行时间，用全像素运动补偿代替执行时间长的半像素运动补偿，使估计的解码执行时间不超过接收一页数据所需要的可能时间(指定时间)。由此，发送的编码信息中，不会废弃半像素运动补偿的信息，而且可以防止执行时间超过指定时间，解决了课题(C2)(对应于权利要求75和77)。

图39示出了本发明第八实施例的发送设备的结构。

该实施例的大部分构成部分与第一实施例描述的相同。因此，下面描述增加的四个构成部分。

符号7010表示执行时间测量装置，用于测量图像向编码器2102输入图像之后到完成编码和输出图像的执行时间，并输出测得的执行时间。符号706表示估计装置，用于从计数装置2103的数据串接收各单元(切换器1021、运动补偿装置1022、正交变换装置1023和来自可变长解码装置1024)的执行次数，从执行时间测量装置7010接收执行时间，并估计各构成部分的执行时间。可以利用与第二实施例的估计装置302描述的相同的估计方法。符号707表示输入用户发送的帧速率值的输入端，708表示确定装置，用于获得每个单元的执行时间。获得的过程描述如下。

首先，切换器1021处理图像中的全部宏块，求得切换器1021在此特定时间的执行次数。此后，可以根据至该特定时间的处理结果，唯一地确定运动补偿装置1022、正交变换装置1023和可变长编码装置1024的执行次数。然后，对各构成部分求得执行次数和由估计装置706发送的各构成部分的估计时间之间的乘积的总和。当预测编码时间等于或大于从符号707所传送帧速率的倒数求得的、可用于一页图像编码的时间时，增加全像素运动补偿的执行次数，减少半像素的执行次数。

重复进行上述执行次数的增减变化，并计算预测编码时间，直到预测编码时间等于或短于可用的时间，从而确定各执行次数。

而且，运动图像编码器2102根据确定装置608指定的执行次数进行各种处理。例如，运动补偿装置1022以半像素运动补偿的预定执行次数进行了半像素运动补偿后，仅执行全像素运动补偿。

而且，为使半像素运动补偿在图像内均匀分布也可以改进选择方法。例如，可以使用下列方法：首先求得需要进行半像素运动补偿的全部宏块，将该需要进行半像素运动补偿的宏块数(例如12)除以半像素运动补偿的执行次数(例如4)得到商(3)，然后将从需要进行半像素运动补偿的宏块开始的顺序号用上述商除得尽的宏块(0，3，6或9)进行半像素运动补偿。

上面的第八实施例可以解决课题(C3)，它估计每个处理的执行时间，根据估计的执行时间预测编码所需的执行时间，并确定执行次数，使预测编码时间等于或短于对根据帧速率决定的图像进行编码可用的时间(对应于权利要求80)。

而且，运动补偿装置1022为检测运动矢量，存在全搜索运动矢量检测方法，即，在15个水平和垂直像素范围内的矢量中，检测使SAD(每个像素的绝对差值之和)最小的矢量。还有一种三步运动矢量检测方法(在H.261的annex内有描述)。三步运动矢量检测方法在上述检索范围内选择均匀分布的九个点，选择具有最小SAD的点，再在接近上述点的窄小范围内选择九个点，以再次选择一个具有最小SAD的点。

也可以适当地减少全搜索运动矢量检测方法的执行时间，代之适当地增加三步骤运动矢量检测方法的执行次数，把这两种方法视为非必须处理方法，并估计这两个方法中每个方法的执行时间，根据估计的执行时间预测编码所需要的执行时间，以使预测执行时间等于或短于用户指定的时间。

而且，除三步骤运动矢量检测方法之外，还可以使用进一步简化了处理的检索次数的固定运动矢量检测方法，，或者可以与仅返回运动矢量(0，0)作为结果的运动矢量检测方法并用。

图43是第九实施例的发送方法的流程图。

由于本实施例的操作与第八实施例相似，所以附注相应的单元。对每个流程的详细描述参照相应单元的描述。

而且，由于本实施例几乎与第二实施例相同，所以下面仅解释不同点。

在步骤1101，把每个处理的执行时间的初始值设置到变量a_i。在步骤1102，输入帧速率(输入端707)。在步骤1103，根据步骤1102的每个处理的帧速率和执行时间a_i以及从1002的块内/块音编码处理确定结果获得的各处理的执行次数确定实际执行次数(确定装置708)。在步骤1105和1106中，测量编码的执行时间。在步骤1104中，根据步骤1106中获得的执行时间和每个处理的实际执行次数估计每个处理的执行时间，更新变量a_i(估计装置706)。

根据上述第九实施例，先估计每个处理的执行时间，可按照所估计的执行时间运动补偿编码所需的执行时间。因此，确定执行次数，使预测编码时间等于或短于对根据帧速率确定的图像进行编码可用的时间(对应于权利要求79)，从而能解决课题(C3)。

在第二实施例的情况下，当在步骤808中产生数据串时，也可以在图2所示的开始码之后增加两字节的区域，向该区域增加码长度的二进制的码。

而且，在第四实施例中，当在步骤902输入多路复用数据时，也可以从两字节区域中取出码长度，并将从该码长度和码传输速率获得的码传输时间用于步骤905的执行次数计算(减少半像素运动补偿的执行次数，以不超过码传输时间)。这对应于权利要求81和83。

而且，在第一实施例中，当在步骤2104产生数据串时，也可以在图2所示的开始码后增加两字节的区域，在该区域内增加码长度的二进制码。

而且，在第三实施例中，当在步骤301输入多路复用数据时，也可以从该两字节区域中取出码长度，并将从该码长度和码传输速度获得的码传输时间用于步骤304的执行次数计算(减少半像素运动补偿的执行次数，以不超过码传输时间)。这对应于权利要求82和84。

而且，在第四实施例中，紧接在步骤909后记录半像素运动补偿的实际执行次数，计算出最大值。当最大值等于或小于足够小的值(例如2或3)时，也可以产生数据串(包含具体位模式的数据串)，表示不使用半像素运动补偿，并发送产生的数据串。而且，在第二实施例中，确认是否紧接在步骤808后接收到该数据串，当接收到表示没有使用半像素运动补偿的数据串时，也可以使运动补偿处理在步骤808总是作为全像素运动补偿。这对应于权利要求93和91。

而且，上述原理也可以应用于不是运动补偿的情况。例如DCT计算通过不用高频分量，减少DCT的计算时间。即，在接收方法的情况下，当IDCT计算执行时间对整个计算时间的比率超过某一值时，向发送侧传送表示该比率超过某一值的数据串。当发送侧接收到该数据串时，也可以通过DCT计算仅计算低频分量，并把所有高频分量减少到零。这对应于权利要求89。

而且，虽然利用图像描述了本实施例，但也可以把每种方法应用于音频而不是频视。这对应于权利要求85和87。

而且，在第三实施例中，在步骤3034中记录了半像素运动补偿的实际执行次数，计算最大执行次数最大值。然后，当该最大值是足够小值或更小时(例如2或3)，可以产生并发送表示不使用半像素运动补偿的数据串(包含具体位模式的数据串)。而且，在第一实施例中，当接收到表示没有使用半像素运动补偿的数据串时，可以使步骤1022的运动补偿处理总是作为全像素运动补偿。这对应于权利要求94和92。

而且，上述原理可以应用于不是运动补偿的情况。例如DCT计算通过不使用高频分量可以减少DCT计算的处理时间。即，在接收方法中，当IDCT计算执行时间对整个执行时间的比率超过某一值时，向发送侧传送表示该比率超过某一值的数据串。

当发送侧接收到该数据串时，可以通过DCT计算仅计算低频分量，把所有高频分量减少为零。这对应于权利要求90。

而且，虽然上面利用图像描述了实施例，但也可以把上述方法应用于声音而不是图像。这对应于权利要求86和88。

如上所述，根据权利要求68和74(如第一和第三实施例)，按照每个单元的估计执行时间估计解码的执行时间，并且，当估计的解码执行时间可能超过接收一页数据所需的时间(指定时间)时，用全像素运动补偿代替执行时间较长的半像素运动补偿。由此，可以防止执行时间超过指定时间，解决课题(C1)。

而且，根据权利要求75和77(例如第五和第七实施例)，把每个单元的估计执行时间传送给发送侧，在发送侧估计解码执行时间，并用全像素运动补偿代替执行时间较长的半像素运动补偿，以使估计的解码时间不超过适于接收一页数据所需要的时间(指定时间)。由此，在发送的编码信息中没有废弃半像素运动补偿的信息，并可以防止执行时间超过指定时间，解决课题(C2)。

而且，根据权利要求79(例如第九实施例)，可以解决课题(C3)，其方法是估计每个处理的执行时间，按照所估计的执行时间预测编码所需要的执行时间，并确定执行次数，使预测编码时间等于或小于可用对根据帧速率决定的图像进行编码可使用的时间。

因此，本发明可以实现即使计算负荷增加也减慢质量劣化的功能(CGD：计算适度弱化)，由实施获得很大的利益。

而且，计算机利用诸如磁记录媒体或光记录媒体可以实现上述的操作，其中使计算机的程序实现上述实施例中任一实施例中描述的每个步骤(或每个装置)(或者每个装置的操作)的全部或部分。

工业应用性

如上所述，本发明可以对应于状态、用途或传输线路改变信息帧，动态地确定数据控制信息、传输控制信息和用于发送和接收终端的控制信息的帧。而且，易于处理多个视频数据流或多个音频数据流，并且有重点地与声音同步地再现主要的场面片段，反映编辑者的意图。此外，根据每一估计的元件的执行时间，当估计的解码执行时间可能超过接收一页数据所需的时间(指定时间)时，用全像素运动补偿代替执行时间较长的半像素运动补偿，可以防止执行时间超过指定的时间。

Claims (8)

1.一种发送设备，具有将传输格式信息发送到接收设备的发送部分，

所述传输格式信息包含识别在所述接收设备使用的程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的期间的处理期间信息。

2.如权利要求1所述的发送设备，所述处理期间信息包含标记、次数以及计时器值中的至少一个。

3.一种接收设备，具备：

接收传输格式信息的接收部分，所述传输格式信息包含识别程序或者数据的标识符，和与所述标识符相关联、表示处理所述程序或者所述数据的期间的处理期间信息；以及

根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的控制部分。

4.如权利要求3所述的发送设备，所述处理期间信息包含标记、次数以及计时器值中的至少一个。

5.一种通信系统，所述通信系统具有发送设备和接收设备，

所述发送设备具有发送传输格式信息的发送部分，所述传输格式信息包含在所述接收设备使用的识别程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的处理期间的处理期间信息，

所述接收设备具有：从发送设备接收所述传输格式信息的接收部分；以及根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的控制部分。

6.一种发送方法，具有将传输格式信息发送到接收设备的步骤，

所述传输格式信息包含在所述接收设备使用的识别程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的期间的处理期间信息。

7.一种接收方法，具备：

接收传输格式信息的步骤，所述传输格式信息包含识别程序或者数据的标识符，和与所述标识符相关联、表示处理所述程序或者所述数据的期间的处理期间信息；以及

根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的步骤。

8.一种通信方法，具备：

发送传输格式信息的步骤，所述传输格式信息包含在所述接收设备使用的识别程序或者数据的标识符，和与所述标识符相关联、表示在所述接收设备处理所述程序或者所述数据的处理期间的处理期间信息；

接收所述传输格式信息的步骤；以及

根据所述标识符和所述处理期间信息，自动启动所述程序或者所述数据的步骤。

Images