CN1748421A - 图像数据发布控制方法及装置、系统以及程序 - Google Patents

Abstract

图像数据发布装置(101)根据压缩率、或者根据图像帧、图像块的类型在不同的至少一个以上的对话中多播或广播发布同一图像的同一编码方式、同一帧结构但压缩率不同的运动图像数据，并根据允许接收方接收的图像品质来控制向接收方通知的对话信息或发布数据的加密信息。图像数据接收装置(108)利用所接收的对话信息或加密信息，在从至少一个以上的对话正常接收到的编码数据中，基于图像质量选择编码数据并解码。

Description

图像数据发布控制方法及装置、系统以及程序

技术领域

本发明涉及通过至少一个以上的对话发布已编码的运动图像数据，并将该对话信息通知给接收方，从而控制接收方的接收图像品质的方法及装置、系统以及程序。

背景技术

近年来，作为高效传送运动图像数据的方法，多采用传送通过基于帧间预测的高效压缩而得的编码数据的方法。在这些方法中，对从时间上相邻的帧中预测编码图像而得的预测参数和预测残差图像数据进行编码，从而削减在时间方向上相关度高的运动图像数据的信息量。而且，通过对预测残差图像数据进行编码转换或量化来高效率地进行压缩编码，能够实现窄传送带宽内的运动图像数据传送。

作为其代表例，有利用MPEG(Moving Picture Experts Group；运动图像专家组)-1、MPEG-2、MPEG-4等压缩编码方式的方法。在这些压缩编码方式中，对输入图像帧以称为宏块的恒定大小的矩形区域单位进行基于运动补偿的帧间预测，并对所得的运动矢量和预测残差图像数据实施二微离散余弦变换及量化来进行压缩，然后对压缩的信号数据进行可变长度编码。

作为将这样的运动图像压缩编码信息发布到利用分组交换方式的IP(Internet Protocol；互联网协议)网络上的技术，进行多播或广播发布的时候正在增加。该方式由于由多个用户接收多播或广播的分组，所以对于用户数量的增加，网络流量不会成正比地增加，从而能够进行效率优于单播方式的发布。

另外，公知有这样一种结构的图像发布系统，其具有能够流式发布图像数据的第一计算机和接收该图像数据的一个以上的第二计算机，其中第一计算机基于来自第二计算机的线路状况通知消息，发送实施了与第二计算机所连线路的通信速度相适应的压缩的图像数据(从预先存储的压缩率不同的图像数据中提取的图像数据，或者是每次以最佳的压缩率进行压缩的图像数据)(例如，参见专利文献1)。

此外，还公知有在运动图像多播等服务中将顾客可选择的品质设定等级1、等级2，并能够按内容单位选择品质的服务品质动态控制方法和装置(例如，参见专利文献2)。

专利文献1：日本专利文献特开2001-92752号公报(第3-4页、图1、图6)；

专利文献2：日本专利文献特开2002-261800号公报(第12页、图13)；

非专利文献1：

Schulzrinne，H.，Casner，S.，Frederick，R.，and V.Jacobson，“RTP：ATransport Protocol for Real-Time Applications”，RFC1889，January1996、5.1RTPFixedHeaderFields.互联网<可从URL//www.ietf.org/tfc.html获得ftp：//ftp.rfc-editor.org.in-notes/rfc 1889.txt>。

发明内容

然而，在传统的多播或广播发布方式中存在如下的问题，即若要在发送侧控制接收方接收的运动图像数据的图像质量，就必须发布每一品质(图像质量)的运动图像数据，从而会损害发布效率高的多播或广播方式的优点。

此外，多播或广播发布方式一般没有在分组丢失时由接收方请求再次发送丢失数据的结构，所以接收方(接收装置)无法对图像数据正确地进行解码。作为接收侧(接收装置)的对策虽然有这样的错误隐藏方法，该错误隐藏方法从正确解码的时间上相邻的帧的图像或同一帧内的周围的图像数据生成尽量不凸现错误的图像数据，但却不能消除解码图像的错乱。此外，由于使用了帧间预测，所以还存在一旦产生图像的错乱，还会传播到后续的帧中的问题。

因此，本发明是考虑了上述的情况而完成的，其第一目的在于，提供一种系统、装置、方法以及计算机程序，从而在运动图像的多播或广播发布中能够抑制或降低流量增加，并能够在发送侧可变地设定接收方接收的运动图像的图像质量。

此外，本发明的第二目的在于，为了提高多播或广播发布方式的可靠性，提供一种发布系统、装置、方法以及计算机程序，在该发布系统、装置、方法以及计算机程序中，接收来自至少一个以上的对话的图像数据，并根据其图像质量选择数据以进行解码，从而抑制发生分组损失时的图像错乱。

此外，本发明的另一目的在于，提供一种由于达到上述第一、第二目的，从而将接收发送双方上增加的处理量抑制得较少的发布系统、装置、方法以及计算机程序。

此外，本发明的再一目的在于，提供一种不用将来自接收方的反馈信息发送给接收方就可达到上述第一、第二目的的发布系统、装置、方法以及计算机程序。

此外，本发明的又一目的在于，提供一种由于达到上述第一、第二目的，从而可将接收方的功率消耗的增加抑制得较少的方法、装置、系统以及计算机程序。

解决至少一个上述目的的本发明一个方面的图像数据发布装置包括：多播或广播发布同一图像的不同压缩率的图像编码数据的单元，和根据压缩率来选择多播或广播发布的对话的单元。在本发明中，同一图像的不同压缩率的图像编码数据在编码方式及帧结构上相同。其各个发送单位(例如MPEG-4编码方式的视频分组)是分别将同一帧的同一部位编码所得的数据。本发明包括发布同一图像的不同压缩率的图像编码数据的单元，和根据压缩率来选择要发布的对话的单元，并通过多播或广播方式发送发布对话的至少一个。

本发明其他方面的图像数据发布装置包括：多播或广播发布同一图像的不同压缩率的图像编码数据的单元，和根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收图像品质的单元。在本发明中，同一图像的不同压缩率的图像编码数据在编码方式及帧结构上相同。其各个发送单位(例如MPEG-4编码方式的视频分组)是分别将同一帧的同一部位编码所得的数据。

本发明其他方面的图像数据发布装置包括：多播或广播发布不同压缩率的图像编码数据的单元，以及为每个根据压缩率而选择的发布对话设定包含图像编码数据有无加密、加密时的加密方法和/或加密强度的信息的单元。在本发明中，同一图像的不同压缩率的图像编码数据在编码方式及帧结构上相同。其各个发送单位(例如MPEG-4编码方式的视频分组)是分别将同一帧的同一部位编码所得的数据。

本发明其他方面的图像数据发布装置包括：多播或广播发布图像编码数据的单元，和根据图像帧或图像块的类型来选择多播或广播发布的对话的单元。

本发明其他方面的图像数据发布装置包括：多播或广播发布图像帧或图像块的类型不同的图像编码数据的单元，和根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收品质的单元。

本发明其他方面的图像数据发布装置包括：多播或广播发布图像编码数据的单元，以及为每个根据图像帧或图像块的类型而选择的发布对话设定包含图像编码数据有无加密、加密时的加密方法和/或加密强度的信息的单元。

本发明其他方面的图像数据发布装置包括：在至少一个以上的对话中多播或广播发布包含发布数据有无加密、加密时的加密方法和/或加密强度的信息不同的图像编码数据的单元；和根据接收方来改变要通知的与加密有关的信息，从而控制接收方一侧的接收品质的单元。

本发明其他方面的图像数据接收装置包括：接收由图像数据发布装置通知的对话信息的单元；下述的单元，该单元基于所述对话信息接收由图像数据发布装置发布的图像编码数据，并从正常接收到的编码数据中，基于图像质量(压缩率)来选择图像编码数据；以及对所选择的图像编码数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个的图像数据的接收与否。

本发明其他方面的图像数据发布装置包括：接收由图像数据发布装置通知的与数据的加密有关的信息的单元；下述的单元，该单元基于所述有关加密的信息，复原由图像数据发布装置接收的加密的图像编码数据，并从正常复原的图像编码数据中，基于图像质量(压缩率)来选择图像编码数据；以及对所选择的图像编码数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个的图像数据的接收与否。

达到至少一个上述目的的本发明第一方面的图像数据发布系统，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中多播或广播发布同一图像的多个图像编码数据的单元，其中所述多个图像编码数据在编码方式及帧结构上相同，但压缩率不同；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的至少一个对话信息(多播地址、端口号、图像品质等)的单元；

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的单元；

在所接收的图像编码数据中，基于图像质量(压缩率)选择数据，并重构为一个图像编码数据的单元；和

对重构的图像编码数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个的图像数据的接收与否。

本发明其他方面(第二方面)的图像数据发布系统包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中多播或广播发布运动图像数据的I图像和P图像、或者运动图像数据的I图像、P图像以及B图像的编码数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的至少一个对话信息的单元；

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的单元；

基于对话信息，将所接收的运动图像数据重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

本发明其他方面(第三方面)的图像数据发布系统包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在分别不同的对话中多播或广播发布运动图像数据和对运动图像数据的有关帧的至少一部分进行帧内宏块编码而得的数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的至少一个对话信息的单元；

所述图像数据接收装置包括：

基于由所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的单元；

在所接收的运动图像数据中，基于图像质量选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

本发明其他方面(第四方面)的图像数据发布系统包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中多播或广播发布运动图像数据的I图像和P图像、或者I图像、P图像、B图像以及对运动图像的有关帧的至少一部分进行了帧内宏块(Intra-MB)编码的数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的至少一个对话信息的单元；

所述图像数据接收装置包括：

在所通知的对话信息中，接收通过至少一个对话发布的数据的单元；

在所接收的运动图像数据中，基于图像质量选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

本发明其他方面(第五方面)的图像数据发布系统包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中多播或广播发布同一图像的不同压缩率的多个运动图像数据各自的I图像和P图像、或者I图像、P图像、B图像的编码数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的至少一个对话信息的单元；

所述图像数据接收装置包括：

在从所述图像数据发布装置通知的对话信息中，接收通过至少一个对话发布的数据的单元；

在所接收的运动图像数据中，基于图像质量选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

本发明其他方面(第六方面)的图像数据发布系统包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中多播或广播发布同一图像的不同压缩率的多个运动图像数据各自的I图像和P图像、或者I图像、P图像、B图像以及对运动图像的有关帧的至少一部分进行了帧内宏块(Intra-MB)编码的数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的至少一个对话信息的单元；

所述图像数据接收装置包括：

在从所述图像数据发布装置通知的对话信息中，接收由至少一个对话发布的数据的单元；

在所接收的运动图像数据中，基于图像质量选择数据，并重构一个为运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

在本发明其他方面(第七方面)的图像数据发布系统中，所述图像数据发布装置包括：下述的单元，该单元为每个发布的对话设定包含发布数据有无加密、加密时的加密方法和/或加密的强度的信息；以及

将与加密有关的设定信息通知给所述接收方的单元，

所述图像数据接收装置包括：下述的单元，该单元接收从所述图像数据接收装置通知的加密信息，并基于所述加密信息复原加密的接收运动图像数据。在本发明中，也可以是还具有下述单元的结构，所述单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

根据本发明能够实现下述效果：通过由接收方设定向接收侧通知的对话信息或加密信息，能够在不改变多播或广播的图像数据的情况下在发送侧控制接收方可接收的图像品质。

此外，根据本发明能够实现下述效果，即：能够保持有效利用网络资源的多播或广播发布的优点，并抑制发布数据量的增加，同时能够在发送侧将接收方接收的图像品质设定为多个等级。

此外，根据本发明能够实现下述效果，即：可实现耐于传送通路上的数据错误、遗漏的发布，并能够提高与单播方式相比可靠性低的多播或广播方式的可靠性。

此外，根据本发明，由于获得上述两个效果，所以可实现将接收发送双方所需的处理量的增加抑制得很小的效果。

此外，根据本发明，由于获得上述两个效果，所以能够将接收方所需的功率消耗的增加抑制得很小。

根据本发明，不从接收侧向发送侧发送反馈信息，就能够获得这些效果。

附图说明

图1是本发明第一实施例的构成示意图；

图2是本发明第二实施例的构成示意图；

图3是本发明第三实施例的构成示意图；

图4是本发明第四实施例的构成示意图；

图5是本发明第五实施例的构成示意图；

图6是本发明第六实施例的构成示意图；

图7是本发明第一实施例的变形例示意图；

图8是本发明中的分组接收分离部的一个实施例的构成示意图；

图9是本发明第二实施例的变形例示意图；

图10是本发明第三实施例的变形例示意图；

图11是本发明第四实施例的变形例示意图；

图12是本发明第五实施例的变形例示意图；

图13是本发明第六实施例的变形例示意图。

具体实施方式

为了更详细地说明本发明，下面根据附图对本发明的实施方式进行说明。

[发明的第一实施方式]

在本发明的第一实施方式中，图像数据发布装置包括：在不同的对话中多播或广播发布同一图像、同一编码方式、同一帧结构但压缩率不同的多个运动图像数据的单元，以及向接收方通知包括允许接收方接收的品质在内的至少一个对话信息(多播地址、端口号、图像品质等)的单元。本发明的第一实施方式也可以是还包括下述单元的结构，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

图像数据接收装置包括：对通过由图像数据发布装置通知的对话信息中的至少一个对话来发布的数据进行接收的单元；以及基于图像质量选择所接收运动图像数据中的数据，并重构为一个运动图像数据以进行解码的单元。

此外，图像数据发布装置包括：为每个发布的对话设定发布数据有无加密、加密手段、加密强度的单元；以及将与加密有关的设定信息通知给接收方(图像数据接收装置)的单元。

图像数据接收装置包括下述单元，该单元接收从图像数据发布装置通知的加密信息，并复原所接收的数据以解码运动图像数据。

[第一实施例]

下面，参照附图说明本发明的第一实施例。图1示出了本发明第一实施例的构成。如图1所示，具有发布图像编码数据的图像数据发布装置101、图像数据接收装置108、以及用于传送图像编码数据的传送通路107。在本实施例中，图像数据发布装置101与作为IP(Internet Protocol；互联网协议)网的传送通路107连接，并利用UDP(User DatagramProtocol；用户数据报协议)/IP发布图像编码数据，图像数据接收装置108是与IP网连接的客户终端。另外，在本实施例中，为了简化说明，将发布的图像数据的个数设为“2”来进行说明，但很显然本发明中发布的图像数据的个数并限于2。

图像数据发布装置101包括发布信息发送部102、对话信息管理部103、图像数据存储/生成部104、图像编码数据1发送部105、图像编码数据2发送部106。

图像数据接收装置108包括对话信息接收部109、图像编码数据1接收部110以及图像编码数据2接收部111、编码数据重构部112、解码器113。以下依次说明图像数据发布装置101、图像数据接收装置108的操作。

在图像数据发布装置101中，图像数据存储/生成部104基于在对话信息管理部103所设定的信息，从多个图像编码数据发送部，在图1的例子中是从图像编码数据1发送部105及图像编码数据2发送部106经由传送通路107发送：

·预先存储在存储装置(未图示)中的图像数据；或

·实时编码而生成的图像数据；或

·实时转换现有图像数据而生成的图像数据。

对话信息管理部103对于接收方(图像数据接收装置)管理允许发布的对话的信息，并根据接收方，将应通知的对话信息以及图像品质等与图像编码相关的信息提供给发布信息发送部102，发布信息发送部102将这些信息通知给图像数据接收装置108。

图像编码数据1发送部105及图像编码数据2发送部106具有附加与于RTP(Real-Time Transport Protocol；实时传输协议)相当的信息(例如RTP报头信息)的功能，以使在图像数据接收装置108接收了重复的多个图像数据时能够选择数据；并且在所接收数据的顺序交错时能够正确地重新排列；而且还能够识别数据的遗漏(例如参见RFC1889，上述非专利文献1)。此外，图像编码数据1及图像编码数据2的各个发送单位分别设为对同一图像的同一帧的同一部位进行编码后的数据，并为其赋予相同的RTP序列号，而且还可以赋予表示哪一个图像编码数据的有效载荷类型，和/或SSRC(Synchronization Source identifier；同步源标识符)，和/或CSRC(Contributing Source identifier；贡献源标识符)。

此时，通过设置例如比传送通路107中的数据错误，或损失的突发长度长的时间差来发送图像编码数据1和图像编码数据2，从而降低这两个图像编码数据在传送通路中受错误或损失的影响的可能性，并且图像数据接收装置108具有该时间差以上的接收缓冲，在这种情况下，能够更稳定地进行图像数据的发布。

关于发送的时间差，可以由对话信息管理部103进行管理并从发布信息发送部102通知给图像数据接收装置108，或者也可以预先在图像数据发布装置101和图像数据接收装置108之间进行设定，然后由图像数据接收装置108基于该时间差设定接收缓冲量。

此外，当在对话信息管理部103中进行了用于加密发布图像数据的设定时，图像编码数据1发送部105及图像编码数据2发送部106进行根据该设定的加密处理。然后，将有无加密、加密方法等与加密有关的信息从发布信息发送部102通知给图像数据接收装置108。信息加密方法可使用公知的各种方法。例如，作为对RTP分组的有效载荷部分的加密，可以使用公共密钥方式(例如DES(Data Encryption Standard；数据加密标准))或者公开密钥方式(例如RAS密码)等，或是对图像本身的加扰(例如，行旋转方式)。

对话信息接收部109接收来自图像数据发布装置101的对话信息、与图像编码相关的信息、以及发布数据被加密时的与加密有关的信息，并基于这些信息，在图像编码数据1接收部110及图像编码数据2接收部111中打开对话接收端口，接收来自传送通路107的图像数据。

当接收的图像数据被加密时，通过用对话信息接收部109获得的信息复原原来的图像数据。

此外，对话信息管理部103也可以设定与图像编码数据1及图像编码数据2的编码设定、编码选项(使用工具)、编码数据的有效载荷·选项、用于识别编码数据的RTP报头的有效载荷类型、和/或SSRC、CSRC相当的信息，并通过发布信息发送部102通知给图像数据接收装置108，另外，也可以事先在图像数据发布装置101及图像数据接收装置108之间设定这些信息。

当图像编码数据1接收部110及图像编码数据2接收部111都接收了图像编码数据时，对于重复的图像数据，编码数据重构部112基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或由对话信息接收部109接收的信息，根据图像质量来选择数据，从而重构一个图像数据，并输出给解码器113。

解码器113只对由编码数据重构部112选择的一个图像数据进行解码即可。因此，不会增加解码器113的解码处理的负担。

当在发送侧(图像数据发布装置)控制接收方A(的图像数据接收装置)和接收方B(的图像数据接收装置)各自的接收图像数据的品质时，例如可以采用以下的方法。

改变图像编码数据1和图像编码数据2的品质(压缩率)，例如使图像编码数据1为更高品质(低压缩率)。

当允许接收方A接收高品质的图像，而对接收方B只允许接收低品质的图像时，向接收方A的图像数据接收装置108通知图像编码数据1及图像编码数据2双方的对话信息，向接收方B的图像数据接收装置108只通知图像编码数据2的对话信息。

在接收方A的图像数据接收装置108中，基于接收的图像编码数据1及图像编码数据2双方的对话信息，可以接收图像编码数据1的高品质图像数据和图像编码数据2的低品质图像数据双方，并且即使万一图像编码数据1的图像数据中有错误或遗漏，也可以用图像编码数据2的图像数据将该处补足。

另一方面，在接收方B的图像数据接收装置108中，根据接收的对话信息只能接收图像编码数据2的低品质图像数据。由此，可在两个接收方A、B上使接收图像的图像质量有所差异。

此外，当进行同样的图像编码数据1及图像编码数据2的发布时，在以单播方式例如只向接收方A发送图像编码数据1，并以多播或广播方式向接收方A和接收方B双方发送图像编码数据2的情况下，也产生同样的图像质量差异。

此外，当向接收方A的图像数据接收装置108通知了图像编码数据1及图像编码数据2双方的对话信息，并向接收方B的图像数据接收装置108只通知了图像编码数据1的对话信息时，如果图像编码数据1的图像数据在传送通路中不受错误或遗漏的影响，则接收方A和接收方B可以获得同等的图像质量。另外，当图像数据中产生了错误或遗漏时，接收方A可用图像编码数据2的图像数据将该处补足，但接收方B却不能。从而两个接收方A、B在图像质量的稳定性上产生差异。

另外，如果图像编码数据1和图像编码数据2的品质相同，或者从图像编码数据1发送部105及图像编码数据2发送部106双方发送图像编码数据1的话，在存在传送通路上的错误或遗漏的影响时，就能够将图像数据接收装置上引起的再现图像品质的恶化抑制在最小限度。

此外，当以单播方式例如只向接收方A发送图像编码数据2，并以多播或广播方式向接收方A和接收方B双方发送图像编码数据1时，图像质量的稳定性也产生同样的差异。此时，由于通过单播方式发送的图像编码数据的带宽更小，所以更加有望抑制流量的增加。

此外，同样对图像编码数据1及图像编码数据2设定品质(压缩率)，然后例如只加密图像编码数据1，并向接收方A的图像数据接收装置108通知将加密的图像编码数据1复原的方法，但不通知给接收方B的图像数据接收装置108，或者，对图像编码数据1、图像编码数据2都进行加密，并向接收方A的图像数据接收装置108通知用于将两种图像编码数据复原的信息，向接收方B的图像数据接收装置108只通知用于将图像编码数据2复原的信息，这样也可以获得同样的效果。

在本实施例中，当在可用功率有限的环境中使用图像数据接收装置108，例如用电池驱动时，和/或，当接收环境良好，从而能够几乎没有错误或遗漏地接收图像编码数据1时，也可以停止图像编码数据2的接收，从而尽可能地延长装置的使用时间。相反，当在图像数据接收装置108上连接了大容量电池或AC电源时，也可以将图像编码数据1、图像编码数据2都接收。这样，可根据可用功率和接收环境来控制是否接收数据。此外，在本实施例中，也可以由接收方在图像数据接收装置108中设定所述接收图像数据的数量。

此外，不用说也可以采用如下结构：将传送通路设为多个，从而通过不同的传送通路来传送图像编码数据1及图像编码数据2以及对话信息。

另外，当对特定的图像编码数据进行加密并发布时，也可以采用如下的结构：即，如图7所示，在图像数据发布装置101中，由分组多路复用发送部701将图像编码数据1、2的发送部105、106的输出复用在一个对话上，并向发送分组附加图像数据的序列号、和/或与压缩率相关的识别信息，然后进行发送。当然，也可以由图像数据接收装置108的分组接收分离部702将接收分组分离成编码数据和识别信息，由编码数据重构部703根据从识别信息获得的序列号、与压缩率相关的信息来判断数据的重复，并在有重复时，基于与压缩率相关的信息进行选择，从而重构一个编码数据。根据该结构也可以获得与上述实施例相同的效果。识别信息例如使用RTP报头的序列号、有效载荷类型、SSRC、CSRC，或者附加与之相当的信息。

图8是图7中分组接收分离部702的结构的一个例子的示意图。参照图8，分组接收分离部800(与图7的分组接收分离部702对应)包括错误检测部801和数据提取部802，数据提取部802包括识别信息提取部803和编码数据提取部804。在分组接收分离部800中，由错误检测部801检测所接收分组的数据错误，并在检测出错误时丢弃该接收分组。这在本实施例中相当于基于UDP的校验的错误检测。接着，由数据提取部802的识别信息提取部803和编码数据提取部804提取识别信息和编码数据。所述识别信息例如相当于RTP报头的序列号、有效载荷类型、SSRC、CSRC。

另外，也可以采用如下结构，即：设置多个不仅将所有的对话复用为一个，而且还对几个对话进行复用的分组多路复用发送部，并附加同样的识别信息。

关于图像数据发布装置101中的发布信息发送部102、对话信息管理部103、图像数据存储/生成部104、图像编码数据1发送部105、图像编码数据2发送部106、分组多路复用发送部701，当然也可以通过在构成图像数据发布装置101的计算机中执行的程序控制来实现各自的功能或处理。关于图像数据接收装置108中的对话信息接收部109、图像编码数据1接收部110及图像编码数据2接收部111、编码数据重构部112、解码器113、分组接收分离部702、编码数据重构部703，当然也可以通过在构成图像数据发布装置101的计算机中执行的程序控制来实现各自的功能或处理。

[发明的第二实施方式]

在本发明的第二实施方式中，图像数据发布装置包括如下两个单元，其中一个单元在不同的对话中多播或广播发布运动图像数据的I图像(Intra-Picture：帧内编码图像)、P图像(Predictive-Picture：帧间前向预测图像)、以及用于运动图像编码的编码方式中存在B图像时的所述B图像(Bidirectionally predictive-Picture：双向预测编码图像)，另一个单元向接收方通知包括对接收方许可接收的品质在内的至少一个对话信息(多播地址、端口号、图像类型等)。本发明的第二实施方式也可以是还包括下述单元的结构，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

图像数据接收装置包括：对通过所通知的对话信息(多播地址、端口号、图像类型等)中的至少一个对话来多播或广播发布的数据进行接收的单元；以及将接收的运动图像数据重构为一个运动图像数据并进行解码的单元。

此外，图像数据发布装置包括：为每个发布的对话设定发布数据有无加密、加密方法、加密强度的单元；以及将与加密有关的设定信息通知给接收方的单元。

图像数据接收装置包括下述单元，该单元接收所通知的加密信息，并复原所接收的数据，从而解码运动图像数据。

[第二实施例]

参照附图对本发明的第二实施例进行说明。图2示出了本发明的第二实施例。如图2所示，具有图像数据发布装置201、图像数据接收装置209、以及用于传送运动图像编码数据的传送通路208。在本实施例中，图像数据发布装置201与作为IP(Internet Protocol；互联网协议)网的传送通路208连接，并利用UDP/IP发布图像编码数据，图像数据接收装置209是与IP网连接的客户终端。当然，为了简化说明，对所发布图像数据的编码方式中存在I图像、P图像、B图像这三种帧类型的情况进行说明。

图像数据发布装置201包括发布信息发送部202、对话信息管理部203、图像数据存储/生成部204、I图像编码数据发送部205、P图像编码数据发送部206、B图像编码数据发送部207。

图像数据接收装置209包括对话信息接收部210、I图像编码数据接收部211、P图像编码数据接收部212、B图像编码数据接收部213、编码数据重构部214、解码器215。以下，依次说明图像数据发布装置201、图像数据接收装置209的操作。

在图像数据发布装置201中，图像数据存储/生成部204基于在对话信息管理部203中设定的信息，通过I图像编码数据发送部205、P图像编码数据发送部206、B图像编码数据发送部207经由传送通路208发送：

·预先存储的图像数据；或

·实时生成的图像数据；或

·实时转换现有图像数据而生成的图像数据。

此外，对话信息管理部203对于接收方管理允许发布的对话的信息，并根据接收方，将应通知的对话信息以及图像类型等与图像编码相关的信息从发布信息发送部202通知给图像数据接收装置209。

I图像编码数据发送部205、P图像编码数据发送部206以及B图像编码数据发送部207具有附加与RTP(Real-Time Transport Protocol；实时传输协议)相当的信息的功能，以使在图像数据接收装置209中，即使所接收数据的顺序交错时也能够正确地重新排列。

当在对话信息管理部203中进行了用于加密发布图像数据的设定时，在I图像编码数据发送部205、P图像编码数据发送部206以及B图像编码数据发送部207中，根据设定进行加密处理，并将有无加密、加密方法等与加密有关的信息从发布信息发送部202通知给图像数据接收装置209。

对话信息接收部210接收来自图像数据发布装置201的对话信息、与图像编码有关的信息、以及发布数据被加密时的与加密有关的信息，并基于这些信息在I图像编码数据接收部211、P图像编码数据接收部212以及B图像编码数据接收部213打开对话接收端口，接收来自传送通路208的图像数据。当接收的图像数据被加密时，通过用对话信息接收部210获得的信息，在I图像编码数据接收部211、P图像编码数据接收部212以及B图像编码数据接收部213中复原原来的图像数据。

另外，对话信息管理部203也可以设定与图像编码数据的编码设定、编码选项(使用工具)、编码数据的有效载荷·选项、用于识别编码数据的RTP报头的有效载荷类型、和/或SSRC、CSRC相当的信息，并通过发布信息发送部202通知给图像数据接收装置209，另外，也可以事先在图像数据发布装置201及图像数据接收装置209之间设定这些信息。

编码数据重构部214基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或由对话信息接收部210接收的信息，将所接收的I图像、P图像、B图像重构为一个运动图像流，并输出给解码器215。

为了在发送侧对接收方A、接收方B与接收方C各自的图像数据接收装置中的接收图像数据的品质进行控制，向接收方A的图像数据接收装置通知用于发送I图像、P图像、B图像的编码数据的所有对话的信息。

向接收方B的图像数据接收装置通知用于发送I图像、P图像的编码数据的对话的信息。

向接收方C的图像数据接收装置只通知用于发送I图像的编码数据的对话的信息。

由于接收方A的图像数据接收装置能够接收所有图像的编码数据，所以能够接收图像质量最高(流畅运动)的运动图像，接收方B的图像数据接收装置可以接收其次图像质量的运动图像；接收方C的图像数据接收装置只能接收仅有I图像的图像质量最低的运动图像。

如上所述，可在各个接收方(图像数据接收装置)上使接收图像的图像质量有所差异。

此外，在本实施例中，也可以通过将特定图像的编码数据以单播方式只发给特定的接收方，来控制根据接收方的图像质量的差异。例如，如果以多播或广播方式发送I图像编码数据，以单播方式将P图像编码数据发送给接收方A和接收方B，并以单播方式将B图像编码数据只发送给接收方A，则可以获得同样的效果。

此外，如果例如只对P图像、B图像的编码数据进行加密，并向接收方A的图像数据接收装置通知用于复原被加密的P图像、B图像的编码数据的信息(例如，公共密钥等)，向接收方B的图像数据接收装置只通知用于复印P图像的编码数据的信息，而不向接收方C的图像数据接收装置通知与加密有关的信息的话，可以获得同样的效果。

此外，在一个对话中发布I图像及P图像的编码数据，在另一个对话中发布B图像编码数据。

在一个对话中发布I图像编码数据，在另一个对话中发布P图像及B图像的编码数据。

当同样地通知对话信息或发布数据的加密信息时，也能够获得同样的效果。

在本实施例中，当在功率有限的环境中使用图像数据接收装置209，例如用电池驱动时，也可以停止B图像编码数据或P/B图像编码数据的接收，从而尽可能地延长装置的使用时间。相反，当在图像数据接收装置209上连接了大容量电池或AC电源时，也可以接收所有图像的编码数据。这样，可以根据可用功率和接收环境来控制是否接收数据。在本实施例中，也可以是可由接收方在图像数据接收装置209中设定接收图像编码数据的结构。

另外，不用说也可以采用如下结构：将传送通路设为多个，从而通过不同的传送通路来传送I图像编码数据、P图像编码数据、B图像编码数据以及对话信息。

此外，当对特定图像的编码数据进行加密并发布时，如图9所示，也可以由分组多路复用发送部901将本实施例中图像数据发布装置201的发送部205、206、207的输出复用在一个对话上，向发送分组附加图像数据的与图像类型相关的识别信息后进行发送，由图像数据接收装置209的分组接收分离部902将接收分组分离成编码数据和识别信息，并由编码数据重构部903根据从识别信息获得的与图像类型相关的信息来重构一个编码数据。通过该结构也可以获得与上述实施例相同的效果。识别信息例如使用RTP报头的有效载荷类型、SSRC、CSRC，或者附加与之相当的信息。

或者，当在本实施例的图像数据发布装置201的各输出中贯穿全体图像类型附加了RTP报头的序列号或与之相当的信息时，即使不附加与图像类型相关的识别信息，也能够通过进行基于序列号的重新排列来重构一个编码数据，从而能够获得同样的效果。

分组接收分离部902进行与第一实施例中的分组接收分离部702相同的处理。

另外，也可以采用如下结构，即：设置多个不仅将所有的对话复用为一个，而且还对几个对话进行复用的分组多路复用发送部，并附加同样的识别信息。

此外，本实施例也与上述实施例一样，关于图像数据发布装置201和图像数据接收装置209中的各部，当然也可以通过在构成图像数据发布装置和图像数据接收装置的计算机中执行的程序控制来实现各自的功能或处理。

[发明的第三实施方式]

在本发明的第三实施方式中，图像数据发布装置包括如下两个单元，其中一个单元分别在不同的对话中多播或广播发布运动图像数据和对运动图像的有关帧的至少一部分进行帧内宏块(Intra-MB)编码而得的数据；另一个单元向接收方通知包括对接收方许可接收的品质在内的至少一个对话信息(多播地址、端口号、图像类型等)。

图像数据接收装置包括：对通过所通知的对话信息中的至少一个对话来多播或广播发布的数据进行接收的单元；以及在所接收的运动图像数据中，基于图像质量选择数据，并重构一个运动图像数据并进行解码的单元。也可以是还包括下述单元的结构，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

此外，图像数据发布装置包括：为每个发布的对话设定发布数据有无加密、加密方法、加密强度的单元，和将与加密有关的设定信息通知给接收方的单元，图像数据接收装置包括下述单元，该单元接收所通知的加密信息，并复原所接收的数据，从而解码运动图像数据。

[第三实施例]

参照附图对本发明的第三实施例进行说明。图3示出了本发明的第三实施例。如图3所示，具有图像数据发布装置301、图像数据接收装置308以及用于传送运动图像编码数据的传送通路307。在本实施例中，图像数据发布装置301与作为IP(Internet Protocol；互联网协议)网的传送通路307连接，并利用UDP/IP发布图像编码数据，图像数据接收装置308是与IP网连接的客户终端。

图像数据发布装置301包括发布信息发送部302、对话信息管理部303、图像数据存储/生成部304、图像编码数据发送部305、帧内宏块(Intra-MB)编码数据发送部306。

图像数据接收装置308包括对话信息接收部309、图像编码数据接收部310、Intra-MB编码数据接收部311、编码数据重构部312、解码器313。以下，依次说明图像数据发布装置301、图像数据接收装置308的操作。

在图像数据发布装置301中，图像数据存储/生成部304基于由对话信息管理部303设定的信息，从图像编码数据发送部305及帧内宏块(Intra-MB)编码数据发送部306经由传送通路307发送：

·预先存储的图像数据；或

·实时生成的图像数据；或

·实时转换现有图像数据而生成的图像数据。

此外，由对话信息管理部303对于接收方管理允许发布的对话的信息，并根据接收方，将应通知的对话信息以及图像类型等与图像编码相关的信息从发布信息发送部302通知给图像数据接收装置308。图像编码数据发送部305及Intra-MB编码数据发送部306具有附加与RTP(Real-TimeTransport Protocol；实时传输协议)相当的信息的功能，以使在图像数据接收装置308接收了重复的多个图像数据时能够选择数据，并且即使所接收数据的顺序交错也能够正确地重新排列。此时，向帧内宏块编码数据所编码的图像的同一区域的图像编码数据附加相同的RTP序列号，而且还可以附加用于表示是图像编码数据和帧内宏块的哪一个的有效载荷类型、和/或SSRC、和/或CSRC。

当在对话信息管理部303中进行了用于加密发布图像数据的设定时，在图像编码数据发送部305、Intra-MB编码数据发送部306中根据设定进行加密处理，并将有无加密、加密方法等与加密有关的信息从发布信息发送部302通知给图像数据接收装置308。

图像数据接收装置308通过对话信息接收部309接收来自图像数据发布装置301的对话信息、与图像编码有关的信息、以及发布数据被加密时的与加密有关的信息，并基于这些信息，在图像编码数据接收部310及Intra-MB编码数据接收部311中打开对话接收端口，接收来自传送通路307的图像数据。当所接收的图像数据被加密时，根据由对话信息接收部309获得的信息，在图像编码数据接收部310及Intra-MB编码数据接收部311中复原原来的图像数据。

另外，对话信息管理部303设定与图像编码数据的编码设定、编码选项(使用工具)、编码数据的有效载荷·选项、用于识别编码数据的RTP报头的有效载荷类型、和/或SSRC、CSRC相当的信息，并通过发布信息发送部302通知给图像数据接收装置308，另外，也可以事先在图像数据发布装置301及图像数据接收装置308之间设定这些信息。

当接收到图像数据及帧内宏块编码数据双方时，对于重复的图像数据，编码数据重构部312基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或由对话信息接收部309接收的信息，根据图像质量重构一个图像数据，并输出给解码器313。由于只解码一个图像数据即可，所以不会增加解码器313的解码处理的负担。

当为了在发送侧(图像数据发布装置)控制接收方A和接收方B各自的图像数据接收装置中的接收图像数据的品质，而允许接收方A接收图像编码数据及帧内宏块编码数据双方的图像数据，并只允许接收方B接收运动图像编码数据时，向接收方A的图像数据接收装置通知图像编码数据及帧内宏块编码数据双方的对话信息，并向接收方B的图像数据接收装置只通知图像编码数据的对话信息。

接收方A的图像数据接收装置可以接收图像编码数据和帧内宏块编码数据双方，并且即使万一在图像编码数据中有错误或遗漏，只要能够接收帧内宏块编码数据，就能够将该处补足。接收方B的图像数据接收装置只能接收图像编码数据，因此在该数据存在错误或遗漏时，图像质量将会恶化。

如上所述，在两个接收方A、B的图像数据接收装置之间会产生接收图像的图像质量差异。

此外，当进行同样的图像编码数据及帧内宏块编码数据的发布时，在以多播或广播方式发送图像编码数据1，并以单播方式只向接收方A发送帧内宏块编码数据时，接收图像的图像质量的稳定性也同样产生差异。

此外，通过下述的方式也可以获得与上述相同的效果，即：只对帧内宏块编码数据进行加密，并向接收方A的图像数据接收装置通知用于复原加密的帧内宏块编码数据的方法，而不向接收方B的图像数据接收装置通知用于进行该复原的方法，或者对图像编码数据、帧内宏块编码数据都进行加密，并向接收方A的图像数据接收装置通知用于复用这两种图像数据的信息，向接收方B的图像数据接收装置只通知用于复用图像编码数据的信息。

在本实施例中，当在功率有限的环境中使用图像数据接收装置309，例如用电池驱动时，和/或，当接收环境良好，从而能够几乎没有错误或遗漏地接收图像编码数据时，也可以停止帧内宏块编码数据的接收，从而尽可能延长装置的使用时间。相反，当图像数据接收装置308上连接了大容量电池或AC电源时，也可以将图像编码数据、帧内宏块编码数据都接收。这样，也可以根据可用功率和接收环境来控制是否接收数据。此外，在本实施例中，也可以是可由接收方在图像数据接收装置308中设定接收图像编码数据类型的结构。

例如即使在正确接收了图像编码数据的情况下，当其是帧间(参照帧)编码数据时，必使编码数据重构部312周期性地选择帧内宏块编码数据，如果这样，即使在传送通路中发生了错误或损失时，也可以获得与MPEG-4编码方式的CIR(Cyclic Intra Refresh；循环帧内更新)相同的效果，并能够迅速恢复由传送通路中的错误和损失所导致的再现图像品质的恶化，从而可将品质恶化向后续帧的传播抑制得很小。

另外，也可以采用如下结构：将传送通路设为多个，从而通过不同的传送通路来传送图像编码数据、帧内宏块编码数据、以及对话信息。

此外，当对特定类型的编码数据进行加密并发布时，如图10所示，也可以通过分组多路复用发送部1001将本实施例中图像数据发布装置301的图像编码数据发送部305、帧内宏块(Intra-MB)编码数据发送部306的输出复用在一个对话上，并向发送分组附加图像数据的与图像类型相关的识别信息后进行发送，由图像数据接收装置308的分组接收分离部1002将接收分组分离成编码数据和识别信息，并由编码数据重构部1003根据从识别信息获得的与图像类型相关的信息来重构一个编码数据。此时也可以获得相同的效果。识别信息例如使用RTP报头的有效载荷类型、SSRC、CSRC，或者附加与之相当的信息。

分组接收分离部1002进行与第一实施例中的分组接收分离部702相同的处理。

另外也可以采用如下结构，即：设置多个不仅将所有的对话复用为一个，而且还对几个对话进行复用的分组多路复用发送部，并附加同样的识别信息。

本实施例也与上述实施例一样，关于图像数据发布装置301和图像数据接收装置308中的各部，当然也可以通过在构成图像数据发布装置和图像数据接收装置的计算机中执行的程序控制来实现各自的功能或处理。

[发明的第四实施方式]

在本发明的第四实施方式中，图像数据发布装置包括如下两个单元，其中一个单元在不同的对话中多播或广播发布运动图像数据的I图像、P图像、用于运动图像编码的编码方式中存在B图像时的所述B图像、以及对运动图像的有关帧的至少一部分进行帧内宏块(Intra-MB)编码所得的数据，另一个单元向接收方通知包括允许接收方接收的品质在内的至少一个对话信息(多播地址、端口号、图像类型等)。

图像数据接收装置包括：对通过所通知的对话信息中的至少一个对话来多播或广播发布的数据进行接收的单元；以及在所接收的运动图像数据中基于图像质量选择数据，并重构一个运动图像数据后进行解码的单元。本发明的第四实施方式也可以是还包括下述单元的结构，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

此外，图像数据发布装置包括：为每个发布的对话设定发布数据有无加密、加密方法、加密强度的单元；以及将与加密有关的设定信息通知给接收方的单元；图像数据接收装置包括如下单元，该单元接收所通知的加密信息，并复原所接收的数据，从而对运动图像数据进行解码。

[第四实施例]

参照附图对本发明的第四实施例进行说明。图4示出了本发明的第四实施例。如图4所示，具有运动图像数据的发布装置和接收装置以及用于传送运动图像编码数据的传送通路。在本实施例中，图像数据发布装置401与作为IP(Internet Protocol；互联网协议)网的传送通路409连接，并利用UDP/IP发布图像编码数据，图像数据接收装置410是与IP网连接的客户终端。当然，这里为了简化说明，对发布的图像数据的编码方式中存在I图像、P图像、B图像这三种帧类型的情况进行说明。

图像数据发布装置401包括发布信息发送部402、对话信息管理部403、图像数据存储/生成部404、I图像编码数据发送部405、P图像编码数据发送部406、B图像编码数据发送部407、以及帧内宏块(Intra-MB)编码数据发送部408。

图像数据接收装置410包括对话信息接收部411、I图像编码数据接收部412、P图像编码数据接收部413、B图像编码数据接收部414、Intra-MB编码数据接收部415、编码数据重构部416、解码器417。以下，依次说明图像数据发布装置401、图像数据接收装置410的操作。

在图像数据发布装置401中，图像数据存储/生成部404基于由对话信息管理部403设定的信息，通过I图像编码数据发送部405、P图像编码数据发送部406、B图像编码数据发送部407、Intra-MB编码数据发送部408经由传送通路409发送：

·预先存储的图像数据；或

·实时编码而生成的图像数据；或

·实时转换现有图像数据而生成的图像数据。

此外，对话信息管理部403对于接收方管理允许发布的对话的信息，并根据接收方，将应通知的对话信息及图像类型等与图像编码相关的信息从发布信息发送部402通知给图像数据接收装置410。

I图像编码数据发送部405、P图像编码数据发送部406、B图像编码数据发送部407以及Intra-MB编码数据发送部408具有附加与RTP(Real-Time Transport Protocol；实时传输协议)相当的信息的功能，以使在图像数据接收装置410接收了重复的多个图像数据时能够选择数据，而且即使所接收数据的顺序交错也能够正确地重新排列。

此时，向帧内宏块编码数据所编码的图像的同一区域的图像编码数据附加相同的RTP序列号，而且还可以附加表示是图像编码数据和帧内宏块的哪一个的有效载荷类型、和/或SSRC、和/或CSRC。

当在对话信息管理部403中进行了用于加密发布图像数据的设定时，在I图像编码数据发送部405、P图像编码数据发送部406、B图像编码数据发送部407以及Intra-MB编码数据发送部408中根据设定进行加密处理，并将有无加密、加密方法等与加密有关的信息从发布信息发送部402通知给图像数据接收装置410。

对话信息接收部411接收来自图像数据发布装置401的对话信息、与图像编码有关的信息、以及发布数据被加密时的与加密有关的信息，并基于这些信息，在I图像编码数据接收部412、P图像编码数据接收部413、B图像编码数据接收部414、以及Intra-MB编码数据接收部415打开对话接收端口，接收来自传送通路409的图像数据。当所接收的图像数据被加密时，根据由对话信息接收部411获得的信息，在I图像编码数据接收部412、P图像编码数据接收部413、B图像编码数据接收部414以及Intra-MB编码数据接收部415中复原原来的图像数据。

另外，对话信息管理部403设定与图像编码数据的编码设定、编码选项(使用工具)、编码数据的有效载荷·选项、识别编码数据的RTP报头的有效载荷类型、和/或SSRC、CSRC相当的信息，并通过发布信息发送部402通知给图像数据接收装置410，另外，也可以事先在图像数据发布装置401及图像数据接收装置410之间设定这些信息。

对于所接收的I图像、P图像、B图像以及Intra-MB图像，当接收到任一图像的编码数据和帧内宏块编码数据双方时，编码数据重构部416基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或由对话信息接收部411接收的信息，根据图像质量对重复的编码数据进行选择，并重构一个运动图像流，输出给解码器417。由于只解码一个图像数据即可，所以部会增加解码器417的解码处理的负担。

为了在发送侧控制接收方A、接收方B、接收方C以及接收方D各自的图像数据接收装置中的接收图像数据的品质，向接收方A的图像数据接收装置通知用于发送I图像、P图像、B图像以及帧内宏块的编码数据的所有对话的信息。

向接收方B的图像数据接收装置通知用于发送I图像、P图像、B图像的编码数据的对话的信息。

向接收方C的图像数据接收装置通知用于发送I图像、P图像的编码数据的对话的信息。

向接收方D的图像数据接收装置只通知用于发送I图像的编码数据的对话的信息。

当在各个接收方的图像数据接收装置所接收的图像编码数据中没有错误或遗漏时，接收方A和接收方B的图像数据接收装置由于能够接收所有图像的编码数据，所以能够接收图像质量最高(流畅运动)的运动图像。

接收方C的图像数据接收装置可以接收其次图像质量的运动图像；接收方D的图像数据接收装置只能接收只有I图像的图像质量最低的运动图像。这样，可在各接收方使接收图像的图像质量所有差异。

万一图像编码数据中有错误或遗漏，只要接收方A的图像数据接收装置能够接收帧内宏块编码数据，就能够将该处补足，而与此相对，接收方B、接收方C及接收方D由于没有用于补充的信息，所以图像质量将会恶化。由此，可在各接收方使接收图像的图像质量所有差异。

此外，在本实施例中，也可以通过将特定的编码数据以单播方式只发送给特定的接收方，来控制根据接收方的图像质量差异。例如，通过如上述那样以多播或广播方式发送I图像编码数据和P图像编码数据，以单播方式向接收方A和接收方B发送B图像编码数据，并以单播方式只向接收方A发送帧内宏块编码数据，也可以获得与上述相同的效果。

此外，例如通过下述的方式也可以获得与上述相同的效果，即：对P图像、B图像、帧内宏块的编码数据进行加密，并向接收方A的图像数据接收装置通知用于复用被加密的P图像、B图像、帧内宏块的编码数据的信息，向接收方B的图像数据接收装置通知用于复用P图像、B图像的编码数据的信息，向接收方C的图像数据接收装置通知用于复用P图像的编码数据的信息，而不向接收方D的图像数据接收装置发送与加密有关的信息。

在本实施例中，当在功率有限的环境中使用图像数据接收装置410，例如用电池驱动时，也可以停止帧内宏块编码数据、甚至B图像编码数据，甚至P图像编码数据的接收，从而尽可能地延长装置的使用时间。相反，当在图像数据接收装置410连接了大容量电池或AC电源时，也可以接收所有图像的编码数据。这样，可以根据可用功率和接收环境来控制是否接收数据。在本实施例中，也可以是可由接收方在图像数据接收装置410中设定接收图像编码数据的结构。

此外，通过下述的方式也可以获得与上述相同的效果，即：在一个对话中发布I图像和P图像的编码数据，在一个对话中发布B图像编码数据，在又一个对话中发布帧内宏块编码数据，在一个对话中发布I图像编码数据，在一个对话中发布P图像和B图像的编码数据，在又一个对话中发布帧内宏块编码数据，并同样地通知对话信息或发布数据的加密信息。

例如即使在正确接收了图像编码数据的情况下，当其是帧间(参照帧)编码数据时，必使编码数据重构部416周期性地选择帧内宏块编码数据，如果这样，即使在传送通路中发生了错误或损失时，也可以获得与MPEG-4编码方式的CIR(Cyclic Intra Refresh；循环帧内更新)相同的效果，并能够迅速恢复由传送通路中的错误和损失所导致的再现图像品质的恶化，从而可将品质恶化向后续帧的传播抑制得很小。

另外，也可以采用如下结构：将传送通路设为多个，从而通过不同的传送通路来传送I图像编码数据、P图像编码数据、B图像编码数据、帧内宏块编码数据、以及对话信息。

此外，当对特定的图像、类型的编码数据进行加密并发布时，如图11所示，也可以通过分组多路复用发送部1101将本实施例中的图像数据发布装置401的I图像编码数据发送部405、P图像编码数据发送部406、B图像编码数据发送部407、帧内宏块(Intra-MB)编码数据发送部408的输出复用在一个对话上，并向发送分组附加与图像数据的压缩率、和/或图像类型相关的识别信息后进行发送，由图像数据接收装置410的分组接收分离部1102将接收分组分离成图像编码数据和图像数据识别信息，由编码数据重构部1103根据从图像数据识别信息获得的与压缩率和/或图像类型相关的信息来判断数据的重复，并在有重复时，基于与压缩率有关的信息进行选择，重构一个编码数据，通过这样的结构也可以获得相同的效果。图像数据识别信息例如使用RTP报头的有效载荷类型、SSRC、CSRC，或者附加与之相当的信息。

或者，在本实施例中，当在图像数据发布装置401的各个输出中贯穿全体图像类型附加了RTP报头的序列号或与之相当的信息时，即使不附加与图像类型有关的识别信息，也能够通过进行基于序列号的重新排列来重构一个编码数据，从而可获得相同的效果。

分组接收分离部1102进行与第一实施例中的分组接收分离部702相同的处理。

另外，也可以采用如下结构，即：设置多个不仅将所有的对话复用为一个，而且还对几个对话进行复用的分组多路复用发送部，并附加同样的识别信息。

与上述各实施例一样，关于图像数据发布装置401和图像数据接收装置410中的各部，当然也可以通过在构成图像数据发布装置和图像数据接收装置的计算机中执行的程序控制来实现各自的功能或处理。

[发明的第五实施方式]

在本发明的第五实施方式中，图像数据发布装置包括如下两个单元，其中一个单元在不同的对话中多播或广播发布同一图像、同一编码方式、同一帧结构但压缩率不同的多个运动图像数据各自的I图像、P图像、以及用于运动图像编码的编码方式中存在B图像时的所述B图像；另一个单元向接收方通知包括允许接收方接收的品质在内的至少一个对话信息(多播地址、端口号、图像品质等)。图像数据接收装置包括：对通过所通知的对话信息中的至少一个对话来多播或广播发布的数据进行接收的单元；以及在接收的运动图像数据中基于图像质量来选择数据，并重构一个运动图像数据后进行解码的单元。在本发明的第五实施方式中，也可以是还包括下述单元的结构，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

此外，图像数据发布装置包括：为每个发布的对话设定发布数据有无加密、加密手段、加密强度的单元；以及将与加密有关的设定信息通知给接收方的单元；图像数据接收装置包括如下单元，该单元接收所通知的加密信息，并复原所接收的数据，从而对运动图像数据进行解码。

[第五实施例]

参照附图对本发明的第五实施例进行说明。图5示出了本发明的第五实施例。如图5所示，具有运动图像数据的发布装置和接收装置、以及用于传送运动图像编码数据的传送通路。在本实施例中，图像数据发布装置501与作为IP(Internet Protocol；互联网协议)网的传送通路509连接，并利用UDP/IP发布图像编码数据，图像数据接收装置510是与IP网连接的客户终端。当然，这里为了简化说明，对发布的图像数据的编码方式中存在I图像、P图像这两种帧类型，并且发布的图像数据数量为2的情况进行说明。

图像数据发布装置501包括发布信息发送部502、对话信息管理部503、图像数据存储/生成部504、图像数据1的I图像编码数据发送部505、图像数据1的P图像编码数据发送部506、图像数据2的I图像编码数据发送部507、以及图像数据2的P图像编码数据发送部508。

图像数据接收装置510包括对话信息接收部511、图像数据1的I图像编码数据接收部512、图像数据1的P图像编码数据接收部513、图像数据2的I图像编码数据接收部514、图像数据2的P图像编码数据接收部515、编码数据重构部516、解码器517。

以下，依次说明图像数据发布装置501、图像数据接收装置510的操作。

在图像数据发布装置501中，图像数据存储/生成部504基于由对话信息管理部503设定的信息，通过图像数据1的I图像编码数据发送部505、图像数据1的P图像编码数据发送部506、图像数据2的I图像编码数据发送部507、图像数据2的P图像编码数据发送部508经由传送通路509发送：

·预先存储的图像数据；或

·实时编码而生成的图像数据；或

·实时转换现有图像数据而生成的图像数据。

此外，对话信息管理部503管理允许对接收方发布的对话的信息，并根据接收方，将应通知的对话信息以及图像类型等与图像编码相关的信息从发布信息发送部502通知给图像数据接收装置510。

图像数据1的I图像编码数据发送部505、图像数据1的P图像编码数据发送部506、图像数据2的I图像编码数据发送部507以及图像数据2的P图像编码数据发送部508具有附加与RTP(Real-Time TransportProtocol；实时传输协议)相当的信息的功能，以使在图像数据接收装置510接收了重复的多个图像数据时能够选择数据，而且即使所接收数据的顺序交错也能够正确地重新排列。

此时，通过分别设置例如比传送通路509上的数据错误、或损失的突发长度长的时间差来发送图像数据1的I图像编码数据和图像数据2的I图像编码数据、图像数据1的P图像编码数据和图像数据2的P图像编码数据，通过这样的结构，可降低在传送通路中图像编码数据双方均受错误或损失的影响的可能性，从而能够更稳定地进行图像数据的发布。

关于发送的时间差，可以由对话信息管理部503进行管理并从发布信息发送部502通知给图像数据接收装置510，或者也可以预先在图像数据发布装置501和图像数据接收装置510之间进行设定，然后由图像数据接收装置510基于该时间差设定接收缓冲量(缓冲器大小)。

当在对话信息管理部503中进行了用于加密发布图像数据的设定时，图像数据1的I图像编码数据发送部505、图像数据1的P图像编码数据发送部506、图像数据2的I图像编码数据发送部507以及图像数据2的P图像编码数据发送部508根据设定进行加密处理，并将有无加密、加密方法等与加密有关的信息从发布信息发送部502通知给图像数据接收装置510。

图像数据接收装置510通过对话信息接收部511接收来自图像数据发布装置501的对话信息、与图像编码有关的信息、以及发布数据被加密时的与加密有关的信息，并基于这些信息，在图像数据1的I图像编码数据接收部512、图像数据1的P图像编码数据接收部513、图像数据2的I图像编码数据接收部514以及图像数据2的P图像编码数据接收部515中打开对话接收端口，接收来自传送通路509的图像数据。这里，当接收的图像数据被加密时，根据由对话信息接收部511获得的信息复原原来的图像数据。

另外，对话信息管理部503也可以设定与图像编码数据1和图像编码数据2的编码设定、编码选项(使用工具)、编码数据的有效载荷·选项、识别编码数据的RTP报头的有效载荷类型、和/或SSRC、CSRC相当的信息，并通过发布信息发送部502通知给图像数据接收装置510，另外，也可以是事先在图像数据发布装置501及图像数据接收装置510之间设定这些信息。

编码数据重构部516基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC或CSRC的信息、和/或由对话信息接收部511接收的信息，根据图像质量对所接收的图像数据1的I图像、图像数据1的P图像、图像数据2的I图像以及图像数据2的P图像的编码数据进行选择，并重构一个运动图像流，然后输出给解码器517。由于只解码一个图像数据即可，所以不会增加解码器517的解码处理的负担。

为了在发送侧控制接收方A、接收方B、接收方C的接收图像数据的品质，改变图像数据1和图像数据2的品质(压缩率)，例如使图像数据1为更高品质。

向接收方A的图像数据接收装置通知用于发送图像数据1的I图像、图像数据1的P图像、图像数据2的I图像以及图像数据2的P图像的编码数据的所有对话的信息。

向接收方B的图像数据接收装置通知用于发送图像数据1的I图像、图像数据2的I图像、图像数据2的P图像的编码数据的对话的信息。

向接收方C的图像数据接收装置只通知用于发送图像数据2的I图像和图像数据2的P图像的编码数据的对话的信息。

由于接收方A的图像数据接收装置可接收所有的编码数据，所以能够接收图像质量最高(流畅运动)的运动图像，即使万一图像编码数据1的图像数据中有错误或遗漏，也能够通过图像编码数据2的图像数据将该处补足。

接收方B的图像数据接收装置可接收其次图像质量的运动图像，即使万一图像数据1的I图像编码数据中有错误或遗漏，也能够通过图像数据2的I图像编码数据将该处补足。

接收方C的图像数据接收装置只能接收高压缩率的编码数据。

由此可在各接收方使接收图像的图像质量有所差异。

此外，也可以通过以单播方式只向特定的接收方发送特定的编码数据，来控制根据接收方的图像质量差异。例如，以多播或广播方式发送图像数据2的I图像和P图像编码数据，以单播方式向接收方A和接收方B的接收装置发送图像数据1的I图像编码，以单播方式只向接收方A的图像数据接收装置发送编码数据1的P图像编码数据，这样也能够获得与上述同样的效果。

此外，当向所有接收方的图像数据接收装置通知用于发送图像数据1的I图像及B图像的编码数据的对话信息，向接收方A和接收方B的图像数据接收装置通知用于发送图像数据2的I图像编码数据的对话信息，而且还向接收方A的图像数据接收装置通知用于发送图像数据2的P图像编码数据的对话信息时，接收方C既便所接收的数据中有错误或遗漏，也不能将其补足，而接收方B如果是I图像的编码数据中发生了错误或遗漏，就能够将其补足，接收方A无论是哪一图像的编码数据发生了错误或遗漏，都能够从图像数据2的编码数据将其补足，从而可使各接收方在图像质量稳定性上有所差异。

另外，如果图像编码数据1和图像编码数据2的品质相同，或者从图像编码数据1发送部505、506及图像编码数据2发送部507、508发送图像编码数据1的话，在存在传送通路上的错误或遗漏的影响时，就能够将图像数据接收装置上引起的再现图像品质的恶化抑制在最小限度。

此外，当以多播或广播方式发送图像数据1的I图像编码数据及图像数据1的P图像编码数据，以单播方式向接收方A和接收方B发送图像数据2的I图像编码数据，并以单播方式向接收方A发送图像数据2的P图像编码数据时，也会产生同样的图像质量稳定性的差异。此时，由于通过单播方式发送的图像编码数据的带宽更小，所以更加有望抑制流量的增加。

此外，例如通过下述的方式也可以获得与上述相同的效果(各接收方之间的接收图像的图像质量差异)，即：对图像数据1的I图像、P图像编码数据进行加密，并向接收方A的图像数据接收装置通知用于复原被加密的图像数据1的信息，向接收方B的图像数据接收装置只通知用于复用图像数据1的I图像编码数据的信息，而不向接收方C的图像数据接收装置通知与加密有关的信息。

在本实施例中，当在功率有限的环境中使用图像数据接收装置510，例如用电池驱动时，和/或，当接收环境良好，从而能够几乎没有错误或遗漏地接收图像编码数据时，可以停止图像数据2的P图像编码数据的接收、甚至停止图像数据2的I图像编码数据的接收，从而尽可能地延长装置的使用时间。相反，当在图像数据接收装置510上连接了大容量电池或AC电源时，也可以接收所有图像的编码数据。这样，可以根据可用功率和接收环境来控制是否接收数据。另外，在本实施例中，也可以是可由接收方在图像数据接收装置510中设定该接收图像编码数据的结构。

另外，也可以采用如下结构：将传送通路设为多个，从而通过不同的传送通路来传送图像数据1的I图像编码数据、图像1的P图像编码数据、图像数据2的I图像编码数据、图像2的P图像编码数据、以及对话信息。

此外，当对特定的图像编码数据、图像进行加密并发布时，如图12所示，也可以通过分组多路复用发送部1201将本实施例中的图像数据发布装置501各发送部的输出复用在一个对话上，并向发送分组附加与图像数据的压缩率和图像类型相关的识别信息后进行发送，由图像数据接收装置510的分组接收分离部1202将接收分组分离成编码数据和识别信息，由编码数据重构部1203根据从识别信息获得的与压缩率有关的信息以及与图像类型相关的信息来判断数据的重复，并在有重复时，基于与压缩率有关的信息进行选择，然后重构为一个编码数据，通过这样的结构也可以获得同样的效果。图像数据识别信息例如使用RTP报头的有效载荷类型、SSRC、CSRC，或者附加与之相当的信息。

此处，当向图像数据发布装置501的各个输出中贯穿全体图像类型附加了RTP报头的序列号或与之相当的信息时，即使不附加与图像类型有关的识别信息，也能够通过进行基于序列号的重新排列来重构一个编码数据，从而可获得同样的效果。

分组接收分离部1202进行与第一实施例中的分组接收分离部702相同的处理。

另外，也可以采用如下结构，即：设置多个不仅将所有的对话复用为一个，而且还对几个对话进行复用的分组多路复用发送部，并附加同样的识别信息。

本实施例也与上述各实施例一样，关于图像数据发布装置501和图像数据接收装置510中的各部，当然也可以通过在构成图像数据发布装置和图像数据接收装置的计算机中执行的程序控制来实现各自的功能或处理。

[发明的第六实施方式]

在本发明的第六实施方式中，图像数据发布装置包括如下两个单元，其中一个单元在不同的对话中多播或广播发布同一图像、同一编码方式、同一帧结构但压缩率不同的多个运动图像数据各自的I图像、P图像、用于运动图像编码的编码方式中存在B图像时的所述B图像、以及对运动图像的有关帧的至少一部分进行帧内宏块(Intra-MB)编码而得的数据，另一个单元向接收方通知包括允许接收方接收的品质在内的至少一个对话信息(多播地址、端口号、图像品质、图像类型等)。

图像数据接收装置包括：对通过所通知的对话信息中的至少一个对话来多播或广播发布的数据进行接收的单元；以及在所接收的运动图像数据中基于图像质量选择数据，并重构一个运动图像数据后进行解码的单元。在本发明的第六实施方式中，也可以是还包括下述单元的结构，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像数据的接收与否。

此外，图像数据发布装置包括：为每个发布的对话设定发布数据有无加密、加密手段、加密强度的单元；以及将与加密有关的设定信息通知给接收方的单元；图像数据接收装置包括如下单元，该单元接收所通知的加密信息，并复原所接收的数据，从而对运动图像数据进行解码。

[第六实施例]

下面，参照附图对本发明的第六实施例进行说明。图6示出了本发明的第六实施例。如图6所示，具有图像数据发布装置601、图像数据接收装置611、以及用于传送运动图像编码数据的传送通路610。在本实施例中，图像数据发布装置601与作为IP(Internet Protocol；互联网协议)网的传送通路610连接，并利用UDP/IP发布图像编码数据，图像数据接收装置611是与IP网连接的客户终端。当然，这里为了简化说明，对发布的图像数据的编码方式中存在I图像、P图像这两种帧类型，并且发布的图像数据数量为2的情况进行说明。

图像数据发布装置601包括发布信息发送部602、对话信息管理部603、图像数据存储/生成部604、图像数据1的I图像编码数据发送部605、图像数据1的P图像编码数据发送部606、帧内宏块(Intra-MB)编码数据发送部607、图像数据2的I图像编码数据发送部608、以及图像数据2的P图像编码数据发送部609。

图像数据接收装置611包括对话信息接收部612、图像数据1的I图像编码数据接收部613、图像数据1的P图像编码数据接收部614、帧内宏块(Intra-MB)编码数据接收部615、图像数据2的I图像编码数据接收部616、图像数据2的P图像编码数据接收部617、编码数据重构部618、解码器619。以下，依次说明图像数据发布装置601、图像数据接收装置611的操作。

在图像数据发布装置601中，图像数据存储/生成部604基于由对话信息管理部603设定的信息，通过图像数据1的I图像编码数据发送部605、图像数据1的P图像编码数据发送部606、Intra-MB编码数据发送部607、图像数据2的I图像编码数据发送部608、图像数据2的P图像编码数据发送部609，经由传送通路610发送：

·预先存储的图像数据；或

·实时编码而生成的图像数据；或

·实时转换现有图像数据而生成的图像数据。

此外，对话信息管理部603管理允许对接收方发布的对话的信息，并根据接收方，将应通知的对话信息以及图像品质、图像类型等与图像编码相关的信息从发布信息发送部602知给图像数据接收装置611。

图像数据1的I图像编码数据发送部605、图像数据1的P图像编码数据发送部606、Intra-MB编码数据发送部607、图像数据2的I图像编码数据发送部608以及图像数据2的P图像编码数据发送部609具有附加与RTP(Real-Time Transport Protocol；实时传输协议)相当的信息的功能，以使在图像数据接收装置611接收了重复的多个图像数据时能够选择数据，而且即使所接收数据的顺序交错也能够正确地重新排列。此外，使图像数据1的I图像编码数据与图像数据2的I图像编码数据、以及图像数据1的P图像编码数据与图像数据2的P图像编码数据的各个发送单位均分别为对同一图像同一帧的同一部位进行编码而得的数据，并向这些以及对与这些相同的部位进行编码而得的帧内宏块编码数据上赋予同一RTP序列号，而且还可以赋予用于表示哪一个图像编码数据的有效载荷类型、和/或SSRC、和/或CSRC。

此时，对于图像数据1的I图像编码数据和图像数据2的I图像编码数据、图像数据1的P图像编码数据和图像数据2的P图像编码数据，通过分别设置例如比传送通路610中的数据错误或损失的突发长度长的时间差来进行发送，通过这样的结构，可降低传送通路中图像编码数据双方均受错误或损失的影响的可能性，从而能够更稳定地进行图像数据的发布。

关于发送的时间差，可以由对话信息管理部603进行管理并从发布信息发送部602通知给图像数据接收装置611，或者也可以预先在图像数据发布装置601以及图像数据接收装置611之间设定，然后由图像数据接收装置611基于该时间差设定接收缓冲量。

当在对话信息管理部603中进行了用于加密发布图像数据的设定时，在图像数据1的I图像编码数据发送部605、图像数据1的P图像编码数据发送部606、Intra-MB编码数据发送部607、图像数据2的I图像编码数据发送部608以及图像数据2的P图像编码数据发送部609中根据设定进行加密处理，并将有无加密、加密的方法等与加密有关的信息从发布信息发送部602通知给图像数据接收装置611。

图像数据接收装置611通过对话信息接收部612接收来自图像数据发布装置601的对话信息、与图像编码有关的信息、以及发布数据被加密时的与加密有关的信息，并基于这些信息，在图像数据1的I图像编码数据接收部613、图像数据1的P图像编码数据接收部614、Intra-MB编码数据接收部615、图像数据2的I图像编码数据接收部616以及图像数据2的P图像编码数据接收部617中打开对话接收端口，接收来自传送通路610的图像数据。当所接收的图像数据被加密时，根据由对话信息接收部612获得的信息，复原原来的图像数据。

另外，对话信息管理部603也可以设定与图像编码数据1和图像编码数据2的编码设定、编码选项(使用工具)、编码数据的有效载荷·选项、用于识别编码数据的RTP报头的有效载荷类型、和/或SSRC、CSRC相当的信息，并通过发布信息发送部602通知给图像数据接收装置611，另外，也可以事先在图像数据发布装置601及图像数据接收装置611之间设定这些信息。

编码数据重构部618基于与RTP相当的功能、RTP报头的序列号、有效载荷类型、SSRC、CSRC的信息、和/或由对话信息接收部612接收的信息，对于所接收的图像数据1的I图像、图像数据1的P图像、帧内宏块、图像数据2的I图像以及图像数据2的P图像的编码数据，根据图像质量进行数据选择，并重构一个运动图像流，然后输出给解码器619。由于只解码一个图像数据即可，所以不会增加解码器619的解码处理的负担。

为了在发送侧控制接收方A、接收方B、接收方C、接收方D各自的图像数据接收装置中的接收图像数据的品质，改变图像数据1和图像数据2的品质(压缩率)，例如使图像数据1为更高品质。

向接收方A的图像数据接收装置通知用于发送图像数据1的I图像、图像数据1的P图像、图像数据2的I图像以及图像数据2的P图像的编码数据的对话的信息。

向接收方B的图像数据接收装置通知用于发送图像数据1的I图像、图像数据2的I图像、图像数据2的P图像的编码数据的对话的信息。

向接收方C的图像数据接收装置只通知用于发送帧内宏块、图像数据2的I图像和图像数据2的P图像的编码数据的对话的信息。

向接收方D的图像数据接收装置只通知用于发送图像数据2的I图像和图像数据2的P图像的编码数据的对话的信息。

接收方A的图像数据接收装置由于可接收所有的编码数据，所以能够接收图像质量最高(流畅运动)的运动图像，即使万一图像编码数据1的图像数据中有错误或遗漏，也能够通过图像编码数据2的图像数据将该处补足。

接收方B的图像数据接收装置可接收其次图像质量的运动图像，即使万一图像数据1的I图像编码数据中有错误或遗漏，也能够通过图像数据2的I图像编码数据将该处补足。

接收方C的图像数据接收装置只能接收高压缩率的图像数据2、帧内宏块编码数据，即使万一所接收的编码数据中有错误或遗漏，只要能够接收该处的帧内宏块编码数据，就能够将该处补足。

接收方D的图像数据接收装置只能接收高压缩率的图像数据2，所以当该数据中有错误或遗漏时，图像质量将会恶化。

由此，可在各个接收方上产生接收图像的图像质量上的差异。

此外，在本实施例中，也可以通过以单播方式只向特定的接收方发送特定的编码数据，来控制根据接收方的图像质量的差异。例如，以多播或广播方式发送图像数据2的I图像和P图像编码数据，以单播方式向接收方C的图像数据接收装置发送帧内宏块编码数据，以单播方式向接收方A和接收方B的接收装置发送图像数据1的I图像编码数据，并以单播方式只向接收方A的图像数据接收装置发送编码数据1的P图像编码数据，通过这样也能够获得与上述相同的效果。

此外，当向所有接收方的图像数据接收装置通知用于发送图像数据1的I图像及B图像的编码数据的对话信息，向接收方C的图像数据接收装置通知用于发送帧内宏块编码数据的对话信息，向接收方A和接收方B的图像数据接收装置通知用于发送图像数据2的I图像编码数据的对话信息，而且还向接收方A的图像数据接收装置通知用于发送图像数据2的P图像编码数据的对话信息时，接收方即使在所接收数据中有错误或遗漏时也不能将其补足，但接收方C若接收到该处的帧内宏块编码数据的话，就能够将其补足，而接收方B如果是I图像的编码数据中发生了错误或遗漏，就能够将其补足，接收方A无论是哪一图像的编码数据发生了错误或遗漏，都能够从图像数据2的编码数据将其补足，从而可使各接收方在图像质量稳定性上有所差异。

另外，如果图像编码数据1和图像编码数据2的品质相同，或者从图像编码数据1发送部605、606及图像编码数据2发送部608、609发送图像编码数据1的话，在存在传送通路上的错误或遗漏的影响时，就能够将图像数据接收装置上引起的再现图像品质的恶化抑制在最小限度。

此外，当以多播或广播方式发送图像数据1的I图像编码数据及图像数据1的P图像编码数据，以单播方式向接收方C发送帧内宏块编码数据，以单播方式向接收方A和接收方B发送图像数据2的I图像编码数据，并以单播方式向接收方A发送图像数据2的P图像编码数据时，也会产生同样的图像质量稳定性的差异。此时，由于通过单播方式发送的图像编码数据的带宽更小，所以更加有望抑制流量的增加。

此外，例如通过下述的方式也可以获得与上述相同的效果，即：对图像数据1的I图像、P图像以及帧内宏块的编码数据进行加密，并向收方A的图像数据接收装置通知用于复用被加密的图像数据1的信息，向接收方B的图像数据接收装置只通知用于复原图像数据1的I图像编码数据的信息，向接收方C的图像数据接收装置只通知用于复原帧内宏块编码数据的信息，而不向接收方D的图像数据接收装置通知与加密有关的信息。

在本实施例中，当在功率有限的环境中使用图像数据接收装置611，例如用电池驱动时，和/或，当接收环境良好，从而能够几乎没有错误或遗漏地接收图像编码数据时，可以停止帧内宏块编码数据、和/或图像数据2的P图像编码数据、甚至图像数据2的I图像编码数据的接收，从而尽可能地延长装置的使用时间。相反，当连接了大容量电池或AC电源时，也可以接收所有图像的编码数据等。这样，可根据可用功率和接收环境来控制是否接收数据。此外，也可以是可由接收方在图像数据接收装置611中设定该接收图像编码数据的结构。

例如即使在正确接收了图像编码数据的情况下，当其是帧间(参照帧)编码数据时，必使编码数据重构部618周期性地选择帧内宏块编码数据，如果这样，即使在传送通路中发生了错误或损失时，也可以与MPEG-4编码方式的CIR(Cyclic Intra Refresh；循环帧内更新)相同的效果，并能够迅速恢复由传送通路中的错误和损失所导致的再现图像品质的恶化，从而可将品质恶化向后续帧的传播抑制得很小。

另外，也可以采用如下结构：将传送通路设为多个，从而通过不同的传送通路来传送图像数据1的I图像编码数据、图像1的P图像编码数据、帧内宏块编码数据、图像数据2的I图像编码数据、图像2的P图像编码数据、以及对话信息。

此外，当对特定的图像编码数据、图像、数据类型进行加密并发布时，如图13所示，也可以通过分组多路复用发送部1301将本实施例中的图像数据发布装置601的图像数据1的I图像编码数据605、图像数据1的P图像编码数据发送部606、帧内宏块编码数据发送部607、图像数据2的I图像编码数据发送部608、图像数据2的P图像编码数据发送部609的输出复用在一个对话上，并向发送分组附加与图像数据的压缩率及图像类型相关的识别信息后进行发送，由图像数据接收装置611的分组接收分离部1302将接收分组分离成编码数据和识别信息，由编码数据重构部1303，根据从识别信息获得的与压缩率有关的信息及图像类型来判断数据的重复，并在有重复时，基于与压缩率有关的信息来选择并重构一个编码数据，通过这样的结构也可以获得同样的效果。识别信息例如使用RTP报头的有效载荷类型、SSRC、CSRC，或者附加与之相当的信息。

这里，当向图像数据发布装置601的各个输出中贯穿全体图像类型附加了RTP报头的序列号或与之相当的信息时，即使不附加与图像类型有关的识别信息，也可以通过基于与图像数据类型相关的识别信息和序列号进行重新排列，来重构一个编码数据，从而可获得同样的效果。

分组接收分离部1302进行与第一实施例中的分组接收分离部702相同的处理。

另外，也可以采用如下结构，即：设置多个不仅将所有的对话复用为一个，而且还对几个对话进行复用的分组多路复用发送部，并附加同样的识别信息。

本实施例也与上述各实施例一样，关于图像数据发布装置601和图像数据接收装置611中的各部，当然也可以通过在构成图像数据发布装置和图像数据接收装置的计算机中执行的程序控制来实现各自的功能或处理。

Claims (110)

1.一种图像数据发布装置，其特征在于，包括：

多播或广播发布同一图像的不同压缩率的图像编码数据的单元；和

根据压缩率来选择多播或广播发布的对话的单元。

2.一种图像数据发布装置，其特征在于，包括：

多播或广播发布同一图像的不同压缩率的图像编码数据的单元；和

根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收图像品质的单元。

3.一种图像数据发布装置，其特征在于，包括：

多播或广播发布同一图像的不同压缩率的图像编码数据的单元；和

为每个根据压缩率而选择的发布对话设定包含图像编码数据有无加密、加密时的加密方法、和/或加密强度的信息的单元。

4.如权利要求1至3中任一项所述的图像数据发布装置，其特征在于，

所述同一图像的不同压缩率的图像编码数据在编码方式和帧结构上相同。

5.一种图像数据发布装置，其特征在于，包括：

多播或广播发布图像编码数据的单元；和

根据图像帧或图像块的类型来选择多播或广播发布的对话的单元。

6.一种图像数据发布装置，其特征在于，包括：

多播或广播发布图像帧或图像块的类型不同的图像编码数据的单元；和

根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收品质的单元。

7.一种图像数据发布装置，其特征在于，包括：

多播或广播发布图像编码数据的单元；和

为每个发布对话设定包含图像编码数据有无加密、加密时的加密方法、和/或加密强度的信息的单元，其中所述发布对话是根据图像帧或图像块的类型选择的。

8.一种图像数据发布装置，其特征在于，包括：

在至少一个以上的对话中多播或广播发布包含发布数据有无加密、加密时的加密方法、和/或加密强度的信息不同的图像编码数据的单元；和

根据接收方来改变要通知的与加密有关的信息，从而控制接收方一侧的接收品质的单元。

9.如权利要求1所述的图像数据发布装置，其特征在于，包括：

下述单元，该单元对于图像数据接收装置管理允许发布的对话的信息，并将根据图像数据接收装置应通知的对话信息、以及与图像品质有关的图像编码信息通知给图像数据接收装置；和

多个图像编码数据发送单元，多播或广播发送压缩率不同的图像编码数据。

10.如权利要求2所述的图像数据发布装置，其特征在于，包括：

下述单元，该单元对于图像数据接收装置管理允许发布的对话的信息，并将根据图像数据接收装置应通知的对话信息、以及与图像品质有关的图像编码信息通知给图像数据接收装置；和

多个图像编码数据发送单元，多播或广播发送就帧内编码或帧间预测编码而类型不同的运动图像编码数据。

11.如权利要求2所述的图像数据发布装置，其特征在于，包括：

下述单元，该单元对于图像数据接收装置管理允许发布的对话的信息，并将根据图像数据接收装置应通知对话信息、以及与图像品质有关的图像编码信息通知给图像数据接收装置；和

多个图像编码数据发送单元，多播或广播发送压缩率不同并且就帧内编码或帧间预测编码而类型不同的运动图像编码数据。

12.一种图像数据接收装置，其特征在于，包括：

接收由图像数据发布装置通知的对话信息的单元；

下述单元，该单元基于所述对话信息接收由图像数据发布装置发布的图像编码数据，并基于图像质量和/或压缩率从正常接收到的编码数据中选择图像编码数据；和

对所选择的图像编码数据进行解码的单元。

13.一种图像数据接收装置，其特征在于，包括：

接收由图像数据发布装置通知的与数据的加密有关的信息的单元；

下述单元，该单元基于所述与加密有关的信息，复原由图像数据发布装置接收的加密的图像编码数据，并从正常复原的图像编码数据中，基于图像质量、和/或压缩率选择图像编码数据；和

对所选择的图像编码数据进行解码的单元。

14.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置包括下述的单元，该单元在发布同一图像的不同压缩率的图像编码数据时，根据压缩率来选择要发布的对话，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

15.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述单元，该单元向所述图像数据接收装置发布同一图像的不同压缩率的图像编码数据，并且根据接收方来改变要通知的对话信息，从而控制接收方的接收图像品质，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

16.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述单元，该单元在向所述图像数据接收装置发布同一图像的不同压缩率的图像编码数据时，为每个根据压缩率而选择的发布对话设定包含发布数据有无加密、加密时的加密方法、和/或加密强度的信息，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

17.如权利要求14至16中任一项所述的图像数据发布系统，其特征在于，

所述图像编码数据是同一编码方式且同一帧结构的。

18.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述单元，该单元在向所述图像数据接收装置发布图像编码数据时，根据图像帧或图像块的类型而选择要发布的对话，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

19.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述单元，该单元向所述图像数据接收装置发布图像帧或图像块的类型不同的图像编码数据，并且根据接收方来改变要通知的对话信息，从而控制所述图像数据接收装置的接收品质，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

20.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述单元，该单元在向所述图像数据接收装置发布图像编码数据时，为每个根据图像帧或图像块的类型而选择的发布对话设定包含发布数据有无加密、加密时的加密方法、和/或加密强度的信息，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

21.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述单元，该单元通过至少一个以上的对话向所述图像数据接收装置发布在发布数据有无加密、加密时的加密方法、和/或加密强度上不同的图像编码数据，并根据所述图像数据接收装置来改变要通知的与加密有关的信息，从而控制接收方一侧的接收品质，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

22.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据接收装置具有下述单元，该单元基于由所述图像数据发布装置通知的对话信息来接收运动图像编码数据，并基于图像质量和/或压缩率从正常接收到的编码数据中选择数据并解码。

23.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据接收装置具有下述单元，该单元基于由所述图像数据发布装置通知的与数据的加密有关的信息，复原所接收的加密数据，并基于图像质量和/或压缩率从正常复原的运动图像编码数据中选择数据并解码。

24.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置发布同一图像的不同压缩率的图像编码数据的步骤；和

根据所述压缩率来选择要发布的对话的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

25.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置发布同一图像的不同压缩率的图像编码数据的步骤；和

根据接收方来改变要通知的对话信息，从而控制接收方的接收图像品质的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

26.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置发布同一图像的不同压缩率的图像编码数据的步骤；和

为每个根据压缩率而选择的发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

27.如权利要求24至26中任一项所述的图像数据发布控制方法，其特征在于，

所述图像编码数据是同一编码方式且同一帧结构的。

28.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置发布图像编码数据的步骤；和

根据图像帧或图像块的类型而选择所述发布的对话的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

29.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置发布图像帧或图像块类型不同的图像编码数据的步骤；和

根据接收方来改变要通知的对话信息，从而控制所述图像数据接收装置的接收品质的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

30.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置发布图像编码数据的步骤；和

为每个根据图像帧或图像块类型而选择的发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

31.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置通过至少一个以上的对话向所述图像数据接收装置发布在发布数据有无加密、加密时的加密方法和/或加密强度上不同的图像编码数据的步骤；和

根据所述接收方来改变所通知的与加密有关的信息，从而控制接收方一侧的接收品质的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

32.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据接收装置基于由所述图像数据发布装置通知的对话信息来接收运动图像编码数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率从正常接收到的图像编码数据中选择数据的步骤；和

对所选择的图像编码数据进行解码的步骤。

33.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据接收装置基于由所述图像数据发布装置通知的与数据的加密有关的信息，复原所接收的加密数据的步骤；

基于图像质量和/或压缩率从正常复原的图像编码数据中选择图像编码数据的步骤；和

对所选择的图像编码数据进行解码的步骤。

34.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：当发布同一图像的不同压缩率的图像编码数据时，根据压缩率来选择要发布的对话，并通过多播或广播方式发送所发布的对话中的至少一个。

35.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：发布同一图像的不同压缩率的图像编码数据，根据接收方来改变要通知的对话信息，从而控制接收侧的接收图像品质，并通过多播或广播方式发送所发布的对话中的至少一个。

36.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：当发布同一图像的不同压缩率的图像编码数据时，为每个根据压缩率而选择的发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息，并通过多播或广播方式发送所发布的对话中的至少一个。

37.如权利要求34至36中任一项所述的程序，其特征在于，

所述图像编码数据在编码方式和帧结构上相同。

38.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：当发布图像编码数据时，根据图像帧或图像块的类型而选择要发布的对话，并通过多播或广播方式发送所发布的对话中的至少一个。

39.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：发布图像帧或图像块的类型不同的图像编码数据，根据接收方来改变要通知的对话信息，从而控制所述图像数据接收装置的接收品质，并通过多播或广播方式发送所发布的对话中的至少一个。

40.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：当发布图像编码数据时，为每个根据图像帧或图像块的类型而选择的发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息，并通过多播或广播方式发送所发布的对话中的至少一个。

41.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：通过至少一个以上的对话发布在发布数据有无加密、加密时的加密方法和/或加密强度上不同的图像编码数据，根据接受方来改变要通知的与加密有关的信息，从而控制接收方的接收品质，并通过多播或广播方式发送所发布的对话中的至少一个。

42.一种程序，使构成图像数据接收装置的计算机执行下述处理，即：基于由所述图像数据发布装置通知的对话信息来接收运动图像编码数据，并基于图像质量和/或压缩率从正常接收到的编码数据中选择数据并解码。

43.一种程序，使构成图像数据接收装置的计算机执行下述处理，即：在图像数据接收装置中，基于由所述图像数据发布装置通知的与数据的加密有关的信息，复原所接收的加密数据，并基于图像质量和/或压缩率，从正常复原的运动图像编码数据中选择数据并解码。

44.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中发布同一图像的不同压缩率的多个图像编码数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且，通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的单元；

基于图像质量和/或压缩率在所接收的图像编码数据中选择数据，并重构为一个图像编码数据的单元；和

对重构的图像编码数据进行解码的单元。

45.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中发布运动图像数据的I图像和P图像、或者运动图像数据的I图像、P图像以及B图像的编码数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且，通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的单元；

基于从所述图像数据发布装置通知的信息，将所接收的运动图像数据重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。

46.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

分别在不同的对话中发布运动图像数据，和对运动图像数据的有关帧的至少一部分进行帧内宏块编码而得的数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且，通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于由所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的单元；

基于图像质量和/或压缩率，在所接收的运动图像数据中选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。

47.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中发布运动图像数据的I图像和P图像、或者I图像、P图像、B图像以及对运动图像的有关帧的至少一部分进行帧内宏块编码而得的数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于由所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的单元；

基于图像质量和/或压缩率，在接收的运动图像数据中选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。

48.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中发布同一图像的不同压缩率的多个运动图像数据各自的I图像和P图像、或者I图像、P图像、B图像的编码数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且，通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的单元；

基于图像质量和/或压缩率，在接收的运动图像数据中选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。

49.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中发布同一图像的不同压缩率的多个运动图像数据各自的I图像和P图像、或者I图像、P图像、B图像以及对运动图像的有关帧的至少一部分进行了帧内宏块编码的数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且，通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的单元；

基于图像质量和/或压缩率，在所接收的运动图像数据中选择数据，并重构为一个运动图像数据的单元；和

对重构的运动图像数据进行解码的单元。

50.如权利要求44至49中任一项所述的图像数据发布系统，其特征在于，

所述图像数据发布装置包括：为每个发布的对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息的单元；和

将与加密有关的设定信息通知给所述图像数据接收装置的单元，

所述图像数据接收装置包括下述单元，该单元接收从所述图像数据发布装置通知的与加密有关的设定信息，并基于所述信息复原加密的接收运动图像数据。

51.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布同一图像的不同压缩率的多个图像编码数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率，在所接收的图像数据中选择数据，并重构为一个图像数据的步骤；和

所述图像数据接收装置对重构的图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

52.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布运动图像数据的I图像和P图像、或者I图像、P图像及B图像的编码数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的步骤；

所述图像数据接收装置将所接收的运动图像数据重构为一个运动图像数据的步骤；和

所述图像数据接收装置对重构的运动图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

53.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布运动图像数据和对运动图像数据的有关帧的至少一部分进行帧内宏块编码而得的数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率在所接收的运动图像数据中选择数据，并重构为一个运动图像数据的步骤；和

所述图像数据接收装置对重构的运动图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

54.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布运动图像数据的I图像和P图像、或者I图像、P图像、B图像以及对运动图像的有关帧的至少一部分进行帧内宏块编码而得的数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于所通知的信息，接收通过至少一个对话发布的数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率在所接收的运动图像数据中选择数据，并重构为一个运动图像数据的步骤；和

所述图像数据接收装置对重构的运动图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

55.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布同一图像的不同压缩率的多个运动图像数据各自的I图像和P图像、或者I图像、P图像、B图像的编码数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率在所接收的运动图像数据中选择数据，并重构为一个运动图像数据的步骤；和

所述图像数据接收装置对重构的运动图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

56.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布同一图像的不同压缩率的多个运动图像数据各自的I图像和P图像、或者I图像、P图像、B图像以及对运动图像的有关帧的至少一部分进行帧内宏块编码而得的数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率在所接收的运动图像数据中选择数据，并重构为一个运动图像数据的步骤；和

所述图像数据接收装置对重构的运动图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

57.如权利要求51至56中任一项所述的图像数据发布控制方法，其特征在于，包括：

所述图像数据发布装置为每个发布的对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息的步骤；

所述图像数据发布装置将与加密有关的设定信息通知给所述图像数据接收装置的步骤；和

所述图像数据接收装置接收从所述图像数据接收装置所通知的与加密有关的设定信息，并基于所述信息复原加密的接收运动图像数据的步骤。

58.一种图像数据发布装置，其特征在于，包括：

发布同一图像的不同压缩率的图像编码数据的单元；和

根据压缩率来选择要发布的对话的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

59.一种图像数据发布装置，其特征在于，包括：

发布同一图像的不同压缩率的图像编码数据的单元；和

根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收图像品质的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

60.一种图像数据发布装置，其特征在于，包括：

发布同一图像的不同压缩率的图像编码数据的单元；和

为每个根据压缩率而选择的发布对话设定包含图像编码数据有无加密、加密时的加密方法和/或加密强度的信息的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

61.如权利要求58至60中任一项所述的图像数据发布装置，其特征在于，

所述图像编码数据在编码方式和帧结构上相同。

62.一种图像数据发布装置，其特征在于，包括：

发布图像编码数据的单元；和

根据图像帧或图像块的类型来选择多播或广播发布的对话的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

63.一种图像数据发布装置，其特征在于，包括：

发布图像帧或图像块的类型不同的图像编码数据的单元；和

根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收品质的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

64.一种图像数据发布装置，其特征在于，包括：

发布图像编码数据的单元；和

为每个根据图像帧或图像块的类型而选择的发布对话设定包含图像编码数据有无加密、加密时的加密方法和/或加密强度的信息的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

65.一种图像数据发布装置，其特征在于，包括：

在至少一个以上的对话中发布包含发布数据有无加密、加密时的加密方法和/或加密强度的信息不同的图像编码数据的单元；和

根据接收方来改变要通知的与加密有关的信息，从而控制接收方一侧的接收品质的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

66.如权利要求58所述的图像数据发布装置，其特征在于，包括：

下述单元，该单元对于图像数据接收装置管理允许发布的对话的信息，并将根据图像数据接收装置应通知的对话信息、和/或与图像品质有关的图像编码信息通知给图像数据接收装置；和

多个图像编码数据发送单元，发送不同压缩率的图像编码数据。

67.如权利要求59所述的图像数据发布装置，其特征在于，包括：

下述单元，该单元对于图像数据接收装置管理允许发布的对话的信息，并将根据图像数据接收装置应通知的对话信息、和/或与图像品质有关的图像编码信息通知给图像数据接收装置；和

多个图像编码数据发送单元，发送就帧内编码或帧间预测编码而类型不同的运动图像编码数据。

68.如权利要求59所述的图像数据发布装置，其特征在于，包括：

下述单元，该单元对于图像数据接收装置管理允许发布的对话的信息，并将根据图像数据接收装置应通知的对话信息、和/或与图像品质有关的图像编码信息通知给图像数据接收装置；和

多个图像编码数据发送单元，发送压缩率不同且就帧内编码或帧间预测编码而类型不同的运动图像编码数据。

69.一种图像数据发布装置，其特征在于，包括通过多个对话发布图像编码数据的单元，并通过多播或广播方式发送发布对话的至少一个。

70.一种图像数据发布装置，其特征在于，包括：

通过多个对话发布图像编码数据的单元；和

根据接收方来改变要通知的对话信息，从而控制接收方一侧的接收图像品质的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

71.一种图像数据发布装置，其特征在于，包括：

通过多个对话发布图像编码数据的单元；和

为每个根据压缩率而选择的发布对话设定包含图像编码数据有无加密、加密时的加密方法和/或加密强度的信息的单元，

并且，通过多播或广播方式发送发布对话的至少一个。

72.如权利要求1至4、58至61、69至71中任一项所述的图像数据发布装置，其特征在于，所述图像编码数据的各个发送单位是分别将同一帧的同一部位编码所得的数据。

73.一种图像数据发布装置，其特征在于，包括：

在多个对话中发布图像编码数据的单元；和

根据接收方来改变要通知的对话信息，从而控制接收侧的接收品质的单元。

74.如权利要求9、11、66、68至72中任一项所述的图像数据发布装置，其特征在于，设置时间差来发布所述图像编码数据。

75.如权利要求1、3至5、7至9、58、69、72、74中任一项所述的图像数据发布装置，其特征在于，还至少包括一个将至少两个所述发布对话复用并发送的单元，并且，通过至少一个对话进行发布。

76.如权利要求12或13所述的图像数据接收装置，其特征在于，在所述图像数据接收装置中还包括下述的单元，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像编码数据的接收与否。

77.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有在多个对话中发布图像编码数据的单元，并通过多播或广播方式发送发布对话的至少一个。

78.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述的单元，该单元向所述图像数据接收装置通过多个对话发布图像编码数据，并根据接收方来改变要通知的对话信息，从而控制接收方的接收图像品质，并且，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

79.一种图像数据发布系统，其特征在于，

包括：发布图像数据的图像数据发布装置，和接收由所述图像数据发布装置发布的图像数据的图像数据接收装置，

所述图像数据发布装置具有下述的单元，当向所述图像数据接收装置通过多个对话发布图像编码数据时，该单元为每个根据压缩率而选择的发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息；并且，所述图像数据发布装置通过多播或广播方式发送发布对话的至少一个。

80.如权利要求14至17、77至79中任一项所述的图像数据发布系统，其特征在于，所述图像编码数据的各个发送单位是分别将同一帧的同一部位编码所得的数据。

81.如权利要求14至17、77至79中任一项所述的图像数据发布系统，其特征在于，设置时间差来发布所述图像编码数据。

82.如权利要求14、16至18、20、21、77、81中任一项所述的图像数据发布系统，其特征在于，还至少包括一个将至少两个所述发布对话复用并发送的单元，并通过至少一个对话进行发布。

83.如权利要求22或23所述的图像数据接收系统，其特征在于，在所述图像数据接收装置中还包括下述的单元，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像编码数据的接收与否。

84.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，

包括所述图像数据发布装置在多个对话中发布图像编码数据的步骤，并且通过多播或广播方式发送发布对话的至少一个。

85.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个对话中发布图像编码数据的步骤；和

根据接收方来改变要通知的对话信息，从而控制接收方的接收图像品质的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

86.一种图像数据发布控制方法，是从图像数据发布装置向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个对话中发布图像编码数据的步骤；和

为每个根据压缩率而选择的发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

87.如权利要求24至27、84至86中任一项所述的图像数据发布控制方法，其特征在于，所述图像编码数据的各个发送单位是分别将同一帧的同一部位编码所得的数据。

88.如权利要求24至27、84至87中任一项所述的图像数据发布控制方法，其特征在于，设置时间差来发布所述图像编码数据。

89.如权利要求24、26至28、30、31、84、88中任一项所述的图像数据发布控制方法，其特征在于，包括将至少两个所述发布对话复用并发送的步骤，并通过至少一个对话进行发布。

90.如权利要求32或33所述的图像数据发布控制方法，其特征在于，在所述图像数据接收装置中还包括下述步骤，即：基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像编码数据的接收与否。

91.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：在多个对话中发布图像编码数据，并通过多播或广播方式发送所发布的对话中的至少一个。

92.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：在多个对话中发布图像编码数据，根据接收方来改变要通知的对话信息，从而控制接收方的接收图像品质，并且通过多播或广播方式发送所发布的对话中的至少一个。

93.一种程序，使构成图像数据发布装置的计算机执行下述处理，即：在多个对话中发布同一图像的不同压缩率的图像编码数据，为每个发布对话设定包含发布数据有无加密、加密时的加密方法和/或加密强度的信息，并且通过多播或广播方式发送所发布的对话中的至少一个。

94.如权利要求34至37、91至93中任一项所述的程序，其特征在于，所述图像编码数据的各个发送单位是分别将同一帧的同一部位编码所得的数据。

95.如权利要求34至37、91至93中任一项所述的程序，其特征在于，使所述计算机执行下述处理，即：设置时间差来发布所述图像编码数据。

96.如权利要求35至38、40、41、91、95中任一项所述的程序，其特征在于，使所述计算机执行下述处理，即：对至少两个所述发布对话进行复用并发送，并通过至少一个对话进行发布。

97.如权利要求42或43所述的程序，其特征在于，使所述计算机执行下述处理，即：基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像编码数据的接收与否。

98.一种图像数据发布系统，其特征在于，包括：图像数据发布装置、图像数据接收装置、以及用于将来自所述图像数据发布装置的信息传送给所述图像数据接收装置的传送通路，其中，

所述图像数据发布装置包括：

在多个不同的对话中发布图像编码数据的单元；和

向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的单元；

并且，通过多播或广播方式发送发布对话的至少一个，

所述图像数据接收装置包括：

基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的单元；

基于图像质量以及/压缩率，在所接收的图像编码数据中选择数据，并重构为一个图像编码数据的单元；和

对重构的图像编码数据进行解码的单元。

99.如权利要求48至50、98中任一项所述的图像数据发布系统，其特征在于，设置时间差来发布所述图像编码数据。

100.如权利要求44至50、98、99中任一项所述的图像数据发布系统，其特征在于，还至少包括一个将至少两个所述发布对话复用并发送的单元，并通过至少一个对话进行发布。

101.一种图像数据发布控制方法，是从图像数据发布装置经由传送通路向图像数据接收装置发布图像数据的控制方法，其特征在于，包括：

所述图像数据发布装置在多个不同的对话中发布运动图像数据的步骤；

所述图像数据发布装置向所述图像数据接收装置通知允许发布的对话信息、和/或包含允许接收的品质的信息的步骤；

所述图像数据接收装置基于从所述图像数据发布装置通知的信息，接收通过至少一个对话发布的图像数据的步骤；

所述图像数据接收装置基于图像质量和/或压缩率，在所接收的图像数据中选择数据，并重构为一个图像数据的步骤；和

所述图像数据接收装置对重构的图像数据进行解码的步骤，

并且，通过多播或广播方式发送发布对话的至少一个。

102.如权利要求51、55至57、101中任一项所述的图像数据发布控制方法，其特征在于，设置时间差来发布所述图像编码数据。

103.如权利要求51至57、101、102中任一项所述的图像数据发布控制方法，其特征在于，包括对至少两个所述发布对话进行复用的步骤，并通过至少一个对话进行发布。

104.如权利要求51至57、101至103中任一项所述的图像数据发布控制方法，其特征在于，在所述图像数据接收装置中还包括下述单元，该单元基于接收数据的错误/损失率、可用功率、预先确定的设定中的至少一个来选择至少一个图像编码数据的接收与否。

105.如权利要求46、47、49中任一项所述的图像数据发布系统，其特征在于，在所述图像数据接收装置中，通过重构所述编码数据的单元以预定的方法选择进行帧内宏块编码而得的编码数据。

106.如权利要求53、54、56中任一项所述的图像数据发布控制方法，其特征在于，在所述图像数据接收装置中，通过重构所述编码数据的单元以预定的方法选择进行帧内宏块编码而得的编码数据。

107.一种图像数据发布系统，其特征在于，包括：发布图像数据的图像数据发布装置，和接收从所述图像数据发布装置发布的图像数据的多个图像数据接收装置，其中，

所述图像数据发布装置包括：将图像编码数据发送到传送通路上的多个发送单元；和

将根据发布目标的所述图像数据接收装置的对话信息经由传送通路通知给所述图像数据接收装置的单元，

所述图像数据发布装置对于一个所述图像数据接收装置，从所述多个发送单元中的至少两个所述发送单元发布同一图像的图像编码数据，

而对于其他的所述图像数据接收装置，利用一个所述发送单元、或下述数量的所述发送单元发送图像编码数据，从而可变地控制一个及其他的所述图像数据接收装置中的接收图像数据的品质，其中所述数量少于向一个所述图像数据接收装置发送图像编码数据的所述发送单元的个数。

108.一种图像数据发布系统，其特征在于，包括：发布图像数据的图像数据发布装置，和接收从所述图像数据发布装置发布的图像数据的多个图像数据接收装置，其中，

所述图像数据发布装置包括：将图像编码数据发送到传送通路上的多个发送单元；和

将根据发布目标的所述图像数据接收装置的对话信息经由传送通路通知给所述图像数据接收装置的单元，

所述图像数据发布装置对于一个所述图像数据接收装置，从所述多个发送单元中的至少一个所述发送单元以单播方式发布图像编码数据，

对于一个所述图像数据接收装置以及其它的所述图像数据接收装置，从其它的至少一个所述发送单元以多播或广播方式发送下述图像编码数据，从而可变地控制一个及其他的所述图像数据接收装置中的接收图像数据的品质，其中所述图像编码数据与从一个所述发送单元发送的图像编码数据是同一图像但压缩率不同。

109.一种图像数据发布系统，其特征在于，包括：发布图像数据的图像数据发布装置，和接收从所述图像数据发布装置发布的图像数据的多个图像数据接收装置，其中，

所述图像数据发布装置包括：将图像编码数据发送到传送通路上的多个发送单元；和

根据发布目标的所述图像数据接收装置，将用于复原被加密发布的图像编码数据的复原信息经由传送通路通知给所述图像数据接收装置的单元，

所述图像数据发布装置对于一个所述图像数据接收装置及其他的所述图像数据接收装置，从至少一个所述发送单元发布加密的同一图像的图像编码数据，

并对于一个所述图像数据接收装置，通知用于复原所述加密的同一图像的图像编码数据的复原信息，另一方面，对于其他的所述图像数据接收装置，或是不通知用于复原所述加密的同一图像的图像编码数据的复原信息，或是通知同一图像的压缩率相对高的图像编码数据的复原信息，或是通知下述数量的图像编码数据的复原信息，从而可变地控制一个及其他的所述图像数据接收装置中的接收图像数据的品质，其中所述数量少于向一个所述图像数据接收装置发布的同一图像的多个图像编码数据的量。

110.如权利要求107至109中任一项所述的图像数据发布系统，其特征在于，

所述图像数据发布装置至少包括一个复用发送单元，用于将多个所述发送单元的输出复用在一个对话中进行发送，

所述图像数据接收装置至少包括一个分离单元，用于从复用在一个对话中的接收信号中分离出图像编码数据。

Images