CN101420316B

CN101420316B - 影像分发系统、影像中继装置

Info

Publication number: CN101420316B
Application number: CN200810149951XA
Authority: CN
Inventors: 铃木敏明; 中山真理子
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-10-19
Filing date: 2008-10-17
Publication date: 2012-09-05
Anticipated expiration: 2028-10-17
Also published as: CN101420316A; JP2009100411A

Abstract

本发明提供一种影像分发系统、影像中继装置，分发可以连续地再现影像的影像流。该影像分发系统具备：影像分发装置，发送影像流；以及影像中继装置，接收所发送的多个影像流，向影像接收装置传送所接收到的影像流的至少一个，其中，影像分发装置向影像流附加第1标识符，发送附加有第1标识符的影像流，该第1标识符用于识别包含在影像流中的可以独立解码的单位的数据是否为在时刻上对应的数据，影像中继装置在以可以独立解码的单位切换影像流的情况下，根据向所接收到的影像流附加的第1标识符，确定在切换后传送的影像流的可以解码的单位的数据，从所确定出的可以解码的单位的数据起传送在切换后被传送的影像流。

Description

影像分发系统、影像中继装置

技术领域

本发明涉及分发影像流(stream)的影像分发系统，特别涉及切换多个影像流的方法。

背景技术

伴随网络技术的普及，已开发出使用因特网协议(IP：InternetProtocol)来发送影像流的技术。在这样的影像流的发送技术中，有使用IP组播(multicast)来实时地分发影像流的方式、以及下载影像流而再现所积蓄的影像数据的方式等。另外，作为对影像数据进行编码的方式，公知使用了MPEG2(Moving Picture Experts Group2，运动图像专家组2)的方式。另外，作为分发影像流的方式，正在研究通过使用了RTP/UDP(Real-time Transport Protocol/UserDatagram Protocol，实时传输协议/用户数据报协议)的IP组播，来实时地分发流的方式。

进而，伴随通信线路的宽带化，提出了分发来自多个视点的影像，并可以根据用户的希望选择影像的影像分发系统(例如参照专利文献1)。专利文献1公开的影像分发装置针对每个影像帧生成表示影像内容的附加信息，根据所生成的附加信息分发影像流。

另外，公知从在多个视点摄影得到的影像流自动地选择与用户的喜好对应的影像流的影像提示装置(例如参照专利文献2)。专利文献2公开的影像提示装置针对每个影像帧使用包括影像流的被摄体的标识符的元数据，自动地选择与用户的喜好对应的影像流。

进而，公知在切换影像通道的情况下，从切换目的地的影像通道的I帧进行切换的系统(例如参照专利文献3)。专利文献3公开的通道变换器从存储在切换目的地缓冲器中的I帧切换影像通道，分发影像流。

另一方面，在如MPEG2那样根据帧间的类似性来预测帧的影像编码方式中，存在被称为I帧、P帧以及B帧的帧。I帧是不使用帧间的预测而被生成的帧，可以单独再现。P帧是通过从其他I帧以及P帧的顺序方向的预测(前向预测)而被再现的帧。具体而言，P帧是使用在时间上存在于之前的I帧或P帧来进行压缩编码而得到的帧。因此，为了对P帧进行解码，需要在压缩编码中使用的I帧或P帧。

B帧是使用在时间上存在于前后的I帧以及P帧的数据来进行压缩编码而得到的帧。因此，为了对B帧进行解码，需要在压缩编码中使用的I帧或P帧。

专利文献1：特开2003-179908号公报

专利文献2：特开2004-312208号公报

专利文献3：特表2001-516184号公报

发明内容

在切换多个视点影像而向影像接收终端发送的情况下，在如MPEG2那样使用帧间的预测的影像编码方式中，由于在影像的再现中利用前后的帧的信息，所以当未在恰当的点切换影像流的情况下，接收到切换后的流的终端无法正确地再现影像。在MPEG2中，将多个帧作为一个汇总而进行管理，该汇总被称为GOP(Group ofPictures，图像组)。GOP包括一个以上的I帧、多个P帧、以及多个B帧，是影像的再现单位。

在不再次进行编码而是编辑影像的情况下，需要以影像的再现单位进行。因此，在不根据I帧的影像数据进行解码，而例如根据P帧或B帧的影像数据进行解码的情况下，所再现的影像发生紊乱。

另外，为了切换影像以使影像接收终端可以正确地再现流，需要考虑影像流的再现单位地来切换影像流。

但是，第1课题在于，上述的以往技术(专利文献1以及专利文献2)由于以影像帧单位来切换影像，所以无法以影像流的再现单位切换影像。

另外，在从多个影像分发服务器使用IP网络分发影像的情况下，由于未同步地分发各影像流，所以未必紧接着结束传送的流(结束流)的结束点之后新开始传送的流(开始流)的开始点就到达。另外，在IP网络中，由于未保障IP分组的到达顺序，所以有时流的切换点的通知与应切换的流分组前后地到达影像中继服务器。如果在通知到达的时刻切换流，则无法从开始点发送开始流，在结束点结束结束流的发送。

另外，第2课题在于，专利文献3公开的通道变换器如果接收到切换通道的指示，则不依赖于切换通道前的再现帧的位置，而根据切换目的地的I帧来分发影像流。因此，如果在切换前的影像帧的途中切换通道，则仅发送构成影像帧的数据的一部分，所以所再现的影像发生紊乱。

图20示出传送中的影像帧的传送顺序与再现中的影像帧的再现顺序之间的关系。如图20所示，对于I帧或P帧的数据，在对后续的B帧的影像进行解码之后，影像帧被再现。因此，例如在如图20的450所示在紧接B(3)帧之前切换了影像帧的情况下，在再现一侧，尽管缺失了B(3)以及B(4)帧，也再现P(5)的帧。这样，第3课题在于，所再现的影像变得不连续。

另外，在作为切换影像的定时，例如在紧接图20的451所示的P(11)帧之前切换了影像流的情况下，在再现一侧，再现B(6)帧、B(7)帧、以及P(8)帧，所以所再现的影像不会变得不连续。但是，第4课题在于，由于在作为GOP单位的B(0)至P(14)这15个帧数中缺失了6个影像帧，所以作为整体再现的影像的数据量减少。

进而，在切换影像流的情况下，为了以不使影像帧缺失的方式切换影像数据，考虑在对影像数据进行切换之前以及切换之后以GOP单位切换影像数据的方法。但是，第5课题在于，由于在IP网络中未同步地进行影像帧的传送，所以无法实现在影像流之间同步的GOP单位的切换。

本发明的目的在于，为了解决这样的课题，在从进行流分发的多个影像中切换到用户所希望的影像而分发给影像接收终端时，从影像中继服务器分发在影像接收终端的影像再现中不会出现障碍而可以连续地再现影像的影像流。

另外，本发明的另一目的在于提供一种影像流分发系统，以GOP单位切换而分发影像流。

本发明的代表性的一个例子如下所述。即，一种影像分发系统，具备：影像分发装置，发送影像流；以及影像中继装置，接收上述发送的多个影像流，向影像接收装置传送上述接收到的影像流的至少一个，其特征在于：上述影像分发装置向上述影像流附加第1标识符，发送附加有上述第1标识符的影像流，该第1标识符用于识别包含在上述影像流中的可以独立解码的单位的数据是否为在时刻上对应的数据，上述影像中继装置在以上述可以独立解码的单位切换上述影像流的情况下，根据向上述接收到的影像流附加的第1标识符，确定在切换后传送的影像流的上述可以解码的单位的数据，从上述确定出的可以解码的单位的数据传送在上述切换后被传送的影像流。

根据本发明的一个实施方式，考虑影像流的再现单位，可以以能够不中断地进行再现的方式切换影像。

附图说明

图1是示出本发明的第1实施方式的影像分发系统的结构的系统结构图。

图2是本发明的第1实施方式的影像分发系统的影像流数据发送接收处理的时序图。

图3是示出本发明的第1实施方式的元数据分发装置的结构的框图。

图4是本发明的第1实施方式的元数据分发处理的流程图。

图5是从元数据分发装置向影像中继装置发送的元数据的传送分组的结构的说明图。

图6是示出本发明的第1实施方式的影像分发装置的结构的框图。

图7是本发明的第1实施方式的影像分发处理的流程图。

图8是示出本发明的第1实施方式的RTP头的结构的说明图。

图9是示出本发明的第1实施方式的RTP头中的P位以及M位与GOP以及影像帧数据的开头的关系的说明图。

图10是示出本发明的第1实施方式的RTP分组的扩展头的结构的说明图。

图11是示出本发明的第1实施方式的MPEG2-TS分组被RTP分组化、UDP分组化、以及IP分组化后的分组的结构的说明图。

图12是示出本发明的第1实施方式的影像中继装置的结构的框图。

图13是本发明的第1实施方式的影像中继处理的流程图。

图14是示出本发明的第1实施方式的影像接收装置的结构的框图。

图15是本发明的第1实施方式的影像接收处理的流程图。

图16是本发明的第1实施方式的影像接收装置的显示部上显示的显示画面的说明图。

图17是示出本发明的第2实施方式的影像分发系统的结构的系统结构图。

图18是本发明的第2实施方式的影像分发系统的影像流数据发送接收处理时序图。

图19是本发明的第2实施方式的影像中继处理的流程图。

图20是示出传送中的影像帧的传送顺序与再现中的影像帧的再现顺序的关系的说明图。

图21是示出本发明的第1实施方式的GOP影像数据的再现顺序的说明图。

图22是本发明的第2实施方式的影像接收装置的显示部上显示的显示画面的说明图。

图23是示出本发明的第3实施方式的影像分发系统的结构的系统结构图。

图24是本发明的第3实施方式的影像接收处理的流程图。

图25是示出本发明的第4实施方式的影像分发系统的结构的系统结构图。

图26是示出本发明的第5实施方式的影像分发系统的结构的系统结构图。

图27是示出本发明的第6实施方式的影像分发装置的结构的框图。

图28是本发明的第6实施方式的影像分发处理的流程图。

图29是本发明的第7实施方式的影像分发系统的影像流数据发送接收处理时序图。

图30是本发明的第7实施方式的影像中继处理的流程图。

图31是本发明的第7实施方式的影像接收处理的流程图。

图32是示出本发明的第8实施方式的影像分发系统的结构的系统结构图。

图33是示出本发明的第9实施方式的影像分发系统的结构的系统结构图。

图34是示出本发明的第9实施方式的影像中继服务器的结构的框图。

图35是示出本发明的第9实施方式的影像中继服务器的存储器内的结构的说明图。

图36是示出本发明的第9实施方式的终端管理表的结构例子的说明图。

图37是示出本发明的第9实施方式的流管理表的结构例子的说明图。

图38是示出本发明的第9实施方式的影像分发服务器A～C的存储器内的结构的说明图。

图39是本发明的第9实施方式的流分组生成处理的流程图。

图40是示出本发明的第9实施方式的RTP头的结构的说明图。

图41是示出通过本发明的第9实施方式生成而向线路输出的IP分组的结构例子的说明图。

图42是示出本发明的第9实施方式的元数据服务器的存储器内的结构的说明图。

图43示出本发明的第9实施方式的元数据通知的结构例子。

图44是示出本发明的第9实施方式的影像接收终端的存储器内的结构的说明图。

图45是本发明的第9实施方式的影像流的切换处理的时序图。

图46是本发明的第9实施方式的个性化(personalize)流控制处理的流程图。

图47是本发明的第9实施方式的个性化流处理的流程图。

图48是示出本发明的第9实施方式的存储有RTP分组的缓冲器的结构的说明图。

图49是本发明的第9实施方式的元数据分析处理的流程图。

图50是本发明的第9实施方式的个性化流的说明图。

图51是本发明的第10实施方式的流分组生成处理的流程图。

图52是示出本发明的第10实施方式的RTP的扩展头的结构的说明图。

图53是本发明的第10实施方式的个性化流分发处理的流程图。

图54是本发明的第10实施方式的影像流的切换处理的时序图。

图55是本发明的第10实施方式的个性化流的说明图。

图56是示出本发明的第11实施方式的影像分发系统的结构的系统结构图。

图57是本发明的第11实施方式的影像流的切换处理的时序图。

图58是本发明的第12实施方式的影像流的切换处理的时序图。

标号说明

1、8 影像分发装置

2 元数据分发装置

3 影像中继装置

4 影像接收装置

5、6、7 网络

11 摄像机

12 编码器

13、23、33、43、83 CPU

14、24、34、44、84 主存储器

15、25、35、45、85 程序积蓄部

16、26、36、46、86 发送部

19、29、39、49、89 总线

21、41 输入接口

32、42 接收部

48 显示部

88 贮存器

61 影像中继服务器

62 影像分发服务器A

63 影像分发服务器B

64 影像分发服务器C

65 元数据分发服务器

66 影像接收终端

71 CPU

72 存储器

73 总线

74、75 接口

76、77 线路

121 个性化流控制程序

122 个性化流分发程序

123 元数据分析程序

124 组播控制程序

125 缓冲器

126 终端管理表

127 流管理表

401 影像取得程序

402 流分组生成程序

403 流取得程序

404 元数据生成程序

405 流取得程序

406 流显示程序

具体实施方式

(第1实施方式)

第1实施方式的影像分发系统具备影像分发装置1、元数据分发装置2、影像中继装置3、影像接收装置4A、影像接收装置4B、网络A5、以及网络B6。以下，在将影像接收装置4A以及4B统称的情况下，有时还说明成影像接收装置4。

网络A5连接影像分发装置1、元数据分发装置2、影像中继装置3。另外，网络B6连接影像中继装置3、影像接收装置4A、影像接收装置4B。

影像分发装置1向影像中继装置3分发多视点的影像流(影像数据)。元数据分发装置2向影像中继装置3分发表示从影像分发装置1分发的影像流的内容的元数据。

影像中继装置3根据从影像分发装置1接收到的多视点的影像流、从元数据分发装置2接收到的元数据、以及从影像接收装置4A以及4B接收到的用户请求，输出从多视点的影像流进行个性化后的影像流的数据。然后，向影像接收装置4A以及4B分发所输出的影像流的数据。另外，所输出的影像流的数据例如也可以通过与影像中继装置3连接的显示装置等来再现。

影像接收装置4A以及4B向影像中继装置3发送用户请求，再现从影像中继装置3接收到的影像流的数据。

首先，影像分发装置1在起动了装置之后，为了分发影像数据而进行GOP号的0值初始设定(步骤501)。GOP号的0值初始设定是通过将在各视点的影像流被分组化的情况下附加的GOP号初始化成零来进行的。

接下来，元数据分发装置2在起动了装置之后，由管理者登记对影像中继装置3分发的元数据信息(步骤502)。

接下来，影像接收装置4A在起动了装置之后，向影像中继装置3发送向影像分发服务的参加请求数据(步骤503)。

接下来，影像中继装置3接收从影像接收装置4A发送的向影像分发服务的参加请求数据，登记请求了向影像分发服务进行参加的影像接收装置4A的标识符(例如影像接收装置4A的IP地址)(步骤504)。

接下来，影像中继装置3由于发生了向影像分发服务参加的影像接收装置4，所以向元数据分发装置2请求要分发的影像数据的元数据(步骤505)。

接下来，元数据分发装置2如果从影像中继装置3接收到元数据的请求，则向影像中继装置3分发在步骤502中登记的元数据信息(步骤506)。

接下来，影像中继装置3登记从元数据分发装置2接收到的元数据信息(步骤507)。然后，影像中继装置3向影像分发装置1发送服务所提供的多视点的影像数据分发请求(步骤508)。

接下来，影像分发装置1从影像中继装置3接收影像数据分发请求，使用组播方式向影像中继装置3分发多视点的影像数据(步骤509)。

接下来，影像中继装置3开始接收从影像分发装置1分发的多视点的影像数据，直到接收到1个GOP大小的最大延迟影像数据为止，对所接收的影像数据进行缓冲(步骤510)。然后，按照初始设定(例如将以最小的延迟接收到的视点的影像数据设为初始分发数据的设定)，向影像接收装置4A分发个性化影像数据(步骤511)。

接下来，影像接收装置4A再现所接收到的个性化影像数据(步骤512)。

接下来，影像接收装置4A接受由用户输入的请求数据(例如“A选手”)(步骤513)。然后，向影像中继装置3发送所输入的用户请求数据(步骤514)。

接下来，影像中继装置3接收从影像接收装置4A发送的用户请求数据，登记所接收到的用户请求数据(步骤515)。

接下来，影像分发装置1连续分发多视点的影像数据(步骤516)。

接下来，影像中继装置3根据在步骤507中登记的元数据，确定与在步骤515中接收到的用户请求数据一致的视点的影像，以GOP单位切换视点。然后，将所切换的视点的影像数据作为个性化影像数据分发给影像接收装置4A(步骤517)。

接下来，影像接收装置4A接收从影像中继装置3分发的个性化影像数据，再现所接收到的个性化影像数据(步骤518)。

接下来，影像接收装置4B在起动了装置之后，向影像中继装置3发送向影像分发服务的参加请求数据(步骤519)。

接下来，影像中继装置3接收从影像接收装置4B发送的向影像分发服务的参加请求数据，登记请求了对影像分发服务进行参加的影像接收装置4B的标识符(IP地址)(步骤520)。

接下来，影像分发装置1继续分发多视点的影像数据(步骤521)。

接下来，影像中继装置3将在步骤517中确定的视点的影像数据作为个性化影像数据，继续向影像接收装置4A分发(步骤522)。

接下来，影像接收装置4A接收从影像中继装置3分发的个性化影像数据，再现所接收到的个性化影像数据(步骤523)。

接下来，影像中继装置3之后按照初始设定(例如将以最小的延迟接收到的视点的影像数据设为初始分发数据的设定)，向影像接收装置4B分发个性化影像数据(步骤524)。

接下来，影像接收装置4B接收从影像中继装置3分发的个性化影像数据，再现所接收到的个性化影像数据(步骤525)。

图3是示出本发明的第1实施方式的元数据分发装置2的结构的框图。

元数据分发装置2具备输入接口21、CPU23、主存储器24、程序积蓄部25、以及发送部26。另外，输入接口21、CPU23、主存储器24、程序积蓄部25、以及发送部26分别通过总线29连接。

输入接口21是由服务的管理者输入表示要分发的影像内容的元数据的接口。输入接口21例如由键盘等构成即可。

CPU23执行OS(Operating System，操作系统)以及各种应用程序。主存储器24临时存储CPU23执行各种应用程序时所需的数据。另外，根据需要向主存储器24复制存储在程序积蓄部25中的程序等的至少一部分。程序积蓄部25存储各种应用程序。发送部26是经由网络A5分发由管理者输入的元数据的接口。

接下来，对元数据分发装置2的动作进行说明。

图4是本发明的第1实施方式的元数据分发处理的流程图。

元数据分发装置2将存储在程序积蓄部25中的程序读出到CPU23，通过CPU23执行所读出的程序，开始元数据分发处理(步骤200)。

首先，元数据分发装置2判定管理者是否输入了元数据(步骤201)。

当在步骤201的处理中为管理者输入了元数据的情况下，处理进入到步骤202。另一方面，当在步骤201的处理中为管理者未输入元数据的情况下，重复步骤201的处理，判定是否从管理者输入了元数据。

接下来，元数据分发装置2判定是否从影像中继装置3接收到元数据的请求(步骤202)。

当在步骤202的处理中为从影像中继装置3接收到元数据的请求的情况下，处理进入到步骤203。另一方面，当在步骤202的处理中为未从影像中继装置3接收到元数据的请求的情况下，重复步骤202的处理，判定是否从影像中继装置3接收到元数据的请求。

接下来，元数据分发装置2向影像中继装置3分发从管理者输入的元数据信息(步骤203)。

图5是从元数据分发装置2向影像中继装置3分发的元数据的传送分组的结构的说明图。要分发的元数据被UDP分组化以及IP分组化后，从元数据分发装置2分发给影像中继装置3。元数据例如包含“视点1:A选手”的信息即可。

接下来，元数据分发装置2判定管理者是否输入了元数据(步骤204)。

当在步骤204的处理中判定为管理者输入了元数据的情况下，处理进入到步骤205。另一方面，当在步骤204的处理中为管理者未输入元数据的情况下，重复步骤204的处理，判定是否从管理者输入了元数据。

接下来，元数据分发装置2向影像中继装置3分发从管理者输入的元数据信息(步骤205)。然后，处理返回到步骤204，判断管理者是否输入了应分发的元数据。

图6是示出本发明的第1实施方式的影像分发装置1的结构的框图。

影像分发装置1具备摄像机11A～11N、编码器12A～12N、CPU

13、主存储器14、程序积蓄部15、以及发送部16。摄像机11A～11N、编码器12A～12N、CPU13、主存储器14、程序积蓄部15、以及发送部16分别通过总线19连接。以下，在将摄像机11A～11N统称的情况下，有时还说明成摄像机11。另外，在将编码器12A～12N统称的情况下，有时还说明成编码器12。

摄像机11对多个视点的影像进行摄影。编码器12对由摄像机11摄影得到的各视点的影像数据进行编码(例如MPEG2的压缩编码)。CPU13执行OS(Operating System)以及各种应用程序。主存储器14临时存储CPU13执行各种应用程序时所需的数据。另外，根据需要向主存储器14复制存储在程序积蓄部15中的程序等的至少一部分。程序积蓄部15存储各种应用程序。发送部16是经由网络A5分发所编码后的影像数据的接口。

接下来，对影像分发装置1的动作进行说明。

图7是本发明的第1实施方式的影像分发处理的流程图。

影像分发装置1将存储在程序积蓄部15中的程序读出到CPU13，通过CPU13执行所读出的程序，开始影像分发处理(步骤250)。

首先，影像分发装置1为了分发影像数据而进行GOP号的0值初始设定(步骤251)。

接下来，影像分发装置1判定是否从影像中继装置3接收到影像分发的请求(步骤252)。

当在步骤252的处理中为从影像中继装置3接收到影像分发的请求的情况下，处理进入到步骤253。另一方面，当在步骤252的处理中为未从影像中继装置3接收到影像分发的请求的情况下，重复步骤252的处理，判定是否从影像中继装置3接收到影像分发的请求。

接下来，影像分发装置1同步地对多个视点的影像数据进行编码(步骤253)。具体而言，影像分发装置1使对各视点的影像数据附加的GOP号一致，而对影像数据进行压缩编码。

接下来，影像分发装置1判定是否从所有编码器12接收到影像帧数据(步骤254)。

当在步骤254的处理中为从所有编码器12接收到影像帧数据的情况下，处理进入到步骤255。另一方面，当在步骤254的处理中为未从所有编码器12接收到影像帧数据的情况下，重复步骤254的处理，判定是否从所有编码器12接收到影像帧数据。

接下来，影像分发装置1判定接收影像数据是否包含GOP的开头数据(GOP的开头的帧数据)(步骤255)。

当在步骤255的处理中为接收影像数据包含GOP的开头数据的情况下，处理进入到步骤256。另一方面，当在步骤255的处理中为接收影像数据未包含GOP的开头数据的情况下，处理进入到步骤257。

在步骤256中，影像分发装置1向发送影像数据的开头的RTP分组附加GOP的开头标识符，分发影像数据作为RTP分组(步骤256)。具体而言，影像分发装置1将GOP号递增1而附加到RTP分组。

在步骤257中，影像分发装置1向传送影像数据的开头的RTP分组附加影像帧的开头标识符，分发影像数据作为RTP分组(步骤257)。具体而言，影像分发装置1向RTP分组附加对相同GOP的开头数据附加的GOP号。

另外，将在后面使用图8至图11对向RTP分组附加影像帧的开头标识符的处理以及附加GOP的开头标识符的处理进行叙述。另外，在本实施例中，识别GOP开头数据来实施了处理，但在针对每个GOP构成序列的情况下，也可以针对每个序列实施步骤255的处理。

图8是示出本发明的第1实施方式的RTP头的结构的说明图。

RTP头的P位270是未使用的填充区域。另外，M位271是表示影像帧数据的边界等的位。在第1实施方式中，为了向影像中继装置3通知是包含GOP的开头数据或帧的开头数据的RTP分组，而使用P位270以及M位271。将在后面使用图9对使用P位270以及M位271的具体方法进行叙述。

如图9所示，在传送GOP的开头数据的RTP分组的情况下，设定成P位＝1以及M位＝1。另外，在并非GOP的开头，但在传送影像帧的开头数据的RTP分组的情况下，设定成P位＝0以及M位＝1。另外，在传送并非GOP的开头或影像帧的开头的数据的RTP分组的情况下，设定成P位＝0以及M位＝0。因此，可以对利用RTP分组传送的接收影像数据是否包含GOP的开头数据、或者是否包含影像帧数据的开头进行检测。

图10所示的RTP分组的扩展头用于表示GOP的序列号。

RTP分组的扩展头包括扩展头的种类、数据长度、以及GOP号。通过设定图8所示的表示有无RTP分组的扩展头的X位272(例如设定成X＝1)，而使扩展头有效地进行使用。

图11所示的分组280表示在传送新的GOP的开头数据的情况下使用的IP分组的结构。分组281表示传送影像帧的开头数据而非GOP的开头的情况下使用的IP分组的结构。分组282表示在传送并非GOP的开头或影像帧的开头的影像数据的情况下使用的IP分组的结构。

分组280包括IP头(IP_H)、UDP头(UDP_H)、RTP头(RTP_H)、RTP扩展头(扩展_H)、以及MPEG2-TS-1～7。在RTP头285中，设定成P位＝1以及M位＝1，在扩展头中，附加了GOP的序列号(GOP号)。另一方面，在分组281中，虽然是与分组280同样的结构，但在RTP头286中，设定成P位＝0以及M位＝1，在扩展头中，附加了GOP的序列号。另外，在相同时刻摄影并编码的GOP影像数据的情况下，附加相同的GOP号。分组282虽然是与分组280同样的结构，但在RTP头287中，设定成P位＝0以及M位＝0，在扩展头中，附加了GOP的序列号。

另外，在传送属于相同GOP的数据的RTP分组的扩展头中，设定有相同的GOP号。另外，在图11所示的例子中，示出了各分组包括7个MPEG2-TS分组的结构，但也可以构成为包括7个以外的数量的MPEG2-TS分组。

图12是示出本发明的第1实施方式的影像中继装置3的结构的框图。影像中继装置3具备接收部32、CPU33、主存储器34、程序积蓄部35、以及发送部36。另外，接收部32、CPU33、主存储器34、程序积蓄部35、以及发送部36分别通过总线39连接。

接收部32是接收影像数据以及元数据等的接口。CPU33执行OS(Operating System)以及各种应用程序。主存储器34临时存储CPU33执行各种应用程序时所需的数据。另外，根据需要向主存储器34复制存储在程序积蓄部25中的程序等的至少一部分。程序积蓄部35存储各种应用程序。发送部36是发送影像数据以及元数据等的接口。

接下来，对影像中继装置3的动作进行说明。

图13是本发明的第1实施方式的影像中继处理的流程图。

影像中继装置3将存储在程序积蓄部35中的程序读出到CPU33，通过CPU33执行所读出的程序，开始影像中继处理(步骤300)。

首先，影像中继装置3判定是否从影像接收装置4接收到向影像分发服务的参加请求(步骤301)。

当在步骤301的处理中为从影像接收装置4接收到向影像分发服务的参加请求的情况下，处理进入到步骤302。另一方面，当在步骤301的处理中为未从影像接收装置4接收到向影像分发服务的参加请求的情况下，重复步骤301的处理，判定是否从影像接收装置4接收到向影像分发服务的参加请求。

接下来，影像中继装置3向主存储器34登记发送了向影像分发服务的参加请求的终端(影像接收装置4)的标识符(例如IP地址)(步骤302)。

接下来，影像中继装置3向元数据分发装置2发送元数据的请求(步骤303)。

接下来，影像中继装置3判定是否从元数据分发装置2接收到元数据(步骤304)。

当在步骤304的处理中为从元数据分发装置2接收到元数据的情况下，处理进入到步骤305。另一方面，当在步骤304的处理中为未从元数据分发装置2接收到元数据的情况下，重复步骤304的处理，判定是否从元数据分发装置2接收到元数据。

接下来，影像中继装置3向主存储器34登记所接收到的元数据(步骤305)。

接下来，影像中继装置3向影像分发装置1发送影像数据的分发请求(步骤306)。

接下来，影像中继装置3接收从影像分发装置1发送的影像数据，判定可否对各视点的影像数据的1个GOP大小的数据进行缓冲(步骤307)。另外，也可以根据影像分发装置1与影像中继装置3之间的网络(网络A5)的负荷，来变更用于判定是否被缓冲的GOP数据的数量。例如，也可以判定可否对各视点的影像数据的3个GOP的数据进行缓冲。

当在步骤307的处理中为可以从各视点缓冲1个GOP大小的数据的情况下，处理进入到步骤308。另一方面，当在步骤307的处理中为无法从各视点缓冲1个GOP大小的数据的情况下，重复步骤307的处理，判定可否对各视点中的1个GOP大小的数据进行缓冲。

接下来，影像中继装置3进行分发从所接收到的多个视点的影像数据进行个性化后的影像数据的设定(步骤308)。具体而言，根据在步骤305的处理中登记的元数据和进行视听的用户的请求(在步骤313的处理中登记的用户请求)，选择应分发的视点的影像数据。另外，在用户请求未被登记的情况下，选择初始设定的视点的影像数据(例如对各视点设定的视点号最小的视点的影像数据、或者以最小的延迟接收到的影像数据等)。然后，进行向在步骤302的处理中登记的影像接收装置4分发所选择的视点的影像数据的设定。

接下来，影像中继装置3向所设定的分发目的地发送在步骤308中作为个性化影像而选择的影像数据的1个帧大小的影像数据(步骤309)。另外，在登记有多个分发相同的影像数据的影像接收装置4的情况下，向所登记的多个影像接收装置4，分发所选择的个性化影像数据。

接下来，影像中继装置3判定是否从影像分发装置1接收到影像数据(步骤310)。

当在步骤310的处理中为从影像分发装置1接收到影像数据的情况下，处理进入到步骤311。另一方面，当在步骤310的处理中为未从影像分发装置1接收到影像数据的情况下，处理进入到步骤312。

接下来，影像中继装置3向主存储器34的缓冲器存储所接收到的影像数据(步骤311)。

接下来，影像中继装置3判定是否从影像接收装置4接收到用户请求(步骤312)。

当在步骤312的处理中为从影像接收装置4接收到用户请求的情况下，处理进入到步骤313。另一方面，当在步骤312的处理中为未从影像接收装置4接收到用户请求的情况下，处理进入到步骤314。

接下来，影像中继装置3向主存储器34登记所接收到的用户请求(步骤313)。

接下来，影像中继装置3判定是否从新的用户接收到服务参加请求(步骤314)。

当在步骤314的处理中为接收到新的服务参加请求的情况下，处理进入到步骤315。另一方面，当在步骤314的处理中为未接收到新的服务参加请求的情况下，处理进入步骤316。

接下来，影像中继装置3向主存储器34登记发送了向影像分发服务的参加请求的终端(影像接收装置4)的标识符(例如IP地址)(步骤315)。

接下来，影像中继装置3判定是否从元数据分发装置2接收到新的元数据(步骤316)。

当在步骤316的处理中为从元数据分发装置2接收到新的元数据的情况下，处理进入到步骤317。另一方面，当在步骤316的处理中为未从元数据分发装置2接收到新的元数据的情况下，处理进入到步骤318。

接下来，影像中继装置3向主存储器34登记所接收到的元数据(步骤317)。

接下来，影像中继装置3判定是否分发了1个GOP大小的影像数据(步骤318)。

当在步骤318的处理中为发送了1个GOP大小的影像数据的情况下，处理进入到步骤319。另一方面，当在步骤318的处理中为未分发1个GOP大小的影像数据的情况下，处理返回到步骤309。

接下来，影像中继装置3将没发送的视点的影像数据中的、与已发送的视点的影像数据的GOP号相同的GOP号的影像数据丢弃1个GOP大小(即，删除1个GOP大小的影像数据)(步骤319)。然后，处理返回到步骤308，继续个性化影像分发处理。

通过以上的处理，可以以GOP数据的单位切换个性化影像数据。另外，根据对各GOP数据附加的序列号，以GOP数据的单位，在接下来的序列切换影像数据，所以能够再现无紊乱的个性化影像流。

另外，即使在从影像分发装置1发送的影像数据中的、GOP数据部分缺失的情况下，根据GOP数据的序列号来切换影像数据，所以也可以继续地取得同步。

另外，由于针对每个GOP数据取得同步，所以即使对影像流进行切换，也可以防止在时间上前后错开的切换。

图14是示出本发明的第1实施方式的影像接收装置4的结构的框图。

影像接收装置4具备接收部42、发送部46、显示部48、CPU43、主存储器44、程序积蓄部45、输入接口41。另外，接收部42、发送部46、显示部48、CPU43、主存储器44、程序积蓄部45、输入接口41分别通过总线49连接。

接收部42是接收影像数据的接口。发送部46是发送向影像分发服务的参加请求以及用户请求数据的接口。CPU43执行OS(Operating System)以及各种应用程序。主存储器44临时存储CPU43执行各种应用程序时所需的数据。另外，根据需要向主存储器14复制存储在程序积蓄部45中的程序等的至少一部分。程序积蓄部45存储各种应用程序。输入接口41是输入用户的请求的接口。输入接口41例如可以由键盘等构成。显示部48显示所接收到的影像数据。

接下来，对影像接收装置4的动作进行说明。

图15是本发明的第1实施方式的影像接收处理的流程图。

影像接收装置4将存储在程序积蓄部45中的程序读出到CPU43，通过CPU43执行所读出的程序，开始影像接收处理(步骤350)。

首先，影像接收装置4为了接收影像数据而向影像中继装置3发送向影像发送服务的参加请求(步骤351)。

接下来，影像接收装置4判定是否从影像中继装置3接收到个性化影像数据(步骤352)。

当在步骤352的处理中为从影像中继装置3接收到个性化影像数据的情况下，处理进入到步骤353。另一方面，当在步骤352的处理中为未从影像中继装置3接收到个性化影像数据的情况下，处理进入到步骤354。

接下来，影像中继装置3再现所接收到的个性化影像数据(步骤353)。

接下来，影像中继装置3判定是否从输入接口41输入了用户的请求(步骤354)。例如，判定是否输入了用户所希望的数据(“A选手”)。

当在步骤354的处理中为输入了用户请求的情况下，处理进入到步骤355。另一方面，当在步骤354的处理中为未输入用户请求的情况下，处理返回到步骤352，继续影像接收处理。

接下来，影像接收装置4向影像中继装置3发送所输入的用户请求数据(步骤355)。然后，处理返回到步骤352，继续影像接收处理。

图16是本发明的第1实施方式的影像接收装置4的显示部48上显示的显示画面50的说明图。如图16所示，显示画面50包括输入进行视听的用户的希望的用户请求输入接口55、以及再现从影像中继装置3接收到的个性化影像流数据的显示画面51。

本发明的第1实施方式提供一种系统，如图21所示，在非同步接收的多个视点中的影像流中，以GOP单位对影像流(视点)进行切换分发。具体而言，在对视点进行切换的情况下，如再现的流程460所示，在分发了视点A的第1个GOP数据(GOP-A1)之后，分发视点B的第2个GOP数据(GOP-B2)。另外，提供一种系统，同样地以GOP单位按照顺序对视点进行切换，如GOP-C3、GOP-D4那样地对影像流进行切换分发。

如上所述，根据本发明的第1实施方式，按照每个影像流可以再现的单位同步地切换影像流，所以可以实现无紊乱的影像流的切换。

另外，接收多个影像流，在GOP单位上取得同步，以取得同步的GOP单位对影像数据进行切换，所以在对影像数据进行切换时，不会发生所切换的影像数据的时刻的前后错开，而可以制成能够视听沿着时刻信息的流动的影像的个性化影像。

另外，从多个影像数据，按照GOP单位切出适合于用户的希望的影像数据，而制成1个个性化影像流，所以无需变更影像流(无需再次执行由客户机执行的应用程序)，而可以高速地切换再现影像数据。

另外，由于向RTP头使用P位来附加GOP的分割信息，而以GOP单位切换影像，所以可以高速地实现个性化影像的制成处理，可以通过少的处理能力制成多个个性化影像。

另外，向RTP的扩展头附加每个GOP的序列标识符，所以即使发生了GOP的分组损失，也可以继续取得同步。

(第2实施方式)

在第1实施方式中，影像中继装置3向影像接收装置4仅分发个性化后的影像数据。在第2实施方式中，影像中继装置3除了个性化后的影像数据之外，还将从影像分发装置1接收到的原始的多视点的影像数据也一起向影像接收装置4分发。

图17是示出本发明的第2实施方式的影像分发系统的结构的系统结构图。基本的系统的结构与第1实施方式相同。与第1实施方式的区别点在于，影像中继装置3向影像接收装置4发送多视点的影像数据。

在图18所示的处理中，对与图2的处理相同的处理，附加相同的标号。以下，以与图2所示的处理不同的部分为中心进行说明。

步骤501至步骤511的处理与图2所示的步骤501至步骤511的处理相同。

接下来，影像中继装置3向影像接收装置4A分发从影像分发装置1接收到的多视点的影像数据(步骤550)。

接下来，影像接收装置4A再现所接收到的个性化影像数据以及多视点的影像数据(步骤551)。

步骤513至步骤517的处理与图2所示的步骤513至步骤517的处理相同。

接下来，影像中继装置3向影像接收装置4A分发从影像分发装置1接收到的多视点的影像数据(步骤552)。

接下来，影像接收装置4A再现所接收到的个性化影像数据以及多视点的影像数据(步骤553)。

步骤519至步骤522的处理与图2所示的步骤519至步骤522的处理相同。

接下来，影像中继装置3向影像接收装置4A分发从影像分发装置1接收到的多视点的影像数据(步骤554)。

接下来，影像接收装置4A再现所接收到的个性化影像数据以及多视点的影像数据(步骤555)。

步骤524的处理与图2所示的步骤524的处理相同。

接下来，影像中继装置3向影像接收装置4B发送从影像分发装置1接收到的多视点的影像数据(步骤556)。另外，多视点的影像数据在图18所示的例子中被记载成作为与所接收到的多视点影像相区别的影像数据而再次分发，但在使用组播方式来分发多视点的影像数据的情况下，对与所接收到的多视点影像相同的数据进行组播分发。

接下来，影像接收装置4B再现所接收到的个性化影像数据以及多视点的影像数据(步骤557)。

图19是本发明的第2实施方式的影像中继处理的流程图。在图13所示的影像中继处理中，影像中继装置3没分发个别的视点的影像数据，但在图19所示的影像中继处理中，影像中继装置3分发个别的视点的影像数据。

在图19的处理中，对与图13的处理相同的处理，附加相同的标号。以下，以与图13所示的处理不同的部分为中心进行说明。

步骤300至步骤317的处理与图13所示的步骤300至步骤317的处理相同。

接下来，影像中继装置3向影像接收装置4分发个别的视点的影像数据(1个帧大小的数据)(步骤401)。另外，在使用单播方式来分发个别的视点的影像数据的情况下，向各影像接收装置4分发个别的视点的影像数据。另一方面，在使用组播方式来分发个别的视点的影像数据的情况下，向影像接收装置4进行组播分发。

接下来，影像中继装置3判定是否向所有的影像接收装置4分发了各视点的影像数据(1个帧大小的数据)(步骤402)。

当在步骤402的处理中为向所有的影像接收装置4分发了各视点的影像数据(1个帧大小的数据)的情况下，处理进入到步骤403。另一方面，当在步骤402的处理中为未向所有的影像接收装置4分发各视点的影像数据(1个帧大小的数据)的情况下，处理返回到步骤310。

接下来，影像中继装置3判定是否已分发了应分发的影像数据中的1个GOP大小的影像数据(步骤403)。

当在步骤403的处理中为已分发了应分发的影像数据中的1个GOP大小的影像数据的情况下，处理返回到步骤308。另一方面，当在步骤403的处理中为未分发完应发送的影像数据中的1个GOP大小的影像数据的情况下，处理返回到步骤309。

图22是本发明的第2实施方式的影像接收装置4的显示部48上显示的显示画面56的说明图。

如图22所示，显示画面56包括输入进行视听的用户的希望的用户请求输入接口55、再现从影像中继装置3接收到的个性化影像流数据的显示画面51、以及再现个别的视点的影像的显示画面52～54。

如上所述，根据本发明的第2实施方式，不仅可以再现无紊乱的个性化影像，而且还可以同时再现个别的影像流。

(第3实施方式)

第3实施方式的影像分发系统具备影像分发装置1、元数据分发装置2、以及影像接收装置4。网络7C连接影像分发装置1、元数据分发装置2、影像接收装置4。

影像分发装置1从影像接收装置4接收影像分发请求，向影像接收装置4分发多视点的影像流。元数据分发装置2从影像接收装置4接收元数据的请求，向影像接收装置4分发表示要分发的影像流的内容的元数据。

影像接收装置4向影像分发装置1发送影像分发请求，接收从影像分发装置1发送的影像数据。另外，影像接收装置4向元数据分发装置2发送元数据的请求，接收从元数据分发装置2发送的元数据。另外，影像接收装置4接受来自用户的请求，选择与所接收到的元数据和从用户接受到的请求一致的影像数据，输出所选择的影像数据。然后，由显示部48再现所输出的影像数据。

图24是本发明的第3实施方式的影像接收处理的流程图。

影像接收装置4将存储在程序积蓄部45中的程序读出到CPU43，通过CPU43执行所读出的程序，开始影像接收处理(步骤1330)。

首先，影像接收装置4向元数据分发装置2发送元数据的请求(步骤1303)。

接下来，影像接收装置4判定是否从元数据分发装置2接收到元数据(步骤1304)。

当在步骤1304的处理中为从元数据分发装置2接收到元数据的情况下，处理进入到步骤1305。另一方面，当在步骤1304的处理中为未从元数据分发装置2接收到元数据的情况下，重复步骤1304的处理，判定是否从元数据分发装置2接收到元数据。

接下来，影像接收装置4向主存储器44登记所接收到的元数据(步骤1305)。

接下来，影像接收装置4向影像分发装置1发送影像数据的分发请求(步骤1306)。

接下来，影像接收装置4接收从影像分发装置1发送的影像数据，判定可否对各视点的影像数据的1个GOP大小的数据进行缓冲(步骤1307)。

当在步骤1307的处理中为可以对各视点的影像数据的1个GOP大小的数据进行缓冲的情况下，处理进入到步骤1331。另一方面，当在步骤1307的处理中为无法对各视点的影像数据的1个GOP大小的数据进行缓冲的情况下，重复步骤1307的处理，判定可否对各视点的影像数据的1个GOP大小的数据进行缓冲。

接下来，影像接收装置4进行制成从所接收到的多个视点的影像数据个性化后的影像数据的设定(步骤1331)。具体而言，根据在步骤1305的处理中登记的元数据和进行视听的用户的请求(在步骤1313的处理中登记的请求)，设定所选择的视点的影像数据。另外，在未登记用户请求的情况下，选择初始设定的视点的影像数据(例如对各视点设定的视点号最小的视点的影像数据)。

接下来，影像接收装置4再现在步骤1331中选择的个性化影像的影像数据的1个帧大小的影像数据(步骤1332)。

接下来，影像接收装置4判定是否从影像分发装置1接收到影像数据(步骤1310)。

当在步骤1310的处理中为从影像分发装置1接收到影像数据的情况下，处理进入到步骤1311。另一方面，当在步骤1310的处理中为未从影像分发装置1接收到影像数据的情况下，处理进入到步骤1333。

接下来，影像接收装置4向主存储器44的缓冲器存储所接收到的影像数据(步骤1311)。

接下来，影像接收装置4判定是否存在用户请求的输入(步骤1333)。

当在步骤1333的处理中为存在用户请求的输入的情况下，处理进入到步骤1313。另一方面，当在步骤1333的处理中为不存在用户请求的输入的情况下，处理进入到步骤1316。

接下来，影像接收装置4向主存储器44登记所输入的用户请求(步骤1313)。

接下来，影像接收装置4判定是否从元数据分发装置2接收到新的元数据(步骤1316)。

当在步骤1316的处理中为从元数据分发装置2接收到新的元数据的情况下，处理进入到步骤1317。另一方面，当在步骤1316的处理中为未从元数据分发装置2接收到新的元数据的情况下，处理进入到步骤1334。

接下来，影像接收装置4向主存储器44登记所接收到的元数据(步骤1317)。

接下来，影像接收装置4判定是否已再现了1个GOP大小的影像数据(步骤1334)。

当在步骤1334的处理中为已再现了1个GOP大小的影像数据的情况下，处理进入到步骤1335。另一方面，当在步骤1334的处理中为未再现1个GOP大小的影像数据的情况下，处理返回到步骤1332。

接下来，影像接收装置4将未再现的视点的影像数据中的、与已再现的视点的影像数据的GOP号相同的GOP号的影像数据丢弃1个GOP大小(步骤1335)。然后，处理返回到步骤1331，继续个性化影像制成以及再现处理。

如上所述，根据本发明的第3实施方式，影像接收装置4可以制成个性化影像数据，并再现个性化影像数据。

(第4实施方式)

图25所示的影像分发系统的动作与图1所示的影像分发系统的动作相同。但是，如图25所示，通过将影像分发装置1、元数据分发装置2、以及影像中继装置3不经由网络而直接连接、或者将影像分发装置1、元数据分发装置2、以及影像中继装置3设置于一个地点，可以一并管理影像分发侧的设备，维护负荷变小。例如，也可以影像分发装置1、元数据分发装置2、以及影像中继装置3使用一个公用存储器来实现系统。另外，也可以通过USB线缆等线缆来分别连接。另外，影像分发装置1、元数据分发装置2、以及影像中继装置3也可以构成在同一硬件中，并分别通过总线连接。

(第5实施方式)

图26所示的影像分发系统的动作与图1所示的影像分发系统的动作相同。但是，如图26所示，通过将影像中继装置3以及影像接收装置4不经由网络而连接，可以使针对来自影像接收装置4的请求的响应高速化。影像中继装置3以及影像接收装置4通过相同的连接方法(例如IEEE1394)连接即可。另外，也可以构成为将影像中继装置3设置于家庭的入口，而将影像接收装置4设置在各房间的系统。

(第6实施方式)

图27是示出本发明的第6实施方式的影像分发装置8的结构的框图。第6实施方式的影像分发装置8示出第1实施方式的影像分发装置1的变形例子。影像分发装置8具备贮存器88、CPU83、主存储器84、程序积蓄部85、以及发送部86。贮存器88、CPU83、主存储器84、程序积蓄部85、以及发送部86分别通过总线89连接。

贮存器88存储所摄影的多个影像数据。CPU83执行OS(Operating System)以及各种应用程序。主存储器84临时存储CPU83执行各种应用程序时所需的数据。另外，根据需要向主存储器84复制存储在程序积蓄部85中的程序等的至少一部分。程序积蓄部85存储各种应用程序。发送部86是对编码后的影像数据进行网络分发的接口。

接下来，对影像分发装置8的动作进行说明。

图28是本发明的第6实施方式的影像分发处理的流程图。

影像分发装置8将存储在程序积蓄部85中的程序读出到CPU83，通过CPU83执行所读出的程序，开始影像分发处理(步骤600)。

首先，影像分发装置8为了分发影像数据而进行GOP号的0值初始设定(步骤601)。

接下来，影像分发装置8判定是否从影像中继装置3接收到影像分发的请求(步骤602)。

当在步骤602的处理中为从影像中继装置3接收到影像分发的请求的情况下，处理进入到步骤603。另一方面，当在步骤602的处理中为未从影像中继装置3接收到影像分发的请求的情况下，重复步骤602的处理，判定是否从影像中继装置3接收到影像分发的请求。

接下来，影像分发装置8从存储在贮存器88中的影像数据，读入各视点的影像数据的1个帧大小的影像数据(步骤603)。

接下来，影像分发装置8同步地对多个视点的影像数据进行编码(步骤604)。具体而言，影像分发装置8使对各视点的影像数据附加的GOP号一致，而对各视点的影像数据进行压缩编码。另外，在存储于贮存器88中的影像数据与从影像分发装置8分发的影像数据的形式相同的情况下，不执行步骤604的处理而进入到步骤605。

例如，在MPEG2的形式的影像数据被存储到贮存器88，而以MPEG的形式分发影像数据的情况下，无需再次进行编码，所以不执行步骤604的处理而进入到步骤605。另外，在跨越多个GOP而预测了帧的影像数据的情况下，需要在步骤604中再次进行编码使得以GOP单位预测帧，而可以适用于本发明。

接下来，影像分发装置8判定在步骤604中编码后的影像数据是否包含GOP的开头数据(步骤605)。

当在步骤605的处理中为编码后的影像数据包含GOP的开头数据的情况下，处理进入到步骤606。另一方面，当步骤605的处理中为编码后的影像数据未包含GOP开头数据的情况下，处理进入到步骤607。

在步骤606中，影像分发装置8向传送影像数据的开头的RTP分组附加GOP的开头标识符，分发影像数据作为RTP分组(步骤606)。具体而言，影像分发装置8将GOP号递增1而附加到RTP分组。

在步骤607中，影像分发装置8向传送影像数据的开头的RTP分组附加影像帧的开头标识符，分发影像数据作为RTP分组(步骤607)。具体而言，影像分发装置8向RTP分组附加对相同GOP的开头数据附加的GOP号。

(第7实施方式)

在本发明的第1实施方式中，影像中继装置3根据用户的请求数据，向影像接收装置4分发了个性化后的影像数据。在本发明的第7实施方式中，影像中继装置3预先制成可以选择的影像流，向影像接收装置4发送用于选择所制成的影像流的关键字。用户从所发送的关键字选择要请求的关键字，向影像中继装置3发送所选择的关键字。

例如，在使用第7实施方式的系统来分发棒球的中继影像数据的情况下，影像中继装置3预先制成喜好首先进攻球队的用户用的影像流和喜好之后进攻球队的用户用的影像流，进行使用户选择喜好首先进攻球队以及之后进攻球队中的某一球队的影像服务。

在图29所示的处理中，对与图2的处理相同的处理，附加相同标号。以下，以与图2所示的处理不同的部分为中心进行说明。

步骤501至步骤507的处理与图2所示的步骤501至步骤507的处理相同。

接下来，影像中继装置3向影像接收装置4发送选择预先制成的影像流的关键字(步骤650)。

接下来，影像接收装置4登记所接收到的关键字，而设成例如可以从图16所示的用户请求接口选择(步骤651)。

步骤508至步骤510的处理与图2所示的步骤508至步骤510的处理相同。

接下来，影像中继装置3按照预先指定的初始设定(例如在“中立影像”：棒球中继的情况下，是指以相同程度切换首先进攻球队以及之后进攻球队的影像而制成的影像)，向影像接收装置4分发初始设定选择影像数据(步骤652)。

步骤512的处理与图2所示的步骤512的处理相同。

接下来，影像接收装置4对从用户选择的关键字进行检测(步骤653)。

接下来，影像接收装置4向影像中继装置3发送在步骤653中检测出的关键字(步骤654)。

接下来，影像中继装置3接收在步骤654中从影像接收装置4发送的关键字，登记所接收到的关键字(步骤655)。

步骤516的处理与图2所示的步骤516的处理相同。

接下来，影像中继装置3根据在步骤655中登记的关键字(例如“首先进攻球队”)，选择与关键字对应地制成的影像流，向影像接收装置4分发所选择的影像流(步骤656)。

步骤518的处理与图2所示的步骤518的处理相同。

图30是本发明的第7实施方式的影像中继处理的流程图。

在图30所示的处理中，对与图13的处理相同的处理，附加相同标号。以下，以与图13所示的处理不同的部分为中心进行说明。

步骤300至步骤305的处理与图13所示的步骤300至步骤305的处理相同。

接下来，影像中继装置3向影像接收装置4预先通知与可以选择的影像流对应的关键字(步骤701)。

步骤306以及步骤307的处理与图13所示的步骤306以及步骤307的处理相同。

接下来，影像中继装置3根据所接收到的多个视点的影像数据，预先制成可以选择的影像流(例如制成“中立影像”、“首先进攻希望者用影像”、以及“之后进攻球队希望者用影像”等影像)，并且确定接收可以选择的影像的终端(影像接收终端4)(步骤702)。

接下来，影像中继装置3根据从用户选择的关键字，向在步骤702中设定的分发目的地分发与关键字对应的影像数据的1个帧大小的影像数据(步骤703)。

步骤310以及步骤311的处理与图13所示的步骤310以及步骤311的处理相同。

接下来，影像中继装置3判定是否从影像接收装置4接收到用户选择的关键字(步骤704)。

当在步骤704的处理中为从影像接收装置4接收到用户选择的关键字的情况下，处理进入到步骤705。另一方面，当在步骤704的处理中为未从影像接收装置4接收到用户选择的关键字的情况下，处理进入到步骤316。

接下来，影像中继装置3将所接收到的关键字与请求了影像的分发的终端(影像接收装置4)关联起来而登记到主存储器34(步骤705)。

步骤316至步骤319的处理与图13所示的步骤316至步骤319的处理相同。

图31是本发明的第7实施方式的影像接收处理的流程图。

影像接收装置4将存储在程序积蓄部45中的程序读出到CPU43，通过CPU43执行所读出的程序，开始影像接收处理(步骤750)。

首先，影像接收装置4为了接收影像数据而向影像中继装置3发送向影像发送服务的参加请求(步骤751)。

接下来，判定是否从影像中继装置3接收到选择影像数据(步骤752)。

当在步骤752的处理中为从影像中继装置3接收到选择影像数据的情况下，处理进入到步骤753。另一方面，当在步骤752的处理中为未从影像中继装置3接收到选择影像数据的情况下，处理进入到步骤754。

接下来，影像接收装置4再现所接收到的影像数据(步骤753)。

接下来，影像接收装置4判定是否从影像中继装置3接收到选择影像数据的关键字(步骤754)。

当在步骤754的处理中为从影像中继装置3接收到关键字的情况下，处理进入到步骤755。另一方面，当在步骤754的处理中为未从影像中继装置3接收到关键字的情况下，处理进入到步骤756。

接下来，影像接收装置4向主存储器44登记所接收到的关键字(步骤755)。

接下来，影像接收装置4判定是否从输入接口41选择了用户希望的关键字(步骤756)。即，判定是否输入了用户希望的影像(首先进攻球队希望者用影像)。

当在步骤756的处理中为从输入接口41选择了用户希望的关键字的情况下，处理进入到步骤757。另一方面，在为未从输入接口41选择用户希望的关键字的情况下，处理返回到步骤752，继续影像接收处理。

接下来，影像接收装置4向影像中继装置3发送所选择的关键字(步骤757)。

(第8实施方式)

第8实施方式的影像分发系统构成为具备多个图1所示的第1实施方式的影像分发系统的影像分发装置1以及元数据分发装置2(影像分发装置1A、影像分发装置1B、元数据分发装置2A、以及元数据分发装置2B)。以下，在将影像分发装置1A以及1B统称的情况下，有时还说明成影像分发装置1。另外，在将元数据分发装置2A以及2B统称的情况下，有时还说明成元数据分发装置2。

第1实施方式的影像分发系统例如可以用于如棒球以及足球等那样在一个场所进行的竞技的中继。另一方面，第8实施方式的影像分发系统由于由多个影像分发装置1以及元数据分发装置2构成，所以可以用于跨越多个地点的大规模的影像分发系统。例如，通过在具有多个营业所的大规模的企业等的各营业所设置多个影像分发装置1以及元数据分发装置2，可以从远距离的影像接收装置4确认各营业所的状况。另外，通过使用元数据对特定的营业所的会议的状况进行影像分发，可以提供能够确认想要确认状况的从业员的影像的系统。

(第9实施方式)

第9实施方式的影像分发系统具备影像中继服务器61、影像分发服务器A～C(62、63、64)、元数据分发服务器65、网络A67、以及网络B68，在网络B68上连接有影像接收终端66。

网络A67连接影像中继服务器61、影像分发服务器A～C(62～64)、元数据分发服务器65。网络B68连接影像中继服务器61和影像接收终端66。

(影像中继服务器)

首先，对影像中继服务器61进行说明。

图34是示出本发明的第9实施方式的影像中继服务器61的结构的框图。

影像中继服务器61具备CPU(Central Processing Unit，中央处理单元)71、存储器72、接口部74、75。

CPU71执行OS(Operating System)以及各种应用程序。存储器72存储由CPU71执行的各种应用程序。CPU71与存储器72通过总线73连接。

接口部74、75经由网络向外部的装置发送来自CPU71以及存储器72的数据，接收来自外部的装置的数据。接口部74、75分别与连接到网络A67的线路76、连接到网络B68的线路77连接。

图35是示出本发明的第9实施方式的影像中继服务器61的存储器72内的结构的说明图。

影像中继服务器61的存储器72存储个性化流控制程序121、个性化流分发程序122、元数据分析程序123、组播控制程序124、缓冲器125、终端管理表126、以及流管理表127。

个性化流控制程序121接收从影像接收终端66发送的通知，根据所接收到的通知更新终端管理表126。

个性化流分发程序122根据从影像分发服务器A～C(62～64)发送的多个影像流生成应向影像接收终端66发送的个性化流，向影像接收终端66发送所生成的个性化流。

元数据分析程序123接收从元数据服务器65发送的元数据通知，根据所接收到的元数据通知，选择应向影像接收终端66发送的个性化流。

组播控制程序124接收来自影像接收终端66的组播控制请求(IGMP报告等)，向存在于网络A67内的组播路由器传送所接收到的组播控制请求。另外，组播控制程序124接收从组播路由器发送的组播控制请求(IGMP查询等)，向影像接收终端66传送所接收到的组播控制请求。

缓冲器125临时保存从影像分发服务器A～C(62～64)发送的影像流。

终端管理表126保持影像接收终端66的信息。在存在多个终端的情况下，针对每个终端保持终端管理表。

图36是示出本发明的第9实施方式的终端管理表126的结构例子的说明图。

终端管理表126包括IP地址81、端口号82、关键字83、个性化流84、切换标志85、变更目的地流86、以及变更序列号87。

IP地址81是影像接收终端66的IP地址。端口号82是等待个性化流的端口号。关键字83是在选择个性化流时使用的关键字。此外，也可以代替关键字，而登记所选择的个性化流的标识符。

IP地址84是从影像分发服务器分发的流中的、当前作为个性化流而被选择的影像流的标识符(分发所选择的影像流的组播组的发送目的地址)。

切换标志85是预约所选择的流的切换的标志。变更目的地流86是预约了切换的变更目的地流的IP地址。变更序列号87是变更点的序列号。

流管理表127对从影像分发服务器A～C(62～64)发送的影像流的信息进行管理。

图37是示出本发明的第9实施方式的流管理表127的结构例子的说明图。

流管理表127包括IP地址91、关键字92、变更序列号93、以及最终传送序列号94。

IP地址91是从影像分发服务器发送的影像流的发送目的的IP地址91。关键字92是影像的关键字，是作为附加信息而附加到影像的关键字。变更序列号93是由关键字表示的影像开始的序列号。最终传送序列号94是最后处理的流的序列号。

(影像分发服务器)

接下来，对影像分发服务器A～C(62～64)进行说明。

影像分发服务器A62具有与图34所示的影像中继服务器61同样的硬件结构。即、影像分发服务器A62具备CPU71、存储器72、总线73、以及接口部74。接口部74与连接到网络A67的线路76连接。另外，影像分发服务器A62不具备接口部75。

图38是示出本发明的第9实施方式的影像分发服务器A～C(62～64)的存储器72内的结构的说明图。

影像分发服务器的存储器72存储影像取得程序401、以及流分组生成程序402。

影像取得程序401从与影像分发服务器连接的照相机等摄影设备(图示省略)以及存储有影像数据的介质(图示省略)等取得影像数据。

流分组生成程序402对影像取得程序401取得的影像的结构进行分析，生成向网络A67发送的流分组。

以上，对影像分发服务器A62的结构进行了说明，但影像分发服务器B、C(63、64)也具备与影像分发服务器A62相同的结构。

图39是本发明的第9实施方式的由流分组生成程序402执行的流分组生成处理的流程图。

在流分组生成处理中，如果从影像取得处理程序401取得了MPEG2的TS分组(步骤1601)，则对在所取得的TS分组中是否包含有GOP起始码进行分析(步骤1602)。

其结果，当在取得的TS分组中包含有GOP起始码的情况下(在步骤1603中“是”)，向线路76输出已生成的RTP分组(步骤1604)。然后，新生成RTP头，在规定的区域中设定“1”(步骤1605)。在规定的区域中，使用在RTP头中作为填充区域准备的P位78即可。

图40是示出本发明的第9实施方式的RTP头的结构的说明图。RTP头的P位78是未使用的填充区域。在第9实施方式中，为了向影像中继服务器61通知是包括GOP的开头的RTP分组，使用该填充区域。

另一方面，当在步骤1603中在所取得的TS分组中未检测到GOP起始码的情况下，进入到步骤1606。

在步骤1606中，判定是否已生成RTP头，在不是已生成RTP头的情况下，生成RTP头(步骤1607)。另一方面，在是已生成RTP头的情况下，进入到步骤1608。

之后，在步骤1608中，将TS分组封装到RTP分组的有效载荷。在已生成RTP头的情况下，将TS分组封装到已生成的RTP分组的最末尾(步骤1608)。

之后，判定被封装到RTP分组的有效载荷中的TS分组数是否不超过线路76的MTU且成为可以发送的最大数(步骤1609)。其结果，在被封装的TS分组数成为最大数的情况下，向所生成的RTP分组附加IP头以及UDP头，向线路输出RTP分组(步骤1610)。之后，返回到TS分组取得处理(步骤1601)。

另一方面，在被封装的TS分组数不超过最大数的情况下，为了进一步将TS分组封装到RTP分组，返回到步骤1601的TS分组取得处理。

另外，线路76为以太网(注册商标、以下相同)的MTU为1500字节，所以可以封装到1个RTP有效载荷中的TS分组的最大数成为7个。步骤1609中的判定是用于防止RTP分组在途中被分段的处理，只要是RTP分组未被分段的值，则即使不封装不超过线路的MTU的最大数的TS分组也可以。在实时地取得影像时，由于编码的延迟等，有时无法定期地取得TS分组。在该情况下，不需要使发送延迟到可以封装最大数的TS分组为止。

图41是示出通过本发明的第9实施方式的步骤1601至1610的处理生成而向线路输出的IP分组的结构例子的说明图。

如图所示，多个TS分组被封装到RTP分组的有效载荷。包括GOP起始码的TS分组被封装到RTP有效载荷的开头。在包括GOP起始码的TS分组包含于RTP分组中的情况下，在RTP头的P位(78)中设定1。在RTP分组中仅包括未包含GOP起始码的TS分组的情况下，在RTP头的P位(78)中设定“0”。

(元数据服务器)

接下来，对元数据服务器65进行说明。

元数据服务器65具备与图34所示的影像中继服务器61同样的硬件结构。即，元数据服务器65具备CPU71、存储器72、总线73、以及接口部74。接口部74与连接到网络A67的线路76连接。另外，影像分发服务器A67不具备接口部75。

图42是示出本发明的第9实施方式的元数据服务器65的存储器72内的结构的说明图。

元数据服务器65的存储器72存储流取得程序403、以及元数据生成程序404。

流取得程序403取得影像分发服务器A～C(62～64)发送的流分组。流分组也可以通过网络A67取得。另外，也可以使用与影像分发服务器A～C(62～64)直接连接的专用线。另外，也可以将影像分发服务器A～C(62～64)与元数据服务器65安装在同一硬件中，而通过存储器72取得流分组。

元数据生成程序404生成与流取得程序403取得的影像流对应的元数据。元数据是将表示影像内容的关键字、RTP的序列号、以及分发服务器的ID相对应关联后的数据。包含在元数据中的关键字是通过对来自在摄像机上附加的传感器的信息、影像流中包含的图像进行分析的结果等来决定的。

图43示出本发明的第9实施方式的元数据通知的结构例子。

元数据至少包括表示影像内容的关键字、与关键字相互关联起来的影像的RTP头的序列号、以及用于确定影像分发服务器的ID。关键字与影像作为GOP单位被对应关联起来。包括与所通知的元数据对应的影像的RTP分组一定包含有GOP的开头。在本实施方式中，作为影像分发服务器A～C(62～64)的ID，使用影像分发服务器分发影像流的组播组的发送目的地址。

(影像接收终端)

接下来，对影像接收终端66进行说明。

影像接收终端66具有与图34所示的影像中继服务器61同样的硬件结构。

即、影像接收终端66具备CPU71、存储器72、总线73、以及接口部75。接口部75与连接到网络B68的线路77连接。另外，影像接收终端66不具备接口部74。

图44是示出本发明的第9实施方式的影像接收终端66的存储器72内的结构的说明图。

影像接收终端66的存储器72存储流取得程序405、以及流显示程序406。

流取得程序405通过接口75以及线路77取得影像流分组。流显示程序406在显示画面上显示流取得程序405取得的影像流(或者以可以向显示画面输出的形式的信号输出)。

(第9实施方式的处理)

另外，本发明的各实施方式的处理是通过各装置的CPU71执行存储在存储器72中的程序来进行的。另外，也可以不通过执行程序，而通过硬件逻辑来进行各处理的一部分或全部。

图45是本发明的第9实施方式的影像流的切换处理的时序图。

影像接收终端66为了取得从影像分发服务器A～C(62～64)分发的影像流，而向网络B68发送IGMP的report。影像中继服务器1接收由影像接收终端66发送的IGMP的report。所接收到的IGMP的report通过组播控制处理124而传送到网络A7的组播路由器(图示省略)。通过以上的处理，影像接收终端66参加到由各影像分发服务器A～C(62～64)分发影像的组播组。

影像接收终端66向影像中继服务器61发送通知可以接收个性化流的接收开始通知。在接收开始通知中，包含有等待个性化流的接收的端口号。

影像中继服务器61如果接收到来自影像接收终端66的接收开始通知，则执行个性化流控制处理。

图46是本发明的第9实施方式的由个性化流控制程序121执行的个性化流控制处理的流程图。

首先，影像中继服务器61如果接收到控制消息(步骤901)，则从所接收到的控制消息抽取发送源IP地址(影像接收终端66的IP地址)，使用所抽取的发送源IP地址来检索终端管理表126(步骤902)。

在不存在相应的影像接收终端66的终端管理表126的情况下(在步骤903中“是”)，结束处理。另一方面，在存在相应的影像接收终端66的终端管理表126的情况下(在步骤903中“否”)，确定控制消息的种类(步骤904)。

在控制消息为接收开始通知的情况下(在步骤904中“是”)，向相应的影像接收终端66的终端管理表126的端口号502登记所通知的等待端口号，开始个性化流的分发(步骤905)。

在相应的影像接收终端66的终端管理表126中未登记关键字83的情况下，从流管理表127选择任意的流，向个性化流84登记所选择的流的组播地址。在本实施方式中，登记239.255.255.1(由影像分发服务器A分发的组播组的发送目的地址)。

另外，终端管理表126的个性化流84仅在初次被登记任意的流的IP地址。之后，在后述的个性化流分发处理的流切换执行时(图47的步骤1013)被登记。

返回到图45，影像接收终端66向影像中继服务器61发送包括终端的用户所希望的影像的关键字的键通知。影像中继服务器61如果接收到键通知，则执行个性化流控制处理(图46)。接收到键通知的影像中继服务器61执行步骤901至903，由于在步骤904中为“否”，在步骤908中为“是”，所以进入到步骤909。

之后，从自影像接收终端66发送的键通知抽取关键字，向终端管理表126的关键字83登记所抽取的关键字(步骤909)。

进而，使用所通知的关键字，检索流管理表127(步骤910)。在从影像接收终端66通知的关键字与登记到流管理表127的关键字92一致的情况下，将终端管理表126的切换标志85设定成“ON”，向终端管理表126的变更目的地流86登记流管理表127的IP地址91，向终端管理表126的变更序列号87登记流管理表127的变更序列号93。之后，结束处理。

另一方面，在从影像接收终端66通知的关键字与登记到流管理表127的关键字92不一致的情况下，不更新终端管理表126，而结束处理。

此处，再次返回到图45。影像中继服务器61如果接收到从影像分发服务器A62发送的流分组，则执行个性化流分发处理。

图47是本发明的第9实施方式的由个性化流分发程序122执行的个性化流分发处理的流程图。

首先，影像中继服务器61如果接收到流分组(步骤1001)，则从所接收到的流分组抽取发送目的地址，使用所抽取的发送目的地址来检索流管理表127(步骤1002)。

在所接收到的流分组的发送目的地址未登记于流管理表127的情况下(在步骤1003中“是”)，结束处理。另一方面，在所接收到的流分组的发送目的地址已登记于流管理表的127的情况下(在步骤1003中“否”)，判定有无所接收到的流分组的RTP头的P位(步骤1004)。

在P位中设定了“1”的情况下，在正在接收的流的数据中，丢弃已缓冲的数据(步骤1005)，向缓冲器的开头(缓冲器ID＝“1”)存储所接收到的流分组(步骤1006)。另一方面，在P位中未设定“1”的情况下，向最后积蓄有流分组的缓冲器的下一个缓冲器，存储所接收到的流分组(步骤1006)。

此处，图48示出本发明的第9实施方式的存储有RTP分组的缓冲器125的结构。缓冲器125的容量比1个GOP大小还多，针对每个RTP分组附加不同的缓冲器ID来进行存储。针对每个登记在流管理表中的流(IP地址81)保持不同的缓冲器，针对每个流进行管理。

接下来，使用流分组的发送目的IP地址，对所有的终端管理表126的个性化流84进行检索(步骤1007)。在流分组的发送目的IP地址与终端管理表126的个性化流84不一致的情况下(在步骤1007中“否”)，结束处理。另一方面，在流分组的发送目的IP地址与终端管理表126的个性化流84一致的情况下(在步骤1007中“是”)，判定流分组的P位是否被设定(步骤1008)。

在流分组的P位中设定了“1”的情况下(在步骤1008中“否”)，进入到步骤1012，将所接收到的流分组的IP头的发送目的地址以及UDP头的发送目的端口号改写成从终端管理表126取得的信息。另外，也可以改写RTP的序列号、TS分组的PID、连续性计数器、PCR以及PAT等、PES头的PTS、DTS等。然后，向影像接收终端66发送头被改写后的流分组而作为个性化流(步骤1012)。

另一方面，在P位中设定了“1”的情况下(在步骤1008中“是”)，判定终端管理表126的切换标志85是否被设定(步骤1009)。

在切换标志85中未设定成“ON”的情况下(在步骤1009中“否”)，改写所接收到的流分组的IP头，发送头被改写后的流分组(步骤1012)，结束处理。

另一方面，在切换标志85被设定成“ON”的情况下(在步骤1009中“是”)，从流管理表127取得终端管理表126的变更目的地流86中登记的IP地址的条目(步骤1010)。然后，对与变更目的地流的IP地址对应的、流管理表127中的最终传送序列号511、与终端管理表126的变更序列号93进行比较(步骤1011)。

其结果，在最终传送序列号94小于变更序列号93的情况下(在步骤1011中“是”)，由于变更点的流分组尚未到达影像中继服务器1，所以不进行流的切换。然后，改写所接收到的流分组的IP头，发送头被改写的流分组(步骤1012)，结束处理。

另一方面，在最终传送序列号94为变更序列号93以上的情况下(在步骤1011中“否”)，判定为到达流的切换定时，切换流。具体而言，针对变更目的地流的缓冲器125中积蓄的流分组，与步骤1012同样地，改写IP头等，发送头被改写后的流分组。另外，向个性化流504登记在终端管理表126的变更目的地流86中登记的IP地址，之后，将切换标志85更新成OFF，清除变更目的地流86以及变更序列87中登记的信息(步骤1013)。

此处，再次返回到图45。从影像分发服务器A62发送的流分组2101以及2103由于被选择成个性化流，且P位未被设定，所以进行个性化流分发处理(图47)的步骤1001至1004、步骤1006至1008、以及步骤1012的处理。由此，影像中继服务器61向缓冲器125积蓄流分组2101以及2103，同时作为个性化流传送到影像接收终端66。

另一方面，从影像分发服务器B63发送的流分组2102由于位未被设定，且未作为个性化流而登记到终端管理表，所以进行个性化流分发处理(图47)的步骤1001至1004、步骤1006至1007的处理。由此，影像中继服务器61向缓冲器125积蓄流分组2102，结束处理。

影像中继服务器61如果接收到元数据104，则通过执行元数据分析程序123，进行元数据分析处理。

图49是本发明的第9实施方式的由元数据分析程序123执行的元数据分析处理的流程图。

首先，影像中继服务器61如果接收到元数据(步骤1101)，则从所接收到的元数据抽取IP地址，使用所抽取的IP地址检索流管理表127(步骤1102)。

在所接收到的元数据中包含的IP地址未登记在流管理表127的情况下(在步骤1103中“是”)，结束处理。另一方面，在所接收到的元数据中包含的IP地址已登记于流管理表127的情况下(在步骤1103中“否”)，向流管理表127的关键字192以及变更序列号510分别登记所接收到的元数据中包含的关键字以及序列号(步骤1104)。

接下来，对所有的终端管理表126的关键字83与利用元数据被通知的关键字进行比较(步骤1105)。在利用元数据通知的关键字不与终端管理表126的任意一个关键字83一致的情况下，由于无应切换的影像流，所以结束处理。

另一方面，在利用元数据通知的关键字与终端管理表126的某一个关键字503一致的情况下，更新相应的终端管理表126(步骤1105)。具体而言，将相应的终端管理表126的切换标志85设定成“ON”，向终端管理表126的变更目的地流86以及变更序列号87登记利用元数据通知的IP地址以及序列号。

通过以上说明的处理，根据所接收到的元数据104，更新终端管理表126以及流管理表127。

此处，再次返回到图45。在图45所示的情况下，由于从影像接收终端66发送的关键字与包含在元数据104中的关键字一致，所以终端管理表的切换标志85被设定成ON。但是，对于之后从影像分发服务器A62发送的流分组2105以及2107，由于P位未被设定，所以影像中继服务器1与流分组2101同样地，处理流分组2105以及2107。

由影像分发服务器B63发送的流分组2106的序列号与通过元数据通知2104通知的序列号相同，且P位被设定，所以是流的切换点。但是，由于在流分组2106的到达时流A未到达切换点，所以流未被切换。此处，进行个性化流分发处理(图47)的步骤1001至1007以及步骤1012的处理，流分组2106被存储到缓冲器125。接着流分组2106到达的流分组2108也同样地被存储到缓冲器125。

由影像分发服务器A62发送的流分组2109的P位被设定。由于终端管理表126的切换标志为“ON”，所以流被切换。即，进行个性化流分发处理(图47)的步骤1001至1011以及1013的处理，流分组2109不被传送，而被积蓄到缓冲器。进而，从缓冲器读出由影像分发服务器B63发送的流分组2106以及2108，将IP头的发送目的地址以及UDP头的发送目的端口号改写成从终端管理表126取得的信息。

另外，也可以改写RTP的序列号、TS分组的PID、连续性计数器、PCR以及PAT等、PES头的PTS、DTS等。然后，向影像接收终端6发送头被改写后的流分组作为个性化流。

在流切换之后到达影像中继服务器61的、由影像分发服务器B63发送的流分组2110通过进行步骤1001至1004、1006至1008以及1012的处理，被积蓄到缓冲器，同时作为个性化流而被发送到影像接收终端66。

图50是本发明的第9实施方式的从影像分发服务器分发的流被切换后的个性化流的说明图。具体而言，图50示出如下的个性化流：影像中继服务器1通过图45所示的时序，从影像分发服务器A62分发的流A被切换成从影像分发服务器B63分发的流B，从而由影像中继服务器61发送的个性化流。另外，在图50中，时间从右向左流过。

在与利用元数据104通知的关键字对应地切换影像流的情况下，通过切换而传送被中止的流A(结束流)在被传送直至成为GOP的终端的流分组2107为止之后，流被切换。

通过切换而开始传送的流(开始流)从存储在缓冲器中的成为GOP的起始的流分组2106开始被传送。在存储于缓冲器中的流分组的传送结束之后，如流分组2110那样，流分组按照到达顺序被传送。由此，影像接收终端66直至GOP的终端为止接收结束流，而开始流可以从GOP的起始接收。

另外，根据第9实施方式的影像中继方法，即使元数据的通知在比切换点之后到达的情况下(111)，通过同样的处理，流B也可以从GOP的开头发送。另外，元数据在比作为缓冲器125的更新单位的1个GOP大小延迟到达的情况下，可以从最近的GOP的开头切换流。进而，通过具备比1个GOP大小多的容量的缓冲器125，即使在元数据以比1个GOP大小晚到达的情况下，也可以从GOP的开头发送新的流。

另外，在第1实施方式中，在影像编码方式中使用了MPEG2，但只要是将1个帧分割成多个分组而发送的影像分发系统，则本实施方式完全适用于使用了其他影像编码方式的情况。

如上所述，根据本发明的第9实施方式，与作为影像的附加信息的元数据对应地考虑影像流的再现单位，可以以能够不中断地进行再现的方式切换影像。另外，由于在缓冲器125中存储有开始流的影像数据，所以元数据即使在比切换点的流数据晚地被通知的情况下，影像接收终端的再现中也不会出现障碍，而可以从能够连续地再现影像的点切换影像流。进而，由于参照流数据的头部来切换影像，所以可以削减确定切换点的处理。

(实施方式10)

接下来，对本发明的第10实施方式进行说明。

在第10实施方式中，影像分发服务器A～C(62～64)并非GOP的开头而在GOP的终端或紧接I以及P帧之前附加通知开始的记号，从而可以比上述的第9实施方式更快速地切换流。

第10实施方式的影像分发系统以及各装置的结构与上述的第9实施方式相同。

图51是本发明的第10实施方式的由流分组生成程序402执行的流分组生成处理的流程图。另外，对与上述的第9实施方式的流分组生成处理(图39)相同的处理附加相同标号，而省略这些的说明。

在步骤1603中，对在所取得的TS分组中是否包含有GOP起始码以及图像起始码进行分析。

在TS分组中包含有GOP起始码的情况下(在步骤1603中“是”)，向已生成的RTP分组附加表示GOP的终端的扩展头，向线路76输出所生成的RTP分组(步骤1612)。然后，新生成RTP头，设定表示GOP的开头的扩展头(步骤1613)。

当在步骤1603中为在TS分组中未包含GOP起始码的情况下(在步骤1603中“否”)，进而判定在所取得的TS分组中是否包含图像起始码。在包含有图像起始码的情况下，检查图像类型而判定是否为P图像。在TS分组中包含有图像起始码的情况下(在步骤1611中“是”)，向已生成的RTP分组附加表示是紧接P图像之前的情况的扩展头，向线路76输出所生成的RTP分组(步骤1614)。然后，新生成RTP头，设定表示P图像的开始的扩展头(步骤1615)。

RTP的扩展头包括扩展头的种类、数据长度、以及被封装到RTP有效载荷的数据的种类。数据的种类包括GOP的开头、GOP的终端、紧接P图像(帧)之前、以及P图像(帧)的开始中的某一个。

图53是本发明的第10实施方式的由个性化流分发程序122执行的个性化流分发处理的流程图。另外，对与上述的第9实施方式的个性化流分发处理(图47)相同的处理附加相同标号，省略这些的说明。

在第10实施方式的个性化分发处理中，利用RTP的扩展头来判定影像流的切换定时。

即、在第10实施方式的个性化分发处理中，进行步骤1001～1003的处理。之后，在所接收到的流分组的发送目的地址已登记于流管理表127的情况下(在步骤1003中“否”)，判定所接收到的流分组的RTP的扩展头的数据种类是否表示“GOP的开头”(步骤1901)。在RTP的扩展头的数据种类表示“GOP的开头”的情况下，在正在接收的流的数据中，丢弃已被缓冲的数据(步骤1005)，向缓冲器125的开头的区域(缓冲器ID＝“1”)存储所接收到的流分组(步骤1006)。另一方面，在RTP的扩展头的数据种类中未设定“GOP的开头”的情况下，向最后积蓄有流分组的缓冲器的下一个缓冲器(缓冲器ID＝“2”)，存储所接收到的流分组(步骤1006)。

进而，在进行了步骤1007的处理之后，在流分组的发送目的IP地址与终端管理表126的个性化流84一致的情况下(在步骤1007中“是”)，判定是否对RTP分组附加了扩展头(步骤1902)。其结果，在对RTP分组附加了扩展头的情况下，进行步骤1009的处理。另一方面，在未对RTP分组附加扩展头的情况下，进入到步骤1012。

进而，当在步骤1011中判定为最终传送序列号94为变更序列号93以上的情况下(在步骤1011中“否”)，判定RTP的扩展头的数据种类是否表示“GOP的终端”或“紧接P帧之前”(步骤1903)。在RTP的扩展头的数据种类表示“GOP的终端”或“紧接P帧之前”的情况下，将在步骤1001中接收到的流分组的IP头的发送目的地址以及UDP头的发送目的端口号改写成从终端管理表126取得的信息。另外，也可以改写RTP的序列号、TS分组的PID、连续性计数器、PCR以及PAT等、PES的PTS、DTS等。然后，向影像接收终端66发送头被改写后的流分组作为个性化流(步骤1904)。之后，进入到步骤1013。

其他处理与上述的第9实施方式的个性化流分发处理(图47)相同。

图54是本发明的第10实施方式的影像流的切换处理的时序图。

影像接收终端66为了取得从影像分发服务器A～C(62～64)分发的原始的影像流，而向网络B68发送IGMP的report。

影像中继服务器61接收由影像接收终端66发送的IGMP的report。所接收到的IGMP的report通过组播控制处理124而传送到网络A7的组播路由器(图示省略)。通过以上的处理，影像接收终端66参加到由各影像分发服务器A～C(62～64)分发影像的组播组。

影像中继装置61如果接收到来自影像接收终端66的接收开始通知，则执行个性化流控制处理(图46)。对于个性化流，仅在初次选择并登记任意的流，但在本实施例中，设为作为个性化流，登记影像分发服务器A62正在发送的流(发送目的地址239.255.255.1)。之后，影像接收终端66向影像中继服务器61发送包括终端的用户所希望的影像的关键字的键通知。影像中继服务器61如果接收到键通知，则执行个性化流控制处理(图46)。

之后，影像中继服务器61如果接收到影像分发服务器A62发送的流分组，则执行个性化流分发处理(图53)。

从影像分发服务器A62发送的流分组1709以及1710被选择成个性化流，且不具有RTP扩展头，所以进行个性化流分发处理(图53)的步骤1001至1901、步骤1006至1902、以及步骤1012的处理。由此，影像中继服务器1向缓冲器125积蓄流分组1709以及1710，同时作为个性化流而传送到影像接收终端66。

另一方面，从影像分发服务器B63发送的流分组1701未被选择成个性化流。另外，由影像分发服务器B63发送的流分组2102的扩展头未表示是“GOP的开头”，所以进行个性化流分发处理(图53)的步骤1001至步骤1901、步骤1006至1007的处理。由此，影像中继服务器61向缓冲器125积蓄流分组1701。

影像中继服务器61如果接收到元数据1702，则通过执行元数据分析程序123，进行元数据分析处理(图49)。

从影像接收终端66发送的关键字与包含在元数据1702中的关键字一致，所以终端管理表的切换标志85被设定成ON。但是，之后从影像分发服务器A62发送来的流分组1711由于不具有RTP扩展头，所以影像中继服务器61与流分组1709同样地处理流流分组1711。

由影像分发服务器63发送的流分组1704的序列号与通过元数据通知1702通知的序列号相同，并且包含表示是“GOP的开头”的扩展头，所以是流的切换点。但是，由于在流分组1704的到达时流A未到达切换点，所以流未被切换。此处，进行个性化流分发处理(图53)的步骤1001至1007的处理，流分组2107被存储到缓冲器125。

由影像分发服务器A62发送的流分组1703包含表示是“紧接P图像之前”的扩展头。终端管理表126的切换标志505是“ON”，且流的切换点的分组也到达，所以在传送了本流分组之后，流被切换。即，进行个性化分发处理(图53)的步骤1001至1901、1005至1011以及1903至1013的处理，流分组1703作为个性化流而被传送到终端66，进而还被积蓄到缓冲器125。进而，从缓冲器125读出由影像分发服务器B63发送的流分组1704，作为个性化流而发送到影像接收终端66。

在流切换之后到达影像中继服务器61的、由影像分发服务器B63发送的流分组1706以及1708通过进行步骤1001至1901、1006至1902以及1012的处理，作为个性化流而发送到影像接收终端66。

另一方面，在流切换之后到达影像中继服务器61的、由影像分发服务器A62发送的流分组1705以及1707通过进行步骤1001至1901、步骤1006至1007的处理，积蓄到缓冲器125。

图55是本发明的第10实施方式的从影像分发服务器分发的流被切换的个性化流的说明图。具体而言，图55示出如下的个性化流：影像中继服务器1通过图22所示的时序，从影像分发服务器A62分发的流A被切换成从影像分发服务器B63分发的流B，从而由影像中继服务器61发送的个性化流。另外，在图55中，时间从右向左流过。

在与利用元数据1702通知的关键字对应地切换影像流的情况下，通过切换而传送被中止的流A(结束流)不等待GOP的终端而在直到成为紧接P图像之前的流分组1703为止被传送之后，流被切换。

通过切换而开始传送的流(开始流)从存储在缓冲器125中的成为GOP的起始的流分组1704开始被传送。在存储于缓冲器125中的流分组的传送结束之后，如流分组1706那样，流分组按照到达顺序被传送。由此，影像接收终端66直至紧接P图像之前为止接收结束流，而可以从GOP的起始接收开始流。

如上所述，在本发明的第10实施方式中，在GOP的分割处以外，即使在紧接P帧的开始之前，应结束的流的传送被中止。因此，影像中继装置61可以与第9实施例相比更快地检测流的结束点，可以更迅速地切换影像流。

(实施方式11)

接下来，对本发明的第11实施方式进行说明。

在第11实施方式中，对在影像接收终端66配置影像中继服务器61所具备的功能，并未设置影像中继服务器的影像分发系统中，也可以切换影像流的结构进行说明。

第9实施方式的影像分发系统具备影像分发服务器A～C(62、63、64)、元数据服务器65、以及网络A67，在网络A67上连接有影像接收终端66。

本发明的第11实施方式的影像接收终端66具备影像选择部60以及影像显示部69。影像显示部69具备流取得程序405以及流显示程序406(图44)。影像选择部60具备个性化流控制程序121、个性化流分发程序122、元数据分析程序123、组播控制程序124、缓冲器125、终端管理表126、以及流管理表127(图35)。由各程序执行的处理与上述的第9实施方式相同。

图57是本发明的第11实施方式的影像流的切换处理的时序图。

在第11实施方式中，影像接收终端66向上游的组播路由器(图示省略)直接发送组播控制请求(IGMP的报告等)。

作为影像接收终端66的内部处理，经由存储器12，向个性化控制程序121通知接收开始请求、键通知以及接收结束通知。控制消息接收时的个性化流控制处理与上述的第1实施方式相同。终端管理表126仅对自身影像接收终端66的信息进行管理。

流取得程序405接收从影像分发服务器A～C(62、63、64)发送的所有流分组。作为影像接收终端66的内部处理，向个性化流分发程序122提交所接收到的流分组。

个性化流分发程序122如果接收到流分组，则与上述的第1实施方式同样地，在步骤1012以及1013(图47)中选择流分组。所选择的流分组不向线路输出，作为影像接收终端6的内部处理(例如经由存储器)，向流取得程序405提交。流取得程序405从自个性化分发程序122提交的流分组取得影像数据，向流显示程序406提交所取得的流分组。流显示程序406在显示画面上显示流分组。

如上所述，在本发明的第11实施方式中，在影像接收终端66中配置了影像中继服务器61所具备的功能，所以即使在未设置影像中继服务器的影像分发系统中，也可以切换影像流。

(实施方式12)

接下来，对本发明的第12实施方式进行说明。

在第12实施方式中，对影像中继服务器61针对每个元数据的通知切换流，而分发摘要流的例子进行说明。

第12实施方式的影像分发系统以及各装置的结构与上述的第1实施方式相同。

图58是本发明的第12实施方式的影像流的切换处理的时序图。

在第12实施方式中，从影像接收终端66接收到控制消息时的由影像中继服务器1执行的处理、以及接收到流分组时的由影像中继服务器61执行的处理与上述的第9实施方式相同。

影像中继服务器61如果接收到元数据通知，则通过执行元数据分析程序123，进行元数据分析处理123。在第12实施方式中，在元数据分析处理(图49)的步骤1105中不比较关键字，而每当接收到元数据通知时，将终端管理表126的切换标志85设定成“ON”，登记变更目的地流86以及变更序列号87。

其结果，影像中继服务器61可以每当被通知元数据时切换个性化流。

其他处理与上述的第9实施方式相同。

如上所述，在本发明的第12实施方式中，影像中继服务器61通过每当被通知元数据时切换个性化流，可以向影像接收终端分发从各影像分发服务器A～C(62～64)分发的影像流的摘要流。

Claims

1.一种影像分发系统，具备：

影像分发装置，发送影像流；以及

影像中继装置，接收上述发送的多个影像流，向影像接收装置传送上述接收到的影像流的至少一个，其特征在于：

上述影像分发装置同步地对多个视点的影像流进行编码，向上述影像流附加第1标识符，发送附加有上述第1标识符的影像流，该第1标识符用于识别包含在上述影像流中的能够独立解码的单位的数据是否为在时刻上对应的数据，

上述影像中继装置在以上述能够独立解码的单位切换上述影像流的情况下，根据向上述接收到的影像流附加的第1标识符，确定在切换后传送的影像流的上述能够解码的单位的数据，

从上述确定出的能够解码的单位的数据传送在上述切换后被传送的影像流，

上述影像中继装置在缓冲器中存储上述接收到的影像流中的、至少上述能够独立解码的1个单位量的影像流，

接收表示上述接收到的影像流的内容的元数据，

从上述影像接收装置接收上述影像流的请求信息，

根据上述接收到的元数据以及请求信息，选择分发的影像流，

上述影像中继装置在向上述影像接收装置传送上述选择的影像流的情况下，以能够独立解码的单位从缓冲器删除未选择的影像流中的、附加有表示与上述传送的能够解码的单位的数据相同的时刻的第1标识符的能够解码的单位的数据。

2.根据权利要求1所述的影像分发系统，其特征在于：

上述影像中继装置向上述影像接收装置传送未选择的影像流。

3.根据权利要求1所述的影像分发系统，其特征在于：

上述能够独立解码的影像流的单位是GOP数据。

4.根据权利要求1所述的影像分发系统，其特征在于：

上述影像分发装置向以能够独立解码的单位被分割的影像流的RTP分组的头附加上述第1标识符。

5.根据权利要求1所述的影像分发系统，其特征在于：

上述影像分发装置存储影像流，读出上述存储的影像流，向上述读出的影像流附加用于识别上述影像流中包含的能够独立解码的单位的数据是否为在时刻上对应的数据的第1标识符，发送附加有上述第1标识符的影像流。

6.根据权利要求1所述的影像分发系统，其特征在于：

上述影像中继装置制成向上述影像接收装置分发的多个影像流，向上述影像接收装置通知用于从上述制成的多个影像流选择一个影像流的第2标识符，选择通过由上述影像接收装置选择的第2标识符确定的影像流。

7.根据权利要求6所述的影像分发系统，其特征在于：

上述影像接收装置从上述影像中继装置接收用于选择上述影像流的第2标识符，向上述影像中继装置发送从上述接收到的第2标识符选择的第2标识符，接收由上述影像中继装置选择的影像流，再现上述接收到的影像流。