CN104205852A

CN104205852A - 信息处理装置和方法以及程序

Info

Publication number: CN104205852A
Application number: CN201380018683.7A
Authority: CN
Inventors: 石见英辉; 宗像保; 大川宽
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-04-13
Filing date: 2013-04-04
Publication date: 2014-12-10
Also published as: US20150085190A1; US10070017B2; JPWO2013154025A1; WO2013154025A1

Abstract

本技术涉及一种在传输图像数据时容易使视频同步的信息处理装置、方法以及程序。信息处理装置设置有：同步取消单元，基于图像数据发送的延迟时间取消发送图像数据的网络的同步定时与图像数据的同步定时之间的同步；调整单元，调整与网络的同步定时的同步被同步取消单元取消的图像数据的同步定时；同步连接单元，将调整单元调整的图像数据的同步定时与网络的同步定时进行同步。本发明例如可以适用于信息处理单元。

Description

信息处理装置和方法以及程序

技术领域

本技术涉及一种信息处理装置、方法以及程序，更具体地，涉及一种允许容易控制图像数据发送中的视频同步的信息处理装置、方法以及程序。

背景技术

过去，广泛使用用于经由诸如互联网和LAN(局域网)的各种网络传递图像数据(尤其是，运动图像数据)的应用和服务。当经由网络发送并接收图像数据时，在许多情况下，通过发送侧的编码(压缩)处理减少了数据量并将所减少的数据发送至网络，然后接收侧对编码接收数据执行解码(提取)处理以再现数据(例如，参见专利文献1至专利文献6)。

在一些情况下，发送运动图像数据要求时效性(所谓的实时特性)。例如，当由发送源处的图像捕获设备捕获并获得的图像立即(以所谓的实时方式)显示在发送目的地的图像显示装置上时，如果在编码、发送、解码图像数据中存在太多延迟，则运动图像的显示可能被损坏。在这种情况下，为了确保运动图像的显示，在发送图像数据的过程中需要管理延迟时间(包括与发送有关的处理，诸如编码和解码)。

为此，需要精确控制装置之间的网络与视频的同步。

引用列表

专利文献

专利文献1：JP 2007-311948 A

专利文献2：JP 2009-278545 A

专利文献3：JP 2008-028541 A

专利文献4：日本专利No.3617087

专利文献5：JP 2002-152162 A

专利文献6：JP 2004-304809 A

发明内容

技术问题

然而，例如，在诸如以太网(注册商标)、NGN(下一代网络)、以及无线网络等通常可用的电路中，带宽可以变得不稳定，并且极大地影响了延迟时间。另外，认为网络配置根据环境(诸如断开一些电路，并连接新电路)而改变。

此外，就用于连接经由这种通常可用的电路的通信装置的通信系统而言，系统配置是高度灵活的，使得可以轻松从系统中除去通信装置，并且可以轻松将新通信装置增设到系统中。

因此，哪一个装置应当主导控制同步可能根据环境而改变，并且也许不可能根据固定控制方法(其中，某个装置始终控制与其他装置的同步)充分保持同步。如上所述，期望更灵活的同步控制。

鉴于这些情况做出本技术，并且本技术的目的是更容易控制图像数据发送中的视频同步。

技术方案

根据本技术的一方面，提供了一种信息处理装置，包括：同步取消单元，被配置为基于图像数据发送的延迟时间取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；调整单元，被配置为调整与所述网络的所述同步定时的同步被所述同步取消单元取消的所述图像数据的同步定时；以及同步连接单元，被配置为将所述调整单元调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步。

调整单元可以将所述图像数据的所述同步定时提前等同于所述延迟时间的时间。

在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元初始化所述图像数据的编码处理。

在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元将所述图像数据的帧的空白时间段缩短为比平时短后使所述图像数据的编码处理继续。

信息处理装置可以进一步包括：网络同步获取单元，被配置为在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，与通信对方获得所述网络的所述同步定时。

信息处理装置可以进一步包括：测量单元，被配置为测量所述延迟时间，其中，所述同步取消单元基于所述测量单元测量的所述延迟时间取消发送所述图像数据的所述网络的所述同步定时与所述图像数据的所述同步定时之间的所述同步。

测量单元可以根据同步控制拓扑和网络设置确定发送源，并使用从所述发送源发送的图像数据测量所述延迟周期。

信息处理装置可以进一步包括：发送单元，被配置为根据被所述同步连接单元同步于所述网络的所述同步定时的所述图像数据的所述同步定时来发送所述图像数据。

此外，根据本技术的一方面，提供了一种用于信息处理装置的信息处理方法，其中，所述信息处理装置基于图像数据发送的延迟时间取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步，所述信息处理装置调整与所述网络的所述同步定时的同步被取消的所述图像数据的同步定时，以及信息处理装置将被调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步。

此外，根据本技术的一方面，提供了一种程序，使计算机起到以下各部件的作用：同步取消单元，被配置为基于图像数据发送的延迟时间取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；调整单元，被配置为调整与所述网络的所述同步定时的同步被所述同步取消单元取消的所述图像数据的同步定时；以及同步连接单元，被配置为将所述调整单元调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步。

此外，根据本技术的一方面，提供了在包括第一视频发送序列和第二视频发送序列的系统中的信息处理装置，其中，所述第一视频发送序列具有视频同步获取功能，所述信息处理装置包括：同步取消单元，被配置为基于按照所述第一视频发送序列的图像数据发送的延迟时间，取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；调整单元，被配置为调整与所述网络的所述同步定时的同步被所述同步取消单元取消的所述图像数据的同步定时；同步连接单元，被配置为将所述调整单元调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步；以及控制单元，被配置为使用从所述第一视频发送序列生成的同步定时操作不同于所述第一视频发送序列的所述第二视频发送序列。

信息处理装置还可以进一步包括：网络同步获取单元，被配置为在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，与通信对方获得所述网络的所述同步定时。

信息处理装置还可以包括测量单元，被配置为测量所述延迟时间，其中，所述同步取消单元基于所述测量单元测量的所述延迟时间取消发送所述图像数据的所述网络的所述同步定时与所述图像数据的所述同步定时之间的所述同步。

信息处理装置还可以包括发送单元，被配置为根据被所述同步连接单元同步于所述网络的所述同步定时的所述图像数据的所述同步定时来发送所述图像数据。

此外，根据本技术的另一方面，提供了一种用于包括第一视频发送序列和第二视频发送序列的系统中的信息处理装置的信息处理方法，其中，所述第一视频发送序列具有视频同步获取功能，其中，所述信息处理装置基于按照所述第一视频发送序列的图像数据发送的延迟时间，取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；所述信息处理装置调整与所述网络的所述同步定时的同步被取消的所述图像数据的同步定时；所述信息处理装置将被调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步；以及所述信息处理装置使用从所述第一视频发送序列生成的同步定时操作不同于所述第一视频发送序列的所述第二视频发送序列。

此外，根据本技术的另一方面，提供了用于在包括第一视频发送序列和第二视频发送序列的系统中的计算机的程序，其中，所述第一视频发送序列具有视频同步获取功能，其中，所述程序使所述计算机起到以下各项的作用：同步取消单元，被配置为基于按照所述第一视频发送序列的图像数据发送的延迟时间，取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；调整单元，被配置为调整与所述网络的所述同步定时的同步被所述同步取消单元取消的所述图像数据的同步定时；同步连接单元，被配置为将所述调整单元调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步；以及控制单元，被配置为使用从所述第一视频发送序列生成的同步定时操作不同于所述第一视频发送序列的所述第二视频发送序列。

在本技术的一方面，基于图像数据发送的延迟时间取消发送图像数据的网络的同步定时与图像数据的同步定时之间的同步，调整与网络的同步定时的同步被取消的图像数据的同步定时，调整的图像数据的同步定时和网络的同步定时同步。

在本技术的另一方面，在包括具有视频同步获取功能的第一视频发送序列和第二视频发送序列的系统中，基于图像数据发送的延迟时间根据第一视频发送序列取消发送图像数据的网络的同步定时与图像数据的同步定时之间的同步，调整与网络的同步定时的同步由同步取消单元取消的图像数据的同步定时，调整的图像数据的同步定时和网络的同步定时同步，并且使不同于第一视频发送序列的第二视频发送序列使用从第一视频发送序列生成的同步定时操作。

技术效果

根据本技术，可以处理信息。尤其是，可以更容易地控制图像数据发送中的视频同步。

附图说明

图1是示出了图像发送系统的主要配置的实例的框图。

图2是示出了系统定时配置的实例的示图。

图3是示出了图像发送系统的主要配置的实例的框图。

图4是示出了系统定时配置的实例的示图。

图5是用于示出系统定时的详情的示图。

图6是用于解释与图像数据发送/接收相关的处理流程的实例的示图。

图7是接续图6的、用于解释与图像数据发送/接收相关的处理流程的实例的示图。

图8是用于解释与图像数据发送/接收相关的处理流程的另一个实例的示图。

图9是接续图8的、用于解释与图像数据发送/接收相关的处理流程的另一个实例的示图。

图10是用于解释初始同步处理的流程的实例的流程图。

图11是用于解释再同步处理(re-synchronization processing)的流程的实例的流程图。

图12是接续图11的、用于解释再同步处理的流程的实例的流程图。

图13是用于解释初始同步处理的流程的另一个实例的流程图。

图14是用于解释再同步处理的流程的另一个实例的流程图。

图15是接续图14的、用于解释再同步处理的流程的另一个实例的流程图。

图16是用于解释系统配置改变的实例的示图。

图17A至图17C是用于解释系统配置改变的另一个实例的示图。

图18是用于解释确定处理的流程的实例的流程图。

图19A和图19B是示出了数据发送中的延迟率的实例的示图。

图20A和图20B是示出了本技术适用的图像发送系统的配置的典型实例的示图，并且示出了其延迟率的实例。

图21是示出了本技术适用的图像处理系统的配置的典型实例的示图。

图22是示出了图像捕获设备的配置的典型实例的框图。

图23是示出了FEC区块的实例的示图。

图24是用于解释数据包的配置的实例的示图。

图25是用于解释发送处理的流程的实例的流程图。

图26是用于解释接收处理的流程的实例的流程图。

图27是示出了编码单元的配置的典型实例的框图。

图28是示出了小波变换单元的配置的典型实例的框图。

图29是示出了变换系数的子带的配置的典型实例的示图。

图30是示出了行块的实例的示图。

图31是示出了解码单元的配置的典型实例的框图。

图32是用于解释编码处理的流程的实例的流程图。

图33是用于解释解码处理的流程的实例的流程图。

图34是示出了计算机的配置的典型实例的框图。

具体实施方式

在下文中将解释实现本发明的实施方式(下文称为实施方式)。将按以下顺序进行解释。

1、第一实施方式(图像发送系统)

2、第二实施方式(图像发送系统)

3、第三实施方式(图像处理系统)

4、第四实施方式(编码单元/解码单元)

5、第五实施方式(计算机)

<1、第一实施方式>

[1-1、图像发送系统]

图1是示出了图像发送系统的主要配置的实例的框图。

如图1中所示的图像发送系统10包括发送装置11和接收装置12，并且是用于将通过编码图像数据获得的编码数据从发送装置11发送至接收装置12的系统。图1示出了发送装置11和接收装置12的同步的配置。

如图1中所示，发送装置11包括图像时间管理单元21和网络发送时间管理单元22。接收装置12包括图像时间管理单元31和网络发送时间管理单元32。

图像时间管理单元21和图像时间管理单元31管理图像显示的同步，诸如图像数据的垂直同步和水平同步。

网络发送时间管理单元22和网络发送时间管理单元32执行网络电路的同步控制，以及发送图像数据的同步控制。在这种情况下，网络发送时间管理单元22和网络发送时间管理单元32中的一个变为STAY，并且网络发送时间管理单元22和网络发送时间管理单元32中的另一个变为Follower。充当STAY的单元主导执行同步控制。另一方面，Follower遵循STAY的同步控制。

图2是示出了图1的图像发送系统10的系统定时配置的实例的示图。视频发送和网络电路的同步管理由网络发送时间管理单元22和网络发送时间管理单元32进行，因此，视频发送的同步管理中的控制方向和网络电路的同步管理中的控制的方向限于彼此相同的方向，如图2的实例中所示。

例如，在视频发送(图2的表中的“视频同步”)的同步管理中，当发送装置11为STAY，并且接收装置12为Follower时，在网络电路(图2的表中的“网络”)的同步管理中，发送装置11也是STAY并且接收装置12也是Follower。

就经由通常可用的电路通信的通信系统而言，数据发送的环境(诸如网络配置、系统配置)很可能极大地改变，因此，图1中的STAY和Follower的关系可能不总是最好的。

可替换地，可以考虑执行与网络电路的同步管理完全分离的视频发送的同步管理。但在这种情况下，难以保持视频发送的时间管理与网络电路的时间管理之间的同步，并且难以执行延迟更短的数据发送。

[1-2、图像发送系统]

因此，为了允许更灵活的同步控制，视频发送的同步控制与网络电路的同步管理分离地执行，并且进一步地，可以将视频发送的同步控制和网络电路的同步管理控制为协作(同步连接)或独立(同步取消)。

图3是示出了图像发送系统的主要配置的实例的框图。

如图3中所示的图像发送系统100是本技术适用的通信系统。图像发送系统100包括发送装置101和接收装置102，并且是用于将通过编码图像数据获得的编码数据从发送装置101发送至接收装置102的系统。图3示出了发送装置101和接收装置102的同步的配置。

如图3中所示，发送装置101包括图像时间管理单元111、发送时间管理单元112和网络发送时间管理单元113。接收装置102包括图像时间管理单元131、发送时间管理单元122和网络发送时间管理单元123。

图像时间管理单元111和图像时间管理单元121管理图像的同步定时(诸如图像数据的垂直同步和水平同步)。发送时间管理单元112和发送时间管理单元122管理用于发送图像数据的同步定时并且管理用于处理图像数据的(用于压缩的)编码和解码处理的同步定时。网络发送时间管理单元113和网络发送时间管理单元123执行网络电路的同步控制。

控制用于压缩的同步定时以执行编码处理和解码处理，以便更大程度地减少整个数据发送的延迟量(包括如图5中所示的各种延迟量)。

发送的同步定时的管理基于关于网络电路的同步信息来进行，此外，执行图像的同步定时的管理，时间精度与发送的同步定时的管理相同。如上所述，图像的同步定时的管理和发送的同步定时的管理由彼此不相同的处理单元来执行。然而，当设置同步定时时，同步定时以相同的相位继续操作。

发送的同步定时的管理可以与网络电路的同步定时的管理相关，或可以取消其相关。例如，只可以改变发送的同步定时。可以缓慢做出该改变，或可以立即做出。应该注意的是，发送的同步定时的“发送”不仅包括视频(图像数据)的发送，而且还包括声音(声音数据)的发送。

当偏移延迟的量按照该同步确定时，发送时间管理单元112和发送时间管理单元122将发送的同步定时和网络电路的同步定时彼此分开，并取消其间的相关。因此，发送的同步定时自由运行。在该情况下，图像的同步定时和发送的同步定时仍然可以是同相。

一旦设置偏移延迟量，发送时间管理单元112和发送时间管理单元122就使发送的同步定时与网络电路的同步定时相关。发送时间管理单元112和发送时间管理单元122与网络发送时间管理单元113和网络发送时间管理单元123交换同步信息，并使发送的同步定时与网络电路的同步定时相关。

如上所述，就图像发送系统100的同步管理而言，网络电路的同步定时和发送的同步定时彼此可以轻松分离并且彼此可以轻松相关。因此，例如，网络电路的同步控制单元可以正常操作，不管其是在发送侧还是在接收侧。

例如，如图4中所示，当接收装置102的发送时间管理单元122(STA2)是STAY(保持，Stay)并且发送装置101的发送时间管理单元112(STA1)是视频发送同步(视频同步)中的Follower(定时跟随)时，网络电路的同步(网络)的STAY可以是STA1或STA2。

在过去用于现场直播的摄像机系统中，摄像机和CCU(摄像机控制单元)通过复合电缆(称为光纤电缆)、三同轴电缆、或多电缆来连接，但是当支持诸如以太网(注册商标)、NGN(下一代网络)、和无线网络的通常可用的电路时，通常可用的电路价格远远低于专用电路和卫星链路，因此可以低成本构造现场直播系统。

不管管理网络上的同步的终端如何，都可以控制视频同步，并且激活序列可以利用简单配置构造。

此外，摄像机的同步锁相可以经由异步网络做出，因此，即使当同步现场直播使用多个继电器控制站和多个摄像机做出时，都可以使用相同的激活序列以更短延迟传送高质量的摄像机图像。

[1-3、同步控制]

在数据发送中，执行以下处理：初始同步处理，其是在开始数据发送时执行的同步处理；以及再同步处理，其是在数据发送期间执行的同步处理。图6至图9中示出了如何执行处理。

图6至7示出了网络管理单元(其是网络电路的同步管理的STAY)在接收装置侧，并且网络接收单元(其是Follower)在发送装置侧的情况。应该注意，发送的同步管理的STAY在接收图像的接收装置侧，Follower在发送图像的发送装置侧。更具体地，在网络电路的同步管理和发送的同步管理中，STAY和Follower的方向彼此相同。稍后将解释图6和图7的详情。

[1-4、同步控制]

图8和图9示出了网络管理单元(其是网络电路的同步管理的STAY)在发送装置侧，并且网络接收单元(其是Follower)在接收装置侧的情况。应该注意，发送的同步管理的STAY在接收图像的接收装置侧，Follower在发送图像的发送装置侧。更具体地，在网络电路的同步管理和用于发送的同步管理中，STAY和Follower的方向彼此相同。稍后将解释图8和图9的详情。

如上所述，不管用于发送的同步管理的方向如何，网络电路的同步管理的STAY可以在发送侧，或可以在接收侧。

将参照图10至图15解释处理的更多具体流程。

[1-5、初始同步处理的流程]

首先，将参照图10的流程图解释由用于更短延迟的同步视频的发送装置101执行的初始同步处理的流程的实例。如果需要，这将参照图6至图9进行解释。

当通过产品接通电源时，为整个系统给出上电复位，并且系统PLL开始操作。在初始状态下，无法获得发送与接收之间的电路同步。因此，用于管理时间信息的块在功率上升时开始操作，不管发送与接收之间的时间信息如何。

在步骤S101中，发送装置101基于网络发送时间管理单元113的管理来获得网络电路的时间同步(就图6而言的处理152至处理158，以及就图8而言的处理201至处理207、理209)。诸如GPS和IEEE1588的技术是可用的以便实现该功能。

在步骤S102中，发送装置101开始图像输入。该处理的定时可以是任何给定定时。通过开始图像输入，确定步骤S103中设置的初始值。在步骤S103中，发送装置101初始化图像压缩编码器。应该注意，可以确定初始化的设置值，不管是否存在该处理。在步骤S104中，发送装置101开始压缩所接收的图像数据。

在步骤S105中，发送装置101基于发送时间管理单元112的管理开始视频发送，并经由包括通常可用的电路将通过编码图像数据获得的编码数据发送至接收装置102(就图6而言的处理160，以及就图8而言的处理211)。

在步骤S106中，发送时间管理单元112设置事先找到的延迟偏移量。例如，保存事先设置的值(就图6而言的处理151，以及就图8而言的处理208)，并重新设置所保存的值(就图6而言的处理168，以及就图8而言的处理220)。利用该处理，发送装置101可以减少执行初始同步所花费的时间。步骤S106中的处理不限于如图10中所示的序列顺序。例如，在图10的步骤S106的位置之前可以执行该处理。

在步骤S107中，发送时间管理单元112等待直到从接收装置102收到延迟偏移量的测量结果的通知。当接收通知时，随后执行步骤S108中的处理。

在步骤S108中，根据发送时间管理单元112的控制，发送装置101立即停止输入视频以便改变VSYNC和HSYNC(其是视频的定时信号)的定时，并释放视频同步与网络同步之间的同步(就图6而言的处理165，以及就图8而言的处理216)。

在正常情况下，当改变VSYNC和HSYNC的定时时，视频压缩编码器可能未接收事先已知的视频数据，因此，视频压缩编码器可能暂时不正常操作。出于该原因，可以提供功能以允许具有的频移与视频压缩编码器可以容忍的差不多的VSYNC和HSYNC的定时。

在步骤S109中，发送时间管理单元112用于改变同步获取位置(SYNC位置)(就图6而言的处理166，以及就图8而言的处理217)。当同步获取位置通过步骤S109中的处理改变时，在步骤S110中，发送时间管理单元112基于接收装置102通知的偏移延迟量通过发送时间管理单元112重新设置视频输入定时(就图6而言的处理192，以及就图8而言的处理242)。应该注意，在该时间段内保持网络同步。

在步骤S111中，发送装置101恢复具有基于测量结果的延迟量的视频输入，并同步视频同步和网络同步。发送装置101终止视频同步的校正处理，并指示开始视频发送的环境已准备就绪的状态。然而，当提供功能以便能够处理中断的视频数据或VSYNC、HSYNC的区间变化时，不需要重设。

在步骤S112中，发送装置101开始视频发送(就图7而言的处理174，以及就图9而言的处理234)。

在步骤S113中，发送时间管理单元112控制的发送装置101非常小级别地校正偏移延迟量，并应对非常小级别的变化。更具体地，在该处理中，发送装置101执行校正偏移量的操作以便满足标准规范视频输入/输出接口，诸如HD-SDI、3D-SDI、HDMI(注册商标)、以及显示端口的规范(就图7而言的处理177、处理180、以及处理181(其是处理194)，以及就图9而言的处理237至处理239(其是处理243))。

在步骤S114中，发送装置101检查发送装置101是否从接收装置102接收偏移延迟量的命令。当发送装置101接收命令时，再次执行步骤S113中的处理，并重复继此之后的处理。当发送装置101未接收到该命令时，终止初始操作处理。

如上所述，发送装置101根据接收装置102给出的命令稍微校正发送时间管理以便即使在视频发送期间也校正发送与接收之间的同步的非常小的偏差。

[1-6、再同步处理的流程]

随后，将参照图11和图12的流程图解释发送装置101执行的再同步处理的流程的实例。例如，当改变网络电路拓扑时，执行该再同步处理。

当在不同于在那之前已提供的视频发送的同步的时间点需要同步获取处理时，开始该再同步处理。

在步骤S131中，发送装置101从接收装置102获得再同步请求。假设已经完成网络电路的同步。

在步骤S132中，发送装置101确定当前同步关系是否不同于网络电路拓扑改变之后的同步关系，并且是否需要再同步视频发送。当不需要再同步时，终止再同步处理。

当需要再同步时，随后执行步骤S133中的处理。

在步骤S133中，发送时间管理单元112控制的发送装置101再同步视频发送，以解决视频发送的当前同步不正确的状态(错误状态)。

在步骤S134中，发送装置101确定是否初始化整个系统。当发送装置101确定发送装置101不但需要再同步视频发送，而且还需要再同步整个系统时，随后执行图12的步骤S141中的处理。

当在步骤S134中发送装置101确定发送装置101需要再同步视频发送，但不需要初始化处理整个系统时，随后执行步骤S135中的处理。

在步骤S135中，网络发送时间管理单元113控制的发送装置101确定是否重新激活网络电路。当发送装置101确定发送装置101需要重新激活物理层时，随后执行步骤S136中的处理。

在步骤S136中，网络发送时间管理单元113控制的发送装置101初始化关于网络电路的同步信息。当完成步骤S136中的处理时，随后执行图12的步骤S142中的处理。

当在步骤S135中，发送装置101确定发送装置101不需要重新激活物理成时，随后执行步骤S137中的处理。

在步骤S137中，发送时间管理单元112控制的发送装置101初始化视频发送的同步定时。更具体地，初始化图像数据的编码处理。当完成步骤S137中的处理时，随后执行图12的步骤S143中的处理。代替初始化处理图像数据，图像数据的帧的空白时间段可以被配置为短于正常情况，并且可以继续图像数据的编码处理。

以与图10的步骤S103至步骤S114中的每个处理相同的方式来执行图12的步骤S141至步骤S152中的每个处理。

在步骤S152中，确定网络延迟的偏移以及量是相同的，再次执行图11中的处理，并终止再同步处理。

如上所述，发送装置101实现图6至图9中的每个处理。

[1-7、初始同步处理的流程]

随后，将参照图13的流程图解释由接收装置102执行的各种处理。将解释接收装置102执行的用于具有更短延迟的同步视频的初始同步处理的流程的实例。如果需要，这将参照图6至图9解释。

接收装置102以与图10的步骤S101至步骤S103中的每个处理相同的方式执行步骤S201至步骤S203中的每个处理。由于步骤S201中的处理，网络电路获取同步，使得控制网络电路的时间管理通知与关于发送时间管理单元112的发送相同的时间定时(就图6而言的处理162，以及就图8而言的处理213)。由于该处理，发送侧的时间管理可以推进由发送侧设置的偏移延迟量。

在步骤S204中，接收装置102接收从发送装置101发送的数据包，并开始校正网络电路误差的处理。在该步骤中，仍然要测量发送与接收之间的网络电路的延迟量，因此，为了避免视频中断，而不开始视频解码。在短延迟的系统中，尽可能多地减少每个处理的延迟量，因此，如果即使存在不确定因素(诸如网络电路的延迟量)也要显示视频，则视频很可能中断。

在步骤S205中，接收装置102在通过步骤S204中的处理确定的时间开始视频数据的接收。然而，在该状态下，仍然不显示视频。

在步骤S206中，接收装置102比较添加到所接收的视频数据的数据包中的时间戳值与接收装置102处理的时间戳值之间的差。时间戳值使得时间戳按步骤S204中暂时获得的时间水平操作，并立即在视频数据作为包发送之前，添加时间戳。

步骤S207是用于使接收装置102执行差信息的统计处理的步骤，通过计算发送与接收之间的延迟量，获得发送侧偏移多少量(就图6而言的处理163(处理191)，以及就图8而言的处理214(处理241))。

在步骤S208中，作为整个系统，接收装置102确定偏移量是否是有问题的。当偏移量没有问题时，随后执行步骤S209中的处理。

在步骤S209中，接收装置102将针对后续激活计算的偏移延迟量写入非易失性存储器。当完成步骤S209中的处理时，再次执行步骤S205中的处理。

在步骤S208中，当确定偏移延迟量没有问题时，随后执行步骤S210中的处理。在步骤S210中，接收装置102获得用于视频发送的同步(就图7而言的处理172，以及就图9而言的处理232)。

在步骤S211中，接收装置102使这种系统设定即使当显示视频时也不损坏该视频，因此接通视频的显示(就图7而言的处理173，以及就图9而言的处理233)。

在步骤S212中，接收装置102开始视频接收(就图7而言的处理174，以及就图9而言的处理234)。

当完成步骤S212中的处理时，终止初始同步处理。

[1-8、再同步处理的流程]

随后，将参照图14和图15的流程图解释再同步处理的流程的另一个实例。

当开始再同步处理时，在步骤S231中，接收装置102执行与图13的步骤S206相同的处理，并检测以确定同步定时是否与初始同步相同。

在步骤S232中，接收装置102确定是否需要再同步。当接收装置102确定接收装置102不需要执行再同步时，再次执行步骤S231中的处理。

在步骤S232中，当接收装置102确定接收装置102需要执行再同步时，随后执行步骤S233中的处理。

步骤S233至步骤S237中的每个处理以与图11的步骤S133至步骤S137中的每个处理相同的方式执行。然而，当在步骤S234中确定整个系统的初始化处理被确定为执行时，随后执行图15的步骤S241中的处理。当完成图14的步骤S236中的处理时，随后执行图15的步骤S242中的处理。此外，当完成图14的步骤S237中的处理时，随后执行图15的步骤S243中的处理。

图15的步骤S241至步骤S250中的每个处理以与图13的步骤S203至步骤S212中的每个处理相同的方式执行。

如上所述，接收装置102实现图6至图9中的每个处理。

更具体地，发送装置101和接收装置102可以以相同的方式轻松执行同步控制，不管网络电路的同步管理的STAY和用于发送的同步管理的STAY相同或不同。

[1-9、系统配置改变]

当实现上文解释的灵活的同步控制时，可以轻松改变系统配置。图16是用于解释系统配置改变的实例的示图。

例如，在如图16中所示的星型网络环境中，一种用于将视频从通信装置STA1发送至通信装置STA2的系统。

当服务开始时，在通信装置STA1与通信装置STA2之间发送图像，假设，在图像传递期间，新通信装置STA3和新通信装置STA4连接至系统。

在图16的实例中，当服务以星型拓扑开始时，网络管理单元(STA)是通信装置STA1(事例1)。在这种情况下，STA1与STA2之间的图像发送过程的交换如图8和图9中所示。

此后，假设当通信装置STA3和通信装置STA4连接时，校正拓扑，并且网络管理单元(STA)从通信装置STA1变为通信装置STA2。在这种情况下，STA1与STA2之间的图像发送过程的交换如图6和图7中所示。

如上所述，即使在服务期间，图像发送系统100的发送装置101和接收装置102找到拓扑的变化，并且可以根据要改变的网络管理单元轻松改变传递处理过程。

网络管理单元不限于本实施方式。每个链路的网络管理单元不但可以响应于拓扑的变化而且还可以响应于网络负载、拓扑、以及时刻改变的网络流量来改变。

图17A至图17C是用于解释系统配置改变的另一个实例的示图。在如图17A中所示的网格型网络环境中，将考虑用于将视频从STA发送至STA2的系统。在该实例中，在每个链路中，STA1被选择为STA1与STA3之间的网络管理单元(STA)，STA1被选择为STA1与STA4之间的网络管理单元(STA)，STA3被选择为STA3与STA4之间的网络管理单元(STA)，STA3被选择为STA3与STA2之间的网络管理单元(STA)，并且STA4被选择为STA4与STA2之间的网络管理单元(STA)。

在该环境下，视频数据从STA1发送至STA2。如图32中所示，从STA1至STA2的发送路径可以为事例1或事例2。网络路径选择方法包括主动方法和消极方法，但是在本实施方式中，使用该主动方法，首先将路径选择设为事例1。应该注意，网络管理单元的路径选择和时间管理被视为彼此不同。在发送路径被选为事例1的状态下，STA3与STA4之间的图像发送过程的交换如图8和图9中所示。在该操作期间，或当完成服务时，根据主动方法进行路径选择，并且此时，假设选择事例2。在事例2中，执行根据图17的图像传递过程。

如上所述，根据本技术，传递处理程序即使在相同拓扑中也可以根据所选的发送路径进行改变。

主动方法被解释为网络路径选择方法的实例。可替换地，网络路径选择方法可以是消极方法。仍然可替换地，可以使用这两者。

此外，在主动方法中，始终执行试图选择最佳路径，并且在一些情况下，路径可以突然变为事例2。

[1-10、确定处理的流程]

可替换地，检测环境的变化(诸如网络配置)，如上所述，并且根据该变化，可以针对讨论中的单元是配置为STAY还是Follower，做出网络电路的同步控制的确定。

将参照图18的流程图解释确定处理的流程的实例。在下文中将解释处理由发送装置101执行的情况。

在步骤S301中，当开始确定处理时，发送装置101找到通信中连接至网络的对方。在步骤S302中，发送装置101与通信中的对方交换关于网络管理的信息。

在步骤S303中，基于该信息，在网络电路的同步中，发送装置101确定发送装置101是否是STAY。当发送装置101确定发送装置101为STAY时，随后执行步骤S304中的处理。

在步骤S304中，发送装置101将网络同步设为STAY。当完成步骤S304中的处理时，终止该确定处理。

在步骤S303中，当发送装置101确定发送装置101不是STAY时，随后执行步骤S305中的处理。

在步骤S305中，发送装置101将网络同步设为Follower。当完成步骤S305中的处理时，终止该确定处理。

通过执行如上所述的确定处理，发送装置101可以根据系统配置的变化来灵活配置STAY(Follower)的设置。当处理由接收装置102执行时，执行与该处理基本上相同的处理，其中发送装置101执行该处理。更具体地，与发送装置101相同，接收装置102也可以根据系统配置的变化来灵活配置STAY(Follower)的设置。

上文解释的同步控制可以适用于任何系统，只要其是用于发送图像数据的系统即可。例如，这也可以适用于用于执行FEC处理的延迟控制的系统以便更大程度减少延迟量，如下面解释的。

<2、第二实施方式>

[2-1、延迟率实例]

过去，广泛使用用于经由诸如互联网和LAN(局域网)的各种网络传递图像数据(尤其是，运动图像数据)的应用和服务。

当经由网络发送并接收图像数据时，在许多情况下，由发送侧的编码(压缩)处理减少了数据量并将所减少的数据发送至网络，然后接收侧对编码接收数据执行解码(提取)处理以再现数据。

例如，最广为人知的图像压缩处理方法是被称为MPEG(运动图像专家组)的压缩技术。当使用MPEG压缩技术时，按照MPEG压缩技术生成的MPEG流被存储到按照IP(互联网协议)的IP数据包中，并经由网络发布。然后，使用诸如PC(个人计算机)、PDA(个人数字助理)、和蜂窝手机的通信终端接收MPEG流，并在各终端的屏幕上显示MPEG流。在这些情况下，主要用于分发图像数据的应用程序(诸如视频点播、直播视频分发、视频会议和视频电话)可以在来自发送侧的所有数据由于网络抖动而没有到达接收侧的环境下以及在接收图像数据的终端的性能彼此不同的环境下使用，并且必须将这些环境纳入考虑。

例如，从单个发送源发送的图像数据可以由具有低分辨率显示器并具有低性能CPU(中央处理器)的接收终端(诸如蜂窝手机)接收并显示。同时，图像数据还可以由具有高分辨率监视器并具有高性能处理器的接收终端(诸如台式PC)接收并显示。

如上所述，在数据包接收情况被认为按照网络连接环境而不同时，例如，被称为分级编码的技术用于以分级的方式来对发送/接收数据执行编码。例如，分级编码的图像数据选择性地保持针对具有高分辨率显示器的接收终端的编码数据以及针对具有低分辨率显示器的接收终端的编码数据，并且在分级编码的图像数据中，图像大小和图像质量可以根据接收侧的需要而改变。

能够分级编码的压缩/提取方法的实例包括基于MPEG 4和JPEG(联合图象专家组)2000的视频流。FGS(精细粒度可伸缩性)技术被计划结合到MPEG 4和配置文件中。该分级编码技术被称为能够以可伸缩的方式在低比特率至高比特率的范围内进行分发。

在基于小波(Wavelet)变换的JPEG 2000中，可以基于空间分辨率通过使用小波变换来生成数据包，或可以基于图像质量以分级的方式来生成数据包。在JPEG 2000中，分级数据可以基于不但能够处理静态图像而且还能够处理运动图像的运动JPEG 2000(第三部分)规范以文件格式进行保存。

此外，使用分级编码的数据通信的具体思想之一基于离散余弦变换(DCT)。这是一种方法，包括对(例如)要传送的图像数据应用DCT处理，通过经由DCT处理区分高区域和低区域来进行分级，生成被划分为包括高区域和低区域的层级的数据包，并因此执行数据通信。

当分发这种分级编码的图像数据时，一般来说，需要具有时效性(实时特性)，但在当前情况下，更大屏幕上的显示以及更高的图像质量往往比实时特性具有更大的优先权。

为了确保图像数据分发中的实时特性，UDP(用户数据报协议)通常被用作基于IP的通信协议。此外，RTP(实时传输协议)在UDP上方的层中使用。存储在RTP包中的数据格式符合针对应用程序限定的各个格式，更具体地，是编码方法。

通信网络使用诸如无线LAN或有线LAN、光纤通信、xDSL、电力线通信、或同轴电缆等通信方法。这些通信方法的速度逐年增加，但是通过这些通信方法发送的图像内容也成为更高的图像质量。

例如，符合现今主要使用的MPEG方法或JPEG 2000方法的典型系统的编码延迟(编码延迟+解码延迟)是两个图像或更多，并且在这种情况下，很难保证图像数据分发过程中的时效性(实时特性)足够。

因此，近来，提出了一种图像压缩方法，用于将单个图像划分为分别包括N行(N为1以上)的集，并编码每个划分集(在下文中称为行块)中的图像以减少延迟时间(在下文中称为基于行的多媒体数字信号编解码器)。

基于行的多媒体数字信号编解码器的优点不仅是延迟更短，还具有实现高速处理的能力以及减小硬件尺度，原因在于以图像压缩单位处理的信息更少。

例如，专利文献1描述了一种通信装置，其根据基于行的多媒体数字信号编解码器来对通信数据的每个行块适当地执行缺失数据的补全处理。专利文献2描述了一种图像处理装置，用于在使用基于行的多媒体数字信号编解码器时减少延迟并提高处理效率。

此外，专利文献3描述了一种发送装置，其通过发送已经历了基于行的小波变换处理的图像数据的低频率分量来抑制图像质量的劣化。

由于使用基于行的多媒体数字信号编解码器允许具有高图像质量和更短延迟的发送，因此期望在将来用于现场直播的摄像机系统。

然而，图像数据包括大量数据。因此，当经由诸如以太网(注册商标)、NGN(下一代网络)、或无线网络等通常可用的电路发送图像数据时，延迟量增加可能会破坏图像数据发送的时效性(实时特性)。

尤其是，例如，执行现场直播等的摄像机系统被要求具有数据发送的时效性。然而，由于发送高质量的运动图像数据，因此数据量较高。因此，在经由通常可用的电路进行数据发送的过程中，时效性被损坏可能仍具有高可能性程度。

此外，必须建立一种系统配置，其中，预期电路上的一定等级的误差以便应对通常可用的电路。就专用线路而言，带宽可以本地控制，但就通常可用的电路而言，无法保证电路的稳定性，因此，该误差处理几乎是不可避免的。然而，这种功能添加可能会导致发生进一步的延迟。

图19A和图19B示出了专利文献2中描述的系统中的数据发送的延迟率。在该系统中，为了实现更短延迟，缓冲延迟的量由发送侧和接收侧共用。与基于图片的编解码相比，基于行的编解码允许可以用于计算的时间更少。因此，发送缓冲等待时间+接收缓冲等待时间被配置为恒定不变，并编码不同的图像数据，改变发送/接收缓冲的等待时间之比，并执行控制使得用于发送的缓冲等待时间增加，并且接收缓冲的等待时间减少与增加的量对应的量。当发送缓冲等待时间增加时，不同图像暂时生成的大量数据可以根据系统延迟吸收。事例1至事例3示出了在根据视频数据的存储器累积的量进行分类的情况下的延迟率的实例。事例1示出了在存储器累积的量(发送数据的量)最高的情况下的延迟率。事例3示出了在存储器累积的量(发送数据的量)最低的情况下的延迟率。

然而，在单独使用多媒体数字信号编解码器实现短延迟方面有局限性，并且在如附图中所示的短延迟环境下，必须具有专门的技术来实现整个系统中的各个功能的短延迟。例如，在图19A中的电路延迟中，用于实现包丢失恢复功能的环境被视为恢复一些电路误差的功能。

一般来说，包校正功能包括两种，这两种是用于执行位误差校正的内码和用于块校正和丢失恢复功能的外码。为了使该解释在本说明书中容易理解，外码被用于解释。利用外码，经常以包为单位或以某些块为单位执行处理。外码(例如)包括里德所罗门码，LDPC(低密度奇偶校验)码，汉明码，BCH(博斯-乔赫里-霍克文黑姆)码、Raptor码、LT(卢比变换)码(商标)等等。在图19A中，将考虑仅在延迟较短时的时间段内执行包丢失恢复功能的处理的方法。要理解的是，块码可以是任何给定的方法。

首先，将考虑延迟的量以及由多媒体数字信号编解码器处理的数据的量。当发送数据的量较高时，发送侧在非常短的延迟量的范围内以预定时间段的延迟发送编码数据。与此相反，当发送数据的量较低时，发送编码数据，而基本上没有任何延迟。更具体地，在发送侧，要被发送的编码数据保持在缓冲器中长达基于发送数据的量的时间(发送缓冲等待时间)。

当解码数据时，接收侧必须具有足够的数据。出于这个原因，为了对后续区域中的大量数据做好准备，解码开始时间被控制使得发送缓冲等待时间+接收缓冲等待时间恒定。更具体地，在接收侧，将所接收的编码数据存储在缓冲器中长达基于发送缓冲等待时间的一时间(接收缓冲等待时间)。

在图19B中，在块码适于FEC(前向纠错)的情况下的操作被描述成实施方式。利用该块码，对事先确定的各数量块执行处理，因此，对接收侧来说等待是常见的直到接收侧接收此块的数据。

接收侧接收一定块(或数据包)的编码数据，并且之后，在接收奇偶校验时执行误差校正处理。因此，必须的是，接收侧需要等待与发送侧的误差校正奇偶校验插入时间段相同的时间段。

在执行编码处理的系统中，发生发送缓冲等待时间，如上所述。更具体地，发送数据量越高，就越可能获得所需块的数据。出于这个原因，在发送侧，FEC处理时间减少，发送数据的量越低，FEC处理时间往往越长。例如，在图19B中，事例1的FEC处理等待时间很可能比事例3的处理时间短。

更具体地，当排除FEC处理的电路延迟在每种情况下相同时，整个系统延迟如下：事例1的整个系统延迟为12，事例2的整个系统延迟为15，事例3的整个系统延迟为18。更具体地，当发送数据的量减少时，整个系统中的延迟量可能减少。

[2-2、图像发送系统]

因此，在发送侧适当控制FEC处理等待时间，由此抑制延迟时间增加，如上所述。

图20A和图20B是本技术适用的图像发送系统的配置的典型实例，是示出了其延迟率的实例的示图。

如图20A中所示的图像发送系统1100是本技术适用的图像处理系统，并包括发送装置1101和接收装置1102。图像发送系统1100是用于经由包括通常可用的电路的任何给定网络将编码数据从发送装置1101发送至接收装置1102的系统，其中，该编码数据是通过编码图像数据来获得。

发送装置1101是本技术适用的图像处理装置。发送装置1101将所接收的编码数据发送至接收装置1102。如图20A中所示，发送装置1101包括图像发送缓冲器1111和误差校正块长度生成单元1112。

图像发送缓冲器1111对从编码图像数据的、前级的处理单元(未示出)输入的编码数据进行累积，并以预定定时将编码数据提供给误差校正块长度生成单元1112。累积编码数据时的时间是发送缓冲器等待时间(发送缓冲延迟)。

误差校正块长度生成单元1112将奇偶校验添加到所提供的编码数据中，并将编码数据发送至接收装置1102。该误差校正块长度生成单元1112的处理时间是误差校正奇偶校验插入时间段。

接收装置1102是本技术适用的图像处理装置。接收装置1102接收已经从发送装置1101发送的编码数据。如图20A中所示，接收装置1102包括误差校正等待缓冲器1121和图像接收缓冲器1122。

误差校正等待缓冲器1121保持所接收的编码数据，直到误差校正等待缓冲器1121接收纠结处理的单元的编码数据，其是用于此的预定包(块)以及奇偶校验。当获得足够的数据时，误差校正等待缓冲器1121执行误差校正处理，并将已经校正的编码数据提供至图像接收缓冲器1122。保持编码数据的时间是误差校正延迟。

图像接收缓冲器1122保持所提供的编码数据，直到开始解码处理时的预定时间点，并且当达到预定时间点时，在执行解码处理的稍后阶段，图像接收缓冲器1122将保持在其中的编码数据提供至处理单元(未示出)。保持编码数据的时间是接收缓冲等待时间(接收缓冲延迟)。

在上文解释的图像发送系统1100中，将考虑接收缓冲等待时间(解码)和FEC接收延迟时间(FEC Rx)相同情况下的FEC处理量。在图20A和图20B中，整个系统的延迟时间经配置使得发送缓冲等待时间(编码)和接收缓冲等待时间(解码)的总和变为10。

因此，接收缓冲等待时间(解码)可以根据发送缓冲等待时间(编码)进行估计。更具体地，发送装置1101可以估计接收装置1102的接收缓冲等待时间(解码)。

当FEC接收延迟时间(FEC Rx)被设定在接收缓冲等待时间(解码)的范围内时，FEC接收延迟时间(FEC Rx)可以包含在接收缓冲等待时间(解码)中，而不提供除了导致额外等待的接收缓冲等待时间(解码)之外的FEC接收延迟时间(FEC Rx)。更具体地，误差校正等待缓冲器1121使用图像接收缓冲器1122所需的等待时间来执行FEC处理，使得FEC接收延迟时间(FEC Rx)可以包含在接收缓冲等待时间(解码)中，其可以减少整个系统的延迟量。

此外，该FEC接收延迟时间(FEC Rx)按照块长度来确定，该块长度由误差校正块长度生成单元1112设定。更具体地，发送装置1101可以设定FEC接收延迟时间(FEC Rx)。

因此，发送装置1101的误差校正块长度生成单元1112基于图像发送缓冲器1111的发送缓冲等待时间(编码)来确定FEC块的块长度，由此控制FEC接收延迟时间(FEC Rx)，使得其不大于接收缓冲等待时间(解码)。

例如，在如图20B中所示的事例1中，发送缓冲等待时间(编码)的比率为10，并且因此，接收缓冲等待时间(解码)的比率为零。因此，误差校正块长度生成单元1112设定块长度使得FEC接收延迟时间(FECRx)尽可能短。在附图中，事例1的(2)是由于FEC导致的延迟时间，但括号中的时间实际上不会导致延迟。如图23中所示，发送侧仅插入奇偶校验，并且因此，这不会导致任何实际延迟，并且在保持FEC在接收侧等待比率“2”时，开始解码，并且因此，接收缓冲等待时间被延迟“2”。

然而，在这种情况下，FEC接收处理无法在FEC接收延迟时间(FECRx)内完成。然而，发送缓冲等待时间(编码)的比率为10的情况是编码数据的量超过发送路径的带宽的状态，这会导致在发送侧等待。更具体地，这意味着发送数据的量太多，并且预计块编码的发送处理延迟(其是接收处理延迟)极小。因此，在这种情况下，即使当添加FEC接收延迟时间(FEC Rx)时，发送缓冲等待时间(编码)和接收缓冲等待时间(解码)的总和稍微增加，并且这几乎不影响整个系统的延迟量。

在图20B中的事例2中，接收缓冲等待时间(解码)的比率为5。因此，误差校正块长度生成单元1112设定块长度，使得FEC接收延迟时间(FEC Rx)等于或小于5。

此外，在图2B中的事例3中，接收缓冲等待时间(解码)的比率为10。因此，误差校正块长度生成单元1112设定块长度，使得FEC接收延迟时间(FEC Rx)等于或小于10。

如上所述，共同配置FEC接收延迟时间(FEC Rx)和接收缓冲等待时间(解码)，因此图像发送系统1100可以减少整个系统的延迟时间。

另外，可以由发送装置1101自身来执行此控制。换句话说，没有必要与接收装置1102交换信息以便实现该控制。而且，接收装置1102不需要特殊控制。更具体地，发送装置1101可以轻松减少整个系统的延迟时间。

应该注意，虽然发送缓冲等待时间(编码)根据图像的类型而改变，但是FEC块长度(FEC接收延迟时间(FEC Rx))可以基于变型范围内的最长发送缓冲等待时间(编码)来确定(更具体地，这是接收缓冲等待时间(解码)最短的情况)。

在如上的图像发送系统1100中，当使发送装置1101以与上文解释的图像发送系统100的发送装置101相同的方式执行同步定时的管理时，图像数据发送中的视频同步可以更容易控制并且延迟时间可以更容易抑制。这同样可适用于接收装置1102。更具体地，当使接收装置1102以与上文解释的图像发送系统100的接收装置102相同的方式执行同步定时的管理时，图像数据发送的视频同步可以更容易控制并且延迟时间可以更容易抑制。

<3、第三实施方式>

[3-1、图像处理系统]

上文解释的本技术不限于具有如图20A和图20B中所示的配置的系统，并且还可以适用于执行要求时效性的图像数据发送的任何给定系统。因此，系统的配置和目的不受特别限制。

例如，本技术还可以适用于体育直播和赛事直播的摄像机系统。在此摄像机系统中，由多台摄像机(图像捕获设备)捕获并拍摄的图像数据根据摄像机控制单元(CCU)的控制进行发送。

图21是示出了本技术适用的图像处理系统的配置的典型实例的示图。如图21中所示的图像处理系统1200是本技术适用的摄像机系统。图像处理系统1200包括图像捕获设备1201-1至图像捕获设备1201-3，以及CCU 1202。根据CCU 1202的控制，图像捕获设备1201-1至图像捕获设备1201-3可以经由网络1210与CCU 1202通信，该网络是通常可用的电路，并且例如，图像捕获设备1201-1至图像捕获设备1201-3可以交换图像和声音的编码数据并交换控制数据。

当不需要按照图像捕获设备1201-1至图像捕获设备1201-3彼此区别的方式解释图像捕获设备1201-1至图像捕获设备1201-3时，图像捕获设备1201-1至图像捕获设备1201-3将被简单称为图像捕获设备1201。在图21中，提供三个图像捕获设备1201。然而，图像处理系统1200可以具有任何数量的图像捕获设备1201。

例如，根据CCU 1202的控制由图像捕获设备1201-1获得的图像和声音的编码数据经由网络1210发送至CCU 1202。编码数据(例如)由CCU 1202来解码，并且(例如)在稍后阶段作为图像数据和声音数据发送至信息处理装置(未示出)，诸如编辑装置和延迟装置。

图像捕获设备1201具有监视器(显示单元)、扬声器等，图像捕获设备1201的用户(其是摄影师)利用监视器、扬声器等来检查捕获图像和广播图像，并且可以对CCU 1202发送的编码数据进行解码，在监视器上显示图像，并从扬声器输出声音。

因此，例如，CCU 1202可以将已经从图像捕获设备1201-1发送(箭头1221)的编码数据返回至图像捕获设备1201-1(箭头1222)，并且可以将编码数据发送至诸如图像捕获设备1201-2和图像捕获设备1201-3的其他图像捕获设备1201(箭头1223，和箭头1224)。

在此数据发送过程中，要求时效性以便不损坏运动图像显示和声音输出。由于整个数据发送的延迟时间可以通过应用第一实施方式中解释的本技术来减少，因此可以抑制损坏运动图像显示和声音输出。

[3-2、图像捕获设备]

图22是示出了图21的图像捕获设备1201的配置的典型实例的框图。如图22中所示，图像捕获设备1201包括图像捕获单元1301、发送单元1302、接收单元1303、和显示单元1304。

图像捕获单元1301捕获被拍摄物体的图像，并生成图像数据和声音数据。图像捕获单元1301将由此生成的图像数据和声音数据提供至发送单元1302。

发送单元1302获得并编码从图像捕获单元1301提供的图像数据(视频信号输入)和声音数据(声音信号输入)。发送单元1302将所生成的编码数据发送至CCU 1302等。

接收单元1303接收从CCU 1202等发送的图像和声音的编码数据，解码所接收的编码数据，提取图像数据和声音数据，并将图像数据和声音数据提供至显示单元1304。

显示单元1304具有用于显示图像的监视器以及用于输出声音的扬声器。显示单元1304在监视器上显示从接收单元1303提供的图像数据(视频信号输出)的图像。显示单元1304从扬声器输出从接收单元1303提供的声音数据(声音信号输出)的声音。

如图22中所示，发送单元1302包括视频编码单元1401、数据包生成单元1402、等待时间分析单元1403、音频编码单元1404、数据包生成单元1405、以及等待时间分析单元1406。发送单元1302包括多路复用单元1407、FEC奇偶校验生成单元1408、RTP数据包生成单元1409、以及FEC块长度控制单元1450。此外，发送单元1302包括非同步发送路径接口(I/F)1501、电路控制同步定时调节单元1510、以及时间戳生成单元1511。

应该注意，时钟生成单元1512和同步信号生成单元1513没有包括在发送单元1302中。另一方面，非同步发送路径接口(I/F)1501和电路控制同步定时调节单元1510共用接收单元1303。

视频编码单元1401对图像捕获单元1301输出的视频信号进行编码，并将视频信号提供至数据包生成单元1402。数据包生成单元1402将图像报头添加到所提供的编码数据中以将其制成包。

数据包生成单元1402将与介质同步的时间戳(视频控制层同步时间戳)添加到编码数据的数据包中。数据包生成单元1402将编码数据的包提供至等待时间分析单元1403。

等待时间分析单元1403基于附到数据包中的视频控制层同步时间戳来确定有多长视频数据的包存储在视频编码单元1401的发送缓冲器中。然后，等待时间分析单元1403基于确定结果来估计接收缓冲等待时间(解码)。等待时间分析单元1403将所估计的接收缓冲等待时间(解码)提供至FEC块长度控制单元1450，并将其他数据提供至多路复用单元1407。

音频编码单元1404对于从图像捕获单元1301输出的音频信号进行编码，并将音频信号提供至数据包生成单元1405。数据包生成单元1405将声音报头添加到所提供的编码数据中以将其制成包。

数据包生成单元1405还将与介质同步的时间戳(视频控制层同步时间戳)添加到编码数据的数据包中。数据包生成单元1405将编码数据的数据包提供至等待时间分析单元1406。

等待时间分析单元1406基于附到包中的视频控制层同步时间戳来确定有多长的视频数据的数据包存储在音频编码单元1404的发送缓冲器中。然后，等待时间分析单元1406基于确定结果来估计接收缓冲等待时间(解码)。等待时间分析单元1406将所估计的接收缓冲等待时间(解码)提供至FEC块长度控制单元1450，并将其他数据提供至多路复用单元1407。

多路复用单元1407对视频数据的数据包和声音数据的数据包进行多路复用以将其制成单个流。

FEC块长度控制单元1450设定FEC接收延迟时间(FEC Rx)，使得FEC接收延迟时间比等待时间分析单元1403和等待时间分析单元1406提供的接收缓冲等待时间(解码)短。然后，FEC块长度控制单元1450设定FEC块长度以便实现这种FEC接收延迟时间(FEC Rx)。FEC块长度控制单元1450为FEC奇偶校验生成单元1408提供指示已经设定了FEC块长度的信息。

当FEC奇偶校验生成单元1408获得被制成从针对已经由FEC块长度控制单元1450设定的FEC块长度的多路复用单元1407提供的包的编码数据时，FEC奇偶校验生成单元1408插入奇偶校验。利用该FEC块，只在接收到奇偶校验之后才校正数据，因此，FEC解码单元等待事先确定的块长度(直到已经接收奇偶校验数据)，然后执行计算。

图23示出了FEC数据发送的概念图。当FEC奇偶校验生成单元1408发送由FEC块长度控制单元1450设定的块长度的数据时，FEC奇偶校验生成单元1408插入奇偶校验。在图23的实例中，针对与应用数据对应的四条数据生成两个奇偶校验。FEC解码单元首先开始接收数据1，FEC解码单元只在FEC解码单元已经接收所有数据和包括奇偶校验2的奇偶校验之后才执行FEC解码处理，并且因此，必须等待接收块长度所需的时间。

当FEC奇偶校验生成单元1408插入奇偶校验时，FEC奇偶校验生成单元1408将数据提供至RTP数据包生成单元1409。

RTP数据包生成单元1409生成RTP包。时间戳生成单元1511根据电路控制同步定时调节单元1510的控制生成电路控制层同步时间戳。RTP数据包生成单元1409将电路控制层同步时间戳添加到RTP包中。RTP数据包生成单元1409将所生成的RTP包提供至非同步发送路径接口(I/F)1501。

非同步发送路径接口1501将UDP报头和IP报头添加到RTP包中，由此生成IP包。非同步发送路径接口1501将所生成的IP包输出至图像捕获设备1201的外部，并将所生成的IP包发送至CCU 1202。

如图22中所示，接收单元1303包括非同步发送路径接口(I/F))1501、电路控制同步定时调节单元1510、时钟生成单元1512、以及同步信号生成单元1513。接收单元1303包括RTP包解码单元1601、时间戳解码单元1602、解复用单元1603、FEC解码单元1604、解包器(depacketizer)1605、以及视频解码单元1606。此外，接收单元1303包括FEC解码单元1607、解包器1608、以及音频解码单元1609。

应该注意，时间戳生成单元1511不包括在接收单元1303中。非同步发送路径接口(I/F))1501和电路控制同步定时调节单元1510与发送单元1302共用。要理解的是，发送单元1302和接收单元1303可能不共用这些处理单元，而是发送单元1302和接收单元1303的每一个可以具有非同步发送路径接口(I/F))1501和电路控制同步定时调节单元1510。

从CCU 1202发送的返回视频数据包、音频数据包、以及命令数据包经由非同步发送路径接口(I/F))1501接收，并且RTP包解码单元1601检查其中的IP报头和RTP报头。随后，将包括视频数据和声音数据的RTP报头提供至时间戳解码单元1602，并且只将在RTP报头之后添加的电路控制层同步时间戳发送至时钟生成单元1512。

解复用单元1603对图像数据和声音数据进行解复用。FEC解码单元1604对图像数据的包执行FEC解码处理。FEC解码单元1604使用FEC奇偶校验生成单元1408添加的奇偶校验来恢复错误的包或丢失的包。时间戳被摄像机用来生成时钟和同步信号。

解包器1605对已经进行FEC解码的图像数据的包进行解包处理。视频解码单元1606对通过对包进行解包处理而获得的图像数据的编码数据进行解码，并将数据提供至显示单元1304作为视频信号输出。

同样，FEC解码单元1607对声音数据的包执行FEC解码处理。FEC解码单元1607使用FEC奇偶校验生成单元1408添加的奇偶校验来恢复错误的包或丢失的包。时间戳被摄像机用来生成时钟和同步信号。

解包器1608对已经进行FEC解码的声音数据的包进行解包处理。音频解码单元1609解码通过对包进行解包处理而获得的声音数据的编码数据，并将数据提供至显示单元1304作为声音信号输出。

[3-3、包的配置实例]

图24是用于解释包的配置的实例的示图。图6示出了按照被划分为图6的四个层次的单个IP包的内部配置。在最上层，IP包由IP报头和IP数据构成。IP报头(例如)包括有关基于IP协议的通信路径的控制的控制信息(诸如目的地IP地址)。

此外，IP数据由UDP报头和UDP数据构成。UDP是用于OSI参考模型(其通常用于分发时效性被认为很重要的运动图像或声音数据)的传输层的协议。UDP报头例如包括目的地端口号(其是应用识别信息)。

UDP数据进一步由RTP报头和RTP数据构成。RTP报头(例如)包括用于保证数据流的实时性的控制信息(诸如序列号)。准备电路控制层同步时间戳作为RTP报头的子信息，使得可以从时间信息中找到电路环境的延迟和抖动量。

RTP数据由图像数据和编码数据的报头(在下文中称为图像报头)构成，其中，所述编码数据是根据基于行的多媒体数字信号编解码器压缩的图像主体。准备视频控制层同步时间戳作为图像报头的子信息，使得其提供有关要由FEC块长度控制单元1450确定的块长度的信息以及可以高准确度地确定实现同步的定时所利用的信息。图像报头(例如)可以包括图片编号、行块编号(当以单个行为单位进行编码时行编号)、子带编号等。应该注意，图像报头可以被配置为进一步被划分为针对每个图片给出的图片报头和针对每个行块给出的行块报头。

应该注意，CCU 1202还具有与发送单元1302和接收单元1303相同的配置。例如，由图像捕获设备1201的发送单元1302发送的包经过网络1210，并且数据包由CCU 1202的接收单元1303接收。例如，从CCU 1202的发送单元1302发送的数据包经过网络1210，并且数据包由图像捕获设备1201的接收单元1303接收。

更具体地，例如，发送单元1302与根据第一实施方式的发送装置1101对应，并且接收单元1303与根据第一实施方式的接收装置1102对应。

例如，在发送单元1302中，视频编码单元1401和数据包生成单元1402与图像发送缓冲器1111对应，并且等待时间分析单元1403、FEC块长度控制单元1450、以及FEC奇偶校验生成单元1408与误差校正块长度生成单元1112对应。

此外，例如，在接收单元1303中，FEC解码单元1604与误差校正等待缓冲器1121对应，并且解包器1605和视频解码单元1606与图像接收缓冲器1122对应。

更具体地，FEC块长度控制单元1450设定FEC块长度，使得FEC解码单元1604的FEC接收延迟时间(FEC Rx)小于视频解码单元1606的接收缓冲等待时间(解码)。该设定使发送单元1302能够轻松减少图像数据发送过程中出现的延迟时间。

[3-4、发送处理的流程]

将参照图25的流程图来解释发送处理的流程的实例。

在步骤S1001中，当开始发送处理时，视频编码单元1401编码视频信号。另外，音频编码单元1404编码声音信号。

在步骤S1002中，数据包生成单元1402对通过编码视频信号而获得的编码数据进行解包处理。数据包生成单元1405对通过编码声音信号而获得的编码数据进行数据包化(packetize)。

在步骤S1003中，数据包生成单元1402添加视频控制层同步时间戳。

在步骤S1004中，等待时间分析单元1403推导针对视频信号的数据包的等待时间。等待时间分析单元1406还推导针对声音信号的数据包的等待时间。

在步骤S1005中，FEC块长度控制单元1450基于步骤S1004中计算的等待时间来设定FEC块长度。

在步骤S1006中，多路复用单元1407对视频信号的数据包和音频信号的数据包进行多路复用，并将视频信号的数据包和音频信号的数据包转换为单个流。

在步骤S1007中，FEC奇偶校验生成单元1408基于FEC块长度来生成奇偶校验。

在步骤S1008中，RTP数据包生成单元1409生成RTP包。

在步骤S1009中，RTP数据包生成单元1409添加电路控制层同步时间戳。

在步骤S1010中，发送单元1302的非同步发送路径接口(I/F)1501生成IP包。

在步骤S1011中，发送单元1302的非同步发送路径接口(I/F)1501发送IP包。

当完成步骤S1011中的处理时，完成发送处理。

通过执行如上所述的发送处理，发送单元1302可以抑制图像数据的整个发送的延迟时间。

[3-5、接收处理的流程]

随后，将参照图26的流程图解释接收处理的流程的实例。

在步骤S1101中，当开始接收处理时，接收单元1303的非同步发送路径接口(I/F)1501解码IP包并提取RTP包。

在步骤S1102中，RTP包解码单元1601解码RTP包。

在步骤S1103中，时间戳解码单元1602提取电路控制层同步时间戳。

在步骤S1104中，时钟生成单元1512基于所提取的电路控制层同步时间戳来生成时钟。

在步骤S1105中，同步信号生成单元1513基于所生成的时钟来生成同步信号。

在步骤S1106中，解复用单元1603对被制成单个流的视频信号的数据包和声音信号的数据包进行解复用。

在步骤S1107中，FEC解码单元1604对从声音信号进行解复用的视频信号的数据包进行误差校正解码。另一方面，FEC解码单元1607对从视频信号解复用的声音信号的数据包执行误差校正解码。

在步骤S1108中，解包器1605从视频信号的包中提取视频控制层同步时间戳。

在步骤S1109中，解包器1605对视频信号的包进行解包处理。解包器1608对声音信号的数据包进行解包处理。

在步骤S1110中，视频解码单元1606根据视频控制层同步时间戳解码视频信号的编码数据。另一方面，音频解码单元1609根据视频控制层同步时间戳解码声音信号的解码数据。

当完成步骤S1110中的处理时，完成接收处理。

通过执行如上所述的接收处理，接收单元1303可以抑制图像数据的整个发送的延迟时间。

通过执行如上所述的发送处理和接收处理，图像捕获设备1201和CCU 1202可以抑制损坏运动图片数据发送的及时性。

当使如图21中所示的图像处理系统1200的图像捕获设备1201和CCU 1202以与上文解释的图像发送系统100的发送装置101和接收发送102相同的方式执行同步定时的管理时，图像数据发送中的视频同步可以更容易控制并且延迟时间可以更容易抑制。在摄像机系统诸如图像处理系统1200中，通信环境诸如网络配置可以根据情况高可能性程度地改变。因此，当本技术适用时，可以实现更灵活的同步控制，并且可以更容易抑制延迟时间。

就如图21中所示的图像处理系统1200而言，例如，图像数据可以在图像捕获设备1201与CCU 1202之间双向发送。更具体地，图像处理系统1200包括第一视频发送序列和与此相反的方向上的第二视频序列。当本技术适用于此系统时，例如，相反方向上的第二视频发送序列可以使用从第一视频发送序列做出的同步定时来操作。如上所述，在任何给定视频发送序列中确定的同步定时用于另一个视频发送序列，使得可以更容易管理多个视频发送序列的同步。

<4、第四实施方式>

[4-1、编码单元]

应该注意，编码图像数据的方法可以是任何方法。例如，其可以是基于行的编解码，其中可以将图片划分为多个行块，并对行块的每一个进行编码。

图27示出了编码单元的配置的典型实例的框图。如图9中所示，编码单元2100包括小波变换单元2101、中间计算缓冲单元2102、系数分类缓冲单元2103、系数分类单元2104、以及熵编码单元2105的功能。

输入到编码单元2100的图像数据经由小波变换单元2101暂时累积在中间计算缓冲单元2102中。小波变换单元2101对中间计算缓冲单元2102中累积的的图像数据应用小波变换。更具体地，小波变换单元2101从中间计算缓冲单元2102中读取图像数据，使用分析滤波器来应用滤波处理以生成低频分量和高频分量的系数数据，并将所生成的系数数据存储到中间计算缓冲单元2102。

小波变换单元2101包括水平分析滤波器和垂直分析滤波器，并且分析滤波处理在图像数据组的屏幕水平方向和屏幕垂直方向上执行。小波变换单元2101再次读取存储在中间计算缓冲单元2102中的低频分量的系数数据，并基于分析滤波器将滤波处理应用于所读取的系数数据，由此进一步生成高频分量和低频分量的系数的数据。将所生成的系数数据存储在中间计算缓冲单元2102中。

小波变换单元2101重复该处理，并且当分解层次达到预定层次时，小波变换单元2101从中间计算缓冲单元2102中读取系数数据，并将所读取的系数数据写入系数分类缓冲单元2103。

系数分类单元2104根据预定顺序读取被写入系数分类缓冲单元2103的系数数据，并将系数数据提供至熵编码单元2105。熵编码单元2105根据预定方法来量化所提供的系数数据。例如，熵编码单元2105根据预定熵编码方法(诸如霍夫曼编码和算术编码)来编码所量化的系数数据。熵编码单元2105将所生成的编码数据输出至编码单元2100的外部。

图28是示出了小波变换单元2101的配置的典型实例的框图。小波变换单元2101在每次扫描原始图像的基带信号的一行时在水平方向上执行小波变换，并在每次读取一定数量的行时在垂直方向上执行小波变换。

如图28中所示的小波变换单元2101通过三个分级层次(三个层次)执行八倍分割(其是最常用的小波变换)，由此生成分级编码图像数据。

如图28中所示，小波变换单元2101包括层次1的电路单元2210、层次2的电路单元2220、以及层次3的电路单元2230。

层次1的电路单元2210包括低通滤波器2211、下采样器2212、高通滤波器2213、以及下采样器2214。

层次2的电路单元2220包括低通滤波器2221、下采样器2222、高通滤波器2223、以及下采样器2224。

层次3的电路单元2230包括低通滤波器2231、下采样器2232、高通滤波器2233、以及下采样器2234。

通过层次1的电路单元2210的低通滤波器2211(传递函数H0(z))和高通滤波器2213(传递函数H1(z))将输入图像信号划分至频带。从频带划分获得的低频分量(1L分量)和高频分量(1H分量)分别通过对应下采样器2212和下采样器2214来交织，使得分辨率变为二分之一。

通过层次2的电路单元2220的低通滤波器2221(传递函数H0(z))和高通滤波器2223(传递函数H1(z))将通过下采样器2212交织的低频分量(1L分量)的信号进一步划分为频带。从频带划分获得的低频分量(2L分量)和高频分量(2H分量)分别通过对应下采样器2222和下采样器2224来交织，使得分辨率变为二分之一。

通过层次3的电路单元2230的低通滤波器2231(传递函数H0(z))和高通滤波器2233(传递函数H1(z))将通过下采样器2232交织的低频分量(2L分量)的信号进一步划分为频带。从频带划分获得的低频分量(3L分量)和高频分量(3H分量)分别通过对应下采样器2232和下采样器2234来交织，使得分辨率变为二分之一。

如上所述，依次生成频带分量，其通过以分级的方式将低频分量频带划分为预定层次来做出。在图28中的实例中，得出通过频带划分为层次3获得的结果，其包括下采样器2214交织的高频分量(1H分量)、下采样器2224交织的高频分量(2H分量)、下采样器2234交织的高频分量(3H分量)、以及下采样器2232交织的低频分量(3L分量)。

图29是示出了作为将二维图像频带划分为层次3的结果所获得的频带分量的示图。在图29的实例中，首先，通过在层次1频带划分(水平/垂直方向)来获得四个分量1LL，1LH，1HL，1HH的子图像。在这种情况下，LL意味着水平/垂直分量都为L，LH意味着水平分量为H垂直分量为L。随后，再次对分量1LL进行频带划分，以便获得子图像2LL、2HL、2LH、2HH。此外，再次对分量2LL进行频带划分，以便获得子图像3LL、3HL、3LH、3HH。

作为如上所述重复执行的小波变换的结果，子图像在输出信号中形成分级结构。通过进一步以基于行的方式扩大此小波变换的是基于行的小波变换。

图30是示出了由基于行的小波变换的构思方式执行的变换处理的示意图。在这种情况下，例如，在每八行基带上进行垂直方向上的小波变换。

在这种情况下，假设按三层层次进行小波变换，并且对于八行，生成编码数据以使得针对最低频率3LL的子图像生成一个行，并针对后续层次的子带3H生成每个行(子图像3HL，3LH，3HH)。此外，生成编码数据以使得针对后续层次的子带2H生成每个行(子图像2HL，2LH，2HH)，并针对最高频率1H分别生成进一步的四个行(子图像1HL，1LH，1HH)。

应该注意，每个子带中的一组行将被称为区域(precinct)。更具体地，基于行的小波变换中的区域是行块形式，其是充当基于行的小波变换的编码单位的一组行。在这种情况下，编码单位具有指示充当编码处理单位的一组行的通用意义，并且不限于上文解释的基于行的小波变换。更具体地，例如，编码单位可以是已经可用的分级编码(诸如JPEG 2000和MPEG 4)中的编码处理单位。

如图30中所示，在如图30的左侧(附图中的阴影部分)所示的基带信号2301中具有八行的区域被配置为通过基于行的小波变换来变换的信号2302的1H中的每个1HL，1LH和1HH(附图中的阴影部分)的四行，2H中的每个2HL，2LH和2HH(附图中的阴影部分)的两行，以及如图12的右侧所示的每个3HL，3LH和3HH(附图中的阴影部分)的一行。

根据这种基于行的小波变换处理，可以在将单个图片分解为与拼接JPEG 2000一样的细粒度时执行处理，并且这可以减少图像数据发送和接收期间的延迟。此外，与拼接(tiling)JPEG 2000不同，基于行的小波变换基于小波系数进行划分，而不划分单个基带信号，因此，另外，基于行的小波变换具有这样的特征使得在拼接边缘不发生图像质量下降(诸如块噪声)。

当执行此基于行的多媒体数字信号编解码器的编码单元2100例如适用于如图22中所示的视频编码单元1401时，图像捕获设备1201可以实现延迟仍然更短的数据发送。

要理解的是，视频编码单元1401的编码方法可以是任何方法，并且视频编码单元1401的编码方法不限于基于行的小波变换。例如，视频编码单元1401的编码方法可以是任何编码方法(诸如已经可用的分级编码，诸如JPEG 2000和MPEG 4)。

[4-2、解码单元]

随后，将解释与如图27中所示的编码单元2100对应的解码单元。图13是示出了本发明适用的解码单元的配置的实例的框图。如图31中所示的解码单元2500解码由编码单元2100编码的编码数据以恢复图像数据。如图31中所示，解码单元2500包括熵解码单元2501、系数缓冲单元2502、以及小波逆变换单元2503。

熵解码单元2501根据与熵编码单元2105使用的编码方法对应的解码方法来解码所提供的编码数据，并获得系数数据。将系数数据存储在系数缓冲单元2502中。小波逆变换单元2503使用存储在系数缓冲单元2502中的系数数据来基于组合滤波器执行组合滤波处理(小波逆变换)以再次将组合滤波处理的结果存储在系数缓冲单元2502中。小波逆变换单元2503根据分解层次来重复该处理，并且当小波逆变换单元2503获得解码图像数据(输出图像数据)时，小波逆变换单元2503将解码图像数据(输出图像数据)输出至外部。

当执行上文解释的基于行的多媒体数字信号编解码器的解码单元2500(例如)适用于如图22中所示的视频解码单元1606时，图像捕获设备1201可以实现延迟仍然更短的数据发送。

要理解的是，视频解码单元1606的编码方法可以是任何方法，并且视频解码单元1606的编码方法不限于基于行的小波变换。例如，视频解码单元1606的编码方法可以是任何编码方法(诸如已经可用的分级编码，诸如JPEG 2000和MPEG 4)。

[4-3、发送处理的流程]

将参照图32的流程图解释编码处理的流程的实例。

在步骤S2001中，当开始编码处理时，小波变换单元2101使用中间计算缓冲单元2102和系数分类缓冲单元2103来执行小波变换，同时输入行。

在步骤S2002中，小波变换单元2101确定是否已进行了针对一个行块的处理。当小波变换单元2101确定行块中还没有经处理的行时，再次返回执行步骤S2001中的处理。

重复执行步骤S2001和步骤S2002中的处理，并且当确定行块中的所有行都已经在步骤S2002中处理时，随后执行步骤S2003中的处理。

在步骤S2003中，系数分类单元2104按预定顺序读取存储在系数分类缓冲单元2103中的系数数据，由此对系数数据进行分类。

在步骤S2104中，熵编码单元2105按步骤S2003中读取系数数据的顺序对系数数据执行熵编码。

当完成步骤S2104中的处理时，完成编码处理。

当进行编码处理时，如上所述，编码单元2100可以编码图像数据，同时延迟仍然更短。

[4-4、接收处理的流程]

将参照图33解释解码处理的流程的实例。

在步骤S2101中，当开始解码处理时，熵解码单元2501对所提供的编码数据执行熵解码。

在步骤S2102中，系数缓冲单元2502保持通过步骤S2101中的解码获得的系数数据。

在步骤S2103中，小波逆变换单元2503响应于从外部给出的请求或以预定定时读取步骤S2102中累积在系数缓冲单元2502中的系数数据。小波逆变换单元2503对读取系数数据执行小波逆变换，由此生成图像数据。

当完成步骤S2103中的处理时，完成解码处理。

当进行解码处理时，如上所述，解码单元2500可以解码图像数据，同时延迟仍然更短。

当使图像发送系统执行如第一实施方式中解释的同步控制时，同步时间管理变得容易，因此，延迟时间的控制也变得更容易。更具体地，当第一实施方式中解释的本技术适用于具有如本实施方式中解释的更短延迟的数据发送所需的系统时，其效果提高。

[4-5、其他]

当上文解释的基于行的小波变换在上文解释的每个实施方式中被常用作基于行的编解码时，通信包可以以行块的子带为单位而不以行块为单位来生成。例如，在这种情况下，接收存储器单元可以保留与从图像报头获得的行块编号和子带编号对应的存储区域，并且可以以行块的子带为单位存储被分解为频率分量的图像数据。

在这种情况下，例如，当子带(或其一部分)由于以行块为单位的解码期间的发送误差而丢失时，在行块中的子带之后可以插入虚拟数据，并且可以从后续行块中恢复普通解码。

<5、第五实施方式>

[计算机]

上述一系列处理可以通过硬件执行或可以通过软件执行。当一系列处理通过软件执行时，将构成软件的程序安装到计算机中。在这种情况下，计算机的实例包括结合到专用硬件中的计算机和能够通过安装各种程序执行各种功能的通用计算机。

图34是示出了使用程序执行上述一系列处理的计算机的硬件的配置的实例的框图。

如图34中所示的计算机3100仅配置使得CPU(中央处理器)3101、ROM(只读存储器)3102、以及RAM(随机存取存储器)3103经由总线3104相互连接。

总线3104还连接至输入/输出接口3110。输入/输出接口3110与输入单元3111、输出单元3112、存储单元3113、通信单元3114、以及驱动器3155连接。

输入单元3111例如通过键盘、鼠标、麦克风、触摸面板、输入终端等构成。输出单元3112例如通过显示器、扬声器、以及输出终端构成。存储单元3113例如通过硬盘、RAM盘、非易失性存储器构成、通信单元3114例如通过网络接口构成。驱动器3115驱动可移除介质3121诸如磁盘、光学盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，CPU 3101经由输入/输出接口3110和总线3104将存储在存储单元3113中的程序加载到RAM 3103中，并执行该程序，由此执行上文解释的一系列处理。另外，如果需要，RAM3103存储CPU 3101执行各种处理时所需的数据。

由计算机(CPU 3101)执行的程序可以被应用为记录到例如充当封装介质的可移除介质3121中。程序可以经由有线或无线发送介质诸如局域网、互联网、数字卫星广播来提供。

在计算机中，可以通过将可移除介质3121加载到驱动器3115中经由输入/输出接口3110将程序安装到存储单元3113中。可以通过接收程序利用通信单元3114经由有线或无线发送介质将程序安装到存储单元3113中。可选地，可以事先将程序安装到ROM 3102或存储单元3113中。

由计算机执行的程序可以是一种程序，处理利用该程序按时间序列根据本说明书中解释的顺序来执行，或者可以是一种程序，处理利用该程序与所需时间并行或在所需时间内执行，例如在调用时。

在该说明书中，描述记录在记录介质中的程序的步骤包括按时间序列根据所述的顺序执行的处理。步骤不一定要按时间序列执行，并且步骤包括并行或单独执行的处理。

在该说明书中，系统指的是一组多个构成元素(诸如装置、模块(组件)等)，并且与所有构成元素是否在相同外壳中无关。鉴于此，容纳在不同外壳中并经由网络相互连接的装置构成一种系统，并且具有容纳在单个外壳中的模块的单个装置也是系统。

在上述解释中被解释为设备(或处理单元)的配置可以被划分为并被构造为多个设备(或处理单元)。相反，在上述解释中被解释为多个设备(或处理单元)的配置可以被组合为并被构造为设备(或处理单元)。可选地，要理解的是，每个设备(或每个处理单元)的配置可以增设有除上述之外的任何配置。此外，当整个系统的配置和操作基本上相同时，某个设备(或处理单元)的配置的一部分可以包括在另一个设备(或另一个处理单元)的配置中。

虽然已经参照附图对本发明的优选实施方式进行了详细描述，但是本发明的技术范围不限于这些实例。将明白，本发明领域的技术人员可以设想权利要求中引用的技术思想的范围内的各种修改和校正并且要理解的是它们同样自然地属于本发明的技术范围。

例如，本技术可以被配置为云计算，其中对单个功能进行处理以使得其以协作的方式通过多个装置经由网络进行分发。

上述流程图中解释的每个步骤都可以由单个装置执行，或都可以由多个装置以分发的方式执行。

此外，在多步处理包括在单个步骤中的情况下，步骤中包括的多步处理可以由单个装置执行，或可以由多个装置以分发的方式执行。

例如，本技术对输出图像的装置是优选的，该装置在压缩、发送、接收、并提取运动图像信号、视频信号、或静止图像时输出图像。更具体地，本技术可以适用于移动通信设备、TV会议系统、监控摄录机系统、医疗远程诊断、广播站中使用的视频压缩发送、分发视频直播、学生与老师之间的互动通信、静止图像/运动图像无线发送、互动游戏应用程序等。

应该注意，本技术可以配置如下。

(1)一种信息处理装置，包括：

同步取消单元，被配置为基于图像数据发送的延迟时间取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；

调整单元，被配置为调整与所述网络的所述同步定时的同步被所述同步取消单元取消的所述图像数据的同步定时；以及

同步连接单元，被配置为将所述调整单元调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步。

(2)根据(1)所述的信息处理装置，其中，所述调整单元将所述图像数据的所述同步定时提前等同于所述延迟时间的时间。

(3)根据(1)或(2)所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元初始化所述图像数据的编码处理。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元将所述图像数据的帧的空白时间段缩短为比平时短后使所述图像数据的编码处理继续。

(5)根据(1)至(4)中任一项所述的信息处理装置，还包括网络同步获取单元，被配置为在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，与通信对方获得所述网络的所述同步定时。

(6)根据(1)至(5)中任一项所述的信息处理装置，还包括测量单元，被配置为测量所述延迟时间，

其中，所述同步取消单元基于所述测量单元测量的所述延迟时间取消发送所述图像数据的所述网络的所述同步定时与所述图像数据的所述同步定时之间的所述同步。

(7)根据(6)所述的信息处理装置，其中，所述测量单元根据同步控制拓扑和网络设置确定发送源，并使用从所述发送源发送的图像数据测量所述延迟周期。

(8)根据(1)至(7)中任一项所述的信息处理装置，还包括发送单元，被配置为根据被所述同步连接单元同步于所述网络的所述同步定时的所述图像数据的所述同步定时来发送所述图像数据。

(9)一种用于信息处理装置的信息处理方法，

其中，所述信息处理装置基于图像数据发送的延迟时间取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步，

所述信息处理装置调整与所述网络的所述同步定时的同步被取消的所述图像数据的同步定时，以及

所述信息处理装置将被调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步。

(10)一种程序，使计算机起到以下各部件的作用：

(11)一种在包括第一视频发送序列和第二视频发送序列的系统中的信息处理装置，其中，所述第一视频发送序列具有视频同步获取功能，所述信息处理装置包括：

同步取消单元，被配置为基于按照所述第一视频发送序列的图像数据发送的延迟时间，取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；

调整单元，被配置为调整与所述网络的所述同步定时的同步被所述同步取消单元取消的所述图像数据的同步定时；

同步连接单元，被配置为将所述调整单元调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步；以及

控制单元，被配置为使用从所述第一视频发送序列生成的同步定时操作不同于所述第一视频发送序列的所述第二视频发送序列。

(12)根据(11)所述的信息处理装置，其中，所述调整单元将所述图像数据的所述同步定时提前等同于所述延迟时间的时间。

(13)根据(11)或(12)的任一项所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元初始化所述图像数据的编码处理。

(14)根据(11)至(13)中任一项所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元将所述图像数据的帧的空白时间段缩短为比平时短后使所述图像数据的编码处理继续。

(15)根据(11)至(14)中任一项所述的信息处理装置，还包括网络同步获取单元，被配置为在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，与通信对方获得所述网络的所述同步定时。

(16)根据(11)至(15)中任一项所述的信息处理装置，还包括测量单元，被配置为测量所述延迟时间，

(17)根据(16)所述的信息处理装置，其中，所述测量单元根据同步控制拓扑和网络设置确定发送源，并使用从所述发送源发送的图像数据测量所述延迟周期。

(18)根据(11)至(17)中任一项所述的信息处理装置，还包括发送单元，被配置为根据被所述同步连接单元同步于所述网络的所述同步定时的所述图像数据的所述同步定时来发送所述图像数据。

(19)一种用于包括第一视频发送序列和第二视频发送序列的系统中的信息处理装置的信息处理方法，其中，所述第一视频发送序列具有视频同步获取功能，

其中，所述信息处理装置基于按照所述第一视频发送序列的图像数据发送的延迟时间，取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步；

所述信息处理装置调整与所述网络的所述同步定时的同步被取消的所述图像数据的同步定时；

所述信息处理装置将被调整的所述图像数据的所述同步定时与所述网络的所述同步定时进行同步；以及

所述信息处理装置使用从所述第一视频发送序列生成的同步定时操作不同于所述第一视频发送序列的所述第二视频发送序列。

(20)一种用于在包括第一视频发送序列和第二视频发送序列的系统中的计算机的程序，其中，所述第一视频发送序列具有视频同步获取功能，

其中，所述程序使所述计算机起到以下各项的作用：

参考符号列表

100 图像发送系统

101 发送装置

102 接收装置

111 图像时间管理单元

112 发送时间管理单元

113 网络发送时间管理单元

121 图像时间管理单元

122 发送时间管理单元

123 网络发送时间管理单元

1100 图像发送系统

1101 发送装置

1102 接收装置

1111 图像发送缓冲器

1112 纠错块长度生成单元

1121 纠错等待缓冲器

1122 图像接收缓冲器

1200 图像处理系统

1201 图像捕获设备

1202 CCU

1210 网络

1301 图像捕获单元

1302 发送单元

1303 接收单元

1304 显示单元

1401 视频编码单元

1402 数据包生成单元

1403 等待时间分析单元

1404 音频编码单元

1405 数据包生成单元

1406 等待时间分析单元

1407 多路复用单元

1408 FEC奇偶校验生成单元

1409 RTP包生成单元

1501 非同步发送路径I/F

1510 电路控制同步定时调整单元

1511 时间戳生成单元

1512 时钟生成单元

1513 同步信号生成单元

1601 RTP包解码单元

1602 时间戳解码单元

1603 解复用单元

1604 FEC解码单元

1605 解包器

1606 视频解码单元

1607 FEC解码单元

1608 解包器

1609 音频解码单元

2100 编码单元

2101 小波变换单元

2102 中间计算缓冲单元

2103 系数分类缓冲单元

2104 系数分类单元

2105 熵编码单元

2500 解码单元

2501 熵解码单元

2502 系数缓冲单元

2503 小波逆变换单元

Claims

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，其中，所述调整单元将所述图像数据的所述同步定时提前等同于所述延迟时间的时间。

3.根据权利要求1所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元初始化所述图像数据的编码处理。

4.根据权利要求1所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元将所述图像数据的帧的空白时间段缩短为比平时短后使所述图像数据的编码处理继续。

5.根据权利要求1所述的信息处理装置，进一步包括：网络同步获取单元，被配置为在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，与通信对方获得所述网络的所述同步定时。

6.根据权利要求1所述的信息处理装置，进一步包括：测量单元，被配置为测量所述延迟时间，

7.根据权利要求6所述的信息处理装置，其中，所述测量单元根据同步控制拓扑和网络设置确定发送源，并使用从所述发送源发送的图像数据测量所述延迟周期。

8.根据权利要求1所述的信息处理装置，进一步包括：发送单元，被配置为根据被所述同步连接单元同步于所述网络的所述同步定时的所述图像数据的所述同步定时来发送所述图像数据。

9.一种用于信息处理装置的信息处理方法，

其中，所述信息处理装置基于图像数据发送的延迟时间取消发送所述图像数据的网络的同步定时与所述图像数据的同步定时之间的同步，所述信息处理装置调整与所述网络的所述同步定时的同步被取消的所述图像数据的同步定时，以及

10.一种使计算机起到以下各项的作用的程序，：

11.一种在包括第一视频发送序列和第二视频发送序列的系统中的信息处理装置，其中，所述第一视频发送序列具有视频同步获取功能，所述信息处理装置包括：

12.根据权利要求11所述的信息处理装置，其中，所述调整单元将所述图像数据的所述同步定时提前等同于所述延迟时间的时间。

13.根据权利要求11所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元初始化所述图像数据的编码处理。

14.根据权利要求11所述的信息处理装置，其中，在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，所述调整单元将所述图像数据的帧的空白时间段缩短为比平时短后使所述图像数据的编码处理继续。

15.根据权利要求11所述的信息处理装置，进一步包括：网络同步获取单元，被配置为在所述图像数据的所述同步定时与所述网络的所述同步定时之间的所述同步被所述同步取消单元取消的状态下，与通信对方获得所述网络的所述同步定时。

16.根据权利要求11所述的信息处理装置，进一步包括：测量单元，被配置为测量所述延迟时间，

17.根据权利要求16所述的信息处理装置，其中，所述测量单元根据同步控制拓扑和网络设置确定发送源，并使用从所述发送源发送的图像数据测量所述延迟周期。

18.根据权利要求11所述的信息处理装置，进一步包括：发送单元，被配置为根据被所述同步连接单元同步于所述网络的所述同步定时的所述图像数据的所述同步定时来发送所述图像数据。

19.一种用于包括第一视频发送序列和第二视频发送序列的系统中的信息处理装置的信息处理方法，其中，所述第一视频发送序列具有视频同步获取功能，

20.一种用于在包括第一视频发送序列和第二视频发送序列的系统中的计算机的程序，其中，所述第一视频发送序列具有视频同步获取功能，

其中，所述程序使所述计算机起到以下各项的作用：