CN102104780A - 发送设备和方法以及接收设备和方法 - Google Patents

发送设备和方法以及接收设备和方法 Download PDF

Info

Publication number
CN102104780A
CN102104780A CN2010105918789A CN201010591878A CN102104780A CN 102104780 A CN102104780 A CN 102104780A CN 2010105918789 A CN2010105918789 A CN 2010105918789A CN 201010591878 A CN201010591878 A CN 201010591878A CN 102104780 A CN102104780 A CN 102104780A
Authority
CN
China
Prior art keywords
buffering period
transmission
coding
coded data
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105918789A
Other languages
English (en)
Inventor
久礼嘉伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102104780A publication Critical patent/CN102104780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了发送设备和方法以及接收设备和方法。图像数据被编码成编码数据。编码时缓冲时段被添加到编码数据作为编码报头信息，编码时缓冲时段是用于防止其中编码数据被与添加到编码数据的时间戳同步地解码和再现的同步再现由于图像数据的编码所引起的延迟而失败所需要的最小缓冲时段。传输时缓冲时段被添加到编码数据作为与编码报头信息不同的传输时缓冲时段，传输时缓冲时段是防止同步再现由于图像数据的编码和编码数据的传输所引起的延迟而失败所需要的最小缓冲时段。被添加了编码时缓冲时段和传输时缓冲时段的编码数据经由网络被传输至执行同步再现的另一设备。

Description

发送设备和方法以及接收设备和方法
技术领域
本发明涉及发送设备和方法以及接收设备和方法。更具体地，本发明涉及不论网络状况如何都能够以更稳定的方式提供具有减小的不必要的延迟时段的低延迟数据传输的发送设备和方法以及接收设备和方法。
背景技术
近年来，对经由互联网或任意其它传输路径来进行多媒体数据的低延迟传输的需求已经增大了。例如，可以使用这样的应用，该应用使得远程的手术人员可以在观察从手术室发送的运动图像的手术室现场的同时，操作手术室中的外科手术工具，这称为远程外科手术应用。在这样的应用中，希望以比若干帧间隔更少的延迟来传输运动图像以提高远程的外科手术工具的操作性。
在现有的流方法中，发送设备例如通过将缓冲时段或计算缓冲时段所需要的参数值写入传输格式或信令消息中来将其通知给接收终端，并且接收终端根据获得的信息来设置缓冲时段。
此外，已经提出了一种类型的虚拟标准解码器，其使用所谓的漏桶模型来说明编码率和缓冲参数的特征，并且将它们用作一组参数(R，B，F)，其中，R表示传输率，B表示缓冲器大小并且F表示初始缓冲器蓄积度(F/R是开始或初始缓冲延迟)(例如，参见：Jordi Ribas-Corbera，Member，IEEE，Philip A.Chou，Senior Member，IEEE，and Shankar L.Regunathan，″A Generalized Hypothetical Reference Decoder for H.264/AVC″IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNOLOGY，VOL.13，No.7，JULY 2003)。
初始缓冲器延迟F/R等同于缓冲时段。当发送设备将数据率平滑至与编码率不同的传输率并且通过写入多组参数(R，B，F)来发送结果数据时，接收设备可以通过指定与传输率对应的缓冲器大小来以不引起缓冲失败的稳定方式解码和再现数据。
发明内容
在以上方法中，当用作传输路径的网络的状况稳定时没有问题。然而，如果网络环境不稳定并且由于传输率、网络抖动、分组丢失等引起的变化而出现每分组的传输延迟，则根据在编码时写入传输格式的缓冲时段进行缓冲和解码再现会由于再现时缺少必要数据而引起缓冲失败。
因此，希望通过传输视频等的流数据来提供这样的同步再现，其中，缓冲时段被划分成分别被写入传输格式中的编码时缓冲时段和传输时缓冲时段，然后，执行传输，以在保持CODEC单元和传输单元的独立性的同时确保考虑了网络状况的具有最小缓冲时段(延迟)的同步再现。
根据本发明一个实施例，一种发送设备，包括：编码装置，该编码装置用于编码图像数据来生成编码数据；编码时缓冲时段添加装置，该编码时缓冲时段添加装置用于将编码时缓冲时段作为编码报头信息添加到所述编码数据，所述编码时缓冲时段是防止同步再现由于所述编码装置对所述图像数据进行编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；传输时缓冲时段添加装置，该传输时缓冲时段添加装置用于将传输时缓冲时段作为与所述编码报头信息不同的传输报头信息添加到所述编码数据，所述传输时缓冲时段是防止所述同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及发送装置，该发送装置用于经由网络向执行所述同步再现的另一设备发送所述编码数据，在所述编码数据中，已被所述编码时缓冲时段添加装置添加了包括所述编码时缓冲时段的所述编码报头信息并且已被所述传输时缓冲时段添加装置添加了包括所述传输时缓冲时段的所述传输报头信息。
该发送设备还可以包括：网络状况信息收集装置，该网络状况信息收集装置用于收集网络状况信息，所述网络状况信息是有关经由所述网络的通信的状况信息，所述网络状况信息至少包括传输率、网络抖动、分组丢失率和传输延迟；网络响应缓冲时段计算装置，该网络响应缓冲时段计算装置用于使用由所述网络状况信息收集装置收集的网络状况信息来计算网络响应缓冲时段，所述网络响应缓冲时段是防止所述同步再现由于所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及传输时缓冲时段计算装置，该传输时缓冲时段计算装置用于使用所述编码时缓冲时段和由所述网络响应缓冲时段计算装置所计算出的网络响应缓冲时段来计算所述传输时缓冲时段。
该传输时缓冲时段计算装置可以将所述编码时缓冲时段和所述网络响应缓冲时段之和设置为所述传输时缓冲时段。
该传输时缓冲时段计算装置可以选择所述编码时缓冲时段和所述网络响应缓冲时段中较大的一者。
该网络响应缓冲时段计算装置可以将网络抖动响应缓冲时段设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的增大的延迟而失败所需要的最小缓冲时段。
该发送设备还可以包括用于计算速率比响应缓冲时段的速率比响应缓冲时段计算装置，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码设备编码所述图像数据的编码率之比而失败所需要的最小缓冲时段。所述网络响应缓冲时段计算装置将由所述速率比响应缓冲时段计算装置所计算出的所述速率比响应缓冲时段设置为所述网络响应缓冲时段。
该网络响应缓冲时段计算装置可以将重传响应缓冲时段设置为所述网络响应缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段。
该网络响应缓冲时段计算装置可以将网络抖动响应缓冲时段、速率比响应缓冲时段和重传响应缓冲时段的和设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的增大的延迟而失败所需要的最小缓冲时段，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码装置编码所述图像数据的编码率之比而失败所需要的最小缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段。
该网络响应缓冲时段计算装置可以将网络抖动响应缓冲时段和重传响应缓冲时段和速率比响应缓冲时段中较大的一者设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的增大的延迟而失败所需要的最小缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码装置编码所述图像数据的编码率之比而失败所需要的最小缓冲时段。
该网络响应缓冲时段计算装置可以将网络抖动响应缓冲时段和重传响应缓冲时段中的较大者与速率比响应缓冲时段之和设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的延迟的增大而失败所需要的最小缓冲时段，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码装置编码所述图像数据的编码率之比而失败所需要的最小缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段。
该发送设备还可以包括用于计算所述编码时缓冲时段的编码时缓冲时段装置。所述编码时缓冲时段添加装置可以将由所述编码时缓冲时段计算装置计算出的所述编码时缓冲时段作为所述编码报头信息添加到所述编码数据。
该编码时缓冲时段计算装置可以将通过将所述图像数据被编码的编码率除以用来编码所述图像数据的缓冲器大小所产生的值设置为所述编码时缓冲时段。
根据本发明的另一实施例，一种发送方法，包括以下步骤：通过发送设备的编码装置，编码图像数据来生成编码数据；通过所述发送设备的编码时缓冲时段添加装置，将编码时缓冲时段作为编码报头信息添加到所述编码数据，所述编码时缓冲时段是防止同步再现由于所述编码装置对所述图像数据进行编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；通过所述发送设备的传输时缓冲时段添加装置，将传输时缓冲时段作为与所述编码报头信息不同的传输报头信息添加到所述编码数据，所述传输时缓冲时段是防止所述同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及通过所述发送设备的发送装置，经由网络向执行所述同步再现的另一设备发送所述编码数据，在所述编码数据中，已添加了包括所述编码时缓冲时段的所述编码报头信息并且已添加了包括所述传输时缓冲时段的所述传输报头信息。
根据本发明的又一实施例，一种接收设备，包括：接收装置，该接收装置用于接收经由网络传输的编码数据，所述编码数据是由另一设备通过编码图像数据生成的；编码时缓冲时段获取装置，该编码时缓冲时段获取装置用于通过从由所述接收装置接收的编码数据中提取编码时缓冲时段来获得所述编码时缓冲时段，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；传输时缓冲时段获取装置，该传输时缓冲时段获取装置用于通过从由所述接收装置接收的编码数据中提取传输时缓冲时段来获得所述传输时缓冲时段，所述传输时缓冲时段是防止所述编码数据的同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；初始缓冲延迟计算装置，该初始缓冲延迟计算装置用于使用由所述编码时缓冲时段获取装置获得的编码时缓冲时段和由所述传输时缓冲时段获取装置获得的传输时缓冲时段来计算初始缓冲延迟，所述初始缓冲延迟是防止所述同步再现失败所需要的缓冲时段的初始值；存储装置，该存储装置用于存储由所述接收装置接收的编码数据；同步控制装置，该同步控制装置用于通过控制被存储在所述存储装置中的编码数据的读出定时来控制所述同步再现；以及解码装置，该解码装置用于根据所述同步控制装置的控制来解码从所述存储装置读出的编码数据。
该初始缓冲延迟计算装置，可以在被添加到所述编码数据的传输时缓冲时段为有效时将所述传输时缓冲时段设置为所述初始缓冲延迟，并且可以在所述传输时缓冲时段为无效时将被添加到所述编码数据的编码时缓冲时段设置为所述初始缓冲延迟。
根据本发明的又一实施例，一种接收方法，包括以下步骤：通过接收设备的接收装置，接收经由网络传输的编码数据，所述编码数据是由另一设备通过编码图像数据生成的；通过所述接收设备的编码时缓冲时段获取装置，通过从接收的编码数据中提取编码时缓冲时段来获得所述编码时缓冲时段，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；通过所述接收设备的传输时缓冲时段获取装置，通过从由接收的编码数据中提取传输时缓冲时段来获得所述传输时缓冲时段，所述传输时缓冲时段是防止所述编码数据的同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；通过所述接收设备的初始缓冲延迟计算装置，使用获得的编码时缓冲时段和获得的传输时缓冲时段来计算初始缓冲延迟，所述初始缓冲延迟是防止所述同步再现失败所需要的缓冲时段的初始值；通过所述接收设备的存储装置，存储所述接收的编码数据；通过所述接收设备的同步控制装置，通过控制所存储的编码数据的读出定时来控制所述同步再现；通过所述接收设备的解码装置，根据所述控制来解码所读出的编码数据。
根据本发明的一个实施例，一种发送设备，图像数据被编码；编码数据被生成；编码时缓冲时段作为编码报头信息被添加到所述编码数据，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；传输时缓冲时段作为与所述编码报头信息不同的传输报头信息被添加到所述编码数据，所述传输时缓冲时段是防止所述同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及以添加包括所述编码时缓冲时段的所述编码报头信息和包括所述传输时缓冲时段的所述传输报头信息的编码数据被经由网络发送给执行所述同步再现的另一设备。
根据本发明另一实施例，由另一设备通过编码图像数据生成的并经由网络传输的编码数据被接收；编码时缓冲时段被从接收的编码数据中提取并被获得，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；传输时缓冲时段被从接收的编码数据中提取并被获得，所述传输时缓冲时段是防止所述编码数据的同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；初始缓冲延迟被使用所获得的编码时缓冲时段和所获得的传输时缓冲时段计算出，所述初始缓冲延迟是防止所述同步再现失败所需要的缓冲时段的初始值；所接收的编码数据被存储；所述同步再现通过控制所存储的编码数据的读出定时来控制；以及读出的编码数据根据所述控制被解码。
根据本发明的实施例，数据可以被传输。具体地，不论网络状况如何，都可以以更稳定的方式执行具有减小的不必要的延迟时段的低延迟数据传输。
附图说明
图1是图示出根据本发明一个实施例的发送/接收系统的主要元件的示例配置的框图；
图2是图示出编码单元的详细示例配置的框图；
图3是图示出子带的示例的示图；
图4是图示出行块的示图；
图5是图示出5×3滤波器的示图；
图6是图示出提升计算的示例的示图；
图7是图示出稳定状态中系数数据的输出顺序的示图；
图8是图示出系数的重新排列的示图；
图9是图示出编码时缓冲时段的示图；
图10是图示出格式修改单元的详细示例配置的框图。
图11A至图11C是图示出传输数据的示例配置的示图。
图12是图示出传输时缓冲时段的示图；
图13是图示出格式分析单元的详细示例配置的框图；
图14是图示出解码单元的详细示例配置的框图；
图15是图示出发送处理的流程的示例的流程图；
图16是图示出编码处理的流程的示例的流程图；
图17是图示出格式修改处理的流程的示例的流程图；
图18是图示出接收处理的流程的示例的流程图；
图19是图示出同步控制设置处理的流程的示例的流程图；
图20是图示出解码处理的流程的示例的流程图；
图21是图示出根据本发明第二实施例的发送/接收系统的示例配置的框图；
图22是图示出根据第二实施例的传输时缓冲时段的示例的示图；
图23是图示出根据第二实施例的发送处理的流程的示例的流程图；
图24是图示出根据本发明第三实施例的发送/接收系统的示例的流程图；
图25是图示出根据本发明一个实施例的计算机的主要元件的示例配置的框图。
具体实施方式
以下将说明本发明的实施例。将以如下顺序来进行说明：
1.第一实施例(第一发送/接收系统)
2.第二实施例(第二发送/接收系统)
3.第三实施例(第三发送/接收系统)
4.第四实施例(个人计算机)
1.第一实施例
装置配置
首先，将说明根据本发明一个实施例的包括发送设备和接收设备的发送/接收系统的配置。图1是图示出根据本发明一个实施例的发送/接收系统100的示例配置的框图。
如图1中所示，发送/接收系统100可以是对图像数据进行编码并且发送编码后的图像数据的系统，并且包括发送设备101和接收设备102。发送设备101和接收设备102经由网络103相互连接并且相互通信。
由发送设备101捕获的视频数据被编码，并且编码后的视频数据经由诸如互联网之类的网络103被发送至接收设备102，并且被同步地再现。
在发送/接收系统100中，例如可以使用互联网工程任务组(IETF)请求注解(RFC)3550中所规定的实时传输协议(RTP)/实时传输控制协议(RTCP)来发送和接收数据或者收集网络状况信息。
如图1中所示，发送设备101包括捕获单元111、编码单元112和传输单元113。
捕获单元111捕获输入图像(视频IN)来获得或生成图像数据。捕获单元111将所获得的(或所生成的)图像数据提供给编码单元112。编码单元112对图像数据进行编码来生成编码数据。编码单元112对所生成的编码数据进行平滑，并且将结果数据提供给传输单元113。
传输单元113将编码数据经由网络103传输至接收设备102。
传输单元113包括传输平滑单元121、格式修改单元122、RTP发送单元123和RTCP单元124。
传输平滑单元121临时地保存编码数据并且调节输出定时来平滑编码数据的比特率以与向接收设备102传输编码数据的传输率相匹配。
传输平滑单元121将输出的编码数据提供给格式修改单元122。
格式修改单元122确定传输时缓冲时段，并且将结果值设置在传输格式中的指定字段中，传输时缓冲时段是根据网络103的状况由数据传输引起的延迟时段，并且是从RTCP单元124获得的。
格式修改单元122在必要时以这种方式修改格式，然后将格式已被修改的编码数据提供给RTP发送单元123。
RTP发送单元123根据RTP将编码数据转换成分组，并且将获得的RTP分组发送至网络103以寻址至接收设备102。从RTP发送单元123发送的RTP分组经由网络103传输至接收设备102。
RTCP单元124根据RTCP经由网络103与接收设备102中的RTCP单元136通信，并且收集网络状况信息，网络状况信息可以是有关网络103的状况等的信息，包括发送设备101和接收设备102之间的数据传输路径中的抖动、可以执行的传输率以及分组丢失率。
网络抖动例如可以通过多次发送和接收分组来测量。依赖于网络，可以确保最大抖动值。当这样的网络用作传输路径时，可以利用最大抖动值。
RTCP单元124将所收集的信息提供给格式修改单元122。如上所述，格式修改单元122根据从RTCP单元124提供的信息来计算传输时缓冲时段。
如图1中所示，接收设备102包括RTP接收单元131、格式分析单元132、同步控制单元133、缓冲器134、解码单元135和RTCP单元136。
RTP接收单元131接收从发送设备101经由网络103传输的RTP分组。RTP接收单元131从接收到的RTP分组中提取编码数据，并且将编码数据提供给格式分析单元132。
格式分析单元132提取添加到编码数据的编码时缓冲时段和传输时缓冲时段，并且将所提取出的时段提供给同步控制单元133。格式分析单元132进一步提供处理后的编码数据以将编码数据累积在缓冲器134中。
同步控制单元133控制缓冲器134的数据输出定时。同步控制单元133使用每个编码数据中所包括的时间戳值、编码时缓冲时段和传输时缓冲时段来确定合适的缓冲时段，并且基于所确定的信息来控制缓冲器134输出编码数据的定时。
缓冲器134存储从格式分析单元132提供的编码数据。缓冲器134受同步控制单元133控制来在预定定时将所存储的编码数据提供给解码单元135。
解码单元135解码从缓冲器134提供的编码数据，并且输出所获得的编码图像数据以使得图像数据可以被同步地再现(视频OUT)。
接着，将说明每个设备的细节。首先，将说明发送设备101。
编码单元
图2是图示出图1中所图示的编码单元112的详细示例配置的框图。
在图2中，编码单元112包括图像行输入单元151、行缓冲单元152、小波变换单元153、系数行重新排列单元154、熵编码单元155、编码器内置平滑单元156和格式转换单元157。
图像行输入单元151将输入的图像数据逐行地输入行缓冲单元152来将图像数据累积在行缓冲单元152中。行缓冲单元152保存从图像行输入单元151提供的图像数据或从小波变换单元153提供的系数数据，并且在预定定时将图像数据或系数数据提供给小波变换单元153。
小波变换单元153对从行缓冲单元152提供的图像数据或系数数据执行小波变换，并且生成下一层级中的低频分量和高频分量的系数数据。
小波变换单元153将所生成的系数数据的垂直和水平的低频分量提供给行缓冲单元152以将分量保存在那儿，并且将其他分量提供给系数行重新排列单元154。如果所生成的系数数据对应于顶层，则小波变换单元153还将垂直和水平的低频分量提供给系数行重新排列单元154。
此外，当执行如下所述的提升计算时，小波变换单元153保存正被计算的数据，并且将这些数据用于下一分析滤波。小波变换单元153执行小波变换直到达到预定数目的划分级别(division level)为止。
系数行重新排列单元154从小波变换单元153接收系数数据(系数行)。系数行重新排列单元154按照小波逆变换处理的顺序重新排列系数数据(系数行)。
系数行重新排列单元154将从小波变换单元153提供的系数行保存到内置存储单元中，并且还读取所保存的系数行。在该情况中，系数行重新排列单元154按照小波逆变换处理的顺序来读取所保存的系数行，以重新排列系数行。以下将说明重新排列操作的细节。
系数行重新排列单元154将重新排列的系数数据提供给熵编码单元155。
熵编码单元155使用诸如哈夫曼编码或算术编码之类的预定熵编码方案来对从系数行重新排列单元154提供的系数数据进行编码。熵编码单元155将所生成的编码数据提供给编码器内置平滑单元156。
编码器内置平滑单元156平滑所提供的编码数据的比特率，以通过临时地保存编码数据来匹配预定编码率。编码器内置平滑单元156通过在预定定时读取所累积的编码数据来将平滑后的编码数据提供给格式转换单元157。
在该情况中，编码器内置平滑单元156计算编码时缓冲时段，并且将有关所计算出的编码时缓冲时段的信息提供给格式转换单元157，其中编码时缓冲时段是由编码单元112的编码处理引起的延迟时段。
格式转换单元157将包括从编码器内置平滑单元156提供的编码时缓冲时段的编码信息作为报头信息(编码报头信息)添加到从编码器内置平滑单元156提供的编码数据。因此，编码数据的格式被转换成传输格式。
在转换编码数据的格式之后，格式转换单元157将产生的编码数据提供给传输单元113的传输平滑单元121(图1)。
子带
接着，将说明小波变换。小波变换是这样的处理，其通过对所生成的低频分量进行递归迭代分析滤波来将图像数据划分成高空频率分量(高频分量)和低空频率分量(低频分量)，以将图像数据变换为每个频率分量的分层系数数据。在以下说明中，假定划分级别对于高频分量层级是低的，对于低频分量层级是高的。
在一个层级(划分级别)中，在水平和垂直两个方向上都执行分析滤波。因此，一个层级的系数数据(图像数据)通过使用一个层级的分析滤波被划分成四种分量。这四种分量是水平和垂直的高频分量(HH)、水平高频分量和垂直低频分量(HL)、水平低频分量和垂直高频分量(LH)和水平和垂直的低频分量(LL)。
这各个分量集称为“子带”(LL、LH、HL和HH)。
然后，对所生成的四个子带中的水平和垂直的低频分量(LL)执行下一层级的分析滤波。
这种方式的分析滤波递归迭代使得低空频带中的系数数据可以划分成更小的区域(低频分量)。因此，可以通过对这样经小波变换后的系数数据进行编码来执行有效的编码。
图3图示出通过迭代分析滤波四次被划分成13个子带(1LH、1HL、1HH、2LH、2HL、2HH、3LH、3HL、3HH、4LL、4LH、4HL和4HH)直到划分级别4的系数数据的配置。
行块
接着，将说明行块。图4是图示出行块的示图。小波变换中的分析滤波从所要处理的两行图像数据或系数数据逐行生成更上层级中4个子带的系数数据。
例如，当划分级别数为4时，如图4中的阴影线部分所示，为了逐行生成与顶部层级相对应的划分级别4的子带的系数数据，对于子带3LL需要2行，对于子带2LL需要4行，对于子带1LL需要8行。即，需要16行子带图像数据。
生成低频分量的子带的一行系数数据所需要行数的图像数据称为“行块”(或“选区”(precinct))。
例如，当划分级别数为N时，行数等于2的N次冥的子带图像数据被用来生成最低频率分量的子带的一行系数数据。这是行块的行数。
行块也表示通过对该行块的图像数据进行小波变换而获得的每个子带的系数数据集。
并且，术语“行”是指帧图像(图片)的一行的水平方向上的像素序列，或子带的一行的水平方向上的系数序列。一行系数数据也称为“系数行”。在以下说明中，用适当的表述来进行更详细的区分。
对一个系数行(一行系数数据)进行编码得到的一行编码数据也称为“代码行”。
在由小波变换单元153执行的小波变换处理中，对每两行图像数据(或系数数据)执行分析滤波。在该情况中，按照使得处理可以以尽可能慢的延迟被执行的顺序来选择两行。
更具体而言，按照使得尽可能优先地生成较高阶(较低频)子带的系数数据的顺序来选择每两行图像数据(系数数据)，并进行分析滤波。
5×3滤波器
接着，将说明分析滤波。
小波变换处理可以使用一般由低通滤波器和高通滤波器组成的滤波器组来执行。
将在使用5×3滤波器的方法的上下文中说明小波变换的具体示例。
5×3滤波器的脉冲响应(Z变换表示)用以下等式(1)和(2)中给出的低通滤波器H0(z)和高通滤波器H1(z)表示。从等式(1)和(2)中可知，低通滤波器H0(z)具有5个抽头而高通滤波器H1(z)具有3个抽头。
H0(z)＝(-1+2z-1+6z-2+2z-3-z-4)/8    (1)
H1(z)＝(-1+2z-1-z-2)/2              (2)
根据等式(1)和(2)，可以直接计算低频分量和高频分量的系数。这里，使用提升技术可以导致滤波处理中的计算量降低。
图5是图示出5×3滤波器的提升表示的示图。图5顶部的一个序列是一个输入信号序列。数据处理在屏幕上从上向下进行，并使用以下等式(3)和(4)来输出高频分量的系数(高频系数)和低频分量的系数(低频系数)：
di 1＝di 0-1/2(si 0+si+1 0)            (3)
si 1＝si 0+1/4(di-1 1+di 1)            (4)
提升计算
接着，将说明提升计算。图6是图示出使用5×3分析滤波器对轴向上的行执行的滤波的提升表示的示图。
在横向上，图示出计算步骤以及各个步骤中所生成的低频和高频系数。与图5相比较，可见，计算方法是相似的，只是水平方向变成了垂直方向。
在图像的上端，如箭头161所示，最高阶行对称地从行1扩展到虚线指示的部分，并且插补一行。如帧162所示，提升计算是使用插补行和行0和1(即总共3行)来执行的，并且系数“a”是通过步骤1的计算来生成的。这就是高频系数(H0)。
当行1、2和3被输入时，根据等式(3)使用这3行来计算下一高频系数“a”。这是高频系数(H1)。然后，根据等式(4)使用第一高频系数“a”(H0)、第二高频系数“a”(H1)和行1的系数(即，总共3个系数)的计算产生系数“b”。这是低频系数(L1)。即，如帧163所示，低频系数(L1)和高频系数(H1)是使用3行(即，行1、2和3)并使用高频系数(H0)生成的。
以下，每次两行被输入时，以类似的方式对随后的行执行以上提升计算，并且输出低频系数和高频系数。然后，如帧164所示，当低频系数(L(N-1))和高频系数(H(N-1))被生成时，以箭头165所示的方式对称地扩展高频系数(H(N-1))，并且以箭头166所示的方式执行计算。然后，生成低频分量(L(N))。
尽管图6图示出对垂直方向上的行执行滤波的示例，但是应当理解，可以以类似的方式执行水平方向上的滤波。
以上提升计算在每个层级上被执行。就这一点而言，如上所述，分析滤波是按照使得更优先地生成低频分量的方式来执行的。参考图6说明的顺序表示要经历分析滤波的数据项之间的依存关系，其与处理被实际执行的顺序不同。
一个行块的处理
接着，将说明分析滤波的执行过程。
要处理的图像数据(系数数据)按照从图片(子带)中上面的行开始的顺序来处理。每次要处理的两行图像数据(系数数据)准备好时(即，当提升计算变得可以执行时)，执行分析滤波的提升计算。应当注意，低频子带被更优先地处理。
如下所述，对每个行块使用相同的过程来重复执行分析滤波。将说明每次两行准备好时针对要经历分析滤波的行块(稳定状态行块)的分析滤波的过程。
在包括初始状态中的图片或子带的上端的行块(初始状态行块)中，分析滤波需要的行数与其他行块(稳定状态行块)需要的行数不同。然而，在初始状态行块的情况中，分析滤波的处理过程与其他行块的处理过程基本相似，因此省略对其的说明。
图7是图示出稳定状态中的系数数据的输出顺序的示图。在图7中，小波变换后的系数数据在图7中从上到下的方向上按时间顺序排列。
在稳定状态行块中，首先，行块中的顶部两行基带图像数据经历分析滤波，并且生成划分级别1的行L(从顶部开始的第L个系数行)。由于对于分析滤波而言一行系数数据是不够的，所以接下来两行基带图像数据在下一定时经历分析滤波，并且生成划分级别1的行(L+1)(从顶部开始的第(L+1)个系数行)。
此时，划分级别1的两行系数数据已准备好。然后，对划分级别1的两行系数数据执行划分级别1的分析滤波，并且生成划分级别2的行M(从顶部开始第M个系数行)。然而，因为一行的原因，划分级别2的分析滤波还没有准备好来执行。另外，由于此时划分级别1的系数数据还未准备好，所以级别1的分析滤波是不可执行的。
因此，子带图像数据的接下来两行经历分析滤波，并且生成划分级别1的行(L+2)(从顶部开始第(L+2)个系数行)。由于对于分析滤波一行系数数据是不够的，因此，子带图像数据的接下来两行经历分析滤波，并生成划分级别1的行(L+3)(从顶部开始第(L+3)个系数行)。
由于划分级别1的两行系数数据已准备好，所以之后，对划分级别1的两行系数数据执行划分级别1的分析滤波，并且生成划分级别2的行(M+1)(从顶部开始第(M+1)个系数行)。
因此，划分级别2的两行系数数据已准备好。然后，对划分级别2的两行系数数据执行划分级别2的分析滤波，并且生成划分级别3的行N(从顶部开始第N个系数行)。
随后，类似地，顺次生成划分级别1的行(L+4)(从顶部开始第(L+4)个系数行)和行(L+5)(从顶部开始第(L+5)个系数行)、划分级别2的行(M+2)(从顶部开始第(M+2)个系数行)、划分级别1的行(L+6)(从顶部开始第(L+6)个系数行)和行(L+7)(从顶部开始第(L+7)个系数行)、划分级别2的行(M+3)(从顶部开始第(M+3)个系数行)和划分级别3的行(N+1)(从顶部开始第(N+1)个系数行)。
由于划分级别3的两行系数数据已准备好，因此，对划分级别3的两行系数数据执行划分级别3的分析滤波，并且生成划分级别4的行P(从顶部开始第P个系数行)。
以以上方式，执行针对一个行块的分析滤波。即，以上过程针对每个行块被重复执行。
系数重新排列
接着，将参考图8来说明系数行重新排列单元154的系数数据重新排列。
在图8中，系数行按照要处理的顺序排列。时间在图8中从上向下进行。即，图8中所图示的系数行按照从图8的顶部开始的顺序来处理。
系数数据按照如图8左侧所示的顺序(小波变换输出顺序)从小波变换单元153输出。
系数行重新排列单元154按照如图8的右侧所示从低频分量至高频分量的顺序重新排列系数数据。
更具体而言，系数行重新排列单元154读取划分级别4的行P的系数行、划分级别3的行N的系数行、划分级别2的行M的系数行和划分级别1的行L和(L+1)的系数行，并且将所读出的系数行按照读出顺序提供给熵编码单元155。
然后，系数行重新排列单元154还读取划分级别2的行(M+1)的系数行和划分级别1的行(L+2)和(L+3)的系数行，并且将读取的系数行按照读取的顺序提供给熵编码单元155。
系数行重新排列单元154还读取划分级别3的行(N+1)的系数行，划分级别2的行(M+2)的系数行和划分级别1的行(L+4)和(L+5)的系数行，并将所读取的系数行按照读取的顺序提供给熵编码单元155。
然后，系数行重新排列单元154还读取划分级别2的行(M+3)的系数行和划分级别1的行(L+6)和(L+7)的系数行，并且将所读取的系数行按照读取的顺序提供给熵编码单元155。
熵编码单元155按照提供的顺序处理系数行。即，如图8的右侧所示，系数行按照要经历小波逆变换处理的顺序被传输给接收设备102。
接收设备102的解码单元135该顺序来组合系数行，如下所述。这使得接收设备102的解码单元135可以以不增加不必要的等待时间的低延迟来解码接收的编码数据。
编码时缓冲时段
发送设备101的捕获操作中捕获的单位可以是基于同步再现的，在同步再现中，接收设备102以与捕获时间间隔相同的间隔来执行再现。例如，捕获的单位可以是视频帧或视频帧被划分成的片段。
然而，在编码处理中，捕获的单位中编码后的数据大小一般是不均匀的。如果在传输之前执行至恒定传输率的平滑，则由于数据大小的不均匀，由平滑处理引起的延迟会依赖于捕获的单位而不同。
因此，在开始流的再现时，接收设备102在根据被设置为最大延迟的初始缓冲延迟执行缓冲之后，开始再现。因此，接收设备102也可以在不耗尽缓冲器134的情况下从初始数据再现时刻开始同步地再现随后的数据(或者能够在不引起失败的情况下执行同步再现)。
首先，将关注编码时缓冲时段。图9是图示出编码时缓冲时段的示图。在图9中，如箭头所示，时间从图9的左边向右边进行。
如图9的顶部中所示，来自熵编码单元155的代码生成输出(CODEC代码生成)在被添加与捕获时间同步的时间戳之后被输出。捕获单位的输出数据大小是不均匀的，并且通过RTP分组产生的分组的编号是不均匀的。因此，如在从图9的顶部开始的第二部分中所示，编码器内置平滑单元156执行平滑处理(CODEC内平滑后的输出)。
为了不引起同步再现的失败，希望接收设备102对编码数据执行可至少与由该编码处理引起的延迟时段对应的时段的缓冲。
即，接收设备102考虑编码时缓冲时段来确定同步再现所需要的初始缓冲延迟，其中编码时缓冲时段是由编码单元112的编码处理引起的延迟时段。
例如，熵编码单元155可以控制编码率以不会使得存储桶(bucket)上溢，其中国际电信联盟电信标准化部门(ITU-T)建议Y.1221中所规定的令牌存储桶行为中的存储桶大小被设置为编码器的预期缓冲大小B(字节)，并且存储桶速率R(bps)被设置为编码率。此外，编码器内置平滑单元156还执行与令牌存储桶行为类似的操作。
在该情况中，编码时缓冲时段Bt_codec(sec)例如可以根据如下等式(5)来确定：
Bt_codec＝B×8/R    (5)
即，编码时缓冲时段可以通过将缓冲器大小除以编码率来确定。
格式修改单元
接着，将说明图1中所图示出的格式修改单元122。图10是图示出格式修改单元122的功能的功能框图。
如图10中所示，格式修改单元122包括编码时缓冲时段获取单元201、网络状况信息获取单元202、传输时缓冲时段计算单元203和传输时缓冲时段添加单元204作为功能框。
编码时缓冲时段获取单元201获取被添加到编码数据的编码时缓冲时段。网络状况信息获取单元202获取由RTCP单元124收集的网络状况信息。
传输时缓冲时段计算单元203从由网络状况信息获取单元202获得的网络状况信息来计算传输时缓冲时段。传输时缓冲时段添加单元204将包括由传输时缓冲时段计算单元203计算出的传输时缓冲时段的信息设置到编码数据的报头中的指定字段中。
传输格式
图11A和图11C图示出传输格式的示例配置。如图11A中所示，从发送设备101传输至接收设备102的编码数据被配置为使得编码信息报头211和传输信息报头212被添加到原始代码流213。
如图11B中所示，编码信息报头211可以是包括编码时缓冲时段221的报头信息，其中写入了有关编码单元112所执行的编码处理的信息。
编码信息报头211由编码单元112的格式转换单元157生成，并被添加到代码流213。
如图11C中所示，传输信息报头212可以是包括传输时缓冲时段222的报头信息，其中写入了有关诸如网络103之类的传输路径的网络状况的信息。
传输信息报头212由格式修改单元122的传输时缓冲时段添加单元204生成，并被添加到代码流213。
编码信息报头211的编码时缓冲时段字段包含将通过对图像数据执行编码处理所生成的编码数据平滑至编码率并输出编码数据所涉及的并且预期是接收设备102所需要的缓冲时段。
此外，传输信息报头212的传输时缓冲时段字段包含传输率(其可能与编码率不同)、网络抖动、响应于分组丢失的重传延迟等涉及的并且预期是接收设备102所需要的缓冲时段。
如图11A至图11C所示，以上信息被划分到不同两条报头信息中并且分别被记录(即，编码时缓冲时段和传输时缓冲时段作为不同两条报头信息被添加到代码流213)。
因此，例如，即使要发送的编码数据被临时地存储在中继装置等中并且之后被进一步发送至另一装置(如果该处理被重复)，最后接收到编码数据并再现编码数据的接收设备102也能够根据每个延迟时段来设置恰当的缓冲时段。
传输时缓冲时段
发送设备101的传输时缓冲时段Bt_trans(sec)由传输单元113确定。传输时缓冲时段适于确定当通过编码处理或传送处理来执行同步再现时所需要的初始缓冲延迟。与上述编码时缓冲时段相对照，可以根据诸如网络103之类的传输路径的状况考虑同步再现所需要的缓冲时段(称为网络响应缓冲时段Bt_net(sec))，来确定传输时缓冲时段。
例如，如从图12顶部开始第三部分中所示，即使RTP发送单元123以预定恒定发送率(目标传输率)发送编码数据的分组，实际的传输率仍然可能依赖于诸如网络103之类的传输路径的状况而波动。
因此，如在从图12的顶部开始第四部分所示，当接收设备102接收分组时的编码数据接收率可能依赖于网络状况而波动，并且可能变得不稳定。
因此，希望不仅考虑编码时缓冲时段还考虑由网络状况中这样的波动引起的传输时缓冲时段来设置初始缓冲延迟。
当编码时缓冲时段Bt_codec和网络响应缓冲时段Bt_net(sec)相互独立时，可以根据以下等式(6)来确定传输时缓冲时段Bt_trans：
Bt_trans＝Bt_codec+Bt_net          (6)
当网络响应缓冲时段Bt_net(sec)具有包括编码时缓冲时段Bt_codec的值时，可以根据以下等式(7)来传输时缓冲时段Bt_trans：
Bt_trans＝max(Bt_codec，Bt_net)    (7)
例如，鉴于对网络抖动的响应性，可以根据以下等式(8)使用网络抖动响应缓冲时段Bt_jitter(sec)来确定网络响应缓冲时段Bt_net(sec)：
Bt_net＝Bt_jitter                  (8)
可以使用被添加到分组的时间戳值以及在相对于该分组的到达时间的某一时间段内到达的分组的方差来计算网络抖动响应缓冲时段Bt_jitter。
某一时间段的方差的最大值或移动平均值可以设置为网络抖动响应缓冲时段Bt_jitter。网络抖动可以使用例如RTCP接收报告(RTCP ReceiverReport)分组中所包括的抖动值。在该情况中，网络抖动响应缓冲时段Bt_jitter包括编码时缓冲时段Bt_codec，并且因此可以根据以上等式(7)来计算传输时缓冲时段Bt_trans。
以以上方式确定的编码时缓冲时段Bt_codec和传输时缓冲时段Bt_trans被添加作为例如如上所述传输格式中流的开始处的流信息，并且被传输。
同步控制单元
接着，将说明接收设备102。由接收设备102接收到的编码数据被格式分析单元132分析，并且编码时缓冲时段221和传输时缓冲时段222分别从编码信息报头211和传输信息报头212被提取出。提取出的信息被提供给同步控制单元133。
图13是图示出同步控制单元133的功能的功能框图。
如图13中所示，同步控制单元133包括编码时缓冲时段获取单元301、传输时缓冲时段获取单元302、初始缓冲延迟计算单元303、再现时刻设置单元304和同步处理单元305。
编码时缓冲时段获取单元301获得由格式分析单元132提取的编码时缓冲时段。传输时缓冲时段获取单元302获得由格式分析单元132提取的传输时缓冲时段。
初始缓冲延迟计算单元303根据由编码时缓冲时段获取单元301获得的编码时缓冲时段和由传输时缓冲时段获取单元302获得的传输时缓冲时段来计算同步再现必要的初始缓冲延迟。
再现时刻设置单元304根据由初始缓冲延迟计算单元303计算出的初始缓冲延迟来设置再现时刻，再现时刻是用于再现通过对编码数据进行解码所获得的解码图像的处理的开始时刻。
同步处理单元305控制从缓冲器134读出编码数据的定时，并且执行同步控制以使得基于由再现时刻设置单元304设置的再现时刻的同步再现可以被执行。
接收设备102参考被写入从发送设备101传输的编码数据中的传输格式中的编码时缓冲时段Bt_codec和传输时缓冲时段Bt_trans，并且确定同步再现所需要的初始缓冲延迟Bt_init。
初始缓冲延迟Bt_init例如可以根据以下等式(9)和(10)来确定：
Bt_init＝Bt_codec
(当Bt_trans是无效值时)(9)
Bt_init＝Bt_trans
(当Bt trans是有效值时)(10)
即，如果在传输时缓冲时段Bt_trans中设置无效值，如等式(9)所示，则初始缓冲延迟计算单元303将编码时缓冲时段Bt_codec的值设置为初始缓冲延迟Bt_init。如果传输时缓冲时段Bt_trans中设置有效值，如等式(10)中所示，则初始缓冲延迟计算单元303将传输时缓冲时段Bt_trans的值设置为初始缓冲延迟Bt_init。
再现时刻设置单元304例如将流的第一分组设置为定时限定分组，并且将被从该分组的到达时刻延迟了等于初始缓冲延迟Bt_init的时间的时刻设置为与添加到第一分组的时间戳值相对应的再现时刻。同步处理单元305使用所设置的再现时刻作为随后分组的基准，并且执行控制以在与所添加的时间戳值相同步的时刻执行再现。
通过以以上方式控制同步再现，发送/接收系统100(发送设备101和接收设备102)能够根/据网络状况以最小延迟来执行不引起同步失败的低延迟传输。
解码单元
接着，将说明解码单元135。图14是图示出解码单元135的示例配置的框图。
如图14中所示，解码单元135可以是与编码单元112对应的处理单元，并且可以被配置为使用与编码单元112中的方法对应的方法来解码由编码单元112生成的编码数据。
如图14中所示，解码单元135包括熵解码单元351、系数缓冲单元352和小波逆变换单元353。
熵解码单元351使用与由熵编码单元155使用的编码方法对应的解码方法，在同步控制单元133的控制下来解码从缓冲器134读出的编码数据，并且获得系数数据。系数数据被提供给系数缓冲单元352并被存储在其中。
小波逆变换单元353获得被存储在系数缓冲单元352中的系数数据，并且使用系数数据基于合成滤波器来执行合成滤波处理。小波逆变换单元353又将合成滤波处理的结果提供给系数缓冲单元352来将其存储在系数缓冲单元352中。
小波逆变换单元353递归迭代以上处理来获得解码后的图像数据(输出图像数据)。然后，小波逆变换单元353将所获得的节目图像数据输出至外部。
因此，解码单元135可以以低延迟来解码编码数据。
处理流程
接着，将说明上述处理的流程。
首先，将参考图15的流程图来说明由发送设备101执行的发送处理的流程的示例。
当发送处理开始时，在步骤S101中时，发送设备101的RTCP单元124经由网络103执行与接收设备102的RTCP单元136的RTCP通信，并且收集网络状况信息。
在步骤S102中，捕获单元111捕获输入图像，并且获得图像数据。
在步骤S103中，编码单元112编码在步骤S102中获得的图像数据。以下，将说明编码处理的细节。
在步骤S104中，传输单元113的传输平滑单元121根据传输率来平滑编码数据的比特率。
在步骤S105中，格式修改单元122判断要处理的编码数据是否是在代码流的开头处的报头部分。如果判定编码数据是在代码流的开头处，则处理进行到步骤S106。
在步骤S106中，格式修改单元122向编码数据添加传输信息报头，并且修改格式。以下，将说明格式修改处理的细节。当步骤S106的处理完成时，处理继续进行到步骤S107。如果在步骤S105中判定编码数据不在代码流的开头处，则处理继续进行到步骤S107。
在步骤S107中，RTP发送单元123将编码数据转换成RTP分组，并且将RTP分组发送至网络103以被寻址到接收设备102。
在步骤S108中，发送设备101判断发送处理是否结束，例如，如果输入图像的所有部分都已被处理并且判定发送处理未结束，则处理返回步骤S102，并且重复随后的处理。
如果在步骤S108中判定发送处理结束，则发送处理结束。
接着，将参考图16的流程图来说明在图15的步骤S103中执行的编码处理的流程的示例。
当编码处理开始时，在步骤S121中，在图像行输入单元151输入一行时，小波变换单元153使用行缓冲单元152来执行小波变换。
在步骤S122中，小波变换单元153判断是否已执行了针对一个行块的变换处理。如果判定已经执行了针对一个行块的变换处理，则处理返回步骤S121，并且重复随后的处理。
如果在步骤S122中判定已经执行了针对一个行块的变换处理，则处理继续进行到步骤S123。
在步骤S123中，系数行重新排列单元154将通过小波变换获得的系数数据的顺序从小波变换处理顺序改为小波逆变换处理的顺序。
在步骤是S124中，熵编码单元155执行熵编码。在步骤S125中，编码器内建平滑单元156根据编码率来执行平滑。在步骤S126中，编码器内置平滑单元156以上述方式计算编码时缓冲时段。
在步骤S 127中，格式转换单元157向编码数据添加编码时缓冲时段。
当步骤S127的处理完成时，编码处理结束。然后，处理返回图15的步骤S103，并且重复步骤S104之后的处理。
接着，将参考图17的流程图来说明图15的步骤S106中所执行的格式修改处理的流程的示例。
当格式修改处理开始时，在步骤S141中，格式修改单元122的编码时缓冲时段获取单元201参考被添加到编码数据的编码时缓冲时段，并且获得编码时缓冲时段。
在步骤S142中，网络状况信息获取单元202获得由RTCP单元124收集的网络状况信息。
在步骤S143中，传输时缓冲时段计算单元203根据在步骤S141中获得的编码时缓冲时段和在步骤S 142中获得的网络状况信息来计算传输时缓冲时段。
在步骤S144中，传输时缓冲时段添加单元204向编码数据添加在步骤S143中计算出的传输时缓冲时段。
当步骤S144的处理完成时，格式修改处理结束。然后，处理返回图15的步骤S106，并且执行步骤S107之后的处理。
通过以上述方式执行处理，发送设备101可以单独地生成编码时缓冲时段和传输时缓冲时段，将编码时缓冲时段和传输时缓冲时段作为不同的两条报头信息添加到编码数据，并且将产生的编码数据提供给接收设备102。
这允许发送设备101以更稳定的方式提供具有减少的不必要的延迟时段的低延迟数据传输，而不论网络状况如何。
接着，将参考图18来说明由接收设备102执行的接收处理的流程的示例。
当接收处理开始时，在步骤S201中，RTCP单元136与发送设备101的RTCP单元124通信，并且与收集网络状况信息的RTCP单元124协作。可替换地，RTCP单元136可以收集网络状况信息，如果必要的话。
在步骤S202，RTP接收单元131接收从发送设备101传输的RTP分组。
在步骤S203中，格式分析单元132判断从RTP分组中提取出的编码数据是否包括报头。如果判定编码数据包括报头，则处理继续进行到步骤S204。
在步骤S204中，格式分析单元132从编码数据中提取出编码时缓冲时段和传输时缓冲时段。在步骤S205中，同步控制单元133执行同步控制设置处理。以下，将说明同步控制设置处理的细节。
当步骤S205的处理完成时，处理继续进行到步骤S206。此外，如果在步骤S203中判定编码数据没有包括报头，则处理进行进行到步骤S206。
在步骤S206中，缓冲器134保存编码数据。
在步骤S207中，同步控制单元133判断是否到达同步控制定时。如果判定还未到达同步控制定时，则处理返回步骤S202，并且重复随后的处理。
如果在步骤S207中判定已经到达同步控制定时，则处理继续进行到步骤S208。
在步骤S208中，同步控制单元133控制缓冲器134来根据同步控制定时来读出编码数据并且将编码数据提供给解码单元135。
在步骤S209中，解码单元135解码编码数据。以下，将说明解码处理的细节。
在步骤S210中，解码单元135输出所生成的图像数据。
在步骤S211中，接收设备102判断接收处理是否结束。如果还有还未被处理的任何编码数据并且判定接收处理不结束，则处理返回步骤S202，并且重复步骤S203之后的处理。
如果在步骤S211中判定接收处理结束，则接收处理结束。
接着，将参考图19来说明图18的步骤S205中由同步控制单元133执行的同步控制设置处理的流程的示例。
当同步控制设置处理启动时，在步骤S231中，同步控制单元133的编码时缓冲时段获取单元301获得由格式分析单元132提取的编码时缓冲时段。
在步骤S232中，同步控制单元133的传输时缓冲时段获取单元302获得由格式分析单元132提取的传输时缓冲时段。
在步骤S233中，同步控制单元133的初始缓冲延迟计算单元303根据在步骤S231中获得的编码时缓冲时段和在步骤S232中获得的传输时缓冲时段来计算初始缓冲延迟。
在步骤S234中，同步控制单元133的再现时刻设置单元304根据在步骤S233中计算出的初始缓冲延迟来确定再现时刻，并且设置再现时刻。
当步骤S234的处理完成时，处理返回图18的步骤S205，并且执行步骤S206之后的处理。
接着，将参考图20的流程图来说明图18的步骤S209中由解码单元135执行的解码处理的流程的示例。
当解码处理启动时，在步骤S251中，熵解码单元351对编码数据进行熵解码。
在步骤S252中，系数缓冲单元352保存通过在步骤S251的处理中对编码数据进行熵解码生成的系数数据。
在步骤S253中，小波逆变换单元353恰当地从系数缓冲单元352读出系数数据，并且执行用于生成图像数据的小波逆变换。
当图像数据被生成时，解码处理结束。然后，处理返回图18的步骤S209，并且执行随后的处理。
通过以上述方式执行处理，接收设备102可以获得作为不同的两条报头信息被添加到编码数据的编码时缓冲时段和传输时缓冲时段，并且可以根据获得的缓冲时段来计算初始缓冲延迟。
这允许接收设备102以更稳定的方式提供具有减小的不必要的延迟时段的低延迟数据传输，而不论网络状况如何。
2.第二实施例
装置配置
在第一实施例中，如上所述，在发送设备101中，图像数据被编码并且作为编码数据被传输。编码处理中的编码率和传输处理中的传输率可以相互不同。
图21是图示出根据本发明另一实施例的发送/接收系统400的示例配置的框图。
图21中所图示的发送/接收系统400可以是与图1中图示出的发送/接收系统100基本相似的系统，并且可以具有相似的配置，除了用发送设备401取代发送设备101以外。
发送设备401可以是与图1图示出的发送设备101基本相似的设备，并且可以具有相似的结构。然而，与发送设备101不同，发送设备401还包括在编码单元112和传输单元113之间的存储单元411。其它配置与发送设备101的配置相似。
发送设备401基于这样的假设：由编码单元112执行的编码处理中的编码率和由传输单元113执行的数据传输中的传输率相互不同。
存储单元411可以是用于处理编码率和传输率之间的差异的缓冲器。存储单元411以与编码率对应的定时(速率)顺次存储从编码单元112输出的编码数据。
此外，存储单元411还以与传输率对应的定时(速率)顺次读出所存储的编码数据。
这里，假定网络103是稳定的并且接收设备102的初始缓冲延迟Bt_init等于编码时指定的编码时缓冲时段Bt_codec。在该情况中，例如，如果传输率是编码率的N倍(N＞1)，则可以根据以下等式(11)和(12)使用速率比响应缓冲时段Bt_rate来确定网络响应缓冲时段Bt_net(sec)：
Bt_rate＝Bt_codec/N  (11)
Bt_net＝Bt_rate      (12)
另外，也可以反映网络抖动响应缓冲时段Bt_jitter。在该情况中，可以通过将网络抖动响应缓冲时段Bt_jitter(sec)与将编码时缓冲时段Bt_codec除以传输率与编码率之比N产生的值相加来确定网络响应缓冲时段Bt_net。
传输时缓冲时段
在该情况中，在图22的底部图示出传输时缓冲时段。即，如从图22的顶部开始的第二或第三个部分中所示，如果传输率是编码率的N倍(在图22中的示例中，为两倍)，则传输时缓冲时段可以是1/N(在图22的示例中，为1/2)。
以这种方式，通过根据传输率与编码率之比来调节传输时缓冲时段，发送设备401可以以更稳定的方式提供具有减小的不必要的延迟时段的低延迟数据传输，而不论网络状况如何。
处理流程
还是在发送/接收系统400中，处理的流程与发送/接收系统100中的处理流程基本相似。然而，发送设备401将编码处理中生成的编码数据临时地保存在存储单元411中，并且之后执行数据传输。即，编码处理在执行发送处理之前被执行。
因此，在例如参考图23的流程图说明的流程中执行该情况中的发送处理。
即，取代图15中用于获得图像数据的步骤S102的处理和用于编码图像数据的步骤S103的处理，执行用于从存储单元411获得编码数据的步骤S302的处理。
其它处理与图15中的处理类似。
通过以上述方式执行处理，发送设备401和接收设备102可以执行同步再现，以使得在即使编码率和传输率相互不同时也不引起的同步失败的情况下，减小不必要的延迟时段。
3.第三实施例
装置配置
发送设备可以具有分组丢失恢复功能。例如，自动重传请求(ARQ)功能可以允许接收设备使用RTCP分组请求发送设备重传丢失的分组。
图24是图示出该情况中发送/接收系统的示例配置的框图。图24中图示出的发送/接收系统500可以是与发送/接收系统100基本相似的系统，除了发送/接收系统500具有ARQ功能以外，并且可以具有与发送/接收系统100的结构基本相似的结构。
发送/接收系统500包括发送设备501和接收设备502。
发送设备501可以是与图1中所图示的发送设备101基本相似的设备，并且可以具有相似的配置。然而，除了发送设备101的配置以外，发送设备501还包括ARQ单元525。
接收设备502可以是与图1中所图示出的接收设备102基本相似的设备，并且可以具有相似的配置。然而，除了接收设备102的配置以外，接收设备502还包括ARQ单元537。
接收设备502的ARQ单元537在分组丢失发生时，使用RTCP分组向发送设备501发布重传请求。
在经由RTCP单元124从接收设备502接收到重传请求之后，发送设备501的ARQ单元525控制RTP发送单元123来重传被请求的分组。
在该系统中，希望在初始缓冲延迟Bt_init中反映ARQ响应缓冲时段Bt_arq，其是用于等待重传分组的到达的缓冲时段。更具体而言，例如，网络响应缓冲时段Bt_net(sec)可以根据以下等式(13)来确定：
Bt_net＝Bt_arq  (13)
此外，在第一和第二实施例中所说明的抖动、传输率与编码率之比等也可以与初始缓冲延迟Bt_init相关联。
即，当网络抖动响应缓冲时段Bt_jitter、速率比响应缓冲时段Bt_rate和ARQ响应缓冲时段Bt_arq被提供时，可以根据等式(14)使用它们的组合来确定网络响应缓冲时段Bt_net。
Bt_net＝Bt_jitter+Bt_rate+Bt_arq    (14)
网络响应缓冲时段Bt_net(sec)也可以根据以下等式(15)来确定：
Bt_net＝Bt_rate+max(Bt_jitter，Bt_arq)(15)
另外，网络响应缓冲时段Bt_net(sec)也可以根据以下等式(16)来确定：
Bt_net＝max(Bt_jitter，Bt_rate，Bt_arq)(16)
这允许发送设备501和接收设备502通过使用抖动吸收功能、分组丢失恢复功能或任意其它合适的功能并根据网络103的状况，以更稳定的方式提供具有减小的不必要的延迟时段的低延迟数据传输，而不论网络状况如何。
应当理解，在初始缓冲延迟中也可以反映除了上述网络响应缓冲时段以外的其它网络响应缓冲时段。
在本发明一个实施例中，在视频等的流数据的传输和同步再现的情况中，编码时缓冲时段和传输时缓冲时段被分别写入，并且与编码版本的流数据一起被传输。这在维持编码单元和传输单元的独立性的同时确保考虑了网络状况的具有最小缓冲时段(延迟)的同步再现。
在编码时缓冲时段中，写入预期当编码数据输出被平滑成编码率并且在编码处理中被输出时接收设备102需要的缓冲时段。在传输时缓冲时段中，写入考虑了传输率、网络抖动、响应于分组丢失的重传延迟等的缓冲时段。
此外，由于编码时缓冲时段和传输时缓冲时段被分别记录，所以，即使重复将由接收在这种102获得的数据临时保存在文件中并将数据发送至另一设备的处理，最后接收到数据的接收设备也可以设置最佳的缓冲时段。
在以上说明中，编码时缓冲时段和传输时缓冲时段由发送设备计算并被提供给接收设备。这仅仅是一个示例，并且可以使用任意其它方法。例如，发送设备可以向接收设备传输有关编码的信息、网络状况信息等。然后，接收设备可以根据所传输的信息来计算编码时缓冲时段和传输时缓冲时段，并且还确定初始缓冲延迟。在该情况中，整个系统中所执行的处理与以上说明的处理基本相似，尽管在设备之间传输的信息以及执行计算的设备不相同。
4.第四实施例
个人计算机
上述处理序列可以通过硬件或软件来执行。在该情况中，例如，可以提供图25中所示的个人计算机。
在图25中，个人计算机600的中央处理单元(CPU)601根据只读存储器(ROM)602中所存储的程序或从存储单元613加载到随机访问存储器(RAM)603中的程序来执行各种处理。RAM 603也可以存储CPU 601执行各种处理所必要的数据等。
CPU 601、ROM 602和RAM 603经由总线604来相互连接。输入/输出接口610也连接到总线604。
输入/输出接口610连接到包括键盘和鼠标的输入单元611、包括诸如阴极射线管(CRT)显示器或液晶显示器(LCD)之类的显示器和扬声器的输出单元612、可由硬盘等形成的存储单元613和可由调制解调器等形成的通信单元614。通信单元614可以经由包括互联网的网络来执行通信处理。
输入/输出接口610也连接到驱动器615，必要时，驱动器615附接诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质621。必要时，从可移除介质621读出的计算机程序被安装到存储单元613中。
当上述处理序列通过软件来执行时，从网络或记录介质安装配置软件的程序。
记录介质可以例如使用图25中所示的下列设备来实现：被与设备主体相分离地分发以向用户递送程序的记录了程序的可移除介质621，例如磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器；或以结合在设备主体中的形式分发给用户并记录了程序的ROM 602或被包括在存储单元613中的硬盘；或者任意其它合适的设备。
由计算机执行的程序可以是处理根据该程序按照这里所说明的顺序以时序方式执行这样的程序，或者可以是处理根据该程序并列执行或者在必要的定时(例如，被调用时)执行这样的程序。
此外，在该说明书中，限定记录在记录介质上的程序的步骤可以包括并列地或单独地执行的处理以及按照这里所说明的顺序以时序方式执行的处理。
在该说明书中，术语“系统”是指包括多个装置(设备)的整个设备。
此外，以上在单个设备(或处理单元)的上下文中说明的配置可以划分成多个部分，并且这些部分可以配置为多个设备(或处理单元)。相反，以上在多个设备(或处理单元)的上下文中说明的配置可以添加到每个设备(或每个处理单元)的配置。另外，某一设备(或处理单元)的配置的一部分可以包括在另一设备(或另一处理单元)的配置中，如果要实现整个系统基本相同的结构或操作的话。即，本发明的实施例不限于上述实施例，并且可以在不偏离本发明的范围的情况下进行各种修改。
本申请包含与2009年12月16日于日本专利局提交的日本在先专利申请JP 2009-285039中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。
本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和更改，只要它们在所附权利要求及其等同物的范围内即可。

Claims (18)

1.一种发送设备，包括：
编码装置，所述编码装置用于编码图像数据来生成编码数据；
编码时缓冲时段添加装置，所述编码时缓冲时段添加装置用于将编码时缓冲时段作为编码报头信息添加到所述编码数据，所述编码时缓冲时段是防止同步再现由于所述编码装置对所述图像数据进行编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；
传输时缓冲时段添加装置，所述传输时缓冲时段添加装置用于将传输时缓冲时段作为与所述编码报头信息不同的传输报头信息添加到所述编码数据，所述传输时缓冲时段是防止所述同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及
发送装置，所述发送装置用于经由网络向执行所述同步再现的另一设备发送所述编码数据，在所述编码数据中，已被所述编码时缓冲时段添加装置添加了包括所述编码时缓冲时段的所述编码报头信息，并且已被所述传输时缓冲时段添加装置添加了包括所述传输时缓冲时段的所述传输报头信息。
2.根据权利要求1所述的发送设备，还包括：
网络状况信息收集装置，所述网络状况信息收集装置用于收集网络状况信息，所述网络状况信息是有关经由所述网络的通信的状况信息，所述网络状况信息至少包括传输率、网络抖动、分组丢失率和传输延迟；
网络响应缓冲时段计算装置，所述网络响应缓冲时段计算装置用于使用由所述网络状况信息收集装置收集的网络状况信息来计算网络响应缓冲时段，所述网络响应缓冲时段是防止所述同步再现由于所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及
传输时缓冲时段计算装置，所述传输时缓冲时段计算装置用于使用所述编码时缓冲时段和由所述网络响应缓冲时段计算装置所计算出的网络响应缓冲时段来计算所述传输时缓冲时段。
3.根据权利要求2所述的发送设备，其中所述传输时缓冲时段计算装置将所述编码时缓冲时段和所述网络响应缓冲时段的和设置为所述传输时缓冲时段。
4.根据权利要求2所述的发送设备，其中所述传输时缓冲时段计算装置选择所述编码时缓冲时段和所述网络响应缓冲时段中较大的一者。
5.根据权利要求2所述的发送设备，其中所述网络响应缓冲时段计算装置将网络抖动响应缓冲时段设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的延迟的增大而失败所需要的最小缓冲时段。
6.根据权利要求2所述的发送设备，还包括用于计算速率比响应缓冲时段的速率比响应缓冲时段计算装置，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码设备编码所述图像数据的编码率之比而失败所需要的最小缓冲时段，
其中，所述网络响应缓冲时段计算装置将由所述速率比响应缓冲时段计算装置所计算出的所述速率比响应缓冲时段设置为所述网络响应缓冲时段。
7.根据权利要求2所述的发送设备，其中所述网络响应缓冲时段计算装置将重传响应缓冲时段设置为所述网络响应缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段。
8.根据权利要求2所述的发送设备，其中所述网络响应缓冲时段计算装置将网络抖动响应缓冲时段、速率比响应缓冲时段和重传响应缓冲时段的和设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的增大的延迟而失败所需要的最小缓冲时段，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码装置编码所述图像数据的编码率之比而失败所需要的最小缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段。
9.根据权利要求2所述的发送设备，其中所述网络响应缓冲时段计算装置将网络抖动响应缓冲时段和重传响应缓冲时段中的较大者与速率比响应缓冲时段之和设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的增大的延迟而失败所需要的最小缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码装置编码所述图像数据的编码率之比而失败所需要的最小缓冲时段。
10.根据权利要求2所述的发送设备，其中所述网络响应缓冲时段计算装置将网络抖动响应缓冲时段、速率比响应缓冲时段和重传响应缓冲时段中最大的一者设置为所述网络响应缓冲时段，所述网络抖动响应缓冲时段是防止所述同步再现由于所述网络的网络抖动所引起的增大的延迟而失败所需要的最小缓冲时段，所述速率比响应缓冲时段是防止所述同步再现由于所述传输率与所述编码装置编码所述图像数据的编码率之比而失败所需要的最小缓冲时段，所述重传响应缓冲时段是防止所述同步再现由于重传处理所引起的延迟而失败所需要的最小缓冲时段。
11.根据权利要求1所述的发送设备，还包括用于计算所述编码时缓冲时段的编码时缓冲时段装置，
其中，所述编码时缓冲时段添加装置将由所述编码时缓冲时段计算装置计算出的所述编码时缓冲时段作为所述编码报头信息添加到所述编码数据。
12.根据权利要求11所述的发送设备，其中所述编码时缓冲时段计算装置将通过将所述图像数据被编码的编码率除以用来编码所述图像数据的缓冲器大小所产生的值设置为所述编码时缓冲时段。
13.一种发送方法，包括以下步骤：
通过发送设备的编码装置，编码图像数据来生成编码数据；
通过所述发送设备的编码时缓冲时段添加装置，将编码时缓冲时段作为编码报头信息添加到所述编码数据，所述编码时缓冲时段是防止同步再现由于所述编码装置对所述图像数据进行编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；
通过所述发送设备的传输时缓冲时段添加装置，将传输时缓冲时段作为与所述编码报头信息不同的传输报头信息添加到所述编码数据，所述传输时缓冲时段是防止所述同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及
通过所述发送设备的发送装置，经由网络向执行所述同步再现的另一设备发送所述编码数据，在所述编码数据中，已添加了包括所述编码时缓冲时段的所述编码报头信息并且已添加了包括所述传输时缓冲时段的所述传输报头信息。
14.一种接收设备，包括：
接收装置，所述接收装置用于接收经由网络传输的编码数据，所述编码数据是由另一设备通过编码图像数据生成的；
编码时缓冲时段获取装置，所述编码时缓冲时段获取装置用于通过从由所述接收装置接收的编码数据中提取编码时缓冲时段来获得所述编码时缓冲时段，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；
传输时缓冲时段获取装置，所述传输时缓冲时段获取装置用于通过从由所述接收装置接收的编码数据中提取传输时缓冲时段来获得所述传输时缓冲时段，所述传输时缓冲时段是防止所述编码数据的同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；
初始缓冲延迟计算装置，所述初始缓冲延迟计算装置用于使用由所述编码时缓冲时段获取装置获得的编码时缓冲时段和由所述传输时缓冲时段获取装置获得的传输时缓冲时段来计算初始缓冲延迟，所述初始缓冲延迟是防止所述同步再现失败所需要的缓冲时段的初始值；
存储装置，所述存储装置用于存储由所述接收装置接收的编码数据；
同步控制装置，所述同步控制装置用于通过控制被存储在所述存储装置中的编码数据的读出定时来控制所述同步再现；以及
解码装置，所述解码装置用于根据所述同步控制装置的控制来解码从所述存储装置读出的编码数据。
15.根据权利要求14所述的接收设备，其中所述初始缓冲延迟计算装置，在被添加到所述编码数据的传输时缓冲时段为有效时将所述传输时缓冲时段设置为所述初始缓冲延迟，并且在所述传输时缓冲时段为无效时将被添加到所述编码数据的编码时缓冲时段设置为所述初始缓冲延迟。
16.一种接收方法，包括以下步骤：
通过解码设备的接收装置，接收经由网络传输的编码数据，所述编码数据是由另一设备通过编码图像数据生成的；
通过所述解码设备的编码时缓冲时段获取装置，通过从接收的编码数据中提取编码时缓冲时段来获得所述编码时缓冲时段，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；
通过所述解码设备的传输时缓冲时段获取装置，通过从由接收的编码数据中提取传输时缓冲时段来获得所述传输时缓冲时段，所述传输时缓冲时段是防止所述编码数据的同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；
通过所述解码设备的初始缓冲延迟计算装置，使用获得的编码时缓冲时段和获得的传输时缓冲时段来计算初始缓冲延迟，所述初始缓冲延迟是防止所述同步再现失败所需要的缓冲时段的初始值；
通过所述解码设备的存储装置，存储所述接收的编码数据；
通过所述解码设备的同步控制装置，通过控制所存储的编码数据的读出定时来控制所述同步再现；
通过所述解码设备的解码装置，根据所述控制来解码所读出的编码数据。
17.一种发送设备，包括：
编码单元，所述编码单元被配置为用于编码图像数据来生成编码数据；
编码时缓冲时段添加单元，所述编码时缓冲时段添加单元被配置为将编码时缓冲时段作为编码报头信息添加到所述编码数据，所述编码时缓冲时段是防止同步再现由于所述编码单元对所述图像数据进行编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；
传输时缓冲时段添加单元，所述传输时缓冲时段添加单元被配置为将传输时缓冲时段作为与所述编码报头信息不同的传输报头信息添加到所述编码数据，所述传输时缓冲时段是防止所述同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；以及
发送单元，所述发送单元被配置为经由网络向执行所述同步再现的另一设备发送所述编码数据，在所述编码数据中，已被所述编码时缓冲时段添加单元添加了包括所述编码时缓冲时段的所述编码报头信息并且已被所述传输时缓冲时段添加单元添加了包括所述传输时缓冲时段的所述传输报头信息。
18.一种接收设备，包括：
接收单元，所述接收单元被配置为接收经由网络传输的编码数据，所述编码数据是由另一设备通过编码图像数据生成的；
编码时缓冲时段获取单元，所述编码时缓冲时段获取单元被配置为通过从由所述接收单元接收的编码数据中提取编码时缓冲时段来获得所述编码时缓冲时段，所述编码时缓冲时段是防止同步再现由于所述图像数据的编码所引起的延迟而失败所需要的最小缓冲时段，其中在所述同步再现中，所述编码数据被与添加到所述编码数据的时间戳同步地解码和再现；
传输时缓冲时段获取单元，所述传输时缓冲时段获取单元被配置为通过从由所述接收单元接收的编码数据中提取传输时缓冲时段来获得所述传输时缓冲时段，所述传输时缓冲时段是防止所述编码数据的同步再现由于所述图像数据的编码和所述编码数据的传输所引起的延迟而失败所需要的最小缓冲时段；
初始缓冲延迟计算单元，所述初始缓冲延迟计算单元被配置为使用由所述编码时缓冲时段获取单元获得的编码时缓冲时段和由所述传输时缓冲时段获取单元获得的传输时缓冲时段来计算初始缓冲延迟，所述初始缓冲延迟是防止所述同步再现失败所需要的缓冲时段的初始值；
存储单元，所述存储单元被配置为存储由所述接收单元接收的编码数据；
同步控制单元，所述同步控制单元被配置为通过控制被存储在所述存储单元中的编码数据的读出定时来控制所述同步再现；以及
解码单元，所述解码单元被配置为根据所述同步控制单元的控制来解码由所述存储单元读出的编码数据。
CN2010105918789A 2009-12-16 2010-12-09 发送设备和方法以及接收设备和方法 Pending CN102104780A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009285039A JP5482178B2 (ja) 2009-12-16 2009-12-16 送信装置および方法、並びに、受信装置および方法
JP2009-285039 2009-12-16

Publications (1)

Publication Number Publication Date
CN102104780A true CN102104780A (zh) 2011-06-22

Family

ID=43927973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105918789A Pending CN102104780A (zh) 2009-12-16 2010-12-09 发送设备和方法以及接收设备和方法

Country Status (4)

Country Link
US (1) US8675728B2 (zh)
EP (1) EP2337306B1 (zh)
JP (1) JP5482178B2 (zh)
CN (1) CN102104780A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103947215A (zh) * 2011-09-23 2014-07-23 韩国电子通信研究院 用于活动画面专家组媒体传输系统的传送媒体数据的方法和设备、以及接收媒体数据的设备和方法
CN106470291A (zh) * 2015-08-19 2017-03-01 飞思卡尔半导体公司 从音频/视频解码器中的时间同步中的中断中恢复
CN109151611A (zh) * 2018-09-21 2019-01-04 深圳市璇玑实验室有限公司 基于rtp/rtcp的hevc实时视频传输控制方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
US20120311173A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Dynamic Wireless Channel Selection And Protocol Control For Streaming Media
WO2013009132A2 (ko) * 2011-07-13 2013-01-17 한국전자통신연구원 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
GB2495928B (en) * 2011-10-25 2016-06-15 Skype Jitter buffer
GB2495929B (en) 2011-10-25 2014-09-03 Skype Jitter buffer
GB2520867B (en) 2011-10-25 2016-05-18 Skype Ltd Jitter buffer
WO2015011841A1 (ja) * 2013-07-26 2015-01-29 富士通株式会社 符号化装置、符号化方法、および符号化プログラム
KR101506598B1 (ko) 2013-11-29 2015-03-27 현대모비스 주식회사 차량간 통신을 위한 통신 장치
JP6533761B2 (ja) * 2016-05-18 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN106210443B (zh) * 2016-08-31 2019-05-24 广东省广告集团股份有限公司 网络控制显示内容同步的方法
CN112822502B (zh) * 2020-12-28 2022-06-07 阿里巴巴（中国）有限公司 直播去抖动的智能缓存与直播方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717936A (zh) * 2002-11-29 2006-01-04 索尼株式会社 编码设备和方法
US20060109856A1 (en) * 2004-11-24 2006-05-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
CN1934865A (zh) * 2004-02-13 2007-03-21 诺基亚公司 调整编码器和解码器中缓冲器的大小
US20080162862A1 (en) * 2005-12-02 2008-07-03 Yoshiki Matsumoto Signal Processing Apparatus and Signal Processing Method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566208A (en) * 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
KR100203710B1 (ko) * 1996-04-30 1999-06-15 전주범 비트 발생량 조절기능을 갖는 영상 부호화 시스템
FI118830B (fi) * 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
WO2004008673A2 (en) * 2002-07-16 2004-01-22 Nokia Corporation Method for enabling packet transfer delay compensation in multimedia streaming
JP2007027813A (ja) * 2005-07-12 2007-02-01 Sharp Corp 通信システム
JP2009285039A (ja) 2008-05-28 2009-12-10 Hitachi Maxell Ltd 生体情報取得装置、生体認証装置、及び画像取得装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717936A (zh) * 2002-11-29 2006-01-04 索尼株式会社 编码设备和方法
CN1934865A (zh) * 2004-02-13 2007-03-21 诺基亚公司 调整编码器和解码器中缓冲器的大小
US20060109856A1 (en) * 2004-11-24 2006-05-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US20080162862A1 (en) * 2005-12-02 2008-07-03 Yoshiki Matsumoto Signal Processing Apparatus and Signal Processing Method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103947215A (zh) * 2011-09-23 2014-07-23 韩国电子通信研究院 用于活动画面专家组媒体传输系统的传送媒体数据的方法和设备、以及接收媒体数据的设备和方法
CN103947215B (zh) * 2011-09-23 2018-07-27 韩国电子通信研究院 传送媒体数据的方法和设备、接收媒体数据的设备和方法
CN106470291A (zh) * 2015-08-19 2017-03-01 飞思卡尔半导体公司 从音频/视频解码器中的时间同步中的中断中恢复
CN109151611A (zh) * 2018-09-21 2019-01-04 深圳市璇玑实验室有限公司 基于rtp/rtcp的hevc实时视频传输控制方法
CN109151611B (zh) * 2018-09-21 2020-09-08 深圳市璇玑实验室有限公司 基于rtp/rtcp的hevc实时视频传输控制方法

Also Published As

Publication number Publication date
JP5482178B2 (ja) 2014-04-23
EP2337306B1 (en) 2012-09-19
EP2337306A1 (en) 2011-06-22
US8675728B2 (en) 2014-03-18
JP2011130065A (ja) 2011-06-30
US20110142140A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
CN102104780A (zh) 发送设备和方法以及接收设备和方法
CN103069835B (zh) 信息处理装置和方法
CN102378003A (zh) 信息处理装置和方法以及程序
CN1756369B (zh) 在带宽有限网络上的媒体速率变换
CN101754018B (zh) 信息处理器及其方法
JP4883076B2 (ja) 情報処理装置および方法
US8527846B2 (en) Information processing device, method and program
CN102100082A (zh) 信息处理设备和方法
KR100995201B1 (ko) Ｆｇｓ/ｐｆｇｓ 비디오 비트스트림들의 패킷화를 위한 방법, 시스템, 컴퓨터 판독가능 기록 매체
JP5240513B2 (ja) 情報処理装置および方法
JP2007142614A (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
WO2011037049A1 (ja) 画像処理装置および方法
US20040146209A1 (en) Image processing apparatus
WO2013154024A1 (ja) 情報処理装置および方法、並びに、プログラム
WO2013154025A1 (ja) 情報処理装置および方法、並びに、プログラム
CN102158695A (zh) 图像处理设备和方法
JP2011147050A (ja) 画像処理装置および方法
JP2011071649A (ja) 画像処理装置および方法
JP2005117156A (ja) データ処理装置
JP4090978B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110622