CN102100082A - 信息处理设备和方法 - Google Patents

信息处理设备和方法 Download PDF

Info

Publication number
CN102100082A
CN102100082A CN2010800021008A CN201080002100A CN102100082A CN 102100082 A CN102100082 A CN 102100082A CN 2010800021008 A CN2010800021008 A CN 2010800021008A CN 201080002100 A CN201080002100 A CN 201080002100A CN 102100082 A CN102100082 A CN 102100082A
Authority
CN
China
Prior art keywords
frame
rate
rate conversion
timestamp
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800021008A
Other languages
English (en)
Inventor
久礼嘉伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102100082A publication Critical patent/CN102100082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及能够以更可靠的方式实现图像的低延迟发送同步重放的信息处理设备和方法。发送装置101的时间戳控制单元114执行时间戳值的调节，其中根据帧速率的变化(帧删减率等)将平滑单元115对发送速率的平滑考虑进来，以防止在接收装置102处重放期间图像失败。同步控制单元142利用与附加了编码数据的更新后的时间戳值相对应的时间点来计算同步重放时间点。本发明可以应用于图像发送系统。

Description

信息处理设备和方法
技术领域
本发明涉及信息处理设备和方法，更具体来说，涉及可以以更可靠的方式实现图像的低延迟发送同步重放的信息处理设备和方法。
背景技术
最近，对通过因特网或其他传输路径传输多媒体数据的需求增加了。例如，有一种所谓的远程外科手术应用，其用于在观看从手术室通过运动图像传输的外科手术的场景的同时，从远程位置操作手术室的手术器具。利用这种应用，为了抑制远程位置处的手术器具的可操作性的降低，需要以低于数帧间隔的延迟来传输运动图像。
针对这种需求，例如，已经提出了一种方法，其中，运动图像的每个画面的每数行(作为压缩编码块)，通过小波变换执行压缩编码(例如，见PTL 1)。利用根据该PTL 1的方法，可以在不等到输入了画面内的所有数据的情况下开始压缩编码。换句话说，在通过网络传输压缩数据并且在接收侧对压缩数据进行解码的情况下，可以在接收到画面内的所有数据之前开始解码处理。因此，如果网络传播延迟足够小，可以执行具有低于帧间隔的低延迟的实时运动图像传输(低延迟发送)。
至于数据传输技术，作为适于用于在对由摄取设备等获得或生成的运动图像进行编码时传输该运动图像的实时运动图像传输(低延迟发送)的因特网技术的示例，存在由IETF(英特网工作组)RFC(Request for Comment)3550规定的RTP(实时传输协议)。利用根据RTP的数据传输，预先将时间戳附加到分组，作为时间信息，由此，识别发送侧与接收侧之间的时间关系。由此，可以实现没有分组传输的延迟波动(抖动)的接收影响的重放同步(同步重放)。
注意，经由因特网的传输没有确保传输频带，因此例如IETF RFC3448″TCP(Transmission Control Protocol)Friendly Rate Control(TFRC)：Protocol Specification″中所示的速率控制处理使得能够实现用于在监控网络的拥塞程度的同时将发送速率调节到最优速率的处理。
顺便指出，对于运动图像数据的传输，有必要将运动图像的编码速率动态调节到通过速率控制机制计算出的规定速率。编码速率调节方法的示例包括图像质量、帧速率以及分辨率。哪个方法适合于调节编码速率依赖于应用等。例如，在图像的图像尺寸(分辨率)相对大且固定，并且通过速率控制针对其分辨率制定低速率的情况下，与针对图像质量设定值的调节相比，对帧速率的调节会使得用户感觉到高质量。在这种情况下，期望通过帧速率调节对编码速率执行调节。
低延迟发送是指在由摄取设备摄取到运动图像的每个画面的所有数据之前开始传输(在编码之后)，以按低于帧间隔的延迟来执行数据传输。此外，同步重放是指在接收装置接收从发送侧发送的数据的同时，对该数据进行解码和播放，以执行同步图像显示(输出)。也就是说，低延迟发送同步重放是指发送装置和接收装置执行这些操作。
例如，让我们考虑如下情况：根据PTL 1中描述的压缩编码和解码方法，发送装置对捕获的运动图像数据进行压缩编码，将其发送到接收装置，接收装置对该数据进行解码，以播放该图像(执行低延迟发送同步重放)。如上所述，压缩编码单元(压缩编码块)是子画面单元。
在发送装置处压缩编码并产生的压缩编码块数据被分割成多个分组，对这些分组附加与输入图像的捕获时间点相同步的时间戳值。接收装置基于附加到每个分组的时间戳值而执行图像的同步重放。
此处提及的捕获时间点表示在由捕获装置捕获的未压缩运动图像数据经由串行接口(例如，HD-SDI(高清晰度串行数字接口)等)被输入到发送装置的压缩编码模块的情况下输入每个压缩编码块的第一个数据时的时间点。也就是说，即使在同一个帧中，也对每个压缩编码块采用不同的捕获时间点(即，时间戳值)。
图1图解说明了在不执行帧速率的动态改变并且根据采样帧速率执行传输的情况下的时间表示例。在图1中，假设执行在顶端处开始的处理。具体来说，首先，执行捕获和CODEC(图1中的A)，接着，发送装置执行传输(图1中的B)，随后，接收装置执行接收(图1中的C)，最后，接收装置执行重放(图1中的D)。此外，假设从左向右的方向表示时间顺序。此外，方块标记表示每个分组的处理时间点，方块标记中的上部数字表示帧ID，即每个帧的连续编号，下部数字表示时间戳值。此外，假设每个帧包括四个分组以及两个压缩编码块。对于每个压缩编码块，将时间戳值递增10个计数，由此来设置时间戳值。
在这种情况下，不执行帧速率转换，因此如图1图解说明的，在接收装置要按照与在捕获和CODEC(图1中的A)中的捕获间隔(捕获帧速率)相同的间隔的重放间隔(重放帧速率)执行重放的重放时间点(图1中的D)处，已经接收了重放所需的分组。也就是说，在此情况下，接收装置在接收装置的重放过程中(图1中的D)可以执行同步重放。
引用列表
专利文献
PTL 1：Japanese Unexamined Patent Application PublicationNo.2007-311924
发明内容
技术问题
然而，在发送装置将图像数据的帧速率转换成低于采样帧速率的帧速率并且发送图像数据的情况下，发送装置或发送延迟装置(所谓的路由器)等对发送速率进行平滑。因此，要考虑如下问题：发送每个画面的所有数据所需的时间有可能依赖于转换后的帧速率而不同。因此，要考虑如下问题：在动态改变帧速率的情况下，可能会产生与接收装置处的同步重放有关的问题。
图2是图解说明在动态转换帧速率的情况下的时间表图示例的图。该处理的流程与图1的情况基本上相同，但是在此情况下，如图2中的B所示，在发送装置处执行发送装置帧速率转换处理输出，在帧编号(帧ID)3处一部分帧被删减，然后，将帧速率转换成1/3。
此外，在发送装置发送之前执行对发送速率的平滑(图2中的C)，并且经受了帧速率转换的部分的分组间隔大于其在帧速率转换之前的分组间隔。
在此情况下，按与发送装置的发送(图2中的C)相同的方式，改变接收装置进行的接收的分组间隔(图2中的D)。因此，通过接收装置的重放(图2中的E)，如果我们说在接收第一压缩编码块数据的点处开始重放，然后，根据相对于第一分组的时间戳的差值来执行同步重放，在重放帧编号(帧ID)3的第一压缩编码块时，帧编号(帧ID)3的压缩编码块没有对准，因此担心可能会播放不完美的视频画面。也就是说，担心视频画面可能会失效，因此不能实现同步重放。
为了避免这种失效的发生，如图3所示，可以构思如下方法：接收装置执行同步重放，以采用帧速率最小的情况下的画面数据的发送时间，并且将关于该发送时间的足够数据量的接收数据保存在缓冲器中。
图3是图解说明此情况下的时间表示例的图。对于图3中的示例，按与图2中的情况相同的方式，在发送装置侧动态转换帧速率。响应于对帧速率的这种动态转换，接收装置对接收的数据进行缓存，以在接收装置进行重放时(图3中的E)如图所示地播放它，因此产生了预定的延迟时间。因此，与图2中的情况相比帧编号(帧ID)3的第一压缩编码块的重放时间点被延迟了，因此帧编号(帧ID)3的压缩编码块数据被对准，从而抑制了失效。
然而，在此情况下，如帧编号(帧ID)1或2那样，当帧速率高时，出现了不必要的延迟，因此担心可能会丢失足够低的延迟。
鉴于这种情况，提出了本发明，其目的是以更加可靠的方式实现图像的低延迟发送同步重放。
解决方案
本发明的第一方面是一种信息处理设备，包括：帧速率转换装置，被配置成对具有附加到每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；更新装置，被配置成根据所述帧速率转换装置进行的帧速率转换，将所述帧速率转换后的每个帧的时间戳更新为该时间戳与所述帧速率转换后的下一帧的更新前的时间戳之间的期间中的时间点；以及发送装置，被配置成将所述时间戳被所述更新装置更新了的运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳来确定每个帧的重放时间点。
所述更新装置将所述帧速率转换后的每个帧的时间戳更新为从所述帧速率转换后的下一帧在所述帧速率转换前的状态下来看的前一帧的时间戳。
所述帧速率转换装置通过从所述运动图像数据删减一部分帧数据，将所述帧速率转换成所需帧速率。
所述帧速率转换装置通过对所述运动图像数据的多个帧进行图像合成，将所述帧速率转换成所需帧速率。
所述帧速率转换装置对运动图像数据的帧速率进行转换，该运动图像数据带有为每个预定数据单元分配的、与每个帧的采样时间点相同步的ID值；并且其中所述更新装置根据所述帧速率转换装置进行的帧速率转换来更新所述帧速率转换后的ID值；其中所述发送装置将带有由所述更新装置更新后的ID值的运动图像数据发送到另一信息处理装置，该另一信息处理装置被配置成基于所述ID值来确定每个帧的重放时间点。
本发明的第一方面还是一种信息处理方法，包括：通过帧速率转换装置对具有附加到每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；通过更新装置，根据帧速率转换将所述帧速率转换后的每个帧的时间戳更新为从该时间戳到所述帧速率转换后的下一帧的更新前的时间戳的期间中的时间点；以及通过发送装置，将所述时间戳被更新了的运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳来确定每个帧的重放时间点。
本发明的第二方面是一种信息处理设备，包括：帧速率转换装置，被配置成对具有附加到每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；附加装置，被配置成将作为用于确定所述帧速率转换的信息的帧信息附加到经过了所述帧速率转换装置的帧速率转换的运动图像数据，所述信息包括所述帧速率转换装置的帧速率转换后的帧速率和表示通过所述帧速率转换装置的帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；以及发送装置，被配置成将由所述附加装置附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
所述帧速率转换装置对运动图像数据的帧速率进行转换，该运动图像数据带有为每个预定数据单元分配的、与每个帧的采样时间点相同步的ID值；并且其中所述发送装置将由所述附加装置附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述ID值、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
本发明的第二方面还是一种信息处理方法，包括：通过帧速率转换装置，对具有附加到每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；通过附加装置，将作为用于确定所述帧速率转换的信息的帧信息附加到经过了帧速率转换的运动图像数据，所述信息包括帧速率转换后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；以及通过发送装置，将附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
本发明的第三方面是一种信息处理设备，包括：接收装置，被配置成接收附加了作为用于确定帧速率转换的信息的帧信息的运动图像数据，所述信息包括从另一信息处理设备发送来的与每个帧的采样时间点相同步的时间戳、以及由所述另一信息处理设备执行的帧速率转换后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；和重放时间点确定装置，被配置成使用所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定由所述接收装置接收的运动图像数据的每个帧的重放时间点。
所述重放时间点确定装置将通过从如下商的整数值减去1而获得的值除以所述采样速率，从而将从根据所述时间戳计算出的重放时间点起延迟了该除法结果的时间点确定为所述重放时间点，所述商是通过将所述采样速率除以包括在所述帧信息中的所述帧速率而获得的。
所述重放时间点确定装置将从根据所述时间戳计算出的重放时间点起延迟了通过将包括在所述帧信息中的所述帧跳跃数除以所述运动图像数据的采样帧速率而获得的除法结果的时间点确定为所述重放时间点。
所述接收装置接收运动图像数据，该运动图像数据附加有从另一信息处理设备发送的、每个预定数据单元的与每个帧的采样时间点相同步的ID值以及所述帧信息；并且其中所述重放时间点确定装置使用所述ID值、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定由所述接收装置接收的运动图像数据的每个帧的重放时间点。
本发明的第三方面还是一种信息处理方法，包括：通过接收装置，接收附加了作为用于确定帧速率转换的信息的帧信息的运动图像数据，所述信息包括从另一信息处理设备发送来的与每个帧的采样时间点相同步的时间戳、以及由所述另一信息处理设备执行的帧速率转换之后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；和通过重放时间点确定装置，使用所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定接收到的运动图像数据的每个帧的重放时间点。
通过本发明的第一方面，对具有附加到每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换，将所述帧速率转换后的每个帧的时间戳更新为从该时间戳到所述帧速率转换后的下一帧的更新前的时间戳的期间中的时间点，并将所述时间戳被更新了的运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳来确定每个帧的重放时间点。
通过本发明的第二方面，对具有附加到每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；将作为用于确定所述帧速率转换的信息的帧信息附加到经过了所述帧速率转换的运动图像数据，所述信息包括所述帧速率转换后的帧速率和表示通过所述帧速率转换而去除的帧数的帧跳跃数中的至少任意一个，并将附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
通过本发明的第三方面，接收附加了作为用于确定帧速率转换的信息的帧信息的运动图像数据，所述信息包括从另一信息处理设备发送来的与每个帧的采样时间点相同步的时间戳、以及由所述另一信息处理设备执行的帧速率转换后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个，并使用所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定接收的运动图像数据的每个帧的重放时间点。
本发明的有利效果
根据本发明，可以处理信息。具体来说，可以更可靠地实现图像的低延迟发送同步重放。
附图说明
图1是用于描述在不执行帧速率转换的情况下执行数据发送中的每个处理时的定时示例的图。
图2是用于描述在执行帧速率转换的情况下通常执行数据发送中的每个处理时的定时示例的图。
图3是用于描述在执行帧速率转换的情况下通常执行数据发送中的每个处理时的另一定时示例的图。
图4是图解说明应用了本发明的信息处理系统的结构示例的框图。
图5是用于描述速率控制处理的流程示例的流程图。
图6是用于描述发送处理的流程示例的流程图。
图7是图解说明发送速率与帧速率之间的关系示例的图。
图8是用于描述接收处理的流程示例的流程图。
图9是描述在应用本发明的情况下执行数据发送中的每个处理时的定时示例的图。
图10是图解说明应用了本发明的编码单元的结构示例的框图。
图11是示意性地描述小波变换的概要图。
图12是示意性地描述小波变换的概要图。
图13是图解说明5×3滤波器的提升滤波已经执行到分割级＝2的示例的概要图。
图14是示意性地图解说明根据本发明的小波变换和小波逆变换的流程的概要图。
图15是图解说明应用了本发明的解码单元的结构示例的框图。
图16是说明编码处理的流程示例的流程图。
图17是说明解码处理的流程示例的流程图。
图18是示意性地图解说明由编码单元和解码单元的各个元件执行并行操作的方式的示例的概要图。
图19是图解说明应用了本发明的信息处理系统的另一结构示例的框图。
图20是描述发送处理的另一流程示例的流程图。
图21是描述执行发送帧速率的附加的方式的图。
图22是描述接收处理的另一流程示例的流程图。
图23是描述在应用本发明的情况下执行数据发送中的每个处理时的另一定时示例的图。
图24是图解说明应用了本发明的还一信息处理系统的结构示例的框图。
图25是描述发送处理的还一流程示例的流程图。
图26是描述执行帧跳跃数的附加的方式的图。
图27是描述接收处理的还一流程示例的流程图。
图28是描述应用了在本发明的情况下执行数据发送中的每个处理时的还一定时示例的图。
图29是图解说明应用了本发明的个人计算机的基本结构示例的框图。
具体实施方式
以下，将描述实现本发明的模式(以下称为实施例)。注意，将按以下顺序描述。
1.第一实施例(时间戳的更新)
2.第二实施例(编码处理和解码处理)
3.第三实施例(帧速率信息的提供)
4.第四实施例(帧跳跃数的提供)
5.第五实施例(个人计算机)
1.第一实施例
装置的结构
图4是图解说明应用了本发明的信息处理系统的结构示例的框图。
在图4中，信息处理系统100是用于从发送装置101经由因特网网络103向接收装置102执行运动图像的低延迟发送同步重放的系统。具体来说，发送单元101对捕获的运动图像进行编码，将所获得的编号数据经由因特网网络103传送到接收装置102。接收装置102接收并解码该编码数据，并同步播放该运动图像。
发送装置101通过低延迟编码方法对图像数据进行编码。接收装置102通过与编码方法相对应的低延迟解码方法对编码数据进行解码。此外，发送装置101根据传输路径的频带动态改变图像数据的帧速率。接收装置102按照由发送装置101改变后的帧速率来播放图像数据(执行同步重放)。
此时，接收装置102根据由于对发送速率的平滑而导致的发送定时的移位来调节每个帧的重放定时，以即使在低帧速率部分处也防止图像播放失败。
发送装置101包括捕获单元111、编码单元112、帧速率转换单元113、时间戳控制单元114、平滑单元(整形器)115、RTP发送单元(RTP TX)116、RTCP(RTP控制协议)单元121以及发送速率控制单元122。
捕获单元111以预定帧速率捕获输入到发送单元101的运动图像(视频IN)，并将该数据提供给编码单元112。编码单元112以由发送速率控制单元122规定的编码速率(编码率)，通过预定编码方法对从捕获单元111提供的图像数据进行编码。此时，编码单元112关于编码单元的每个编码数据，计算与捕获时间点相同步的时间戳值。在接收装置重放运动图像时会参考该时间戳值。
根据本结构示例，捕获时间点表示在由捕获装置捕获的未压缩运动图像数据经由串行接口(例如，HD-SDI(高清晰度串行数字接口)等)被输入到发送装置的编码单元112的情况下输入每个编码块的第一个数据时的时间点。也就是说，在同一个帧中，可能存在具有相互不同的捕获时间点的多个编码块。不必说，时间戳的设置单元是任意的，因此可以对作为编码处理单元的每个编码块设定时间戳，可以按帧的增量来设定时间戳，或者可以对每多个帧设定时间戳。
编码单元112对通过编码图像数据而获得的编码数据进行分组化，以获得RTP分组，将所计算出的时间戳值作为RTP时间戳附加到RTP分组，并提供给帧速率转换单元113。
例如，通过删减(编码数据的)一部分帧，帧速率转换单元113将从编码单元112提供的编码数据的帧速率转换成由发送速率控制单元122指定的帧速率(帧速率)。帧速率转换单元113通过诸如删减处理、附加平均处理等的图像合成处理，对帧速率进行转换。帧速率转换单元113将帧速率经过了转换的编码数据提供给时间戳控制单元114。
注意，在发送速率控制单元122指定的帧速率与转换前的帧速率(捕获单元111的采样速率)相同的情况下，帧速率转换单元113略去转换处理，并将编码数据提供给时间戳控制单元114。
时间戳控制单元114根据帧速率的变化(帧的删减率等)来调节时间戳值(RTP时间戳)。接收装置102在与该时间戳值相应的时间点处执行数据的重放，稍后将对此进行描述。时间戳控制单元114根据需要将时间戳值更新到某个值，使得图像不会因为该重放而失效。在对时间戳值执行调节之后，时间戳控制单元114将编码数据的分组提供给平滑单元115。
平滑单元115对分组的发送速率进行平滑，以获得发送速率控制单元122所指定的发送速率。具体来说，平滑单元115临时保持从时间戳控制单元114提供的分组，以预定定时(按预定时间间隔)将该分组提供给RTP发送单元116，使得分组的发送速率成为发送速率控制单元122所指定的发送速率(发送速率)。
RTP发送单元116将从平滑单元115提供的分组经由因特网网络103传输到接收装置102。
RTCP单元121经由因特网网络103与接收装置102的RTCP单元141执行通信，以获得用于确认因特网网络103的可用频带等的网络状态信息。RTCP单元121例如通过按照IETF RFC 3550发送/接收RTCP发送方报告(SR)分组、RTCP接收方报告(RR)分组，与RTCP单元141交换网络状态信息。该网络状态信息中可以包括任何类型的信息，只要该信息涉及因特网网络103的通信。例如，可以包括双向传输延迟(所谓的RTT(往返时间))、分组丢失率等。不必说，可以包括其他参数。RTCP单元121将由此交换的网络状态信息提供给发送速率控制单元122。
发送速率控制单元122基于从RTCP单元121提供的网络状态信息，确定编码处理的编码速率、帧速率转换后的帧速率、分组的发送速率等。发送速率控制单元122将编码速率提供给编码单元112，将帧速率提供给帧速率转换单元113，并将传送速率提供给平滑单元115。
接收装置102包括RTP接收(RTP RX)单元131、接收缓冲器132、解码单元133、RTCP单元141以及同步控制单元142。
RTP接收单元131经由因特网网络103与发送装置101执行通信，接收从RTP发送单元116发送的分组，将其提供给接收缓冲器132。此外，RTP接收单元131将与分组的接收状态有关的信息(分组信息)提供给RTCP单元141。
接收缓冲器132保持从RTP接收单元131提供的分组。接收缓冲器132在同步控制单元142的控制下按预定定时从分组提取编码数据以将其提供给解码单元133。
解码单元133通过与编码单元112的编码方法相应的方法对从接收缓冲器132提供的编码数据进行解码，并在由同步控制单元142确定的重放时间点(同步重放时间点)处输出(播放)所获得的基带的图像数据。
RTCP单元141经由因特网网络103与发送装置101的RTCP单元121交换网络状态信息。例如，RTCP单元141将包括与从RTP接收单元131提供的分组的接收状态有关的信息的网络状态信息等提供给RTCP单元121，作为网络状态信息。
同步控制单元142确定接收缓冲器132中保持的编码单元的编码数据的同步重放时间点。同步控制单元142利用与编码数据的时间戳值相对应的时间点来计算同步重放时间点。同步控制单元142将由此计算出的同步重放时间点提供给接收缓冲器132，并将其连同与同步重放时间点相对应的编码数据一起提供给解码单元133。
处理流程
对于与在这种结构的信息处理系统100处要执行的数据传输有关的基本处理，将描述处理流程的示例。首先，将参照图5的流程图描述要由发送装置101的发送速率控制单元122执行的速率控制处理的流程示例。
发送速率控制单元122按预定定时执行速率控制处理，以基于从RTCP单元121提供的网络状态信息来确定各种速率。
在开始速率控制处理时，在步骤S101中发送速率控制单元122确定发送速率。可以任意选择确定该发送速率的方法。例如，可以根据在″IETF RFC3448 TCP Friendly Rate Control(TFRC)：Protocol Specification″中表示的方法来确定发送速率。
在步骤S102中，传输控制单元122基于在步骤S101中确定的发送速率，确定在帧速率转换单元113处的帧转换之后的帧速率。转换之后的该帧速率成为发送时的帧速率(发送帧速率)。该帧速率确定方法是任意的。例如，可以作出如下安排：预先设定在每个发送速率下通过最优化用户感觉到的质量而获得的帧速率，如图6所示的曲线图，并根据该曲线图设定与发送速率相对应的帧速率。优选地，根据诸如应用、编码单元等的属性来改变(设定)该帧速率/发送速率设定曲线。注意，表示发送速率与帧速率之间的转换关系的数据(例如图6中的该曲线图)可以是使用代表性点的表格信息，或者可以是数学表达式。
在步骤S103中，发送速率控制单元122确定编码速率。如上所述，发送装置101的编码单元112以原始运动图像的采样速率(捕获速率)作为帧速率来执行编码处理。随后，帧速率转换单元113通过用于删减一部分帧的删减处理来执行帧速率转换。因此，为了使帧速率转换后的数据速率与发送速率相等，如果我们说编码速率是R_e(bps)、发送速率是R_t(bps)、采样帧速率是f_s(fps)，并且转换后的帧速率是f_t(fps)，那么发送速率控制单元122设定编码速率R_e，以满足以下表达式(1)。
[数学表达式1]
R e = R t × f s f t - - - ( 1 )
在如上所述地确定了每个速率之后，速率控制处理结束。
上述速率控制方法是一个示例，因此各个速率可以通过除上述方法以外的方法来控制。例如，可以作出如下安排：编码单元112具有帧速率转换功能，发送速率控制单元122相等地设定编码速率和发送速率，并将编码速率和转换后的帧速率提供给编码单元112。
发送装置101的每个单元执行发送处理，并按照基于如上所述的速率控制的速率对图像数据进行编码，然后发送它。现在参照图7的流程图来描述发送处理的流程示例。
在开始发送处理时，在步骤S121中，捕获单元111捕获从外部提供的运动图像(从视频IN输入的视频数据，该视频IN是经由摄像机等的视频输入接口)。
在步骤S122中，编码单元112利用由发送速率控制单元122指定的编码速率对所提供的图像数据进行编码。在步骤S123中，编码单元112基于捕获时间点信息计算与捕获时间点相同步的时间戳值。
在步骤S124中，编码单元112将通过编码而获得的编码数据分割成例如多个RTP分组。编码单元112将通过步骤S123中的处理而计算出的时间戳值作为RTP时间戳附加到RTP分组。
在步骤S125中，帧速率转换单元113通过用于删减一部分帧的帧删减处理，将帧速率转换成由发送速率控制单元122指定的帧速率。
现在，将描述从采样帧速率f_s(fps)到转换后的发送帧速率f_t(fps)的转换的情况。这些f_s和f_t满足以下表达式(2)的关系。
[数学表达式2]
fs＝M×ft...(2)
(fs≥ft，M是正整数)
在表达式(2)中，变量M表示帧删减率。帧速率转换单元113以1帧比M帧的频率从转换前的数据提取帧，并利用所提取的帧生成转换后的数据。
如果我们说转换前的帧数据是F(n)(n是帧连续编号)，转换后的帧数据是F′(n)(n是转换后的帧的连续编号)，并且由以下表达式(3)表示转换前的数据D_o，可以将转换后的数据D′_t表示为以下表达式(4)。
[数学表达式3]
D_o＝{F(0)，F(1)，...，F(k)，...}           ...(3)
D′_t＝{F′(0)，F′(1)，...，F′(k)，...}
＝{F(0)，F(M)，...，F(kM)，...}             ...(4)
(k是正整数)
注意，帧速率转换单元113可以通过除帧删减处理以外的方法来转换帧速率。该帧速率转换方法是任意的。例如，可以通过使用诸如加法平均处理等的图像合成处理来合成连续多个帧，以减少帧数，来转换帧速率。
此外，在由发送速率控制单元122指定的帧速率与转换前的帧速率(采样帧速率)相同的情况下，略去步骤S125中的处理。
在步骤S126中，时间戳控制单元114控制例如RTP报头部分中包括的RTP时间戳。时间戳控制单元114利用在帧速率转换单元113处经过了帧速率转换的转换后帧数据的帧删减率M来执行时间戳调节。
假设转换前的帧数据是F(n)(n是转换前的帧的连续编号)，转换后的帧数据是F′(m)(m是转换后的帧数据的连续编号)，转换前的编码块数据是B(n，k)，转换后的编码块数据是B′(m，k)(k是帧数据内的编码块的连续编号)。此外，转换前的编码块数据B(n，k)的时间戳值被假设为TS(n，k)。此外，在对转换后的编码块数据B′(m，k)进行时间戳控制之前的时间戳值被假设为TS′(m，k)。此外，在对转换后的编码块数据B′(m，k)进行时间戳控制之后的时间戳值被假设为TS″(m，k)。随后，假设帧删减率是M。
此时，转换后的帧数据F′(m)、转换后的编码块数据B′(m，k)、在对转换后的编码块数据B′(m，k)进行时间戳控制之前的时间戳值TS′(m，k)被表示为以下表达式(5)到(7)。
[数学表达式4]
F’(m)＝F(mM)            …(5)
B’(m，k)＝B(mM，k)      …(6)
TS’(m，k)＝TS(mM，k)    …(7)
根据转换后的帧数据F′(m)与转换后的下一帧数据F′(m+1)之间被删减的转换前的帧数(M-1)来调节在对转换后的编码块数据B′(m，k)进行时间戳控制之后的时间戳值TS″(m，k)。时间戳控制后的时间戳值TS″(m，k)由以下表达式(8)来表示。
[数学表达式5]
TS”(m，k)＝TS(mM+(M-1)，k)    …(8)
具体来说，将与和在相应的帧之后被删减的转换前帧数据的最后一个转换前帧数据匹配的编码块数据相同的时间戳值设定为时间戳控制后的时间戳值。在紧接在转换后的帧数据之后的帧未被删减的情况下，时间戳值在时间戳控制之前和之后不变。
注意，通过这种时间戳控制，在紧接在某个帧数据之后执行了帧删减处理的情况下，假设由于发送速率的平滑化，甚至在被分配给被删减的帧的时间期间也使用相应的帧、平滑化以及发送它。因此，为了根据每个平滑后的帧数据的末尾数据的到达时间点来执行同步重放，设定与和在相应的帧之后删减的转换前帧数据的最后一个转换前帧数据匹配的压缩编码块数据相同的时间戳值。
在如上所述地更新了时间戳时，在步骤S127中平滑单元115调节分组的发送定时，并对发送速率进行平滑化。平滑单元115按照在“ITU-T Recommendation Y.1221 Traffic control and congestion control in IP-based networks”中描述的标记桶(Token Bucket)相同的处理来执行发送速率的平滑化。
在步骤S128中，RTP发送单元116在由平滑单元115控制的定时处发送分组。在分组被发送了时，发送处理结束。如上所述，顺序地发送每个分组。一旦完成了准备就执行上述每个步骤的处理，并且一旦完成了每个处理单元处的处理就对下一数据重复处理。因此，根据需要，并行执行上述各个处理。
注意，可以在发送装置101的外部在延迟装置(例如，路由器、以太网(注册商标)交换机等)处执行平滑处理。
接收装置102执行接收处理以接收如此发送的分组。
以下将参照图8的流程图描述接收处理的流程示例。
在开始接收处理时，接收装置102的RTP接收单元131在步骤S141中接收从发送装置101发送的RTP分组。在步骤S142中，接收缓冲器132保持所接收的RTP分组。
在步骤S143中，同步控制单元142基于存储在接收缓冲器132中的每个RTP分组的时间戳信息来确定同步重放时间点。
假设第一个RTP分组的时间戳值是TS_init，该RTP分组的接收时间点是T_init(sec)，RTP时间戳频率是f_rtp(Hz)，重放偏移时间是T_play(sec)，发送/接收装置时间点偏移是T_skew(sec)，时间戳值TS的RTP分组的接收时间点是T_r(TS)。此时，可以计算时间戳值TS的RTP分组的重放时间点T_p(TS)，如以下表达式(9)。
[数学表达式6]
T p ( TS ) = TS - TS init f rtp + T init + T play + T skew - - - ( 9 )
不必说，可以使用除此以外的其他方法来计算RTP分组的重放时间点T_p(TS)。
注意，重放偏移时间T_play表示从分组接收时间点到重放时间点的偏移时间。该参数用于反映接收装置102内的处理延迟。发送/接收装置时间点偏移时间T_skew是用于吸收发送装置与接收装置之间的系统时钟频率的差值的偏移时间。例如，在紧接在流接收开始之后该发送/接收装置时间点偏移时间T_skew的值是0，并且按照特定时间间隔来校正，如以下表达式(10)。
[数学表达式7]
Tskew＝Tskew-α×(Tp(TS)-Tr(TS)-Tplay)    …(10)
(0＜α≤1)
同步控制单元142提供如此确定的同步重放时间点，并将存储在RTP分组中的压缩运动图像数据从接收缓冲器132提供给解码单元133。
在步骤S144中解码单元133对编码数据进行解码。在步骤S145中，解码单元133在由同步控制单元142确定的同步重放时间点处播放通过进行解码而获得的图像数据，并将其从视频输出接口(视频OUT)输出。输出数据被输出到例如视频显示装置，如显示器等。
在播放了图像数据之后，接收处理结束。如上所述，每个接收到的分组被顺序处理，并被输出为图像数据。一旦完成了准备就执行上述每个步骤的处理，并且一旦完成了每个处理单元处的处理就对下一数据重复处理。因此，根据需要，并行执行上述各个处理。
图9是描述在应用本发明的情况下执行数据发送中的每个处理时的定时示例的图。
该图9是与图1到图3对应的图，图解说明了与这些图基本相同的内容。作为一系列处理中的每个处理的输出，图9示出了表示捕获和编码图像的输出定时的“捕获和CODEC”(图9中的A)，表示帧速率转换的输出定时的“发送装置的帧速率转换处理输出”(图9中的B)、表示时间戳更新的输出定时的“时间戳控制处理输出”(图9中的C)、表示分组的发送定时的“发送装置的发送”(图9中的D)、表示分组的接收定时的“接收装置的接收”(图9中的E)、以及表示图像数据的重放输出定时的“接收装置的重放”(图9中的F)。
在图9中的示例的情况下，利用发送装置101，通过“捕获和CODEC”(图9中的A)处理针对每个压缩和编码块每特定间隔执行捕获和编码，然后通过“发送装置的帧速率转换”处理将帧减少到采样帧速率的三分之一的帧速率(图9中的B)。此外，通过″时间戳控制″处理根据帧删减率来执行时间戳值的转换(图9中的C)，然后在按照“发送装置的发送”表示的定时处发送经过平滑处理平滑后的数据的分组(图9中的D)。
利用接收装置102，在“接收装置的接收”的定时处接收分组(图9中的E)，并根据“同步控制单元”的处理在“接收装置的重放”的定时处播放这些分组(图9中的F)。此时，假设不执行“接收装置的重放”，除非已经完成了对编码块的所有数据的“接收装置的接收”。
此处，如图9中的B所示，假设对于帧编号″3″以及之后的帧，删减了这些帧中的两个帧(M＝3)。在此情况下，帧编号″3″以及之后的帧的帧速率(帧数)变成帧编号″3″之前的三分之一。因此，如图9中的D所示，由于帧减少了，因此按照通过平滑处理而分散的方式发送每个帧。
对于常规方法，诸如图2和图3中的时间表示例，存在重放视频失败或者可能会导致不必要的延迟增大的担心，但是如上所述，作出了在发送装置101的时间戳控制单元114处根据变化后的帧速率来更新时间戳的安排，由此无论帧速率是多高，用于基于更新后的时间戳的定时来执行重放的接收装置102都可以在没有同步失败的情况下以可靠的方式播放图像数据，如图9中的F所示。
按此方式，即使发送装置101在动态改变帧速率的同时实时发送运动图像，接收装置102也可以在不产生同步重放失败的情况下实现低延迟发送。
此外，根据信息处理系统100，可以在执行低延迟发送同步重放的同时动态改变帧速率。因此，可以动态改变帧速率以进行发送速率控制，因此，与仅使用图像质量参数执行发送速率控制的情况下相比，可以将一张图像的图像质量设定为很高，这在发送具有小运动的运动图像的情况下很有效。
此外，利用信息处理系统100，即使在对发送速率进行平滑之后，也可以在动态改变帧速率的同时执行低延迟发送同步重放，因此不必执行数据的脉冲串(burst)发送，因此可以避免出现网络中的分组丢失。
也就是说，信息处理系统100的每个装置可以按更可靠的方式实现图像的低延迟发送同步重放。
注意，至此已经进行了这样的描述，其中发送装置101对运动图像数据附加与采样时间点相同步的时间戳，并且接收装置102与时间戳相同步地播放运动图像数据的每个帧，但是用于控制重放时间点的这种信息可以是除了时间戳以外的其他信息，只要该信息是与采样时间点相同步的信息即可。例如，代替时间戳，可以采用将被分配给每个预定数据单元的运动图像数据的ID值，例如帧内的帧Id或块ID等。如果采样速率是显见的，那么接收装置102可以从帧内的这些帧ID或块ID获得相同的信息作为时间戳。发送装置101根据帧速率转换，与运动图像数据的每个帧的采样时间点相同步地更新将要被分配给每个预定数据单元的运动图像数据的这种ID值，由此可以按与针对上述时间戳情形相同的方式来控制接收装置102处的重放定时。也就是说，信息处理系统100的每个装置可以以更可靠的方式实现图像的低延迟发送同步重放。
2.第二实施例
编码处理
接下来，将描述在上述信息处理系统100处应用的编码处理和解码处理。
编码单元112的编码方法(解码单元133的解码方法)基本上是任意的。可以使用任何类型的方法，例如，可以采用PTL 1中给出的运动图像编码方法，其中使用运动图像的每个画面的几个行作为单个编码块来执行编码。
首先，描述编码单元112的结构。
图10是图解说明应用了本发明的编码单元112的详细结构示例的框图。如图10所示，编码单元112包括小波变换单元211、中间计算缓冲单元212、系数排序缓冲单元213、系数排序单元214、熵编码单元215、时间戳计算单元216以及分组化单元217。
通过小波变换单元211将输入到编码单元112的图像数据暂时存储在中间计算缓冲单元212中。小波变换单元211对存储在中间计算缓冲单元212中的图像数据进行小波变换。具体来说，小波变换单元21 1从中间计算缓冲单元212读出图像数据，通过分析滤波器对其进行滤波处理，以生成低频分量和高频分量的系数数据，并将所生成的系数数据存储在中间计算缓冲单元212中。
小波变换单元211包括水平分析滤波器和垂直分析滤波器，并关于画面水平方向和画面垂直方向，对图像数据组进行分析滤波处理。小波变换单元211读出中间计算缓冲单元212中存储的低频分量的系数数据，并通过分析滤波器对所读取的系数数据进行滤波处理，进而生成高频分量和低频分量的系数数据。将所生成的系数数据存储在中间计算缓冲单元212中。
在该处理被重复并且分割级达到预定水平时，小波变换单元211从中间计算缓冲单元212读出系数数据，并将所读取的系数数据写在系数排序缓冲单元213中。
系数排序单元214按预定顺序读出写在系数排序缓冲单元213中的系数数据，并提供给熵编码单元215。熵编码单元215使用预定方法对所提供的系数数据进行量化，使用预定熵编码方法对其进行编码，例如，Huffman编码或算术编码。熵编码单元215将所生成的编码数据提供给时间戳计算单元216。
时间戳计算单元216基于所提供的编码数据的捕获时间点信息，计算该数据的时间戳值。也就是说，时间戳计算单元216计算与捕获时间点相同步的时间戳值。时间戳计算单元216将所计算出的时间戳值连同编码数据一起提供给分组化单元217。
分组化单元217对所提供的编码数据进行分组化，以获得RTP分组，进而对每个分组附加作为RTP时间戳值的时间戳值。分组化单元217将所生成的分组提供给帧速率转换单元113。
接下来，将更详细地描述图10中的小波变换单元211执行的处理。首先，将示意性地描述小波变换。关于针对图像数据的小波变换，如图11示意性地示出的，针对作为分割结果而获得的低空间频带的数据，递归地重复将图像数据分割成高空间频带和低空间频带的处理。按此方式，将低空间频带的数据驱动到较小的区域中，从而使得能够实现有效的压缩编码。
注意，图11是如下情况的示例：重复用于将图像数据的最低分量区分割成低频分量区L和高频分量区H的处理三遍，以获得分割级＝3，其表示分割层级的总数。在图11中，″L″和″H″分别表示低频分量和高频分量。对于“L”和“H”的顺序，前面表示沿水平方向的分割结果的频带，后面表示沿垂直方向的分割结果的频带。此外，“L”和“H”之前的数字表示该区域的层级，并且在低频分量的层级的情况下中，用等于低频的较小值来表示。该层级的最大值表示在小波变换时的分割级(分割数)。
此外，如可从图11的示例理解的那样，按阶梯方式从画面的右下区域向左上区域执行处理，将低频分量驱动到较小的区域中。具体来说，对于图11中的示例，将画面的右下区域设定为具有最少低频分量(包括最多数量的高频分量)的区域3HH，将通过把画面分割成四个而获得的左上区域进一步分割成四个，将这些分割后的四个区域中的左上区域进一步分割成四个。位于左上角的区域被设定为包括最多数量的低频分量的区域0LL。
低频分量被重复变换和分割的原因是图像的能量聚集在低频分量上。这也可以从以下理解：当分割级从图12中的A所示的示例的分割级＝1的状态进展到图12中的B所示的示例的分割级＝3的状态时，如图12中的B所示的那样形成了子带。例如，图11中的小波变换的分割级是3，作为其结果，形成了10个子带。
小波变换单元211通常使用包括低频滤波器和高频滤波器的滤波器组来执行如上所述的处理。注意，数字滤波器通常具有多抽头长度的脉冲响应，即，滤波系数，因此，需要预先缓存尽可能多的可以经受滤波处理的输入图像数据或系数数据。此外，在多个阶段上执行小波变换的情况下，类似的是，需要尽可能地缓存前一级上生成的小波变换系数，只要可以执行滤波处理。
作为小波变换的具体示例，将描述使用5×3滤波器的方法。使用5×3滤波器的这种方法还与JPEG(联合摄影专家组)2000标准一起使用，并且是一种很好的方法，因为可以用少数的滤波器抽头来执行小波变换。
如以下表达式(11)和表达式(12)所示，5×3滤波器的脉冲响应(z变换表达)是低频滤波器H0(z)和高频滤波器H1(z)。
H0(z)＝(-1+2z-1+6z-2+2z-3-z-4)/8     ...(11)
H1(z)＝(-1+2z-1-z-2)/2               ...(12)
根据这些表达式(11)和表达式(12)，可以直接计算低频分量和高频分量的系数。此处，例如，如图13所示，可以通过使用提升(Lifting)技术来减少滤波处理的计算。
接下来，将进一步以具体方式描述该小波变换方法。图13是图解说明5×3滤波器的提升滤波已经执行到分割级＝2的滤波处理示例的概要图。注意，在图13中，在该图中左侧被表示为分析滤波器的部分是图10中的小波变换单元211的滤波器。此外，在该图中右侧被表示为合成滤波器的部分是后述小波变换单元的滤波器。
注意，对于以下描述，假设例如以显示装置等的画面的左上角的像素为第一个像素，通过从画面的左边沿向右边沿扫描像素来构成一行，并且通过从画面的上边沿向下边沿扫描每个行来构成一个画面。
在图13中，由沿垂直方向排列的、原始图像数据的行上的相应位置中的像素数据表示左边沿列。具体来说，通过使用垂直滤波器在画面上垂直扫描像素，来执行小波变换单元211中的滤波处理。从左边沿起的第一列到第三列表示分割级＝1的滤波处理，第四列到第六列表示分割级＝2的滤波处理。从左边沿起的第二列表示基于左边沿的原始图像数据的像素的高频分量输出，从左边沿起的第三列表示基于原始图像数据和高频分量输出的低频分量输出。针对从左边沿起的第四列到第六列所示的分割级＝1的滤波处理的输出，执行分割级＝2的滤波处理。
通过分割级＝1的滤波处理，作为滤波处理的第一阶段，基于原始图像数据的像素计算高频分量系数数据，基于在滤波处理的第一阶段中计算出的高频分量系数数据以及原始图像数据的像素来计算低频分量系数数据，作为滤波处理的第二阶段。在图13中的左侧(合成滤波器侧)的第一列到第三列上示出了分割级＝1的示例的滤波处理。将计算出的高频分量系数数据存储在图10中的系数排序缓冲单元213中。此外，将计算出的低频分量系数数据存储在图10中的中间计算缓冲单元212中。
在图13中，系数排序缓冲单元213被表示成由点划线(dashed dotted line)围绕的部分，中间计算缓冲单元212被表示为由虚线围绕的部分。
基于保持在中间计算缓冲单元212中的分割级＝1的滤波处理的结果来执行分割级＝2的滤波处理。对于分割级＝2的滤波处理，通过将在分割级＝1的滤波处理中被计算为低频分量系数的系数数据视为包括低频分量和高频分量的系数数据，执行与分割级＝1相同的滤波处理。将在分割级＝2的滤波处理中计算出的高频分量系数数据和低频分量系数数据存储在系数排序缓冲单元213中。
小波转换单元211关于画面的水平和垂直方向中的每一个执行如上所述的滤波处理。例如，首先，沿水平方向执行分割级＝1的滤波处理，将所产生的高频分量系数数据和低频分量系数数据存储在中间计算缓冲单元212中。接着，沿垂直方向对存储在中间计算缓冲单元212中的系数数据进行分割级＝1的滤波处理。根据分割级＝1的水平和垂直方向上的处理，形成了四个区域，即，与通过对高频分量进一步分割而获得的高频分量系数数据和低频分量系数数据中的每一个相应的区域HH和区域HL，以及与通过对低频分量进一步分割而获得的高频分量系数数据和低频分量系数数据中的每一个相应的区域LH和区域LL。
随后，对于分割级＝2，关于水平方向和垂直方向中的每一个，对通过分割级＝1而生成的低频分量系数数据进行滤波处理。也就是说，对于分割级＝2，通过分割级＝1分割和形成的区域LL被进一步分割成四个，从而在区域LL内形成了区域HH、区域HL、区域LH以及区域LL。
关于画面的垂直方向，小波变换单元211将根据小波变换的滤波处理分割成针对每几个行的处理，从而多次分割该滤波处理，以按阶梯方式来执行。通过图13中的示例，对于作为从画面上的第一行起的处理的第一处理，针对7行执行滤波处理，对于作为从第八行起的处理的第二处理以及之后的处理，对每四行执行滤波处理。这些行的数量基于在分割成高频分量和低频分量之后而生成的一行的最低频分量所需的行数。
注意，以下，将生成一行最低频分量(最低频分量的子带的一行系数数据)所需的、包括其他子带的行组称为区块(或行块)。此处，行表示要在与小波变换前的像素数据相对应的画面或场内或者在每个子带内形成的一行的像素数据或系数数据。也就是说，对于小波变换前的原始图像数据，区块(行块)表示生成小波转换之后的最低频分量的子带的一行系数数据所需的行数的像素数据组，或者通过对像素组进行小波变换而获得的每个子带的系数数据组。
根据图13，基于存储在中间计算缓冲单元212中的系数C4和系数Ca来计算将要作为分割级＝2的滤波处理结果而获得的系数C5，系数C4是基于存储在中间计算缓冲单元212中的系数Ca、系数Cb以及系数Cc计算得到的。此外，系数Cc是基于存储在系数排序缓冲单元213中的系数C2和系数C3以及第五行的像素数据而计算得到的。此外，系数C3是基于第五行到第七行的像素数据计算得到的。按此方式，为了获得分割级＝2的低频分量的系数C5，需要第一行到第七行的像素数据。
另一方面，通过第二以及之后的滤波处理，可以使用在最后一次之前的最后一次滤波处理中已经计算出的并且存储在系数排序缓冲单元213中的系数数据，因此可以减少所需行数。
具体来说，根据图13，在要作为分割级＝2的滤波处理结果而获得的低频分量中，基于存储在中间计算缓冲单元212中的系数C4、系数C8以及系数Cc来计算作为系数C5的下一系数的系数C9。已经通过上述第一滤波处理计算了系数C4，并将其存储在系数排序缓冲单元213中。类似的是，已经通过上述第一滤波处理计算了系数Cc，并将其存储在中间计算缓冲单元212中。因此，通过第二滤波处理，新执行了仅用于计算系数C8的滤波处理。进一步使用第八行到第十一行来执行该新滤波处理。
按此方式，可以使用在最后一次滤波处理之前的处理中计算出并且存储在中间计算缓冲单元212和系数排序缓冲单元213中的数据，因此可以通过针对每四行的处理来执行第二滤波处理以及之后的滤波处理中的每一个。
注意，在画面上的行数与编码行数不匹配的情况下，通过预定方法对原始图像数据的行进行复制以匹配编码行数，来执行滤波处理。
按此方式，按通过针对整个画面的行分割成多轮的阶梯方式(以行块为增量)来执行仅用于获得一行的系数数据的最低频分量的滤波处理，由此可以在发送编码数据时获得低延迟的解码图像。
为了执行小波变换，需要第一缓冲器和第二缓冲器，第一缓冲器用于执行小波变换本身，第二缓冲器用于在执行处理的同时存储要生成的系数，以获得预定分割级。第一缓冲器对应于中间计算缓冲单元212，并被表示为由图13中的虚线围绕。此外，第二缓冲器对应于系数排序缓冲单元213，并被表示为由图13中的点划线围绕。存储在第二缓冲器中的系数用于进行解码，并被设定为随后阶段的熵编码处理的对象。
接下来，将描述图10中的系数排序单元214的处理。如上所述，将在小波变换单元211中计算出的系数数据存储在系数排序缓冲单元213中，由系数排序单元214对其顺序进行排序，读出系数数据，并按编码单元的增量将其发送到熵编码单元215。
如已经描述的，通过小波变换，从高频分量到低频分量生成系数。对于图13中的示例，通过第一轮，使用原始图像的像素数据在分割级＝1的滤波处理中顺序生成高频分量的系数C1、系数C2以及系数C3。随后，对在分割级＝1的滤波处理中获得的低频分量系数数据进行分割级＝2的滤波处理，顺序地生成低频分量的系数C4和系数C5。也就是说，通过第一轮，按系数C1、系数C2、系数C3、系数C4以及系数C5的顺序生成系数数据。在小波变换的原理下，系数数据的生成顺序必定成为该顺序(从高频到低频的顺序)。
另一方面，对于解码侧，为了以低延迟立即执行解码，需要从低频分量起执行图像的生成和输出。因此，希望从低频分量侧到高频分量侧对在编码侧生成的系数数据进行排序，并将其提供给解码侧。
将参照图13中的示例更具体地进行描述。图13中的右侧表示执行小波逆变换的合成滤波器侧。使用在编码侧的第一滤波处理中生成的最低频分量的系数C4、系数C5以及系数C1，执行解码侧的包括输出图像数据的第一行的第一合成处理(小波逆变换处理)。
具体来说，通过第一合成处理，按系数C5、系数C4以及系数C1的顺序，将系数数据从编码侧提供给解码侧，通过解码侧，对系数C5和系数C4进行合成处理，以通过作为与分割级＝2相对应的合成处理的合成级＝2的处理来生成系数Cf，并将其存储在缓冲器中。随后，通过作为与分割级＝1相对应的合成处理的合成级＝1的处理，对系数Cf和系数C1进行合成处理，以输出第一行。
以此方式，通过第一合成处理，按系数C5、系数C4、系数C1...的顺序对按系数C1、系数C2、系数C3、系数C4以及系数C5的顺序生成并存储在系数排序缓冲单元13中的系数数据进行排序，以准备提供给解码侧。
注意，通过图13的右侧所示的合成滤波侧，对于要从编码侧提供的系数，在括号内表示编码侧的系数编号，在括号外表示合成滤波的行顺序。例如，系数C1(5)表示图13的左侧的合成滤波侧的系数C5并且合成滤波侧的第一行。
可以使用在最后一次合成处理时从合成或编码侧提供的系数数据，来执行根据在编码侧在第二滤波处理以及之后的处理中生成的系数数据在解码侧进行的合成处理。对于图13中的示例，在解码侧要使用在编码侧在第二滤波处理中生成的低频分量的系数C8和系数C9来执行的第二合成处理还需要在编码侧在第一滤波处理中生成的系数C2和系数C3，并对第二行到第五行进行解码。
也就是说，通过第二滤波处理，按系数C9、系数C8、系数C2以及系数C3的顺序，将系数数据从编码侧提供给解码侧。对于解码侧，在合成级＝2的处理中，使用系数C8和系数C9以及在第一合成处理时从编码侧提供的系数C4来生成系数Cg，并将其存储在缓冲器中。使用该系数Cg、以上系数C4以及通过第一合成处理生成并存储在缓冲器中的系数Cf来生成系数Ch，并将其存储在缓冲器中。
随后，对于合成级＝1的处理，使用在合成级＝2的处理中生成并存储在缓冲器中的系数Cg和系数Ch、从编码侧提供的系数C2(由合成滤波表示的系数C6(2))和系数C3(由合成滤波表示的系数C7(3))，来执行合成处理，并对第二行到第五行进行解码。
按此方式，通过第二合成处理，按系数C9、系数C8、系数C2、系数C3...的顺序，对在编码侧按系数C2、系数C3、(系数C4、系数C5)、系数C6、系数C7、系数C8以及系数C9的顺序生成的系数数据进行排序，并将其提供给解码侧。
通过第三合成处理以及之后的处理，类似的是，按预定顺序对存储在系数排序缓冲单元213中的系数数据进行排序，并将其提供给解码单元，一次四行地对这些行进行解码。
注意，对于在解码侧的与编码侧的包括画面的下边沿的行的滤波处理(以下称为“最后一轮”)相对应的合成处理，输出在到此为止的处理中生成并且存储在缓冲器中的所有系数数据，因此输出行的数量增大。对于图13中的示例，将8行输出到最后一轮。
注意，例如，通过按预定顺序对在读出存储在系数排序缓冲单元213中的系数数据时的读取地址进行排序，来执行系数排序单元214的系数数据排序处理。
以下将参照图14更具体地描述上述处理。图14是用于使用5×3滤波器根据到分割级＝2为止的的小波变换来进行滤波处理的示例。通过小波变换单元11，如图14中的A的示例所示，针对输入图像数据的第一行到第七行(图14中的A中的In-1)，沿水平和垂直方向中的每一个执行第一滤波处理。
通过第一滤波处理的分割级＝1的处理，在通过分割级＝1形成的区域HH、区域HL以及区域LH中的每一个中，如图14中的B的示例所示，生成并设置系数C1、系数C2以及系数C3的三行的系数数据(图14中的B中的WT-1)。
此外，通过根据分割级＝2的沿水平和垂直方向的滤波处理，将通过分割级＝1形成的区域LL进一步分割成四个。在根据分割级＝1的区域LL内，通过分割级＝2生成的系数C5和系数C4是与设置在区域LL中的系数C5相应的一行和与设置在区域HH、区域HL以及区域LH中的每一个中的系数C4相应的一行。
通过小波变换单元211的第二滤波处理以及之后的处理，对每四行(图14中的A中的In-2...)执行滤波处理，通过分割级＝1生成两行的系数数据(图14中的B中的WT-2)，通过分割级＝2生成一行的系数数据。
对于图13中的第二轮的示例，在分割级＝1的滤波处理中生成系数C6和系数C7的两行系数数据，并且如图14中的B中的示例所示，从在通过分割级＝1形成的区域HH、区域HL以及区域LH的第一滤波处理中形成的系数数据之后起被设置。类似的是，在根据分割级＝1的区域LL内，将在分割级＝2的滤波处理中生成的系数C9的一行设置在区域LL中，将系数C8的一行设置在区域HL和区域LH中的每一个中。
在如图14中的B所示对经过小波变换的数据进行解码时，如图14中的C中的示例所示，响应于在编码侧根据第一行到第七行的第一滤波处理，输出在解码侧根据第一合成处理的第一行(图14中的C中的Out-1)。然后，响应于在编码侧从第二轮到最后一轮之前的一轮的滤波处理，在解码侧一次输出四行(图14中的C中的Out-2...)。随后，响应于在编码侧的最后一轮的滤波处理，在解码侧输出8行。
将在小波变换单元211处从高频分量侧到低频分量侧生成的系数数据顺序地存储在系数排序缓冲单元213中。在将系数数据累积在系数排序缓冲单元213中直到能够对上述系数数据进行排序之后，系数排序单元214按合成处理所需的顺序对系数数据进行排序，并从系数排序缓冲单元213读出系数数据。将所读取的系数数据顺序地提供给熵编码单元215。
熵编码单元215对所提供的系数数据顺序地进行编码，并将所生成的编码数据提供给时间戳计算单元216。时间戳计算单元216如上所述地计算时间戳，并且分组化单元217如上所述地执行分组化。
接着，将描述与图10中的编码单元112相对应的解码单元。图15是图解说明应用了本发明的解码单元的结构示例的框图。如图15所示，解码单元133包括熵解码单元221、系数缓冲单元222、小波逆变换单元223以及重放时间点调节缓冲器224。
熵解码单元221通过与熵编码单元215的编码方法对应的解码方法对所提供的编码数据进行解码，以获得系数数据。将该系数数据存储在系数缓冲单元222中。小波逆变换单元223使用存储在系数缓冲器222中的系数数据，通过合成滤波来执行合成滤波处理(小波逆变换)，并再次将合成滤波处理结果存储在系数缓冲器222中。小波逆变换单元223根据分割级重复该处理，在获得解码图像数据(输出图像数据)时，使重放时间点调节缓冲器224暂时保持它，并在由同步控制单元142确定的同步重放时间点处输出它。
处理流程
接着，将描述由编码单元112和解码单元133执行的处理流程的示例。
首先，将参照图16中的流程图描述要由编码单元112执行的编码处理的流程示例。注意，该处理对应于图7中的步骤S122到步骤S124。
在编码处理开始时，在步骤S201中小波变换单元211将要处理的区块的数量A设定为初始设置。在通常的情况下，数量A被设定为“1”。在完成了设置时，在步骤S202中，小波变换单元211获得生成从最低频子带中的最上端起的第A条线所需的行数(即，一个区块)的图像数据。
此外，在步骤S203中，小波变换单元211对图像数据进行垂直分析滤波处理，该处理用于对在画面的垂直方向上排列的图像数据进行分析滤波。在步骤S204中，小波变换单元211进一步对图像数据进行水平分析滤波处理，该处理用于对在画面的水平方向上排列的图像数据进行分析滤波。
在步骤S205中，小波变换单元211确定分析滤波处理是否已经执行到最后一级。在确定分割级尚未到达最后一级时，处理返回到步骤S203，并针对当前分割级重复步骤S203和步骤S204中的分析滤波处理。
在步骤S205中确定分析滤波处理已经执行到最后一级的情况下，处理进行到步骤S206。
在步骤S206中，系数排序单元214按从低频到高频的顺序，对区块A(从画面(帧或场)的顶部起的第A个区块)的系数进行排序。在步骤S207中，针对每个行，熵编码单元215对这些系数进行熵编码。
在步骤S208中，时间戳计算单元216计算通过熵编码而获得的编码数据的与捕获时间点相同步的时间戳。在步骤S209中，分组化单元217对编码数据进行分组化。此时，分组化单元217将所计算出的时间戳值附加到分组。
在步骤S210中，分组化单元217发送所生成的分组。
在步骤S211中，小波变换单元211将数量A的值递增1，以将下一区块作为处理对象，在步骤S212中，针对要处理的画面(帧或场)，确定是否存在未处理图像输入行。在确定存在未处理图像输入行的情况下，处理返回到步骤S202，在此处针对要处理的新区块重复之后的后续处理。
如上所述，重复执行步骤S202到步骤S212中的处理，对每个区块进行编码。随后，在步骤S212中确定不存在未处理图像输入行的情况下，结束对画面的编码处理。针对下一画面开始新的编码处理。
按此方式，小波变换单元211以区块为增量，连续执行垂直分析滤波处理和水平分析滤波处理，直到最后一级，因此与常规方法相比，一次(在同一时段)需要被保持(缓存)的数据量较小，可以显著减小要准备的缓冲器存储量。此外，将分析滤波处理执行到最后一级，由此也可以执行随后阶段的处理，如系数排序、熵编码等(即，可以以区块为增量执行系数排序和熵编码)。因此，与对整个画面执行小波变换的方法相比，可以显著缩短延迟时间。
接着，将参照图17中的流程图描述由解码单元133执行的解码处理的流程示例。注意，该处理对应于图8中的步骤S144到步骤S145。
在开始解码处理时，在步骤S231中，熵编码单元221获得从解码单元133外部提供的编码数据，在步骤S232中，针对每个行，对编码数据进行熵解码。
在步骤S233中，系数缓冲单元222保持解码后获得的系数数据。在步骤S234中，小波逆变换单元223确定在系数缓冲单元222中是否已经累积了一个区块的系数数据。在确定尚未累积一个区块的系数数据的情况下，处理返回到步骤S231，并执行步骤S231以及之后的处理。也就是说，小波逆变换单元223进行等待，直到在系数缓冲单元222中累积了一个区块的系数数据。
在步骤S234中确定在系数缓冲单元222中已经累积了一个区块的系数数据的情况下，处理进行到步骤S235。在步骤S235中，小波逆变换单元223读出保持在系数缓冲单元222中的一个区块的系数数据。在步骤S236中，小波逆变换单元223执行垂直合成滤波处理，该处理用于对沿画面的垂直方向排列的系数数据进行合成滤波处理。
在步骤S237中，小波逆变换单元223执行水平合成滤波处理，该处理用于对沿画面的水平方向排列的系数数据进行合成滤波处理。在步骤S238中，小波逆变换单元223确定合成滤波处理是否已经完成到级别1(分割级的值是级别“1”)，即，逆变换是否已经执行到小波变换前的状态。在确定合成滤波处理尚未到达级别1的情况下，处理返回到步骤S236，在该步骤中，重复步骤S236和步骤S237中的滤波处理。
在步骤S238中确定合成滤波处理已经完成到级别1的情况下，处理进行到步骤S239。在步骤S239中，小波逆变换单元223使重放时间点调节缓冲器224暂时保持它，并在由同步控制单元142确定的同步重放时间点处将它输出到外部。
在步骤S240中，熵解码单元221确定是否结束解码处理。在确定尚未结束解码处理的情况下，处理返回到步骤S231，重复该步骤的处理以及之后的处理。此外，在步骤S240中确定由于区块已经结束因此解码处理已经结束的情况下，解码处理结束。
在常规小波逆变换方法的情况下，首先，要处理的分割级的所有系数数据已经经受了沿画面的水平方向的水平合成滤波处理，然后经受沿画面的垂直方向的垂直合成滤波处理。具体来说，每次进行每个合成滤波处理时，需要将其合成滤波处理的结果保持在缓冲器中，但是此时，缓冲器需要保持此时的分割级的合成滤波结果以及下一分割级的所有系数，因此需要准备极大的存储容量(要保持的数据量很大)。
此外，在此情况下，在完成了画面(帧或场)内的整个小波变换之前，不执行图像数据的输出，因此从输入到输出的延迟时间增大。
另一方面，在解码单元133的小波逆变换单元223的情况下，如上所述，以区块为增量，连续执行垂直合成滤波处理和水平合成滤波处理，直到级别1，因此与常规方法相比，一次(在同一时段)要缓存的数据量较小，因此可以显著减小要准备的缓冲器的存储容量。此外，将合成滤波处理(小波逆变换)执行到级别1，因此在获得画面内的整个图像数据之前可以(以区块为增量)顺序地输出图像数据，因此，与常规方法相比可以大大减小延迟时间。
如图18所示，可以根据需要并行执行以上各种处理。
图18是示意性地图解说明由图10所示的编码单元12和图15所示的解码单元133的各个元件执行的处理的各单元的并行操作的示例的图。图18对应于以上图14。由小波变换单元211(图10)对图像数据的输入In-1(图18中的A)进行第一小波变换WT-1(图18中的B)。如参照图13所述的，该第一小波变换WT-1是在输入头三行的时间点时开始的，并且生成了系数C1。也就是说，在从输入像素数据In-1起开始小波变换WT-1之前，产生了相当于三行的延迟。
将所生成的系数数据存储在系数排序缓冲单元213(图10)中。之后，对输入的图像数据进行小波变换，在完成了第一处理时，处理进行到第二小波变换WT-2。
与用于第二小波变换WT-2的图像数据In-2的输入并行，系数排序单元214执行该第二小波变换WT-2处理、对三个系数C1、系数C4以及系数C5的排序Ord-1(图18中的C)的处理。
注意，在从完成小波变换WT-1起开始排序Ord-1之前的延迟是依赖于设备或系统结构的延迟，例如，伴随着指示系数排序单元214执行排序处理的控制信号的传播的延迟、启动系数存储单元214对控制信号的处理所需的延迟、或者程序处理所需的延迟，因此不完全是涉及编码处理的延迟。
按排序结束的顺序从系数排序缓冲单元213读出系数数据，并将其提供给熵编码单元215(图10)，在该单元中执行熵编码EC-1(图18中的D)。可以在不等待对三个系数C1、系数C4以及系数C5的排序都结束的情况下开始该熵编码EC-1。例如，在对要首先输出的系数C5的一行的排序完成时的时间点处，可以开始对该系数C5的熵编码。在此情况下，从排序Ord-1的处理开始起到熵编码EC-1的处理开始为止的延迟相当于一行。
对熵编码单元215完成了对其的熵编码EC-1的编码数据进行预定信号处理，然后发送到解码单元133(图15)(图18中的E)。
如上所述，在第一处理输入了7行的图像数据之后，将图像数据顺序输入到编码单元112，直到画面上的下边沿行。通过编码单元112，如上所述，伴随着图像数据的输入In-n(n等于或大于2)，对每四行执行小波变换WT-n、排序Ord-n和熵编码EC-n。对六行执行在编码单元112处对最后一轮处理的排序Ord和熵编码EC。如图18中的A到图18中的D所例示的那样，在编码单元112并行执行这些处理。
将由编码单元112通过熵编码EC-1编码后的编码数据经由每个单元提供给解码单元133。解码单元133的熵解码单元221(图15)对由熵编码EC-1编码的所提供的编码数据顺序地进行熵解码iEC-1，以恢复系数数据(图18中的F)。将恢复的系数数据顺序地存储在系数缓冲单元222中。在已将执行小波逆变换所需的系数数据存储在系数缓冲单元222中时，小波逆变换单元223从系数缓冲单元222读出系数数据，并使用所读取的系数数据执行小波逆变换iWT-1(图18中的G)。
如参照图13所描述的，可以在系数C4和系数C5被存储在系数缓冲单元222中时的时间点处开始小波逆变换单元223的小波逆变换iWT-1。因此，从熵解码单元221开始解码iEC-1起直到小波逆变换单元223开始小波逆变换iWT-1为止的延迟相当于两行。
通过小波逆变换单元223，在完成了通过第一小波变换对3行的小波逆变换iWT-1时，执行对通过小波逆变换iWT-1产生的图像数据的输出Out-1(图18中的H)。通过输出Out-1，如以上参照图13和图14所描述的，输出第一行的图像数据。
在输入了通过编码单元112处的第一轮处理的编码后的3行系数数据时，将通过熵编码EC-n(n等于或大于2)编码的系数数据顺序输入解码单元133。如上所述，针对每四行，解码单元133对输入的系数数据进行熵解码iEC-n和小波逆变换iWT-n，并顺序地执行通过小波逆变换iWT-n恢复的图像数据的输出Out-n。对六行执行与编码单元112的最后一轮对应的熵解码iEC和小波逆变换iWT，通过输出Out，输出8行。如图18中的F到图18中的H所例示的，在解码单元133并行执行这些处理。
如上所述，按从画面的上到下的方向的顺序并行执行编码单元112和解码单元133处的每个处理，由此可以按低延迟执行图像压缩处理和图像解码处理。
参照图18，让我们来计算在已经使用5×3滤波器将小波变换执行到分割级＝2的情况下从图像输入到图像输出的延迟时间。自将第一行的图像数据输入到编码单元112起直到从解码单元133输出该第一行的图像数据为止的延迟时间是以下中的每一个要素之和。注意，此处，排除了因系统结构而不同的延迟，比如发送路径的延迟，伴随设备的每个单元的实际处理定时的延迟等。
(1)自从输入第一行起直到完成了7行的小波变换WT-1为止的延迟D_WT
(2)伴随3行的系数排序Ord-1的时间D_Ord
(3)伴随3行的熵编码EC-1的时间D_EC
(4)伴随3行的熵解码iEC-1的时间D_iEC
(5)伴随3行的小波变换iWT-1的时间D_iWT
参照图18，我们来试图计算由于上述各要素而导致的延迟。(1)中的延迟D_WT相当于10行的时间。(2)中的时间D_Ord、(3)中的时间D_EC、(4)中的时间D_iEC以及(5)中的时间D_iWT中的每一个相当于3行的时间。此外，编码单元112可以在自排序Ord-1开始起一行之后开始熵编码EC-1。类似的是，解码单元可以在自熵解码iEC-1开始起两行之后开始小波逆变换iWT-1。此外，熵解码iEC-1可以在通过熵编码EC-1完成了一行的编码时的时间点开始处理。
因此，通过图18中给出的示例，自将第一行的图像数据输入到编码单元112起直到从解码单元133输出该第一行的图像数据为止的延迟时间相当于10+1+1+2+3＝17行。
我们通过举一个更具体的示例来考察延迟时间。在输入图像数据是HDTV(高清晰度电视)隔行视频信号的情况下，一个帧由1920像素×1080行的分辨率组成，一个场是1920像素×540行。因此，如果说帧频率是30Hz，那么在16.67毫秒(msec.)(＝1妙/60场)的时间内一个场的540行被输入给编码单元112。
因此，伴随着输入7行的图像数据的延迟时间是0.216msec.(＝16.67msec.×7/540行)，因此相对于一个场的更新时间来说是非常短的时间。此外，对于以上(1)中的延迟D_WT、(2)中的时间D_Ord、(3)中的时间D_EC、(4)中的时间D_iEC以及(5)中的时间D_iWT之和，要处理的行数很小，因此极大地缩短了延迟时间。
如上所述，在应用以画面或更小的增量执行编码的低延迟编码方法的情况下，保持低延迟性质尤其重要。通过信息处理系统100，如上所述，可以按更可靠的方式实现图像的低延迟发送同步重放。具体来说，信息处理系统100可以在动态改变帧速率的同时实现低延迟发送，以防止图像失败，由此可以提供更好的优势。
注意，编码/解码方法基本上是任意的，因此可以是除上述方法以外的其他方法。例如，可以使用另一帧内编码方法，如运动JPEG(联合摄影专家组)等，或者可以使用帧间编码方法，如ITU-T(国际电信联盟电信标准部)H.264等。
不必说，可以将基带的图像数据从发送装置101发送到接收装置102而不进行编码。
3.第三实施例
设备结构
此外，以上对发送装置101更新时间戳值进行了描述，但是除此以外，可以从诸如接收装置102的帧速率等的信息来计算反映了时间戳的更新的同步重放时间点(与第一实施例基本上相同的同步重放时间点)。
图19是图解说明应用了本发明的信息处理系统的另一结构示例的框图。
图19所示的信息处理系统300对应于图4中的信息处理系统100。具体来说，以与信息处理系统100相同的方式，信息处理系统300是用于经由因特网网络103从发送装置301向接收装置302进行运动图像的低延迟发送同步重放的系统。
发送装置301对应于图4中的发送装置101。发送装置301具有与发送装置101基本相同的结构，但是包括帧速率值附加单元314而不是时间戳控制单元114。
帧速率值附加单元314从帧速率转换单元113获得经过了帧速率转换的编码数据的RTP分组，并且还从帧速率转换单元113接收对转换后的发送帧速率f_t(fps)的通知。
帧速率值附加单元314将从帧速率转换单元113通知的表示发送帧速率f_t(fps)的信息附加到编码数据的RTP分组。帧速率值附加单元314将附加了帧速率值的分组提供给平滑单元115。
也就是说，通过第一实施例，将更新后的时间戳从发送装置101提供给接收装置102，另一方面，通过本实施例，将更新前的时间戳和转换后的帧速率值从发送装置301提供给接收装置302。
接收装置302对应于图14中的接收装置102。接收装置302具有与接收装置102基本相同的结构，但是包括同步控制单元342而不是同步控制单元142。
同步控制单元342针对保持在接收缓冲器132中的分组(编码数据)，根据从发送装置301发送的时间戳值和附加到分组的帧速率值以及捕获单元111的采样帧速率，计算与发送速率的平滑相对应的同步重放时间点。
具体来说，在本实施例的情况下，不在发送装置侧更新时间戳，而是接收装置302的同步控制单元342从发送帧速率f_t(fps)和采样帧速率f_s(fps)获得帧删减率M。同步控制单元342根据该值以及附加到编码块数据的时间戳值TS来计算同步重放时间点。所计算出的同步重放时间点基本上与根据上述实施例的相同。
也就是说，利用该同步重放时间点，同样，根据发送速率的平滑来调节低帧速率时对每个分组的处理定时，以防止图像失败。
处理流程
以下将参照图20的流程图描述发送装置301执行的发送处理的流程示例。该发送处理对应于图7的流程图。
如上所述，在本实施例的情况下，同样，按与参照图7的流程图描述的情况基本相同的方式执行发送处理。因此，按与图7中的步骤S121到步骤S125相同的方式执行图20中的步骤S321到步骤S325的各个处理。
在步骤S326中，帧速率值附加单元314将表示转换后的帧速率值(发送帧速率f_t(帧/秒))的帧速率信息附加到编码数据的分组报头等。
图21是描述执行发送帧速率的附加的方式的图。
按图21所示的格式将帧速率信息存储在RTP扩展报头(RTP Extension Header)中。如图21所示，帧速率值附加单元314将DBP(通过简档定义的)的值设定为“0”，并将LEN(长度)的值设定为“1”。帧速率值附加单元314还在之后的32比特设置TFR(发送帧速率)，并将发送帧速率f_t(fps)设置于此。例如，将发送帧速率f_t乘以1000，并将通过从该乘法结果截去小数点以下而获得的值附加于此。
按与图7中的步骤S127和步骤S128的每个处理相同的方式执行步骤S327和步骤S328的各处理。
在步骤S328中发送了分组时，发送处理结束。如上所述，顺序地发送每个分组。在此情况下，同样，一旦完成了准备，就执行上述各步骤的处理，一旦完成了各处理单元处的处理，就对下一数据重复处理。因此，在此情况下，同样，根据需要并行执行以上各处理。
注意，可以在发送装置101的外部在延迟装置(例如，路由器、以太网(注册商标)交换机等)处执行平滑处理。
以下，将参照图22中的流程图描述接收装置302执行的接收处理的流程示例。该接收处理对应于图8中的流程图。
如上所述，在本实施例的情况下，同样，按与参照图8中的流程图描述的情况基本相同的方式执行接收处理。因此，按与图8中的步骤S141和步骤S142相同的方式执行图22中的步骤S341和步骤S342的各处理。
在步骤S343中，针对保持在接收缓冲器132中的分组，同步控制单元342不仅利用时间戳值(更新前的时间戳值)，而且利用从发送装置101通知的发送帧速率f_t(fps)和预先保持在接收装置102中的捕获单元111的采样帧速率，来确定重放时间点。
同步控制单元342计算帧删减率M，如以下表达式(13)所示。
[数学表达式8]
M＝f_s div f_t    …(13)
按与第一实施例的情况相同的方式，同步控制单元342计算与紧接在包括要播放的编码块数据B的帧数据之后的、经过了帧删减的帧数据的最后一个帧数据匹配的编码块数据的重放时间点。同步控制单元342如以下表达式(14)所示那样计算重放时间点T2_p(TS)。
[数学表达式9]
T 2 p ( TS ) = T p ( TS ) + ( M - 1 ) f _ s - - - ( 14 )
注意，T_p(TS)是表达式(9)的重放时间点，并且是要从时间戳获得的重放时间点。在本实施例的情况下，Tp(TS)是要与采样速率相对应地从时间戳获得的重放时间点。也就是说，重放时间点T2_p(TS)是通过将要从采样帧速率和发送帧速率计算出的校正值(((f_s div f_t)-1)/f_s)附加到要从时间戳获得的重放时间点而获得的。
在重放时间点T2_p(TS)播放各数据，从而使得能够按与第一实施例的情况相同的定时进行重放，如图23中的时间图示例所示。
也就是说，信息处理系统300也能够以更可靠的方式实现图像的低延迟发送同步重放。
注意，以上对接收装置302预先实现捕获单元111处的采样帧速率进行了描述，但是除此以外，可以从发送装置301向接收装置302发送采样帧速率信息。在此情况下，应当将采样帧速率信息连同以上发送帧速率信息一起发送。
此外，可以将帧速率信息设置到除RTP分组的RTP扩展报头(RTP Extension Header)以外的字段。此外，可以将帧速率信息附加到其他分组然后发送，或者可以通过其他发送方法来发送。
不必说，在本实施例的情况下，同样，按与第一实施例相同的方式，可以使用除时间戳以外的与运动图像数据的各帧的采样时间点相同步的信息，如帧ID、内部帧块ID等，而不使用时间戳。
4.第四实施例
设备结构
此外，发送装置101可以向接收装置102发送表示在帧转换时被删减的帧数的帧跳跃数，而不发送帧速率信息。在此情况下，接收装置102使用帧跳跃数来计算反映了时间戳值的更新的同步重放时间点(与第一实施例的情况基本相同的同步重放时间点)。
图24是图解说明应用了本发明的还一信息处理系统的结构示例的框图。
图24中所示的信息处理系统400对应于图4中的信息处理系统100。具体来说，按与信息处理系统100的情况相同的方式，信息处理系统400是用于经由因特网网络103从发送装置401向接收装置402进行运动图像的低延迟发送同步重放的系统。
发送装置401对应于图4中的发送装置101。发送装置401具有与发送装置101基本相同的结构，但是具有帧跳跃数附加单元414而不是时间戳控制单元114。
帧跳跃数附加单元414从帧速率转换单元113获得经过了帧速率转换(经过了帧删减处理)的编码数据的RTP分组，并且还从帧速率转换单元113接收表示在帧速率转换时删减的帧数的帧跳跃数N_s(帧)的通知。
更具体来说，帧跳跃数表示在转换后的帧数据与转换后的下一帧数据之间在转换前存在的帧数，并且在帧删减率取M的情况下被表示为M-1。
帧跳跃数附加单元414将表示从帧速率转换单元113通知的帧跳跃数N_s(帧)的信息附加到编码数据的RTP分组。帧跳跃数附加单元414将附加了帧跳跃数的分组提供给平滑单元115。
也就是说，通过第一实施例，将更新后的时间戳从发送装置101提供给接收装置102，但是另一方面，在本实施例中，将更新前的时间戳和帧跳跃数从发送装置401提供给接收装置402。
接收装置402对应于图4中的接收装置102。接收装置402具有与接收装置102基本相同的结构，但是包括同步控制单元442而不包括同步控制单元142。
同步控制单元442针对保持在接收缓冲器132中的分组(编码数据)，根据从发送装置401发送的时间戳值和附加到分组的帧跳跃数、以及捕获单元111的采样帧速率，来计算与发送速率的平滑相对应的同步重放时间点。
具体来说，在本实施例的情况下，接收装置402的同步控制单元442根据帧跳跃数N_s(帧)、采样帧速率f_s(fps)以及时间戳值TS来计算同步重放时间点，而不是在发送装置侧更新时间戳。计算出的同步重放时间点与根据上述实施例的基本相同。
也就是说，通过该同步重放时间点，同样，根据发送速率的平滑来调节在低帧速率时的每个分组的处理定时，以防止图像失败。
处理流程
图25是描述发送处理的还一流程示例的流程图。该发送处理对应于图7中的流程图。
如上所述，在本实施例的情况下，同样，按与参照图7的流程图描述的情况基本相同的方式执行发送处理。因此，按与图7中的步骤S121到步骤S125相同的方式执行图20中的步骤S421到步骤S425的各个处理。
在步骤S426中，帧跳跃数附加单元414将帧跳跃数N_s(frame)附加到编码数据的分组报头等。
图26是描述执行帧跳跃数的附加的方式的图。
按图26所示的格式将帧跳跃数存储在RTP扩展报头(RTP Extension Header)中。如图26所示，帧跳跃数附加单元414将DBP(通过简档定义的)的值设定为“0”，并将LEN(长度)的值设定为“1”。帧跳跃数附加单元414还在之后的32比特设置NSF(跳过帧数)，并将帧跳跃数N_s(帧)设置于此。
按与图7中的步骤S127和步骤S128的每个处理相同的方式执行步骤S427和步骤S428的各处理。
在步骤S428中发送了分组时，发送处理结束。如上所述，顺序地发送每个分组。在此情况下，同样，一旦完成了准备，就执行上述各步骤的处理，一旦完成了各处理单元处的处理，就对下一数据重复处理。因此，在此情况下，同样，根据需要并行执行以上各处理。
注意，可以在发送装置101的外部在延迟装置(例如，路由器、以太网(注册商标)交换机等)处执行平滑处理。
以下，将参照图27中的流程图描述接收装置402执行的接收处理的流程示例。该接收处理对应于图8中的流程图。
如上所述，在本实施例的情况下，同样，按与参照图8中的流程图描述的情况基本相同的方式执行接收处理。因此，按与图8中的步骤S141和步骤S142相同的方式执行图27中的步骤S441和步骤S442的各处理。
在步骤S443中，针对保持在接收缓冲器132中的分组，同步控制单元442不仅利用时间戳值(更新前的时间戳值)，而且利用从发送装置101通知的帧跳跃数N_s(帧)和预先保持在接收装置102中的捕获单元111的采样帧速率，来确定重放时间点。
按与第一实施例的情况相同的方式，同步控制单元442计算与紧接在包括要播放的编码块数据B的帧数据之后的、经过了帧删减的帧数据的最后一个帧数据匹配的编码块数据的重放时间点。同步控制单元442如以下表达式(15)所示那样计算重放时间点T3_p(TS)。
[数学表达式10]
T 3 p ( TS ) = T p ( TS ) + N _ s f _ s - - - ( 15 )
注意，T_p(TS)是表达式(9)的重放时间点，并且是要从时间戳获得的重放时间点。在本实施例的情况下，Tp(TS)是要与采样速率相对应地从时间戳获得的重放时间点。也就是说，重放时间点T3_p(TS)是通过将要从采样帧速率和帧跳跃数计算出的校正值(N_s/f_s)加到要从时间戳获得的重放时间点而获得的。
在重放时间点T3_p(TS)播放各数据，从而使得能够按与第一实施例的情况相同的定时进行重放，如图28中的时间图示例所示。
注意，以上对接收装置402预先实现捕获单元111处的采样帧速率进行了描述，但是除此以外，可以从发送装置401向接收装置402发送采样帧速率信息。在此情况下，应当将采样帧速率信息连同以上帧跳跃数一起发送。
此外，可以将帧跳跃数设置到除RTP分组的RTP扩展报头(RTP Extension Header)以外的字段。此外，可以将帧跳跃数附加到其他分组然后发送，或者可以通过其他发送方法来发送。
不必说，在本实施例的情况下，同样，按与第一实施例相同的方式，可以使用除时间戳以外的与运动图像数据的各帧的采样时间点相同步的信息，如帧ID、内部帧块ID等，而不使用时间戳。
5.第五实施例
个人计算机
以上系列处理可以通过硬件来执行，也可以通过软件来执行。在此情况下，例如，可以将上述系列处理配置成个人计算机，如图29所示。
在图29中，CPU(中央处理器)501按照保存在ROM(只读存储器)502或从存储单元513加载到RAM(随机存取存储器)503的程序，执行各种处理。根据需要，将CPU 501执行各种处理所需的数据等也存储在RAM 503中。
CPU 501、ROM 502以及RAM 503通过总线504相互连接。还将输入/输出接口510连接到该总线504。
输入单元511由键盘、鼠标等构成，输出单元512由诸如CRT(阴极射线管)或LCD(液晶显示器)等的显示器、扬声器等组成，存储单元513由硬盘等组成，通信单元514由调制解调器等组成，输入单元511、输出单元512、存储单元513以及通信单元514被连接到输入/输出接口510。通信单元514通过包括因特网在内的网络执行通信处理。
根据需要，驱动器515也连接到输入/输出接口510，在驱动器515上，根据需要，安装可移动介质521，如磁盘、光盘、磁光盘、半导体存储器等，根据需要，将从中读出的计算机程序安装在存储单元513中。
在通过软件执行以上系列处理的情况下，从网络或记录介质安装构成该软件的程序。
如图29所示，除了装置主单元以外，该记录介质例如包括可移动介质521，它是包括磁盘(包括软盘)，光盘(包括CD-ROM(光盘-只读存储器)和DVD(数字通用光盘))，磁光盘(包括MD(小型光盘))，半导体存储器等，其被分发以将程序分发到用户，该记录介质也可以包括记录有程序的ROM 502、包括在存储单元513中的硬盘等，其在预先嵌入在驱动主单元中的状态下被分发给用户。
注意，计算机执行的程序可以是用于根据本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是并行或者按所需定时(如在进行调用的时间)执行处理的程序。
此外，根据本说明书，描述要记录在记录介质中的程序的步骤不仅包括要连同上述顺序按面向时间的方式执行的处理，而且包括并行或分别执行的处理，尽管不一定要按面向时间的顺序执行。
此外，根据本说明书，术语“系统”表示包括多个装置的整个设备。
此外，可以将以上被描述为单个设备(或处理单元)的结构通过拆分而构造成多个设备(或处理单元)。相反，可以将以上被描述成多个设备的结构通过聚合而构造成单个设备(或处理单元)。此外，不必说，可以将除以上描述的之外的构造添加到各设备(或各处理单元)的构造。此外，作为整个系统的结构和操作基本上相同，可以将某个设备(或处理单元)的结构的一部分包括在另一设备(或另一处理单元)的结构中。也就是说，本发明的实施例并不限于上述实施例，可以在不脱离本发明的实质和精神的情况下进行各种修改。
附图标记列表
100  信息处理系统
101  发送装置
102  接收装置
111  捕获单元
112  编码单元
113  帧速率转换单元
114  时间戳控制单元
115  平滑单元
116  RTP发送单元
121  RTCP单元
122  发送速率控制单元
131  RTP接收单元
132  接收缓冲器
133  解码单元
141  RTCP单元
142  同步控制单元
211  小波变换单元
212  中间计算缓冲单元
213  系数排序缓冲单元
214  系数排序单元
215  熵编码单元
216  时间戳计算单元
217  分组化单元
300  信息处理系统
301  发送装置
302  接收装置
314  帧速率值附加单元
342  同步控制单元
400  信息处理系统
401  发送装置
402  接收装置
414  帧跳跃数附加单元
442  同步控制单元

Claims (14)

1.一种信息处理设备，包括：
帧速率转换装置，被配置成对具有分配给每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；
更新装置，被配置成根据所述帧速率转换装置进行的帧速率转换，将所述帧速率转换后的每个帧的时间戳更新为从该时间戳到所述帧速率转换后的下一帧的更新前的时间戳的期间中的时间点；以及
发送装置，被配置成将所述时间戳被所述更新装置更新了的运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳来确定每个帧的重放时间点。
2.根据权利要求1所述的信息处理设备，其中所述更新装置将所述帧速率转换后的每个帧的时间戳更新为在所述帧速率转换前的状态下从所述帧速率转换后的下一帧来看位于一帧前的帧的时间戳。
3.根据权利要求1所述的信息处理设备，其中所述帧速率转换装置通过从所述运动图像数据删减一部分帧数据，将所述帧速率转换成所需帧速率。
4.根据权利要求1所述的信息处理设备，其中所述帧速率转换装置通过对所述运动图像数据的多个帧进行图像合成，将所述帧速率转换成所需帧速率。
5.根据权利要求1-4中的任何一项所述的信息处理设备，其中所述帧速率转换装置对运动图像数据的帧速率进行转换，将与每个帧的采样时间点相同步的ID值分配给每个预定数据单位；并且
其中所述更新装置根据所述帧速率转换装置进行的帧速率转换来更新所述帧速率转换后的ID值；并且
其中所述发送装置将带有由所述更新装置更新后的ID值的运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述ID值来确定每个帧的重放时间点。
6.一种信息处理方法，包括：
通过帧速率转换装置对具有分配给每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；
通过更新装置，根据帧速率转换将所述帧速率转换后的每个帧的时间戳更新为从该时间戳到所述帧速率转换后的下一帧的更新前的时间戳的期间中的时间点；以及
通过发送装置，将所述时间戳被更新了的运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳来确定每个帧的重放时间点。
7.一种信息处理设备，包括：
帧速率转换装置，被配置成对具有分配给每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；
附加装置，被配置成将作为用于确定所述帧速率转换的信息的帧信息附加到经过了所述帧速率转换装置的帧速率转换的运动图像数据，所述信息包括所述帧速率转换装置的帧速率转换后的帧速率和表示通过所述帧速率转换装置的帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；以及
发送装置，被配置成将由所述附加装置附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
8.根据权利要求7所述的信息处理设备，其中所述帧速率转换装置对运动图像数据的帧速率进行转换，该运动图像数据带有为每个预定数据单位分配的、与每个帧的采样时间点相同步的ID值；并且
其中所述发送装置将由所述附加装置附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述ID值、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
9.一种信息处理方法，包括：
通过帧速率转换装置，对具有分配给每个帧的、与采样时间点相同步的时间戳的运动图像数据的帧速率进行转换；
通过附加装置，将作为用于确定所述帧速率转换的信息的帧信息附加到经过了帧速率转换的运动图像数据，所述信息包括帧速率转换后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；以及
通过发送装置，将附加了所述帧信息的所述运动图像数据发送到另一信息处理设备，该另一信息处理设备被配置成基于所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定每个帧的重放时间点。
10.一种信息处理设备，包括：
接收装置，被配置成接收从另一信息处理设备发送来的附加了作为用于确定帧速率转换的信息的帧信息的运动图像数据，所述信息包括与每个帧的采样时间点相同步的时间戳、以及所述另一信息处理设备进行的帧速率转换后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；和
重放时间点确定装置，被配置成使用所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定由所述接收装置接收的运动图像数据的每个帧的重放时间点。
11.根据权利要求10所述的信息处理设备，其中所述重放时间点确定装置将通过从如下商的整数值减去1而获得的值除以所述采样速率，从而将从根据所述时间戳计算出的重放时间点起延迟了该除法结果大小的时间的时间点确定为所述重放时间点，所述商是通过将所述采样速率除以包括在所述帧信息中的所述帧速率而获得的。
12.根据权利要求10所述的信息处理设备，其中所述重放时间点确定装置将从根据所述时间戳计算出的重放时间点起延迟了通过将包括在所述帧信息中的所述帧跳跃数除以所述运动图像数据的采样帧速率而获得的除法结果大小的时间的时间点确定为所述重放时间点。
13.根据权利要求10到12中的任何一项所述的信息处理设备，其中所述接收装置接收运动图像数据，该运动图像数据附加有从另一信息处理设备发送的、每个预定数据单元的与每个帧的采样时间点相同步的ID值以及所述帧信息；并且
其中所述重放时间点确定装置使用所述ID值、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定由所述接收装置接收的运动图像数据的每个帧的重放时间点。
14.一种信息处理方法，包括：
通过接收装置，接收附加了作为用于确定帧速率转换的信息的帧信息的运动图像数据，所述信息包括从另一信息处理设备发送来的与每个帧的采样时间点相同步的时间戳、以及由所述另一信息处理设备执行的帧速率转换之后的帧速率和表示通过帧速率转换而去除的帧数的帧跳跃数中的至少任意一个；和
通过重放时间点确定装置，使用所述时间戳、所述运动图像数据的采样速率、以及包括在所述帧信息中的帧速率转换后的帧速率或所述帧跳跃数，来确定接收到的运动图像数据的每个帧的重放时间点。
CN2010800021008A 2009-05-27 2010-05-19 信息处理设备和方法 Pending CN102100082A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009127243A JP5493471B2 (ja) 2009-05-27 2009-05-27 情報処理装置および方法
JP2009-127243 2009-05-27
PCT/JP2010/058422 WO2010137502A1 (ja) 2009-05-27 2010-05-19 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN102100082A true CN102100082A (zh) 2011-06-15

Family

ID=43222613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800021008A Pending CN102100082A (zh) 2009-05-27 2010-05-19 信息处理设备和方法

Country Status (7)

Country Link
US (1) US20110123170A1 (zh)
EP (1) EP2437493A1 (zh)
JP (1) JP5493471B2 (zh)
KR (1) KR20120033296A (zh)
CN (1) CN102100082A (zh)
TW (1) TW201108748A (zh)
WO (1) WO2010137502A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984451A (zh) * 2011-09-06 2013-03-20 索尼公司 成像装置和成像方法
CN103460697A (zh) * 2011-04-11 2013-12-18 索尼公司 显示控制装置、显示控制方法和程序
CN104025607A (zh) * 2011-12-26 2014-09-03 索尼公司 用于异步网络上的多媒体内容的同步传输的装置和方法
CN105022710A (zh) * 2014-04-29 2015-11-04 通用电气公司 用于硬件组件之间的输入和输出的系统及方法
CN107066106A (zh) * 2010-10-05 2017-08-18 宏正自动科技股份有限公司 远端管理系统及其方法
CN110998529A (zh) * 2017-07-31 2020-04-10 三菱电机株式会社 信息处理装置以及信息处理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234341A (ja) * 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム
JP5616922B2 (ja) * 2012-04-16 2014-10-29 株式会社ソニー・コンピュータエンタテインメント 同期信号調整装置、同期信号調整方法、映像表示装置、および同期信号発生装置
US9445058B2 (en) 2012-05-14 2016-09-13 Intuitive Surgical Operations, Inc Method for video processing using a buffer
JP6050083B2 (ja) * 2012-10-18 2016-12-21 ルネサスエレクトロニクス株式会社 半導体装置
CN104270649B (zh) * 2014-10-28 2019-01-22 中磊电子（苏州）有限公司 影像编码装置及影像编码方法
TWI610285B (zh) * 2016-08-16 2018-01-01 晨星半導體股份有限公司 應用於顯示器的裝置及相關的影像顯示方法
JP6821014B2 (ja) * 2016-08-26 2021-01-27 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 符号化レート調節方法および端末
CN106507202B (zh) * 2016-11-11 2019-12-17 传线网络科技（上海）有限公司 播放控制方法及装置
KR102540459B1 (ko) * 2016-12-22 2023-06-05 한화비전 주식회사 Rtp/rtsp 표준을 따르는 서버와 클라이언트에서 실시간 영상 스트리밍 방법
JP6545205B2 (ja) * 2017-02-06 2019-07-17 セコム株式会社 データ配信システム及びデータ配信方法
JP7058946B2 (ja) * 2017-04-28 2022-04-25 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107360424B (zh) * 2017-07-28 2019-10-25 深圳岚锋创视网络科技有限公司 一种基于视频编码器的码率控制方法、装置及视频服务器
KR101852967B1 (ko) * 2017-12-27 2018-06-07 주식회사 아나패스 프레임 율 검출 방법 및 프레임 율 변환 방법
US10382718B2 (en) * 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1366271A (zh) * 2000-12-08 2002-08-28 松下电器产业株式会社 数据变换装置、数据编码装置以及数据记录装置
JP2003304502A (ja) * 2002-04-08 2003-10-24 Matsushita Electric Ind Co Ltd 特殊再生装置及び特殊再生方法
CN1655619A (zh) * 2004-02-14 2005-08-17 三星电子株式会社 执行代码转换前后保持定时参数的代码转换系统和方法
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481444B2 (ja) * 2000-06-30 2010-06-16 株式会社東芝 画像符号化装置
JP4242581B2 (ja) * 2000-12-08 2009-03-25 パナソニック株式会社 データ変換装置
US20050120128A1 (en) * 2003-12-02 2005-06-02 Wilife, Inc. Method and system of bandwidth management for streaming data
GB2412807A (en) * 2004-04-02 2005-10-05 Snell & Wilcox Ltd Video processing to reduce program length
JP2006197401A (ja) * 2005-01-14 2006-07-27 Sony Corp 情報処理装置および方法、並びにプログラム
JP4371120B2 (ja) 2006-05-16 2009-11-25 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1366271A (zh) * 2000-12-08 2002-08-28 松下电器产业株式会社 数据变换装置、数据编码装置以及数据记录装置
JP2003304502A (ja) * 2002-04-08 2003-10-24 Matsushita Electric Ind Co Ltd 特殊再生装置及び特殊再生方法
CN1655619A (zh) * 2004-02-14 2005-08-17 三星电子株式会社 执行代码转换前后保持定时参数的代码转换系统和方法
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066106A (zh) * 2010-10-05 2017-08-18 宏正自动科技股份有限公司 远端管理系统及其方法
CN103460697A (zh) * 2011-04-11 2013-12-18 索尼公司 显示控制装置、显示控制方法和程序
CN102984451A (zh) * 2011-09-06 2013-03-20 索尼公司 成像装置和成像方法
CN104025607A (zh) * 2011-12-26 2014-09-03 索尼公司 用于异步网络上的多媒体内容的同步传输的装置和方法
CN105022710A (zh) * 2014-04-29 2015-11-04 通用电气公司 用于硬件组件之间的输入和输出的系统及方法
CN110998529A (zh) * 2017-07-31 2020-04-10 三菱电机株式会社 信息处理装置以及信息处理方法
CN110998529B (zh) * 2017-07-31 2021-08-20 三菱电机株式会社 信息处理装置以及信息处理方法

Also Published As

Publication number Publication date
JP2010278596A (ja) 2010-12-09
KR20120033296A (ko) 2012-04-06
JP5493471B2 (ja) 2014-05-14
WO2010137502A1 (ja) 2010-12-02
US20110123170A1 (en) 2011-05-26
TW201108748A (en) 2011-03-01
EP2437493A1 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
CN102100082A (zh) 信息处理设备和方法
US8964921B2 (en) Information processing apparatus, method, and program
EP2337306B1 (en) Transmitting apparatus and method, and receiving apparatus and method
CN101536497B (zh) 用于减少频道变化时间以及在频道变化期间同步音频/视频内容的方法
US8184636B2 (en) Information processing device and method, and computer readable medium for packetizing and depacketizing data
JP5598155B2 (ja) 情報処理装置および方法、並びに送受信システム
CN101569170B (zh) 编码设备和编码方法以及解码设备和解码方法
JP3003618B2 (ja) 動画像送受信装置
CN102215320A (zh) 发送设备、接收设备、控制方法和通信系统
CN101237577A (zh) 信息处理设备和方法
CN101754018A (zh) 信息处理器及其方法
JP2010068301A (ja) 情報処理装置および方法
CN102948156A (zh) 信息处理装置和信息处理方法
CN114640886A (zh) 自适应带宽的音视频传输方法、装置、计算机设备及介质
CN100589557C (zh) 一种提高客户端vcr操作的响应速度的方法
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
JP5610199B2 (ja) 受信装置、受信方法、及び通信システム
CN103460697A (zh) 显示控制装置、显示控制方法和程序
JP2010063004A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
JP3448047B2 (ja) 送信装置及び受信装置
Dalgic Performance of ethernet and atm networks carrying video traffic based on accurate characterization of video sources

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110615