CN101309420A - 信息处理设备和方法以及信息处理系统 - Google Patents

Abstract

一种信息处理设备包括：积累单元，用于积累通过编码图像数据而获得的编码数据；读取单元，用于以数据增量读出所述编码数据；确定单元，用于确定指示所述积累单元处的所述编码数据的积累状态的参数是否满足预定的积累条件；禁止单元，用于在所述确定单元确定所述参数满足所述积累条件的情况下，禁止将在作为基准的、所述读出单元以数据增量正读出的编码数据之后读出的编码数据的读出；以及控制单元，用于控制所述读取单元，以便以数据增量省略被所述禁止单元禁止读出的编码数据的读出，并以数据增量执行未被所述禁止单元禁止读出编码数据的读出。

Description

信息处理设备和方法以及信息处理系统

对相关申请的交叉引用

本发明包含与2007年5月17日提交日本专利局的日本专利申请JP 2007-131284有关的主题，通过引用将其完整内容结合在此。

技术领域

本发明涉及信息处理设备和方法以及信息处理系统，具体地，涉及这样的信息处理设备和方法以及信息处理系统，借助于该信息处理设备和方法以及信息处理系统，对于内容的数据传输，可以抑制不必要的延迟时间的增加，并且可以抑制内容的质量的不必要的退化。

背景技术

迄今为止，作为视频图像传输/接收设备，存在用于广播站或体育场的体育转播广播等的双重屏蔽导线系统。迄今采用的双重屏蔽导线系统主要用于模拟图像，但是随着近来的图像处理数字化，可以构想从今以后用于数字图像的数字双重屏蔽导线系统将会流行。

采用常见的数字双重屏蔽导线系统，以摄像头拍摄视频图像，并且将其发送到传输路径(主线视频图像)，并且在摄像机控制单元处接收该主线视频图像，并且将其输出到屏幕。摄像机控制单元用户向摄像头用户给出关于拍摄的指令。摄像头用户基于它的指令执行拍摄。

摄像机控制单元还使用与主线视频图像分离的另一个系统向摄像头侧发送返回的视频图像。该返回的视频图像可以是正被转换的从摄像头提供的主线视频图像的结果，或可以是摄像机控制单元处从外部输入的视频图像。摄像头将该返回的视频图像输出到例如屏幕。通过参考该返回的视频图像，摄像头用户可以确认，例如，由他/她拍摄的拍摄图像被在摄像机控制单元处接收得怎么样。

一般地，摄像头和摄像机控制单元间的传输路径的带宽是有限的，并且因此需要压缩视频图像，以便通过该传输路径将其发送。例如，在从摄像头向摄像机控制单元发送的主线视频图像是HDTV(高清晰度电视)信号的情况下(当前的信号大约为1.5Gbps)，可以将其压缩到大约1/10，大约150Mbps。对于这种图像压缩方法，可以使用各种压缩方法，例如，MPEG(运动图像专家组)等(见日本待审专利申请公开号9-261633)。

上述是数字双重屏蔽导线系统的基本配置和操作。对于这种双重屏蔽导线系统，一般以同轴电缆等配置作为压缩流的传输路径的主线和返回线，并且以数字信号传输压缩流。因此，希望一般以恒定的位速率传输压缩流。

对于常见的编码方法，通过编码获得的编码数据的位速率，即，编码位速率根据要被编码的图像数据的图像内容改变(取决于编码的难度)。因此，为了一般地以恒定的位速率传输编码数据，需要临时存储通过编码获得的编码数据，并且以恒定的位速率读出存储在缓冲区内的编码数据，从而平滑位速率。

此时，为了进一步稳定(平滑)传输编码数据时的位速率，希望尽可能多地在缓冲区内积累编码数据。另外，尽可能多地在缓冲区内积累编码数据，从而还改进了压缩效率。

发明内容

然而注意，存在积累在缓冲区内的数据量增加得越多，延迟时间增加得越多的可能。在诸如上述的数字双重屏蔽导线系统的情况下，图像数据(编码数据)的数据传输的直接性是重要的。例如，当编码数据从摄像头到摄像机控制单元的传输的延迟时间增加时，存在来自摄像机控制单元用户的关于摄像头用户的指令过度延迟，使得在确认了主线视频图像之后才执行它们的可能。另外，存在摄像机控制单元用户和摄像头用户在相同时刻观看的图像的时间滞后增加的可能性(即，存在彼此观看到不同图像的可能性)，并且摄像头用户难以理解摄像机控制单元用户的指令。另外，当在传输返回的视频图像时引起极大延迟时，根据相同的原因，存在试图确认该返回的视频图像的摄像头用户更难以理解摄像机控制单元用户的指令的可能性。

根据这种原因，尤其在拍摄动态对象诸如体育转播广播的情况下，摄像机控制单元用户指示摄像头用户的时刻是重要的。即，在诸如上述的数字双重屏蔽导线系统的情况下，不希望数据传输时延迟时间不必要的增加。

然而注意，当简单地减小缓冲区处的编码数据的积累数量时，如上所述，存在传输时位速率变得不稳定的可能，并且因此图像质量的退化将增加。

已经认识到，对于内容的数据传输，不仅需要能够容易地抑制不必要的延迟时间的增加，而且需要能够容易地抑制关于内容的质量的不必要的退化。

根据本发明的实施例，一种信息处理设备包括：积累单元，配置为积累通过对图像数据编码而获得的编码数据；读取单元，配置为以数据增量读出编码数据；确定单元，配置为确定指示积累单元处的编码数据的积累状态的参数是否满足预定的积累条件；禁止单元，配置为在确定单元确定所述参数满足所述积累条件的情况下，禁止将被在作为基准的、正被读取单元以数据增量读出的编码数据之后读出的编码数据的读出；和控制单元，配置为控制读取单元以数据增量省略被禁止单元禁止读出的编码数据的读出，并且以数据增量执行未被禁止单元禁止读出的编码数据的读出。

所述参数可以包括关于积累在存储单元内的编码数据的数据增量的数目，并且所述确定单元确定所述数据增量的数目是否等于或大于阈值。

所述参数可以包括读取单元读出积累在积累单元内的所有编码数据所需的时间，并且所述确定单元确定是否可以在所述时间内读出积累在积累单元内的所有编码数据。

禁止单元可以以从将被在作为基准的编码数据之后读出的编码数据起连续的、不少于所述确定单元确定所述参数不满足所述积累条件所需的数据增量的数目禁止将被在作为基准的编码数据之后读出的编码数据的读出。

禁止单元可以删除作为基准的编码数据之后的编码数据，以便禁止该编码数据的读出。

所述数据增量可以是对图像数据编码时的编码处理增量。

在通过对图像数据分层进行滤波处理，产生为每个频带划分的系数数据的情况下，所述数据增量可以包括行块，所述行块包括产生最低带分量的子带的至少一行的量的系数数据所需行数的量图像数据。

可以按执行用于合成被划分为频带的多个子带的系数数据，以便产生图像数据的合成处理的顺序，为每个行块重新布置编码数据。

可以从低带分量到高带分量的顺序为每个行块重新布置编码数据。

所述信息处理设备还可以包括：编码单元，配置为对图像数据编码，以便产生编码数据；写单元，配置为以数据增量将由编码单元产生的编码数据写到存储单元内；和打包单元，配置为将由读出单元读出的编码数据打包。

该信息处理设备还可以包括：控制单元，配置为控制编码单元的编码处理、写单元的写处理、读出单元的读出处理、以及打包单元的打包处理，以便相互并行地执行它们。

另外，根据本发明的实施例，一种信息处理方法，包括步骤：积累通过对图像数据编码获得的编码数据；以数据增量读出编码数据；确定指示积累步骤中的编码数据的积累状态的参数是否满足预定的积累条件；在确定步骤中确定所述参数满足所述积累条件的情况下，禁止将在作为基准的、正在读取步骤中以数据增量读出的编码数据之后读出的编码数据的读出；并且控制所述读取步骤，以便以数据增量省略在禁止步骤中被禁止读出的编码数据的读出，并且以数据增量执行在禁止步骤中未被禁止读出的编码数据的读出。

对于上述的配置，确定指示积累单元中的编码数据的积累状态的参数是否满足预定的积累条件，并且在确定所述参数满足预定的积累条件的情况下，以数据增量省略被禁止读出的编码数据的读出，并且以数据增量执行未被禁止读出的编码数据的读出。

根据本发明的一个实施例，一种信息处理设备包括：积累单元，配置为积累通过对图像数据编码获得的编码数据；确认单元，配置为以数据增量确认积累单元中积累的编码数据的丢失；读取单元，配置为在编码数据的丢失未被确认单元确认的情况下，以数据增量读出积累单元中积累的编码数据；以及补充单元，配置为在编码数据的丢失被确认单元确认的情况下，通过输出替代数据而不是读取丢失的编码数据，以数据增量提供编码数据。

该信息处理设备还可以包括：保持单元，配置为保持所述替代数据，在确认单元确认了编码数据的丢失的情况下，所述补充单元从保持单元中读出替代数据，以便输出该替代数据，而不是读出丢失的编码数据。

该信息处理设备还可以包括：保持单元，配置为以数据增量保持与积累在积累单元中的编码数据相同的数据，在确认单元确认了编码数据的丢失的情况下，补充单元以数据增量从保持单元中读出与过去由读取单元读出的编码数据相同的编码数据，以便输出该编码数据。

该信息处理设备还可以包括：解码单元，配置为对读取单元读出的编码数据、以及由补充单元提供的编码数据解码。

在通过对图像数据分层进行滤波处理，产生为每个频带划分的系数数据的情况下，数据增量可以包括行块，所述行块包括产生最低带分量的子带的至少一行的量的系数数据所需行数的量的图像数据。

可以按执行用于合成被划分为频带的多个子带的系数数据，以便产生图像数据的合成处理的顺序，为每个行块重新布置编码数据。

可以按从低带分量到高带分量的顺序为每个行块重新布置编码数据。

另外，根据本发明的一个实施例，一种信息处理方法包括步骤：积累通过对图像数据编码获得的编码数据；以数据增量确认在积累步骤中积累的编码数据的丢失；在编码数据的丢失未被在确认步骤中确认的情况下，以数据增量读出在积累步骤中积累的编码数据；和在编码数据的丢失被在确认步骤中确认的情况下，通过输出替代数据而不是读取丢失的编码数据，以数据增量提供编码数据。

以上述的配置，以数据增量确认积累单元中积累的编码数据的丢失，并且在编码数据的丢失未被确认的情况下，以数据增量读出积累单元中积累的编码数据，并且在编码数据的丢失已被确认的情况下，通过输出替代数据而不是读取丢失的编码数据，以数据增量提供编码数据。

根据本发明的实施例，可以传输数据。具体地，对于内容的数据传输，不仅可以容易地抑制不必要的延迟时间的增加，而且可以容易地抑制内容的质量的不必要的退化。

附图说明

图1是示出了可以应用本发明的实施例的数字双重屏蔽导线系统的配置例子的方框图；

图2是示出了图1所示的视频信号编码单元的详细的配置例子的方框图；

图3是示出了图2所示的编码单元的详细配置例子的方框图；

图4是用于示意描述小波变换的示意图；

图5是用于示意描述小波变换的示意图；

图6是示出了通过以5×3滤波器提升至划分等级＝2执行滤波的例子的示意图；

图7是示意地示出了根据本发明的小波变换和小波逆变换的流程的示意图；

图8是用于描述来自图2所示的编码单元的编码数据的输出顺序的图；

图9是用于描述在每个区产生的码量的改变的图；

图10是示出了图2所示的传输缓冲区控制单元的详细的配置例子的方框图；

图11是示出了图10所示的区信息控制单元的详细的配置例子的方框图；

图12是示出了被可读取地存储在缓冲区内的编码数据的数量的在时间上的改变的例子的示意图；

图13是示出了被可读取地存储在缓冲区内的编码数据的数量的在时间上的改变的另一个例子的示意图；

图14是示出了头部详细的配置例子的示意图；

图15是描述交换编码数据的方法的例子的示意图；

图16是示出了图1所示的视频信号解码单元的详细的配置例子的方框图；

图17是示出了图16所示的接收缓冲区控制单元的详细的配置例子的图；

图18是示出了图17所示的区信息控制单元的详细的配置例子的图；

图19是示出了可读取地存储在缓冲区内的编码数据的数量的在时间上的改变的例子的示意图；

图20是用于描述来自图16所示的接收缓冲区控制单元的编码数据的输出顺序的图；

图21是示出了可读取地存储在缓冲区内的编码数据的数量的在时间上的改变的另一个例子的示意图；

图22是示出了图16所示的解码单元的详细的配置例子的方框图；

图23是用于描述编码处理的流程的例子的流程图；

图24是用于描述传输缓冲区写控制处理的例子的流程图；

图25是用于描述传输缓冲区读控制处理的例子的流程图；

图26是用于描述接收缓冲区写控制处理的例子的流程图；

图27是用于描述接收缓冲区读控制处理的例子的流程图；

图28是用于描述解码处理的流程的例子的流程图；

图29是示意地说明并行操作的例子的示意图；

图30是示出了图16所示的接收缓冲区控制单元的另一个详细的配置例子的图；

图31是示出了图30所示的区信息控制单元的详细的配置例子的方框图；

图32是用于描述图30所示的接收缓冲区控制单元的编码数据的输出顺序的图；

图33是用于描述接收缓冲区写控制处理的例子的流程图；

图34是用于描述接收缓冲区读控制处理的例子的流程图；和

图35是示出了应用本发明的实施例的个人计算机的配置例子的图。

具体实施方式

图1是示出了应用本发明的实施例的数字双重屏蔽导线系统的配置例子的方框图。在图1中，数字双重屏蔽导线系统100是在电视广播站、制作工作室等处采用的系统，并且由传输单元110、双重屏蔽导线电缆111、照相机控制单元112等配置而成。

对于电视节目等的内容制作，诸如摄影间录制、体育转播广播等，有时采用由摄像机和中央控制系统配置而成的系统，所述摄像机执行拍摄，所述中央控制系统用于记录通过摄像机的拍摄获得的图像数据、转换输入/输出图像数据、或编辑图像数据。

通常情况下采用多个摄像机进行拍摄。这些多个摄像机通过数字双重屏蔽导线系统100连接到中央控制系统。每个摄像机被一个摄像机操作员操作，以便通过使用成像设备等拍摄图像，并且产生其图像数据。中央控制系统是由多个设备配置而成的用于控制(管理)内容制作的系统，并且具有内容记录、输入/输出转换、内容编辑等功能。该中央控制系统例如由给出拍摄指令的导演操作，诸如导演等，或接收导演的指令的人员等。

对于内容制作，导演执行关于操作每个摄像机的摄像机操作员的关于拍摄的指挥。根据导演的指令拍摄的图像数据被提供给中央控制系统，并且被处理。

图1中所示的数字双重屏蔽导线系统100是用于执行在摄像机侧和中央控制系统侧之间执行的诸如拍摄指令和内容(视频和音频)的交换的系统。换言之，上述的摄像机和中央控制系统通过图1所示的数字双重屏蔽导线系统100执行内容或指令的交换。

数字双重屏蔽导线系统100将例如通过摄像机进行拍摄而获得的图像数据和音频数据作为实际被广播或作为材料被采用的主线数据(图像数据被称为“主线图片数据”，音频数据被称为“主线音频数据”，并且主线视频数据图像被称为“主线视频图片”)传输到中央控制系统。另外，数字双重屏蔽导线系统100将例如包括导演的指令的音频数据、控制命令等传输到摄像机。另外，数字双重屏蔽导线系统100将例如从摄像机传输的主线图片数据(返回图片数据被称为返回视频图片)作为返回图片数据传输到中央控制系统。

接着，将描述关于数字双重屏蔽导线系统100的配置。对于数字双重屏蔽导线系统100，传输单元110和照相机控制单元112通过作为同轴电缆的双重屏蔽导线电缆111连接。

传输单元110是用于执行关于摄像机侧的传输的处理的处理单元。在图1中，传输单元110连接到具有与拍摄有关的功能的摄像机单元113。传输单元110可以内置于摄像机内，或可以使用预定的方法作为外部设备连接到摄像机。即，可以做出这样的布置，其中图1所示的摄像机单元113和传输单元110被配置为不同的设备，或摄像机单元113和传输单元110被配置为单个设备。

照相机控制单元112是例如一般被称为CCU(摄像机控制单元)的处理单元，并且执行关于中央控制系统侧的传输的处理。照相机控制单元112可以内置于中央控制系统的预定设备内，或可以使用预定的方法作为中央控制系统的外部设备连接到中央控制系统的预定设备。

注意在图1中，假设数字双重屏蔽导线系统100不仅包括传输单元110、双重屏蔽导线电缆111和照相机控制单元112，并且包括摄像机单元113和其外部设备(稍后描述)进行描述。

另外实际上，摄像机单元113还执行声音收集。即，摄像机单元113不仅产生图像数据而且产生音频数据。该音频数据被作为数字音频信号与图像数据一起通过数字双重屏蔽导线系统100传输到照相机控制单元112。然而注意，该音频数据与本发明的本质没有关系，从而下面在适当时省略关于音频数据的描述以避免复杂化。

在由CCD(电荷耦合器件)等构成的未示出的成像设备处，摄像机单元113接收通过包括镜头、聚焦机构、缩放机构、光圈调整机构等的光学系统150进入的来自对象的光。该成像设备通过光电转换将收到的光转换为电信号，进一步对该电信号进行预定的信号处理，并且输出基带数字视频信号(图像数据)。将该数字视频信号映射为HD-SDI(高清晰度串行数据接口)格式并且输出。

另外，摄像机单元113与被用作监视器的显示单元151和用于与外部交换音频的对讲机152连接。

传输单元110具有视频信号编码单元120和视频信号解码单元121、数字调制单元122和数字解调单元123、放大器124和125以及视频分割/合成单元126，并且连接到摄像机单元113。

从摄像机单元113将例如被映射为HD-SDI格式的基带数字视频信号(图像数据)提供给传输单元110。该数字视频信号是作为材料被广播或采用的主线图片数据信号(主线数字视频信号)，并且被在视频信号编码单元120处压缩和编码以便产生编码数据(码流)，该编码数据被打包并且提供给数字调制单元122。数字调制单元122将提供的码流调制为适合在双重屏蔽导线电缆111上传输的格式并且输出。将从照相机控制单元112输出的信号通过放大器124提供给视频分割/合成单元126。视频分割/合成单元126将提供的信号发送到双重屏蔽导线电缆111。这些信号被通过双重屏蔽导线电缆111提供给照相机控制单元112。

通过双重屏蔽导线电缆111将从照相机控制单元112输出的信号提供给传输单元110并且在传输单元110处接收。将收到的信号提供给视频分割/合成单元126，并且将数字视频信号部分和其它信号部分分开。通过放大器125将收到的信号中的数字视频信号部分提供给数字解调单元123，解调被在照相机控制单元112侧调制为适合于双重屏蔽导线电缆111上的传输的格式的信号，并且恢复码流包。

将码流包提供给视频信号解码单元121。视频信号解码单元121解释码流包，以便提取(解包)码流，解码提取的码流压缩编码，并且恢复基带数字视频信号。将解码的数字视频信号映射到HD-SDI格式并且输出，并且作为返回图片数据信号(被称为返回数字视频信号)提供给摄像机单元113。将返回数字视频信号提供给连接到摄像机单元113的显示单元151，并且由摄像机操作员用于监视。

注意可以做出这样的布置，其中还在显示单元151上显示由摄像机单元113拍摄的传输到中央控制系统之前的主线视频图片。然而，如上所述压缩并且传输该主线视频图片数据，从而在传输之前的图片和传输之后的图片之间，由于某些情况的图像质量的退化，即使互相具有相同时刻的帧图像在视觉上也会极大地不同。因此，为了摄像机操作员可以容易地理解以何种状态在中央控制系统处接收主线图片数据，希望在显示单元151上显示从照相机控制单元112提供的返回视频图片。

在将主线图片传输到中央控制系统之后，以中央控制系统记录、编辑其图像被显示在监视器上或输出到外部设备的主线图片。即，在中央控制系统处使用主线图片数据，所以摄像机操作员希望在理解使用时该图像的状态的同时执行拍摄。例如，可以构想由于图像质量的退化，不能在传输后的主线视频图片处视觉地识别出可在传输前的主线视频图片处视觉地识别出的对象。在显示单元151上显示返回视频图片，由此摄像机操作员可以容易地理解，由于图像质量的退化不能在视觉上识别出该对象，并且因此可以改变拍摄方法，以便即使在传输后也能在视觉上识别出其上的对象。

另外，操作中央控制系统的导演在确认主线视频图片的同时，执行与关于摄像机操作员的拍摄有关的指挥，但是在此时，当由摄像机操作员确认的图像和由导演确认的图像彼此不同时，存在摄像机操作员不能理解来自导演的指令的含意的可能。因此，在显示单元151上显示从照相机控制单元112侧提供的返回视频图片，由此摄像机操作员可以基于图像是何种类容易地理解导演发出的指令，并且因此可以更正确地理解来自导演的指令的含意。

照相机控制单元112具有视频分割/合成单元130、放大器131和132、前端单元133、数字解调单元134和数字调制单元135以及视频信号解码单元136和视频信号编码单元137。

从传输单元110输出的信号被通过双重屏蔽导线电缆111提供给照相机控制单元112，并且被在照相机控制单元112处接收。收到的信号被提供给视频分割/合成单元130。视频分割/合成单元130通过放大器131和前端单元133将提供给它的信号提供给数字解调单元134。注意，前端单元133具有用于调整输入信号的增益的增益控制单元，用于对输入信号执行预定的滤波处理的滤波单元等。

数字解调单元134解调被在传输单元110侧调制为适合于双重屏蔽导线电缆111上的传输的格式的信号，并且恢复码流包。该码流包被提供给视频信号解码单元136。视频信号解码单元136解释该码流包，以便以与视频信号解码单元121相同的方式提取(解包)码流，解码提取的码流的压缩编码，并且恢复基带数字视频信号。将解码的数字视频信号映射到HD-SDI格式并且输出，并且作为主线数字视频信号输出到外部中央控制系统，其中例如将图片显示在监视器上，或对其进行编辑。

将数字音频信号向外部提供给照相机控制单元112。将数字音频信号提供给例如摄像机操作员的对讲机152，以便用于将音频指令从导演传播给摄像机操作员。视频信号解码单元136还将解码的数字视频信号作为返回数字视频信号提供给视频信号编码单元137。视频信号编码单元137以与视频信号编码单元120相同的方式对从视频信号解码单元136提供的基带数字视频信号压缩和编码，对获得的编码数据(码流)打包，并且将它的包提供给数字调制单元135。

数字调制单元135将提供的码流调制为适合于双重屏蔽导线电缆111上的传输的格式的信号，并且输出。从数字调制单元135输出的信号被通过前端单元133和放大器132提供给视频分割/合成单元130。视频分割/合成单元130将这些信号与其它信号一起多路复用，并且将它们发送到双重屏蔽导线电缆111。该信号被通过双重屏蔽导线电缆111作为返回的数字视频信号提供给传输单元110。

这种数字双重屏蔽导线系统100需要数据传输时的直接性(实时属性)。例如，导演在参考从摄像机单元113传输的主视频图片的同时执行关于摄像机操作员的指挥，所以当自在摄像机单元113处产生主线图片数据，直到主线图片数据被数字双重屏蔽导线系统100传输，并且在中央控制系统处显示图像为止的延迟时间增加时，存在从导演到摄像机操作员的指令过度延迟的可能。另外，当自从传输单元110传输到照相机控制单元112的主线图片数据被再次传输到传输单元110，直到在显示单元151上显示其图像(主线视频图片)为止的延迟时间增加时，存在基于主线视频图片执行指令的时刻与返回的视频图片的时刻不相同的可能，并且摄像机操作员难以理解其指令的含意。

根据诸如上述的原因，尤其在拍摄动态对象诸如体育转播广播的情况下，来自摄像机控制单元用户的关于摄像头用户的指令的时间是重要的。即，对于数字双重屏蔽导线系统100，希望尽可能多地减少数据传输的延迟时间。

因此，如后面所述，视频信号编码单元120和视频信号编码单元137被配置为以较短的延迟对图像数据编码。另外，视频信号编码单元120和视频信号编码单元137被配置为以较短的延迟解码编码数据。然而，存在除了编码处理和解码处理之外进一步减少延迟时间的需要。

附带地，对于数字双重屏蔽导线系统100，传输路径的带宽是有限的，所以希望一般以恒定位速率传输编码数据。例如，对于数字双重屏蔽导线系统100，当假设作为传输主线图片数据的编码数据的路线的主线，以及返回的图片数据的编码数据的返回路线中的每一个的带宽是150Mbps时，视频信号编码单元120和视频信号编码单元137需要将主线图片数据和返回的图片数据压缩到150Mbps的位速率。

然而注意，一般地，压缩的难度根据构成图像数据的图片(在根据隔行扫描方法的图像的情况下为场，在根据渐进方法的图像的情况下为帧)而不同，所以对于每个图片，产生的码的数量很可能会波动。

因此，视频信号编码单元120和视频信号编码单元137在缓冲区内积累通过编码产生的编码数据，以便稳定传输该编码数据时的位速率(传输速率)，以预定的位速率从其缓冲区内读出编码数据，并且传输它们，由此平滑传输速率。该缓冲区的容量越大，即，要被积累在缓冲区中的数据的数量增加，视频信号编码单元120和视频信号编码单元137越可以稳定的方式传输编码数据。即，要被积累在缓冲区中的数据的数量增加得越多，一般地视频信号编码单元120和视频信号编码单元137越可以恒定的传输速率传输编码数据，即使产生的码的数量有较宽的波动。

然而，要被积累在缓冲区中的数据的数量增加得越多，传输所需的延迟时间的增加越多。因此，如后面所述，视频信号编码单元120、视频信号解码单元121、视频信号解码单元136和视频信号编码单元137执行平滑处理和接收处理，以便抑制不必要的延迟时间的增加，并且还抑制内容的质量的不必要的退化。

注意，在图1中，进行了这样的描述，其中双重屏蔽导线电缆111是同轴电缆，但是可以采用任意的传输介质，只要该介质能够传输编码数据既可，所以可以是有线电缆或无线电缆，或可以包括有线和无线电缆两者。另外，其内可以包括单个或多个网络。

另外，在图1中，传输单元110和照相机控制单元112被示出为一对一地连接，但是不言而喻的是多个传输单元110可以连接到单个照相机控制单元112。

接着，将给出关于每个单元的细节的描述。图2是示出了图1所示的视频信号编码单元120的配置例子的方框图。注意，图1所示的视频信号编码单元137具有与视频信号编码单元120相同的配置，并且执行相同的处理，从而可以采用关于视频信号编码单元120的描述。因此，为了简化描述，除了必要的情况外，将省略对视频信号编码单元137的描述。

在图2中，视频信号编码单元120包括编码单元201、传输缓冲区控制单元202和包产生单元203。

编码单元201使用预定的编码方法对从摄像机单元113提供的主线图片数据编码，并且将获得的编码数据提供给传输缓冲区控制单元202。传输缓冲区控制单元202在其内置的缓冲区内积累提供的编码数据，以预定的位速率读出其中的编码数据，并且将其提供给包产生单元203，从而平滑编码数据的传输速率。包产生单元203通过为每个预定的数据增量增加头信息，对从传输缓冲区控制单元202提供的编码数据打包。包产生单元203将这样产生的编码数据包作为主线图片数据提供给数字调制单元122。

此时，传输缓冲区控制单元202使用能够容易地抑制不必要的延迟时间的增加，并且抑制内容的质量的不必要的退化的方法，对编码数据的传输速率进行平滑，稍后将描述关于它的细节。

注意，在视频信号编码单元137，编码单元201对从视频信号解码单元136提供的返回图片数据编码的情况下，包产生单元203对从传输缓冲区控制单元202提供的编码数据打包，并且将它的包作为返回图片数据提供给数字调制单元135。

图3是示出了图2所示的编码单元201的详细的配置例子的方框图。在图3中，编码单元201包括小波变换单元221、中间计算缓冲区单元222、系数重新布置缓冲区单元223、系数重新布置单元224、量化单元225、速率控制单元226和熵编码单元227。

输入编码单元201的图像数据被通过小波变换单元221临时存储在中间计算缓冲区单元222内。小波变换单元221对存储在中间计算缓冲区单元222内的图像数据进行小波变换。即，小波变换单元221从中间计算缓冲区单元222读出图像数据，使用分析滤波器对其进行滤波处理，以便产生低带分量和高带分量的系数数据，并且将产生的系数数据存储在中间计算缓冲区单元222内。小波变换单元221包括水平分析滤波器和垂直分析滤波器，并且对图像数据组进行关于屏幕水平方向和屏幕垂直方向两者的分析滤波处理。小波变换单元221再次读出存储在中间计算缓冲区单元222内的低带分量的系数数据，使用分析滤波器对读出的系数数据进行滤波处理，以便进一步产生高带分量和低带分量的系数数据。产生的系数数据被存储在中间计算缓冲区单元222内。

小波变换单元221重复该处理，并且当划分等级达到预定等级时，从中间计算缓冲区单元222中读出系数数据，并且将读取的系数数据写到系数重新布置缓冲区单元223内。

系数重新布置单元224以预定的顺序读出写到系数重新布置缓冲区单元223内的系数数据，并且将其提供给量化单元225。

速率控制单元226计算用于在量化单元225处执行的量化处理的量化步长的大小，以便从外部指定在熵编码单元227处产生的码量(将产生的编码数据的数据量)，或以便适合于(相同或近似于)预定的目标码量，并且将用于指定其量化步长大小的指令信息提供给量化单元225。

量化单元225以其被提供的顺序，以从速率控制单元226提供的指定信息所指定的量化步长大小量化从系数重新布置单元224提供的系数数据，并且将其提供给熵编码单元227。熵编码单元227例如使用预定的熵编码方法诸如Huffman编码、算术编码等对提供的系数数据编码，以便产生编码数据。熵编码单元227将产生的编码数据提供给图2所示的传输缓冲区控制单元202。

接着，将更详细地描述由图3所示的小波变换单元221执行的处理。首先，示意地描述小波变换。对于关于图像数据的小波变换，如图4示意所示，对于作为划分的结果而获得低空间频带，迭代地重复用于将图像数据划分为高空间频带和低空间频带的处理。因此，将低空间频带数据划分为更小的区域，从而能够进行有效的压缩编码。

现在，图4是将图像数据的最低带分量区域划分为低带分量区域L和高带分量区域H的划分处理被重复3次，从而获得划分等级＝3的情况的例子。在图4中，“L”和“H”分别表示低带分量和高带分量，并且对于“L ”和“H”的顺序，前者指示作为水平方向上的划分结果的带，并且后者指示作为垂直方向上的划分结果的带。另外，“L”和“H”前面的数字指示该区域的划分等级。

另外，如可以从图4所示的例子理解的，以逐步方式从屏幕的右下区域到左上区域执行该处理，从而将低带分量划分为小区域。即，对于图4所示的例子，屏幕的右下区域被设置为包括最少的低带分量(包括最高带分量)的区域3HH，并且通过将屏幕划分为4个区域而获得的左上区域被进一步划分为4个区域，并且该4个划分的区域中的左上区域被进一步划分为4个区域。最左上角区域被设置为包括最多低带分量的区域0LL。

对低带分量重复执行转换和划分的原因是因为屏幕的能量集中在低带分量。还可以从这样的情况中理解它，其中随着划分等级从图5A所示的例子的划分等级＝1的状态前进到图5B所示的例子的划分等级＝3的状态，形成诸如图5B所示的子带。例如，图4所示的小波变换的划分等级是3，并且作为其结果，形成10个子带。

小波变换单元221通常使用由低带滤波器和高带滤波器构成的滤波器组执行诸如上述的处理。注意数字滤波器通常具有多个抽头长度的冲击响应，即，滤波系数，从而通常需要预先与可执行的滤波处理一样多地缓存输入的图像数据或系数数据。另外类似地，即使在以多个阶段执行小波变换的情况下，需要与可执行的滤波处理一样多地缓存前一阶段产生的小波变换系数。

作为小波变换的特定例子，将描述采用5×3滤波器的方法。已经在相关技术中描述的JPEG(联合图像专家组)2000标准也采用这种采用5×3滤波器的方法，并且它是一个极好的方法，可以用很少的滤波器抽头执行小波变换。

如下面的表达式(1)和(2)所示，5×3滤波器的冲击响应(Z变换表达式)由低带滤波器H₀(z)和高带滤波器H₁(z)配置而成。根据表达式(1)和(2)，可以发现低带滤波器H₀(z)是5个抽头，并且高带滤波器H₁(z)是3个抽头。

H₀(z)＝(-1+2z^-1+6z^-2+2z^-3-z^-4)/8...(1)

H₁(z)＝(-1+2z^-1-z^-2)/2...(2)

根据这些表达式(1)和(2)，可以直接计算低带分量和高带分量的系数。此处，采用提升技术能够减少滤波处理的计算。

接着，将更详细地描述这个小波变换方法。图6示出了将根据5×3滤波器的提升的滤波处理执行到划分等级＝2的例子。注意，在图6中，图左侧作为分析滤波器示出的部分是编码单元201内的小波变换单元221的滤波器。另外，图右侧作为合成滤波器示出的部分是后面描述的解码单元403内的后面描述的小波逆变换单元484(图22)的滤波器。

注意对于下面的描述，例如，我们可以假设以屏幕的左上角的像素作为显示设备等的开头，从屏幕的左边向右边扫描像素，从而构成一行，并且从屏幕的上边到下边执行每行的扫描，从而构成一个屏幕。

在图6中，左边的列说明布置在原始图像数据的行上的相应位置处的像素数据排列在垂直方向上。即，使用垂直滤波器以被垂直扫描的屏幕上的像素执行小波变换单元221处的滤波处理。从左边起的第一到第三列示出了划分等级＝1的滤波处理，并且第四到第六列示出了划分等级＝2的滤波处理。从左边起的第二列示出了基于左边的原始图像数据的像素的高带分量输出，并且从左边起的第三列示出了基于所述原始图像数据和高带分量输出的低带分量输出。诸如从左边起的第四到第六列所示，对划分等级＝1的滤波处理的输出执行划分等级＝2的滤波处理。

对于划分等级＝1的滤波处理，基于作为滤波处理的第一阶段的原始图像数据的像素计算高带分量系数数据，基于在滤波处理的第一阶段计算的高带分量系数数据以及原始图像数据的像素计算低带分量系数数据。在图6的左侧(分析滤波器侧)处的第一到第三列示出了划分等级＝1的滤波处理的例子。将计算的高带分量系数数据存储在参考图3所述的系数重新布置缓冲区单元223中。另外，将计算的低带分量系数数据存储在中间计算缓冲区单元222内。

在图6中，以单点划线围绕的数据被临时保存在系数重新布置缓冲区单元223内，并且以点划线围绕的数据被临时保存在中间计算缓冲区单元222内。

基于保持在中间计算缓冲区单元222处的划分等级＝1的滤波处理的结果执行划分等级＝2的滤波处理。对于划分等级＝2的滤波处理，将在划分等级＝1的滤波处理处作为低带系数计算的系数数据视为包括低带分量和高带分量的系数数据，执行与划分等级＝1的滤波处理相同的滤波处理。将由划分等级＝2的滤波处理计算的高带分量系数数据和低带分量系数数据存储在参考图3所述的系数重新布置缓冲区单元223内。

对于小波变换单元221，在屏幕的水平方向和垂直方向中的每一个上执行诸如上述的滤波处理。例如，首先在水平方向上执行划分等级＝1的滤波处理，并且将产生的高带分量和低带分量的系数数据存储在中间计算缓冲区单元222内。接着，对存储在中间计算缓冲区单元222内的系数数据进行垂直方向上的划分等级＝1的滤波处理。根据划分等级＝1的水平和垂直方向上的处理，有通过将高带分量进一步划分为高带分量和低带分量而获得的区域HH和区域HL，以及通过将低带分量进一步划分为高带分量和低带分量而获得的区域LH和区域LL的形成的4个区域。

随后，在划分等级＝2，对在划分等级＝1处产生的低带分量系数数据进行关于水平方向和垂直方向中的每一个的滤波处理。即，在划分等级＝2时，通过在划分等级＝1时进行划分而形成的区域LL被进一步划分为4个区域，在区域LL内形成区域HH、区域HL、区域LH和区域LL。

小波变换单元221配置为通过将滤波处理划分为关于屏幕的垂直方向的若干行的增量的处理，即，划分为多次，以逐步的方式根据小波变换执行滤波处理。对于图6所示的例子，在等同于从屏幕上的第一行起的处理的第一处理时，对7个行进行滤波处理，并且在等同于从第八行起的处理的第二处理时，对每4行进行滤波处理。该行数基于在该区域被划分为两个区域，即，高带分量和低带分量之后，产生最低带分量的一行量所需的行数。

注意此后，产生最低带分量的一行量(最低带分量的子带的系数数据的一行量)所需的包括其它子带的行组被称为一个区(或行块)。此处，一行指形成在一个图片、场或相应于小波变换之前的图像数据的每个子带内的像素数据或系数数据的一行量。即，对于小波变换之前的原始图像数据，一个区(或行块)指示等同于产生小波变换之后的最低带分量子带系数数据的一行量所需行数的像素数据组，或通过对其像素数据进行小波变换而获得的每个子带的系数数据组。

根据图6，基于存储在中间计算缓冲区单元222内的系数C4和系数C_a计算作为划分等级＝2的滤波处理结果而获得的系数C5，并且基于存储在中间计算缓冲区单元222内的系数C_a和系数C_b和系数C_c计算系数C4。另外，基于存储在系数重新布置缓冲区单元223内的系数C2和系数C3和第五行的像素数据计算系数C_c。另外，基于第五到第七行的像素数据计算系数C3。因此，为了获得作为划分等级＝2时的低带分量的系数C5，需要第一行第七行的像素数据。

在另一方面，对于第二滤波处理以及后续的滤波处理，可以利用直到目前的滤波处理已经被计算，并且存储在系数重新布置缓冲区单元223内的系数数据，所以可以将所需行数抑制为是小的。

即，根据图6，基于系数C4和系数C8以及存储在中间计算缓冲区单元222内的系数C_c计算作为划分等级＝2的滤波处理结果获得的低带分量系数中的系数C9(它是系数C5的下一个系数)。已经在上述的第一滤波处理时计算了系数C4，并且存储在系数重新布置缓冲区单元223内。类似地，已经在上述的第一滤波处理时计算了系数C_c，并且存储在中间计算缓冲区单元222内。因此，对于第二滤波处理，仅重新执行计算系数C8的滤波处理。进一步使用第8到第11行执行这个新的滤波处理。

因此，对于第二个滤波处理以及后续的滤波处理，可以利用已被在直到目前的滤波处理计算过的，并且存储在中间计算缓冲区单元222和系数重新布置缓冲区单元223内的数据，从而可以将每个处理抑制为每4行的处理。

注意在屏幕上的行数不与用于编码的行数相同的情况下，使用预定的方法拷贝原始图像数据的行，以便匹配用于编码的行数，从而执行滤波处理。

因此，通过关于整个屏幕的行的多次划分(以一个区的增量)，以逐步的方式执行可以获得最低带分量系数数据的一行量的滤波处理，由此可以发送编码数据时的低的延迟获得解码图像。

为了执行小波变换，需要用于执行小波变换本身的第一缓冲区和用于存储直到预定的划分等级所产生的系数的第二缓冲区。第一缓冲区相应于中间计算缓冲区单元222，并且图6中以点划线围绕的数据被临时存储在其内。另外，第二缓冲区相应于系数重新布置缓冲区单元223，并且图6中以单点划线围绕的数据被临时存储在其内。在解码时利用存储在第二缓冲区内的系数，所以对这些系数进行后续阶段的熵编码处理。

将描述系数重新布置单元224的处理。如上所述，在小波变换单元221处计算的系数数据被存储在系数重新布置缓冲区单元223内，并且由系数重新布置单元224重新布置其顺序，并且读出重新布置的系数数据，并且将其发送到量化单元225。

如上所述，对于小波变换，从高带分量侧到低带分量侧产生系数。在图6的例子中，第一次，根据原始图像的像素数据，在划分等级＝1的滤波处理顺序产生高带分量系数C1、系数C2和系数C3。然后对在划分等级＝1的滤波处理获得的低带分量系数数据执行划分等级＝2的滤波处理，由此顺序产生低带分量系数C4和C5。即，第一次，以系数C1、系数C2、系数C3、系数C4和系数C5的顺序产生系数数据。基于小波变换的原理，系数数据的产生顺序总是如此(从高带到低带的顺序)。

相反，在解码侧，为了以低延迟立刻解码，从低带分量起产生和输出图像是必需的。因此，希望从最低带分量侧到高带分量侧重新布置在编码侧产生的系数数据，并且将其提供给解码侧。

另外，将参考图6给出详细描述。图6的右侧示出了执行小波逆变换的合成滤波器侧。利用在编码侧上的第一次滤波处理产生的最低带分量系数C4和系数C5以及系数C1执行解码侧上的包括输出图像数据的第一行的第一次合成处理(小波逆变换处理)。

即，对于第一次合成处理，以顺序系数C5、系数C4和系数C1将系数数据从编码侧提供给解码侧，从而在解码侧，通过作为相应于划分等级＝2的合成处理的合成等级＝2的处理，执行关于系数C5和系数C4的合成处理，以便产生系数C_f，并且将C_f存储在缓冲区内。然后以作为相应于划分等级＝1的合成处理的合成等级＝1的处理执行关于系数C_f和系数C1的合成处理，从而输出第一行。

因此，对于第一次合成处理，以顺序系数C1、系数C2、系数C3、系数C4和系数C5在编码侧产生，并且存储在系数重新布置缓冲区单元223内的系数数据被重新布置为系数C5、系数C4、系数C3、系数C2系数C1等的顺序，并且提供给解码侧。

注意对于图6的右侧所示的合成滤波器侧，以括号内的编码侧上的系数的号码引用从编码侧提供的系数，并且在括号外示出合成滤波器的行号。例如，系数C1(5)示出在图6的左侧的分析滤波器侧上，它是系数C5，并且在合成滤波器侧上它在第一行上。

可以利用-如果是来自前一次的合成处理-提供自该合成的，或提供自编码侧的系数数据执行以编码侧上的第二次滤波处理以及后续的滤波处理产生的系数数据的解码侧的合成处理。在图6的例子中，利用以编码侧上的第二次滤波处理产生的低带分量系数C8和系数C9执行的解码侧上的第二次合成处理还需要在编码侧上的第一次滤波处理时产生的系数C2和系数C3，并且第2到第5行被解码。

即，对于第二次合成处理，以系数C9、系数C8、系数C2、系数C3的顺序将系数数据从编码侧提供给解码侧。在解码侧，对于合成等级＝2的处理，利用系数C8和C9以及在第一次合成处理时从编码侧提供的C4产生系数C_g，并且将系数C_g存储在缓冲区内。利用系数C_g和上述的系数C4以及由第一次合成处理产生并且存储在缓冲区内的系数C_f产生系数C_h，并且将系数C_h存储在缓冲区内。

对于合成等级＝1的处理，利用在合成等级＝2的处理产生的并且存储在缓冲区内的系数C_g和C_h、从编码侧提供的系数C2(对于合成滤波器，以C6(2)示出)、以及系数C3(对于合成滤波器，以C7(3)示出)执行合成处理，并且对第2行到第5行解码。

因此，对于第二次合成处理，重新布置在编码侧上以系数C2、系数C3(系数C4、系数C5)、系数C6、系数C7、系数C8、系数C9的顺序产生的系数数据，并且以系数C9、系数C8、系数C2、系数C3等的顺序提供给解码侧。

因此，对于第三个合成处理以及其后的合成处理，以预定的顺序重新布置存储在系数重新布置缓冲区单元223内的系数数据，并且将它们提供给解码单元，其中以4行的增量对行解码。

注意对于相应于编码侧上包括屏幕底端的行的滤波处理的解码侧上的合成处理，输出所有直到那时为止产生并且存储在缓冲区内的系数数据，所以输出行数增加了。对于图6的例子，在最后一次中输出8行。

注意，如果读取存储在系数重新布置缓冲区单元223内的系数数据，则系数重新布置单元224的系数数据的重新布置处理将读出地址设置为预定的顺序。

将参考图7更加详细地描述上述处理。图7是利用5×3滤波器，以直到划分等级＝2的小波变换执行滤波处理的例子。对于小波变换单元221，作为图7A所示的一个例子，在水平和垂直方向中的每一个上对输入图像数据的第1到第7行执行第一次滤波处理(图7A中的In-1)。

对于第一次滤波处理的划分等级＝1的处理，产生系数C1、系数C2和系数C3的3行量的系数数据，并且作为图7B中所示的一个例子，它们中的每一个被布置在以划分等级＝1形成的区域HH、区域HL和区域LH内(图7B中的WT-1)。

另外，以划分等级＝2的水平和垂直方向上的滤波处理进一步将以划分等级＝1形成的区域LL划分为4个区域(区域低带分量、LLH、LHL和LHH)。对于以划分等级＝2产生的系数C5和系数C4，一行被以系数C5布置在划分等级＝1的区域LL内的区域低带分量内，并且一行被以系数C4布置在区域LHH、区域LHL和区域LLH的每一个内。

对于小波变换单元221的第二次滤波处理以及其后的滤波处理，以4行的增量执行滤波处理(图7A中的In-2...)，在划分等级＝1时以2行的增量产生系数数据(图7B中的WT-2)，并且在划分等级＝2时以1行的增量产生系数数据。

对于图6中的第二次的例子，在划分等级＝1的滤波处理时产生系数C6和系数C7的量两行的系数数据，并且作为图7B所示的一个例子，被布置在以划分等级＝1形成的区域HH、区域HL和区域LH的第一次滤波处理时产生的系数数据之后。在划分等级＝1的区域LL内，以划分等级＝2的滤波处理产生的一行的量的系数C9布置在区域LLL内，并且一行的量的系数C8布置在区域LHH、区域LHL和区域LLH中的每一个内。

如果对经过如图7B的小波变换的数据解码，作为图7C所示的一个例子，相应于编码侧上的第1行到第7行的第一次滤波处理，输出解码侧上的第一次合成处理的第一行(图7C中的Out-1)。此后，相应于编码侧上从第二次到最后一次之前的滤波处理，在解码侧上每次输出4行(图7C中的Out-2)。相应于编码侧上的最后一次的滤波处理，在解码侧上输出8行。

由小波变换单元221从高带分量侧到低带分量侧产生的系数数据被顺序地存储在系数重新布置缓冲区单元223内。对于系数重新布置单元224，当系数数据被积累在系数重新布置缓冲区单元223内，直到可以执行上述的系数重新布置时，以必需的顺序重新布置系数数据，并且从系数重新布置缓冲区单元223读取。读出的系数数据被顺序地提供给量化单元225。

量化单元225对从系数重新布置单元224提供的系数数据进行量化。可以采用任意种类的方法作为该量化方法，例如，一种常见的方法，即，诸如下面的等式(3)中所示，可以采用以量化步长大小Δ除系数数据W的方法。

量化系数＝W/Δ...(3)

注意如上所述由速率控制单元226指定该量化步长大小Δ。

熵编码单元227对被这样量化并且提供的系数数据进行熵编码。将进行了熵编码的编码数据提供给解码侧。对于编码方法，可以构想Huffman编码或算术编码等已知的技术。不言而喻的是编码方法不限于此，只要可以执行可逆的编码处理，可以采用其它的编码方法。

如参考图6到图7C所述，小波变换单元221以图像数据的多个行的增量(一个区的增量)执行小波变换处理。以一个区的增量输出以熵编码单元227编码的编码数据。即，在采用5×3滤波器执行直至划分等级＝2的处理的情况下，对于一屏数据的输出，以第一次的一行，第二次到最后一次的前一次中的每一次的4行获得输出，并且最后一次输出8行。

注意在对以系数重新布置单元224重新布置后的系数数据进行熵编码的情况下，例如，如果对例如关于图6中所示的第一次滤波处理的第一个系数C5的行执行熵编码，没有历史行，即，没有已经被产生了系数数据的行。因此在该情况下，仅对一行进行熵编码。相反地，如果对系数C1的行编码，系数C5和系数C4的行成为是历史行。可以认为这些彼此靠近的多个行是由类似的数据配置而成，因此对多个行一起进行熵编码是有效的。

另外，如上所述，对于小波变换单元221，已经描述了以采用5×3滤波器的小波变换执行滤波处理的例子，但是并不限于这个例子。例如，对于小波变换单元221，可以使用具有更长的抽头数的滤波器，诸如9×7的滤波器。在该情况下，如果抽头数更长，在滤波器中积累的行数也增加，所以从图像数据的输入到编码数据的输出的延迟时间变得更长。

另外，对于上面的描述，为了说明起见将小波变换的划分等级描述为划分等级＝2，但是不应局限于此，并且划分等级可以进一步增加。划分等级增加得越多，可以实现更好的高压缩比。例如，一般地，对于小波变换，重复直至划分等级＝4的滤波处理。注意随着划分等级增加，延迟时间也极大地增加。

因此，如果将本发明的实施例应用于实际的系统，希望根据该系统所需的延迟时间或解码图像的图片质量，确定滤波器抽头数或划分等级。滤波器抽头数或划分等级不必是固定的值，而是也可以是可适当地选择的。

如上所述，在量化单元225对进行了小波变换和重新布置的系数数据量化，并且由熵编码单元227进行编码。随后，将获得的编码数据提供给传输缓冲区控制单元202。

在熵编码单元227处产生的编码数据被以其产生顺序，即，以来自编码单元201的区的增量输出，并且被提供给传输缓冲区控制单元202。

即，例如如图8A所示，在编码单元201的小波变换单元221处执行划分等级＝2的小波变换，并且从一个区的图像数据产生7该区域低带分量、LHL、LLH、LHH、HL、LH和HH的系数数据。在图8A中，1低带分量、1LHL、1LLH、1LHH、1HL、1LH和1HH指示从自图片的顶部起的第一个区产生的每个区域的系数数据，并且2低带分量、2LHL、2LLH、2LHH、2HL、2LH和2HH指示从自图片的顶部起的第二个区产生的每个区域的系数数据。

以从低带分量到高带分量的顺序以区的增量对这种系数数据编码，并且将其提供给传输缓冲区控制单元202。

即，如图8B所示，自图片的顶部起的第一个区的1低带分量、1LHL、1LLH、1LHH、1HL、1LH和1HH的系数数据被以这个顺序编码，并且被提供给传输缓冲区控制单元202。接着，自图片的顶部起的第二个区的2低带分量、2LHL、2LLH、2LHH、2HL、2LH和2HH的系数数据被以这个顺序编码，并且被提供给传输缓冲区控制单元202。接着，诸如第三个区的系数数据，第四个区的系数数据等等，以区的增量对系数数据编码，并且将其提供给传输缓冲区控制单元202。

即，如箭头241所示，以从低带分量到高带分量的顺序对每个区内的系数数据编码，并且提供给传输缓冲区控制单元202。对于区的增量，如箭头242所示，以从自图片的顶部起的第一个区向下的顺序，每次一个地对区编码，并且提供给传输缓冲区控制单元202。

在通常情况下，对于每个图片，在编码单元201处产生的码量不同，并且在图9A的图中示出。图9A是示出了为每个图片产生的码量的例子的图。对于图9A，垂直轴指示产生的码量，并且水平轴指示时间。即，每个柱状图指示每个图片的产生的码量。如图9A所示，在通常情况下，产生的码量在各个图片间不同，这引起了偏差。

不言而喻的是产生的码量不仅以图片的增量改变，而且以区的增量改变。即，在图9A中，可以认为每个柱状图指示区的增量的产生的码量。

传输缓冲区控制单元202临时积累编码数据，并且以恒定的位速率读出编码数据，从而对每个图片的这种码量进行平滑，以便诸如图9B中的图所示，一般地成为是恒定的。类似于图9A，图9B中所示的图示出了每个图片(或每个区)的码量的例子。

图10是示出了图2所示的传输缓冲区控制单元202的详细的配置例子的方框图。在图10中，传输缓冲区控制单元202包括Y数据写控制单元251、C数据写控制单元252、Y缓冲区253、C缓冲区254、流输出控制单元255和区信息控制单元261。

由区信息控制单元261控制Y数据写控制单元251，以便获得Y数据，Y数据是从编码单元201提供的亮度分量Y的编码数据，并且将其写入Y缓冲区253。由区信息控制单元261控制C数据写控制单元252，以便获得C数据，C数据是从编码单元201提供的色差分量C的编码数据，并且将其写入C缓冲区254。

在摄像机单元113处获得的图像数据由亮度分量Y和色差分量C配置而成。编码单元201对亮度分量Y和色差分量C中的每一个进行上述的处理。即，编码单元201将Y数据和C数据提供给传输缓冲区控制单元202。

注意实际上，有色差分量Cb和Cr，但是为了简化说明，将Cb和Cr总地称为C。另外，下面将进行关于由亮度分量Y和色差分量C构成的YC(TCbCr)分量的描述，但是该描述对于由R分量、G分量和B分量构成的RGB分量的情况也成立。

Y缓冲区253具有内置的存储介质，并且积累从Y数据写控制单元251提供的Y数据。另外，由区信息控制单元261控制Y缓冲区253，以便以写的顺序读出积累的Y数据，并且将其提供给流输出控制单元255。

C缓冲区254具有内置的存储介质，并且积累从C数据写控制单元252提供的C数据。另外，由区信息控制单元261控制C缓冲区254，以便以写的顺序读出积累的C数据，并且将其提供给流输出控制单元255。

由区信息控制单元261控制流输出控制单元255，以便多路复用并且输出从区信息控制单元261提供的区头或图片头、从Y缓冲区253提供的Y数据和从C缓冲区254提供的C数据，并且将其提供给包产生单元203(图2)。

区头由例如关于编码数据(原始图像数据)的区的各种信息，诸如标识信息诸如一个区等、标记信息、量化系数等配置而成。为每个区将这个区头添加到编码数据上。

图片头由例如关于编码数据(原始图像数据)的图片的各种信息，诸如各种标记信息、数据结构、帧速率、长宽比、指示垂直方向有效像素启始位置和水平方向有效像素启始位置的信息等配置而成。为每个图片将这个图片头添加到编码数据上。

区信息控制单元261控制这种配置的Y数据写控制单元251到流输出控制单元255中的每个单元的操作，或产生区头或图片头等，以便将它们提供给流输出控制单元255。

即，由Y数据写控制单元251在预定的时刻将作为从编码单元201提供的亮度分量Y的编码数据的Y数据写入Y缓冲区253，并且由Y缓冲区253一般地以恒定的位速率读出，以便将其提供给流输出控制单元255。类似地，由C数据写控制单元252在预定的时刻将作为从编码单元201提供的色差分量C的编码数据的C数据写入C缓冲区254，并且由C缓冲区254一般地以恒定的位速率读出，以便将其提供给流输出控制单元255。提供给流输出控制单元255的Y数据和C数据被与由区信息控制单元261产生的区头和图片头等多路复用，并且输出到包产生单元203。

区信息控制单元261控制关于这些Y数据和C数据的位速率的平滑的各种处理。

如果增加在其中积累编码数据的Y缓冲区253和C缓冲区254的存储容量，即，如果做出在Y缓冲区253和C缓冲区254中积累更多系数数据的布置，则对于编码数据的每个区的码量的不规则性，传输缓冲区控制单元202的容忍量变强。即，能够平滑位速率的不规则性的范围增加了。因此，在其中积累编码数据的Y缓冲区253和C缓冲区254的存储容量增加得越大，传输缓冲区控制单元202可以越稳定的方式发送编码数据(通过平滑位速率)，但是同时，编码数据被输入传输缓冲区控制单元202后直到从中输出编码数据的延迟时间增加了。另外，为了抑制花费以及电路规模的增加，不希望Y缓冲区253和C缓冲区254的存储容量的不必要的增加。

如果平滑Y数据和C数据的位速率，区信息控制单元261控制Y缓冲区253和C缓冲区254的输入/输出以便执行传输，以便抑制不必要的延迟时间的增加，并且以便抑制内容的质量的不必要的退化。稍后将描述其细节。

图11是示出了图10所示的区信息控制单元261的详细的配置例子的方框图。如图11所示，区信息控制单元261包括传输缓冲区写控制处理单元271和传输缓冲区读控制处理单元272。

传输缓冲区写控制处理单元271是用于控制关于将编码数据写到作为传输缓冲区的Y缓冲区253和C缓冲区254(图10)的处理的处理单元。传输缓冲区读控制处理单元272是用于控制关于从作为传输缓冲区的Y缓冲区253和C缓冲区254读出编码数据的处理的处理单元。

传输缓冲区写控制处理单元271包括写控制单元281、写指令单元282、发送时间确认单元283、区数确认单元284和输出禁止单元285。

写控制单元281控制从写指令单元282到输出禁止单元285的每个单元所执行的处理。由写控制单元281控制写指令单元282以便将写指令提供给Y数据写控制单元251，以便在预定的时刻将Y数据写入(积累)Y缓冲区253。Y数据写控制单元251将从编码单元201提供的Y数据提供给Y缓冲区253，以便基于从写指令单元282提供的指令积累Y数据。

类似地，由写控制单元281控制写指令单元282以便将写指令提供给C数据写控制单元252，以便在预定的时刻将C数据写入(积累)C缓冲区254。C数据写控制单元252将从编码单元201提供的C数据提供给C缓冲区254，以便基于从写指令单元282提供的指令积累C数据。

在积累Y数据和C数据之后，写指令单元282通知发送时间确认单元283和区数确认单元284已经完成了写。

在写指令单元282通知了写的结束之后，由写控制单元281控制发送时间确认单元283以便基于积累在Y缓冲区253内的Y数据的数据量，计算读出积累在Y缓冲区253内的所有Y数据所需的时间(发送时间)，以及来自Y缓冲区253的Y数据的读出速度(位速率)，将该发送时间与预定的发送时间的最大值(最大发送时间)进行比较，以便确认该发送时间比最大发送时间短。如果该发送时间等于或大于最大发送时间，发送时间确认单元283通知输出禁止单元285该结果。

类似地，在写指令单元282通知了写的结束之后，由写控制单元281控制发送时间确认单元283以便基于积累在C缓冲区254内的C数据的数据量，计算读出积累在C缓冲区254内的所有C数据所需的时间(发送时间)，以及来自C缓冲区254的C数据的读出速度(位速率)，将该发送时间与预定的发送时间的最大值(最大发送时间)进行比较，以便确认该发送时间比最大发送时间短。如果该发送时间刚好等于或大于最大发送时间，区数确认单元284通知输出禁止单元285该结果。

在写指令单元282通知了写的结束之后，由写控制单元281控制区数确认单元284以便计数积累在Y缓冲区253内的Y数据的区的数目，并且确定积累在Y缓冲区253内的区的数目是否超过了预定的阈值。如果积累在Y缓冲区253内的区的数目超过了预定的阈值，区数确认单元284将该结果通知输出禁止单元285。

类似地，在写指令单元282通知了写的结束之后，由写控制单元281控制区数确认单元284以便计数积累在C缓冲区254内的C数据的区的数目，并且确定积累在C缓冲区254内的区的数目是否超过了预定的阈值。如果积累在C缓冲区254内的区的数目超过了预定的阈值，区数确认单元284将该结果通知输出禁止单元285。

在发送时间确认单元283通知Y缓冲区253或C缓冲区254的编码数据的发送时间等于或大于该参考时间的情况下，或在区数确认单元284通知积累在Y缓冲区253或C缓冲区254内的编码数据的区的数目超过了预定数目时，由写控制单元281控制的输出禁止单元285给后面描述的传输缓冲区读控制处理单元272提供指令，以便禁止现在正被以区的增量按所需的量读出的区之后的区以及随后的区的编码数据的读出(执行库溢出控制(bank over control))。

传输缓冲区读控制处理单元272包括读取控制单元291、区头产生单元292、图片头产生单元293和读取指令单元294。

读取控制单元291控制从区头产生单元292到读取指令单元294的每个单元所执行的处理。

区头产生单元292基于从编码单元201提供的信息等产生要被添加到每个区的编码数据上的区头，并且将其提供给流输出控制单元255。图片头产生单元293基于从编码单元201提供的信息等创建要被添加到每个图片的编码数据上的图片头，并且将其提供给流输出控制单元255。

读取指令单元294给Y缓冲区253和C缓冲区254提供指令，以便以预定的位速率按积累的顺序以区的增量读出积累在Y缓冲区253和C缓冲区254内的编码数据(Y数据或C数据)，并且将其提供给流输出控制单元255。Y缓冲区253和C缓冲区254基于从读取指令单元294提供的读取指令以预定的位速率按积累的顺序以区的增量读出积累在其中的编码数据，并且将其提供给流输出控制单元255。

注意在输出禁止单元285指示禁止读出的情况下，读取控制单元291控制读取指令单元294以便禁止由该指令指定的区的编码数据的读出。如上所述读取指令单元294一般地以恒定的位速率按积累的顺序以区的增量从缓冲区中读出系数数据，但是在禁止读出的情况下，给Y缓冲区253和C缓冲区254提供读指令，以便省略区的编码数据的读出，并且执行等同于关于Y缓冲区253和C缓冲区254的按积累顺序的下一个区的未被禁止读出的区的编码数据的读出。即，读取指令单元294给Y缓冲区253和C缓冲区254提供读指令，以便一般地以恒定的位速率按积累的顺序以区的增量仅读出未被禁止读出的区的编码数据。

即，在基于从读取指令单元294提供的这种读指令，被输出禁止单元285指示禁止读出的情况下，Y缓冲区253和C缓冲区254省略它的区的编码数据的读出，并且执行等同于关于Y缓冲区253和C缓冲区254的按积累顺序的下一个区的未被禁止读出的区的编码数据的读出。

将参考图12和13进行关于在传输缓冲区控制单元202处执行的读出的控制情况的描述。图12和13示意地示出了积累在缓冲区(Y缓冲区253或C缓冲区254)内以便被读出的编码数据(Y数据或C数据)的数据量的在时间上的改变。注意下面进行的参考图12和13的描述可以应用于Y数据和C数据两者，所以此处不区分Y缓冲区253和C缓冲区254中的每一个，以及Y数据和C数据中的每一个，并且从而在下面的描述中它们要被称为缓冲区和编码数据。

在图12和13中，水平轴指示时间点，并且垂直轴指示积累在缓冲区内以便被读出的编码数据的数据量(缓冲区数量)。每个柱状图指示在每个时间点积累在缓冲区内以便被读出的编码数据。另外，柱状图的每个正方形指示每个区的编码数据，并且以每个正方形中的字母区分每个区。即，时间点间的包括相同字母的正方形指示包括在相同区内的编码数据。

注意在图12和13中，编码数据的积累顺序被指示为从下向上。例如，在图12所示的时间点T9的情况下，区I到区A中的区A的编码数据是最先积累在缓冲区内的最早的数据，并且区I的编码数据是最后积累在缓冲区内的最新的数据。即，每个区的编码数据被以区Z、区A、区B、区C等等直到区I的顺序积累在缓冲区内。

另外，柱状图的垂直轴方向上的长度指示其编码数据的数据量。换言之，每个正方形的垂直轴方向上的长度指示每个区的编码数据的数据量。另外，如上所述，一般地以恒定的位速率读出积累在缓冲区内以便被读出的编码数据。即，柱状图的垂直轴方向上的长度还指示读出积累在缓冲区内以便被读出的所以编码数据所需的时间(发送时间)。换言之，每个正方形的垂直轴方向上的长度指示每个区的编码数据的发送时间。

注意作为发送时间确认单元283容忍的发送时间的最大值的最大发送时间被以点划线指示为“最大数量”。另外，我们假定由区数确认单元284确定为可以积累在缓冲区内的区的数目的最大值的阈值是“8”。

现在，我们假定缓冲区的可用存储容量，即，根据硬件的限制，对于最大发送时间和区数的最大值足够大。稍后将描述细节，但是做出这样的布置，其中不会因为发送时间确认单元283的发送时间的限制或区数确认单元284的区数的限制引起缓冲区溢出。

图12示意地示出了通过区数确认单元284和输出禁止单元285的控制，积累在缓冲区内以便被读出的编码数据的数据量在时间上的改变。

在图12所示的例子的情况下，在时间点T1，区Z的编码数据和随后的区A的编码数据被积累在缓冲区内以便被读出，并且一般地以恒定的位速率读出之前积累的区Z。此时，积累在缓冲区内的区的数目是2，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T1经过了预定的时间的时间点T2，区Z的编码数据的读出已完成，并且区A编码数据和后续的区B的编码数据被积累在缓冲区内以便被读出，并且一般地以恒定的位速率读出之前积累的区A。此时，积累在缓冲区内的区的数目是2，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T2经过了预定的时间的时间点T3，区A的编码数据的读出在继续，区A的剩余编码数据、后续区B的编码数据和后续区C的编码数据被积累在缓冲区内以便被读出。此时，积累在缓冲区内的区的数目是3，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T3经过了预定的时间的时间点T4，区A的编码数据的读出还在继续，区A的剩余编码数据，以及连续的区B到区D的编码数据被积累在缓冲区内以便被读出。此时，积累在缓冲区内的区的数目是4，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T4经过了预定的时间的时间点T5，区A的编码数据的读出还在继续，区A的剩余编码数据，以及连续的区B到区E的编码数据被积累在缓冲区内以便被读出。此时，积累在缓冲区内的区的数目是5，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T5经过了预定的时间的时间点T6，区A的编码数据的读出还在继续，区A的剩余编码数据，以及连续的区B到区F的编码数据被积累在缓冲区内以便被读出。此时，积累在缓冲区内的区的数目是6，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T6经过了预定的时间的时间点T7，区A的编码数据的读出还在继续，区A的剩余编码数据，以及连续的区B到区G的编码数据被积累在缓冲区内以便被读出。此时，积累在缓冲区内的区的数目是7，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T7经过了预定的时间的时间点T8，区A的编码数据的读出还在继续，区A的剩余编码数据，以及连续的区B到区H的编码数据被积累在缓冲区内以便被读出。此时，积累在缓冲区内的区的数目是8，所以输出禁止单元285不禁止编码数据的输出。

在自时间点T8经过了预定的时间的时间点T9，区A的编码数据的读出还在继续，区A的剩余编码数据，以及连续的区B到区I的编码数据被积累在缓冲区内以便被读出。

此时，积累在缓冲区内的区的数目是9，并且超过了阈值8。因此，输出禁止单元285执行库溢出控制，以便基于来自区数确认单元284的通知，禁止作为当前正被输出的区A之后的后续区的区B的编码数据的读出。

这是用于消除接收侧上由于短时间内的区A的编码数据的太大的数据量引起的下溢出的处理。稍后将描述细节，但是当区A的传输时间由于区A的太大的数据量而增加时，在接收侧上接收区A的所有编码数据所需的时间也增加了。因此，区A之前的区的解码处理被非预期地终止，并且引起所谓的下溢出，其中缓冲区成为是空的。一旦发生这种下溢出，可以设想该下溢出不会被消除，而是关联到后续的区以及其后的区，并且存在图像质量的退化不必要地扩展的可能。

因此，输出禁止单元285等执行诸如上面所述的控制，以便通过省略(跳过)要被读出的编码数据的区中的一个，确保接收侧上用于积累后续区的编码数据的时间，从而停止该下溢出的关联。稍后将描述其细节。

针对每个区，编码数据被周期地积累在缓冲区内，从而如果花费长时间读出一个区，要被积累在缓冲区内的区的数目以其量增加。区数确认单元284利用这一点通过计数同时积累在缓冲区内的编码数据的区的数目，检测花费等于或大于预定基准的长的时间从缓冲区读出编码数据的区，从而预测接收侧上的下溢出的发生。

因此，区数确认单元284可以仅仅通过计数积累在缓冲区内的编码数据的区的数目，而不用计算每个区的发送时间，容易地预测接收侧上的下溢出的发生。

另外，根据基于这种区数执行的库溢出控制处理，即使在诸如图12所示，仅有一个区(区A)的发送时间长的情况下，区数确认单元284可以检测它的区。即，区数确认单元284还可以检测编码数据的数据量(发送时间)的波动中的高频分量。

另外，区数确认单元284可以甚至根据一个区检测具有长的发送时间的区，所以输出禁止单元285每次禁止一个区的输出，从而可以抑制下溢出的联系。即，可将对要被输出的区的禁止抑制为所需的最小数量。因此，输出禁止单元285可以抑制由于禁止区的输出而引起的图像质量的退化的不必要的增加。

另外，例如在图12中，诸如时间点T9’当执行库溢出处理时，禁止区B的输出，并且读出区C的编码数据，但是在该情况下，花费时间接收引起接收侧上缓冲区的积累数量减少的区A，并且因此易于再次发生下溢出。在通过计算每个区的发送时间执行库溢出控制处理的情况下，不能简单地识别出接收侧上的这种情况，但是区数确认单元284基于积累在缓冲区内的编码数据的区的数目预测接收侧上下溢出的发生，所以可以基于积累在缓冲区内的编码数据的区的数目推断接收侧上缓冲区的编码数据的积累数量。

即，以传输侧上积累在缓冲区内的编码数据的区的数目表示接收侧上缓冲区的下溢出发生的缓解，积累在传输侧上的缓冲区内的编码数据的区的数目增加得越多(越接近阈值)，积累在接收侧上的缓冲区内的编码数据的区的数目越少，并且因此产生容易发生下溢出的状态，而换言之，产生输出禁止单元285易于禁止编码数据的输出的状态。

具体地，在时间点T1的情况下，积累在缓冲区内的编码数据的区的数目是2，所以除非区A的编码数据的发送时间等于或大于时间点T2到T9(8个部分)，输出禁止单元285不禁止输出，但是例如在时间点T9’的情况下，如果区C的编码数据的发送时间等于或大于两个部分，在时间点T1的情况下，缓冲区内积累的编码数据的区的数目是9，并且因此输出禁止单元285禁止后续的区D的输出。

因此，通过基于区的数目执行库溢出控制处理，区数确认单元284和输出禁止单元285可以容易地使得库溢出控制处理的执行状态大体根据接收侧上下溢出发生的缓解而波动。

注意到目前为止已经描述了在采用区数“8”为阈值，区的数目等于或大于9的情况下，区数确认单元284使得输出禁止单元285执行库溢出控制处理，但是该阈值是任意的。该阈值越小，积累在缓冲区内的编码数据的数据量越少，从而抑制延迟时间的增加。相反，该阈值越大，库溢出控制处理的频率可被减少得更少，从而减少图像质量的退化。然而注意，希望将阈值设置为不会引起由于编码数据的积累引起的缓冲区溢出。

图13示意地示出了通过发送时间确认单元283和输出禁止单元285的控制，要被积累在缓冲区内以便被读出的编码数据的数据量在时间上的改变。

在图13的情况下，时间点T1到T6与图12所示的例子相同，但是在时间点T7，积累在缓冲区内的编码数据的数据量的总和以双箭头所示的量超过了最大数量。因此，输出禁止单元285基于来自发送时间确认单元283的通知执行库溢出控制，以便以区的增量按所需的量禁止自当前正被输出的区A之后的后续区起的编码数据的输出，以便减少超过图13的双箭头所示的数据量的容忍范围的过多的量。在图13所示的例子中，如双箭头所示，不能仅通过禁止区B的编码数据的输出消除该过多的量，所以如时间点T7’所示，输出禁止单元285还禁止区B之后的区C的编码数据的输出。

在该情况下，在输出区A的数据之后，时间进一步流逝，并且在区A的读出完成的情况下，省略区B和区C的编码数据的读出，并且读出区D的编码数据。

即，发送时间确认单元283和输出禁止单元285基于积累在缓冲区内的编码数据的发送时间(即，数据量)执行库溢出控制。因此，执行库溢出控制，由此发送时间确认单元283和输出禁止单元285可以按照要被积累在缓冲区内的编码数据的总数据量的限制抑制缓冲区溢出的发生。因此，可以更有效地使用缓冲区的可用的存储容量。

例如，如图12中的例子所示，在基于区的数目的库溢出控制的情况下，可以限制区的数目，但是不能限制数据量(发送时间)。因此，当即使区的数目小但是数据量(发送时间)非常大时，存在引起缓冲区溢出的可能。因此，需要基于产生的码的可预测的和实际的量(发送时间)和缓冲区的硬件限制，将阈值设置为不会引起缓冲区溢出。因此，需要提供较大的余量，从而每个区的编码数据的数据量(发送时间)波动的越大，关于缓冲区的硬件限制该阈值设置得越小，在该情况下，缓冲区的使用的有效性下降了。

相反，如图13中的例子所示，在基于数据量(发送时间)的库溢出控制的情况下，可以定义最大数量，由此不论每个区的编码数据的数据量(发送时间)的可变性的比率如何，可以抑制缓冲区使用的有效性的下降。

注意希望基于产生的码的实际数量(发送时间)设置该最大数量，从而超过编码数据的最大数量的过多的量不会超过缓冲区的硬件限制。

在基于数据量(发送时间)的库溢出控制处理的情况下，不能检测每个区的编码数据的数据量(发送时间)的波动。因此，与基于区数执行的库溢出控制处理的情况相比，发送时间确认单元283仅能检测编码数据的数据量(发送时间)的波动的低频分量。

另外，如图13所示，在基于数据量(发送时间)的库溢出控制处理的情况下，在某些情况下总地禁止多个区的输出，并且与基于区数的库溢出控制处理的情况相比，对于接收侧上的输出图像，图像质量退化的部分(区)的位置是集中的，并且在某些情况下图像质量的退化是在视觉上显著的。

注意，发送时间确认单元283和输出禁止单元285执行基于数据量(发送时间)的库溢出控制处理，由此发送时间确认单元283和输出禁止单元285可以用与基于区数执行库溢出控制处理的情况相同的方式，容易地使得库溢出控制处理的执行状态大体上根据接收侧上下溢出的发生的缓解波动。

传输缓冲区写控制处理单元271可以容易地检测编码数据的数据量(发送时间)的波动中的高频分量，并且还可以通过一起使用上述的基于区数的库溢出控制处理和基于数据量(发送时间)的库溢出控制处理，抑制缓冲区使用的有效性的下降。即，抑制两者的不足，并且可以获得两者的优点。

在图11所示的传输缓冲区读控制处理单元272的控制下，将从图10所示的流输出控制单元255输出的编码数据提供给图2所示的包产生单元203。包产生单元203基于诸如图片头或区头等的信息产生头信息，并且为预定数据增量的每段编码数据添加其头信息，从而产生编码数据的包。

图14是示出了由包产生单元203添加到编码数据上的头信息的配置例子的示意图。如图14所示，头信息包括包含在该包内的区的区数、区的每个子带的码量信息(字节显示)和采用的量化步长大小的信息(Q_step)。在包的负载包括多个区的编码数据的情况下，连续地排列和多路复用关于每个区的上述的信息。

在如上所述打包之后，通过图1所示的数字调制单元122、放大器124和视频分割/合成单元126将编码数据输出到双重屏蔽导线电缆111。通过双重屏蔽导线电缆111将这样从传输单元110发送的包(编码数据)发送到照相机控制单元112。

图15是用于描述编码数据的交换情况的例子的示意图。如上所述，在对每个区以预定的行数量输入的同时，对图像数据351进行小波变换。随后，当达到预定的小波变换划分等级时，以产生顺序的相反顺序，即，以从低带到高带的顺序重新布置从最低带子带到最高带子带的系数行。

图15所示的图像数据351被示出为被针对每个子带划分，其中以斜线、垂直线和波状线的模式划分的部分指示不同的区(如箭头所示，图像数据351的白色部分被以相同的方式针对每个区划分和处理)。如上所述对重新布置的区系数进行熵编码，从而产生编码数据。

例如，如图15所示，当产生第一个区(区1)的编码数据时，传输单元110对其打包，并且将其作为传输包361发送到照相机控制单元112。当接收该包(接收包371)时，照相机控制单元112对该包解包以便提取编码数据，并且对该编码数据解码。

类似地，当产生第二个区(区2)的编码数据时，传输单元110对其打包，并且将其作为传输包362发送到照相机控制单元112。当接收该包(接收包372)时，照相机控制单元112对该编码数据解码。另外，类似地，当产生第三个区(区3)的编码数据时，传输单元110对其打包，并且将其作为传输包363发送到照相机控制单元112。当接收该包(接收包373)时，照相机控制单元112对该编码数据解码。

传输单元110和照相机控制单元112重复诸如上述的处理，直到第X个区(区X)(传输包364，接收包374)。因此，在照相机控制单元112处产生解码图像381。

对于电视广播，例如，采用隔行图像，其中每秒有60场。因此，一场的时间＝1/60秒(＝16微秒)。相反，传输单元110对每个区编码以便发送它们。因此，直到传输单元110编码并且发送作为第一个区的区1，照相机控制单元112接收并且解码区1，并且在中央控制系统中输出图像的时间T(延迟时间)可能比一场的时间短。

接着，给出关于作为接收侧的视频信号解码单元的描述。图16是示出了图1所示的视频信号解码单元136的详细的配置例子的方框图。注意，图1所示的视频信号解码单元121具有与视频信号解码单元136相同的配置，所以可以将关于视频信号解码单元136的描述应用于视频信号解码单元121。因此，为了简化描述，除了必要的情况外，将省略对视频信号解码单元121的描述。

在图16中，视频信号解码单元136包括包解释单元401、接收缓冲区控制单元402和解码单元403。

包解释单元401执行在数字解调单元134(图1)处解调并且从传输单元110发送的包的解释，并且提取包括在头信息和负载内的编码数据。包解释单元401将提取的头信息和编码数据提供给接收缓冲区控制单元402。每次提供包，包解释单元401从包中提取头信息和编码数据，并且将它们提供给接收缓冲区控制单元402。

接收缓冲区控制单元402在内置的缓冲区内积累从包解释单元401提供的编码数据，在每个区的预定的时刻读出其解码数据，并且将其提供给解码单元403。

解码单元403使用相应于图2所示的编码单元201的编码方法的预定的解码方法对从接收缓冲区控制单元402提供的编码数据解码，对获得的系数数据进行逆量化，以便执行小波逆变换，并且向中央控制系统和视频信号编码单元137输出基带图像数据。

图17是示出了图16所示的接收缓冲区控制单元402的详细的配置例子的图。在图17中，接收缓冲区控制单元402包括包头解释单元411、输入控制单元421、Y缓冲区422、C缓冲区423、输出控制单元424和区信息控制单元431。

由区信息控制单元431控制包头解释单元411，以便获得并且保持从包解释单元401提供的头信息，在预定的时刻解释该头信息，并且提取要被处理的区的参数信息。包头解释单元411将提取的参数信息提供给解码单元403，以便在解码处理时使用。

由区信息控制单元431控制输入控制单元421，以便获得从包解释单元401提供的编码数据，将Y数据(亮度分量Y的编码数据)写入Y缓冲区422，并且将C数据(色差分量C的编码数据)写入C缓冲区423。

Y缓冲区422具有内置的存储介质，并且积累从输入控制单元421提供的Y数据。另外，由区信息控制单元431控制Y缓冲区422，以便以写的顺序读出积累的Y数据，并且将其提供给输出控制单元424。

C缓冲区423具有内置的存储介质，并且积累从输入控制单元421提供的C数据。另外，由区信息控制单元431控制C缓冲区423，以便以写的顺序读出积累的C数据，并且将其提供给输出控制单元424。

由区信息控制单元431控制输出控制单元424，以便多路复用并且输出从Y缓冲区422提供的Y数据、从C缓冲区423提供的C数据，并且将其提供给解码单元403(图16)。

区信息控制单元431控制包头解释单元411、输入控制单元421、Y缓冲区422、C缓冲区423、输出控制单元424中的每一个单元的操作，或产生作为用于替代丢失的编码数据的数据的伪数据，以便将其提供给解码单元403。

即，一般地以恒定的位速率从包解释单元401提供Y数据和C数据，由输入控制单元421将其写入Y缓冲区422或C缓冲区423，将其临时保持在其中，将其以区的增量读出，并且由输出控制单元424进行多路复用并且输出到解码单元403。

区信息控制单元431控制关于用于这种Y数据和C数据的时间调整的缓存的各种处理。

如果增加在其中积累编码数据的Y缓冲区422和C缓冲区423的存储容量，即，如果做出这样的布置，其中在Y缓冲区422和C缓冲区423中积累更多的系数数据，可以改善输出图像的图像质量，但是延迟时间增加了。另外，为了抑制花费和电路规模的增加，Y缓冲区422和C缓冲区423的存储容量的不必要的增加是不希望的。

区信息控制单元431控制在Y数据和C数据的解码处理之前，在时间调整时Y缓冲区422和C缓冲区423的输入/输出，从而抑制不必要的延迟时间的增加，并且还抑制内容的质量的不必要的退化。稍后将描述其细节。

图18是示出了图17所示的区信息控制单元431的详细的配置例子的方框图。如图18所示，区信息控制单元431包括接收缓冲区写控制处理单元441和接收缓冲区读控制处理单元442。

接收缓冲区写控制处理单元441是用于控制关于向作为接收缓冲区的Y缓冲区422和C缓冲区423(两者都在图17中)写编码数据的处理的处理单元。接收缓冲区读控制处理单元442是用于控制关于从作为接收缓冲区的Y缓冲区422和C缓冲区423读取编码数据的处理的处理单元。

接收缓冲区写控制处理单元441包括写控制单元451和写指令单元452。

写控制单元451控制写指令单元452的处理。由写控制单元451控制写指令单元452，以便向输入控制单元421提供指令，以便在预定的时刻向Y缓冲区422内写(积累)Y数据，并且向C缓冲区423内写(积累)C数据。输入控制单元421基于从写指令单元452提供的写指令，将从包解释单元401提供的Y数据提供给Y缓冲区422以便积累它，并且将从包解释单元401提供的C数据提供给C缓冲区423以便积累它。

接收缓冲区读控制处理单元442包括读取控制单元461、区号确认单元464、参数提取指令单元465、读取指令单元466、伪数据保持单元467和补充处理单元468。

读取控制单元461控制由区号确认单元464到补充处理单元468中的每一个单元执行的处理。

由读取控制单元461控制区号确认单元464以便选择积累在Y缓冲区422和C缓冲区423内的编码数据的区中的最早的区作为要被处理的区，并且确认选择的区的区号是否跟在之前处理的区的区号之后，从而确认区丢失的存在。

以基本上从最早的编码数据起的顺序为每个区读出积累在缓冲区(Y缓冲区422和C缓冲区423)内的编码数据。如参考图8所述，以每个区的顺序(区顺序)从视频信号编码单元120提供编码数据，所以如果没有编码数据(区)的丢失，要被处理的区的区号每次需要增加1。如果被选择为要被处理的区的区号未跟在上次从缓冲区读出的(或进行了后面所述的补充处理的)区的区号之后，则意味着应当存在于这些区之间的单个或多个区丢失了。

例如，如上参考图12和13所述，在视频信号编码单元120处执行库溢出控制处理的情况下，对于提供给视频信号解码单元136的编码数据，发生区的丢失。

区号确认单元464监视要被处理的区的区号，并且确认区号是否按从1开始的顺序每次增加1，从而确认是否发生了这种区的丢失。

注意区号确认单元464可以确认要被处理的区的区号。例如，可以这样的布置管理积累在缓冲区内的所有编码数据的区号，其中当编码数据被积累在缓冲区内时，区号确认单元464获得该编码数据的区号。可替换地，例如，可以做出这样的布置，其中为每个区，将编码数据和头信息两者积累在缓冲区内(Y缓冲区422和C缓冲区423)，并且基于相应于积累在缓冲区内的要被处理的区的头信息，区号确认单元464识别它的区。可替换地，例如，可以做出这样的布置，其中头信息被积累在包头解释单元411内，仅将编码数据积累在缓冲区内，这些头信息和编码数据被使用任意方法针对每个区彼此相关，区号确认单元464参考指示头信息和编码数据间的关系的信息，以便从包头解释单元411获得相应于要被处理的区的编码数据的头信息，并且参考该头信息识别要被处理的区的区号。不言而喻的是可以采用除此之外的其它方法。

在作为区号确认单元464的确认结果未发生区的丢失的情况下，由读取控制单元461控制参数提取指令单元465，以便给包头解释单元411提供用于从头信息提取要被处理的区的参数的提取指令。

在作为区号确认单元464的确认结果未发生区的丢失的情况下，由读取控制单元461控制读取指令单元466，以便给Y缓冲区422和C缓冲区423提供读取指令，以便读出要被处理的区的编码数据(Y数据和C数据)，以便将其提供给输出控制单元424。

由读取控制单元461控制伪数据保持单元467，以便保持伪数据，所述伪数据是用于替代丢失的系数数据的数据。可以采用任意数据作为伪数据，只要它是区的增量的编码数据。例如，伪数据可以是以这样的布置获得的编码数据，其中以与编码单元201相同的方式对具有诸如白色、黑色、灰色等的预定颜色的基带图像数据的一个区量进行小波变换、重新布置、量化，并且进行熵编码。即，在该情况下伪数据是编码数据，由此根据解码单元403的解码处理获得具有诸如灰色等的预定颜色的基带图像数据的一个区量。伪数据可以是任意数据，只要该数据是事先准备的。即，被作为伪数据采用的图像数据的图像可以是任意颜色，或可由多种颜色配置而成，或可以包括图形、图案字符、图片等。

在作为区号确认单元464的确认结果发生了区的丢失的情况下，由读取控制单元461控制补充处理单元468，以便从伪数据保持单元467获得伪数据，并且取代丢失的编码数据，在丢失的编码数据的读取时刻将伪数据输出到解码单元403。

将参考图19给出关于由接收缓冲区控制单元402执行的以区的增量执行的读出控制的情况的描述。

图19是示意地示出了积累在缓冲区(Y缓冲区422或C缓冲区423)内要被被读出的编码数据(Y数据和C数据)的数据量在时间上的改变的图。图19所示的例子是相应于图12所示的例子的例子，并且示意地示出了当诸如图12所示的例子执行控制，并且积累从视频信号编码单元120输出的编码数据时，数据量在时间上的改变。即，与其它区的编码数据的数据量相比，区A的编码数据的数据量非常大。另外，禁止区B的编码数据的输出，从而在区A之后提供区C的编码数据。

注意下面进行的参考图19的描述可以应用于Y数据和C数据两者，所以此处不区分Y缓冲区422和C缓冲区423中的每一个，以及Y数据和C数据中的每一个，并且因此在下面的描述中它们被称为缓冲区和编码数据。

以与图12相同的方式，在图19中水平轴也指示时间点，并且垂直轴指示积累在缓冲区内以便被读出的编码数据的数据量(缓冲区数量)。每个柱状图指示在每个时间点积累在缓冲区内以便被读出的编码数据。另外，柱状图的每个正方形指示每个区的编码数据，并且以每个正方形内的字母区分每个区。编码数据的积累顺序被指示为从下向上。另外，柱状图的垂直轴方向上的长度指示其编码数据的数据量。现在，我们假设缓冲区的可用存储容量，即，根据硬件的局限，足够大。

在图19所示的例子的情况下，在时间点T1，区S到Z的编码数据被积累在缓冲区内以便被读出。在T1，将积累在缓冲区内的编码数据的区中的首先被积累的区S设置为要被处理的区，并且进行其区号是否跟在上次处理的区的区号之后的确认。在根据该确认确定未发生区(编码数据)的丢失的情况下，参数提取指令单元465提取要被处理的区S的参数，并且将其提供给解码单元403。另外，读取指令单元466给缓冲区提供读取指令，以便读出区S的系数数据，并且将其提供给输出控制单元424。在输出控制单元424多路复用从Y缓冲区422读出的Y数据和从C缓冲区423读出的C数据，并且将其提供给解码单元403。

因此，在从时间点T1经过了预定时间的时间点T2，区S的编码数据被从缓冲区中全部读出，并且从缓冲区中消除，取而代之，一般地以预定的恒定位速率从输入控制单元421提供区A，并且将其积累在缓冲区内。在时间点T2，将跟在区S之后的区T设置为要被处理的区，并且以与上述区S的情况相同的方式，读出编码数据。

在从时间点T2经过了预定时间的时间点T3，区T的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。另外，随后以预定的位速率执行区A的积累。在时间点T3，将跟在区T之后的区U设置为要被处理的区，并且以与上述区T的情况相同的方式，读出编码数据。

在从时间点T3经过了预定时间的时间点T4，区U的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。另外，随后以预定的位速率执行区A的积累。在时间点T4，将跟在区U之后的区V设置为要被处理的区，并且以与上述区U的情况相同的方式，读出编码数据。

在从时间点T4经过了预定时间的时间点T5，区V的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。另外，随后以预定的位速率执行区A的积累。在时间点T5，将跟在区V之后的区W设置为要被处理的区，并且以与上述区V的情况相同的方式，读出编码数据。

在从时间点T5经过了预定时间的时间点T6，区W的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。另外，随后以预定的位速率执行区A的积累。在时间点T6，将跟在区W之后的区X设置为要被处理的区，并且以与上述区W的情况相同的方式，读出编码数据。

在从时间点T6经过了预定时间的时间点T7，区X的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。另外，随后以预定的位速率执行区A的积累。在时间点T7，将跟在区X之后的区Y设置为要被处理的区，并且以与上述区X的情况相同的方式，读出编码数据。

在从时间点T7经过了预定时间的时间点T8，区Y的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。另外，随后以预定的位速率执行区A的积累。在该时间点T8，将跟在区Y之后的区Z设置为要被处理的区，并且以与上述区Y的情况相同的方式，读出编码数据。

在从时间点T8经过了预定时间的时间点T9，区Z的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除。在时间点T9，最终完成了区A的积累。即，在该情况下，与其它区的编码数据的数据量相比，区A的编码数据的数据量非常大。在这种情况下，在时间点T9，将跟在区Z之后的其积累刚刚完成的区A设置为要被处理的区，并且以与上述区Z的情况相同的方式，读出编码数据。

如上所述，在传输缓冲区控制单元202处禁止区B的编码数据的输出，所以跟在区A之后提供区C的编码数据。

因此，在从时间点T9经过了预定时间的时间点T10，区A的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除，并且以预定的位速率在缓冲区中积累区C的编码数据。在时间点T10，将在区A之后提供的区C设置为要被处理的区，但是原来应当将区B设置为要被处理的区，并且因此区号不连续。因此，取代该丢失的区B，读出伪数据并且将其提供给解码单元403。在这段时间中，继续区C的编码数据的积累，并且结束。

在区C的编码数据的积累完成之后，开始随后提供的区D的编码数据的积累。

因此，在从时间点T10经过了预定时间的时间点T11，区B的编码数据被从缓冲区中全部读出，并且被从缓冲区中消除，区C的编码数据的积累结束，并且以预定的位速率在缓冲区中积累区D的编码数据。

在时间点T11，要被处理的区仍然是区C，区号从被进行了上次的补充处理的区B区号是连续的，所以从缓冲区读出区C的编码数据，并且提供给解码单元403。

即，如图20所示，以区S、区T、区U等等直到区A的顺序为每个区输出编码数据，并且在区A之后取代丢失的区B的编码数据输出事先准备的伪数据(伪B)的一个区量。即，以伪数据补充丢失的编码数据。

例如，如果编码数据的丢失是单独一个区的一场量，对于输出图像，在大约16微秒期间仅丢失若干行图像，所以图像质量的退化不太显著。另外，将诸如灰色等的在视觉上显著的颜色的图像的编码数据作为伪数据，由此接收缓冲区控制单元402可以使得由于编码数据的丢失引起的图像质量的退化更显著。

注意，如图19所示，在视频信号编码单元120处执行了库溢出控制处理，并且禁止了区B的输出，所以跟在区A之后提供区C的编码数据，但是因此，在原来作为区B的输出时刻的时间点T10执行了区C的编码数据的积累。因此，直到作为区C的输出时刻的时间点T11为止，可以充分地确保区C的编码数据的积累，可以在作为区C的输出时刻的时间点T11完成区C的编码数据的积累。即，在时间点T11，接收缓冲区控制单元402可以将区C的所有编码数据提供给解码单元403。

如果视频信号编码单元120不执行诸如上面所述的库溢出控制处理，如图21所示，在时间点T10，提供区B的编码数据，并且随后以区C、区D等等直到区H、区J和区K的顺序提供编码数据。

如上所述，时间点T10是区B的输出时刻，但是区B的编码数据的积累已经从时间点T9开始了，所以不必然在时间点T10积累了区B的所有编码数据。即，如图21所示的时间点T10处的区B的斜线所示，存在具有未积累的编码数据的可能。在该阶段(时间点T10)，如果将区B的编码数据提供给解码单元403，存在该编码数据的未积累部分丢失的可能，所以输出图像的图像质量退化了。

随后，从时间点T10开始跟在区B之后的区C的编码数据的积累，所以以与区B的情况相同的方式，在作为输出时刻的时间点T11，不必然在缓冲区内积累在区C的所有编码数据，并且如斜线所示，存在具有未积累的编码数据的可能。在该阶段(时间点T11)，如果将区C的编码数据提供给解码单元403，存在该编码数据的未积累部分丢失的可能，所以输出图像的图像质量退化了。

即，在存在类似于区A的花费时间传输的区的情况下，对于接收侧上的缓冲区(Y缓冲区422和C缓冲区423)，缺少要被积累的编码数据，并且方式所谓的下溢出。此时，在视频信号编码单元120不执行如上所述的库溢出控制处理的情况下，在每个区诸如图21所示的区B到区J处存在发生下溢出的可能。即，诸如读出时刻的斜线所示，在每个区处存在由于太短的积累时间产生的未积累部分的可能，并且从而在长的时间段上下溢出都不能消除。

如果下溢出被这样扩展，存在输出图像的图像质量退化行(范围)增加的可能，并且因此，图像质量的退化将是明显的。

视频信号编码单元120执行诸如上述的库溢出处理，由此将下溢出的发生局限于一个区，并且可以抑制不必要的下溢出的出现的扩展，并且因此可以抑制输出图像的图像质量的退化行(范围)。

接着，将描述图16所示的解码单元403的细节。图22是示出了解码单元403的详细的配置例子的方框图。解码单元403是相应于图2的解码单元20的解码单元，并且如从图22可见，包括熵解码单元481、逆量化单元482、系数缓冲区单元483和小波逆变换单元484。

在从接收缓冲区控制单元402获得编码数据之后，熵解码单元481执行每行的编码数据的熵解码，并且将获得的系数数据提供给逆量化单元482。逆量化单元482基于包括在从接收缓冲区控制单元402的包头解释单元411获得的参数中的关于量化的信息，对提供的系数数据进行逆量化，并且将获得的系数数据提供给系数缓冲区单元483以便存储。小波逆变换单元484使用存储在系数缓冲区单元483内的系数数据通过合成滤波器执行合成滤波处理，并且将合成滤波处理的结果再次存储在系数缓冲区单元483内。小波逆变换单元484根据划分等级重复该处理，并且获得解码的图像数据(输出图像数据)。小波逆变换单元484向外输出来自解码单元403的输出图像数据。

一般地，对于小波逆变换，首先，对要被处理的划分等级的所有系数在水平方向上执行水平合成滤波处理，并且然后进行垂直方向上的垂直合成滤波处理。即，每次执行每个合成滤波处理，需要在缓冲区内保持合成滤波处理的结果，但是需要保持该时间点的划分等级的合成滤波结果以及下一个划分等级的所有系数，这需要极大的存储器容量，即，要被保持的数据量极大。

另外，在该情况下，直到图片(在隔行的情况下，场)内的所有小波变换为止，不执行图像数据输出，所以从输入到输出的延迟时间增加了。

相反，在小波逆变换单元484的情况下，水平合成滤波处理和垂直合成滤波处理被以区的增量执行到等级1，所以与相关技术采用的方法相比，需要立刻(在相同的时间段)缓存的数据量较小，所以可以显著地减小需要提供的缓冲区的容量。另外执行合成滤波处理(小波逆变换)到等级1能够在获得图片的所有图像数据之前以区增量连续输出图像数据，从而与相关技术采用的方法相比，显著地减小了延迟时间。

接着，将描述由上述的数字双重屏蔽导线系统100的组件执行的处理。将参考图23所示的流程图描述由传输单元110的视频信号编码单元120的编码单元201(图3)执行的编码处理的流程的例子。

在编码处理开始之后，在步骤S1，小波变换单元221将要被处理的区的号码A设置为初始设置。在通常情况下，将号码A设置为“1”。在设置结束之后，在步骤S2，小波变换单元221获得产生一行(即一个区)所需的行数的图像数据，所述行是最低带的子带中的从顶部起的第A个，并且对于该图像数据，在步骤S3执行垂直分析滤波处理，它执行关于布置在屏幕的垂直方向上的图像数据的分析滤波，并且在步骤S4执行水平分析滤波处理，它执行关于布置在屏幕的水平方向上的图像数据的分析滤波。

在步骤S5，小波变换单元221确定分析滤波处理是否被执行到了最后的等级。在确定划分等级未达到最后等级的情况下，处理返回步骤S3，并且对当前的划分等级重复步骤S3和S4中的分析滤波处理。

在步骤S5，在确定分析滤波处理被执行到最终等级的情况下，处理进入步骤S6。

在步骤S6，系数重新布置单元224以从低带到高带的顺序重新布置区A的系数(从图片(在隔行的情况下为场)的顶部起的第A个区)。在步骤S7，量化单元225使用预定的量化系数量化重新布置的系数。在步骤S8，熵编码单元227为每一行对其系数进行熵编码，并且在步骤S9发送出区A的编码数据。

在步骤S10，小波变换单元221将号码A的值增加“1”，并且对下一个区进行处理，并且在步骤S11中确定要被处理的图片(在隔行的情况下为场)是否有任何未被处理的图像输入行。在确定存在未处理的图像输入行的情况下，处理返回步骤S2，并且对新的要被处理的区重复之后的处理。

因此，重复执行步骤S2到S10中的处理，并且对每个区编码。在步骤S11，在确定没有未处理的图像输入行的情况下，结束关于该图片的编码处理。开始关于下一个图片的新的编码处理。

因此，小波变换单元221继续以区的增量执行直到最后等级为止的垂直分析滤波处理和水平分析滤波处理，所以与当前使用的方法相比，需要一次(在相同时段)保持(缓存)的数据量是小的，所以可以极大地减小要被提供的缓冲区内的存储器的容量。另外，通过执行直到最终等级的分析滤波处理，还可以执行后面阶段的处理，诸如系数重新布置或熵编码(即，可以区的增量执行系数重新布置和熵编码)。因此，与对整个屏幕执行小波变换的方法相比，可以极大地减小延迟时间。

接着，将参考图24所示的流程图，描述由传输缓冲区写控制处理单元271(图11)执行的传输缓冲区写控制处理的流程的例子。

在传输缓冲区写控制处理开始之后，在步骤S31，写控制单元281确定该时刻是否是预定的时刻，并且待命直到确定该时刻是预定的时刻为止。在确定该时刻是预定的时刻的情况下，流程进入步骤S32。在步骤S32，写指令单元282向Y数据写控制单元251和C数据写控制单元252提供写指令，以便将一个区量的编码数据写到缓冲区。

在步骤S33，区数确认单元284计算积累在缓冲区内的编码数据的区的数目，并且确定缓冲区内的区的数目是否超过了事先设置的预定阈值。在确定超过了该阈值的情况下，流程进入步骤S34。在步骤S34，输出禁止单元285禁止跟在当前正被读取的区之后的下一个区的编码数据的读出。在步骤S34中的处理结束之后，流程进入步骤S37。

在另一方面，在步骤S33中确定缓冲区内的区的数目在阈值之内的情况下，流程进入步骤S35。在步骤S35，发送时间确认单元283计算积累在缓冲区内的编码数据的总的发送时间，并且做出关于是否可以在预定的时间内将缓冲区内的所有编码数据发送出去的确定。在确定不能在该时间内发送所有编码数据的情况下，流程进入步骤S36。在步骤S36，从跟在当前正被读取的区之后的下一个区起，输出禁止单元285按输出顺序禁止所需区数的编码数据的输出。在步骤S36的处理结束之后，流程进入步骤S37。

另外，在步骤S35确定可以在预定的时间内发出缓冲区内的所有编码数据的情况下，流程进入步骤S37。

在步骤S37，写控制单元281确定图片内是否存在未处理的区。在确定图片内存在未处理的区的情况下，流程返回步骤S31，并且重复后续的处理。另外，在步骤S37确定图片内不存在未处理的区的情况下，传输缓冲区写控制处理结束。

接着，将参考图25所示的流程图，描述由传输缓冲区读控制处理单元272(图11)执行的传输缓冲区读控制处理的流程的例子。

在传输缓冲区读控制处理开始之后，在步骤S251，区头产生单元292产生Y数据区头。在步骤S52，读取控制单元291确定当前的区是否是开头的区。在确定当前的区是开头的区的情况下，流程进入步骤S53。在步骤S53，图片头产生单元293产生图片头，在此之后流程进入步骤S54。另外，在步骤S52确定当前的区不是开头的区的情况下，省略步骤S53的处理，并且流程进入步骤S54。

在步骤S54，读取指令单元294指示Y缓冲区253读出要被处理的区的Y数据。在步骤S55，区头产生单元292产生C数据的区头。在步骤S56，读取指令单元294指示C缓冲区254读出要被处理的区的C数据。在S56的处理结束之后，流程进入步骤S57。

在步骤S57，读取控制单元291确定图片中是否存在未处理的区。在确定图片中存在未处理的区的情况下，流程返回步骤S51，并且重复随后的处理。另外，在步骤S57确定图片内没有未处理的区的情况下，传输缓冲区读取控制处理结束。对下一个图片执行新的传输缓冲区读取控制处理。

接着，将参考图26所示的流程图描述由区信息控制单元431(图18)执行的接收缓冲区写控制处理的流程的例子。

在接收缓冲区写控制处理开始之后，在步骤S71，接收缓冲区写控制处理单元441的写控制单元451确定编码数据是否已被提供给输入控制单元421，并且待命直到确定该结果为止。在确定已经提供了编码数据的情况下，流程进入步骤S72。

在步骤S72，写指令单元452执行给输入控制单元421的写指令，以便按区将Y数据积累在Y缓冲区内。输入控制单元421基于该指令将Y数据提供给Y缓冲区422，并且按区进行积累。

在步骤S73，写指令单元452执行给输入控制单元421的写指令，以便按区在C缓冲区423中积累C数据。输入控制单元421基于该指令将C数据提供给C缓冲区423，并且按区进行积累。

在步骤S74，写控制单元451确定图片中是否存在未处理的区。在确定存在未处理的区的情况下，流程返回步骤S71，并且重复后续的处理。另外，在步骤S74确定图片中没有未处理的区的情况下，接收缓冲区写控制处理结束。对下一个图片执行新的接收缓冲区写控制处理。

接着，将参考图27所示的流程图描述由区信息控制单元431(图18)执行的接收缓冲区读取控制处理的流程的例子。

在接收缓冲区读取控制处理开始之后，在步骤S91，区号确认单元464将积累在缓冲区(Y缓冲区422和C缓冲区423)中的编码数据内的最早的区设置为要被处理的区。在步骤S92，读取控制单元461确定该时刻是否是预定的时刻，并且待命直到确定该时刻是预定的时刻为止。在确定该时刻是预定的时刻的情况下，流程进入步骤S93。

在步骤S93，区号确认单元464确定要被处理的区的区号是否与前一次从缓冲区读出的或被进行补充处理的区的区号连续。注意，在要被处理的区是要被处理的图片的第一个区的情况下，区号确认单元464确定要被处理的区是否是该图片的顶部的区，即，要被处理的区的区号是否是1。

在确定区号连续的情况下，流程进入步骤S94。在该情况下，确定在传输缓冲区控制单元202处未执行库溢出控制处理，所以在步骤S94，参数提取指令单元465向包头解释单元411给出参数提取指令，以便从头信息中提取要被处理的区的参数信息。包头解释单元411基于该指令从头信息中提取要被处理的区的参数信息，并且将其提供给解码单元403。

在步骤S95，读取指令单元466向Y缓冲区422给出读取指令，以便读出要被处理的区的Y数据。Y缓冲区422基于该指令读出要被处理的区的Y数据，并且将其提供给输出控制单元424。在步骤S96，读取指令单元466向C缓冲区423给出读取指令，以便读出要被处理的区的C数据。C缓冲区423基于该指令读出要被处理的区的C数据，并且将其提供给输出控制单元424。输出控制单元424多路复用提供的Y数据和C数据，并且将其提供给解码单元403。在步骤S96的处理结束之后，流程进入步骤S98。

在步骤S93确定区号不连续的情况下，流程进入步骤S97。在该情况下，确定存在编码数据的丢失。在步骤S97，补充处理单元468从伪数据保持单元467获得伪数据，并且将伪数据提供给解码单元403，由此补充丢失的编码数据。在步骤S97的处理结束之后，流程进入步骤S98。

在步骤S98，写控制单元451确定要被处理的图片中是否存在未处理的区。在确定存在未处理的区的情况下，流程返回步骤S91，并且重复后续处理。即，对下一个区执行处理。另外，在步骤S93确定区号不连续的情况下，尚未读出要被处理的区的编码数据，所以确定存在未处理的区。即，在该情况下，流程返回步骤S91。

因此，对每个区执行步骤S91到98的处理的循环。注意在步骤S91，将最早的区设置为要被处理的区，所以在前一个循环中的步骤S97的以伪数据补充的情况下，未从缓冲区中读出被设置为前一个循环中的要被处理的区的区的编码数据，并且因此将相同的区作为要被处理的区。

在步骤S98确定图片中没有未处理的区的情况下，接收缓冲区写控制处理结束。对下一个图片执行新的接收缓冲区写控制处理。

下面参照图28的流程图说明由解码单元403(图22)执行的解码处理的流程的例子。这个解码处理对应于图23的流程图所示的编码处理。

在解码处理开始之后，在步骤S131，熵解码单元481获得编码数据，在步骤S132，熵解码每行的编码数据。在步骤S133，逆量化单元482对由熵解码获得的系数数据进行逆量化。在步骤S134，系数缓冲单元483保持通过逆量化获得的系数数据。在步骤S135，小波逆变换单元484确定在系数缓冲单元483中是否积累了一个区量的系数数据。在确定尚未积累的情况下，处理返回步骤S131，并执行其后的处理。这就是说，小波逆变换单元484待命直到在系数缓冲单元483积累一个区量的系数数据。

在步骤S135确定在系数缓冲单元483已经积累了一个区量的系数数据的情况下，处理前进到步骤S136。在步骤S136，小波逆变换单元484读取被保持在系数缓冲单元483中的一个区量的系数数据，并在步骤S137对读出的系数数据进行垂直合成滤波处理，其中对在屏幕上沿垂直方向排列的系数数据进行合成滤波处理，在步骤S138，进行水平合成滤波处理，其中对在屏幕上沿水平方向排列的系数数据进行合成滤波处理。在步骤S139，小波逆变换单元484确定合成滤波处理是否通过级1(其中分级值是“1”的级)被完成，即是否是否进行了逆变换，直到达到小波变换之前的状态。在确定级1尚未达到的情况下，处理返回步骤S137，并重复步骤S137和S138的滤波处理直到达到级1。

在步骤S139，则确定小波逆变换处理通过级1被完成的情况下，处理前进到步骤S140。在步骤S140，小波逆变换单元484从解码单元403向外部输出由小波逆变换处理获得的图像数据。

在步骤S141，熵解码单元481确定是否结束解码处理。在确定不结束解码处理的情况下，处理返回步骤S131，并重复其后的处理。此外，在步骤S141，在通过完成所述区而确定结束解码处理的情况下，则结束解码处理。

因而，在小波逆变换单元484的情况下，按照区的增量进行水平合成滤波处理和垂直合成滤波处理直到级1，从而和相关技术使用的方法相比，需要被一次缓冲的数据量较小，因而可以显著减小需要提供的缓冲器的容量。此外，进行合成滤波处理到级1使得在获得图片的图像数据之前能够以区增量顺序地输出图像数据，从而和现有技术使用的方法相比，可以显著地减小延迟时间。

发送侧进行库溢出控制处理，如上所述，接收侧按照库溢出控制进行补充处理，从而在内容的数据传输中可以容易地抑制不需要的延迟时间的增加，并且可以抑制内容质量的不需要的劣化。

这种数据传输处理在其中要求数据传输时间的立即性(实时性)即减小延迟时间的系统中是尤其有效的。此外，上述的库溢出控制处理和补充处理可以以区增量被进行，因而特别适合于使用以区增量进行的编码处理和解码处理的系统。

由例如上面所述的元件执行的各种处理被适当地并行执行，例如图29所示。图29是一个示意图，表示由图2的视频信号解码单元120和图16的视频信号解码单元136执行的处理的各个元件的并行操作的例子。图29相应于上述的图7。

第一时间的小波变换WT-1由小波变换单元11(图3)对图像数据的输入In-1(图29中的A)执行。如参照图6所述，第一时间小波变换WT-1在输入头三行的时间点开始，并产生系数C1。这就是说，从图像数据In-1的输入到小波变换WT-1的开始发生三行量的延迟。

产生的系数数据被存储在系数重新布置缓冲单元223(图3)中。此后，对输入的图像数据进行小波变换并完成第一时间处理，借以把处理在第二时间不改变地传递到小波变换WT-2。

为了第二时间的小波变换WT-2和第二时间的小波变换WT-2的处理，三个系数C1，C4和C5的重新布置Ord-1由系数重新布置单元224(图3)和图像数据In-2的输入并行地执行(图29中的C)。

注意从小波变换WT-1的结束直到重新布置Ord-1开始的延迟是基于设备或系统配置的延迟，例如是和控制信号的传输以命令系数重新布置单元224进行重新布置处理有关的延迟，是一个由于控制信号而使系数重新布置单元224开始处理所需的延迟，或者是程序处理所需的延迟，而不是和编码处理有关的延迟。

系数数据按照完成重新布置的顺序被从系数重新布置缓冲单元223读出，在量化单元225被量化，被提供给熵编码单元227(图3)，并被进行熵编码EC-1(图29中的D)。熵编码EC-1可以不用等待3个系数C1，C4和C5的重新布置全部结束便开始。例如，在首先输入的系数C5的一行的重新布置结束的时刻，可以开始关于系数C5的熵编码。在这种情况下，从重新布置Ord-1的处理开始到熵编码EC-1的处理开始的延迟是一行的量。

由熵编码单元227对其进行的熵编码已经结束的编码数据被经受预定的信号处理，然后经过双重屏蔽导线111传送到摄像机控制单元112(图29中的E)。此时，编码数据以成包的方式被传输。

图像数据按照顺序被输入到传输单元110的视频信号编码单元120，从第一处理的7行量到屏幕的结束行。在视频信号编码单元120，按照输入的图像数据In-n(其中n是2或更大的数)，每四行经受小波变换WT-n、重新排序Ord-n、以及熵编码EC-n，如上所述。在视频信号编码单元120最后一次进行的重新排序Ord和熵编码EC被在6行上进行。这些处理被在视频信号编码单元120并行地执行，如图29中A-D示例地示出的。

由编码单元120进行熵编码EC-1而编码的编码数据的包被传输到摄像机控制单元112，经受预定信号处理，并被提供给视频信号解码单元136。视频信号解码单元136(图16)的包解释单元401分离包头信息和编码数据，接收缓冲控制单元402以区增量提供编码数据到解码单元403。解码单元403(图22)的熵解码单元481顺序地进行关于由熵编码EC-1编码的编码数据的熵编码的解码iEC-1，并恢复系数数据(图29中的F)。恢复的系数数据在逆量化单元482经受逆量化，然后被顺序地存储在系数缓冲单元483。根据在系数缓冲单元483中存储的能够经受小波逆变换的系数数据的数量，小波逆变换单元484从系数缓冲单元483读出系数数据，并使用读出的系数进行小波逆变换iWT-1(图29中的G)。

如参照图6所述，在小波逆变换单元484进行的小波逆变换iWT-1可以在系数C4和C5被存储在系数缓冲单元483中的时间点开始。因而从熵解码单元481的解码iEC-1开始到小波逆变换单元484的小波逆变换iWT-1开始的延迟是两行量。

利用小波逆变换单元484，在对第一次编码的小波变换进行三行量的小波逆变换iWT-1时，进行由小波逆变换iWT-1产生的图像数据的输出Out-1(图29中的H)。利用输出Out-1，如参照图6和7所述，输出第一行的图像数据。

在视频信号编码单元120向视频信号解码单元136通过第一次处理输入三行量的编码系数数据之后，顺序地输入熵编码EC-n(n是2或更大)编码的系数数据。由视频信号解码单元136，对于每四行，输入的系数数据经受熵解码iEC-n和小波变换iWT-n，如上所述，顺序地进行由小波逆变换iWT-n恢复的图像数据的输出Out-n。对6行进行对应于视频信号编码单元120最后一次的熵解码iEC和小波逆变换iWT，并输出8行的输出Out。这个处理在视频信号解码单元136例如从图29中的F到H被并行地执行。

如上所述，通过按照从图像的顶部到图像的底部的顺序，在视频信号编码单元120和视频信号解码单元136并行地执行每个处理，可以以极小的延迟进行图像压缩处理和图像解码处理。

参见图29，下面计算在使用5×3滤波器对分级＝2进行小波变换的情况下，从图像输入到图像输出的延迟时间。从向视频信号编码单元120输入第一行图像数据到从视频信号解码单元136输出第一行图像数据的延迟时间是下述的各个元件之和。注意，根据系统配置，例如传输路径中的延迟和与设备的各个部分的实际处理定时相关的延迟，执行不同的延迟。

(1)从第一行输入到7行量的小波变换WT-1结束的延迟D_WT

(2)和三行量的系数重新布置Ord-1相关的时间D_Ord

(3)和三行量的熵编码EC-1相关的时间D_EC

(4)和三行量的熵解码iEC-1相关的时间D_iEC

(5)和三行量的小波逆变换iWT-1相关的时间D_iWT

下面参照图29计算由上述的各个因素引起的延迟。在(1)中的延迟D_WT是10行量的时间。在(2)中的时间D_Ord、(3)中的时间D_EC、(4)中的时间D_iEC以及(5)中的时间D_iWT都是三行量的时间。此外，视频信号编码单元120进行的熵编码EC-1可以从重新布置Ord-1开始一行之后开始。同样，视频信号解码单元136进行的小波逆变换iWT-1可以从熵解码iEC-1开始两行之后开始。此外，熵解码iEC-1可以在熵编码EC-1完成编码的一行量的时间点开始处理。

因而，在图29的例子中，从在视频信号编码单元120中输入第一行的图像数据到从解码单元403输出第一行图像数据的延迟时间为10+1+1+2+3＝17行量。

下面以更具体的例子说明延迟时间。在输入的图像数据是HDTV(高清晰度电视)的交错视频信号的情况下，例如一帧由1920像素×1080行的分辨率构成，一场是1920像素×540行。因而，在帧频率是30Hz的情况下，一场的540行的540行被输入到视频信号编码单元120的时间是16.67毫秒(＝1sec/60场)。

因而，和图像数据的7行量的输入相关的延迟时间是0.216msec(＝16.67msec×7/540行)，例如相对于一场的更新时间是一个非常短的时间。此外，上述的在(1)中的延迟D_WT、在(2)中的时间D_Ord、(3)中的时间D_EC、(4)中的时间D_iEC以及(5)中的时间D_iWT的总和的延迟时间被显著缩短，这是因为要被处理的行数少。

上面以由于库溢出控制处理或类似原因发生区的丢失的情况下使用制备的伪数据进行补充说明了接收缓冲控制单元402，但是不限于此，例如可以进行这样的配置，其中使用以前的图片中的相同位置的区的编码数据进行补充处理。

图30是用于说明图16所示的接收缓冲控制单元的另一个详细配置的例子的方块图。图30所示的接收缓冲控制单元502具有和参照图17说明的接收缓冲控制单元402基本相同的配置，并以相同的方式操作，其不同之处在于，区信息控制单元获得提供给输入控制单元的编码数据(Y数据和C数据)，并保持获得的编码数据的一个图片量供在下一个图片中进行补充处理使用，其区别还在于，在由于库溢出控制处理或类似原因而发生区丢失的情况下，区信息控制单元使用已被保持的先前的图片中相同位置的区的编码数据进行补充处理。

这就是说，接收缓冲控制单元502包括包头解释单元511，其对应于接收缓冲控制单元402的包头解释单元411，并进行和包头解释单元411相同的处理，Y缓冲器522，其对应于接收缓冲控制单元402的Y缓冲器422，并进行和Y缓冲器422相同的处理，C缓冲器523，其对应于接收缓冲控制单元402的C缓冲器423，并进行和C缓冲器423相同的处理，输出控制单元524，其对应于接收缓冲控制单元402的输出控制单元424，并进行和输出控制单元424相同的处理，还包括输入控制单元521和区信息控制单元531。

输入控制单元521对应于接收缓冲控制单元402的输入控制单元421并进行和输入控制单元421基本相同的处理，其区别在于，获得的编码数据(Y数据和C数据)不仅提供给Y缓冲器522和C缓冲器523以便积累，而且提供给区信息控制单元531。

区信息控制单元531对应于接收缓冲控制单元402的区信息控制单元431，并进行和区信息控制单元431基本相同的处理，不过其和区信息控制单元431的区别在于，区信息控制单元531具有内装的存储介质，由输入控制单元521提供的编码数据的一个图片存储在该存储介质中，并且在发生区丢失的情况下，在被保持的先前图片中相同位置的区的编码数据代替伪数据被提供给解码单元403。

图31是用于说明图30所示的区信息控制单元531的详细配置的方块图。如图31所示，区信息控制单元531具有接收缓冲器写控制处理单元541和接收缓冲器读控制处理单元542。

接收缓冲器写控制处理单元541具有写控制单元551，写指令单元552，和编码数据更新单元553。

写控制单元551对应于接收缓冲器写控制处理单元441的写控制单元451(图18)，并基本上进行和写控制单元451相同的处理，其区别在于，写控制单元551不仅控制写指令单元552进行的处理，而且控制编码数据更新单元553进行的处理。写指令单元552对应于接收缓冲器写控制处理单元441的写指令单元452(图18)，并在写控制单元551的控制下执行和写指令单元452相同的处理。

编码数据更新单元553在写控制单元551的控制下更新在稍后说明的接收缓冲器读控制处理单元542的1图片编码数据保持单元567中保持的编码数据。这就是说，在获得由输入控制单元521提供的一个区量的编码数据后，编码数据更新单元553把该数据提供给1图片编码数据保持单元567，从而更新1图片编码数据保持单元567保持的编码数据。这就是说，编码数据更新单元553把输入控制单元521提供的编码数据的新区提供给1图片编码数据保持单元567，借以用新编码数据覆盖1图片编码数据保持单元567保持的1图片编码数据的相同位置的该区的编码数据。

接收缓冲器读控制处理单元542包括读控制单元561，区号确认单元564，参数提取指令单元565，读指令单元566，1图片编码数据保持单元567和补充处理单元568。

读控制单元561对应于接收缓冲器读控制处理单元442的读控制单元461(图18)，并基本上进行和读控制单元461相同的处理，不过其不同之处在于，读控制单元561代替控制伪数据保持单元467而控制1图片编码数据保持单元567。

区号确认单元564对应于接收缓冲器读控制处理单元442的确认单元464(图18)，并在读控制单元561的控制下进行和区号确认单元464相同的处理。参数提取指令单元565对应于接收缓冲器读控制处理单元442的参数提取指令单元465，并在读控制单元561的控制下进行和参数提取指令单元465相同的处理。读指令单元566对应于接收缓冲器读控制处理单元442的读指令单元466(图18)，并在读控制单元561的控制下进行和读指令单元466相同的处理。

1图片编码数据保持单元567保持由输入控制单元521提供的一个图片的编码数据。补充处理单元568在读控制单元561的控制下进行操作，使得在发生了区丢失的情况下，根据区号确认单元564的确认结果，在相同位置的该区的编码数据，即在丢失了区的图片前面的图片的相同位置的区的编码数据，从1图片编码数据保持单元567中保持的一个图片的编码数据中被获得，并使用该编码数据进行补充处理。

在图19所示的例子中，图18所示的补充处理单元468向解码单元403提供预先准备的伪数据(伪数据B)来代替被丢失的区的编码数据B，如图20所示，不过，图31所示的补充处理单元568向解码单元403提供先前图片的区B(先前图片中的B)的编码数据代替已丢失的区B的编码数据，如图32所示。

在标准的运动图像的情况下，在相邻图片之间的图像的相关性强。这就是说，在相同位置的行的图像在相邻图片之间具有大的相关性。因而，补充处理单元568通过补充在先前图片相同位置的区的编码数据可以对输出的图像补充一个很像丢失的图像的图像。这就是说，和使用预先准备由于补充处理的预定图像的伪数据的情况相比，补充处理单元568可以减少由于补充处理而引起的图像劣化(即可以使图像劣化显著变小)。

不过，在这种情况下，需要存储一个图片的编码数据用于补充处理，因此，和只需要保持至少一个区的编码数据的伪数据保持单元467相比，1图片编码数据保持单元567所需的存储容量较大。不过，应当注意，不需要保持基带图像数据；只需要保持编码数据，因此增加的数据容量不是不能实现的(即能够充分地被实现)。

下面参照图33的流程图说明在这种情况下的接收缓冲器写控制处理的流程的例子。注意，这个接收缓冲器写控制处理对应于参照图26的流程图说明的接收缓冲器写控制处理。

这就是说，接收缓冲器写控制处理单元541的写控制单元551和写指令单元552以和图26中步骤S71到步骤S73相同的方式执行S171到S173，在Y缓冲器522中积累提供的Y数据，在C缓冲器523中积累提供的C数据。编码数据在缓冲器中被积累之后，处理便前进到步骤S174。

在步骤S174，编码数据更新单元553从1图片编码数据保持单元567删除和缓冲器中新积累的编码数据的区相同位置的区的先前图片的编码数据，并在步骤S175通过在步骤S172到S175的处理把缓冲器中积累的编码数据(Y数据和C数据)提供给1图片编码数据保持单元567，使得其被按区存储。

在步骤S176写控制单元551确定在正被处理的图片中是否存在未被处理的区。在确定存在未被处理的区的情况下，流程返回步骤S171，并重复后面的处理。此外，在确定图片内不存在未被处理的区的情况下，接收缓冲器写控制处理结束。

下面参照图34说明在这种情况下的接收缓冲器读控制处理的流程的例子。注意，这个接收缓冲器读控制处理对应于参照图27的流程图说明的接收缓冲器读控制处理。

这就是说，接收缓冲器读控制处理单元542的读控制单元561、区号确认单元564、参数提取指令单元565和读指令单元566以和图27中步骤S91到步骤S96相同的方式执行步骤S191到步骤S196的处理，并且在确认区号是连续的情况下，在Y缓冲器522和C缓冲器523中积累的编码数据以区增量被读出，并被提供给解码单元403。在步骤S196的处理结束后，流程前进到步骤S198。

此外，在步骤S193确定区号不连续的情况下，这意味着具有丢失的区，则流程前进到步骤S197。在步骤S197，补充处理单元568从后面的一个图片向解码单元403提供编码数据，借以补充丢失的编码数据。在步骤S197的处理结束之后，流程前进到步骤S198。

在步骤S198，读控制单元561以和图26中步骤S98相同的方式确定是否存在未处理的区。在确定存在未处理的区的情况下，流程返回步骤S191，并重复后面的处理。此外，在确定不存在未处理的区的情况下，接收缓冲器读控制处理结束。

注意，上面对其中利用例如图1所示的数字双重屏蔽导线系统进行库溢出控制处理和补充处理的配置进行了说明，但是这些处理可以应用于传输图像数据的任何系统。并且该系统的用途也不被限制。

不过，应当理解，库溢出控制处理和补充处理使得容易地抑制内容数据传输中延迟时间的不需要的增加，同时抑制内容的质量的不需要的劣化，因而在从发送侧向接收侧进行数据传输时，利用要求即时性(实时性)的系统其优点更加显著。

此外，利用这样的系统其优点更加显著，在该系统中由于编码处理和解码处理总是发生图像劣化，例如这样的系统，其在发送侧发送编码数据，在接收侧进行解码处理，并且还对于图像劣化具有小的允差。

此外，虽然编码处理和解码处理的方法是任选的，但是库溢出控制处理和补充处理以区增量被进行，因此，应用于按照上述以区增量进行编码处理和解码处理的系统的情况是更有效的，其中具有由于处理增量等的改变而导致的极小的损失。

此外，系统的配置是任选的，例如可以是这样的系统，其中如上述的数字双屏蔽导线系统那样编码数据被双向传输，或者可以是这样的系统，其中编码数据只从一个设备传送到另一个设备，或者可以是这样的系统，其中编码数据从一个发送设备传送到多个接收设备，或者可以是这样的系统，其中编码数据由多个设备并在该多个设备当中传输。

注意，利用图1所示的数字双屏蔽导线系统100，按照相关技术的视频解码单元可以用作视频解码单元136。这就是说，在视频信号编码单元120进行库溢出控制处理，因此可以抑制在视频解码单元136发生的下溢出的扩展，并可以抑制不需要的图像劣化。不过，丢失的区不被补充，因此在对应于这种区的行可能具有黑色水平线，使得图像质量更显著地劣化。

与此相反，按照相关技术的视频编码单元可以用作视频编码单元120，而不进行库溢出控制处理，并且只进行补充处理。在这种情况下，视频解码单元136可以补充由于在传输期间丢失包等原因而丢失的解码数据，不过在视频解码单元136中可能发生下溢出的情况下，可能扩大下溢出，因而增加图像质量劣化。

此外，上面对发送缓冲器写控制处理单元271的输出禁止单元285设置以区增量进行的编码数据的输出的禁止，作为库溢出控制处理，不过可以实现这样一种结构，其中输出禁止单元285以区增量从缓冲器中丢弃编码数据，而不设置输出的禁止。应当理解，虽然上面说明了输出禁止单元285以区增量设置编码数据的输出的禁止，作为库溢出控制处理，这是编码数据到包产生单元203的禁止，即禁止传输编码数据，并且被这样设置使得其输出被禁止的编码数据可被删除，或者被其它新的编码数据覆盖。

此外，虽然上面参照图18说明了伪数据保持单元467保持伪数据，并在进行补充处理时将伪数据提供给补充处理单元468，但可以实现这样一种结构，其中伪数据保持单元467保持每个具有不同图像的伪数据的多个设置，使得补充处理单元468在进行补充处理时选择和使用这些设置中的一个。虽然这个伪数据选择方法是任选的，但可以实现这样一种结构，其中补充处理单元468确认后一个区的编码数据的图像，并例如选择具有最接近该图像的伪数据。

此外，上面参照图31说明了使用先前图片中相同位置的区的编码数据进行补充处理，但是也可以实现不同于此的结构，例如使用根据前面的区或同一图片中附近的区的编码数据产生的新的编码数据。例如，可以实现这样一种结构，其中补充处理单元568取相关区的上方的一个区的编码数据，以及相关区上方的两个区的编码数据，并且对这些编码数据平均，从而计算作为相关区的上方的一个区的编码数据和相关区上方的两个区的编码数据的平均的编码数据，并使用该编码数据进行补充处理。用这种方式使用同一图片的编码数据允许减少要保持的编码数据的数据量，借以减少缓冲存储器的存储容量。

此外，代替实际输出伪数据或编码数据的补充处理单元，可以实现一种结构，其中补充处理输出用于控制解码单元403的等效控制信息。例如，补充处理单元可以向解码单元403提供用于命令在补充处理时产生编码数据的控制信息，使编码单元或其类似物代替丢失的编码数据产生编码数据以便使用。当然，也可以使用除此之外的其它控制信息。

此外，注意，虽然上面对区数和数据量(传输时间)被用作执行库溢出控制处理的条件进行了说明，但用于执行库溢出控制处理的条件可以是这些之外的条件。例如可以包括关于数据在缓冲器中的积累状态的参数，以和利用区数以及数据量(传输时间)的方式相同的方式，或者可以是其它的条件。这就是说，可以使用任何条件，只要可以抑制在接收侧缓冲器下溢出的发生，或者可以在短时间内能够恢复已经发生的下溢出即可。不过，如上所述，在基于区数进行库溢出控制处理的情况下以及基于数据量(传输时间)进行的库溢出控制处理的情况下获得的优点的特征是互不相同的；用相同方式，由库溢出控制处理获得的优点的特征也和用其它条件获得的不同，与正在进行的处理有关。

上述的一系列处理可以由硬件或软件执行，在这种情况下，可被配置为个人计算机例如图35所示。

在图35中，个人计算机700的CPU(中央处理单元)701执行被存储在ROM(只读存储器)702中的不同类型的处理流程程序，或者执行从存储单元713读出的并被装入RAM(随机存取存储器)703中的程序。RAM 703还根据需要存储CPU 701执行不同类型的处理所需的数据。CPU 701、ROM 702和RAM 703通过总线704相互连接。总线704也与输入/输出接口710相连。

输入/输出接口710被连接到输入单元711，包括键盘、鼠标等，输出单元712包括显示器例如CRT(阴极射线管)，LCD(液晶显示器)或其类似物，扬声器等，存储单元713包括硬盘等，通信单元714包括调制解调器或其类似物。通信单元714通过网络例如互联网进行通信。

根据需要输入/输出接口710还被连接到驱动器715，根据需要，可除去的介质721例如磁盘、光盘、磁光盘、半导体存储器或其类似物被安装于所述驱动器，并且从中读出的计算机程序被安装在存储单元713中。

在由软件执行上述一系列处理的情况下，从网络或记录介质安装构成所述软件的程序。

记录介质不限于包括可除去的介质721，例如磁盘(包括软盘)、光盘(CD-ROM(致密盘只读存储器)、DVD(数字通用盘)、磁光盘(包括MD(小型盘)(注册商标))、半导体存储器等，所述程序被记录在其中，并被单独地从设备主单元分配，以便把程序分配给用户，此外还包括ROM 702或包括在存储单元713中的硬盘等，程序被记录在其中，以便在被装入设备主单元的状态下被分配给用户。

还应当注意，在本说明书中，描述在记录介质中记录的程序的步骤不仅包括按照遵循所述的进程顺序的时间顺序进行的处理，而且包括被并行地或单独地执行的处理。

此外，在本说明书中，术语“系统”指的是由多个装置构成的整个设备。

此外，上面作为一个设备描述的结构可以被分为多个装置并由这多个装置构成，或者相反，上面作为多个装置的配置描述的结构可以被集成一个设备。此外，和上面所述的那些结构不同的结构可被添加于设备的配置中。此外，一个装置的配置的一部分可被包括在另一个装置的配置中，只要整个系统的结构和操作基本相同。

本领域技术人员应当理解，不脱离所附权利要求或其等效物的范围，根据设计要求和其它因素，可以作出各种改型、组合、子组合和替代。

Claims (22)

1.一种信息处理设备，包括：

积累部件，配置为积累通过对图像数据编码而获得的编码数据；

读取部件，配置为以数据增量读出所述编码数据；

确定部件，配置为确定指示所述积累部件处的所述编码数据的积累状态的参数是否满足预定的积累条件；

禁止部件，配置为在所述确定部件确定所述参数满足所述积累条件的情况下，禁止将在作为基准的、正被所述读取部件以数据增量读出的编码数据之后读出的编码数据的读出；和

控制部件，配置为控制所述读取部件以数据增量省略被所述禁止部件禁止读出的编码数据的读出，并且以数据增量执行所述禁止部件未禁止读出的编码数据的读出。

2.如权利要求1所述的信息处理设备，其中所述参数包括关于积累在所述积累部件内的编码数据的所述数据增量的数目；

并且其中所述确定部件确定所述数据增量的数目是否等于或大于阈值。

3.如权利要求1所述的信息处理设备，其中所述参数包括所述读取部件读出积累在所述积累部件内的所有编码数据所需的时间；

并且其中所述确定部件确定是否可以在所述时间内读出积累在所述积累部件内的所有编码数据。

4.如权利要求1所述的信息处理设备，其中所述禁止部件以从将在作为基准的所述编码数据之后读出的编码数据起连续的、不少于所述确定部件确定所述参数不满足所述积累条件所需数目的数据增量，禁止将在作为基准的编码数据之后读出的编码数据的读出。

5.如权利要求1所述的信息处理设备，其中所述禁止部件删除作为基准的编码数据之后的编码数据，以便禁止所述编码数据的读出。

6.如权利要求1所述的信息处理设备，其中所述数据增量是对所述图像数据编码时的编码处理增量。

7.如权利要求6所述的信息处理设备，其中所述数据增量包括行块，所述行块包括在通过分层地对所述图像数据进行滤波处理，产生为每个频带划分的系数数据的情况下，产生最低带分量的子带的至少一行的量的系数数据所需行数的量的图像数据。

8.如权利要求7所述的信息处理设备，其中按照执行用于合成被划分为频带的多个子带的系数数据以便产生图像数据的合成处理的顺序，为每个行块重新布置所述编码数据。

9.如权利要求8所述的信息处理设备，其中按照从低带分量到高带分量的顺序为每个行块重新布置所述编码数据。

10.如权利要求1所述的信息处理设备，所述信息处理设备还包括：

编码部件，配置为对所述图像数据编码，以便产生所述编码数据；

写部件，配置为以所述数据增量将由所述编码部件产生的编码数据写到所述积累部件内；和

打包部件，配置为将由所述读取部件读出的所述编码数据打包

11.如权利要求10所述的信息处理设备，该信息处理设备还包括：

控制部件，配置为控制所述编码部件的编码处理、所述写部件的写处理、所述读取部件的读出处理、以及所述打包部件的打包处理，使其相互并行地执行。

12.一种信息处理方法，包括以下步骤：

积累通过对图像数据编码而获得的编码数据；

以数据增量读出所述编码数据；

确定指示所述积累步骤中的所述编码数据的积累状态的参数是否满足预定的积累条件；

在所述确定步骤中确定所述参数满足所述积累条件的情况下，禁止将被作为基准的、在所述读取步骤中正以数据增量读出的编码数据之后读出的编码数据的读出；以及

控制所述读取步骤，以便以数据增量省略在所述禁止步骤中被禁止读出的编码数据的读出，并且以数据增量执行在所述禁止步骤中未被禁止读出的编码数据的读出。

13.一种信息处理设备，包括：

积累部件，配置为积累通过对图像数据编码而获得的编码数据；

确认部件，配置为以数据增量确认积累在所述积累部件中的编码数据的丢失；

读取部件，配置为在编码数据的丢失未被所述确认部件确认的情况下，以数据增量读出所述积累部件中积累的编码数据；以及

补充部件，配置为在编码数据的丢失被所述确认部件确认的情况下，通过输出替代数据代替读取丢失的编码数据，以数据增量补充所述编码数据。

14.如权利要求13所述的信息处理设备，还包括：

保持部件，配置为保持所述替代数据；

其中在确认部件确认了所述编码数据的丢失的情况下，所述补充部件从所述保持部件中读出所述替代数据，以便输出该替代数据，而代替读出丢失的编码数据。

15.如权利要求13所述的信息处理设备，还包括：

保持部件，配置为以数据增量保持与积累在所述积累部件中的编码数据相同的数据，

其中在所述确认部件确认了所述编码数据的丢失的情况下，所述补充部件从所述保持部件中以数据增量读出与过去由所述读取部件读出的编码数据相同的编码数据，以便输出该编码数据。

16.如权利要求13所述的信息处理设备，还包括：

解码部件，配置为对所述读取部件读出的编码数据、以及由所述补充部件补充的编码数据解码。

17.如权利要求13所述的信息处理设备，其中所述数据增量包括行块，所述行块包括在通过对所述图像数据分层进行滤波处理，产生为每个频带划分的系数数据的情况下，产生最低带分量的子带的至少一行的量的系数数据所需行数的量的图像数据。

18.如权利要求17所述的信息处理设备，其中以执行用于合成被划分为频带的多个子带的系数数据以便产生图像数据的合成处理的顺序，为每个行块重新布置所述编码数据。

19.如权利要求18所述的信息处理设备，其中以从低带分量到高带分量的顺序为每个行块重新布置所述编码数据。

20.一种信息处理方法，包括以下步骤：

积累通过编码图像数据而获得的编码数据；

以数据增量确认在所述积累步骤中积累的编码数据的丢失；

在所述确认步骤中未确认编码数据的丢失的情况下，以数据增量读出在所述积累步骤中积累的编码数据；以及

在所述确认步骤中确认编码数据的丢失的情况下，通过输出替代数据代替读出丢失的编码数据，以数据增量补充所述编码数据。

21.一种信息处理设备，包括：

积累单元，被配置用于积累通过编码图像数据而获得的编码数据；

读取单元，被配置用于以数据增量读出所述编码数据；

确定单元，被配置用于确定表示在所述积累单元所述编码数据的积累状态的参数是否满足预定的积累条件；

禁止单元，被配置用于在所述确定单元确定所述参数满足所述积累条件的情况下，禁止将在作为基准的、所述读取单元以数据增量正读出的编码数据之后读出的编码数据的读出；以及

控制单元，被配置用于控制所述读取单元，以便以数据增量省略被所述禁止单元禁止读出的编码数据的读出，并以数据增量执行未被所述禁止单元禁止读出的编码数据的读出。

22.一种信息处理设备，包括：

积累单元，被配置用于积累通过编码图像数据而获得的编码数据；

确认单元，被配置用于以数据增量确认在所述积累单元中积累的编码数据的丢失；

读取单元，被配置用于在所述确认单元未确认编码数据的丢失的情况下，以数据增量读出积累在所述积累单元中的编码数据；以及

补充单元，被配置用于在所述确认单元确认编码数据的丢失的情况下，通过输出替代数据代替读出丢失的编码数据以数据增量补充所述编码数据。

Images