CN101543077B - 信息处理装置和方法 - Google Patents

Abstract

本发明涉及一种信息处理装置和方法、程序及通信系统，由此以低延迟传输编码数据。数据控制单元137使从低频带分量按顺序供给的编码数据临时累计在存储器单元301中，并且计数累计的编码数据的代码量，在编码数据达到预定量的阶段截止编码数据的获取，读出在存储器单元301中累计的部分或所有编码数据，并供给到包化单元302作为返回编码数据。本发明可应用于例如数字三轴系统。

Description

信息处理装置和方法

技术领域

本发明涉及一种信息处理装置和方法，尤其涉及通过它能以低延迟传输编码数据的信息处理装置和方法。

背景技术

常规地，作为视频画面传输/接收装置，已有三轴系统应用在广播台或体育场中的体育中转广播或类似广播。至今已采用的三轴系统主要用于模拟画面，但随着图像处理最近的数字化，可预料到用于数字画面的数字三轴系统从今起将变得普遍。

使用普通的数字三轴系统，视频画面在摄像机头被捕获并发送到传输路径(主线视频画面)，并且主线视频画面在摄像机控制单元被接收，并画面被输出到屏幕。

现在，摄像机控制单元是与主线视频画面分离的系统，并把返回视频画面传输到摄像机头一端。返回视频画面可能是已转换的从摄像机头供给的主线视频画面，或者可能是在摄像机控制单元外部输入的视频画面。例如，摄像机头把这种返回视频画面输出到屏幕。

一般地，在摄像机头与摄像机控制单元之间的传输路径的频带受到限制，所以视频画面需要被压缩以通过传输路径传输。例如，在从摄像机头向摄像机控制单元传输的主线视频画面是HDTV(高清晰度电视)信号(当前信号是大约1.5Gbps)的情况下，实际把这些信号压缩到约150Mbps，大约是1/10。

至于画面压缩方法，有各种压缩方法，例如，MPEG(运动画面专家组)等(例如，见专利文件1)。以这种方式压缩画面的情况下的常规数字三轴系统的例子表示在图1。

摄像机头11有摄像机21、编码器22及解码器23，其中在摄像机21拍摄的画面数据(运动图像)在编码器22编码，并且编码数据经主线D10(其是传输电缆的1系统)供给到摄像机控制单元12。摄像机控制单元12具有解码器41和编码器42，并且在得到从摄像机头11供给的编码数据时，在解码器41解码它，把解码画面数据经电缆D11供给到主视图51(其是用于主线画面的显示器)，并使图像被显示。

此外，画面数据从摄像机控制单元12重新传输到摄像机头11作为返回视频画面，以使摄像机头11的用户确认摄像机控制单元12是否已接收到从摄像机头11送出的画面。一般地，用来传输这种返回视频画面的返回线D13的带宽与主线D10相比较窄，所以摄像机控制单元12在编码器42重新编码在解码器41解码的画面数据，产生所期望比特速率的编码数据(通常情况下，低于主线传输时的比特速率)，并把这种编码数据经返回线D13(它是传输电缆的1系统)供给到摄像机头11，作为返回视频画面。

得到编码数据(返回视频画面)时，摄像机头11在解码器23解码，经电缆D14把解码画面数据供给到返回视图31，它是用于返回视频图像的显示器，以及使图像被显示。

以上是数字三轴系统的基本配置和操作。

专利文件1：日本未审查专利申请公报No.9-261633

发明内容

然而，使用这种方法，已经开始担心从在编码器22开始编码(从在摄像机21得到视频画面信号)到通过解码器23解码画面数据的输出开始的延迟时间可能很长。此外，摄像机控制单元12也需要编码器42，所以担心电路规模和成本可能增加。

对画面数据进行的每种处理的时序关系表示在图2。

如图2所示，即使在摄像机头11与摄像机控制单元12之间的传输要求的时间假定是0，由于编码和解码处理及类似处理，在摄像机头11的编码器22启动处理时序与摄像机控制单元12的解码器41开始输出时序之间也有例如P[毫秒]的延迟。

并且，即使编码器42立即编码解码画面数据，由于编码和解码处理及类似处理，到摄像机头11的解码器23开始输出时也有P[毫秒]的额外延迟。

就是说，从在编码器22的编码开始到通过解码器23的解码画面数据的输出开始出现了(P×2)[毫秒]的延迟，其是主线视频画面发生的延迟的两倍。在要求低延迟的系统中，这样的方法不能充分地缩短延迟时间。

基于上述常规实际状态已提出本发明，并且用来以低延迟实现编码数据的传输。

本发明的一个方面是一种用来编码图像数据并产生编码数据的信息处理装置，包括：重新排列装置，用于对包括产生最低频带分量子带的相当于一行系数数据所需的相当于多行图像数据的每个行块，按照进行合成处理以便合成被分割到频带的多个子带的系数数据而产生图像数据的顺序，事先重新排列分割到每个频带的系数数据；编码装置，用于为每个行块编码被重新排列装置重新排列的系数数据，并且产生编码数据；存储装置，用于存储编码装置产生的编码数据；计算装置，用于每当存储装置存储相当于多个行块的编码数据时，计算编码数据的代码量之和；及输出装置，用于在计算装置计算的代码量之和达到目标代码量的情况下，输出在存储装置中存储的编码数据。

输出装置可以转换编码数据的比特速率。

重新排列装置可以为每个行块按从低频带分量到高频带分量的顺序重新排列系数数据。

还可以包括用于控制重新排列装置和编码装置从而各自并行地为每个行块操作的控制装置。

重新排列装置和编码装置可以并行地进行每种处理。

还可以包括滤波器装置用于对图像数据每个行块进行滤波处理、并产生多个子带，其由分割到每个频带的系数数据组成。

还可以包括用于解码编码数据的解码装置。

还可以包括调制装置，用于在相互不同的频域调制编码数据，并产生调制信号；放大装置，用于进行调制装置产生的调制信号的频率多路复用和放大；及传输装置，用于合成并传输放大装置放大的调制信号。

还可以包括调制控制装置，用于基于频域的衰减速率设置调制装置的调制方法。

还可以包括控制装置，用于在频域的衰减速率处于或高于阈值的情况下把关于高频带分量的信号点距离设置成很大。

还可以包括控制装置，用于在频域的衰减速率处于或高于阈值的情况下把关于高频带分量的错误校正比特的指定量设置成更大。

还可以包括控制装置，用于在频域的衰减速率处于或高于阈值的情况下把关于高频带分量的压缩率设置成更大。

调制装置可以通过OFDM方法进行调制。

还可以包括同步控制单元，使用数据量小于阈值的图像数据，进行在编码装置与用于解码编码数据的解码装置之间的同步时序的控制。

数据量小于阈值的图像数据可以是相当于其中所有像素都是黑的一个画面的图像。

本发明的一个方面还是一种用于编码图像数据并产生编码数据的信息处理装置的信息处理方法，包括步骤：对于包括产生最低频带分量子带的相当于一行系数数据所需的相当于多行图像数据的每个行块，按照进行合成处理以便合成分割到频带的多个子带的系数数据而产生图像数据的顺序，事先重新排列分割到每个频带的系数数据；为每个行块编码重新排列的系数数据，并产生编码数据；存储所产生的编码数据；每当存储相当于多个行块的编码数据时，计算编码数据的代码量之和；及在计算的代码量之和达到目标代码量的情况下，输出所存储的编码数据。

根据本发明的一个方面，对于包括产生最低频带分量子带的相当于一行系数数据所需的多行图像数据的每个行块，按照进行合成处理以便合成分割到频带的多个子带的系数数据以产生图像数据的顺序，重新排列分割到每个频带的系数数据；为每个行块编码重新排列的系数数据，并产生编码数据；存储产生的编码数据；每当存储相当于多个行块的编码数据时，计算编码数据的代码量之和；及在计算的代码量之和达到目标代码量的情况下，输出所存储的编码数据。

根据本发明，容易控制要传输的数据的比特速率。具体地说，比特速率可容易改变而无需解码编码数据。

附图说明

图1是方块图，表明常规数字三轴系统的配置例子。

图2表明图1所示的数字三轴系统对画面数据进行的每种处理的时序关系。

图3是方块图，表明本发明所应用的数字三轴系统的配置例子。

图4是方块图，表明在图3的视频信号编码单元的详细配置例子。

图5是用于示意解释关于子波变换的概况图。

图6是用于示意解释关于子波变换的轮廓线图。

图7是概况图，表明通过把5×3滤波器升高到分级＝2进行滤波的例子。

图8是概况图，示意表明根据本发明的子变换和子波逆变换的流程。

图9是示意图，用于解释编码数据交换方式的例子。

图10表明数据包的配置例子。

图11是方块图，表明在图3所示的数据转换单元的详细配置例子。

图12是方块图，表明在图3所示的视频信号解码单元的配置例子。

图13是概况图，示意表明并行操作的例子。

图14是用于描述进行比特速率转换的方式的例子。

图15表明图3所示的数字三轴系统对画面数据进行的每种处理的时序关系。

图16是方块图，表明图11中的数据控制单元的详细配置例子。

图17是流程图，用于解释图3的整个数字三轴系统执行的基本处理流程的例子。

图18是流程图，用于解释编码处理流程的详细例子。

图19是流程图，用于解释解码处理流程的详细例子。

图20是流程图，用于解释比特速率转换处理的详细流程例子。

图21是方块图，表明图3的视频信号编码单元的另一例子。

图22是概况图，用于解释在视频信号编码单元进行子波系数重新排列处理的情况下的处理流程。

图23是概况图，用于解释在视频信号解码单元进行子波系数重新排列处理的情况下的处理流程。

图24用于解释计数数据量的方式的例子。

图25用于解释计数数据量的方式的另一例子。

图26是方块图，表明数据控制单元的另一配置例子。

图27是流程图，用于解释比特速率转换处理的另一例子。

图28是方块图，表明本发明所应用的数字三轴系统的另一配置例子。

图29是方块图，表明与图28中的数字三轴系统相对应的常规数字三轴系统的配置例子。

图30是方块图，表明摄像机控制单元的另一配置例子。

图31是方块图，表明本发明所应用的通信系统的配置例子。

图32是示意图，表明显示屏幕的例子。

图33表明调制信号的频率分布的例子。

图34表明三轴电缆的衰减特性的例子。

图35是方块图，表明数字三轴系统的又一配置例子。

图36是流程图，用于解释速率控制处理流程的例子。

图37是方块图，表明数字三轴系统的又一配置例子。

图38用于解释传输数据方式的例子。

图39是方块图，表明数字三轴系统的又一配置例子。

图40是流程图，用于解释控制处理流程的例子。

图41表明本发明所应用的信息处理系统的配置例子。

附图标记解释

100数字三轴系统、120视频信号编码单元、136视频信号解码单元、137数据控制单元、138数据转换单元、301存储器单元、302包化单元、321去包化单元、353行块确定单元、354累计值计数单元、355累计结果确定单元、356编码数据累计控制单元、357第一编码数据输出单元、358第二编码数据输出单元、453编码数据累计控制单元、454累计确定单元、456组确定单元、457累计值计数单元、458累计结果确定单元、459第一编码数据输出单元、460第二编码数据输出单元、512摄像机控制单元、543数据控制单元、544存储器单元、581摄像机控制单元、601通信装置、602通信装置、623数据控制单元、643数据控制单元、1113速率控制单元、1401调制控制单元、1402编码控制单元、1403C/N比测量单元、1404错误率测量单元、1405测量结果确定单元、1761同步控制单元、1771同步控制单元

具体实施方式

图3是方块图，表明本发明所应用的数字三轴系统的配置例子。

图3中，数字三轴系统100是这样的系统：其中在电视广播台或演播室演播记录或中转时，叠加诸如画面信号、声频信号、返回(返回)画面信号、同步信号等之类的多种信号，以及还使用连接视频摄像机和摄像机控制单元或开关的单根同轴电缆进行电源供给。

通过数字三轴系统100，传输单元110和摄像机控制单元112通过三轴电缆(同轴电缆)111连接。实际广播的或用作从传输单元110到摄像机控制单元112的连续镜头(footage)的数字视频信号和数字声频信号(下文称作主线信号)的发送、以及从摄像机控制单元112到视频摄像机单元113的内部声频信号和返回数字视频信号的送出，通过三轴电缆111进行。

传输单元110例如构建在未示出的视频摄像机装置中。传输单元110不限于此，并且可以由预定方法与视频摄像机装置相连接并用作视频摄像机装置的外部装置。此外，摄像机控制单元112一般是例如叫做CCU(Camera Control Unit)的装置。

注意，关于数字声频信号将省去描述以避免复杂，因为与本发明的本质几乎没有关系。

视频摄像机单元113构造在例如未示出的视频摄像机装置内，接收来自对象的光，其穿过包括透镜、聚焦机构、变焦机构、光圈调节机构等的光学系统50，其位于由CCD(电荷耦合器件)等组成的未示出的成像装置。成像装置通过光电转换把接收光转换成电信号，使这种信号进一步受到预定信号处理，以及输出基带数字视频信号。数字视频信号被映像到HD-SDI(高清晰度-串行数据接口)格式，并被输出。

此外，视频摄像机单元113与用作监视器的显示单元151、和用于外部交换声频的内部通信装置152相连。

传输单元110具有视频信号编码单元120和视频信号解码单元121、数字调制单元122和数字解调单元123、放大器124和125及视频分割/合成单元126。

在传输单元110，映像到例如HD-SDI格式的基带数字视频信号从视频摄像机单元113供给。数字视频信号是在视频信号编码单元120被压缩和编码以成为编码数据(代码流)的主线画面数据，编码数据供给到数字调制单元122。数字调制单元122把供给的代码流调制成适于在三轴电缆111上传输的格式的信号，并输出。从数字调制单元122输出的信号经放大器124供给到视频分割/合成单元126。视频分割/合成单元126把供给信号发送到三轴电缆111。这些信号经三轴电缆111供给到摄像机控制单元112。

此外，从摄像机控制单元112输出的信号经三轴电缆111供给到传输单元110并在此接收。这些接收信号供给到视频分割/合成单元126，并且分离数字视频信号部分和其它信号部分。接收信号中，数字视频信号部分经放大器125供给到数字解调单元123，调制成适于在三轴电缆111上传输的格式的信号在摄像机控制单元112一端解调，并且恢复代码流。

代码流供给到视频信号解码单元121，压缩编码被解码，并且成为基带数字视频信号。解码数字视频信号被映像到HD-SDI格式并输出，并且供给到视频摄像机单元113作为返回数字视频信号(返回视频画面数据)。返回数字视频信号供给到连接到视频摄像机单元113的显示单元151，并且用于由摄像机操作人员监视返回视频画面等。

摄像机控制单元112具有视频分割/合成单元130、放大器131和132、前端单元133、数字解调单元134和数字调制单元135、及视频信号解码单元136和数据控制单元137。

从传输单元110输出的信号经三轴电缆111供给到摄像机控制单元112并且在此接收。接收信号供给到视频分割/合成单元130。视频分割/合成单元130把供给到其的信号经放大器131和前端单元133供给到数字解调单元134。注意，前端单元133具有用于调节输入信号增益的增益控制单元、用于对输入信号进行预定滤波处理的滤波器单元等。

数字解调单元134把调制信号解调成适于在传输单元110一端的三轴电缆111上传输的格式的信号，并且恢复代码流。代码流供给到视频信号解码单元136，压缩编码被解码，并且成为基带数字视频信号。解码数字视频信号映像到HD-SDI格式并输出，并且输出到外部作为主线数字视频信号。

数字声频信号从外部供给到摄像机控制单元112。数字声频信号供给到例如摄像机操作人员的内部通信装置152，以用于向摄像机操作人员传播外部声频指令。视频信号解码单元136解码从数字解调单元134供给的编码流，并且把编码流在其解码之前供给到数据控制单元137。数据控制单元137把编码流的比特速率转换成适当值，以作为返回数字视频信号的编码流处理。

注意，下文中，视频信号解码单元136和数据控制单元137也可以统称为数据转换单元138以便于描述。就是说，数据转换单元138是进行与数据转换(例如解码和比特速率转换)有关处理的处理单元，处理单元包括视频信号解码单元136和数据控制单元137。当然，数据转换单元138也可以进行这之外的转换处理。

一般地，存在据说允许返回数字视频信号的图像质量比主线数字视频信号低的多种情况。相应地，数据控制单元137把供给编码流的比特速率降低到预定值。后续将描述数据控制单元137的细节。比特速率已经转换的编码流由数据控制单元137供给到数字调制单元135。数字调制单元135把供给代码流调制成适于在三轴电缆111上传输的格式的信号，并输出。从数字调制单元135输出的信号经前端单元133和放大器132供给到视频分割/合成单元130。视频分割/合成单元130把这些信号与其它信号多路复用，并且送出到三轴电缆111。信号经三轴电缆111供给到传输单元110作为返回数字视频信号。

视频分割/合成单元126把供给到其的信号经放大器125供给到数字解调单元123。数字解调单元123解调供给到其的信号，恢复返回数字视频信号的编码流，并把它供给到视频信号解码单元121。视频信号解码单元121解码所供给的返回数字视频信号的编码流，并且在获取返回数字视频信号时，把它供给到视频摄像机单元113。视频摄像机单元113把返回数字视频信号供给到显示单元151，并使返回视频画面被显示。

尽管后续将描述细节，但数据控制单元137如此改变主线数字视频信号的编码流而无需解码，并且相应地已转换比特速率的编码流可用作返回数字视频信号的编码流，并传输到视频摄像机单元113。相应地，数字三轴系统100可进一步缩短到在显示单元151显示返回视频画面的延迟时间。此外，在摄像机控制单元112，不再需要为返回数字视频信号提供编码器，所以可降低摄像机控制单元112的电路规模和成本。

图4是方块图，表明在图3中的视频信号编码单元120的详细配置例子。

在图4，视频信号编码单元120包括子波变换单元210、中途计算缓冲器单元211、系数重新排列缓冲器单元212、系数重新排列单元213、量化单元214、熵编码单元215、速率控制单元216及包化单元217。

输入图像数据临时存储在中途计算缓冲器单元211。子波变换单元210使中途计算缓冲器单元211存储的图像数据经受子波变换。就是说，子波变换单元210从中途计算缓冲器单元211读出图像数据，使用分析滤波器使其经受滤波处理以产生低频带分量和高频带分量的系数数据，并把产生的系数数据存储在中途计算缓冲器单元211中。子波变换单元210包括水平分析滤波器和垂直分析滤波器，并使图像数据组经受屏幕水平方向和屏幕垂直方向的分析滤波处理。子波变换单元210再次读出中途计算缓冲器单元211中存储的低频带分量的系数数据，使用分析滤波器使读取系数数据经受滤波处理以进一步产生高频带分量和低频带分量的系数数据。所产生的系数数据被存储在中途计算缓冲器单元211。

子波变换单元210重复这种处理，并且当分割级别达到预定级别时，从中途计算缓冲器单元211读出系数数据，并把读取系数数据写入系数重新排列缓冲器单元212。

系数重新排列单元213按预定顺序读出写入到系数重新排列缓冲器单元212中的系数数据，并且把它供给到量化单元214。量化单元214量化所供给的系数数据，并且把它供给到熵编码单元215。熵编码单元215使用熵编码方法，例如像Huffman编码、算术编码或类似编码，编码所供给的系数数据。

熵编码单元215与速率控制单元216同步操作，并被控制为使得要输出的压缩编码数据的比特速率是一般恒定值。就是说，基于来自熵编码单元215的编码数据信息，速率控制单元216把控制信号供给到熵编码单元215，以实现控制从而在熵编码单元215编码的数据压缩的比特速率达到目标值或即将达到目标值之前结束熵编码单元215的编码处理。在编码处理按照从速率控制单元216供给的控制信号而结束时，熵编码单元215把编码数据供给到包化单元217。包化单元217依次包化供给的编码数据，并且输出到图3所示的数字调制单元122。

接下来，将更详细地描述关于子波变换单元210进行的处理。首先，将示意地描述子波变换。至于图像数据的子波变换，如图5示意表明的那样，对于作为分割结果所得到的低空间频带，递归地重复把图像数据分割成高空间频带和低空间频带的处理。这样，把低空间频带数据驱动到较小区域，由此实现有效压缩编码。

现在，图5把图像数据的最低频带分量区域分割成低频带分量区域L和高频带分量区域H的处理重复三次，由此得到分割级别＝3的情形的例子。在图5中，“L”和“H”分别代表低频带分量和高频带分量，关于“L”和“H”的顺序，前侧指示是在水平方向上的分割结果的带，后侧指示是在垂直方向上的分割结果的带。此外，在“L”和“H”之前的数字指示其区域的分割级别。

此外，如可从图5所示的例子理解的那样，处理以步进方式从屏幕的右下区域到左上区域进行，由此把低频带分量驱动到小区域。就是说，图5所示的例子，把屏幕的右下区域设置到包括最少低频带分量(包括最多高频带分量)的区域3HH，并且把通过把屏幕分割成四个区域得到的左上区域进一步分割成四个区域，以及在四个分割区域中，把左上区域进一步分割成四个区域。最左上角部区域设置为包括最多低频带分量的区域0LL。

为什么对低频带分量重复进行转换和分割的原因是因为屏幕的能量集中在低频带。这也可从如下情形理解：其中当分割级别从例如表示在图6的A中的分割级别＝1的状态前进到例如表示在图6的B中的分割级别＝3的状态时，子带如图6的B所示那样形成。例如，图5所示的子波变换的分割级别是3，并且作为其结果，形成子带。

子波变换单元210通常进行诸如上述之类的使用低频带滤波器和高频带滤波器组成的滤波器组的处理。注意，数字滤波器通常具有多个抽头长度的脉冲响应，即滤波器系数，从而通常需要使输入图像数据或系数数据经受与事先进行滤波处理一样多的缓冲。此外，类似地，即使在多级进行子波变换的情况下，也需要使前一级产生的子波变换系数经受与进行滤波处理一样多的缓冲。

作为子波变换的具体例子将描述采用5×3滤波器的方法。采用5×3滤波器的这种方法也用于相关技术中描述的JPEG(联合摄影专家组)2000标准，并且是一种优良方法，因为子波变换可借助于很少滤波器抽头进行。

5×3滤波器的脉冲响应(Z变换表达式)，如在如下表达式(1)和(2)所示那样，由低频带滤波器H₀(z)和高频带滤波器H₁(z)构造。根据表达式(1)和(2)，可求出低频带滤波器H₀(z)是五个抽头，并且高频带滤波器H₁(z)是三个抽头。

H₀(z)＝(-1+2z^-1+6z^-2+2z^-3-z^-4)/8...(1)

H₁(z)＝(-1+2z^-1-z^-2)/2...(2)

根据这些表达式(1)和表达式(2)，可直接计算低频带分量和高频带分量的系数。这里，采用提升技术(lifting technique)能实现减少滤波处理计算。

接下来，将更明确地描述这种子波转换方法。图7表明把根据5×3滤波器提升的滤波处理执行高达分割级别＝2的例子。注意在图7中，在图左侧表示成分析滤波器的部分是视频信号编码单元120中的子波变换单元210。此外，在图右侧表示为合成滤波器的部分是在后续描述的视频信号解码单元136中的子波逆变换单元的滤波器。

注意在下述描述中，例如，让我们说屏幕的左上角的像素作为显示装置或类似装置的头，从屏幕的左边到右边扫描像素，由此组成一行，并且从屏幕的上边到下边进行对每一行的扫描，由此组成一屏。

在图7中，左边列示出原始图像数据的行上的对应位置上设置的像素数据被排列在垂直方向上。就是说，子波变换单元210的滤波处理使用垂直滤波器由被垂直扫描的屏幕上的像素进行。从左边起第一至第三列示出分割级别＝1滤波处理，第四至第六列表明分割级别＝2滤波处理。从左边起第二列表明基于左边的原始图像数据的像素的高频带分量输出，并且从左边起第三列表明基于原始图像数据和高频带分量输出的低频带分量输出。对于分割级别＝1滤波处理的输出进行分割级别＝2滤波处理，如从左边起在第四至第六列所示的那样。

通过分割级别＝1滤波处理，基于原始图像数据的像素计算高频带分量系数数据作为滤波处理的第一阶段，基于在滤波处理第一阶段计算的高频带分量系数数据，和原始图像数据的像素，计算低频带分量系数数据。分割级别＝1滤波处理的例子表明在图7中左侧(分析滤波器端)处第一至第三列。计算的高频带分量系数数据被存储在参照图4描述的系数重新排列缓冲器单元212中。此外，计算的低频带分量系数数据被存储在中途计算缓冲器单元211中。

在图7中，单点划线围绕的数据被临时存放在系数重新排列缓冲器单元212中，并且虚线围绕的数据被临时存放在中途计算缓冲器单元211中。

基于中途计算缓冲器单元211保存的分割级别＝1滤波处理的结果，进行分割级别＝2滤波处理。通过分割级别＝2滤波处理，把分割级别＝1滤波处理作为低频带系数计算的系数数据作为包括低频带分量和高频带分量的系数数据，进行与分割级别＝1滤波处理相同的滤波处理。分割级别＝2滤波处理计算的高频带分量系数数据和低频带分量系数数据被存储在参照图4描述的系数重新排列缓冲器单元212中。

通过子波变换单元210，诸如上述之类的滤波处理在屏幕水平方向和垂直方向上各自进行。例如，首先，在水平方向上进行分割级别＝1滤波处理，并且把产生的高频带分量和低频带分量的系数数据存储在中途计算缓冲器单元211。接下来，使中途计算缓冲器单元211中存储的系数数据在垂直方向上经受分割级别＝1滤波处理。根据分割级别＝1在水平和垂直方向的处理，形成四个区域，即通过把高频带分量每个进一步分割成高频带分量和低频带分量得到的区域HH和区域HL、和通过把低频带分量每个进一步分割成高频带分量和低频带分量得到的区域LH和区域LL。

随后，在分割级别＝2，使分割级别＝1产生的低分量系数数据在水平方向和垂直方向各自经受滤波处理。就是说，在分割级别＝2，把分割级别＝1通过分割形成的区域LL进一步分割成四个区域，在区域LL内形成区域HH、区域HL、区域LH及区域LL。

子波变换单元210配置成根据子波变换以步进方式进行滤波处理，其中把滤波处理分成以屏幕垂直方向的几行为增量的处理，即分成多次。关于图7所示的例子，在等效于从屏幕第一行处理的第一处理，7行经受滤波处理，在第二处理及后续(等效于从第8行的处理)，每4行进行滤波处理。行数是基于区域分割成两个高频带分量和低频带分量后用于产生相当于一行最低频带分量所需的行数。

注意下文中，包括其它子带的行组，其是产生相当于一行最低频带分量(相当于最低频带分量子带的一行系数数据)所需的，将被称作行块(或范围precinct)。这里，行指示相当于与子波变换之前的图像数据相对应的画面、场、或每个子带内形成的一排像素数据或系数数据。就是说，关于子波变换之前的原始图像数据，行块(或范围)指示了等效于用于产生相当于子波变换后的一行最低频带分量子带系数数据所需行数的像素数据组、或通过使其像素数据组经受子波变换得到的每个子带的系数数据组。

根据图7，基于系数C4和中途计算缓冲器单元211存储的系数C_a，计算在分割级别＝2作为滤波处理结果得到的系数C5，并基于在中途计算缓冲器单元211存储的系数C_a、系数C_b、及系数C_c计算系数C4。另外，基于系数重新排列缓冲器单元212中存储的系数C2和系数C3、和第五行的像素数据计算系数C_c。此外，基于第五至第七行的像素数据计算系数C3。这样，为了得到系数C5，其是分割级别＝2的低频带分量，需要第一至第七行的像素数据。

另一方面，随着第二滤波处理继续，可采用在滤波处理至今已计算并存储在系数重新排列缓冲器单元212中的系数数据，所以可把所需行数抑制到较少。

就是说，根据图7，在分割级别＝2作为滤波处理结果得到的低频带分量系数中，基于系数C4和系数C8、和中途计算缓冲器单元211存储的系数C_c计算C5的下一个系数C9。系数C4在上述第一滤波处理已计算，并且存储在系数重新排列缓冲器单元212中。类似地，系数C_c在上述第一滤波处理已经计算，并且存储在中途计算缓冲器单元211中。相应地，对第二滤波处理，只新进行计算系数C8的滤波处理。这种新滤波处理还使用第八行至第十一行进行。

这样，随着第二滤波处理继续，可采用在滤波处理至今计算并存储在中途计算缓冲器单元211和系数重新排列缓冲器单元212中的数据，由此可把每次处理抑制到每次处理四行。

注意，在屏幕的行数与用于编码的行数不相同的情况下，使用预定方法拷贝原始图像数据的行从而与用于编码的行数相匹配，由此进行滤波处理。

这样，以步进方式通过对整个屏幕的行分割多次(按行块增量)进行滤波处理，由此得到相当于一行最低频带分量系数数据，由此在发送编码数据时以低延迟得到解码图像数据。

为了进行子波变换，需要用于执行子波变换本身的第一缓冲器、和用于存储所产生的系数直到获取预定分割级别的第二缓冲器。第一缓冲器与中途计算缓冲器单元211相对应，并且在图7中用虚线围绕的数据被临时存储在其中。此外，第二缓冲器与系数重新排列缓冲器单元212相对应，并且在图7中用单点划线围绕的数据被临时存储在其中。第二缓冲器存储的系数在解码时被采用，所以要经受后续阶段的熵编码处理。

将描述系数重新排列单元213的处理。如上所述，在子波变换单元210计算的系数数据被存储在系数重新排列缓冲器单元212中，其顺序由系数重新排列单元213重新排列，并且重新排列的系数数据被读出并送到量化单元214。

如以上述那样，通过子波变换，从高频带分量侧到低频带分量侧产生系数。在图7的例子中，在第一次，在分割级别＝1的滤波处理由原始图像的像素数据依次产生高频带分量系数C1、系数C2及系数C3。然后对于分割级别＝1的滤波处理得到的低频带分量系数数据进行分割级别＝2的滤波处理，由此依次产生低频带分量系数C4和系数C5。就是说，第一次，按系数C1、系数C2、系数C3、系数C4及系数C5的顺序产生系数数据。基于子波变换的原理，系数数据的产生顺序始终按这种顺序(从高频带到低频带的顺序)。

相反，在解码端，为了以低延迟及时解码，从低频带分量产生并输出图像是必要的。因此，从最低频带分量侧到高频带分量侧重新排列在编码端产生的系数数据并把它供给到解码端是希望的。

参照图7将给出更详细的描述。图7的右侧表示进行子波逆变换的合成滤波器一端。第一次合成处理(子波逆变换处理)，包括在解码端的输出图像数据的第一行，采用编码端第一次滤波处理产生的最低频带分量系数C4和系数C5及系数C1进行。

就是说，关于第一次合成处理，把系数数据按系数C5、系数C4、及系数C1的顺序从编码端供给到解码端，由此在解码端，通过与分割级别＝2相对应的合成处理的合成级别＝2，进行对系数C5和系数C4的合成处理以产生系数C_f，并且把系数C_f存储在缓冲器。然后借助于与分割级别＝1相对应的合成处理的合成级别＝1处理，进行对系数C_f和系数C1的合成处理，由此输出第一行。

这样，关于第一次合成处理，在编码端按系数C1、系数C2、系数C3、系数C4及系数C5的顺序产生并存储在系数重新排列缓冲器单元212中的系数数据被重新排列成系数C5、系数C4、系数C1等的顺序，并且供给到解码端。

注意，关于图7右侧表示的合成滤波器一端，从编码端供给的系数用编码端的系数编号标示在括号中，并且把合成滤波器的行号表示在括号外。例如，系数C1(5)表示，在图7左侧的分析滤波器端是系数5，并且在合成滤波器端是在第一行。

通过编码端的第二次滤波处理及此后产生的系数数据在解码端的合成处理，可采用从前一次合成处理合成的或从编码端供给的系数数据进行。在图7的例子中，解码端采用编码端借助于第二次滤波处理产生的低频带分量系数C8和系数C9进行的第二次合成处理还要求编码端第一次滤波处理产生的系数C2和系数C3，并且第二行至第五行被解码。

就是说，关于第二次合成处理，系数数据按系数C9、系数C8、系数C2、系数C3的顺序从编码端供给到解码端。在解码端，关于合成级别＝2的处理，采用在第一次合成处理从编码端供给的系数C8和系数C9及系数C4产生系数C_g，并且把系数C_g存储在缓冲器。采用系数C_g和上述系数C4及第一次合成处理产生并存储在缓冲器中的系数C_f产生系数C_h，并且把系数C_h存储在缓冲器。

关于合成级别＝1的处理，采用合成级别＝2处理产生并存储在缓冲器中的系数C_g和系数C_h、从编码端供给的系数C2(合成滤波器表示为系数C6(2))及系数C3(合成滤波器表示为系数C7(3))进行合成处理，并且解码第二行至第五行。

这样，关于第二次合成处理，编码端按系数C2、系数C3、(系数C4、系数C5)、系数C6、系数C7、系数C8、系数C9的顺序产生的系数数据被重新排列，并且按系数C9、系数C8、系数C2、系数C3等的顺序供给到解码端。

这样，关于第三次合成处理以及随后，类似地在系数重新排列缓冲器单元212中存储的系数数据按预定顺序被重新排列，并且供给到解码单元，其中按四行-增量解码所述行。

注意，与包括编码端在屏幕底端的行的滤波处理相对应的解码端的合成处理(下文称作最后一次)，直到那时的处理所产生并存储在缓冲器中的系数数据都要输出，所以输出行的数量增大。在图7的例子，在最后一次期间输出八行。

注意，通过系数重新排列单元213的系数数据的重新排列处理把在读取系数重新排列缓冲器单元212中存储的系数数据时的读出地址例如设置成预定顺序。

参照图8将进一步详细地描述以上处理。图8是采用5×3滤波器通过多达分割级别＝2的子波变换进行滤波器处理的例子。关于子波变换单元210，作为图8的A所示的一个例子，在水平和垂直方向的每一个上对输入图像数据的第一行至第七行进行第一次滤波处理(在图8的A的In-1)。

关于第一次滤波处理的分割级别＝1处理，相当于系数C1、系数C2、及系数C3的三行的系数数据被产生，并且作为图8的B所示的例子，各自被设置在分割级别＝1形成的区域HH、区域HL及区域LH中(图8的B中的WT-1)。

此外，分割级别＝1形成的区域LL借助于水平和垂直方向上的滤波处理由分割级别＝2进一步分割成四个。关于分割级别＝2产生的系数C5和系数C4，一行通过系数C5通过分割级别＝1设置在区域LL中，并且一行通过系数C4设置在区域HH、区域HL及区域LH的每一个中。

至于子波变换单元210的第二次滤波处理及此后，滤波处理按四行增量进行(图8的A的In-2...)，系数数据在分割级别＝1按两行增量产生(图8的B的WT-2)，并系数数据在分割级别＝2按一行增量产生。

关于图7的第二次的例子，相当于两行系数C6和系数C7的系数数据在分割级别＝1的滤波处理产生，并且作为图8的B所示的例子，被设置成跟随在分割级别＝1形成的区域HH、区域HL及区域LH的第一次滤波处理产生的系数数据。类似地，在分割级别＝1的区域LL内，相当于分割级别＝2的滤波处理产生的一行的系数C9设置在区域LL中，并且相当于一行的系数C8设置在区域HH、区域HL及区域LH的每一个中。

在如图8的B中那样解码被子波变换的数据的情况下，作为图8C所示的例子，与编码端通过第一行至第七行的第一次滤波处理相对应地输出在解码端第一次合成处理的第一行(在图8的C的Out-1)。此后，解码端(图8的C的Out-2...)与编码端从第二次直到最后一次之前的滤波处理相对应地输出一次四行。与编码端最后一次的滤波处理相对应，解码端输出八行。

子波变换单元210从高频带分量侧到低频带分量侧产生的系数数据被依次存储在系数重新排列缓冲器单元212中。关于系数重新排列单元213，当系数数据累计在系数重新排列缓冲器单元212中直到可进行上述系数数据重新排列时，系数数据按合成处理所需的顺序重新排列，并且从系数重新排列缓冲器单元212读取。读出的系数数据被依次供给到量化单元214。

量化单元214使从系数重新排列单元213供给的系数数据经受量化。作为量化方法可以采用任一种方法，例如普通方法，即如下表达式(3)所示那样，可以采用把系数数据W除以量化步幅大小Δ的方法。

量化系数＝W/Δ...(3)

对于如此量化及供给的系数数据，熵编码单元215控制编码操作，基于从速率控制单元216供给的控制信号使输出数据的比特速率成为目标比特速率，并且使其经受熵编码。经受熵编码的编码数据供给到解码端。就编码方法而论，可想到是已知技术的Huffman编码或算术编码或类似编码。不言而喻，编码方法不限于这些，只要可进行可逆编码处理，就可以采用其它编码方法。

如参照图7和图8描述的那样，子波变换单元210按图像数据的多行增量(以行块增量)进行子波变换。熵编码单元215编码的编码数据按行块增量输出。就是说，如上所述采用5×3滤波器进行高达分割级别＝2的处理的情况下，对于一屏数据的输出，按第一次一行、第二次至倒数第二次每次四行得到输出，最后一次输出八行。

注意，在系数重新排列单元213重新排列之后的系数数据经受熵编码的情况下，例如在图7所示第一次滤波处理对第一系数C5的行进行熵编码的情况下，没有历史行，即没有已产生系数数据的行。相应地这种情况下，只有一行经受熵编码。相反，在编码系数C1的行的情况下，系数C5和系数C4的行成为历史行。这些彼此靠近的多行可认为用类似数据构造，因而使多行一起经受熵编码是有效的。

此外，如上所述，关于子波变换单元210，已经描述了采用5×3滤波器借助于子波变换进行滤波处理的例子，但不应该限于这个例子。例如关于子波变换单元210，可以使用具有诸如9×7滤波器之类的甚至更长抽头数量的滤波器。这种情况下，如果滤波器的抽头数量较长则在滤波器中累计行数也增大，所以从图像数据的输入直到编码数据的输出的延迟时间也变得较长。

此外，通过上文，为了描述已把子波变换的分割级别描述为分割级别＝2，但不应该限于这种，并且分割级别可进一步增大。分割级别增大得越大，可实现高压缩速率越好。例如，一般地，关于子波变换，重复高达分割级别＝4的滤波处理。注意，当分割级别增大时，延迟时间也大大增加。

相应地，把本发明应用于实际系统的情况下，根据系统要求的解码图像的延迟时间或画面质量确定滤波器抽头数量或分割级别是希望的。滤波器抽头数量或分割级别不必是固定值，而能够是适当可选择的。

如上所述经受子波变换和重新排列的系数数据借助于量化单元214被量化，并且借助于熵编码单元215被编码。得到的编码数据然后经数字调制单元122、放大器124、视频分割/合成单元126等传输到摄像机控制单元112。这时，编码数据在包化单元217被包化，并且作为包传输。

图9是示意图，用于描述如何交换编码数据的例子。如上所述，图像数据在按行块增量(例如相当于(子带251)的预定数量的行)输入的同时经受子波变换。达到预定子波变换分割级别时，从最低频带子带到最高频带子带的系数行按与它们被产生时的顺序相反的顺序，即按从低频带到高频带的顺序，被重新排列。

关于图9的子带251，由斜线、垂直线及波浪线的图案分割的部分是各自不同的行块(如箭头表示那样，子带251中的白色空间也按行块增量被分割，并且以相同方式处理)。重新排列之后的行块的系数经受上述熵编码，并且产生编码数据。

这里，如果传输单元110例如按原样传输编码数据，则有其中摄像机控制单元112难以辨别各行块的边界(或可能要求复杂处理)的情形。通过包化单元217按例如行块增量把首部附加到编码数据、产生编码数据的首部形成的包、以及传输包，由此可使与数据交换有关的处理较简单。

如图9所示，产生第一行块(Lineblock-1)的编码数据(编码数据)时，传输单元110把它包化，并且把它送出到摄像机控制单元112作为传输包261。摄像机控制单元112接收到包(接收包271)时，包被去包化，并且其编码数据被抽取，并编码数据被解码(解码)。

以相同方式，产生第二行块(Lineblock-2)的编码数据时，传输单元110把它包化，并且把它送出到摄像机控制单元112作为传输包262。摄像机控制单元112接收到包(接收包272)时，编码数据被解码(解码)。还以相同方式，产生第三行块(Lineblock-3)的编码数据时，传输单元110把它包化，并且把它送出到摄像机控制单元112作为传输包263。摄像机控制单元112接收到包(接收包273)时，编码数据被解码(解码)。

传输单元110和摄像机控制单元112重复诸如以上之类的处理，直到第X的最终行块(Lineblock-X)(传输包264、接收包274)。这样在摄像机控制单元112产生解码图像281。

图10表明首部的配置例子。如上所述，数据包包括首部(Header)291和编码数据，Header291包括行块号(NUM)293和编码数据长度(LEN)294的描述，其指示配置所述行块的按子带增量的代码量。另外，添加在配置行块的子带增量中的量化步幅大小(Δ1至ΔN)292的描述，作为与编码有关的信息(编码信息)。

接收到数据包的摄像机控制单元112通过读取添加到接收编码数据的首部中包括的信息可容易地辨别每个行块的边界，并且可减小解码处理和处理时间的负荷。此外，通过读取编码信息，摄像机控制单元112可按子带增量进行逆量化，并且能够进行更详细的图像质量控制。

此外，传输单元110和摄像机控制单元112可以设置成同时(以流水线方式)按行块增量执行编码、包化、包交换及解码的各种过程。

这样，直到摄像机控制单元112获取图像输出的延迟时间可大大减少。作为例子，图9表示具有交织运动图像(60场/秒)的操作例子。这个例子中，用于一场的时间是1秒÷60＝近似16.7毫秒，但通过同时进行各种处理，图像输出可设置成用近似5毫秒的延迟时间得到。

接下来，将进行关于图3的数据转换单元138的描述。图11是方块图，表明数据转换单元138的详细配置例子。

数据转换单元138具有视频信号解码单元136和数据控制单元137，如上所述。另外，如图11所示，数据转换单元138具有存储器单元301和包化单元302。

存储器单元301具有诸如RAM(随机存取存储器)之类的可重写存储介质，并且存储从数据控制单元137供给的信息，并基于来自数据控制单元137的请求把存储信息供给到数据控制单元137。

包化单元302包化从数据控制单元137供给的返回编码数据，并且把数据包供给到数字调制单元135。这种包化单元302的配置和操作基本上与图4所示的包化单元217相同。

得到从数字解调单元134供给的编码数据的数据包时，视频信号解码单元136进行去包化，并且抽取编码数据。视频信号解码单元136进行编码数据的解码处理，并且也经总线D15在解码处理前把编码数据供给到数据控制单元137。数据控制单元137通过经总线D26把编码数据供给到存储器单元301并累计、或通过经总线D27得到存储器单元301累计的编码数据并供给到包化单元302作为返回数据、或类似操作，控制返回编码数据的比特速率。

尽管与这种比特速率转换有关的处理细节将在后续描述，但数据控制单元137临时累计供给的编码数据以便在存储器单元301中形成低频带分量，并且达到预定数据量的阶段时，读出在存储器单元301累计的编码数据的部分或全部，以及供给到包化单元302作为返回编码数据。就是说，数据控制单元137使用存储器单元301抽取和输出来自供给编码数据的部分，并丢弃剩余部分，由此降低(改变)编码数据的比特速率。注意，在比特速率不改变的情况下，数据控制单元137输出供给编码数据的全部。

包化单元302把从数据控制单元137供给的编码数据包化成每个预定大小，并供给到数字调制单元135。这时，与编码数据有关的信息从进行去包化的视频信号解码单元136供给。包化单元302进行包化，其中与已供给的首部有关的信息适于与数据控制单元137进行的比特速率转换处理内容相关。

注意，尽管以上已描述了相互独立的两个总线系统，但在把编码数据从数据控制单元137供给到存储器单元301时使用的总线D26、和在把从存储器单元301读出的编码数据供给到数据控制单元137时使用的总线D27，可设置成一个总线系统，其中编码数据的交换借助于可在两个方向上传输。

此外，除编码数据之外的数据，如数据控制单元137用于比特速率转换的变量，例如也可以保存在存储器单元301。

图12是方块图，表明视频信号解码单元136的配置例子。视频信号解码单元136是与视频信号编码单元120相对应的解码单元，并且如图12所示，具有去包化单元321、熵解码单元322、逆量化单元323、系数缓冲器单元324以及子波逆变换单元325。

从视频信号编码单元120的包化单元217输出的编码数据的包经各种处理供给到视频信号解码单元136的去包化单元321。去包化单元321去包化所供给的包，并且抽取编码数据。去包化单元321把编码数据供给到熵解码单元322，也供给到数据控制单元137。

得到编码数据时，熵解码单元322对每行进行编码数据的熵解码，并且把得到的系数数据供给到逆量化单元323。逆量化单元323基于与从去包化单元321得到的量化有关信息使供给的系数数据经受逆量化，把得到的系数数据供给到系数缓冲器单元324，并存储。子波逆变换单元325使用系数缓冲器单元324中存储的系数数据通过合成滤波进行合成滤波处理，并且把合成滤波处理的结果再次存储在系数缓冲器单元324中。子波逆变换单元325按照分割级别重复这种处理，并且得到解码图像数据(输出图像数据)。子波逆变换单元325把这种输出图像从视频信号解码单元136输出到外部。

一般子波逆变换方法的情况下，首先，对于要处理的分割级别的所有系数在屏幕水平方向上已进行水平合成滤波，接下来，在屏幕垂直方向上已进行垂直合成滤波。就是说，每当进行每次合成滤波时需要把合成滤波处理的结果保持在缓冲器中，并且这时，缓冲器需要保持该时刻的分割级别的合成滤波的结果、以及下个分割级别的所有系数，意味着要求很大存储器容量(要保持的数据量很大)。

此外，这种情况下，不进行图像数据输出，直到完成在画面(交织方法的情况下，场)内的所有子波逆变换，所以从输入到输出的延迟时间增大。

相反，关于子波逆变换单元325的情形，垂直合成滤波处理和水平合成滤波处理按行块增量连续地进行到级别1，所以需要一次(同时)缓冲的数据量与常规方法相比较小，并且可显著减小要准备的缓冲器的存储量。此外，通过进行到级别1的合成滤波处理(子波逆变换)，得到画面内的整个图像数据之前可依次输出图像数据(按行块增量)，所以与常规方法相比可显著减少延迟时间。

注意，传输单元110的视频信号解码单元121(图3)基本上也具有与这种视频信号解码单元136相同的配置，并且执行类似处理。相应地，参照图12的描述基本上也可应用于视频信号解码单元121。然而，在视频信号解码单元121的情况下，来自去包化单元321的输出只供给到熵解码单元322，并不进行到数据控制单元137的供给。

如以上那样由图3所示元件执行的各种过程被适当并行执行，例如图13所示。

图13示意表示用于图3所示部分执行处理的各种元件的并行操作的例子。图13与上述图8相对应。借助于子波变换单元210(图4)对图像数据的输入In-1(图13中的A)进行第一次的子波变换WT-1(图13中的B)。如参照图7描述的那样，在第一次的子波变换WT-1在输入最初三行的时刻开始，并产生系数C1。就是说，从图像数据的输入In-1到子波变换WT-1的开始出现相当于三行的延迟。

产生的系数数据被存储在系数重新排列缓冲器单元212(图4)。此后，对输入图像数据进行子波变换，并且结束在第一次的处理，由此转移处理而无需对第二次的子波变换WT-2的变化。

系数重新排列单元213(图4)对三个系数C1、系数C4及系数C5的重新排列Ord-1与图像数据的输入In-2(用于第二次的子波变换WT-2的目的)和第二次的子波变换WT-2的处理并行执行(图13中的C)。

注意，从子波变换WT-1的结束直到重新排列Ord-1开始的延迟是基于装置或系统配置的延迟，并且例如是与指令重新排列处理的控制信号到系数重新排列单元213的传输相关联的延迟、关于控制信号系数重新排列单元213的处理开始需要的延迟、或程序处理需要的延迟，并且不是与编码处理相关联的真实延迟。

系数数据按结束重新排列的顺序从系数重新排列缓冲器单元212读取，供给到熵编码单元215(图4)，并经受熵编码EC-1(图13中的D)。熵编码EC-1可开始而无需等待三个系数C1、系数C4及系数C5的所有重新排列结束。例如，在首先结束系数C5输出的一行重新排列的时刻，可开始对系数C5的熵编码。这种情况下，从重新排列Ord-1的处理开始到熵编码EC-1的处理开始的延迟相当于一行。

编码数据(对其已结束熵编码单元215的熵编码EC-1)经受预定信号处理，然后经三轴电缆111传输到摄像机控制单元112(在图13中的E)。这时，编码数据被包化和传输。

图像数据依次输入到传输单元110的视频信号编码单元120，跟随相当于第一次处理处输入的图像数据的七行，继续到屏幕的结束行。在视频信号编码单元120，每四行，如上所述，按照图像数据输入In-n(其中n是2或更大)，经受子波变换WT-n、重新排序Ord-n及熵编码EC-n。视频信号编码单元120最后一次的处理进行的重新排序Ord和熵编码EC对六行进行。这些过程在视频信号编码单元120并行进行，如图13中的A至D中示范表明的那样。

视频信号编码单元120通过熵编码EC-1编码的编码数据的包被传输到摄像机控制单元112，经受预定信号处理，并供给到视频信号解码单元136。去包化单元321从包抽取编码数据，并随后把它供给到熵解码单元322。熵解码单元322对于熵编码EC-1编码的编码数据依次进行熵编码的解码iEC-1，并恢复系数数据(在图13中的F)。恢复的系数数据在逆量化单元323处经受逆量化，并且然后依次存储在系数缓冲器单元324中。当可经受子波逆变换的尽可能多的系数数据被存储在系数缓冲器单元324时，子波逆变换单元325从系数缓冲器单元324读取系数数据，并使用读取的系数数据进行子波逆变换iWT-1(在图13中的G)。

如参照图7描述的那样，在子波逆变换单元325的子波逆变换iWT-1可在系数C4和系数C5被存储在系数缓冲器单元324的时刻开始。相应地，从熵解码单元322的解码iEC-1开始到子波逆变换单元325的子波逆变换iWT-1开始的延迟相当于两行。

关于子波逆变换单元325，第一次子波变换的相当于三行的子波逆变换iWT-1结束时，进行子波逆变换iWT-1产生的图像数据的输出Out-1(图13中的H)。通过输出Out-1，如参照图7和8描述的那样，输出第一行的图像数据。

视频信号编码单元120第一次处理的相当于三行的编码系数数据到视频信号解码单元136的输入之后，依次输入熵编码EC-n(n是2或更大)编码的系数数据。关于视频信号解码单元136，如上所述，输入系数数据每四行经受熵解码iEC-n和子波逆变换iWT-n，并且依次进行子波逆变换iWT-n恢复的图像数据的输出Out-n。与视频信号编码单元120的最后一次相对应的熵解码iEC和子波逆变换iWT对六行进行，并且输出Out的八行被输出。这种处理如图13中F至图13中H中举例说明的那样在视频信号解码单元136并行进行。

如上所述，通过视频信号编码单元120和视频信号解码单元136处并行进行每种处理，按从图像顶部向底部的顺序，能够以很小延迟进行图像压缩处理和图像解码处理。

参照图13，计算使用5×3滤波器进行到分割级别＝2的子波变换的情况下从图像输入到图像输出的延迟时间。从把第一行的图像数据输入到视频信号编码单元120直到第一行的图像数据从视频信号解码单元136输出的延迟时间成为下面描述的各因素之和。注意，排除基于系统配置不同的延迟，如传输路径中的延迟和与装置各部分的实际处理时序相关联的延迟。

(1)从第一行输入直到相当于七行的子波变换WT-1结束的延迟D_WT

(2)与相当于三行系数重新排列Ord-1的相关时间D_Ord

(3)与相当于三行熵编码EC-1的相关时间D_EC

(4)与相当于三行熵解码iEC-1的相关时间D_iEC

(5)与相当于三行子波逆变换iWT-1的相关时间D_iWT

参照图13将计算上述各种因素造成的延迟。在(1)中的延迟D_WT是相当于十行时间。(2)中的时间D_Ord、(3)中的时间D_EC、(4)中的时间D_iEC及(5)中的时间D_iWT各自相当于三行时间。此外，关于视频信号编码单元120，熵编码EC-1可从重新排列Ord-1开始一行之后开始。类似地，关于视频信号解码单元136，子波逆变换iWT-1可从熵解码iEC-1的开始两行之后开始。此外，熵解码iEC-1可在相当于熵编码EC-1的一行编码的结束时刻开始处理。

相应地，关于图13中的例子，从第一行的图像数据输入到视频信号编码单元120直到第一行的图像数据从视频信号解码单元136输出的延迟时间成为相当于10+1+1+2+3＝17行。

用更具体的例子来考虑延迟时间。在输入图像数据是HDTV(高清晰度电视)的交织视频信号的情况下，例如一帧由1920像素×1080行的分辨率组成，并且一场是1920像素×540行。相应地，帧频率是30Hz的情况下，一场的540行在16.67毫秒(＝1秒/60场)的时间输入到视频信号编码单元120。

相应地，与相当于图像数据的七行输入相关的延迟时间是0.216毫秒(＝16.67毫秒×7/540行)，并例如就一场的更新时间而言是非常短的时间。此外，上述(1)的延迟D_WT、(2)的时间D_Ord、(3)的时间D_EC、(4)的时间D_iEC及(5)的时间D_iWT的总和的延迟时间被显著缩短，因为要处理的行数量很小。硬件化进行每种处理的元件将能使处理时间甚至进一步缩短。

接下来，将描述数据控制单元137的操作。

如上所述，图像数据按行块增量在视频信号编码单元120被子波变换，并且所得到的每个子带的系数数据按从低频带到高频带的顺序被重新排列之后，被量化、编码及供给到数据转换单元138。

例如，如果我们说在视频信号编码单元120进行如图14的A所示其中分割处理被重复两次的子波变换(分割级别＝2的情况下的子波变换)，并且所得到的子带各自是来自低频带的LLL、LHL、LLH、LHH、HL、LH、HH，则这些子带编码数据，按每个行块，如图14中的B和图14中的C所示，按从低频带到高频带的顺序供给到数据转换单元138。就是说，去包化编码数据也按类似顺序供给到数据控制单元137。

图14的B和图14的C表明供给到数据控制单元137的编码数据的(子带的)顺序，表明按顺序从左供给。就是说，首先，在基带图像数据中的图像最顶部行块的第一行块的每个子带的编码数据(图14的A中从右上到左下的阴影指示)按从低频带子带到高频带子带的顺序供给到数据控制单元137，如图14的B表明的那样。

在图14的B中，1LLL表明第一行块的子带LLL，1LHL表明第一行块的子带LHL，1LLH表明第一行块的子带LLH，1LHH表明第一行块的子带LHH，1HL表明第一行块的子带HL，1LH表明第一行块的子带LH，并1HH表明第一行块的子带HH。图14的B中的这个例子中，首先，供给1LLL的编码数据(通过编码1LLL的系数数据得到的编码数据)，接着，1LHL的编码数据、1LLH的编码数据、1LHH的编码数据、1HL的编码数据及1LH的编码数据按此顺序供给，并且最后供给1HH的编码数据。

在第一行块的数据都已供给时，接下来，在基带图像数据中的图像中比第一行块低一个行块的第二行块的每个子带的编码数据(图14中的A中从左上到右下的阴影指示)按从低频带子带到高频带子带的顺序供给到数据控制单元137，如在图14的C表明的那样。

在图14的C中，2LLL表明第二行块的子带LLL，2LHL表明第二行块的子带LHL，2LLH表明第二行块的子带LLH，2LHH表明第二行块的子带LHH，2HL表明第二行块的子带HL，2LH表明第二行块的子带LH，2HH表明第二行块的子带HH。图14中的C的这个例子中，按2LLL(第二行块的子带LLL)、2LHL、2LLH、2LHH、2HL、2LH及2HH的顺序供给每个子带的编码数据，如图14的B中的情形那样。

如上所述，对每个行块，按从基带图像数据中的图像顶部的行块起的顺序供给编码数据。就是说，对于第三及后续行块的每个行块的编码数据也以与图14的B和图14的C相同的方式按顺序供给。

注意，对每个行块这种顺序足以从低频带到高频带，所以可以形成按LLL、LLH、LHL、LHH、LH、HL、HH的顺序供给的排列，或者可以是另一顺序。此外，在3或更高分割级别的情况下，也按从低频带到高频带的顺序形成供给。

关于按这样顺序供给的编码数据，数据控制单元137对每个行块把编码数据累计在存储器单元301中，同时计数累计编码数据的代码量之和，并且在代码量达到目标值的情况下，直到前一子带的编码数据从存储器单元301读出，并供给到包化单元302。

描述图14的B和图14的C的例子，首先，如图14的B中的箭头331指示那样，关于第一行块的编码数据，数据控制单元137按供给顺序累计在存储器单元301中的编码数据，并且计数(计算)累计代码数据的代码量之和的累计值。就是说，每当编码数据累计在存储器单元301中时，数据控制单元137把累计代码数据的代码量添加到累计值。

数据控制单元137累计存储器单元301中的编码数据，直到累计值达到事先确定的目标代码量，并且在累计值达到目标代码量时，结束编码数据的累计，从存储器单元301读取直到前一子带的编码数据，并输出。这个目标代码量按照所希望的比特速率而设置。

在图14的B的例子的情况下，数据控制单元137依次累计供给的编码数据，同时计数其代码量，如箭头331那样，并且当累计到累计值达到目标代码量的代码流截止点P1时，结束编码数据的累计，并且如箭头332指示那样，读出并输出从领先子带的编码数据到当前累计子带的前一子带的编码数据(图14的B的情况下，1LLL、1LHL、1LLH、1LHH及1HL)，并且丢弃从作为当前子带的首部的点P2到点P1的数据(图14中的B的情况下，1LH的一部分)。

以这种方式，数据控制单元137按子带增量控制数据输出的原因是允许在视频信号解码单元121解码。熵编码单元215进行系数数据的编码，其使用允许至少以子带增量解码的方法，并且其编码数据配置成在视频信号解码单元121能解码的格式。相应地，数据控制单元137按子带增量挑选获取哪些以及舍去哪些编码数据，从而不改变编码数据的这种格式。

按行块增量进行的子波变换(子波逆变换)的情况下，即使在行块内的所有子带的系数数据不存在，通过在子波逆变换时进行数据补充等也可把基带图像数据恢复到一定程度。就是说，即使在图14的A的例子中只有低频带子带LLL、LHL、LLH及LHH的系数数据存在、并且高频带子带HL、LH及HH的系数数据不存在的情况下，例如，低频带子带LLL、LHL、LLH及LHH也可用于代替高频带子带HL、LH及HH，由此可把子波变换之前的图像恢复到一定程度。然而注意，这种情况下，没有图像的高频带分量，所以恢复图像的图像质量与原始图像相比一般将变坏(分辨率将下降)，尽管这取决于补充的方法。然而，关于子波变换，图像能量基本上集中在低频带分量，如参照图6描述的那样。相应地，高频带分量的损失造成的图像变坏的效果对于观看图像的用户很小。

数据控制单元137使用供给编码数据所具有的这样一种性质来控制编码数据的比特速率。就是说，数据控制单元137从供给的编码数据按照其供给顺序，从顶部起抽取编码数据，直到达到目标代码量，作为返回编码数据。在目标代码量小于原始编码数据的代码量的情况下，即数据控制单元137降低比特速率的情况下，返回编码数据由原始编码数据的低频带分量所配置。换句话说，从原始编码数据已除去高频带分量部分的数据被抽取为返回编码数据。

数据控制单元137对每个行块进行以上处理。就是说，如图14中的B所示，对第一行块的处理结束时，数据控制单元137如图14的C所示以相同方式对下个供给的第二行块进行处理，并且计数累计值的同时从顶部累计存储器单元301中的编码数据，直到达到箭头333所指示的目标代码量，并且在达到代码流截止点P3时，如箭头334指示的那样丢弃当前累计的子带的编码数据(图14的C的例子的情况下的2HL)，并且从顶部到前一子带的编码数据(图14的C的例子的情况下的2LLL、2LHL、2LLH及2LHH)从存储器单元301读出，并输出作为返回编码数据。

对第二行块之后的下个行块的第三行块以及每个后续行块而论，以相同方式进行比特速率转换处理。

注意，每个子带的代码量对每个行块是独立的，所以代码流截止点(P1和P3)的位置也相互独立，如图14中的B和图14的C所示(有相互不同和相互匹配的情形)。相应地，要丢弃的子带(即，图14中的B和图14的C的点P2和点P4的位置)也相互独立。

注意，目标代码量可以是固定值，或者可以是可变的。例如，可设想，在分辨率在同一图像内的行块之间或在帧之间相差很大的情况下，其图像质量的差别是明显的(观看图像的用户把这当作图像变坏)。为了抑制这样一种现象，可以形成基于例如图像内容适当控制目标代码量(即，比特速率)的设置。此外，可以形成基于选择性外部条件，例如三轴电缆111或类似装置的传输路径的带宽、作为传输目的地的传输单元110的处理能力和负载状态、对返回视频画面要求的图像质量等，适当控制目标代码量的设置。

如上所述，数据控制单元137可独立于供给编码数据的比特速率创建所希望比特速率的返回编码数据，而无需解码供给的编码数据。此外，数据控制单元137通过按供给顺序从顶部抽取并输出编码数据的简单处理可进行这种比特速率转换处理，所以可容易且高速地转换编码数据的比特速率。

就是说，数据控制单元137可进一步缩短从供给主线数字视频到把返回数字视频信号返回到传输单元110的延迟时间。

图15是示意图，表明在图3所示的数字三轴系统100的每个部分执行的各种处理的时序关系，并与图2相对应。图15在最高层表示的传输单元110的视频信号编码单元120的编码处理、和在图15在从顶部数第二层表示的摄像机控制单元112的视频信号解码单元136的解码处理，在与图2所示的情形相同时序执行，所以从开始编码处理到输出解码处理结果的延迟时间是P[毫秒]。

随后，数据控制单元137在解码结果的输出开始后的T[毫秒]输出返回编码数据，如图15在从顶部数第三层表示的那样，并且视频信号解码单元121如图15中在最底层表示的那样在L[毫秒]后解码返回编码数据，并输出图像。

就是说，从主线视频画面开始编码到返回线视频画面的解码图像的开始输出的时间是(P+T+L)[毫秒]，并且如果T+L的时间比P短，则这意味着延迟时间比在图2的情形短。

P[毫秒]是对于编码处理和解码处理所需的时间之和(用于收集对编码处理所需最少信息的时间和用于收集对解码处理所需最少信息的时间之和)，并且L[毫秒]是对解码处理所需的时间(用于收集对解码处理所需最少信息的时间)。就是说，这意味着，如果T[毫秒]比对编码处理所需的时间短，则延迟时间比图2的情形更短。

关于编码处理，进行诸如子波变换、系数重新排列及熵编码等之类的处理，如参照图4等描述的那样。在子波变换中，分割处理被递归重复，并且在这个期间，数据被逐次地累计在中途计算缓冲器单元211中。此外，子波变换得到的系数数据被保持在系数重新排列缓冲器单元212中，直到累计相当于至少一个行块的数据。另外，对系数数据进行熵编码。相应地，编码处理所要求的时间显然比输入相当于一个行块的输入图像数据的时间长。

相反，T[毫秒]是直到数据控制单元137抽取编码数据的一部分并开始传输的时间。例如，主线编码数据是150Mbps、并且返回编码数据是50Mbps的情况下，从供给150Mbps的数据的顶部起累计50Mbps的数据，并在累计到50Mbps的编码数据时开始输出。用于挑选获取哪些和舍去哪些的时间是T[毫秒]。就是说，T[毫秒]比供给150Mbps的一行编码数据的时间短。

相应地，T[毫秒]明显地比编码处理所需的时间短，所以从主线视频画面的开始编码到返回线视频画面的解码图像的开始输出的延迟时间在图15的情形比在图2的情形明显更短。

注意，数据控制单元137的处理如上所述是容易的，并且尽管其详细配置将在后续描述，但其电路配置与使用图1所示编码器的常规情形相比在规模上可明显减小。就是说，通过应用这种数据控制单元137，可减小摄像机控制单元112的电路规模和成本。

接下来，将描述进行这样处理的数据控制单元137的内部配置。图16是方块图，表明数据控制单元137的详细配置例子。图16中，数据控制单元137具有累计值初始化单元351、编码数据获取单元352、行块确定单元353、累计值计数单元354、累计结果确定单元355、编码数据累计控制单元356、第一编码数据输出单元357、第二编码数据输出单元358及结束确定单元359。注意，在图中实线箭头指示块之间的关系，包括编码数据的运动方向，并且虚线箭头指示块之间的控制关系，不包括编码数据的运动方向。

累计值初始化单元351初始化在累计值计数单元354计数的累计值371的值。累计值是在存储器单元301中累计的编码数据的代码量总和。进行累计值的初始化时，累计值初始化单元351使编码数据获取单元352开始获取编码数据。

编码数据获取单元352由累计值初始化单元351和编码数据累计控制单元356控制以获取从视频信号解码单元136供给的编码数据，并且把它供给到行块确定单元353，并且使得进行行块确定。

行块确定单元353确定从编码数据获取单元352供给的编码数据是否是当前获取行块的最后编码数据。例如，与编码数据一道，包的首部信息的一部分或全部从视频信号解码单元136的去包化单元321供给。行块确定单元353基于这样的信息确定供给的编码数据是否是当前行块的最后编码数据。在确定这不是最后编码数据的情况下，行块确定单元353把编码数据供给到累计值计数单元354，并且使得执行累计值的计数。相反，在确定这是最后编码数据的情况下，行块确定单元353把编码数据供给到第二编码数据输出单元358，并且开始编码数据的输出。

累计值计数单元354具有内建的未示出存储单元，并且把累计值保持在存储单元中，累计值是指示在存储器单元301中累计的编码数据的代码量之和的变量。从行块确定单元353供给编码数据时，累计值计数单元354把编码数据的代码量添加到累计值，并且把其累计结果供给到累计结果确定单元355。

累计结果确定单元355确定累计值是否已经达到与事先确定的返回编码数据的比特速率相对应的目标代码量，并且在确定还未达到情况下，控制累计值计数单元354以使得把编码数据供给到编码数据累计控制单元356，并且还控制编码数据累计控制单元356以使得累计存储器单元301中的编码数据。此外，在确定累计值已达到目标代码量的情况下，累计结果确定单元355控制第一编码数据输出单元357以使得开始编码数据的输出。

从累计值计数单元354获取编码数据时，编码数据累计控制单元356把它供给到存储器单元301以存储。在使编码数据被存储时，编码数据累计控制单元356使编码数据获取单元352开始获取新的编码数据。

在被累计结果确定单元355控制时，第一编码数据输出单元357从第一编码数据直到当前处理子带的前一子带的编码数据，读取并向外部输出存储器单元301中累计的编码数据。输出编码数据时，第一编码数据输出单元357使结束确定单元359确定处理结束。

编码数据从行块确定单元353供给时，第二编码数据输出单元358读出在存储器单元301中累计的所有编码数据，并且从数据控制单元137向外部输出这些编码数据。输出编码数据时，第二编码数据输出单元358使结束确定单元359确定处理结束。

结束确定单元359确定编码数据的输入是否已经结束，并且在确定未结束的情况下，累计值初始化单元351被控制并使得初始化累计值371。此外，在确定结束的情况下，结束确定单元359结束比特速率转换处理。

接下来，将描述图3的每个部分执行的处理流程的具体例子。图17是流程图，表明在整个数字三轴系统100(传输单元110和摄像机控制单元112)执行的基本处理流程的例子。

如图17所示，在步骤S1中，传输单元110编码从视频摄像机单元113供给的图像数据，并且在步骤S2中，对于通过编码得到的编码数据进行诸如调制和信号放大，并供给到摄像机控制单元112。

在步骤S21中，得到编码数据时，摄像机控制单元112进行诸如信号放大和调制等之类的处理，并且进一步在步骤S22中，解码编码数据，在步骤S23中转换编码数据的比特速率，并在步骤S24中进行如编码数据(其比特速率已转换)的调制和信号放大，并且传输到传输单元110。

在步骤S3中，传输单元110获取编码数据。已获取编码数据的传输单元110随后进行诸如信号放大和调制等之类的处理，并且进一步解码编码数据，并进行诸如在显示单元151显示图像等之类的处理。

注意，后续将描述步骤S1中的图像数据的编码处理、步骤S22中的编码数据的解码处理及步骤S23中的比特速率转换处理的详细流程。此外，在传输单元110步骤S1至S3的每种处理可以彼此并行执行。以相同方式，在摄像机控制单元112，步骤S21至S24的每种处理可以彼此并行执行。

接下来，参照图18中的流程图将描述图17的步骤S1执行的编码过程详细流程的例子。

编码处理开始时，在步骤S41，子波变换单元210把要处理的行块的No.A设置为初始设置值。通常情况下，把No.A设置为“1”。设置结束时，在步骤S42，子波变换单元210获取用于产生从最低子带的顶部起第A行的一行所需行数(即，一个行块)的图像数据，在步骤S43，进行垂直分析滤波处理以便为图像数据对屏幕垂直方向排列的图像数据进行分析滤波，并在步骤S44，进行水平分析滤波处理以便为屏幕水平方向排列的图像数据进行分析滤波。

在步骤S45，子波变换单元210确定分析滤波过程是否已经进行到最后一级，并且在确定分割级别还未达到最后一级的情况下，过程返回到步骤S43，其中在当前分割级别重复步骤S43和步骤S44的分析滤波处理。

在步骤S45确定分析滤波处理已经进行到最后一级的情况下，子波变换单元210把处理前进到步骤S46。

在步骤S46，系数重新排列单元213按从低频带到高频带的顺序重新排列行块A(从画面顶部起第A行块(在交织方法情况下，场))的系数。在步骤S47，量化单元214使用预定量化系数对重新排列的系数进行量化。在步骤S48，熵编码单元215使系数按行增量经受熵编码。熵编码结束时，在步骤S49中包化单元217包化行块A的编码数据，并且在步骤S50，把包(行块A的编码数据)送到外部。

子波变换单元210在步骤S51中把No.A中的值增加“1”，把下个行块作为处理对象，并在步骤S52确定要处理的画面(在交织方法情况下，场)中是否有未处理的图像输入行。在确定有的情况下，过程返回到步骤S42，并且对要处理的新行块重复此后的处理。

如上所述，重复执行在步骤S42至步骤S52的处理以编码每个行块。在步骤S52确定没有未处理的图像输入行的情况下，子波变换单元210结束对该画面的编码处理。对下个画面开始新的编码过程。

这样，借助于子波变换单元210，垂直分析滤波处理和水平分析滤波处理按行块增量连续地进行到最后一级，所以与常规方法相比，一次(在同一时间段期间)需要保持(缓冲)的数据量很小，因而大大减小缓冲器要准备的存储器容量。此外，通过把分析滤波处理进行到最后一级，也可进行用于系数重新排列或熵编码处理的后续步骤(即，可按行块增量进行系数重新排列或熵编码)。相应地，与对整个屏幕进行子波变换的方法相比，可大大减小延迟时间。

接下来，参照图19中的流程图将描述在图17的步骤S22执行的解码过程详细流程的例子。这个解码过程与图18中的流程图中表明的编码过程相对应。

解码处理开始时，在步骤S71，去包化单元321去包化得到的包，并得到编码数据。在步骤S72，熵解码单元322对每一行使编码数据经受熵解码。在步骤S73，逆量化单元323对通过熵解码得到的系数数据进行逆量化。在步骤S74，系数缓冲器单元324保持经受逆量化的系数数据。在步骤S75，子波逆变换单元325确定相当于一个行块的系数是否已经累计在系数缓冲器单元324中，并且如果确定没有累计，则处理返回到步骤S71，执行此后处理，并等待直到相当于一个行块的系数已经累计在系数缓冲器单元324中。

在步骤S75确定相当于一个行块的系数已经累计在系数缓冲器单元324的情况下，子波逆变换单元325把处理前进到步骤S76，并且读出系数缓冲器单元324中保持的相当于一个行块的系数。

子波逆变换单元325在步骤S77使读出系数经受垂直合成滤波处理(其对屏幕垂直方向排列的系数进行合成滤波处理)，并且在步骤S78，进行水平合成滤波处理(其对屏幕水平方向排列的系数进行合成滤波处理)，并且在步骤S79，确定是否已经结束通过级别一(其中分割级别的值是“1”的级别)的合成滤波处理，即确定逆变换是否已经进行到子波变换之前的状态，并且如果确定还未达到级别1，则处理返回到步骤S77，由此重复步骤S77和步骤S78中的滤波处理。

在步骤S79，如果确定已经结束通过级别1的逆变换处理，则子波逆变换单元325把处理前进到步骤S80，并把通过逆变换处理得到的图像数据输出到外部。

在步骤S81中，熵解码单元322确定是否结束解码处理，并且在确定经去包化单元321的编码数据输入正在继续以及解码处理未结束的情况下，处理返回到步骤S71，并且重复此后的处理。此外，在步骤S81，在编码数据输入结束等从而解码处理结束的情况下，熵解码单元322结束解码处理。

在子波逆变换单元325的情况下，如上所述，垂直合成滤波处理和水平合成滤波处理按行块增量连续进行直到级别1，因此与对整个屏幕进行子波变换的方法相比，一次(在同一时间段期间)需要缓冲的数据量显著较小，因而便于缓冲器要准备的存储器容量减小。此外，通过进行合成滤波处理(子波逆变换处理)直到级别1，得到画面内的所有图像数据之前可依次输出图像数据(按行块增量)，因而与对整个屏幕进行子波变换的方法相比，可大大减小延迟时间。

接下来，参照在图20的流程图将描述在图17的步骤S23执行的比特速率转换处理流程的例子。

开始比特速率转换处理时，在步骤S101，累计值初始化单元351初始化累计值371的值。在步骤S102，编码数据获取单元352得到从视频信号解码单元136供给的编码数据。在步骤S103，行块确定单元353确定是否是行块中的最后编码数据。在确定不是最后编码数据的情况下，处理前进到步骤S104。在步骤S104，累计值计数单元354通过把新得到的编码数据的代码量添加到其保持的累计值而计数累计值。

在步骤S105，累计结果确定单元355确定当前累计值的累计结果是否已达到对要事先处理的行块指定的代码量，即所指定的代码量是要处理的行块的目标代码量。在确定还未达到指定代码量的情况下，处理前进到步骤S106。在步骤S106，编码数据累计控制单元356把在步骤S102得到的编码数据供给到存储器单元301，并且使它被累计。在步骤S106的处理结束时，处理返回到步骤S102。

此外，在步骤S105确定累计结果已经达到指定代码量的情况下，处理前进到步骤S107。在步骤S107，第一编码数据输出单元357读出并输出存储器单元301中存储的编码数据中的从顶部子带到步骤S102中得到的编码数据所属子带的前一子带的编码数据。在结束步骤S107的处理时，处理前进到步骤S109。

此外，在步骤S103，在确定步骤S102通过处理得到的编码数据是在行块内的最后编码数据的情况下，处理前进到步骤S108。在步骤S108，第二编码数据输出单元358读出存储器单元301中存储的要处理的行块内的所有编码数据，并且与步骤S102中通过处理得到的编码数据一起输出。在步骤S108的处理结束时，处理前进到步骤S109。

在步骤S109，结束确定单元359确定是否已处理所有行块。在确定有未处理行块存在的情况下，处理返回到步骤S101，并且对下个未处理行块重复后续处理。此外，在步骤S109确定已处理所有行块的情况下，比特速率转换处理结束。

通过如以上那样进行比特速率转换处理，数据控制单元137容易以低延迟把其比特速率转换成希望值，而无需解码编码数据。相应地，数字三轴系统100可容易减小从开始图17的流程图的步骤S1的处理到步骤S3的处理结束的延迟时间。此外，由于这种设置，没有必要提供返回编码数据的编码，并且可减小摄像机控制单元112的电路规模和成本。

在图4中，系数重新排列已经描述成紧随子波变换进行(在量化之前)，但按从低频带到高频带的顺序把编码数据供给到视频信号解码单元136就足够了(即，按编码属于低频带子带的系数数据得到的编码数据到编码属于高频带子带的系数数据所得到的编码数据的顺序，供给就足够了)，并且用于重新排列的时序可不是紧随子波变换。

例如，可以重新排列熵编码得到的编码数据的顺序。图21是方块图，表明在这种情况下视频信号编码单元120的配置例子。

在图21的情况下，视频信号编码单元120以与图4的情形相同的方式包括子波变换单元210、中途计算缓冲器单元211、量化单元214、熵编码单元215、速率控制单元216及包化单元217，但具有代码重新排列缓冲器单元401和代码重新排列单元402，代替了系数重新排列缓冲器单元212和系数重新排列单元213。

代码重新排列缓冲器单元401是用于重新排列在熵编码单元215编码的编码数据的输出顺序的缓冲器，并且代码重新排列单元402通过按预定顺序读出在代码重新排列缓冲器单元401累计的编码数据而重新排列编码数据的输出顺序。

就是说，在图21的情况下，从子波变换单元210输出的子波系数供给到量化单元214，并被量化。量化单元214的输出供给到熵编码单元215，并被编码。通过这种编码得到的每个编码数据依次供给到代码重新排列缓冲器单元401，并临时存储以便重新排列。

代码重新排列单元402按预定顺序读出在代码重新排列缓冲器单元401中写入的编码数据，并且供给到包化单元217。

在图21的情况下，熵编码单元215按子波变换单元210的输出顺序进行每个系数数据的编码，并且把得到的编码数据写到代码重新排列缓冲器单元401。就是说，代码重新排列缓冲器单元401按与子波变换单元210的子波系数的输出顺序相对应的顺序存储编码数据。在通常情况下，相互比较属于一个行块的系数数据，子波变换单元210较早输出属于较高频带的系数数据，并且较晚输出属于较低频带的系数数据。就是说，每个编码数据按从进行属于高频带子带的系数数据的熵编码得到的编码数据向进行属于低频带子带的系数数据的熵编码得到的编码数据的顺序，存储在代码重新排列缓冲器单元401中。

相反，代码重新排列单元402按独立于这种顺序的任意顺序读出在代码重新排列缓冲器单元401中累计的每个编码数据以进行编码数据的重新排列。

例如，代码重新排列单元402以更大优先级读出编码属于较低频带子带的系数数据而得到的编码数据，并且最后读出编码属于最高频带子带的系数数据而得到的编码数据。这样，通过从低频带到高频带读出编码数据，代码重新排列单元402使视频信号解码单元136能够按获取顺序解码每个编码数据，由此减少在视频信号解码单元136的解码处理出现的延迟时间。

代码重新排列单元402读出在代码重新排列缓冲器单元401中累计的编码数据，并且把它供给到包化单元217。

注意，图21所示的视频信号编码单元120编码的数据能够以与从图4所示的视频信号编码单元120输出编码数据相同的方式，由参照图13已描述的视频信号解码单元136解码。

此外，用于进行重新排列的时序可以不同于上述。例如，作为图22所示的例子，可以在视频信号编码单元120进行，或者作为图23所示的例子，可以在视频信号解码单元136处进行。

在重新排列由子波变换产生的系数数据的处理中，较大容量作为用于系数重新排列缓冲器的存储容量是必要的，并且对于系数重新排列处理本身也要求高处理能力。同样这种情况下，传输单元110的处理能力处于或高于一定级的情况下没有任何问题。

现在，让我们考虑其中传输单元110安装在具有较低处理能力的装置(如诸如蜂窝电话终端或PDA(个人数字助手)之类的移动终端)中的情形。例如，最近几年，已把成像功能添加到蜂窝电话终端的产品已经进入普遍使用(叫做具有摄像机功能的蜂窝电话终端)。可以考虑这样一种情形：其中具有这种摄像机功能的蜂窝电话装置成像的图像数据经受通过子波变换和熵编码的压缩编码，并且经无线或有线通信传输。

这样的移动终端在CPU(中央处理单元)处理能力方面受到限制，并且对存储器容量也具有一定上限。因此，用于上述系数重新排列的处理负荷是不能忽视的问题。

这样，就图23所示例子而论，通过把重新排列处理建造到摄像机控制单元112中，可减轻在传输单元110的负荷，因而能够把传输单元110安装在诸如移动终端之类的具有比较低处理能力的装置中。

此外，上文中，已经描述了按行块增量进行数据量控制，但不限于此，并且可以形成例如按多个行块的增量进行数据控制的设置。一般地，在按多个行块的增量进行数据控制的情形，与按行块增量进行数据控制的情形相比，已经改进了图像质量，但延迟时间相应地较长。

图24表明在缓冲N(N是整数)个行块内的每个子带之后从低频带到高频带计数数据量的方式。在图24的A中，从右上到左下的阴影指示的部分指示第一行块的每个子带，并且从左上到右下的阴影指示的部分指示第N行块的每个子带。

数据控制单元137以这种方式进行数据控制，连续的N个行块作为单个组。这时，编码数据的排列顺序以N个行块作为单个组被排列。图24的B表明其排列顺序的例子。

如上所述，数据控制单元137按行块增量，按从与属于低频带子带的系数数据相对应的编码数据向属于高频带子带的编码数据的顺序供给有编码数据。数据控制单元137把相当于N个行块的编码数据存储在存储器单元301中。

然后，在读出其存储器单元301中累计相当于N个行块的编码数据时，如图24的B的例子所示，数据控制单元137首先读出第一行块至第N行块的最低频带(级别1)的子带LLL的编码数据(1LLL、2LLL、...、NLLL)，其次读出第一行块至第N行块的子带LHL的编码数据(1LHL、2LHL、...、NLHL)，读出第一行块至第N行块的子带LLH的编码数据(1LLH、2LLH、...、NLLH)，并读出第一行块至第N行块的子带LHH的编码数据(1LHH、2LHH、...、NLHH)。

在结束级别1编码数据的读出时，数据控制单元137其次读出高一级的级别2的编码数据。就是说，如图24的B的例子所示，数据控制单元137读出第一行块至第N行块的级别2的子带HL的编码数据(1HL、2HL、...、NHL)，其次读出第一行块至第N行块的子带LH的编码数据(1LH、2LH、...、NLH)，并读出第一行块至第N行块的子带HH的编码数据(IHH、2HH、...、NHH)。

如上所述，数据控制单元137把N个行块作为单个组，并行地从最低频带子带向最高频带子带读出组内的每个行块的编码数据。

就是说，数据控制单元137按(1LLL、2LLL、...、NLLL、1LHL、2LHL、...、NLHL、1LLH、2LLH、...、NLLH、1LHH、2LHH、...、NLHH、1HL、2HL、...、NHL、1LH、2LH、...、NLH、1HH、2HH、...、NHH、...)的顺序读出存储器单元301中存储的编码数据。

在读出N个行块的编码数据的同时，数据控制单元137计数代码量之和，并且在达到目标代码量的情况下，结束读出，并丢弃后续数据。在对N个行块的处理结束时，数据控制单元137对其次的N个行块进行相同处理。就是说，数据控制单元137控制每N个行块的代码量(转换比特速率)。

以这种方式，通过控制每N个行块的代码量，可减小行块之间的图像质量差别，并且可抑制显示图像的分辨率局部标记变坏等，所以可改进显示图像的图像质量。

图25表明读出编码数据顺序的不同例子。如图25中的A所示，数据控制单元137以与图24相同的方式对每N(N是整数)个行块处理编码数据。就是说，也在这情况下，数据控制单元137对连续的N个行块作为单个组进行数据控制。这时，编码数据的排列顺序以N个行块作为单个组被排列。图25中的B表明其排列顺序的例子。

如上所述，数据控制单元137按行块增量，按从与属于低频带子带的系数数据相对应的编码数据向属于高频带子带的编码数据的顺序被供给编码数据。数据控制单元137把相当于N个行块的编码数据存储在存储器单元301中。

然后，读出在存储器单元301中累计的相当于N个行块的编码数据时，如图24的B的例子所示，数据控制单元137首先读出第一行块至第N行块的最低频带(级别1)的子带LLL的编码数据(1LLL、2LLL、...、NLLL)。

从这里与图24的B的情形不同，并且如图25的B所示，数据控制单元137对每个行块读出级别1的剩余子带(LHL、LLH、LHH)的系数数据。就是说，在读出子带LLL的编码数据后，数据控制单元137其次读出第一行块的剩余级别1子带的编码数据(1LHL、1LLH、1LHH)，其次以相同方式从第二行块读出编码数据(2LHL、2LLH、2LHH)，并依次重复，直到读出来自第N行块的编码数据(NLHL、NLLH、NLHH)。

按以上顺序对第一行块至第N行块结束读出级别1的子带的所有编码数据时，数据控制单元137其次读出高一级的级别2的编码数据。这时，数据控制单元137对每个行块读出级别2的剩余子带的编码数据(HL、LH、HH)。就是说，数据控制单元137读出第一行块中的级别2的剩余子带的编码数据(1HL、1LH、1HH)，其次以相同方式对第二行块读出编码数据(2HL、2LH、2HH)，并依次重复，直到读出第N行块的编码数据(NHL、NLH、NHH)。

数据控制单元137对于后续级别也以相同方式，按上述顺序读出到最高频带子带的编码数据。

就是说，数据控制单元137按(1LLL、2LLL、...、NLLL、1LHL、1LLH、1LHH、2LHL、2LLH、2LHH、...、NLHL、NLLH、NLHH、1HL、1LH、1HH、2HL、2LH、2HH、...NHL、NLH、NHH、...)的顺序读出存储器单元301中存储的编码数据。

读出N个行块的编码数据的同时，数据控制单元137计数代码量之和，并且在达到目标代码量的情况下，结束读出，并丢弃后续数据。在对N个行块的处理结束时，数据控制单元137对其次的N个行块进行相同处理。就是说，数据控制单元137控制每N个行块的代码量(转换比特速率)。

以这种方式，进一步，可抑制指定到每个子带的不平衡，可减小显示图像中不自然的视觉感，并可改进图像质量。

图26表示如参照图24和图25描述那样对每N个行块转换比特速率的情况下数据控制单元137的详细配置例子。

在图26，数据控制单元137具有累计值初始化单元451、编码数据获取单元452、编码数据累计控制单元453、累计确定单元454、编码数据读出单元455、组确定单元456、累计值计数单元457、累计结果确定单元458、第一编码数据输出单元459、第二编码数据输出单元460及结束确定单元461。

累计值初始化单元451初始化在累计值计数单元457计数的累计值481的值。进行累计值481的初始化时，累计值初始化单元451使编码数据获取单元452开始获取编码数据。

编码数据获取单元452由累计值初始化单元451和累计确定单元454控制以获取从视频信号解码单元136供给的编码数据，并且把它供给到编码数据累计控制单元453，并且使得进行编码数据的累计。编码数据累计控制单元453把从编码数据获取单元452供给的编码数据累计在存储器单元301，并且把它通知给累计确定单元454。累计确定单元454基于来自编码数据累计控制单元453的通知确定是否相当于N个行块的编码数据已经累计在存储器单元301中。在确定还未累计相当于N个行块的编码数据的情况下，累计确定单元454控制编码数据获取单元452，并使得获取新的编码数据。此外，在确定相当于N个行块的编码数据已经累计在存储器单元301的情况下，累计确定单元454控制编码数据读出单元455，以使得开始读出在存储器单元301中累计的编码数据。

编码数据读出单元455由累计确定单元454或累计结果确定单元458控制，读出在存储器单元301中累计的编码数据，并把已读出的编码数据供给到组确定单元456。这时，编码数据读出单元455把相当于N个行块的编码数据作为单个组，并且按预定顺序读出每个组的编码数据。就是说，当编码数据累计控制单元453把相当于一组的编码数据存储在存储器单元301中时，编码数据读出单元455把该组作为处理对象，并且按预定顺序读出该组的编码数据。

组确定单元456确定编码数据读出单元455读出的编码数据是否是当前被处理组的最后行块的最后数据。在确定所供给的编码数据不是编码数据所属组的要读出的最后编码数据的情况下，组确定单元456把供给的编码数据供给到累计值计数单元457。此外，在确定所供给的编码数据是编码数据所属组的要读出的最后编码数据的情况下，组确定单元456控制第二编码数据输出单元460。

累计值计数单元457具有内建的未示出存储单元，并且计数组确定单元456所供给的编码数据的代码量之和，把计数值作为累计值481保持在存储单元中，还把累计值481供给到累计结果确定单元458。

累计结果确定单元458确定累计值481是否已达到与事先确定的返回编码数据的比特速率相对应的目标代码量，并且在确定还未达到的情况下，控制编码数据读出单元455以读出新的编码数据。此外，在确定累计值481已达到指定给该组的目标代码量的情况下，累计结果确定单元458控制第一编码数据输出单元459。

在被累计结果确定单元458控制时，第一编码数据输出单元459读出在属于被处理的组的编码数据中的从顶部到前一子带的所有编码数据，并且把其从数据控制单元137输出到外部。

如参照图24中的B和图25中的A描述的那样，按每个行块的子带增量读出在存储器单元301中累计的编码数据。相应地，在确定读出属于第m子带的编码数据时累计值481已达到目标代码量的情况下，例如，第一编码数据输出单元459读出属于从存储器单元301读出的第一至第(m-1)子带的编码数据，并且从数据控制单元137输出到外部。

输出编码数据时，第一编码数据输出单元459使结束确定单元461确定处理结束。

第二编码数据输出单元460被组确定单元456控制，并读出编码数据读出单元455读出的编码数据所属的组的所有编码数据，并从数据控制单元137输出到外部。输出编码数据时，第二编码数据输出单元460使结束确定单元461确定处理结束。

结束确定单元461确定编码数据的输入是否已经结束，并且在确定未结束的情况下，控制累计值初始化单元451并使得初始化累计值481。此外，在确定结束的情况下，结束确定单元461结束比特速率转换处理。

接下来，参照图27中的流程图将描述通过在图26所示的数据控制单元137的比特速率转换处理的流程例子。这种比特速率转换处理是与图20的流程图所示的比特速率转换处理相对应的处理。注意，除这种比特速率转换处理之外的处理以参照图17至图19描述的相同方式执行。

开始比特速率转换处理时，在步骤S131，累计值初始化单元451初始化累计值481的值。在步骤S132，编码数据获取单元452得到从视频信号解码单元136供给的编码数据。在步骤S133，编码数据累计控制单元453使在步骤S132得到的编码数据累计在存储器单元301中。在步骤S134，累计确定单元454确定是否已经累计N个行块的编码数据。在确定在存储器单元301还未累计N个行块的编码数据的情况下，处理返回到步骤S132，并且重复后续处理。此外，在步骤S134中确定在存储器单元301已经累计N个行块的编码数据的情况下，处理前进到步骤S135。

在N个行块的编码数据累计在存储器单元301时，在步骤S135，编码数据读出单元455把累计的N个行块的编码数据作为单个组，并且按预定顺序读出该组的编码数据。

在步骤S136，组确定单元456确定在步骤S135中读出的编码数据是否是要处理的组中要读出的最后编码数据。在确定不是要处理的组中的最后编码数据的情况下，处理前进到步骤S137。

在步骤S137，累计值计数单元457把步骤S132得到的编码数据的代码量添加到由此保持的累计值481，并且计数累计值。在步骤S138，累计结果确定单元458确定累计结果是否已经达到为该组指定的目标代码量(指定代码量)。在确定累计结果还未达到指定代码量的情况下，处理返回到步骤S135，并且对下个新编码数据重复从步骤S135继续的处理。

此外，在步骤S138确定累计结果已经达到指定代码量的情况下，处理前进到步骤S139。在步骤S139，第一编码数据输出单元459从存储器单元301读出并输出直到前一子带的编码数据。在结束步骤S139的处理时，处理前进到步骤S141。

此外，在步骤S136，在确定已经读出在组内的最后编码数据的情况下，处理前进到步骤S140。在步骤S140，第二编码数据输出单元460从存储器单元301读出组内的所有编码数据，并且输出。在结束步骤S140的处理时，处理前进到步骤S141。

在步骤S141，结束确定单元461确定是否已经处理所有行块。在确定有未处理行块存在的情况下，处理返回到步骤S131，并且对下个未处理行块重复后续处理。此外，在步骤S141中确定已处理所有行块的情况下，比特速率转换处理结束。

通过如以上那样进行比特速率转换处理，数据控制单元137可改进从比特速率转换后的数据得到的图像的图像质量。

在图3，数字三轴系统100已经描述成由一个传输单元110和一个摄像机控制单元112配置，但传输单元和摄像机控制单元各自的数量可以是多个。

图28表明本发明所应用的数字三轴系统的另一配置例子。图28所示的数字三轴系统是具有X(X是整数)个摄像机头(摄像机头511-1至摄像机头511-X)和一个摄像机控制单元512的系统，并且是与图3中的数字三轴系统100相对应的系统。

与图3中一个摄像机控制单元112控制一个传输单元110(视频摄像机单元113)的数字三轴系统100相反，图28中的数字三轴系统，一个摄像机控制单元512控制多个摄像机头(即，摄像机头511-1至摄像机头511-X)。就是说，摄像机头511-1至摄像机头511-X与图3中的传输单元110相对应，并且摄像机控制单元512与摄像机控制单元112相对应。

摄像机头511-1具有摄像机单元521-1、编码器522-1及解码器523-1，其中在摄像机单元521-1拍摄和得到的画面数据(运动图像)在编码器522-1被编码，并且把编码数据经主线D510-1(其是一个传输电缆系统)供给到摄像机控制单元512。此外，摄像机头511-1在解码器523-1解码由摄像机控制单元512经返回线D513-1供给的编码数据，并且把得到的运动图像显示在返回视图531-1(其是返回画面显示器)。

摄像机头511-2至摄像机头511-X也具有与摄像机头511-1相同的配置，并且进行相同处理。例如，摄像机头511-2具有摄像机单元521-2、编码器522-2及解码器523-2，其中在摄像机单元521-2拍摄和得到的画面数据(运动图像)在编码器522-2被编码，并且把编码数据经主线D510-2(其是一个传输电缆系统)供给到摄像机控制单元512。此外，摄像机头511-2在解码器523-2解码由摄像机控制单元512经返回线D513-2供给的编码数据，并且把得到的运动图像显示在返回视图531-2(其是返回画面显示器)。

摄像机头511-X也具有摄像机单元521-X、编码器522-X及解码器523-X，其中在摄像机单元521-X拍摄和得到的画面数据(运动图像)在编码器522-X被编码，并且把编码数据经主线D510-X(其是一个传输电缆系统)供给到摄像机控制单元512。此外，摄像机头511-X在解码器523-X解码由摄像机控制单元512经返回线D513-X供给的编码数据，并且把得到的运动图像显示在返回视图531-X(其是返回画面显示器)。

摄像机控制单元512具有切换单元(SW)541、解码器542、数据控制单元543、存储器单元544及切换单元(SW)545。经主线D510-1至主线D510-X供给的编码数据供给到切换单元(SW)541。切换单元(SW)541从这些选择一部分，并且把经选中线供给的编码数据供给到解码器542。解码器542解码编码数据，并且把解码画面数据经电缆D511供给到作为主线画面显示器的主视图546，并且使图像被显示。

此外，为了使摄像机头的用户确认从每个摄像机头送出的画面是否已经由摄像机控制单元512接收到，把画面数据重新发送到摄像机头作为返回视频画面。一般地，用于传输返回视频画面的返回线D513-1至返回线D513-X的带宽与主线D510-1至主线D510-X相比很窄。

相应地，摄像机控制单元512把解码器542解码之前的编码数据供给到数据控制单元543，并且使其比特速率转换成预定值。以与参照图16等描述的情形相同的方式，数据控制单元543使用存储器单元544把供给编码数据的比特速率转换成预定值，并且把比特速率转换后的编码数据供给到切换单元(SW)545。注意，为了简化描述，这里将省去包化的描述。就是说，用于包化返回编码数据的包化单元(与包化单元302相对应)将描述成被包括在数据控制单元543中。

切换单元(SW)545把返回线D513-1至返回线D513-X的线的一部分连接到数据控制单元543。就是说，切换单元(SW)545控制返回编码数据的传输目的地。例如，切换单元(SW)545把连接到作为编码数据的供给源的摄像机头的返回线连接到数据控制单元543，并且把作为返回视频画面的返回编码数据供给到摄像机头(其是编码数据的供给源)。

已得到编码数据(返回视频画面)的摄像机头借助于内建解码器解码，并且把解码画面数据供给到返回视图，并使图像被显示。例如，把返回编码数据经返回线D513-1从切换单元(SW)545供给到摄像机头511-1时，解码器523-1解码编码数据，经电缆D514-1供给到作为返回画面显示器的返回视图531-1，并使图像被显示。

把编码数据传输到摄像机头511-2至摄像机头511-X的情况是相同的。注意，下文中，没有必要把摄像机头511-1至摄像机头511-X的描述彼此区分的情况下，将简单地叫做摄像机头511。以相同方式，没有必要把摄像机单元521-1至摄像机单元521-X的描述彼此区分的情况下，将简单地叫做摄像机单元521，没有必要把编码器522-1至编码器522-X的描述彼此区分的情况下，将简单地叫做编码器522，没有必要把解码器523-1至解码器523-X的描述彼此区分的情况下，将简单地叫做解码器523，没有必要把主线D510-1至主线D510-X的描述彼此区分的情况下，将简单地叫做主线D510，没有必要把返回线D513-1至返回线D513-X的描述彼此区分的情况下，将简单地叫做返回线D513，在没有必要把返回视图531-1至返回视图531-X的描述彼此区分的情况下，将简单地叫做返回视图531。

如上所述，图28所示的摄像机控制单元512具有与图3所示的摄像机控制单元112相同的配置，并且也经切换单元(SW)541和切换单元(SW)545进行编码数据的交换，由此可选择摄像机头511用作与其交换编码数据的一方。就是说，摄像机控制单元512选作控制对象的摄像机头511的用户，即摄像人员，在拍摄同时，可确认拍摄图像正在摄像机控制单元512端(主视图)546如何显示。

通过控制多个摄像机头511的系统，摄像机控制单元512也使用数据控制单元543容易地控制返回运动图像数据的比特速率，并且能以低延迟传输编码数据。

在图29所示的常规数字三轴系统的情况下，摄像机控制单元561具有编码器562而非数据控制单元543，并且借助于编码器562重新编码在解码器542解码得到的运动图像数据，并输出。相应地，在图28所示的摄像机控制单元512把运动图像数据的比特速率转换成希望值比使用图29所示的摄像机控制单元561更容易，并且能以低延迟传输编码数据。

就是说，从拍摄到把返回运动图像显示在返回视图上的延迟时间在图28的系统的情形比在图29中的系统的情形更短，所以作为摄像机头511的用户的摄像人员能以低延迟确认返回运动图像。相应地，摄像人员在确认返回运动图像的同时，可容易地进行拍摄工作。具体地说，就图28所示的数字三轴系统而论，在摄像机控制单元512控制多个摄像机头511的情况下，控制对象的切换出现，所以在从拍摄到显示返回运动图像的延迟时间相对于切换间隙太长的情况下，摄像人员可能需要在几乎不能确认其运动图像的情况下拍摄。就是说，如图28所示，容易控制编码数据的比特速率的摄像机控制单元512缩短延迟时间甚至还具有额外的重要含义。

注意，摄像机控制单元512可以设置成同时控制多个摄像机头511。这种情况下，可以形成摄像机控制单元512把从每个摄像机头511供给的每个运动图像的编码数据(即相互不同的编码数据)传输到各个供给源的设置，或者可以形成单个运动图像的编码数据同时显示从每个摄像机头511供给的每个运动图像(即共享编码数据)供给到所有供给源的设置。

此外，如图30所示，可以取代摄像机控制单元561，而使用具有数据控制单元543和编码器562的摄像机控制单元581的设置。摄像机控制单元581可选地选择数据控制单元543和编码器562之一，并且用于产生返回编码数据。例如，在对主线编码数据的比特速率降低返回编码数据的比特速率的情况下，摄像机控制单元581选择数据控制单元543，供给解码之前的编码数据并引起比特速率转换，并由此可容易地以高速进行比特速率转换。此外，在对主线编码数据的比特速率升高返回编码数据的比特速率的情况下，摄像机控制单元581选择编码器，供给解码之后的运动图像数据并引起比特速率转换，并由此可适当进行比特速率转换。

这样的数字三轴系统用在广播站或类似设施，或者例如用在诸如体育比赛和音乐会和类似活动之类的事件的中转和类似操作中。这也可用作集中地管理设施中安装的监视摄像机的系统。

注意，上述数据控制单元可以应用于任何种类的系统或装置，并且例如可以使数据控制单元用作独立装置。就是说，可以形成作为比特速率转换装置。此外，例如，在用于编码图像数据的图像编码装置中，可以形成数据控制单元控制进行编码处理的编码单元的输出比特速率的设置。此外，关于图像解码装置，其解码已编码图像数据的编码数据，可以形成数据控制单元控制进行解码处理的解码单元的输出比特速率的设置。

例如，如图31所示，这可以应用于其中返回图像在通信装置(其交换主线图像数据)之间相互传输/接收的系统。

关于图31所示的通信系统，通信装置601和通信装置602交换运动图像数据。通信装置601把在摄像机611通过成像得到的运动图像数据作为主线运动图像数据供给到通信装置602，并且得到从通信装置602供给的主线运动图像数据和与通信装置601本身供给的主线运动图像数据相对应的返回运动图像数据，并且使这些数据显示在监视器612。

通信装置601具有编码器621、主线解码器622、数据控制单元623及返回解码器624。通信装置601编码从摄像机611供给的运动图像数据，并且把得到的编码数据供给到通信装置602。此外，通信装置601在主线解码器622解码通信装置602供给的主线编码数据，并且使图像显示在监视器612。此外，通信装置601在数据控制单元623转换从通信装置602供给的解码之前的编码数据的比特速率，并且供给到通信装置602作为返回编码数据。另外，通信装置601得到通信装置602供给的返回编码数据，在返回解码器624解码，并使图像显示在监视器612。

以相同方式，通信装置602具有编码器641、主线解码器642、数据控制单元643及返回解码器644。通信装置602编码从摄像机631供给的运动图像数据，并且把得到的编码数据供给到通信装置601。此外，通信装置602在主线解码器642解码通信装置601供给的主线编码数据，并且使图像显示在监视器632。此外，通信装置602在数据控制单元643转换从通信装置601供给的解码之前的编码数据的比特速率，并且供给到通信装置601作为返回编码数据。另外，通信装置602得到通信装置601供给的返回编码数据，在返回解码器644解码，并使图像显示在监视器632。

这个编码器621和编码器641与图3的视频信号编码单元120相对应，主线解码器622和主线解码器642与图3的视频信号解码单元136相对应，数据控制单元623和数据控制单元643与图3的数据控制单元137相对应，并返回解码器624和返回解码器644与图3的视频信号解码单元121相对应。

就是说，通信装置601和通信装置602都具有图3的传输单元110和摄像机控制单元112的配置和功能，并且把自己一端摄像机(摄像机611或摄像机631)得到的拍摄图像的编码数据相互供给另一方，并得到从另一方供给的在另一方摄像机拍摄的拍摄图像的主线运动图像、以及从自身传输到另一方的拍摄图像的返回运动图像的编码数据。

这时，通信装置601和通信装置602如图3的情形那样可使用数据控制单元623或数据控制单元643，由此可容易地以高速控制返回编码数据的比特速率，并且能以甚至更低的延迟传输返回编码数据。

注意，在通信装置601、通信装置602、摄像机611、监视器612、摄像机631及监视器632之间的箭头指示数据的传输方向，并不指示总线(或电缆)本身。就是说，装置之间的总线(或电缆)的数量是可选的。

图32表明监视器612或监视器632上的图像的显示例子。图32所示显示屏幕651显示的是，除在摄像机631拍摄的另一通信方的运动图像661外，摄像机611本身拍摄的运动图像662、以及返回运动图像663。运动图像662是供给到作为主线通信的另一方的通信装置的运动图像，并且运动图像663是与运动图像662相对应的返回运动图像。就是说，运动图像663是用于确认运动图像662在另一通信方的监视器上已如何显示的图像。

相应地，通信装置601端的用户使用摄像机611和监视器612，通信装置602端的用户使用摄像机631和监视器632，可相互进行通信(运动图像的交换)。注意，为了解释简单将省去声频。这样，用户可看到诸如在图32示范表示之类的图像，可同时不仅看到另一方的拍摄图像，而且也看到在自己端摄像机拍摄的拍摄图像，以及用于确认所拍摄图像在另一方如何显示的图像。

运动图像662和运动图像663是相同内容的运动图像，但如上所述，运动图像数据已被压缩编码在通信装置之间的通信中传输。相应地，通常情况下，另一方显示的图像(运动图像663)具有相对于拍摄时的图像(运动图像662)变坏的图像质量，并且看上去可能不同，相应地用户之间的通话不能持续。例如，在运动图像662中可确认的画面可能在运动图像663中不能够确认，并且用户可能不能基于该图像相互通话。相应地，能够确认运动图像在另一方正在如何显示是非常重要的。

这时，直到确认运动图像的显示之前出现长延迟时间的情况下(即，在运动图像662与运动图像663之间的延迟时间太长的情况下)，用户可能在难以确认运动图像的同时找到通话(呼叫)。相应地，为了通信装置601和通信装置602能够以较低延迟传输返回编码数据，更重要的是按照进行通话的必要性同时确认运动图像663。

此外，通过允许容易地进行返回编码数据的控制，返回编码数据的传输所需的频带可容易地减小。就是说，返回编码数据例如可按照传输路径的频带限制或显示屏幕的情况以适当比特速率传输。这种情况下，也能以低延迟传输编码数据。

这样一种系统可用于例如在相互分开的会议室之间交换运动图像的视频会议系统、医师检查在远程位置的病人的远程医疗系统等。如上所述，图31所示的系统使得返回编码数据能够以低延迟传输，所以例如，可高效地完成呈现和指令并可精确地进行检查。

注意，上文中已描述在数据控制单元137控制编码数据的比特速率的情况下，数据控制单元137计数代码量，但可以形成如下配置，例如，通过作为编码器的视频信号编码单元120的预定方法使要传输的编码数据被标记，标记的位置是与转换后的比特速率相对应的目标代码量达到的位置。就是说，视频信号编码单元120确定在数据控制单元137的代码流截止点。这种情况下，数据控制单元137简单地通过探测标记位置可容易地辨别编码流截止。就是说，数据控制单元137可省去代码量的计数。这种标记可由任何方法进行。例如，指示代码流截止位置的标志信息可以提供在包首部。当然，也可以使用其它方法。

此外，上文中已描述在数据控制单元137临时累计编码数据，但数据控制单元137计数所得到编码数据的代码量就足够了，并且只需要输出相当于必要代码量的编码数据，不是必须临时累计所得到的编码数据。例如，可以形成这样一种设置：其中数据控制单元137得到按照从低频带分量起的顺序供给的编码数据，输出编码数据同时计数所得到编码数据的代码量，并在计数值达到目标代码量时停止编码数据的输出。

另外，上述系统中数据传输路径，如总线、网络等，可以是无线的或可以是有线的。

如上所述，本发明可应用于各种实施例，并且可容易地应用于各种用途(即，具有很高通用性)，这也是其重大优点。

现在，使用上述数字三轴系统，对三轴电缆(同轴电缆)上的数据传输使用OFDM(正交频分多路复用(Orthogonal Frequency DivisionMultiplexing))。OFDM是一种数字调制类型的方法，其中正交性用于以没有相互干扰的方式密集排列多个载波，并且在频率轴上并行传输数据。关于OFDM，正交性使得能够改进频率的使用效率，并且可实现高效使用窄频率范围的带宽传输。关于上述数字三轴系统，使用多个这样的OFDM并使每个调制信号经受频率多路复用以用于数据传输，实现了具有甚至更大容量的数据传输。

图33表明用数字三轴系统传输的数据频率分布的例子。如上所述，要传输的数据由多个OFDM调制器调制到相互不同的频带。相应地，如图33所示，调制数据被分配到具有相互不同频带的多个OFDM频道(OFDM频道1001、OFDM频道1002、OFDM频道1003、OFDM频道1004、...)。在图33中，箭头1001A指示OFDM频道1001的频带中心。以相同方式，箭头1002A至箭头1004A每个指示OFDM频道1002至OFDM频道1004的频带中心。箭头1001A至箭头1004A的频率(每个OFDM频道的中心)和每个OFDM频道的带宽事先确定为不重叠。

这样，关于数字三轴系统，数据在多个频带传输，但在使用三轴电缆的数据传输的情况下，例如有如下性质：高频带增益由于诸如三轴电缆的电缆长度、重量、材料等之类的原因容易衰减。

图34所示的曲线表明三轴电缆由于电缆长度而发生增益衰减的例子。图34的曲线中，线1011指示在三轴电缆的电缆长度很短的情况下每个频率的增益，线1012指示在三轴电缆的电缆长度很长的情况下每个频率的增益。如线1011指示的那样，电缆长度很短的情况下，高频带分量的增益一般与低频带分量的增益相同。相反，如线1012指示的那样，电缆长度很长的情况下，高频带分量的增益小于低频带分量的增益。

就是说，在电缆长度很长的情况下，衰减速率对高频带分量比对低频带分量更大，数据传输中的符号错误率由于增大的噪声分量而更高，因此，错误率在解码处理中可能较高。在数字三轴系统，单个数据被指定给多个OFDM频道，所以在高频带分量的解码处理失败的情况下，不可能进行整个图像的解码(即，解码图像变坏)。

关于数字三轴系统，如上所述要求低延迟数据传输，所以实际上不可能通过重新传输、冗余数据缓冲等减小符号错误率。

相应地，为了避免解码处理的失败，需要增大错误校正比特的指定量等以降低传输速率并以更适当方式进行数据传输，但在只有高频带分量具有巨大衰减速率且在低频带分量中得到足够增益的情况下，进行速率控制以匹配高频带分量可能不必要地降低传输效率。如上所述，对于数字三轴系统，要求低延迟数据传输，所以数据传输效率越高越好。

相应地，可以设置为其中用于速率控制目的的OFDM控制在高频带侧和低频带侧分离地进行。图35是方块图，表明这种情况下数字三轴系统的配置例子。图35所示的数字三轴系统1100是基本上与图3所示的数字三轴系统100相同的系统，并且基本上具有与数字三轴系统100相同的元件，但在图35，只示出了描述所需部分。

数字三轴系统1100具有由三轴电缆1111相互连接的传输单元1110和摄像机控制单元1112。传输单元1110基本上具有与图3中的传输单元110相同的配置，并且三轴电缆1111基本上是与图3中的三轴电缆111相同的同轴电缆，摄像机控制单元1112基本上具有与图3中的摄像机控制单元112相同的配置。

在图35，为了便于描述，只显示与编码从未示出视频摄像机单元供给的视频信号和通过OFDM调制、经三轴电缆1111把调制信号传输到摄像机控制单元1112的传输单元1110、和调制并解码接收的调制信号和输出到下游系统的摄像机控制单元1112的操作有关的配置。

就是说，传输单元1110具有与传输单元110的视频信号编码单元120相同的视频信号编码单元1120、与传输单元110的数字调制单元122相同的数字调制单元1122、与传输单元110的放大器124相同的放大器1124及与传输单元110的视频分割/合成单元126相同的视频分割/合成单元1126。

视频信号编码单元1120以与参照图4描述的视频信号编码单元120相同的方法压缩从未示出视频摄像机单元供给的视频信号，并且把编码数据(编码流)供给到数字调制单元1122。

如图35所示，数字调制单元1122具有低频带调制单元1201和高频带调制单元1202，并且通过OFDM方法调制低频带和高频带的两个频带的编码数据(下文，OFDM方法调制将称作“OFDM”)。就是说，数字调制单元1122把从视频信号编码单元1120供给的编码数据分割成两部分，并且使用低频带调制单元1201和高频带调制单元1202，如参照图33描述那样在相互不同频带(OFDM频道)各自调制(当然，低频带调制单元1201比高频带调制单元1202在更低频带进行OFDM)。

注意，这里描述了假定数字调制单元1122具有两个调制单元(低频带调制单元1201和高频带调制单元1202)并且对两个OFDM频道进行调制，但数字调制单元1122具有的调制单元的数量(即，OFDM频道的数量)可以是任何数量，只要它是多个且可实现的数量。

低频带调制单元1201和高频带调制单元1202各自把其中编码数据已经受OFDM的调制信号供给到放大器1124。

放大器1124使调制信号如图33所示经受频率多路复用并放大，并且供给到视频分割/合成单元1126。视频分割/合成单元1126把视频信号的供给调制信号与同调制信号一起传输的其它信号合成，并且经三轴电缆111把合成信号传输到摄像机控制单元1112。

这样，经过OFDM的视频信号经三轴电缆1111传输到摄像机控制单元1112。

摄像机控制单元1112具有与摄像机控制单元112的视频分割/合成单元130相同的视频分割/合成单元1130、与摄像机控制单元112的放大器131相同的放大器1131、与摄像机控制单元112的前端单元133相同的前端单元1133、与摄像机控制单元112的数字解调单元134相同的数字解调单元1134及与摄像机控制单元112的视频信号解码单元136相同的视频信号解码单元1136。

接收到从传输单元1110传输的信号时，视频分割/合成单元1130把视频信号的调制信号与信号相分离并且抽取调制信号，并供给到放大器1131。放大器1131放大信号，并且供给到前端单元1133。前端单元1133如前端单元133那样，具有用于调节输入信号增益的增益控制单元、和用于对输入信号进行预定滤波处理的滤波器单元，并且对放大器1131供给的调制信号进行增益调节和滤波处理等，并把处理后的信号供给到数字解调单元1134。

如图35所示，数字解调单元1134具有低频带解调单元1301和高频带解调单元1302，并且使用低频带解调单元1301和高频带解调单元1302在它们的相应频带中通过OFDM方法对低频带和高频带两个频带(OFDM频道)解调经过OFDM的调制信号(当然，低频带解调单元1301比高频带解调单元1302在更低频带进行OFDM频道的调制信号的解调)。

注意，这里描述了假定数字解调单元1134具有两个解调单元(低频带解调单元1301和高频带解调单元1302)并且关于两个OFDM频道进行解调，但数字解调单元1134具有的解调单元的数量(即，OFDM频道的数量)可以是任何数量，只要它与数字调制单元1122具有的调制单元的数量(即，OFDM频道的数量)相同。

低频带解调单元1301和高频带解调单元1302各自把通过解调得到的编码数据供给到视频信号解码单元1136。

视频信号解码单元1136把从低频带解调单元1301和高频带解调单元1302供给的编码数据通过与其分割方法相对应的方法合成为一个，并且与参照图12等描述的视频信号解码单元136相同的方法解压缩和解码编码数据。视频信号解码单元1136把得到的视频信号输出到下游处理单元。

注意，如图35所示，至于以上所述的传输单元1110与摄像机控制单元1112之间经三轴电缆1111的数据传输的系统，数字三轴系统1100具有速率控制单元1113用于控制以便以稳定方式进一步数据传输，从而失败不发生(从而解码处理不失败)。

速率控制单元1113包括调制控制单元1401、编码控制单元1402、C/N比(载波噪声比)测量单元1403、错误率测量单元1404及测量结果确定单元1405。

调制控制单元1401控制数字调制单元1122(低频带调制单元1201和高频带调制单元1202)进行调制的星座(constellation)信号点距离和错误校正比特指定量。关于OFDM，采用诸如PSK(相移键控：相位调制)(包括DPSK(微分相移键控：微分相位调制))和QAM(正交调幅：Quadrature Amplitude Modulation)之类的数字调制方法。星座主要是一种数字调制波的观察方法，并用于观察画出信号轨迹的散布，以便在相互正交I-Q坐标下向后和向前游动理想信号点。星座信号点距离指示在I-Q坐标下信号点之间的距离。

关于星座，信号中包括的噪声分量越大，信号轨迹散布得越大。就是说，一般地，信号距离越短，噪声分量造成的符号错误发生得越容易，并且解码处理对噪声分量的耐受性变得越弱(解码处理越容易失败)。

相应地，调制控制单元1401通过基于高频带和低频带各自的衰减速率设置用于低频带调制单元1201和高频带调制单元1202各自的调制方法而控制在每种调制处理中的信号点距离的长度，从而可抑制符号错误率的过分升高并能以稳定方式进行数据传输。注意，事先设置调制控制单元1401设置的用于小和大衰减速率情形各自的调制方法。

另外，调制控制单元1401基于高频带分量和低频带分量的衰减速率，对低频带调制单元1201和高频带调制单元1202各自设置关于数据的错误校正比特指定量(专用于数据的错误校正比特长度)，从而可进一步抑制符号错误率的过分升高并且能以甚至更稳定的方式进行数据传输。增大错误校正比特指定量(使错误校正比特长度更长)意味着，数据传输效率由于原本不需要数据量而变坏，但可降低噪声分量造成的符号错误率，所以可加强解码处理对噪声分量的耐受性。注意，事先设置调制控制单元1401设置的用于小和大衰减速率情形各自的错误校正比特指定量。

编码控制单元1402控制视频信号编码单元1120进行压缩编码的压缩率。编码控制单元1402控制视频信号编码单元1120并且设置压缩率，其中在衰减很大的情况下，把压缩率设置得很高从而减小编码数据的数据量，减小数据传输速率。注意，事先设置调制控制单元1401设置的用于小和大衰减速率情形各自用于压缩率的值。

C/N比测量单元1403对于视频分割/合成单元1130接收和供给到放大器1131的调制信号，测量C/N比，其是载波和噪声的比值。C/N比(CNR)可由例如如下表达式(4)得到。单位是[dB]。

CNR[dB]＝10log(PC/PN)...(4)

其中PN是噪声功率[W]，并且PC是载波功率[W]。

C/N比测量单元1403把测量结果(C/N比)供给到测量结果确定单元1405。

基于通过数字解调单元1134(低频带解调单元1301和高频带解调单元1302)的解调处理的处理结果，错误率测量单元1404测量在其解调处理中的错误率(符号错误发生率)。错误率测量单元1404把测量结果供给到测量结果确定单元1405。

测量结果确定单元1405基于由C/N比测量单元1403测量的从摄像机控制单元1112接收的传输数据的C/N比和由错误率测量单元1404测量的解调处理的错误率的至少一个，确定传输数据的低频带分量和高频带分量的衰减速率，并且把其确定结果供给到调制控制单元1401和编码控制单元1402。调制控制单元1401和编码控制单元1402各自基于确定结果(例如，高频带分量的衰减速率是否明显大于低频带分量)进行以上所述之类的控制。

将参照图36的流程图描述在这个速率控制单元1113执行的速率控制处理流程的例子。

例如在预定时序，如传输单元1110与摄像机控制单元1112之间开始数据传输时，执行速率控制处理。速率控制处理开始时，在步骤S201，调制控制单元1401控制数字调制单元1122，以把星座信号点距离和错误校正比特指定量设置为用于所有频带的共用值，其在衰减速率不大的情况下事先确定而设置。就是说，调制控制单元1401对于低频带调制单元1201和高频带调制单元1202都设置相同的调制方法和相同的错误校正比特指定量。

在步骤S202，编码控制单元1402控制视频信号编码单元1120，以把压缩比设置为在衰减速率不大的情况下事先确定而设置的预定初始值。

在低频带和高频带都以这种方式设置为相同的状态下，在步骤S203，调制控制单元1401和编码控制单元1402控制传输单元1110的每个部分，从而在设置值执行各种处理，并且事先确定的预定压缩数据传输到摄像机控制单元1112。

例如，速率控制单元1113(调制控制单元1401和编码控制单元1402)使事先确定的预定视频信号(图像数据)输入到传输单元1110，使视频信号编码单元1120编码视频信号，使数字调制单元1122进行编码数据的OFDM，使放大器1124放大调制信号，并使视频分割/合成单元1126传输信号。如此传输的传输数据经三轴电缆1111传输，并且在摄像机控制单元1112接收。

C/N比测量单元1403在步骤S204对每个OFDM频道测量以这种方式传输的传输数据的C/N比，并且把测量结果供给到测量结果确定单元1405。在步骤S205，错误率测量单元1404测量对每个OFDM频道通过数字解调单元1134的调制处理中的符号错误发生率(错误率)，并且把测量结果供给到测量结果确定单元1405。

在步骤S206，测量结果确定单元1405基于从C/N比测量单元1403供给的C/N比和从错误率测量单元1404供给的错误率，确定传输数据的高频带分量的衰减速率是否等于或高于预定阈值。在传输数据的高频带的衰减速率明显高于低频带的衰减速率、并确定高频带的衰减速率等于或高于预定阈值的情况下，测量结果确定单元1405使处理前进到步骤S207。

在步骤S207，调制控制单元1401转换高频带调制单元1202的调制方法以便加宽高频带分量的星座信号点距离，并且另外在步骤S208，改变设置值以便增大高频带调制单元1202的错误校正比特指定量。

此外，在步骤S208，编码控制单元1402控制视频信号编码单元1120以升高压缩率。

如上所述改变设置值时，速率控制单元1113结束速率控制处理。

此外，在步骤S206中高频带的衰减速率大致与低频带相同、并确定高频带的衰减速率小于阈值的情况下，测量结果确定单元1405省去步骤S207至步骤S209的处理，并且结束速率控制处理。

如上所述，速率控制单元1113控制每个调制单元(每个OFDM频道)的信号点距离(调制方法)和错误位指定量，由此传输单元1110和摄像机控制单元1112能以更稳定和更高效的方式进行数据传输。相应地，可实现更稳定且低延迟的数字三轴系统。

注意，上文中为了便于描述，已描述了关于两个OFDM频道的情形(其中数字调制单元1122具有低频带调制单元1201和高频带调制单元1202两个调制单元的情形)，但OFDM频道的数量(调制单元的数量)是可选性，并且例如可以有三个或更多个调制单元。这种情况下，这些调制单元根据OFDM频道频带可以分割成高频带和低频带两组，如参照图36的流程图描述的那样对每一组如上所述进行速率控制，或者可以对三个或更多个调制单元(或组)进行参照图36的流程图描述的速率控制。

例如，在三个调制单元的情况下，可以为每个调制单元确定衰减速率。就是说，这种情况下，对低频带、中频带及高频带三个的传输数据测量C/N比和错误率。每个调制单元的设置值如上所述把初始值设置为对所有频带共用的值(方法)，并且在只有高频带具有大衰减速率的情况下，只改变高频带解调单元的设置值，在高频带和中频带的衰减速率大的情况下，只改变高频带和中频带调制单元的设置值。把视频信号编码单元1120的压缩率的设置值安排为，频带的衰减速率越大，压缩率越大。

通过以这种方式以更精细频带进行控制，更适于三轴电缆的衰减特性的控制，并且在稳定状态下可进一步改进数据传输效率。

注意，可以采用任何速率控制，只要是用于三轴电缆的衰减特性的较适当控制，并且在如上所述对三个或更多个调制单元进行速率控制的情况下，控制方法可以是上述之外的方法，如改变每个频带的错误校正比特指定量、或类似的。

此外，尽管在上文中已经描述了在预定时序，如开始数据传输时，进行速率控制，但这种速率控制的时序和执行次数是可选的，并且例如，可以形成这样一种设置：其中速率控制单元1113也在实际数据传输期间测量实际衰减速率(C/N比和错误率)，并且实时(即时地)控制调制方法、错误校正比特指定量及压缩率的至少一个。

另外，尽管C/N比和错误率已经描述成用于确定衰减速率的指示符，但什么种类的参数以什么方式计算或确定衰减速率是可选的。相应地，可以测量除上述那些之外的参数，例如S/N比(信噪比)。

此外，尽管图35只描述了其中速率控制单元1113控制从传输单元1110经三轴电缆1111到摄像机控制单元1112进行数据传输的情形，但如上所述，对于数字三轴系统，也有从摄像机控制单元1112向传输单元1110进行数据传输的情形。速率控制单元1113对于这样一种传输系统也可以进行速率控制。同样在这样的情况下，对于传输系统的数据传输，方法基本上与图35所示情形相同，尽管方向改变，速率控制单元1113也能以参照图35和图36描述的情形相同的方式进行速率控制。

另外，尽管在上文中已经描述了速率控制单元1113与传输单元1110和摄像机控制单元1112相分离地配置，但速率控制单元1113的各个部分的配置方法是可选的，并且可以形成例如速率控制单元1113内制到传输单元1110或摄像机控制单元1112之一的设置。此外，例如，可以形成这样一种设置：其中传输单元1110和摄像机控制单元1112各自构建在速率控制单元1113的不同部分，例如，把调制控制单元1401和编码控制单元1402构建在传输单元1110，并且把C/N比测量单元1403、错误率测量单元1404及测量结果确定单元1405构建在摄像机控制单元1112，等。

现在，例如图3所示之类的数字三轴系统常常实际实施成多个摄像机和多个CCU相组合的大系统，如图37所示。例如，对于图37所示的数字三轴系统1500配置为图3所示的三个配置被复合。就是说，对于数字三轴系统1500，摄像机1511至摄像机1513与图3的视频摄像机单元113和传输单元110相对应，各自通过与图3的三轴电缆111相对应的三轴电缆1521至三轴电缆1523连接到与图3的摄像机控制单元112相对应的CCU1531至CCU1533，从而形成与图3所示的传输系统相同的三个传输系统。注意，从CCU1531至CCU1533的每一个输出的数据通过转换开关1541的选择操作被放在一起，作为单个系统的数据。

例如，对于参照图3描述之类的单系统数字三轴系统，为了使从摄像机拍摄(产生图像数据)到图像数据从CCU输出的延迟是低延迟，如下足以：构建在各个摄像机中的编码器和构建在CCU中的解码器基于各自的唯一同步信号而操作，使编码器在摄像机通过拍摄得到图像数据时执行编码处理，并使解码器在编码数据被传输到CCU时解码编码数据。然而，对于如图37所示之类的具有多个传输系统的系统，需要把每个CCU输出的图像数据的时序(相位)相匹配，以便在转换开关1541放在一起。

相应地，如图37所示，作为外部同步信号的基准信号1551不仅供给到每个CCU，而且也经每个CCU供给到每个摄像机。就是说，构建在各个摄像机中的编码器和构建在各个CCU中的解码器的操作都与这个基准信号1551同步。这样，每个系统的数据传输，即来自每个CCU的图像数据的输出时序可相互同步，而不进行不必要的缓冲或类似操作。就是说，在保持低延迟的同时，可保持在系统中的同步。

然而，一般地，从摄像机到CCU的数据传输不能没有延迟地进行。就是说，为了不进行不必要的缓冲(即，抑制延迟增大)，希望构建在CCU中的解码器的解码处理执行时序比构建在摄像机中的编码器的编码处理执行时序稍晚些。

这一执行时序的适当延迟时间取决于传输系统延迟时间，并且相应地，例如由于各种因素，如电缆长度或类似参数，在系统之间可能不同。相应地，可以形成这样一种设置：其中为每个系统对这个延迟时间得到适当值，并且基于用于每个系统的值设置编码器与解码器之间的同步时序。通过以这种方式设置每个系统的同步时序，可基于基准信号在系统之间形成同步，同时还保持低延迟。

以与实时相同的方式，延迟时间的计算通过从摄像机到CCU传输图像数据而进行。这时，要传输的图像数据的数据量是不必要地很大(即，图像内容复杂)的情况下，延迟时间可以设置得比实际进行数据传输所需的延迟时间更大。就是说，不必要的延迟时间可能出现在数据传输中。

图38表明在图37的数字三轴系统1500中的数据传输方式的例子，并表明在从摄像机到CCU传输图像数据时处理时序方式在每个处理过程的例子。在图38，每层的T1至T5代表基准信号的同步时序。

在图38，最顶层表明数据在用摄像机拍摄得到图像数据(图像输入)时的方式。如这里表示的那样，在T1至T4的每个时序，输入相当于一帧的图像数据(图像数据1601至图像数据1604)。

在图38，从顶部数第二层表明数据在构建在摄像机中的编码器进行编码处理(编码)时的方式。如这里表示的那样，在时序T1，当构建在摄像机中的编码器借助于参照图4等描述之类的编码方法编码图像数据1601时，产生相当于两个包的编码数据(包1611和包1612)。这里，“包”指示分割成每个预定数据量的编码数据(编码数据的部分数据)。以这相同方式，在时序T2，由图像数据1602产生相当于五个包的编码数据(包1613至包1617)，在时序T3，由图像数据1603产生相当于两个包的编码数据(包1618和包1619)，在时序T4，由图像数据1604产生相当于一个包的编码数据(包1620)。这里注意，用方块包围的包1611、包1613、包1618及包1620代表每个帧的图像数据的首部包。

在图38，从顶部数第三层表明数据在从摄像机传输到CCU(传输)时的方式。如这里表示的那样，关于从摄像机到CCU的传输，设置传输速率的上限，并且如果说在每个时序可传输最多三个包，则在从顶部数第二层用虚线包围的时序T2的两个包(包1616和包1617)将在下个时序T3传输。就是说，如箭头1651指示的那样，传输时序偏移一个时序。相应地，如箭头1652指示的那样，首部包1618在时序T3结束时传输，并且在从顶部数第二层用虚线包围的包1619将在下个时序T4传输。

如箭头1653指示那样，首部包1620在时序T4的结束时传输。

如上所述，有的情况是如果代码量很大则数据传输需要时间，从而数据传输在一个时序内不能结束。在图38，底层表明数据在构建在CCU中的解码器解码传输编码数据时的方式的例子。在这情况下，从图像数据1602产生的包1613至包1617在时序T3都呈现在CCU端，并且相应地这些的解码处理在时序T3进行。

相应地，可进行连续解码，从图像数据1601产生的包1611和包1612在时序T2被解码，从图像数据1603产生的包1618和包1619在时序T4被解码，并从图像数据1604产生的包1620在时序T5被解码。

如上所述，在使用有大数据量的图像数据(例如图像数据1602)测量延迟时间的情况下，可以测量不必要的延迟时间。相应地，在传输图像数据以测量延迟时间的情况下，可以设置为使用具有很小数据量的图像数据，例如黑图像或白图像。

图39是方块图，表明这种情况下的数字三轴系统的配置例子。图39所示的数字三轴系统1700是与参照图37描述的数字三轴系统1500的一部分相对应的系统，并且基本上具有与图3的数字三轴系统100相同的配置。仅描述所需的配置被显示在图39。

如图39所示，数字三轴系统1700具有与例如数字三轴系统1500(图37)的摄像机1511相对应的视频摄像机单元1713和传输单元1710、与例如数字三轴系统1500(图37)的三轴电缆1521相对应的三轴电缆1711及与例如数字三轴系统1500(图37)的CCU1531相对应的摄像机控制单元1712。注意，视频摄像机单元1713也与数字三轴系统100(图3)的视频摄像机单元113相对应，传输单元1710也与数字三轴系统100(图3)的传输单元110相对应，三轴电缆1711也与数字三轴系统100(图3)的三轴电缆111相对应，摄像机控制单元1712也与数字三轴系统100(图3)的摄像机控制单元112相对应。

传输单元1710具有与传输单元110的视频信号编码单元120等效的视频信号编码单元1720，并且摄像机控制单元1712具有与摄像机控制单元112的视频信号解码单元136等效的视频信号解码单元1736。传输单元1710的视频信号编码单元1720以与参照图4等描述的视频信号编码单元120相同的方法编码从视频摄像机单元1713供给的图像数据。另外，传输单元1710对所得到的编码数据进行OFDM，并且把得到的调制信号经三轴电缆1711传输到摄像机控制单元1712。接收到调制信号时，摄像机控制单元1712借助于OFDM方法解调。摄像机控制单元1712的视频信号解码单元1736解码通过解调得到的编码数据，并且把得到的图像数据输出到下游系统(例如，转换开关或类似装置)。

注意，外部同步信号1751供给到摄像机控制单元1712。此外，外部同步信号1751经三轴电缆1711也供给到传输单元1710。传输单元1710和摄像机控制单元1712借助于外部同步信号同步地操作。

此外，传输单元1710具有同步控制单元1771，用于控制与摄像机控制单元1712的同步时序。以相同方式，摄像机控制单元1712具有同步控制单元1761，用于控制与传输单元1710的同步时序。当然，外部同步信号1751也供给到同步控制单元1761和同步控制单元1771。同步控制单元1761和同步控制单元1771各自进行控制，从而摄像机控制单元1712和传输单元1710在与外部同步信号1751同步的同时，彼此具有适当同步时序。

参照在图40的流程图将描述控制处理流程的例子。

开始控制处理时，在步骤S301，摄像机控制单元1712的同步控制单元1761与同步控制单元1771进行通信，并且建立命令通信，从而交换控制命令。与此相对应，在步骤S321，传输单元1710的同步控制单元1771也以相同方式与同步控制单元1761进行通信，并且建立命令通信。

一旦交换控制命令，在步骤S302，同步控制单元1761就向同步控制单元1771输入一个黑图像，其是相当于所有像素都是黑的一幅图像，到编码器。同步控制单元1771具有带有很小数据量的黑图像的图像数据1781(相当于其中所有像素都是黑的一幅图像)(下文叫做黑图像1781)，并且在步骤S322从同步控制单元1761接收到指令的情况下，在步骤S323把这个黑图像1781供给到视频信号编码单元1720(编码器)，并且在步骤S324控制视频信号编码单元1720并以对视频摄像机单元1713供给的图像数据(实际情形)相同的方式编码黑图像1781。另外，同步控制单元1771在步骤S325控制传输单元1710，并且开始所得到编码数据的数据传输。更具体地说，同步控制单元1771控制传输单元1710，使编码数据以与实际相同的方式受到OFDM，并使得到的调制信号经三轴电缆1711传输到摄像机控制单元1712。

在向同步控制单元1771给出指令之后，在步骤S303和步骤S304，同步控制单元1761等待，直到调制信号从传输单元1710传输到摄像机控制单元1712。在步骤S304，在摄像机控制单元1712确定已经接收到数据(调制信号)的情况下，同步控制单元1761使处理前进到步骤S305，控制摄像机控制单元1712，借助于OFDM方法解调调制信号，并使视频信号解码单元1736开始解码(decoding)得到的编码数据。在使解码开始时，同步控制单元1761在步骤S306和S307等待，直到完成解码。在步骤S307确定解码完成并已经得到黑图像的情况下，同步控制单元1761使处理前进到步骤S308。

在步骤308，同步控制单元1761如上所述基于从在步骤S302发出指令到在步骤S307确定解码已完成的时间，设置视频信号解码单元1736的解码开始时序(相对于视频信号编码单元1720的编码开始时序的相对时序)。当然，这个时序与外部同步信号1751同步。

在步骤309，同步控制单元1761向同步控制单元1771给出指令，以把成像图像从视频摄像机单元1713输入到编码器。在步骤S326得到指令时，在步骤S327中同步控制单元1771控制传输单元1710，并且在预定时序使从视频摄像机单元1713供给的成像图像的图像数据供给到视频信号编码单元1720。

视频信号编码单元1720在与其供给时序相对应的预定时序开始成像图像的编码。此外，视频信号解码单元1736基于在步骤S308中进行的设置，在与编码开始时序相对应的预定时序开始解码。

如上所述，同步控制单元1761和同步控制单元1771使用具有很小数据量的图像数据在编码器与解码器之间进行同步时序的控制，并且相应地可抑制由同步时序的设置造成的不必要延迟时间的增大。相应地，数字三轴系统1700在保持低延迟并抑制数据传输所需缓冲的增大的同时，可使图像数据的输出与其它系统同步。

注意，上文中已经描述了对同步时序的控制使用黑图像，但数据量很小就足够了，并且例如可以使用任何图像，例如其中所有像素都是白的图像的白图像。

此外，上文中已经描述了构建在摄像机控制单元1712中的同步控制单元1761把诸如开始编码等之类的指令给出到构建在传输单元1710中的同步控制单元1771，但不限于此，并且可以形成这样一种设置：其中同步控制单元1771用作进行控制处理的主体，并且给出诸如解码开始等之类的指令。此外，同步控制单元1761和同步控制单元1771都可配置成与传输单元1710和摄像机控制单元1712相分离。此外，同步控制单元1761和同步控制单元1771可以配置为单个处理单元，这时，同步控制单元1761和同步控制单元1771可以构建在传输单元1710中，或者可以构建在摄像机控制单元1712中，或者可以与它们相分离地配置。

上述处理序列可以由硬件执行，或者可以由软件执行。在软件实现处理序列的情况下，构成软件的程序从程序记录介质安装到组装成专用硬件的计算机中，或者安装到例如通过具有安装的各种类型的程序能够执行各种类型的功能的通用个人计算机中，或者安装到多个装置组成的信息处理系统的信息处理装置中。

图41是方块图，表明通过程序执行上述处理序列的信息处理系统的例子。

如图41所示，信息处理系统2000是由如下装置构成的系统：信息处理装置2001、通过PCI总线2002连接到信息处理装置2001的存储装置2003、多个磁带录像机(VTR)VTR2004-1至VTR2004-S、鼠标2005、键盘2006及用户对这些进行操作输入的操作控制器2007，并通过安装程序用于进行上述之类的图像编码处理和图像解码处理及类似处理的系统。

例如，信息处理系统2000的信息处理装置2001可在RAID(独立盘的冗余阵列)组成的大容量存储装置2003中记录通过编码在存储装置2003存储的运动图像内容得到的编码数据，在存储装置2003存储通过解码在存储装置2003存储的编码数据得到的解码图像数据(运动图像内容)，经由VTR2004-1至VTR2004-S把编码数据和解码图像数据记录在录像带，等。此外，信息处理装置2001也设置成，在安装到VTR2004-1至VTR2004-S上的录像带中记录的运动图像内容可取到存储装置2003中。这时，信息处理装置2001可以编码运动图像内容。

信息处理装置2001具有微处理器2101、GPU(图形处理单元)2102、XDR(极值数据速率)-RAM2103、南桥(south bridge)2104、HDD(硬盘驱动器)2105、USB(通用串行总线)接口(USB I/F(接口))2106及声音输入/输出编码解码器2107。

GPU2102经专用总线2111连接到微处理器2101。XDR-RAM2103经专用总线2112连接到微处理器2101。南桥2104经专用总线连接到微处理器2101的I/O(进/出)控制器2144。南桥2104也连接到HDD2105、USB接口2106及声音输入/输出编码解码器2107。声音输入/输出编码解码器2107连接到扬声器2121。此外，GPU2102连接到显示器2122。

此外，南桥2104还经PCI总线2002连接到鼠标2005、键盘2006、VTR2004-1至VTR2004-S、存储装置2003及操作控制器2007。

鼠标2005和键盘2006接收用户操作输入，并且经PCI总线2002和南桥2104把指示用户操作输入的内容的信号供给到微处理器2101。存储装置2003和VTR2004-1至VTR2004-S配置成能够记录或重放预定数据。

PCI总线2002如有必要还连接到驱动器2008，并且诸如磁盘、光盘、磁-光盘、或半导体存储器之类的可移除介质2011如适当则安装在其上，并从其读出的计算机程序按需安装在HDD2105中。

微处理器2101配置有在单个芯片上集成的多芯配置，具有执行诸如OS(操作系统)之类的基本程序的通用主CPU芯2141，作为经共享总线2145连接到主CPU芯2141上的RISC(精简指令集计算机)型的多个(在这种情况下八个)信号处理处理器的副CPU芯2142-1至副CPU芯2142-8，对具有例如256[兆字节]容量的XDR-RAM2103进行存储器控制的存储器控制器2143及管理在南桥2104之间的数据的输入/输出的I/O控制器2144，并例如实现4[GHz]的操作频率。

启动时，微处理器2101基于在HDD2105中存储的控制程序，读取在HDD2105中存储的必要应用程序并且把这扩展在XDR-RAM2103中，并此后基于应用程序和操作人员操作执行必要的控制处理。

此外，通过执行软件，微处理器2101实现用于各种实施例的上述图像编码处理和图像解码处理，经南桥2104供给作为编码的结果得到的编码流，并可把这供给和存储在HDD2105，或者把作为解码结果得到的运动图像内容的重放画面的数据转移到GPU2102，并且把这显示在显示器2122。

对微处理器2101内的每个CPU芯的使用方法是可选的，但可以形成这样一种设置：其中例如，主CPU芯2141进行与数据控制单元137进行的比特速率转换处理有关的处理，并且控制八个副CPU芯2142-1至副CPU芯2142-8从而执行像例如计数代码量之类的比特速率转换处理的详细处理。使用多个CPU芯使得能够例如同时进行多种处理，使得能够以较高速度进行比特速率转换处理。

此外，可以形成这样一种设置：其中除比特速率转换之外的处理，例如图像编码处理、图像解码处理或与通信有关的处理，在微处理器2101内的选择性CPU芯进行。这时，CPU芯可以每个设置成同时执行相互不同的处理形式，由此可改进处理的效率，减小整个处理的延迟时间，并进一步减小负荷、处理时间及对处理所需存储器容量。

此外，在独立编码器或解码器、或编码解码器处理装置连接到例如PCI总线2002的情况下，微处理器2101的八个副CPU芯2142-1至副CPU芯2142-8可以设置成经南桥2104和PCI总线2002控制由这些装置执行的处理。另外，在连接多个这些装置的情况下，或这些装置包括多个解码器或编码器的情况下，微处理器2101的八个副CPU芯2142-1至副CPU芯2142-8可以设置成每个部分负责和控制多个解码器或编码器执行的处理。

这时，主CPU芯2141管理八个副CPU芯2142-1至副CPU芯2142-8的操作，并且把处理分配给每个副CPU芯2142和检索处理结果等。另外，主CPU芯2141进行除这些副CPU芯2142-1至副CPU芯2142-8进行之外的处理。例如，主CPU芯2141经南桥2104接受从鼠标2005、键盘2006、或操作控制器2007供给的命令，并且按照命令执行各种类型处理。

除当显示器2122显示的运动图像内容的重放画面移动时涉及等待纹理的最后呈现(rendering)处理外，GPU2102可控制用于在显示器2122上一次显示运动图像内容的多个重放画面和静止图像内容的静止图像的坐标变换计算处理、对运动图像内容的重放画面和静止图像内容的静止图像的扩展/减小处理，并减轻微处理器2101的处理负荷。

GPU2102在微处理器2101的控制下，进行对运动图像内容的供给画面数据或静止图像内容的图像数据的信号处理，并因此把得到的画面数据和图像数据发送到显示器2122，并把图像信号显示在显示器2122。

顺便说明，具有多个运动图像内容(其中微处理器2101的八个副CPU芯2142-1至副CPU芯2142-8同时且并行地解码)的重放图像经受经总线2111到GPU2102的数据转移，但这时的转移速度例如是最大30[千兆字节/秒]，并且设置为即使重放画面复杂并且已经受特殊效果，也能迅速和平稳地进行显示。

此外，在运动图像数据内容的画面数据和声频数据中，微处理器2101使声频数据经受声频混合处理，并且把作为其结果得到的编辑声频数据经南桥2104和声音输入/输出编码解码器2107发送到扬声器2121，由此可从扬声器2121输出基于声频信号的声频。

在通过软件执行上述处理序列的情况下，组成软件的程序从网络或记录介质安装。

这种记录介质不仅由与装置主单元分离地分布以把程序分发给用户的可移除介质2011配置，如磁盘(包括软盘)、光盘(包括CD-ROM(紧致盘-只读存储器)、DVD(数字多用途盘))、磁-光盘(包括MD(小型盘))、或其中记录程序的半导体存储器配置，并且由在事先已经组装到装置主单元中的状态下分发给用户的HDD2105或存储装置2003及其中记录程序的类似装置配置。当然，记录介质也可以是诸如ROM或闪烁存储器或类似存储器之类的半导体存储器。

上文中，已经描述了配置有八个副CPU的微处理器2101，但不限于此，并且CPU芯的数量是可选的。此外，微处理器2101不必由诸如主CPU芯2141和副CPU芯2142-1至副CPU芯2142-8之类的多个芯配置，并且可以使用由单个芯(1个芯)配置的CPU。此外，可以使用多个CPU而非微处理器2101，或者可以使用多个信息处理装置(即，执行本发明的处理的程序可以在相互合作地操作的多个装置执行)。

注意，本说明书描述的记录介质中记录的程序的步骤当然包括在时间序列中按描述顺序的处理，但即使不必须按时间序列处理，也包括并行或独立执行的处理。

此外，根据本说明书，系统代表多个装置所配置的装置(装置)整体。

注意，上述描述了一个装置的配置可以分割成且配置成多个装置。与之相反，以上所描述的多个装置的配置可以配置在一起作为单个装置。此外，可以添加除上述装置配置之外的配置。另外，只要整个系统的配置和操作大体相同，某一装置的一部分配置就可以包括在另一装置的配置中。

工业实用性

本发明可应用于例如数字三轴系统。

Claims (15)

1.一种用于编码图像数据并产生编码数据的信息处理装置，包括：

重新排列装置，用于对包括产生最低频带分量子带的相当于一行系数数据所需的相当于多行图像数据的每个行块，按照进行合成处理以便合成分割到频带的多个子带的系数数据以产生图像数据的顺序，事先重新排列分割到每个频带的系数数据；

编码装置，用于为每个行块编码所述重新排列装置重新排列的系数数据，并产生编码数据；

存储装置，用于存储所述编码装置产生的编码数据；

计算装置，用于每当所述存储装置存储相当于多个所述行块的编码数据时，计算所述编码数据的代码量之和；及

输出装置，用于在所述计算装置计算的代码量之和达到目标代码量的情况下，输出所述存储装置中存储的所述编码数据，

其中所述重新排列装置为每个行块按从低频带分量到高频带分量的顺序重新排列所述系数数据。

2.根据权利要求1所述的信息处理装置，其中所述输出装置转换所述编码数据的比特速率。

3.根据权利要求1所述的信息处理装置，还包括控制装置，用于控制所述重新排列装置和所述编码装置各自为每个行块并行地操作。

4.根据权利要求1所述的信息处理装置，其中所述重新排列装置和所述编码装置并行地进行各种处理。

5.根据权利要求1所述的信息处理装置，还包括滤波器装置，用于为每个行块对所述图像数据进行滤波处理、并产生由分割到每个频带的系数数据组成的多个子带。

6.根据权利要求1所述的信息处理装置，还包括用于解码所述编码数据的解码装置。

7.根据权利要求1所述的信息处理装置，还包括：

调制装置，用于在相互不同的频域调制所述编码数据，并产生调制信号；

放大装置，用于进行对所述调制装置产生的调制信号的频率多路复用和放大；及

传输装置，用于合成并传输所述放大装置放大的调制信号。

8.根据权利要求7所述的信息处理装置，还包括调制控制装置，用于基于频域的衰减速率设置所述调制装置的调制方法。

9.根据权利要求7所述的信息处理装置，还包括控制装置，用于在频域的衰减速率等于或高于阈值的情况下把关于高频带分量的信号点距离设置为更大。

10.根据权利要求7所述的信息处理装置，还包括控制装置，用于在频域的衰减速率等于或高于阈值的情况下把关于高频带分量的错误校正比特的指定量设置为更大。

11.根据权利要求7所述的信息处理装置，还包括控制装置，用于在频域的衰减速率等于或高于阈值的情况下把关于高频带分量的压缩率设置为更大。

12.根据权利要求7所述的信息处理装置，其中所述调制装置通过OFDM方法进行调制。

13.根据权利要求1所述的信息处理装置，还包括同步控制单元，用于使用数据量小于阈值的图像数据来进行所述编码装置与解码所述编码数据的所述解码装置之间的同步时序控制。

14.根据权利要求13所述的信息处理装置，其中数据量小于阈值的所述图像数据是所有像素都是黑的相当于一幅画面的图像。

15.一种用于编码图像数据并产生编码数据的信息处理装置的信息处理方法，包括步骤：

对包括产生最低频带分量子带的相当于一行系数数据所需的相当于多行图像数据的每个行块，按照进行合成处理以便合成分割到频带的多个子带的系数数据以产生图像数据的顺序，事先重新排列分割到每个频带的系数数据；

为每个行块编码重新排列的系数数据，并产生编码数据；

存储产生的编码数据；

每当存储相当于多个所述行块的编码数据时，计算所述编码数据的代码量之和；及

在计算的代码量之和达到目标代码量的情况下，输出所存储的编码数据，

其中在重新排列分割到每个频带的系数数据的步骤中，为每个行块按从低频带分量到高频带分量的顺序重新排列所述系数数据。

Images