CN1981520A - 远程编辑系统、主编辑装置、远程编辑装置、编辑方法、编辑程序及记录媒体 - Google Patents

Abstract

在图像数据的压缩中使用分层编码，使得能够有效地利用分层编码的特征、进行高效率的纹理细的远程编辑作业。主编辑机(图2)将形成图像的分层编码数据中、与网络利用频带及远程编辑机的能力相对应的分层编码数据向远程编辑机发送，在远程编辑机中，编辑者使用该分层编码数据进行编辑作业。编辑作业结果生成的编辑信息从远程编辑机向主编辑机发送，主编辑机用它将差分的分层编码数据向远程编辑机发送。远程编辑机使用已经接收的分层编码数据、以及从主编辑机发送来的差分的分层编码数据，生成编辑图像数据。分层编码数据通过进行分层编码，能够对于分辨率及画质等规定图像质量的要素进行细分层。

Description

远程编辑系统、主编辑装置、远程编辑装置、编辑方法、编辑程序及记录媒体

技术领域

本发明涉及远程编辑系统、主编辑装置、远程编辑装置、编辑方法、编辑程序及记录媒体，更详细来说，涉及主编辑机对成为素材的图像数据进行分层编码后提供给远程编辑机、以高效率进行图像数据的编辑处理。

背景技术

[远程编辑的以往技术]

图像数据、特别是动态图像数据，广泛用于通过电视广播进行播映、或通过网络进行传送、或记录在DVD(Digital Versatile Disc：数字通用盘)等记录媒体上进行销售等。

这些图像数据是通过对摄像机拍摄等生成的图像数据进行编辑而生成的。

对于图像数据的编辑作业有两种情况，一种情况是在具有成为素材的图像数据(以下，称为素材图像数据)的编辑台进行本地编辑，另一种情况是经由网络发送素材图像数据，进行远程编辑。

在本地进行编辑作业时，将存储素材图像数据的VTR装置、与编辑该素材图像数据的编辑装置利用达到不产生传输延迟程度的短的缆线连接，进行编辑处理。

作为这样的技术，有特开平10-75413号公报的「数据传输系统」。

在该技术中，从编辑装置向VTR装置发送请求时间码(time code)的命令(command)，对此VTR装置向编辑装置返回时间码，通过这样根据时间码进行正确的编辑处理。

然后，从一个或多个图像数据使用时间码任意选择场景(时间范围)，将选择的场景所包含的图像数据互相连接，生成一部编辑图像数据。

这样，将成为场景的连接点的点(point)称为编辑点。编辑点通常利用表示整个图像数据中的编辑点在时间上的位置的时间码来指定。

另一方面，在通过远程编辑进行编辑作业时，由于网络的能够通信容量一般小于素材图像数据的容量，因此通常将素材图像数据进行压缩后向远程编辑机发送。

因而，即使是用HD图像(高清晰度画质)进行拍摄，但在远程编辑机中也进行代码转换为SD图像(标准画质)进行编辑。

图36所示为这种情况下的系统构成的一个例子。主编辑机501保持素材图像数据。

终端502将素材图像数据的分辨率(空间分辨率)进行变换，或降低画质等，进行降低位速率的编码，接着变换为网络包向网络503送出。

向网络503送出的图像数据在用终端504接收及解码后，向远程编辑机505输入。

编辑者一面使用该图像数据，一面用远程编辑机505进行编辑作业，生成编辑信息(编辑表)。

编辑信息从远程编辑机505向主编辑机501发送，主编辑机501按照该编辑信息，从素材图像数据生成编辑图像数据。

关于这样的远程编辑系统，也在上述专利文献1中说到。

[图像分层技术的以往技术]

由于图像数据、特别是动态图像数据的数据容量大，因此通常在利用某种方式进行压缩处理后，用于保存或收发等。

图像压缩处理的方法之一有MPEG(Moving Pictures Experts Group：活动图像专家组)压缩技术。

近年来，正积极进行将利用MPEG压缩生成的MPEG流存入按照IP(InternetProtocol：因特网协议)的IP包、并在因特网上流通用的技术开发。

向因特网上送出的MPEG流可以用PC(Personal computer：个人计算机)、PDA(Personal Digital Assistant：个人数字助理)、或手机等各种通信终端接收并再现。

然而，在视频点播、实况图像的流技术传送、视频会议、或电视电话等实时通信中，必须要想到将具有不同能力的通信终端作为对象来进行图像数据的收发。

即，来自某信息发送源的发送数据，有的情况下用手机等那样具有分辨率低的显示器及处理能力低的CPU(Central Processing Unit：中央处理装置)的通信终端来接收及再现，另外，也有的情况下用台式PC、机顶盒、游戏机等那样具有高分辨率的监视器及高处理能力的CPU的通信终端来接收及再现。

这样，作为将处理能力不同的各种各样的通信终端作为数据的发送目标、并根据各通信终端的处理能力等高效地进行图像数据的收发处理及图像的显示处理的方法之一，考虑采用对于收发的图像数据分层进行编码的方法、即利用分层编码的通信系统。

利用分层编码的图像数据的发送例如这样进行，它将仅在具有高分辨率的显示器的通信终端中进行处理的编码数据、以及在具有高分辨率的显示器的通信终端及具有低分辨率的显示器的通信终端的双方共同进行处理的编码数据，以分别能够区别的形态打包来进行发送。

作为能够分层编码的压缩、解压缩方式，可以举出有例如根据MPEG4、及JPEG(Joint Photographic Experts Group：联合图像专家组)2000的视频流。

在MPEG4中，是将Fine Granuality Scalability技术引入标准形成轮廓，利用该分层编码技术，能够分级、而且能够从低的位速率到高的位速率进行传送。

另外，基于小波(Wavelet)变换的JPEG2000有效地利用小波变换的特征，能够根据分辨率来分层打包，或者根据画质来分层打包。

另外，JPEG2000根据不仅处理静止图像、而且处理动态图像的MotionJPEG2000(Part 3)标准，能够以文件格式保存分层的数据。

在以往的数据传送系统中，在发送侧，必须生成与数据接收终端的能力相应的不同格式的数据，或者准备与传送速率相应的不同数据，但通过采用上述的分层编码处理，根据一个文件数据同时对不同能力的终端进行数据传送。

在传送的数据例如是图像数据时，由于要求实时性，因此在因特网上通信时，多采用UDP(USER Datagram Protocol：用户数据报协议)。更进一步，在UDP上的层中使用RTP(Real-time Transport Protocol：实时传送协议)，采用对每一种应用、即每一种编码方式定义的格式。

在处理这样的分层数据的技术中，有特开2003-152544号公报的「数据通信系统」。

该技术是关于分层编码的图像数据包重发的技术。更详细地说明则如下所述。

例如，作为采用分层编码的数据传送，有的采用基于DCT(Discrete CosineTransfor：离散余弦变换)的技术。

这个方法是，将成为传送信息的图像数据等进行DCT处理，利用DCT处理，实现区分高频带及低频带的分层，生成用高频带及低频带的层来区分的包，然后进行数据传送。

在UDP中，与TCP(Transmission Control Protocol：传输控制协议)/IP不同，由于即使产生包丢失，也不进行包的重发，因此在采用UDP时，会因网络的阻塞等原因而引起包丢失。

上述的专利文献2提出一种能够对包丢失进行重发控制的、基于小波变换技术的分级传送技术。

在以往的远程编辑系统中，对于图像数据的压缩方式没有采用分层编码。

因此，远程编辑机的能力及网络中能够利用的回路速度方面遍及多种情况，对此图像数据的压缩率低，在传送时需要很多的频带。

另外，在进行广播用图像数据编辑时，要求在各自的状态下最大限度地使用能够利用的频带，想要以高质量的图像来进行编辑。

因此，存在的问题是，为了既尽可能保持高质量，同时又根据远程编辑机的能力等减少信息量，必须进行变换图像数据的分辨率的处理、以及在DCT区域中的译码处理，为了实现这些处理的高速化的目的，需要多处理器、或专用的译码硬件等。

所以，本发明的目的在于对图像数据的压缩采用分层编码，有效地利用分层编码的特征，能够以高效率、细纹理进行远程编辑作业。

发明内容

为了达到前述目的，本发明的远程编辑系统，是通过网络用远程编辑装置、对主编辑装置中存储的形成图像的分层编码数据进行编辑作业的远程编辑系统，前述主编辑装置将前述分层编码数据中、属于规定的分层等级的数据向前述远程编辑装置发送，前述远程编辑装置接受采用前述发送的分层编码数据的编辑作业，对前述主编辑装置请求利用编辑生成编辑图像数据所必需的分层编码数据，并使用根据前述请求从前述主编辑装置发送来的分层编码数据，生成编辑图像数据(第1构成)。

另外，本发明的主编辑装置，具有：存储形成图像的分层编码数据的数据存储单元；将前述存储的分层编码数据中、属于规定的分层等级的分层编码数据向远程编辑装置发送的数据发送单元；从前述远程编辑装置、接受用前述远程编辑装置生成编辑图像数据所必需的分层编码数据的发送请求的请求数据接受单元；以及将前述请求的分层编码数据向前述远程编辑装置发送的请求数据发送单元(第2构成)。

在第2构成中也可以这样构成，即在用前述请求数据接受单元接受的请求中，指定规定图像的图像质量的一个或多个分层要素的分层等级，前述请求数据发送单元发送前述存储的分层编码数据中、与每个前述指定的分层要素的分层等级相对应的分层编码数据(第3构成)。

在第2构成中也可以这样构成，即前述数据发送单元发送前述存储的分层编码数据中、属于与前述远程编辑装置相对应的分层的分层编码数据(第4构成)。

在第2构成中也可以这样构成，即具有分层等级构成发送单元，前述分层等级构成发送单元向前述远程编辑装置发送前述存储的分层编码数据的分层等级构成、以及前述发送的分层编码数据的分层等级构成(第5构成)。

另外，本发明的远程编辑装置，具有：从主编辑装置接收形成图像的分层编码数据的数据接收单元；使用前述接收的分层编码数据再现图像的再现单元；使用前述再现的图像、接受编辑作业的编辑单元；向前述主编辑装置请求利用编辑单元的编辑生成编辑图像数据所必需的分层编码数据的数据请求单元；以及接收根据前述请求从前述主编辑装置发送来的分层编码数据、并使用前述接收的分层编码数据来生成编辑图像数据的编辑图像数据生成单元(第6构成)。

在第6构成中也可以这样构成，即前述编辑单元接受对规定编辑图像的图像质量的多个分层要素进行每个分层要素的分层等级的指定，前述数据请求单元将前述指定的每个分层要素的分层等级向前述主编辑装置发送(第7构成)。

在第6构成中也可以这样构成，即具有接受前述分层要素的分层等级的选择的分层等级选择单元，前述再现单元使用与前述选择的分层等级相对应的前述分层编码数据，来再现图像(第8构成)。

在第6构成中也可以这样构成，即具有从前述主编辑装置接收前述主编辑装置中存储的分层编码数据的分层等级构成、以及前述接收的分层编码数据的分层等级构成并进行提示的分层等级提示单元(第9构成)。

在第7构成中也可以这样构成，即具有在规定用前述再现单元再现的图像的图像质量的分层要素的分层等级、与规定前述指定的编辑图像的图像质量的分层要素的分层等级不同时，显示该情况的报警显示单元(第10构成)。

另外，本发明的编辑方法，在具有数据存储单元、数据发送单元、请求数据接受单元、以及请求数据发送单元的计算机中，具有以下步骤：利用前述数据存储单元、存储形成图像的分层编码数据的数据存储步骤；利用前述数据发送单元、将前述存储的分层编码数据中、属于规定的分层等级的分层编码数据向远程编辑装置发送的数据发送步骤；利用前述请求数值接受单元、从前述远程编辑装置、接受用前述远程编辑装置生成编辑图像数据所必需的分层编码数据的发送请求的请求数据接受步骤；以及利用前述请求数据发送单元、将前述请求的分层编码数据向前述远程编辑装置发送的请求数据发送步骤(第11构成)。

在第11构成中也可以这样构成，即在前述请求数据接受步骤接受的请求中，指定规定图像的图像质量的一个或多个分层要素的分层等级，在前述请求数据发送步骤中，发送前述存储的分层编码数据中、与每个前述指定的分层要素的分层等级相对应的分层编码数据(第12构成)。

在第11构成中也可以这样构成，即在前述数据发送步骤中，发送前述存储的分层编码数据中、属于与前述远程编辑装置相对应的分层的分层编码数据(第13构成)。

在第11构成中也可以这样构成，即前述计算机具有分层等级构成发送单元，包含利用前述分层等级构成发送单元向前述远程编辑装置发送前述存储的分层编码数据的分层等级构成、以及前述发送的分层编码数据的分层等级构成的分层等级构成发送步骤(第14构成)。

另外，本发明的编辑方法，在具有进行接收的数据接收单元、再现单元、编辑单元、数据请求单元、以及编辑图像数据生成单元的计算机中，具有以下步骤：利用前述数据接收单元、从主编辑装置接收形成图像的分层编码数据的数据接收步骤；利用前述再现单元、使用前述接收的分层编码数据再现图像的再现步骤；利用前述编辑单元、使用前述再现的图像来接受编辑作业的编辑步骤；利用前述数据请求单元、向前述主编辑装置请求利用编辑单元的编辑生成编辑图像数据所必需的分层编码数据的数据请求步骤；以及利用前述编辑图像数据生成单元、接收根据前述请求从前述主编辑装置发送来的分层编码数据、并使用前述接收的分层编码数据来生成编辑图像数据的编辑图像数据生成步骤(第15构成)。

在第15构成中也可以这样构成，即在前述编辑步骤中，接受对规定编辑图像的图像质量的多个分层要素进行每个分层要素的分层等级的指定，在前述数据请求步骤中，将前述指定的每个分层要素的分层等级向前述主编辑装置发送(第16构成)。

在第15构成中也可以这样构成，即前述计算机具有分层等级选择单元，包含利用前述分层等级选择单元接受前述分层要素的分层等级的选择的分层等级选择步骤，在前述再现步骤中，使用与前述选择的分层等级相对应的前述分层编码数据、来再现图像(第17构成)

在第15构成中也可以这样构成，即前述计算机具有分层等级提示单元，包含利用前述分层等级提示单元、从前述主编辑装置接收前述主编辑装置中存储的分层编码数据的分层等级构成、以及前述接收的分层编码数据的分层等级构成并提示的分层等级提示步骤(第18构成)。

在第16构成中也可以这样构成，即前述计算机具有报警显示单元，包含利用前述报警显示单元、在规定前述再现步骤中再现的图像的图像质量的分层要素的分层等级、与规定前述指定的编辑图像的图像质量的分层要素的分层等级不同时，显示该情况的报警显示步骤(第19构成)。

另外，本发明的编辑程序，是用计算机实现下述功能的程序，前述功能具有：存储形成图像的分层编码数据的数据存储功能；将前述存储的分层编码数据中、属于规定的分层等级的分层编码数据向远程编辑装置发送的数据发送功能；从前述远程编辑装置、接受用前述远程编辑装置生成编辑图像数据所必需的分层编码数据的发送请求的请求数据接受功能；以及将前述请求的分层编码数据向前述远程编辑装置发送的请求数据发送功能(第20构成)。

在第20构成中也可以这样构成，即在用前述请求数据接受功能接受的请求中，指定规定图像的图像质量的一个或多个分层要素的分层等级，前述请求数据发送功能发送前述存储的分层编码数据中、与每个前述指定的分层要素的分层等级相对应的分层编码数据(第21构成)。

在第20构成中也可以这样构成，即前述数据发送功能发送前述存储的分层编码数据中、属于与前述远程编辑装置相对应的分层的分层编码数据(第22构成)。

在第20构成中也可以这样构成，即用计算机实现分层等级构成发送功能，前述分层等级构成发送功能向前述远程编辑装置发送前述存储的分层编码数据的分层等级构成、以及前述发送的分层编码数据的分层等级构成(第23构成)。

另外，本发明的编辑程序，是用计算机实现下述功能的程序，前述功能具有：从主编辑装置、接收形成图像的分层编码数据的数据接收功能；使用前述接收的分层编码数据再现图像的再现功能；使用前述再现的图像来接受编辑作业的编辑功能；向前述主编辑装置请求利用编辑功能的编辑生成编辑图像数据所必需的分层编码数据的数据请求功能；以及接收根据前述请求从前述主编辑装置发送来的分层编码数据、并使用前述接收的分层编码数据来生成编辑图像数据的编辑图像数据生成功能(第24构成)。

在第24构成中也可以这样构成，即前述编辑功能接受对规定编辑图像的图像质量的多个分层要素进行每个分层要素的分层等级的指定，前述数据请求功能将前述指定的每个分层要素的分层等级向前述主编辑装置发送(第25构成)。

在第24构成中也可以这样构成，即用计算机实现分层等级选择功能，前述分层等级选择功能接受前述分层要素的分层等级的选择，前述再现功能使用与前述选择的分层等级相对应的前述分层编码数据、来再现图像(第26构成)。

在第24构成中也可以这样构成，即用计算机实现分层等级提示功能，前述分层等级提示功能从前述主编辑装置接收前述主编辑装置中存储的分层编码数据的分层等级构成、以及前述接收的分层编码数据的分层等级构成并进行提示(第27构成)。

在第25构成中也可以这样构成，即用计算机实现报警显示功能，前述报警显示功能在规定用前述再现功能再现的图像的图像质量的分层要素的分层等级、与规定前述指定的编辑图像的图像质量的分层要素的分层等级不同时，显示该情况(第28构成)。

另外，本发明的记录媒体，该记录媒体是存储了第20构成至第28构成内的任一种构成所述的编辑程序、并且计算机能够读取的记录媒体。

附图说明

图1所示为远程编辑系统的构成的一个例子。

图2所示为主编辑机的构成方框图。

图3所示为将图像分割成拼接块(日文：タイル)的分割图。

图4所示为分层器的构成图。

图5所示为将二维图像进行频带分割的结果所得到的频带分量图。

图6为说明根据分辨率划分分层等级用的说明图。

图7所示为码流的数据结构图。

图8为说明按照分辨率渐进顺序的分层编码数据用的说明图。

图9为说明按照画质渐进顺序的分层编码数据用的说明图。

图10为SDP扩展部描述渐进顺序及内容分层等级的例子。

图11所示为远程编辑机的方框图。

图12所示为解码器的方框图。

图13所示为场景编辑画面的一个例子。

图14所示为复制方式的修正画面的一个例子。

图15所示为移动方式的修正画面的一个例子。

图16所示为删除方式的修正画面的一个例子。

图17所示为时间码表的逻辑构成的一个例子。

图18所示为场景编辑处理顺序的流程图。

图19所示为进行修正时的场景编辑处理顺序的流程图。

图20所示为其它例子有关的场景编辑处理顺序的流程图。

图21所示为其它例子有关的进行修正时的场景编辑处理顺序的流程图。

图22所示为图像质量编辑画面的一个例子。

图23所示为用图像质量编辑画面使画质等级变化时的说明图。

图24所示为用图像质量编辑画面使分辨率等级变化时的说明图。

图25为说明进行是否请求追加分层编码数据的确认时的说明图。

图26所示为ROI的指定例子的说明图。

图27为说明图像质量编辑顺序用的流程图。

图28所示为编辑信息的逻辑构成的一个例子。

图29为说明对每个拼接块设定画质等级时的说明图。

图30所示为用便携终端构成的远程编辑机的操作部的示意图。

图31为说明用便携终端指定ROI时的说明图。

图32为说明用远程编辑系统进行的编辑顺序用的说明图。

图33所示为主编辑机及远程编辑机中的图像数据存储状态的概念图。

图34所示为主编辑机的硬件构成的一个例子。

图35为说法本实施形态的扩展例用的说明图。

图36所示为以往的远程编辑系统的构成例。

具体实施方式

(实施形态的概要)

主编辑机将分层编码的图像数据中、与网络利用频带及远程编辑机的能力相适应的分层编码数据向远程编辑机发送，在远程编辑机中，编辑者用它进行编辑作业。根据编辑作业的结果生成的编辑信息，用远程编辑机生成编辑图像数据。在为了生成编辑图像数据而需要更高层的分层编码数据时，远程编辑机使主编辑机送来需要的分层编码数据，使用它与已经取得的分层编码数据，生成编辑图像数据。

图像数据通过进行分层编码，能够对规定分辨率及画质等的图像质量的要素进行细分层。

将图像数据进行分层编码的分层编码数据，通过对下层的分层编码数据加上上层的分层编码数据，能够提高图像质量。

主编辑机发送素材图像数据中、与远程编辑机相适应的分层等级的分层编码数据不需要译码等处理。

远程编辑机从接收的分层编码数据中将图像数据进行解码(decode)，在接收的分层等级内，能够分级改变分辨率及画质进行再现，编辑者能够一面看再现图像，一面决定所希望的分层等级。

更进一步想要提高图像质量、再现图像时，只要向主编辑机请求差分的分层编码数据即可。

在远程编辑机中，首先，编辑者一面用接收的分层编码数据再现图像，一面指定编辑图像数据中利用的场景。然后，接着，编辑者对各场景指定分辨率及画质等各分层要素的分层等级。这时，也可以指定属于没有从主编辑机接收的分层等级的分辨率及画质。

编辑作业的结果是在远程编辑机中，生成确定场景的时间码、以及指定各场景的分层等级的编辑信息。

然后，远程编辑机用指定的图像质量构成用编辑信息确定的场景，生成编辑图像数据，但在远程编辑机能够用已经接收的分层编码数据生成编辑图像数据时，使用已经接收完的分层编码数据，生成编辑图像数据。然后，在有不足的分层编码数据时，向主编辑机对此进行请求，将主编辑机根据该请求发送来的分层编码数据与前面已经接收完的分层编码数据一起使用，生成编辑图像数据(在是最终产品时，为最终图像数据)。

这样，在本实施形态中，能够不进行译码等处理，只要将与远程编辑机相对应的分层编码数据向远程编辑机发送即可，另外，远程编辑机即使不接收全部素材图像数据，也能够指定构成编辑图像数据用的分层等级。

(实施形态的详细说明)

[系统概要及数据收发构成例]

在本实施形态中，采用小波变换作为分层编码技术的一个例子。再有，在采用小波变换的分层编码方式中虽存在各种标准，但这里，作为一个例子，采用动态图像的压缩格式的JPEG2000视频流，以采用该JPEG2000视频流对动态图像数据进行分层编码的情况为例。

由于JPEG2000视频流是将显示动态图像用的帧，作为帧间不相关的帧内连续而构成的，因此具有的优点是，即使在网络上产生包丢失，则基于丢失包而产生的错误也不向其它帧传播，除此以外还具有的优点是，由于根据小波变换的特性，不发生块噪声或蚊子噪声，因此能够抑制视觉上的画质(SNR：SignalTO Noise Ratio，信噪比)的降低。

更详细来说，JPEG2000视频流将各帧的图像数据分割成色空间、辉度等分量(c)，将后述的区域分割成不重复的称为拼接块的部分。

再进一步，将上述那样分割的图像数据利用后述的小波变换，进行小波分割，分割成分辨率等级(r)，再按照画质(1)的贡献程度进行分割。

然后，对各拼接块，分别将规定分量、分辨率、画质等图像质量的要素划分为分层等级，这些构成分层要素。

另外，分层编码数据(分层编码后的图像数据)再划分成称为分区(日文：プレツンクト)的小区域，但详细说明省略。

对于某帧的图像，由1个分量的、1个拼接块的、1个分辨率等级的、1个画质等级(层)得到的数据成为分层编码数据的1个单位，被称为包。

图1所示为采用这样的分层编码技术的远程编辑系统的构成的一个例子。

远程编辑系统1由使用编辑信息根据素材图像数据生成编辑图像数据的主编辑机2、编辑者进行编辑作业并生成编辑信息的远程编辑机3、以及将它们连接的网络4构成。

在图1中，仅图示了1台远程编辑机3，但可以存在多台固定式或便携式等各种能力的远程编辑机。

在本图中，假设是使用IP(Internet Protocol：因特网协议)作为使用的网络协议而连接的网络。

主编辑机2保持素材图像数据(成为编辑对象的原始图像数据)。对素材图像数据进行分层编码处理，由分层编码数据构成。

主编辑机2从远程编辑机3接受能够与网络连接的速度信息、在能够连接的速度范围内接收的分层编码数据的解码可能性、接收终端能够显示的分辨率以及与CPU能力相适应的位速率等QoS(Quality Of Service：业务质量)信息等，判断远程编辑机3的能够利用网络4的频带及能力。

然后，根据该判断，决定发送素材图像数据中、到哪一个分层等级的分层编码数据，并得必需的分层编码数据打包，向远程编辑机3发送。

主编辑机2在送出分层编码数据后，例如在从远程编辑机3接受在编辑过程中需要的、或生成最终图像数据所需要的分层编码数据的发送请求时，将它向远程编辑机3发送。

网络4是根据IP包中设定的地址信息、向发送目标传送包的传送路径。

数据传送形态是各式各样的，例如经由提供拨号服务的服务提供网络、或使用ADSL(Asymmetri c Digital Subscriber Line：非对称数字用户线)的服务提供网络等，向远程编辑机3发送包。或者利用无线网络，经由未图示的基站，向由移动终端等构成的远程编辑机3发送包。

远程编辑机3接收分层编码数据，将它进行解码，并进行再现，同时接受来自编辑者的编辑处理，生成编辑信息。再进一步根据编辑信息，生成编辑图像数据。

在本实施形态中，设以发送与终端相适应的数据的单点传送方式、发送分层编码数据，远程编辑机3从主编辑机2全部接收发给自己的地址的包。

另外，在分层编码数据发送中采用多点传送方式时，由于远程编辑机3不需要的分层包也发送过来，因此远程编辑机3选择需要的分层等级以下的分层包进行接收。

远程编辑机3将分层编码数据进行解码，并再现图像，编辑者一面看再现图像，一面进行场景指定、分辨率、画质的分层等级决定的编辑作业。

这样，在远程编辑机3中，即使不接收构成素材图像数据的全部分层编码数据，也能够根据从一部分分层编码数据再现的缩略图图像进行编辑作业。

用远程编辑机3再现的图像的图像质量是与从主编辑机2发送来的分层等级相对应的，但编辑者可以将素材图像数据的图像质量作为上限，向主编辑机2请求更高的分层等级。

这里，所谓图像质量，是指例如规定分辨率、画质、辉度、色差等图像的质量的要素。

远程编辑机3接收主编辑机2根据该请求发送来的追加的分层编码数据，将它追加给前面已接收的分层编码数据，通过这样能够再现更高图像质量的图像。

然后，远程编辑机3若利用编辑作业生成编辑信息，则根据它生成编辑图像数据。

在能够根据已经接收完的分层编码数据生成用编辑信息规定的图像质量的编辑图像数据时，则用它生成编辑图像数据，在需要比已经接收完的分层编码数据更高分层等级的分层编码数据时，则将它从主编辑机2取得，并生成编辑图像数据。

[主编辑机的构成及处理]

下面，说明主编辑机2的构成及处理。

图2所示为主编辑机2的方框图。在图2中，分层器8构成在主编辑机2的外部，但它也可以构成在分层器8的内部。

在图2所示的例子中，将用摄像机7拍摄的图像数据用分层器8进行分层编码，存入图像数据存储装置9，但不限于此，也可以将DVD、CD(Compact Disc：小型盘)、硬盘等各种存储媒体中存储的图像数据进行分层编码，存入图像数据存储装置9。

另外，也可以将经由网络4取得的图像数据进行分层编码，存入图像数据存储装置9。

分层器8将分层编码前的图像数据利用小波变换进行分层编码。这时，分层器8按照预先设定的渐进顺序进行渐进编码处理。

所谓渐进编码，是在因特网的图像传送等中常用的编码处理，在数据接收终端侧，能够首先显示图像质量低的图像，再依次显示图像质量高的图像。

例如渐进顺序用(c、r、l、p)的四种要素数的顺序组合来表示，但作为代表性的渐进顺序有分辨率分级提高的RLCP渐进顺序、及画质分级改善的LRCP渐进顺序。

在RLCP渐进顺序中，从与分辨率低的图像相对应的低频图像数据的分层编码数据开始，接着是显示更清晰的图像所需要的高频分量的分层编码数据，形成这样的分层编码数据的排列。通过包顺序那样的解码，分辨率渐渐提高。

然后，在远程编辑机3中，首先进行低频图像数据的分层编码数据的解码及显示处理，从而能够在短时间内在显示器上显示粗略图像，然后，进行高频区域的分层编码数据的解码及显示，从而能够渐渐显示清晰的图像。

同样地，在LRCP渐进顺序中，分层编码数据按照从低画质的数据包到高画质的数据包的顺序排列，通过包顺序那样的解码，画质渐渐提高。

除此之外，还有按照颜色分量(RGB或YCbCr)的渐进顺序等。在这种情况下，对于每个颜色分量(RGB或YCbCr)进行编码。

分层编码前的图像数据按照某种渐进顺序进行分层编码，存入图像数据存储装置9。

下面说明小波变换。

在小波变换中，将帧图像分割成被称为拼接块的不具有权重的一个个矩形区域，对每个拼接块进行变换处理。

图3所示为将图像分割成拼接块T0～T8的9个拼接块的情况。各拼接块相互独立进行编码，成为编码处理的基本单位。

图4所示为进行小波变换的分层器8的构成例子。这是在几种小波变换方法中最一般的小波变换即涉及多个等级进行倍频程分割的例子。

在图4的情况下所示的构成例子是，分层等级数为3(分层等级1～分层等级3，图中仅记作为等级)，将图像信号分割成低频带及高频带，而且仅将低频带分量进行分层分割。另外，在图4中，为方便起见，所示例子是对一维信号(例如图像的水平分量)进行小波变换，但也可以通过将它扩展为二维，从而能够适应二维图像信号。

下面，说明分层器8的动作。对图4所示的小波变换部的输入图像信号250首先利用低通滤波器211(传递函数HO(z))及高通滤波器212(传递函数H1(z))进行频带分割，得到的低频带分量及高频带分量利用分别对应的向下采样器213及214，分辨率分别降低为1/2(分层等级1)。

这时的输出为L分量251及H分量256的两个分量。这里，上述L表示低频带(Low)，H表示高频带(High)。

利用该图4的低通滤波器211、高通滤波器212、以及两个向下采样器213及214，构成分层等级1的电路部210。

利用向下采样器213及214分别降低的信号的低频带分量中，即仅来自向下采样器213的信号再利用分层等级2的电路部220的低通滤波器及高通滤波器进行频带分割，利用分别对应的向下采样器，分辨率分别降低为1/2(分层等级2)。

作为由这些分层等级2的低通滤波器、高通滤波器、以及向下采样器构成的电路部220，采用与上述分层等级1的低通滤波器211、高通滤波器212、以及向下采样器213及214构成的电路部210同样的结构。

进行这样的处理，一直到规定的分层等级为止，通过这样将低频带分量依次生成分层进行频带分割的频带分量。

在分层等级2生成的频带分量为LL分量252及LH分量255。图4所示为频带分割到分层等级3为止的例子，分层等级2的电路部220的从低通滤波器侧的向下采样器的输出供给与上述电路部210同样的结构的分层等级3的电路部230。

这样进行频带分割到分层等级3为止的结果是，生成LLL分量253、LLH分量254、LH分量255、H分量256。

图5所示为将二维图像进行频带分割一直到分层等级3为止的结果所得到的频带分量图。

该图5中所示的L及H的表示法与处理一维信号的图4中的L及H的表示法不同。

即，在图5中，首先利用分层等级1的频带分割(水平及垂直方向)，分割成4个分量LL、LH、HL、HH。这里，LL意味着水平及垂直分量都为L，LH意味着水平分量为H，而垂直分量为L。

接着，将LL分量再次进行频带分割，生成LLLL、LLHL、LLLH、LLHH。再进一步，将LLLL分量再次进行频带分割，生成LLLLLL、LLLLHL、LLLLLH、LLLLHH。

参照图6再说明小波变换数据的根据分辨率的分层等级划分。图6所示的结构与图5的数据结构相对应。图6像参照图5说明的那样，所示为利用小波变换进行三次分割处理的例子。

重要度最高的分层等级是为了在显示器上显示粗略图像所必需的数据，这相当于包含低频带(3LL)数据的编辑区域、即1/8尺寸的数据区701～704

重要度次之的分层等级成为次之的低频带的1/4尺寸的数据区，由数据区701～707构成，重要度次之的分层等级成为次之的低频带的1/2尺寸的数据区，由数据区701～710构成。

图像数据存储装置9是用分层器8进行了分层编码的图像数据的存储装置，图像数据存储装置9中，根据预先设定的渐进顺序、即根据分辨率的渐进或根据画质的渐进，来存储分层编码的数据。

下面，说明编码器10。编码器10根据图像数据存储装置9中存储的分层编码数据，生成码流，向缓冲器11输出。

图7所示为从编码器10输出的码流的数据结构。

码流51从表示码流开始的SOC(Start of Code stream：码流开始)标记52开始，接在SOC标记52的后面配置描述编码参数、量化参数、渐进顺序等的主首部标记段53。SOC标记52及主首部标记段53构成主首部(Main Header：MH)，在将整个码流进行解码时，主首部的信息是必须的。

在主首部之后，接着是包含拼接块信息的拼接块首部(Tile Header：TH)、及该拼接块的数据即位流。例如，位流55是利用拼接块T0的位流构成。

该位流具有上述的l、r、c、p的分层结构，另外，有时在拼接块首部中记入该拼接块的渐进顺序。

然后，最后，EOC(End of Codestream：码流结束)标记57表示码流结束。

再回到图2，缓冲器11是为了进行打包而用来暂时存储码流。

打包器12分析缓冲器11内的分层编码数据，根据数据内容，决定划分，进行打包。

打包器12参照缓冲器11内的存储数据的主首部，取得分层编码数据的渐进顺序信息、层数、颜色分量有关的信息。

打包器12通过读取该字段信息，来分析是由哪样的分层构成。

打包器12根据分析的信息，按不同分层来区分分层编码数据，根据区分数据，进行包生成处理。这时，打包器12在将码流进行打包时，根据来自后述的传送质量控制部16的要求，进行打包。

下面，作为基于JPEG2000中定义的渐进顺序的分层结构、以及与分层结构相对应的包结构例子，给出两个例子。

图8所示为对于按照分辨率渐进顺序的分层编码数据、将分层的分层编码数据对每个分层与包相对应的例子的概念图。

1帧图像由包31(分层等级(或层)0)、32(分层等级1)、33(分层等级2)、34(分层等级3)构成。

若将存入包31的分层编码数据进行解码，则能够得到分辨率1/8的图像35。

包31是存入优先级最高的分层编码数据的包，是为了在进行解码的数据接收终端的显示器上最初显示粗略图像所必需的分层编码数据。

接着，若将存入包31及包32的分层编码数据进行解码，则能够得到分辨率1/4的图像36。进而，若将存入包31～33的分层编码数据进行解码，则能够得到分辨率1/2的图像37，若将存入包31～34的分层编码数据进行解码，则能够得到原来分辨率的图像38。

图8所示的四个包31～34的优先级顺序为包31、包32、包33、包34的顺序。

如图8所示，在作为渐进顺序、利用设定不同分辨率的渐进编码处理生成分层编码数据时，作为包生成单元的打包器12进行处理，将优先级信息设定作为生成包的附加信息，该优先级信息与存入生成包的图像信号的分层编码数据的各分辨率相对应的分层对应。

图9所示为对于按照画质(SNR)渐进顺序的分层编码数据、将分层的分层编码数据对每个分层与包相对应的例子的概念图。

1帧图像由包41(分层等级(或层)0)、42(分层等级1)、43(分层等级2)、44(分层等级3)构成。若将存入包41的分层编码数据进行解码，则能够得到与画质低的原来图像相同的分辨率的图像45，若将存入包41及包42的分层编码数据进行解码，则能够得到比存入包41的分层编码数据的解码结果要好的画质的图像46。

接着，若将存入包41～43的分层编码数据进行解码，则能够得到噪声更少的高画质的图像47，若将存入包41～44的分层编码数据进行解码，则能够得到最高画质的图像。

图9所示的四个包41～44的优先级顺序为包41、包42、包43、包44的顺序。

如图9所示，在作为渐进顺序、利用设定不同画质的渐进编码处理生成分层编码数据时，作为包生成单元的打包器12将优先级信息设定作为生成包的附加信息，该优先级信息与存入生成包的图像信号的分层编码数据的各画质相对应的分层对应。

以上，说明了关于分辨率及画质的渐进编码处理，但除此之外，也可以构成按照颜色分量渐进顺序的分层编码数据。

例如，若将存入Y包的分层编码数据进行解码，则能够得到黑白图像，若将存入Y包及U包的分层编码数据进行解码，则能够得到包含U分量的彩色图像，若将存入Y包及U包及V包的分层编码数据进行解码，则能够得到包含V分量的彩色图像。

这种情况下的优先级顺序为Y包、U包、V包的顺序。

传送质量控制部16将远程编辑机3的请求或有关与网络状态等相应的传送质量(设该传送质量为q’)的信息(QoS)提供给打包器12。

传送质量q’中，例如由图像数据的渐进顺序或指定所需要的每个分层要素的分层等级的信息等构成，打包器12将码流进行打包，使得满足该传送质量。

另外，传送质量控制部16通过网络接口15，取得分层编码数据的追加请求，将它传送给打包器12。在这种情况下，打包器12将请求追加的分层编码数据进行打包。

为此，正在发送分层等级0～分层等级2的分层编码数据时，由于从远程编辑机3请求追加发送分层等级3的分层编码数据，因此就能够用打包器12将分层等级3的分层编码数据打包发送等。

网络接口15除了将打包器12打包的分层编码数据向网络4送出，还从远程编辑机3接收分层编码数据的追加请求，或者从远程编辑机3接收编辑信息。

编辑控制部17通过网络接口15从远程编辑机3取得编辑信息，记录在编辑信息记录部18中。

然后，编辑控制部17参照编辑信息记录部18，检测用编辑信息指定的分层编码数据、与已经向远程编辑机3发送的分层编码数据(用传送质量控制部16等存储)的差分。

然后，相当于差分的分层编码数据用编码器10进行编码，经过缓冲器11，用打包器12进行打包，从网络接口15向远程编辑机3发送。

另外，在本实施形态中，作为一个例子，是将差分的分层编码数据向远程编辑机3发送而构成的，但可以有各种发送形态。

例如，也可以这样构成，即从图像数据存储装置9存储的分层编码数据中提取用编辑信息指定的分层编码数据，向远程编辑机3发送。在这种情况下，远程编辑机3对于已经接收的分层编码数据，再次进行接收。

另外，这时，例如若渐进顺序变化，则可以进行处理，使包顺序变化，改变主首部及拼接块部分首部的数据等。

再有，也可以这样构成，即在远程编辑机3一侧检测差分的分层编码数据，以代替编辑数据，远程编辑机3向主编辑机2发送确定差分的分层编码数据的差分信息。

在这种情况下，主编辑机2只要从图像数据存储装置9读出用差分信息指定的分层编码数据，向远程编辑机3发送即可，在这种情况下，不需要编辑控制部17及编辑信息记录部18。

但是，在主编辑机2一侧想要确认在远程编辑机3一侧生成了什么样的编辑图像数据时，只要将编辑信息从远程编辑机3向主编辑机2发送那样构成即可。

也可以使主编辑机2还具有对编辑信息进行编辑的功能(编辑信息再编辑单元)，但这未图示。

在这种情况下，使主编辑机2具有与远程编辑机3同样的编辑功能，一面用主编辑机2再现素材图像数据，或按照编辑信息再现图像，一面对远程编辑机3进行的编辑作业进行修正。

这样，对于主编辑机2，能够再现素材图像数据或编辑图像数据，在显示器上显示，或者再指定场景，或者再指定图像质量，通过上述这样构成，能够使编辑作业更完整。

可是，用编辑图像数据能够实现的最高质量(分辨率、画质等)与素材图像数据具有的分辨率、画质等质量相等。

因此，为了用远程编辑机3进行编辑作业，必须向远程编辑机3发送成为各要素指定值的上限值的素材图像数据的分层等级信息，通知能够编辑的分层等级的范围。

在远程编辑机3中控制分层等级指定作业，使得编辑图像数据的指定值不超过素材图像数据的分层等级。通过这样，在能够编辑的分层等级的范围内，能够使画质高但分辨率小的、画质高但将分量仅作为辉度分量等，能够对每个规定图像质量的多个分层要素(图像构成要素)独立控制分层等级。

存在各种向远程编辑机3通知能够编辑的分层等级范围的方法，例如，可利用SDP(Session Description Protocol：会话描述协议)。

SDP是在多媒体数据的收发中一般利用的协议，为了确保扩展性，具有能够自由定义的扩展部。在本实施形态中，对SDP的扩展部重新定义属性，其中描述素材图像数据的渐进顺序、各分层要素的最高分层等级等有关素材图像数据的图像质量的信息，在编辑对象即图像数据传送开始时，作为初始化操作的一部分，从主编辑机2向远程编辑机3传送。

图10所示为SDP的一个例子，59行描述素材图像数据的渐进顺序及各分层要素的最高分层等级。

59行的RLCP表示分层要素的渐进顺序为分辨率-画质-分量-位置，接在它后面的5、4、3、1分别表示的是表示分辨率的小波分割次数(分辨率的分层等级数)、层数(画质的分层等级数)、分量数(分量的分层等级数)及拼接块数。

即，素材图像数据经5次小波变换，变换系数分割成4层位平面，用YUV的3个分量压缩。

在以上说明的主编辑机2中，图像数据存储装置9构成存储形成图像的分层编码数据的数据存储单元。

通过使用编码器10、缓冲器11、打包器12、传送质量控制部16，能够发送与远程编辑机3相对应的规定的分层编码数据，主编辑机2具有将属于规定的分层等级的分层编码数据向远程编辑机3发送的数据发送单元。

另外，主编辑机2具有从远程编辑机3接受编辑作业及编辑图像数据生成过程中所必需的分层编码数据的发送请求的请求数据接受单元、以及将请求的分层编码数据向远程编辑机3发送的请求数据发送单元。

在用请求数据接受单元接受的请求中，指定关于分层编码数据的各分层要素的分层等级，请求数据发送单元向远程编辑机3发送图像数据存储装置9存储的分层编码数据中、与之对应的分层编码数据。

再有，远程编辑机3根据接收的分层编码数据，可以知道该分层编码数据的分层等级构成，另外，主编辑机2利用SDP通知素材图像数据的分层等级构成(分层等级构成发送单元)。

[远程编辑机的构成、及编辑处理]

下面，说明远程编辑机3的构成及编辑处理。

远程编辑机3进行使用从主编辑机2发送来的分层编码数据的编辑处理、编辑信息的生成、以及编辑图像数据的生成。

图11所示为远程编辑机3的方框图。

网络接口61接收从主编辑机2发送来的包。

解包器62从网络接口61取得包，取出包内的分层编码数据。

解码器63将解包器62取出的分层编码数据存入暂时存储装置66，将编辑者指定的分层等级的分层编码数据从暂时存储装置66读出，进行解码，用显示装置67显示。

通过这样，编辑者能够一面使图像质量变化，一面看图像。

另外，也可以这样构成，即解码器63将解包器62取出的分层编码数据进行解码，照原样用显示装置67显示。

再有，也可以这样构成，即将解码器63解码的图像数据存入暂时存储装置66，显示装置67将它再现。

然后，编辑者实时进行编辑，可以将编辑者指定的场景的分层编码数据存入暂时存储装置66。

图12所示为解码器63的方框图。

解码器63具有进行前面参照图5说明的小波变换处理的逆动作的小波逆变换处理结构。

即，若图4中说明的小波变换部的输出即各频带分量253、254、255、256输入至图12的小波逆变换部，则首先LLL分量253及LLH分量254分别利用向上采样器272及273，向上采样形成2倍分辨率。

接着，低频带分量利用低通滤波器274进行滤波，高频带分量利用高通滤波器275进行滤波，在加法器中，两个频带分量进行合成。

利用这之前的电路部271，作为用前述图5的分层等级3(图中仅记作为等级)的电路部230的变换的逆处理的逆变换结束，得到分层等级2的低频带侧的频带分量即LL分量257。

此后重复该处理，一直到分层等级1为止，通过这样输出最终逆变换后的解码图像259。

即，分层等级2的电路部280及分层等级1的电路部290具有与分层等级3的电路部271相同的结构，送出分层等级3的电路部271的输出作为分层等级2的电路部280的低频带侧的输入，另外，送出分层等级2的电路部280的输出作为分层等级1的电路部290的低频带侧的输入。以上是通常的小波逆变换部的基本构成。

返回到图11，显示装置67再现解码器63从暂时存储装置66取得分层编码数据并解码后的图像，将它在显示器等显示装置上显示。

编辑者可以一面确认利用显示装置67再现的图像数据，一面进行编辑作业。

场景编辑部68是编辑者一面参照用显示装置67再现的图像、一面进行场景生成用的接口。场景生成是通过指定编辑点来进行的。

编辑点由一组场景的开始位置即起点(in点)与结束位置即终点(out点)组成。图像数据中，用起点及终点划分的时间范围、即场景成为图像质量的编辑范围。用编辑信息记录部70，记录这些编辑点。

另外，也可以这样构成，即场景编辑部68具有暂时存储装置，存储编辑点，并一起向编辑信息记录部70传送。

图像质量编辑部69是编辑者对各场景操作分辨率及画质等图像质量的接口。图像质量编辑部69将指示的图像质量作为编辑信息记录在编辑信息记录部70中。另外，也可以指定渐进顺序。

图像质量编辑部69也可以包含在场景编辑部68中。

图像质量编辑部69也可以将指定图像质量的信息直接交给编辑信息传送部71而构成。

编辑信息记录部70一面参照暂时存储装置66中存储的分层编码数据，一面将场景编辑部68指定的编辑点与时间码相关联作为编辑信息进行记录。

再有，编辑信息记录部70对每个记录的场景，将用图像质量编辑部69的图像质量指定内容与之相对应，这些信息也包含在编辑信息中。

另外，编辑信息记录部70例如也可以有时间码记录用、图像质量记录用等多个编辑信息记录部。

再有，编辑信息记录部70也可以这样构成，即不是使用暂时存储装置66中存储的分层编码数据，而使用复制该分层编码数据的分层编码数据来生成编辑信息。

另外，也可以这样构成，即对编辑信息记录部70设置驱动能够装拆的存储媒体的功能，将编辑信息记录在可拆媒体(可装拆的存储媒体)中。

在这种情况下，也可以这样构成，即将存储编辑信息的存储媒体通过摩托车、铁路、汽车、飞机等交通工具进行配送，送达主编辑机2。

编辑信息传送部71将编辑信息记录部70记录的编辑信息进行网络打包等，通过网络4，向主编辑机2发送。

编辑信息传送部71也可以用网络接口61或其它未图示的网络接口构成。

另外，在向主编辑机2发送编辑信息后，在有差分的分层编码数据时，从主编辑机2发送该分层编码数据，存入暂时存储装置66。

通过这样，在暂时存储装置66中存储为了生成编辑图像数据所必需的分层编码数据。

编辑控制部73根据编辑信息，从暂时存储装置66提取分层编码数据，生成编辑图像数据。

编辑图像数据的生成例如是通过下述那样进行的，即对于每个由暂时存储装置66中存储的分层编码数据指定的场景，读出分层编码数据，一直到满足指定的分辨率、画质的分层等级为止，并将它向编辑图像数据存储装置72传送。这时，也可以根据编辑信息，改变渐进顺序。

编辑图像数据存储装置72，存储通过编辑处理而生成的编辑图像数据。

在远程编辑机3具有的存储装置是磁记录盘片等大容量存储媒体时，也可以用同一存储装置构成暂时存储装置66及编辑图像数据存储装置72。在这种情况下，不需要编辑图像数据存储装置72，在暂时存储装置66中形成编辑图像数据。

或者也可以这样构成，即编辑控制部73从暂时存储装置66去除不需要的图像数据，使得剩下满足编辑信息及图像质量的指示的图像。

再有，也可以存在多个编辑信息记录部70或编辑图像数据存储装置72。再有，也可以具有为了将编辑信息记录部70中记录的编辑信息或编辑图像数据存储装置72中存储的编辑图像数据向第三者提供而进行复制的复制部、以及向外部输出的输出部。

下面，说明使用以上那样构成的远程编辑机3的编辑操作。编辑操作由场景生成、以及指定的场景的图像质量指定等构成。

首先，说明场景的指定方法。场景的生成除编辑点的指定外，还由指定的场景的复制、移动、删除等构成。利用该操作，可以生成编辑点的时间码表。

另外，设时间码例如包含在帧数据的首部的选项中，或包含在文件格式的选项中等，与对应的图像数据相关联，从主编辑机向远程编辑机发送

图13所示为显示装置67上显示的场景编辑画面的一个例子，该画面由场景编辑部68提供，在显示装置67上显示。

编辑者可以使用键盘或鼠标器等输入装置来操作场景编辑部68，生成场景。

场景编辑画面由场景显示部75、缩略图显示部78、追加按钮82、修正按钮83、结束按钮84等构成。

缩略图显示部78将解码器63解码的图像的缩略图79、79、79、…面对图从左侧向右侧沿时间序列显示。

这里，显示的缩略图是用分辨率低的静止图像显示构成图像数据的帧的缩略图。

在缩略图不能在缩略图显示部78上一下子都显示时，若利用鼠标器操作等，使水平滚动条的滑动按钮80左右移动，则能够使缩略图滚动。

场景显示部75使场景的起点及终点与场景编号对应显示。

场景显示部75由场景编号显示栏74、起点显示栏72a、终点显示栏73a、以及垂直滚动条77等构成。

场景编号显示栏74是显示场景编号的栏，场景编号如1、2、3、…那样从画面上方向下按照增加顺序排列。场景编号表示编辑图像数据中使用的场景的顺序，根据该顺序，生成编辑图像数据。

起点显示栏72a是指定场景编号显示栏74中显示的场景的起点的栏。在起点显示栏72a中，显示该场景的开始帧的缩略图及时间码。

起点例如可以通过将与起点对应的缩略图从缩略图显示部78进行拖放操作来设定。

终点显示栏73a是指定场景编号显示栏74中显示的场景的终点的栏。在终点显示栏73a中，显示该场景的结束帧的缩略图及时间码。

终点例如可以通过将与终点对应的缩略图从缩略图显示部78进行拖放操作来设定。

若通过鼠标器操作等使垂直滚动条的滚动按钮移动，则能够使场景显示部75显示的内容滚动。

追加按钮82是对场景显示部75新追加场景用的按钮，若进行用鼠标器点击该按钮等操作，则对场景显示部75追加新编号栏。在该新编号栏中，起点显示栏72a及终点显示栏73a为空栏，通过对该空栏指定起点及终点，就能够追加场景。

另外，也可以由编辑者指定追加场景的位置而构成。

修正按钮83是对指定的场景进行复制、移动、删除等修正用的按钮。

结束按钮84是结束场景的生成处理用的按钮。

图14(a)所示为选择修正按钮83时显示的修正画面的一个例子。

修正画面90上除了显示场景显示部75以外，还显示复制按钮86、移动按钮88、删除按钮89等。这些按钮利用收音机按钮构成，通过鼠标器操作等，能够选择任一个按钮。

在图14(a)中，是选择复制按钮86，修正画面90成为复制方式。

在复制方式中，若点击场景显示部75中想要复制的场景，则该场景被复制，并追加在场景显示部75。

例如，若在图14(a)中选择场景4，则如图14(b)所示，追加与场景4相同的场景，作为场景5。

在图15(a)中，是选择移动按钮88，修正画面90成为移动方式。

在移动方式中，若将场景显示部75中的移动对象的场景拖放至移动目标位置，则能够移动至移动目标位置。

例如，若在图15(a)中将场景3拖放至场景5的位置，则如图15(b)所示，场景3移动至场景5，场景4及场景5的编号分别各上升1位。

在图16(a)中，是选择删除按钮，修正画面90成为删除方式。

在删除方式中，若点击场景显示部75中的删除对象的场景，则能够删除该场景。

例如，若在图16(a)中点击场景3，则如图16(b)所示，场景3被删除，在它以下的场景、即场景4及场景5的场景编号各上升1位。

图17所示为利用场景生成处理生成的时间码表的逻辑构成的一个例子。

如图所示，各场景由一组起点及终点构成。例如，场景1的起点是3分00秒00帧，场景1的终点是3分14秒29帧。这样，时间码能够以100分之1秒为单位生成。

图18所示为场景编辑处理(剪切处理)顺序的流程图。

首先，远程编辑机3将远程编辑机3进行初始化，开始场景编辑处理。然后，检测是否选择结束按钮84(图13)，通过这样进行场景编辑处理的结束判定(步骤5)。

在判定为结束时(步骤5；是)，结束场景编辑处理。

在判定为不是结束时(步骤5；否)，远程编辑机3判断是选择时间码追加和修正的哪一项(步骤10)。

该判断是通过判断选择场景编辑画面(图13)的追加按钮82和修正按钮83的哪一个按钮来进行。

在步骤10中选择追加时，判断是否取消追加选择(能够用场景编辑画面中未图示的取消按钮取消追加的选择状态)(步骤15)，在被取消时(步骤15；是)，返回步骤5。

在没有被取消时(步骤15；否)，接受由编辑者进行的缩略图显示部78中的缩略图选择，使用户选择在起点的帧(步骤20)。

然后，远程编辑机3从选择的帧取得起点的时间码(步骤25)，作为编辑信息记录在编辑信息记录部70(图11)中(步骤30)。

接着，远程编辑机3同样使编辑者选择在终点的帧(步骤35)。然后，从选择的帧取得终点的时间码(步骤40)，记录在编辑信息记录部70中(步骤45)。然后，远程编辑机3将处理返回步骤5。

另外，起点与终点的选择顺序也可以反过来。

在步骤10中，当判断为选择时间码表的修正时，远程编辑机3按照图19所示的流程图进行处理。

然后，远程编辑机3使编辑者选择修正范围(复制、移动、删除对象的场景)(步骤50)。

接着，远程编辑机3判断是选择了复制按钮86、移动按钮88、删除按钮89的哪一个按钮(步骤55)。

在选择复制按钮86时，远程编辑机3复制选择的场景的由起点和终点组成的一组时间码(步骤60)，对时间码表进行追加，更新时间码表(步骤75)。

在选择移动按钮88时，远程编辑机3将选择的场景的一组时间码移动至作为移动目标位置的被指定的位置(步骤65)，更新时间码表(步骤75)。

在选择删除按钮89时，从时间码表删除选择的场景的一组时间码(步骤70)，更新时间码表(步骤75)。

然后，远程编辑机3若在步骤75更新时间码表，则返回步骤10的处理。

另外，在以上的例子中，是将一组起点和终点作为修正对象，但也可以在已经指定的一组起点和终点中、将任何一方作为修正对象。

另外，也可以这样构成，即若直接或通过帧指定来指定1点的时间码，则根据预先设定的条件，生成一组起点和终点，使得该1点的前后的某范围的时刻量的数据作为编辑范围。

在以上的例子中，是将生成的时间码表存入编辑信息记录部70，但也可以这样构成，即将时间码打包，向主编辑机发送，用主编辑机生成时间码表。

在这种情况下，用图20的流程图说明远程编辑机3进行的处理顺序。

另外，对于与图18的流程图相同的处理附加相同的步骤编号，并省略说明。

远程编辑机3在与图18的例子中向远程编辑机的记录部传送时间码相同的时刻将时间码打包，通过编辑信息传送部71向主编辑机2进行发送(步骤28、48)。

然后，在结束场景编辑时，向主编辑机2通知编辑结束(步骤49)。

另外，在进行修正时，如图21所示，向主编辑机2传送编辑内容，根据来自主编辑机2的应答，确认用主编辑机2改变了时间码的记录的情况(步骤80)。

另外，在以上的编辑操作中，是用图像数据指定场景，但也有的情况下，用缩略图浏览图像数据的结果是，从图像内容的开始到结束都判断为需要，而不发生场景编辑操作。这时，也可以设置一种设定，该设定为将图像内容的开始位置及结束位置自动记录在时间码表中。

下面，说明对编辑信息记录部18的时间码表记录方式。

这里，设记录1个时间码的容量为b字节，考虑将N组编辑范围(场景)按照起点、终点的顺序进行记录的情况。

若设预先确保的存储区N*2*b的开始地址为a0，第k号编辑对象范围的起点从地址a0+2*b*(k-1)起记入，终点记入在a0+(2*(k-1)+1)*b。

这时，也可以预先确保最大表长Nmax大小的记录空间Nmax*2*b，每次编辑点追加操作，就将值写入对应地址。

或者，也可以在有编辑点的追加操作时，确保新编辑点用的仅2b区域，将时间码写入确保的部分。

也可以生成包含起点、终点、下一个表参照目标地址的结构体，每次追加时间码组，一面确保新结构体用的空间，一面进行记录，也可以存储时间码，生成由存储目标地址组成的表，由该表读出所需要的时间码的地址，参照时间码本身。

以上，所示为使用时间码的编辑范围指定例子，但也可以利用能够变换为编辑点的帧的时间码信息的其它信息，以代替时间码。

例如，也可以用帧号构成。也可以利用表示在主编辑机内分层编码的帧或拼接块数据的存储地址那样的相对或绝对指针。也可以利用赋予RTP包的RTP首部的RTP时间标记。这里，由于RTP时间标记以90KHz的频率生成，因此RTP时间标记对于通常再现约30fps的图像数据的生成时间间隔，具有足够的时间分辨率。

如上所述，在用图像数据指定编辑范围即场景之后，对这些场景进行图像质量(这里是分辨率、画质)指定。

在本实施形态中，设通过指定分层编码进行解码所用的分层等级，即使不接收全部固图像数据，也能够指定编辑图像数据的图像质量。

另外，在确认编辑图像的质量时，即使需要送来一部分图像数据，也只要接受与已经接收完的分层编码数据的差分数据即可。

编辑图像质量中能够实现的最高质量与成为素材的原始图像数据具有的分辨率及画质的质量相等。

因此，远程编辑机3例如在图像数据传送开始时，作为初始化操作的一部分，从主编辑机2接收图10所示的SDP，接受素材图像数据的最高分层等级等的通知。然后，将这些信息存入编辑信息记录部70。

图像质量编辑部69参照编辑信息记录部70中存储的素材图像数据的分层等级值，控制图像质量指定操作，使得编辑图像数据的分层等级指定值不超过素材图像数据的值。

这时，能够使画质高但分辨率小的、画质高但将分量仅作为辉度分量等，能够对每个构成分层的分层要素独立进行控制。

即，图像质量的编辑，是从主编辑机2取得素材图像数据的分层等级信息，在其范围内决定编辑图像质量。

图22所示为显示装置67上显示的图像质量编辑画面的一个例子，显示场景编辑结束的情况。

图像质量编辑画面构成图像质量编辑用的用户界面，能够对每个画质、分辨率等分层要素指定独立的分层等级。

图像质量编辑画面由图像显示部110、再现部位显示部111、再现按钮113、画质指定部115、分辨率指定部118、场景显示部123等构成。

这样，图像质量编辑画面具有图像显示部110及每个分层要素独立的指定部(画质指定部115、分辨率指定部118)，在这些指定部中，能够从可指定范围利用滑标等指示所希望的指定值。

另外，在图示的例子中，画质及分辨率都能够指定分层等级1～分层等级7，素材图像数据经过6次小波变换后，将画质分割成7层，形成分层结构。

另外，关于分量，也能够指定分层等级，这在以下省略说明。

以下，说明图像质量编辑画面的各构成要素。

场景显示部123显示用场景编辑处理生成的场景的浏览图，将图像质量编辑的对象场景与场景编辑处理的结果相对应。

场景显示部123的显示内容与场景显示部75(图13)相同，各场景的起点及终点的帧用缩略图显示，能够用垂直滚动条使它们滚动。

在场景显示部123中，例如通过鼠标器操作进行点击等，能够选择设定图像质量的场景。在图示的例子中，选择场景2。

这样，图像质量编辑部69能够对每个场景指定画质及分辨率的分层等级。

另外也可以这样构成，即若指示仅仅构成同一场景的一连串的图像帧的一部分以高画质或高分辨率等不同的分层要素等级进行编辑，则使其进行场景分割，改变场景或时间码范围的信息。

图像显示部110是再现用场景显示部123选择的图像数据进行显示的区域。

在图像显示部110中，连续显示构成场景的帧，编辑者能够作为动态图像来看构成场景的图像数据。

再现按钮113是控制场景显示部123中选择的图像数据的再现用的按钮。

编辑者通过鼠标器操作，来点击该按钮等，能够选择图像的再现及停止。

再现部位显示部111显示在图像显示部110中显示的图像的场景内的位置。

再现位置利用再现位置指示部112的位置表示，再现位置指示部112随着图像再现的进行，从起点(面向图的再现部位显示部111的左端)向终点(面向图的再现部位显示部111的右端)移动。

另外，编辑者通过鼠标器操作等，使再现位置指示部112滑动，能够使再现位置移动到场景内的任意位置。

画质指定部115用来指定场景显示部123中选择的场景的画质的分层等级(画质等级)。

能够选择的画质等级可根据从主编辑机2发送来的素材图像的分层信息来决定。

在画质指定部115中，通过将能够指定的画质的最大值及最小值作为可指定范围，预先限制可编辑范围。另外，将能够指定的值以整数值的刻度来表示。

在图示的例子中，画质分层为分层等级1～分层等级7，编辑者能够通过鼠标器操作等，使画质滑标116移动，从这些范围中选择所希望的值。

与画质等级的刻度一起记有kl、kl recv、kl org等记号。

kl表示通过编辑作业指定的画质的层数，kl recv表示远程编辑机3保持的层数，kl org表示素材图像数据的画质层数。另外，这些值也可以用颜色、标记等显示。

由于远程编辑机3保持有最多达到用kl recv指定的画质等级的图像数据，因此远程编辑机3能够以从分层等级1到kl recv之间指定的画质在图像显示部110显示图像。

所以，编辑者能够用图像显示部110确认指定的画质。

在指定画质超过kl recv时，进行请求追加分层编码数据的提示。在编辑者请求追加分层编码数据时，请求主编辑机2传送追加数据，通过这样将接受到的追加的分层编码数据与前面接收的分层编码数据一起，用高画质显示。

分辨率指定部118用来指定场景显示部123中选择的场景的分辨率的等级(分辨率等级)。

与画质相同，设定能够指定的分辨率等级的最大值及最小值，来限制可编辑范围。

能够选择的分辨率等级可根据从主编辑机2发送来的素材图像的分层信息来决定。分辨率能够选择(小波变换次数+1)种的分层等级，在图示的例子中，能够选择分层等级1～分层等级7。

能够通过鼠标器操作等，使分辨率滑标119移动，从这些值中选择分辨率。

与分辨率等级的刻度一起记有kr、kr recv、kr org等记号。

kr是编辑用的指定分辨率等级，kr recv是远程编辑机3保持的图像数据的分辨率等级，kr org是素材图像数据分辨率等级。

另外，这些值也可以用颜色、标记等显示。

由于远程编辑机3保持有最多达到用kr recv指定的分辨率等级的图像数据，因此远程编辑机3能够以从分层等级1到kr  recv之间指定的画质在图像显示部110显示图像。

所以，编辑者能够用图像显示部110确认指定的分辨率。

在指定分辨率超过kr recv时，进行请求追加分层编码数据的提示。在编辑者请求追加分层编码数据时，请求主编辑机2传送追加数据，通过这样将接受到的追加的分层编码数据与前面接收的分层编码数据一起，用高分辨率显示。

下面，说明为了提高画质而向主编辑机2请求追加分层编码数据的情况。

图23的各图所示为将分辨率固定在分层等级3不变、而使画质从分层等级3变为分层等级6的情况。

首先，最初如图23(a)所示，将画质等级设定为3，在图像显示部110显示与画质等级3相对应的图像。

接着，如图23(b)所示，设编辑者指定画质等级6。在这种情况下，由于远程编辑机3保持的图像数据的画质等级最高为分层等级5，因此为了以分层等级6的画质来显示图像，使用图示的对话框等，向编辑者询问是否向主编辑机2请求追加分层编码数据。

在编辑者请求追加分层编码数据时，远程编辑机3向主编辑机2发送请求，接收主编辑机2根据该请求而发送来的追加的分层编码数据，如图23(c)所示，以指定后的画质在图像显示部110显示图像。

在图23(c)中，将k1设定为6，在图像显示部110显示画质等级6的图像。

下面，说明为了提高分辨率而向主编辑机2请求追加分层编码数据的情况。

图24的各图所示为将画质固定在分层等级6不变、而使分辨率从分层等级3变为分层等级6的情况。

首先，最初如图24(a)所示，将分辨率等级设定为3，在图像显示部110显示与分辨率等级3相对应的图像。

接着，如图24(b)所示，设编辑者指定分辨率等级6。在这种情况下，由于远程编辑机3保持的图像数据的分辨率等级最高为分层等级5，因此为了以分层等级6的分辨率来显示图像，使用图示的对话框等，向编辑者询问是否向主编辑机2请求追加分层编码数据。

在编辑者请求追加分层编码数据时，远程编辑机3向主编辑机2发送请求，接收主编辑机2根据该请求而发送来的追加的分层编码数据，如图24(c)所示，以指定后的分辨率在图像显示部110显示图像。

在图24(c)中，将kr设定为6，在图像显示部110显示分辨率等级6的图像。

下面，说明指定分层等级的分辨率大于远程编辑机3保持的分层等级的分辨率、而且不向主编辑机2请求追加分层编码数据的情况。

例如，如图25(a)所示，虽极kr recv为分层等级5，但如图25(b)所示，假设指定分层等级6。

于是，用图像显示部110让编辑者进行确认，是否请求追加分层编码数据，但这里假设编辑者不请求。

于是，在图像显示部110中如图25(c)所示，通知指定的分辨率高于现在显示的分辨率的情况，用能够显示的分辨率显示图像。

关于画质也同样，在指示分层等级高于远程编辑机3保持的画质等级、而不请求追加分层编码数据时，在图像显示部110中显示该内容。

下面，说明用图像数据指定ROI(Regi on of Interest：感兴趣区域)的情况。

ROI是对于指定的区域优先分配位速率的技术，或者是对该区域比其它区域设定较高的图像质量。

另外，也可以反过来，将指定的一部分区域的图像质量设定成比其它区域要低。

在本实施形态中，能够以拼接块为单位来设定ROI。

图26所示为ROI的指定例子。

若在图像显示部110中用笔目标包围区域等，指定图像中的ROI，则在成为ROI的拼接块的位置处，画质用的层的分层等级数作为与其它部位不同的值，记录在编辑信息记录部70中。

在图示的例子中，设置ROI检查框131，在选择该检查框期间，能够用画质指定部115指定ROI的画质，在没有选择该检查框期间，设定ROI以外的部分的画质。

在图示的例子中，在图像的中心指定ROI130，该区域的画质高于其它区域。

另外，也可以利用图像处理等，检测出感兴趣目标，提高包含感兴趣目标的区域的图像质量。

下面，用图27的流程图，说明图像质量编辑顺序。该处理是对每个分层要素(画质、分辨率等)进行的，但以下对这些分层要素中的一个进行说明。

首先，远程编辑机3一面在SDP扩展部等进行描述等，参照从主编辑机2传送来的素材图像数据的图像质量，一面对设定上限kmax进行设定(步骤100)，再设定下限值kmin(步骤105)。

这里，设定为kmax＝kO、kmin＝1。

接着，判定是否结束图像质量编辑处理(步骤110)，在结束时(步骤110；是)，将编辑结果作为编辑信息记录在编辑信息记录部70中，结束处理。

在不结束时(步骤110；否)，接受编辑者指定的分层要素的等级指定k，将分层要素的设定值变为指示值k(步骤115)。

接着，主编辑机2判断k是否在kmin到kmax的范围内，即，是否在素材图像数据的图像质量的范围内(步骤120)。

当k不在该范围内时(步骤120；否)，在k小于kmin时，设定k为kmin(步骤140)，在k大于kmax时，设定k为kmax(步骤145)。

当k在kmin到kmax的范围内时(步骤120；是)，或者在步骤140、145设定了k值时，将该k值作为编辑信息记录在编辑信息记录部70中。(步骤125)。

接着，远程编辑机3判断k是否在现在远程编辑机3保持的图像数据的图像质量的范围内(步骤130)，当是在保持的图像数据的图像质量的范围内时(步骤130；是)，在图像显示部110以k指定的图像质量显示图像(步骤135)。

另一方面，当不是在保持的图像数据的图像质量的范围内时(步骤130；否)，对编辑者询问是否向主编辑机2请求差分的分层编码数据(步骤150)。

在编辑者请求差分的分层编码数据时(步骤150；是)，向主编辑机2请求差分的分层编码数据(步骤155)，其结果，接收从主编辑机2发送来的分层编码数据(步骤160)。

接收的分层编码数据利用解包器62(图11)解包后，用解码器63进行解码，追加给前面存入暂时存储装置66的分层编码数据。

然后，主编辑机2以指定的图像质量来显示图像数据(步骤135)。

另一方面，在编辑者不请求追加的分层编码数据时(步骤150；否)，向编辑者通知在图像显示部110显示的图像与指示的图像质量不同的情况(步骤165)，使用现在保持的图像数据，在图像显示部110以最接近于指定的图像质量的图像质量来显示图像(步骤170)。

如上所述，能够进行场景指定、以及指定的场景中的图像质量指定。

图28所示为这样生成的、存入编辑信息记录部70的编辑信息的逻辑结构的一个例子。

如图所示，编辑信息由场景号141、起点142、终点143、画质等级144、分辨率等级145、ROI画质146、ROI拼接块号147等项目构成。

场景号141是场景编号。

起点142及终点143是各场景的起点及终点。

画质等级144是各场景指定的画质等级。

分辨率等级145是各场景指定的分辨率等级。

ROI画质146是在某场景中指定ROI时的、ROI指定的画质。

ROI拼接块号147是ROI指定的拼接块的拼接块编号。

另外，也可以如图29所示，对每个拼接块设定画质等级那样构成，通过这样指定ROI。

在图示的例子中，将拼接块号5的拼接块的画质等级设定为5，其它拼接块的画质等级设定为3。

下面，说明用便携终端构成远程编辑机3的情况。通过用便携终端构成远程编辑机3，能够很容易在拍摄现场进行编辑等。

图30(a)所示为用便携终端构成的远程编辑机3的操作部的示意图。远程编辑机3具有显示器，在该显示器上形成图像显示部156、编辑对象指定部152、等级指定部154、缩略图显示部158。

另外，在显示器外部，形成编辑者进行编辑操作用的操作部160。

操作部160如图所示，可以用按钮或凹凸盘等构成，通过对操作部160进行操作，能够在图像显示部156上显示的项目间移动、选择菜单、或菜单项目移动等。

缩略图显示部158显示生成场景的前面的帧的缩略图。场景是这样进行，即在图像显示部156显示接收的图像数据，通过对操作部160进行操作，剪切场景。

通过对操作部160进行操作，用缩略图显示部158选择缩略图，从而能够选择场景，被选择的场景成为图像质量编辑对象。

在编辑对象指定部152中如图30(b)所示，对于用缩略图显示部158选择的场景，能够通过对操作部160进行操作，选择是对画质、分辨率、ROI的哪一项进行编辑。

然后，在等级指定部154中如图30(c)所示，能够选择在编辑对象指定部152中选择的项目的编辑图像数据利用的分层等级。

在指定ROI时，如图31所示，用编辑对象指定部152选择ROI，通过对操作部160进行操作，在图像显示部156上选择ROI中指定的拼接块。在指定ROI时，显示拼接块的边界，能够至少指定一个。

指定的ROI的画质可以用等级指定部154来指定。

在以上说明的远程编辑机3中，网络接口61接收从主编辑机2发送来的分层编码数据，构成数据接收单元。

使用解包器62、解码器63、暂时存储装置66、显示装置67，再现图像，这些构成再现单元。

利用场景编辑部68及图像质量编辑部69，接受来自编辑者的编辑作业，这样构成编辑单元。

利用场景编辑部68、图像质量编辑部69、以及编辑信息记录部70，生成编辑信息，这些构成编辑信息生成单元。

再有，图像质量编辑部69对于每个规定分辨率、画质等图像质量的分层要素，接受分层等级的指定，编辑信息记录部70将这些指定值包含在编辑信息中。

生成的编辑信息从编辑信息传送部71向主编辑机2发送，这构成向主编辑机2请求编辑图像数据生成所必需的分层编码数据的数据请求单元。

然后，编辑控制部73利用从主编辑机2先前接收的分层编码数据、以及追加发送的分层编码数据(在先前接收的分层编码数据不够时)，生成编辑图像数据，构成编辑图像数据生成单元。

另外，图像质量编辑部69在用显示装置67再现图像时，从编辑者接受分辨率等级、画质等级等分层要素的分层等级的选择(分层等级选择单元)，暂时存储装置66、解码器63、显示装置67以所选择的分层等级再现图像。

再有，图像质量编辑部69在编辑者编辑图像质量时，在显示装置67显示已接收的分层等级、素材图像数据的分层等级、以及现在指定的分层等级，构成分层等级提示单元。

另外，图像质量编辑部69在编辑者再现的图像的分层等级、与用图像质量编辑部69指定的分层等级不同时，如图25(c)所示，显示报警(报警显示单元)。

下面，用图32说明远程编辑系统1中进行的编辑顺序。

首先，在素材图像数据被分层存入主编辑机2的状态下，主编辑机2向远程编辑机发送编辑开始的信号。

远程编辑机3进行确保作业存储器、确保缩略图用数据的保存存储器、编辑信息表的初始化等初始化作业Initialize。

初始化后，远程编辑机3利用缩略图接收信号getData(T’in、T’out)，请求缩略图数据。

在主编辑机2中，从主编辑机2的素材图像数据传送生成缩略图所足够的数据，以满足所希望的质量。

以前述的传送质量控制部指示的图像质量，指示读出从T’in到T’out的数据(readData(T’in、T’out、q’))，从图像数据部读出调整的数据adjustedData(T’in、T’out)，利用sendadjustedData，向远程编辑机3传送。

这里，素材图像数据的读出，是根据从连接编辑机之间的网络4的状态计算出的传送速率、在主编辑机2侧的传送质量控制部16中面向缩略图图像指定的图像分辨率及画质的图像质量，控制读出量及传送量，向远程编辑机3传送。

远程编辑机3接收图像数据，一面用seekFrame()来看图像显示部110上显示的缩略图，一面搜索帧，将决定的编辑点用addEditlistTin(Tk in)、addEditlistTout(Tk out)在编辑信息中描述，这里，k是从1到N的整数。

重复以上的操作，确定编辑图像数据中使用的场景T1、、、Tk、、、TN。

场景Tk的图像质量的指定是对于分辨率、画质那样的分层要素以指定编辑图像数据中使用的分层等级的方式来进行的(editQual(Tk’))。

在图像质量的编辑中，利用Framedata()读出编辑用数据，通过这样一面改变缩略图的图像质量，一面决定质量。

编辑中，更详细研究的话，若缩略图接收数据中需要超过能够显示的图像质量的数据，则利用reqData、getData(未图示)，从主编辑机2接收差分的分层编码数据。

若利用编辑操作决定图像质量，则将分层要素的分层等级写入编辑信息(setQual(Tk’、q’))。

若远程编辑机3中的编辑操作结束，则根据编辑信息用远程编辑机3生成编辑图像数据。

首先，对于用编辑表中记载的编辑范围Tk的编辑点的时间码TkinTkout表示的帧群flTk，向主编辑机2发送请求，使其向远程编辑机侧传送完成图像质量q’Tk用的数据(sendEditlist(flTk，q’(Tk)))。

在主编辑机2中，将该信息与传送质量控制部16等中记录的传送完成的分层编码数据的履历sendDataInfo()进行比较，向远程编辑机3传送差分的分层编码数据diffData(flTk，q’(Tk))。

在远程编辑机3侧使用已经具有的分层编码数据、以及从主编辑机2接受的图像质量差分数据(差分的分层编码数据)，完成编辑图像数据。

这里是在主编辑机2侧计算发送完成的分层编码数据的差分，但也可以在远程编辑机3中计算接收完成的分层编码数据与必需的分层编码数据之差分，仅将差分的请求向主编辑机2传送。

按照来自接受内容传送的服务终端的请求，利用完成的编辑图像数据。作为内容传送服务，可以举出使用FTP的每个文件传送、HTTP流技术或RTP流技术。也可以物理上取下编辑图像数据存储装置72本身来运送，或者对能够取下的存储媒体复制后运送。

图33所示为主编辑机2及远程编辑机3中的图像数据存储状态的概念图。

帧串202表示主编辑机2的图像数据存储装置9中的素材图像数据存储状态。面向图的右侧采用时间轴，左端的帧是处于素材图像数据的开始位置的帧，右端的帧是处于结束位置的帧。帧串204、206、208也同样。

主编辑机图像数据的帧201表示构成帧串202的各帧的根据分辨率的分层等级，是与图6相对应的帧。另外，3LL等的说明省略。

如图所示，构成帧串202的各帧具有尺寸1/8(分辨率等级0)、尺寸1/4(分辨率等级1)、尺寸1/2(分辨率等级2)、尺寸1/1(分辨率等级3)的分层编码数据。

然后，主编辑机图像数据的帧串204表示远程编辑机3的暂时存储装置66中存储的分层编码数据的存储状态。

帧203表示构成帧串204的各帧的根据分辨率的分层等级。

如图所示，构成帧串204的各帧具有尺寸1/8(分辨率等级0)的分层编码数据。

这是由于主编辑机2为了在素材图像数据中将尺寸1/8的分层编码数据向远程编辑机3发送，而进行图像质量的调整。

编辑者用远程编辑机3，一面参照帧串204，一面进行编辑作业。

图中所示为在帧串204中、通过编辑对N个场景T1～TN(这里N＝2)的起点及终点设置标记的状态。

主编辑机图像数据的帧串206表示主编辑机2的图像数据存储装置9中存储的素材图像数据，表示与用帧串204的编辑结果的对应关系。

帧205表示帧串206的各帧的根据分辨率的分层等级，与帧201相同。

在帧串206中，与帧串204的N个场景T1～TN相对应，对场景T1～TN设置标记。

主编辑机图像数据的帧串208表示远程编辑机3的编辑图像数据存储装置20中存储的编辑图像数据的存储状态。

帧207表示帧串208的各帧的根据分辨率的分层等级，由尺寸1/2(分辨率等级2)的分层编码数据构成。

这样，编辑图像数据是从帧串206的场景T1～TN提取尺寸1/2的编码数据生成。

该提取处理例如可如下那样进行。

例如，若是对于各帧仅在3LL区域(1/8尺寸)生成编辑图像数据的情况，则用读出中的帧读出3LL区域，将读出点移动至下一帧的图像数据前头区域。然后，若用该帧读出3LL区域，则再移动至下一帧。

这样，在场景范围内，重复用帧串从各帧读出所希望的分层编码数据的处理，通过这样能够生成编辑图像数据。

通过这样进行处理，由于不需要将图像数据存储装置9中存储的全部分层编码数据(3HL、3HH、2LH、2HL、2LL、1LH、1HL、1HH)向远程编辑机3发送，另外，在生成编辑图像数据时，不需要从图像数据存储装置9读出全部分层编码数据，因此能够节约传送时间及处理时间。

在图33中，是与确定场景一起进行根据分辨率的分层等级的调整，但也可以进行根据画质等级的调整。

另外，在不需要素材图像数据时，也可以从图像数据存储装置9删除剩余的分层编码数据，或者也可以在删除后，重新配置存储区。

图34所示为主编辑机2的硬件构成的一个例子。

在主编辑机2中，CPU240、ROM(Read Only Memory：只读存储器)242、RAM(Random Access Memory：随机存储器)241、输入装置244、输出装置246、网络连接装置248、存储装置2500、存储媒体驱动装置2540等利用总线260连接而构成。

CPU240是按照ROM242、RAM241、及存储装置2500等中存储的程序进行各种处理的中央处理装置。

CPU240通过执行主编辑机侧的编辑程序，形成图2所示的编码器10、缓冲器11、打包器12、传送质量控制部16、编辑控制部17等各构成要素，发挥远程编辑功能。

ROM242是存储在使主编辑机2发挥功能上所必需的基本程序及参数等的只读存储器。

RAM241是能够写入及删除数据的随机存储器，例如在CPU240进行分层编码数据的发送、或根据编辑信息生成编辑图像数据时，提供工作存储器。

输入装置244例如由键盘、鼠标器、操纵杆等输入设备构成，主编辑机侧的操作者可以再现素材图像数据，或对它们进行再编辑。

另外，通过操作输入装置244，能够对素材图像数据及整个主编辑机2进行管理维护。

输出装置246由显示器、扬声器、打印机等输出设备构成，主编辑机侧的操作者使用这些设备，能够再现显示素材图像数据，或者显示从远程编辑机3发送来的编辑信息的内容。

另外，在图像数据包含声音数据时，能够从扬声器输出该声音。

存储装置2500例如是硬盘驱动器等构成的大容量的存储设备，利用CPU240能够进行数据的读写。

存储装置2500例如由大容量的硬盘构成，但除此之外，也可以用光磁盘、磁盘、半导体存储装置等其它存储媒体、和驱动该存储媒体的存储媒体驱动装置来构成。

在存储装置2500中，形成存储各种程序的程序存储部2560、以及存储各种数据的数据存储部2580。

在程序存储部2560中，例如存储有发挥远程编辑功能用的编辑程序、以及用主编辑机2实现文件输入输出处理等基本功能用的OS(Operating System：操作系统)等。

在数据存储部2580中，形成图像数据存储装置9(图2)等，存储有素材图像数据等。

存储媒体驱动装置2540驱动半导体存储器、光磁盘、磁盘等可装拆的存储媒体，进行数据的读写。

通过这样，能够从存储媒体读入素材图像数据等。

网络连接装置248是将主编辑机2与网络4连接用的接口，构成网络接口15(图2)。

以上，说明了主编辑机2的构成，但远程编辑机3的硬件构成基本上与主编辑机2相同。

远程编辑机3具有发挥远程编辑机侧的编辑功能的编辑程序，通过用CPU执行该编辑程序，发挥编辑信息生成及编辑图像数据生成等上述各种远程编辑功能。

以上，说明了本实施形态，但可以有各种变形。

例如，编辑图像数据存储装置72中存储的编辑图像数据也可以通过网络4向用户终端等传送。

在这种情况下，在远程编辑机3中设置传送编辑图像数据用的传送站点，向访问传送站点的用户终端传送编辑图像数据。

也可以将编辑图像数据下载传送，也可以进行流技术传送。

另外，也可以将编辑图像数据向电视台的终端等发送，进行广播。

另外，也可以复制编辑图像数据，存入存储媒体等，向用户提供。

再有，在本实施形态中是这样构成，即用远程编辑机3暂时存储编辑信息，将它向主编辑机2发送，但也可以这样构成，即在用远程编辑机3进行编辑中，逐次向主编辑机2发送编辑信息。

在这种情况下，例如远程编辑机3将编辑信息打包，通过向网络4进行包输出，从而向主编辑机2发送。

然后，主编辑机2根据该编辑信息，逐次从素材图像数据提取差分的分层编码数据，向远程编辑机3发送。

或者也可以这样构成，即主编辑机2将逐次发送来的编辑信息进行存储，在从远程编辑机3接受编辑结束的指示后，发送差分的分层编码数据。

再有，也可以峙远程编辑系统1扩展为具有第3编辑机。

图35所示为这种情况的系统构成。

在这种情况下，从主编辑机2向远程编辑机3发送分层编码数据，用远程编辑机3生成编辑信息的处理与前面说明的实施形态相同，但主编辑机2向第3编辑机2a发送素材图像数据，远程编辑机3将编辑信息向第3编辑机2a发送。

然后，第3编辑机2a使用编辑信息，根据素材图像数据生成编辑图像数据。

在这样构成远程编辑系统时，远程编辑机3与第3编辑机2a的组合构成远程编辑装置。

另外，远程编辑系统1的着眼点放在构成业务用上，但也可以构成为个人用户能够利用。

例如，用具有服务器功能的自己家中的PC(Personal computer：个人计算机)接收电视播放。PC一面将接收的数据进行分层编码，一面存储，同时通过网络向便携终端发送低画质的分层编码数据。

另一方面，用户一面用便携终端将发送来的分层编码数据进行解码，一面实时对它浏览。然后，一面对它浏览，一面确定编辑点，在播放结束后，将编辑信息向自已家中的PC发送。

自已家中的PC使用发送来的编辑信息，将差分的分层编码数据向便携终端发送，用便携终端生成编辑图像数据。

另外，也可以为了生成播放内容，将用摄像机拍摄的数据进行分层编码，在本地记录在摄像机内的存储装置或与摄像机连接的记录装置中，同时向主编辑机2进行流动。在这种情况下，用远程编辑机3进行编辑作业，根据编辑内容，生成播放内容，作为远程编辑机3侧的最终图像内容。

再有，在远程编辑系统1中，是在编辑图像数据生成时参照的编辑信息的指定事项中，对于具有分层结构的构成要素即画质及分辨率，指定分层等级，并使用指定的分层等级，生成编辑信息，但也可以对每个分层要素除了用数据指定分层等级本身以外，若是分辨率，则用「大」、「小」来指定，若是画质，则用「好」、「坏」来指定，在轴上分配这样的定性评价，用于分层等级指示。

或者也可以，若是分辨率，则用「宽640像素高320像素」、「PSNR 47dB」，对每个分层要素，变换为一般利用的尺度来显示刻度。

另外，在远程编辑系统1中，说明了用远程编辑机3根据分层要素的等级指定进行编辑操作的情况，但也可以主编辑机2中具有同样的图像显示部及用户界面，通过分层等级指定，来调节缩略图图像的质量，以满足编辑侧所希望的编辑基准，并进行送出。例如，若是电视剧拍摄中进行的编辑操作，则能够通过模式匹配，自动识别上场人物的脸的位置，将该区域指定为ROI，以比其它区域要高的画质向远程编辑机送出。

本实施形态提供一种编辑系统，该编辑系统根据用MPEG4 FGS及JPEG2000那样的方式进行分层编码的图像，生成编辑用缩略图并传送，用于编辑，通过这样，能够利用编辑信息，在远程编辑机侧生成高画质的图像内容。

通过这样，能够提供以下那样的构成。

(1)远程编辑系统，是由主编辑机及远程编辑机组成的远程编辑系统，前述主编辑机具有：存储利用进行分层编码的单元编码的数据的单元；将前述存储的分层编码数据对每层打包的单元；对前述分层的包网络层进行网络打包的单元；以及送出前述网络包用的进行包通信的单元，前述远程编辑机具有：接收网络包用的包通信单元；将接收的网络包进行解包、并组合成数据的单元；将数据解码的单元；以及参照解码的数据对数据进行编辑的单元，在前述数据编辑单元中生成数据的编辑信息、并将生成的编辑信息向主编辑机传送的远程编辑系统中，前述主编辑机还具有：接收从前述远程编辑机送出的编辑信息的单元；参照接收的编辑信息的单元；按照编辑信息的指示内容、将指示内容变换为分层编码数据的分层构成要素的等级的单元；读出前述主编辑机的分层编码数据、一直到所希望的等级为止的单元，将前述读出的分层编码数据通过前述编码单元及打包单元及送出单元向远程编辑机传送，前述远程编辑机将传送的分层编码数据进行解包，记录在最终图像内容记录装置中，通过这样在远程编辑机中生成最终图像内容。

(2)将前述最终图像内容存储单元中生成的内容用FTP(file transferprotocol：文件传送协议)传送的远程编辑系统。

(3)在主编辑机中具有指示最终图像内容的图像质量指定操作的单元的远程编辑系统。

(4)在远程编辑机中具有指定最终图像内容的图像质量的单元的远程编辑系统。

(5)在主编辑机中具有指定最终图像内容的图像质量的单元的远程编辑系统。

(6)使用MPEG4的分层技术、以实现指定的图像质量的远程编辑系统。

(7)使用JPEG2000的分层技术、以实现指定的图像质量的远程编辑系统。

(8)在主编辑机中具有显示解码的数据用的显示装置的远程编辑系统。

根据以上的构成，则能够构筑一种远程编辑系统，该远程编辑系统对图像数据采用小波变换的分层编码，将图像数据向与通信网连接的远程编辑机传送，在远程机中使用传送的图像数据，进行图像内容的编辑。传送的编辑用图像调整为与网络利用频带相对应的图像质量。根据分层编码的特性，即使是接收侧终端能力不同、或者网络通信状态变化的情况下，也不需要负荷重的分辨率及画质的译码。另外，通过追加差分数据，能够实现高画质。为了利用该传送图像进行编辑，在生成最终图像内容时进行参照，生成例如由编辑点的时间码构成的编辑信息。

工业上的实用性

根据本发明，则能够不进行负荷重的信息处理，而根据远程编辑装置的能力、编辑者的希望、或网络的状态等，灵活地进行远程编辑。

Claims (14)

1.一种远程编辑系统，通过网络用远程编辑装置、对主编辑装置中存储的形成图像的分层编码数据进行编辑作业，其特征在于，

所述主编辑装置将所述分层编码数据中、属于规定的分层等级的数据向所述远程编辑装置发送，

所述远程编辑装置接受采用所述发送的分层编码数据的编辑作业，对所述主编辑装置请求利用编辑生成编辑图像数据所必需的分层编码数据，并使用根据所述请求从所述主编辑装置发送来的分层编码数据，生成编辑图像数据。

2.一种主编辑装置，其特征在于，具有：

存储形成图像的分层编码数据的数据存储单元；

将所述存储的分层编码数据中、属于规定的分层等级的分层编码数据向远程编辑装置发送的数据发送单元；

从所述远程编辑装置、接受用所述远程编辑装置生成编辑图像数据所必需的分层编码数据的发送请求的请求数据接受单元；以及

将所述请求的分层编码数据向所述远程编辑装置发送的请求数据发送单元。

3.如权利要求2所述的主编辑装置，其特征在于，

在用所述请求数据接受单元接受的请求中，指定规定图像的图像质量的一个或多个分层要素的分层等级，所述请求数据发送单元发送所述存储的分层编码数据中、与每个所述指定的分层要素的分层等级相对应的分层编码数据。

4.如权利要求2所述的主编辑装置，其特征在于，

所述数据发送单元发送所述存储的分层编码数据中、属于与所述远程编辑装置相对应的分层的分层编码数据。

5.如权利要求2所述的主编辑装置，其特征在于，

具有分层等级构成发送单元，所述分层等级构成发送单元向所述远程编辑装置发送所述存储的分层编码数据的分层等级构成、以及所述发送的分层编码数据的分层等级构成。

6.一种远程编辑装置，其特征在于，具有：

从主编辑装置接收形成图像的分层编码数据的数据接收单元；

使用所述接收的分层编码数据再现图像的再现单元；

使用所述再现的图像、接受编辑作业的编辑单元；

向所述主编辑装置请求利用编辑单元的编辑、生成编辑图像数据所必需的分层编码数据的数据请求单元；以及

接收根据所述请求从所述主编辑装置发送来的分层编码数据、并使用所述接收的分层编码数据来生成编辑图像数据的编辑图像数据生成单元。

7.如权利要求6所述的远程编辑装置，其特征在于，

所述编辑单元接受规定编辑图像的图像质量的多个分层要素中每个分层要素的分层等级的指定，所述数据请求单元将所述指定的每个分层要素的分层等级向所述主编辑装置发送。

8.如权利要求6所述的远程编辑装置，其特征在于，

具有接受所述分层要素的分层等级的选择的分层等级选择单元，

所述再现单元使用与所述选择的分层等级相对应的所述分层编码数据，来再现图像。

9.如权利要求6所述的远程编辑装置，其特征在于，

具有从所述主编辑装置接收所述主编辑装置中存储的分层编码数据的分层等级构成、以及所述接收的分层编码数据的分层等级构成并进行提示的分层等级提示单元。

10.如权利要求7所述的远程编辑装置，其特征在于，

具有在规定用所述再现单元再现的图像的图像质量的分层要素的分层等级、与规定所述指定的编辑图像的图像质量的分层要素的分层等级不同时，显示该情况的报警显示单元。

11.一种编辑方法，其特征在于，具有以下步骤：

存储形成图像的分层编码数据的数据存储步骤；

将所述存储的分层编码数据中、属于规定的分层等级的分层编码数据向远程编辑装置发送的数据发送步骤；

从所述远程编辑装置、接受用所述远程编辑装置生成编辑图像数据所必需的分层编码数据的发送请求的请求数据接受步骤；以及

将所述请求的分层编码数据向所述远程编辑装置发送的请求数据发送步骤。

12.一种编辑方法，其特征在于，具有以下步骤：

从主编辑装置接收形成图像的分层编码数据的数据接收步骤；

使用所述接收的分层编码数据再现图像的再现步骤；

使用所述再现的图像来接受编辑作业的编辑步骤；

利用所述数据请求单元、向所述主编辑装置请求利用编辑单元的编辑生成编辑图像数据所必需的分层编码数据的数据请求步骤；以及

接收根据所述请求从所述主编辑装置发送来的分层编码数据、并使用所述接收的分层编码数据来生成编辑图像数据的编辑图像数据生成步骤。

13.一种编辑程序，其特征在于，

是用计算机实现下述功能的程序，所述功能具有：

存储形成图像的分层编码数据的数据存储功能；

将所述存储的分层编码数据中、属于规定的分层等级的分层编码数据向远程编辑装置发送的数据发送功能；

从所述远程编辑装置、接受用所述远程编辑装置生成编辑图像数据所必需的分层编码数据的发送请求的请求数据接受功能；以及

将所述请求的分层编码数据向所述远程编辑装置发送的请求数据发送功能。

14.一种编辑程序，其特征在于，

是用计算机实现下述功能的程序，所述功能具有：

从主编辑装置接收形成图像的分层编码数据的数据接收功能；

使用所述接收的分层编码数据再现图像的再现功能；

使用所述再现的图像来接受编辑作业的编辑功能；

向所述主编辑装置请求利用编辑功能的编辑生成编辑图像数据所必需的分层编码数据的数据请求功能；以及

接收根据所述请求从所述主编辑装置发送来的分层编码数据、并使用所述接收的分层编码数据来生成编辑图像数据的编辑图像数据生成功能。

Images