JP2006033507A - 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】 画像データの圧縮に階層符号化を用い、階層符号化の特徴を生かした高効率で木理の細かい遠隔編集作業を行えるようにすること。
【解決手段】主編集機（図２）は、画像を形成する階層符号化データのうち、ネットワーク利用帯域や遠隔編集機の能力に応じた階層符号化データを遠隔編集機に送信し、遠隔編集機では、編集者がこれを用いて編集作業を行う。編集作業の結果作成された編集情報は、遠隔編集機から主編集機に送信され、主編集機は、これを用いて差分の階層符号化データを遠隔編集機に送信する。遠隔編集機は、既に受信している階層符号化データと、主編集機から送信されてきた差分の階層符号化データを用いて編集画像データを生成する。階層符号化データは、階層符号化することにより、解像度や画質といった画像品質を規定する要素に対して細かく階層化することが可能である。
【選択図】 図２

Description

本発明は、遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体に関し、より詳細には、主編集機が、素材となる画像データを階層符号化して遠隔編集機に提供することにより、画像データの編集処理を効率よく行うものに関する。

［遠隔編集の従来技術］
画像データ、特に動画像データは、テレビ放送で放映されたり、ネットワークを介して配信されたり、あるいはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記憶媒体に記憶して販売されたりなど、広く利用されている。

これらの画像データは、ビデオ撮影などで生成された画像データを編集することにより生成される。
画像データの編集作業には、素材となる画像データ（以下、素材画像データ）を有する編集局にてローカルに行う場合と、ネットワーク経由で素材画像データを送信し、遠隔編集にて行う場合がある。

編集作業をローカルにて行う場合は、素材画像データを記憶するＶＴＲ装置と、この素材画像データを編集する編集装置を伝送遅延が生じない程度の短いケーブルで接続して編集処理を行う。
このような技術としては、次の文献の「データ伝送システム」がある。

特開平１０−７５４１３号公報

この技術では、編集装置からＶＴＲ装置にタイムコード（ｔｉｍｅ ｃｏｄｅ）を要求する命令（コマンド）を送信し、これに対してＶＴＲ装置が編集装置にタイムコードを返すことにより、タイムコードに基づく正確な編集処理を行う。
そして、単数又は複数の画像データからタイムコードを用いて任意にシーン（時間範囲）を選択し、選択したシーンに含まれる画像データを互いに接続して１本の編集画像データを作成する。

このように、シーンの接続点となるポイントは編集点と呼ばれる。編集点は、通常、画像データ全体における編集点の時間的位置を示すタイムコードによって指定される。

一方、編集作業を遠隔編集にて行う場合は、ネットワークの通信可能容量が素材画像データの容量に比べて一般に小さいため、素材画像データを圧縮して遠隔編集機に送信するのが通例である。
そのため、ＨＤ画像（高精細画質）で撮影を行っても、遠隔編集機では、ＳＤ画像（標準画質）のような画像解像度にトランスコードして編集を行っている。

この場合のシステム構成の一例を図３６に示す。主編集機５０１は、素材画像データを保持している。
端末５０２は、素材画像データの解像度（空間解像度）を変換したり、画質を落すなどしてビットレートを減らす符号化を行い、続いてネットワークパケットにマッピングしてネットワーク５０３に送出する。

ネットワーク５０３に送出された画像データは、端末５０４にて受信・復号された後、遠隔編集機５０５に入力される。
編集者は、この画像データを用いながら遠隔編集機５０５で編集作業を行い、編集情報（編集リスト）を生成する。
編集情報は、遠隔編集機５０５から主編集機５０１に送信され、主編集機５０１は、この編集情報に従って素材画像データから編集画像データを生成する。
このような遠隔編集システムについても、上記の特許文献１で言及されている。

［画像階層化技術の従来技術］
画像データ、特に動画像データはデータ容量が大きいため、通常何らかの方式で圧縮処理した後、保存や送受信などに使用する。
画像圧縮処理の手法の１つにＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮技術がある。

近年、ＭＰＥＧ圧縮により生成されるＭＰＥＧストリームをＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に従ったＩＰパケットに格納してインターネット上を流通させるための技術開発が盛んに行われている。
インターネット上に送出されたＭＰＥＧストリームは、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話などの各種通信端末で受信されて再生される。

ところで、ビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議、テレビ電話などのリアルタイム通信においては、異なる能力を持つ通信端末を対象に画像データの送受信を行うことを想定する必要がある。
即ち、ある情報送信ソースからの送信データは、携帯電話などのような解像度の低いディスプレイと処理能力の低いＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する通信端末によって受信されて再生される場合もあるし、また、デスクトップ型ＰＣ、セットトップボックス、ゲーム機などのように高解像度のモニターと高い処理能力のＣＰＵを有する通信端末によって受信されて再生される場合もある。

このように、処理能力の異なる様々な通信端末をデータの送信先として、各通信端末の処理能力などに応じた画像データの送受信処理、及び画像の表示処理を効率的に行う手法の１つとして、送受信する画像データの符号化を階層化させて実行する方法、即ち、階層符号化を利用した通信システムが考えられている。

階層符号化による画像データの送信は、例えば、高解像度のディスプレイを有する通信端末においてのみ処理する符号化データと、高解像度のディスプレイを有する通信端末及び低解像度のディスプレイを有する通信端末の双方において共通に処理する符号化データとを、それぞれ区別可能な態様でパケット化して行われる。
そして、受信側においては、自己の能力に応じた符号化データを選別して処理する。

階層符号化が可能な圧縮・伸張方式としては、例えば、ＭＰＥＧ４と、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２０００によるビデオストリームをあげることができる。
ＭＰＥＧ４では、ＦｉｎｅＧｒａｎｕａｌｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ技術を規格に取り込みプロファイル化されており、この階層符号化技術により、スケーラブルに、かつ、低いビットレートから高いビットレートまで配信することが可能である。

また、ウェーブレット（Ｗａｖｅｌｅｔ）変換をベースとするＪＰＥＧ２０００は、ウェーブレット変換の特徴を生かし、解像度をベースにして階層的にパケット化することや、あるいは画質をベースにして階層的にパケット化することが可能である。
またＪＰＥＧ２０００は静止画だけでなく動画を扱えるＭｏｔｉｏｎＪＰＥＧ２０００（Ｐａｒｔ ３）規格により、階層化したデータをファイルフォーマットで保存することが可能である。

従来のデータ配信システムにおいては、送信側において、データ受信端末の能力に応じた異なるフォーマットのデータを生成したり、伝送レートに応じた異なるデータを用意する必要があったが、上述の階層符号化処理の適用により、１つのファイルデータから異なる能力の端末へ同時にデータ配信を実行することが可能となる。

配信するデータが、例えば画像データである場合、リアルタイム性が要求されるためインターネット上での通信の際にはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）が多く用いられる。更に、ＵＤＰ上のレイヤにおいてはＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用い、アプリケーションごと、即ち符号化方式ごとに定義されたフォーマットを用いる。
このような階層化したデータを扱う技術には、次の「データ通信システム」がある。

特開２００３−１５２５４４公報

この技術は、階層符号化した画像データのパケットの再送に関する技術である。より詳細に述べると次のようになる。
例えば、階層符号化を適用したデータ配信として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）ベースの技術を用いたものがある。
これは配信情報となる画像データなどをＤＣＴ処理し、ＤＣＴ処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ配信を実行する方法である。

ＵＤＰではＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰと異なり、パケットロスが生じてもパケットの再送がなされないため、ＵＤＰを用いる場合、ネットワークの輻輳などを原因としたパケットロスが起こりうる。
上記の特許文献２は、パケットロスに対する再送制御を可能としたウェーブレット変換技術をベースとするスケーラブル配信技術を提案するものである。

従来の、遠隔編集システムでは、画像データの圧縮方式に階層符号化が用いられていなかった。
そのため、遠隔編集機の能力やネットワークにおいて利用可能な回線速度は多岐に渡るのに対し、画像データの圧縮率が低く、伝送に際して多くの帯域を必要としていた。

また、放送用画像データの編集を行うに当たっては、それぞれの状況において利用可能な帯域を最大限使い、高い品質の映像で編集したいという要求がある。
そこで、高い品質をなるべく保ちながら遠隔編集機の能力などに合わせて情報量を減らすために、画像データの解像度を変換する処理や、ＤＣＴ領域におけるトランスコード処理が必要となり、これら処理の高速化を目的として、マルチプロセッサ、あるいは、専用のトランスコードハードウェアなどが必要になるという問題があった。

そこで、本発明の目的は、画像データの圧縮に階層符号化を用い、階層符号化の特徴を生かした高効率で木理の細かい遠隔編集作業を行えるようにすることである。

本発明は、前記目的を達成するために、主編集装置に記憶した画像を形成する階層符号化データの編集作業を、ネットワークを介して遠隔編集装置で行う遠隔編集システムであって、前記主編集装置は、前記階層符号化データのうち、所定の階層レベルに属するものを前記遠隔編集装置に送信し、前記遠隔編集装置は、前記送信された階層符号化データを用いた編集作業を受け付けて、編集により編集画像データの生成に必要となった階層符号化データを前記主編集装置に要求し、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを用いて編集画像データを生成することを特徴とする遠隔編集システムを提供する（第１の構成）。
また、本発明は、画像を形成する階層符号化データを記憶したデータ記憶手段と、前記記憶した階層符号化データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信手段と、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付手段と、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信手段と、を具備したことを特徴とする主編集装置を提供する（第２の構成）。
第２の構成において、前記要求データ受付手段で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信手段は、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信するように構成することもできる（第３の構成）。
第２の構成において、前記データ送信手段は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号化データを送信するように構成することもできる（第４の構成）。
第２の構成において、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信手段を具備するように構成することもできる（第５の構成）。
また、本発明は、主編集装置から画像を形成する階層符号化データを受信するデータ受信手段と、前記受信した階層符号化データを用いて画像を再生する再生手段と、前記再生した画像を用いて編集作業を受け付ける編集手段と、編集手段による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求手段と、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成手段と、を具備したことを特徴とする遠隔編集装置を提供する（第６の構成）。
第６の構成において、前記編集手段は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求手段は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信するように構成することもできる（第７の構成）。
第６の構成において、前記階層化要素の階層レベルの選択を受け付ける階層レベル選択手段を具備し、前記再生手段は、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生するように構成することもできる（第８の構成）。
第６の構成において、前記主編集装置から、前記主編集装置で記憶している階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示手段を具備するように構成することもできる（第９の構成）。
第７の構成において、前記再生手段で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示手段を具備するように構成することもできる（第１０の構成）。
また、本発明は、データ記憶手段と、データ送信手段と、要求データ受付手段と、要求データ送信手段と、を備えたコンピュータにおいて、前記データ記憶手段によって、画像を形成する階層符号化データを記憶したデータ記憶ステップと、前記データ送信手段によって、前記記憶した階層符号化データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信ステップと、前記要求データ受付手段によって、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付ステップと、前記要求データ送信手段によって、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信ステップと、から構成されたことを特徴とする編集方法を提供する（第１１の構成）。
第１１の構成において、前記要求データ受付ステップで受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信ステップでは、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信するように構成することもできる（第１２の構成）。
第１１の構成において、前記データ送信ステップでは、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号化データを送信するように構成することもできる（第１３の構成）。
第１１の構成において、前記コンピュータは、階層レベル構成送信手段を備え、前記階層レベル構成送信手段によって、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信ステップを含むように構成することもできる（第１４の構成）。
また、本発明は、受信するデータ受信手段と、再生手段と、編集手段と、データ要求手段と、編集画像データ生成手段と、を備えたコンピュータにおいて、前記データ受信手段で、主編集装置から画像を形成する階層符号化データを受信するデータ受信ステップと、前記再生手段で、前記受信した階層符号化データを用いて画像を再生する再生ステップと、前記編集手段で、前記再生した画像を用いて編集作業を受け付ける編集ステップと、前記データ要求手段で、編集手段による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求ステップと、前記編集画像データ生成手段で、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成ステップと、から構成されたことを特徴とする編集方法を提供する（第１５の構成）。
第１５の構成において、前記編集ステップでは、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求ステップでは、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信するように構成することもできる（第１６の構成）。
第１５の構成において、前記コンピュータは、階層レベル選択手段を備え、前記階層レベル選択手段によって、前記階層化要素の階層レベルの選択を受け付ける階層レベル選択ステップを含み、前記再生ステップでは、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生するように構成することもできる（第１７の構成）。
第１５の構成において、前記コンピュータは、階層レベル提示手段を備え、前記階層レベル提示手段によって、前記主編集装置から、前記主編集装置で記憶している階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示ステップを含むように構成することもできる（第１８の構成）。
第１６の構成において、前記コンピュータは、警告表示手段を備え、前記警告表示手段によって、前記再生ステップで再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示ステップを含むように構成することもできる（第１９の構成）。
また、本発明は、画像を形成する階層符号化データを記憶したデータ記憶機能と、前記記憶した階層符号化データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信機能と、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付機能と、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信機能と、をコンピュータで実現する編集プログラムを提供する（第２０の構成）。
第２０の構成において、前記要求データ受付機能で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信機能は、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信するように構成することもできる（第２１の構成）。
第２０の構成において、前記データ送信機能は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号化データを送信するように構成することもできる（第２２の構成）。
第２０の構成において、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信機能をコンピュータで実現するように構成することもできる（第２３の構成）。
また、本発明は、主編集装置から画像を形成する階層符号化データを受信するデータ受信機能と、前記受信した階層符号化データを用いて画像を再生する再生機能と、前記再生した画像を用いて編集作業を受け付ける編集機能と、編集機能による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求機能と、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成機能と、
をコンピュータで実現する編集プログラムを提供する（第２４の構成）。
第２４の構成において、前記編集機能は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求機能は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信するように構成することもできる（第２５の構成）。
第２４の構成において、前記階層化要素の階層レベルの選択を受け付ける階層レベル選択機能をコンピュータで実現し、前記再生機能は、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生するように構成することもできる（第２６の構成）。
第２４の構成において、前記主編集装置から、前記主編集装置で記憶している階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示機能をコンピュータで実現するように構成することもできる（第２７の構成）。
第２５の構成において、前記再生機能で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示機能をコンピュータで実現するように構成することもできる（第２８の構成）。
また、本発明は、第２０の構成から第２８の構成までの内の何れか１の構成に記載の編集プログラムを記憶したコンピュータが読み取り可能な記憶媒体を提供する。

本発明によると、負荷の高い情報処理を行わずに、遠隔編集装置の能力、編集者の要望、あるいはネットワークの状況などに応じた遠隔編集を柔軟に行うことができる。

（実施の形態の概要）
主編集機は、階層符号化した画像データのうち、ネットワーク利用帯域や遠隔編集機の能力に応じた階層符号化データを遠隔編集機に送信し、遠隔編集機では、編集者がこれを用いて編集作業を行う。編集作業の結果作成された編集情報に基づいて、遠隔編集機で編集画像データを生成する。編集画像データを生成するのにより高階層の階層符号化データが必要な場合、遠隔編集機は、必要な階層符号化データを主編集機から取り寄せて、これと既に取得済みの階層符号化データを用いて編集画像データを生成する。

画像データは、階層符号化することにより、解像度や画質といった画像品質を規定する要素に対して細かく階層化することが可能である。
画像データを階層符号化した階層符号化データは、下位の階層符号化データに上位の階層符号化データを加えていくことにより画像品質を向上させることができる。
主編集機は素材画像データのうち、遠隔編集機に応じた階層レベルの階層符号化データを送信し、トランスコードなどの処理は必要ない。

遠隔編集機は、受信した階層符号化データから画像データを復号（デコード）し、受信した階層レベル内で、解像度や画質をスケーラブルに変更して再生することができ、編集者は、再生画像を見ながら所望の階層レベルを決定することができる。
更に画像品質を高めて画像を再生したい場合は、差分の階層符号化データを主編集機に要求すれば良い。

遠隔編集機では、まず、編集者が受信した階層符号化データで画像を再生しながら編集画像データで利用するシーンを指定する。そして、次に、編集者が各シーンに対して解像度や画質といった各階層化要素の階層レベルを指定していく。この際に、主編集機から受信していない階層レベルに属する解像度や画質を指定することもできる。
編集作業の結果、遠隔編集機では、シーンを特定するタイムコードや、各シーンでの階層レベルを指定した編集情報が作成される。

そして、遠隔編集機は、編集情報で特定されたシーンを指定された画像品質で構成し、編集画像データを生成するが、遠隔編集機が既に受信している階層符号化データで編集画像データを生成できる場合は、既に受信済みの階層符号化データを用いて編集画像データを生成する。そして、不足する階層符号化データがある場合は、これを主編集機に要求し、これに応じて主編集機が送信してきた階層符号化データを先に受信済みの階層符号化データと共に用いて編集画像データ（最終製品の場合は最終画像データ）を生成する。

このようにして、本実施の形態では、トランスコードなどの処理をせずに、遠隔編集機に対応した階層符号化データを遠隔編集機に送信すれば良く、また、遠隔編集機も素材画像データの全てを受信せずとも編集画像データを構成するための階層レベルを指定することができる。

（実施の形態の詳細）
［システム概要及びデータ送受信構成例］
本実施の形態では、階層符号化技術の一例としてウェーブレット変換を用いる。更に、ウェーブレット変換を用いた階層符号化方式には各種の規格が存在するが、ここでは、一例として動画の圧縮フォーマットであるＪＰＥＧ２０００ビデオストリームを用いて動画像データを階層符号化する場合を例に採る。

ＪＰＥＧ２０００ビデオストリームは、動画を表示するためのフレームを、フレーム間相関のないイントラフレームの連続として構成するため、ネットワーク上においてパケットロスが生じても、ロスパケットに基づくエラーが他のフレームに伝播しないという利点があるほか、ウェーブレット変換の特性によりブロックノイズやモスキートノイズが発生しないため、視覚上の画質（ＳＮＲ：Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）の低下が抑制されるという利点もある。

より詳細には、ＪＰＥＧ２０００ビデオストリームは各フレームの画像データを、色空間、輝度といったコンポーネント（ｃ）へ分割し、後述する領域を重複のないタイル（ｔｉｌｅ）という部分に分割する。
更に、上記のように分割した画像データを後述するウェーブレット変換でウェーブレット分割して解像度レベル（ｒ）に分割し、更に画質（ｌ）の寄与度合いに従って分割する。
そして、各タイルに対して、コンポーネント、解像度、画質といった画像品質を規定する要素がそれぞれ階層レベル化されており、これらが階層化要素を構成している。
なお、詳細は省くが、階層符号化データ（階層符号化した画像データ）は、更にプレシンクトという小領域に分けられる。
あるフレームの画像に関して、１つのコンポーネントの、１つのタイルの、１つの解像度レベルの、１つの画質レベル（レイヤ）から得られるデータが階層符号化データの１単位となりパケットと呼ばれている。

このような階層符号化技術を用いた遠隔編集システムの構成の一例を図１に示す。
遠隔編集システム１は、編集情報を用いて素材画像データから編集画像データを生成する主編集機２、編集者が編集作業を行い編集情報を生成する遠隔編集機３、及びこれらを接続するネットワーク４などから構成されている。
図１では、遠隔編集機３を１台のみ図示してあるが、据え置き型や携帯型など各種の能力のものが複数存在することができる。
本図において使用するネットワークプロトコルとしては、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いて接続されたネットワークを想定している。

主編集機２は、素材画像データ（編集の対象となるオリジナルの画像データ）を保持している。素材画像データは、階層符号化処理を施されており、階層符号化データにより構成されている。
主編集機２は、遠隔編集機３から、ネットワークに接続可能な速度情報、接続可能な速度範囲で受信する階層符号化データの復号可能性、受信端末が表示可能な解像度やＣＰＵ能力に応じたビットレートなどのＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）情報を受けるなどして遠隔編集機３のネットワーク４の利用可能帯域や能力を判断する。

そして、この判断を基に、素材画像データのうち、どの階層レベルまでの階層符号化データを送信するかを決定し、必要な階層符号化データをパケット化して遠隔編集機３に送信する。
主編集機２は、階層符号化データを送出した後、例えば、編集の過程で必要とされたり、最終画像データの生成に必要とされる階層符号化データの対送信要求を遠隔編集機３から受けた場合に、これを遠隔編集機３に送信する。

ネットワーク４は、ＩＰパケットに設定されたアドレス情報に基づいて送信先へパケットを運ぶ伝送路である。
データ送信態様は様々であり、例えばダイアルアップサービスを提供するサービスプロバイダネットワークや、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）を使ったサービスプロバイダネットワークなどを経由して遠隔編集機３へパケットが送信される。あるいは無線ネットワークにより図示しない基地局を経由して移動体端末などで構成された遠隔編集機３にパケットが送信される。

遠隔編集機３は、階層符号化データを受信してこれを復号し、再生すると共に、編集者からの編集処理を受け付けて編集情報を生成する。更に、編集情報に従って、編集画像データを生成する。
本実施の形態では、端末に適したデータを送信するユニキャスト方式で階層符号化データが送信されるものとし、遠隔編集機３は主編集機２から自分宛てのアドレスのパケットを全て受信する。
なお、階層符号化データの送信にマルチキャスト方式を採用する場合は、遠隔編集機３が必要としない階層のパケットも送信されてくるため、遠隔編集機３は必要とする階層レベル以下の階層のパケットを選択して受信する。

遠隔編集機３は、階層符号化データを復号して画像を再生し、編集者は、再生画像を見ながらシーンの指定、解像度、画質の階層レベルの決定といった編集作業を行う。
このように、遠隔編集機３では、素材画像データを構成する全ての階層符号化データを受信しなくても、一部の階層符号化データから再生されるサムネイル画像により編集作業を行うことができる。
遠隔編集機３で再生される画像の画像品質は、主編集機２から送信されてきた階層レベルに応じたものとなるが、編集者は、素材画像データの画像品質を上限として、更に上の階層レベルを主編集機２に要求することができる。
ここで、画像品質とは、例えば、解像度、画質、輝度、色差といった、画像の品質を規定する要素をいう。

遠隔編集機３は、この要求に応じて主編集機２送信してきた追加の階層符号化データを受信し、これを先に受信してあった階層符号化データに追加することによって、更に高い画像品質の画像を再生することができる。

そして、遠隔編集機３は、編集作業により編集情報が作成されると、これに従って編集画像データを生成する。
編集情報で規定される画像品質の編集画像データを既に受信済みの階層符号化データから生成できる場合は、これを用いて編集画像データを生成し、既に受信済みの階層符号化データよりも、更に高い階層レベルの階層符号化データが必要な場合は、これを主編集機２から取得して編集画像データを生成する。

［主編集機の構成及び処理］
次に、主編集機２の構成及び処理について説明する。
図２に主編集機２のブロック図を示す。図２では、階層化器８が主編集機２の外部に構成されているが、これは階層化器８の内部に構成しても良い。
図２に示す例では、ビデオカメラ７で撮影された画像データを階層化器８で階層符号化して画像データ記憶装置９に記憶させるが、これに限らず、ＤＶＤ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ハードディスク等、各種記憶媒体に記憶されている画像データを階層符号化して画像データ記憶装置９に記憶させても良い。
また、ネットワーク４経由で取得した画像データを階層符号化して画像データ記憶装置９に記憶させても良い。

階層化器８は、階層符号化前の画像データをウェーブレット変換を用いて階層符号化する。この際に、階層化器８は、予め設定されたプログレッシブ順序でのプログレッシブ符号化処理を実行する。
プログレッシブ符号化とは、インターネットの画像配信等において多用される符号化処理であり、データ受信端末側で画像品質の低い画像を先に表示し、順次、画像品質の高い画像を表示することを可能とするものである。

例えば、プログレッシブ順序は、（ｃ、ｒ、ｌ、ｐ）の要素数４種の順列組み合わせで示されるが、代表的なものとして、段階的に解像度が高くなるＲＬＣＰプログレッシブ順序と、段階的に画質が良くなるＬＲＣＰプログレッシブ順序がある。
ＲＬＣＰプログレッシブ順序では、解像度の低い画像に対応する低周波画像データの階層符号化データからはじまり、より精細な画像の表示に必要な高周波成分の階層符号化データが続くような階層符号化データの並びとなっている。パケット順序どおりの復号化により、徐々に解像度が向上する。
そして、遠隔編集機３では、低周波画像データの階層符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗い概略画像を表示することが可能となり、その後、高周波領域の階層符号化データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。

同様にして、ＬＲＣＰプログレッシブ順序では、低画質のデータパケットから高画質のデータパケット順に階層符号化データが並んでおり、パケット順序通りの復号化により、徐々に画質が向上する。
このほかに、カラー成分（ＲＧＢやＹＣｂＣｒ）によるプログレッシブ順序などもある。この場合は、カラー成分（ＲＧＢやＹＣｂＣｒ）ごとの符号化を実行する。
階層符号化前の画像データは、何れかのプログレッシブ順序に応じて階層符号化されて画像データ記憶装置９に記憶される。

次にウェーブレット変換について説明する。
ウェーブレット変換では、フレームの画像をタイルと呼ばれる重なりを持たない矩形領域ごとに分割し、タイルごとに変換処理を行う。
図３は、画像をタイルＴ０〜Ｔ８の９つのタイルに分割したところを示している。各タイルは、互いに独立して符号化され符号化処理の基本的な単位となる。

ウェーブレット変換を実行する階層化器８の構成例を図４に示す。これは、幾つかあるウェーブレット変換手法の中で、最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに渡って行った例である。
図４の場合は、階層レベル数が３（階層レベル１〜階層レベル３、図中は単にレベルと記してある）であり、画像信号を低域と高域に分割し、かつ低域成分のみを階層的に分割する構成を例示している。また図４では、便宜上１次元の信号（例えば画像の水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元画像信号に対応することができる。

次に階層化器８の動作について説明する。図４に示すウェーブレット変換部への入力画像信号２５０は、まずローパスフィルタ２１１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２１２（伝達関数Ｈ１（ｚ））とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ２１３、２１４によって、解像度がそれぞれ２分の１倍に間引かれる（階層レベル１）。
このときの出力がＬ成分２５１とＨ成分２５６の２つである。ここで、上記Ｌは低域（Ｌｏｗ）、Ｈは高域（Ｈｉｇｈ）を示す。
この図４のローパスフィルタ２１１、ハイパスフィルタ２１２、及び２個のダウンサンプラ２１３、２１４によって階層レベル１の回路部２１０が構成されている。

ダウンサンプラ２１３、２１４によりそれぞれ間引かれた信号の低域成分、即ちダウンサンプラ２１３からの信号のみが、更に、階層レベル２の回路部２２０のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ２分の１倍に間引かれる（階層レベル２）。
これらの階層レベル２のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部２２０としては、上記階層レベル１のローパスフィルタ２１１、ハイパスフィルタ２１２及びダウンサンプラ２１３、２１４から成る回路部２１０と同様な構成が用いられる。

このような処理を所定の階層レベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。
階層レベル２で生成された帯域成分は、ＬＬ成分２５２とＬＨ成分２５５である。図４は階層レベル３まで帯域分割する例が示されており、階層レベル２の回路部２２０のローパスフィルタ側のダウンサンプラからの出力が、上記回路部２１０と同様な構成の階層レベル３の回路部２３０に供給されている。
このように階層レベル３まで帯域分割した結果、ＬＬＬ成分２５３、ＬＬＨ成分２５４、ＬＨ成分２５５、Ｈ成分２５６が生成される。

図５は、階層レベル３まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。
この図５に示すＬ及びＨの表記法は、１次元信号を扱った図４でのＬ及びＨの表記法とは異なる。
即ち図５では、まず階層レベル１の帯域分割（水平・垂直方向）により４つの成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分かれる。ここでＬＬは水平・垂直成分が共にＬであること、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。
次に、ＬＬ成分は再度帯域分割されて、ＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨが生成される。更に、ＬＬＬＬ成分は再度帯域分割されて、ＬＬＬＬＬＬ、ＬＬＬＬＨＬ、ＬＬＬＬＬＨ、ＬＬＬＬＨＨが生成される。

ウェーブレット変換データの解像度による階層レベル分けについて、図６を参照して更に説明する。図６に示す構成は、図５のデータ構成に対応するものである。図６は、図５を参照して説明したように、ウェーブレット変換で分割処理を３回行った例を示している。

最も重要度の高い階層レベルは、ディスプレイに粗い概略画像を表示するために必要となるデータであり、これは低域（３ＬＬ）データを含む符号化領域、即ち１／８のサイズのデータ領域７０１〜７０４に相当する。
次の重要度の階層レベルは、次の低域の１／４のサイズのデータ領域となり、データ領域７０１〜７０７までで構成され、次の重要度の階層レベルは、次の低域の１／２のサイズのデータ領域となり、データ領域７０１〜７１０までで構成される。

画像データ記憶装置９は、階層化器８で階層化符号化された画像データの記憶装置であり、画像データ記憶装置９には、予め設定されたプログレッシブ順序、即ち解像度によるプログレッシブか、あるいは画質によるプログレッシブか、に応じて階層符号化されたデータが記憶されている。

次に、符号化器１０について説明する。符号化器１０は、画像データ記憶装置９に記憶されている階層符号化データから符号ストリームを生成し、バッファ１１に出力する。
図７に符号化器１０から出力される符号ストリームのデータ構成を示す。
符号ストリーム５１は、符号ストリームの始まりを示すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカ５２で始まり、ＳＯＣマーカ５２に続いて符号化パラメータや量子化のパラメータ、プログレッシブ順序などが記述されたメインヘッダマーカセグメント５３が配置される。ＳＯＣマーカ５２とメインヘッダマーカセグメント５３がメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ：ＭＨ）を構成しており、メインヘッダの情報は符号ストリーム全体を復号する際に必須である。

メインヘッダの後にはタイルの情報を含むタイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ：ＴＨ）と、そのタイルのデータであるビットストリームが続く。例えば、ビットストリーム５５は、タイルＴ０のビットストリームにより構成されている。
このビットストリームは、上記のｌ、ｒ、ｃ、ｐの階層構造を持っており、また、タイルヘッダにはそのタイルのプログレッシブ順序が記入されることがある。
そして、最後に、ＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカ５７が符号ストリームの終了を示す。

図２に戻り、バッファ１１は、符号ストリームをパケット化するために一時的に記憶する。
パケタイザ１２は、バッファ１１内の階層符号化データを解析して、データ内容に応じて区切りを決定し、パケット化する。
パケタイザ１２は、バッファ１１内の格納データのメインヘッダを参照して、階層符号化データのプログレッシブ順序情報やレイヤ数、カラー成分に関する情報を取得する。

パケタイザ１２は、このフィールド情報を読み取ることによりどういう階層により構成されているかを解析する。
パケタイザ１２は、解析した情報に基づいて階層別に階層符号化データを区分して、区分データに基づいてパケット生成処理を実行する。その際に、パケタイザ１２は、符号ストリームをパケット化する際に、後述の伝送品質制御部１６からの要求に応じたパケット化を行う。

次に、ＪＰＥＧ２０００において定義されているプログレッシブ順序に基づく階層構成及び階層構成に対応するパケット構成例として２つの例を示す。
図８は、解像度プログレッシブ順序に従った階層符号化データについて、階層化された階層符号化データを階層ごとにパケットを対応させた例を概念的に示した図である。
１フレームの画像はパケット３１（階層レベル（又はレイヤ）０）、３２（階層レベル１）、３３（階層レベル２）、３４（階層レベル３）で構成される。
パケット３１に格納された階層符号化データを復号すると解像度１／８の画像３５が得られる。
パケット３１は最も優先度の高い階層符号化データを格納したパケットであり、復号を実行するデータ受信端末のディスプレイに、最初に粗い画像を表示するために必要となる階層符号化データである。

次に、パケット３１とパケット３２に格納された階層符号化データを復号すると解像度１／４の画像３６が得られる。更に、パケット３１〜３３に格納された階層符号化データを復号すると解像度１／２の画像３７が得られ、パケット３１〜３４に格納された階層符号化データを復号すると元の解像度の画像３８が得られる。

図８に示す４つのパケット３１〜３４の優先度順は、パケット３１、パケット３２、パケット３３、パケット３４の順である。
図８に示すように、プログレッシブ順序として異なる解像度を設定したプログレッシブ符号化処理により階層符号化データを生成した場合、パケット生成手段としてのパケタイザ１２は、生成パケットに格納する画像信号の階層符号化データの各解像度に対応する階層に応じた優先度情報を生成パケットの付加情報として設定する処理を実行する。

図９は、画質（ＳＮＲ）プログレッシブ順序に従った階層符号化データについて、階層化された階層符号化データを階層ごとにパケットを対応させた例を概念的に示した図である。
１フレームの画像はパケット４１（階層レベル（又はレイヤ）０）、４２（階層レベル１）、４３（階層レベル２）、４４（階層レベル３）で構成される。パケット４１に格納された階層符号化データを復号すると画質の低い元の画像と同じ解像度の画像４５が得られ、パケット４１とパケット４２に格納された階層符号化データを復号すると、パケット４１に格納された階層符号化データの復号結果よりも良い画質の画像４６が得られる。
次に、パケット４１〜４３に格納された階層符号化データを復号すると更にノイズの少ない高画質の画像４７が得られ、パケット４１〜４４に格納された階層符号化データを復号すると最も高い画質の画像が得られる。

図９に示す４つのパケット４１〜４４の優先度順は、パケット４１、パケット４２、パケット４３、パケット４４の順である。
図９に示すように、プログレッシブ順序として異なる画質を設定したプログレッシブ符号化処理により階層符号化データを生成した場合は、パケット生成手段としてのパケタイザ１２は、生成パケットに格納する画像信号の階層符号化データの各画質に対応する階層に応じた優先度情報を生成パケットの付加情報として設定する。

以上、解像度と画質についてのプログレッシブ符号化処理について説明したが、このほかに色成分プログレッシブ順序に従った階層符号化データを構成することもできる。
例えば、Ｙパケットに格納された階層符号化データを復号すると白黒画像が得られ、ＹパケットとＵパケットに格納された階層符号化データを復号すると、Ｕ成分を含むカラー画像が得られる。更に、Ｙパケット、Ｕパケット、Ｖパケットに格納された階層符号化データを復号すると、Ｖ成分を含むカラー画像が得られる。
この場合の優先度順は、Ｙパケット、Ｕパケット、Ｖパケットの順である。

伝送品質制御部１６は、遠隔編集機３の要求あるいはネットワーク状況などに応じた伝送品質（この伝送品質をｑ’とする）に関する情報（ＱｏＳ）をパケタイザ１２に提供する。
伝送品質ｑ’には、例えば、画像データのプログレッシブ順序や必要とする階層化要素ごとの階層レベルを指定する情報などから成り、パケタイザ１２は、この伝送品質を満たすように符号ストリームをパケット化する。

また、伝送品質制御部１６は、階層符号化データの追加要求をネットワークインターフェース１５を介して取得し、これをパケタイザ１２に伝える。この場合、パケタイザ１２は追加要求された階層符号化データをパケット化する。
このため、階層レベル０〜階層レベル２までの階層符号化データを送信したところ、階層レベル３の階層符号化データの追加送信が遠隔編集機３から要求されたため、階層レベル３の階層符号化データをパケタイザ１２でパケット化して送信するなどといったことが可能となる。

ネットワークインターフェース１５は、パケタイザ１２がパケット化した階層符号化データをネットワーク４に送出するほか、遠隔編集機３から階層符号化データの追加要求を受信したり、遠隔編集機３から編集情報を受信する。

編集制御部１７は、ネットワークインターフェース１５を介して遠隔編集機３から編集情報を取得し、編集情報記録部１８に記録する。
そして、編集制御部１７は、編集情報記録部１８を参照し、編集情報で指定されている階層符号化データと、既に遠隔編集機３に送信してある階層符号化データ（伝送品質制御部１６などで記憶してある）の差分を検出する。
そして、差分に該当する階層符号化データは、符号化器１０で符号化され、バッファ１１を経てパケタイザ１２でパケタイズされてネットワークインターフェース１５から遠隔編集機３に送信される。

なお、本実施の形態では、一例として、差分の階層符号化データを遠隔編集機３に送信するように構成したが、各種の送信形態が可能である。
例えば、画像データ記憶装置９で記憶している階層符号化データから編集情報で指定されている階層符号化データを抽出し、遠隔編集機３に送信するように構成することもできる。この場合、遠隔編集機３は、既に受信してある階層符号化データに関しては再度受信することになる。
また、このとき、例えば、プログレッシブ順序が変化したらパケット順を変化させ、メインヘッダやタイルパートヘッダのデータを変更するなどの処理が可能である。

更に、遠隔編集機３側で差分の階層符号化データを検出し、編集データの代わりに、遠隔編集機３が主編集機２に差分の階層符号化データを特定する差分情報を送信するように構成することもできる。
この場合、主編集機２は、差分情報で指定された階層符号化データを画像データ記憶装置９から読み出して遠隔編集機３に送信すれば良く、この場合、編集制御部１７と編集情報記録部１８は、必要なくなる。
ただし、主編集機２側で、遠隔編集機３側でどのような編集画像データが生成されたのか確認したい場合は、編集情報を遠隔編集機３から主編集機２に編集情報を送信するように構成すればよい。

図示しないが、主編集機２に、更に編集情報を編集する機能（編集情報再編集手段）を持たせることもできる。
この場合、主編集機２に、遠隔編集機３と同様の編集機能を持たせ、主編集機２で素材画像データを再生したり、編集情報に従って画像を再生したりしながら、遠隔編集機３で行った編集作業の修正を行う。
このように、主編集機２に、素材画像データや編集画像データを再生してディスプレイに表示したり、シーンを再指定したり、画像品質を再指定したりできるように構成することにより、編集作業をより完全にすることができる。

ところで、編集画像データで実現可能な最高品質（解像度・画質など）は、素材画像データが持つ解像度・画質などの品質に等しい。
そのため、遠隔編集機３で編集作業を行うためには、遠隔編集機３に各要素指定値の上限値となる素材画像データの階層レベル情報を送信し、編集可能な階層レベルの範囲を通知する必要がある。
遠隔編集機３では、編集画像データの指定値が素材画像データの階層レベルを超えないように、階層レベル指定操作を制御することになる。これによって、編集可能な階層レベルの範囲内で、画質は高いが解像度は小さくする、画質は高いがコンポーネントを輝度コンポーネントのみとするなど、画像品質を規定する複数の階層化要素（画像構成要素）ごとに階層レベルを独立に制御することができる。

遠隔編集機３に編集可能な階層レベル範囲を通知する方法は各種存在するが、例えば、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を利用することができる。

ＳＤＰは、マルチメディアデータの送受信に一般的に利用されるプロトコルであり、拡張性を確保するために、自由に定義可能な拡張部分を有している。本実施の形態では、ＳＤＰの拡張部分に新たに属性を定義し、これに素材画像データのプログレッシブ順序や、各階層化要素の最高階層レベルなど、素材画像データの画像品質に関する情報を記述して、編集対象である画像データの転送開始時に、初期化操作の一部として主編集機２から遠隔編集機３へ転送する。

図１０は、ＳＤＰの一例を示した図であり、行５９に素材画像データのプログレッシブ順序と各階層化要素の最高階層レベルを記述している。
行５９のＲＬＣＰは階層化要素のプログレッシブ順序が解像度−画質−コンポーネント−位置であることを示し、それに続く５、４、３、１がそれぞれ解像度を示すウェーブレット分割回数（解像度の階層レベル数）、レイヤ数（画質の階層レベル数）、コンポーネント数（コンポーネントの階層レベル数）とタイル数を示している。
即ち、素材画像データは、ウェーブレット変換５回を経て、変換係数が４レイヤにビットプレーン化され、ＹＵＶの３コンポーネントで圧縮されている。

以上に説明した主編集機２において、画像データ記憶装置９は、画像を形成する階層符号化データを記憶するデータ記憶手段を構成する。
符号化器１０、バッファ１１、パケタイザ１２、伝送品質制御部１６を用いることにより、遠隔編集機３に対応した所定の階層符号化データを送信することができ、主編集機２は、所定の階層レベルに属する階層符号化データを遠隔編集機３に送信するデータ送信手段を備えている。
また、主編集機２は、遠隔編集機３から編集作業及び編集画像データ生成の過程で必要となった階層符号化データの送信要求を受け付ける要求データ受付手段と、要求された階層符号化データを遠隔編集機３に送信する要求データ送信手段を備えている。
要求データ受付手段で受け付ける要求には、階層符号化データの各階層化要素についての階層レベルが指定されており、要求データ送信手段は、画像データ記憶装置９に記憶されている階層符号化データのうち、これに対応するものを遠隔編集機３に送信する。
更に、遠隔編集機３は、受信した階層符号化データより、当該階層符号化データの階層レベル構成を知ることができ、また、主編集機２は、ＳＤＰで素材画像データの階層レベル構成を通知している（階層レベル構成送信手段）。

［遠隔編集機の構成、及び編集処理］
次に、遠隔編集機３の構成及び編集処理について説明する。
遠隔編集機３は、主編集機２から送信されてきた階層符号化データを用いた編集処理、及び編集情報の生成、及び編集画像データの生成を行う。

図１１に遠隔編集機３のブロック図を示す。
ネットワークインターフェース６１は、主編集機２から送信されてきたパケットを受信する。
デパケタイザ６２は、ネットワークインターフェース６１からパケットを取得してパケット内の階層符号化データを取り出す。

復号器６３は、デパケタイザ６２が取り出した階層符号化データを一時記憶装置６６に記憶しておき、編集者が指定した階層レベルの階層符号化データを一時記憶装置６６から読み出して復号し、表示装置６７で表示する。
これにより、編集者は、画像品質を変化させながら画像を見ることができる。
また、デパケタイザ６２が取り出した階層符号化データを復号器６３が復号し、そのまま表示装置６７で表示するように構成することもできる。
更には、復号器６３は復号化した画像データを一時記憶装置６６に記憶し、表示装置６７がこれを再生するように構成することもできる。
そして、編集者がリアルタイムで編集し、編集者が指定したシーンの階層符号化データを一時記憶装置６６に記憶させることができる。

図１２に、復号器６３のブロック図を示す。
復号器６３は、先に図５を参照して説明したウェーブレット変換処理の逆の動作を行うウェーブレット逆変換処理構成を持つ。
即ち、図４で説明したウェーブレット変換部の出力である各帯域成分２５３、２５４、２５５、２５６は、図１２のウェーブレット逆変換部に入力されると、まずＬＬＬ成分２５３及びＬＬＨ成分２５４が、それぞれアップサンプラ２７２、２７３によって２倍の解像度にアップサンプルされる。

引き続いて低域成分はローパスフィルタ２７４、高域成分はハイパスフィルタ２７５によってフィルタリングされて、加算器において、両者の帯域成分は合成される。
ここまでの回路部２７１により、前述の図５の階層レベル３（図中では単にレベルと記してある）の回路部２３０での変換の逆の処理としての逆変換が完了して、階層レベル２の低域側の帯域成分であるＬＬ成分２５７が得られる。

この処理を以後階層レベル１まで繰り返すことで、最終的な逆変換後の復号画像２５９が出力されることになる。
即ち、階層レベル２の回路部２８０及び階層レベル１の回路部２９０は、階層レベル３の回路部２７１と同様な構成を有し、階層レベル３の回路部２７１の出力が階層レベル２の回路部２８０の低域側の入力として、また、階層レベル２の回路部２８０の出力が階層レベル１の回路部２９０の低域側の入力として、それぞれ送られる。以上が、通常のウェーブレット逆変換部の基本構成である。

図１１に戻り、表示装置６７は、復号器６３が一時記憶装置６６から階層符号化データを取得して復号した画像を再生し、これをディスプレイなどの表示装置に表示する。
編集者は、表示装置６７によって再生された画像データを確認しながら編集作業を行うことができる。

シーン編集部６８は、編集者が表示装置６７で再生させた画像を参照しながらシーンの生成を行うためのインターフェースである。シーン生成は、編集点を指定することにより行う。
編集点は、シーンの開始位置であるイン点（ｉｎ点）と終了位置であるアウト点（ｏｕｔ点）の組から成る。画像データのうち、イン点とアウト点で区切られた時間範囲、即ちシーンが画像品質の編集範囲となる。これら編集点は、編集情報記録部７０にて記録される。
また、シーン編集部６８が一時記憶装置を備えて、編集点を記憶し、一括して編集情報記録部７０に転送するように構成することもできる。

画像品質編集部６９は、各シーンに対して、編集者が解像度や画質などの画像品質を操作するインターフェースである。画像品質編集部６９は、指示された画像品質を編集情報記録部７０に編集情報として記録する。また、プログレッシブ順序を指定することもできる。
画像品質編集部６９は、シーン編集部６８に含まれていても良い。
また、画像品質編集部６９は、編集情報伝送部７１に画像品質を指定する情報を直接渡すように構成しても良い。

編集情報記録部７０は、一時記憶装置６６に記憶されている階層符号化データを参照しながらシーン編集部６８で指定された編集点とタイムコードとを関連づけて編集情報として記録する。
更に、編集情報記録部７０は、記録したシーンごとに、画像品質編集部６９での画像品質指定内容を対応付けて、これらの情報も編集情報に含める。

なお、編集情報記録部７０は、例えば、タイムコード記録用、画像品質記録用など複数あっても良い。
更に、編集情報記録部７０は、一時記憶装置６６に記憶されている階層符号化データではなく、この階層符号化データを複製した階層符号化データを用いて編集情報を生成するように構成することもできる。

加えて、編集情報記録部７０に着脱可能な記憶媒体を駆動する機能を設け、編集情報をリムーバブルメディア（着脱可能な記憶媒体）に記録するように構成することもできる。
この場合、編集情報を記憶した記憶媒体をオートバイ、鉄道、自動車、飛行機などの交通期間を利用した配送によって主編集機２に届けるように構成することもできる。

編集情報伝送部７１は、編集情報記録部７０で記録された編集情報をネットワークパケット化するなどし、ネットワーク４を介して主編集機２に送信する。
なお、編集情報伝送部７１は、ネットワークインターフェース６１やその他の図示しないネットワークインターフェースで構成することも可能である。

また、主編集機２に編集情報を送信した後、差分の階層符号化データがある場合は、主編集機２からこの階層符号化データが送信され、一時記憶装置６６に記憶される。
これによって、一時記憶装置６６には、編集画像データを生成するために必要な階層符号化データが蓄積される。

編集制御部７３は、編集情報に従って、一時記憶装置６６から階層符号化データを抽出し、編集画像データを生成する。
編集画像データの生成は、例えば、一時記憶装置６６に記憶された階層符号化データから指定されたシーンごとに、指定された解像度、画質を満たす階層レベルまで階層符号化データを読み出し、これを編集画像データ記憶装置７２に転送することにより行う。この際に、編集情報に従ってプログレッシブ順序を変更することもできる。

編集画像データ記憶装置７２は、編集処理により生成された編集画像データを記憶する。
遠隔編集機３が備える記憶装置が磁気記録ディスクなどの大容量記憶媒体の場合、同一の記憶装置で一時記憶装置６６と編集画像データ記憶装置７２を構成しても良い。この場合、編集画像データ記憶装置７２は、不要となり編集画像データは一時記憶装置６６に形成される。
あるいは、編集制御部７３が編集情報と画像品質の指示を満たす画像を残すように一時記憶装置６６から不必要な画像データを除去するように構成しても良い。

更に、編集情報記録部７０や編集画像データ記憶装置７２は、複数存在しても良い。加えて、編集情報記録部７０に記録されている編集情報や編集画像データ記憶装置７２に記憶されている編集画像データを第三者に提供するために複製する複製部や、外部に出力する出力部を備えても良い。

次に、以上のように構成された遠隔編集機３を用いた編集操作について説明する。編集操作は、シーンの生成、及び指定したシーンの画像品質の指定などから構成される。
まず、シーンの指定方法について説明する。シーンの生成は、編集点の指定のほか、更に指定したシーンの複製、移動、削除などから構成されている。この操作により、編集点のタイムコードリストが生成される。
なお、タイムコードは例えば、フレームデータのヘッダのオプションに含めたり、ファイルフォーマットのオプションに含めたりなどして、対応する画像データと関連づけられて主編集機から遠隔編集機に送信されているものとする。

図１３は、表示装置６７に表示されたシーン編集画面の一例を示しており、この画面はシーン編集部６８によって提供され、表示装置６７に表示される。
編集者はシーン編集部６８をキーボードやマウスなどの入力装置を用いて操作し、シーンを生成することができる。
シーン編集画面は、シーン表示部７５、サムネイル表示部７８、追加ボタン８２、修正ボタン８３、終了ボタン８４などから構成されている。

サムネイル表示部７８は、復号器６３で復号された画像のサムネイル７９、７９、７９、…を図に向かって左側から右側に向けて時系列に沿って表示する。
ここに表示されるサムネイルは、例えば、画像データを構成するフレームを解像度の低い静止画像で表示したものである。
サムネイルがサムネイル表示部７８に一度に表示できない場合は、マウス操作などで水平スクロールバーのスライドボタン８０を左右にスライドさせると、サムネイルをスクロールすることができるようになっている。

シーン表示部７５は、シーンのイン点とアウト点をシーン番号に対応させて表示する。
シーン表示部７５は、シーン番号表示欄７４、イン点表示欄７２、アウト点表示欄７３、及び垂直スクロールバー７７などから構成されている。
シーン番号表示欄７４は、シーン番号を表示する欄であって、１、２、３、…といったようにシーン番号が画面上から下にかけて昇順に並んでいる。シーン番号は、編集画像データで使用されるシーンの順序を示しており、この順序で編集画像データが生成されることになる。

イン点表示欄７２は、シーン番号表示欄７４で表示されたシーンのイン点を指定する欄である。イン点表示欄７２には、そのシーンの開始フレームのサムネイルとタイムコードが表示される。
イン点は、例えば、イン点に対応するサムネイルをサムネイル表示部７８からドラッグ・アンド・ドロップすることにより設定することができる。

アウト点表示欄７３は、シーン番号表示欄７４で表示されたシーンのアウト点を指定する欄である。アウト点表示欄７３には、そのシーンの終了フレームのサムネイルとタイムコードが表示される。
アウト点は、例えば、アウト点に対応するサムネイルをサムネイル表示部７８からドラッグ・アンド・ドロップすることにより設定することができる。
垂直スクロールバーのスクロールボタンをマウス操作などによりスライドさせると、シーン表示部７５に表示される内容をスクロールすることができる。

追加ボタン８２は、シーン表示部７５に新たにシーンを追加するためのボタンであり、これをマウスでクリックするなどの操作を行うと、シーン表示部７５に新しい番号の欄が追加される。この新しい番号の欄では、イン点表示欄７２とアウト点表示欄７３が空欄となっており、この空欄にイン点とアウト点を指定することによりシーンを追加することができる。
また、編集者が追加のシーンの位置を指定するように構成することもできる。

修正ボタン８３は、指定したシーンに対して複製、移動、削除などの修正を行うためのボタンである。
終了ボタン８４は、シーンの生成処理を終了するためのボタンである。

図１４（ａ）は、修正ボタン８３を選択した場合に表示される修正画面の一例を示している。
修正画面９０では、シーン表示部７５のほか、複製ボタン８６、移動ボタン８８、削除ボタン８９などが表示される。これらはラジオボタンにより構成され、マウス操作などで何れか１つが選択可能となっている。

図１４（ａ）では、複製ボタン８６が選択されており、修正画面９０は複製モードとなっている。
複製モードでは、シーン表示部７５で複製したいシーンをクリックすると、そのシーンが複製されてシーン表示部７５に追加される。
例えば、図１４（ａ）でシーン４を選択すると、図１４（ｂ）で示したように、シーン４と同じシーンがシーン５として追加される。

図１５（ａ）では、移動ボタン８８が選択されており、修正画面９０は移動モードとなっている。
移動モードでは、シーン表示部７５で移動対象であるシーンを、移動先にドラッグ・アンド・ドロップすると、移動先に移動することができる。
例えば、図１５（ａ）でシーン３をシーン５の位置にドラッグ・アンド・ドロップすると図１５（ｂ）に示したように、シーン３がシーン５に移動し、シーン４とシーン５は、それぞれ１つずつ番号が繰り上がる。

図１６（ａ）では、削除ボタンが選択されており、修正画面９０は削除モードとなっている。
削除モードでは、シーン表示部７５で削除対象であるシーンをクリックすると、そのシーンを削除することができる。
例えば、図１６（ａ）でシーン３をクリックすると、図１６（ｂ）に示したように、シーン３が削除され、以降のシーン、即ちシーン４とシーン５のシーン番号が１つずつ繰り上がる。

図１７は、シーン生成処理によって生成されたタイムコードリストの論理的な構成の一例を示した図である。
図に示したように、各シーンは、イン点とアウト点の組から構成されている。例えば、シーン１のイン点は、３分００秒００フレームであり、シーン１のアウト点は、３分１４秒２９フレームである。このように、タイムコードは１００分の１秒単位で作成することができる。

図１８は、シーン編集処理（カット処理）の手順を示したフローチャートである。
まず、遠隔編集機３は、遠隔編集機３を初期化し、シーン編集処理を開始する。そして、終了ボタン８４（図１３）が選択されたか否かを検出することにより、シーン編集処理の終了判定を行う（ステップ５）。
終了と判定した場合（ステップ５；Ｙ）、シーン編集処理を終了する。

終了でないと判定した場合（ステップ５；Ｎ）、遠隔編集機３は、タイムコードの追加と修正の何れが選択されているかを判断する（ステップ１０）。
この判断は、シーン編集画面（図１３）の追加ボタン８２と修正ボタン８３の何れが選択されているかを判断することにより行う。

ステップ１０において追加が選択されている場合、追加の選択がキャンセルされたか否か判断し（シーン編集画面で図示しないキャンセルボタンで追加の選択状態をキャンセルすることができる）（ステップ１５）、キャンセルされている場合は（ステップ１５；Ｙ）、ステップ５に戻る。

キャンセルされていない場合は（ステップ１５；Ｎ）、編集者によるサムネイル表示部７８でのサムネイル選択を受け付け、イン点でのフレームをユーザに選択させる（ステップ２０）。
そして、遠隔編集機３は、選択されたフレームからイン点のタイムコードを取得し（ステップ２５）、編集情報として編集情報記録部７０（図１１）に記録する（ステップ３０）。

次に、遠隔編集機３は、同様にして編集者にアウト点のフレームを選択させる（ステップ３５）。そして、選択されたフレームからアウト点のタイムコードを取得して（ステップ４０）、編集情報記録部７０に記録する（ステップ４５）。そして、遠隔編集機３は、処理をステップ５に戻す。
なお、イン点とアウト点の選択順序は逆でも良い。

ステップ１０でタイムコードリストの修正が選択されていると判断した場合、遠隔編集機３は、図１９で示したフローチャートに従って処理を行う。
そして、遠隔編集機３は、編集者に修正範囲（複製、移動、削除対象のシーン）を選択させる（ステップ５０）。
次に、遠隔編集機３は、複製ボタン８６、移動ボタン８８、削除ボタン８９の何れが選択されているか判断する（ステップ５５）。

複製ボタン８６が選択されている場合、遠隔編集機３は、選択されているシーンのイン点とアウト点からなるタイムコードの組を複製し（ステップ６０）、タイムコードリストに追加してタイムコードリストを更新する（ステップ７５）。
移動ボタン８８が選択されている場合、遠隔編集機３は、選択されているシーンのタイムコードの組を移動先として指定されている位置に移動して（ステップ６５）タイムコードリストを更新する（ステップ７５）。

削除ボタン８９が選択されている場合、選択されているシーンのタイムコードの組をタイムコードリストから削除して（ステップ７０）、これを更新する（ステップ７５）。
そして、遠隔編集機３は、ステップ７５でタイムコードリストを更新すると、ステップ１０の処理に戻る。

なお、以上の例では、イン点とアウト点の組を修正対象としたが、既に指定されているイン点とアウト点の組において、何れか一方を修正対象とすることもできる。
また、直接又はフレーム指定を通じてとある１点のタイムコードが指定されると、予め設定された条件に基づいて、この１点の前後のある範囲の時刻分のデータを編集範囲とするようにイン点とアウト点の組が生成されるように構成しても良い。

以上の例では、生成したタイムコードリストを編集情報記録部７０に記憶したが、タイムコードをパケタイズして主編集機に送信し、主編集機にてタイムコードリストを生成するように構成することもできる。
この場合に遠隔編集機３が行う処理手順を図２０のフローチャートを用いて説明する。なお、図１８のフローチャートと同じ処理には同じステップ番号を付し、説明を省略する。

遠隔編集機３は、図１８の例で遠隔編集機の記録部にタイムコードを伝送するのと同等のタイミングで、タイムコードをパケタイズして、編集情報伝送部７１を通じて主編集機２に送信を行う（ステップ２８、４８）。
そして、シーン編集を終了する場合は、主編集機２に編集終了を通知する（ステップ４９）。
また、修正を行う場合は、図２１に示したように、主編集機２に編集内容を伝送し、主編集機２からの応答により、主編集機２でタイムコードの記録が変更されたことを確認する（ステップ８０）。

なお、以上の編集操作では、画像データでシーンを指定したが、画像データをサムネイルで閲覧した結果、画像コンテンツの始めから終わりまでが必要と判断されシーン編集操作が発生しない場合もある。このときは画像コンテンツの開始位置と終了位置を自動的にタイムコードリストに記録するような設定を設けても良い。

次に、編集情報記録部１８へのタイムコードリスト記録方式について説明する。
ここでは、１つのタイムコードを記録する容量をｂバイトとし、Ｎ組の編集範囲（シーン）をイン点、アウト点の順に記録する場合を考える。
予め確保した記憶領域Ｎ＊２＊ｂの開始番地をａ０番とすれば、ｋ番目の編集対象範囲のイン点はアドレスａ０＋２＊ｂ＊（ｋ−１）番地から、アウト点はａ０＋（２＊（ｋ−１）＋１）＊ｂ番地に記載される。

このとき、最大リスト長Ｎｍａｘ分の記録空間Ｎｍａｘ＊２＊ｂを確保しておき、編集点追加操作のたびに対応アドレスに値を書き込んでも良い。
あるいは、編集点の追加操作があったときに、新規編集点のための２ｂだけ領域を確保して、確保した部分にタイムコードを書き込んでも良い。
イン点、アウト点、次リスト参照先アドレスを含む構造体を生成して、タイムコード組追加のたびに新規構造体のための空間を確保しながら記録しても良いし、タイムコードを格納し、格納先のアドレスからなるリストを作成し、このリストから必要とされるタイムコードのアドレスを読み出してタイムコードそのものを参照しても良い。

以上、タイムコードを用いた編集範囲指定例を示したが、タイムコードの代わりに、編集点のフレームのタイムコード情報にマッピング可能な別の情報を利用しても良い。
例えば、フレーム番号で構成されても良い。主編集機内で階層符号化されているフレームやタイルデータの格納アドレスを示すような相対的あるいは絶対的ポインタを利用しても良い。ＲＴＰパケットのＲＴＰヘッダに付与されるＲＴＰタイムスタンプを利用しても良い。ここで、ＲＴＰタイムスタンプは９０ＫＨｚの周波数で生成されるため、ＲＴＰタイムスタンプは通常およそ３０ｆｐｓである画像データの生成時間間隔を再現するのに十分な時間分解能を持つ。

以上のようにして、画像データで編集範囲であるシーンを指定した後、これらシーンに対して画像品質（ここでは解像度、画質）の指定を行う。
本実施の形態では、階層符号の復号に用いる階層レベルを指定することで、画像データ全量を受信せずとも、編集画像データの画像品質を指定可能とする。
また、編集画像の品質を確認する際に画像データの一部の取り寄せが必要となっても、既に受信済みである階層符号化データとの差分データを受け取れば良い。

編集画像品質で実現可能な最高品質は、素材となるオリジナルの画像データが持つ解像度・画質の品質に等しい。
そこで、遠隔編集機３は、例えば、図１０に示したＳＤＰを画像データの転送開始時に初期化操作の一部として主編集機２から受信して、素材画像データの最高階層レベルなどの通知を受ける。そして、これらの情報を編集情報記録部７０に記憶する。

画像品質編集部６９は、編集情報記録部７０に記憶された素材画像データの階層レベル値を参照し、編集画像データの階層レベル指定値が素材画像データの値を超えないように、画像品質指定操作を制御する。
このとき、画質は高いが解像度は小さくする、画質は高いがコンポーネントを輝度コンポーネントのみとするなど、階層を構成する階層化要素ごとに独立に制御することができる。
即ち、画像品質の編集は、主編集機２から素材画像データの階層レベル情報を取得し、その範囲内で編集画像品質を決定することになる。

図２２は、表示装置６７に表示された画像品質編集画面の一例を示しており、シーン編集を終了すると表示される。
画像品質編集画面は、画像品質の編集に用いられるユーザインターフェースを構成しており、画質、解像度といった階層化要素ごとに独立した階層レベル指定を可能としている。

画像品質編集画面は、画像表示部１１０、再生箇所表示部１１１、再生ボタン１１３、画質指定部１１５、解像度指定部１１８、シーン表示部１２３などから構成されている。
このように、画像品質編集画面は、画像表示部１１０と階層化要素ごとに独立な指定部（画質指定部１１５、解像度指定部１１８）を備え、これら指定部においては指定可能範囲からツマミ等で所望の指定値を指示することができる。
また、図の例では、画質、解像度が共に階層レベル１〜階層レベル７で指定可能であり、素材画像データは、６回のウェーブレット変換後、画質を７レイヤに分割して階層構造化されている。
なお、以下では説明を省略するが、コンポーネントに関しても階層レベルの指定が可能である。

以下に、画像品質編集画面の各構成化要素について説明する。
シーン表示部１２３は、シーン編集処理にて生成したシーンの一覧を表示し、画像品質編集の対象シーンをシーン編集処理の結果と対応付ける。
シーン表示部１２３の表示内容は、シーン表示部７５（図１３）と同様であり、各シーンのイン点とアウト点のフレームがサムネイルで表示されており、垂直スクロールバーでこれらをスクロールすることができる。

シーン表示部１２３では、例えば、マウス操作でクリックするなどして、画像品質を設定するシーンを選択できるようになっている。図の例ではシーン２が選択されている。
このように、画像品質編集部６９は、シーンごとに成る画質や解像度の階層レベルを指定することができる。
また、同一シーンを構成する一連の画像フレームの一部のみが高画質化や高解像度化など異なる階層化要素レベルでの編集を指示されたならば、シーンの分割を行い、シーンやタイムコード範囲の情報を変更するように構成することもできる。

画像表示部１１０は、シーン表示部１２３で選択されている画像データを再生して表示するエリアである。
画像表示部１１０では、シーンを構成するフレームが連続的に表示され、編集者は、シーンを構成する画像データを動画像として見ることができる。

再生ボタン１１３は、シーン表示部１２３で選択されている画像データの再生を制御するためのボタンである。
編集者は、マウス操作でこのボタンをクリックするなどして、画像の再生及び停止を選択することができる。

再生箇所表示部１１１は、画像表示部１１０に表示されている画像のシーン内での位置を表示する。
再生位置は、再生位置指示部１１２の位置によって示され、再生位置指示部１１２は、画像の再生の進行に伴ってイン点（図に向かって再生箇所表示部１１１の左端）からアウト点（同右端）に向かって移動する。
また、編集者は、マウス操作などで再生位置指示部１１２をスライドさせることにより、シーン内の任意の位置に再生位置を移動させることができる。

画質指定部１１５は、シーン表示部１２３で選択されているシーンの画質の階層レベル（画質レベル）を指定するのに用いる。
選択可能な画質レベルは、主編集機２から送信されてきた素材画像の階層化情報から決定される。

画質指定部１１５では、指定可能な画質の最大値と最小値を指定可能範囲とすることで、予め編集可能範囲を制限している。また、指定可能な値を、整数値のインデックスとして示している。
図の例では、画質は階層レベル１〜階層レベル７まで階層化されており、編集者は画質ツマミ１１６をマウス操作などで移動させ、これらの範囲から所望の値を選択することができる。

画質レベルのインデックスには、ｋｌ、ｋｌ ｒｅｃｖ、ｋｌ ｏｒｇなどの表記が併記されている。
ｋｌは、編集作業によって指定された画質のレイヤ数、ｋｌ ｒｅｃｖは、遠隔編集機３が保持しているレイヤ数、ｋｌ ｏｒｇは、素材画像データの画質レイヤ数を表している。また、これらの値は、色、マークなどで表示しても良い。

遠隔編集機３は、ｋｌ ｒｅｃｖで指定された画質レベルまでの画像データを保持しているので、遠隔編集機３は、階層レベル１からｋｌ ｒｅｃｖの間では指定された画質にて画像を画像表示部１１０に表示することができる。
そのため、編集者は、指定した画質を画像表示部１１０にて確認することができる。

指定画質が、ｋｌ ｒｅｃｖを超えた場合は、追加の階層符号化データを要求するプロンプトを行う。編集者が追加の階層符号化データを要求する場合は、主編集機２に追加データの伝送を要求し、これによって受け取った追加の階層符号化データを先に受信していた階層符号化データと合わせて高解画質で表示する。

解像度指定部１１８は、シーン表示部１２３で選択されているシーンの解像度のレベル（解像度レベル）を指定するのに用いる。
画質と同様に、指定可能な解像度レベルの最大値と最小値を設定し、編集可能範囲を制限している。
選択可能な解像度レベルは、主編集機２から送信されてきた素材画像の階層化情報から決定される。解像度は、（ウェーブレット変換回数＋１）種類の階層レベルが選択が可能であり、図の例では階層レベル１〜階層レベル７が選択可能である。
解像度は、解像度ツマミ１１９をマウス操作などで移動させ、これらの値から選択することができる。

解像度レベルのインデックスには、ｋｒ、ｋｒ ｒｅｃｖ、ｋｒ ｏｒｇなどの表記が併記されている。
ｋｒは、編集用の指定解像度レベル、ｋｌ ｒｅｃｖは、遠隔編集機３が保持している画像データの解像度レベル、ｋｒ ｏｒｇは素材画像データ解像度レベルである。
なお、これらの値は、色、マークなどで表示しても良い。

遠隔編集機３は、ｋｒ ｒｅｃｖで指定された解像度レベルまでの画像データを保持しているので、遠隔編集機３は、階層レベル１からｋｒ ｒｅｃｖの間では指定された画質にて画像を画像表示部１１０に表示することができる。
そのため、編集者は、指定した解像度を画像表示部１１０にて確認することができる。

指定解像度が、ｋｒ ｒｅｃｖを超えた場合は、追加の階層符号化データを要求するプロンプトを行う。編集者が追加の階層符号化データを要求する場合は、主編集機２に追加データの伝送を要求し、これによって受け取った追加の階層符号化データを先に受信していた階層符号化データと合わせて高解像度で表示する。

ここで、画質を高めるために主編集機２に追加の階層符号化データを要求する場合について説明する。
図２３の各図は、解像度を階層レベル３に固定したまま画質を階層レベル３から階層レベル６に変化させる場合を示している。
まず、最初は、図２３（ａ）に示したように、画質レベルが３に設定されており、画像表示部１１０には、画質レベル３に対応する画像が表示されている。

次に、図２３（ｂ）に示したように、編集者が画質レベル６を指定したとする。この場合、遠隔編集機３が保持している画像データの画質レベルは、最高で階層レベル５であるので、階層レベル６の画質で画像を表示するために追加の階層符号化データを主編集機２に要求するか否かを図に示したダイアログなどを用いて編集者に問い合わせる。

編集者が追加の階層符号化データを要求した場合、遠隔編集機３は、主編集機２に要求を送り、その要求に応えて主編集機２が送付してきた追加の階層符号化データを受信して、図２３（ｃ）に示したように、指定後の画質にて画像を画像表示部１１０に表示する。
図２３（ｃ）では、ｋｌが６に設定され、画像表示部１１０には画質レベル６の画像が表示されている。

次に、解像度を高めるために主編集機２に追加の階層符号化データを要求する場合について説明する。
図２４の各図は、画質を階層レベル６に固定したまま解像度を階層レベル３から階層レベル６に変化させる場合を示している。
まず、最初は、図２４（ａ）に示したように、解像度レベルが３に設定されており、画像表示部１１０には、解像度レベル３に対応する画像が表示されている。

次に、図２４（ｂ）に示したように、編集者が解像度レベル６を指定したとする。この場合、遠隔編集機３が保持している画像データの解像度レベルは、最高で階層レベル５であるので、階層レベル６の解像度で画像を表示するために追加の階層符号化データを主編集機２に要求するか否かを図に示したダイアログなどを用いて編集者に問い合わせる。

編集者が追加の階層符号化データを要求した場合、遠隔編集機３は、主編集機２に要求を送り、その要求に応えて主編集機２が送付してきた追加の階層符号化データを受信して、図２４（ｃ）に示したように、指定後の解像度にて画像を画像表示部１１０に表示する。
図２４（ｃ）では、ｋｒが６に設定され、画像表示部１１０には解像度レベル６の画像が表示されている。

次に、遠隔編集機３が保持している階層レベルの解像度よりも大きい階層レベルの解像度を指定し、しかも主編集機２に追加の階層符号化データを要求しなかった場合について説明する。
例えば、図２５（ａ）に示したように、ｋｒ ｒｅｃｖは階層レベル５であるのに、図２５（ｂ）に示したように階層レベル６を指定したとする。
すると、画像表示部１１０で追加の階層符号化データを要求するか否かの確認を編集者に行うが、ここで編集者は要求しなかったとする。
すると、画像表示部１１０には、図２５（ｃ）に示したように、指定された解像度が現在表示している解像度よりも高いことを通知され、表示可能な解像度で画像が表示される。
画質についても、遠隔編集機３が保持している画質レベルより高い階層レベルを指定し、追加の階層符号化データを要求しない場合は、その旨の表示が画像表示部１１０でなされる。

次に、画像データでＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を指定する場合について説明する。
ＲＯＩは、指定された領域に優先してビットレートを割り当てる技術そのもの、又は、その領域を指し、他の領域よりも画像品質を高く設定したものである。
また、逆に指定した一部領域の画像品質を他の領域よりも低く設定することも可能である。
本実施の形態では、タイル単位でＲＯＩを設定することができる。

図２６にＲＯＩの指定例を示す。
画像表示部１１０で、ペンオブジェクトで領域を囲うなどして画像中ＲＯＩを指定すると、ＲＯＩとなるタイルの位置では、画質に用いるレイヤの階層レベル数が他の箇所とは異なる値として編集情報記録部７０に記録する。
図の例では、ＲＯＩチェックボックス１３１を設け、このチェックボックスが選択されている間は、画質指定部１１５にてＲＯＩの画質を設定し、選択されていない間はＲＯＩ以外の部分の画質を設定できる。
図に示した例では、画像の中心にＲＯＩ１３０が指定されており、この領域が他の領域よりも高画質化されている。
また、画像処理などによって興味オブジェクトを検出し、興味オブジェクトが含まれる領域の画像品質を高めることも可能である。

次に、図２７のフローチャートを用いて、画像品質編集手順について説明する。この処理は、階層化要素ごと（画質、解像度など）に行うが、以下では、これらの階層化要素のうちの１つについて説明する。
まず、遠隔編集機３は、ＳＤＰの拡張部などに記述されるなどして主編集機２から伝送された素材画像データの画像品質を参照しながら、設定上限ｋｍａｘを設定し（ステップ１００）、更に下限値ｋｍｉｎを設定する（ステップ１０５）。
ここでは、ｋｍａｘ＝ｋ０、ｋｍｉｎ＝１に設定されている。

次に、画像品質編集処理を終了するか判定し（ステップ１１０）、終了する場合は（ステップ１１０；Ｙ）、編集結果を編集情報として編集情報記録部７０に記録し、処理を終了する。
終了しない場合は（ステップ１１０；Ｎ）、編集者が指定した階層化要素のレベル指定ｋを受け付け、階層化要素の設定値を指示値ｋに変更する（ステップ１１５）。

次に、主編集機２は、ｋがｋｍｉｎからｋｍａｘまでの範囲にあるか、即ち、素材画像データの画像品質の範囲にあるか判断する（ステップ１２０）。
ｋがこの範囲になかった場合は（ステップ１２０；Ｎ）、ｋがｋｍｉｎよりも小さい場合はｋをｋｍｉｎに設定し（ステップ１４０）、ｋがｋｍａｘよりも大きい場合はｋをｋｍａｘに設定する（ステップ１４５）。

ｋがｋｍｉｎからｋｍａｘまでの範囲にあった場合（ステップ１２０；Ｙ）、又は、ステップ１４０、１４５でｋの値を設定した場合、編集情報としてこのｋの値を編集情報記録部７０に記録する（ステップ１２５）。
次に、遠隔編集機３は、ｋが現在遠隔編集機３で保持している画像データの画像品質の範囲内か判断し（ステップ１３０）、保持している画像データの画像品質の範囲内である場合は（ステップ１３０；Ｙ）、ｋで指定された画像品質にて画像表示部１１０に画像を表示する（ステップ１３５）。

一方、保持している画像データの画像品質の範囲内でなかった場合は（ステップ１３０；Ｎ）、編集者に対して主編集機２に差分の階層符号化データを要求するか問い合わせる（ステップ１５０）。
編集者が差分の階層符号化データを要求した場合（ステップ１５０；Ｙ）、主編集機２に差分の階層符号化データを要求し（ステップ１５５）、その結果、主編集機２から送信されてきた階層符号化データを受信する（ステップ１６０）。

受信した階層符号化データは、デパケタイザ６２（図１１）でデパケタイズされた後、復号器６３で復号されて、先に一時記憶装置６６に記憶してある階層符号化データに追加される。
そして、主編集機２は、指定された画像品質にて画像データを表示する（ステップ１３５）。

一方、編集者が追加の階層符号化データを要求しなかった場合は（ステップ１５０；Ｎ）、画像表示部１１０で表示している画像が指定された画像品質とは異なることを編集者に通知し（ステップ１６５）、現在保持している画像データを用いて指定された画像品質に一番近い画像品質にて画像表示部１１０に画像を表示する（ステップ１７０）。

以上のようにして、シーンの指定、及び指定したシーンでの画像品質の指定を行うことができる。
このようにして生成され、編集情報記録部７０に記憶された編集情報の論理的な構成の一例を図２８に示す。
図に示したように、編集情報は、シーン番号１４１、イン点１４２、アウト点１４３、画質レベル１４４、解像度レベル１４５、ＲＯＩ画質１４６、ＲＯＩタイル番号１４７などの項目から構成されている。

シーン番号１４１は、シーン番号である。
イン点１４２、アウト点１４３は、各シーンのイン点とアウト点である。
画質レベル１４４は、各シーンで指定された画質レベルである。
解像度レベル１４５は、各シーンで指定された解像度レベルである。
ＲＯＩ画質１４６は、あるシーンでＲＯＩが指定された場合の、ＲＯＩで指定された画質である。
ＲＯＩタイル番号１４７は、ＲＯＩに指定されたタイルのタイル番号である。

また、図２９に示したようにタイルごとに画質レベルを設定するように構成し、これによってＲＯＩを指定することもできる。
図の例では、タイル番号５のタイルの画質レベルが５に設定され、他のタイルは画質レベルが３に設定されている。

次に、遠隔編集機３を携帯端末で構成した場合について説明する。遠隔編集機３を携帯端末で構成することにより、撮影現場での編集などを容易に行うことができる。
図３０（ａ）は、携帯端末で構成した遠隔編集機３の操作部を図示したものである。遠隔編集機３は、ディスプレイを備えており、このディスプレイ上に画像表示部１５６、編集対象指定部１５２、レベル指定部１５４、サムネイル表示部１５８が形成されている。

また、ディスプレイの外部に編集者が編集操作を行うための操作部１６０が形成されている。
操作部１６０は、図示したようにボタンや又はジョグダイヤルなどで構成することができ、操作部１６０を操作することにより画像表示部１５６に表示された項目間の移動やメニュー選択、メニュー項目移動などが可能となっている。

サムネイル表示部１５８は、生成したシーンの先頭フレームのサムネイルが表示される。シーンは、受信した画像データを画像表示部１５６で表示し、操作部１６０を操作してシーンをカットすることにより行う。
操作部１６０を操作してサムネイル表示部１５８でサムネイルを選択することにより、シーンを選択することができ、選択されたシーンが画像品質編集対象となる。

編集対象指定部１５２では、図３０（ｂ）に示したように、サムネイル表示部１５８で選択されたシーンに対して、画質、解像度、ＲＯＩの何れを編集するかを操作部１６０を操作して選択することができるようになっている。
そして、レベル指定部１５４では、図３０（ｃ）に示したように、編集対象指定部１５２に選択した項目の編集画像データで利用する階層レベルを選択できるようになっている。

ＲＯＩを指定する場合は、図３１に示したように、編集対象指定部１５２でＲＯＩを選択し、操作部１６０を操作して画像表示部１５６上でＲＯＩに指定するタイルを選択する。ＲＯＩを指定する場合は、タイルの境界が表示され、少なくとも１つを指定することができる。
指定したＲＯＩの画質はレベル指定部１５４で指定することができる。

以上に説明した遠隔編集機３において、ネットワークインターフェース６１は、主編集機２から送信されてきた階層符号化データを受信し、データ受信手段を構成している。
デパケタイザ６２、復号器６３、一時記憶装置６６、表示装置６７を用いて画像が再生され、これらは再生手段を構成している。
シーン編集部６８と画像品質編集部６９により、編集者からの編集作業を受け付け、これらは編集手段を構成している。
シーン編集部６８、画像品質編集部６９、及び編集情報記録部７０により編集情報が生成され、これらは、編集情報生成手段を構成している。
更に、画像品質編集部６９は、解像度、画質など、画像の品質を規定する階層化要素ごとに階層レベルの指定を受け付け、編集情報記録部７０は、これらの指定値を編集情報に含める。
生成した編集情報は、編集情報伝送部７１から主編集機２に送信され、これは編集画像データの生成に必要な階層符号化データを主編集機２に要求するデータ要求手段を構成している。
そして、編集制御部７３は、主編集機２から先に受信した階層符号化データと、追加送信された階層符号化データを用いて（先に受信した階層符号化データでは不足する場合）、編集画像データを生成する編集画像データ生成手段を構成している。
また、画像品質編集部６９は、表示装置６７で画像を再生する際に、解像度レベル、画質レベルなど、階層化要素の階層レベルの選択を編集者から受け付け（階層レベル選択手段）、一時記憶装置６６、復号器６３、表示装置６７は、選択された階層レベルにて画像を再生する。
更に、画像品質編集部６９は、編集者が画像品質を編集する際に、受信済みの階層レベル、素材画像データの階層レベル、現在指定している階層レベルなどを表示装置６７に表示し、階層レベル提示手段を構成している。
また、画像品質編集部６９は、編集者が再生されている画像の階層レベルと、画像品質編集部６９で指定した階層レベルが異なる場合は、図２５（ｃ）のように警告を表示する（警告表示手段）。

次に、図３２を用いて遠隔編集システム１で行われる編集シーケンスについて説明する。
まず、主編集機２に素材画像データが階層化されて蓄積された状態で、主編集機２は遠隔編集機に編集開始のシグナルを送る。
遠隔編集機３は作業メモリの確保、サムネイル用データの保存メモリ確保、編集情報テーブルの初期化といった、初期化作業Ｉｎｉｔｉａｌｉｚｅを行う。

初期化後、遠隔編集機３は、サムネイル受信シグナルｇｅｔＤａｔａ（Ｔ’ｉｎ、Ｔ’ｏｕｔ）により、サムネイルデータを要求する。
主編集機２では主編集機２の素材画像データより所望の品質を満たすようサムネイルの作成に十分なデータを伝送する。

前述の伝送品質制御部が指示する画像品質でＴ’ｉｎからＴ’ｏｕｔまでのデータの読み出しを指示し（ｒｅａｄＤａｔａ（Ｔ’ｉｎ、 Ｔ’ｏｕｔ、 ｑ’））、調整されたデータａｄｊｕｓｔｅｄＤａｔａ（Ｔ’ｉｎ、 Ｔ’ｏｕｔ）を画像データ部から読み出し、ｓｅｎｄａｄｊｕｓｔｅｄＤａｔａにより遠隔編集機３に伝送する。

ここで、素材画像データの読み出しは、編集機間をつなぐネットワーク４の状態から算出された伝送レートや、主編集機２側の伝送品質制御部１６においてサムネイル画像向けに指定された画像解像度や画質の画像品質に従って、読み出し量や伝送量を制御し遠隔編集機３に配信される。

遠隔編集機３は、画像データを受信し、ｓｅｅｋＦｒａｍｅ（）で画像表示部１１０に表示されるサムネイルを見ながらフレームを探索し、決定した編集点をａｄｄＥｄｉｔｌｉｓｔＴｉｎ（Ｔｋ ｉｎ）、ａｄｄＥｄｉｔｌｉｓｔＴｏｕｔ（Ｔｋ ｏｕｔ）で編集情報に記述する。ここでｋは、１からＮまでの整数である。

以上の操作を繰り返して、編集画像データに使用されるシーンＴ１、、、Ｔｋ、、、ＴＮが定まる。
シーンＴｋの画像品質の指定は、解像度、画質のような階層化要素について編集画像データに使用する階層レベルを指定する方式で行う（ｅｄｉｔＱｕａｌ（Ｔｋ’））。
画像品質の編集中は、Ｆｒａｍｅｄａｔａ（）によって編集用データを読み出すことでサムネイルの画像品質を変えながら品質を決定する。

編集中、詳細の検討に、サムネイル受信データで表示可能な画像品質を超えるデータが必要となればｒｅｑＤａｔａ、ｇｅｔＤａｔａ（図示せず）によって主編集機２から差分の階層符号化データを受信する。
編集操作によって画像品質が決定されると、階層化要素の階層レベルが編集情報に書き込まれる（ｓｅｔＱｕａｌ（Ｔｋ’、 ｑ’））。

遠隔編集機３における編集操作が終了すると、編集情報にしたがって編集画像データが遠隔編集機３で生成される。
はじめに、編集リストに記載された編集範囲Ｔｋの編集点のタイムコードＴｋｉｎＴｋｏｕｔで示されるフレーム群ｆｌＴｋについて、画像品質ｑ’Ｔｋを完成するためのデータを遠隔編集機側に転送するよう、主編集機２に要求が送られる（ｓｅｎｄＥｄｉｔｌｉｓｔ（ｆｌＴｋ，ｑ’（Ｔｋ）））。

主編集機２ではこの情報と伝送品質制御部１６などに記録しておいた伝送済み階層符号化データの履歴ｓｅｎｄＤａｔａＩｎｆｏ（）とを比較して、差分の階層符号化データｄｉｆｆＤａｔａ（ｆｌＴｋ，ｑ’（Ｔｋ））を遠隔編集機３に伝送する。
遠隔編集機３側ではすでに所有している階層符号化データと、主編集機２から受け取った画像品質差分データ（差分の階層符号化データ）を用いて編集画像データを完成させる。
ここでは主編集機２側で送信済みの階層符号化データとの差分を計算したが、遠隔編集機３において受信済みの階層符号化データと必要な階層符号化データの差分を計算して、差分の要求のみを主編集機２に伝送しても良い。

完成した編集画像データは、コンテンツの配信をうけるサービス端末からの要求に従い利用される。コンテンツ配信サービスとしてはＦＴＰを用いたファイル毎転送、ＨＴＴＰストリーミングやＲＴＰストリーミングがあげられる。編集画像データ記憶装置７２そのものを物理的に取り外し運搬したり、取り外し可能な記憶媒体に複製して運搬しても良い。

図３３は、主編集機２と遠隔編集機３での画像データの記憶状態を示した概念図である。
フレーム列２０２は、主編集機２の画像データ記憶装置９での素材画像データ記憶状態を表している。図に向かって右側に時間軸を採っており、左端のフレームが素材画像データの開始位置にあるフレームで、右端のフレームが終了位置にあるフレームである。フレーム列２０４、２０６、２０８も同様である。

フレーム２０１は、フレーム列２０２を構成する各フレームの解像度による階層レベルを示しており、図６に対応するものである。なお、３ＬＬなどの記載は省略してある。
図に示したように、フレーム列２０２を構成する各フレームは、サイズ１／８（解像度レベル０）、サイズ１／４（解像度レベル１）、サイズ１／２（解像度レベル２）、サイズ１／１（解像度レベル３）の階層符号化データを有している。

次に、フレーム列２０４は、遠隔編集機３の一時記憶装置６６で記憶している階層符号化データの記憶状態を表している。
フレーム２０３は、フレーム列２０４を構成する各フレームの解像度による階層レベルを表している。
図に示したように、フレーム列２０４を構成する各フレームは、サイズ１／８（解像度レベル０）の階層符号化データを有している。

これは、主編集機２が素材画像データのうち、サイズ１／８の階層符号化データを遠隔編集機３に送信するように画像品質の調整を行ったためである。
編集者は、遠隔編集機３にてフレーム列２０４を参照しながら編集作業を行う。
図は、フレーム列２０４において編集により、Ｎ個のシーンＴ１〜ＴＮ（ここではＮ＝２）のイン点とアウト点がマーキングされている状態を示している。

フレーム列２０６は、主編集機２の画像データ記憶装置９で記憶されている素材画像データを表しており、フレーム列２０４での編集結果との対応関係を示している。
フレーム２０５は、フレーム列２０６の各フレームの解像度による階層レベルを示しており、フレーム２０１と同じである。
フレーム列２０６では、フレーム列２０４のＮ個のシーンＴ１〜ＴＮに対応させて、シーンＴ１〜ＴＮがマーキングされている。

フレーム列２０８は、遠隔編集機３の編集画像データ記憶装置２０で記憶されている編集画像データの記憶状態を示している。
フレーム２０７は、フレーム列２０８の各フレームの解像度による階層レベルを示しており、サイズ１／２（解像度レベル２）の階層符号化データから構成されている。
このように、編集画像データはフレーム列２０６のシーンＴ１〜ＴＮからサイズ１／２の符号データを抽出して生成されている。

この抽出処理は、例えば、次のように行うことができる。
例えば、各フレームについて３ＬＬの領域のみ（１／８サイズ）で編集画像データを生成する場合であれば、読み出し中のフレームで３ＬＬの領域を読み出し、読み出しポインタを次フレームの画像データ先頭領域に移動する。そして、このフレームで３ＬＬの領域を読み出したら、更に次のフレームに移動する。
このように、フレーム列で各フレームから所望の階層符号化データを読み出す処理を、シーンの範囲内で繰り返すことにより編集画像データを生成することができる。

このように処理を行うことにより、画像データ記憶装置９に記憶されている全ての階層符号化データ（３ＨＬ、３ＨＨ、２ＬＨ、２ＨＬ、２ＬＬ、１ＬＨ、１ＨＬ、１ＨＨ）を遠隔編集機３に送信する必要がなく、また、編集画像データの生成に際して、画像データ記憶装置９から全ての階層符号化データを読み出す必要がないため、伝送時間、処理時間を節約することができる。

図３３では、シーンを特定すると共に解像度による階層レベルの調整を行ったが、画質レベルによる調整を行うこともできる。
なお、素材画像データを必要としない場合は、余剰な階層符号化データを画像データ記憶装置９から消去しても良いし、あるいは消去後に記憶領域を再配置しても良い。

図３４は、主編集機２ハードウェア的な構成の一例を示した図である。
主編集機２では、ＣＰＵ２４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２４２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４１、入力装置２４４、出力装置２４６、ネットワーク接続装置２４８、記憶装置２５０、記憶媒体駆動装置２５４などがバスライン２６０で接続されて構成されている。

ＣＰＵ２４０は、ＲＯＭ２４２やＲＡＭ２４１、及び記憶装置２５０などに記憶されているプログラムに従って各種の処理を実行する中央処理装置である。
ＣＰＵ２４０は、主編集機側の編集プログラムを実行することにより、図２に示した符号化器１０、バッファ１１、パケタイザ１２、伝送品質制御部１６、編集制御部１７などの各構成要素を形成し、遠隔編集機能を発揮する。

ＲＯＭ２４２は、主編集機２を機能させる上で必要な基本的なプログラムやパラメータなどを記憶したリードオンリーメモリである。
ＲＡＭ２４１は、データの書き込み及び消去が可能なランダムアクセスメモリであって、例えば、ＣＰＵ２４０が階層符号化データの送信を行ったり、編集情報に基づいて編集画像データを生成する際に、ワーキングメモリを提供する。

入力装置２４４は、例えば、キーボード、マウス、ジョイスティック、などの入力デバイスから構成されており、主編集機側の作業者は、素材画像データやを再生したり、これらを再編集したりすることができる。
また、入力装置２４４を操作することにより、素材画像データや主編集機２全体の管理保守を行うことができる。

出力装置２４６は、ディスプレイ、スピーカ、プリンタなどの出力デバイスから構成されており、主編集機側の作業者は、これらのデバイスで素材画像データやを再生表示したり、遠隔編集機３から送信されてきた編集情報の内容を表示したりすることができる。
また、画像データが音声データを含んでいる場合は、その音声をスピーカから出力することができる。

記憶装置２５０は、例えばハードディスクドライブなどで構成された大容量の記憶デバイスであり、ＣＰＵ２４０によってデータの読み書きが可能となっている。
記憶装置２５０は、例えば、大容量のハードディスクで構成されているが、このほか、光磁気ディスク、磁気ディスク、半導体記憶装置など、他の記憶媒体と、この記憶媒体を駆動する記憶媒体駆動装置を用いて構成することもできる。
記憶装置２５０には、各種プログラムを格納したプログラム格納部２５６と、各種データを記憶したデータ格納部２５８が形成されている。

プログラム格納部２５６には、例えば、遠隔編集機能を発揮するための編集プログラムやファイルの入出力処理などの基本的な機能を主編集機２で実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などが記憶されている。
データ格納部２５８には、画像データ記憶装置９（図２）などが形成され、素材画像データなどが記憶されている。

記憶媒体駆動装置２５４は、半導体メモリ、光磁気ディスク、磁気ディスクなどの着脱可能な記憶媒体を駆動して、データの読み書きを行う。
これによって、素材画像データを記憶媒体から読み込んだりすることができる。
ネットワーク接続装置２４８は、主編集機２をネットワーク４に接続するためのインターフェースであり、ネットワークインターフェース１５（図２）を構成している。

以上、主編集機２の構成について説明したが、遠隔編集機３のハードウェア的な構成も基本的に主編集機２と同様である。
遠隔編集機３は、遠隔編集機側の編集機能を発揮する編集プログラムを有しており、これをＣＰＵで実行することにより、編集情報の作成や編集画像データの生成などの上述した各種の遠隔編集機能を発揮する。

以上、本実施の形態を説明したが、各種の変形が可能である。
例えば、編集画像データ記憶装置７２に記憶した編集画像データは、ネットワーク４を介してユーザ端末などに配信することもできる。
この場合、遠隔編集機３に、編集画像データを配信するための配信サイトを設け、配信サイトにアクセスしてきたユーザ端末に編集画像データを送信する。
編集画像データをダウンロード配信しても良いし、ストリーミング配信しても良い。
また、編集画像データをテレビ局の端末などに送信し、放送することも可能である。
また、編集画像データを複製して記憶媒体などに記憶させ、ユーザに提供することもできる。

更に、本実施の形態では、遠隔編集機３で一旦編集情報を蓄積し、これを主編集機２に送信するように構成したが、遠隔編集機３での編集作業中に主編集機２に編集情報を逐次送信するように構成することもできる。
この場合、例えば、遠隔編集機３は、編集情報をパケット化し、ネットワーク４へのパケット出力によって主編集機２に送信する。
そして、主編集機２は、この編集情報に基づいて逐次素材画像データから差分の階層符号化データを抽出し、遠隔編集機３に送信する。
あるいは、主編集機２は、逐次送信されてくる編集情報を蓄積しておき、遠隔編集機３からの編集終了の指示を受けてから差分の階層符号化データを送信するように構成することもできる。

更に、遠隔編集システム１を第３の編集機を有するように拡張することも可能である。この場合のシステム構成を図３５に示す。
この場合、主編集機２から遠隔編集機３に階層符号化データを送信し、遠隔編集機３で編集情報を作成するのは先に説明した実施の形態と同じであるが、主編集機２は、第３の編集機２ａに素材画像データを送信し、遠隔編集機３は、編集情報を第３の編集機２ａに送信する。

そして、第３の編集機２ａは、編集情報を用いて素材画像データから編集画像データを生成する。
このように遠隔編集システムを構成した場合、遠隔編集機３と第３の編集機２ａの組み合わせが遠隔編集装置を構成する。

また、遠隔編集システム１は、業務用に構成することを主眼に置いているが、個人ユーザが利用できるように構成することもできる。
例えば、サーバ機能を持つ自宅のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）にてテレビ放送を受信する。ＰＣは、受信したデータを階層符号化しながら記憶すると共に、ネットワークを介して携帯端末に低画質の階層符号化データを送信する。

一方ユーザは、携帯端末で送信されてくる階層符号化データを復号しながらリアルタイムでこれを閲覧する。そしてこれを閲覧しながら編集点を定め、放送終了後に編集情報を自宅のＰＣに送信する。
自宅のＰＣは、送信されてきた編集情報を用いて差分の階層符号化データを携帯端末に送信し、携帯端末で編集画像データを生成する。

また、放送コンテンツ作成のためにカメラで撮影するデータをカメラ内の記憶装置やカメラに接続した記録装置に階層符号化してローカルで記録すると同時に遠隔編集機２にストリーミングを行うこともできる。この場合、遠隔編集機３で編集作業を行い、編集内容に基づいて遠隔編集機３側の最終画像コンテンツとして放送コンテンツを作成する。

更に、遠隔編集システム１では、編集画像データ作成時に参照される編集情報の指定事項のうち、階層構造を持った構成化要素である画質と解像度について、階層レベルを指定し、指定された階層化レベルを用いて編集情報を生成したが、階層化要素ごとに階層レベルそのものを数値で指定するほか、解像度であれば「大」、「小」で指定し、画質であれば「良い」、「悪い」といった定性的な評価を軸に割り当て、階層レベル指示に用いても良い。
あるいは、解像度であれば「幅６４０ピクセル高さ３２０ピクセル」、「ＰＳＮＲ ４７ｄＢ」など、階層化要素ごとに一般的に利用される尺度に変換してインデックスを表示することも可能である。

また、遠隔編集システム１では、遠隔編集機３で階層化要素のレベル指定による編集操作を行う場合について説明したが、同様の画像表示部とユーザインターフェースを、主編集機２に備え、編集側が所望する編集基準を満たすようにサムネイル画像の品質を階層レベルの指定によって調節し、送出することも可能である。例えば、ドラマの撮影中に行う編集操作であれば、登場する人物の顔の位置をパターンマッチング等で自動認識し、この領域をＲＯＩに指定して、他領域よりも高画質で遠隔の編集機に送出することができる。

本実施の形態は、ＭＰＥＧ４ ＦＧＳとＪＰＥＧ２０００のような方式で階層符号化された画像データから編集用サムネイルを生成し伝送し、編集に利用する編集システムを提供するが、これによって、編集情報を利用して遠隔編集機側に高画質な画像コンテンツが生成される。
これによって、以下のような構成を提供することができる。
（１）主編集機と遠隔編集機からなる遠隔編集システムで、前記主編集機は、階層符号化する手段により符号化されたデータを蓄積する手段と、前記蓄積された階層符号化データを階層ごとにパケット化する手段と、前記階層化されたパケットネットワーク層にネットワーク・パケット化する手段と、前記ネットワーク・パケットを送出するためのパケット通信する手段を有し、前記遠隔編集機は、ネットワーク・パケットを受信するためのパケット通信する手段と、受信したネットワーク・パケットをデパケタイズし、データに組み立てる手段と、データを復号する手段と、復号されたデータを参照してデータを編集する手段を有し、前記データ編集手段においてデータの編集情報を生成し、生成した編集情報を主編集機に伝送する、遠隔編集システムで、更に前記主編集機は、前記遠隔編集機より送出された編集情報を受信する手段と、受信した編集情報を参照する手段と、編集情報の指示内容に従い、指示内容を階層符号データの階層構成要素のレベルにマッピングする手段と、所望されるレベルまで前記主編集機の階層符号データを読み出す手段と、前記読み出された階層符号データを前記符号化手段とパケタイズ手段と送出手段とを介して遠隔編集機に伝送し、前記遠隔編集機は伝送された階層符号データをデパケタイズし、最終画像コンテンツ記録装置に記録することで遠隔編集機に最終画像コンテンツを作成する、遠隔編集システム。
（２） 前記最終画像コンテンツ蓄積手段に生成されたコンテンツをＦＴＰ（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）にて転送する遠隔編集システム。
（３）最終画像コンテンツの画像品質指定操作を指示する手段を主編集機に備える、遠隔編集システム。
（４）最終画像コンテンツの画像品質を指定する手段を遠隔編集機に備える、遠隔編集システム。
（５）最終画像コンテンツの画像品質を指定する手段を主編集機に備える、遠隔編集システム。
（６）指定された画像品質の実現に、ＭＰＥＧ４の階層化技術を用いる遠隔編集システム。
（７）指定された画像品質の実現に、ＪＰＥＧ２０００の階層化技術を用いる遠隔編集システム。
（８）主編集機に、復号されたデータを表示するための表示装置を備える、遠隔編集システム。
以上の構成により、画像データにウェーブレット変換の階層符号化を適用し、通信網に接続された遠隔編集機に画像データを伝送し、遠隔機では伝送された画像データを用いて画像コンテンツの編集を行なう遠隔編集システムを構築できる。伝送される編集用画像はネットワーク利用帯域に応じた画像品質に調整する。階層符号化の特質から、受信側端末能力が異なったり、ネットワーク通信状況が変化する場合でも、負荷の高い解像度や画質のトランスコードを必要としない。また、差分データの追加により高画質化が実現可能である。この伝送画像を利用して編集をおこない、最終画像コンテンツの生成時に参照するための、たとえば編集点タイムコードから構成される編集情報を作成する。

遠隔編集システムの構成の一例を示した図である。 主編集機の構成を示すためのブロック図である。 画像をタイルに分割したところを示した図である。 階層化器の構成を示した図である。 ２次元画像を帯域分割した結果得られる帯域成分を図示した図である。 解像度による階層レベル分けについて説明するための図である。 符号ストリームのデータ構成を示した図である。 解像度プログレッシブ順序に従った階層符号化データについて説明するための図である。 画質プログレッシブ順序に従った階層符号化データについて説明するための図である。 プログレッシブ順序とコンテンツの階層化レベルをＳＤＰの拡張部に記述した例である。 遠隔編集機のブロック図を示した図である。 復号器のブロック図を示した図である。 シーン編集画面の一例を示した図である。 複製モードでの修正画面の一例を示した図である。 移動モードでの修正画面の一例を示した図である。 削除モードでの修正画面の一例を示した図である。 タイムコードリストの論理的な構成の一例を示した図である。 シーン編集処理の手順を示したフローチャートである。 修正を行う場合のシーン編集処理の手順を示したフローチャートである。 他の例に係るシーン編集処理の手順を示したフローチャートである。 他の例に係る修正を行う場合のシーン編集処理の手順を示したフローチャートである。 画像品質編集画面の一例を示した図である。 画像品質編集画面で画質レベルを変化させる場合を示した図である。 画像品質編集画面で解像度レベルを変化させる場合を示した図である。 追加の階層符号化データを要求するか否かの確認を行う場合を説明するための図である。 ＲＯＩの指定例を示した図である。 画像品質編集手順について説明するためのフローチャートである。 編集情報の論理的な構成の一例を示した図である。 タイルごとに画質レベルを設定する場合を説明するための図である。 携帯端末で構成した遠隔編集機の操作部を図示したものである。 携帯端末でＲＯＩを指定する場合を説明するための図である。 遠隔編集システムで行われる編集シーケンスについて説明するための図である。 主編集機と遠隔編集機での画像データの記憶状態を示した概念図である。 主編集機のハードウェア的な構成の一例を示した図である。 本実施の形態の拡張例を説明するための図である。 従来の遠隔編集システムの構成例を示した図である。

符号の説明

１ 遠隔編集システム ２ 主編集機
３ 遠隔編集機 ４ ネットワーク
７ ビデオカメラ ８ 階層化器
９ 画像データ記憶装置 １０ 符号化器
１１ バッファ １２ パケタイザ
１５ ネットワークインターフェース １６ 伝送品質制御部
１７ 編集制御部 １８ 編集情報記録部
２０ 編集画像データ記憶装置 ６１ ネットワークインターフェース
６２ デパケタイザ ６３ 復号器
６６ 一時記憶装置 ６７ 表示装置
６８ シーン編集部 ６９ 画像品質編集部
７０ 編集情報記録部 ７１ 編集情報伝送部

Claims (29)

1. 主編集装置に記憶した画像を形成する階層符号化データの編集作業を、ネットワークを介して遠隔編集装置で行う遠隔編集システムであって、
   前記主編集装置は、前記階層符号化データのうち、所定の階層レベルに属するものを前記遠隔編集装置に送信し、
   前記遠隔編集装置は、前記送信された階層符号化データを用いた編集作業を受け付けて、編集により編集画像データの生成に必要となった階層符号化データを前記主編集装置に要求し、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを用いて編集画像データを生成することを特徴とする遠隔編集システム。
2. 画像を形成する階層符号化データを記憶したデータ記憶手段と、
   前記記憶した階層符号化データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信手段と、
   前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付手段と、
   前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信手段と、
   を具備したことを特徴とする主編集装置。
3. 前記要求データ受付手段で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信手段は、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信することを特徴とする請求項２に記載の主編集装置。
4. 前記データ送信手段は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号化データを送信することを特徴とする請求項２に記載の主編集装置。
5. 前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信手段を具備したことを特徴とする請求項２に記載の主編集装置。
6. 主編集装置から画像を形成する階層符号化データを受信するデータ受信手段と、
   前記受信した階層符号化データを用いて画像を再生する再生手段と、
   前記再生した画像を用いて編集作業を受け付ける編集手段と、
   編集手段による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求手段と、
   前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成手段と、
   を具備したことを特徴とする遠隔編集装置。
7. 前記編集手段は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求手段は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信することを特徴とする請求項６に記載の遠隔編集装置。
8. 前記階層化要素の階層レベルの選択を受け付ける階層レベル選択手段を具備し、
   前記再生手段は、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生することを特徴とする請求項６に記載の遠隔編集装置。
9. 前記主編集装置から、前記主編集装置で記憶している階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示手段を具備したことを特徴とする請求項６に記載の遠隔編集装置。
10. 前記再生手段で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示手段を具備したことを特徴とする請求項７に記載の遠隔編集装置。
11. データ記憶手段と、データ送信手段と、要求データ受付手段と、要求データ送信手段と、を備えたコンピュータにおいて、
    前記データ記憶手段によって、画像を形成する階層符号化データを記憶したデータ記憶ステップと、
    前記データ送信手段によって、前記記憶した階層符号化データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信ステップと、
    前記要求データ受付手段によって、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付ステップと、
    前記要求データ送信手段によって、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信ステップと、
    から構成されたことを特徴とする編集方法。
12. 前記要求データ受付ステップで受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信ステップでは、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信することを特徴とする請求項１１に記載の編集方法。
13. 前記データ送信ステップでは、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号化データを送信することを特徴とする請求項１１に記載の編集方法。
14. 前記コンピュータは、階層レベル構成送信手段を備え、
    前記階層レベル構成送信手段によって、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信ステップを含むことを特徴とする請求項１１に記載の編集方法。
15. 受信するデータ受信手段と、再生手段と、編集手段と、データ要求手段と、編集画像データ生成手段と、を備えたコンピュータにおいて、
    前記データ受信手段で、主編集装置から画像を形成する階層符号化データを受信するデータ受信ステップと、
    前記再生手段で、前記受信した階層符号化データを用いて画像を再生する再生ステップと、
    前記編集手段で、前記再生した画像を用いて編集作業を受け付ける編集ステップと、
    前記データ要求手段で、編集手段による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求ステップと、
    前記編集画像データ生成手段で、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成ステップと、
    から構成されたことを特徴とする編集方法。
16. 前記編集ステップでは、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求ステップでは、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信することを特徴とする請求項１５に記載の編集方法。
17. 前記コンピュータは、階層レベル選択手段を備え、
    前記階層レベル選択手段によって、前記階層化要素の階層レベルの選択を受け付ける階層レベル選択ステップを含み、
    前記再生ステップでは、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生することを特徴とする請求項１５に記載の編集方法。
18. 前記コンピュータは、階層レベル提示手段を備え、
    前記階層レベル提示手段によって、前記主編集装置から、前記主編集装置で記憶している階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示ステップを含むことを特徴とする請求項１５に記載の編集方法。
19. 前記コンピュータは、警告表示手段を備え、
    前記警告表示手段によって、前記再生ステップで再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示ステップを含むことを特徴とする請求項１６に記載の編集方法。
20. 画像を形成する階層符号化データを記憶したデータ記憶機能と、
    前記記憶した階層符号化データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信機能と、
    前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付機能と、
    前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信機能と、
    をコンピュータで実現する編集プログラム。
21. 前記要求データ受付機能で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信機能は、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信することを特徴とする請求項２０に記載の編集プログラム。
22. 前記データ送信機能は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号化データを送信することを特徴とする請求項２０に記載の編集プログラム。
23. 前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信機能をコンピュータで実現する請求項２０に記載の編集プログラム。
24. 主編集装置から画像を形成する階層符号化データを受信するデータ受信機能と、
    前記受信した階層符号化データを用いて画像を再生する再生機能と、
    前記再生した画像を用いて編集作業を受け付ける編集機能と、
    編集機能による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求機能と、
    前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成機能と、
    をコンピュータで実現する編集プログラム。
25. 前記編集機能は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求機能は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信することを特徴とする請求項２４に記載の編集プログラム。
26. 前記階層化要素の階層レベルの選択を受け付ける階層レベル選択機能をコンピュータで実現し、
    前記再生機能は、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生することを特徴とする請求項２４に記載の編集プログラム。
27. 前記主編集装置から、前記主編集装置で記憶している階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示機能をコンピュータで実現する請求項２４に記載の編集プログラム。
28. 前記再生機能で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示機能をコンピュータで実現する請求項２５に記載の編集プログラム。
29. 請求項２０から請求項２８までの内の何れか１の請求項に記載の編集プログラムを記憶したコンピュータが読み取り可能な記憶媒体。
    

Images