JP2011151524A

JP2011151524A - 画像処理装置および方法

Info

Publication number: JP2011151524A
Application number: JP2010009739A
Authority: JP
Inventors: Takahiro Fukuhara; 隆浩福原; Kazuhiko Sayama; 和彦佐山; Masakazu Yoshimoto; 正和吉本; Junichi Ogikubo; 純一荻窪
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-01-20
Filing date: 2010-01-20
Publication date: 2011-08-04

Abstract

【課題】データ変換処理を、画質の低減を抑制しながら、より高速に行うことができるようにする。
【解決手段】分割部１１１は、オリジナルの符号化コードストリームを分割し、デコーダ１１２は、分割された各符号化コードストリームを復号し、エンコーダ１１３は、復号されて得られた各画像データを新たな符号化方式で符号化し、近傍デコーダ１１６は、オリジナルの符号化データの、近傍デコード開始ピクチャ検出部１１４および近傍デコード終了ピクチャ検出部１１５によりバッファ残量に基づいて検出された開始ピクチャ点と終了ピクチャ点との間を復号し、近傍エンコーダ１１７は、復号されて得られた各画像データを新たな符号化方式で符号化し、合成部１１８は、各符号化コードストリームを合成する。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法に関し、特に、画像データが符号化された符号化データに対する符号化方式の変換、若しくは、画像データの符号化を、画質の低減を抑制しながら、より高速に行うことができるようにした画像処理装置および方法に関する。

ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）で標準化された符号化方式には、例えば、JPEG（Joint Photographic Experts Group）、JPEG2000、MPEG-2（Moving Picture Experts Group - 2）、MPEG-4、およびH.264（AVC（Advanced Video Coding））等がある。

これらの各フォーマットで圧縮保存されたファイルが、コンテンツの種類の増加に伴って急増するものと予想される。従って、これらの異なるフォーマット間の変換（トランスコード）技術の確立が急務である。

MPEG系のトランスコード技術に関しては、基本的なアルゴリズムが類似している（DCT（Discrete Cosine Transform）変換、可変長符号化、動き補償予測等）ので比較的容易ということもあり、これまで多くの研究成果が報告されている。既に実用化レベルでもBlu-Ray DiscレコーダにおいてMPEG-2→H.264にトランスコードする実装が行われ、従来のDVDレコーダよりも長時間録画が可能になっている。

これに対して、デジタルシネマ規格（DCI（Digital Cinema Initiative）規格）はハリウッド大手８社のスタジオが策定したフォーマットで、画像コーデックとしてはISO/IEC規格のJPEG2000を採用している。このデジタルシネマ規格に従って世界各国の映画館でデジタルシネマが普及しつつある。従って、今後JPEG2000で圧縮されたコンテンツを放送局から映像配信するために、MPEG-2に変換する場合や、Blu-Ray Discに記録するためにH.264に変換するニーズが急増すると予想される。

この場合、JPEG2000とMPEG系とでは全くアルゴリズムが異なるので、JPEG2000デコード＋MPEG系エンコードが必須となる。

ところで、近年においては、エンコードやデコードをより高速に処理を行うために、入力画像を複数のシーケンスに分割して、個々のシーケンス毎にトランスコードを同時並行的に実行する処理が報告されている（例えば、特許文献１参照）。

特開２００５−１７６０６９号公報

しかしながら、特許文献１に記載の方法の場合、エンコードの際に、シーンチェンジを検出するための解析・分析処理が余計に必要であった。また、シーンチェンジを必要としない場合でも、先頭データからシーンチェンジよりも前のデータを重複部としてエンコードする必要があるので、これについても冗長性が大きかった。更に、分割ポイントがシーンチェンジに依存しているため、トランスコードの速度が、シーンチェンジ数の大小によって影響される恐れがあった。

本発明は、このような状況に鑑みて提案されたものであり、画像データが符号化された符号化データに対する符号化方式の変換、若しくは、画像データの符号化を、画質の低減を抑制しながら、より高速に行うことができるようにすることを目的とする。

本発明の一側面は、画像データが所定の符号化方式により符号化された符号化コードストリームを複数に分割する分割手段と、前記分割手段により分割された各符号化コードストリームを復号する復号手段と、前記復号手段により復号されて得られた復号画像データを、前記符号化方式と異なる他の符号化方式により符号化する符号化手段と、前記符号化手段による符号化の際のバッファ残量に基づいて、前記分割手段が前記符号化コードストリームを分割した分割位置近傍の復号対象範囲を決定する決定手段と、前記分割手段により分割された各符号化コードストリームの、前記決定手段により決定された前記復号対象範囲を復号する近傍復号手段と、前記近傍復号手段により復号されて得られた復号画像データを、前記他の符号化方式により符号化する近傍符号化手段とを備える画像処理装置である。

前記決定手段は、前記復号対象範囲の開始ピクチャと終了ピクチャとを決定し、前記近傍復号手段は、前記分割手段により分割された各符号化コードストリームの、前記決定手段により決定された前記開始ピクチャから最終ピクチャまでと、先頭ピクチャから前記決定手段により決定された前記終了ピクチャまでを、それぞれ復号することができる。

前記決定手段は、前記最終ピクチャの前の所定の範囲において、前記バッファ残量が最大となるイントラピクチャを前記開始ピクチャに決定することができる。

前記決定手段は、前記先頭ピクチャの後の所定の範囲において、前記バッファ残量が最小となるイントラピクチャを前記終了ピクチャに決定することができる。

前記決定手段は、前記最終ピクチャの前の所定の範囲において、シーンチェンジが発生するピクチャを前記開始ピクチャに決定することができる。

前記決定手段は、前記先頭ピクチャの後の所定の範囲において、シーンチェンジが発生するピクチャを前記終了ピクチャに決定することができる。

前記符号化手段により符号化されて得られた各符号化コードストリーム、並びに、前記近傍符号化手段により符号化されて得られた各符号化コードストリームを、互いのピクチャを揃えて合成する合成手段をさらに備えることができる。

本発明の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の分割手段が、画像データが所定の符号化方式により符号化された符号化コードストリームを複数に分割し、前記画像処理装置の復号手段が、分割された各符号化コードストリームを復号し、前記画像処理装置の符号化手段が、復号されて得られた復号画像データを、前記符号化方式と異なる他の符号化方式により符号化し、前記画像処理装置の決定手段が、符号化の際のバッファ残量に基づいて、前記符号化コードストリームが分割された分割位置近傍の復号対象範囲を決定し、前記画像処理装置の近傍復号手段が、分割された各符号化コードストリームの、決定された前記復号対象範囲を復号し、前記画像処理装置の近傍符号化手段が、復号されて得られた復号画像データを、前記他の符号化方式により符号化する画像処理方法である。

本発明の他の側面は、画像データを複数に分割する分割手段と、前記分割手段により分割された各画像データを符号化する符号化手段と、前記符号化手段による符号化の際のバッファ残量に基づいて、前記分割手段が前記画像データを分割した分割位置近傍の符号化対象範囲を決定する決定手段と、前記分割手段により分割された各画像データの、前記決定手段により決定された前記符号化対象範囲を符号化する近傍符号化手段とを備える画像処理装置である。

前記決定手段は、前記符号化対象範囲の開始ピクチャと終了ピクチャとを決定し、前記近傍符号化手段は、前記分割手段により分割された各画像データの、前記決定手段により決定された前記開始ピクチャから最終ピクチャまでと、先頭ピクチャから前記決定手段により決定された前記終了ピクチャまでを、それぞれ符号化することができる。

本発明の他の側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の分割手段が、画像データを複数に分割し、前記画像処理装置の符号化手段が、分割された各画像データを符号化し、前記画像処理装置の決定手段が、符号化の際のバッファ残量に基づいて、前記画像データが分割された分割位置近傍の符号化対象範囲を決定し、前記画像処理装置の近傍符号化手段が、分割された各画像データの、決定された前記符号化対象範囲を符号化する画像処理方法である。

本発明の一側面においては、画像データが所定の符号化方式により符号化された符号化コードストリームが複数に分割され、分割された各符号化コードストリームが復号され、復号されて得られた復号画像データが、符号化方式と異なる他の符号化方式により符号化され、符号化の際のバッファ残量に基づいて、符号化コードストリームが分割された分割位置近傍の復号対象範囲が決定され、分割された各符号化コードストリームの、決定された復号対象範囲が復号され、復号されて得られた復号画像データが、他の符号化方式により符号化される。

本発明の他の側面においては、画像データが複数に分割され、分割された各画像データが符号化され、符号化の際のバッファ残量に基づいて、画像データが分割された分割位置近傍の符号化対象範囲が決定され、分割された各画像データの、決定された符号化対象範囲が符号化される。

本発明によれば、画像を処理することができる。特に、画像データが符号化された符号化データに対する符号化方式の変換、若しくは、画像データの符号化を、画質の低減を抑制しながら、より高速に行うことができる。

本発明を適用した変換装置の主な構成例を示すブロック図である。図１のデコーダの主な構成例を示すブロック図である。サブバンドの構成例を示す図である。各サブバンド中のコードブロックの例を示す図である。ビットプレーンの例を説明する図である。符号化パスの例を説明する図である。係数の走査の例を説明する図である。図１のエンコーダの主な構成例を示すブロック図である。近傍エンコードの範囲の設定方法を説明する図である。トランスコードの様子の例を説明する図である。変換処理の流れの例を説明するフローチャートである。近傍エンコードの範囲の、他の設定方法を説明する図である。本発明を適用した変換装置の他の構成例を示すブロック図である。トランスコードの様子の他の例を説明する図である。変換処理の流れの他の例を説明するフローチャートである。本発明を適用した変換装置の、さらに他の構成例を示すブロック図である。変換処理の流れの、さらに他の例を説明するフローチャートである。本発明を適用した変換装置の、さらに他の構成例を示すブロック図である。トランスコードの様子の例を説明する図である。変換処理の流れの、さらに他の例を説明するフローチャートである。本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（変換装置）
２．第２の実施の形態（変換装置）
３．第３の実施の形態（変換装置）
４．第４の実施の形態（変換装置）
５．第５の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［変換装置の構成］
図１は、本発明を適用した変換装置の一実施の形態の構成を表している。

図１に示される変換装置１００は、画像データがJPEG2000（Joint Photographic Experts Group 2000）方式で符号化された符号化データを受け付け、その符号化データの符号化方式をMPEG-4（AVC（Advanced Video Coding））方式に変換し、出力する変換処理を実行する装置である。

図１に示されるように、変換装置１００は、変換処理部１０１とバッファメモリ１０２を有する。バッファメモリ１０２は、変換処理部１０１の各処理部が利用可能な共通のメモリ領域を有する。

変換処理部１０１は、分割部１１１、デコーダ１１２−１乃至デコーダ１１２−３、エンコーダ１１３−１乃至エンコーダ１１３−３を有する。また、変換処理部１０１は、近傍デコード開始ピクチャ検出部１１４−１、近傍デコード終了ピクチャ検出部１１５−１、近傍デコード開始ピクチャ検出部１１４−２、および近傍デコード終了ピクチャ検出部１１５−２を有する。

さらに、変換処理部１０１は、近傍デコーダ１１６−１、近傍デコーダ１１６−２、近傍エンコーダ１１７−１、近傍エンコーダ１１７−２、および、合成部１１８を有する。

分割部１１１は、入力される符号化コードストリーム（矢印１３１）を、時間方向（ピクチャの並び順）に３つに分割する。つまり、３つに分割された各符号化コードストリームは、元の符号化コードストリームが対応するベースバンドの画像データの、互いに異なる部分（ピクチャ）に対応する。

そして、分割部１１１は、その３つのうち１番目の符号化コードストリームをデコーダ１１２−１および近傍デコーダ１１６−１に供給する（矢印１３２−１）。

また、分割部１１１は、３つのうち２番目の符号化コードストリームをデコーダ１１２−２、近傍デコーダ１１６−１、および近傍デコーダ１１６−２に供給する（矢印１３２−２）。

さらに、分割部１１１は、３つのうち３番目の符号化コードストリームをデコーダ１１２−３、および近傍デコーダ１１６−２に供給する（矢印１３２−３）。

なお、以下において、矢印１３２−１乃至矢印１３２−３を互いに区別して説明する必要が無い場合、単に矢印１３２と称する。

デコーダ１１２−１乃至デコーダ１１２−３は、それぞれ、入力されたJPEG2000方式で符号化された符号化コードストリームを復号する。デコーダ１１２−１乃至デコーダ１１２−３は、互いに並行して動作することができる。なお、デコーダ１１２−１乃至デコーダ１１２−３を互いに区別して説明する必要が無い場合、単にデコーダ１１２と称する。

デコーダ１１２−１は、復元されたベースバンドの画像データをエンコーダ１１３−１に供給する（矢印１３３−１）。デコーダ１１２−２は、復元されたベースバンドの画像データをエンコーダ１１３−２に供給する（矢印１３３−２）。デコーダ１１２−３は、復元されたベースバンドの画像データをエンコーダ１１３−３に供給する（矢印１３３−３）。

なお、以下において、矢印１３３−１乃至矢印１３３−３を互いに区別して説明する必要が無い場合、単に矢印１３３と称する。

エンコーダ１１３−１乃至エンコーダ１１３−３は、それぞれ、入力されたベースバンドの画像データをMPEG-4（AVC）方式で符号化する。エンコーダ１１３−１乃至エンコーダ１１３−３は、互いに並行して動作することができる。なお、エンコーダ１１３−１乃至エンコーダ１１３−３を互いに区別して説明する必要が無い場合、単にエンコーダ１１３と称する。

以上のように、デコーダ１１２は、JPEG2000方式で符号化された３つの符号化コードストリームを、互いに並行して復号することができる。エンコーダ１１３は、３つのベースバンドの画像データを、互いに並行して、MPEG-4（AVC）方式で符号化することができる。

つまり、変換処理部１０１は、３つの符号化コードストリームに対して符号化方式を変換する変換処理を、互いに並行に行うことができる。したがって、変換処理部１０１は、より高速に符号化コードストリームの符号化方式を他の符号化方式に変換することができる。

分割部１１１は、このように、より高速に変換処理を行う事ができるように、入力された符号化コードストリームを３つに分割する。なお、この符号化コードストリームの分割位置は任意である。一般的には、分割部１１１が、入力される符号化コードストリームを、所定のデータ単位（例えば所定のピクチャ数）毎に分割し、３つずつ並列化する。

もちろん、分割部１１１が、例えば各デコーダ１１２の処理能力等に応じて、データ単位（例えばピクチャ数）を変えながら分割を行うようにしてもよい。

いずれにしても、分割部１１１は、分割した符号化コードストリームを３並列化し、互いに異なるデコーダ１１２に供給する。

［デコーダの構成］
次に、デコーダ１１２について説明する。図２は、デコーダ１１２の主な構成例を示すブロック図である。

図２に示されるように、デコーダ１１２は、EBCOT（Embedded Block Coding with Optimized Truncation）１５１を有する。また、デコーダ１１２は、ビットプレーン合成部１５２、コードブロック合成部１５３、逆量子化部１５４、およびウェーブレット逆変換部１５５を有する。また、EBCOT１５１は、算術復号部１６１およびビットモデリング部１６２を有する。

ここで、JPEG2000方式の符号化について説明する。

JPEG2000方式の符号化においては、まず、画像データは、ウェーブレット変換される。ウェーブレット変換は、画像の垂直方向および水平方向のそれぞれに対して、画像データを低域成分と高域成分に分離する分析フィルタリングを行う処理である。この分析フィルタリングは、例えば５×３ウェーブレット変換フィルタを用いて行われる。なお、このようなフィルタリング処理が、垂直方向および水平方向の両方において低域成分として分離されたサブバンドに対して再帰的に所定回数繰り返される。これは、画像のエネルギーの多くが低域成分に集中しているからである。

図３は、分割レベル数４のウェーブレット変換処理により生成されるサブバンドの構成例を示す図である。

まず、画像全体について分析フィルタリングが行われ、1LL（図示せず）、1HL、1LH、および1HHの各サブバンドが生成される。次に、生成されたサブバンド1LLに対して再度分析フィルタリングが行われ、2LL（図示せず）、2HL、2LH、および2HHの各サブバンドが生成される。

さらに、生成されたサブバンド2LLに対して再度分析フィルタリングが行われ、3LL、3HL、3LH、および3HHの各サブバンドが生成される。さらに、生成されたサブバンド3LLに対して再度分析フィルタリングが行われ、4LL、4HL、4LH、および4HHの各サブバンドが生成される。

このように、分割レベル数４まで分析フィルタリングが行われると、１３個のサブバンドが生成される。図３に示されるように、分割レベルが１つ上位に進むごとに、サブバンドのサイズは、縦方向および横方向にそれぞれ２分の１となる。

つまり、例えば横方向に１９２０画素の画像のベースバンドの画像データが１回分析フィルタリングされると、横方向に９６０画素のサブバンドが４つ（1LL,1HL,1LH,1HH）生成される。さらに、サブバンド1LLが１回分析フィルタリングされると、横方向に４８０画素のサブバンドが４つ（2LL,2HL,2LH,2HH）が生成される。さらに、サブバンド2LLが１回分析フィルタリングされると、横方向に２４０画素のサブバンドが４つ（3LL,3HL,3LH,3HH）が生成される。さらに、サブバンド3LLが１回分析フィルタリングされると、横方向に１２０画素のサブバンドが４つ（4LL,4HL,4LH,4HH）が生成される。

なお、ウェーブレット変換の分割レベル数は任意である。

以上のように画像データがウェーブレット変換されて得られた係数データ（ウェーブレット係数）は、量子化される。なお、JPEG2000の規格では、可逆圧縮の場合、量子化処理は省略される。

さらに、係数データは、予め定められた所定の大きさの矩形の、エントロピ符号化の処理単位であるコードブロックに分割される。JPEG2000の規格上の定義によって、コードブロックの縦・横サイズはどのサブバンドにおいても一定である。但し画像（サブバンド）の両端や上端・下端などでは、同じサイズのコードブロックが取れないケースも多々ある。

図４は、各サブバンド中のコードブロックの位置関係の例を示したものである。ここでは分割レベル数３の場合について説明する。例えば64×64画素程度のサイズのコードブロックが、分割後のすべてのサブバンド中に生成される。例えば、最も分割レベルが低い1HHのサブバンドの大きさが例えば640×320画素であるとすると、64×64画素のコードブロックは合計５０個存在することになる。後段の各処理部は、このコードブロック毎に処理を行う。もちろん、このコードブロックのサイズ（画素数）は任意である。

次に、コードブロック毎の係数データは、ビットの位毎のビットプレーンに展開される。

ビットプレーンは、所定の数のウェーブレット係数よりなる係数群（例えば後述するコードブロック）を、１ビット毎、つまり位毎に分割（スライス）したものである。つまり、ビットプレーンは、それぞれが複数ビットのビット深度を持つ複数のデータの、互いに同一の位のビット（係数ビット）の集合である。したがって、展開されるビットプレーン数は、各係数のビット深度に依存する。

図５にその具体例を示す。図５の左図は縦４個、横４個の計１６個の係数を示している。この１６個の係数のうち、絶対値が最大のものは１３で、２進数で１１０１と表現される。このような係数群が、絶対値を示す４枚のビットプレーン（絶対値のビットプレーン）と、符号を示す１枚のビットプレーン（符号のビットプレーン）に展開される。つまり、図５中左の係数群は、図５中右に示されるように、４枚の絶対値のビットプレーンと１枚の符号のビットプレーンに展開される。ここで、絶対値のビットプレーンの要素はすべて０か１の値をとる。また、符号を示すビットプレーンの要素は、係数の値が正であることを示す値、係数の値が０であることを示す値、または係数の値がマイナスを示す値のいずれかをとる。

なお、このようにビットプレーンとされる係数群における係数の数は任意である。以下においては、処理単位を統一することで各部における処理を容易にするために、コードブロック毎にビットプレーン展開されるものとして説明する。

このようにビットプレーン展開された係数データは、係数の最上位ビット（MSB：Most Significant Bit）から最下位ビット（LSB：Less Significant Bit）に向かう順に、符号化（EBCOT）される。

このEBCOTにおいては、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化が行われる。この係数データ（量子化係数）は、コードブロック単位に、エントロピ符号化される。各コードブロックは、最上位ビット（MSB）から最下位ビット（LSB）方向にビットプレーン毎に独立して符号化される。コードブロックの縦横のサイズは４から256までの２のべき乗で、通常使用される大きさは、32x32、64x64、または128x32等がある。量子化係数値がｎビットの符号付き２進数で表されていて、bit 0からbit n-1がLSBからMSBまでのそれぞれのビットを表すとする。残りの１ビットは符号である。コードブロックの符号化は、MSB側のビットプレーンから順番に、次の３種類の符号化パスによって行われる。

（１）Significant Propagation Pass
（２）Magnitude Refinement Pass
（３）Cleanup Pass

３つの符号化パスの用いられる順序は、図６で示される。最初にBit-plane（n-1）（MSB）がCleanup Passによって符号化される。続いて順次LSB側に向かい、各ビットプレーンの符号化が、３つの符号化パスをSignificant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いて行われる。

ただし、実際にはMSB側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、MSB側から連続するオール０のビットプレーン（ゼロビットプレーンと呼ぶ）は符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの、任意の符号化パス迄で符号化を打ち切ることにより、符号量と画質のトレードオフを取る（レート制御を行う）。

次に、係数の走査（スキャニング）について図７を用いて説明する。コードブロックは高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅はコードブロックの幅に等しい。スキャン順とは、１個のコードブロック内の、すべての係数をたどる順番で、コードブロック中では上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では上から下へという順序である。各符号化パスにおいてコードブロック中のすべての係数が、このスキャン順で処理される。

以下、３つの符号化パスについて述べる。以下はいずれもJPEG-2000規格書（参考文献：ISO/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記述されている内容である。

（１）Significance Propagation Pass（SPパス）：
あるビットプレーンを符号化するSignificance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けてMQ符号化する。

ここでsignificanceというJPEG2000特有の用語について説明する。significanceとは、各係数に対して符号化器が持つ状態で、significanceの初期値はnon-significantを表す０、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続けるものである。従って、significanceとは有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでsignificantになれば、以降のビットプレーンではsignificantになったままである。

（２）Magnitude Refinement Pass（MRパス）：
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで、且つ符号化していないsignificantな係数のビットプレーンの値をMQ符号化する。

（３）Cleanup Pass（CUパス）：
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで、且つ符号化していないnon-significantな係数のビットプレーンの値をMQ符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるか（Sign情報）を続けてMQ符号化する。

尚、以上の３つの符号化パスでのMQ符号化では、ケースに応じて、ZC（Zero Coding）、RLC（Run-Length Coding）、SC（Sign Coding）、およびMR（Magnitude Refinement）が使い分けられる。ここでMQ符号化と呼ばれる算術符号が用いられる。MQ符号化は、JBIG2（参考文献：ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000）で規定された学習型の２値算術符号である。

EBCOTにおいては、ビットモデリングと、算術符号化が行われる。ビットモデリングが行われると、制御情報、シンボル、およびコンテキスト等の情報が生成され、それらのデータ群を用いてMQ符号化が行われる。

図２に戻り、デコーダ１１２は、このように符号化されて得られた符号化コードストリームをJPEG2000方式で復号し、ベースバンドの画像データを復元する。

算術復号部１６１およびビットモデリング部１６２は、EBCOT１５１として動作し、入力されるコードストリームに対して、JPEG2000規格で定められたEBCOTと呼ばれるエントロピ復号を行う。

算術復号部１６１は、入力される符号化コードストリームを復号し、コンテキストをビットモデリング部１６２に供給する（矢印１７１）。ビットモデリング部１６２は、ビットプレーンに展開されたウェーブレット係数を生成する。ビットモデリング部１６２は、生成したビットプレーン毎の係数データを、ビットプレーン合成部１５２に供給する（矢印１７２）。

ビットプレーン合成部１５２は、ビットプレーンに展開されたウェーブレット係数を合成する。ビットプレーン合成部１５２は、ビットプレーンを合成したウェーブレット係数を、コードブロック合成部１５３に供給する（矢印１７３）。

コードブロック合成部１５３は、供給されたコードブロック単位の係数データを合成し、サブバンド毎の係数データを生成する。コードブロック合成部１５３は、それを逆量子化部１５４に供給する（矢印１７４）。

逆量子化部１５４は、供給された係数データに対して逆量子化を行う。逆量子化部１５４は、逆量子化した係数データをウェーブレット逆変換部１５５に供給する（矢印１７５）。

ウェーブレット逆変換部１５５は、供給されたウェーブレット係数をウェーブレット逆変換し、ベースバンドの画像データを生成する。ウェーブレット逆変換部１５５は、生成したベースバンドの画像データを、エンコーダ１１３に出力する（矢印１３３）。

［エンコーダの構成］
次に、エンコーダ１１３について説明する。図８は、エンコーダ１１３の主な構成例を示すブロック図である。

図８に示されるエンコーダ１１３は、例えば、H．264及びMPEG４ Part１０（Advanced Video Coding）（以下H．264/AVCと記す）方式で画像を圧縮符号化する。

エンコーダ１１３は、A/D（Analog / Digital）変換部２０１、画面並べ替えバッファ２０２、演算部２０３、直交変換部２０４、量子化部２０５、可逆符号化部２０６、および蓄積バッファ２０７を有する。

また、エンコーダ１１３は、逆量子化部２０８、逆直交変換部２０９、演算部２１０、デブロックフィルタ２１１、およびフレームメモリ２１２を有する。さらに、エンコーダ１１３は、選択部２１３、イントラ予測部２１４、動き予測補償部２１５、および選択部２１６を有する。さらに、エンコーダ１１３は、レート制御部２１７を有する。

A/D変換部２０１は、入力された画像データをA/D変換し、画面並べ替えバッファ２０２に出力し、記憶させる。画面並べ替えバッファ２０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。

演算部２０３は、画面並べ替えバッファ２０２から読み出された画像から、選択部２１６により選択された、イントラ予測部２１４または動き予測補償部２１５からの予測画像を減算し、その差分情報を直交変換部２０４に出力する。

直交変換部２０４は、演算部２０３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部２０５は、直交変換部２０４が出力する変換係数を量子化する。

量子化部２０５の出力となる、量子化された変換係数は、可逆符号化部２０６に入力される。可逆符号化部２０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

可逆符号化部２０６は、イントラ予測を示す情報などをイントラ予測部２１４から取得し、インター予測モードを示す情報などを動き予測補償部２１５から取得する。なお、イントラ予測を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部２０６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報やインター予測モードを示す情報、および量子化パラメータなどを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２０６は、符号化して得られた符号化データを蓄積バッファ２０７に供給して蓄積させる。

例えば、可逆符号化部２０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ２０７は、可逆符号化部２０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として出力する。

また、量子化部２０５において量子化された変換係数は、逆量子化部２０８にも入力される。逆量子化部２０８は、その量子化された変換係数を、量子化部２０５による量子化に対応する方法で逆量子化し、得られた変換係数を、逆直交変換部２０９に供給する。

逆直交変換部２０９は、供給された変換係数を、直交変換部２０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力は、演算部２１０に供給される。演算部２１０は、逆直交変換部２０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部２１６から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その加算結果は、デブロックフィルタ２１１に供給される。

デブロックフィルタ２１１は、復号画像のブロック歪を除去する。デブロックフィルタ２１１は、その歪除去結果をフレームメモリ２１２に供給し、参照画像として蓄積させる。なお、デブロックフィルタ２１１によるブロック歪の除去は、不要であれば省略される。

フレームメモリ２１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部２１３に供給する。

選択部２１３は、イントラ予測の場合、フレームメモリ２１２から供給された参照画像を、イントラ予測部２１４に供給する。また、選択部２１３は、インター予測の場合、フレームメモリ２１２から供給された参照画像を、動き予測補償部２１５に供給する。

また、このエンコーダ１１３においては、例えば、画面並べ替えバッファ２０２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部２１４に供給される。また、例えば、画面並べ替えバッファ２０２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測補償部２１５に供給される。

イントラ予測部２１４は、画面並べ替えバッファ２０２から読み出されたイントラ予測する画像とフレームメモリ２１２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

イントラ予測部２１４において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化部２０６に伝送され、符号化データにおけるヘッダ情報の一部とされる。

H.264画像情報符号化方式において、輝度信号に対しては、イントラ４×４予測モード、イントラ８×８予測モード及びイントラ１６×１６予測モードが定義されている。また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。

イントラ４×４予測モードについては、それぞれの４×４輝度ブロックに対して１つのイントラ予測モードが定義されることになる。イントラ８×８予測モードについては、それぞれの８×８輝度ブロックに対して１つのイントラ予測モードが定義されることになる。イントラ１６×１６予測モード、並びに、色差信号に対しては、１つのマクロブロックに対してそれぞれ１つの予測モードが定義されることになる。

イントラ予測部２１４は、予測画像を生成したイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部２１４は、最適イントラ予測モードで生成された予測画像を、選択部２１６に供給する。

動き予測補償部２１５は、インター符号化が行われる画像について、画面並べ替えバッファ２０２から供給される画像情報（入力画像）とフレームメモリ２１２から供給される参照フレームとなる画像情報（復号画像）とを取得し、動きベクトルを算出する。

動き予測補償部２１５は、算出した動きベクトル情報に応じて動き補償処理を行い、インター予測画像情報を生成する。動き予測補償部２１５は、生成した予測画像情報を、選択部２１６に供給する。

なお、動き予測補償部２１５は、算出した動きベクトルを示す動きベクトル情報を可逆符号化部２０６に供給する。この動きベクトル情報は、可逆符号化部２０６により、符号化データに含められる（多重化される）。

選択部２１６は、イントラ符号化を行う画像の場合、イントラ予測部２１４の出力を演算部２０３および演算部２１０に供給し、インター符号化を行う画像の場合、動き予測補償部２１５の出力を演算部２０３および演算部２１０に供給する。

レート制御部２１７は、蓄積バッファ２０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御する。

［分割位置近傍処理］
図１に戻り、エンコーダ１１３−１は、生成されたMPEG-4（AVC）方式の符号化コードストリームを合成部１１８に供給する（矢印１３４−１）。エンコーダ１１３−２は、生成されたMPEG-4（AVC）方式の符号化コードストリームを合成部１１８に供給する（矢印１３４−２）。エンコーダ１１３−３は、生成されたMPEG-4（AVC）方式の符号化コードストリームを合成部１１８に供給する（矢印１３４−３）。なお、以下において、矢印１３４−１乃至矢印１３４−３を互いに区別して説明する必要が無い場合、単に矢印１３４と称する。

以上のように、分割されて符号化方式が変換された、新たな符号化方式（MPEG-4）の符号化コードストリームは、合成部１１８に供給されて、互いに合成され、１つの符号化コードストリームに戻される。

ただし、分割部１１１における符号化コードストリームの分割は、容易に行う事ができるように、例えば単に所定のデータ単位（例えば所定のピクチャ数）毎に行うのみである。つまり、分割部１１１は、例えば画像の内容を解析し、分割位置が符号化コードストリームにとって適切であるか否かといった高度な判断処理を行うようなことはしない。例えば、分割部１１１は、負荷を低減させるために、分割位置が、画質劣化が許容されやすいシーンチェンジであるか否かといった判定は行わない。

そのため、分割位置の画像の内容によっては、分割された各符号化コードストリームの両端近傍のフレームにおいて生じた画質劣化が、視覚的により大きく影響を与えてしまう恐れがあった。

また、MPEG系の符号化では、符号化効率を向上させるために、一般にLong GOP構造を持ったエンコードが行われる。そのため、エンコーダとデコーダの間で共通の仮想バッファ残量の制御が行われ、そのバッファ残量がオーバーフローやアンダーフローを起こさないような制御が行われる。そのため、分割位置近傍のフレームの符号化のために、バッファ制御などの画質制御が影響を受けやすく、分割位置によっては画質劣化が不要に増大する恐れもある。

そこで、変換処理部１０１は、この分割位置近傍のフレームについて、改めて適切に変換処理を行う。つまり、変換処理部１０１は、変換処理として、分割位置近傍の変換処理の為の復号処理である近傍デコードと、近傍デコードされて得られた画像データを符号化する符号化処理である近傍エンコードとを、改めて適切に行う。そして、変換処理部１０１は、その変換処理により得られた符号化コードストリームを、合成部１１８による符号化ストリームの合成の際に、対応する位置に上書きするように合成する。このようにして変換処理部１０１は、分割された符号化コードストリームの両端近傍のフレームの、変換処理による画質劣化を低減させる。

以上のような変換処理のために、エンコーダ１１３−１は、バッファメモリ１０２のバッファ残量を近傍デコード開始ピクチャ検出部１１４−１に供給する（矢印１３５−１）。

また、エンコーダ１１３−２は、バッファメモリ１０２のバッファ残量を近傍デコード終了ピクチャ検出部１１５−１および近傍デコード開始ピクチャ検出部１１４−２に供給する（矢印１３５−２および矢印１３５−３）。

さらに、エンコーダ１１３−３は、バッファメモリ１０２のバッファ残量を近傍デコード終了ピクチャ検出部１１５−２に供給する（矢印１３５−４）。

以下において、矢印１３５−１乃至矢印１３５−４を互いに区別して説明する必要が無い場合、単に矢印１３５と称する。

近傍デコード開始ピクチャ検出部１１４−１は、エンコーダ１１３−１から供給されるバッファ残量（矢印１３５−１）に基づいて、開始ピクチャ点（Ｐ１）を検出する。この開始ピクチャ点（Ｐ１）は、１番目の符号化コードストリームと２番目の符号化コードストリームとの分割位置近傍の変換処理の為の復号処理である近傍デコードの開始ピクチャ点である。近傍デコード開始ピクチャ検出部１１４−１は、検出した開始ピクチャ点（Ｐ１）を近傍デコーダ１１６−１に通知する（矢印１３６−１）。

近傍デコード終了ピクチャ検出部１１５−１は、エンコーダ１１３−２から供給されるバッファ残量（矢印１３５−２）に基づいて、終了ピクチャ点（Ｐ２）を検出する。この終了ピクチャ点（Ｐ２）は、１番目の符号化コードストリームと２番目の符号化コードストリームとの分割位置近傍の変換処理の為の復号処理である近傍デコードの終了ピクチャ点である。近傍デコード終了ピクチャ検出部１１５−１は、検出した終了ピクチャ点（Ｐ２）を近傍デコーダ１１６−１に通知する（矢印１３６−２）。

近傍デコード開始ピクチャ検出部１１４−２は、エンコーダ１１３−２から供給されるバッファ残量（矢印１３５−３）に基づいて、開始ピクチャ点（Ｐ３）を検出する。この開始ピクチャ点（Ｐ３）は、２番目の符号化コードストリームと３番目の符号化コードストリームとの分割位置近傍の変換処理の為の復号処理である近傍デコードの開始ピクチャ点である。近傍デコード開始ピクチャ検出部１１４−２は、検出した開始ピクチャ点（Ｐ３）を近傍デコーダ１１６−２に通知する（矢印１３６−３）。

近傍デコード終了ピクチャ検出部１１５−２は、エンコーダ１１３−３から供給されるバッファ残量（矢印１３５−４）に基づいて、終了ピクチャ点（Ｐ４）を検出する。この終了ピクチャ点（Ｐ４）は、２番目の符号化コードストリームと３番目の符号化コードストリームとの分割位置近傍の変換処理の為の復号処理である近傍デコードの終了ピクチャ点である。近傍デコード終了ピクチャ検出部１１５−２は、検出した終了ピクチャ点（Ｐ４）を近傍デコーダ１１６−２に通知する（矢印１３６−４）。

なお、以下において、近傍デコード開始ピクチャ検出部１１４−１および近傍デコード開始ピクチャ検出部１１４−２を互いに区別して説明する必要が無い場合、単に近傍デコード開始ピクチャ検出部１１４と称する。

また、以下において、近傍デコード終了ピクチャ検出部１１５−１および近傍デコード終了ピクチャ検出部１１５−２を互いに区別して説明する必要が無い場合、単に近傍デコード終了ピクチャ検出部１１５と称する。

さらに、以下において、矢印１３６−１乃至矢印１３６−４を互いに区別して説明する必要が無い場合、単に矢印１３６と称する。

［近傍デコードの開始ピクチャ・終了ピクチャの検出］
次に、以上の近傍デコードの開始ピクチャ点と終了ピクチャ点の決定手段について説明する。図９は、バッファメモリ１０２のバッファ残量データ（iVbvOccupancy）のエンコードピクチャに伴う推移を示した図である。

図９に示されるグラフ３０１乃至グラフ３０３のそれぞれにおいて、横軸がエンコード対象のピクチャ番号（右方向に行くほど時間が後になる）であり、縦軸がバッファ残量の大きさ（バイト数）である。大きい値になるほど仮想バッファに余裕があり、小さい値になるほど余裕がなくなることを示している。オーバーフローはこのバッファ量が基準値を溢れる場合を意味し、逆にアンダーフローはバッファの残りが無くなってしまう場合を意味する。

図９に示されるグラフ３０１（Encode Log1）は、エンコーダ１１３−１から供給されるバッファ残量の値の推移を示している。また、グラフ３０２（Encode Log2）は、エンコーダ１１３−２から供給されるバッファ残量の値の推移を示している。

近傍デコード開始ピクチャ検出部１１４−１は、１番目の符号化コードストリームの最終ピクチャから予め定められた所定のピクチャ数（Ｎ１）の範囲でiVbvOccupancyの値が最大になるイントラピクチャを検出する。そして、近傍デコード開始ピクチャ検出部１１４−１は、検出したピクチャを開始ピクチャ点（Ｐ１）と定める。

近傍デコード終了ピクチャ検出部１１５−１は、２番目の符号化コードストリームの先頭ピクチャから予め定められた所定のピクチャ数（Ｎ２）の範囲でiVbvOccupancyの値が最小になるイントラピクチャを検出する。そして、近傍デコード終了ピクチャ検出部１１５−１は、検出したピクチャを終了ピクチャ点（Ｐ２）と定める。

以上のように、近傍デコード（すなわち近傍エンコード）の開始ピクチャ点として、iVbvOccupancyの値が最大になるピクチャが設定される。また、終了ピクチャ点として、iVbvOccupancyの値が最小になるピクチャが設定される。この理由は、近傍エンコードに使用可能なバッファ残量の余裕が大きくなるからである。MPEG系のエンコードでは、バッファ残量の余裕が大きいほど、エンコードの途中で符号量の発生が多いピクチャが出現した場合にも、画質を即座に落とす必要がないため、安定した画質制御が実現できる。

したがって、変換処理部１０１は、以上のように、iVbvOccupancyの差ができるだけ大きくなるピクチャ間で近傍エンコードが行われるように、近傍デコードの開始ピクチャ点と終了ピクチャ点を定める。このようにすることにより、変換処理部１０１は、画質制御を安定化させ、変換処理による画質劣化を低減させることができる。

また、MPEG系のLong GOP構造を持ったエンコードでは、IBBPBBPBBPBBPBBのようにイントラピクチャ（Ｉ）の後に、Ｂピクチャ、Ｐピクチャが使われる。上述した構造の場合、１枚のＩピクチャ、４枚のＰピクチャ、１０枚のＢピクチャから構成されている。従ってGOP＝１５となる。従って、１秒間に３０ピクチャ表示される動画の場合、その１秒分にGOPが２個存在することになる。

Ｉピクチャは、他のピクチャを参照することなく、このピクチャだけで完全な１枚の画像として成立する。これに対して、ＰピクチャとＢピクチャは、隣接するピクチャからの参照が必要となる。そのため、ピクチャ単位でのデコードに対応するためには、開始ピクチャ点（Ｐ１）と終了ピクチャ点（Ｐ２）はＩピクチャでなければならない。つまり、開始ピクチャ点（Ｐ１）と終了ピクチャ点（Ｐ２）は、イントラピクチャに限定される。

近傍デコード開始ピクチャ検出部１１４−２も、近傍デコード開始ピクチャ検出部１１４−１と同様に処理を行う。つまり、近傍デコード開始ピクチャ検出部１１４−２は、２番目の符号化コードストリームの最終ピクチャから予め定められた所定のピクチャ数（Ｎ１）の範囲でiVbvOccupancyの値が最大になるイントラピクチャを検出する。そして、近傍デコード開始ピクチャ検出部１１４−２は、検出したピクチャを開始ピクチャ点（Ｐ３）と定める。

図示は省略するが、近傍デコード終了ピクチャ検出部１１５−２も、近傍デコード終了ピクチャ検出部１１５−１と同様に処理を行う。つまり、近傍デコード終了ピクチャ検出部１１５−２は、３番目の符号化コードストリームの先頭ピクチャから予め定められた所定のピクチャ数（Ｎ２）の範囲でiVbvOccupancyの値が最小になるイントラピクチャを検出する。そして、近傍デコード終了ピクチャ検出部１１５−２は、検出したピクチャを終了ピクチャ点（Ｐ４）と定める。

つまり、開始ピクチャ点（Ｐ３）および終了ピクチャ点（Ｐ４）も、開始ピクチャ点（Ｐ１）および終了ピクチャ点（Ｐ２）と同様に、イントラピクチャに限定される。

［近傍デコード］
図１に戻り、次に、以上のように定義された区間において行われる近傍デコードについて説明する。

近傍デコーダ１１６−１は、分割部１１１から供給された（矢印１３２−１）１番目の符号化コードストリームの開始ピクチャ点（Ｐ１）から最終ピクチャまでをJPEG2000方式で復号する。この開始ピクチャ点（Ｐ１）は、上述したように、近傍デコード開始ピクチャ検出部１１４−１により検出されたものである。

また、近傍デコーダ１１６−１は、分割部１１１から供給された（矢印１３２−２）２番目の符号化コードストリームの先頭ピクチャから終了ピクチャ点（Ｐ２）までを復号する。この終了ピクチャ点（Ｐ２）は、上述したように、近傍デコード終了ピクチャ検出部１１５−１により検出されたものである。

なお、近傍デコーダ１１６−１は、JPEG2000方式のデコーダであり、その詳細な構成は、デコーダ１１２と同様であるので、その説明は省略する。

この１番目の符号化コードストリームや２番目の符号化コードストリームはJPEG2000方式で符号化されているので、完全にピクチャ単位で復号処理を行うことができる。

これに対して、エンコーダ１１３−１やエンコーダ１１３−２により符号化された、変換処理後の符号化コードストリームは、Long GOP構造のMPEG系のコードストリームであるので、正確に１ピクチャ単位で独立して復号することができない。つまり、周囲の参照ピクチャが必要になる。

そのため、近傍デコーダ１１６−１は、より高画質な復号画像を得るために、変換処理後の符号化コードストリームではなく、分割部１１１から供給されたオリジナルの符号化コードストリームを復号する。

近傍デコーダ１１６−２も、２番目の符号化コードストリームと３番目の符号化コードストリームとの分割位置近傍について、近傍デコーダ１１６−１と同様の処理を行う。

近傍デコーダ１１６−２は、分割部１１１から供給された（矢印１３２−２）２番目の符号化コードストリームの開始ピクチャ点（Ｐ３）から最終ピクチャまでをJPEG2000方式で復号する。この開始ピクチャ点（Ｐ３）は、上述したように、近傍デコード開始ピクチャ検出部１１４−２により検出されたものである。

また、近傍デコーダ１１６−２は、分割部１１１から供給された（矢印１３２−３）３番目の符号化コードストリームの先頭ピクチャから終了ピクチャ点（Ｐ４）までを復号する。この終了ピクチャ点（Ｐ４）は、近傍デコード終了ピクチャ検出部１１５−２により検出されたものである。

なお、近傍デコーダ１１６−２は、近傍デコーダ１１６−１と同様に、JPEG2000方式のデコーダであり、その詳細な構成は、デコーダ１１２と同様であるので、その説明は省略する。

近傍デコーダ１１６−１の場合と同様の理由から、近傍デコーダ１１６−２は、より高画質な復号画像を得るために、分割部１１１から供給されたオリジナルの符号化コードストリームを復号する。

近傍デコーダ１１６−１は、以上のように復号して得られたベースバンドの画像データを近傍エンコーダ１１７−１に供給する（矢印１３７−１）。同様に、近傍デコーダ１１６−２は、以上のように復号して得られたベースバンドの画像データを近傍エンコーダ１１７−２に供給する（矢印１３７−２）。

なお、以下において、近傍デコーダ１１６−１および近傍デコーダ１１６−２を互いに区別して説明する必要が無い場合、単に近傍デコーダ１１６と称する。また、以下において、矢印１３７−１および矢印１３７−２を互いに区別して説明する必要が無い場合、単に矢印１３７と称する。

［近傍エンコード］
次に、近傍デコードされて得られた画像データに対する近傍エンコードについて説明する。

近傍エンコーダ１１７−１は、近傍デコーダ１１６−１において復号されて得られたベースバンドの画像データに対して、エンコーダ１１３と同様に、MPEG系のLong GOP構造を持ったエンコードを行い、符号化コードストリームを生成する。

なお、近傍エンコーダ１１７−１は、MPEG-4（AVC）方式のエンコーダであり、その詳細な構成は、エンコーダ１１３と同様であるので、その説明は省略する。

近傍エンコーダ１１７−１は、生成した符号化コードストリームを合成部１１８に供給する（矢印１３８−１）。

近傍エンコーダ１１７−２は、近傍デコーダ１１６−２において復号されて得られたベースバンドの画像データに対して、エンコーダ１１３と同様に、MPEG系のLong GOP構造を持ったエンコードを行い、符号化コードストリームを生成する。

なお、近傍エンコーダ１１７−２は、近傍エンコーダ１１７−１の場合と同様に、MPEG-4（AVC）方式のエンコーダであり、その詳細な構成は、エンコーダ１１３と同様であるので、その説明は省略する。

近傍エンコーダ１１７−２は、生成した符号化コードストリームを合成部１１８に供給する（矢印１３８−２）。

なお、以下において、近傍エンコーダ１１７−１および近傍エンコーダ１１７−２を互いに区別して説明する必要が無い場合、単に近傍エンコーダ１１７と称する。また、以下において、矢印１３８−１および矢印１３８−２を互いに区別して説明する必要が無い場合、単に矢印１３８と称する。

［合成処理］
合成部１１８は、エンコーダ１１３から供給される各符号化コードストリームと、近傍エンコーダ１１７から供給される各符号化コードストリームとを、互いのピクチャを対応させるように並べて合成し、１つの符号化コードストリームを生成する。

図１０は、その符号化コードストリームの合成の様子の例を説明する図である。

図１０において、符号化コードストリーム３１１（コードストリーム１）は、エンコーダ１１３−１により生成される、１番目のオリジナルの符号化コードストリームがトランスコードされた符号化コードストリームである。符号化コードストリーム３１２（コードストリーム２）は、エンコーダ１１３−２により生成される、２番目のオリジナルの符号化コードストリームがトランスコードされた符号化コードストリームである。符号化コードストリーム３１３（コードストリーム３）は、エンコーダ１１３−３により生成される、３番目のオリジナルの符号化コードストリームがトランスコードされた符号化コードストリームである。

また、画像データ３１４（Ｄ１）は、近傍デコーダ１１６−１により、１番目のオリジナルの符号化コードストリームが、開始ピクチャ点（Ｐ１）から最終ピクチャまでの区間で近傍デコードされて得られたベースバンドの画像データである。画像データ３１５（Ｄ２）は、近傍デコーダ１１６−１により、２番目のオリジナルの符号化コードストリームが、先頭ピクチャから終了ピクチャ点（Ｐ２）までの区間で近傍デコードされて得られたベースバンドの画像データである。

さらに、符号化コードストリーム３１６（Ｅ１）は、近傍エンコーダ１１７−１により、画像データ３１４（Ｄ１）および画像データ３１５（Ｄ２）が近傍エンコードされて得られた符号化コードストリームである。

また、画像データ３１７（Ｄ３）は、近傍デコーダ１１６−２により、２番目のオリジナルの符号化コードストリームが、開始ピクチャ点（Ｐ３）から最終ピクチャまでの区間で近傍デコードされて得られたベースバンドの画像データである。画像データ３１８（Ｄ４）は、近傍デコーダ１１６−２により、３番目のオリジナルの符号化コードストリームが、先頭ピクチャから終了ピクチャ点（Ｐ４）までの区間で近傍デコードされて得られたベースバンドの画像データである。

さらに、符号化コードストリーム３１９（Ｅ２）は、近傍エンコーダ１１７−２により、画像データ３１７（Ｄ３）および画像データ３１８（Ｄ４）が近傍エンコードされて得られた符号化コードストリームである。

合成部１１８は、符号化コードストリーム３１１乃至符号化コードストリーム３１３を、そのピクチャ順に連結する（ピクチャ順に並ぶように互いの先頭と終端を繋ぎ合わせる）。この、符号化コードストリーム３１１乃至符号化コードストリーム３１３が連結された１つの符号化コードストリームを連結結果と称する。

合成部１１８は、この連結結果に、符号化コードストリーム３１６（Ｅ１）と符号化コードストリーム３１９（Ｅ２）を、さらに合成する。

このとき、合成部１１８は、互いが対応するピクチャを揃えるように位置合わせをして合成を行う。

つまり、合成部１１８は、連結結果に含まれる、符号化コードストリーム３１６（Ｅ１）が対応するピクチャと同一のピクチャに対応する部分を、その符号化コードストリーム３１６（Ｅ１）に置き換える。

同様に、合成部１１８は、連結結果に含まれる、符号化コードストリーム３１９（Ｅ２）が対応するピクチャと同一のピクチャに対応する部分を、その符号化コードストリーム３１９（Ｅ２）に置き換える。

つまり、連結結果の、開始ピクチャ点（Ｐ１）から終了ピクチャ点（Ｐ２）に相当する部分が符号化コードストリーム３１６（Ｅ１）に置き換えられる。また、連結結果の、開始ピクチャ点（Ｐ３）から終了ピクチャ点（Ｐ４）に相当する部分が符号化コードストリーム３１９（Ｅ２）に置き換えられる。

ここで、符号化コードストリーム３１１の、符号化コードストリーム３１６に含まれないピクチャの部分を、符号化コードストリーム３１１’とする。また、符号化コードストリーム３１２の、符号化コードストリーム３１６および符号化コードストリーム３１９に含まれないピクチャの部分を、符号化コードストリーム３１２’とする。さらに、符号化コードストリーム３１３の、符号化コードストリーム３１９に含まれないピクチャの部分を、符号化コードストリーム３１３’とする。

図１０に示されるように、符号化コードストリーム３１１’の終端と符号化コードストリーム３１６の先頭が連結される。また、符号化コードストリーム３１６の終端と符号化コードストリーム３１２’の先頭が連結される。さらに、符号化コードストリーム３１２’の終端と符号化コードストリーム３１９の先頭が連結される。また、符号化コードストリーム３１９の終端と、符号化コードストリーム３１３’の先頭が連結される。

このように、最終的な符号化コードストリームは、これらの符号化コードストリームが、そのピクチャ順に連結されたもの（ピクチャ順に並ぶように互いの先頭と終端が繋ぎ合わせられたもの）となる。

合成部１１８は、このような最終的な符号化コードストリームを生成すると、それを変換装置１００の外部に出力する（矢印１３９）。

なお、この合成処理は、合成部１１８内において行われるのではなく、合成部１１８が各符号化コードストリームを、上述した合成結果（図１０に示される最終的な符号化コードストリーム）のように出力することにより行われるようにしてもよい。つまり、結果として、合成部１１８から出力される符号化コードストリームが、上述したように合成された状態となっていればよい。
［処理の流れ］

以上のような変換処理の流れの例を、図１１のフローチャートを参照して説明する。

符号化方式を変換する変換処理の対象となる符号化コードストリームが与えられると変換処理が開始される。変換処理が開始されると、分割部１１１は、ステップＳ１０１において、符号化コードストリームの一部または全部を、例えば所定のデータ単位（例えば所定のピクチャ数）毎に分割する。

ステップＳ１０２において、デコーダ１１２は、分割された各符号化コードストリームを、その符号化方式に対応する復号方式で復号する。ステップＳ１０３において、エンコーダ１１３は、得られた各復号画像データを新たな符号化方式により符号化する。

ステップＳ１０４において、近傍デコード開始ピクチャ検出部１１４は、新たな符号化方式による各符号化時のバッファ残量に基づいて、各近傍デコードの開始ピクチャ点を決定する。

ステップＳ１０５において、近傍デコード終了ピクチャ検出部１１５は、新たな符号化方式による各符号化時のバッファ残量に基づいて、各近傍デコードの終了ピクチャ点を決定する。

ステップＳ１０６において、近傍デコーダ１１６は、オリジナルの符号化コードストリームの、開始ピクチャ点と終了ピクチャ点との間をステップＳ１０２の場合と同様の復号方式で復号する。

ステップＳ１０７において、近傍エンコーダ１１７は、ステップＳ１０６の処理により得られた復号画像データを、ステップＳ１０３の場合と同様の符号化方式で符号化する。

ステップＳ１０８において、合成部１１８は、新たな符号化方式の符号化コードストリームを、それぞれのピクチャ同士の関係に従って並べて統合（合成）する。

ステップＳ１０９において、変換装置１００は、全ての符号化コードストリームを処理したか否かを判定し、未処理の部分が存在すると判定された場合、処理をステップＳ１０１に戻し、それ以降の処理を繰り返す。

ステップＳ１０９において、全ての符号化コードストリームを処理したと判定された場合、変換処理を終了する。

以上のように、変換装置１００は、画質の低減を抑制しながら、より高速に、符号化方式の変換処理（トランスコード）を行うことができる。

例えば、変換装置１００は、既にエンコードされた符号化コードストリームを、他のフォーマットの符号化コードストリームにトランスコードすることができる。より具体的には、例えば、変換装置１００は、デジタルシネマコンテンツをJPEG2000で圧縮したものを、Blu-Ray Discに記録するためのH.264にトランスコードすることができる。

また、従来は、分散エンコードした後に生成された符号化コードストリームを隣接ピクチャ領域で統合する際に、画質の変化や劣化が問題とされてきた。しかしながら、本発明では隣接ピクチャ領域でのバッファ残量データの最大点と最小点間で近傍エンコードを行うことで、安定した画質を提供することができる。

これは、MPEG系のエンコードでは、バッファ残量の余裕が大きいほど、エンコードの途中で符号量の発生が多いピクチャが出現した場合にも、画質を即座に落とす必要がないため、安定した画質制御が実現できるという利点を巧みに利用したものである。

また近傍エンコードを行う際の入力画像を得る際、近傍デコーダ１１６が、オリジナルの符号化コードストリームをイントラ符号化（例えばJPEG2000）するので、近傍エンコーダ１１７は、１ピクチャ単位の精度の画像を得ることができる。また近傍デコーダ１１６が、オリジナルの符号化コードストリームを直接デコードするので、その間に変換が入らず、オリジナルの符号化コードストリームの画質を維持することができる。

なお、オリジナルの符号化コードストリームの符号化方式、および、変換後の符号化コードストリームの符号化方式は、上述した符号化方式以外であってもよい。

また、以上においては、変換処理の並列数を３としたが、この並列数は任意である。この並列数を増大させるほど、変換処理が速度は向上する。また、例えば、マルチコアを搭載したCPUにより、上述した変換処理を行う場合、各サブコアを用いて、分割された各符号化コードストリームに対する変換処理を並列に実行させるようにしてもよい。

さらに、以上においては、分割された符号化コードストリームの所定の範囲内で、開始ピクチャ点（Ｐ１およびＰ３）および終了ピクチャ点（Ｐ２およびＰ４）が検索されるように説明した。しかしながら、開始ピクチャ点および終了ピクチャ点の設定方法は、これに限らず、他の方法であっても良い。

例えばiVbvOccupancyの値が、予め定められた所定の閾値以上となる、若しくは、閾値より大きくなるピクチャを開始ピクチャ点とし、予め定められた所定の閾値以下となる、若しくは、閾値より小さくなるピクチャを終了ピクチャ点としてもよい。

図１２は、バッファメモリ１０２のバッファ残量データ（iVbvOccupancy）のエンコードピクチャに伴う推移を示した、図９と同様の図である。例えば、図１２に示されるグラフ３３１（Encode Log1）のように、エンコーダ１１３−１から供給されるバッファ残量の値が推移するとする。また、例えば、図１２に示されるグラフ３３２（Encode Log2）のように、エンコーダ１１３−２から供給されるバッファ残量の値が推移するとする。

近傍デコード開始ピクチャ検出部１１４−１は、各ピクチャのiVbvOccupancyの値が、予め定められた所定の閾値Th1以上となる（若しくは、閾値Th1より大きくなる）ピクチャを検出する。

このとき、近傍デコード開始ピクチャ検出部１１４−１は、図１２の矢印３４１に示されるように、１番目の符号化コードストリームの最終ピクチャから、先頭ピクチャに向かって１ピクチャずつiVbvOccupancyの値を確認する。つまり、近傍デコード開始ピクチャ検出部１１４−１は、時間方向と逆向きに（ピクチャの並び順を遡る向きに）各ピクチャのiVbvOccupancyの値の確認を進める。

そして、近傍デコード開始ピクチャ検出部１１４−１は、iVbvOccupancyの値が閾値Th1以上となる（若しくは、閾値Th1より大きくなる）ピクチャを検出すると、その最初に検出されたピクチャを、開始ピクチャ点（Ｐ１）と定める。

つまり、iVbvOccupancyの値が閾値Th1以上となる（若しくは、閾値Th1より大きくなる）、最終ピクチャに最も近いピクチャが、開始ピクチャ点（Ｐ１）に指定される。

近傍デコード終了ピクチャ検出部１１５−１は、各ピクチャのiVbvOccupancyの値が、予め定められた所定の閾値Th2以下となる（若しくは、閾値Th2より小さくなる）ピクチャを検出する。

このとき、近傍デコード終了ピクチャ検出部１１５−１は、図１２の矢印３４２に示されるように、２番目の符号化コードストリームの先頭ピクチャから、最終ピクチャに向かって１ピクチャずつiVbvOccupancyの値を確認する。つまり、近傍デコード終了ピクチャ検出部１１５−１は、時間方向に（ピクチャの並び順に）各ピクチャのiVbvOccupancyの値の確認を進める。

そして、近傍デコード終了ピクチャ検出部１１５−１は、iVbvOccupancyの値が閾値Th2以下となる（若しくは、閾値Th2より小さくなる）ピクチャを検出すると、その最初に検出されたピクチャを、終了ピクチャ点（Ｐ２）と定める。

つまり、iVbvOccupancyの値が閾値Th2以下となる（若しくは、閾値Th2より小さくなる）、先頭ピクチャに最も近いピクチャが、終了ピクチャ点（Ｐ２）に指定される。

近傍デコード開始ピクチャ検出部１１４−２も、近傍デコード開始ピクチャ検出部１１４−１の場合と同様に処理を行う。つまり、近傍デコード開始ピクチャ検出部１１４−２は、各ピクチャのiVbvOccupancyの値が、予め定められた所定の閾値Th3以上となる（若しくは、閾値Th3より大きくなる）ピクチャを検出する。

このとき、近傍デコード開始ピクチャ検出部１１４−２は、図１２の矢印３４３に示されるように、２番目の符号化コードストリームの最終ピクチャから、先頭ピクチャに向かって１ピクチャずつiVbvOccupancyの値を確認する。つまり、近傍デコード開始ピクチャ検出部１１４−２は、時間方向と逆向きに（ピクチャの並び順を遡る向きに）各ピクチャのiVbvOccupancyの値の確認を進める。

そして、近傍デコード開始ピクチャ検出部１１４−２は、iVbvOccupancyの値が閾値Th3以上となる（若しくは、閾値Th3より大きくなる）ピクチャを検出すると、その最初に検出されたピクチャを、開始ピクチャ点（Ｐ３）と定める。

つまり、iVbvOccupancyの値が閾値Th3以上となる（若しくは、閾値Th3より大きくなる）、最終ピクチャに最も近いピクチャが、開始ピクチャ点（Ｐ３）に指定される。

近傍デコード終了ピクチャ検出部１１５−２も、近傍デコード終了ピクチャ検出部１１５−１の場合と同様に処理を行う。つまり、近傍デコード終了ピクチャ検出部１１５−２は、各ピクチャのiVbvOccupancyの値が、予め定められた所定の閾値Th4以下となる（若しくは、閾値Th4より小さくなる）ピクチャを検出する。

このとき、近傍デコード終了ピクチャ検出部１１５−２は、２番目の符号化コードストリームの先頭ピクチャから、最終ピクチャに向かって１ピクチャずつiVbvOccupancyの値を確認する。つまり、近傍デコード終了ピクチャ検出部１１５−２は、時間方向に（ピクチャの並び順に）各ピクチャのiVbvOccupancyの値の確認を進める。

そして、近傍デコード終了ピクチャ検出部１１５−１は、iVbvOccupancyの値が閾値Th4以下となる（若しくは、閾値Th4より小さくなる）ピクチャを検出すると、その最初に検出されたピクチャを、終了ピクチャ点（Ｐ４）と定める。

つまり、iVbvOccupancyの値が閾値Th4以下となる（若しくは、閾値Th4より小さくなる）、先頭ピクチャに最も近いピクチャが、終了ピクチャ点（Ｐ４）に指定される。

このように、近傍デコード開始ピクチャ検出部１１４および近傍デコード終了ピクチャ検出部１１５は、iVbvOccupancyの差が十分にあれば画質制御は十分に安定化されると考え、その基準を満たすような閾値を予め設ける。このようにすることにより、近傍デコード開始ピクチャ検出部１１４および近傍デコード終了ピクチャ検出部１１５は、開始ピクチャ点および終了ピクチャ点をより早期に検出することができる可能性が生じる。

また、このような検出方法において、開始ピクチャ点および終了ピクチャ点がより早期に検出される場合、近傍デコードが行われる区間がより狭くなることになる。つまり、近傍デコードおよび近傍エンコードの処理時間や負荷も軽減される。

つまり、以上のように閾値に基づいて開始ピクチャ点および終了ピクチャ点が決定されることにより、変換装置１００、変換処理のさらなる高速化や負荷のさらなる低減を実現することができる可能性がある。

また、閾値に基づいて開始ピクチャ点および終了ピクチャ点を決定するようにすることにより、画質制御の安定化が、閾値に基づく所定の基準で確保されることになる。例えばグラフ３３３に示されるような、開始ピクチャ点Ｐ１と終了ピクチャ点Ｐ２との間の近傍エンコードのVbv遷移において、閾値で指定されるiVbvOccupancyの差が必ず生じる。つまり、変換装置１００が画質制御のさらなる安定化を実現することができる可能性が向上する。

＜２．第２の実施の形態＞
［変換装置の他の構成］
第１の実施の形態においては、変換装置１００の入力を符号化コードストリームとしたが、これに限らず、ベースバンドの画像データを入力とするようにしてもよい。

図１３は、その場合の変換装置の主な構成例を示すブロック図である。

図１３に示される変換装置４００は、入力されるベースバンドの画像データを、所定の符号化方式で符号化された符号化コードストリームに変換する装置である。つまり、変換装置４００は、符号化装置でもある。

変換装置４００は、第１の実施の形態において説明した変換装置１００と基本的に同様の構成を有するが、変換処理部１０１の代わりに変換処理部４０１を有する。

変換処理部４０１は、基本的に変換処理部１０１と同様の構成を有するが、入力がベースバンドの画像データであるので、復号処理に関する処理部を有していない。つまり、変換処理部４０１においては、変換処理部１０１が有するデコーダ１１２および近傍デコーダ１１６が省略される。

この場合、分割部１１１は、入力された（矢印４３１）ベースバンドの画像データを所定のデータ単位（例えば所定のピクチャ数）毎に分割する。そして分割部１１１は、その分割された各画像データを、エンコーダ１１３と近傍エンコーダ１１７に供給する（矢印４３２−１乃至矢印４３２−３）。

エンコーダ１１３は、供給された画像データを符号化すると、符号化コードストリームを合成部１１８に供給する（矢印４３４−１乃至矢印４３４−３）。

また、エンコーダ１１３−1は、バッファメモリ１０２のバッファ残量を、近傍エンコード開始ピクチャ検出部４１４−１に供給する（矢印４３５−１）。エンコーダ１１３−２は、バッファメモリ１０２のバッファ残量を、近傍エンコード終了ピクチャ検出部４１５−１および近傍エンコード開始ピクチャ検出部４１４−２に供給する（矢印４３５−２および４３５−３）。エンコーダ１１３−３は、バッファメモリ１０２のバッファ残量を、近傍エンコード終了ピクチャ検出部４１５−２に供給する（矢印４３５−４）。

近傍エンコード開始ピクチャ検出部４１４−１は、図１の近傍デコード開始ピクチャ検出部１１４−１に対応する。近傍エンコード開始ピクチャ検出部４１４−２は、図１の近傍デコード開始ピクチャ検出部１１４−２に対応する。

近傍エンコード終了ピクチャ検出部４１５−１は、図１の近傍デコード終了ピクチャ検出部１１５−１に対応する。近傍エンコード終了ピクチャ検出部４１５−２は、図１の近傍デコード終了ピクチャ検出部１１５−２に対応する。

上述したように、変換装置４００の場合、近傍デコードが行われないので、近傍デコードの開始ピクチャ点や終了ピクチャ点の代わりに、近傍エンコードの開始ピクチャ点や終了ピクチャ点が検出されるが、これらの処理は実質的に等価である。つまり、変換装置４００の場合も、開始ピクチャ点と終了ピクチャ点の検出方法は、変換装置１００の場合と同様である。

つまり、近傍エンコード開始ピクチャ検出部４１４−１は、図１の近傍デコード開始ピクチャ検出部１１４−１と同様の処理を行う。近傍エンコード開始ピクチャ検出部４１４−２は、図１の近傍デコード開始ピクチャ検出部１１４−２と同様の処理を行う。

さらに、近傍エンコード終了ピクチャ検出部４１５−１は、図１の近傍デコード終了ピクチャ検出部１１５−１と同様の処理を行う。近傍エンコード終了ピクチャ検出部４１５−２は、図１の近傍デコード終了ピクチャ検出部１１５−２と同様の処理を行う。

以下において、近傍エンコード開始ピクチャ検出部４１４−１および近傍エンコード開始ピクチャ検出部４１４−２を互いに区別して説明する必要が無い場合、単に、近傍エンコード開始ピクチャ検出部４１４と称する。また、近傍エンコード終了ピクチャ検出部４１５−１および近傍エンコード終了ピクチャ検出部４１５−２を互いに区別して説明する必要が無い場合、単に、近傍エンコード終了ピクチャ検出部４１５と称する。

近傍エンコード開始ピクチャ検出部４１４および近傍エンコード終了ピクチャ検出部４１５は、検出した開始ピクチャ点若しくは終了ピクチャ点を示す情報を、近傍エンコーダ１１７に供給する（矢印４３６−１乃至矢印４３６−４）。

近傍エンコーダ１１７は、分割部１１１から供給される画像データを、開始ピクチャ点から終了ピクチャ点まで符号化するが、この処理は、図１の場合と実質的に等価である。近傍エンコーダ１１７は、生成した符号化コードストリームを合成部１１８に供給する（矢印４３８−１および矢印４３８−２）。

合成部１１８は、図１の場合と同様に、各部から供給される符号化コードストリームを合成し、１つの符号化コードストリームを生成し、出力する（矢印４３９）。

［合成処理］
この場合の合成処理の様子の例を図１４に示す。

図１４において、符号化コードストリーム４６１（コードストリーム１）は、エンコーダ１１３−１により生成される、１番目の画像データが符号化された符号化コードストリームである。符号化コードストリーム４６２（コードストリーム２）は、エンコーダ１１３−２により生成される、２番目の画像データが符号化された符号化コードストリームである。符号化コードストリーム４６３（コードストリーム３）は、エンコーダ１１３−３により生成される、３番目の画像データが符号化された符号化コードストリームである。

また、符号化コードストリーム４６４（Ｅ１）は、近傍エンコーダ１１７−１により、画像データが近傍エンコードされて得られた符号化コードストリームである。

さらに、符号化コードストリーム４６５（Ｅ２）は、近傍エンコーダ１１７−２により、画像データが近傍エンコードされて得られた符号化コードストリームである。

合成部１１８は、符号化コードストリーム４６１乃至符号化コードストリーム４６３を、そのピクチャ順に連結する（ピクチャ順に並ぶように互いの先頭と終端を繋ぎ合わせる）。この、符号化コードストリーム４６１乃至符号化コードストリーム４６３が連結された１つの符号化コードストリームを連結結果と称する。

合成部１１８は、この連結結果に、符号化コードストリーム４６６（Ｅ１）と符号化コードストリーム４６９（Ｅ２）を、さらに合成する。

つまり、合成部１１８は、連結結果に含まれる、符号化コードストリーム４６６（Ｅ１）が対応するピクチャと同一のピクチャに対応する部分を、その符号化コードストリーム４６６（Ｅ１）に置き換える。

同様に、合成部１１８は、連結結果に含まれる、符号化コードストリーム４６９（Ｅ２）が対応するピクチャと同一のピクチャに対応する部分を、その符号化コードストリーム４６９（Ｅ２）に置き換える。

つまり、連結結果の、開始ピクチャ点（Ｐ１）から終了ピクチャ点（Ｐ２）に相当する部分が符号化コードストリーム４６６（Ｅ１）に置き換えられる。また、連結結果の、開始ピクチャ点（Ｐ３）から終了ピクチャ点（Ｐ４）に相当する部分が符号化コードストリーム４６９（Ｅ２）に置き換えられる。

ここで、符号化コードストリーム４６１の、符号化コードストリーム４６６に含まれないピクチャの部分を、符号化コードストリーム４６１'とする。また、符号化コードストリーム４６２の、符号化コードストリーム４６６および符号化コードストリーム４６９に含まれないピクチャの部分を、符号化コードストリーム４６２'とする。さらに、符号化コードストリーム４６３の、符号化コードストリーム４６９に含まれないピクチャの部分を、符号化コードストリーム４６３'とする。

図１４に示されるように、符号化コードストリーム４６１'の終端と符号化コードストリーム４６６の先頭が連結される。また、符号化コードストリーム４６６の終端と符号化コードストリーム４６２'の先頭が連結される。さらに、符号化コードストリーム４６２'の終端と符号化コードストリーム４６９の先頭が連結される。また、符号化コードストリーム４６９の終端と、符号化コードストリーム４６３'の先頭が連結される。

つまり、合成部１１８は、基本的に図１の場合と同様に符号化ストリームを合成する。

図１３に戻り、合成部１１８は、このような最終的な符号化コードストリームを生成すると、それを変換装置４００の外部に出力する（矢印４３９）。

なお、この場合も、合成処理は、合成部１１８内において行われるのではなく、合成部１１８が各符号化コードストリームを、上述した合成結果（図１４に示される最終的な符号化コードストリーム）のように出力することにより行われるようにしてもよい。つまり、結果として、合成部１１８から出力される符号化コードストリームが、上述したように合成された状態となっていればよい。

［処理の流れ］
以上のような変換処理の流れの例を、図１５のフローチャートを参照して説明する。この場合も、各処理は、基本的に図１１のフローチャートを参照して説明した場合と同様に実行される。ただし、復号に関する処理は省略される。

すなわち、画像データが与えられ、変換処理が開始されると、分割部１１１は、ステップＳ４０１において、画像データの一部または全部を、例えば所定のデータ単位（例えば所定のピクチャ数）毎に分割する。

ステップＳ４０２において、エンコーダ１１３は、分割された各画像データを符号化する。

ステップＳ４０３において、近傍エンコード開始ピクチャ検出部４１４は、各符号化時のバッファ残量に基づいて、各近傍エンコードの開始ピクチャ点を決定する。

ステップＳ４０４において、近傍エンコード終了ピクチャ検出部４１５は、各符号化時のバッファ残量に基づいて、各近傍エンコードの終了ピクチャ点を決定する。

ステップＳ４０５において、近傍エンコーダ１１７は、画像データの開始ピクチャ点から終了ピクチャ点までのピクチャを、ステップＳ４０２の場合と同様の符号化方式で符号化する。

ステップＳ４０６において、合成部１１８は、符号化処理により得られた符号化コードストリームを、それぞれのピクチャ同士の関係に従って並べて統合（合成）する。

ステップＳ４０７において、変換装置４００は、全ての画像データを処理したか否かを判定し、未処理の部分が存在すると判定された場合、処理をステップＳ４０１に戻し、それ以降の処理を繰り返す。

ステップＳ４０７において、全ての符号化コードストリームを処理したと判定された場合、変換処理を終了する。

以上のように、変換装置４００は、変換装置１００の場合と同様に、画質の低減を抑制しながら、より高速に、変換処理（トランスコード）を行うことができる。

なお、変換後の符号化コードストリームの符号化方式は、上述した符号化方式以外であってもよい。また、この場合も、変換処理の並列数は任意である。

さらに、この場合も、第１の実施の形態の場合と同様に、閾値を用いて開始ピクチャ点と終了ピクチャ点の設定が行われるようにしてもよい。つまり、iVbvOccupancyの値が、予め定められた所定の閾値以上となる、若しくは、閾値より大きくなるピクチャが開始ピクチャ点とされるようにしてもよい。同様に、iVbvOccupancyの値が、予め定められた所定の閾値以下となる、若しくは、閾値より小さくなるピクチャが終了ピクチャ点とされるようにしてもよい。

この場合、近傍エンコード開始ピクチャ検出部４１４−１は、１番目の符号化コードストリームの最終ピクチャから先頭ピクチャに向かって、各ピクチャのiVbvOccupancyの値を確認する。そして、そのiVbvOccupancyの値が予め定められた所定の閾値Th1以上となる（若しくは、閾値Th1より大きくなる）ピクチャが検出された場合、近傍エンコード開始ピクチャ検出部４１４−１は、その最初に検出されたピクチャを、開始ピクチャ点（Ｐ１）と定める。

同様に、近傍エンコード終了ピクチャ検出部４１５−１は、２番目の符号化コードストリームの先頭ピクチャから終了ピクチャに向かって、各ピクチャのiVbvOccupancyの値を確認する。そして、そのiVbvOccupancyの値が予め定められた所定の閾値Th2以下となる（若しくは、閾値Th2より小さくなる）ピクチャが検出された場合、近傍エンコード終了ピクチャ検出部４１５−１は、その最初に検出されたピクチャを、終了ピクチャ点（Ｐ２）と定める。

同様に、近傍エンコード開始ピクチャ検出部４１４−２は、２番目の符号化コードストリームの最終ピクチャから先頭ピクチャに向かって、各ピクチャのiVbvOccupancyの値を確認する。そして、そのiVbvOccupancyの値が予め定められた所定の閾値Th3以上となる（若しくは、閾値Th3より大きくなる）ピクチャが検出された場合、近傍エンコード開始ピクチャ検出部４１４−２は、その最初に検出されたピクチャを、開始ピクチャ点（Ｐ３）と定める。

同様に、近傍エンコード終了ピクチャ検出部４１５−２は、３番目の符号化コードストリームの先頭ピクチャから終了ピクチャに向かって、各ピクチャのiVbvOccupancyの値を確認する。そして、そのiVbvOccupancyの値が予め定められた所定の閾値Th4以下となる（若しくは、閾値Th4より小さくなる）ピクチャが検出された場合、近傍エンコード終了ピクチャ検出部４１５−２は、その最初に検出されたピクチャを、終了ピクチャ点（Ｐ４）と定める。

このようにすることにより、変換装置４００が画質制御のさらなる安定化を実現することができる可能性が向上する。

＜３．第３の実施の形態＞
［変換装置の他の構成］
以上の実施の形態においては、開始ピクチャ点と終了ピクチャ点を検出する範囲を、予め定められた範囲（Ｎ１またはＮ２）としたが、これに限らず、変換装置がこの範囲を設定するようにしてもよい。

図１６は、その場合の変換装置の構成例を示すブロック図である。

図１６に示される変換装置５００は、図１の変換装置１００と基本的に同様の構成を有し、同様の処理を行う。

ただし、変換装置５００の、変換処理部１０１に対応する変換処理部５０１は、変換処理部１０１の構成に加え、範囲設定部５１１を有する。

範囲設定部５１１は、分割部１１１からオリジナルの符号化コードストリーム（分割されたものであっても分割される前のものであってもよい）を取得する（矢印５４１）。範囲設定部５１１は、取得したその符号化コードストリームに関するパラメータ（例えば、ピクチャ数）に基づいて、開始ピクチャ点や終了ピクチャ点を検出する範囲の長さ（例えばピクチャ数）をそれぞれ設定する。

例えば、範囲設定部５１１は、オリジナルの符号化コードストリームのピクチャ数の１割を開始ピクチャ点や終了ピクチャ点を検出する範囲とすることができる。

近傍デコードや近傍エンコードは、基本的に、冗長処理となる。したがって、その区間は、画質に影響を与えない範囲で、できるだけ短いほど望ましい。

例えば、開始ピクチャ点や終了ピクチャ点の検出範囲を不要に長くし、符号化コードストリームの大部分が近傍デコードや近傍エンコードされるようにすると、変換処理効率が不要に低減してしまう恐れがある。

逆に、開始ピクチャ点や終了ピクチャ点の検出範囲が短すぎると、iVbvOccupancyの値が十分に大きなピクチャや、十分に小さいピクチャを検出することができなくなる恐れがある。その場合、バッファ残量の差が十分に大きくない範囲で近傍デコード（近傍エンコード）を行わなければならなくなり、不要な画質劣化を招く恐れがある。

つまり、この開始ピクチャ点や終了ピクチャ点の検出範囲の長さは、基本的に任意ではあるが、長すぎても短すぎても望ましくない。そこで、範囲設定部５１１が、例えば符号化コードストリームの長さ（ピクチャ数）を基準として、この開始ピクチャ点や終了ピクチャ点の検出範囲の長さを決定するようにする。このようにすることにより、開始ピクチャ点や終了ピクチャ点の検出範囲の長さが、符号化コードストリームの長さに対して不自然な割合となることを抑制することができる。

もちろん、範囲設定部５１１が、これ以外の任意の方法で開始ピクチャ点や終了ピクチャ点の検出範囲の長さを決定するようにしてもよい。

範囲設定部５１１は、各開始ピクチャ点を検出する範囲と各終了ピクチャ点を検出する範囲を、それぞれ、独立に設定することができる。つまり、開始ピクチャ点を検出する範囲と終了ピクチャ点を検出する範囲は、互いに同じ長さ（ピクチャ数）であってもよいし、互いに異なる長さであってもよい。また、各開始ピクチャ点（各終了ピクチャ点）を検出する範囲の長さが互いに異なるようにすることもできる。

範囲設定部５１１は、設定した範囲の長さを、近傍デコード開始ピクチャ検出部１１４および近傍デコード終了ピクチャ検出部１１５に供給する（矢印５４２）。近傍デコード開始ピクチャ検出部１１４および近傍デコード終了ピクチャ検出部１１５は、それぞれ、設定された範囲内で、開始ピクチャ点若しくは終了ピクチャ点を検出する。

［処理の流れ］
この場合の変換処理の流れの例を、図１７のフローチャートを参照して説明する。

この場合も、変換処理は、基本的に図１１のフローチャートを参照して説明した場合と同様に実行される。

ステップＳ５０１において、分割部１１１は、図１１のステップＳ１０１の場合と同様に、符号化コードストリームを分割する。

ステップＳ５０２において、範囲設定部５１１は、開始ピクチャ点と終了ピクチャ点の検索範囲を設定する。

ステップＳ５０３乃至ステップＳ５１０の各処理は、図１１のステップＳ１０２乃至ステップＳ１０９の各処理と同様に実行される。

以上のように、変換装置５００は、画質の低減を抑制しながら、より高速に、符号化方式の変換処理（トランスコード）を行うことができる。

なお、このような範囲設定部５１１は、図１３に示される変換装置４００にも、上述した場合と同様の方法で適用することができる。

＜４．第４の実施の形態＞
［変換装置の他の構成］
以上においては、バッファ残量が最大または最小になるイントラピクチャを開始ピクチャ点または終了ピクチャ点とするように説明した。しかしながら、開始ピクチャ点および終了ピクチャ点は、シーンチェンジが発生するピクチャに設定されるようにしてもよい。

図１８は、その場合の変換装置の構成例を示すブロック図である。

図１８に示される変換装置６００は、図１の変換装置１００と基本的に同様の構成を有し、同様の処理を行う。

ただし、変換装置６００の、変換処理部１０１に対応する変換処理部６０１は、変換処理部１０１の構成に加え、シーンチェンジ検出部６１１を有する。

シーンチェンジ検出部６１１は、分割部１１１からオリジナルの符号化コードストリーム（分割されたものであっても分割される前のものであってもよい）を取得する（矢印６４１）。そして、シーンチェンジ検出部６１１は、取得したそのオリジナルの符号化コードストリームに含まれるシーンチェンジが発生するピクチャを特定する。さらに、シーンチェンジ検出部６１１は、特定したそのピクチャの位置を、近傍デコード開始ピクチャ検出部１１４および近傍デコード終了ピクチャ検出部１１５に供給する（矢印６４２）。

近傍デコード開始ピクチャ検出部１１４は、シーンチェンジ検出部６１１から供給されたその情報に基づいて、シーンチェンジが発生した、符号化コードストリームの最終ピクチャに最も近いピクチャを、開始ピクチャ点に設定する。

同様に、近傍デコード終了ピクチャ検出部１１５は、シーンチェンジ検出部６１１から供給されたその情報に基づいて、シーンチェンジが発生した、符号化コードストリームの先頭ピクチャに最も近いピクチャを、終了ピクチャ点に設定する。

図１９おいて、符号化コードストリーム６６１（コードストリーム１）は、図１０の符号化コードストリーム３１１（コードストリーム１）に対応する。符号化コードストリーム６６２（コードストリーム１）は、図１０の符号化コードストリーム３１２（コードストリーム１）に対応する。符号化コードストリーム６６３（コードストリーム１）は、図１０の符号化コードストリーム３１３（コードストリーム１）に対応する。

これらの符号化コードストリームにおいて、シーンチェンジ検出部６１１が、シーンチェンジ発生ピクチャ（ＳＣ１乃至ＳＣ８）を検出するとする。

近傍デコード開始ピクチャ検出部１１４−１は、符号化コードストリーム６６１（コードストリーム１）の、最終ピクチャに最も近いシーンチェンジ発生ピクチャＳＣ３を開始ピクチャ点（Ｐ１）に設定する。

近傍デコード終了ピクチャ検出部１１５−１は、符号化コードストリーム６６２（コードストリーム２）の、先頭ピクチャに最も近いシーンチェンジ発生ピクチャＳＣ４を終了ピクチャ点（Ｐ２）に設定する。

近傍デコード開始ピクチャ検出部１１４−２は、符号化コードストリーム６６２（コードストリーム２）の、最終ピクチャに最も近いシーンチェンジ発生ピクチャＳＣ６を開始ピクチャ点（Ｐ３）に設定する。

近傍デコード終了ピクチャ検出部１１５−２は、符号化コードストリーム６６３（コードストリーム３）の、先頭ピクチャに最も近いシーンチェンジ発生ピクチャＳＣ７を終了ピクチャ点（Ｐ４）に設定する。

近傍デコーダ１１６−１は、１番目のオリジナルの符号化コードストリーム６６１の開始ピクチャ点（Ｐ１）から最終ピクチャまでを復号し、ベースバンドの画像データ６６４を生成する。

また、近傍デコーダ１１６−１は、２番目のオリジナルの符号化コードストリーム６６２の先頭ピクチャから終了ピクチャ点（Ｐ２）までを復号し、ベースバンドの画像データ６６５を生成する。

近傍エンコーダ１１７−１は、画像データ６６４および画像データ６６５を符号化し、符号化コードストリーム６６６（Ｅ１）を生成する。

同様に、近傍デコーダ１１６−２は、２番目のオリジナルの符号化コードストリーム６６２の開始ピクチャ点（Ｐ３）から最終ピクチャまでを復号し、ベースバンドの画像データ６６７を生成する。

また、近傍デコーダ１１６−２は、３番目のオリジナルの符号化コードストリーム６６３の先頭ピクチャから終了ピクチャ点（Ｐ４）までを復号し、ベースバンドの画像データ６６８を生成する。

近傍エンコーダ１１７−２は、画像データ６６７および画像データ６６８を符号化し、符号化コードストリーム６６９（Ｅ２）を生成する。

合成部１１８は、図１０の場合と同様に、これらの符号化データを合成し、最終的な符号化コードストリームを生成する。

図１９に示されるように、符号化コードストリーム６６１'の終端と符号化コードストリーム６６６の先頭が連結される。また、符号化コードストリーム６６６の終端と符号化コードストリーム６６２'の先頭が連結される。さらに、符号化コードストリーム６６２'の終端と符号化コードストリーム６６９の先頭が連結される。また、符号化コードストリーム６６９の終端と、符号化コードストリーム６６３'の先頭が連結される。

なお、図１０の場合と同様に、符号化コードストリーム６６１'は、符号化コードストリーム６６１の、符号化コードストリーム６６６に含まれないピクチャの部分を示す。また、符号化コードストリーム６６２'は、符号化コードストリーム６６２の、符号化コードストリーム６６６および符号化コードストリーム６６９に含まれないピクチャの部分を示す。さらに、符号化コードストリーム６６３'は、符号化コードストリーム６６３の、符号化コードストリーム６６９に含まれないピクチャの部分を示す。

合成部１１８は、このような最終的な符号化コードストリームを生成すると、それを変換装置１００の外部に出力する（矢印６３９）。

なお、この場合も、合成処理は、合成部１１８内において行われるのではなく、合成部１１８が各符号化コードストリームを、上述した合成結果（図１９に示される最終的な符号化コードストリーム）のように出力することにより行われるようにしてもよい。

シーンチェンジが発生するピクチャでは、そのシーンチェンジによって画像の内容の不連続が発生している。したがって、近傍エンコードされた符号化コードストリームの両端を、このようなピクチャとすることにより、符号化コードストリームの合成による、その継ぎ目における視覚的な違和感を低減させることができる。

［処理の流れ］
この場合の変換処理の流れの例を、図２０のフローチャートを参照して説明する。

ステップＳ６０１において、分割部１１１は、図１１のステップＳ１０１の場合と同様に、符号化コードストリームを分割する。

ステップＳ６０２において、シーンチェンジ検出部６１１は、シーンチェンジが発生するピクチャを検出する。

ステップＳ６０３において、デコーダ１１２は、分割された各符号化コードストリームを、その符号化方式に対応する復号方式で復号する。ステップＳ６０４において、エンコーダ１１３は、得られた各復号画像データを新たな符号化方式により符号化する。

ステップＳ６０５において、近傍デコード開始ピクチャ検出部１１４は、各符号化コードストリームの、最終ピクチャに最も近いシーンチェンジ発生ピクチャを近傍デコードの開始ピクチャ点に決定する。

また、ステップＳ６０６において、近傍デコード終了ピクチャ検出部１１５は、各符号化コードストリームの、先頭ピクチャに最も近いシーンチェンジ発生ピクチャを近傍デコードの終了ピクチャ点に決定する。

ステップＳ６０８において、近傍デコーダ１１６は、オリジナルの符号化コードストリームの、開始ピクチャ点と終了ピクチャ点との間をステップＳ６０３の場合と同様の復号方式で復号する。

ステップＳ６０８において、近傍エンコーダ１１７は、ステップＳ６０７の処理により得られた復号画像データを、ステップＳ１０３の場合と同様の符号化方式で符号化する。

ステップＳ６０９において、合成部１１８は、新たな符号化方式の符号化コードストリームを、それぞれのピクチャ同士の関係に従って並べて統合（合成）する。

ステップＳ６１０において、変換装置６００は、全ての符号化コードストリームを処理したか否かを判定し、未処理の部分が存在すると判定された場合、処理をステップＳ６０１に戻し、それ以降の処理を繰り返す。

ステップＳ６１０において、全ての符号化コードストリームを処理したと判定された場合、変換処理を終了する。

以上のように、変換装置６００は、画質の低減を抑制しながら、より高速に、符号化方式の変換処理（トランスコード）を行うことができる。

なお、オリジナルの符号化コードストリームの符号化方式、および、変換後の符号化コードストリームの符号化方式が上述した符号化方式以外であってもよいことや、並列数が任意であることは、第１の実施の形態の場合と同様である。また、第２の実施の形態のように、入力を画像データとしてもよい。

さらに、各近傍デコード開始ピクチャ検出部１１４が、シーンチェンジが発生するピクチャと、バッファ残量が最大になるイントラピクチャとのいずれか一方を、開始ピクチャ点として選択することができるようにしてもよい。

同様に、各近傍デコード終了ピクチャ検出部１１５が、それぞれ、シーンチェンジが発生するピクチャと、バッファ残量が最小になるイントラピクチャとのいずれか一方を、終了ピクチャ点として選択することができるようにしてもよい。

さらに、シーンチェンジが発生するピクチャである開始ピクチャ点若しくは終了ピクチャ点と、バッファ残量が最大または最小になるイントラピクチャである開始ピクチャ点若しくは終了ピクチャ点とが混在することができるようにしてもよい。

以上においては、先頭ピクチャ若しくは最終ピクチャに最も近いシーンチェンジ発生ピクチャが、開始ピクチャ点若しくは終了ピクチャ点に設定されるように説明した。しかしながら、その他のシーンチェンジ発生ピクチャが、開始ピクチャ点若しくは終了ピクチャ点に設定されるようにしてもよい。

＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２１に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２１において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラムに従って各種の処理を実行する。また、CPU７０１は、記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。

入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１が接続されている。また、入出力インタフェース７１０には、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部７１２が接続されている。さらに、入出力インタフェース７１０には、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部７１３が接続されている。

また、入出力インタフェース７１０には、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続される。ドライブ７１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着される。ドライブ７１５に装着されたそれらのリムーバブルメディア７２１から読み出されたコンピュータプログラムは、必要に応じて記憶部７１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、リムーバブルメディア７２１により構成される。

このリムーバブルメディア７２１には、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）が含まれる。また、このリムーバブルメディア７２１には、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）も含まれる。さらに、このリムーバブルメディア７２１には、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリも含まれる。

さらに、この記録媒体は、例えば、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどにより構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明は、例えば、アーカイブシステム、放送局の画像圧縮装置、画像データベース、画像のトランスコード装置、医用画像の記録システム、ネットワークサーバ、ノンリニア編集装置、ゲーム機、およびテレビ受像機システムに適用することができる。また、本発明は、HDDレコーダや、PC上のオーサリング・ツールまたはそのソフトウェア・モジュール等にも適用することができる。

１００変換装置，１０１変換処理部，１１１分割部，１１２デコーダ，１１３エンコーダ，１１４近傍デコード開始ピクチャ検出部，１１５近傍デコード終了ピクチャ検出部，１１６近傍デコーダ，１１７近傍エンコーダ，１１８合成部，４００変換装置，４１４近傍エンコード開始ピクチャ検出部，４１５近傍エンコード終了ピクチャ検出部，５００変換装置，５１１範囲設定部，６００変換装置，６１１シーンチェンジ検出部

Claims

画像データが所定の符号化方式により符号化された符号化コードストリームを複数に分割する分割手段と、
前記分割手段により分割された各符号化コードストリームを復号する復号手段と、
前記復号手段により復号されて得られた復号画像データを、前記符号化方式と異なる他の符号化方式により符号化する符号化手段と、
前記符号化手段による符号化の際のバッファ残量に基づいて、前記分割手段が前記符号化コードストリームを分割した分割位置近傍の復号対象範囲を決定する決定手段と、
前記分割手段により分割された各符号化コードストリームの、前記決定手段により決定された前記復号対象範囲を復号する近傍復号手段と、
前記近傍復号手段により復号されて得られた復号画像データを、前記他の符号化方式により符号化する近傍符号化手段と
を備える画像処理装置。
前記決定手段は、前記復号対象範囲の開始ピクチャと終了ピクチャとを決定し、
前記近傍復号手段は、前記分割手段により分割された各符号化コードストリームの、前記決定手段により決定された前記開始ピクチャから最終ピクチャまでと、先頭ピクチャから前記決定手段により決定された前記終了ピクチャまでを、それぞれ復号する
請求項１に記載の画像処理装置。
前記決定手段は、前記最終ピクチャの前の所定の範囲において、前記バッファ残量が最大となるイントラピクチャを前記開始ピクチャに決定する
請求項２に記載の画像処理装置。
前記決定手段は、前記先頭ピクチャの後の所定の範囲において、前記バッファ残量が最小となるイントラピクチャを前記終了ピクチャに決定する
請求項２に記載の画像処理装置。
前記決定手段は、前記最終ピクチャの前の所定の範囲において、シーンチェンジが発生するピクチャを前記開始ピクチャに決定する
請求項２に記載の画像処理装置。
前記決定手段は、前記先頭ピクチャの後の所定の範囲において、シーンチェンジが発生するピクチャを前記終了ピクチャに決定する
請求項２に記載の画像処理装置。
前記符号化手段により符号化されて得られた各符号化コードストリーム、並びに、前記近傍符号化手段により符号化されて得られた各符号化コードストリームを、互いのピクチャを揃えて合成する合成手段をさらに備える
請求項１に記載の画像処理装置。
画像処理装置の画像処理方法であって、
前記画像処理装置の分割手段が、画像データが所定の符号化方式により符号化された符号化コードストリームを複数に分割し、
前記画像処理装置の復号手段が、分割された各符号化コードストリームを復号し、
前記画像処理装置の符号化手段が、復号されて得られた復号画像データを、前記符号化方式と異なる他の符号化方式により符号化し、
前記画像処理装置の決定手段が、符号化の際のバッファ残量に基づいて、前記符号化コードストリームが分割された分割位置近傍の復号対象範囲を決定し、
前記画像処理装置の近傍復号手段が、分割された各符号化コードストリームの、決定された前記復号対象範囲を復号し、
前記画像処理装置の近傍符号化手段が、復号されて得られた復号画像データを、前記他の符号化方式により符号化する
画像処理方法。
画像データを複数に分割する分割手段と、
前記分割手段により分割された各画像データを符号化する符号化手段と、
前記符号化手段による符号化の際のバッファ残量に基づいて、前記分割手段が前記画像データを分割した分割位置近傍の符号化対象範囲を決定する決定手段と、
前記分割手段により分割された各画像データの、前記決定手段により決定された前記符号化対象範囲を符号化する近傍符号化手段と
を備える画像処理装置。
前記決定手段は、前記符号化対象範囲の開始ピクチャと終了ピクチャとを決定し、
前記近傍符号化手段は、前記分割手段により分割された各画像データの、前記決定手段により決定された前記開始ピクチャから最終ピクチャまでと、先頭ピクチャから前記決定手段により決定された前記終了ピクチャまでを、それぞれ符号化する
請求項９に記載の画像処理装置。
前記決定手段は、前記最終ピクチャの前の所定の範囲において、前記バッファ残量が最大となるイントラピクチャを前記開始ピクチャに決定する
請求項１０に記載の画像処理装置。
前記決定手段は、前記先頭ピクチャの後の所定の範囲において、前記バッファ残量が最小となるイントラピクチャを前記終了ピクチャに決定する
請求項１０に記載の画像処理装置。
前記決定手段は、前記最終ピクチャの前の所定の範囲において、シーンチェンジが発生するピクチャを前記開始ピクチャに決定する
請求項１０に記載の画像処理装置。
前記決定手段は、前記先頭ピクチャの後の所定の範囲において、シーンチェンジが発生するピクチャを前記終了ピクチャに決定する
請求項１０に記載の画像処理装置。
前記符号化手段により符号化されて得られた各符号化コードストリーム、並びに、前記近傍符号化手段により符号化されて得られた各符号化コードストリームを、互いのピクチャを揃えて合成する合成手段をさらに備える
請求項９に記載の画像処理装置。
画像処理装置の画像処理方法であって、
前記画像処理装置の分割手段が、画像データを複数に分割し、
前記画像処理装置の符号化手段が、分割された各画像データを符号化し、
前記画像処理装置の決定手段が、符号化の際のバッファ残量に基づいて、前記画像データが分割された分割位置近傍の符号化対象範囲を決定し、
前記画像処理装置の近傍符号化手段が、分割された各画像データの、決定された前記符号化対象範囲を符号化する
画像処理方法。