JP2004326447A

JP2004326447A - 画像合成装置及び方法

Info

Publication number: JP2004326447A
Application number: JP2003120367A
Authority: JP
Inventors: Takahiro Fukuhara; 隆浩福原; Seishi Kimura; 青司木村; Hitoshi Takaya; 仁志貴家
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-04-24
Filing date: 2003-04-24
Publication date: 2004-11-18
Also published as: US7433541B2; US20040264784A1

Abstract

【課題】少ないメモリ使用量で容易且つ効果的に２つの符号化コードストリームを合成する。
【解決手段】画像合成装置１において、コードストリーム解析部１０，１１、コードブロック抽出部１２，１３、及びＥＢＣＯＴ復号部１４，１５では、ＪＰＥＧ−２０００規格に従って符号化された符号化コードストリームＤ１０，Ｄ１１を復号してコードブロック毎の量子化係数Ｄ１６，Ｄ１７を生成する。クロスフェード部１６において、加算器１７，１８では量子化係数Ｄ１６，Ｄ１７に対してそれぞれ係数α（ｔ）、（１−α（ｔ））が乗算され、これらが加算器１９で加算されてクロスフェード量子化係数Ｄ２０となる。そしてＥＢＣＯＴ符号化部２０、レート制御部２１、及びコードストリーム生成部２２では、このクロスフェード量子化係数Ｄ２０を符号化し、最終的な符号化コードストリームＤ２３を出力する。
【選択図】図８

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばＪＰＥＧ−２０００規格に従って符号化された２つの画像を合成する画像合成装置及びその方法に関し、特にクロスフェード処理を行う際に用いて好適な画像合成装置及びその方法に関する。
【０００２】
【従来の技術】
従来、例えば１つの画像から他の画像に全体が移り変わっていく様子を表現するための画像処理技術としてクロスフェード処理が知られており（特許文献１，２等参照）、コンピュータグラフィックス、放送用機器の特殊再生、カムコーダの特殊再生、ゲーム機での画像処理等に用いられている。
【０００３】
通常、このようなクロスフェード処理は、２つの画像の空間的に同じ位置の画素を線形内挿し、２つの画像を合成することで実現される。
【０００４】
【特許文献１】
特開２０００−７８４６７号公報
【特許文献２】
特開２０００−１８４２７８号公報
【０００５】
【発明が解決しようとする課題】
ところで、近年では、フィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって画像を複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、離散コサイン変換（ＤｅｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ；ＤＣＴ）のように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。例えば２００１年１月に国際標準化が完了したＪＰＥＧ−２０００は、このウェーブレット変換に高能率なエントロピー符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、ＪＰＥＧに比べて符号化効率の大きな改善を実現している。
【０００６】
ここで、上述した従来手法を用いて２つの画像の符号化コードストリームからクロスフェード画像の符号化コードストリームを得るためには、符号化コードストリームをＪＰＥＧ−２０００規格に従って復号し、得られた２つの復号画像を線形内挿によって合成してクロスフェード画像を生成し、さらにこのクロスフェード画像をＪＰＥＧ−２０００規格に従って符号化する処理が必要となる。
【０００７】
しかしながら、このような手法では、２つの復号画像を記憶するメモリが必要になる上、クロスフェード画像を記憶するメモリも必要になる。また、ＪＰＥＧ−２０００規格に準拠した画像復号装置と画像符号化装置との双方が必要になるという問題があった。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、少ないメモリ使用量で容易且つ効果的に２つの符号化コードストリームを合成する画像合成装置及びその方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像合成装置は、第１，第２の入力画像に対してフィルタリング処理を施し、生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成し、上記ビットプレーン毎にビットモデリングを行ってコーディングパスを生成し、生成されたコーディングパス内で算術符号化を施して得られた第１，第２の符号化コードストリームを入力し、該第１，第２の符号化コードストリームを合成した合成符号化コードストリームを生成する画像合成装置であって、上記第１，第２の符号化コードストリームを解析するコードストリーム解析手段と、該コードストリーム解析手段の解析結果に基づいてコードブロック情報を抽出するコードブロック抽出手段と、該コードブロック情報を算術復号する算術復号手段とをそれぞれ有する第１，第２の画像復号手段と、上記第１，第２の画像復号手段から供給されたコードブロック毎の係数値にそれぞれ第１，第２の実数値を乗算して加算する合成手段と、上記合成手段における加算結果に対して算術符号化を施して上記合成符号化コードストリームを生成する算術符号化手段とを備えるものである。
【００１０】
また、上述した目的を達成するために、本発明に係る画像合成方法は、第１，第２の入力画像に対してフィルタリング処理を施し、生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成し、上記ビットプレーン毎にビットモデリングを行ってコーディングパスを生成し、生成されたコーディングパス内で算術符号化を施して得られた第１，第２の符号化コードストリームを入力し、該第１，第２の符号化コードストリームを合成した合成符号化コードストリームを生成する画像合成方法であって、上記第１，第２の符号化コードストリームを解析するコードストリーム解析工程と、該コードストリーム解析工程の解析結果に基づいてコードブロック情報を抽出するコードブロック抽出工程と、該コードブロック情報を算術復号する算術復号工程とをそれぞれ有する第１，第２の画像復号工程と、上記第１，第２の画像復号工程で得られたコードブロック毎の係数値にそれぞれ第１，第２の実数値を乗算して加算する合成工程と、上記合成工程における加算結果に対して算術符号化を施して上記合成符号化コードストリームを生成する算術符号化工程とを有するものである。
【００１１】
このような画像合成装置及びその方法では、例えばＪＰＥＧ−２０００規格に従って符号化された２つの符号化コードストリームを合成し、合成符号化コードストリームを出力する際に、合成処理を空間領域ではなく係数領域で行う。
【００１２】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明するが、その前に、２つの画像を合成してクロスフェード画像を作成する場合の従来手法と、その従来手法をＪＰＥＧ−２０００で符号化された符号化画像に適用した場合における画像合成装置の構成について説明する。
【００１３】
従来、画像Ｆ_１（ｘ，ｙ，ｔ）と画像Ｆ_２（ｘ，ｙ，ｔ）との間でクロスフェード画像を生成する場合、以下の式（１）に示すように、同一時刻のフレームの同位置のサンプル同士を線形内挿処理することによってクロスフェード画像Ｇ（ｘ，ｙ，ｔ）を得ていた。ここで、ｘ，ｙはそれぞれ画像の水平、垂直位置座標を表し、ｔは時刻を表す。
【００１４】
【数１】

【００１５】
この従来手法をＪＰＥＧ−２０００規格に従って符号化された符号化画像に適用した場合、例えば図２に示すような画像合成装置１００が構成される。ここで、図２は、ＪＰＥＧ−２０００規格に従って符号化された符号化コードストリームＤ１００，Ｄ１０１を入力してクロスフェード処理を行い、クロスフェード後の符号化コードストリームＤ１１５を出力する場合について説明するものである。
【００１６】
この画像合成装置１００において、ＥＢＣＯＴ（ＥｍｂｅｄｄｅｄＣｏｄｉｎｇｗｉｔｈＯｐｔｉｍｉｚｅｄＴｒｕｎｃａｔｉｏｎ）復号部１０１は、符号化コードストリームＤ１００を復号して量子化係数Ｄ１０２を生成し、この量子化係数Ｄ１０２を逆量子化部１０３に供給する。逆量子化部１０３は、この量子化係数Ｄ１０２を逆量子化してウェーブレット変換係数Ｄ１０４を生成し、このウェーブレット変換係数Ｄ１０４をウェーブレット逆変換部１０５に供給する。そして、ウェーブレット逆変換部１０５は、ウェーブレット変換係数Ｄ１０４をウェーブレット逆変換して復号画像Ｄ１０６を生成し、この復号画像Ｄ１０６をクロスフェード部１０７に供給する。
【００１７】
同様に、ＥＢＣＯＴ復号部１０２は、符号化コードストリームＤ１０１を復号して量子化係数Ｄ１０３を生成し、この量子化係数Ｄ１０３を逆量子化部１０４に供給する。逆量子化部１０４は、この量子化係数Ｄ１０３を逆量子化してウェーブレット変換係数Ｄ１０５を生成し、このウェーブレット変換係数Ｄ１０５をウェーブレット逆変換部１０６に供給する。そして、ウェーブレット逆変換部１０６は、ウェーブレット変換係数Ｄ１０５をウェーブレット逆変換して復号画像Ｄ１０７を生成し、この復号画像Ｄ１０７をクロスフェード部１０７に供給する。
【００１８】
クロスフェード部１０７は、乗算器１０８，１０９と、加算器１１０とから構成され、上述した式（１）のような演算を行うことで、クロスフェード画像Ｄ１１０を生成する。すなわち、乗算器１０８では復号画像Ｄ１０６に対して係数α（ｔ）が乗算され、乗算器１０９では復号画像Ｄ１０７に対して係数（１−α（ｔ））が乗算される。そして、加算器１１０において、乗算器１０８，１０９から出力された画像Ｄ１０８，Ｄ１０９が加算されてクロスフェード画像Ｄ１１０となり、このクロスフェード画像Ｄ１１０がウェーブレット変換部１１１に供給される。ここで、復号画像Ｄ１０６，１０７、クロスフェード画像Ｄ１１０は、それぞれ式（１）におけるＦ_１（ｘ，ｙ，ｔ）、Ｆ_２（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）に相当する。
【００１９】
以上により、入力した符号化コードストリームＤ１００，Ｄ１０１からクロスフェード画像Ｄ１１０が得られ、後段では、このクロスフェード画像Ｄ１１０をＪＰＥＧ−２０００規格に従って符号化し、符号化コードストリームＤ１１５を生成する。
【００２０】
ウェーブレット変換部１１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像を予めバッファリングしておく必要があるが、簡単のため、図１では図示を省略する。
【００２１】
ウェーブレット変換部１１１は、フィルタリングに必要な最低限のクロスフェード画像Ｄ１１０を入力し、ウェーブレット変換を行うフィルタリング処理を行ってウェーブレット変換係数Ｄ１１１を生成する。
【００２２】
このウェーブレット変換では、通常図３に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。ここで、図３におけるウェーブレット変換のレベル数は２であり、この結果計７個のサブバンドが生成されている。すなわち、１回目のフィルタリング処理によって水平方向のサイズＸ＿ＳＩＺＥ及び垂直方向のサイズＹ＿ＳＩＺＥがそれぞれ１／２に分割され、ＬＬ１，ＬＨ２，ＨＬ２，ＨＨ２の４つのサブバンドが生成される。そして２回目のフィルタリング処理によってＬＬ１がさらに分割されて、ＬＬ０，ＬＨ１，ＨＬ１，ＨＨ１の４つのサブバンドが生成される。なお、図３においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの後の数字は解像度レベルを表す。すなわち、例えばＬＨ１は、水平方向が低域で垂直方向が高域である解像度レベル＝１のサブバンドを表す。
【００２３】
量子化部１１２は、ウェーブレット変換部１１１から供給されたウェーブレット変換係数Ｄ１１１に対して非可逆圧縮を施す。量子化手段としては、ウェーブレット変換係数Ｄ１１１を量子化ステップサイズで除算するスカラ量子化を用いることができる。
【００２４】
ＥＢＣＯＴ符号化部１１３は、量子化部１１２で生成されたサブバンド毎の量子化係数Ｄ１１２に対してＪＰＥＧ−２０００規格で定められたＥＢＣＯＴと呼ばれるエントロピー符号化を施し、算術符号Ｄ１１３を生成する。ＥＢＣＯＴの処理単位が上述のコードブロックである。なお、このＥＢＣＯＴについては、例えば、文献「ＩＳＩ／ＩＥＣＦＤＩＳ１５４４４−１，ＪＰＥＧ−２０００Ｐａｒｔ−１ＦＤＩＳ，１８Ａｕｇｕｓｔ２０００」等に詳細に記載されている。
【００２５】
具体的に、ＥＢＣＯＴ符号化部１１３は、先ず量子化部１１２で生成されたサブバンド毎の量子化係数Ｄ１１２を、ＪＰＥＧ−２０００の符号化単位であるコードブロック単位に分割する。すなわち図３に示すように、例えば６４×６４程度のサイズのコードブロックが、分割後の全てのサブバンド中に生成される。なお、ＪＰＥＧ−２０００の規定では、コードブロックのサイズは水平方向、垂直方向共に２の冪乗で表され、通常は３２×３２、又は６４×６４が使用されることが多い。
【００２６】
そして、ＥＢＣＯＴ符号化部１１３は、コードブロック毎の量子化係数に対して、以下のようにビットプレーン単位で係数ビットモデリングを行う。このビットプレーンの概念について図５を用いて説明する。図５（Ａ）は、縦４個、横４個の計１６個の係数からなる量子化係数を仮定したものである。この１６個の係数のうち絶対値が最大のものは１３であり、２進数表現では１１０１となる。したがって、係数の絶対値のビットプレーンは、図５（Ｂ）に示すような４つのビットプレーンから構成される。なお、各ビットプレーンの要素は、全て０又は１の数を取る。一方、量子化係数の符号は、−６が唯一負の値であり、それ以外は０又は正の値である。したがって、符号のビットプレーンは、図５（Ｃ）に示すようになる。
【００２７】
各コードブロックは、最上位ビット（ＭＳＢ）から最下位ビット（ＬＳＢ）方向にビットプレーン毎に独立して符号化される。量子化係数は、ｎビットの符号付き２進数で表されており、ｂｉｔ０からｂｉｔ（ｎ−２）がＬＳＢからＭＳＢまでのそれぞれのビットを表す。なお、残りの１ビットは符号である。符号ブロックの符号化は、ＭＳＢ側のビットプレーンから順番に、以下の（ａ）〜（ｃ）に示す３種類のコーディングパスによって行われる。
（ａ）ＳｉｇｎｉｆｉｃａｎｃｅＰｒｏｐａｇａｔｉｏｎＰａｓｓ
（ｂ）ＭａｇｎｉｔｕｄｅＲｅｆｉｎｅｍｅｎｔＰａｓｓ
（ｃ）ＣｌｅａｎｕｐＰａｓｓ
【００２８】
３つのコーディングパスの用いられる順序を図６に示す。図６に示すように、先ずビットプレーン（ｎ−２）（ＭＳＢ）がＣｌｅａｎｕｐＰａｓｓ（以下、適宜「ＣＵパス」という。）によって符号化される。続いて、順次ＬＳＢ側に向かい、各ビットプレーンが、ＳｉｇｎｉｆｉｃａｎｃｅＰｒｏｐａｇａｔｉｏｎＰａｓｓ（以下、適宜「ＳＰパス」という。）、ＭａｇｎｉｔｕｄｅＲｅｆｉｎｅｍｅｎｔＰａｓｓ（以下、適宜「ＭＲパス」という。）、ＣＵパスの順序で用いられて符号化される。
【００２９】
但し、実際にはＭＳＢ側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、オール０のビットプレーンは符号化しない。この順序で３種類のコーディングパスを繰返し用いて符号化し、任意のビットプレーンの任意の符号化パスまでで符号化を打ち切ることにより、符号量と画質のトレードオフを取る、すなわちレート制御を行うことができる。
【００３０】
ここで、係数の走査（スキャニング）について図７を用いて説明する。コードブロックは、高さ４個の係数毎にストライプ（ｓｔｒｉｐｅ）に分けられる。ストライプの幅は、コードブロックの幅に等しい。スキャン順とは１個のコードブロック内の全ての係数を辿る順番であり、コードブロック中では上のストライプから下のストライプへの順序、各ストライプ中では左の列から右の列への順序、各列中では上から下への順序でスキャニングされる。なお、各コーディングパスにおいてコードブロック中の全ての係数がこのスキャン順で処理される。
【００３１】
以上のようにしてＥＢＣＯＴ符号化部１１３は、コードブロック毎の量子化係数をビットプレーンに分解すると共に各ビットプレーンを３つのコーディングパスに分解し、コーディングパス毎に量子化係数を生成する。そして、このコーディングパス毎の量子化係数に対して算術符号化を施す。
【００３２】
レート制御部１１４は、ＥＢＣＯＴ符号化部１１３から供給された算術符号Ｄ１１３の符号量をカウントしながら、目標のビットレート又は圧縮率に近づけるように、符号量制御を行う。具体的には、レート制御部１１４は、コードブロック毎のコーディングパスの少なくとも一部を切り捨てる（Ｔｒｕｎｃａｔｅする）ことにより符号量制御を行う。
【００３３】
コードストリーム生成部１１５は、レート制御部１１４から供給されたレート制御終了後の算術符号Ｄ１１４をＪＰＥＧ−２０００規格に従ってパケット化し、ヘッダを付加して、最終的な符号化コードストリームＤ１１５を出力する。
【００３４】
以上のように、画像合成装置１００では、ＪＰＥＧ−２０００規格に従って符号化された２つの符号化コードストリームを入力してクロスフェード処理を行い、クロスフェード後の符号化コードストリームを出力する際に、２つの画像を空間領域で合成してクロスフェード画像を作成し、このクロスフェード画像を符号化してクロスフェード後の符号化コードストリームを生成する。
【００３５】
しかしながら、このような構成の画像合成装置１００では、２つの復号画像を記憶するメモリが必要になる上、クロスフェード画像を記憶するメモリも必要になる。また、ＪＰＥＧ−２０００規格に準拠した画像復号装置と画像符号化装置との双方が必要になるという問題があった。
【００３６】
そこで、本実施の形態における画像合成装置は、以下に説明するように、クロスフェード処理を空間領域ではなく係数領域で実現することにより、上述した問題を解決する。
【００３７】
本実施の形態における画像合成装置の概略構成を図８に示す。図８に示すように、本実施の形態における画像合成装置１は、コードストリーム解析部１０，１１と、コードブロック抽出部１２，１３と、ＥＢＣＯＴ復号部１４，１５と、クロスフェード部１６と、ＥＢＣＯＴ符号化部２０と、レート制御部２１と、コードストリーム生成部２２とから構成されている。ここで、クロスフェード部１６は、乗算部１７，１８と加算部１９とから構成される。
【００３８】
コードストリーム解析部１０は、ＪＰＥＧ−２０００規格に従って符号化された符号化コードストリームＤ１０を入力し、ＪＰＥＧ−２０００規格で定められた手法で符号化コードストリームＤ１０の解析を行う。コードブロック抽出部１２は、コードストリーム解析部１０から供給された解析情報Ｄ１２に基づいて、コードブロック毎の符号化情報Ｄ１４をＥＢＣＯＴ復号部１４に供給する。そして、ＥＢＣＯＴ復号部１４は、この符号化情報Ｄ１４を復号してコードブロック毎の量子化係数Ｄ１６を生成し、この量子化係数Ｄ１６をクロスフェード部１６に供給する。
【００３９】
同様に、コードストリーム解析部１１は、ＪＰＥＧ−２０００規格に従って符号化された符号化コードストリームＤ１１を入力し、ＪＰＥＧ−２０００規格で定められた手法で符号化コードストリームＤ１１の解析を行う。コードブロック抽出部１３は、コードストリーム解析部１１から供給された解析情報Ｄ１３に基づいて、コードブロック毎の符号化情報Ｄ１５をＥＢＣＯＴ復号部１５に供給する。そして、ＥＢＣＯＴ復号部１５は、この符号化情報Ｄ１５を復号してコードブロック毎の量子化係数Ｄ１７を生成し、この量子化係数Ｄ１７をクロスフェード部１６に供給する。
【００４０】
クロスフェード部１６は、乗算器１７，１８と、加算器１９とから構成され、量子化係数Ｄ１６，Ｄ１７を合成することにより、クロスフェード量子化係数Ｄ２０を生成する。具体的には、量子化係数Ｄ１６をＱ＿ｃｂ１（ｘ，ｙ）、量子化係数Ｄ１７をＱ＿ｃｂ２（ｘ，ｙ）としたとき、以下の式（２）に従ってクロスフェード量子化係数を生成する。ここで、ｘ，ｙはそれぞれ量子化係数領域の水平、垂直位置を表す。なお、Ｑ＿ｃｂ１（ｘ，ｙ）、Ｑ＿ｃｂ２（ｘ，ｙ）は同一時刻のものであることを前提としているため、上述した式（１）のようにパラメータとして時刻ｔは必要ない。
【００４１】
【数２】

【００４２】
すなわち、乗算器１７では量子化係数Ｄ１６に対して係数α（ｔ）が乗算され、乗算器１８では量子化係数Ｄ１７に対して係数（１−α（ｔ））が乗算される。そして、加算器１９において、乗算器１７，１８から出力された量子化係数Ｄ１８，Ｄ１９が加算されてクロスフェード量子化係数Ｄ２０となり、このクロスフェード量子化係数Ｄ２０がＥＢＣＯＴ符号化部２０に供給される。
【００４３】
ＥＢＣＯＴ符号化部２０は、クロスフェード部１６で生成されたクロスフェード量子化係数Ｄ２０に対してＥＢＣＯＴのエントロピー符号化を施し、算術符号Ｄ２１を生成する。
【００４４】
レート制御部２１は、ＥＢＣＯＴ符号化部２０から供給された算術符号Ｄ２１の符号量をカウントしながら、目標のビットレート又は圧縮率に近づけるように、符号量制御を行う。具体的には、レート制御部２１は、コードブロック毎のコーディングパスの少なくとも一部を切り捨てる（Ｔｒｕｎｃａｔｅする）ことにより符号量制御を行う。なお、レート制御を行わずに算術符号Ｄ２１をそのままコードストリーム生成部２２に供給するようにしてもよく、この場合にはレート制御部２１は不要である。
【００４５】
コードストリーム生成部２２は、レート制御部２１から供給されたレート制御終了後の算術符号Ｄ２２をＪＰＥＧ−２０００規格に従ってパケット化し、ヘッダを付加して、最終的な符号化コードストリームＤ２３を出力する。
【００４６】
ここで、符号化コードストリームＤ１０，Ｄ１１がそれぞれオウムの画像、家のある風景画を符号化したコードストリームであり、クロスフェード部１６においてα＝０．２、α＝０．５、α＝０．８とした場合におけるクロスフェード画像をそれぞれ図９乃至図１１に示す。図９乃至図１１に示すように、家のある風景画からオウムの画像まで滑らかにフェードが掛かっていることが確認できる。なお、この図９乃至図１１では、αの値として０．２，０．５及び０．８の３つを用いたが、α（ｔ）の値の時間変化の割合を変えることにより、クロスフェードの滑らかさの度合いを変化させることができる。
【００４７】
以上説明したように、本実施の形態における画像合成装置１によれば、ＪＰＥＧ−２０００規格に従って符号化された２つの符号化コードストリームを入力してクロスフェード処理を行い、クロスフェード後の符号化コードストリームを出力する際に、クロスフェード処理を係数領域で行うことにより、ＪＰＥＧ−２０００規格に準拠した画像復号装置及び画像符号化装置の一部を有するのみで、空間領域でクロスフェード処理を行う場合と同じ結果を得ることができる。
【００４８】
また、クロスフェード処理を係数領域で行うことにより、空間領域での場合と比較して少ないメモリ量で済むという利点がある。特に、本実施の形態における画像合成装置１では、クロスフェード処理をコードブロック単位で行っているため、全画面単位で行う場合と比較して遙かに少ないメモリ量でクロスフェードを実現することができる。
【００４９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５０】
例えば、上述した画像合成装置１では、符号化コードストリームＤ１０を量子化係数Ｄ１６まで復号する画像復号手段（コードストリーム解析部１０、コードブロック抽出部１２及びＥＢＣＯＴ復号部１４）と、符号化コードストリームＤ１１を量子化係数Ｄ１７まで復号する画像復号手段（コードストリーム解析部１１、コードブロック抽出部１３及びＥＢＣＯＴ復号部１５）とを備えているが、これらは別々の画像復号部であってもよく、同一の画像復号部の構成要素であってもよい。後者の場合、パイプライン処理と呼ばれるＨ／Ｗで多用される技術を用いて、これらの処理を並列化することができる。
【００５１】
【発明の効果】
以上詳細に説明したように本発明に係る画像合成装置は、第１，第２の入力画像に対してフィルタリング処理を施し、生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成し、上記ビットプレーン毎にビットモデリングを行ってコーディングパスを生成し、生成されたコーディングパス内で算術符号化を施して得られた第１，第２の符号化コードストリームを入力し、該第１，第２の符号化コードストリームを合成した合成符号化コードストリームを生成する画像合成装置であって、上記第１，第２の符号化コードストリームを解析するコードストリーム解析手段と、該コードストリーム解析手段の解析結果に基づいてコードブロック情報を抽出するコードブロック抽出手段と、該コードブロック情報を算術復号する算術復号手段とをそれぞれ有する第１，第２の画像復号手段と、上記第１，第２の画像復号手段から供給されたコードブロック毎の係数値にそれぞれ第１，第２の実数値を乗算して加算する合成手段と、上記合成手段における加算結果に対して算術符号化を施して上記合成符号化コードストリームを生成する算術符号化手段とを備えるものである。
【００５２】
また、本発明に係る画像合成方法は、第１，第２の入力画像に対してフィルタリング処理を施し、生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成し、上記ビットプレーン毎にビットモデリングを行ってコーディングパスを生成し、生成されたコーディングパス内で算術符号化を施して得られた第１，第２の符号化コードストリームを入力し、該第１，第２の符号化コードストリームを合成した合成符号化コードストリームを生成する画像合成方法であって、上記第１，第２の符号化コードストリームを解析するコードストリーム解析工程と、該コードストリーム解析工程の解析結果に基づいてコードブロック情報を抽出するコードブロック抽出工程と、該コードブロック情報を算術復号する算術復号工程とをそれぞれ有する第１，第２の画像復号工程と、上記第１，第２の画像復号工程で得られたコードブロック毎の係数値にそれぞれ第１，第２の実数値を乗算して加算する合成工程と、上記合成工程における加算結果に対して算術符号化を施して上記合成符号化コードストリームを生成する算術符号化工程とを有するものである。
【００５３】
このような画像合成装置及びその方法によれば、例えばＪＰＥＧ−２０００規格に従って符号化された２つの符号化コードストリームを合成し、合成符号化コードストリームを出力する際に、合成処理を空間領域ではなく係数領域で行うことにより、ＪＰＥＧ−２０００規格に準拠した画像復号装置及び画像符号化装置の一部を有するのみで、空間領域で合成処理を行う場合と同じ結果を得ることができ、また、空間領域での場合よりもメモリの必要量が少ない。
【図面の簡単な説明】
【図１】従来のクロスフェード処理方法を説明する図である。
【図２】従来のクロスフェード処理方法を
【図３】第２レベルまでウェーブレット変換した場合のサブバンドを説明する図である。
【図４】コードブロックとサブバンドの関係を説明する図である。
【図５】ビットプレーンの説明する図であり、同図（Ａ）は、計１６個の係数から成る量子化係数を示し、同図（Ｂ）は、係数の絶対値のビットプレーンを示し、同図（Ｃ）は、符号のビットプレーンを示す。
【図６】コードブロック内のコ−ディングパスの処理手順を説明する図である。
【図７】コ−ドブロック内の係数のスキャン順序を説明する図である。
【図８】本実施の形態における画像合成装置の概略構成を説明する図である。
【図９】α＝０．２である場合のクロスフェード画像の一例を示す図である。
【図１０】α＝０．５である場合のクロスフェード画像の一例を示す図である。
【図１１】α＝０．８である場合のクロスフェード画像の一例を示す図である。
【符号の説明】
１画像合成装置、１０，１１コードストリーム解析部、１２，１３コードブロック抽出部、１４，１５ＥＢＣＯＴ復号部、１６クロスフェード部、１７，１８乗算器、１９加算器、２０ＥＢＣＯＴ符号化部、２１レート制御部、２２コードストリーム生成部

Claims

第１，第２の入力画像に対してフィルタリング処理を施し、生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成し、上記ビットプレーン毎にビットモデリングを行ってコーディングパスを生成し、生成されたコーディングパス内で算術符号化を施して得られた第１，第２の符号化コードストリームを入力し、該第１，第２の符号化コードストリームを合成した合成符号化コードストリームを生成する画像合成装置であって、
上記第１，第２の符号化コードストリームを解析するコードストリーム解析手段と、該コードストリーム解析手段の解析結果に基づいてコードブロック情報を抽出するコードブロック抽出手段と、該コードブロック情報を算術復号する算術復号手段とをそれぞれ有する第１，第２の画像復号手段と、
上記第１，第２の画像復号手段から供給されたコードブロック毎の係数値にそれぞれ第１，第２の実数値を乗算して加算する合成手段と、
上記合成手段における加算結果に対して算術符号化を施して上記合成符号化コードストリームを生成する算術符号化手段と
を備えることを特徴とする画像の画像合成装置。
上記第１の実数値と上記第２の実数値との和が１であることを特徴とする請求項１記載の画像合成装置。
上記合成手段は、上記第１，第２の実数値が乗算されたコードブロック毎の係数値のうち、対応する位置の係数値同士を加算することを特徴とする請求項１記載の画像合成装置。
上記第１，第２の画像復号手段は、同一の画像復号手段の構成要素であることを特徴とする請求項１記載の画像合成装置。
上記第１，第２の実数値の変化率が可変とされていることを特徴とする請求項１記載の画像合成装置。
第１，第２の入力画像に対してフィルタリング処理を施し、生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成し、上記ビットプレーン毎にビットモデリングを行ってコーディングパスを生成し、生成されたコーディングパス内で算術符号化を施して得られた第１，第２の符号化コードストリームを入力し、該第１，第２の符号化コードストリームを合成した合成符号化コードストリームを生成する画像合成方法であって、
上記第１，第２の符号化コードストリームを解析するコードストリーム解析工程と、該コードストリーム解析工程の解析結果に基づいてコードブロック情報を抽出するコードブロック抽出工程と、該コードブロック情報を算術復号する算術復号工程とをそれぞれ有する第１，第２の画像復号工程と、
上記第１，第２の画像復号工程で得られたコードブロック毎の係数値にそれぞれ第１，第２の実数値を乗算して加算する合成工程と、
上記合成工程における加算結果に対して算術符号化を施して上記合成符号化コードストリームを生成する算術符号化工程と
を有することを特徴とする画像の画像合成方法。