JP2005229441A - 画像符号化装置及び方法、並びに画像復号装置及び方法 - Google Patents

画像符号化装置及び方法、並びに画像復号装置及び方法 Download PDF

Info

Publication number
JP2005229441A
JP2005229441A JP2004037390A JP2004037390A JP2005229441A JP 2005229441 A JP2005229441 A JP 2005229441A JP 2004037390 A JP2004037390 A JP 2004037390A JP 2004037390 A JP2004037390 A JP 2004037390A JP 2005229441 A JP2005229441 A JP 2005229441A
Authority
JP
Japan
Prior art keywords
wavelet transform
coefficient
quantization
transform coefficient
code block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004037390A
Other languages
English (en)
Inventor
Takahiro Fukuhara
隆浩 福原
Seishi Kimura
青司 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004037390A priority Critical patent/JP2005229441A/ja
Priority to US11/050,620 priority patent/US20050265613A1/en
Publication of JP2005229441A publication Critical patent/JP2005229441A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 動画像を構成する複数のフレームをフレーム間の相関を利用して順次圧縮符号化する。
【解決手段】 画像符号化装置10において、差分器12は、メモリ17から供給された先行フレームのウェーブレット変換係数D17を現フレームのウェーブレット変換係数D11から減算し、差分係数D12を生成する。切換部13は、ウェーブレット変換係数D11と差分係数D12とのうちフレーム全体に亘る絶対値和が小さい方を選択し、量子化部14に供給する。量子化部14で生成された量子化係数D14は、後段で符号化されるほか、逆量子化部15にも供給される。逆量子化部15は、レート制御部22における切り捨てビットプレーン数D18を考慮して逆量子化を行う。加算器16は、逆量子化後のウェーブレット変換係数D15と先行フレームのウェーブレット変換係数D16とを加算し、メモリ17の内容を更新する。
【選択図】 図1

Description

本発明は、例えばJPEG2000方式により、動画像を構成する複数のフレームを順次圧縮符号化して符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号して動画像を復元する画像復号装置及びその方法に関する。
従来の代表的な画像圧縮方式として、ISO(International Standards Organization)によって標準化されたJPEG(Joint Photographic Experts Group)方式がある。これは、離散コサイン変換(Descrete Cosine Transform;DCT)を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、DCT特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
一方、近年では画像をフィルタバンクと呼ばれる低域フィルタと高域フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCTのように高圧縮でブロック歪みが顕著になるという欠点がないことから、DCTに代わる新たな技術として有力視されている。2001年1月に国際標準化が完了したJPEG2000方式は、このウェーブレット変換と、量子化及び高能率なエントロピー符号化(ビットプレーン単位のビットモデリング及び算術符号化)とを組み合わせた方式を採用しており、JPEG方式に比べて符号化効率の大きな改善を実現している。
さらに、2002年1月には、JPEG2000方式の拡張版のPart−3規格として、動画像符号化及びファイルフォーマットの規格であるMotion−JPEG2000方式が規格化された。また、本件発明者らにより、Motion−JPEG2000方式により、動画像を効率よく符号化する技術が提案されている(特許文献1参照)。
特開2001−197499号公報
このMotion−JPEG2000方式は、動画像符号化の規格であるが、動画像を構成する各フレームについてフレーム内で完結した符号化(フレーム内符号化)を行うものであり、MPEG(Moving Picture Experts Group)方式のように前後のフレームやフィールドとの相関を利用して符号化を行うものではない。このため、動画像符号化に際して、MPEG方式よりもMotion−JPEG2000方式の方が圧縮効率が悪いという問題があった。
本発明は、このような従来の実情に鑑みて提案されたものであり、例えばJPEG2000方式により、動画像を構成する複数のフレームをフレーム間の相関を利用して順次圧縮符号化し、符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号して動画像を復元する画像復号装置及びその方法を提供することを目的とする。
上述した目的を達成するために、本発明に係る画像符号化装置及びその方法では、動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施すことによりウェーブレット変換係数を生成し、上記入力フレームのウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数との差分を計算して差分フレームのウェーブレット変換係数を生成し、上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を量子化して量子化係数を生成する。そして、上記量子化係数を逆量子化してウェーブレット変換係数を生成し、上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する。また、上記量子化係数を分割して所定の大きさの複数の符号ブロックを生成し、上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開し、上記ビットプレーン毎にビットモデリングを行って符号化パスを生成し、生成された上記符号化パスを算術符号化し、生成された算術符号をフォーマット化して符号コードストリームを生成する。
このような画像符号化装置及びその方法では、動画像を構成する各フレームを符号化する際に、例えば入力フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和と、差分フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和とを比較し、フレーム毎にフレーム内符号化及びフレーム間符号化の何れかに切り換える。
また、上述した目的を達成するために、本発明に係る画像符号化装置及びその方法では、動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施すことによりウェーブレット変換係数を生成し、上記ウェーブレット変換係数を分割して所定の大きさの複数の符号ブロックを生成し、上記入力フレームの各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数との差分を符号ブロック毎に計算して差分フレームのウェーブレット変換係数を符号ブロック毎に生成し、符号ブロック毎に上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を量子化して量子化係数を生成する。そして、上記量子化係数を逆量子化してウェーブレット変換係数を生成し、上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する。また、上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開し、上記ビットプレーン毎にビットモデリングを行って符号化パスを生成し、生成された上記符号化パスを算術符号化し、生成された算術符号をフォーマット化して符号化コードストリームを生成する。
このような画像符号化装置及びその方法では、動画像を構成する各フレームを符号化する際に、例えば入力フレームの各符号ブロックにおけるウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和と、差分フレームの各符号ブロックにおけるウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和とを比較し、符号ブロック毎にフレーム内符号化及びフレーム間符号化の何れかに切り換える。
また、上述した目的を達成するために、本発明に係る画像符号化装置及びその方法では、動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施すことによりウェーブレット変換係数を生成し、上記ウェーブレット変換係数を量子化して量子化係数を生成し、上記量子化係数を分割して所定の大きさの複数の符号ブロックを生成し、上記入力フレームの各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数との差分を符号ブロック毎に計算して差分フレームの量子化係数を符号ブロック毎に生成し、上記入力フレームの量子化係数及び上記差分フレームの量子化係数の何れか一方を符号ブロック毎に切り換える。そして、上記入力フレームの量子化係数又は上記差分フレームの量子化係数と上記メモリに記憶されていた上記先行フレームの量子化係数とを加算し、加算後の量子化係数で上記メモリに記憶されていた上記先行フレームの量子化係数を更新する。また、上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開し、上記ビットプレーン毎にビットモデリングを行って符号化パスを生成し、生成された上記符号化パスを算術符号化し、生成された算術符号をフォーマット化して符号化コードストリームを生成する。
このような符号化装置及びその方法では、動画像を構成する各フレームを符号化する際に、例えば入力フレームの各符号ブロックにおける量子化係数の当該符号ブロック全体に亘る絶対値和と、差分フレームの各符号ブロックにおける量子化係数の当該符号ブロック全体に亘る絶対値和とを比較し、符号ブロック毎にフレーム内符号化及びフレーム間符号化の何れかに切り換える。
また、本発明に係る画像復号装置及びその方法は、上述した画像符号化装置及びその方法によって生成された符号化コードストリームを復号して復号画像を生成するものであり、各フレーム又は各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示す所定のパラメータに従って復号処理を行う。
本発明に係る画像符号化装置及びその方法によれば、動画像を構成する先頭フレーム以外の各フレームについて、フレーム毎又は符号ブロック毎にフレーム間符号化を選択することができるため、フレーム内符号化のみを行う場合と比較して、圧縮効率を向上させることができる。特に、フレーム間符号化を行う場合であっても差分計算のみを行うのみでよいため、MPEG方式よりも符号化処理を高速化することができる。
また、本発明に係る画像復号装置及びその方法によれば、各フレーム又は各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示す所定のパラメータに従って復号処理を行うことで、復号画像を生成することができる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、JPEG2000方式により、動画像を構成する複数のフレームをフレーム間の相関を利用して順次圧縮符号化し、符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号して動画像を復元する画像復号装置及びその方法に適用したものである。
(1)第1の実施の形態
先ず、第1の実施の形態における画像符号化装置の概略構成を図1に示す。図1に示すように、画像符号化装置10は、ウェーブレット変換部11と、差分器12と、切換部13と、量子化部14と、逆量子化部15と、加算器16と、メモリ17と、符号ブロック化部18と、ビットモデリング部20と、算術符号化部21と、レート制御部22と、フォーマット部23とから構成されている。ここで、ビットモデリング部20と算術符号化部21とにより、EBCOT(Embedded Coding with Optimized Truncation)部19が構成される。
ウェーブレット変換部11は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答(フィルタ係数)を持っているため、フィルタリングが行えるだけの入力画像を予めバッファリングしておく必要があるが、簡単のため、図1では図示を省略する。
ウェーブレット変換部11は、フィルタリングに必要な最低限の画像信号D10に対してウェーブレット変換を行うフィルタリング処理を行ってウェーブレット変換係数D11を生成し、生成したウェーブレット変換係数D11を差分器12及び切換部13に供給する。
このウェーブレット変換では、通常図2に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。このことは、図3(A)に示す分割レベル=1から図3(B)に示す分割レベル=3のように、分割レベルを進めていくに従って、同図のようにサブバンドが形成されていくことからも分かる。ここで、図2におけるウェーブレット変換の分割レベルは3であり、この結果計10個のサブバンドが形成されている。なお、図2においてL,Hはそれぞれ低域,高域を表し、L,Hの後の数字は分割レベルを表す。すなわち、例えばLH−1は、水平方向が低域で垂直方向が高域である分割レベル=1のサブバンドを表す。
差分器12は、後述するメモリ17から供給されたウェーブレット変換係数D17をウェーブレット変換係数D11から減算し、得られた差分係数D12を切換部13に供給する。
切換部13は、ウェーブレット変換部11から供給されたウェーブレット変換係数D11と差分器12から供給された差分係数D12との何れか一方を選択し、選択されたウェーブレット変換係数又は差分係数D13を量子化部14に供給する。具体的に、切換部13は、ウェーブレット変換係数D11のフレーム全体に亘る絶対値和と差分係数D12のフレーム全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択する。
量子化部14は、切換部13から供給されたウェーブレット変換係数又は差分係数D13に対して非可逆圧縮を施し、量子化係数D14を逆量子化部15及び符号ブロック化部18に供給する。量子化手段としては、ウェーブレット変換係数又は差分係数D13を量子化ステップサイズで除算するスカラ量子化を用いることができる。
ここで、量子化ステップサイズΔは、JPEG2000規格の規格書のE.3式として、以下の式(1)のように与えられている。なお、この式(1)において、Δはサブバンドbに割り当てられる量子化ステップサイズを示し、Rはサブバンドbに割り当てられるダイナミックレンジを示す。また、εはサブバンドbに割り当てられる量子化の指数(exponent)を示し、μはサブバンドbに割り当てられる量子化の仮数(mantissa)を示す。
Figure 2005229441
量子化部14は、上述の式(1)で求まった量子化ステップサイズΔを用いて、以下の式(2)に従って量子化係数q(u,v)を算出する。なお、式(2)において、dwt(u,v)は座標(u,v)の位置におけるウェーブレット変換係数を示す。また、sign(x)はxが正の場合にはx、負の場合には−xを示す。また、floor(x)はxの整数値への切り捨て処理を示し、例えばfloor(2.5)=2である。
Figure 2005229441
符号ブロック化部18は、量子化部14から供給された量子化係数D14を、エントロピー符号化の処理単位である所定の大きさの符号ブロックに分割する。ここで、サブバンド中の符号ブロックの位置関係を図4に示す。通常、例えば64×64程度のサイズの符号ブロックが、分割後の全てのサブバンド中に生成される。したがって、サブバンドの大きさが640×320であった場合には、64×64の符号ブロックは、水平方向に10個、垂直方向に5個、合計50個存在することになる。符号ブロック化部18は、符号ブロック毎の量子化係数D19をEBCOT部19に供給し、後段の符号化処理は、これらの符号ブロック毎に行われる。
EBCOT部19は、符号ブロック毎の量子化係数D19をビットプレーンに展開し、ビットプレーン単位にビットモデリング及び算術符号化を行う。なお、このEBCOTについては、例えば文献「IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system」等に詳細に記載されている。
EBCOTについての説明の前に、ビットプレーンの概念について図5を用いて説明する。図5(A)は、縦4個、横4個の計16個の係数からなる量子化係数を仮定したものである。この16個の量子化係数のうち絶対値が最大のものは「13」であり、2進数表示では「1101」となる。したがって、係数の絶対値のビットプレーンは、図5(B)に示すような4つのビットプレーンから構成される。なお、各ビットプレーンにおける係数ビットは、全て「0」又は「1」の数をとる。一方、量子化係数の符号は、「−6」が唯一負の値であり、それ以外は「0」又は正の値である。したがって、符号のビットプレーンは、図5(C)に示すようになる。
ここで、EBCOTは、所定の大きさのブロック毎にそのブロック内の係数ビットの統計量を測定しながら符号化する手段であり、符号ブロック単位に量子化係数をエントロピー符号化する。符号ブロックは、最上位ビット(MSB)から最下位ビット(LSB)方向にビットプレーン毎に独立して符号化される。また、符号ブロックの縦横のサイズは、4から256までの2の冪乗で、通常は32×32、64×64、128×32等の大きさが使用される。量子化係数は、nビットの符号付き2進数で表されており、bit0からbit(n−2)が最下位ビット(LSB)から最上位ビット(MSB)までのそれぞれのビットを表す。なお、残りの1ビットは符号である。符号ブロックの符号化は、最上位ビット(MSB)側のビットプレーンから順番に、以下の(a)〜(c)に示す3種類の符号化パスによって行われる。
(a) Significance Propagation Pass
(b) Magnitude Refinement Pass
(c) Clean Up Pass
3つの符号化パスの用いられる順序を図6に示す。図6に示すように、先ずビットプレーン(n−2)(MSB)がClean Up Pass(以下、適宜CUパスという。)によって符号化される。続いて、順次最下位ビット(LSB)側に向かい、各ビットプレーンが、Significance Propagation Pass(以下、適宜SPパスという。)、Magnitude Refinement Pass(以下、適宜MRパスという。)、CUパスの順序で用いられて符号化される。
但し、実際には最上位ビット(MSB)側から何個目のビットプレーンで初めて1が出てくるかをヘッダに書き、ゼロ係数のみから構成されるビットプレーン(ゼロビットプレーン)は符号化しない。EBCOTでは、この順序で3種類の符号化パスを繰返し用いて符号化する。
ここで、係数ビットの走査(スキャニング)について図7を用いて説明する。符号ブロックは、高さ4個の係数ビット毎にストライプ(stripe)に分けられる。ストライプの幅は、符号ブロックの幅に等しい。スキャン順とは1個の符号ブロック内の全ての係数ビットを辿る順番であり、符号ブロック中では上のストライプから下のストライプへの順序、各ストライプ中では左の列から右の列への順序、各列中では上から下への順序でスキャニングされる。なお、各符号化パスにおいて符号ブロック中の全ての係数ビットがこのスキャン順で処理される。
以下、上述した3つの符号化パスについて説明する。なお、この3つの符号化パスについては、何れも上述した文献「IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system」に記載されている。
(a) Significance Propagation Pass
あるビットプレーンを符号化するSPパスでは、8近傍の少なくとも1つの係数ビットが有意(significant)であるような非有意(non-significant)な係数ビットが算術符号化される。その符号化した係数ビットの値が「1」である場合には、符号の正負が続けて算術符号化される。
ここで「significance」とは、各係数ビットに対して符号化器が持つ状態である。「significance」の初期値は非有意を表す「0」であり、係数ビットとして「1」が符号化されたときに有意を表す「1」へと変化し、以降常に「1」であり続ける。例えば図8に示すように量子化係数「−22」を2進数表示した「00010110」を符号化する場合、最上位ビット(MSB)のビットプレーンから符号化を始めるが、最上位ビット(MSB)から3個目のビットプレーンまでは係数ビットの値が「0」であるため非有意の状態が続き、係数ビットの値が「1」である4個目のビットプレーンを符号化した際に、非有意から有意へと変化する。これ以降は係数ビットの値が「0」であるか「1」であるかに関わらず有意の状態が続く。したがって、「significance」とは、有効桁の情報を既に符号化したか否かを示すフラグともいえる。あるビットプレーンでSPパスが発生すれば、以降のビットプレーンではSPパスは発生しない。
(b) Magnitude Refinement Pass
ビットプレーンを符号化するMRパスでは、ビットプレーンを符号化するSPパスで符号化していない有意な係数ビットが算術符号化される。
(c) Clean Up Pass
ビットプレーンを符号化するCUパスでは、ビットプレーンを符号化するSPパスで符号化していない非有意な係数ビットが算術符号化される。その符号化した係数ビットの値が「1」である場合には、符号の正負が続けて算術符号化される。
なお、以上の3つの符号化パスでの算術符号化では、ケースに応じてZC(Zero Coding)、RLC(Run-Length Coding)、SC(Sign Coding)、MR(Magnitude Refinement)が使い分けられて係数のコンテキストが選択される。そして、MQ符号化と呼ばれる算術符号によって、係数ビットのシンボルと選択されたコンテキストとが符号化される。このMQ符号化は、JBIG2で規定された学習型の2値算術符号である。MQ符号化については、例えば、文献「ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000」等に記載されている。JPEG2000規格では、全ての符号化パスで合計19種類のコンテキストがある。
以上のようにして、ビットモデリング部20は、符号ブロック毎の量子化係数D19をビットプレーンに展開し、ビットプレーン毎の係数ビットを3つの符号化パスで処理し、係数ビット毎のシンボル及びコンテキストD20を生成する。そして、算術符号化部21は、この係数ビット毎のシンボル及びコンテキストD20に対して算術符号化を施し、得られた算術符号D21をレート制御部22に供給する。
レート制御部22は、全体の符号量が目標符号量となり且つ復号したときの画質が最適となるように、最下位ビット(LSB)側から不要なビットプレーンを切り捨て、又は最上位ビット(MSB)側からビットプレーンを選択し、結果的に不要なビットプレーンを切り捨てることでレート制御を行い、レート制御後の算術符号列D22をフォーマット部23に供給する。また、レート制御部22は、符号ブロック毎に切り捨てられた切り捨てビットプレーン数D18を逆量子化部15に供給する。
フォーマット部23は、レート制御部22から供給された算術符号列D22に各種ヘッダを付加し、JPEG2000規格に準拠するようにフォーマット化した後、符号化コードストリームD23として出力する。
逆量子化部15は、量子化部14から供給された量子化係数D14を逆量子化してウェーブレット変換係数D15を生成し、このウェーブレット変換係数D15を加算器16に供給する。ここで、上述したようにレート制御部22では、最下位ビット(LSB)側のビットプレーンが切り捨てられるが、ある符号ブロックにおいてT個のビットプレーンを切り捨てることは、その符号ブロックの量子化係数を2のT乗で除算することと等価である。つまり、レート制御の結果としての量子化ステップサイズΔは、以下の式(3)のように与えられる。
Figure 2005229441
そこで、逆量子化部15では、このレート制御後の結果を反映させる必要がある。具体的に、逆量子化部15は、レート制御部22から供給された符号ブロック毎の切り捨てビットプレーン数D18を用いて、JPEG2000規格の規格書のE.6式として与えられる以下の式(4)を用いて、逆量子化後のウェーブレット変換係数D15を求める。なお、式(4)において、Rq(u,v)は逆量子化後のウェーブレット変換係数を示し、rは逆量子化用のパラメータを示す。
Figure 2005229441
加算器16は、逆量子化部15から供給されたウェーブレット変換係数D15とメモリ17に記憶されていた先行フレームのウェーブレット変換係数D16とを加算し、得られたウェーブレット変換係数D17を差分器12に供給する。また、加算器16は、ウェーブレット変換係数D17をメモリ17にも供給し、以前に記憶されていたウェーブレット変換係数を上書き更新する。但し、先頭フレームの場合にはメモリ17に何も記憶されていないため、逆量子化後のウェーブレット変換係数D15がそのままメモリ17に書き込まれることになる。
このように、画像符号化装置10では、動画像を構成する複数のフレームが順次入力されると、先頭フレームについては必ずフレーム内符号化(イントラ符号化)を行い、後続のフレームについてはフレーム内符号化又はフレーム間符号化(インター符号化)を行う。但し、量子化・逆量子化の誤差拡散を防止するため、図9に示すように、Nフレーム(例えば15フレーム)毎にフレーム内符号化を行うフレームを設けておくことが好ましい。
なお、フレーム内符号化を行ったかフレーム間符号化を行ったかについての切換情報を画像復号装置に伝達するため、この切換情報を符号化コードストリームD23に含める必要がある。そこで、フォーマット部23では、切換情報をJPEG2000規格における汎用のマーカコードであるコメントマーカ(COM)に記述するようにしている。
以上のように、第1の実施の形態における画像符号化装置10では、動画像を構成する先頭フレーム以外の各フレームについて、フレーム間符号化を選択することができるため、フレーム内符号化のみを行う場合と比較して、圧縮効率を向上させることができる。特に、この画像符号化装置10では、MPEG(Moving Picture Experts Group)方式のような動き予測を行うのではなく、差分計算のみを行っているため、MPEG方式よりも符号化処理を高速化することができる。
また、これはJPEG2000方式のPart−1規格に準拠しているため、この画像符号化装置10に対応した画像復号装置ではなく従来の汎用の画像復号装置を用いた場合であっても、最低限の復号画像を得ることが可能である。
(2)第2の実施の形態
次に、第2の実施の形態における画像符号化装置の概略構成を図10に示す。図10に示す画像符号化装置30は、基本構造を図1に示した画像符号化装置10と同様とするが、ウェーブレット変換部11の直後に符号ブロック化部18が配置され、符号ブロック毎にフレーム内符号化又はフレーム間符号化を切り換える点に特徴を有している。したがって、先に図1に示した画像符号化装置10と同様の構成については同一符号を付して詳細な説明を省略する。
画像符号化装置30において、符号ブロック化部18は、ウェーブレット変換部11から供給されたウェーブレット変換係数D11を符号ブロックに分割し、符号ブロック毎のウェーブレット変換係数D30を差分器12及び切換部13に供給する。
差分器12は、メモリ17から供給されたウェーブレット変換係数D35をウェーブレット変換係数D30から減算し、得られた差分係数D31を切換部13に供給する。なお、ウェーブレット変換係数D35は、符号ブロック化部18から供給されたウェーブレット変換係数D30と同一位置の符号ブロックにおける係数である。
切換部13は、ウェーブレット変換部11から供給されたウェーブレット変換係数D30と差分器12から供給された差分係数D31との何れか一方を選択し、選択されたウェーブレット変換係数又は差分係数D32を量子化部14に供給する。具体的に、切換部13は、ウェーブレット変換係数D30の当該符号ブロック全体に亘る絶対値和と差分係数D31の当該符号ブロック全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択する。
量子化部14は、切換部13から供給されたウェーブレット変換係数又は差分係数D32に対して非可逆圧縮を施し、量子化係数D19を逆量子化部15及び符号ブロック化部18に供給する。
逆量子化部15は、レート制御部22から供給された符号ブロック毎の切り捨てビットプレーン数D18を用いて、上述と同様に逆量子化後のウェーブレット変換係数D33を求める。
加算器16は、逆量子化部15から供給されたウェーブレット変換係数D33とメモリ17に記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数D34とを加算し、得られたウェーブレット変換係数D35を差分器12に供給する。また、加算器16は、ウェーブレット変換係数D35をメモリ17にも供給し、以前に記憶されていたウェーブレット変換係数を上書き更新する。
以上のように、第2の実施の形態における画像符号化装置30では、フレーム毎ではなく符号ブロック毎にフレーム内符号化又はフレーム間符号化を切り換えることができるため、フレーム毎の処理と比較して処理が複雑になるものの、圧縮効率を向上させ、また復号画像の画質を向上させることができる。
(3)第3の実施の形態
次に、第3の実施の形態における画像符号化装置の概略構成を図11に示す。図11に示す画像符号化装置50は、基本構造を図1,10に示した画像符号化装置10,30と同様とするが、ウェーブレット変換部11の直後に量子化部14が配置され、量子化係数同士の差分計算を行う点に特徴を有している。したがって、先に図1,10に示した画像符号化装置10,30と同様の構成については同一符号を付して詳細な説明を省略する。
画像符号化装置50において、量子化部14は、ウェーブレット変換部11から供給されたウェーブレット変換係数D11に対して非可逆圧縮を施し、量子化係数D50を符号ブロック化部18に供給する。
符号ブロック化部18は、量子化部14から供給された量子化係数D50を符号ブロックに分割し、符号ブロック毎の量子化係数D51を差分器12及び切換部13に供給する。
差分器12は、メモリ17から供給された量子化係数D54を量子化係数D51から減算し、得られた差分係数D52を切換部13に供給する。なお、ウェーブレット変換係数D54は、符号ブロック化部18から供給されたウェーブレット変換係数D51と同一位置の符号ブロックにおける係数である。
切換部13は、符号ブロック化部18から供給された符号ブロック毎の量子化係数D51と差分器12から供給された差分係数D52との何れか一方を選択し、選択された量子化係数又は差分係数D19をEBCOT部19に供給する。具体的に、切換部13は、量子化係数D51の符号ブロック全体に亘る絶対値和と差分係数D52の符号ブロック全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択する。
加算器16は、切換部13から供給された符号ブロック毎の量子化係数又は差分係数D19とメモリ17に記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数D53とを加算し、得られた量子化係数D54を差分器12に供給する。また、加算器16は、量子化係数D54をメモリ17にも供給し、以前に記憶されていた量子化係数を上書き更新する。
ここで、上述と同様に、この画像符号化装置50においても、量子化にレート制御後の結果を反映させる必要がある。そこで、レート制御部22は、符号ブロック毎の切り捨てビットプレーン数D18をメモリ17に供給する。メモリ17は、レート制御部22から供給された切り捨てビットプレーン数D18を用いて、レート制御の結果としての量子化ステップサイズΔを上述した式(3)のように求め、この量子化ステップサイズΔを用いて、記憶されている量子化係数を修正する。上述した加算器16では、この修正後の量子化係数D53と量子化係数又は差分係数D19とを加算する。
以上のように、第3の実施の形態における画像符号化装置50では、上述した第1,第2の実施の形態のようにウェーブレット変換係数をメモリ17に記憶しておくのではなく、量子化係数を記憶しておくようにしている。量子化係数の方がウェーブレット変換係数よりもビット精度が小さくて済むため、ハードウェア、ソフトウェアで実現した場合の規模を小さくすることができる。
なお、上述の説明では、切換部13は、量子化係数D51の符号ブロック全体に亘る絶対値和と差分係数D52の符号ブロック全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択するものとしたが、これに限定されるものではない。
例えば、量子化係数D51の符号ブロック毎の有効ビットプレーン数と差分係数D52の符号ブロック毎の有効ビットプレーン数とを計算し、何れか小さい方の係数を選択するようにしても構わない。なお、有効ビットプレーンとは、符号ブロック毎のビットプレーンのうち符号化されないゼロビットプレーンとレート制御部22で切り捨てられるビットプレーンとを除いたもの、すなわち最終的な符号化コードストリームD23に含まれることになるビットプレーンを示す。
この場合、ビットモデリング部20よりも前段で量子化係数D51又は差分係数D52をビットプレーンに展開する必要があるが、有効ビットプレーン数は発生符号量と深い関係にあるため、フレーム内符号化を行うかフレーム間符号化を行うかの判断を高精度に行うことが可能となり、その結果、発生符号量を抑制することができる。
また、量子化係数D51の符号ブロック毎のビットプレーンと差分係数D52の符号ブロック毎のビットプレーンとについて、各ビットプレーンで初めて有意となる係数ビット、すなわちそのビットプレーンにおける値が「1」であり、それより上位のビットプレーンにおける値が「0」である係数ビットの個数を重み付け加算し、得られた計算結果が小さい方の係数を選択するようにしても構わない。
具体的には、図12に示すように、有意係数個数算出部60,61において、それぞれ量子化係数D51及び差分係数D52の各ビットプレーンで初めて有意となる係数ビットの個数を計算し、有意係数の個数D60,D61をそれぞれパラメータ値計算部62,63に供給する。パラメータ値計算部62,63は、有意係数の個数D60,D61に所定のパラメータD64を乗算した値D62,D63を比較部64に供給し、比較部64は、これらの値D62,D63の何れか小さい方の係数を出力する。
この場合、量子化係数D51又は差分係数D52をビットプレーンに展開し、さらにビットモデリングを行う必要があるが、フレーム内符号化を行うかフレーム間符号化を行うかの判断をさらに高精度に行うことが可能となり、その結果、発生符号量を抑制することができる。
(4)第4の実施の形態
次に、第4の実施の形態における画像復号装置の概略構成を図13に示す。図13に示す画像復号装置70は、逆フォーマット部71と、算術復号部73と、ビットデモデリング部74と、符号ブロック合成部75と、逆量子化部76と、加算部77と、メモリ78と、切換部79と、ウェーブレット逆変換部80とから構成されている。ここで、算術復号部73とビットデモデリング部74とにより、EBCOT復号部72が構成される。なお、この画像復号装置70は、第1の実施の形態における画像符号化装置10に対応するものである。
逆フォーマット部71は、符号化コードストリームD70を入力して各種符号化情報に分解し、符号ブロック毎の算術符号列D71をEBCOT復号部72を構成する算術復号部73に供給する。
算術復号部73は、算術符号列D71を算術復号して係数ビット毎のシンボル及びコンテキストD72を生成し、ビットデモデリング部74は、この係数ビット毎のシンボル及びコンテキストD72からビットプレーン単位のバイナリデータを復元する。これは、実際には量子化係数D73になっている。ビットデモデリング部74は、この量子化係数D73を符号ブロック合成部75に供給する。
符号ブロック合成部75は、符号ブロック毎の量子化係数D73を合成してフレーム毎の量子化係数D74を生成し、このフレーム毎の量子化係数D74を逆量子化部76に供給する。
逆量子化部76は、符号ブロック合成部75から供給されたフレーム毎の量子化係数D74を逆量子化してウェーブレット変換係数D75に変換し、このウェーブレット変換係数D75を加算部77及び切換部79に供給する。
加算部77は、逆量子化部76から供給されたウェーブレット変換係数D75とメモリ78に記憶されていたウェーブレット変換係数D76とを加算し、加算係数D77を切換部79に供給する。
切換部79は、符号化コードストリームD70の例えばコメントマーカ(COM)に含まれていた切換情報に基づいて、ウェーブレット変換係数D75と加算係数D77とを切り換え、ウェーブレット変換係数又は加算係数D78をウェーブレット逆変換部80に供給する。なお、このウェーブレット変換係数又は加算係数D78はメモリ78にも供給され、メモリ78で記憶される。
ウェーブレット逆変換部80は、ウェーブレット変換係数又は加算係数D78を逆変換して最終的な復号画像D79を生成し、この復号画像D79を外部に出力する。
以上のように、第4の実施の形態における画像復号装置70では、画像符号化装置において先行フレームのウェーブレット変換係数と現フレームのウェーブレット変換係数との差分を計算し、フレーム内符号化とフレーム間符号化とをフレーム毎に切り換えて行った場合であっても、符号化コードストリームD70に含まれる切換情報を参照することで、元の復号画像を復元することができる。特に、この画像符号化装置70では、MPEG方式のような動き予測を行うのではなく、加算計算のみを行っているため、MPEG方式よりも復号処理を高速化することができる。
(5)第5の実施の形態
次に、第5の実施の形態における画像復号装置の概略構成を図14に示す。図14に示す画像復号装置90は、基本構造を図13に示した画像復号装置70と同様とするが、ウェーブレット逆変換部80の直前に符号ブロック合成部75が配置され、符号ブロック毎に加算計算を行う点に特徴を有している。したがって、先に図13に示した画像復号装置70と同様の構成については同一符号を付して詳細な説明を省略する。なお、この画像復号装置90は、第2の実施の形態における画像符号化装置30に対応するものである。
画像復号装置90において、逆量子化部76は、ビットデモデリング部74から供給された符号ブロック毎の量子化係数D73を逆量子化して符号ブロック毎のウェーブレット変換係数D90に変換し、このウェーブレット変換係数D90を加算部77及び切換部79に供給する。
加算部77は、逆量子化部76から供給されたウェーブレット変換係数D90とメモリ78に記憶されていたウェーブレット変換係数D91とを加算し、加算係数D92を切換部79に供給する。なお、ウェーブレット変換係数D91は、逆量子化部76から供給されたウェーブレット変換係数D90と同一位置の符号ブロックにおける係数である。
切換部79は、符号化コードストリームD70の例えばコメントマーカ(COM)に含まれていた切換情報に基づいて、ウェーブレット変換係数D90と加算係数D92とを切り換え、ウェーブレット変換係数又は加算係数D93を符号ブロック合成部75に供給する。なお、このウェーブレット変換係数又は加算係数D93はメモリ78にも供給され、メモリ78で記憶される。
符号ブロック合成部75は、符号ブロック毎のウェーブレット変換係数又は加算係数D93を合成してフレーム毎のウェーブレット変換係数D94を生成し、このフレーム毎のウェーブレット変換係数D94をウェーブレット変換部80に供給する。
ウェーブレット逆変換部80は、フレーム毎のウェーブレット変換係数D94を逆変換して最終的な復号画像D79を生成し、この復号画像D79を外部に出力する。
以上のように、第5の実施の形態における画像復号装置90では、画像符号化装置において先行フレームのウェーブレット変換係数と現フレームのウェーブレット変換係数との差分を計算し、フレーム内符号化とフレーム間符号化とを符号ブロック毎に切り換えて行った場合であっても、符号化コードストリームD70に含まれる切換情報を参照することで、元の復号画像を復元することができる。
(6)第6の実施の形態
次に、第6の実施の形態における画像復号装置の概略構成を図15に示す。図15に示す画像復号装置110は、基本構造を図13,14に示した画像復号装置70,90と同様とするが、切換部79の直後に逆量子化部76が配置され、量子化係数同士の加算計算を行う点に特徴を有している。したがって、先に図13,14に示した画像復号装置70.90と同様の構成については同一符号を付して詳細な説明を省略する。なお、この画像復号装置110は、第3の実施の形態における画像符号化装置50に対応するものである。
画像復号装置110において、ビットデモデリング部74は、符号ブロック毎の量子化係数D73を加算部77及び切換部79に供給する。
加算部77は、ビットデモデリング部74から供給された符号ブロック毎の量子化係数D73とメモリ78に記憶されていた量子化係数D110とを加算し、加算係数D111を切換部79に供給する。なお、量子化係数D110は、ビットデモデリング部74から供給された量子化係数D73と同一位置の符号ブロックにおける係数である。
切換部79は、符号化コードストリームD70の例えばコメントマーカ(COM)に含まれていた切換情報に基づいて、量子化係数D73と加算係数D111とを切り換え、量子化係数又は加算係数D112を符号ブロック合成部75に供給する。なお、この量子化係数又は加算係数D112はメモリ78にも供給され、メモリ78で記憶される。
符号ブロック合成部75は、符号ブロック毎の量子化係数又は加算係数D112を合成してフレーム毎の量子化係数D113を生成し、このフレーム毎の量子化係数D113を逆量子化部76に供給する。
逆量子化部76は、符号ブロック合成部75から供給されたフレーム毎の量子化係数D113を逆量子化してウェーブレット変換係数D78に変換し、このウェーブレット変換係数D78をウェーブレット逆変換部80に供給する。
ウェーブレット逆変換部80は、ウェーブレット変換係数D78を逆変換して最終的な復号画像D79を生成し、この復号画像D79を外部に出力する。
以上のように、第6の実施の形態における画像復号装置110では、画像符号化装置において先行フレームの量子化係数と現フレームの量子化係数との差分を計算し、フレーム内符号化とフレーム間符号化とを符号ブロック毎に切り換えて行った場合であっても、符号化コードストリームD70に含まれる切換情報を参照することで、元の復号画像を復元することができる。
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、上述の画像符号化装置10,30,50では、ビットプレーン単位でレート制御を行うものとして説明したが、これに限定されるものではなく、符号化パス単位でレート制御を行うようにしても構わない。
第1の実施の形態における画像符号化装置の概略構成を示す図である。 3回ウェーブレット変換した場合のサブバンドを説明する図である。 実際の画像をウェーブレット変換した場合のサブバンドを説明する図である。 符号ブロックとサブバンドとの関係を説明する図である。 ビットプレーンを説明する図であり、同図(A)は、計16個の係数から成る量子化係数を示し、同図(B)は、係数の絶対値のビットプレーンを示し、同図(C)は、符号のビットプレーンを示す。 符号ブロック内の符号化パスの処理手順を説明する図である。 符号ブロック内の係数のスキャン順序を説明する図である。 係数ビットの有意、非有意を説明する図である。 15フレーム毎にフレーム内符号化を行うフレームを設けた例を示す図である。 第2の実施の形態における画像符号化装置の概略構成を示す図である。 第3の実施の形態における画像符号化装置の概略構成を示す図である。 同画像符号化装置において、各ビットプレーンの有意係数の個数によってフレーム内符号化又はフレーム間符号化を切り換える場合における切換部の概略構成を示す図である。 第4の実施の形態における画像復号装置の概略構成を示す図である。 第5の実施の形態における画像復号装置の概略構成を示す図である。 第6の実施の形態における画像復号装置の概略構成を示す図である。
符号の説明
10,30,50 画像符号化装置、11 ウェーブレット変換部、12 差分器、13 切換部、14 量子化部、15 逆量子化部、16 加算器、17 メモリ、18 符号ブロック化部、19 EBCOT部、20 ビットモデリング部、21 算術符号化部、22 レート制御部、23 フォーマット部、70,90,110 画像復号装置、71 逆フォーマット部、72 EBCOT復号部、73 算術復号部、74 ビットデモデリング部、75 符号ブロック合成部、76 逆量子化部、77 加算部、78 メモリ、79 切換部、80 ウェーブレット逆変換部

Claims (26)

  1. 動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換手段と、
    上記入力フレームのウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数との差分を計算し、差分フレームのウェーブレット変換係数を生成する差分計算手段と、
    上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を切り換えて出力する切換手段と、
    上記切換手段から出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化手段と、
    上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化手段と、
    上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新手段と、
    上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成手段と、
    上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開手段と、
    上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成手段と、
    上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
    上記符号化手段によって生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット手段と
    を備えることを特徴とする画像符号化装置。
  2. 上記切換手段は、上記入力フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和と、上記差分フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和とを比較し、何れか小さい方のウェーブレット変換係数を出力することを特徴とする請求項1記載の画像符号化装置。
  3. 上記符号化手段によって生成された算術符号に基づいて、所定の目標符号量になるように一部のビットプレーン又は符号化パスを切り捨てる符号量制御手段をさらに備えることを特徴とする請求項1記載の画像符号化装置。
  4. 上記符号量制御手段は、切り捨てたビットプレーン数又は符号化パス数に関する切り捨て情報を上記逆量子化手段に出力し、
    上記逆量子化手段は、上記切り捨て情報に基づいて上記量子化係数を逆量子化する
    ことを特徴とする請求項3記載の画像符号化装置。
  5. 上記フォーマット手段は、上記切換手段において上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れを選択したかを示す切換情報を上記符号化コードストリーム中に含めることを特徴とする請求項1記載の画像符号化装置。
  6. JPEG2000方式に従って入力フレームを符号化するものであって、
    上記フォーマット手段は、上記切換情報を上記符号化コードストリーム中のコメントマーカで記述することを特徴とする請求項5記載の画像符号化装置。
  7. 上記差分計算手段は、上記動画像の所定数のフレーム間隔で差分計算を行わないことを特徴とする請求項1記載の画像符号化装置。
  8. 動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換工程と、
    上記入力フレームのウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数との差分を計算し、差分フレームのウェーブレット変換係数を生成する差分計算工程と、
    上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を切り換えて出力する切換工程と、
    上記切換工程にて出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化工程と、
    上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化工程と、
    上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新工程と、
    上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成工程と、
    上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開工程と、
    上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成工程と、
    上記符号化パス生成工程にて生成された上記符号化パスを算術符号化する符号化工程と、
    上記符号化工程にて生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット工程と
    を有することを特徴とする画像符号化方法。
  9. 動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換手段と、
    上記ウェーブレット変換係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成手段と、
    上記入力フレームの各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数との差分を符号ブロック毎に計算し、差分フレームのウェーブレット変換係数を符号ブロック毎に生成する差分計算手段と、
    上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
    上記切換手段から出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化手段と、
    上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化手段と、
    上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新手段と、
    上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開手段と、
    上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成手段と、
    上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
    上記符号化手段によって生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット手段と
    を備えることを特徴とする画像符号化装置。
  10. 上記切換手段は、上記入力フレームのウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和と、上記差分フレームのウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和とを比較し、何れか小さい方のウェーブレット変換係数を出力することを特徴とする請求項9記載の画像符号化装置。
  11. 動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換工程と、
    上記ウェーブレット変換係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成工程と、
    上記入力フレームの各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数との差分を符号ブロック毎に計算し、差分フレームのウェーブレット変換係数を符号ブロック毎に生成する差分計算工程と、
    上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
    上記切換工程にて出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化工程と、
    上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化工程と、
    上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新工程と、
    上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開工程と、
    上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成工程と、
    上記符号化パス生成工程にて生成された上記符号化パスを算術符号化する符号化工程と、
    上記符号化工程にて生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット工程と
    を有することを特徴とする画像符号化方法。
  12. 動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換手段と、
    上記ウェーブレット変換係数を量子化し、量子化係数を生成する量子化手段と、
    上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成手段と、
    上記入力フレームの各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数との差分を符号ブロック毎に計算し、差分フレームの量子化係数を符号ブロック毎に生成する差分計算手段と、
    上記入力フレームの量子化係数及び上記差分フレームの量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
    上記切換手段から出力された上記入力フレームの量子化係数又は上記差分フレームの量子化係数と上記メモリに記憶されていた上記先行フレームの量子化係数とを加算し、加算後の量子化係数で上記メモリに記憶されていた上記先行フレームの量子化係数を更新する更新手段と、
    上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開手段と、
    上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成手段と、
    上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
    上記符号化手段によって生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット手段と
    を備えることを特徴とする画像符号化装置。
  13. 上記切換手段は、上記入力フレームの量子化係数の当該符号ブロック全体に亘る絶対値和と、上記差分フレームの量子化係数の当該符号ブロック全体に亘る絶対値和とを比較し、何れか小さい方の量子化係数を出力することを特徴とする請求項12記載の画像符号化装置。
  14. 上記切換手段は、上記入力フレームの各符号ブロックにおける量子化係数を展開した複数のビットプレーンのうち、最終的に上記符号化コードストリームに含まれるビットプレーンの数が少ない方の量子化係数を出力することを特徴とする請求項12記載の画像符号化装置。
  15. 上記切換手段は、上記入力フレーム及び上記差分フレームの各符号ブロックにおける量子化係数を複数のビットプレーンに展開し、そのビットプレーンにおける値が1であり、それより上位のビットプレーンにおける値が0である係数ビットの数を上記ビットプレーン毎に計数し、当該計数値に所定のパラメータを乗算した値が小さい方の量子化係数を出力することを特徴とする請求項12記載の画像符号化装置。
  16. 動画像を構成する複数フレームのうちの1つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換工程と、
    上記ウェーブレット変換係数を量子化し、量子化係数を生成する量子化工程と、
    上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成工程と、
    上記入力フレームの各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数との差分を符号ブロック毎に計算し、差分フレームの量子化係数を符号ブロック毎に生成する差分計算工程と、
    上記入力フレームの量子化係数及び上記差分フレームの量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
    上記切換工程にて出力された上記入力フレームの量子化係数又は上記差分フレームの量子化係数と上記メモリに記憶されていた上記先行フレームの量子化係数とを加算し、加算後の量子化係数で上記メモリに記憶されていた上記先行フレームの量子化係数を更新する更新工程と、
    上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開工程と、
    上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成工程と、
    上記符号化パス生成工程にて生成された上記符号化パスを算術符号化する符号化工程と、
    上記符号化工程にて生成された算術符号をフォーマット化して符号コードストリームを生成するフォーマット工程と
    を有することを特徴とする画像符号化方法。
  17. 動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号装置であって、
    上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット手段と、
    上記算術符号を復号する復号手段と、
    ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
    最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元手段と、
    上記符号ブロック毎の量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成手段と、
    上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化手段と、
    上記逆量子化手段によって生成されたウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数とを加算する加算手段と、
    上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新手段と、
    上記所定のパラメータに基づいて、上記逆量子化手段によって生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を切り換えて出力する切換手段と、
    上記切換手段から出力されたウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換手段と
    を備えることを特徴とする画像復号装置。
  18. 上記所定のパラメータは、各フレームに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示すものであることを特徴とする請求項17記載の画像復号装置。
  19. JPEG2000方式に従って上記符号化コードストリームを復号するものであって、
    上記所定のパラメータは、上記符号化コードストリーム中のコメントマーカで記述されていることを特徴とする請求項17記載の画像復号装置。
  20. 動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号方法であって、
    上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット工程と、
    上記算術符号を復号する復号工程と、
    ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
    最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元工程と、
    上記符号ブロック毎の量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成工程と、
    上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化工程と、
    上記逆量子化工程にて生成されたウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数とを加算する加算工程と、
    上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新工程と、
    上記所定のパラメータに基づいて、上記逆量子化工程にて生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を切り換えて出力する切換工程と、
    上記切換工程にて出力されたウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換工程と
    を有することを特徴とする画像復号方法。
  21. 動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号装置であって、
    上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット手段と、
    上記算術符号を復号する復号手段と、
    ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
    最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元手段と、
    上記符号ブロック毎の量子化係数を逆量子化して符号ブロック毎のウェーブレット変換係数を生成する逆量子化手段と、
    上記逆量子化手段によって生成された各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数とを加算する加算手段と、
    上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数を更新する更新手段と、
    上記所定のパラメータに基づいて、上記逆量子化手段によって生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
    上記切換手段から出力されたウェーブレット変換係数を集めてフレーム毎のウェーブレット変換係数を生成する符号ブロック合成手段と、
    上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換手段と
    を備えることを特徴とする画像復号装置。
  22. 上記所定のパラメータは、各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示すものであることを特徴とする請求項21記載の画像復号装置。
  23. 動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号方法であって、
    上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット工程と、
    上記算術符号を復号する復号工程と、
    ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
    最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元工程と、
    上記符号ブロック毎の量子化係数を逆量子化して符号ブロック毎のウェーブレット変換係数を生成する逆量子化工程と、
    上記逆量子化工程にて生成された各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数とを加算する加算工程と、
    上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数を更新する更新工程と、
    上記所定のパラメータに基づいて、上記逆量子化工程にて生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
    上記切換工程にて出力されたウェーブレット変換係数を集めてフレーム毎のウェーブレット変換係数を生成する符号ブロック合成工程と、
    上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換工程と
    を有することを特徴とする画像復号方法。
  24. 動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号装置であって、
    上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット手段と、
    上記算術符号を復号する復号手段と、
    ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
    最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元手段と、
    上記符号ブロック復元手段によって復元された各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数とを加算する加算手段と、
    上記加算結果の量子化係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおける量子化係数を更新する更新手段と、
    上記所定のパラメータに基づいて、上記符号ブロック毎の量子化係数及び上記加算結果の量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
    上記切換手段から出力された量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成手段と、
    上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化手段と、
    上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換手段と
    を備えることを特徴とする画像復号装置。
  25. 上記所定のパラメータは、各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示すものであることを特徴とする請求項24記載の画像復号装置。
  26. 動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号方法であって、
    上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット工程と、
    上記算術符号を復号する復号工程と、
    ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
    最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元工程と、
    上記符号ブロック復元工程にて復元された各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数とを加算する加算工程と、
    上記加算結果の量子化係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおける量子化係数を更新する更新工程と、
    上記所定のパラメータに基づいて、上記符号ブロック毎の量子化係数及び上記加算結果の量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
    上記切換工程にて出力された量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成工程と、
    上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化工程と、
    上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換工程と
    を有することを特徴とする画像復号方法。
JP2004037390A 2004-02-13 2004-02-13 画像符号化装置及び方法、並びに画像復号装置及び方法 Pending JP2005229441A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004037390A JP2005229441A (ja) 2004-02-13 2004-02-13 画像符号化装置及び方法、並びに画像復号装置及び方法
US11/050,620 US20050265613A1 (en) 2004-02-13 2005-02-02 Image coding apparatus and method, and image decoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004037390A JP2005229441A (ja) 2004-02-13 2004-02-13 画像符号化装置及び方法、並びに画像復号装置及び方法

Publications (1)

Publication Number Publication Date
JP2005229441A true JP2005229441A (ja) 2005-08-25

Family

ID=35003803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004037390A Pending JP2005229441A (ja) 2004-02-13 2004-02-13 画像符号化装置及び方法、並びに画像復号装置及び方法

Country Status (2)

Country Link
US (1) US20050265613A1 (ja)
JP (1) JP2005229441A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010516162A (ja) * 2007-01-29 2010-05-13 サムスン エレクトロニクス カンパニー リミテッド 直列通信システムにおける直列データの送受信方法及び装置とこのための直列通信システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279850A (ja) * 2005-03-30 2006-10-12 Sanyo Electric Co Ltd 画像処理装置
KR100677446B1 (ko) * 2005-03-31 2007-02-02 엘지전자 주식회사 휴대단말기의 영상신호 압축 코딩장치 및 방법
US8503806B2 (en) * 2005-09-06 2013-08-06 Megachips Corporation Compression encoder, compression encoding method and program
WO2009053780A2 (en) * 2007-10-26 2009-04-30 Zoran (France) Frame buffer compression for video processing devices
WO2020132853A1 (en) 2018-12-25 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010516162A (ja) * 2007-01-29 2010-05-13 サムスン エレクトロニクス カンパニー リミテッド 直列通信システムにおける直列データの送受信方法及び装置とこのための直列通信システム

Also Published As

Publication number Publication date
US20050265613A1 (en) 2005-12-01

Similar Documents

Publication Publication Date Title
JP4273996B2 (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法
US6519284B1 (en) Encoding method for the compression of a video sequence
JP3702778B2 (ja) 画像符号化装置及び方法
TWI521890B (zh) Image coding apparatus, method and program, and image decoding apparatus, method and program
JP4656190B2 (ja) 情報処理装置および方法
JP2003319185A (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法
JP2001326936A (ja) 画像符号化装置及び方法
CN101321283B (zh) 兼容不同大小块变换的编解码方法及编解码器
JP2004304656A (ja) 画像圧縮装置、画像圧縮方法、プログラム及び記録媒体
JP2008306510A (ja) 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
JP2004166254A (ja) 画像符号化装置及び方法、並びにプログラム及び記録媒体
US20050265613A1 (en) Image coding apparatus and method, and image decoding apparatus and method
JP2005110185A (ja) 画像符号化装置及び方法
US8279932B2 (en) Information processing apparatus and method
JP4003628B2 (ja) 画像符号化装置及び方法、並びにプログラム
JP3853708B2 (ja) デジタル画像符号化装置および符号化方法ならびにプログラム
JP6992825B2 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP2004328508A (ja) 画像符号化装置及び方法、画像復号装置及び方法、誤り訂正符号化装置及び方法、並びに誤り訂正復号装置及び方法
JP2004064104A (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4367113B2 (ja) 画像符号化装置及び方法
JP4379527B2 (ja) 符号化装置及び方法
JPH09331527A (ja) 画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び記録媒体
JP2021002724A (ja) 画像符号化装置及び画像復号装置及び方法及びプログラム
JP2011151524A (ja) 画像処理装置および方法
JP2005159859A (ja) 画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090630