JP2010118729A - 画像復号化装置と画像復号化方法およびコンピュータ・プログラム - Google Patents

画像復号化装置と画像復号化方法およびコンピュータ・プログラム Download PDF

Info

Publication number
JP2010118729A
JP2010118729A JP2008288604A JP2008288604A JP2010118729A JP 2010118729 A JP2010118729 A JP 2010118729A JP 2008288604 A JP2008288604 A JP 2008288604A JP 2008288604 A JP2008288604 A JP 2008288604A JP 2010118729 A JP2010118729 A JP 2010118729A
Authority
JP
Japan
Prior art keywords
coefficient
correction value
significant
bit plane
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008288604A
Other languages
English (en)
Other versions
JP5151919B2 (ja
JP2010118729A5 (ja
Inventor
Hiroshi Ikeda
広志 池田
Yuji Wada
祐司 和田
Kazuhiro Shimauchi
和博 嶋内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008288604A priority Critical patent/JP5151919B2/ja
Priority to US12/615,409 priority patent/US8406542B2/en
Priority to CN2009102110895A priority patent/CN101742309B/zh
Publication of JP2010118729A publication Critical patent/JP2010118729A/ja
Publication of JP2010118729A5 publication Critical patent/JP2010118729A5/ja
Application granted granted Critical
Publication of JP5151919B2 publication Critical patent/JP5151919B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】ビットプレーン切り捨てによって再生画像に生じる違和感や不明瞭感を安定的に抑制する。
【解決手段】有意係数検出部241は、符号化ストリームを復号化処理して得られた変換係数が有意であるか否か検出する。補正値テーブル243には、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値を、ビットプレーン切り捨て位置毎に格納しておく。補正値取得部242は、有意とされた変換係数におけるビットプレーン切り捨て位置に対応する補正値を補正値テーブル243から取得する。係数補正処理部244は、有意とされた変換係数についてのみ、補正値作成部242で作成された補正値を用いて変換係数の係数補正処理を行う。
【選択図】 図7

Description

この発明は、画像復号化装置と画像復号化方法およびコンピュータ・プログラムに関する。詳しくは、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成された補正値が、ビットプレーン切り捨て位置毎に格納されている補正値テーブルを用いるものとして、符号化ストリームを復号化処理して得られた変換係数の補正を、ビットプレーン切り捨て位置に対応して補正テーブルから読み出した補正値を用いて行うことで、再生画像に生じる違和感や不明瞭感を安定的に抑制するものである。
従来の画像圧縮方式として、例えばISO(International Standards Organization)によって標準化されたJPEG方式がある。これは、離散コサイン変換(DCT;Discrete Cosine Transform)を用い、比較的高いビットが割り当てられる場合には、良好な符号化 画像および復号画像を供することが知られている。また、近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、帯域毎に符号化を行う例えばウェーブレット変換符号化が用いられている。このウェーブレット変換符号化は、DCTのように高圧縮でブロック歪みが顕著になるという欠点がないことから、DCTに代わる新たな技術として有力視されている。
このようなウェーブレット変換符号化を用いる画像圧縮方式として、JPEG−2000方式が標準化されている。JPEG−2000方式は、ウェーブレット変換にビットプレーン符号化を組み合わせた方式であり、JPEGに比べて符号化効率の大きな改善を実現している。
また、JPEG−2000方式を用いたとき、目標の符号量を得ることができるように、特許文献1では、生成された符号化ストリームデータを後尾から切り捨てるビットプレーン切り捨てを行うことでレート制御が可能とされている。また、特許文献2では、ビットプレーン切り捨てが行われた符号化ストリームデータを用いて復号化を行うとき、切り捨てられたビット数で表現できる乱数を生成してウェーブレット係数に加算することで、再生画像に生じる違和感や不明瞭感を抑制することが行われている。また、特許文献3では、復号化画像データにノイズを疑似信号として含めることにより、非可逆圧縮の過程で喪失した信号成分を代替して、符号化時の信号喪失による画質低下を改善することが行われている。また、切り捨てられたビット数で表現可能な値のほぼ中央の値を、切り捨てられたビットが示していた値として用いることも行われる。
特開2002−165098号公報 特開2004−260539号公報 特開2002−204357号公報
ところで、ウェーブレット係数に加算される乱数や復号化画像データに含められるノイズ、および切り捨てられたビット数で表現可能な値のほぼ中央の値等は、符号化前の画像と関連性が全くないことから、ビットプレーン切り捨てによって再生画像に生じる違和感等を安定して抑制することが困難である。
そこで、この発明では、ビットプレーン切り捨てによって再生画像に生じる違和感や不明瞭感を安定的に抑制することができる、画像復号化装置と画像復号化方法およびコンピュータ・プログラムを提供するものである。
この発明の第1の側面は、画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、該符号化ストリームにおけるビットプレーン切り捨て位置の情報を取得する情報取得部と、前記符号化ストリームを復号化処理して変換係数を生成する復号化処理部と、前記復号化処理部で生成された変換係数が有意であるか否か検出する有意係数検出部と、前記有意係数検出部で有意と検出された変換係数におけるビットプレーン切り捨て位置に対応する補正値を、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値がビットプレーン切り捨て位置毎に格納されている補正値テーブルから取得する補正値取得部と、記有意係数検出部で有意と検出された変換係数についてのみ、前記補正値取得部で取得された補正値を用いて変換係数の係数補正処理を行う係数補正処理部とを有する画像復号化装置にある。
この発明においては、画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、該符号化ストリームにおけるビットプレーン切り捨て位置の情報が取得される。また、補正値テーブルには、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値、すなわち、ビットプレーン切り捨てによって切り捨てられる係数値の分布を代表する中心の値が、ビットプレーン切り捨て位置や入力画像データの特徴であるコンテキスト、例えばシグニフィカントビット位置、色成分情報、周波数成分情報のいずれか、またはその組み合わせ毎に格納される。符号化ストリームを復号化処理して得られた変換係数は、ビットプレーン切り捨て位置やコンテキストに応じて補正値テーブルから取得された補正値を用いて補正される。この補正後の変換係数が出力画像データに逆変換されて出力される。
また、この発明の第2の側面は、情報取得部によって、画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、前記符号化ストリームにおけるビットプレーン切り捨て位置の情報を取得するステップと、復号化処理部によって、前記符号化ストリームを復号化処理して変換係数を生成するステップと、有意係数検出部によって、前記復号化処理部で生成された変換係数が有意であるか否か検出するステップと、補正値取得部によって、前記有意係数検出部で有意と検出された変換係数におけるビットプレーン切り捨て位置に対応する補正値を、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値がビットプレーン切り捨て位置毎に格納されている補正値テーブルから取得するステップと、係数補正処理部によって、前記有意係数検出部で有意と検出された変換係数についてのみ、前記補正値取得部で取得された補正値を用いて変換係数の係数補正処理を行うステップを具備する画像復号化方法にある。
さらに、この発明の第3の側面は、コンピュータを、画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、前記符号化ストリームにおけるビットプレーン切り捨て位置の情報を取得する機能手段と、前記符号化ストリームを復号化処理して変換係数を生成する機能手段と、前記符号化ストリームを復号化処理して生成された変換係数が有意であるか否か検出する機能手段と、前記有意係数検出部で有意と検出された変換係数におけるビットプレーン切り捨て位置に対応する補正値を、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値がビットプレーン切り捨て位置毎に格納されている補正値テーブルから取得する機能手段と、前記有意とされた変換係数についてのみ、前記補正値テーブルから取得された補正値を用いて変換係数の係数補正処理を行う機能手段として機能させるためのコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
この発明によれば、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値が、ビットプレーン切り捨て位置毎に格納されている補正値テーブルを用いるものとして、符号化ストリームを復号化処理して得られた変換係数の補正が、ビットプレーン切り捨て位置に対応して補正テーブルから読み出した補正値を用いて行われる。このため、変換係数の補正が最適な補正値を用いて行われるので、ビットプレーン切り捨てによって再生画像に生じる違和感や不明瞭感を安定的に抑制することができる。
以下、発明を実施するための最良の形態について説明する。
なお、説明は以下の順序で行う。
1.画像符号化装置の構成と動作
2.画像復号化装置の第1の実施の形態
3.画像復号化装置の第2の実施の形態
4.コンピュータを用いて画像復号化を行う場合の構成と動作
<1.画像符号化装置の構成と動作>
[画像符号化装置の構成」
図1は、画像符号化装置の構成を示すブロック図である。画像符号化装置10の色変換部11は、任意のカラー空間で入力された画像データを特定のカラー空間に変換する。色変換部11は、例えばR,G,Bの画像データをY,Cb,Crなどの画像データに変換する。なお、色変換部11は必要に応じて画像符号化装置10に設けられるものである。
直交変換部12は、色変換部11によって変換された画像データの各画素値を空間座標から周波数座標に変換して変換係数を出力する。直交変換部12は、例えばウェーブレット変換(DWT)、離散コサイン変換(DCT)、離散フーリエ変換(DFT)等を行うことにより得られた変換係数を出力する。
量子化部13は、直交変換部12から出力された変換係数を量子化して、量子化された係数を出力する。なお、量子化部13は、画像符号化装置10において必ずしも必要ではない。
係数ビットモデリング部14は、量子化部13によって量子化された変換係数をエントロピー符号化部15で効率良く符号化できるように変換する処理を行う。係数ビットモデリング部14は、例えばジグザグスキャンやJPEG2000における3パスへの分解などのビットモデリングを行う。
エントロピー符号化部15は、係数ビットモデリング部14により処理されたデータをエントロピー符号化する。
ポスト量子化部16は、エントロピー符号化により得られたビットストリームのポスト量子化(「トランケーション」)を行う。ポスト量子化は、ビットストリームが目標のデータ量に達することに応じて、その後のデータを切り捨てるビットプレーン切り捨て処理である。このため、ポスト量子化部16から出力されるビットストリームを所望のデータ量に抑えることができる。ヘッダ生成部17は、ヘッダ情報を生成して、ポスト量子化部16から出力されるビットストリームに付加して出力する。
[画像符号化装置の動作」
次に、画像符号化装置10の動作として、例えば直交変換部12でウェーブレット変換を行い、係数ビットモデリング部14でビットプレーンの展開を行う場合について説明する。なお、説明を簡単とするため、量子化部13は設けられていないものとする。
ウェーブレット変換を行う場合、直交変換部12は、フィルタバンクを用いて構成されている。フィルタバンクは、例えば通常低域フィルタと高域フィルタを用いて構成されている。直交変換部12は、フィルタバンクを用いてフィルタリングを行うことによりウェーブレット変換係数を生成する。図2は、第2ステージまでウェーブレット分割したときのサブバンドを示す。ウェーブレット変換では、画像のエネルギーの多くが低域成分に集中していることから、通常、図2のように、第2レベルまでの最低域サブバンドLL2と、低高域サブバンドLH2と、高低域サブバンドHL2と、最高域サブバンドHH2のように、低域成分を繰り返し変換する手段を取る。
ウェーブレット変換のレベル数を「2」とすると、図2に示すように、第2レベルまでの最低域サブバンドLL2と、低高域サブバンドLH2と、高低域サブバンドHL2と、最高域サブバンドHH2と、第1レベルの低高域サブバンドLH1と、高低域サブバンドHL1と、最高域サブバンドHH1の計7つのサブバンドが生成される。
係数ビットモデリング部14は、変換係数を所定サイズのコードブロックに分割して、各変換係数をビットプレーンに展開する。コードブロックの縦横のサイズは4から256までの2のべき乗で、通常使用される大きさは、32×32、64×64、128×32等である。
図3は、ビットプレーンを説明するための図である。図3の(A)は、1つのコードブロックが例えば縦4個、横4個の計16個の変換係数で構成される場合を仮定している。この16個の変換係数のうち、絶対値が最大のものは13で、2進表現にすると1101になる。係数ビットモデリング部14は、変換係数の絶対値を最下位ビット(LSB:Least Significant Bit)から最上位ビット(MSB:Most Significant Bit)までの各ビットで順次スライスするようにして、各サンプルに対応する絶対値ビットプレーンを生成する。ここで、変換係数が図3の(A)に示すものである場合、絶対値ビットプレーンは、図3の(B)に示すように4つ生成される。また、係数ビットモデリング部14は、図3の(C)に示すように、変換係数の符号を示す符号ビットプレーンを生成する。
すなわち、変換係数を例えばnビットの符号付き2進数で表すものとすると、ビット0からビットn−2はLSBからMSBまでのそれぞれのビットを表し、残りの1ビットは符号を示すものとなる。したがって、係数ビットモデリング部14は、この場合、(n−1)個の絶対値ビットプレーンと1つの絶対値ビットプレーンを生成することになる。
次に、係数ビットモデリング部14は、コードブロックの符号化を、MSB側の絶対値ビットプレーンから順番に、3つの符号化パスに基づいて行う。この3つの符号化パスとしては、シグニフィカンスプロパゲーションパス(Significance Propagation Pass)、マグニチュードリファイメントパス(Magnitude Refinement Pass)、およびクリーンナップパス(Cleanup Pass)と呼ばれる符号化パスが規定されている。
シグニフィカンスプロパゲーションパスとは、有意である係数が周囲に存在している有意でない係数についての符号化である。マグニチュードリファイメントパスとは、有意である係数の符号化である。クリーンナップパスとは、シグニフィカンスプロパゲーションパスやマグニチュードリファイメントパスの係数に含まれない係数の符号化である。なお、有意であるとは、既に「0」でないと判定されている状態を示している。
3つの符号化パスは、最初にMSB側のビットプレーンがクリーンナップパスによって符号化される。続いて順次LSB側に向かい、各ビットプレーンに対して、シグニフィカンスプロパゲーションパス、マグニチュードリファイメントパス、クリーンナップパスによる符号化が順次行われる。また、初めてビットプレーンで「1」が現れるときは、極性ビット符号化を行う。なお、実際にはMSB側から何番目のビットプレーンで初めて1が出てくるかをヘッダに書き、はじめのオール0のビットプレーンは符号化しないものとする。
エントロピー符号化部15は、係数ビットモデリング部14で得られた0/1値(2進デシジョン)のエントロピー符号化を行う。エントロピー符号化部15では、例えばMQ符号化と呼ばれる算術符号が用いて2進デシジョンの符号列を無ひずみ圧縮してビットストリームを生成する。
ポスト量子化部16は、エントロピー符号化により得られたビットストリームのポスト量子化を行い、ビットストリームが目標のデータ量に達することに応じて、その後のデータを切り捨てる。ここで、ポスト量子化部16は、ビットストリームが目標のデータ量に達したとき、符号化パスの終了点を検出して、最初に検出した符号化パスの終了点をビットプレーン切り捨て位置として、その後のビットストリームを切り捨てる。したがって、ビットストリームのデータ量を目標のデータ量に抑えることができる。
ヘッダ生成部17は、コードブロック内の符号化パスの個数やビットストリームのデータ長、ビットプレーン切り捨て位置等を示すヘッダ情報を生成して、ポスト量子化部16から出力されるビットストリームに付加して、符号化ストリームとして出力する。また、ヘッダ情報には、符号化ストリームによって示される変換係数が何れの色成分の係数であるかを示す色成分情報や、何れの周波数成分の係数(何れのサブバンドの係数)であるかを示す周波数成分情報等も含めることができる。
<2.画像復号化装置の第1の実施の形態>
[画像復号化装置の構成」
図4は、画像復号化装置の構成を示すブロック図である。画像復号化装置20のヘッダ解析部21は、画像符号化装置10から出力された符号化ストリームに付加されているヘッダ情報を抽出して、ヘッダ情報の解析を行い、ビットプレーン切り捨て位置の情報を取得する。また、ヘッダ解析部21は、符号化ストリームの変換係数が何れの色成分の係数であるかを示す情報、符号化ストリームの変換係数が何れの周波数成分の係数であるかを示す情報等の取得も行う。さらに、ヘッダ解析部21は、取得した情報をエントロピー復号化部22等を介して、あるいはヘッダ解析部21から変換係数補正部24に供給する。
エントロピー復号化部22とビットモデリング復号部23は、符号化ストリームを復号化処理して変換係数を得るための復号化処理部である。エントロピー復号化部22は、エントロピー符号化部15で行われる符号化に対応した復号化を行う。このエントロピー復号化部22は、ヘッダ解析部21から供給された符号化ストリームの復号化を行い、復号化によって得られたデータをビットモデリング復号部23に供給する。
ビットモデリング復号部23は、係数ビットモデリング部14の符号化に対応した復号化を行うものである。ビットモデリング復号部23は、エントロピー復号化部22から出力されたデータに対してビットプレーンを単位とした復号化を施して変換係数を求める。
変換係数補正部24は、画像符号化装置10のポスト量子化部16で行われたビットプレーン切り捨てによる悪影響を軽減するため、ビットモデリング復号部23から出力された変換係数に対して補正処理を行う。
逆量子化部25は、量子化部13で行われる量子化に対応した逆量子化を行うものである。逆量子化部25は、量子化部13で量子化を行ったときの量子化ステップサイズを、変換係数補正部24から出力される変換係数に乗じて、逆量子化処理を行う。なお、画像符号化装置10に量子化部13が設けられておらず、量子化が行われていないときには、逆量子化部25を設けて逆量子化を行う必要がない。
逆直交変換部26は、直交変換部12の直交変換に対応した逆直交変換を行う。逆直交変換部26は、逆量子化部25から供給された変換係数を用いて逆直交変換を行い、画像データを生成する。また、逆量子化部25が設けられていない場合、逆直交変換部26は、変換係数補正部24から出力される変換係数を用いて逆直交変換を行い、画像データを生成する。
逆色変換部27は、逆直交変換部26で得られた画像データを所望のカラー空間の画像データに変換する。例えば、色変換部11でR,G,Bの画像データをY,Cb,Crの画像データに変換しており、画像復号化装置20では、画像符号化装置10に入力された画像データと同じカラー空間の画像データと出力する場合、逆色変換部27は、Y,Cb,Crの画像データをR,G,Bの画像データに変換して出力する。また、逆色変換部27は、画像復号化装置20に接続されている機器に応じたカラー空間の画像データに変換して出力するものとしてもよい。
このように構成された画像復号化装置20において、変換係数補正部24は、直交変換部12で得られる変換係数の偏りに着目し、ポスト量子化部16で切り捨てられる値を統計的に最適な値で補正する。変換係数補正部24は、このような補正を行うことで、従来の方法すなわち変換係数に乱数を加算したり復号化画像データにノイズを含める方法よりも、再生画像に生じる違和感や不明瞭感を安定的に抑制できるようにする。
図5は、自然画における変換係数の分布を例示している。変換係数の絶対値が4ビットで表現できる場合、変換係数の絶対値の発生頻度は「0」を除いて単調減少となる。このため、1ビット目、2ビット目、3ビット、4ビット目の各ビットにおいて、「0」が立つ区間の発生頻度は、「1」が立つ区間の発生頻度よりも大きい。すなわち、各位置のビットは「1」よりも「0」の方が多く発生する。
例えば4ビット目の場合、「0」が立つ区間の発生頻度は、変換係数の絶対値が「0」のときの発生頻度から絶対値が「7」のときの発生頻度までの総和である。また、「1」が立つ区間の発生頻度は、変換係数の絶対値が「8」のときの発生頻度から絶対値が「15」のときの発生頻度までの総和である。ここで、「0」が立つ区間の発生頻度は、「1」が立つ区間の発生頻度よりも大きく、4ビット目は「0」が立ちやすくなる。
このように、各ビットにおける「0」と「1」の発生頻度に偏りが生じているため、任意の切り捨て位置で切り捨てられた値は、切り捨て位置によって決まる表現可能な値の平均値よりも小さくなりやすくなる。例えばLSB側から4番目の位置「4」で切り捨てられた場合、切り捨てられた係数値の発生頻度分布は一般に図6のようになり、切り捨てられた値の平均値は、表現可能な値の平均値である「4」よりも小さい「3」に近くなる。このような偏りがある場合、補正値として「4」を使用するよりも「3」を使用した方がポスト量子化による量子化誤差の平均値は小さくなる。
したがって、これらの偏りを基に補正値テーブルを事前に作成しておき、変換係数補正部24は、作成されている補正値テーブルを用いることで、統計的に最適な補正値を決定して変換係数の補正を行う。補正値テーブルの作成では、複数の学習用画像データを画像符号化装置10で符号化したとき、ポスト量子化部16で切り捨てられた値を統計的に処理して最適な補正値を決定する。具体的には、ポスト量子化部16で切り捨てられた値の分布を求めて、この分布を代表する中心の値を格納する。分布を代表する中心の値としては、例えば平均値を用いる。また、分布を代表する中心の値として最頻値や中央値を補正値として用いるものとしてもよい。
図7は、変換係数補正部24の構成を示している。変換係数補正部24の有意係数検出部241は、ビットモデリング復号部23から出力される変換係数が有意であるか否か、つまり「0」でないか否か検出して、検出結果を補正値取得部242に出力する。
補正値取得部242は、ヘッダ解析部21から供給されたビットプレーン切り捨て位置情報と有意係数検出部241から出力された検出結果に基づき補正値の取得を行う。補正値取得部242は、ビットプレーン切り捨て位置に対応した補正値を補正値テーブル243から取得して、この補正値を有意係数検出部241で有意と判断された係数に対する補正値とする。また、補正値作成部242は、有意係数検出部241で有意でないと判断された係数の補正値を「0」とする。
補正値テーブル243は、補正値取得部242からビットプレーン切り捨て位置が示されたとき、ビットプレーン切り捨て位置に対応した補正値を一意に出力する。
係数補正処理部244は、ビットモデリング復号部23から供給された変換係数に補正値取得部242で取得した補正値を加算して変換係数の補正を行い、補正後の変換係数を逆直交変換部26に出力する。
次に、変換係数補正部24の動作について説明する。以下の説明では、図8の(A)に示す変換係数に対して切り捨てが行われた図8の(B)に変換係数の補正を行うものとする。例えば、切り捨て前の変換係数が「52,242,12,3,98,105」であり、ビットプレーン切り捨て位置が「5,5,3,3,3,4」とされた場合、切り捨て後であって補正前の変換係数は「48,240,12,0,96,104」となっている。
変換係数補正部24の補正値テーブル243は、ビットプレーン切り捨て位置毎に最適な補正値を示すものである。この最適な補正値は、複数の学習用画像データを符号化したときにビットプレーン切り捨て位置毎に切り捨てられた値を統計的に処理して設定した値である。図9は、補正値テーブル243を例示したものである。補正値テーブル243は、例えばビットプレーン切り捨て位置が「10」,「9」,「8」,・・・,「1」であるとき補正値「148」,「91」,「52」,・・・,「0」を出力する。
図10は、変換係数補正部24の動作を示すフローチャートである。ステップST1で変換係数補正部24は、変換係数とビットプレーン切り捨て位置の入力を行う。変換係数補正部24は、ヘッダ解析部21から供給されたビットプレーン切り捨て位置情報に基づき、ビットモデリング復号部23から供給された変換係数におけるビットプレーン切り捨て位置を判別して、変換係数とビットプレーン切り捨て位置を係数毎に用いるものしてステップST2に進む。
ステップST2で変換係数補正部24は、変換係数が「0」より大きいか否かを判別する。変換係数補正部24は、変換係数が「0」より大きい場合はステップST3に進み、変換係数が「0」の場合はステップST4に進む。
ステップST3で変換係数補正部24は、補正値テーブルから補正値を取得する。変換係数補正部24は、補正値テーブル243からビットプレーン切り捨て位置情報に対応した補正値を取得してステップST5に進む。
ステップST4で変換係数補正部24は、補正値を「0」としてステップST5に進む。
ステップST5で変換係数補正部24は、補正値を用いて変換係数の補正を行う。変換係数補正部24は、変換係数にステップST3またはステップST4で取得された補正値を加算して、変換係数の補正を行いステップST6に進む。
ステップST6で変換係数補正部24は、全ての変換係数の補正が終了したか否か判別する。変換係数補正部24は、全ての変換係数の補正が終了していないときステップST1に戻り、新たな変換係数の補正を行う。また、変換係数補正部24は、全ての変換係数の補正が終了したとき、変換係数の補正動作を終了する。
したがって、図11の(A)に示すように、変換係数が「48,240,12,0,96,104」で、ビットプレーン切り捨て位置が「5,5,3,3,3,4」の場合、補正値テーブルから出力される補正値はそれぞれ「7,7,2,2,2,3」となる。また、変換係数が「0」のときは補正値が「0」とされる。したがって、変換係数「48,240,12,0,96,104」に加算される補正値は「7,7,2,0,2,3」となり、補正後の変換係数は、図11の(B)に示すように、変換係数「55,247,14,0,98,107」となる。
なお、図11の(C)は、切り捨てられたビット数で表現できる数字のほぼ中央の値を、切り捨てられたビットが示していた値とする従来の手法で変換係数の補正を行った場合を例示している。例えば、切り捨てられたビット範囲の最上位ビットのみを「1」とすると、切り捨てられたビット数で表現できる数字のほぼ中央の値を示すものとなる。この場合、補正後の変換係数は「56,248,14,0,98,108」となる。
このように、補正値テーブルには、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値を格納しておき、補正値は、ビットプレーン切り捨て位置に対応した補正値を補正値テーブルから読み出すものとする。このようにして得た補正値を用いて変換係数の補正を行うことで、従来よりも変換係数を最適な値に補正することができるようになる。例えば、図11の(B)に示す補正後の変換係数は、図11の(C)に示す補正後の変換係数よりも、図8の(A)に示すビットプレーン切り捨て前の変換係数に近い値であり、従来よりも変換係数を最適な値に補正できる。したがって、ビットプレーン切り捨てに起因して画像に生じる違和感や不明瞭感を安定的に抑制することが可能となる。
<3.画像復号化装置の第2の実施の形態>
ところで、上述の変換係数補正部24は、ビットプレーン切り捨て位置に応じて切り捨てられた値を統計的に処理して最適な補正値を決定するものとしたが、切り捨てられた値の分布は、入力された変換係数の特徴、例えばシグニフィカントビット(Significant Bit)位置、色成分情報、周波数情報などによって異なる。ここで、シグニフィカントビット位置とは、対象とする変換係数のMSB(最上位ビット)からLSB(最下位ビット)に向かって走査し初めて有意なビット「1」が立ったビットの位置のことである。
ここで、自然画の画像データを画像符号化装置10で符号化したとき、ポスト量子化部16で切り捨てられた値では、シグニフィカントビット位置がMSB側からLSB側に向かうにつれて、切り捨てられたビットは「0」が立ちやすく、「0」と「1」の発生頻度の差は広がり偏りが大きくなる。
そこで、第2の実施の形態では、変換係数の特徴であるコンテキストによって切り捨てられた値の分布が異なることに着目し、ビットプレーン切り捨て位置に加えてコンテキスト(例えばシグニフィカントビット位置、色成分、周波数情報などのいずれか、またはその組み合わせ)を用いるものとする。以下、シグニフィカントビット位置を用いた場合について説明する。
図12は、変換係数補正部の他の構成として、ビットプレーン切り捨て位置に加えてコンテキストを用いて変換係数の補正を行う変換係数補正部24aの構成を示している。
変換係数補正部24aの有意係数検出部241は、ビットモデリング復号部23から供給された変換係数が有意であるか否か、つまり「0」でないか否か検出して、検出結果を補正値取得部242に出力する。
シグニフィカントビット検出部245は、ビットモデリング復号部23から供給された変換係数のシグニフィカントビット位置を検出して検出結果を出力する。
補正値取得部246は、ヘッダ解析部21から供給されたビットプレーン切り捨て位置情報と、有意係数検出部241から出力された検出結果と、シグニフィカントビット検出部245から出力された検出結果に基づき補正値を取得する。補正値取得部246は、ビットプレーン切り捨て位置とシグニフィカントビット位置に対応した補正値を補正値テーブル247から取得して、この補正値を有意係数検出部241で有意と判断された係数に対する補正値とする。また、補正値取得部246は、有意係数検出部241で有意でないと判断された係数の補正値を「0」とする。
補正値テーブル247は、補正値取得部242からビットプレーン切り捨て位置とシグニフィカントビット位置が示されたとき、ビットプレーン切り捨て位置とシグニフィカントビット位置に対応した補正値を一意に出力する。
係数補正処理部248は、ビットモデリング復号部23から供給された変換係数に補正値取得部246で取得した補正値を加算して変換係数の補正を行い、補正後の変換係数を逆直交変換部26に出力する。
次に、変換係数補正部24aの動作について説明する。以下の説明では、図8の(A)に示す変換係数に対して切り捨てが行われた図8の(B)に変換係数の補正を行うものとする。例えば、切り捨て前の変換係数が「52,242,12,3,98,105」であり、ビットプレーン切り捨て位置が「5,5,3,3,3,4」とされた場合、切り捨て後であって補正前の変換係数は「48,240,12,0,96,104」となっている。
変換係数補正部24の補正値テーブル247では、複数の学習用画像データを符号化したときにビットプレーン切り捨て位置毎に切り捨てられた値を統計的に処理して、この統計的な処理によって設定された最適な補正値をビットプレーン切り捨て位置毎に示すものとする。図13は、補正値テーブル247の他の例を示したものである。補正値テーブル247は、ビットプレーン切り捨て位置とシグニフィカントビット位置から補正値を特定できるようになされている。例えばビットプレーン切り捨て位置が「10」であって、シグニフィカントビット位置が「9,8,7,6,5,4,3,2,1」であるとき、補正値は「148,0,0,0,0,0,0,0,0」となっている。また、ビットプレーン切り捨て位置が「9」であって、シグニフィカントビット位置が「9,8,7,6,5,4,3,2,1」であるとき、補正値は「95,90,−,−,−,−,−,−,−」となっている。同様に、ビットプレーン切り捨て位置とシグニフィカントビット位置に応じて補正値が設定されており、ビットプレーン切り捨て位置が「1」であって、シグニフィカントビット位置が「9,8,7,6,5,4,3,2,1」であるとき、補正値は「0,0,0,0,0,0,0,0,0」となっている。なお、図13において「−」は、該当する条件が存在しないことを示している。
図14は、変換係数補正部24aの動作を示すフローチャートである。ステップST11で変換係数補正部24aは、変換係数とビットプレーン切り捨て位置の入力を行う。変換係数補正部24aは、ヘッダ解析部21から供給されたビットプレーン切り捨て位置情報に基づき、ビットモデリング復号部23から供給された変換係数におけるビットプレーン切り捨て位置を判別して、変換係数とビットプレーン切り捨て位置を係数毎に用いるものしてステップST12に進む。
ステップST12で変換係数補正部24aは、変換係数が「0」より大きいか否かを判別する。変換係数補正部24aは、変換係数が「0」より大きい場合はステップST13に進み、変換係数が「0」の場合はステップST15に進む。
ステップST13で変換係数補正部24aは、シグニフィカントビット位置の検出を行う。変換係数補正部24aは、変換係数をMSB側から走査して、初めて「1」が立ったビットの位置を検出してステップST14に進む。
ステップST14で変換係数補正部24aは、補正値テーブルから補正値を取得する。変換係数補正部24aは、補正値テーブル247からビットプレーン切り捨て位置とシグニフィカントビット位置に対応した補正値を取得してステップST16に進む。
ステップST15で変換係数補正部24aは、補正値を「0」としてステップST16に進む。
ステップST16で変換係数補正部24aは、補正値を用いて変換係数の補正を行う。変換係数補正部24aは、変換係数にステップST14またはステップST15で取得した補正値を加算して、変換係数の補正を行いステップST17に進む。
ステップST17で変換係数補正部24aは、全ての変換係数の補正が終了したか否か判別する。変換係数補正部24aは、全ての変換係数の補正が終了していないときステップST11に戻り、新たな変換係数の補正を行う。また、変換係数補正部24aは、全ての変換係数の補正が終了したとき、変換係数の補正動作を終了する。
したがって、図15の(A)に示すように、変換係数が「48,240,12,0,96,104」で、ビットプレーン切り捨て位置が「5,5,3,3,3,4」、シグニフィカントビット位置が「6,8,4,シグニフィカントビット位置なし,7,7」の場合、補正値テーブルから出力される補正値はそれぞれ「6,7,1,補正値なし,2,3」となる。また、変換係数が「0」のときは補正値が「0」とされる。したがって、変換係数「48,240,12,0,96,104」に加算される補正値は「6,7,1,0,2,3」となり、補正後の変換係数は、図15の(B)に示すように、変換係数「54、247、13,0,98,107」となる。
このように、ビットプレーン切り捨て位置だけでなくシグニフィカントビット位置に応じて補正値を取得することで、ビットプレーン切り捨て位置に基づいて補正値を取得する場合よりも変換係数を最適な値に補正することができるようになり、ビットプレーン切り捨てによって再生画像に生じる違和感や不明瞭感をさらに安定的に抑制することが可能となる。
また、ビットプレーン切り捨て位置とシグニフィカントビット位置だけでなく他のコンテキストを用いる場合、ビットプレーン切り捨て位置とシグニフィカントビット位置および他のコンテキストから補正値を特定できる補正値テーブルを用いて、図16に示す処理を行うものとすればよい。
ステップST21で変換係数補正部24aは、変換係数とビットプレーン切り捨て位置の入力を行う。変換係数補正部24aは、ヘッダ解析部21から供給されたビットプレーン切り捨て位置情報に基づき、ビットモデリング復号部23から供給された変換係数におけるビットプレーン切り捨て位置を判別する。また、変換係数補正部24aは、変換係数とビットプレーン切り捨て位置を係数毎に用いるものとしてステップST22に進む。
ステップST22で変換係数補正部24aは、変換係数が「0」より大きいか否かを判別する。変換係数補正部24aは、変換係数が「0」より大きい場合はステップST23に進み、変換係数が「0」の場合はステップST26に進む。
ステップST23で変換係数補正部24aは、シグニフィカントビット位置の検出を行う。変換係数補正部24aは、変換係数をMSB側から走査して、初めて「1」が立ったビットの位置を検出してステップST24に進む。
ステップST24で変換係数補正部24aは、コンテキスト選択を行う。変換係数補正部24aは、ビットプレーン切り捨て位置のほかに用いるコンテキストとして、変換係数が何れの色成分の係数であるかを示す色成分情報や、変換係数が何れの周波数成分の係数であるかを示す周波数情報を選択してステップST25に進む。何れのコンテキストを用いるかは、予め設定されていてもよく、ユーザによって選択可能としてもよい。
ステップST25で変換係数補正部24aは、補正値テーブルから補正値を取得する。変換係数補正部24aは、補正値テーブル247からビットプレーン切り捨て位置とシグニフィカントビット位置、およびステップST24で選択されたコンテキストに対応した補正値を取得してステップST27に進む。
ステップST26で変換係数補正部24aは、補正値を「0」としてステップST27に進む。
ステップST27で変換係数補正部24aは、補正値を用いて変換係数の補正を行う。変換係数補正部24aは、変換係数にステップST25またはステップST26で取得された補正値を加算して、変換係数の補正を行いステップST28に進む。
ステップST28で変換係数補正部24aは、全ての変換係数の補正が終了したか否か判別する。変換係数補正部24aは、全ての変換係数の補正が終了していないときステップST21に戻り、新たな変換係数の補正を行う。また、変換係数補正部24aは、全ての変換係数の補正が終了したとき、変換係数の補正動作を終了する。
このような処理を行うものとすれば、色成分毎や周波数成分毎に変換係数の補正をさらに良好に行うことができるようになる。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
<4.コンピュータで画像復号化を行う場合の構成と動作>
図17は、上述した一連の処理をプログラムにより実行するコンピュータの構成を例示したブロック図である。
コンピュータ50は、情報処理装置51、情報処理装置51とバス52によって接続された記憶装置53、1あるいは複数の記録再生装置54、ユーザがこれらに対する操作入力を行うためにマウスやキーボード等を用いて構成されたユーザインタフェース部55により構成されるシステムであり、インストールされたプログラムによって、上述したような画像復号処理を行うシステムである。
情報処理装置51は、HDD等を用いて構成した記憶装置53に記憶されている動画コンテンツを符号化して得られた符号化データを記憶装置53に記憶させたり、記憶装置53に記憶されている符号化データを復号して得られた復号画像データ(動画コンテンツ)を記憶装置53に記憶させたり、符号化データや復号画像データを記録再生装置54で記録媒体に記録したりすることができる。また、情報処理装置51は、記録媒体に記録された動画コンテンツを記憶装置53に取り込み得るようにもなされている。その際、情報処理装置51が、動画コンテンツを符号化するようにしてもよい。
情報処理装置51は、マイクロプロセッサ511、GPU(Graphics Processing Unit)512、XDR(Extreme Data Rate)-RAM513、ブリッジ514、HDD515、通信インタフェース(I/F)516、およびサウンド入出力コーデック517を有している。
GPU512は、バス521を介してマイクロプロセッサ511に接続される。XDRーRAM513はバス522を介してマイクロプロセッサ511に接続される。ブリッジ514は、専用のバスを介してマイクロプロセッサ511のI/Oコントローラ5114に接続される。
ブリッジ514には、HDD515、USBインタフェース516、および、サウンド入出力コーデック517も接続されている。このサウンド入出力コーデック517にはスピーカ61が接続されている。また、GPU512にはディスプレイ62が接続されている。
ブリッジ514には、さらに、PCIバス52を介して、ユーザインタフェース部55、記録再生装置54、並びに、操作コントローラ57が接続されている。
ユーザインタフェース部55は、ユーザの操作入力を受け、PCIバス52およびブリッジ514を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ511に供給する。記憶装置53および記録再生装置54は、所定のデータを記録または再生できるようになされている。
PCIバス52にはさらに、必要に応じてドライブ58が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア59が適宜装着され、それらから読み出されたコンピュータ・プログラムが、必要に応じてHDD515にインストールされる。
マイクロプロセッサ511は、メインCPUコア5111と、メインCPUコア5111に内部バス5115を介して接続された複数のサブCPUコア5112-1乃至サブCPUコア5112-8、メモリコントローラ5113、I/Oコントローラ5114が1チップに集積されたマルチコア構成とされている。メインCPUコア5111は、OS(Operating System)等の基本プログラムを実行するものである。サブCPUコア5112-1乃至サブCPUコア5112-8は、例えばRISC(Reduced Instruction Set Computer)タイプの信号処理プロセッサである。メモリコントローラ5113は、例えばXDR−RAM513に対するメモリコントロールを行うためのものである。I/Oコントローラ5114は、ブリッジ514との間でデータの入出力を管理するためのものである。
マイクロプロセッサ511は、起動時、HDD515に格納された制御プログラムに基づき、HDD515に格納されている必要なアプリケーションプログラムを読み出してXDR−RAM513に展開し、この後このアプリケーションプログラムおよびオペレータ操作に基づいて必要な制御処理を実行する。
また、マイクロプロセッサ511は、ソフトウェアを実行することにより、例えば、上述した画像符号化処理や画像復号処理を実現し、エンコードの結果得られた符号化ストリームを、ブリッジ514を介して、HDD515に供給して記憶させたり、デコードした結果得られる動画像コンテンツの再生映像を、GPU512にデータ転送して、ディスプレイ62に表示させたりすることができる。
マイクロプロセッサ511内の各CPUコアの使用方法は任意であるが、例えば、メインCPUコア5111が、画像符号化処理や画像復号処理の制御に関する処理を行い、8個のサブCPUコア5112-1乃至サブCPUコア5112-8に、ウェーブレット変換、係数並び替え、エントロピー符号化、エントロピー復号、ウェーブレット逆変換、量子化、および逆量子化等の各処理を同時並列的に実行させるようにしてもよい。その際、メインCPUコア5111が、8個のサブCPUコア5112-1乃至サブCPUコア5112-8のそれぞれに対してラインブロック(プレシンクト)単位で処理を割り振るようにすれば、画像符号化処理や画像復号処理がラインブロック単位で同時並列的に実行される。つまり、画像符号化処理や画像復号処理の効率を向上させ、処理全体の遅延時間を短縮させ、さらに、負荷、処理時間、および、処理に必要なメモリ容量を低減させることができる。もちろん、これ以外の方法で各処理を行うようにしてもよい。例えば、マイクロプロセッサ511の8個のサブCPUコア5112-1乃至サブCPUコア5112-8のうちの一部がエンコード処理を、他の部分がデコード処理を、同時並列的に実行するようにすることも可能である。
さらに、メインCPUコア5111は、これらのサブCPUコアが行う以外の処理も行う。例えば、メインCPUコア5111は、ブリッジ514を介してユーザインタフェース部55、または、操作コントローラ57から供給された命令を受け付け、命令に応じた種々の処理を実行する。
GPU512は、ディスプレイ62に表示する動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理を行う。またGPU512は、動画コンテンツの再生映像および静止画コンテンツの静止画像をディスプレイ62に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像および静止画コンテンツの静止画像に対する拡大・縮小処理等を行い、マイクロプロセッサ511の処理負担を軽減させるようになされている。
このGPU512は、マイクロプロセッサ511の制御のもとに、供給された動画コンテンツの映像データや静止画コンテンツの画像データに対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ62に送出して、画像をディスプレイ62で表示させる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。このプログラムは、例えば記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
また、以上においては、マイクロプロセッサ511内に8個のサブCPUコアが構成されるように説明したが、これに限らず、サブCPUコアの数は任意である。また、マイクロプロセッサ511が、シングルコア(1つのコア)により構成されているものであってもよい。また、マイクロプロセッサ511の代わりに複数のCPUを用いるようにしてもよいし、複数の情報処理装置を用いるようにしてもよい。
さらに、コンピュータ・プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。この場合、コンピュータは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示したものであり、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明の画像復号化装置と画像復号化方法およびコンピュータ・プログラムでは、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成された補正値を、ビットプレーン切り捨て位置毎に格納した補正値テーブルを用いる。また、符号化ストリームを復号化処理して得られた変換係数の補正を、ビットプレーン切り捨て位置に対応して補正テーブルから読み出した補正値を用いて行うことで、ビットプレーン切り捨てによって再生画像に生じる違和感や不明瞭感が安定的に抑制される。このため、JPEG−2000方式等のようにビットプレーン符号化処理によって生成された符号化ストリームの復号化に好適できある。
画像符号化装置の構成を示すブロック図である。 サブバンドを示す図である。 ビットプレーンを説明するための図である。 画像復号化装置の構成を示すブロック図である。 自然画における変換係数の分布を例示した図である。 切り捨てられた係数値の発生頻度分布を示す図である。 変換係数補正部の構成を示す図である。 変換係数補正部の動作を説明するための図である。 補正値テーブルの例を示す図である。 変換係数補正部の動作を示すフローチャートである。 変換係数の補正例を示す図である。 変換係数補正部の他の構成を示す図である。 補正値テーブルの他の例を示す図である。 変換係数補正部の他の動作を示すフローチャートである。 変換係数の他の補正例を示す図である。 変換係数補正部の他の動作を示すフローチャートである。 コンピュータの構成を示す図である。
符号の説明
10・・・画像符号化装置、11・・・色変換部、12・・・直交変換部、13・・・量子化部、14・・・係数ビットモデリング部、15・・・エントロピー符号化部、16・・・ポスト量子化部、17・・・ヘッダ生成部、20・・・画像復号化装置、21・・・ヘッダ解析部、22・・・エントロピー復号化部、23・・・ビットモデリング復号部、24,24a・・・変換係数補正部、25・・・逆量子化部、26・・・逆直交変換部、27・・・逆色変換部、50・・・コンピュータ、51・・・情報処理装置、52・・・PCIバス、53・・・記憶装置、54・・・記録再生装置、55・・・ユーザインタフェース部、57・・・操作コントローラ、58・・・ドライブ、59・・・リムーバブルメディア、61・・・スピーカ、62・・・ディスプレイ、241・・・有意係数検出部、242,246・・・補正値取得部、243,247・・・補正値テーブル、244,248・・・係数補正処理部、245・・・シグニフィカントビット検出部、511・・・マイクロプロセッサ、512・・・GPU、513・・・RAM、514・・・ブリッジ、515・・・HDD、516・・・USBインタフェース、517・・・サウンド入出力コーデック、521,522・・・バス、5111・・・メインCPUコア、5112-1〜5112-8・・・サブCPUコア、5113・・・メモリコントローラ、5114・・・I/Oコントローラ、5115・・・内部バス

Claims (7)

  1. 画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、該符号化ストリームにおけるビットプレーン切り捨て位置の情報を取得する情報取得部と、
    前記符号化ストリームを復号化処理して変換係数を生成する復号化処理部と、
    前記復号化処理部で生成された変換係数が有意であるか否か検出する有意係数検出部と、
    前記有意係数検出部で有意と検出された変換係数におけるビットプレーン切り捨て位置に対応する補正値を、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値がビットプレーン切り捨て位置毎に格納されている補正値テーブルから取得する補正値取得部と、
    前記有意係数検出部で有意と検出された変換係数についてのみ、前記補正値取得部で取得された補正値を用いて変換係数の係数補正処理を行う係数補正処理部とを有する画像復号化装置。
  2. 前記補正値テーブルには、前記画像データの特徴であるコンテキスト毎に補正値を格納するものとし、
    前記補正値取得部は、ビットプレーン切り捨て位置と前記コンテキストに対応した補正値を前記補正値テーブルから取得する請求項1記載の画像復号化装置。
  3. 前記コンテキストは、変換係数のシグニフィカントビット位置であり、
    前記復号化処理部で得られた変換係数のシグニフィカントビット位置を検出するシグニフィカントビット検出部をさらに設け、
    前記補正値取得部は、前記シグニフィカントビット検出部で検出されたシグニフィカントビット位置を用いて前記補正値を取得する請求項2記載の画像復号化装置。
  4. 前記コンテキストは、前記変換係数が何れの色成分の係数であるかを示す色成分情報、前記変換係数が何れの周波数成分の係数であるかを示す周波数成分情報のいずれか、またはその組み合わせであり、
    前記情報取得部は、前記符号化ストリームから前記色成分情報や前記周波数成分情報の取得を行い、
    前記補正値取得部は、前記情報取得部で取得された前記色成分情報や前記周波数成分情報を用いて前記補正値を取得する請求項2記載の画像復号化装置。
  5. 前記補正値テーブルには、ビットプレーン切り捨て位置毎に、ビットプレーン切り捨てによって切り捨てられる係数値の分布を代表する中心の値を格納する請求項1記載の画像復号化装置。
  6. 情報取得部によって、画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、前記符号化ストリームにおけるビットプレーン切り捨て位置の情報を取得するステップと、
    復号化処理部によって、前記符号化ストリームを復号化処理して変換係数を生成するステップと、
    有意係数検出部によって、前記復号化処理部で生成された変換係数が有意であるか否か検出するステップと、
    補正値取得部によって、前記有意係数検出部で有意と検出された変換係数におけるビットプレーン切り捨て位置に対応する補正値を、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値がビットプレーン切り捨て位置毎に格納されている補正値テーブルから取得するステップと、
    係数補正処理部によって、前記有意係数検出部で有意と検出された変換係数についてのみ、前記補正値取得部で取得された補正値を用いて変換係数の係数補正処理を行うステップを具備する画像復号化方法。
  7. コンピュータを、
    画像データの周波数変換により得られた変換係数をビットプレーン符号化処理して生成された符号化ストリームから、前記符号化ストリームにおけるビットプレーン切り捨て位置の情報を取得する機能手段と、
    前記符号化ストリームを復号化処理して変換係数を生成する機能手段と、
    前記符号化ストリームを復号化処理して生成された変換係数が有意であるか否か検出する機能手段と、
    前記有意係数検出部で有意と検出された変換係数におけるビットプレーン切り捨て位置に対応する補正値を、ビットプレーン切り捨てによって切り捨てられる係数値を統計的に処理して予め作成した補正値がビットプレーン切り捨て位置毎に格納されている補正値テーブルから取得する機能手段と、
    前記有意とされた変換係数についてのみ、前記補正値テーブルから取得された補正値を用いて変換係数の係数補正処理を行う機能手段として機能させるためのコンピュータ・プログラム。
JP2008288604A 2008-11-11 2008-11-11 画像復号化装置と画像復号化方法およびコンピュータ・プログラム Expired - Fee Related JP5151919B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008288604A JP5151919B2 (ja) 2008-11-11 2008-11-11 画像復号化装置と画像復号化方法およびコンピュータ・プログラム
US12/615,409 US8406542B2 (en) 2008-11-11 2009-11-10 Image decoding apparatus, image decoding method and computer program
CN2009102110895A CN101742309B (zh) 2008-11-11 2009-11-11 图像解码装置、图像解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008288604A JP5151919B2 (ja) 2008-11-11 2008-11-11 画像復号化装置と画像復号化方法およびコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2010118729A true JP2010118729A (ja) 2010-05-27
JP2010118729A5 JP2010118729A5 (ja) 2011-11-04
JP5151919B2 JP5151919B2 (ja) 2013-02-27

Family

ID=42165271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008288604A Expired - Fee Related JP5151919B2 (ja) 2008-11-11 2008-11-11 画像復号化装置と画像復号化方法およびコンピュータ・プログラム

Country Status (3)

Country Link
US (1) US8406542B2 (ja)
JP (1) JP5151919B2 (ja)
CN (1) CN101742309B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154608A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 画像処理装置および方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5817125B2 (ja) * 2011-01-21 2015-11-18 ソニー株式会社 画像処理装置および方法
BR122019014182B1 (pt) * 2011-07-01 2019-12-03 Samsung Electronics Co Ltd método de decodificação de vídeo
CN103096062A (zh) * 2011-11-01 2013-05-08 珠海扬智电子科技有限公司 算术解码方法
US9836433B1 (en) * 2012-04-02 2017-12-05 Rockwell Collins, Inc. Image processing using multiprocessor discrete wavelet transform
US9454552B2 (en) 2012-07-31 2016-09-27 Empire Technology Development Llc Entropy coding and decoding using polar codes
US20140072027A1 (en) 2012-09-12 2014-03-13 Ati Technologies Ulc System for video compression
US10645386B1 (en) * 2019-01-03 2020-05-05 Sony Corporation Embedded codec circuitry for multiple reconstruction points based quantization
JP2023501909A (ja) * 2019-10-25 2023-01-20 カカデゥ アール アンド ディー ピーティーワイ リミテッド 高スループットjpeg2000(htj2k)符号化における複雑度制御のための方法および装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230141A (ja) * 2002-02-04 2003-08-15 Sony Corp 画像圧縮装置と画像圧縮方法、並びにその画像伸張装置と画像伸張方法
JP2006270375A (ja) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
JP2007251672A (ja) * 2006-03-16 2007-09-27 Ricoh Co Ltd 画像復号装置、画像符号化装置、画像復号方法、及び、画像符号化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6885395B1 (en) * 2000-05-26 2005-04-26 Eastman Kodak Company Selectively adjusting the resolution levels or the quality levels of digital images stored in a digital camera memory
JP3702778B2 (ja) 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
JP2002204357A (ja) 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
CN1639984B (zh) * 2002-03-08 2011-05-11 日本电信电话株式会社 数字信号编码方法、解码方法、编码设备、解码设备
JP2004260539A (ja) 2003-02-26 2004-09-16 Victor Co Of Japan Ltd 画像復号化装置及び画像復号化プログラム
JP4273996B2 (ja) * 2004-02-23 2009-06-03 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
CN1677438A (zh) * 2004-03-31 2005-10-05 松下电器产业株式会社 在数据码流中隐藏数据的方法及装置
CA2575908A1 (en) * 2004-09-14 2006-03-23 Gary Demos High quality wide-range multi-layer compression coding system
CN101192303B (zh) * 2006-11-24 2010-04-07 北京中电华大电子设计有限责任公司 适用于Jpeg2000标准的高速比特平面解码方法及电路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230141A (ja) * 2002-02-04 2003-08-15 Sony Corp 画像圧縮装置と画像圧縮方法、並びにその画像伸張装置と画像伸張方法
JP2006270375A (ja) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
JP2007251672A (ja) * 2006-03-16 2007-09-27 Ricoh Co Ltd 画像復号装置、画像符号化装置、画像復号方法、及び、画像符号化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200501614002; 和田 祐司: 'JPEG2000におけるROIの画質調整とその高画質化に関する一提案' 電子情報通信学会技術研究報告 第104巻 第511号, 20041209, 7〜12頁 *
JPN6012043013; 和田 祐司: 'JPEG2000におけるROIの画質調整とその高画質化に関する一提案' 電子情報通信学会技術研究報告 第104巻 第511号, 20041209, 7〜12頁 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154608A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 画像処理装置および方法
US10841585B2 (en) 2016-03-10 2020-11-17 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
JP5151919B2 (ja) 2013-02-27
CN101742309A (zh) 2010-06-16
US20100119167A1 (en) 2010-05-13
US8406542B2 (en) 2013-03-26
CN101742309B (zh) 2012-10-10

Similar Documents

Publication Publication Date Title
JP5151919B2 (ja) 画像復号化装置と画像復号化方法およびコンピュータ・プログラム
JP5775084B2 (ja) モード情報を符号化、復号化する方法及びその装置
KR101266577B1 (ko) 화상 처리 방법 및 장치
JP6245888B2 (ja) エンコーダおよび符号化方法
JP2001346047A (ja) 画像処理装置及び画像処理方法
JP5469127B2 (ja) 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
JP2016226001A (ja) デコーダおよび復号方法
JP2009105698A (ja) 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体
JP2012124837A (ja) 画像復号化装置および方法、画像符号化装置および方法、並びにプログラム
JP2004166124A (ja) 画像処理装置、プログラム、記憶媒体及び画像処理方法
WO2004064405A1 (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
JPH08294119A (ja) 画像符号化/復号化装置
JP5396559B1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体
JP4835855B2 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
JP4841504B2 (ja) 画像符号化装置および方法
JP4907488B2 (ja) 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体
JP4584115B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラムおよび画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4255071B2 (ja) 注目画素値選択型符号化装置および復号装置
JP2005223852A (ja) 画像符号化装置および方法、ならびに画像復号装置および方法
JP4412688B2 (ja) 画像処理装置及びその方法
JP2002135593A (ja) 画像処理装置及びその方法並びに記憶媒体
JP4514464B2 (ja) 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法
JPH11331612A (ja) 画像処理装置及び方法及び記憶媒体
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP2002176561A (ja) 画像処理装置及びその方法、コンピュータ可読メモリ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees