JP2007142499A

JP2007142499A - 画像符号化装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2007142499A
Application number: JP2005329271A
Authority: JP
Inventors: Takayuki Nakachi; 孝之仲地; Yoshihide Tonomura; 喜秀外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-11-14
Filing date: 2005-11-14
Publication date: 2007-06-07
Anticipated expiration: 2025-11-14
Also published as: JP4327789B2

Abstract

【課題】動画圧縮時におけるフリッカー雑音を抑制する。
【解決手段】本発明は、原画像が入力されると、該画像に対してウェーブレット変換を行うことにより該画像をサブバンドに帯域分割し、ウェーブレット係数を補正するために量子化を行い、サブバンドをコードブロックに分割し、コードブロックに対してウェーブレット係数のビットプレーンに基づく係数ビットモデリングを行い、符号化パスに分解し、符号化パスに対して、算術符号化を行い、符号化パスの一部を廃棄し、残った符号化パスからビットストリームを生成し、出力する。
【選択図】図１

Description

本発明は、画像符号化装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、高い主観画質を保持し、かつ、効率的に伝送・蓄積するための画像符号化装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

フレーム毎に独立に符号化を行うフレーム内符号化は、MPEG4（例えば、非特許文献１参照）、H264(例えば、非特許文献２参照)等の時間方向の相関を利用したフレーム間符号化と比較して符号化効率は劣るものの、編集・加工が容易、ランダムアクセスが容易、エラー伝播が小さい、演算量が少ないなどの利点を有する。代表的なフレーム内符号化であるMotion JPEG2000（例えば、非特許文献３参照）は、これらフレーム内符号化の特性に加え、ブロックノイズ歪みが生じない、空間・ＳＮＲスケーラビリティ機能などMotion JPEG2000固有の優れた特徴を持つ。ハリウッドの７大メジャースタジオにより構成されるDCI(Digital Cinema Initiativies, LLC:例えば、非特許文献４参照)は、ディジタルシネマの符号化方式としてMotion JPEG2000を採用している（例えば、非特許文献５参照）。

しかしながら、Motion JPEG2000には、Flicker Artifact(フリッカー雑音)と呼ばれる固有の雑音が生じることが確認されている（例えば、非特許文献６，７，８，９参照）。これは、復号画像で知覚される細かいリンギング状の雑音である。この歪みは、静止画では目立たないが、動画像ではその大きさと位置がフレーム毎に変化するため、時間方向の歪みが発生し、視覚的に検知し易くなる。このフリッカー雑音の発生要因として、以下の２つの点が指摘されている。

（ａ）高周波数帯域ウェーブレット係数の量子化に伴うエリアジング雑音（例えば、非特許文献６参照）
（ｂ）EBCOT（Embedded Block Coding with Optimized Truncation）ポスト量子化による誤差分布の空間的変動（例えば、非特許文献７参照）
（ａ）は、ウェーブレット変換固有の性質に起因するもので、サブバンド分割・合成において、高域分割領域で発生した量子化ノイズが、低域分割領域に折り返すことによるエリアジング雑音の一種である。特に、物体が移動する際のエッジ付近で視覚的に検知し易くなる。この歪みの低減に関しては、人間の視覚感度特性CSF(Contrast Sensitivity Function)によるウェーブレット係数の補正が有効であることがJPEG2000のWG１のコア実験において確認されている。

一方、（ｂ）は、EBCOTのポスト量子化に起因するものである。EBCOTでは、ポスト量子化をMSE最小化規模で行うのが一般的である。この規範によればMSEは最小となる。しかしながら、その一方で、ポスト量子化によるレート制御ではコードブロック毎に符号化された符号化パスの数に開きが生じ、空間的な画質変動を伴い、主観画質を低下させる。この歪みは（ａ）とは逆に、静止領域においてよく検知される。非特許文献７では、（ａ）と（ｂ）の比較検討を行っており、ポスト量子化の方がフリッカー雑音へ与える影響が大きいと報告されている。しかし、その具体的な解決方法は示されていない。非特許文献８では、時間方向の輝度値の変化を抑制するために、前後のフレームで係数を比較し、異なる場合には係数値を一致させる方法を提案している。しかし、この方法では原画の輝度値の変換に追従できない。また、非特許文献９では、現画像の輝度値の変換に追従できるよう非特許文献８の方法を改良した方法を提案しているが、その一方で動画像領域の画質が劣化する。また、両手法ともポスト処理による改善である。
三木弼一編著、"MPEG-4のすべて"工業調査会角野眞也、菊池義浩、鈴木輝彦、大久保榮、"H.264/AVC教科書"、インプレス ISO/IEC 15444-3, "Information technology‐JPEG2000 image coding system‐part 3: Motion JPEG 2000," 2002 Digital Cinema Initiatives, LLC, <http://www.dcimovies.com> Digital Cinema Initiatives, LLC, "Digital cinema system specification v1.0," July 20, 2005 久下哲郎、"Wavelet画像符号化の視覚的歪みに関する考察、"映像情報メディア学会技術報告、vol. 25, no. 79, pp.33-38, HIR2001-97, Nov. 2001 加藤徹洋、田邉集、渡辺裕、富永英義、"Motion JPEG200におけるフリッカー雑音と量子化誤差の関係について、"第２回情報科学技術フォーラム FIT2003, J-039、Sep. 2003 A. Becker, W. chan, and D. Poulouin, "Flicker reduction in intraframe codecs, "Proc. IEEE data compression conference, Mar. 2004, pp.252-261 伊谷裕介、石川孝明、渡辺裕、富永英義、"Motion JPEG2000におけるフリッカー低減手法の検討、"信学会総合大会、D-II-61, Mar. 2005

上記のように、EBCOTポスト量子化によるJPEG2000レート制御では、MSEは最小となるものの、フリッカー雑音が発生する。この問題を解決すべく提案された従来方式では、ポスト処理によるもので根本的問題は解決されていない。そこで、フリッカー雑音が発生する根本的原因を解決する方式が必要とされている。

また、前処理やポスト処理を必要とせず、JPEG2000互換であることが望ましい。

本発明は、上記の点に鑑みなされたもので、JPEG2000互換でフリッカー雑音を抑制し得るJPEG2000のレート制御手法による画像符号化装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、動画圧縮時に発生するフリッカー雑音を軽減するための画像符号化装置であって、
原画像が入力されると、該画像に対してウェーブレット変換を行うことにより該画像をサブバンドに帯域分割するウェーブレット変換手段１１０と、
ウェーブレット変換のウェーブレット係数を補正するために量子化を行う量子化手段１１１と、
サブバンドをコードブロックに分割するコードブロック分割手段１１２と、
コードブロックに対してウェーブレット係数のビットプレーンに基づく係数ビットモデリングを行い、符号化パスに分解する係数ビットモデリング手段１１３と、
符号化パスに対して、算術符号化を行う算術符号化手段１１４と、
符号化パスの一部を廃棄するポスト量子化手段１１５と、
ポスト量子化手段１１５の出力からビットストリームを生成し、出力するパケット化手段１１６と、
を有し、
ポスト量子化手段１１５は、
切捨て数設定方式として、各コードブロックで廃棄する符号化パスの数を、解像度レベル、サブバンド、色成分毎に一定とする方式を用いる。

また、本発明（請求項２）は、ポスト量子化手段１１５において、
切捨て数設定方式として、
「現フレームで廃棄する符号化パスの数を前フレームと同じく設定したときのビットレートと所望のビットレートの差が十分小さい」という条件、及び、「現フレームで廃棄する符号化パスの数を前フレームと同じく設定したときのビットレートと前フレームのビットレートの差が十分小さい」という条件の両方を満たすとき、現フレームで廃棄する符号化パスの数を前フレームと同じく設定することを、引き続く時間方向に対して適用する、方式を用いる。

また、本発明（請求項３）は、ポスト量子化手段１１５において、
原画像の領域についてブロック単位に静止領域か動領域かの判定を行う手段を有し、
切捨て数設定方式として、
静止領域の符号化パスについては、時間方向に連続する同位置のコードブロックにおける符号化パスの廃棄数を同じ値に設定して符号化し、
動領域の符号化パスについては、MSE(Mean Squared Error)を最小規範とするEBCOT(Embedded Block Coding with Optimized Truncation)を用いて符号化する、方式を用いる。

また、本発明（請求項４）は、ポスト量子化手段１１５において、
ウェーブレット変換手段１１０における帯域分割結果に基づいて、高周波帯域または、低周波数帯域かを判定し、
切捨て数設定方式として、
高周波数帯域の符号化パスについては、時間方向に連続する同位置のコードブロックにおける符号化パスの廃棄数を同じ値に設定して符号化し、
低周波数帯域の符号化パスについては、MSEを最小規範とするEBCOTを用いる、方式を用いる。

本発明（請求項５）は、コンピュータを、請求項１乃至４記載の画像符号化装置として機能させる画像符号化プログラムである。

本発明（請求項６）は、コンピュータを、請求項１乃至４記載の画像符号化装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。

上記のように本発明によれば、Motion JPEG2000に固有のフリッカー雑音を軽減するために、JPEG2000のレート制御を行うポスト量子化において、各コードブロックで廃棄する符号化パスの数を、解像度レベル、サブバンド、色成分毎に、一定とすることにより、前処理やポスト処理を必要とせず、JPEG2000互換でフリッカー雑音を抑制し得るJPEG2000の符号化データを生成することが可能となる。再生画像品質の良い符号化ができ、少ないディスク容量での保存・伝送が可能となる。

また、Motion JPEG2000のフリッカー雑音が静止領域で目立ち、動領域では目立たない人間の視覚特性を利用して、静止領域の符号化パスについては、時間方向に連続する同位置のコードブロックにおける符号化パスの廃棄数を同じ値に設定して符号化し、動領域の符号化パスについては、MSEを最小規範とするEBCOTを用いて符号化することにより、ビットレート制御が粗くなってしまう問題、及び、SNRが低下する問題を解決することができる。

また、フリッカー雑音に大きな影響を与える高周波数帯域の符号化パスについては、時間方向に連続する同位置のコードブロックにおける符号化パスの廃棄数を同じ値に設定して符号化し、フリッカー雑音にあまり影響を与えない低周波数帯域の符号化パスについては、MSEを最小規範とするEBCOTを用いることにより、ビットレート制御が粗くなってしまう問題、及びSNRが低下する問題を解決することができる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図２は、本発明の第１の実施の形態におけるJPEG2000符号化器の構成図である。

同図に示すJPEG2000符号化器は、ウェーブレット変換部１１０、量子化部１１１、コードブロック分割部１１２、係数ビットモデリング部１１３、算術符号化部１１４、符号化パス切捨て部１１５、パケット化部１１６から構成される。

JPEG2000では、低ビットレートでの画像保持、解像度スケーラビリティ実現の容易さからウェーブレット変換（ウェーブレット変換器１１０）を用いる。分割方法は、１次元ウェーブレット変換を画像の縦横各方向に独立に施すことで画像を４つのサブバンドに帯域分割し、最低周波数帯域を再帰的に４バンドに分割するMallat分割を用いる。このような動作を行うウェーブレット変換器１１０では、低域から高域へ順次復号する仮定で解像度の異なる画像を容易に得ることができる。

次に、量子化部１１１は、ウェーブレット係数を必要に応じて量子化し、コードブロック分割部１１２は、EBCOT(Embedded Block Coding with Optimized Truncation)アルゴリズムによりサブバンドを符号化する。EBCOTアルゴリズムは、各サブバンドをコードブロックと呼ばれる正方形のブロック（例えば、６４×６４）に分割する。これらのコードブロックは、それぞれ独立に符号化される。

係数ビットモデリング部１１３は、各コードブロックについて、ウェーブレット係数のビットプレーンに基づく係数ビットモデリングを行うことで、MSB(Most Significant Bit)からLSB(Least Significant Bit)までの全てのビットプレーンは、それぞれのコンテクストに応じて、図３に示すように３つの符号化パス（significance, magnitude refinement, cleanup）に分解される。

次に、算術符号化部１１４は、係数モデリングにより生成されたエンベデット符号列に対して、算術符号化を施す。

全体のビットレート制御は、図４に示すように、符号化パス切捨て部１１５において符号化パスの切捨て、即ち、ポスト量子化により行われる。また、必要に応じてレイヤという単位にグループ分けされる。

最後にパケット化部１１６において、ヘッダ情報などを付加したものが、JPEG2000ビットストリームとなる。

JPEG2000ではビットレート制御を、
１）ウェーブレット係数の量子化；
２）ポスト量子化；
の２箇所で行っている。フリッカー雑音はこれらのビットレート制御手法と密接な関係がある。

１）ウェーブレット係数の量子化：
ウェーブレット係数は、次式により量子化される。

q_b(u,v)= sing(a_b(u,v))floor(｜a_b(u,v)/△b｜)
ここで、ｂはサブバンド、（ｕ，ｖ）は空間座標、ａ_ｂ（ｕ，ｖ）は量子化前のウェーブレット係数、ｑ_ｂ（ｕ，ｖ）は量子化後のウェーブレット係数、△ｂは量子化ステップサイズ、sing(・)は符号演算子、floor(・)は切り捨て演算子を表す。量子化ステップサイズの決定方法には、ImplictとExplicitの２種類がある。ここでは詳細は省略する。この量子化に伴うフリッカー雑音は、サブバンド分割・合成において、高域分割領域で発生した量子化ノイズが、低域分割領域に折り返すことによるもので、エリアジング雑音の一種である。動画像では、発生するエリアジング信号の位相がフレーム毎に変化するため、視覚的に検知し易くなる。特に、物体が移動する際のエッジ付近で顕著となる。この歪みの低減に関しては、人間の視覚感度特性CSFによるウェーブレット係数の補正が有効であることがJPEG2000のWG1のコア実験において確認されている。

２）ポスト量子化：
ポスト量子化（符号化パス切捨て部１１５）では、コードブロック毎に生成された算術符号化のそれぞれ一部を切り捨てることによりレート制御を行う。切捨ての基準に関しては詳細が定められておらず符号器に依存するが、EBCOTではMSE最小化規範で行うのが一般的である。この規範によればMSEは最小となるが、コードブロック毎に符号化された符号化パスの数に開きが生じ、これが２のべき乗のオーダーで量子化誤差に反映される結果、空間的な画質変動を伴い主観画質を低下させる。

本実施の形態では、フリッカー雑音を軽減するために、空間的な画質変動を抑制する方法を提案する。空間的な画質変動を抑制する従来法として、文献「S. Naito, A. Koike, and S. Matsumoto, “Optimal JPEG2000 encoder mechanism for low delay and efficient distribution of HDTV programs,” IEEE ICASSP2004, vol. V, pp.81-84, May 2004」では、符号化パスの切捨て数を、全てのコードブロックにおいて、一定とする方式を提案している。即ち、隣接するコードブロック間で符号化パス数が一定となり、空間的な誤差のバラツキが抑制されることになる。この方法は、本来フリッカー雑音を抑制する目的で提案されたものではないが、主観評価実験の結果、フリッカー雑音が抑制されていることが確認された。しかしながら、符号化パスの切捨て数が全コードブロックで一定であることから、MSE規範に基づくEBCOTと比較してPSNRが低下する。なぜなら、誤差はサブバンド、ウェーブレット分割レベル、コンポーネントに依存して異なるためである。例えば、LLとHLサブバンドでは、同じ量子化を行っても復号画像に与える影響は異なる。ここでは、空間的な画質変動を抑制するために同一サブバンドないでは符号化パスの切捨て数を一定としつつ、PSNRの低下を抑えるためにサブバンド間では異なる符号化パスの切捨て数を割り当てるように設計する。具体的には、切り捨てた際の誤差エネルギーが一定となるように各サブバンドの符号化パスの切捨て数を決定する。

ここで、サブバンドｓ、ウェーブレット分割レベルｒ、コンポーネントｃのコードブロックにおいて、LSBからｍ番目のビットプレーンまで破棄したときの復号画像の誤差エネルギーをｅ_{ｒ，ｓ，ｃ}(ｍ)と定義する。このとき、破棄するビットプレーン数をサブバンド間で変化させ、誤差エネルギーが一致する組み合わせを見つける。その際に、CSF、周波数重み、ウェーブレットフィルタゲインを考慮に入れて計算する。得られた結果は記憶手段のテーブル（図示せず）に保存し、符号化パス切捨て部１１５が符号化の際に参照する。テーブルの作成法はいくつか考えられるが、一例を以下に示す。

図５は、本発明の第１の実施の形態における符号化パス切り捨て部で参照するテーブルの作成方法のフローチャートである。

ステップ１０１）初期値をｂ＝０と設定する。

ステップ１０２）コンポーネント０、解像度レベル１、サブバンドLLのコードブロックに対して、誤差エネルギーｅ_{ＬＬ，１，０}（ｂ）を計算する。

ステップ１０３）与えられた全ての（ｒ，ｓ，ｃ）パラメータの組み合わせに対して、

が最小となる

を見つける。

ステップ１０４）ｂの値を１つ増加させる。

ステップ１０５）ｂ∈（０，…，３０）の全てのビットプレーンについて処理が終了するまでステップ１０２〜ステップ１０４の処理を繰り返す。

ステップ１０６）取得したビットプレーンに対する組み合わせ（ｒ，ｓ，ｃ）をテーブルに格納する。

以上の計算により、ｂ∈（０，…，３０）の各ビットプレーンに対する（ｒ，ｓ，ｃ）の組み合わせが得られる。この計算はオフラインで行い、テーブルとして記憶手段に保存し符号化時に参照する。これらの組み合わせパターンは、画像の特性に依存せず、解像度レベル、ウェーブレットフィルタ、CSF関数にのみ依存する。

なお、符号化の際には、EBCOTと同様に、significance, magnitude refinement, cleanupの３つの符号化パス単位で符号化を行う。符号化パス切捨て部１１５において、各サブバンドの切捨てビットプレーンは、符号化パスを固定した上で、テーブル（図示せず）を参照して求める。例えば、ＬＬサブバンドの切捨て点がｂ＝３のcleanupパスであり、テーブルより参照したHHサブバンドのビットプレーンがｂ＝４であった場合、HHサブバンドの切捨て点は、ｂ＝４のcleanupパスとなる。符号化の際には、符号化パス切捨て数ｍを一つずつ増加させ、所望のレート条件に達すると終了する。以上の手法により、空間的な画質変動を抑制しつつ、客観的PNSRを改善することが可能となる。

［第２の実施の形態］
本実施の形態は、第１の実施の形態で述べた空間的な画質変動を抑制する方法を、フリッカー雑音を抑制すべく、時間方向へ拡張する。

画像の特性は連続するフレーム間で異なることから、必要なビット割当量も変化する。ここでは、以下の２つの条件を満たすとき、符号化パス切捨て部１１５において、現フレームの符号化パスの切捨て数を前フレームと同じ値に設定し、符号化を行う。

条件１：｜ｒ_ｎ ^ｐ−ｔ_ｎ｜＜δｔ_ｎ
条件２：｜ｒ_ｎ ^ｐ−ｔ_ｎ−１ ^ｐ｜＜２δｔ_ｎ
ここで、ｎは現フレーム番号、ｔ_ｎは現フレームの所望ビットレート、ｐは前フレームの符号化パスの切捨て数、ｒ_ｎ ^ｐはｐを現フレームに適用した際のビットレートを表す。δは条件の許容幅を設定するパラメータであり、シーケンス毎に最適化できるが本実施の形態では０．１と設定している。条件１は、所望ビットレートが大きく変化した場合を表している。条件２は連続するフレーム間で画像特性が大きく変化した場合を表しており、わずかなビットレートの変動は許容している。上記の２つの条件を満たさない場合には、前フレームとは独立に第１の実施の形態の手法を用いて符号化する。

なお、インターフレーム拡張において必要なバッファは、前フレームでの符号化パスの切捨て数ｐとビットレートｒ_ｎ−１ ^ｐを記憶するのに必要なバッファ分となる。この方法は、時間方向の画質変動を抑制することから、フリッカー雑音の低減に効果的である。

［第３の実施の形態］
本実施の形態では、
１）レートの制御の高精細化；
２）PSNRの向上：
を実現するために、第１の実施の形態とEBCOTを組み合わせたハイブリッド法を提案する。その実現のために、主観画質実験により得られた“フリッカー雑音が静止領域において顕著に検知され、動画領域ではさほど目立たない”特性を利用する。即ち、符号化パス切捨て部１１５では、静止領域においては第１の実施の形態、即ち、時間方向に連続する同位置のコードブロックにおける符号化パスの切捨て数を同じ値に設定し、符号化する。一方、動領域において、フリッカー雑音は動きによってマスキングされ目立たないことから、EBCOTによって符号化する。その結果、フリッカー雑音を抑制しつつPSNRの向上と詳細なビットレート制御が実現できる。

静止領域か動領域かの判定は、原画像領域で、ブロック単位で行う。ここでは、時間方向に連続する同位置のブロック間の差分をとり、十分小さい場合は静止領域、それ以外は動領域とするシンプルな判定基準を用いる。図６に示すように、その判定結果をサブバンド領域のコードブロックへマッピングすることにより、静止領域と動領域に分類する。

図７は、本発明の第３の実施の形態における符号化パス切捨て部の動作のフローチャートである。

ステップ３０１）処理対象のフレームが第１フレーム（全コードブロックが動領域と判定されたフレーム）の場合は、ステップ３０２に移行し、そうでない場合はステップ３０３に移行する。

ステップ３０２）第１フレームの場合は、第１の実施の形態の手法により符号化し、ステップ３０６に移行する。

ステップ３０３）全てのコードブロックに対して第２の実施の形態の手法を適用する。得られた符号化パスの切捨て数ｐを当該符号化パス切捨て部１１５のバッファに保存する。

ステップ３０４） (動領域のコードブロックに対してのみではなく)すべてのコードブロックに対してEBCOTを適用する。得られた最適なＲＤ曲線閾値ｓをバッファに保存する。

ステップ３０５）上記のステップ３０３、ステップ３０４で得られた符号化パスの切捨て数ｐと最適なＲＤ曲線閾値ｓを用いて、静止領域と動領域をそれぞれ符号化する。

ステップ３０６）符号化するフレームがある場合には、ステップ３０１へ移行し、全フレームを符号化した場合は終了する。

本実施の形態による手法では、第２の実施の形態の手法の符号化パスの切捨て数とEBCOTのＲＤ曲線閾値を独立に最適化している。その理由の一つには、計算量の削減がある。Ｐを符号化パス数の集合、ＳをＲＤ曲線閾値の集合とすると、演算量は、同時最適化を行った場合にＯ（Ｐ×Ｎ）となるのに対して、本実施の形態の手法では、Ｏ（Ｐ）＋Ｏ（Ｎ）となる。グローバルな最適解を得るためには同時最適化が必要となるが、独立に最適化した際に、低下する符号化効率の割合はそれほど大きくはないと考えられる。なぜなら、第２の実施の形態の手法によるレート制御幅は、EBCOTと比較するとかなり粗いことから、ＲＤ最適解の観点から、静止領域に対して割り当てられるビット数はかなり多いか少ないかのいずれかである。従って、大抵の場合、第２の実施の形態の符号化パスの切捨て数は同時最適化で求めた場合と一致すると考えられる。

［第４の実施の形態］
本実施の形態では、
１）レート制御の高精細化；
２）PSNRの向上：
を第３の実施の形態とは異なる手法で改善する。

第１の実施の形態とEBCOTを組み合わせたハイブリッド法であるという点は同じであるが、これらを切り換える基準が異なる。ここでは、主観画質実験により得られた“高周波数帯域はフリッカー雑音と大きな相関があり、低周波数帯域はフリッカー雑音との相関が小さい”性質を利用する。即ち、符号化パス切捨て部１１５では、高周波数帯域においては第１の実施の形態、即ち、時間方向に連続する同位置のコードブロックにおける符号化パスの切捨て数を同じ値に設定し、符号化する。一方、低周波数帯域は、EBCOTによって符号化する。その結果、フリッカー雑音を抑制しつつPSNRの向上と詳細なビットレート制御が実現できる。主観評価結果では、一例としてウェーブレット分割レベル＝５のとき、４，５レベルの高周波数帯域は第１の実施の形態の手法、１−３レベルの低周波数帯域はEBCOTを用いると、PSNRを高く保持したまま、フリッカー雑音を抑制することを確認している。この方法は、第３の実施の形態のように動き検出の必要がないことから、少ない演算量で同じ程度の効果を得ることができる特徴がある。

なお、上記の第３の実施の形態と第４の実施の形態は、互いに素の関係であることから、両方式を同時に実現することも可能である。その際には、さらなるPSNRの向上と詳細なビットレート制御が実現できる。

また、図２に示す画像符号化装置の上記の第１〜第４の実施の形態の動作をプログラムとして構築し、コンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムを、ハードディスク装置に格納する、または、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納してコンピュータにインストールして実行させる、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、画像の符号化技術に適用可能である。

本発明の原理構成図である。本発明の第１の実施の形態におけるJPEG2000符号化器の構成図である。本発明の第１の実施の形態における３つの符号化パスによるビットプレーン符号化を示す図である。本発明の第１の実施の形態におけるポスト量子化（符号化パスの切捨て）を示す図である。本発明の第１の実施の形態における符号化パス切捨て部で参照するテーブルの作成方法のフローチャートである。本発明の第３の実施の形態における原画像領域での動き検出とサブバンド領域へのマッピングを示す図である。本発明の第３の実施の形態における符号化パス切捨て部の動作のフローチャートである。

符号の説明

１１０ウェーブレット変換手段、ウェーブレット変換部
１１１量子化手段、量子化部
１１２コードブロック分割手段、コードブロック分割部
１１３係数ビットモデリング手段、係数ビットモデリング部
１１４算術符号化手段、算術符号化部
１１５ポスト量子化手段、符号化パス切捨て部
１１６パケット化手段、パケット化部

Claims

動画圧縮時に発生するフリッカー雑音を軽減するための画像符号化装置であって、
原画像が入力されると、該画像に対してウェーブレット変換を行うことにより該画像をサブバンドに帯域分割するウェーブレット変換手段と、
前記ウェーブレット変換のウェーブレット係数を補正するために量子化を行う量子化手段と、
前記サブバンドをコードブロックに分割するコードブロック分割手段と、
前記コードブロックに対して前記ウェーブレット係数のビットプレーンに基づく係数ビットモデリングを行い、符号化パスに分解する係数ビットモデリング手段と、
前記符号化パスに対して、算術符号化を行う算術符号化手段と、
符号化パスの一部を廃棄するポスト量子化手段と、
前記ポスト量子化手段の出力からビットストリームを生成し、出力するパケット化手段と、
を有し、
前記ポスト量子化手段は、
前記切捨て数設定方式として、各コードブロックで廃棄する符号化パスの数を、解像度レベル、サブバンド、色成分毎に一定とする方式を用いる、
ことを特徴とする画像符号化装置。
前記ポスト量子化手段は、
前記切捨て数設定方式として、
「現フレームで廃棄する符号化パスの数を前フレームと同じく設定したときのビットレートと所望のビットレートの差が十分小さい」という条件、及び、「現フレームで廃棄する符号化パスの数を前フレームと同じく設定したときのビットレートと前フレームのビットレートの差が十分小さい」という条件の両方を満たすとき、現フレームで廃棄する符号化パスの数を前フレームと同じく設定することを、引き続く時間方向に対して適用する、方式を用いる
請求項１記載の画像符号化装置。
前記ポスト量子化手段において、
原画像の領域についてブロック単位に静止領域か動領域かの判定を行う手段を有し、
前記切捨て数設定方式として、
静止領域の符号化パスについては、時間方向に連続する同位置のコードブロックにおける符号化パスの廃棄数を同じ値に設定して符号化し、
動領域の符号化パスについては、MSE(Mean Squared Error)を最小規範とするEBCOT(Embedded Block Coding with Optimized Truncation)を用いて符号化する、方式を用いる
請求項１または、２記載の画像符号化装置。
前記ポスト量子化手段は、
前記ウェーブレット変換手段における帯域分割結果に基づいて、高周波帯域または、低周波数帯域かを判定し、
前記切捨て数設定方式として、
高周波数帯域の符号化パスについては、時間方向に連続する同位置のコードブロックにおける符号化パスの廃棄数を同じ値に設定して符号化し、
低周波数帯域の符号化パスについては、MSEを最小規範とするEBCOTを用いる、方式を用いる
請求項１または、２記載の画像符号化装置。
コンピュータを、
請求項１乃至４記載の画像符号化装置として機能させることを特徴とする画像符号化プログラム。
コンピュータを、
請求項１乃至４記載の画像符号化装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。