JP2006229562A - 画像符号化器及び画像符号化方法 - Google Patents

Abstract

【課題】構成を簡略化し、かつ、演算コストを低減することができる画像符号化器及び画像符号化方法、特に、画像符号化器に構成される量子化手段の構造及び量子化方法の提供。
【解決手段】量子化器に量子化誤差を時間平均的にキャンセルするための手段（時間領域展開器）を付加する構成において、時間領域展開器をΔΣ変調により動作させる。これにより、逆量子化部や逆直交変換部などの局部復号器を削除することができ、画像符号化器の構成を簡略化して演算コストを低減し、かつ、高い精度で画像情報を符号化することができる。また、ΔΣ変調のノイズシェーピング効果によりフリッカの周波数特性を高周波数側にシフトさせることができるため、時間領域展開器を乱数閾値により動作させる構成に比べて、フリッカが抑制された視覚刺激が少ない画像を得ることができる。
【選択図】図２

Description

本発明は、画像符号化器及び画像符号化方法に関し、特に、画像符号化器に構成される量子化手段の構造及び量子化方法に関する。

近年、画像符号化の技術は飛躍的に向上し、またコンピュータの性能も大きく向上していることから、映像の符号化が盛んに行われている。画像符号化の技術の進歩は基本的に条件分岐型であり、様々な入力画像を適切に符号化して最適なビットレートを出力することができるように、多くのモジュールを付け加える手法が用いられている。

例えば、フレーム間符号化方式の画像符号化器は、図４に示すように、画像データを所定の単位に分割したマクロブロックデータと参照フレームデータとの間の動きベクトルを検出する動き検出器３と、動きベクトルとマクロブロックデータとから演算される差分信号を離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などにより水平及び垂直方向の周波数成分に変換する直交変換器６と、直交変換後の係数行列を量子化ステップで除算して余りを丸めることにより信号の圧縮を行う量子化器７と、量子化された信号を統計的手法により圧縮する符号化器９と、上記参照フレームデータを作成するために量子化された信号を伸長する逆量子化器１７及び逆直交変換器１８等の局部復号器などで構成されている。

更に、再生画質の劣化を防止するために、特開平９−３７２６８号公報では、図５に示すように、量子化器７の出力に対して、量子化後のブロックデータを、符号化すべき有効ブロックか、あるいは、符号化の必要のない無効ブロックかの判定を行い、無効ブロックと判定された場合に、量子化後のブロックデータを強制的に０に補正するデータ補正手段１９を設ける構成が開示されている。

このように、より性能の高い画像符号化器を構築するために、性能の高くない画像符号化器にモジュールを付け足す手法が用いられているため、画像符号化器の構成はますます複雑になり、これにより演算コストやハードウェア回路の回路規模はますます大きくなっている。

特開平９−３７２６８号公報（第４−６頁、第１図）

上述したように、ＭＰＥＧ（Moving Picture Experts Group）やＨ．２６ｘに代表される画像符号化器では局部復号器をエンコーダの中に組み込んだ構成をとっていたが、この構成では直交変換器６、量子化器７、逆量子化器１７、逆直交変換器１８という役割的に対になったモジュールが従属接続されており、また、直交変換器６と逆直交変換器１８は演算量が多いために演算コストがかかってしまうという問題点がある。また、直交変換器６、量子化器７、逆量子化器１７、逆直交変換器１８が従属接続されているために処理が時間的に直列してしまい、並列化処理を実装することが難しいという問題もある。

このような問題はパーソナルコンピュータや専用のハードウェア機器においても生じるが、近年、携帯電話機やＰＤＡ（Personal Digital Assistance）などの携帯端末機器に映像を表示させることが積極的に行われており、ハードウェア資源が限定されている携帯端末機器では上記問題が顕著に現れる。そこで、構成を簡略化して演算コストを低減し、かつ、高い精度で画像情報を符号化することができる画像符号化器の提案が望まれている。

本発明は、上記問題点に鑑みてなされたものであって、その第１の目的は、構成を簡略化して演算コストを低減し、かつ、高い精度で画像情報を符号化することができる画像符号化器及び画像符号化方法、特に、画像符号化器に構成される量子化手段の構造及び量子化方法を提供することにある。

また、本発明の第２の目的は、フリッカが抑制された視覚刺激が少ない画像を得ることができる画像符号化器及び画像符号化方法、特に、画像符号化器に構成される量子化手段の構造及び量子化方法を提供することにある。

上記目的を達成するため、本発明の量子化手段は、画像情報の圧縮を行う画像符号化器に構成される量子化手段であって、入力された信号を量子化して出力する量子化器と、ΔΣ変調を利用して量子化の際に生じる誤差を時間平均的にキャンセルする手段と、を少なくとも備えるものである。

また、本発明の量子化手段は、画像情報の圧縮を行う画像符号化器に構成される量子化手段であって、入力された信号を多値に量子化して出力する多値量子化器と、前記入力された信号と前記多値量子化器の出力信号とを比較して量子化の際に生じる誤差を演算する減算器と、前記減算器の出力信号を所定の値で除算することにより正規化して出力する除算器と、ΔΣ変調を利用して、前記除算器の出力信号を２値に量子化して出力するΔΣ変調器と、前記ΔΣ変調器の出力信号を前記所定の値で重み付けして出力する乗算器と、前記多値量子化器の出力信号と前記乗算器の出力信号とを加算又は減算して出力する演算器と、を少なくとも備えるものである。

また、本発明の画像符号化器は、画像データを所定の単位に分割したブロックデータと所定の参照フレームデータとの間の動きベクトルを検出する動き検出部と、前記動きベクトルと前記ブロックデータとから演算される差分信号を直交変換して出力する直交変換部と、前記直交変換部の出力信号を量子化して出力する量子化器と、前記動きベクトルを参照して、前記量子化器の出力信号を符号化して出力する符号化部と、を少なくとも備える画像符号化器において、前記量子化器が、上記いずれかの量子化手段で構成されているものである。

また、本発明の携帯端末機器は、上記構成の画像符号化器を備えるものである。

また、本発明の量子化方法は、画像情報の圧縮を行う画像符号化器における量子化方法であって、入力された信号を量子化して出力するステップと、ΔΣ変調を利用して量子化の際に生じる誤差を時間平均的にキャンセルするステップと、を少なくとも備えるものである。

また、本発明の量子化方法は、画像情報の圧縮を行う画像符号化器における量子化方法であって、入力された信号を多値に量子化して出力する第１のステップと、前記入力された信号と前記第１のステップの出力信号とを比較して量子化の際に生じる誤差を演算する第２のステップと、前記第２のステップの出力信号を所定の値で除算することにより正規化して出力する第３のステップと、ΔΣ変調を利用して、前記第３のステップの出力信号を２値に量子化して出力する第４のステップと、前記第４のステップの出力信号を前記所定の値で重み付けして出力する第５のステップと、前記第１のステップの出力信号と前記第５のステップの出力信号とを加算又は減算して出力する第６のステップと、を少なくとも備えるものである。

また、本発明の画像符号化方法は、画像データを所定の単位に分割したブロックデータと所定の参照フレームデータとの間の動きベクトルを検出して出力する動き検出処理と、前記動きベクトルと前記ブロックデータとから演算される差分信号を直交変換して出力する直交変換処理と、前記直交変換処理後の出力信号を量子化して出力する量子化処理と、前記動きベクトルを参照して、前記量子化処理後の出力信号を符号化して出力する符号化処理と、を少なくとも行う画像符号化方法において、前記量子化処理を、上記いずれかの量子化方法により実行するものである。

このように、本発明によれば、局部復号器として用いる逆量子化器・逆直交変換器を削除した簡略化した構成の画像符号化器を実現可能かつ有効に動作させることができ、これにより演算コストを低減すると共に高い精度で画像情報を符号化することができる。また、ΔΣ変調のノイズシェーピング効果によりフリッカの周波数特性を高周波数側にシフトさせて認識しにくくすることができるため、時間領域展開器を乱数閾値により動作させる構成に比べて、フリッカが抑制された視覚刺激が少ない画像を得ることができる。

本発明の画像符号化器及び画像符号化方法によれば下記記載の効果を奏する。

本発明の第１の効果は、時間平均的にキャンセルを行う画像符号化器を実現可能かつ有効に動作させることができ、これにより、構成を簡略化して演算コストを低減し、かつ、高い精度で画像情報を符号化することができるということである。

その理由は、量子化器に、量子化の際に生じる誤差を時間平均的にキャンセルするための手段（時間領域展開器）を付加する構成において、ΔΣ変調を利用して時間領域展開器を動作させているからである。

また、本発明の第２の効果は、時間領域展開器を乱数閾値を用いて動作させる構成に比べて、フリッカが抑制された視覚刺激が少ない画像を得ることができるということである。

その理由は、本発明の構成の場合、ΔΣ変調のノイズシェーピング効果によりフリッカの周波数特性を高周波数側にシフトさせることができるため、画面のちらつきは短パルス状となり、フリッカを認識しにくくすることができるからである。

従来技術で示したように、近年では、従来頻繁に行われていた専用の映像機器やＰＣ等でのエンコード・デコードのみならず、携帯電話やＰＤＡなどの携帯端末機器のように、比較的ハードウェアのリソースが少ない端末でのエンコード・デコードが望まれており、画像符号化器の構成を簡略化する方法が求められている。

画像符号化器の構成を簡略化するための方法として局部復号器を省く方法があり、局部復号器を省いたエンコーダシステムとして、従来の量子化器に、さらに量子化の際に生じる誤差を時間平均的にキャンセルする手段（このように、入力された信号を時間情報を加味して演算する手段を時間領域展開器と呼ぶことにする。）を設けたシステムが提案されており、その有効性が示されているが、そこで用いられる時間領域展開器における具体的な実現手法については述べられていなかった。

また、本願発明者は先願（特願２００５−３３８４８号）において、図６に示すように、乱数を用いて時間領域展開器を動作させる方法を開示しており、この方法は量子化代表値が時間的に変化しない場合に効果を発揮するが、量子化代表値が時間的に変化する場合に問題が発生する。それは、乱数を用いた構成では、乱数の周波数特性は低周波成分から高周波成分までを等しく含むために、量子化代表値の変化が時間的に低周波領域で変化する瞬間が存在してしまうからである。そのため、画面のちらつき（フリッカ）のレートが目に付く程度にまで瞬間的に下がる可能性が存在していた。

そこで、本発明では、画像符号化器のエンコーダに通常搭載されるモジュールの中の量子化器に時間領域展開器を付加し、局部復号器として用いるための逆量子化器・逆直交変換器を削除した構成の画像符号化器において、時間領域展開器をΔΣ変調により動作させる構成とすることを特徴としている。

この時間領域展開器を用いた画像符号化器の構成例を図１に、量子化手段の具体的構成例を図２に示す。

ここで、乱数を用いた構成（本願発明者の先願に記載した構成）の場合にちらつきのレートが瞬間的に下がる原因は、乱数の周波数特性に低周波成分が含まれているためであり、この低周波成分により、人間が認知できる程度の時間周期までちらつきのレートが下がってしまうからである。この問題を解決するためには、逐次的な手法であり、かつ低周波を含む量が少ない手法が必要であり、本発明では、その実現手法としてΔΣ変調を利用する。

このΔΣ変調は、そのシステム構成内に微分特性をもつために、ΔΣ変調の入力を１ｂｉｔ量子化する際の量子化ノイズＥ２が高周波側にシフトするという、ノイズシェーピング効果が起こることが知られている。そして、このノイズシェーピング効果により、フリッカが短パルスのような変動をすることとなり、この高周波性が人間の視覚特性の限界を超えている場合、フリッカを感じることなくＬＰＦのかかった認識となるため、比較的視覚的刺激の少ない画像を得ることができる。

具体的な動作について説明する。ΔΣ変調器１２に、通常の画像符号化器の量子化器で生成される量子化誤差Ｅ１を入力する（ただし、量子化誤差は正規化されているものとする。）と、ΔΣ変調器１２を通して１ｂｉｔストリームが出力される。このとき、量子化誤差はＥ１＋Ｅ２となる。Ｅ２を付加することで、Ｅ１＋Ｅ２の時間平均は原理的に画像符号化器に搭載されている量子化器の入力となるが、実際には入力が変動するために入力に追従する方向にＥ２が決定されることとなる。

従って、出力される符号の量子化誤差Ｅ１は変動することとなり、単純に加算を行ったとしても量子化誤差Ｅ１が蓄積することはない。このことは、従来と同じデコーダを用いてこのビットストリームが復号可能であることを示している。

このような構成を画像符号化器に付加することで、画像符号化器から局部復号器を削除して構成を簡略化することができると共に、演算コストを低減することができ、更に、乱数を閾値として動作させる時間領域展開器に比べて、フリッカが抑制された視覚刺激が少ない画像を得ることができる。

なお、本発明で利用するΔΣ変調自体は公知の技術であるが、ΔΣ変調を画像符号化器に適用した例はなく、更に、画像符号化器から局部復号器が削除された構成にΔΣ変調を利用することにより、顕著な効果を得ることができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像符号化器及び画像符号化方法について、図１乃至図３を参照して説明する。図１は、本実施例に係る画像符号化器の構成例を示すブロック図であり、図２は、本実施例に係る画像符号化器の中の量子化を行う部分（図１の破線で囲まれた量子化部）の構成例を示すブロック図である。また、図３は、本実施例の量子化部における動作を示すフローチャート図である。

図１に示すように、本実施例の画像符号化器１は、デジタル化された画像情報を出力するＣＣＤ２などの撮像装置と、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）毎に、所定の画素単位に分割されたマクロブロックデータと所定の参照フレームデータとの間の動きベクトルを検出する動き検出器３と、動きベクトルとマクロブロックデータとの差分信号を演算するための回路（フレームメモリ５やフィルタ４、スイッチ、演算器など）と、この差分信号を離散コサイン変換（ＤＣＴ）などにより水平及び垂直方向の周波数成分に分離する直交変換器６と、直交変換後の係数行列を量子化する量子化器７及び本実施例の特徴部分である量子化の際に生じる誤差（量子化ノイズ）を時間平均的にキャンセルするための時間領域展開器８からなる量子化部１０と、動きベクトルを参照して量子化された信号を圧縮する符号化器９などを構成要素としている。

なお、本発明は画像符号化器の中の量子化部１０に特徴を有するものであり、動き検出器３や直交変換器６、符号化器９などの構成や機能は特に限定されず、例えば、直交変換器６の変換方法として、ＤＣＴに変えて離散フーリエ変換やアダマール変換、カルーネンレーベ変換などを用いることができる。

上記量子化部１０の構成を具体的に示すと図２のようになり、入力信号を多値に量子化する多値量子化器１１（切捨て型又は切り上げ型のいずれでもよい。）と、直交変換器６からの出力信号（Ｓ１）と多値量子化器１１により量子化された信号（Ｓ２）とから量子化ノイズを得る減算器１３と、減算器１３からの出力信号（Ｓ３）を正規化する除算器１４と、除算器１４の出力信号（Ｓ４）をΔΣ変調を利用して２値に量子化するΔΣ変調器１２と、ΔΣ変調器１２からの出力信号（Ｓ５）を重み付けする乗算器１５と、多値量子化器１１の出力信号（Ｓ２）と乗算器１５の出力信号（Ｓ６）とを演算する演算器１６とで構成される。

なお、図２の構成は一例であり、量子化ノイズを時間平均的にキャンセルすることができる限りにおいて、その構成は適宜変更することができる。

次に、図２の構成の量子化部１０を用いて直交変換器６の出力信号（Ｓ１）を量子化する手順について、図３のフローチャート図を参照して説明する。

まず、ステップＳ１０１で、直交変換器６からの出力信号Ｓ１を多値量子化器１１に入力し、入力信号をそれに近い前後の量子化代表値のどちらか一方に量子化して出力信号Ｓ２を得る。このとき、多値量子化器１１は切捨て型もしくは切り上げ型のいずれとしてもよいが、その選択は一連の画像符号化が終了するまで変更してはならないことに注意する必要がある。

次に、ステップＳ１０２で、直交変換器６からの出力信号Ｓ１と多値量子化器１１からの出力信号Ｓ２とを減算器１３に通し、Ｓ１とＳ２の差分の出力信号Ｓ３（すなわち量子化ノイズ）を得る。

次に、ステップＳ１０３で、除算器１４を用いて、減算器１３からの出力信号Ｓ３を所定の値（ここではＬ）で割ることにより、Ｓ３を正規化して出力信号Ｓ４を得る。

次に、ステップＳ１０４で、ΔΣ変調器１２を用いて、除算器１４からの出力信号Ｓ４ΔΣ変調し、１又は０の１ｂｉｔの信号Ｓ５に変換して出力する。

次に、ステップＳ１０５で、乗算器１５を用いて、その１ｂｉｔの出力信号Ｓ５に上記所定の値（ここではＬ）を重み付けし、出力信号Ｓ６を得る。

最後に、ステップＳ１０６で、演算器１６を用いて、多値量子化器１１の出力信号Ｓ２と乗算器１５の出力信号Ｓ６とを演算（多値量子化器１１が切り捨て型の場合は加算、多値量子化器１１が切り上げ型の場合は減算）し、符号化器９に入力される出力信号Ｓ７を得る。

この一連のステップにより、量子化誤差を時間平均的にキャンセルすることができ、これにより量子化器に時間領域展開器が付加された画像符号化器を実現可能かつ有効に動作させることができる。また、ΔΣ変調のノイズシェーピング効果によりフリッカの周波数特性を高周波数側にシフトさせることができるため、時間領域展開器を乱数閾値により動作させる構成に比べて、フリッカが抑制された視覚刺激が少ない画像を得ることができる。

なお、上記説明では、ΔΣ変調の次数については触れていないが、全ての次数において本発明を適用することができるのは明らかである。また、本実施例の画像符号化器は、ＭＰＥＧやＨ．２６ｘ等の画像符号化器の中で、量子化誤差を時間平均的にキャンセルするためのモジュールを付加している任意の画像符号化器に対して同様に適用することができる。

本実施例の画像符号化器は、画像情報の圧縮処理を実行する任意の機器で利用することができ、特に、携帯電話機やＰＤＡなどのハードウェア資源が限定されている携帯端末機器で効果的に利用することができる。

本発明の一実施例に係る画像符号化器の構成を模式的に示すブロック図である。 本発明の一実施例に係る画像符号化器の中の量子化部の構成を模式的に示すブロック図である。 本発明の一実施例に係る画像符号化器を用いた量子化の手順を示すフローチャート図である。 従来の画像符号化器の構成を模式的に示すブロック図である。 従来の画像符号化器の構成を模式的に示すブロック図である。 本願発明者の先願に係る画像符号化器の中の量子化部の構成を模式的に示すブロック図である。

符号の説明

１ 画像符号化器
２ ＣＣＤ
３ 動き検出器
４ フィルタ
５ フレームメモリ
６ 直交交換器
７ 量子化器
８ 時間領域展開器
９ 符号化器
１０ 量子化部
１１ 多値量子化器
１２ ΔΣ変調器
１３ 減算器
１４ 除算器
１５ 乗算器
１６ 演算器
１７ 逆量子化器
１８ 逆直交交換器
１９ データ補正手段
２０ 乱数閾値２値量子化器

Claims (7)

1. 画像情報の圧縮を行う画像符号化器に構成される量子化手段であって、
   入力された信号を量子化して出力する量子化器と、
   ΔΣ変調を利用して量子化の際に生じる誤差を時間平均的にキャンセルする手段と、を少なくとも備えることを特徴とする量子化手段。
2. 画像情報の圧縮を行う画像符号化器に構成される量子化手段であって、
   入力された信号を多値に量子化して出力する多値量子化器と、
   前記入力された信号と前記多値量子化器の出力信号とを比較して量子化の際に生じる誤差を演算する減算器と、
   前記減算器の出力信号を所定の値で除算することにより正規化して出力する除算器と、
   ΔΣ変調を利用して、前記除算器の出力信号を２値に量子化して出力するΔΣ変調器と、
   前記ΔΣ変調器の出力信号を前記所定の値で重み付けして出力する乗算器と、
   前記多値量子化器の出力信号と前記乗算器の出力信号とを加算又は減算して出力する演算器と、を少なくとも備えることを特徴とする量子化手段。
3. 画像データを所定の単位に分割したブロックデータと所定の参照フレームデータとの間の動きベクトルを検出する動き検出部と、
   前記動きベクトルと前記ブロックデータとから演算される差分信号を直交変換して出力する直交変換部と、
   前記直交変換部の出力信号を量子化して出力する量子化器と、
   前記動きベクトルを参照して、前記量子化器の出力信号を符号化して出力する符号化部と、を少なくとも備える画像符号化器において、
   前記量子化器が、請求項１又は２に記載の量子化手段で構成されていることを特徴とする画像符号化器。
4. 請求項３記載の画像符号化器を備えることを特徴とする携帯端末機器。
5. 画像情報の圧縮を行う画像符号化器における量子化方法であって、
   入力された信号を量子化して出力するステップと、
   ΔΣ変調を利用して量子化の際に生じる誤差を時間平均的にキャンセルするステップと、を少なくとも備えることを特徴とする量子化方法。
6. 画像情報の圧縮を行う画像符号化器における量子化方法であって、
   入力された信号を多値に量子化して出力する第１のステップと、
   前記入力された信号と前記第１のステップの出力信号とを比較して量子化の際に生じる誤差を演算する第２のステップと、
   前記第２のステップの出力信号を所定の値で除算することにより正規化して出力する第３のステップと、
   ΔΣ変調を利用して、前記第３のステップの出力信号を２値に量子化して出力する第４のステップと、
   前記第４のステップの出力信号を前記所定の値で重み付けして出力する第５のステップと、
   前記第１のステップの出力信号と前記第５のステップの出力信号とを加算又は減算して出力する第６のステップと、を少なくとも備えることを特徴とする量子化方法。
7. 画像データを所定の単位に分割したブロックデータと所定の参照フレームデータとの間の動きベクトルを検出して出力する動き検出処理と、
   前記動きベクトルと前記ブロックデータとから演算される差分信号を直交変換して出力する直交変換処理と、
   前記直交変換処理後の出力信号を量子化して出力する量子化処理と、
   前記動きベクトルを参照して、前記量子化処理後の出力信号を符号化して出力する符号化処理と、を少なくとも行う画像符号化方法において、
   前記量子化処理を、請求項５又は６に記載の量子化方法により実行することを特徴とする画像符号化方法。

Images