JP2007195117A - 動画像復号装置 - Google Patents

Abstract

【課題】処理負荷が高い場合でも、コマ落ちやオブジェクトの動きが極端に遅くなることを抑制した動画像復号装置を提供する。
【解決手段】制御部２１は、エントロピー復号部から量子化されたＤＣＴ係数および量子化パラメータＱＰが入力されると、これを切換部２３に出力するとともに、負荷検出部２２に対して、システムの負荷を検出するように指示する。これに対して負荷検出部２２は、ＯＳ１００に対してシステムの負荷情報を要求する。そして、負荷検出部２２は、システム負荷が低い場合には、切換部２３を切換制御して、通常処理部２４による、通常の負荷の第１逆量子化処理を実施して、ＤＣＴ係数を得るようにし、一方、システム負荷が高い場合には、特殊処理部２５による、上記第１逆量子化処理よりも処理負荷が小さい第２逆量子化処理を実施して、ＤＣＴ係数を得るようにしたものである。
【選択図】図２

Description

この発明は、例えばストリーミング送信される動画像データを復号する動画像復号装置に関する。

周知のように、従来の動画像復号装置は、例えばH.264／AVCのデコーダ（例えば、非特許文献１参照）を含むシステム（携帯電話、PCなど）の処理が高い負荷状態になった場合、通常通りデコードを継続するのは困難となり、コマ落ちやオブジェクトの動きが極端に遅くなって、デコード処理の中止などの不具合を招いていた。
Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)

従来の動画像復号装置では、処理負荷が高い場合に、通常通りデコードを継続するのは困難となり、コマ落ちやオブジェクトの動きが極端に遅くなって、デコード処理の中止などの不具合を招くという問題があった。

この発明は上記の問題を解決すべくなされたもので、処理負荷が高い場合でも、コマ落ちやオブジェクトの動きが極端に遅くなることを抑制した動画像復号装置を提供することを目的とする。

上記の目的を達成するために、この発明は、動画像信号がＤＣＴ（Discrete Cosine Transform）され、量子化されたのちエントロピー符号化されることで得られたストリームデータを復号して画像再生する動画像復号装置において、ストリームデータをエントロピー復号し、量子化されたＤＣＴ係数を求める復号手段と、当該動画像復号装置における処理負荷を検出する検出手段と、この検出手段が検出した処理負荷が予め設定した閾値未満の場合には、第１逆量子化処理によって、復号手段が出力するＤＣＴ係数を逆量子化し、一方、処理負荷が予め設定した閾値以上の場合には、第１逆量子化処理よりも処理負荷が小さい第２逆量子化処理によって、復号手段が出力するＤＣＴ係数を逆量子化する逆量子化手段と、この逆量子化手段の出力に基づいて画像予測を行って、画像再生を行う再生手段とを具備して構成するようにした。

この発明によれば、処理負荷が高い場合でも、コマ落ちやオブジェクトの動きが極端に遅くなることを抑制した動画像復号装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる動画像復号装置の構成を示すものである。動画像復号装置は、エントロピー復号部１０と、逆量子化部２０と、逆ＤＣＴ部３０と、加算部４０と、デブロッキングフィルタ５０と、ＤＰＢ６０と、画面間予測部７０と、画面内予測部８０と、切換部９０とを備えている。なお、以下の説明では、H.264／AVCのデコーダを例に挙げて説明する。

エントロピー復号部１０は、圧縮された画像のストリームデータ（ビット列）が入力され、このデータに可変長復号処理を施して、量子化されたＤＣＴ（Discrete Cosine Transform）係数（以下、量子化ＤＣＴ係数と称する）および量子化パラメータＱＰ（Quantization Parameter）を得る。この量子化ＤＣＴ係数および量子化パラメータＱＰは、逆量子化部２０に出力される。

また、エントロピー復号部１０は、上記ストリームデータが、画面内予測モードのデータか、画面間予測モードのデータかを判定し、この判定結果に応じて、後述する切換部９０を切換制御する。そして、エントロピー復号部１０は、上記ストリームデータから、参照画像として用いられる画像のデータか否かを判定する機能を備える。

逆量子化部２０は、当該動画像復号装置のシステム負荷に応じた逆量子化処理により、上記量子化パラメータＱＰに基づいて上記量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を得る。このＤＣＴ係数は、逆ＤＣＴ部３０に出力される。
逆ＤＣＴ部３０は、上記ＤＣＴ係数に、逆離散コサイン変換処理を施す。この処理結果は、残差信号として加算部４０に出力される。

加算部４０は、上記残差信号と、切換部９０が出力する予測画像データとを加算する。これにより、フレーム画像のデータが再現される。この再現されたフレーム画像のデータは、デブロッキングフィルタ５０および画面内予測部８０に出力される。

デブロッキングフィルタ５０は、加算部４０から出力されるフレーム画像のデータに対して、符号化ブロック間の歪みを改善する処理を施し、この処理結果をＤＰＢ６０に出力する。
ＤＰＢ（Decoded Picture Buffer）６０は、デブロッキングフィルタ５０で処理された画像データを記憶し、この記憶した画像をフレーム単位で出力画像として出力するとともに、参照画像として画面間予測部７０に出力する。

画面間予測部７０は、エントロピー復号部１０にて得られた量子化ＤＣＴ係数と、ＤＰＢ６０から出力される参照画像とに基づいて画面間予測を行って、予測画像データを生成し、これを切換部９０に出力する。

画面内予測部８０は、加算部４０から出力されるフレーム画像のデータと、エントロピー復号部１０にて得られた量子化ＤＣＴ係数とに基づいて画面内予測を行って、予測画像データを生成し、これを切換部９０に出力する。

切換部９０は、画面間予測部７０によって得られる予測画像データと、画面内予測部８０によって得られる予測画像データとのうちいずれか一方を、エントロピー復号部１０の切換制御にしたがって、選択的に加算部４０に出力する。

次に、図２を参照して、図１に示した逆量子化部２０の構成について説明する。この逆量子化部２０は、制御部２１と、負荷検出部２２と、切換部２３と、通常処理部２４と、特殊処理部２５とを備える。

制御部２１は、当該逆量子化部２０の各部を統括して制御するものであって、エントロピー復号部１０から量子化ＤＣＴ係数および量子化パラメータＱＰが入力されると、これを切換部２３に出力するとともに、負荷検出部２２に対して、システムの負荷を検出するように指示する。

負荷検出部２２は、制御部２１からの指示に応じて、当該動画像復号装置のＯＳ（Operating System）１００に対してシステムの負荷情報を要求する。そして負荷検出部２２は、上記要求によりＯＳ１００から取得した負荷情報に応じて切換部２３を切換制御し、量子化パラメータＱＰおよび量子化ＤＣＴ係数を通常処理部２４あるいは特殊処理部２５に選択的に出力させる。

具体的には、システムの負荷が予め設定した閾値未満の場合には、量子化パラメータＱＰおよび量子化ＤＣＴ係数を通常処理部２４に出力させ、一方、システムの負荷が予め設定した閾値以上の場合には、量子化パラメータＱＰおよび量子化ＤＣＴ係数を特殊処理部２５に出力させる。システムの負荷が大きい場合には、後段の逆量子化処理の遅延により、再生画像の動きが遅くなったり、あるいは画像のコマ落ちが生じるため、これらの不具合の発生とシステムの負荷の大きさとのバランスを考慮して上記閾値を予め設定する。

通常処理部２４は、量子化ＤＣＴ係数に対して、通常の逆量子化処理（以下、第１逆量子化処理と称する）を施して、ＤＣＴ係数を得る。特殊処理部２５は、上記通常の逆量子化処理よりも、システムへの負荷が小さい特殊な逆量子化処理（以下、第２逆量子化処理と称する）を施して、ＤＣＴ係数を得る。以下、第１逆量子化処理と第２逆量子化処理について詳述する。

第１逆量子化処理は、画素単位で下式（１）にしたがってなされ、ＤＣＴ係数を得る。なお、下式（１）においてＱＰは量子化パラメータを示し、「＜＜」はシフト演算を示す。またlevelscaleは、図３に示すテーブルにしたがって求められる。
（DCT係数）＝｛（量子化DCT係数）×（levelscale）｝＜＜（QP／６）…（１）
なお、図３のテーブルにおいて、α，β，γは、図４に示すような４×４の画素ブロックで示される直交交換成分上の列を示すものである。上記テーブルは、これらの列とＱＰ％６との対応に基づくlevelscaleを示すものであって、通常処理部２４に記憶される。

第２逆量子化処理は、画素単位で下式（２）にしたがってなされ、ＤＣＴ係数を得る。なお、modified_levelscaleは、図５に示すテーブルにしたがって求められる。図５のテーブルはＱＰ／６と、画素毎の属性α、β、γと、ＱＰ％６との対応に基づくmodified_levelscaleを示すものであって、特殊処理部２５に記憶される。なお「％」は除算の余りを示す。
（DCT係数）＝（量子化DCT係数）＜＜（modified_levelscale）…（２）
図５に示すテーブルは、図３に示すテーブルに基づくものであって、図３に示した各modified_levelscaleを例えば以下に説明するようにして求めたものである。
例えば量子化パラメータＱＰが「２２」、すなわちQP／６＝３、QP％６＝４の場合、第１逆量子化処理によれば、図３に示すテーブルより、α＝１６，β＝２５，γ＝２０となる。
（DCT係数）＝｛（量子化DCT係数）×（levelscale）｝＜＜（２２／６）
＝｛（量子化DCT係数）×（levelscale）｝＜＜３
＝｛（量子化DCT係数）×（１６，２５，２０）｝＜＜３
ここで、α，β，γを２のべき乗に近似する。すなわち、α＝１６，β＝３２，γ＝１６となる。また「×２^ｎ」は「＜＜ｎ」で置き換えることができ、また「＜＜ｍ＜＜ｎ」は「＜＜（ｍ＋ｎ）」に置き換えられるため、上式は下式となる。
（DCT係数）＝｛（量子化DCT係数）×（１６，３２，１６）｝＜＜３
＝｛（量子化DCT係数）＜＜（４，５，４）｝＜＜３
＝（量子化DCT係数）＜＜（７，８，７）
すなわち、上式（２）では、α，β，γを２のべき乗に近似した値を用いているため、画質劣化の虞があるものの、（１）式に比べ、シフト演算のみでＤＣＴ係数を求めることができるため、当該システムへの負荷が小さい。

次に、上記構成の動画像復号装置の動作について説明する。
当該動画像復号装置に入力されたストリームデータは、エントロピー復号部１０によって可変長復号処理が施されて、量子化ＤＣＴ係数および量子化パラメータＱＰが求められ、図２に示した逆量子化部２０に出力される。

制御部２１は、エントロピー復号部１０から量子化ＤＣＴ係数および量子化パラメータＱＰが入力されると、これを切換部２３に出力するとともに、負荷検出部２２に対して、システムの負荷を検出するように指示する。これに対して負荷検出部２２は、ＯＳ１００に対してシステムの負荷情報を要求する。

ここで、上記要求によりＯＳ１００から取得した負荷情報が予め設定した閾値未満の「低負荷」を示す場合には、切換部２３を切換制御して、量子化パラメータＱＰおよび量子化ＤＣＴ係数を通常処理部２４に出力させる。これにより、逆量子化部２０では、上式（１）に基づいた第１逆量子化処理が実施され、ＤＣＴ係数が求められる。

一方、上記要求によりＯＳ１００から取得した負荷情報が予め設定した閾値以上の「高負荷」を示す場合には、切換部２３を切換制御して、量子化パラメータＱＰおよび量子化ＤＣＴ係数を特殊処理部２５に出力させる。これにより、逆量子化部２０では、上式（２）に基づいた第２逆量子化処理が実施され、ＤＣＴ係数が求められる。

このようにして求められたＤＣＴ係数は、逆ＤＣＴ部３０によって、逆離散コサイン変換処理が施され、残差信号が得られる。この残差信号は、加算部４０によって、切換部９０が出力する予測画像データと加算される。これにより、フレーム画像のデータが再現される。この再現されたフレーム画像のデータは、デブロッキングフィルタ５０および画面内予測部８０に出力される。

加算部４０から出力されるフレーム画像は、デブロッキングフィルタ５０にて、符号化ブロック間の歪みを改善する処理が施される。この処理が施された画像データは、ＤＰＢ６０に一時的に記憶された後、フレーム単位で出力画像として出力されるとともに、参照画像として画面間予測部７０に出力される。

画面間予測部７０では、エントロピー復号部１０にて得られた量子化ＤＣＴ係数と、ＤＰＢ６０から出力される参照画像とに基づいて画面間予測が行われ、予測画像データが生成される。また、画面内予測部８０では、加算部４０から出力されるフレーム画像のデータと、エントロピー復号部１０にて得られた量子化ＤＣＴ係数とに基づいて画面内予測が行われ、予測画像データが生成される。

そして、切換部９０では、画面間予測部７０によって得られる予測画像データと、画面内予測部８０によって得られる予測画像データとのうちいずれか一方を、エントロピー復号部１０の切換制御にしたがって、選択的に加算部４０に出力する。

以上のように、上記構成の動画像復号装置では、システム負荷が低い場合には、通常の処理負荷の第１逆量子化処理を実施して、ＤＣＴ係数を得るようにし、一方、システム負荷が高い場合には、上記第１逆量子化処理よりも処理負荷が小さい第２逆量子化処理を実施して、ＤＣＴ係数を得るようにしている。

したがって、上記構成の動画像復号装置によれば、処理負荷が高い場合でも、コマ落ちやオブジェクトの動きが極端に遅くなることを抑制し、デコード処理の中止などの不具合を招くことを軽減することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その一例として例えば、上記実施の形態では、システムの負荷の状態をモニタし、そのレベルに応じて逆量子化処理を切り換えるようにしたが、これに加えて例えば、各ＤＣＴ係数の周波数成分に対し、周波数成分を低周波成分、高周波成分とに分ける閾値を予め設定しておき、それらを比較して各ＤＣＴ係数が持つ周波数成分が低周波成分か高周波成分かを判定する判定部を逆量子化部２０に設ける。そして、システムの負荷が予め設定した閾値以上で、かつ上記判定部が高周波成分であると判定したＤＣＴ係数に対して、第２逆量子化処理を実施するようにしてもよい。

これは、一般に、低周波成分のＤＣＴ係数の誤差が、再生画像で目立ちやすいことに着目したものであって、上述したような処理によれば、第２逆量子化処理を実施した場合に生じうる近似誤差を極小に抑制することができる。

また、システムの負荷が予め設定した閾値以上で、かつ切換部９０が画面間予測部７０による予測画像データを出力する場合に限って、第２逆量子化処理を実施するようにしてもよい。

これは、一般に、画面間予測モードの場合、残差が小さくなるために量子化ＤＣＴ係数も小さくなる傾向があることに着目したもので、画面間予測モードの場合に第２逆量子化処理を用いても発生する近似誤差が少ない。

具体的な実現手段の一例としては、制御部２１が切換部９０を監視し、画面間予測部７０による予測画像データを出力する場合に限って、負荷検出部２２に対してシステムの負荷を検出するように指示することで実現できる。

そしてまた、画面間予測モードの場合、参照される画像の誤差が蓄積して劣化が後の画像に影響する。この点に着目し、参照画像として扱われない画像に対してのみ、システムの負荷が予め設定した閾値以上の場合に、第２逆量子化処理を実施するようにしてもよい。

具体的な実現手段の一例としては、エントロピー復号部１０が、参照画像として用いられないデータと判定した場合に限って、制御部２１が負荷検出部２２に対してシステムの負荷を検出するように指示することで実現できる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

この発明に係わる動画像復号装置の一実施形態の構成を示す回路ブロック図。 図１に示した動画像復号装置の逆量子化部の構成を示す回路ブロック図。 図２に示した通常処理部が記憶するテーブルを示す図。 直交交換成分上の列を説明するための図。 図２に示した特殊処理部が記憶するテーブルを示す図。

符号の説明

１０…エントロピー復号部、２０…逆量子化部、２１…制御部、２２…負荷検出部、２３…切換部、２４…通常処理部、２５…特殊処理部、３０…逆ＤＣＴ部、４０…加算部、５０…デブロッキングフィルタ、６０…ＤＰＢ（Decoded Picture Buffer）、７０…画面間予測部、８０…画面内予測部、９０…切換部、１００…ＯＳ（Operation System）。

Claims (5)

1. 動画像信号がＤＣＴ（Discrete Cosine Transform）され、量子化されたのちエントロピー符号化されることで得られたストリームデータを復号して画像再生する動画像復号装置において、
   前記ストリームデータをエントロピー復号し、量子化されたＤＣＴ係数を求める復号手段と、
   当該動画像復号装置における処理負荷を検出する検出手段と、
   この検出手段が検出した処理負荷が予め設定した閾値未満の場合には、第１逆量子化処理によって、前記復号手段が出力するＤＣＴ係数を逆量子化し、一方、前記処理負荷が予め設定した閾値以上の場合には、第１逆量子化処理よりも処理負荷が小さい第２逆量子化処理によって、前記復号手段が出力するＤＣＴ係数を逆量子化する逆量子化手段と、
   この逆量子化手段の出力に基づいて画像予測を行って、画像再生を行う再生手段とを具備することを特徴とする動画像復号装置。
2. 前記第１逆量子化処理は、前記復号手段が出力するＤＣＴ係数に対して、量子化パラメータに応じたシフトと、この量子化パラメータに応じたレベルスケールの乗算とによって逆量子化を行うものであって、
   前記第２逆量子化処理は、量子化パラメータに応じたシフトと、この量子化パラメータに応じたレベルスケールを近似した値に基づくシフトを、前記復号手段が出力するＤＣＴ係数に対して行うことで、逆量子化を行うものであることを特徴とする請求項１に記載の動画像復号装置。
3. さらに、前記復号手段が出力するＤＣＴ係数がそれぞれ持つ周波数成分と、予め設定した、周波数成分を低周波成分、高周波成分とに分ける閾値とを比較することによって、高周波成分か否かを判定する周波数成分判定手段を備え、
   前記逆量子化手段は、前記処理負荷が予め設定した閾値以上のとき、前記周波数成分判定手段が高周波成分と判定されたＤＣＴ係数に対して前記第２逆量子化を行うとともに、低周波成分と判定されたＤＣＴ係数に対して前記第１逆量子化処理を行うことを特徴とする請求項１に記載の動画像復号装置。
4. さらに、前記復号手段による復号結果から画面内予測モードで符号化されたデータか、画面間予測モードで符号化されたデータかを判定するモード判定手段を備え、
   前記逆量子化手段は、前記処理負荷が予め設定した閾値以上で、かつ前記モード判定手段が画面間予測モードと判定する場合に、前記第２逆量子化処理によって、前記復号手段が出力するＤＣＴ係数を逆量子化し、一方、それ以外の場合には、前記第１逆量子化処理によって、前記復号手段が出力するＤＣＴ係数を逆量子化することを特徴とする請求項１に記載の動画像復号装置。
5. さらに、前記復号手段による復号結果から画面間予測の参照画像として用いるデータか否かを判定する画像判定手段を備え、
   前記逆量子化手段は、前記処理負荷が予め設定した閾値以上で、かつ前記画像判定手段が参照画像と判定する場合に、前記第２逆量子化処理によって、前記復号手段が出力するＤＣＴ係数を逆量子化し、一方、それ以外の場合には、前記第１逆量子化処理によって、前記復号手段が出力するＤＣＴ係数を逆量子化することを特徴とする請求項１に記載の動画像復号装置。

Images