JP2004040811A

JP2004040811A - 動映像符号化のためのｄｃｔ演算量調節方法及びその装置

Info

Publication number: JP2004040811A
Application number: JP2003273742A
Authority: JP
Inventors: Byung-Cheol Song; 宋　秉哲; Kang-Wook Chun; 千　▲カン▼旭
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-07-11
Filing date: 2003-07-11
Publication date: 2004-02-05
Also published as: CN1469648A; EP1381239A1; KR20040007818A; CN1224266C; US20040008898A1

Abstract

【課題】　動映像符号化のためのＤＣＴ演算量調節方法及びその装置を提供する。
【解決手段】　以前映像データに対する復号化演算量を示す復号器複雑度情報および動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を入力される段階と、前記入力された復号器複雑度情報及びＭＥ演算量変化情報に基づいて現在映像データに対するＤＣＴスキッピングを調節する段階とを含むＤＣＴ演算量調節方法。これにより、デコーダに割り当てられた演算量を最大限活用でき、また映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持できる。
【選択図】　図３

Description

　本発明は、動映像符号化方法及び装置に係り、特に動映像符号化のためのＤＣＴ演算量を調節するための方法及びその装置に関する。

　図１は、一般的な動映像符号化のためのエンコーダ１２０及びデコーダ１４０を図示するブロック図である。

　ＶＯＤ（ＶｉｄｅｏＯｎＤｅｍａｎｄ）サービスや動映像通信のために、エンコーダ１２０は圧縮技術により符号化されたビットストリームを生成し、デコーダ１４０は入力されたビットストリームから映像を復元する機能を行う。

　まず、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）部１２２は空間的相関性を除去するために８×８画素ブロック単位で入力される映像データに対してＤＣＴ演算を行い、量子化（Ｑｕａｎｔｉｚａｔｉｏｎ：Ｑ）部１２４はＤＣＴ部１２２で得られたＤＣＴ係数に対して量子化を行い、いくつかの代表値に表現することによって、高効率損失圧縮を行う。

　逆量子化（ＩｎｖｅｒｓｅＱｕａｎｔｉｚａｔｉｏｎ：ＩＱ）部１２６はＱ部１２４で量子化された映像データを逆量子化する。ＩＤＣＴ（ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）部１２８はＩＱ部１２６で逆量子化された映像データに対してＩＤＣＴ変換を行う。フレームメモリ部１３０は、ＩＤＣＴ部１２８でＩＤＣＴ変換された映像データをフレーム単位に貯蔵する。

　動き推定（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ：ＭＥ）部１３２は、入力される現在フレームの映像データとフレームメモリ部１３０に貯蔵された以前フレームの映像データとを利用してマクロブロック当り動きベクトルＭＶとブロック整合誤差に該当するＳＡＤ（ｓｕｍｏｆａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ）を推定する。

　ＶＬＣ部（ｖａｒｉａｂｌｅｌｅｎｇｔｈｃｏｄｉｎｇ：ＶＬＣ）１３４は、ＭＥ部１３２で推定された動きベクトルＭＶによってＤＣＴ及び量子化処理されたデータで統計的重畳性を除去する。

　エンコーダ１２０により符号化されたビットストリームは、可変長復号化部１４２、ＩＱ部１４４、ＩＤＣＴ部１４６、フレームメモリ部１４８、及び動き補償部１５０よりなるデコーダ１４０により復号化される。

　一方、ＶＯＤサービスまたはリアルタイム動映像通信のために、動映像をリアルタイムで符号化及び復号化する必要があり、このためにはエンコーダ及びデコーダの演算量を効果的に調節する必要がある。特にＭＰＥＧ４及びＨ．２６ｘをはじめとするあらゆる動映像符号化技術で演算量の最も多くの比重を占める部分がＤＣＴ部分とＭＥ部である。

　したがって、エンコーダではＤＣＴ部及びＭＥ部での演算量を減らすためにＤＣＴスキッピング技法及び高速ＭＥアルゴリズムを使用する。デコーダの演算量はエンコーダの符号化結果によって決定され、デコーダの演算量に影響を与える要素はスキップされたブロックの数である。

　図２は、従来のＤＣＴスキッピング技術を適用した動映像エンコーダを図示する。

　図２の動映像エンコーダは、図１の動映像エンコーダ１２０にＤＣＴ部２１０のＤＣＴ演算量を調節するためのＤＣＴ演算量調節部２８０がさらに付加されている。

　図２のＤＣＴ演算量調節部２８０は、ＭＥ部２７０で推定されたブロック当りＳＡＤおよびＱ部２２０での量子化係数Ｑを選定されたしきい値Ｔと比較して、ＤＣＴ部２１０での各８×８ブロックのＤＣＴスキッピング可否を決定する。すなわち、ＤＣＴ演算量調節部２８０はＳＡＤ／Ｑが特定しきい値Ｔより小さければＥＯＢ（ｅｎｄｏｆｂｌｏｃｋ）が０に近い可能性が大きいので、符号化せずに出力させ、ＳＡＤ／Ｑが特定しきい値Ｔより大きい場合にはＤＣＴを行わせて、符号化期のＤＣＴ演算量を減らす。

　しかし、従来技術による動映像エンコーダの場合、デコーダに割り当てられる演算量の限界があるだけでなく、状況によって割当演算量及び実際消費される演算量が変わりうることを考慮していないために、このようなエンコーダにより符号化されたビットストリームが入力される場合、デコーダが入力されたビットストリームに対して正常に復号化を行えなくなるか、デコーダに割り当てられる演算量を十分に活用できなくなる問題点があった。

　また、従来技術による動映像エンコーダの場合、選定されたしきい値Ｔが映像シーケンス内で一つの値に固定されていて、マクロブロック単位またはフレーム別にＤＣＴ演算複雑度が変わることを考慮していないために、入力された動映像のデータのリアルタイム符号化が正常に行われない問題点があった。

　本発明が解決しようとする技術的課題は、デコーダの演算量を考慮してエンコーダでのＤＣＴ演算量を調節することによって、デコーダに割り当てられた演算量を最大限活用すると同時に入力されたビットストリームに対する復号化を正常的に行える動映像符号化のためのＤＣＴ演算量調節方法及びその装置を提供するところにある。

　本発明によるさらに他の技術的課題は、ＭＥ部の演算量変化分をＤＣＴモジュールに適用することによって映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持する動映像符号化のためのＤＣＴ演算量調節方法及びその装置を提供するところにある。

　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節方法は、（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報を入力される段階と、（ｂ）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。

　前記の技術的課題を解決するために、本発明による望ましいＤＣＴ演算量調節方法は、前記（ａ）段階は、（ａ１）以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する段階をさらに含むことを特徴とする。

　前記の技術的課題を解決するために、本発明によるさらに望ましいＤＣＴ演算量調節方法は、前記（ｂ）段階は、ｂ１）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。

　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節方法は、（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報及び動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を入力される段階と、（ｂ）前記（ａ）段階で入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。

　前記の技術的課題を解決するために、本発明による望ましい動映像符号化のためのＤＣＴ演算量調節方法は、（ｂ１）前記（ａ）段階で入力された前記復号器複雑度情報及び前記ＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。

　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節装置は、入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を利用して、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とする。

　前記の技術的課題を解決するために、本発明による望ましいＤＣＴ演算量調節装置は、入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する復号器複雑度計算部をさらに含むことを特徴とする。

　前記の技術的課題を解決するために、本発明によるさらに望ましいＤＣＴ演算量調節装置において、前記ＤＣＴ演算量調節部は、前記復号器複雑度情報を利用してＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする。

　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節装置は、入力された以前映像データに対する復号化演算量を示す復号器複雑度情報および動き推定に対する演算量変化情報を示すＭＥ演算量変化情報に基づいて、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とする。

　前記の技術的課題を解決するために、本発明による望ましい動映像符号化のためのＤＣＴ演算量調節装置において、前記ＤＣＴ演算量調節部は、前記入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする。

　前記のように本発明によるＤＣＴ演算量調節方法及び装置を使用する場合、動映像エンコーダにデコーダでの演算量情報及びＭＥ部の演算量変化分を考慮したＤＣＴスキッピング方法を適用することによってデコーダに割り当てられた演算量を最大限活用すると同時に、入力されたビットストリームに対する復号化を正常的に遂行することができ、また映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持できる効果がある。

　以下、添付した図面を参照して本発明の望ましい実施形態を説明する。

　図３は、本発明による動映像エンコーダ及びデコーダを図示するブロック図である。

　本発明による動映像エンコーダ３２０は、入力される映像データに対してＤＣＴ演算を行うためのＤＣＴ部３２２、ＤＣＴ部３２２で得られたＤＣＴ係数に対して量子化係数Ｑによって量子化を行うためのＱ部３２４、Ｑ部３２４で量子化された映像データを逆量子化するためのＩＱ部３２６、ＩＱ部３２６で逆量子化された映像データに対してＩＤＣＴ変換を行うためのＩＤＣＴ部３２８、ＩＤＣＴ部３２８でＩＤＣＴ変換された映像データをフレーム単位で貯蔵するためのフレームメモリ部３３０、入力される現在フレームの映像データとフレームメモリ部３３０に貯蔵された以前フレームの映像データとを利用して動き推定関連情報を生成するＭＥ部３３２、ＭＥ部３３２で推定された動きベクトルＭＶによってＤＣＴ及び量子化処理されたデータから統計的重畳性を除去して符号化する可変長符号化（ｖａｒｉａｂｌｅｌｅｎｇｔｈｃｏｄｉｎｇ：ＶＬＣ）部３３４、及び復号化器３４０のデコーダ複雑度計算部３４２からのデコーダ複雑度情報に基づいてＤＣＴ部３２２のＤＣＴ演算量を調節するためのＤＣＴ演算量調節部３３６を含む。

　デコーダ３４０は図１に示したデコーダと同じ機能を行う可変長復号化部、ＩＱ部、ＩＤＣＴ部、フレームメモリ部、動き補償部、及びデコーダ複雑度計算部を含み（図示せず）、説明の便宜のために詳細な説明は省略する。

　デコーダ複雑度計算部３４２はデコーダ３４０での以前フレーム、すなわちｎ番目フレーム（以下、‘ｆ（ｎ）’という）の復号化が終了する場合、以前フレームｆ（ｎ）での復号演算量情報、すなわち復号化複雑度情報を生成して、逆方向チャンネルを通じてエンコーダ３２０のＤＣＴ演算量調節部３３６に伝送する。以前フレームｆ（ｎ）に対する復号化演算のうちＩＤＣＴ演算が占める演算量がＣ_ＩＤＣＴ（ｎ）、デコーダに割り当てられた演算量がＣ_{ａｌｌｏｗｅｄ}（ｎ）、実際消費された演算量がＣ_{ｔｏｔａｌ}（ｎ）である場合、最近復号化されたｋ個のフレームのデコーダ複雑度情報は｛Ｃ_ＩＤＣＴ（ｊ）、Ｃ_{ａｌｌｏｗｅｄ}（ｊ）、Ｃ_{ｔｏｔａｌ}（ｊ）｜ｊ＝ｎ−ｋ＋１，．．．，ｎ｝である。ここで、ｋは選択的に設定できる変数である。

　また、本実施形態で実際消費された演算量Ｃ_{ｔｏｔａｌ}（ｎ）はデコーダ３４０の可変長復号化部、ＩＱ部、ＩＤＣＴ部、動き補償部によりｎ番目フレームに対して消費された全体演算量を意味する。また、本実施形態ではＩＤＣＴの演算量Ｃ_ＩＤＣＴ（ｎ）がデコーダ複雑度情報に含まれたが、選択的にデコーダ複雑度情報でＩＤＣＴの演算量Ｃ_ＩＤＣＴ（ｎ）を省略し、エンコーダ３２０のＩＤＣＴ部３２８から得ることも可能である。

　ＤＣＴ演算量調節部３３６はデコーダ複雑度計算部３４２から伝送された復号化複雑度情報に基づいて、ＤＣＴスキッピング技法によって入力される映像データのうち現在符号化されるフレームｆ（ｎ＋１）に対するＤＣＴ部３２２でのＤＣＴ遂行回数を調節する。

　本発明の一実施形態によれば、デコーダで復号化された以前フレームｆ（ｎ）に対して実際消費された演算量Ｃ_{ｔｏｔａｌ}（ｎ）がデコーダに割り当てられた演算量Ｃ_{ａｌｌｏｗｅｄ}（ｎ）より小さな場合、現在デコーダが割り当てられた資源を十分に使用していないと判断して、現在フレームｆ（ｎ＋１）以後のフレームに対してＤＣＴスキッピングを減らしてエンコーダ及びデコーダの演算量を増加させる。このような場合、デコーダ３４０で復号化が正常的に行われるように維持すると同時に、ＤＣＴスキッピングを減らすことによって優秀な画質を提供できる。

　また、デコーダで復号化された以前フレームｆ（ｎ）に対して実際消費された演算量Ｃ_{ｔｏｔａｌ}（ｎ）がデコーダに割り当てられた演算量Ｃ_{ａｌｌｏｗｅｄ}（ｎ）より大きい場合には、現在フレームｆ（ｎ＋１）以後のフレームに対してＤＣＴスキッピングを増やし、エンコーダ及びデコーダのＤＣＴ演算量を減らしてデコーダでの復号化を正常的に行う。この場合、デコーダでのＤＣＴ演算量は減少するが、画質は相対的に劣化する。

　例えば、デコーダに割り当てられた演算量が３００ＭＩＰＳであり、ｎ番目フレームｆ（ｎ）に対して実際消費された演算量が２５０ＭＩＰＳである場合、割り当てられた演算量と実際消費された演算量間の差、すなわち、約５０ＭＩＰＳの演算量に合わせてＤＣＴスキッピングを減らし、エンコーダ及びデコーダの演算量を増やしてデコーダで割り当てられた演算量を最大限活用するようにする。

　このように、従来技術ではＤＣＴスキッピング時に現在フレームでＤＣＴスキッピングのためのしきい値Ｔ_{ｃｕｒｒｅｎｔ}を固定したが、本発明では逆方向チャンネルを通じてデコーダから入力されたデコーダでの以前フレームｆ（ｎ）に対する復号化演算量、すなわちデコーダ複雑度を考慮して現在フレームｆ（ｎ＋１）でのしきい値Ｔ_{ｃｕｒｒｅｔ}またはＴ_ｎ＋１を更新して、デコーダに割り当てられた演算量を最大限活用すると同時に入力されるビットストリームに対する符号化を正常的に行わせる。

　以下、現在フレームｆ（ｎ＋１）のしきい値Ｔ_ｎ＋１を計算するための過程を説明する。

　ＤＣＴ演算複雑度はしきい値Ｔ及び量子化係数Ｑの積逆数に比例するという特性を利用して数式１のように示す。

　ここで、ＣはＤＣＴ演算複雑度、Ｔはしきい値、Ｑは量子化係数である。

　数式３でｎ番目フレームｆ（ｎ）の演算複雑度、しきい値、量子化係数を各々Ｃ_ｎ、Ｔ_ｎ、Ｑ_ｎと表す場合、数式１からｖ＝Ｃ_ｎＴ_ｎＱ_ｎであり、ｎ＋１番目フレームの目標しきい値は数式４のように表すことができる。

　ここで、Ｃ_ｔはｎ＋１番目フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算複雑度である。

　したがって、数式１及び２により、ｎ＋１番目フレームの目標しきい値Ｔ_ｎ＋１は下記の数式５のように表すことができる。

　数式５を再び整理すれば数式６のように表すことができる。

　数式６は若干の流動性をおくために数式７のように表すことができる。

　ここで、αは収斂速度を調節するパラメータである。数式５で現在フレームｆ（ｎ＋１）のしきい値Ｔ_ｎ＋１は以前フレームｆ（ｎ）でのしきい値Ｔ_ｎ、以前及び現在フレームの量子化係数Ｑ_ｎ及びＱ_ｎ＋１、以前フレームｆ（ｎ）のＤＣＴ演算複雑度Ｃ_ｎ及び現在フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算量Ｃ_ｔによって求められる。

　以下、数式７及びデコーダ複雑度計算部３４２から伝送されたデコーダ複雑度に基づいて、ＤＣＴ演算量調節部３３６で現在フレームｆ（ｎ＋１）でのしきい値を決定する方式を説明する。

　まず、エンコーダ３２０のＤＣＴ演算量調節部３３６ではデコーダ複雑度計算部３４２から伝送されたデコーダの複雑度情報に基づいて現在フレームｆ（ｎ＋１）での目標ＤＣＴ演算量を計算する。本発明による一実施形態では下の数式８によって現在フレームｆ（ｎ＋１）での目標ＤＣＴ演算量を計算する。

　本実施形態では数式８によってエンコーダ３２０での現在フレームｆ（ｎ＋１）の目標ＤＣＴ演算量を計算した。しかし、選択的に、デコーダ複雑度計算部３４２から伝送されたＣ_{ａｌｌｏｗｅｄ}（ｎ）及びＣ_{ｔｏｔａｌ}（ｎ）値に基づいて、所定の数式によって現在フレームｆ（ｎ＋１）の目標ＤＣＴ演算量を計算することも可能である。

　数式８により計算された現在フレームの目標ＤＣＴ演算量Ｃ_ｔ値を数式５に代入することによって、現在フレームｆ（ｎ＋１）でのしきい値Ｔ_ｎ＋１を計算できる。

　ＤＣＴ演算量計算部３３６は計算された現在フレームｆ（ｎ＋１）でのしきい値Ｔ_ｎ＋１に基づいて、現在フレームｆ（ｎ＋１）のｉ番目ブロックに対して、ｉ番目ブロックに該当するＳＡＤ_{ｎ＋１，ｉ}値および量子化パラメータＱ_ｎ＋１に基づいてｉ番目ブロックのスキッピング可否を決定する。

　すなわち、数式９である場合には該当ブロック、すなわち、ｎ＋１フレームのｉ番目ブロックに対してＤＣＴをスキッピング、すなわち、ＤＣＴ部３２２を該当ブロックに対して非符号化モードに設定して該当ブロックに対してＤＣＴを行わず、そうでない場合には該当ブロックに対してＤＣＴを行う。

　図４は、本発明の一実施形態によるデコーダ複雑度を考慮してＤＣＴ演算量を調節する方法を説明するためのフローチャートである。以下、図３を参照して本発明によるＤＣＴ演算量調節方法を説明する。

　段階４１０でエンコーダ３２０のＤＣＴ演算量調節部３３６は、逆方向チャンネルを通じてデコーダ３４０のデコーダ複雑度計算部３４２からデコーダでＩＤＣＴが占める演算量Ｃ_ＩＤＣＴ（ｎ）、デコーダに割り当てられた演算量Ｃ_{ａｌｌｏｗｅｄ}（ｎ）、及び実際消費された演算量Ｃ_{ｔｏｔａｌ}（ｎ）情報を含む最近復号化されたｋ個のフレームのデコーダ複雑度情報｛Ｃ_ＩＤＣＴ（ｊ）、Ｃ_{ａｌｌｏｗｅｄ}（ｊ）、Ｃ_{ｔｏｔａｌ}（ｊ）｜ｊ＝ｎ−ｋ＋１，．．．，ｎ｝を伝送される。本実施形態ではＩＤＣＴの演算量Ｃ_ＩＤＣＴ（ｊ）がデコーダ複雑度情報に含まれたが、選択的にエンコーダ３２０のＩＤＣＴ部３２８から得ることもできる。

　段階４２０では、入力されたデコーダ複雑度情報に基づいて符号化しようとする現在フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算量Ｃ_ｔを計算する。本発明による実施形態では数式６により計算されたが、選択的にデコーダ複雑度情報に基づいた所定の数式によって目標ＤＣＴ演算量Ｃ_ｔを計算することもできる。

　段階４３０でＤＣＴ演算量調節部３３６は、段階４２０で計算された目標ＤＣＴ演算量Ｃ_ｔ、ＤＣＴ部３１２から入力された以前フレームｆ（ｎ）のＤＣＴ演算量情報Ｃ_ｎ、Ｑ部３１４から入力された以前フレームｆ（ｎ）、及び現在フレームｆ（ｎ＋１）の量子化係数Ｑｎ及びＱｎ＋１に基づいて現在フレームｆ（ｎ＋１）のＤＣＴスキッピングを行うためのしきい値Ｔ_ｎ＋１を計算する。
　段階４４０でＤＣＴ演算量調節部３３６は、ＭＥ部３３２から入力されたＤＣＴスキッピング可否を決定するための現在フレームｆ（ｎ＋１）のｉ番目ブロックのＳＡＤ値ＳＡＤ_{ｎ＋１，ｉ}およびＱ部３１４からの量子化係数Ｑ_ｎ＋１に基づいて、ＤＣＴ部３１２での各８×８ブロックのＤＣＴスキッピング可否を決定する。すなわち、ＳＡＤ_{ｎ＋１，ｉ}／Ｑ_ｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔ_ｎ＋１より小さな場合には段階４５０に進む。また、ＳＡＤ_{ｎ＋１，ｉ}／Ｑ_ｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔ_ｎ＋１より大きい場合には段階４６０に進む。

　段階４５０では、現在フレームｆ（ｎ＋１）のｉ番目ブロックに対するＤＣＴ部３１２の動作が非符号化モードに設定されて、該当ブロック、すなわち現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行わずにスキッピングして段階４７０に進む。

　段階４６０では該当ブロック、すなわち、現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行い、段階４７０に進む。

　段階４７０ではｉ番目ブロックが現在フレームの最後のブロックである場合には段階４８０に進み、最後のブロックでない場合には段階４４０に進んで、前記段階４４０ないし４６０を反復的に行う。

　段階４８０では、入力される動映像のデータの符号化が終了するまで前記段階を反復的に行う。

　このように、デコーダの演算量を考慮した符号化を行うことによって、デコーダに割り当てられた演算量を最大限活用できる。

　図５は、本発明によるさらに他の実施形態を示す。

　エンコーダ５２０は、図３のエンコーダ３２０にＭＥ部５３２のＭＥ演算量変化分を計算するためのＭＥ演算量計算部５３８をさらに含む。

　ＭＥ演算量計算部５３８は、ＭＥ部５３２での目標演算量Ｃ_{ＭＥ，ｔａｒｇｅｔ}と以前フレームｆ（ｎ）で実際に行われた演算量Ｃ_ＭＥ（ｎ）との変化分を計算し、これに基づいたＭＥ演算量変化情報をＤＣＴ演算量調節部５３６に伝送する。

　ＤＣＴ演算量調節部５３６及びＭＥ演算量計算部５３８を除外した他の機能部は図３のエンコーダ３２０と同じ機能を行うので、説明の便宜のために詳細な説明は省略する。

　図６は、本発明によるまた他の実施形態によるＭＥの演算量変化及びデコーダ複雑度を考慮してＤＣＴ演算量を調節する方法を説明するためのフローチャートである。以下、図５を参照してＤＣＴ演算量調節方法を説明する。

　段階６１０でエンコーダ５２０のＤＣＴ演算量調節部５３６は、逆方向チャンネルを通じてデコーダ５４０のデコーダ複雑度計算部５４２からデコーダでの演算量のうちＩＤＣＴが占める演算量Ｃ_ＩＤＣＴ（ｎ）、デコーダに割り当てられた演算量Ｃ_{ａｌｌｏｗｅｄ}（ｎ）、及び実際消費された演算量Ｃ_{ｔｏｔａｌ}（ｎ）についての演算量情報を含むデコーダ複雑度情報を伝送され、ＭＥ演算量計算部５２８からＭＥ演算量変化情報を伝送される。

　本実施形態ではＩＤＣＴの演算量Ｃ_ＩＤＣＴ（ｊ）がデコーダ複雑度情報に含まれたが、選択的にエンコーダ５２０のＩＤＣＴ部５２８から得ることもできる。

　段階６２０では、段階６１０で入力されたデコーダ複雑度情報及びＭＥ演算量変化値に基づいて下数式８によって符号化しようとする現在フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算量を計算する。

　ここで、Ｃ_{ＭＥ，ｔａｒｇｅｔ}は動き推定演算部５３２での現在フレームｆ（ｎ＋１）に対する目標演算量を意味し、Ｃ_ＭＥ（ｎ）は以前フレームｆ（ｎ）で実際に行われた演算量を意味する。

　本実施形態では、数式１０によって現在符号化しようというフレームでの目標ＤＣＴを計算したが、選択的にデコーダ複雑度情報及びＭＥ演算量変化値を考慮した所定の数式によって目標ＤＣＴ演算量を計算することもできる。

　段階６３０でＤＣＴ演算量調節部５３６は、段階６２０で計算された目標ＤＣＴ演算量Ｃ_ｔ、ＤＣＴ部５２２から入力された以前フレームのＤＣＴ演算量情報Ｃ_ｎ、Ｑ部５２４から入力された以前フレームｆ（ｎ）及び現在フレームｆ（ｎ＋１）の量子化係数Ｑ_ｎ及びＱ_ｎ＋１に基づいて、現在フレームｆ（ｎ＋１）のＤＣＴスキッピングを行うためのしきい値Ｔ_ｎ＋１を計算する。

　段階６４０でＤＣＴ演算量調節部５３６は、ＭＥ部５３２から入力された現在ＤＣＴスキッピング可否を決定するための現在フレームのｉ番目ブロックのＳＡＤ値ＳＡＤ_{ｎ＋１，ｉ}およびＱ部５２４からの量子化係数Ｑ_ｎ＋１に基づいて、ＤＣＴ部５２２での各８×８ブロックのＤＣＴスキッピング可否を決定する。すなわち、ＳＡＤ_{ｃｕｒ，ｉ}／Ｑ_ｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔ_ｎ＋１より小さな場合には段階６５０に進む。また、ＳＡＤ_{ｃｕｒ，ｉ}／Ｑ_ｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔ_ｎ＋１より大きい場合には段階６６０に進む。
　段階６５０では、現在フレームｆ（ｎ＋１）のｉ番目ブロックに対するＤＣＴ部５２２の動作が非符号化モードに設定されて、該当ブロック、すなわち現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行わずにスキッピングする。

　段階６６０では、該当ブロック、すなわち現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行う。

　段階６７０では、ｉ番目ブロックが現在フレームの最後のブロックである場合には段階６８０に進み、最後のブロックでない場合には段階４４０に進んで、前記段階６４０ないし６６０を反復的に行う。

　段階６８０では、入力される動映像のデータの符号化が終了するまで前記段階を反復的に行う。

　このように、デコーダ５４０での演算複雑度及びＭＥ部５２４での演算量変化分を考慮してＤＣＴ演算量を調節することによって、デコーダに割り当てられた演算量を最大限活用すると同時に、エンコーダの全体的な計算量を目標演算複雑度に近接に維持できる。

　本発明は前述した実施形態に限定されず、本発明の思想内で当業者による変形が可能である。

　本発明はまたコンピュータにて読取りできる記録媒体にコンピュータにて読取りできるコードとして具現することができる。コンピュータにて読取りできる記録媒体はコンピュータシステムによって読出されるデータが貯蔵されるあらゆる記録装置を含む。コンピュータにて読取りできる記録媒体の例にはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリヤウェーブ（例えば、インターネットを通した伝送）の形態に具現されるものも含む。またコンピュータにて読取りできる記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータにて読取りできるコードとして貯蔵されて実行される。

一般的な動映像符号化のためのエンコーダ及びデコーダを図示するブロック図である。従来のＤＣＴスキッピング技術を適用した動映像エンコーダを図示するブロック図である。本発明の一実施形態による動映像エンコーダ及びデコーダを図示するブロック図である。本発明の一実施形態によるＤＣＴ演算量を調節する方法を図示するフローチャートである。本発明の一実施形態による動映像エンコーダ及びデコーダを図示するブロック図である。本発明の一実施形態によるＤＣＴ演算量を調節する方法を図示するフローチャートである。

符号の説明

　３２０　　動映像エンコーダ
　３２２　　ＤＣＴ部
　３２４　　Ｑ部
　３２６　　ＩＱ部
　３２８　　ＩＤＣＴ部
　３３０　　フレームメモリ部
　３３２　　ＭＥ部
　３３４　　ＶＬＣ部
　３３６　　ＤＣＴ演算量調節部
　３４０　　復号化器
　３４２　　デコーダ複雑度計算部

Claims

　動映像符号化のためのＤＣＴ演算量調節方法において、
　（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報を入力される段階と、
　（ｂ）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とするＤＣＴ演算量調節方法。
　前記（ａ）段階は、（ａ１）以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する段階をさらに含むことを特徴とする請求項１に記載の方法。
　前記（ｂ）段階は、
　（ｂ１）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、
　（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、
　（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする請求項１に記載の方法。
　前記（ａ）段階の復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項１に記載の方法。
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項４に記載の方法。
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項１ないし５のうちいずれか１項に記載の方法。
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項１に記載の方法。
　動映像符号化のためのＤＣＴ演算量調節方法において、
　（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報及び動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を入力される段階と、
　（ｂ）前記（ａ）段階で入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とするＤＣＴ演算量調節方法。
　前記（ａ）段階は、（ａ１）以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する段階をさらに含むことを特徴とする請求項８に記載の方法。
　前記ＭＥ演算量変化情報は現在映像データに対する目標動き推定演算量と以前映像データに対して実際に行われた動き推定演算量との差値であることを特徴とする請求項８に記載の方法。
　前記（ｂ）段階は、
　（ｂ１）前記（ａ）段階で入力された前記復号器複雑度情報及び前記ＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、
　（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、
　（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする請求項８に記載の方法。
　前記（ａ）段階の復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項８に記載の方法。
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項１０に記載の方法。
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項７ないし１３のうちいずれか１項に記載の方法。
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項８に記載の方法。
　前記（ｂ２）段階で現在映像データのしきい値Ｔ_ｎ＋１は、

により決定されるが、ここで、αは収斂速度を調節するパラメータ、Ｔ_ｎは以前映像データのしきい値、Ｑ_ｎは以前映像データの量子化係数、Ｑ_ｎ＋１は現在映像データの量子化係数、Ｃ_ｎは以前映像データに対して行われたＤＣＴ演算量、Ｃ_ｔは現在映像データに対する目標ＤＣＴ演算量であることを特徴とする請求項３または１１に記載の方法。
　前記（ｂ３）段階は、（ｂ４）前記計算されたしきい値がＳＡＤ／Ｑより小さな場合にはＤＣＴをスキッピングし、前記計算されたしきい値がＳＡＤ／Ｑより大きい場合にはＤＣＴを行う段階をさらに含むが、ここでＳＡＤはブロック整合誤差であり、Ｑは現在符号化される映像データの量子化係数であることを特徴とする請求項３または１１に記載の方法。
　動映像符号化のためのＤＣＴ演算量調節装置において、
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を利用して、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、
　前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とするＤＣＴ演算量調節装置。
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する復号器複雑度計算部をさらに含むことを特徴とする請求項１６に記載の装置。
　前記ＤＣＴ演算量調節部は、前記復号器複雑度情報を利用して現在映像データに対するＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする請求項１８に記載の装置。
　前記復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項１８に記載の装置。
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項２０に記載のＤＣＴ演算量調節装置。
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項１８ないし２２のうちいずれか１項に記載のＤＣＴ演算量調節装置。
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項１８に記載の装置。
　動映像符号化のためのＤＣＴ演算量調節装置において、
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報及び動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を利用して、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、
　前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とするＤＣＴ演算量調節装置。
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する復号器複雑度計算部をさらに含むことを特徴とする請求項２５に記載の装置。
　前記ＭＥ演算量変化情報は、現在映像データに対する目標動き推定演算量と以前映像データに対して実際に行われた動き推定演算量との差値であることを特徴とする請求項２５に記載のＤＣＴ演算量調節装置。
　前記ＤＣＴ演算量調節部は、前記入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする請求項２５に記載のＤＣＴ演算量調節装置。
　前記復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項２５に記載の装置。
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項２９に記載のＤＣＴ演算量調節装置。
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項２５ないし３０のうちいずれか１項に記載のＤＣＴ演算量調節装置。
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項２５に記載の装置。
　前記現在映像データのしきい値Ｔ_ｎ＋１は、

により決定されるが、ここで、αは収斂速度を調節するパラメータ、Ｔ_ｎは以前映像データのしきい値、Ｑ_ｎは以前映像データの量子化係数、Ｑ_ｎ＋１は現在映像データの量子化係数、Ｃ_ｎは以前映像データに対して行われたＤＣＴ演算量、Ｃ_ｔは現在映像データに対する目標ＤＣＴ演算量であることを特徴とする請求項２０または２８に記載のＤＣＴ演算量調節装置。
　前記ＤＣＴ演算量調節部は、前記計算されたしきい値がＳＡＤ／Ｑより小さな場合にはＤＣＴをスキッピングし、前記計算されたしきい値がＳＡＤ／Ｑより大きい場合にはＤＣＴを行う段階をさらに含むが、ここでＳＡＤはブロック整合誤差であり、Ｑは現在符号化される映像データの量子化係数であることを特徴とする請求項２０または２８に記載のＤＣＴ演算量調節装置。