JP2005348207A - 符号化装置、およびプログラム - Google Patents
符号化装置、およびプログラム Download PDFInfo
- Publication number
- JP2005348207A JP2005348207A JP2004166995A JP2004166995A JP2005348207A JP 2005348207 A JP2005348207 A JP 2005348207A JP 2004166995 A JP2004166995 A JP 2004166995A JP 2004166995 A JP2004166995 A JP 2004166995A JP 2005348207 A JP2005348207 A JP 2005348207A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- processing
- decoding
- image data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】復号装置に適合する符号化データを生成することができる符号化装置、およびプログラムを提供する。
【解決手段】複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する特定部２０２と、複数の異なる符号化処理のうち、特定部２０２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する符号化処理部２０１とを設けたので、復号装置に適合する符号化データを生成することができる。
【選択図】図２
【解決手段】複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する特定部２０２と、複数の異なる符号化処理のうち、特定部２０２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する符号化処理部２０１とを設けたので、復号装置に適合する符号化データを生成することができる。
【選択図】図２
Description
本発明は、例えば、動画像データの符号化処理を行う符号化装置、およびプログラムに関する。
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
ＭＰＥＧ方式に続いて、さらなる高圧縮率を実現するＪＶＴ（Joint Video Team）と呼ばれる符号化方式が提案されている（例えば、非特許文献１参照）。
ＪＶＴ方式では、ＭＰＥＧと同様に、動き予測・補償処理において、動きベクトルを基にした動き予測・補償を行う。
ところで、ＪＶＴ方式の符号化装置では、例えば、上記動き予測・補償処理において、複数の動き補償ブロックのサイズ、例えば１６×１６，１６×８，８×１６，８×８画素のサイズが規定され、８×８画素のサイズには８×８，８×４，４×８，４×４画素が規定されている。
上述した符号化装置では、各マクロブロックＭＢの動き予測・補償処理を、上記全ての種類の動き予測ブロックサイズを基に予測画像を生成し、原画像との差分が最小となる予測画像を得て動き予測ブロックサイズを最終的に採用して行っている。これにより、高い符号化効率が得られる。
トーマス・ウィーガント，ゲーリー・Ｊ・サリバン，ギスレ・ビョンテガード，アジャイ・ルスラ（Thomas Wiegand, Gary J.Sullivan, Gisle Bjontegaard, and Ajay Luthra），ビデオコーディングスタンダードの概要（Overview of the H.264/AVC Video Coding Standard），「IEEEのビデオ技術用の処理回路およびシステム」（IEEE TRANSACTIONS CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY），（米国），，２００３年７月，
ＪＶＴ方式では、ＭＰＥＧと同様に、動き予測・補償処理において、動きベクトルを基にした動き予測・補償を行う。
ところで、ＪＶＴ方式の符号化装置では、例えば、上記動き予測・補償処理において、複数の動き補償ブロックのサイズ、例えば１６×１６，１６×８，８×１６，８×８画素のサイズが規定され、８×８画素のサイズには８×８，８×４，４×８，４×４画素が規定されている。
上述した符号化装置では、各マクロブロックＭＢの動き予測・補償処理を、上記全ての種類の動き予測ブロックサイズを基に予測画像を生成し、原画像との差分が最小となる予測画像を得て動き予測ブロックサイズを最終的に採用して行っている。これにより、高い符号化効率が得られる。
トーマス・ウィーガント，ゲーリー・Ｊ・サリバン，ギスレ・ビョンテガード，アジャイ・ルスラ（Thomas Wiegand, Gary J.Sullivan, Gisle Bjontegaard, and Ajay Luthra），ビデオコーディングスタンダードの概要（Overview of the H.264/AVC Video Coding Standard），「IEEEのビデオ技術用の処理回路およびシステム」（IEEE TRANSACTIONS CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY），（米国），，２００３年７月，
ところで、上述した符号化方式のＪＶＴ規格は、復号装置の規格であり、単にプロファイルレベルで再生を保証すべき、ビットレート、ベクタ数等を制限している。また、その規格は、復号装置が保証すべきビットストリームの範囲が広すぎ、復号装置を設計する場合においても現実的ではない。
また、一般的な符号化装置では、復号装置が持つ演算能力を考慮した符号化処理を行っていない。
詳細には、一般的な符号化装置では、復号装置の演算能力を超えることなく、かつその演算能力を余すところなく復号処理を行うような、低ビットレートで高画質の画像データを復号可能な符号化データ（ビットストリーム）を生成していないので、復号装置の演算能力に余裕をもたせる必要があり、復号装置のコスト高につながる。
詳細には、一般的な符号化装置では、復号装置の演算能力を超えることなく、かつその演算能力を余すところなく復号処理を行うような、低ビットレートで高画質の画像データを復号可能な符号化データ（ビットストリーム）を生成していないので、復号装置の演算能力に余裕をもたせる必要があり、復号装置のコスト高につながる。
このため、画像データに符号化処理を施した符号化データの送信先である復号装置が予め決まっている場合には、その復号装置に適合する符号化データを生成する符号化装置、例えば復号装置で復号処理を行った際に、最適に再生可能で、低ビットレートで、高画質の画像データを復号できるような符号化データ（ビットデータ）を生成する符号化装置が望まれている。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、復号装置に適合する符号化データを生成することができる符号化装置、およびプログラムを提供することにある。
前記目的を達成するために、本発明の第１の観点の符号化装置は、画像データに符号化処理を施して符号化データを生成して復号装置に出力する符号化装置であって、複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する特定手段と、前記複数の異なる符号化処理のうち、前記特定手段が特定した符号化処理を前記画像データに施して符号化データを生成する符号化処理手段とを有する。
本発明の第１の観点の符号化装置によれば、特定手段は、複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する。
符号化処理手段は、複数の異なる符号化処理のうち、前記特定手段が特定した符号化処理を前記画像データに施して符号化データを生成する。
符号化処理手段は、複数の異なる符号化処理のうち、前記特定手段が特定した符号化処理を前記画像データに施して符号化データを生成する。
さらに、前記目的を達成するために、本発明の第２の観点の符号化装置は、動き補償の対象となる画像データと、前記動き補償で参照される参照画像データの間の差分に基づいて、動きベクトルを生成する動きベクトル生成手段と、前記動き補償の対象となる画像データと、予測画像データとの差分に直交変換処理および量子化処理を順に施す第１の処理手段と、前記第１の処理手段で生成したデータに、逆量子化処理および逆直交変換処理を順に施して参照データを生成する第２の処理手段と、前記動きベクトルおよび前記参照画像データを基に前記予測画像データを生成する第３の処理手段と、前記第１の処理手段で生成したデータ、および前記動きベクトルを符号化して符号化データを生成して復号装置に出力する符号化手段と、前記復号装置の特性を基に、少なくとも前記動きベクトル生成手段、前記第１の処理手段、前記第２の処理手段、前記第３の処理手段、および前記符号化手段のいずれかの複数の異なる内部処理のうち、前記復号装置に適合する内部処理を特定し、当該特定した内部処理を行わせる特定手段とを有する。
さらに、前記目的を達成するために、本発明の第３の観点のプログラムは、画像データに符号化処理を施して符号化データを生成して復号装置に出力する符号化装置に実行させるプログラムであって、複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する第１の手順と、前記複数の異なる符号化処理のうち、前記第２の手順が特定した符号化処理を前記画像データに施して符号化データを生成する第２の手順とを符号化装置に実行させる。
本発明の符号化装置、およびプログラムによれば、復号装置に適合する符号化データを生成することができる符号化装置、およびプログラムを提供することができる。
本発明の一実施形態に係る符号化装置は、画像データに符号化処理を施して符号化データを生成して復号装置に出力する符号化装置であって、複数の異なる符号化処理のうち、復号装置に適合する符号化処理を特定し、複数の異なる符号化処理のうち、その特定した符号化処理を画像データに施して、その復号装置に適合した符号化データを生成する。
また、詳細には、符号化装置は、復号装置の負荷を測定するための符号化処理、パラメータを特殊な条件、例えば復号装置の複数の異なる復号処理に係る演算性能を特定するためのビットストリーム（テストデータともいう）を生成する。
そして符号化装置は、例えば復号装置によりそのビットストリーム（テストデータ）の所定単位、例えばフレーム単位のデコードサイクル（復号処理時間）や消費電力等を測定して復号処理の負荷に関するデータを得る。その復号処理の負荷に関するデータに基づいて、複数の異なる符号化処理のうち、その復号装置に適合する符号化処理を特定して、その特定した符号化処理を画像データに施して、その復号装置に適合した符号化データを生成する。
そして符号化装置は、例えば復号装置によりそのビットストリーム（テストデータ）の所定単位、例えばフレーム単位のデコードサイクル（復号処理時間）や消費電力等を測定して復号処理の負荷に関するデータを得る。その復号処理の負荷に関するデータに基づいて、複数の異なる符号化処理のうち、その復号装置に適合する符号化処理を特定して、その特定した符号化処理を画像データに施して、その復号装置に適合した符号化データを生成する。
以下、本発明の実施形態に係るＪＶＴ方式を採用した符号化装置について説明する。
図１は、本発明に係る符号化装置を採用した通信システムの概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
図１は、本発明に係る符号化装置を採用した通信システムの概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮、符号化処理を施したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張、復号処理を施したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
本実施形態では、図１に示す復号装置３は符号化装置２の符号化に対応した復号処理を行い、従来と同じ構成を有している
以下、図１に示す本発明の一実施形態に係るＪＶＴ方式を採用した符号化装置を説明する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張、復号処理を施したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
本実施形態では、図１に示す復号装置３は符号化装置２の符号化に対応した復号処理を行い、従来と同じ構成を有している
以下、図１に示す本発明の一実施形態に係るＪＶＴ方式を採用した符号化装置を説明する。
図２は、図１に示した本発明の第１実施形態に係る符号化装置の概念図である。
第１実施形態に係る符号化装置２は、図２に示すように、複数の異なる処理機能を含む符号化処理部２０１、および特定部２０２を有する。
符号化処理部２０１は本発明に係る符号化処理手段に相当し、特定部２０２は本発明に係る特定手段に相当する。
第１実施形態に係る符号化装置２は、図２に示すように、複数の異なる処理機能を含む符号化処理部２０１、および特定部２０２を有する。
符号化処理部２０１は本発明に係る符号化処理手段に相当し、特定部２０２は本発明に係る特定手段に相当する。
符号化処理部２０１は、複数の異なる符号化処理のうち、特定部２０２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する。具体的には、特定部２０２が特定した符号化処理を示す制御信号ＣＴＬ２０２に基づいて、特定部２０２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する。
例えば簡単な説明のため図２に示すように、符号化処理部２０１は、第１の符号化処理部２０１１、および第２の符号化処理部２０１２、選択部２０１３，２０１４を有する。
第１の符号化処理部２０１１は、例えば選択部２０１３を介して入力された画像データＳ１０に、所定の符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
第２の符号化処理部２０１２は、例えば選択部２０１３を介して入力された画像データＳ１０に、第１の符号化処理部２０１１の符号化処理とは異なる符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
第２の符号化処理部２０１２は、例えば選択部２０１３を介して入力された画像データＳ１０に、第１の符号化処理部２０１１の符号化処理とは異なる符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
選択部２０１３，２０１４は，特定部２０２による制御信号ＣＴＬ２０２に基づいて、画像データＳ１０を第１の符号化処理部２０１１、または第２の符号化処理部２０１２に出力し、符号化処理の結果の符号化データＳ２を出力する。
詳細には、選択部２０１３は、特定部２０２による制御信号ＣＴＬ２０２ａに基づいて、画像データＳ１０を第１の符号化処理部２０１１、または第２の符号化処理部２０１２に出力する。
選択部２０１４は、特定部２０２による制御信号ＣＴＬ２０２ｂに基づいて、第１の符号化処理部２０１１、または第２の符号化処理部２０１２から出力された符号化データＳ２を出力する。
特定部２０２は、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する。詳細には、例えば特定部２０２は特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
例えば、特定部２０２は、予め復号装置３の特性に適合する符号化処理を特定し、その特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
復号装置３の特性は、例えば復号装置３による内部の復号処理に係る演算能力を示すデータや、復号装置３が符号化データに復号処理を施して画像データを生成し、その画像データを所定の画面サイズ（解像度）の表示装置で表示させる場合には、その表示装置に係るデータ、例えば画面サイズ（解像度）を示すデータ等である。
例えば、特定部２０２は、予め復号装置３の特性に適合する符号化処理を特定し、その特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
復号装置３の特性は、例えば復号装置３による内部の復号処理に係る演算能力を示すデータや、復号装置３が符号化データに復号処理を施して画像データを生成し、その画像データを所定の画面サイズ（解像度）の表示装置で表示させる場合には、その表示装置に係るデータ、例えば画面サイズ（解像度）を示すデータ等である。
また、特定部２０２は、詳細には、例えば復号装置３による復号処理の負荷を測定して復号装置３の特性を特定し、当該測定の結果の復号処理の負荷を基に、符号化処理部２０１の複数の異なる符号化処理部のうち、復号装置３に適合する符号化処理部を特定する。
特定部２０２は、例えば図２に示すように、負荷測定部２０２１、および制御部２０２２を主構成要素として有する。
負荷測定部２０２１は、例えば復号装置３による復号処理の負荷を測定し、測定の結果の復号装置３の復号処理の負荷を示す信号Ｓ２０２１を制御部２０２２に出力する。
復号処理の負荷としては、復号処理時間を示すデータや消費電力等の復号処理の負荷を示すデータである。
負荷測定部２０２１は、例えば復号装置３による復号処理の負荷を測定し、測定の結果の復号装置３の復号処理の負荷を示す信号Ｓ２０２１を制御部２０２２に出力する。
復号処理の負荷としては、復号処理時間を示すデータや消費電力等の復号処理の負荷を示すデータである。
例えば、負荷測定部２０２１は、復号装置３による復号処理の負荷を測定するためのテストパターンをビットストリーム（符号化データ）ＤＴとして出力し、復号装置３によるテストパターンの復号処理の結果、復号処理の負荷を測定する。
詳細には、負荷測定部２０２１は、復号装置３によるテストパターンの所定処理単位、例えば１ブロック単位や１フレーム単位、１ピクチャ単位での復号処理時間を、復号処理の負荷として測定する。
また、負荷測定部２０２１は、復号装置３によるテストパターンの所定処理単位での復号処理の消費電力を、復号処理の負荷として測定する。
また、負荷測定部２０２１は、復号装置３によるテストパターンの所定処理単位での復号処理の消費電力を、復号処理の負荷として測定する。
制御部２０２２は、負荷測定部２０２１による測定結果の復号処理の負荷を示す信号Ｓ２０２１を基に、符号化処理部２０１の複数の異なる符号処理部のうち、復号装置３に適合する符号化処理部を特定し、特定した結果を示す制御信号ＣＴＬ２０２を出力する。
制御部２０２２は、詳細には、符号化処理部２０１が２つの異なる第１および第２符号化処理部２０１１，２０１２を有する場合には、復号装置３の復号処理の負荷に応じて、例えば復号処理の負荷が所定値以上の場合には、第１の符号化処理部２０１１を特定し、復号処理の負荷が所定値よりも小さい場合には、第１の符号化処理部２０１１が生成する符号化データよりも、復号処理を施した際に復号処理の負荷が大きい符号化データを生成する第２の符号化処理部２０１２を特定する。
具体的には、制御部２０２２は、例えば、復号装置３によるテストパターンの所定処理単位、例えば１ブロック単位や１フレーム単位、１ピクチャ単位での復号処理時間を復号処理の負荷として測定した結果を基に、その復号処理時間が設定した閾値以上の場合には、復号処理を行う際の復号処理時間が第１の時間の符号化データを生成する第１の符号化処理部２０１１を特定し、復号処理時間が設定した閾値よりも小さい場合には、第１の符号化処理部２０１１よりも復号処理を行う際の復号処理時間が第１の時間よりも長い第２の時間の符号化データを生成する第２の符号化処理部２０１２を特定する。
また、制御部２０２２は、復号処理の負荷として上述した復号処理時間ではなく、消費電力等の復号処理の負荷を示すデータを基に上述した特定処理を行ってもよい。
また、上述したテストパターンは、復号装置３による復号処理の演算能力を判定可能なビットストリームである。
例えば制御部２０２２は、テストパターンとして、符号化処理部２０１の複数の異なる符号化処理部を選択してテストパターンを生成してもよい。また、制御部２０２２は、符号化処理部２０１の各符号化処理に係るパラメータを変化させてテストパターンを生成してもよいし、複数の異なる符号化処理のうちいずれか、またはそれらを組み合わせてテストパターンとしてのビットストリームを生成してもよい。
例えば制御部２０２２は、テストパターンとして、符号化処理部２０１の複数の異なる符号化処理部を選択してテストパターンを生成してもよい。また、制御部２０２２は、符号化処理部２０１の各符号化処理に係るパラメータを変化させてテストパターンを生成してもよいし、複数の異なる符号化処理のうちいずれか、またはそれらを組み合わせてテストパターンとしてのビットストリームを生成してもよい。
それらテストパターンを復号装置３に出力し、そのテストパターンを復号装置３に復号処理させて、その負荷を測定することで復号装置３の復号処理に係る演算能力を推測する。符号化装置２は、その結果に基づいて復号装置の復号処理に係る演算能力に適合するような符号化処理を画像データに施して、出力対象の復号装置３に出力する。
図３は、図２に示した符号化装置２の動作の一実施形態を説明するためのフローチャートである。図３を参照しながら、符号化装置２の動作を、特定部２０２の処理を中心に説明する。
ステップＳＴ１において、符号化装置２の特定部２０２は、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する。
詳細には、特定部２０２は、復号装置３の特性に適合する符号化処理を特定し、その特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
例えば、特定部２０２は、復号装置３の特性として、例えば復号装置３による内部の復号処理に係る演算能力を示すデータや、復号装置３が符号化データに復号処理を施して画像データを生成し、その画像データを所定の画面サイズ（解像度）の表示装置で表示させる場合には、その表示装置に係るデータ、例えば画面サイズ（解像度）を示すデータ等に基づいて、復号装置３の特性に適合する符号化処理を特定し、その特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
ステップＳＴ１において、符号化装置２の特定部２０２は、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する。
詳細には、特定部２０２は、復号装置３の特性に適合する符号化処理を特定し、その特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
例えば、特定部２０２は、復号装置３の特性として、例えば復号装置３による内部の復号処理に係る演算能力を示すデータや、復号装置３が符号化データに復号処理を施して画像データを生成し、その画像データを所定の画面サイズ（解像度）の表示装置で表示させる場合には、その表示装置に係るデータ、例えば画面サイズ（解像度）を示すデータ等に基づいて、復号装置３の特性に適合する符号化処理を特定し、その特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
ステップＳＴ２において、符号化処理部２０１、複数の異なる符号化処理のうち、信号ＣＴＬ２０２に基づいて、特定部２０２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する。
例えば、選択部２０１３は、特定部２０２による制御信号ＣＴＬ２０２ａに基づいて、画像データＳ１０を第１の符号化処理部２０１１、または第２の符号化処理部２０１２に出力する。
例えば第１の符号化処理部２０１１に画像データＳ１０が入力されると、第１の符号化処理部２０１１は、例えば選択部２０１３を介して入力された画像データＳ１０に、所定の符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
また、例えば第２の符号化処理部２０１２に画像データＳ１０が入力されると、第２の符号化処理部２０１２は、例えば選択部２０１３を介して入力された画像データＳ１０に、第１の符号化処理部２０１１の符号化処理とは異なる符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
例えば、選択部２０１３は、特定部２０２による制御信号ＣＴＬ２０２ａに基づいて、画像データＳ１０を第１の符号化処理部２０１１、または第２の符号化処理部２０１２に出力する。
例えば第１の符号化処理部２０１１に画像データＳ１０が入力されると、第１の符号化処理部２０１１は、例えば選択部２０１３を介して入力された画像データＳ１０に、所定の符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
また、例えば第２の符号化処理部２０１２に画像データＳ１０が入力されると、第２の符号化処理部２０１２は、例えば選択部２０１３を介して入力された画像データＳ１０に、第１の符号化処理部２０１１の符号化処理とは異なる符号化処理を施して選択部２０１４を介して符号化データＳ２を出力する。
選択部２０１４は、特定部２０２による制御信号ＣＴＬ２０２ｂに基づいて、第１の符号化処理部２０１１、または第２の符号化処理部２０１２から出力された符号化データＳ２を出力する。
復号装置３は、符号化装置２から出力され、復号装置３の復号処理に適合した符号化データＳ２に復号処理を施して、最適な画像データを生成する。
図４は、図２に示した符号化装置２の動作の一具体例を説明するためのフローチャートである。図４を参照しながら、符号化装置２の一具体例の動作を、制御部２０２２の処理を中心に説明する。
ステップＳＴ１１において、符号化装置２は、テストパターンを復号装置３に出力する。詳細には、例えば制御部２０２２は、予めメモリ等の記憶部２０３に設定されたテストパターンＤに基づいてテストパターンＤＴを出力する。
また、この形態に限られるものではなく、例えば制御信号にＣＴＬ２０２２により負荷測定部２０２１がデータＤに基づいて、テストパターンＤＴを出力してもよい。
また、制御部２０２２は、符号化処理部２０１の複数の異なる符号化処理のうち、いずれかの符号化処理を選択し、または複数の符号化処理を組み合わせてテストパターンを生成してもよいし、符号化処理部２０１の符号化処理に係るパラメータを変化させてテストパターンを生成してもよい。
また、この形態に限られるものではなく、例えば制御信号にＣＴＬ２０２２により負荷測定部２０２１がデータＤに基づいて、テストパターンＤＴを出力してもよい。
また、制御部２０２２は、符号化処理部２０１の複数の異なる符号化処理のうち、いずれかの符号化処理を選択し、または複数の符号化処理を組み合わせてテストパターンを生成してもよいし、符号化処理部２０１の符号化処理に係るパラメータを変化させてテストパターンを生成してもよい。
復号装置３は、符号化装置２から出力されたテストパターンＤＴを、例えば復号処理部３００にて復号処理を施して画像データＳ３を生成する。
ステップＳＴ１２において、負荷測定部２０２１は、復号装置３によるテストパターンの処理の結果、例えばテストパターンの所定処理単位、詳細には１ブロック単位や１フレーム単位、１ピクチャ単位での復号処理時間を復号処理の負荷として測定し、測定結果を示す信号するＳ２０２１を制御部２０２２に出力する。
また、負荷測定部２０２１は、復号装置３によるテストパターンの所定処理単位での復号処理の消費電力を、復号処理の負荷として測定してもよい。
また、負荷測定部２０２１は、復号装置３によるテストパターンの所定処理単位での復号処理の消費電力を、復号処理の負荷として測定してもよい。
ステップＳＴ１３において、制御部２０２２は、負荷測定部２０２１による測定結果を示す信号Ｓ２０２１に基づいて、符号化処理部２０１の複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定し、特定した結果を示す信号ＣＴＬ２０２を出力する。
ステップＳＴ１４において、符号化処理部２０１において、制御部２０２２により入力された信号ＣＴＬ２０２２に基づいて、複数の異なる符号化処理のうち、制御部２０２２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する。
例えば符号化処理部２０１において、制御部２０２２により入力された信号ＣＴＬ２０２に基づいて、選択部２０１３が画像データＳ１０を第１の符号化処理部２０１１または第２の符号化処理部２０１２に出力し、画像データＳ１０が入力された第１の符号化処理部２０１１または第２の符号化処理部２０１２が、その画像データＳ１０を符号化処理を施し、符号化データＳ２を第２の選択部２０１４を介して出力する。
例えば符号化処理部２０１において、制御部２０２２により入力された信号ＣＴＬ２０２に基づいて、選択部２０１３が画像データＳ１０を第１の符号化処理部２０１１または第２の符号化処理部２０１２に出力し、画像データＳ１０が入力された第１の符号化処理部２０１１または第２の符号化処理部２０１２が、その画像データＳ１０を符号化処理を施し、符号化データＳ２を第２の選択部２０１４を介して出力する。
制御部２０２２による特定処理としては、例えば復号装置の復号処理に係る演算能力を所定の能力よりも高く、かつ演算能力を超えないように、符号化処理部２０１の複数の異なる符号化処理のうちいずれかを特定することが好ましい。
また、制御部２０２２による特定処理としては、負荷測定部２０２１が測定した復号装置の復号処理の負荷、例えば所定単位の符号化データの復号処理時間が所定時間以上か否かで、例えば２つの異なる符号化処理のうちいずれかを特定する。
また、制御部２０２２による特定処理としては、負荷測定部２０２１が測定した復号処理の負荷として所定処理単位での符号化データの消費電力を測定した場合には、消費電力が所定値以上か否かで、例えば２つの異なる符号化処理のうちいずれかを特定する。
また、制御部２０２２による特定処理としては、負荷測定部２０２１が測定した復号装置の復号処理の負荷、例えば所定単位の符号化データの復号処理時間が所定時間以上か否かで、例えば２つの異なる符号化処理のうちいずれかを特定する。
また、制御部２０２２による特定処理としては、負荷測定部２０２１が測定した復号処理の負荷として所定処理単位での符号化データの消費電力を測定した場合には、消費電力が所定値以上か否かで、例えば２つの異なる符号化処理のうちいずれかを特定する。
以上説明したように、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する特定部２０２と、複数の異なる符号化処理のうち、特定部２０２が特定した符号化処理を画像データＳ１０に施して符号化データＳ２を生成する符号化処理部２０１とを設けたので、復号装置に適合する符号化データを生成することができる。
また、特定部２０２は、復号装置による復号処理の負荷を測定するためのテストパターン、例えば予め復号装置３による復号処理に係る演算能力を判定するようなテストパターンを出力し、復号装置３によるテストパターンの復号処理の結果を基に、復号装置３の復号処理に係る演算能力を推測し、その結果に応じて復号装置３の復号処理に係る演算能力に最適な符号化データＳ２を生成することで、復号装置３では、その符号化データに復号処理を施すことにより最適な画質の画像データを得ることができる。
次に、本発明に係る符号化装置２のより詳細な実施形態を図面を参照しながら説明する。
図５は、図１に示した本発明の第２実施形態に係る符号化装置２の全体構成図である。
図５は、図１に示した本発明の第２実施形態に係る符号化装置２の全体構成図である。
本実施形態に係る符号化装置２は、例えば図５に示すように、アナログ／デジタル（Ａ／Ｄ）変換回路２１、画面並べ替え回路２２、演算回路２３、直交変換回路２４、量子化回路２５、可逆符号化回路２６、バッファ２７、レート制御回路２８、逆量子化回路２９、逆直交変換回路３０、デブロックフィルタ３１、フレームメモリ３２、動き予測・補償回路３３、負荷測定部３４、および制御部３５を主構成要素として有する。
負荷測定部３４、および制御部３５は、本発明に係る特定手段に相当し、その他の構成要素、例えばアナログ／デジタル（Ａ／Ｄ）変換回路２１、画面並べ替え回路２２、演算回路２３、直交変換回路２４、量子化回路２５、可逆符号化回路２６、バッファ２７、レート制御回路２８、逆量子化回路２９、逆直交変換回路３０、デブロックフィルタ３１、フレームメモリ３２、および動き予測・補償回路３３は、本発明に係る符号化処理手段に相当する。
また、動き予測・補償回路３３は本発明に係る動きベクトル生成手段に相当し、演算回路２３は本発明に係る第３の処理手段に相当し、直交変換回路２４および量子化回路２５は本発明に係る第１の処理手段に相当する。
また、逆量子化回路２９および逆直交変換回路３０は本発明に係る第２の処理手段に相当し、可逆符号化回路２６は本発明に係る符号化手段に相当する。
また、負荷測定部３４は上述した負荷測定部２０２１に相当し、制御部３５は上述した制御部２０２２に相当する。
また、逆量子化回路２９および逆直交変換回路３０は本発明に係る第２の処理手段に相当し、可逆符号化回路２６は本発明に係る符号化手段に相当する。
また、負荷測定部３４は上述した負荷測定部２０２１に相当し、制御部３５は上述した制御部２０２２に相当する。
アナログ／デジタル（Ａ／Ｄ）変換回路２１は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ，Ｃｒから構成される原画像信号Ｓ１０をデジタルのフレームデータＳ２１に変換し、これを画面並べ替え回路２２に出力する。
画面並べ替え回路２２は、Ａ／Ｄ変換回路２１から入力したフレームデータＳ２１を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Group Of Pictures） 構造に応じて、符号化する順番に並べ替えたフレームデータＳ２２を、演算回路２３、動き予測・補償回路３２、レート制御回路２８に出力する。
演算回路２３は、フレームデータＳ２２内の処理対象の動き補償ブロックＭＣＢ（マクロブロックともいう）と、それに対応して動き予測・補償回路３３から入力した予測画像データＰＩの動き補償ブロックＭＣＢとの差分を示す画像データＳ２３を生成し、これを直交変換回路２４に出力する。
直交変換回路２４は、画像データＳ２３に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２４を生成し、これを量子化回路２５に出力する。
量子化回路２５は、レート制御回路２８から入力した量子化スケールＱｔで、画像データＳ２４を量子化して画像データＳ２５を生成し、これを可逆符号化回路２６および逆量子化回路２９に出力する。
可逆符号化回路２６は、画像データＳ２５を可変長符号化あるいは算術符号化した画像データをバッファ２７に格納する。
このとき、可逆符号化回路２６は、インター予測符号化が行われた場合には、動き予測・補償回路３３から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
このとき、可逆符号化回路２６は、インター予測符号化が行われた場合には、動き予測・補償回路３３から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
バッファ２７に格納された画像データは、変調等された後に送信される。
レート制御回路２８は、例えば、画面並べ替え回路２２から入力したフレームデータＳ２２を基に、画像中の複雑度が高い部分は細かく量子化し、画像中の複雑度が低い部分は粗く量子化するように量子化パラメータＱｐを生成する。
そして、レート制御回路２８は、上記生成した量子化パラメータＱｐ、並びにバッファ２７から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２５に出力する。
また、レート制御回路２８は、上記生成した量子化パラメータＱｐを、動き予測・補償回路３３に出力する。
レート制御回路２８は、例えば、画面並べ替え回路２２から入力したフレームデータＳ２２を基に、画像中の複雑度が高い部分は細かく量子化し、画像中の複雑度が低い部分は粗く量子化するように量子化パラメータＱｐを生成する。
そして、レート制御回路２８は、上記生成した量子化パラメータＱｐ、並びにバッファ２７から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２５に出力する。
また、レート制御回路２８は、上記生成した量子化パラメータＱｐを、動き予測・補償回路３３に出力する。
逆量子化回路２９は、他の動き補償ブロックＭＣＢから参照される参照画像データの動き補償ブロックＭＣＢの画像データＳ２５を逆量子化した信号Ｓ２９を生成し、これを逆直交変換回路３０に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力された画像データＳ２９に、直交変換回路２４における直交変換の逆変換処理を施して生成した画像データＳ３０をデブロックフィルタ３１に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力された画像データＳ２９に、直交変換回路２４における直交変換の逆変換処理を施して生成した画像データＳ３０をデブロックフィルタ３１に出力する。
デブロックフィルタ３１は、画像データＳ３０にブロック歪除去処理を施した画像データをフレームメモリ３２に書き込む。
動き予測・補償回路３３は、符号化対象のフレームデータＳ２２およびフレームメモリ３２からの参照画像データＲＥＦを基に、参照画像データ内の探索範囲ＳＲを探索して、動き予測・補償処理を行って動き補償ブロックＭＣＢを単位として、動きベクトルＭＶを算出する。
この際、動き予測・補償回路３３は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを符号化する。ここでＩピクチャは、当該Ｉピクチャの情報だけから符号化し、フレーム間予測（インター予測符号化）を行わない画像データを示す。
Ｐピクチャは、表示順が前（過去）のＩピクチャまたはＰピクチャを基に予測を行って符号化される画像データを示す。
Ｂピクチャは、表示順が前（過去）および後（未来）のＩピクチャおよびＰピクチャを基に双方向予測によって符号化される画像データを示す。
Ｐピクチャは、表示順が前（過去）のＩピクチャまたはＰピクチャを基に予測を行って符号化される画像データを示す。
Ｂピクチャは、表示順が前（過去）および後（未来）のＩピクチャおよびＰピクチャを基に双方向予測によって符号化される画像データを示す。
図６は、図２に示した動き予測・補償回路３３において、採用可能な動き予測ブロックのサイズの種類を説明するための図である。
動き予測ブロック（マクロブロックＭＢ）のブロックサイズには、例えば図６に示すように、１６×１６，１６×８，８×１６，８×８画素のサイズが規定され、また、８×８，８×４，４×８，および４×４画素のサイズが規定される。
動き予測ブロック（マクロブロックＭＢ）のブロックサイズには、例えば図６に示すように、１６×１６，１６×８，８×１６，８×８画素のサイズが規定され、また、８×８，８×４，４×８，および４×４画素のサイズが規定される。
動き予測・補償回路３３は、例えば図６に示すように、フレームデータＳ２２内の処理対象の動き補償ブロックＭＣＢとの差異が最も小さい動き補償ブロックＭＣＢの位置を参照画像データＲＥＦの探索範囲ＳＲ内で特定し、これらの位置関係に対応した動きベクトルＭＶを算出する。
そして、動き予測・補償回路３３は、後述する指標データＣｏｓｔを最小にする動きベクトルＭＶ、並びにそれに対応する動き補償ブロックＭＣＢのサイズを選択する。
また、動き予測・補償回路３３は、上記選択した動きベクトルＭＶを基に、上記選択したサイズの動き補償ブロックＭＣＢについての予測画像データＰＩを生成する。
動き予測・補償回路３３は、上記選択した動きベクトルＭＶを可逆符号化回路２６に出力し、上記生成した予測画像データＰＩを演算回路２３に出力する。
そして、動き予測・補償回路３３は、後述する指標データＣｏｓｔを最小にする動きベクトルＭＶ、並びにそれに対応する動き補償ブロックＭＣＢのサイズを選択する。
また、動き予測・補償回路３３は、上記選択した動きベクトルＭＶを基に、上記選択したサイズの動き補償ブロックＭＣＢについての予測画像データＰＩを生成する。
動き予測・補償回路３３は、上記選択した動きベクトルＭＶを可逆符号化回路２６に出力し、上記生成した予測画像データＰＩを演算回路２３に出力する。
負荷測定部３４および制御部３５は、上述した特定部２０２の負荷測定部２０２１および制御部２０２２と略同じ機能を有する。同じ機能については説明を省略する。負荷測定部３４および制御部３５の詳細な具体例の説明は後述する。
特定部２０２は、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する。特定部２０２は特定した符号化処理を示す制御信号ＣＴＬ２０２を符号化処理部２０１に出力する。
詳細には、例えば上述した構成要素、例えば演算回路２３、直交変換回路２４、量子化回路２５、可逆符号化回路２６、バッファ２７、レート制御回路２８、逆量子化回路２９、逆直交変換回路３０、デブロックフィルタ３１、フレームメモリ３２、および動き予測・補償回路３３の少なくともいずれかの構成要素は、複数の異なる符号化処理を有し、特定部２０２は、その複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定する。
特定部２０２は、例えば図５に示すように、負荷測定部３４（２０２１）、および制御部３５（２０２１）を有する。
負荷測定部３４は、復号装置３による復号処理の負荷を測定し、測定結果を示す信号Ｓ３４（Ｓ２０２１）を制御部３５に出力する。
制御部３５は、測定の結果の復号処理の負荷を示す信号Ｓ３４に基づいて、内部処理（符号化処理）を特定し、当該特定した内部処理を行わせる。
詳細には、制御部３５は、上述した復号装置３による復号処理の負荷を基に、例えば上述した演算回路２３、直交変換回路２４、量子化回路２５、可逆符号化回路２６、バッファ２７、レート制御回路２８、逆量子化回路２９、逆直交変換回路３０、デブロックフィルタ３１、フレームメモリ３２、および動き予測・補償回路３３等の複数の異なる内部処理のうち、いずれかの内部処理を特定して、特定した内部処理を各構成要素に行わせる。
負荷測定部３４は、復号装置３による復号処理の負荷を測定し、測定結果を示す信号Ｓ３４（Ｓ２０２１）を制御部３５に出力する。
制御部３５は、測定の結果の復号処理の負荷を示す信号Ｓ３４に基づいて、内部処理（符号化処理）を特定し、当該特定した内部処理を行わせる。
詳細には、制御部３５は、上述した復号装置３による復号処理の負荷を基に、例えば上述した演算回路２３、直交変換回路２４、量子化回路２５、可逆符号化回路２６、バッファ２７、レート制御回路２８、逆量子化回路２９、逆直交変換回路３０、デブロックフィルタ３１、フレームメモリ３２、および動き予測・補償回路３３等の複数の異なる内部処理のうち、いずれかの内部処理を特定して、特定した内部処理を各構成要素に行わせる。
次に、本実施形態に係る復号装置３を図面を参照しながら説明する。
図７は、図２に示した本実施形態に係る復号装置３の全体構成図である。
図７は、図２に示した本実施形態に係る復号装置３の全体構成図である。
復号装置３は、例えば図７に示すように、バッファ３０１、可逆復号回路３０２、逆量子化回路３０３、逆直交変換回路３０４、演算回路３０５、デブロックフィルタ３０６、画像並べ替え回路３０７、デジタル／アナログ（Ｄ／Ａ）変換回路３０８、フレームメモリ３０９、および動き予測・補償回路３１０を主構成要素として有する。
バッファ３０１、可逆復号回路３０２、逆量子化回路３０３、逆直交変換回路３０４、演算回路（加算器）３０５、デブロックフィルタ３０６、画像並べ替え回路３０７、デジタル／アナログ（Ｄ／Ａ）変換回路３０８、フレームメモリ３０９、および動き予測・補償回路３１０は、上述した復号処理部３００に相当する。
バッファ３０１、可逆復号回路３０２、逆量子化回路３０３、逆直交変換回路３０４、演算回路（加算器）３０５、デブロックフィルタ３０６、画像並べ替え回路３０７、デジタル／アナログ（Ｄ／Ａ）変換回路３０８、フレームメモリ３０９、および動き予測・補償回路３１０は、上述した復号処理部３００に相当する。
図７に示す復号装置３では、符号化装置２から入力された符号化データＳ２がバッファ３０１に格納された後、可逆復号回路３０２に出力される。
可逆復号回路３０２において、フレーム画像データのフォーマットに基づき、可変長符号化、算術符号化処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路３０２において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償回路３１０に出力される。
可逆復号回路３０２において、フレーム画像データのフォーマットに基づき、可変長符号化、算術符号化処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路３０２において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償回路３１０に出力される。
可逆復号回路３０２の出力となる、量子化された変換係数は、逆量子化回路３０３に入力され、ここで逆量子化される。当該逆量しかされた変換係数には、逆直交変換回路３０４において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や、逆カルーネン・レーベ変換等の逆直交変換が施される。
当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ３０６でブロック歪が除去された後に画像並べ替え回路（バッファ）３０７に格納され、Ｄ／Ａ変換回路３０８によるＤ／Ａ変換処理を経て、画像データＳ３が出力される。
当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ３０６でブロック歪が除去された後に画像並べ替え回路（バッファ）３０７に格納され、Ｄ／Ａ変換回路３０８によるＤ／Ａ変換処理を経て、画像データＳ３が出力される。
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路３１０において、動きベクトルＭＶおよびフレームメモリ３０９に格納されたっ参照フレーム画像データと、逆直交変換回路３０４から出力されたフレーム画像データとが、演算回路（加算器）３０５において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
上述した復号装置３の各構成要素の復号処理は、規格で定められている範囲内で、復号装置３それぞれ固有の演算能力で復号処理を行う。本発明に係る符号化装置２は、復号装置３それぞれに適合するような符号化データ、詳細には復号装置３の特性、例えば復号処理に係る演算能力に適合するような符号化データを生成する。
次に、符号化装置２の特定部２０２の動作の一具体例を図面を参照しながら説明する。
図８は、図４に示した特定部２０２および動き予測・補償回路３３の動作を説明するための図である。
特定部２０２は、復号装置３の特性を基に、処理対象となる画像データの動きベクトルを生成する単位となる複数の種類のブロックのうち、いずれかのブロックを特定する。
図８は、図４に示した特定部２０２および動き予測・補償回路３３の動作を説明するための図である。
特定部２０２は、復号装置３の特性を基に、処理対象となる画像データの動きベクトルを生成する単位となる複数の種類のブロックのうち、いずれかのブロックを特定する。
詳細には、制御部３５の内部機能としてのモード決定部３５１は、負荷測定部３４が測定した復号装置３による復号処理の負荷を基に、例えば図６に示す処理対象となる画像データの動きベクトルを生成する単位となる複数の種類のブロックのうち、いずれかのブロックを特定し、特定したブロックを処理単位として、動き予測・補償回路３３に処理対象となる画像データの動きベクトルさせる制御信号Ｓ３５１を出力する。
この際、モード決定部３５１は、例えば復号装置３の復号処理の負荷が大きいほど、図６に示すようなマクロブロックのうち大きいサイズのブロックを特定する。詳細には、モード決定部３５１は、例えば復号装置３の復号処理の負荷が所定値以上の場合には、図６に示すようなマクロブロックのうち、所定の大きさ以上のサイズのブロックを特定し、復号処理の負荷が所定値よりも小さい場合には、所定の大きさよりも小さいサイズのブロックを特定する。
動き予測・補償回路３３は、制御信号Ｓ３５１に基づいて、特定されたブロックを処理単位として動きベクトルを生成する。
この際、モード決定部３５１は、例えば復号装置３の復号処理の負荷が大きいほど、図６に示すようなマクロブロックのうち大きいサイズのブロックを特定する。詳細には、モード決定部３５１は、例えば復号装置３の復号処理の負荷が所定値以上の場合には、図６に示すようなマクロブロックのうち、所定の大きさ以上のサイズのブロックを特定し、復号処理の負荷が所定値よりも小さい場合には、所定の大きさよりも小さいサイズのブロックを特定する。
動き予測・補償回路３３は、制御信号Ｓ３５１に基づいて、特定されたブロックを処理単位として動きベクトルを生成する。
また詳細には、制御部３５は、参照する画像データと、処理対象の画像データの差分情報、および復号装置の復号処理の負荷に基づいて、前記複数の種類のブロックのうち、いずれかのブロックを特定する。
また、制御部３５は、参照する画像データと、処理対象の画像データの差分情報、符号化データの発生情報量、および復号装置の復号処理の負荷に基づいて、前記複数の種類のブロックのうち、いずれかのブロックを特定してもよい。
また、制御部３５は、参照する画像データと、処理対象の画像データの差分情報、符号化データの発生情報量、および復号装置の復号処理の負荷に基づいて、前記複数の種類のブロックのうち、いずれかのブロックを特定してもよい。
具体的には、制御部３５は、例えば復号装置３の復号処理の負荷（演算コストDecoderComplexity ）を考慮して、動きベクトルを生成する際の処理単位である複数の種類のブロックのうちいずれかのブロックを選択する（モード選択）。ここで演算コストDecoderComplexity は、復号処理時間や消費電力等の復号処理の負荷を示す指標データである。
詳細には、制御部３５は、例えばＳＡＤ、ヘッダコスト（ヘッダ情報量）HeaderCost、重み付け定数αHeaderbit 、および特定のモードでの復号装置３の復号処理の負荷DecoderComplexity 、および重み付け定数βDecComplexityを用いて、数式（１）に示すように算出し、最適なモードを選択する際のコストCostを算出する。制御部３５は、コストCostを最小とするモード（ブロック）を選択する。
〔数１〕
Cost ＝ SAD ＋ αHeaderbit×HeaderCost ＋ βDecComplexity×DecoderComplexity …（１）
Cost ＝ SAD ＋ αHeaderbit×HeaderCost ＋ βDecComplexity×DecoderComplexity …（１）
ここで、制御部３５は、画像データ（現フレームデータ）Ｓ２２の動き補償ブロック内の画素データｓ（ｘ，ｙ）と，フレームメモリ３２から入力した参照画像データ（参照フレームデータ）ＲＥＦの動き補償ブロックＢに対応するブロック内の画素データｃ（ｘ−ｍｘ，ｙ−ｍｙ）とを用いて、数式（２）によりＳＡＤを算出する。
また、制御部３５は、上述したモード判定において復号装置３の復号処理の負荷の重み付けを変えることにより、詳細には、重み付け係数αHeaderbitや重み付け係数βDecComplexityを変えることにより、モード判定における復号処理の負荷の影響の度合いを制御することができる。
また、制御部３５は、複数のモードで実際に符号化処理を行い、その内から最適解を選択する場合には、数式（３）により算出されるコストCostを最小とするモードを選択することが好ましい。
〔数３〕
Cost ＝ SSD ＋ γbit×GeneratedBit ＋ βDecComplexity×DecoderComplexity …（３）
Cost ＝ SSD ＋ γbit×GeneratedBit ＋ βDecComplexity×DecoderComplexity …（３）
ここで、ＳＳＤは数式（４）に示すような残差であり、GeneratedBit はそのモードにおける発生ビット量であり、γbitは重み付け係数である。
ここで、ｓは、現フレームの画像信号、ｃは参照フレームの画像信号、Ｑｐは量子化パラメータを表す。
また、制御部３５は、上述したモード判定において復号装置３の復号処理の負荷の重み付けを変えることにより、詳細には、重み付け係数γbitや重み付け係数βDecComplexityを変えることにより、モード判定における復号処理の負荷の影響の度合いを制御することができる。
以上説明した構成の動作を簡単に説明する。
制御部３５のモード決定部３５１は、負荷測定部３４が測定した復号装置３による復号処理の負荷（演算コストDecoderComplexity ）を基に、例えば図６に示すような処理対象となる画像データの動きベクトルを生成する単位となる複数の種類のブロックのうち、例えば数式（１）や数式（３）に示すコストCostが最小となるブロックを特定し、特定したブロックを処理単位として、動き予測・補償回路３３に処理対象となる画像データの動きベクトルさせる制御信号Ｓ３５１を出力する。
動き予測・補償回路３３は、制御信号Ｓ３５１に基づいて、特定されたブロックを処理単位として動きベクトルを生成する。
また、符号化装置２の他の構成要素は、その動きベクトルに基づいて符号化処理を行う。
制御部３５のモード決定部３５１は、負荷測定部３４が測定した復号装置３による復号処理の負荷（演算コストDecoderComplexity ）を基に、例えば図６に示すような処理対象となる画像データの動きベクトルを生成する単位となる複数の種類のブロックのうち、例えば数式（１）や数式（３）に示すコストCostが最小となるブロックを特定し、特定したブロックを処理単位として、動き予測・補償回路３３に処理対象となる画像データの動きベクトルさせる制御信号Ｓ３５１を出力する。
動き予測・補償回路３３は、制御信号Ｓ３５１に基づいて、特定されたブロックを処理単位として動きベクトルを生成する。
また、符号化装置２の他の構成要素は、その動きベクトルに基づいて符号化処理を行う。
上述したように、本実施形態では、モード選択の際に、負荷測定部３４が測定した復号装置３による復号処理の負荷（演算コストDecoderComplexity ）を考慮して、復号装置３による復号処理の演算能力に適合するモードを選択することができる。
本発明の第３実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ説明する。
本実施形態に係る制御部３５は、画像データをブロック単位で符号化処理を行う際に、負荷測定部３４が測定した各ブロック毎の復号処理の負荷DecoderComplexityを所定処理単位分、例えば１画面分（１フレーム）積算し、所定処理単位分（１フレーム単位）での復号処理の負荷DecoderComplexityに応じて重み付け係数βDecComplexityを制御する。
本実施形態に係る制御部３５は、画像データをブロック単位で符号化処理を行う際に、負荷測定部３４が測定した各ブロック毎の復号処理の負荷DecoderComplexityを所定処理単位分、例えば１画面分（１フレーム）積算し、所定処理単位分（１フレーム単位）での復号処理の負荷DecoderComplexityに応じて重み付け係数βDecComplexityを制御する。
詳細には、例えば制御部３５は、復号処理の負荷DecoderComplexityの制限が厳しい場合には、重み付け係数βDecComplexityを、所定値よりも大きくすることで、制御部３５は、復号処理の負荷DecoderComplexityが高いモードを選択しなくなり、復号装置３の復号処理に適合したモードを選択することができる。
図９は、本発明の第４実施形態に係る符号化装置２の特定部２０２の動作を説明するための図である。
実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ説明する。
実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ説明する。
例えばＪＶＴ方式の規格では、動き予測・補償回路３３は、整数ピクセル精度３３１、１／２ピクセル精度３３２、１／４ピクセル精度３３３、…等の所定のピクセル精度のうち、いずれかのピクセル精度で動きベクトルを生成するように規定されている。
復号装置３では、上述したピクセル精度で符号化処理が施された符号化データを復号処理する際に、小さいピクセル精度ほど符号化処理された符号化データを復号処理する際の負荷が大きい。
復号装置３では、上述したピクセル精度で符号化処理が施された符号化データを復号処理する際に、小さいピクセル精度ほど符号化処理された符号化データを復号処理する際の負荷が大きい。
このため本実施形態に係る特定部２０２は、復号装置３の特性を基に、参照される画像データおよび処理対象の画像データの動きベクトルを生成する際のピクセル精度を特定する。詳細には、特定部２０２は、復号装置３の復号処理の負荷が大きいほど、大きいピクセル精度で動きベクトルを生成させる信号Ｓ３５１を、動き予測・補償回路３３に出力する。動き予測・補償回路３３は、信号Ｓ３５１に基づいて、特定されたピクセル精度で動きベクトルを生成する。
詳細には、例えば特定部２０２は、負荷測定部３４、および制御部３５を有する。
負荷測定部３４は、上述したピクセル精度に係る復号処理の負荷を測定するためのテストパターン（ビットストリーム）を、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
負荷測定部３４は、上述したピクセル精度に係る復号処理の負荷を測定するためのテストパターン（ビットストリーム）を、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、例えば復号処理の負荷が所定値以上の場合には、所定のピクセル精度以上のピクセル精度で動きベクトルを生成させる信号Ｓ３５１を出力し、負荷が所定値よりも小さい場合には、所定のピクセル精度よりも小さいピクセル精度で動きベクトルを生成させる信号Ｓ３５１を、動き予測・補償回路３３に出力する。
動き・補償回路３３は、信号Ｓ３５１を基に、特定部２０２が特定したピクセル精度で、参照される画像データおよび処理対象の画像データの動きベクトルを生成し、当該生成した動きベクトルを基に符号化データを生成する。
動き・補償回路３３は、信号Ｓ３５１を基に、特定部２０２が特定したピクセル精度で、参照される画像データおよび処理対象の画像データの動きベクトルを生成し、当該生成した動きベクトルを基に符号化データを生成する。
以上説明したように、本実施形態に係る特定部２０２は、復号装置３の特性を基に、参照される画像データおよび処理対象の画像データの動きベクトルを生成する際のピクセル精度を特定し、動き予測・補償回路３３では、信号Ｓ３５１に基づいて、特定されたピクセル精度で動きベクトルを生成するので、復号装置３による動きベクトルに係る復号処理の特性に適合するような符号化データを生成することができる。
図１０は、本発明の第５実施形態に係る符号化装置２の特定部２０２の動作を説明するための図である。
実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ説明する。
実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ説明する。
例えば動き予測・補償回路３３は、所定ピクセル精度以下、例えば１／２ピクセル精度以下で動きベクトルを生成する際に、有限インパルス応答フィルタ処理（ＦＩＲ）を施して、動きベクトルを生成する。
この際、動き予測・補償回路３３は、設定された演算回数３３４、参照ブロック数３３５、および積和演算回数３３６で、有限インパルス応答フィルタ処理（ＦＩＲ）を行う。
この際、動き予測・補償回路３３は、設定された演算回数３３４、参照ブロック数３３５、および積和演算回数３３６で、有限インパルス応答フィルタ処理（ＦＩＲ）を行う。
復号装置３では、上述した符号化処理が施された符号化データを復号処理する際に、有限インパルス応答フィルタ処理（ＦＩＲ）において、設定された演算回数３３４、参照ブロック数３３５、および積和演算回数３３６により、復号処理の負荷が異なる。
このため本実施形態に係る特定部２０２は、復号装置３の特性を基に、所定ピクセル精度以下のピクセル精度で動きベクトルを生成する際に行う有限インパルス応答フィルタ処理（ＦＩＲ）の演算回数３３４、参照ブロック数３３５、および積和演算回数３３６のいずれかを特定し、その結果を示す信号Ｓ３５１を動き予測・補償回路３３に出力する。
動き予測・補償回路３３は、信号Ｓ３５１を基に、設定された演算回数３３４、参照ブロック数３３５、および積和演算回数３３６で、有限インパルス応答フィルタ処理（ＦＩＲ）を行い、動きベクトルを生成して、復号装置３に適合した符号化データを生成する。
動き予測・補償回路３３は、信号Ｓ３５１を基に、設定された演算回数３３４、参照ブロック数３３５、および積和演算回数３３６で、有限インパルス応答フィルタ処理（ＦＩＲ）を行い、動きベクトルを生成して、復号装置３に適合した符号化データを生成する。
詳細には、特定部２０２は、例えば図１０に示すように、負荷測定部３４、および制御部３５を有する。
負荷測定部３４は、上述した有限インパルス応答フィルタ処理（ＦＩＲ）に係る復号処理の負荷を測定するためのテストパターンを、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、復号装置３の復号処理に適合するような、有限インパルス応答フィルタ処理（ＦＩＲ）の演算回数３３４、参照ブロック数３３５、および積和演算回数３３６のいずれかを特定し、その結果を示す信号Ｓ３５１を動き予測・補償回路３３に出力する。
負荷測定部３４は、上述した有限インパルス応答フィルタ処理（ＦＩＲ）に係る復号処理の負荷を測定するためのテストパターンを、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、復号装置３の復号処理に適合するような、有限インパルス応答フィルタ処理（ＦＩＲ）の演算回数３３４、参照ブロック数３３５、および積和演算回数３３６のいずれかを特定し、その結果を示す信号Ｓ３５１を動き予測・補償回路３３に出力する。
動き予測・補償回路３３は、信号Ｓ３５１を基に、設定された演算回数３３４、参照ブロック数３３５、および積和演算回数３３６で、有限インパルス応答フィルタ処理（ＦＩＲ）を行い、動きベクトルを生成して、復号装置３に適合した符号化データを生成する。
以上説明したように、本実施形態に係る特定部２０２は、復号装置３の特性を基に、所定ピクセル精度以下のピクセル精度で動きベクトルを生成する際に行う有限インパルス応答フィルタ処理（ＦＩＲ）の演算回数３３４、参照ブロック数３３５、および積和演算回数３３６のいずれかを特定し、動き予測・補償回路３３は、その結果を基に有限インパルス応答フィルタ処理（ＦＩＲ）を行い、動きベクトルを生成して、符号化データを生成するので、復号装置３の復号処理に適合する符号化データを生成することができる。
また、上述したように特定部２０２は、動き予測・補償回路３３の内部処理に関して、ピクセル精度やＦＩＲに係る処理を、復号装置３に適合するように行わせたが、この形態に限られるものではない。
例えば、ＪＶＴ方式で規定されているように、復号装置３において、動き補償処理を行う際に、マルチリファレンスにおいて、異なるリファレンスや、キャッシュに参照画像データが記憶されている否か、メモリバンド幅等によっても、復号処理の負荷が異なる。
例えば、ＪＶＴ方式で規定されているように、復号装置３において、動き補償処理を行う際に、マルチリファレンスにおいて、異なるリファレンスや、キャッシュに参照画像データが記憶されている否か、メモリバンド幅等によっても、復号処理の負荷が異なる。
このため、特定部２０２は、復号装置３の特性に適合するように、動き予測・補償回路３３の内部処理に関して、動き補償処理を行う際マルチリファレンスにおいて、異なるリファレンスや、キャッシュに参照画像データが記憶されている否か、メモリバンド幅を特定し、動き予測・補償回路３３は、特定された結果を基に、動き補償処理を行ってもよい。
こうすることにより、より復号装置３の特性に適合するような符号化データを生成することができる。
こうすることにより、より復号装置３の特性に適合するような符号化データを生成することができる。
図１１は、本発明の第６実施形態に係る符号化装置２の特定部２０２の動作を説明するための図である。
本実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ図５，１１を参照しながら説明する。
本実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ図５，１１を参照しながら説明する。
例えばＪＶＴ方式の規格では、符号化処理および復号処理において、可変長符号化処理（ＶＬＣ：Variable Length Coding）および可変長復号処理（ＶＬＤ：Variable Length Decoding）として、複数の異なる符号化処理が規定されている。例えば、可変長符号化処理としては、複数の算術符号化処理、例えばＣＡＶＬＣ（Context based Variable Length Coding）、ＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding）が規定されている。
復号装置３において、復号処理の際に、この複数の種類の可変長復号処理のいずれかを行うかによって、復号処理の負荷が異なる。また、復号装置３の可変長復号処理に係る演算能力が異なる。
このため、本実施形態に係る特定部２０２は、図１１に示すように、複数の異なる可変長符号化処理のうち、復号装置３の特性、例えば復号処理における可変長復号処理に応じた可変長符号化処理を特定し、特定した可変長符号化処理を行わせる信号Ｓ３５２を可逆符号化回路２６に出力する。
符号化回路２６は、信号Ｓ３５２に基づいて、複数の異なる可変長符号化処理のうち特定された可変長符号化処理を、信号Ｓ２５に施して符号化データを生成する。
このため、本実施形態に係る特定部２０２は、図１１に示すように、複数の異なる可変長符号化処理のうち、復号装置３の特性、例えば復号処理における可変長復号処理に応じた可変長符号化処理を特定し、特定した可変長符号化処理を行わせる信号Ｓ３５２を可逆符号化回路２６に出力する。
符号化回路２６は、信号Ｓ３５２に基づいて、複数の異なる可変長符号化処理のうち特定された可変長符号化処理を、信号Ｓ２５に施して符号化データを生成する。
以下、可変長符号化処理として、CABAC（context-based adaptive binary arithmetic coding）およびCAVLC（Context adaptive variable length coding）の２つの算術符号化処理を例に説明する。
特定部２０２は、図１１に示すように、復号装置３の特性を基に、符号化部、詳細には符号化回路２６による可変長符号化処理としてCABAC（context-based adaptive binary arithmetic coding）およびCAVLC（Context adaptive variable length coding）のいずれかを特定する。
特定部２０２は、例えば図１１に示すように、負荷測定部３４、および制御部３５を有する。
負荷測定部３４は、例えば、可変長復号処理に係る復号処理の負荷を測定するためのテストパターンを、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、復号装置３の復号処理に適合するような、可変長符号化処理、例えば算術符号化処理、具体的には、CAVLC処理部２６１およびCABAC処理部２６２のいずれかを特定し、特定した符号化処理を行わせる信号Ｓ３５２を符号化回路２６に出力する。
制御部３５は、信号Ｓ３４を基に、例えば復号装置３の復号処理の負荷が所定値以上の場合にはCAVLC処理部２６１を特定し、所定値よりも小さい場合には、CABAC処理部２６２を特定する。
負荷測定部３４は、例えば、可変長復号処理に係る復号処理の負荷を測定するためのテストパターンを、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、復号装置３の復号処理に適合するような、可変長符号化処理、例えば算術符号化処理、具体的には、CAVLC処理部２６１およびCABAC処理部２６２のいずれかを特定し、特定した符号化処理を行わせる信号Ｓ３５２を符号化回路２６に出力する。
制御部３５は、信号Ｓ３４を基に、例えば復号装置３の復号処理の負荷が所定値以上の場合にはCAVLC処理部２６１を特定し、所定値よりも小さい場合には、CABAC処理部２６２を特定する。
符号化回路２６は、例えば図１１に示すように、複数の異なる可変長符号化処理２６０、例えば算術符号化処理、具体的には、CAVLC処理部２６１、CABAC処理部２６２、選択部２６３，２６４を有する。
CAVLC処理部２６１およびCABAC処理部２６２の詳細についてはＪＶＴ方式に規定されているので詳細な説明は省略する。
CAVLC処理部２６１およびCABAC処理部２６２の詳細についてはＪＶＴ方式に規定されているので詳細な説明は省略する。
CAVLC処理部２６１は、選択部２６３を介して信号Ｓ２５が入力されると、CAVLC処理部２６１を施して符号化データとして、信号Ｓ２６を選択部２６４を介して出力する。
CABAC処理部２６２は、選択部２６３を介して信号Ｓ２５が入力されると、CABAC処理部２６２を施して符号化データとして、信号Ｓ２６を選択部２６４を介して出力する。
CABAC処理部２６２は、選択部２６３を介して信号Ｓ２５が入力されると、CABAC処理部２６２を施して符号化データとして、信号Ｓ２６を選択部２６４を介して出力する。
選択部２６３は、信号Ｓ２５を、信号３５２に応じたCAVLC処理部２６１およびCABAC処理部２６２のいずれかに出力する。
選択部２６４は、信号３５２に基づいて、CAVLC処理部２６１およびCABAC処理部２６２のいずれかから出力された信号を出力する。
選択部２６４は、信号３５２に基づいて、CAVLC処理部２６１およびCABAC処理部２６２のいずれかから出力された信号を出力する。
以上の構成の符号化装置２の動作は、例えば特定部２０２が、複数の異なる可変長符号化処理のうち、復号装置３の特性に応じて可変長符号化処理を特定し、特定した結果を示す信号Ｓ３５２を出力する。
符号化回路２６において、選択部２６３は、信号Ｓ３５２に基づいて、複数の異なる可変長符号化処理のうち、CAVLC処理部２６１およびCABAC処理部２６２のいずれかに信号Ｓ２５を出力し、CAVLC処理２６１およびCABAC処理部２６２のいずれかは、信号Ｓ２５を所定の符号化処理を行い、選択部２６４を介して符号化データを出力する。
符号化回路２６において、選択部２６３は、信号Ｓ３５２に基づいて、複数の異なる可変長符号化処理のうち、CAVLC処理部２６１およびCABAC処理部２６２のいずれかに信号Ｓ２５を出力し、CAVLC処理２６１およびCABAC処理部２６２のいずれかは、信号Ｓ２５を所定の符号化処理を行い、選択部２６４を介して符号化データを出力する。
以上、説明したように本実施形態では、特定部２０２は、復号装置３の特性を基に、複数の異なる可変長符号化処理のうち、復号装置に適合するような可変長符号化処理を特定し、符号化回路２６は、画像データ（Ｓ２５）に、特定部２０２が特定した可変長符号化処理を施して符号化データを生成するので、復号装置３の特性に応じた符号化データを生成することができる。
また、可変長符号化処理および可変復号処理に係る処理は、上述した形態に限られるものではない。例えば、特定部２０２は、ＪＶＴ方式に規定されるように、ＣＡＶＬＣ処理時のジグザクスキャン係数の分布具合や、スキップマクロブロックモード時におけるコストと残ったコスト等に応じて、複数の異なる符号化処理のうち、復号装置に適合する符号化処理を特定し、符号化回路２６は特定された符号化処理を行ってもよい。
図１２は、本発明の第７実施形態に係る符号化装置２の特定部２０２の動作を説明するための図である。
本実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ図５，７，１２を参照しながら説明する。
本実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ図５，７，１２を参照しながら説明する。
例えば復号装置３において、復号処理でデブロックフィルタ３０６のブロックノイズ除去処理を施すか否かにより、復号処理の負荷が異なる。
このため、本実施形態に係る特定部２０２は、復号装置の特性を基に、画像データに直交変換回路２４による直交変換処理、量子化回路２５による量子化処理、逆量子化回路２９による逆量子化処理、および逆直交変換回路３０による逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施すか否かを決定し、その結果を示す信号Ｓ３５３を出力する。
このため、本実施形態に係る特定部２０２は、復号装置の特性を基に、画像データに直交変換回路２４による直交変換処理、量子化回路２５による量子化処理、逆量子化回路２９による逆量子化処理、および逆直交変換回路３０による逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施すか否かを決定し、その結果を示す信号Ｓ３５３を出力する。
また、特定部２０２は、復号装置の特性を基に、画像データに直交変換回路２４による直交変換処理、量子化回路２５による量子化処理、逆量子化回路２９による逆量子化処理、および逆直交変換回路３０による逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施すか否かを決定し、その結果を示す信号Ｓ３５３を出力する。
符号化部、具体的には、デブロックフィルタ３１は、信号Ｓ３５３を基に、画像データに直交変換回路２４による直交変換処理、量子化回路２５による量子化処理、逆量子化回路２９による逆量子化処理、および逆直交変換回路３０による逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施しまたは施さずに符号化データを生成する。
具体的には、図１２に示すように、特定部２０２は、負荷測定部３４、および制御部３５を有する。
負荷測定部３４は、例えばデブロックフィルタ処理に係る復号処理の負荷を測定するためのテストパターンを、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、デブロックフィルタ処理を行わせるか否かを示す信号Ｓ３５３を出力デブロックフィルタ３５３に出力する。
負荷測定部３４は、例えばデブロックフィルタ処理に係る復号処理の負荷を測定するためのテストパターンを、復号装置３が復号処理を施した結果を基に、復号処理の負荷を測定し、その結果を示す信号Ｓ３４を制御部３５に出力する。
制御部３５は、信号Ｓ３４を基に、デブロックフィルタ処理を行わせるか否かを示す信号Ｓ３５３を出力デブロックフィルタ３５３に出力する。
デブロックフィルタ３１は、例えば図１２に示すように、デブロック処理部３１１、選択部３１２，３１３を有する。
デブロック処理部３１１は、選択部３１２を介して、信号Ｓ３０が入力されると、ブロックノイズ除去処理を施し、出力結果を選択部３１３を介してメモリ３２に出力する。
選択部３１２は、信号３５３を基に、信号Ｓ３０をデブロック処理部３１１に出力するか、または選択部３１３を介して出力するかを選択する。
選択部３１３は、信号３５３を基に、デブロック処理部３１１または選択部３１３から出力された信号をメモリ３２に出力する。
デブロック処理部３１１は、選択部３１２を介して、信号Ｓ３０が入力されると、ブロックノイズ除去処理を施し、出力結果を選択部３１３を介してメモリ３２に出力する。
選択部３１２は、信号３５３を基に、信号Ｓ３０をデブロック処理部３１１に出力するか、または選択部３１３を介して出力するかを選択する。
選択部３１３は、信号３５３を基に、デブロック処理部３１１または選択部３１３から出力された信号をメモリ３２に出力する。
以上、説明した構成の動作を簡単に説明する。特定部２０２は、復号装置の特性を基に、画像データに、演算回路２３による演算処理、直交変換回路２４による直交変換処理、量子化回路２５による量子化処理、逆量子化回路２９による逆量子化処理、および逆直交変換回路３０による逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施すか否かを決定し、その結果を示す信号Ｓ３５３を出力する。
デブロックフィルタ３１では、信号３５３応じて、ブロックノイズ除去処理を施すかまたは施さずに符号化データを生成する。
デブロックフィルタ３１では、信号３５３応じて、ブロックノイズ除去処理を施すかまたは施さずに符号化データを生成する。
以上説明したように、本実施形態では、復号装置３の特性を基に、画像データに直交変換処理、量子化処理、逆量子化処理、および逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施すか否かを決定する特定部２０２と、特定部２０２による決定の結果を基に、画像データに直交変換処理、量子化処理、逆量子化処理、および逆直交変換処理を施した結果のデータにブロック歪除去処理を施しまたは施さずに符号化データを生成するデブロックフィルタ３１を設けたので、復号装置３に適合した符号化データを生成することができる。
また、上述したデブロックフィルタに係る処理は、この形態に限られるものではない。例えば特定部２０２は、復号装置の特性に応じて、量子化係数ＱＰやマクロブロックモードに応じた、インループフィルタ処理を特定し、符号化部、詳細にはデブロックフィルタ３１は、特定された処理を、入力された信号Ｓ３０に施すことにより、符号化データを生成してもよい。
本発明の第８実施形態に係る符号化装置２は、上述した実施形態と略同じであり、同じ機能については説明を省略し、相違点のみ図５，７を参照しながら説明する。
本実施形態に係る特定部２０２は、復号装置３による復号処理の負荷が所定処理単位毎に略一定となるように、復号装置３に適合する符号化処理を特定する。
符号化部は、特定部２０２が特定した符号化処理を画像データに施して符号化データを生成する。
本実施形態に係る特定部２０２は、復号装置３による復号処理の負荷が所定処理単位毎に略一定となるように、復号装置３に適合する符号化処理を特定する。
符号化部は、特定部２０２が特定した符号化処理を画像データに施して符号化データを生成する。
詳細には、復号装置３で復号処理の保証を行う場合に、ビット量の多いＩスライスを復号する際の負荷が高く、復号処理の性能の制限となっている。この際、一般にビット量の少ないＰスライスやＢスライスでは、復号装置の復号処理に係る演算能力に余裕がある。
本実施形態に係る特定部２０２は、例えば、所定処理単位毎、詳細には上述したＩ、Ｐ、Ｂスライスを復号処理する際に、所定処理単位毎の復号処理の負荷が略一定となるように、復号装置３に適合する符号化処理を特定する。
例えば、特定部２０２は、複数の異なる符号化処理のうち、復号装置３の復号処理の負荷が小さいほど、復号処理の負荷が大きな符号化処理を特定する。
本実施形態に係る特定部２０２は、例えば、所定処理単位毎、詳細には上述したＩ、Ｐ、Ｂスライスを復号処理する際に、所定処理単位毎の復号処理の負荷が略一定となるように、復号装置３に適合する符号化処理を特定する。
例えば、特定部２０２は、複数の異なる符号化処理のうち、復号装置３の復号処理の負荷が小さいほど、復号処理の負荷が大きな符号化処理を特定する。
上述したように所定処理単位毎の復号処理の負荷に応じて、符号化処理を特定するので、復号装置３に適合した符号化処理を行うことができる。
また、特定部２０２は、フレーム単位で上述した特定処理を行ってもよい。
また、特定部２０２は、ブロック毎の復号処理の負荷を符号化処理の順に１画面分積算することで、１フレーム単位の復号処理の負荷と１フレーム全体のフレームごとの許容復号処理負荷から、現在処理するブロックの負荷を推定し、その結果に応じてブロック単位で、複数の異なる符号化処理の内、いずれかの符号化処理を特定してもよい。こうすることにより、フレーム単位の統計を基に、符号化処理を制御することができる。
また、特定部２０２は、ブロック毎の復号処理の負荷を符号化処理の順に１画面分積算することで、１フレーム単位の復号処理の負荷と１フレーム全体のフレームごとの許容復号処理負荷から、現在処理するブロックの負荷を推定し、その結果に応じてブロック単位で、複数の異なる符号化処理の内、いずれかの符号化処理を特定してもよい。こうすることにより、フレーム単位の統計を基に、符号化処理を制御することができる。
なお、本発明は本実施形態に限られるものではなく、任意好適な改変が可能である。
例えば、上述した形態では、特定部２０２は、例えば予め複数の異なる符号化処理のうち、復号装置に適合する符号化処理を特定するか、予めテストパターンを入力してその結果を基に、上述した特定処理を行ったが、この形態に限られるものではない。
例えば、通常の符号化データに、復号装置３が復号処理を施し、その負荷を常時、または所定のタイミングで測定し、その結果に応じて、上述した特定処理を行ってもよい。
例えば、上述した形態では、特定部２０２は、例えば予め複数の異なる符号化処理のうち、復号装置に適合する符号化処理を特定するか、予めテストパターンを入力してその結果を基に、上述した特定処理を行ったが、この形態に限られるものではない。
例えば、通常の符号化データに、復号装置３が復号処理を施し、その負荷を常時、または所定のタイミングで測定し、その結果に応じて、上述した特定処理を行ってもよい。
また、上述した特定処理や符号化処理の順番は上述した形態に限られるものではない。
また、上述した符号化処理の具体例に限られるものではない。符号化装置において、上述しない他の符号化処理についても、特定部２０２は、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定し、その特定された符号化処理を実行させてもよい。
また、上述した符号化処理の具体例に限られるものではない。符号化装置において、上述しない他の符号化処理についても、特定部２０２は、複数の異なる符号化処理のうち、復号装置３に適合する符号化処理を特定し、その特定された符号化処理を実行させてもよい。
また、特定部２０２は、フレーム単位で変更可能なパラメータを、フレーム単位での復号装置の復号処理の負荷に応じて符号化処理を特定してもよい。
また、特定部２０２は、例えば図５に示すように、復号装置３に適合するように、例えば復号処理の負荷に応じて、レート制御回路２８の量子化レートＱＰを特定し、特定した結果を示す信号Ｓ３５４をレート制御回路２８に出力し、レート制御回路２８は、その信号Ｓ２５４を基に、復号装置３に適合する量子化レートＱＰを決定してもよい。こうすることにより、復号装置３に適合する量子化レートＱＰで符号化データを生成することができる。
また、上述した形態は、組み合わせて実施してもよい。こうすることにより、符号化装置２は、より復号装置３に適合する符号化データを生成することができる。
また、上述した形態では、符号化装置２は、各構成要素を回路にて実現したがこの形態に限られるものではない。例えばメモリに記憶された、本発明に係るプログラムを制御回路（ＣＰＵ：Central Processing Unit）が実行することで、本発明を実現してもよい。
１…通信システム、２…符号化装置、３…復号装置、２１…アナログ／デジタル（Ａ／Ｄ）変換回路、２２…画面並べ替え回路、２３…演算回路、２４…直交変換回路、２５…量子化回路、２６…可逆符号化回路、２７…バッファ、２８…レート制御回路、２９…逆量子化回路、３０…逆直交変換回路、３１…デブロックフィルタ、３２…フレームメモリ、３３…動き予測・補償回路、３４…負荷測定部、３５…制御部、２０１…符号化処理部、２０２…特定部、３０１…バッファ、３０２…可逆復号回路、３０３…逆量子化回路、３０４…逆直交変換回路、３０５…演算回路、３０６…デブロックフィルタ、３０７…画像並べ替え回路、３０８…デジタル／アナログ（Ｄ／Ａ）変換回路、３０９…フレームメモリ、３１０…動き予測・補償回路、２０１１…第１の符号化処理部、２０１２…第２の符号化処理部、２０１３，２０１４…選択部、２０２１…負荷測定部、２０２２…制御部
Claims (17)
- 画像データに符号化処理を施して符号化データを生成して復号装置に出力する符号化装置であって、
複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する特定手段と、
前記複数の異なる符号化処理のうち、前記特定手段が特定した符号化処理を前記画像データに施して符号化データを生成する符号化処理手段と
を有する符号化装置。 - 前記特定手段は、前記復号装置による復号処理の負荷を測定し、当該測定の結果の復号処理の負荷を基に、前記複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する
請求項１に記載の符号化装置。 - 前記特定手段は、前記復号装置による復号処理の負荷を測定するためのテストパターンを出力し、前記復号装置による前記テストパターンの復号処理の結果を基に当該復号処理の負荷を測定する
請求項１に記載の符号化装置。 - 前記特定手段は、前記復号装置による前記テストパターンの所定処理単位での復号処理時間を、前記復号処理の負荷として測定する
請求項３に記載の符号化装置。 - 前記特定手段は、前記復号装置による前記テストパターンの所定処理単位での復号処理の消費電力を、前記復号処理の負荷として測定する
請求項３に記載の符号化装置。 - 前記特定手段は、前記復号装置の特性を基に、処理対象となる画像データの動きベクトルを生成する単位となる複数の種類のブロックのうち、いずれかのブロックを特定し、
前記符号処理手段は、前記特定手段が特定したブロックを処理単位として、前記処理対象となる画像データの動きベクトルを生成し、前記生成した動きベクトルを基に前記符号化データを生成する
請求項１に記載の符号化装置。 - 前記特定手段は、参照する画像データと、処理対象の画像データの差分情報、および復号装置の復号処理の負荷に基づいて、前記複数の種類のブロックのうち、いずれかのブロックを特定する
請求項６に記載の符号化装置。 - 前記特定手段は、参照する画像データと、処理対象の画像データの差分情報、符号化データの発生情報量、および前記復号装置の復号処理の負荷に基づいて、前記複数の種類のブロックのうち、いずれかのブロックを特定する
請求項６に記載の符号化装置。 - 前記特定手段は、前記復号装置の特性を基に、参照される画像データおよび処理対象の画像データの動きベクトルを生成する際のピクセル精度を特定し、
前記符号化手段は、前記特定手段が特定したピクセル精度で、前記参照される画像データおよび処理対象の画像データの動きベクトルを生成し、当該生成した動きベクトルを基に前記符号化データを生成する
請求項１に記載の符号化装置。 - 前記特定手段は、前記復号装置の特性を基に、前記符号化手段が所定ピクセル精度以下のピクセル精度で前記動きベクトルを生成する際に行う有限インパルス応答フィルタ処理の演算回数、参照ブロック数、および積和演算回数のいずれかを特定し、
前記符号化手段は、所定ピクセル精度以下のピクセル精度で前記動きベクトルを生成する際に、前記特定手段が特定した結果を基に前記有限インパルス応答フィルタ処理を行い、前記符号化データを生成する
請求項９に記載の符号化装置。 - 前記特定手段は、前記復号装置の特性を基に、前記符号化手段による複数の異なる可変長符号化処理のうち、前記復号装置に適合するような可変長符号化処理を特定し、
前記符号化手段は、前記画像データに、前記特定手段が特定した可変長符号化処理を施して前記符号化データを生成する
請求項１に記載の符号化装置。 - 前記特定手段は、前記復号装置の特性を基に、前記符号化手段による可変長符号化処理としてCABAC（context-based adaptive binary arithmetic coding）およびCAVLC（Context adaptive variable length coding）のいずれかを特定し、
前記符号化手段は、前記画像データに、前記特定手段が特定した可変長符号化処理を施して前記符号化データを生成する
請求項１１に記載の符号化装置。 - 前記特定手段は、前記復号装置の特性を基に、画像データに直交変換処理、量子化処理、逆量子化処理、および逆直交変換処理を施した結果のデータに、ブロックノイズ除去処理を施すか否かを決定し、
前記符号化手段は、前記特定手段による決定の結果を基に、前記画像データに前記直交変換処理、前記量子化処理、前記逆量子化処理、および前記逆直交変換処理を施した結果のデータに前記ブロック歪除去処理を施しまたは施さずに前記符号化データを生成する
請求項１に記載の符号化装置。 - 前記特定手段は、前記復号装置による復号処理の負荷が所定処理単位毎に略一定となるように、前記復号装置に適合する符号化処理を特定し、
前記符号化手段は、前記特定手段が特定した符号化処理を前記画像データに施して符号化データを生成する
請求項２に記載の符号化装置。 - 動き補償の対象となる画像データと、前記動き補償で参照される参照画像データの間の差分に基づいて、動きベクトルを生成する動きベクトル生成手段と、
前記動き補償の対象となる画像データと、予測画像データとの差分に直交変換処理および量子化処理を順に施す第１の処理手段と、
前記第１の処理手段で生成したデータに、逆量子化処理および逆直交変換処理を順に施して参照データを生成する第２の処理手段と、
前記動きベクトルおよび前記参照画像データを基に前記予測画像データを生成する第３の処理手段と、
前記第１の処理手段で生成したデータ、および前記動きベクトルを符号化して符号化データを生成して復号装置に出力する符号化手段と、
前記復号装置の特性を基に、少なくとも前記動きベクトル生成手段、前記第１の処理手段、前記第２の処理手段、前記第３の処理手段、および前記符号化手段のいずれかの複数の異なる内部処理のうち、前記復号装置に適合する内部処理を特定し、当該特定した内部処理を行わせる特定手段と
を有する符号化装置。 - 画像データに符号化処理を施して符号化データを生成して復号装置に出力する符号化装置に実行させるプログラムであって、
複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する第１の手順と、
前記複数の異なる符号化処理のうち、前記第２の手順が特定した符号化処理を前記画像データに施して符号化データを生成する第２の手順と
を符号化装置に実行させるプログラム。 - 前記第１の手順において、前記復号装置による復号処理の負荷を測定し、当該測定の結果の復号処理の負荷を基に、前記複数の異なる符号化処理のうち、前記復号装置に適合する符号化処理を特定する
請求項１６に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004166995A JP2005348207A (ja) | 2004-06-04 | 2004-06-04 | 符号化装置、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004166995A JP2005348207A (ja) | 2004-06-04 | 2004-06-04 | 符号化装置、およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005348207A true JP2005348207A (ja) | 2005-12-15 |
Family
ID=35500141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004166995A Pending JP2005348207A (ja) | 2004-06-04 | 2004-06-04 | 符号化装置、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005348207A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007208552A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 動画像復号装置 |
| JP2008193248A (ja) * | 2007-02-01 | 2008-08-21 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像復号化装置 |
| WO2011148887A1 (ja) * | 2010-05-24 | 2011-12-01 | 日本電気株式会社 | 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム |
| WO2015111289A1 (ja) * | 2014-01-23 | 2015-07-30 | ソニー株式会社 | 復号装置、復号方法、符号化装置及び符号化方法 |
| CN112422956A (zh) * | 2020-10-30 | 2021-02-26 | 西安万像电子科技有限公司 | 数据测试系统及方法 |
-
2004
- 2004-06-04 JP JP2004166995A patent/JP2005348207A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007208552A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 動画像復号装置 |
| JP2008193248A (ja) * | 2007-02-01 | 2008-08-21 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像復号化装置 |
| US8102919B2 (en) | 2007-02-01 | 2012-01-24 | Panasonic Corporation | Image coding apparatus and image decoding apparatus |
| WO2011148887A1 (ja) * | 2010-05-24 | 2011-12-01 | 日本電気株式会社 | 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム |
| WO2015111289A1 (ja) * | 2014-01-23 | 2015-07-30 | ソニー株式会社 | 復号装置、復号方法、符号化装置及び符号化方法 |
| JPWO2015111289A1 (ja) * | 2014-01-23 | 2017-03-23 | ソニー株式会社 | 復号装置、復号方法、符号化装置及び符号化方法 |
| US10575047B2 (en) | 2014-01-23 | 2020-02-25 | Sony Corporation | Decoding apparatus, decoding method, encoding apparatus, and encoding method |
| CN112422956A (zh) * | 2020-10-30 | 2021-02-26 | 西安万像电子科技有限公司 | 数据测试系统及方法 |
| CN112422956B (zh) * | 2020-10-30 | 2024-03-19 | 西安万像电子科技有限公司 | 数据测试系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2694012C1 (ru) | Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений | |
| KR101196429B1 (ko) | 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법 | |
| US7792193B2 (en) | Image encoding/decoding method and apparatus therefor | |
| JP5413191B2 (ja) | 動画像符号化方法及び装置並びに動画像復号装置 | |
| JP4927207B2 (ja) | 符号化方法、復号化方法及び装置 | |
| TWI413416B (zh) | 基於視訊寫碼中活動量度之濾波預測 | |
| KR20050061762A (ko) | 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치 | |
| JP4501631B2 (ja) | 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末 | |
| KR20040054776A (ko) | 고레벨 화소-그리드 모션 보상을 사용하여 복잡성을감소시키기 위한 디코딩 | |
| US8903184B2 (en) | Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP2005348093A (ja) | 画像処理装置、そのプログラムおよびその方法 | |
| TW200534113A (en) | Data processor, data processing method and encoder | |
| JP2007013298A (ja) | 画像符号化装置 | |
| JP5447239B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| KR100771640B1 (ko) | 고속 모드 결정 기능을 구비한 ｈ.２６４ 인코더 | |
| JP2005348207A (ja) | 符号化装置、およびプログラム | |
| US8811474B2 (en) | Encoder and encoding method using coded block pattern estimation | |
| JP4719854B2 (ja) | 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム | |
| JP2015027097A (ja) | 動画像復号方法 | |
| JP2005167721A (ja) | データ処理装置およびその方法と符号化装置 | |
| JP2008289105A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| JP4423968B2 (ja) | 符号化装置 | |
| JP2005244666A (ja) | データ処理装置、符号化装置およびデータ処理方法 | |
| RU2782400C2 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы |