JP2008283401A

JP2008283401A - 画像処理装置およびその方法

Info

Publication number: JP2008283401A
Application number: JP2007125023A
Authority: JP
Inventors: Masaki Suzuki; 正樹鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-05-09
Filing date: 2007-05-09
Publication date: 2008-11-20

Abstract

【課題】動画像フレームをブロック単位に符号化する際に、高い精度で量子化ステップを算出する。
【解決手段】既符号化情報保持部123は、符号化済みブロックの量子化ステップと発生符号量を保持する。参照小矩形決定部121は、符号化対象のブロックの動きベクトルから、符号化対象のブロックを符号化するための参照ブロックを決定する。量子化ステップ決定部122は、既符号化情報保持部123が保持する、参照ブロックの量子化ステップと発生符号量を参照して、符号化対象のブロックの量子化ステップを算出する。
【選択図】図4

Description

本発明は、動画像の符号化に関する。

ディジタル化された動画像は情報量が多いため、記録・伝送するに当り、情報量を圧縮する技術が必要になる。圧縮符号化された動画の品質は、幾つかの処理の性能により決定される。転送レートが決まっている伝達経路に動画像を出力する場合、量子化ステップ推定処理は、画質の変動を安定化するために必須の技術である。

動画像符号化技術の代表例としてハイブリッド符号化方式が挙げられ、MPEG2 Test Model 5、H.264 Verification Model 9.3などにも量子化ステップの推定処理が実装されている。また、特許文献1は、解析的な手法を取り入れて、量子化ステップの推定方法を高度化した発明が開示されている。

図1は上述した三つの技術に共通する動画像符号化装置の構成例を示すブロック図である。

入力部100は、時間方向に連続する複数フレームで構成されるディジタル動画像を入力する。減算部101は、入力部101から入力されるフレームと、予測画像保持部111から出力される予測値の差（以下、予測誤差）を算出する。

入力された動画像のフレームは、小さな矩形ブロックBij（例えば8×8、16×16画素など）に分割される。入力動画像がカラー画像の場合、矩形ブロックBijの集合であるマクロブロック(MBij＞Bij)単位に処理を行う。小矩形分割部116は、符号化モード判定部102の制御により、入力された動画像のフレームまたは減算部101が出力する予測誤差をMB単位に分割する。

予測方向決定部117は、フレーム単位に、フレーム内予測符号化とフレーム間予測符号化を選択する。直交変換部103は、MB単位に、符号化対象のMBを直交変換する。量子化部104は、レート制御部112の制御に従い、直交変換部103が出力する直交変換係数をスカラ量子化する。

エントロピ符号化部113は、量子化部104が出力する量子化値を可変長符号化し、バッファ114へ出力する。バッファ114は、符号化された複数のフレームをバッファして、レート制御部112の制御に従い、符号化された複数のフレームをデータ圧縮された動画像データとして出力部115に出力する。レート制御部112は、バッファ114から出力されるデータ量に基づき、量子化部104に量子化制御信号を送る。

逆量子化部105は、量子化部104が出力する量子化値を逆量子化して、直交変換係数を出力する。逆直交変換部106は、逆量子化部113が出力する直交変換係数を逆直交変換してMBまたは予測誤差を再生する。

加算器107は、符号化モード判定部102の制御により、逆直交変換部106が再生したMBと予測画像保持部111が保持する予測画像の対応ブロックを加算して符号化対象ブロックを再生し、フレームメモリ108の対応領域に格納する。または、逆直交変換部106が再生した予測誤差をフレームメモリ108の対応領域に格納する。

符号化モード判定部102は、直交変換部103に符号化対象にMBを直交変換させる場合は、再生された符号化対象のMBをフレームメモリ108に格納するように加算器107を制御する。また、直交変換部103に予測誤差を直交変換させる場合は、再生された予測誤差をフレームメモリ108に格納するように加算器107を制御する。つまり、フレームメモリ108は、ローカルデコードされたフレームを記憶する。

動きベクトル検出部109は、MB単位に、フレームメモリ108に記憶された一つ前の符号化対象フレーム（前フレーム）の符号化画像を参照して動きベクトルを検出する。その際、動きベクトル検出部109は、符号化対象のMBの周囲±15画素の範囲でブロックマッチングを行い、予測誤差の絶対和の平均が最小のブロックを予測ブロックとして、動きベクトルを検出する。

動き補償部110は、動きベクトル検出部109の検出情報（動きベクトル）を用いて、フレームメモリ108に格納された再生フレーム（参照フレーム）から予測画像を生成して予測画像保持部111に格納する。予測画像保持部111は、蓄積した予測画像を減算器101と加算器107に出力する。

図2はH.264 Verification Model 9.3に準拠する動画像符号化装置の構成例を示すブロック図である。

量子化ステップ推定部120は、量子化部104に設定する量子化ステップを、既符号化フレームの量子化ステップの情報を利用して、フレーム単位に推定する。既符号化フレーム情報保持部1123は、バッファ114を参照して、符号化済みフレーム内の平均量子化ステップQPと発生符号量Rを保持する。量子化ステップ決定部1122は、既符号化フレーム情報保持部1123が保持する情報から量子化ステップを決定し、量子化部104に設定する。

図3はMPEG2 Test Model 5に準拠する動画像符号化装置の構成例を示すブロック図である。

MPEG2 Test Model 5は、予測方向決定部117が存在しない方式である。量子化ステップ推定部120は、符号化対象のMB内の信号の特性を用いて、MBの量子化ステップを決定する。つまり、量子化ステップ決定部1122は、バッファ114を参照して、フレーム内の平均量子化ステップQPを決定し、小矩形分割部116からMBのデータを受け取り、その統計情報から符号化対象のMBの量子化ステップを決定し、量子化部104に設定する。

しかし、上述の技術は、入力動画像を任意の小矩形領域に分割した場合、小矩形領域の特性に合った量子化ステップの推定が難しい。

また、特許文献1が開示する技術は、幾つかの量子化ステップを用いて実際に符号化を行い、量子化ステップを高精度に推定する。しかし、幾つかの量子化ステップを用いて実際に符号化を行う処理が必要である。

特開2003-174648公報

本発明は、動画像フレームをブロック単位に符号化する際に、高い精度で量子化ステップを算出することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、動画像フレームをブロック単位に符号化する際に、符号化済みブロックの量子化ステップと発生符号量をメモリに保持し、符号化対象のブロックの動きベクトルから、前記符号化対象のブロックを符号化するための参照ブロックを決定し、前記メモリが保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出することを特徴とする。

また、動画像フレームをブロック単位に符号化する画像処理方法であって、符号化済みブロックの量子化ステップと発生符号量をメモリに保持し、符号化対象のブロックに設定されたフレーム内予測の予測方向、および、前記ブロックの画像信号特性から、前記符号化対象のブロックを符号化するための参照ブロックを決定し、前記メモリが保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出することを特徴とする。

また、動画像フレームをブロック単位に符号化する画像処理方法であって、符号化済みブロックの量子化ステップと発生符号量をメモリに保持し、符号化対象のブロックの分割方法、および、前記ブロックの画像信号特性から、前記符号化対象のブロックを符号化するための参照ブロックを決定し、前記メモリが保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出することを特徴とする。

本発明によれば、動画像フレームをブロック単位に符号化する際に、高い精度で量子化ステップを算出することができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
実施例1の動画像符号化装置は、量子化ステップ推定部120に特徴をもつ。量子化ステップ推定部120以外の構成は、図1から図3によって説明したので詳細説明は省略する。

図4は実施例1の動画像符号化装置の構成例を示すブロック図である。

量子化ステップ推定部120の動きベクトル保持部130は、動きベクトル検出部109が検出した動きベクトルを保持するメモリである。小矩形決定部121は、動きベクトル保持部130が保持する動きベクトルから量子化ステップを推定するためのMBを決定する。

既符号化情報保持部123は、エントロピ符号化部113を参照して、MB単位に、量子化ステップQと発生符号量Rを保持するメモリである。量子化ステップ決定部122は、小矩形決定部121が決定したMBの量子化ステップQPと発生符号量Rを既符号化情報保持部123から取得し、それら情報から量子化ステップを決定して、量子化部104に設定する。

［装置の動作］
図5は動画像符号化装置の動作を説明するフローチャートである。なお、イントラピクチャ（Iピクチャ）が1フレームと、予測符号化ピクチャ（Pピクチャ）が複数フレームで構成される簡単な動画像の符号化を例に説明する。

動画像符号化装置が符号化を開始し、量子化部104が稼動すると、量子化ステップ推定部120も処理を開始する。符号化の開始時、量子化ステップ決定部122は、過去の符号化結果などに基づく量子化ステップQtarを量子化部104に設定する(S100)。

1フレーム目（Iピクチャ）の符号化(S101)が終了すると、量子化ステップ推定部120は、設定した量子化ステップQtarに対する発生符号量RtarをMB単位に取得して既符号化情報保持部123に保持する(S102)。

次に、動画像符号化装置は、全フレームの符号化が終了したか否かを判定し(S103)、未了の場合は処理をステップS104に進める。

動画像符号化装置は、次フレームの符号化を開始し(S104)、MB単位の符号化を開始する(S105)。量子化ステップ推定部120は、前フレームの参照画像から検出された、符号化対象のMBの動きベクトルを取得して、動きベクトル保持部130に保持する(S106)。参照小矩形決定部121は、動きベクトル保持部130が保持する動きベクトルを利用して、フレームメモリ108から、符号化対象のMBに対応付けられた参照画像上のMB（参照MB、参照ブロック）の位置情報MBrefを取得する(S107)。

量子化ステップ決定部122は、MBrefに対応するMBの符号化時の量子化ステップQrefと、発生符号量Rrefを既符号化情報保持部123から取得して、QRモデルを推定する(S108)。式(1)は、量子化ステップQを、発生符号量Rの一次式で近似したQRモデルを示す。
Q = a×VAR/R …(1)
ここで、VARは、MBにおける輝度の分散

量子化ステップ決定部122は、小矩形分割部116が出力した符号化対象のMBの情報から求めた分散VARtar、既符号化情報保持部123から取得した量子化ステップQrefと発生符号量Rrefを式(1)に代入して係数aを予測する。

次に、量子化ステップ決定部122は、符号化対象のMBに割当可能な符号量Ttar（所定量）を推定する。その推定方法は既存の決定方法で構わない。例えば、バッファ114などの情報から推定するMPEG2 Test Model 5の方式でよい。そして、割当可能な符号量Ttarを満たす量子化ステップQtarを次式によって計算し、量子化部104に設定する(S109)。
Qtar = a×VARtar/Ttar …(2)

設定された量子化ステップQtarにより、量子化部104は符号化対象のMBの直交変換係数を量子化し、エントロピ符号化部113は直交変換係数をエントロピ符号化する(S110)。量子化ステップ推定部120は、発生した符号量Rtarを取得して、量子化ステップQtarに対応付けて既符号化情報保持部123に保持する(S111)。

動画像符号化装置は、現フレーム内の全MBを符号化したか否かを判定し(S112)、未了であれば次のMBを符号化するために処理をステップS104に戻し、現フレームの全MBを符号化した場合は処理をステップS103に戻す。

上記では、Iピクチャが1フレームと、Pピクチャが複数フレームで構成される簡単な動画像の符号化を例に説明したが、双方向予測フレーム（Bピクチャ）を加えた符号化でも構わない。Bピクチャを加える場合、係数aは、符号化するピクチャタイプによって変更しても構わない。また、上記では、簡単なハイブリッド型の動画像符号装置を例に説明したが、H.264のような方式でも構わない。

［量子化ステップの推定］
ここで、動きベクトルによって対応付けられたMBの量子化ステップQrefと、発生符号量Rrefから、符号化対象のMBの量子化ステップQtarを推定する理由を説明する。

図6に示すように、動きベクトルによって対応付けられるMBは、同じようなテクスチャをもち、量子化ステップQと発生符号量Rの関係を同じモデルで表すことが容易である。一方、同じようなテクスチャをもたないMBの場合、量子化ステップQと発生符号量Rの関係を表すモデルが異なり、既に符号化されたMBの量子化ステップQと発生符号量Rから、符号化対象のMBの符号化ステップQと発生符号量Rを推定することは難しい。

実施例1では、符号化対象のMBにおいて所定の符号量を発生する量子化ステップQを、統計的に類似する既に符号化されたMBの量子化ステップQと発生符号量Rから推定する。従って、高い精度で量子化ステップQを決定することができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

［装置の構成］
図7は実施例2の動画像符号化装置の構成例を示すブロック図である。図4に示す実施例1の量子化ステップ推定部120と異なるのは、動きベクトル保持部130の代わりに、予測方向決定部117が決定した予測符号化の予測方向を保持するメモリである予測方向保持部140を有することである。

［装置の動作］
図8は動画像符号化装置の動作を説明するフローチャートである。なお、Iピクチャの複数フレームを符号化する例に説明する。

動画像符号化装置が符号化を開始し、量子化部104が稼動すると、量子化ステップ推定部120も処理を開始する。符号化の開始時、量子化ステップ決定部122は、過去の符号化結果などに基づく量子化ステップQtarを量子化部104に設定する(S1100)。

予測方向決定部117は、各フレームをフレーム内予測符号化するように予測方向を決定する(S1101)。量子化ステップ推定部120は、決定された予測方向を予測方向保持部140に保持する。

1フレーム目（Iピクチャ）の符号化(S1102)が終了すると、量子化ステップ推定部120は、設定した量子化ステップQtarに対する発生符号量RtarをMB単位に取得して既符号化情報保持部123に保持する(S1103)。

次に、動画像符号化装置は、全フレームの符号化が終了したか否かを判定し(S1104)、未了の場合は処理をステップS1105に進める。

動画像符号化装置は、次フレームの符号化を開始し(S1105)、MB単位の符号化を開始し(S1106)、予測方向決定部117は予測方向を決定する(S1107)。量子化ステップ推定部120は、決定された予測方向を予測方向保持部140に保持する。参照小矩形決定部121は、予測方向保持部140が保持する予測方向、小矩形分割部116が出力した符号化対象のMBの情報を利用して、フレームメモリ108から、符号化対象のMBに対応する参照MBの位置情報MBrefを取得する(S1108)。

量子化ステップ決定部122は、MBrefに対応するMBの符号化時の量子化ステップQrefと、発生符号量Rrefを既符号化情報保持部123から取得して、QRモデル（式(1)）を推定する(S1109)。そして、小矩形分割部116が出力した符号化対象のMBの情報から求めた分散VARtar、既符号化情報保持部123から取得した量子化ステップQrefと発生符号量Rrefを式(1)に代入して係数aを予測する。

次に、量子化ステップ決定部122は、符号化対象のMBに割当可能な符号量Ttarを推定する。その推定方法は既存の決定方法で構わない。例えば、バッファ114などの情報から推定するMPEG2 Test Model 5の方式でよい。そして、割当可能な符号量Ttarを満たす量子化ステップQtarを式(2)によって計算し、量子化部104に設定する(S1110)。

設定された量子化ステップQtarにより、量子化部104は符号化対象のMBの直交変換係数を量子化し、エントロピ符号化部113は直交変換係数をエントロピ符号化する(S1111)。量子化ステップ推定部120は、発生した符号量Rtarを取得して、量子化ステップQtarに対応付けて既符号化情報保持部123に保持する(S1112)。

動画像符号化装置は、現フレーム内の全MBを符号化したか否かを判定し(S1113)、未了であれば次のMBを符号化するために処理をステップS1105に戻し、現フレームの全MBを符号化した場合は処理をステップS1104に戻す。

上記では、Iピクチャの数フレームを符号化する例に説明したが、PピクチャやBピクチャを加えた符号化でも構わない。P、Bピクチャを加える場合、係数aは、符号化するピクチャタイプによって変更しても構わない。また、上記では、簡単なハイブリッド型の動画像符号装置を例に説明したが、H.264のような方式でも構わない。

［参照MB］
図9は参照MBの位置情報MBrefの取得を説明する図である。

現フレームTにおける符号化対象のMBがMBtとすると、前フレームT-1に矢印で示す順に、MBtに対する参照MBを決定する。詳細には、まず、MBまたはMBの集合を一つの矩形領域とみなし、前フレームT-1上に存在する矩形領域とMBtの差分信号の絶対和MAEを算出し、さらに、両者の予測方向の相関Bを算出する。そして、予め設定した閾値T1、T2と比較して参照MBを決定する。
MAE ≦ T1 かつ B ≦ T2 であれば参照MBに決定 …(3)
ここで、例えばT1 = T2 = 0

なお、画像上のノイズを考慮する場合は、ノイズの効果を打ち消すために閾値T1、T2に0以上の値をもたせるとよい。

図10は上記の参照MBの決定方法の効果を説明する図である。

参照MBの決定方法は、全探索を行い最適な方向を見付けると動画像の圧縮率を上げることができる。しかし、処理速度を優先して、決定精度を下げる場合がある。このような場合、同じようなテクスチャにもかかわらず、フレーム内予測符号化の予測方向がフレームごとに異なる可能性がある。その場合、同じテクスチャをもつMBであっても、量子化ステップQと発生符号量Rの関係を表すモデルは異なる。

発生符号量Rから量子化ステップQを推定する場合、連続性がある関係式（モデル）を得ることが必要なので、同じようなテクスチャをもつMBの中で、同じ予測方向に予測符号化されたMBを参照MBに用いることが望ましい。

図10に示す現フレームの符号化対象のMBtのQR曲線がF1だと仮定する。フレームI3の太破線で囲むMBを参照MBとすると、矢印で示す予測方向は一致するが、テクスチャ（画像信号特性）が一致しないから、予測信号の統計情報が異なり、QR曲線F3は、MBtのQR曲線F1と異なる。また、フレームI4の太破線で囲むMBの場合、テクスチャは類似するが、予測方向が異なり、QR曲線F4とQR曲線F1は異なる。他方、フレームI2の太破線で囲むMBの場合、テクスチャが類似し、予測方向も一致するため、QR曲線F2とQR曲線F1も類似する。

つまり、テクスチャが類似し、フレーム内符号化の予測方向が一致する、符号化済みのMBを参照MBにすればよい。

実施例2では、符号化対象のMBにおいて所定の符号量を発生する量子化ステップQを、テクスチャが類似し、かつ、フレーム内符号化の予測方向が一致する既に符号化されたMBの量子化ステップQと発生符号量Rから推定する。従って、高い精度で量子化ステップQを決定することができる。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

［装置の構成］
図11は実施例3の動画像符号化装置の構成例を示すブロック図である。図4に示す実施例1の量子化ステップ推定部120と異なるのは、動きベクトル保持部130の代わりに、小矩形分割部116の分割情報を保持するメモリである分割情報保持部150を有することである。

［装置の動作］
図12は動画像符号化装置の動作を説明するフローチャートである。なお、Iピクチャの複数フレームを符号化する例に説明する。

小矩形分割部116は、現フレームを任意の小矩形であるMBに分割する。量子化ステップ推定部120は、MBの分割サイズなどを示す分割情報を取得して、分割情報保持部150に保持する(S2101)。

1フレーム目（Iピクチャ）の符号化(S2102)が終了すると、量子化ステップ推定部120は、設定した量子化ステップQtarに対する発生符号量RtarをMB単位に取得して既符号化情報保持部123に保持する(S2103)。

次に、動画像符号化装置は、全フレームの符号化が終了したか否かを判定し(S2104)、未了の場合は処理をステップS2105に進める。

動画像符号化装置は、次フレームの符号化を開始し(S2105)、MB単位の符号化を開始する(S2106)。量子化ステップ推定部120は、分割情報を取得し、分割情報保持部150に保持する(S2107)。参照小矩形決定部121は、分割情報保持部150が保持する分割情報、小矩形分割部116が出力した符号化対象のMBの情報を利用して、フレームメモリ108から、符号化対象のMBに対応する参照MBの位置情報MBrefを取得する(S2108)。

量子化ステップ決定部122は、MBrefに対応するMBの符号化時の量子化ステップQrefと、発生符号量Rrefを既符号化情報保持部123から取得して、QRモデル（式(1)）を推定する(S2109)。そして、小矩形分割部116が出力した符号化対象のMBの情報から求めた分散VARtar、既符号化情報保持部123から取得した量子化ステップQrefと発生符号量Rrefを式(1)に代入して係数aを予測する。

次に、量子化ステップ決定部122は、符号化対象のMBに割当可能な符号量Ttarを推定する。その推定方法は既存の決定方法で構わない。例えば、バッファ114などの情報から推定するMPEG2 Test Model 5の方式でよい。そして、割当可能な符号量Ttarを満たす量子化ステップQtarを式(2)によって計算し、量子化部104に設定する(S2110)。

設定された量子化ステップQtarにより、量子化部104は符号化対象のMBの直交変換係数を量子化し、エントロピ符号化部113は直交変換係数をエントロピ符号化する(S2111)。量子化ステップ推定部120は、発生した符号量Rtarを取得して、量子化ステップQtarに対応付けて既符号化情報保持部123に保持する(S2112)。

動画像符号化装置は、現フレーム内の全MBを符号化したか否かを判定し(S2113)、未了であれば次のMBを符号化するために処理をステップS2105に戻し、現フレームの全MBを符号化した場合は処理をステップS2104に戻す。

現フレームTにおける符号化対象のMBがMBtとすると、前フレームT-1に矢印で示す順に、MBtに対する参照MBを決定する。詳細には、まず、MBまたはMBの集合を一つの矩形領域とみなし、前フレームT-1上に存在する矩形領域とMBtの差分信号の絶対和MAEを算出し、さらに、両者の分割情報の相関Cを算出する。そして、予め設定した閾値T3、T4と比較して参照MBを決定する。
MAE ≦ T3 かつ C = 0 であれば参照MBに決定 …(4)
ここで、例えばT3 = 0

なお、画像上のノイズを考慮する場合は、ノイズの効果を打ち消すために閾値T3に0以上の値をもたせるとよい。また、相関Cの算出方法は、同じ分割方法で分割されたか否かに応じて算出する。

図13は上記の参照MBの決定方法の効果を説明する図である。

参照MBの決定方法は、全探索を行い最適な方向を見付けると動画像の圧縮率を上げることができる。しかし、処理速度を優先して、決定精度を下げる場合がある。このような場合、同じようなテクスチャにもかかわらず、分割方法がフレームごとに異なる可能性がある。その場合、同じテクスチャをもつMBであっても、量子化ステップQと発生符号量Rの関係を表すモデルは異なる。

発生符号量Rから量子化ステップQを推定する場合、連続性がある関係式（モデル）を得ることが必要なので、同じようなテクスチャをもつMBの中で、同じ分割方法で分割されたMBを参照MBに用いることが望ましい。

図13に示す現フレームの符号化対象のMBtのQR曲線がF1だと仮定する。フレームI3の太破線で囲むMBを参照MBとすると、分割方法は一致するが、テクスチャが一致しないから、予測信号の統計情報が異なり、QR曲線F3は、MBtのQR曲線F1と異なる。また、フレームI4の太破線で囲むMBの場合、テクスチャは類似するが、分割方法が異なり、QR曲線F4とQR曲線F1は異なる。他方、フレームI2の太破線で囲むMBの場合、テクスチャが類似し、分割方法も一致するため、QR曲線F2とQR曲線F1も類似する。

つまり、テクスチャが類似し、分割方法が一致する、符号化済みのMBを参照MBにすればよい。

実施例3では、符号化対象のMBにおいて所定の符号量を発生する量子化ステップQを、テクスチャが類似し、かつ、分割方法が一致する既に符号化されたMBの量子化ステップQと発生符号量Rから推定する。従って、高い精度で量子化ステップQを決定することができる。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する記憶媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

三つの技術に共通する動画像符号化装置の構成例を示すブロック図、 H.264 Verification Model 9.3に準拠する動画像符号化装置の構成例を示すブロック図、 MPEG2 Test Model 5に準拠する動画像符号化装置の構成例を示すブロック図、実施例1の動画像符号化装置の構成例を示すブロック図、動画像符号化装置の動作を説明するフローチャート、量子化ステップの推定を説明する図、実施例2の動画像符号化装置の構成例を示すブロック図、動画像符号化装置の動作を説明するフローチャート、参照MBの位置情報MBrefの取得を説明する図、参照MBの決定方法の効果を説明する図、実施例3の動画像符号化装置の構成例を示すブロック図、動画像符号化装置の動作を説明するフローチャート、参照MBの決定方法の効果を説明する図である。

Claims

動画像フレームをブロック単位に符号化する画像処理装置であって、
符号化済みブロックの量子化ステップと発生符号量を保持する保持手段と、
符号化対象のブロックの動きベクトルから、前記符号化対象のブロックを符号化するための参照ブロックを決定する決定手段と、
前記保持手段が保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出する算出手段とを有することを特徴とする画像処理装置。
前記符号化対象のブロックと前記参照ブロックは、フレーム間予測を行う関係のフレームに存在することを特徴とする請求項1に記載された画像処理装置。
動画像フレームをブロック単位に符号化する画像処理装置であって、
符号化済みブロックの量子化ステップと発生符号量を保持する保持手段と、
符号化対象のブロックに設定されたフレーム内予測の予測方向、および、前記ブロックの画像信号特性から、前記符号化対象のブロックを符号化するための参照ブロックを決定する決定手段と、
前記保持手段が保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出する算出手段とを有することを特徴とする画像処理装置。
前記決定手段は、前記符号化対象のブロックと前記予測方向が一致し、前記画像信号特性の相関が高い前記符号化済みブロックを前記参照ブロックに決定することを特徴とする請求項3に記載された画像処理装置。
動画像フレームをブロック単位に符号化する画像処理装置であって、
符号化済みブロックの量子化ステップと発生符号量を保持する保持手段と、
符号化対象のブロックの分割方法、および、前記ブロックの画像信号特性から、前記符号化対象のブロックを符号化するための参照ブロックを決定する決定手段と、
前記保持手段が保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出する算出手段とを有することを特徴とする画像処理装置。
前記決定手段は、前記符号化対象のブロックと前記分割方法が一致し、前記画像信号特性の相関が高い前記符号化済みブロックを前記参照ブロックに決定することを特徴とする請求項5に記載された画像処理装置。
前記算出手段は、前記ブロックの符号量を所定量にする量子化ステップを算出することを特徴とする請求項1から請求項6の何れか一項に記載された画像処理装置。
動画像フレームをブロック単位に符号化する画像処理方法であって、
符号化済みブロックの量子化ステップと発生符号量をメモリに保持し、
符号化対象のブロックの動きベクトルから、前記符号化対象のブロックを符号化するための参照ブロックを決定し、
前記メモリが保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出することを特徴とする画像処理方法。
動画像フレームをブロック単位に符号化する画像処理方法であって、
符号化済みブロックの量子化ステップと発生符号量をメモリに保持し、
符号化対象のブロックに設定されたフレーム内予測の予測方向、および、前記ブロックの画像信号特性から、前記符号化対象のブロックを符号化するための参照ブロックを決定し、
前記メモリが保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出することを特徴とする画像処理方法。
動画像フレームをブロック単位に符号化する画像処理方法であって、
符号化済みブロックの量子化ステップと発生符号量をメモリに保持し、
符号化対象のブロックの分割方法、および、前記ブロックの画像信号特性から、前記符号化対象のブロックを符号化するための参照ブロックを決定し、
前記メモリが保持する、前記参照ブロックの量子化ステップと発生符号量を参照して、前記符号化対象のブロックの量子化ステップを算出することを特徴とする画像処理方法。
コンピュータ装置を制御して、請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
請求項11に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。