JP2002247576A

JP2002247576A - 動画像符号化方法

Info

Publication number: JP2002247576A
Application number: JP2001037928A
Authority: JP
Inventors: Yoichi Fujiwara; 陽一藤原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-02-15
Filing date: 2001-02-15
Publication date: 2002-08-30

Abstract

(57)【要約】【課題】動画像符号化の適応プリフィルタ処理におい
て、急激にフィルタ特性が変化すると、画面のボケ具合
いが変化して違和感を感じる。【解決手段】プリフィルタの特性を複数設定し、符号
化画像の符号化モードと、符号化モード毎に集計した発
生符号量と、符号化モード毎に集計した量子化ステップ
幅から符号化難易度を算出し、符号化難易度と符号化出
力レートとからフィルタ特性係数を算出し、次フィルタ
特性係数と前フィルタ特性係数から、適用するプリフィ
ルタの特性を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像符号化方法に
係り、特に、符号化に先立って予め動画像の情報量を制
御する動画像符号化方法に好適に適用できるものであ
る。

【０００２】

【従来の技術】近年、動画像符号化方式として、ＭＰＥ
Ｇ−１（ＩＳＯ／ＩＥＣ１１１７２）、ＭＰＥＧ−２
（ＩＳＯ／ＩＥＣ１３８１８）などの動画像符号化方法
が蓄積・通信・放送の分野で用いられている。

【０００３】これらの動画像符号化方法においては、動
画像シーケンスの各フレームが符号化ブロックに分割さ
れ、符号化ブロック毎に参照フレームからフレーム間予
測が行なわれる。フレーム間予測により得られた予測誤
差ブロックは、直交変換され、続いて直交変換係数が量
子化され、最後に量子化係数に対して符号が割り当てら
れる。

【０００４】ここで、量子化時の量子化ステップ幅を大
きくすることによって圧縮率を上げることができる。し
かし、量子化ステップ幅を大きくすると高周波成分の量
子化誤差が増加し、ブロック歪・モスキート歪と呼ばれ
る圧縮ノイズが発生して、画質が著しく劣化する。

【０００５】ところで、上記動画像符号化方法における
圧縮ノイズ量は、フレーム間予測を用いているために、
空間方向の高周波成分量と時間方向の動き量との両方に
依存する。即ち、高周波成分の多い複雑な絵柄の画像で
あっても、静止画であれば予測誤差はほとんど０になる
ので、予測誤差ブロックの高周波成分が小さくなり圧縮
ノイズは少なくなる。一方、高周波成分の少ない単純な
絵柄であっても、動きが激しい場合には、予測誤差に高
周波成分を多く含むため圧縮ノイズが多く発生する。

【０００６】上記のような圧縮ノイズの発生を避けるた
めに、符号化側において入力画像にローパスフィルタを
適用し、符号化前にあらかじめ入力画像の高周波成分を
減衰する処理が行なわれることがある。

【０００７】この時、ローパスフィルタの特性は、一般
的に圧縮率に応じて設定されていた。従って、高圧縮率
が要求される場合には狭帯域に、低圧縮率の場合には広
帯域に設定されていた。

【０００８】しかしながら、圧縮ノイズ量は、上述のよ
うに空間方向の高周波成分量と時間方向の動き量との両
方に依存する。このため、「高圧縮率の時には狭帯域
に、低圧縮率の時には広帯域に」という単純な設定方法
では、高圧縮時に動きの少ない静止画が高周波成分の減
衰により鮮鋭度が低下し過ぎてしまい（所謂、画像がボ
ケた状態）、かえって主観評価を下げる結果となる。一
方、一様に通過帯域を広げると、動きが激しい場合など
の画質を確保することができない結果となる。

【０００９】以上のようなことから、圧縮率と画質をバ
ランスさせるように適応的にローパスフィルタを制御す
る方法及び装置が提案され、特開平６−２２５２７６号
公報等に開示されている。

【００１０】当該公報で開示されているプリフィルタ制
御装置のフィルタ制御回路の構成を図６に示す。

【００１１】当該プリフィルタ制御装置は、符号化器変
換符号化部入力の信号性質を直接利用し、量子化歪とロ
ーパスフィルタによる鮮鋭度劣化のバランスを考慮する
ことにより、最適画質を決定するようフィルタ特性を適
応的に変化させるようにしたものである。

【００１２】図６において、２１は画質バランス関数ｆ
２入力部、２２は出力レート関数ｆ１決定部、２３は出
力レート関数係数更新部、２４はパラメータ決定部、２
５はフィードバック量子化ステップサイズ制御部であ
る。

【００１３】プリフィルタの適応的制御は、既に符号化
された画像フレームの通過帯域パラメータ（ｋ）と量子
化ステップサイズ（Ｑ）と動き量パラメータ（ｒ）と符
号化出力レート（Ｉ）とにより出力レート関数（ｆ1 ）
の係数（α，β，γ，δ）を更新し、さらに該更新した
係数により出力レート関数（ｆ1 ）を決定し、該出力レ
ート関数（ｆ1）と帯域の鮮鋭度劣化と画質劣化のバラ
ンス関数（ｆ2 ）とからプリフィルタ（図示せず）の最
適通過帯域と量子化ステップサイズ（Ｑ，Ｑ′）を適応
的に決定することにより行なわれる。

【００１４】

【発明が解決しようとする課題】特開平６−２２５２７
６号公報に記載されたプリフィルタ制御装置では、単純
に直前の符号化結果からフィルタ特性を制御しているた
め、シーンチェンジ等により画像の統計的な性質が変化
した時に、プリフィルタ特性が急激に変化する。このた
め、画像の鮮鋭度の程度（所謂、ボケ具合い）が大きく
変化して、その結果主観を損ねる虞がある、という課題
がある。

【００１５】また、動き量パラメータ（ｒ）算出のため
には、動き量パラメータ測定部（図示せず）という新た
な回路の追加が必要となる、という課題がある。

【００１６】本発明は上記課題に鑑み、これを解決した
動画像符号化方法を提供することを目的とするものであ
る。

【００１７】

【課題を解決するための手段】本発明は、上記課題を解
決するため以下のような手段を講じた。

【００１８】即ち、本発明に係る動画像符号化方法は、
１又は２以上のモードで動画像の符号化を行い、また、
該符号化に先立って前記動画像に対してフィルタ処理を
行なう動画像符号化方法であって、前記フィルタは複数
の特性を有し、前記符号化された動画像の符号化モード
と、該符号化モード毎に集計した発生符号量と、前記符
号化モード毎に集計した量子化ステップ幅と、から符号
化難易度を算出し、該算出された符号化難易度と、任意
に設定された符号化出力レートと、からフィルタ特性係
数を算出し、該算出されたフィルタ特性係数を基に、前
記複数のフィルタ特性を選択するようにした。これによ
り、回路規模の増加無しに適応的なフィルタ特性制御に
よる圧縮率と画質の両立を図ることができる。

【００１９】ここで、前記フィルタ特性係数の算出は、
フィルタ特性係数の前値との加重平均計算を行なうこと
が好ましい。これによりフィルタ特性の大幅な変動を抑
制することができる。

【００２０】また、前記フィルタの特性の選択は、複数
の入力画像１単位とし、該単位毎に行なっても良い。こ
れによりフィルタ特性の頻繁な変動を抑制することがで
きる。

【００２１】更に、前記フィルタの特性の選択を１段階
ずつ行なっても良い。これによりフィルタ特性の大幅な
変動を抑制することができる。

【００２２】加えて、前記フィルタ特性係数を基に前記
フィルタ特性を選択する際に、ヒステリシス特性を持た
せることが好ましい。これによりフィルタ特性の振動的
な変化を抑制することができる。

【００２３】尚、上記の各手段は、可能な限り互いに組
み合わせることができるものである。

【００２４】

【発明の実施の形態】図１は、本発明の動画像符号化方
法に係る装置の一実施形態である。

【００２５】図１において、１はプリフィルタ部、２は
フレームメモリ、３は減算器、４はＤＣＴ部、５は量子
化部、６は可変長符号化部、７は逆量子化部、８は逆Ｄ
ＣＴ部、９は加算器、１０はフレームメモリ、１１はレ
ート制御演算部、１２はフィルタ特性演算部である。

【００２６】以下、動作について説明する。

【００２７】入力画像データ（例えば、ラスタースキャ
ン順に入力される画像データ）Ｉは、プリフィルタ部１
においてローパスフィルタ処理をされた後、フレームメ
モリ２に蓄積され、符号化ブロックＢが所定のタイミン
グで読み出される。一方、フレームメモリ１０から予測
ブロックＰが読み出され、減算器３において符号化ブロ
ックＢとの差分ブロックＤが算出される。差分ブロック
ＤはＤＣＴ部４において直交変換され、直交変換係数Ｔ
は量子化部５において量子化され、量子化係数Ｃが可変
長符号化部６において可変長符号化され、符号化データ
Ｏが出力される。

【００２８】一方、量子化係数Ｃは逆量子化部７におい
て逆量子化され、逆量子化係数ＩＣは逆ＤＣＴ部８にお
いて逆直交変換され、復号差分ブロックＩＴは、加算器
９において予測ブロックＰと加算され、復号ブロックＩ
Ｄが算出される。復号ブロックＩＤはフレームメモリ１
０に入力され、以降の符号化において差分ブロックＤを
算出するための参照画像（予測ブロックＰ）として記憶
される。

【００２９】また、レート制御演算部１１は、可変長符
号化部６において生成される符号量Ｇから量子化ステッ
プ幅Ｑを算出する。即ち、「発生符号量の増減によって
量子化ステップ幅Ｑが操作され、量子化ステップ幅Ｑの
大小によって発生符号量が増減する。」というフィード
バックループが形成され、これによりレート制御が実行
される。

【００３０】フィルタ特性演算部１２には、発生符号量
Ｇと量子化ステップ幅Ｑが入力され、これらの値からフ
ィルタ特性Ｓが算出される。ここで、フィルタ特性Ｓの
算出に用いられる発生符号量Ｇと量子化ステップ幅Ｑ
は、元々レート制御部で使用されていたものであるた
め、フィルタ特性制御のために新たなパラメータ演算を
行なう必要がなく、回路規模の増加を抑えることができ
る。

【００３１】尚、上記ブロック図においては、プリフィ
ルタ部１がフレームメモリ２の前段にあり、ラスタース
キャン順に入力される画像データに対してフィルタを適
用する構成になっているが、プリフィルタ部１とフレー
ムメモリ２の順序を入れ替え、ブロック化した画像デー
タに対してフィルタを適用する構成も可能である。

【００３２】次に、フィルタ特性算出部１２の動作につ
いて説明する。

【００３３】ＭＰＥＧにおいては、フレーム内符号化の
みを行うフレーム（以下、Ｉピクチャという）と、時間
的に前のフレームからの予測符号化を行うフレーム（以
下、Ｐピクチャという）と、時間的に前後のフレームか
らの予測符号化を行うフレーム（以下、Ｂピクチャとい
う）とが存在する。この時、Ｉピクチャ、Ｐピクチャ、
Ｂピクチャにおける発生符号量を各々Ｇｉ、Ｇｐ、Ｇｂ
とおき、平均量子化ステップ幅を各々Ｑｉ、Ｑｐ、Ｑｂ
とおき、動画像シーケンスの符号化難易度Ｙを次式で算
出する。

【００３４】

【数１】

【００３５】ここで、ｆ（）、ｇ（）、ｈ（）は符号化
難易度を表す所定の関数であり、符号化が困難な画像に
対して大きくなる特性を有する。また、Ｋ、Ｌ、Ｍは動
画像シーケンス内のＩピクチャ、Ｐピクチャ、Ｂピクチ
ャの枚数の比率を表す定数であり、ピクチャ種別毎の符
号化難易度が動画像シーケンス全体に及ぼす影響の度合
いを表す。

【００３６】次に、フィルタ特性係数Ｚを次式で算出す
る。

【００３７】

【数２】

【００３８】ここで、Ｒはビットレートに比例する定数
である。すなわち、ビットレートが大きくなるとＺは小
さくなり、符号化が困難になる（符号化難易度Ｙが大き
くなる）とＺは大きくなる。

【００３９】図２に、フィルタ特性係数Ｚからフィルタ
特性Ｓを算出する際の変換特性の一実施形態を示す。

【００４０】図２は、フィルタ特性Ｓはｓ０、ｓ１、ｓ
２、ｓ３の４段階に切り替えられ、フィルタ特性Ｓが大
きくなるほど狭帯域のフィルタが選択されるようにプリ
フィルタ部１が制御されることを示している。

【００４１】この時、ビットレートＲと符号化難易度Ｙ
のバランスによってフィルタ特性が決定される。即ち、
符号化難易度Ｙが同じならばビットレートＲが大きいほ
どＺが小さくなるため、Ｓも小さくなって広帯域のフィ
ルタ特性が選択される。逆に、ビットレートＲが同じな
らば符号化難易度Ｙが大きいほどＺが大きくなるため、
Ｓも大きくなって狭帯域のフィルタ特性が選択される。

【００４２】ここで、Ｉピクチャ、Ｐピクチャ、Ｂピク
チャに対する符号化難易度は、エンコーダの設計によっ
て変化する。例えば、Ｐピクチャの符号化に焦点を絞っ
て設計されたエンコーダにおいては、Ｂピクチャの符号
化性能が低く、Ｂピクチャの符号化難易度が常に高い傾
向を示すような事態が発生しうる。これに対し、符号化
難易度を表す関数ｆ（）、ｇ（）、ｈ（）を、Ｉピクチ
ャ、Ｐピクチャ、Ｂピクチャ毎に設定することによっ
て、エンコーダにおける各ピクチャ毎の符号化性能をフ
ィルタ特性の制御に組み込むことができるため、より精
密な制御が可能となる。

【００４３】一例として、関数ｆ（）、ｇ（）、ｈ（）
を次式のように定義することができる。

【００４４】

【数３】

【００４５】

【数４】

【００４６】

【数５】

【００４７】ここで、α，β，γは定数である。上式に
おいては、量子化ステップ幅Ｑが大きくても発生符号量
Ｇが大きいときは符号化難易度が高く、量子化ステップ
幅Ｑが小さくても発生符号量Ｇが小さいときは符号化難
易度が低くなる傾向を示す。

【００４８】ところで、フィルタ特性係数Ｚが急激に変
化して、フィルタ特性が急激に変化すると、画面のボケ
具合いが大きく変動して違和感を感じることがある。以
下に、これを抑制するための３つの方法を挙げる。

【００４９】第１の方法は、フィルタ特性係数Ｚを次式
で算出する方法である。

【００５０】

【数６】

【００５１】ここで、Ｎは、０＜Ｎ＜１の定数である。
上式のように、フィルタ特性係数Ｚの更新において、Ｚ
の前値と式（２）との加重平均を用いることによって、
Ｚの急激な変動を抑制することができる。

【００５２】第２の方法は、フィルタ特性係数Ｚの更新
を数フレームに１回の頻度で行なう方法である。Ｚの急
激な変動を抑制するのに有効である。

【００５３】Ｂピクチャを使用する場合には、画像デー
タの入力順序と符号化順序が異なるため、フレームメモ
リ２において、フレームの並び替えが実行される。よっ
て、図１の構成においては、プリフィルタが適用されて
から、符号化が行なわれるまでの間に数フレームの遅延
が生じる。このため、プリフィルタの特性が変更されて
も、その結果が符号化結果（符号量Ｇ）に反映されるま
でに時間がかかる。フィルタ特性係数Ｚの更新頻度を、
上記符号化遅延よりも長い時間に設定することで、フィ
ルタ特性の変更が符号化結果に反映されてから次のフィ
ルタ特性を決定することになるため、フィルタ制御の安
定性が向上する。

【００５４】第３の方法は、１回の更新においてフィル
タ特性Ｓが１ステップしか変化しないように制御する方
法である。フィルタ特性Ｓが急激に変化することを抑制
できる。

【００５５】図４に、図２に示した変換特性の場合にお
ける１回の更新でフィルタ特性Ｓを１ステップのみ変化
させる制御についてＳの算出手順のフローチャートを示
す。

【００５６】図４において、例えば、現在のフィルタ特
性がＳ＝ｓ１（ステップＳ４０２）である場合、ステッ
プＳ４０７に進み、ｚ０≦Ｚ≦ｚ１ならば（ステップＳ
４０７、ステップＳ４０８）、次のフィルタ特性はＳ＝
ｓ１となり（ステップＳ４１２）、Ｚ＜ｚ０ならば、次
のフィルタ特性はＳ＝ｓ０となり（ステップＳ４１
３）、Ｚ＞ｚ１ならば、次のフィルタ特性はＳ＝ｓ２と
なる（ステップＳ４１１）。

【００５７】即ち、現在のフィルタ特性がＳ＝ｓ１の場
合、次にとりうるフィルタ特性は、Ｓ＝ｓ１からの変化
量が１ステップ以下であるｓ０、ｓ１、ｓ２のいずれか
となる。

【００５８】同様に、現在のフィルタ特性がＳ＝ｓ０の
場合、次にとりうるフィルタ特性はｓ０またはｓ１とな
り、現在のフィルタ特性がＳ＝ｓ２の場合、次にとりう
るフィルタ特性はｓ１、ｓ２、ｓ３のいずれかとなり、
現在のフィルタ特性がＳ＝ｓ３の場合、次にとりうるフ
ィルタ特性はｓ２またはｓ３となる。

【００５９】尚、上記３つの方法は単独で使用してもよ
いし、任意の組合わせで使用してもよい。これらの方法
を用いることにより、緩やかにフィルタ特性が変化する
ため、視聴者に認識されることなく、フィルタ特性を切
り替えることができる。

【００６０】図３に、フィルタ特性係数Ｚからフィルタ
特性Ｓを算出する際の変換特性の別の実施形態を示す。

【００６１】図３においては、変換特性にヒステリシス
を持たせ、フィルタ特性Ｓが増加する時と減少する時で
Ｚに対するしきい値が異なるよう設定されている。一般
的に、フィルタが狭帯域になると符号化が容易になるた
め、式（２）の分子が小さくなる。よって、Ｚがしきい
値近傍にある時に、「フィルタが狭帯域に切り替わる」
→「Ｚが小さくなる」→「フィルタが広帯域に切り替わ
る」→「Ｚが大きくなる」→「フィルタが狭帯域に切り
替わる」のような挙動を繰り返し、フィルタ特性が振動
的に切り替わることがある。このような場合、画面のボ
ケ具合いが振動的に変化して主観が損なわれるが、図３
に示すようなヒステリシスを持った変換特性により、振
動的な挙動が抑制される。

【００６２】図５に、図３に示した変換特性の場合にお
ける１回の更新でフィルタ特性Ｓを１ステップのみ変化
させる制御についてＳの算出手順のフローチャートを示
す。

【００６３】図５の処理手順は図４と同様であるが、フ
ィルタ特性係数Ｚの条件判定に用いられるしきい値が図
４とは異なっている。例えば、現在のフィルタ特性がＳ
＝ｓ１（ステップＳ５０２）の場合、ステップＳ５０７
に進み、Ｚ＞ｚ３ならば（ステップＳ５０７、ステップ
Ｓ５０８）、次のフィルタ特性はＳ＝ｓ２となる（ステ
ップＳ５１１）。これにより、以降の入力フレームに対
するフィルタ特性が狭帯域になってＺが小さくなるが、
Ｓ＝ｓ２においては（ステップＳ５０３）、Ｚ＜ｚ２を
満足しない限り（ステップＳ５０５）、フィルタ特性が
Ｓ＝ｓ１にならない（ステップＳ５１２）。

【００６４】ここで、図３によればｚ２＜ｚ３であり、
フィルタの切り替えによるＺの減少を予め見込んでｚ
２、ｚ３を決定しておくことにより、フィルタ特性がＳ
＝ｓ０→ｓ１→ｓ０…のような振動的な挙動を示すこと
を抑制することができる。

【００６５】尚、上記実施形態においては、フィルタ特
性Ｓは４段階に切り替えられているが、これ以外の段数
に設定することも可能である。

【００６６】

【発明の効果】本発明においては、ビットレートと符号
化難易度のバランスによって適切なフィルタ特性が決定
される。

【００６７】ここで、符号化難易度の算出に、発生符号
量と量子化ステップ幅を用いることにより、新たな回路
規模の増加なしにフィルタ制御を実現できる。

【００６８】また、フィルタ特性の決定において、Ｉピ
クチャ、Ｐピクチャ、Ｂピクチャ毎の符号化難易度を設
定するため、エンコーダにおける各ピクチャ毎の符号化
性能をフィルタ特性の制御に組み込むことができ、より
精密な制御が可能となる。

【００６９】フィルタ特性係数Ｚの更新において、前値
と新値の加重平均をとることにより、フィルタ特性が急
激に変化して、主観を損ねることを抑止することができ
る。

【００７０】また、フィルタ特性の更新を、数フレーム
に１回の頻度にすることで、頻繁にフィルタ特性が切り
替わることによる違和感を低減することができる。

【００７１】更に、フィルタ特性の更新において、１回
の更新におけるフィルタ特性の変化量を１ステップにす
ることで、フィルタ特性の急激な変化を抑止することが
できる。

【００７２】加えて、フィルタ特性の更新にヒステリシ
スを持たせることにより、フィルタ特性が振動的に変化
することによる主観の低下を抑止することができる。

【図面の簡単な説明】

【図１】本発明に係る動画像符号化方法を適用した装置
の一実施形態のブロック図である。

【図２】フィルタ特性係数Ｚからフィルタ特性Ｓを算出
する際の変換特性の第一の実施形態である。

【図３】フィルタ特性係数Ｚからフィルタ特性Ｓを算出
する際の変換特性の第二の実施形態である。

【図４】図２に示す変換特性を用いた場合のフィルタ特
性Ｓの算出手順のフローチャートである。

【図５】図３に示す変換特性を用いた場合のフィルタ特
性Ｓの算出手順のフローチャートである。

【図６】従来の動画像符号化装置に係るブロック図であ
る。

【符号の説明】

１・・・プリフィルタ部、２・・・フレームメモリ、３
・・・減算器、４・・・ＤＣＴ部、５・・・量子化部、
６・・・可変長符号化部、７・・・逆量子化部、８・・
・逆ＤＣＴ部、９・・・加算器、１０・・・フレームメ
モリ、１１・・・レート制御演算部、１２・・・フィル
タ特性演算部、２１・・・画質バランス関数入力部、２
２・・・出力レート関数決定部、２３・・・出力レート
関数係数更新部、２４・・・パラメータ決定部、２５・
・・フィードバック量子化ステップサイズ制御部

フロントページの続きＦターム(参考） 5C059 KK01 MA00 MA05 MA23 MC11 ME01 NN21 PP04 SS01 SS06 SS11 TA69 TB01 TC00 TC10 TC18 TC27 TD11 TD16 UA02 UA34 5J064 AA01 BA09 BA16 BC08 BC11 BC16 BC25

Claims

【特許請求の範囲】

【請求項１】１又は２以上のモードで動画像の符号化
を行い、また、該符号化に先立って前記動画像に対して
フィルタ処理を行なう動画像符号化方法であって、前記フィルタは複数の特性を有し、前記符号化された動画像の符号化モードと、該符号化モ
ード毎に集計した発生符号量と、前記符号化モード毎に
集計した量子化ステップ幅と、から符号化難易度を算出
し、該算出された符号化難易度と、任意に設定された符号化
出力レートと、からフィルタ特性係数を算出し、該算出されたフィルタ特性係数を基に、前記複数のフィ
ルタ特性を選択することを特徴とする動画像符号化方
法。
【請求項２】前記フィルタ特性係数の算出は、フィル
タ特性係数の前値との加重平均計算を行なうことを特徴
とする請求項１記載の動画像符号化方法。
【請求項３】前記フィルタ特性の選択は、複数の入力
画像を１単位とし、該単位毎に行なうことを特徴とする
請求項１または請求項２記載の動画像符号化方法。
【請求項４】前記フィルタ特性の選択を１段階ずつ行
なうことを特徴とする請求項１乃至請求項３の何れかに
記載の動画像符号化方法。
【請求項５】前記フィルタ特性係数を基に前記フィル
タ特性を選択する際に、ヒステリシス特性を持たせるこ
とを特徴とする請求項１乃至請求項４の何れかに記載の
動画像符号化方法。