JP2000041240A - 可変ビットレート符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 従来の１パス可変ビットレート符号化装置以
上に高画質な可変ビットレート符号化装置を提供するこ
と、特に長期間続く複雑なシーンにおいて固定ビットレ
ート以上の符号化画質を得ること。 【解決手段】 ピクチャ群目標符号量設定手段５は、画
像符号化部２から得た実発生符号量と実量子化ステップ
の区間平均値から次のピクチャ群に対する目標符号量を
算出し、ピクチャ量子化ステップ設定手段４で各ピクチ
ャの量子化ステップを決定する。総符号量調整手段６
は、画質パラメータの許容限閾値に基づき、設定手段５
の動作を制御することで総符号量を調整する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、可変ビットレート
で高能率符号化を実現する装置及び方法に関し、特に所
定時間長の画像データの総符号量が既定値以下になるよ
うに制御される可変ビットレート符号化装置及び方法に
関する。

【０００２】

【従来の技術】従来、動画像高能率符号化方式は、出力
される符号化データの転送レートの観点で、大きく固定
ビットレート（ＣＢＲ）符号化方式と可変ビットレート
（ＶＢＲ）方式とに分類される。前者は、通信放送など
の伝送容量や記録媒体の読み出し速度の制約により、一
定レートでの符号化が望ましい場合に用いられていた。

【０００３】これに対して、可変ビットレート符号化
は、動的に符号化レートを変更する方式である。ビット
レートを変化させる理由として、外部からの制約条件に
よるものと、画質改善を目的とするもとの２つに大きく
分類できる。

【０００４】例えば、前者の例としては、伝送路の制約
により符号化後の送信レートが動的に変更されるシステ
ムがある。後者の例としては、符号化データを多重化、
送信するシステムにおいて、各チャネルの符号化レート
を、その画像の性質に応じて変動させ符号化レートの総
和が一定という制約条件のもとで平均的画質を向上させ
るシステムが考えられる。

【０００５】上記の例は、いずれも伝送通信システムに
可変ビットレート符号化を応用するものであるが、この
ほかに、符号化データのファイル媒体への蓄積の際に、
総符号量が一定という制約条件のもとで、平均的画質を
向上させるシステムも考えられている。

【０００６】例えば、１９９４年１０月 画像符号化シ
ンポジウム（ＰＣＳＪ）講演予稿集（Ｐ２１１〜２１
２）藤原他「蓄積メディアのための可変転送レート符号
化方法」では、標準量子化値を予め設定し、適応量子化
のみでＤＣＴ係数を量子化し符号量を求める仮符号化の
後、本符号化を実行する例が開示されている。

【０００７】また、特開平８−３３１５５５号公報に開
示されている可変ビットレート符号化装置は、第一の符
号化手段によって生成される符号化情報を圧縮データに
多重化し、その結果を再度読み出して該符号化情報に基
づき再度可変ビットレート符号化を実行する。

【０００８】また、特開平９−３７２４２号公報に開示
されている可変ビットレート符号化装置では、原画像デ
ータを予め一定の量子化ステップで符号化し、その発生
符号量に関連する値の集合を特徴量群として、その特徴
量群から可変ビットレート符号化のための量子化ステッ
プを求めている。

【０００９】また、特開平９−７００４１号公報に開示
されている可変ビットレート符号化装置では、原画像デ
ータを予め異なるレートで符号化し、その画質評価値を
一定時間毎に求め、全体の画質評価値が最大になるよう
な可変ビットレート符号化を行っている。

【００１０】これらに共通する事項は、まず、なんらか
の仮符号化を実行し、その結果を本番の可変ビットレー
ト符号化制御に反映させるという処理手順を実行してい
ることである。４例のうち前者３つは、仮符号化全体が
終了してから、本番符号化を実行する「２パス符号化」
であり、後者１つは仮符号化を本番符号化と並列にパイ
プライン処理ができる「カスケード符号化」といえる。
２パス符号化方式は、コンテンツ全体の特性を知った上
で再符号化するため、高画質符号化が達成できる。一
方、カスケード符号化方式は、２パス符号化と同様な手
順で実現できることに加えて、並列処理を導入すればリ
アルタイム処理が可能である。

【００１１】これに対し、１９９８年３月 電子情報通
信学会総合大会 情報・システム講演論文集２Ｄ−１１
−３（Ｐ３）稲田他「量子化ステップを利用したＭＰＥ
Ｇ２実時間可変ビットレート符号化方式」では、可変ビ
ットレート符号化を仮符号化なしで実行する「１パス符
号化」方式が開示されている。この方式は、ＭＰＥＧ−
２（ＩＳＯ／ＩＥＣ１３８１８−２）に準拠した画像符
号化において、固定量子化ステップでの符号化を、将来
のＮ個のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）
に渡って一定の符号量にするように制御する方式が述べ
られている。

【００１２】

【発明が解決しようとする課題】上述の可変ビットレー
ト符号化の２パス符号化システムにおいては、コンテン
ツ全体の画像の符号化上の特徴を解析してから本符号化
を開始するように構成されるため、符号化処理は非リア
ルタイム処理となり、少なくとも通常の符号化の倍以上
の時間を要する。このように２パス符号化システムは処
理がリアルタイム処理とはならず、そのため、大量かつ
長大なコンテンツの高速な符号化に適していないという
問題がある。

【００１３】また、カスケード符号化システムにおいて
は、符号化処理に並列処理、あるいはそれに匹敵する時
分割処理が必要であり、そのため少なくとも倍以上の性
能が必要となることから、システム規模あるいは消費電
力の増加を招くという問題がある。

【００１４】更に、従来の１パス符号化システムにおい
ては、一定期間内での符号量の制御のみを実行し、画像
シーンに依存した量子化ステップの割り当てを行ってい
ないので、長期間続く複雑なシーンでは、結果的に固定
ビットレートの場合と大差ない符号化画質になる可能性
があるから、このような処理では画質の劣化を招くおそ
れがあるという問題がある。

【００１５】（発明の目的）本発明の目的は、リアルタ
イム処理ができる程度に高速で、画像符号化装置１つ分
程度に小型化、低消費電力化が可能であり、かつ、従来
の１パス可変ビットレート符号化装置以上に高画質な可
変ビットレート符号化装置及び方法を提供することにあ
る。

【００１６】

【課題を解決するための手段】本発明の可変ビットレー
ト符号化装置は、所定時間長の画像データの総符号量が
既定値以下になるように可変ビットレートで高能率符号
化を行う可変ビットレート符号化装置であって、目標と
する量子化ステップの情報である目標ピクチャ量子化ス
テップ値（ＱＴ）に基づき原画像データを符号化画像デ
ータに符号化するとともに、符号化時の符号量及び画質
に関するそれぞれ実発生符号量（ＢＡ）及び実画質パラ
メータ（ＰＡ）を出力する画像符号化部と、前記実発生
符号量（ＢＡ）の累積値に基づき画質パラメータの許容
限閾値（ＰＴＨ）を算出する総符号量調整手段と、前記
画質パラメータの許容限閾値（ＰＴＨ）と前記実画質パ
ラメータ（ＰＡ）との比較により、目標とする符号量に
関するピクチャ群目標符号量（ＢＴ）を算出するピクチ
ャ群目標符号量設定手段と、前記ピクチャ群目標符号量
（ＢＴ）に基づき前記目標ピクチャ量子化ステップ値
（ＱＴ）を算出するピクチャ量子化ステップ設定手段と
を有することを特徴とする。

【００１７】なお、前記実画質パラメータ（ＰＡ）は、
符号化時の実ピクチャ量子化ステップ値の平均値（Ｑ
Ａ）であり、前記画質パラメータの許容限閾値（ＰＴ
Ｈ）は、量子化ステップ値の許容限閾値（ＱＴＨ）であ
るようにしても良い。

【００１８】前記総符号量調整手段は、前記実発生符号
量（ＢＡ）の累積値が目標とする発生符号量の累積値に
対し、超過符号量閾値（Ｌ）より大きな場合は前記量子
化ステップ値の許容限閾値（ＱＴＨ）を大きくなるよう
更新し、余剰符号量閾値（Ｃ）より小さな場合は、前記
量子化ステップ値の許容限閾値（ＱＴＨ）を小さくなる
ように更新する。

【００１９】前記超過符号量閾値（Ｌ）または前記余剰
符号量閾値（Ｃ）は、定数値でもよいが、符号化の経過
時間に対し単調減少する関数であるように決めても良
い。また、前記超過符号量閾値（Ｌ）は０以下の値であ
るように制御されてもよい。

【００２０】前記量子化ステップ値の許容限閾値（ＱＴ
Ｈ）の更新量は、定数値でもよいが、経過時間に対し単
調増加するように決めても良い。

【００２１】前記ピクチャ群目標符号量設定手段は、更
に前記実発生符号量（ＢＡ）にも基づき前記ピクチャ群
目標符号量（ＢＴ）を算出するようにしても良い。

【００２２】前記ピクチャ群目標符号量設定手段は、前
記実ピクチャ量子化ステップ値の平均値（ＱＡ）が量子
化ステップ値の許容限閾値（ＱＴＨ）に対し、第１の幅
ｄ１より以上大きな場合は、前記ピクチャ群目標符号量
（ＢＴ）を大きくなるよう更新し、第２の幅ｄ２より以
上小さな場合は、前記ピクチャ群目標符号量（ＢＴ）を
小さくなるよう更新する。

【００２３】前記ピクチャ群目標符号量設定手段は、経
過時間がある時刻を超えた場合に、総符号量と実発生符
号量（ＢＡ）の累積値の差に基づいた固定ビットレート
制御で前記ピクチャ群目標符号量（ＢＴ）を定めるよう
にしてもよい。

【００２４】前記ピクチャ群目標符号量（ＢＴ）の更新
量は、式（ＱＡ−ＱＴＨ）または、式（ＢＡ×ＱＡ÷Ｑ
ＴＨ−ＢＡ）に比例するように決めることができる。こ
の更新量の比例定数は、目標符号量が増加する場合と、
目標符号量が減少する場合とで異なり、後者の絶対値の
ほうが小さくなるように決めても良い。

【００２５】前記総符号量調整手段における、画質パラ
メータの許容限閾値（ＰＴＨ）の更新の周期は、前記ピ
クチャ群目標符号量設定手段における、ピクチャ群目標
符号量（ＢＴ）の更新周期の定数倍と決めることができ
る。あるいは、この更新を、シーンチェンジまたはフェ
ードイン、フェードアウトまたはディジタルビデオエフ
ェクトのような原画像の過渡状態時期に同期して行なう
ように決めても良い。

【００２６】前記画質パラメータは、符号化結果のＰＳ
ＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒ
ａｔｉｏ）値あるいは、符号化結果と原画の直交変換結
果の同次係数誤差の重み付け平均値であるように決めて
も良い。

【００２７】本発明の可変ビットレート符号化方法は、
所定時間長の画像データの総符号量が既定値以下になる
ように可変ビットレートで高能率符号化を行う可変ビッ
トレート符号化方法であって、目標とする量子化ステッ
プの情報である目標ピクチャ量子化ステップ値（ＱＴ）
に基づき現画像データを符号化画像データに符号化し、
この符号化時に得られた符号量に関する実発生符号量
（ＢＡ）の累積値と総符号量の経過時間比率に基づき、
画質に関する画質パラメータの許容限閾値（ＰＴＨ）を
算出し、前記画質パラメータの許容限閾値（ＰＴＨ）
と、現画像データを符号化画像データに符号化すること
で得られた実画質パラメータ（ＰＡ）との比較に基づ
き、目標とする符号量に関するピクチャ群目標符号量
（ＢＴ）を算出し、前記ピクチャ群目標符号量（ＢＴ）
と各ピクチャ符号化条件とから前記目標ピクチャ量子化
ステップ値（ＱＴ）を算出することを特徴とする。

【００２８】（作用）本発明の可変ビットレート符号化
では、可変ビットレート符号化に１つの画像符号化装置
を用い、その中の符号化画質に関する制御手段として
は、分離した総符号量調整手段とピクチャ群目標符号量
設定手段とを用いている。ピクチャ群目標符号量設定手
段では、符号化画質を複数のピクチャ群に渡って一定の
レベルに保つよう符号量を制御する。一方、総符号量調
整手段では、総符号量をコンテンツ全体のより大局的な
レベルで調整する。

【００２９】従って、装置規模あるいは装置の消費電力
を高々画像符号化装置１つ分程度に保ったまま、従来の
１パス可変ビットレート符号化装置以上に高画質な可変
ビットレート符号化を実現することが可能である。特に
長期間続く複雑なシーンにおいて固定ビットレート以上
の符号化画質を得ることができる。

【００３０】

【発明の実施の形態】本発明の上記および他の目的、特
徴および利点を明確にすべく、以下添付した図面を参照
しながら、本発明の実施の形態につき詳細に説明する。

【００３１】図１は、本発明の一実施の形態の構成を示
すブロック図である。本実施の形態は、原画像データ１
を符号化画像データ２に変換する画像符号化部３と、前
記画像符号化部３の量子化ステップ値を制御するピクチ
ャ量子化ステップ設定手段４と、前記ピクチャ量子化ス
テップ設定手段４を制御することにより、前記画像符号
化部３における符号化画質を複数のピクチャ群に渡って
一定のレベルに保つよう符号量を制御するピクチャ群目
標符号量設定手段５と、前記ピクチャ群目標符号量設定
手段５を制御することにより、前記画像符号化部３にお
ける前記総符号量をよりコンテンツ全体の大局的なレベ
ルで調整する総符号量調整手段６とから構成される。

【００３２】図２は、本実施の形態の動作に関するフロ
ーチャートを示す図である。図２を参照して図１に示す
本実施の形態の動作の概要について説明する。

【００３３】符号化の初期状態では、総符号量調整手段
６が出力し総符号量を決定する量子化ステップに関する
情報である画質パラメータの許容限閾値ＰＴＨ（あるい
は、その一例としての量子化ステップの許容限閾値ＱＴ
Ｈ）及びピクチャ群目標符号量設定手段５が出力し目標
とする符号量に関する情報であるピクチャ群目標符号量
ＢＴを初期値に設定する（ステップｓ１）。この後、ピ
クチャ量子化ステップ設定手段４は、前記ピクチャ群目
標符号量ＢＴに基づいて画像符号化部３でのピクチャ量
子化ステップの目標値の情報である目標ピクチャ量子化
ステップ値ＱＴを設定する（ステップｓ２）。前記設定
により画像符号化部３は、ピクチャ量子化を実行し所定
の符号化を行い（ステップｓ３）、前記設定が変更され
るまで同様な符号化動作を繰り返す（ステップｓ４、ｓ
５、ｓ７、ｓ２、ｓ３）。

【００３４】このような符号化動作において、前記総符
号量調整手段６は、画像符号化部３が出力する符号量に
関する情報のピクチャ群目標符号量ＢＴを監視してお
り、総符号量を調整する後述するような所定の調整タイ
ミングになると（ステップｓ５Ｙｅｓ）、前記画質パラ
メータの許容限閾値ＰＴＨを更新する（ステップｓ
６）。同様にピクチャ群目標符号量設定手段５は、前記
画像符号化部３が出力する符号化の量子化ステップの平
均値に関する情報である実ピクチャ量子化ステップ値の
平均値ＱＡを監視しており、ピクチャ群目標符号量ＢＴ
を調整する所定の調整タイミングになると（ステップｓ
７Ｙｅｓ）、前記ピクチャ群目標符号量ＢＴを更新する
（ステップｓ８）。画像符号化部３は前記設定の更新に
より新たな目標ピクチャ量子化ステップ値ＱＴによる符
号化動作を行う（ステップｓ２〜）。

【００３５】以上のような画質パラメータの許容限閾値
ＰＴＨ及びピクチャ群目標符号量ＢＴの更新を繰り返し
ながら、画像符号化部３は、所定時間長の画像データの
総符号量が既定値以下の高画質の可変ビットレート符号
化を行う。ここで、総符号量調整手段６、ピクチャ群目
標符号量設定手段５及びピクチャ量子化ステップ設定手
段４における出力情報の算出は、画像符号化部３の特性
等による後述するような量子化ステップと符号量の間の
近似関数等に基づいて行う。

【００３６】つまり、符号化の定常状態においては、ま
ず、総符号量調整手段６において、画質パラメータの許
容限閾値ＰＴＨを算出し、次に、そのＰＴＨに基づい
て、ピクチャ群目標符号量設定手段５において、ピクチ
ャ群目標符号量ＢＴを算出する。ピクチャ量子化ステッ
プ設定手段４は、このＢＴに基づいて目標ピクチャ量子
化ステップ値ＱＴを算出し、次に、このＱＴに基づい
て、画像符号化部３は原画像データ１の１ピクチャが符
号化画像データ２に符号化する。また、画像符号化部３
では、実ピクチャ量子化ステップ値の平均値ＱＡと、符
号化によって生成されるピクチャ群実発生符号量ＢＡと
を可変ビットレート制御のために算出する。総符号量調
整手段６及びピクチャ群目標符号量設定手段５において
は、画像符号化部３のピクチャ群処理結果である実ピク
チャ量子化ステップ値の平均値ＱＡとピクチャ群実発生
符号量ＢＡを上記の算出に用い、次のピクチャ群に対す
るフィードバック制御を実現する。

【００３７】このフィードバック制御を時系列的記号を
用いてより具体的に説明すると、第１番目のピクチャ群
におけるＱＡをＱＡ（ｉ）、第１番目のピクチャ群にお
けるＢＴをＢＴ（ｉ）など（他も同様）と表記すれば、
ＱＡ（ｉ）およびＢＴ（ｉ）は、ＰＴＨ（ｉ＋１）、Ｂ
Ｔ（ｉ＋１）を算出するために用いられることになる。
ＰＴＨの更新はピクチャ群の周期に同期している必要は
ないため、必ずしもＰＴＨ（ｉ＋１）のような表記は妥
当ではない。しかし、フィードバック制御という観点で
は、常にＰＴＨが過去のＱＡやＢＴによって算出される
ことになる。なお、初期値としてのＰＴＨ（０）やＢＴ
（０）については、総符号量調整手段６や、ピクチャ群
目標符号量設定手段５内においてこれらの算出が行われ
ないので、適切な初期値が予め設定される。

【００３８】次に、本実施の形態の各手段の入出力情報
である画質パラメータの許容限閾値ＰＴＨ、ピクチャ群
目標符号量ＢＴ、目標ピクチャ量子化ステップ値ＱＴ、
ピクチャ群実発生符号量ＢＡ及び実ピクチャ量子化ステ
ップ値の平均値ＱＡについて内容を詳細に説明する。な
お、画質パラメータの許容限閾値ＰＴＨについては本実
施の形態で使用する一例の量子化ステップ値の許容限閾
値ＱＴＨにより主に説明する。

【００３９】画質パラメータの許容限閾値ＰＴＨは、画
質を決める基本パラメータある。この一例である量子化
ステップ値の許容限閾値ＱＴＨは、この値より平均的に
大きい量子化ステップで画像符号化されると符号化画質
が劣化していることが検知され、逆に、この値より小さ
い量子化ステップで符号化されると符号化画質の劣化は
検知できないような値が設定される。符号化においては
この程度の量子化ステップの値が選ばれることになる
（例えばＭＰＥＧ−２標準においてはこの値は１０程度
とされている）。

【００４０】もし、全てのコンテンツがＱＴＨ程度の量
子化ステップ値で符号化できれば、コンテンツ全体の画
質は良好になるが、画像は、符号化が簡単なシーン、複
雑なシーンが時間軸上で混在しているのが普通であり
（例えば映画のクライマックスは符号化にとって複雑な
シーンであることが多い）、複雑なシーンが連続すれ
ば、固定的な量子化ステップで符号化を継続すると総符
号量が不足する事態になる。

【００４１】このため、その時の発生符号量の累積値を
符号量の許容限と比較しつつ、もし発生符号量が大きく
予定値を上回れば、ＱＴＨを大きくして、画質がやや劣
化してでも符号量を削減する方策をとることが必要にな
り、逆に、発生符号量が予定値以下なら、ＱＴＨを小さ
くして、よりトータル画質を向上させるようにすること
もできる。

【００４２】ピクチャ群目標符号量ＢＴは、今後のｎ枚
のピクチャ（ピクチャ群）に対してどの程度の符号量を
与えるかを規定するパラメータである。ｎの値はＭＰＥ
Ｇ−２符号化では１５とするのが一般的あり、固定レー
ト符号化（ＣＢＲ）では、この値が固定値（４Ｍビット
／秒なら、２，０００，０００）になるように制御さ
れ、可変ビットレート符号化では、より画像の複雑さに
応じて変動させることが可能である。ＢＴは、最近のピ
クチャ群の符号化結果の影響を強く受け、特に、シーン
チェンジなどで符号化条件（複雑度）が大幅に変化した
場合でも、画質が変動しないようなピクチャ群符号量を
与えうるよう制御することが重要である。

【００４３】目標ピクチャ量子化ステップ値ＱＴは、次
の１枚のピクチャに対して、どのような量子化ステップ
値を与えるかを規定するパラメータである。もし、ピク
チャ群が全て同一の符号化方法（例えばフレーム内符号
化）であれば、ＱＴは、ＢＴを均等に各ピクチャに割り
付けた結果から（後述の図３に基づいて）求めることに
なる。しかし、例えばＭＰＥＧ−２のように、フレーム
内符号化（Ｉピクチャ）とフレーム間予測符号化（Ｐ−
ピクチャ、Ｂ−ピクチャ）が混在している場合、ＢＴを
均等に割り付けないほうが、全体としての画質が良くな
る（図３）。目標ピクチャ量子化ステップ値ＱＴは、こ
のような画像符号化モードを踏まえて、設定手段４で決
定される。

【００４４】ピクチャ群実発生符号量ＢＡは、最近のｎ
枚のピクチャ（ピクチャ群）の総発生符号量の実績値で
ある。ＱＴを目標値として符号化されたｎ枚の画像の符
号量の合計は、必ずしもＢＴに等しくなるとは限らな
い。その理由は、画像の複雑さが過去ｎ枚と次のｎ枚と
で同じとなるわけではないからである（図２）。ＢＡ
は、その意味で、最近のｎ枚のピクチャの符号化上の複
雑度がどの程度であったのかの情報を含んでいる。ＢＡ
の値は、実際に符号化を行った結果として符号化部３か
ら得られることになる。

【００４５】実ピクチャ量子化ステップ値の平均値ＱＡ
は、最近のｎ枚のピクチャ（ピクチャ群）で用いられた
実際の量子化ステップ値の平均値を表わしている。ＱＴ
を目標値として与えられた量子化ステップの平均値はＱ
Ａとは等しくなるとは限らない。その理由は、 ・量子化ステップ値は、画像内の符号化において一定で
はなく、絵柄によって空間領域（マクロブロック：１６
×１６画素の領域）毎に適応的に変更させる（空間方向
の適応量子化）のが普通である。 ・量子化ステップ値は、符号バッファのあふれ（オーバ
フロウ）やアンダーフロウなどの例外処理で、ピクチャ
以下の単位で適宜変更されることがある。などによる。
よって、ＱＡの値は実際に符号化を行った結果として符
号化部３から得られることになる。

【００４６】上述のように画像符号化部３においては、
動画像の各ピクチャに対する量子化ステップの目標値
（ＱＴ）が与えられた際に、その値を基準として符号処
理を実行する。符号化方式は、スカラー量子化を行うも
のであれば特に定められたものである必要はない。特
に、フレーム間予測符号化を行うか否か、フレーム内の
差分符号化、直交変換符号化、サブバンド符号化を伴う
か否か等に関して制約されることはない。また、画像符
号化部３に与えられる目標ピクチャ量子化ステップ値Ｑ
Ｔは、あくまでピクチャ全体の目標値であって、画像内
部の局所的な位置に対する適応量子化を妨げるものでは
ない。そのため、最終的な実量子化ステップの平均値が
目標値と異なることがあっても許容される。

【００４７】また、画像符号化部３では、ピクチャ量子
化ステップ設定手段４が出力する目標ピクチャ量子化ス
テップ値ＱＴにより、実ピクチャ量子化ステップ値の平
均値ＱＡと、符号化によって生成されるピクチャ群実発
生符号量ＢＡとを可変ビットレート制御のために算出す
る。

【００４８】通常、ピクチャに対する量子化ステップ値
と、それにより生成されるピクチャ符号量には相関関係
がある。従って、この相関の関数近似が判明していれ
ば、目標符号量に対するピクチャ量子化ステップ値はそ
の関数により求めることができる。

【００４９】原画の絵柄の複雑度や、ピクチャの符号化
条件が異なる場合は、相関関数自身が異なるものとな
る。特に、フレーム間予測符号化を行う場合であって、
ピクチャの予測手法が異なる場合、相関関係は異なるも
のになる。

【００５０】図３は、量子化ステップ値とピクチャ符号
量の相関の一例を示す図である。図３において、量子化
ステップＱに対し、一般に符号量Ｂは単調減少関数であ
り、同一のＱ値に対し、フレーム間予測符号化のほうが
フレーム内符号化に比べて、Ｂ値が小さく、また、同じ
フレーム内符号化であっても、絵柄が複雑な方がＢ値が
大きくなる傾向にある。

【００５１】ピクチャ量子化ステップ設定手段４は、そ
れが対象とするピクチャ群に含まれるピクチャの枚数お
よび符号化条件に応じて、各ピクチャへの符号量配分を
決定するとともに、配分に応じた量子化ステップ値を設
定する。

【００５２】ピクチャ量子化ステップ値の設定は、ピク
チャ群に対して一度にまとめて計算する方法以外に、各
ピクチャ毎にピクチャ群に対する残り符号量を算出しな
がら設定を行う方法がある。この方法は、特に符号化さ
れる原画像の性質がピクチャ群内部で大幅に変化する場
合に有効である。

【００５３】図４は、目標ピクチャ量子化ステップ値Ｑ
Ｔの設定方法を例示する図である。特定ピクチャに割り
当てられた目標符号量に対し、原画の絵柄やピクチャの
符号化条件を反映した相関関数が分かれば、目標ピクチ
ャ量子化ステップ値を得ることができる。

【００５４】固定ビットレート符号化ではピクチャ群目
標符号量ＢＴの値が常に一定であるように制御される。
本発明においては可変ビットレート制御を実現するため
に、ピクチャ群目標符号量ＢＴは、ピクチャ群目標符号
量設定手段５において、ピクチャ群毎に算出される。

【００５５】ピクチャ群目標符号量設定手段５は、画質
改善のために、符号化が困難な画像、すなわち符号量が
多く発生する画像に対して、より多くのピクチャ群目標
符号量ＢＴを割り当てるように動作する。一般にピクチ
ャ群目標符号量ＢＴが大きくなると、目標ピクチャ量子
化ステップ値ＱＴは小さくなり、良好な符号化画質が得
られる。

【００５６】図５は、ピクチャ群目標符号量ＢＴの設定
方法を例示する図である。ピクチャ群の１回の符号化の
完了によって、実ピクチャ量子化ステップ値の平均値Ｑ
Ａとピクチャ群実発生符号量ＢＡとが判明するため、平
均的な量子化ステップＱと符号量Ｂとの相関関係が近似
できる。この関係と、量子化ステップ値の許容限閾値Ｑ
ＴＨとが判明していれば、現在の絵柄に対して、望まし
い割り当て符号量が推定できる。ピクチャ群目標符号量
ＢＴの設定は、この望ましい割り当て符号量に近づくよ
うに目標符号量を更新する手続きである。

【００５７】平均的な量子化ステップＱと符号量Ｂとの
相関関係の近似方式として、例えばＢがＱの一次関数と
いう仮定を設ける事ができる。図３〜図５の相関を表す
曲線が直線であると仮定するものである。この場合、ピ
クチャ群目標符号量ＢＴ、目標ピクチャ量子化ステップ
値ＱＴ、ピクチャ群実発生符号量ＢＡ、実ピクチャ群量
子化ステップ値の平均値ＱＡには、ＢＴ−ＢＡ＝α×
（ＱＴ−ＱＡ）（ただしαは傾きを示す定数）という関
係が成立し、これをＢＴについて解けば、ピクチャ群目
標符号量はＢＡ＋α×（ＱＴ−ＱＡ）で算出する事がで
きる。特に、目標ピクチャ量子化ステップ値ＱＴを望ま
しい画質を与える量子化ステップとすれば、ＢＴは、こ
のＱＴを平均的に与え得る符号量になる。なお、ＢＡ
は、そのピクチャ群の設定に用いられた前回のＢＴと大
きくずれていないという仮定のもとで、ＢＡの代わりに
前回のＢＴを用いてもよい。

【００５８】また、平均的な量子化ステップＱと符号量
Ｂとの相関関係の別な近似方式として、例えばＱとＢの
積が一定という仮定を設ける事ができる。図３〜図５の
相関を表す曲線が双曲線であると仮定するものである。
この場合、ピクチャ群目標符号量ＢＴ、目標ピクチャ量
子化ステップ値ＱＴ、ピクチャ群実発生符号量ＢＡ、実
ピクチャ量子化ステップ値の平均値ＱＡには、ＢＴ×Ｑ
Ｔ＝ＢＡ×ＱＡ＝一定という関係が成立し、これをＢＴ
について解けば、ピクチャ群目標符号量ＢＴはＢＡ×Ｑ
Ａ÷ＱＴで算出する事ができる。ここでも、目標ピクチ
ャ量子化ステップ値ＱＴを望ましい画質を与える量子化
ステップとすれば、ＢＴは、このＱＴを平均的に与え得
る符号量になるはずである。ここでも、ＢＡの代わりに
前回設定のＢＴを用いてもよい。

【００５９】しかし、これらの近似式の精度が不十分な
場合、このＢＴ設定方式は必ずしも安定な制御にはなら
ない。従って、ＢＴを一度に理想状態に収束させようと
するのではなく、段階的な収束制御とする方が望ましい
といえる。

【００６０】特に、ピクチャ群目標符号量を増加させる
制御では、画質改善効果を十分に得るために、理想状態
に近い制御が望ましいが、逆に、ピクチャ群目標符号量
を減少させる制御では、近似誤差による画質上の破綻を
割けるために制御を弱めにかけることが望ましい。

【００６１】画質の制御は、画質パラメータが目標画質
に対して許容範囲内であるかどうかを画質パラメータの
許容限によって判定する。画質パラメータは、原画像と
符号化画像の平均誤差、例えばＰＳＮＲ（Ｐｅａｋ Ｓ
ｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）によって
判定できる。また、より人間の主観評価に近い尺度とし
て、例えば直交変換結果の各周波数成分の重み付け平均
を用いる事もできる。

【００６２】しかし、量子化ステップそのものが量子化
誤差の平均値に対応するため、より簡便な方法として量
子化ステップ値を直接画質判定尺度とすることもでき
る。

【００６３】量子化ステップ値の許容限閾値ＱＴＨ、あ
るいはより一般的に、画質パラメータの許容限閾値ＰＴ
Ｈは、総符号量調整手段６で算出される。画質パラメー
タの許容限閾値ＰＴＨは、初期値として良好な画質を与
えるものを割り当てるが、符号化の進捗に応じて、発生
符号量の累積値がピクチャ群目標総符号量に対してそれ
る傾向にある場合、この許容限閾値ＰＴＨ自体を変更
し、総符号量を調整する。

【００６４】前記許容限閾値ＰＴＨが量子化ステップ値
の許容限閾値ＱＴＨの場合、その変更の方針として、ピ
クチャ群実発生符号量ＢＡの累積値がピクチャ群目標発
生符号量の累積値に対し、超過符号量閾値Ｌより以上大
きな場合は量子化ステップ値の許容限閾値ＱＴＨを大き
くなるよう更新し、余剰符号量閾値Ｃより以上小さな場
合は、前記量子化ステップ値の許容限閾値ＱＴＨを小さ
くなるように更新する方法がある。

【００６５】以下、本実施の形態のより具体的な動作に
つき説明する。

【００６６】ピクチャ群目標符号量の設定が、ピクチャ
群単位での画質制御であるのに対し、総符号量の制御
は、全体の符号量総量が所定範囲に収める制御である。
総符号量の制御が、特定の区間の画質に大きく影響を与
えないようにするためには、総符号量の制御における閾
値ＰＴＨの更新の頻度が、ピクチャ群目標符号量の設定
より十分大きな時間単位であることが望ましい。例とし
て、閾値ＰＴＨの更新の周期が、ピクチャ群目標符号量
の設定の周期の定数倍であるような方式が考えられる。

【００６７】図６は、このような制御を用いる場合の本
発明の動作タイミングの例を示す図面である。また別な
例では、閾値ＰＴＨの更新を、ピクチャ群目標符号量の
設定とは独立に、動画像のシーンの特徴変化点にて実行
するような方式が考えられる。特徴変化点としては、例
えば、シーンチェンジ、フェードイン、フェードアウ
ト、ビデオエフェクトなどの特殊効果などが考えられ
る。

【００６８】図７は、このような制御の場合の本発明の
動作タイミングを示す図である。後者のほうが、閾値Ｐ
ＴＨの変更を主観的に検知されにくい効果がある。

【００６９】また、符号化がある最終局面に達した以降
は、残り時間と残りピクチャ群許容符号量に応じて、固
定ビットレート符号化に切り替えることで、総符号量の
目標と実績の差分をさらに改善することができる。

【００７０】

【実施例】実施例として、例えば符号化アルゴリズムが
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２）のメイ
ンプロファイルの場合を想定する。この場合、ＭＰＥＧ
−２の符号階層構造を考慮し、ピクチャ群目標符号量の
設定の区間単位を、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃ
ｔｕｒｅ）階層に対応させる。

【００７１】ＭＰＥＧ−２テストモデル（ＭＰＥＧ−２
Ｖｉｄｅｏ Ｔｅｓｔ Ｍｏｄｅｌ ５、ＩＳＯ／Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００、１
９９３年４月）においては、固定ビットレート符号化方
式におけるピクチャ量子化ステップの設定の例が記載さ
れている。本実施例でもこの方式に準拠した方式でピク
チャ量子化ステップの設定をピクチャ単位で実行する。

【００７２】この方式は、固定ビットレート符号化方式
との対応を明確にすることができ、特に、ピクチャ群に
対する処理を固定ビットレートの場合と可変ビットレー
トの場合で共有化することができるという利点がある。

【００７３】図８は、ピクチャ群目標符号量設定手段５
で実行されるピクチャ群目標符号量ＢＴを算出する処理
フローチャートを示す図である。この処理はＧＯＰ（Ｇ
ｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位で実行される。

【００７４】図８の例では平均的な量子化ステップＱと
符号量Ｂとの相関関係として、ＱとＢの積が一定という
仮定を用いている。また、ＢＴ設定方式を段階的な収束
制御とするために、係数βおよびβ’を更新値に対して
乗じている。特に、ピクチャ群目標符号量を増加させる
制御では、画質改善効果を十分に得るために、βは０＜
β＜１の範囲で１に近い制御が望ましいが、逆に、ピク
チャ群目標符号量を減少させる制御では、近似誤差によ
る画質上の破綻を割けるために、β’は０＜β’＜１の
範囲で１よりかなり小さい値での制御が望ましい。

【００７５】図９は、総符号量調整手段６で実行される
量子化ステップ値の許容限閾値ＱＴＨを算出する処理フ
ローチャートを示す図である。

【００７６】図９の例ではＬは総符号量の１０％、Ｃは
総符号量の１５％という仮定を用いている。例えば２時
間の記録媒体であれば、１２分の時間に相当する超過符
号量と、１８分の時間に相当する剰余符号量を許容する
制御となる。また、ＱＴＨの更新については、その時点
に至るまでの総発生符号量と、一定レートを仮定した場
合の平均発生符号量の関係をＬ、Ｃを踏まえて比較して
決める。

【００７７】ＱＴＨの取り得る値の範囲はＭＰＥＧ−２
の量子化スケールコードの表記で１〜３１なので、簡略
化して＋１または−１する制御でも意味があるものとな
る。

【００７８】図９の処理が１０ＧＯＰ単位で実行される
とした場合、ピクチャ群はＮＴＳＣ画像の場合、画像フ
レーム１５枚、０．５秒の周期となり、総符号量調整は
その１０倍である５秒単位となる。符号化されるコンテ
ンツが３０分以上、数時間と想定される場合には十分画
質および符号量制御の柔軟性がある。

【００７９】図１０は、コンテンツ全体の符号化におけ
る経過時間（ＧＯＰ番号ｉにより表記）と累積符号量と
の関係を示す図である。ＬとＣの２つのパラメータで規
定される境界を超えると総符号量調整の制御が実行され
る。この方法では、経過途上において常に発生符号量の
誤差が（＋Ｌ、−Ｃ）の範囲で振れる。ＬやＣの値を小
さく設定することでこの振幅を狭められる。

【００８０】さらに、ＬやＣを経過時間の単調減少関数
とすれば、最終的な誤差をＬやＣより小さくすることが
できる。図１０では、ＧＯＰ番号ｉ_ｆｉｎ以降は、Ｌや
Ｃを線形に０に近づける方法を示している。さらに、Ｇ
ＯＰ番号ｉ_ｆｉｎ以降は、残り時間と残り符号量から固
定ビットレート制御に切り替えることも可能である。

【００８１】以上では、画像符号化アルゴリズムをＭＰ
ＥＧ−２方式を前提に説明したが、本発明はこの点ＭＰ
ＥＧ−２方式に限られるものではない。例えば、ＭＰＥ
Ｇ−１方式（ＩＳＯ／ＩＥＣ１００７２−２）やＪＰＥ
Ｇ方式であってもよい。また、その他の直交変換と量子
化を伴う方式や、差分符号化、あるいはサブバンド符号
化と量子化を伴う方式であってもかまわない。

【００８２】また、本発明は、総符号量調整手段６、ピ
クチャ群目標符号量設定手段５、ピクチャ量子化ステッ
プ設定手段４をこの順で必要に応じて実行する時系列的
な手続きと考えることもできる。

【００８３】なお、本発明は前記実施の形態及び実施例
に限定されるものではなく本発明の技術思想の範囲内に
おいて、各実施の形態及び実施例は適宜変更され得るこ
とは明らかである。

【００８４】

【発明の効果】本発明によれば、従来の１パス可変ビッ
トレート符号化装置の符号量制御部分に、画質パラメー
タの許容限閾値による符号化制御を組み込むことで、符
号化画像の品質や絵柄の複雑さに依存した量子化ステッ
プの割り当てを行うようにしているから、可変ビットレ
ート符号化をリアルタイムに処理することができ、かつ
装置規模あるいは消費電力を高々画像符号化装置１つ分
程度に保ったまま、従来の１パス可変ビットレート符号
化装置以上に高画質な可変ビットレート符号化を可能と
すること、特に長期間続く複雑なシーンにおいて従来以
上の符号化画質を得ることが可能である。

【００８５】本発明は、総符号量調整の超過符号量閾値
や余剰符号量閾値の値を調整することにより、上記の特
徴を活かしながら可変ビットレート符号化の途中経過時
点での符号量誤差を制御することが可能である。

【００８６】本発明は、ピクチャ群目標符号量設定手段
の出力を定数とみなした場合に固定ビットレート符号化
に相当するので、従って、ピクチャ量子化ステップ設定
手段については共通の処理とすることができ、固定ビッ
トレート符号化処理との親和性が高く、処理手段や処理
手順の一部を共用化することが可能である。このような
共有化は、特に、符号バッファのオーバフロウやアンダ
フロウの例外処理あるいは例外回避処理については、ピ
クチャ量子化ステップ設定手段および画像符号化部に含
まれるため、システムの信頼性向上の意味合いからも意
義が大きい。

【図面の簡単な説明】

【図１】本発明の一実施の形態の構造を示すブロック図
である。

【図２】本実施の形態の処理手順を示すフローチャート
図である。

【図３】量子化ステップ値とピクチャ符号量の相関の一
例を示す説明図である。

【図４】ピクチャ量子化ステップ値の設定方法を例示す
る説明図である。

【図５】ピクチャ群目標符号量設定方法を例示する説明
図である。

【図６】本発明の動作タイミングの例を示すタイミング
図である。

【図７】本発明の動作タイミングの別な例を示すタイミ
ング図である。

【図８】ピクチャ群目標符号量ＢＴを算出手順を示すフ
ローチャート図である。

【図９】量子化許容限閾値ＱＴＨを算出手順を示すフロ
ーチャート図である。

【図１０】符号化経過時間と累積符号量の関係を示す説
明図である。

【符号の説明】

１ 原画像データ ２ 符号化画像データ ３ 画像符号化部 ４ ピクチャ量子化ステップ設定手段 ５ ピクチャ群目標符号量設定手段 ６ 総符号量調整手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK06 KK11 KK47 KK49 MA00 MC11 RA00 SS06 SS11 TA00 TA46 TA60 TB02 TB03 TB04 TC08 TC15 TC18 TC38 TC39 TD03 TD06 TD12 UA02

Claims (18)

【特許請求の範囲】
1. 【請求項１】 所定時間長の画像データの総符号量が既
   定値以下になるように可変ビットレートで高能率符号化
   を行う可変ビットレート符号化装置において、 目標とする量子化ステップの情報である目標ピクチャ量
   子化ステップ値（ＱＴ）に基づき原画像データを符号化
   画像データに符号化するとともに、符号化時の符号量及
   び画質に関するそれぞれ実発生符号量（ＢＡ）及び実画
   質パラメータ（ＰＡ）を出力する画像符号化部と、前記
   実発生符号量（ＢＡ）の累積値に基づき画質パラメータ
   の許容限閾値（ＰＴＨ）を算出する総符号量調整手段
   と、前記画質パラメータの許容限閾値（ＰＴＨ）と前記
   実画質パラメータ（ＰＡ）との比較により、目標とする
   符号量に関するピクチャ群目標符号量（ＢＴ）を算出す
   るピクチャ群目標符号量設定手段と、前記ピクチャ群目
   標符号量（ＢＴ）に基づき前記目標ピクチャ量子化ステ
   ップ値（ＱＴ）を算出するピクチャ量子化ステップ設定
   手段とを有することを特徴とする可変ビットレート符号
   化装置。
2. 【請求項２】 前記実画質パラメータ（ＰＡ）は、符号
   化時の実ピクチャ量子化ステップ値の平均値（ＱＡ）で
   あり、前記画質パラメータの許容限閾値（ＰＴＨ）は、
   量子化ステップ値の許容限閾値（ＱＴＨ）であることを
   特徴とする請求項１に記載の可変ビットレート符号化装
   置。
3. 【請求項３】 前記総符号量調整手段は、目標とする発
   生符号量の累積値に対し前記実発生符号量（ＢＡ）の累
   積値が、超過符号量閾値（Ｌ）より大きな場合は前記量
   子化ステップ値の許容限閾値（ＱＴＨ）を大きくなるよ
   う更新し、余剰符号量閾値（Ｃ）より小さな場合は、前
   記量子化ステップ値の許容限閾値（ＱＴＨ）を小さくな
   るように更新することを特徴とする請求項２に記載の可
   変ビットレート符号化装置。
4. 【請求項４】 前記超過符号量閾値（Ｌ）または前記余
   剰符号量閾値（Ｃ）は、符号化の経過時間に対し単調減
   少する関数であることを特徴とする請求項３に記載の可
   変ビットレート符号化装置。
5. 【請求項５】 前記超過符号量閾値（Ｌ）は０以下の値
   であるように制御される請求項４の可変ビットレート符
   号化装置。
6. 【請求項６】 前記量子化ステップ値の許容限閾値（Ｑ
   ＴＨ）の更新量は、経過時間に対し単調増加することを
   特徴とする請求項３に記載の可変ビットレート符号化装
   置。
7. 【請求項７】 前記ピクチャ群目標符号量設定手段は、
   更に前記実発生符号量（ＢＡ）にも基づき前記ピクチャ
   群目標符号量（ＢＴ）を算出することを特徴とする請求
   項１乃至６のいずれか１項に記載の可変ビットレート符
   号化装置。
8. 【請求項８】 前記ピクチャ群目標符号量設定手段は、
   前記実ピクチャ量子化ステップ値の平均値（ＱＡ）が量
   子化ステップ値の許容限閾値（ＱＴＨ）に対し、第１の
   幅ｄ１より大きな場合は、前記ピクチャ群目標符号量
   （ＢＴ）を大きくなるよう更新し、第２の幅ｄ２より小
   さな場合は、前記ピクチャ群目標符号量（ＢＴ）を小さ
   くなるよう更新することを特徴とする請求項２に記載の
   可変ビットレート符号化装置。
9. 【請求項９】 前記ピクチャ群目標符号量設定手段は、
   経過時間がある時刻を超えた場合に、総符号量と実発生
   符号量（ＢＡ）の累積値の差に基づいた固定ビットレー
   ト制御で前記ピクチャ群目標符号量（ＢＴ）を定めるこ
   とを特徴とする請求項１乃至８のいずれか１項に記載の
   可変ビットレート符号化装置。
10. 【請求項１０】 前記ピクチャ群目標符号量（ＢＴ）の
    更新量は、式（ＱＡ−ＱＴＨ）に比例することを特徴と
    する請求項８に記載の可変ビットレート符号化装置。
11. 【請求項１１】 前記ピクチャ群目標符号量（ＢＴ）の
    更新量は、式（ＢＡ×ＱＡ÷ＱＴＨ−ＢＡ）に比例する
    ことを特徴とする請求項８に記載の可変ビットレート符
    号化装置。
12. 【請求項１２】 前記ピクチャ群目標符号量（ＢＴ）の
    更新量の比例定数は、目標符号量が増加する場合と、目
    標符号量が減少する場合とで異なり、後者の絶対値のほ
    うが小さいことを特徴とする請求項１０または１１に記
    載の可変ビットレート符号化装置。
13. 【請求項１３】 前記総符号量調整手段における、画質
    パラメータの許容限閾値（ＰＴＨ）の更新の周期は、前
    記ピクチャ群目標符号量設定手段における、ピクチャ群
    目標符号量（ＢＴ）の更新周期の定数倍であることを特
    徴とする請求項１に記載の可変ビットレート符号化装
    置。
14. 【請求項１４】 前記総符号量調整手段における、画質
    パラメータの許容限閾値（ＰＴＨ）の更新は、原画像の
    過渡状態時期に同期して行われることを特徴とする請求
    項１に記載の可変ビットレート符号化装置。
15. 【請求項１５】 前記原画像の過渡状態とは、シーンチ
    ェンジまたはフェードイン、フェードアウトまたはディ
    ジタルビデオエフェクトであることを特徴とする請求項
    １４に記載の可変ビットレート符号化装置。
16. 【請求項１６】 前記画質パラメータは、符号化結果の
    ＰＳＮＲ（ＰｅａｋＳｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ
    Ｒａｔｉｏ）値であることを特徴とする請求項１に記載
    の可変ビットレート符号化装置。
17. 【請求項１７】 前記画質パラメータは、符号化結果と
    原画の直交変換結果の同次係数誤差の重み付け平均値で
    あることを特徴とする請求項１に記載の可変ビットレー
    ト符号化装置。
18. 【請求項１８】 所定時間長の画像データの総符号量が
    既定値以下になるように可変ビットレートで高能率符号
    化を行う可変ビットレート符号化方法において、 目標とする量子化ステップの情報である目標ピクチャ量
    子化ステップ値（ＱＴ）に基づき現画像データを符号化
    画像データに符号化し、この符号化時に得られた符号量
    に関する実発生符号量（ＢＡ）の累積値と総符号量の経
    過時間比率に基づき、画質に関する画質パラメータの許
    容限閾値（ＰＴＨ）を算出し、前記画質パラメータの許
    容限閾値（ＰＴＨ）と、現画像データを符号化画像デー
    タに符号化することで得られた実画質パラメータ（Ｐ
    Ａ）との比較に基づき、目標とする符号量に関するピク
    チャ群目標符号量（ＢＴ）を算出し、前記ピクチャ群目
    標符号量（ＢＴ）と各ピクチャ符号化条件とから前記目
    標ピクチャ量子化ステップ値（ＱＴ）を算出することを
    特徴とする。