JP2003092759A

JP2003092759A - 動画像符号化装置

Info

Publication number: JP2003092759A
Application number: JP2001282379A
Authority: JP
Inventors: Yuji Kawashima; 裕司川島; Masakazu Suzuki; 正和鈴木; Hirokazu Kawakatsu; 裕和川勝
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-09-17
Filing date: 2001-09-17
Publication date: 2003-03-28
Anticipated expiration: 2021-09-17
Also published as: JP4718736B2

Abstract

(57)【要約】【課題】動画像の見た目の品質を向上させ、スムーズ
に安定した動画像が再生されることが可能になる動画像
符号化装置を提供することを目的とする。【解決手段】符号化モード設定部６が、１画像が画面
内符号化されたときの発生符号量を推定する。また、こ
の発生符号量が取り去られたときの仮想バッファのバッ
ファ占有量も推定する。符号化モード設定部６が、この
推定されたバッファ占有量をもとづいて、フレームレー
トを推定する。装置制御部７が、所望のフレームレート
を指定する。推定されたフレームレートと、前記指定さ
れているフレームレ−トとの差が所定値以上か否かが判
定される。判定されたフレームレートの差が所定値未満
の場合は画面内符号化を実行し、前記判定されたフレー
ムレートの差が所定値以上である場合は画面間符号化に
よって符号化を実行するように制御する動画像符号化装
置による。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像を圧縮し
たり、圧縮された動画像を伸張するための動画像符号化
装置に関し、特に、圧縮された動画像を伸張して鮮明な
画像を出力するための動画像符号化装置に関する。

【０００２】

【従来の技術】この発明での動画像符号化装置とは、Ｉ
ＴＵ−Ｔ（International Telecommunication Union-Te
lecommunication sector）勧告のＨ．２６ｘやＩＳＯ／
ＩＥＣ（International Standards Organization/Inter
national Electrotechnical Commission）標準のＭＰＥ
Ｇ（Moving Picture Experts Group）に代表される動画
像符号化方式によって、動画像を符号化するための装置
である。すなわち、動画像符号化装置は、動き補償およ
び直交変換（たとえば、離散コサイン変換）等を用いて
フレーム単位で符号化を実行する。

【０００３】ＩＴＵ−Ｔ勧告のＨ．２６ｘやＩＳＯ／Ｉ
ＥＣ標準のＭＰＥＧに代表される動画像符号化方式は、
一般に、入力される映像信号に対して空間的および時間
的相関関係により圧縮をかける。この圧縮により得られ
るデータをもとに、所定の順序にしたがってさらに可変
長符号化を行い、符号列（ビットストリーム）を生成す
る。

【０００４】動画像符号化装置は、所定の符号化パラメ
ータにしたがって指定された符号量のビットストリーム
を出力しなければならない。さらにデコーダ側のバッフ
ァにおいて、オーバーフローやアンダーフローが生じな
いように、エンコーダ側でデコーダ側のバッファの占有
量を想定して発生符号量を制御しなくてはならない。こ
のバッファは、ＶＢＶ（Video Buffering Verifier）バ
ッファと呼ばれる。また、単に仮想バッファと呼ぶこと
もある。ＶＢＶバッファの容量は、ＭＰＥＧ−４ではプ
ロファイルとレベルによって上限値が決まっている。発
生符号量は、フレームをマクロブロック（ＭＢ：MacroB
lock）ごとにＤＣＴが実行された結果得られた離散コサ
イン変換（ＤＣＴ：Discrete Cosine Transform）係数
を量子化するために使用される量子化スケールにより制
御される。一般に、発生符号量と量子化スケールとは反
比例の関係にある。この性質を利用して発生符号量を自
在に変化させることが可能である。

【０００５】しかし、一般的に量子化スケールには制限
があるため、量子化スケールだけで発生符号量を制御す
ることは不可能である。そこで、発生符号量が目標値よ
りも多い場合は、フレームスキップ数が増やされる。フ
レームスキップ数を増やすことで、符号化すべきフレー
ムを遅らせ、ＶＢＶバッファのアンダーフローをふせぐ
ことができる。また、発生符号量が目標値よりも少ない
場合は、スタッフィングが実行される。スタッフィング
は、冗長なビットを挿入することで、ＶＢＶバッファの
オーバーフローをふせぐ。

【０００６】図１は、仮想バッファを制御する従来の方
法を示す図であって、時間に対する仮想バッファのバッ
ファ占有量を示す。フレームスキップの制御方法として
は、ＶＢＶバッファにある境界値（Ｂ（ｍｉｎ））を設
ける。これを下回る場合（図１に示される時刻ｔ_４）は
フレームスキップ数を増やし、境界値を越すまでスキッ
プすることでバッファ量を増加させる。

【０００７】

【発明が解決しようとする課題】しかしながら、この方
法によると、発生符号量が多い状態が続く場合は、バッ
ファ占有量が少ない状態が続き、バッファ占有量が境界
値周辺を上下動する。たとえば、図１に示されている時
刻ｔ_４と時刻ｔ_５のように上下動する。ゆえに、フレー
ムスキップ数を増やしてバッファの回復を行う動作と所
定のフレームスキップの動作とが繰り返される。その結
果、フレーム間隔が不安定な状態となり見た目にも非常
に品質が悪くなる。

【０００８】さらに、画質の向上やエラー耐性、ランダ
ムアクセス性を考慮して、ビットストリーム中にＩ−Ｖ
ＯＰ（Ｉ−ＶＯＰ：Intra-Video Object Plane）を挿入
する場合がある。Ｉ−ＶＯＰは比較的符号量が多いた
め、頻繁にＩ−ＶＯＰを挿入すると、ＶＢＶバッファが
アンダーフロー傾向になる。また、前記境界値周辺でＩ
−ＶＯＰを挿入することにより急激にフレームスキップ
数が増えるという問題がある。

【０００９】そこで、これら従来における問題に鑑み、
この発明の目的は、動画像の見た目の品質を向上させ、
スムーズに安定した動画像が再生されることが可能にな
る動画像符号化装置を提供することである。

【００１０】

【課題を解決するための手段】この発明によれば、復号
側でのバッファの占有量を推測するための仮想バッファ
を参照しながら符号化を実行する動画像符号化装置にお
いて、１画像が画面内符号化されたときの発生符号量を
推定する発生符号量推定手段と、前記１画像分の推定さ
れた発生符号量が取り去られたときの前記仮想バッファ
のバッファ占有量を推定するバッファ占有量推定手段
と、前記推定されたバッファ占有量をもとづいて、フレ
ームレートを推定するフレームレート推定手段と、所望
のフレームレートを指定するフレームレート指定手段
と、前記推定されたフレームレートと、前記指定されて
いるフレームレ−トとの差が所定値以上か否かを判定す
るフレームレート判定手段と、前記判定されたフレーム
レートの差が所定値未満の場合は画面内符号化を実行
し、前記判定されたフレームレートの差が所定値以上で
ある場合は画面間符号化によって符号化を実行するよう
に制御する符号化制御手段と、を具備することを特徴と
する動画像符号化装置によって提供される。

【００１１】この動画像符号化装置は、Ｉ−ＶＯＰ符号
化後の仮想バッファを予測し、その予測値から得られる
フレームレートが現在のフレームレートから大きく変動
するときは、Ｉ−ＶＯＰの符号化を行わない。

【００１２】また、仮想バッファに複数の制御ポイント
を設け、そのポイントごとに異なるフレームレートを設
定するフレームレート更新部を設ける。この複数ポイン
トごとに設定されたフレームレートをビデオの符号化部
に送り、符号化部は指定されたフレームレートにしたが
って入力される画像をスキップし、符号化を行う。

【００１３】さらに、仮想バッファのバッファ占有量か
ら所定の時間内に含まれるべきＩ−ＶＯＰの数を制御
し、バッファアンダーフローを抑制する。

【００１４】

【発明の実施の形態】以下、図面を参照してこの発明の
動画像符号化装置の実施形態を説明する。（第１の実施形態）図２は、第１の実施形態における動
画像符号化装置の電気的な内部構成を示す機能ブロック
図である。この発明の動画像符号化装置は、符号化部
１、出力バッファ２、仮想バッファ３、フレームレート
更新部４、発生符号量制御部５、符号化モード設定部
６、および装置制御部７からなる。

【００１５】符号化部１は、符号化するべき画像信号を
画像入力装置から入力する。画像入力装置は、ディジタ
ルビデオカメラ、あるいは録画再生機器のような動画像
信号の信号源である。入力した画像信号が、所定の動画
像圧縮方式、すなわち、ＩＳＯ／ＩＥＣ標準のＭＰＥＧ
−４方式やＩＴＵ−Ｔ勧告のＨ．２６３方式、またはこ
れらを変更した方式にしたがって、符号化される。符号
化は、動画像圧縮方式にしたがって、入力した画像信号
に含まれるフレームそれぞれを所定のマクロブロックに
分割する。符号化モード設定部６から、各マクロブロッ
クを符号化する符号化モード（イントラ符号化またはイ
ンター符号化）が入力される。

【００１６】以下では、ＭＰＥＧ−４（Moving Picture
Experts Group Phase 4）における動画像符号化方式に
ついて述べる。映像信号は、複数のビデオオブジェクト
プレーン（ＶＯＰ：Video Object Plane）から構成され
る。ＶＯＰは矩形状の場合、ＭＰＥＧ−１、２における
フレームおよびフィールドに相当する。ＶＯＰ単位で空
間的および時間的相関関係により圧縮を行う。ＶＯＰ
は、輝度信号と色差信号を有して、複数のＭＢから構成
される。ＭＢは、輝度信号に対して縦横１６画素からな
る。空間的圧縮および時間的圧縮は、このＭＢ単位に実
行される。空間的圧縮では、ＤＣＴと量子化によって画
像が圧縮される。時間的圧縮では、動き補償（ＭＣ：Mo
tion Compensation）によって、画像が圧縮される。

【００１７】ＶＯＰ単位の圧縮方法には、空間的圧縮の
みで符号化される画面内符号化（イントラ符号化）と、
空間的圧縮と時間的圧縮によって符号化される画面間符
号化（インター符合化）がある。画面内符号化されたＶ
ＯＰは、Ｉ−ＶＯＰ（Intra-VOP）と呼ばれる。画面間
符号化されたＶＯＰは、Ｐ−ＶＯＰ（Predictive-VOP）
とＢ−ＶＯＰ（Bi-directionally predictive-VOP）と
の２種類がある。Ｐ−ＶＯＰは、参照ＶＯＰとして時間
的に前に符号化されたＶＯＰのみが参照されたＶＯＰで
あって、片方向のＭＣが実行されて、符号化されたＶＯ
Ｐである。また、Ｂ−ＶＯＰは、参照ＶＯＰとして時間
的に前後に符号化されたＶＯＰが参照されたＶＯＰであ
って、双方向のＭＣが実行されて、符号化されたＶＯＰ
である。ここで参照ＶＯＰとは、過去にＩ−ＶＯＰまた
はＰ−ＶＯＰとして符号化され画面間符号化で用いるた
めに復号されたＶＯＰの中で、現在符号化すべきＶＯＰ
に対して時間的に隣接するＶＯＰである。１度の画面間
符号化では、高々２つのＶＯＰが参照される。また、Ｉ
−ＶＯＰに含まれるＭＢは、すべてイントラで符号化さ
れなければならない。一方、ＰおよびＢ−ＶＯＰに含ま
れる各ＭＢは、イントラ、インターのどちらを用いて符
号化されても良い。ここで、「ＶＯＰを画面内符号化す
る」、「ＶＯＰをイントラ符号化する」、および「Ｉ−
ＶＯＰで符号化する」は、すべて同様の内容を示す。し
たがって、このいずれの表現も内容的な違いはなく、同
様の内容を意味する。

【００１８】以下、ＭＢ単位の符号化処理を簡単に述べ
る。符号化すべきＭＢを含むＶＯＰがＩ−ＶＯＰの場合
は符号化部１が、輝度信号と色差信号について、量子化
されたＤＣＴ係数を可変長符号化により圧縮する。量子
化されたＤＣＴ係数は、輝度信号と色差信号とについ
て、ＤＣＴと量子化とが実行されて算出される。そし
て、ヘッダ情報とともに所定の順序にしたがってビット
ストリームを作成する。

【００１９】一方、符号化すべきＭＢを含むＶＯＰがＩ
−ＶＯＰ以外の場合は符号化部１が、符号化すべきＭＢ
との輝度信号における差分値（ＭＣ誤差）が最も小さく
なる参照ＶＯＰ上のＭＢが探し出される。参照ＶＯＰ
は、符号化すべきＭＢを含むＶＯＰに対して、時間的に
隣接している符号化されたＶＯＰである。参照ＶＯＰ上
のＭＢで、符号化すべきＭＢとの輝度信号における差分
値（ＭＣ誤差）が最も小さくなるような、ＭＢが探し出
される。このＭＢを探し出すために、ブロックマッチン
グに代表される動き検出法が使用される。符号化すべき
ＭＢからＭＣ誤差が最も小さくなるＭＢまでの動きを示
すベクトルが生成される。このベクトルは、動きベクト
ルと呼ばれる。ＭＣ誤差に対して、ＤＣＴと量子化とが
実行される。得られた動きベクトルと、輝度信号および
色差信号のＭＣ誤差について量子化されたＤＣＴ係数と
を可変長符号化により圧縮する。これら圧縮された動き
ベクトルと量子化されたＤＣＴ係数とが、ヘッダ情報と
ともに所定の順序にしたがってビットストリームとして
生成される。

【００２０】また、フレームレート更新部４から、出力
される動画像のフレームレートを指定する制御信号が符
号化部１に出力される。さらに、発生符号量制御部５か
ら、符号化によって発生する符号量の目標値を指定する
制御信号が符号化部１に出力される。これら、フレーム
レートと発生符号量の目標値とが指定されて、符号化部
１はフレームスキップまたはスタッフィングを実行す
る。そして、可変長符号化された符号列は、出力バッフ
ァ２に出力される。

【００２１】出力バッファ２は、符号化部１で符号化さ
れた符号化列を、目標のビットレートで出力する。この
ビットレートは、装置制御部７で設定される。また、Ｖ
ＯＰの発生符号量を算出し、算出された発生符号量を仮
想バッファ３と発生符号量制御部５に出力する。

【００２２】仮想バッファ３は、装置制御部７で設定さ
れたバッファ占有量の初期値（図１のＢ₀）がバッファ
占有量に設定される。最初のフレームの符号化後、出力
バッファ２から得られる最初のフレームの発生符号量
（図１のｄ０）を、バッファ占有量から減少させる（図
１のＢ’_０）。その後、つぎに符号化するフレームまで
の時間（図１のＴ：フレーム間隔）にビットレートを乗
じた値を、バッファ占有量に増加させる（図１の
Ｂ_１）。これ以降、出力バッファ２から得られる発生符
号量を、バッファ占有量から減少させ、つぎのフレーム
間隔にビットレートを乗じた値を、バッファ占有量に増
加させる、ということをフレームごとに実行する。ま
た、仮想バッファ３は、時刻ごとのバッファ占有量を、
フレームレート更新部４、発生符号量制御部５、および
符号化モード設定部６へ与える。

【００２３】フレームレート更新部４は、１枚分の符号
量が取り去られた後のバッファ占有量を検査し、あらか
じめ設定されたフレームスキップを実行するバッファ占
有量に対応するしきい値（制御ポイント）に応じたフレ
ームレートを符号化モード設定部６および符号化部１に
出力する。複数の制御ポイントに応じたフレームレート
を符号化モード設定部６および符号化部１に出力する。

【００２４】発生符号量制御部５は、出力バッファ２か
ら得られる符号化したＶＯＰの発生符号量と、符号化し
たＶＯＰの量子化スケールの平均値とを、符号化モード
別に記憶し、これを符号化モード設定部６へと与える。
また、つぎに符号化すべきＶＯＰ符号化モードを、所定
の規則（たとえば、ＭＰＥＧ−２のＧＯＰ構造）や後述
する動画像の変化を考慮して決定し、これを符号化モー
ド設定部６へと与える。また、仮想バッファ３のバッフ
ァ占有量から、つぎに符号化すべきＶＯＰの量子化スケ
ールやスタッフィングビット数などを、符号化部１へと
与える。

【００２５】符号化モード設定部６は、発生符号量制御
部５で決定された符号化モードで符号化された場合の発
生符号量を推定する。この符号量と、仮想バッファ３か
ら得られるバッファ占有量とから符号化後の仮想バッフ
ァ３のバッファ占有量を推定する。そして、推定された
バッファ占有量に対応するフレームレートに適する符号
化モードを指定する制御信号を符号化部１に出力する。

【００２６】装置制御部７は、符号化部１、出力バッフ
ァ２、仮想バッファ３、フレームレート更新部４、およ
び発生符号量制御部５を制御する。たとえば、装置が出
力すべきビットストリームの制御をする。具体的には、
目標となる発生符号量（目標ビットレート）を発生符号
量制御部５に指示する。発生符号量制御部５は、この目
標ビットレートに合うように、符号化部１に様々な符号
化パラメタ（量子化スケール、スタッフィングビット
数、符号化モード、およびフレームスキップ数）を与
え、発生符号量を制御している。また、目標となる、単
位時間当りのフレーム数（目標フレームレート）をフレ
ームレート更新部４に指示する。さらに、仮想バッファ
３に初期遅延量の値を指示する。また、誤り耐性などの
符号化モードの設定条件を発生符号量制御部５に設定す
る。さらに、制御ポイントを設定してもよい。また、装
置制御部７は、装置に入力される画像信号の制御も実行
する。

【００２７】図３は、符号化後のフレームレートを推定
することによって、符号化する方式を設定するフロー図
である。

【００２８】画質の向上やエラー耐性、ランダムアクセ
ス性を考慮して、ビットストリーム中にＩ−ＶＯＰで符
号化されることがある。一般的に、Ｐ−ＶＯＰやＢ−Ｖ
ＯＰで符号化を行うよりも、Ｉ−ＶＯＰで符号化を行う
方が発生する符号量は多くなることが知られている。

【００２９】したがって、頻繁にＩ−ＶＯＰを挿入する
と、仮想バッファ３がアンダーフロー傾向になる。特
に、バッファ占有量が低い場合（たとえば、図１、図４
または図５のＢ（ｍｉｎ）の場合）で比較的発生符号量
の多いＩ−ＶＯＰで符号化を行うと、Ｂ（ｍｉｎ）を下
回り、フレームスキップ数が急激に増加し、目標フレー
ムレートが急激に小さくなる場合が起こりうる。このよ
うに目標フレームレートが急激に変動している符号化さ
れた動画像を、ユーザが見た場合、見栄えが悪いと感じ
ることが多い。そこで、Ｉ−ＶＯＰの挿入により目標フ
レームレートが急激に変動してしまう場合には、Ｉ−Ｖ
ＯＰで符号化をしないように制御する。

【００３０】動画像の符号化が開始されると、ステップ
ＳＴ−Ａ１でＶＯＰをイントラ符号化するか否かが判定
される。この判定は、発生符号量制御部５が実行する。
たとえば、動画像が劇的に変化する（シーンチェンジ）
場合は、ＶＯＰをイントラ符号化する等の制御をする。
発生符号量制御部５がＶＯＰをイントラ符号化すると判
定した場合は、ステップＳＴ−Ａ３に進む。一方、発生
符号量制御部５がＶＯＰをイントラ符号化しないと判定
した場合は、ステップＳＴ−Ａ２に進む。

【００３１】ステップＳＴ−Ａ２では、ＶＯＰをインタ
ー符号化する。ここでは、Ｐ−ＶＯＰに符号化する。ま
た、Ｐ−ＶＯＰだけでなく、Ｂ−ＶＯＰに符号化するよ
うに設定されてもよい。また、発生符号量制御部５が判
断して、Ｐ−ＶＯＰまたはＢ−ＶＯＰのいずれかに符号
化するように設定してもよい。さらに、後述するように
ステップＳＴ−Ａ３、およびＳＴ−Ａ４においてＩ−Ｖ
ＯＰについて実行されることをＰ−ＶＯＰについても実
行されてもよい。すなわち、Ｐ−ＶＯＰで符号化後のフ
レームレートが推定されて、このフレームレートが所定
値以上である場合は、Ｂ−ＶＯＰで符号化するように設
定されていてもよい。

【００３２】ステップＳＴ−Ａ３では、Ｉ−ＶＯＰに符
号化後のフレームレートを推定する。そして、ステップ
ＳＴ−Ａ４では、ステップＳＴ−Ａ３で推定されたフレ
ームレートと所望のフレームレートとの差が、所定値よ
り小さいか否かが判定される。すなわち、ステップＳＴ
−Ａ３で推定されたフレームレートがその直前のフレー
ムレートに比較して急激に変化しているか否かが判定さ
れる。この場合は、その差が所定値よりも小さい場合
は、フレームレートが急激に変化していないと判定され
ることになる。この所定値は、装置制御部７によって与
えられる。ステップＳＴ−Ａ４で、ステップＳＴ−Ａ３
で推定されたフレームレートと所望のフレームレートと
の差が、所定値より小さい場合は、ステップＳＴ−Ａ５
に進む。一方、ステップＳＴ−Ａ３で推定されたフレー
ムレートと所望のフレームレートとの差が、所定値より
小さくない場合は、ステップＳＴ−Ａ２に進む。

【００３３】フレームレートを推定するには、Ｉ−ＶＯ
Ｐで符号化後の仮想バッファ３のバッファ占有量を知る
必要がある。すなわち、Ｉ−ＶＯＰで符号化した場合の
符号量が必要になる。そこで、以前に符号化したＩ−Ｖ
ＯＰの符号量とその量子化スケールの平均値とから、符
号化モード設定部６がＩ−ＶＯＰの符号量を推測する。
この推測されたＩ−ＶＯＰの符号量と、符号化直前の仮
想バッファ３のバッファ占有量とにより、Ｉ−ＶＯＰに
符号化した場合の仮想バッファ３のバッファ占有量を計
算して推測することが可能になる。バッファ占有量が推
測されると、フレームレートを推定することができる。

【００３４】ステップＳＴ−Ａ５では、Ｉ−ＶＯＰで動
画像を符号化する。そして、つぎのＶＯＰを符号化する
ために、ステップＳＴ−Ａ１に戻る。そして、全ての動
画像を符号化するまで、上記ステップを繰り返す。

【００３５】図４は、従来の方法によってある動画像を
符号化する場合での、時間に対する仮想バッファ３のバ
ッファ占有量の一例を示す図である。図５は、図４に示
されるように符号化される動画像を、第１の実施形態に
おける動画像符号化装置を使用して符号化した場合の、
時間に対する仮想バッファ３のバッファ占有量を示す図
である。

【００３６】図３に示したフロー図にしたがって符号化
を実行することにより、図４でＶＯＰをイントラ符号化
している時刻ｔ_Ｉで、ＶＯＰをイントラ符号化しないで
Ｐ−ＶＯＰ符号化した場合を図５は示している。すなわ
ち、図４および図５に示されている時刻ｔ_Ｉにおいて、
図４では、Ｉ−ＶＯＰに符号化しているが、図５では、
Ｐ−ＶＯＰに符号化している。

【００３７】図５では、図３に示したようにＩ−ＶＯＰ
に符号化した後のフレームレートを推定して、そのフレ
ームレートの変化が所定値以内である場合には、Ｉ−Ｖ
ＯＰに符号化される（図５の時刻ｔ’_Ｉ）。図４に示さ
れる時刻ｔ_ＩでＩ−ＶＯＰ符号化されると、フレームス
キップが図４に示されるように、Ｉ−ＶＯＰに符号化さ
れる前後で大きく変動する。図５では、時刻ｔ_Ｉで符号
化する時点で図３に示される方法により、時刻ｔ_Ｉの前
後ではＩ−ＶＯＰに符号化されるとフレームレートが大
きく変動してしまうことを避けるために時刻ｔ_ＩではＰ
−ＶＯＰに符号化する。

【００３８】その結果、図４に示されるように時刻ｔ_Ｉ
の前後に見られるようなフレームスキップ数の変動はな
くなり、変動の少ないフレームスキップを得ることが可
能になる。したがって、動画像全体を通じて画質向上を
実現することが可能になる。

【００３９】（第２の実施形態）この発明の第２の実施
形態に係る動画像符号化装置の構成は、第１の実施形態
に係る動画符号化装置の構成と同様である。すなわち、
この発明の動画像符号化装置は、符号化部１、出力バッ
ファ２、仮想バッファ３、フレームレート更新部４、発
生符号量制御部５、符号化モード設定部６、および装置
制御部７からなる。ただし、フレームレート更新部４お
よび発生符号量制御部５の動作が異なる。以下、この相
違点を中心にして第２の実施形態を説明する。

【００４０】図６は、この発明の第２の実施形態におけ
る時間に対する仮想バッファ３のバッファ占有量を示す
図であって、フレームスキップを実行するバッファ占有
量に対応するしきい値（制御ポイント）を３段階設定し
た場合（図６に示されているＢ１、Ｂ２、およびＢ（ｍ
ｉｎ））の時間に対する仮想バッファ３のバッファ占有
量の履歴（破線）と、制御ポイントを１つのみ設定した
場合（図６に示されているＢ（ｍｉｎ））の時間に対す
る仮想バッファ３のバッファ占有量の履歴（実線）とを
示す図である。

【００４１】図６の破線に示されている例では、上記の
しきい値である制御ポイントが３段階設けられている。
一番大きな値としてＢ１、つぎに大きな値としてＢ２、
最終的な限界値としてＢ（ｍｉｎ）が設定されている。
Ｂ（ｍｉｎ）は、１画像がインター符号化された程度の
大きさであり、Ｂ１とＢ２との差、およびＢ２とＢ（ｍ
ｉｎ）との差も１画像がインター符号化された程度の大
きさである。しかし、これらの値は特に限定する必要は
なく、動画像符号化装置の製造者が所望の値に自在に設
定することが可能である。仮想バッファ３内のバッファ
占有量は、フレームレート更新部４に入力され、３段階
に設定された制御ポイントに応じた目標フレームレート
を符号化モード設定部６および符号化部１に出力する。

【００４２】また、目標フレームレートをたとえば、秒
１５枚とする。すなわち、通常の制御では、符号化する
フレーム間隔が２枚ごとスキップする枚数は１枚という
設定で符号化を実行する。フレームレート更新部４には
通常動作でのスキップ枚数は１、Ｂ１を下回った場合の
スキップ枚数は２、Ｂ２を下回った場合のスキップ枚数
は３、Ｂ（ｍｉｎ）を下回った場合はバッファが回復す
るまでのスキップ枚数だけスキップするという条件が入
力されている。

【００４３】図６に示されている最初の状態（時間が０
からｔ_３まで）では、バッファ占有量が十分であるため
制御ポイントを設定しない場合（実線の履歴）、および
制御ポイントを設定する場合（破線の履歴）ともに同様
なバッファ占有量の履歴を示す。ｔ_０からｔ_３まで、一
定の時間間隔Ｔを保っている。この時間間隔（フレーム
スキップ）は、フレームレートに反比例している。ゆえ
に、図６のｔ_０からｔ _３までフレームレートは、秒１５
枚をキープし、１枚スキップしながら符号化されてい
る。時刻ｔ_３において、第１の制御ポイントＢ１を下回
る。したがって、フレームレート更新部４においてＢ１
に対応するスキップ枚数２が選択される。すると、フレ
ームスキップ数が増える。換言すれば、フレームレート
が遅くなる。図６では、つぎに符号化される時刻をｔ’
_４とすると、ｔ’_４−ｔ_３＞Ｔになる。その後の
ｔ’_４、ｔ’_５、ｔ’_６では、それぞれスキップ枚数が
３、２、３と続く。このように、図６に示した符号化例
では、制御ポイントを３つ設定した場合は、フレームス
キップ数は、３枚より多くなっていない。したがって、
全体を通してＢ（ｍｉｎ）を下回る機会が著しく減少
し、大きなフレームスキップを必要としなくなる。

【００４４】一方、制御ポイントＢ１およびＢ２が設定
されていない場合は、時刻ｔ_３において、スキップ枚数
は１のままである。そして、この場合は、つぎに符号化
する時刻ｔ_４においてＢ（ｍｉｎ）を下回る。ゆえに、
バッファアンダーフローを防ぐために、大きなフレーム
スキップが実行される。図６の場合は、スキップ枚数は
３枚より多くなってしまう。また、Ｂ（ｍｉｎ）以上の
スキップ枚数は常に１であるので、符号量の多いフレー
ムがあると時刻ｔ_６の場合のように、バッファ占有量が
再びＢ（ｍｉｎ）を下回ってしまう場合が頻発しうる。
その結果、フレームスキップ数が１と３の間をゆらぎ、
フレームスキップ数の変動が大きくなる。また、この場
合であれば、Ｂ１の制御ポイントの周辺を行ったり来た
りする場合でも、フレームスキップ数の変動は１枚です
むため、見た目には大きな変動を感じさせずにすむ。

【００４５】以上のように、制御ポイントが複数ある場
合は、制御ポイントが１つしかない場合に比較して、フ
レームスキップ数のゆらぎの大きさが小さい。したがっ
て、見た目には大きな変動を感じさせずにすむ。バッフ
ァ占有量のフレームスキップ数が１枚ずつ段階的に変化
するように設定されているので、フレームスキップ数が
突然２枚変化する可能性は、制御ポイントが１つしかな
い場合に比較して格段に少なくなる。さらにはバッファ
占有量が全体を通して高い値で推移するため量子化スケ
ール値を粗くすることも少なくなり、全体を通した画質
向上を実現できる。

【００４６】図７は、図３の工程に加えて、過去の所定
時間内のイントラ符号化されたＶＯＰの数を確認するこ
とによって符号化する方式を設定する工程を含むフロー
図である。

【００４７】第１の実施形態での符号化の動作を示すフ
ローに１つのステップが加わったものが第２の実施形態
での符号化の動作を示すフローである。すなわち図３の
ステップＳＴ−Ａ１とステップＳＴ−Ａ３との間に新た
なステップが付加される。新たなステップは、頻繁にＩ
−ＶＯＰで符号化されないようにするためのものであ
る。

【００４８】上述したように、一般的にＰ−ＶＯＰやＢ
−ＶＯＰで符号化を行うよりも、Ｉ−ＶＯＰで符号化を
行う方が発生する符号量は多くなる。したがって、頻繁
にＩ−ＶＯＰを挿入すると、仮想バッファ３がアンダー
フロー傾向になる。たとえば、動画像が劇的に変化する
シーンチェンジの場合は、ＶＯＰをイントラ符号化する
ことが多く、シーンチェンジが頻出する場合は仮想バッ
ファ３がアンダーフロー傾向になりやすい。そこで、Ｉ
−ＶＯＰを頻繁に挿入しないように制御する。その方法
として第２の実施形態では、ある一定時間内で符号化さ
れたＶＯＰのうち、Ｉ−ＶＯＰで符号化される最大のＶ
ＯＰ数を制限する。

【００４９】具体的には、発生符号量制御部５がＶＯＰ
をイントラ符号化すると決定した場合に、ステップＳＴ
−Ｂ１からステップＳＴ−Ｂ３に進む。ステップＳＴ−
Ｂ３では、過去の所定時間内にＩ−ＶＯＰに符号化され
たＶＯＰ数をあらかじめ設定してある所定数と比較す
る。Ｉ−ＶＯＰに符号化されたＶＯＰ数が所定数以上で
ある場合には、バッファ占有量が小さくバッファアンダ
ーフローが発生しやすい状態であるとみなす。この場合
は、Ｉ−ＶＯＰに符号化せず、Ｐ−ＶＯＰで符号化する
（ＳＴ−Ｂ２）。また、設定してある所定数は、通常、
仮想バッファ３の大きさに依存して決定される。過去の
所定時間内のＩ−ＶＯＰ数は、たとえば符号化モード設
定部６がカウントしておき、ＶＯＰが符号化されるごと
にアップデートされるように設定しておく。

【００５０】この結果、ステップＳＴ−Ｂ３によって、
Ｉ−ＶＯＰが頻繁に挿入され仮想バッファ３がバッファ
アンダーフロー傾向になることを抑制することができ
る。

【００５１】ほかのステップは、すべて第１の実施形態
で示した図３と同様である。

【００５２】図８は、図６に示されたしきい値を設定し
て、図７のフロー図に示される方法を使用して、動画像
を符号化した場合の、時間に対する仮想バッファ３のバ
ッファ占有量を示す図である。

【００５３】バッファ占有量が時刻ｔ_１、ｔ_２、ｔ_３等
のＢ１またはＢ２以下にある場合は、Ｂ２以上Ｂ１未
満、Ｂ（ｍｉｎ）以上Ｂ２未満、Ｂ（ｍｉｎ）未満にし
たがって、段階的にフレームスキップ数が多くされる。
その結果、隣同士のフレームでは、スキップする枚数に
最大１枚の差があるだけである。ところで、バッファ占
有量がＢ（ｍｉｎ）未満の場合は、隣のフレームとの間
でスキップする枚数差が１枚以上である可能性はある。
しかし、Ｂ（ｍｉｎ）以上のしきい値Ｂ１およびＢ２で
段階的にフレームスキップ数が増加されているので、ス
キップ枚数差が２枚以上になる場合は少ない。したがっ
て、ユーザは、見た目に画像が大きく変動することな
く、スムーズに安定した動画像を見ることが可能にな
る。また、バッファ占有量が全体を通して高い値で推移
するため量子化スケール値を粗くすることも少なくな
り、全体を通した画質向上を実現できる。

【００５４】また、バッファ占有量に無関係に、ある一
定時間内で符号化されたＶＯＰのうち、Ｉ−ＶＯＰで符
号化される最大のＶＯＰ数を制限している。さらに、あ
るＶＯＰを符号化する際に、フレームレートがどう変化
するかを推定して、その推定されたフレームレートにし
たがって、イントラ符号化をするかインター符号化をす
るかが決定される。したがって、フレームレートが急激
に低下することを避けることができる。ゆえに、バッフ
ァアンダーフローを防ぐことが可能になる。また、フレ
ームスキップ数が急に増えることも防ぐことができる。
その結果、ユーザは、見た目に画像が大きく変動するこ
となく、スムーズに安定した動画像を見ることが可能に
なる。また、バッファ占有量が全体を通して高い値で推
移するため量子化スケール値を粗くすることも少なくな
り、全体を通した画質向上を実現できる。

【００５５】この発明は、上述した実施の形態に限定さ
れるものではなく、その技術的範囲において種々変形し
て実施することができる。

【００５６】

【発明の効果】この発明の動画像符号化装置によれば、
フレームスキップ数が大きく変動することを避けること
ができるので、見た目に画像が大きく変動することな
く、スムーズに安定した動画像を見ることが可能にな
る。

【００５７】また、バッファ占有量が全体を通して高い
値で推移させることが可能になる。したがって、量子化
スケール値を粗くすることも少なくなり、全体を通した
画質向上を実現できる。

【図面の簡単な説明】

【図１】仮想バッファを制御する従来の方法を示す図で
あって、時間に対する仮想バッファのバッファ占有量を
示す図である。

【図２】この発明の実施形態における動画像符号化装置
の電気的な内部構成を示す機能ブロック図である。

【図３】この発明の第１の実施形態における符号化する
方式を設定するための手順を示すフロー図であって、符
号化後のフレームレートを推定することによって、符号
化する方式を設定するフロー図である。

【図４】従来の方法によってある動画像を符号化する場
合での、時間に対する仮想バッファのバッファ占有量の
一例を示す図である。

【図５】図４に示されるように符号化される動画像を、
この発明の第１の実施形態における動画像符号化装置を
使用して符号化した場合の、時間に対する仮想バッファ
のバッファ占有量を示す図である。

【図６】この発明の第２の実施形態における時間に対す
る仮想バッファのバッファ占有量を示す図であって、フ
レームスキップを実行するバッファ占有量に対応するし
きい値（制御ポイント）を３段階設定した場合の時間に
対する仮想バッファのバッファ占有量の履歴（破線）
と、制御ポイントを１つのみ設定した場合の時間に対す
る仮想バッファのバッファ占有量の履歴（実線）とを示
す図である。

【図７】この発明の第２の実施形態における符号化する
方式を設定するための手順を示すフロー図であって、図
３の工程に加えて、過去の所定時間内のイントラ符号化
されたＶＯＰの数を確認することによって符号化する方
式を設定する工程を含むフロー図である。

【図８】図６に示されたしきい値を設定して、図７のフ
ロー図に示される方法を使用して、動画像を符号化した
場合の、時間に対する仮想バッファのバッファ占有量を
示す図である。

【符号の説明】

１符号化部２出力バッファ３仮想バッファ４フレームレート更新部５発生符号量制御部６符号化モード設定部７装置制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者川勝裕和神奈川県川崎市幸区柳町70番地株式会社東芝柳町事業所内Ｆターム(参考） 5C059 KK01 LB07 MA00 MA05 MA14 MA23 MC11 MC38 ME01 NN21 PP05 PP06 PP07 TA07 TA18 TB07 TC16 TC19 TC20 TC27 TC38 TD12 UA02 UA32 UA38 5J064 BB01 BC01 BC26 BD03

Claims

【特許請求の範囲】

【請求項１】復号側でのバッファの占有量を推測する
ための仮想バッファを参照しながら符号化を実行する動
画像符号化装置において、１画像が画面内符号化されたときの発生符号量を推定す
る発生符号量推定手段と、前記１画像分の推定された発生符号量が取り去られたと
きの前記仮想バッファのバッファ占有量を推定するバッ
ファ占有量推定手段と、前記推定されたバッファ占有量をもとづいて、フレーム
レートを推定するフレームレート推定手段と、所望のフレームレートを指定するフレームレート指定手
段と、前記推定されたフレームレートと、前記指定されている
フレームレ−トとの差が所定値以上か否かを判定するフ
レームレート判定手段と、前記判定されたフレームレートの差が所定値未満の場合
は画面内符号化を実行し、前記判定されたフレームレー
トの差が所定値以上である場合は画面間符号化によって
符号化を実行するように制御する符号化制御手段と、を具備することを特徴とする動画像符号化装置。
【請求項２】仮想バッファにしきい値を設定する設定
手段と、当該しきい値と１画像が符号化された直後の前記仮想バ
ッファのバッファ占有量とが比較されることによって、
フレームレートを更新するフレームレート更新手段と、をさらに具備することを特徴とする請求項１記載の動画
像符号化装置。
【請求項３】前記設定手段は、バッファ占有量に複数
のしきい値を設定することを特徴とする請求項２記載の
動画像符号化装置。
【請求項４】前記フレームレート更新手段は、前記複
数のしきい値のうち、最も大きい値を有するしきい値か
ら最も低い値を有するしきい値によって区切られた複数
の領域で、１画像が符号化された直後の前記仮想バッフ
ァのバッファ占有量が低い領域に属するほど、フレーム
レートが順に低くなるように更新することを特徴とする
請求項３記載の動画像符号化装置。
【請求項５】過去のある時間内に画面内符号化された
フレームの数を算出するフレーム数算出手段と、前記算出されたフレーム数が所定数未満か否かを判定す
るフレーム数判定手段と、前記フレーム数が所定数以上の場合は画面間符号化を実
行するように制御する制御手段と、をさらに具備することを特徴とする請求項１から請求項
４のいずれかに記載の動画像符号化装置。