JP2003125400A - 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】ＶＢＶのアンダーフロー防止策に起因する画質
劣化を回避でき、高能率な動画像符号化方法および動画
像音声多重化方法を提供すること 【解決手段】入力した動画像信号から少なくとも１枚の
フレームを符号化して符号化フレームを生成する処理を
可変のフレームレートで行う動画像符号化において、直
前に符号化されたフレームから現在のフレームまでの経
過時間を算出し、これが所定の時間を超えたか否かを判
定する。経過時間が所定の時間を超えた場合には、符号
化データを伴わないヘッダデータのみを出力する。所定
の時間を超えない場合には、フレームレートの変更のた
めに符号化フレームの生成処理をスキップするか否かを
判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意の可変フレー
ムレートで符号化を行う動画像符号化及び動画像音声多
重化に関する。

【０００２】

【従来の技術】インターネットや第三世代携帯電話での
映像配信等で用いられる動画像符号化の国際標準規格と
してＭＰＥＧ４（ＩＳＯ／ＩＥＣ１４４９６−２）が知
られている。ＭＰＥＧ４は、低ビットレートでの符号化
効率に優れ、また誤り耐性の強化等の多彩なオプション
が盛り込まれており、次世代の動画像符号化方式として
注目されている。ＭＰＥＧ４動画像符号化では、任意の
可変フレームレートでの符号化を行うことが可能であ
り、伝送ビットレートや画像の性質に応じて、フレーム
レートを動的に制御することで、画質を向上させること
が可能である。フレームレートの制御については、例え
ば特開平０９−１３０７８７号公報に記載の方法などが
知られている。

【０００３】ＭＰＥＧ４規格において、フレーム単位の
符号量の時間変動は、仮想受信バッファＶＢＶ（Ｖｉｄ
ｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）の範囲
内で吸収できる範囲に制限されている。つまり、エンコ
ーダ（符号化器）では、ＶＢＶバッファがアンダーフロ
ー及びオーバーフローしないように、発生符号量を動的
に制御する必要がある。ＭＰＥＧ４エンコーダでは、通
常、量子化ステップの制御とフレームスキップの制御に
より発生符号量の制御を行っている。固定ビットレート
の符号化においては、ＶＢＶバッファのオーバーフロー
については、通常、スタッフィング処理により回避され
る。また、可変ビットレートの符号化においては、ＶＢ
Ｖバッファのオーバーフローは、ＶＢＶモデル上発生せ
ず、スタッフィングは不要となっている。

【０００４】一方、ＶＢＶバッファのアンダーフローに
ついては、固定ビットレートまたは可変ビットレートの
如何を問わず、エンコーダでの適切な符号量制御によっ
て発生を防がなければならない。ＶＢＶバッファのアン
ダーフローを防ぐ具体的な方法については、規格上は規
定されておらず、エンコーダ独自の制御の実装が必要と
されている。通常、ＶＢＶバッファのアンダーフローを
防ぐためには、ＶＢＶバッファの占有量が低下したと
き、フレームスキップを予め多く発生させたり、或いは
量子化制御を急激に変化させて発生符号量を抑える処理
などが行われるが、その結果、符号化画像の画質劣化を
招く場合がある。

【０００５】ＭＰＥＧ４規格に沿って符号化された動画
像符号化データは、関連する音声データと共にパケット
多重化されることが一般的である。例えば、データ放送
規格であるＡＲＩＢ ＳＴＤ−Ｂ２４（（社）電波産業
会）などでは、ＭＰＥＧ４動画像符号化データをＭＰＥ
Ｇ２−ＴＳ（トランスポートストリーム）（ＩＳＯ／Ｉ
ＥＣ１３８１８−１）により、パケット多重化する方式
が採用されている。このＭＰＥＧ２−ＴＳでは、アクセ
スユニットと呼ばれる単位毎にタイムスタンプを付与し
て多重化を行うことで、再生側での同期を保証する。こ
のようなＭＰＥＧ２−ＴＳの規格においては、アクセス
ユニットのタイムスタンプのインターバルは、０．７秒
（７００ｍｓｅｃ）以内にすることが規定されている。
なお、動画像では符号化フレームがアクセスユニットの
単位となる。

【０００６】上述したようなＶＢＶの破綻を防ぐための
フレームスキップ制御を行うにあたり、連続するフレー
ムの間隔が０．７秒を超えてしまうと、ＭＰＥＧ２−Ｔ
Ｓ多重化規格での規格違反を発生させてしまう場合があ
る。逆に、上記最大フレーム間隔の制限の下、フレーム
レートの制御が制約を受けると、特に低ビットレート符
号化時に画質劣化を引き起こす場合がある。

【０００７】

【発明が解決しようとする課題】上述したように、従
来、ＭＰＥＧ４エンコーダ等において、ＶＢＶバッファ
のアンダーフローを防ぐための量子化制御及びフレーム
レート制御により、画質劣化を引き起こすという問題点
がある。また、ＭＰＥＧ４の動画像データをＭＰＥＧ２
−ＴＳに従い多重化する場合、最大アクセスユニットイ
ンターバルの制限から任意のフレームスキップ制御が困
難になり、特に低ビットレート符号化時において画質劣
化を招くという問題点がある。

【０００８】本発明は、このような事情を考慮してなさ
れたものであり、最大フレーム間隔に制限がある場合に
おいても、画質劣化を伴わず、且つＶＢＶの制限を確実
に満たすことが可能な、高画質で高能率な動画像符号化
及び動画像音声多重化を実現することを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決し目的を
達成するために本発明は次のように構成されている。

【００１０】本発明の請求項１に係る動画像符号化方法
は、入力した動画像信号から少なくとも１枚のフレーム
を符号化して符号化フレームを生成する処理を可変のフ
レームレートで行う動画像符号化方法において、直前に
符号化されたフレームから現在のフレームまでの経過時
間を算出するステップと、前記経過時間が所定の時間を
超えたか否かを判定するステップと、前記経過時間が所
定の時間を超えた場合に、符号化データを伴わないヘッ
ダデータを出力するステップと、前記経過時間が所定の
時間を超えない場合に、前記フレームレートの変更のた
めに前記符号化フレームの生成処理をスキップするステ
ップとを具備することを特徴とする。

【００１１】本発明の請求項４に係る動画像音声多重化
方法は、上記動画像符号化方法に従い符号化された動画
像の符号化データと当該動画像に関係する音声の符号化
データとを多重化して多重化データを出力する動画像音
声多重化方法において、前記動画像符号化データのヘッ
ダデータに基づいてタイムスタンプを生成するステップ
と、前記動画像の符号化データ及び前記音声の符号化デ
ータをそれぞれパケット化するステップと、パケット化
された前記動画像の符号化データ及び音声の符号化デー
タのそれぞれのヘッダデータに前記タイムスタンプをセ
ットすると共に多重化するステップとを具備することを
特徴とする。

【００１２】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態を説明する。

【００１３】図１は、本発明の第一の実施形態に係わる
動画像符号化の処理の流れを示すフローチャートであ
る。第一の実施形態に係わる動画像符号化の処理では、
動画像信号を１フレームづつ順次入力する。そして、入
力した当該フレームについて、ＭＰＥＧ４などの符号化
方式に従い符号化して符号化データを出力するか、ある
いはこれを符号化せずにスキップし、次の入力フレーム
を待つ。この２つの動作のうちのいずれかを入力フレー
ム毎に繰り返し行う。後述する実施形態を含め、本発明
に係わる動画像符号化の処理は、論理回路等から成る動
画像符号化装置として、あるいはコンピュータに当該処
理を実行させる動画像符号化プログラムとして実現され
る。

【００１４】ＭＰＥＧ４の規格では、フレームスキップ
を実現するため、符号化された動画像フレーム毎に挿入
されるＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎ
ｅ）ヘッダに、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ
とｖｏｐ＿ｃｏｄｅｄというフラグが含まれている。前
者は、直前に符号化されたフレームからの時間間隔を表
し、また、後者の値が０の場合、ヘッダのみで符号化デ
ータが存在しないことを示すものである。ｖｏｐ＿ｔｉ
ｍｅ＿ｉｎｃｒｅｍｅｎｔに大きな値を設定すれば、そ
の間のフレームがスキップしたことを示し、また、ｖｏ
ｐ＿ｃｏｄｅｄが０であればそのフレームがスキップさ
れてヘッダのみを送出したことを示す。ＭＰＥＧ４のフ
レームスキップは、上記何れかの方法で実現される。た
だし、後者の方法では、フレームスキップ時においても
ＶＯＰヘッダが送出される分、オーバーヘッドが発生す
ることになる。本発明の実施形態では、このオーバーヘ
ッドによる不効率を解消する。

【００１５】図１を参照するに、符号化が開始される
と、最初に入力される動画像フレームのタイムスタンプ
ＴＳ０を取得する（ステップＳ１）。次に、符号化すべ
き動画像フレームのタイムスタンプＴＳ１を取得する
（ステップＳ２）。最初のフレームでは、ＴＳ０とＴＳ
１は同一である。

【００１６】次に、ＴＳ１とＴＳ０を比較し、その差が
０．７秒以上であるか否かを判定する（ステップＳ
３）。ここで、ＴＳ１とＴＳ０との差が０．７秒以上で
あった場合、ヘッダデータの生成及び出力を行う（ステ
ップＳ４）。ここで、ＭＰＥＧ４の符号化方式に従う本
実施形態の場合、フレームデータに対しＶＯＰヘッダを
生成、挿入し、かつＶＯＰヘッダ内のｖｏｐ＿ｃｏｄｅ
ｄフラグを０とする。さらに、ＶＯＰヘッダ内に含ま
れ、そのフレームの時刻情報を表すデータエレメントで
あるｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅおよびｖｏｐ＿
ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔについては、ＴＳ０から
の差分が０．７秒を超えないようにＴＳ１より前の時刻
に相当する値を設定する。

【００１７】ＭＰＥＧ４の規格においては、ｖｏｐ＿ｃ
ｏｄｅｄフラグが１である場合、ＶＯＰヘッダ以下に１
フレーム分の符号化データが続くことを示す。一方、ｖ
ｏｐ＿ｃｏｄｅｄフラグが０の場合はＶＯＰヘッダのみ
が存在することを示し、そのフレームの符号化データは
送信されず、受信側では直前に復号したフレームを表示
すると規定されている。これにより、ｖｏｐ＿ｃｏｄｅ
ｄフラグを０とすることで、１フレーム分のダミーの符
号化データとして、ヘッダデータのみを送ることが可能
である。

【００１８】次に、現在の入力フレーム（タイムスタン
プがＴＳ１のフレーム）について、これを符号化するべ
きか、それとも符号化をスキップするべきかの判断を行
う（ステップＳ５）。フレームスキップ決定の具体的な
実施形態については後述する。ステップＳ５において、
入力フレームを符号化せずにスキップすると判断した場
合、当該入力フレームを破棄し、次の入力フレームに対
してステップＳ２からの処理を継続する。一方、ステッ
プＳ５において入力フレームを符号化すると判断した場
合は、現在の入力フレーム（タイムスタンプがＴＳ１の
フレーム）に対するＶＯＰヘッダを、ｖｏｐ＿ｃｏｄｅ
ｄを１として生成及び出力する（ステップＳ６）。続い
て、現在の入力フレームの符号化を行い、符号化データ
を生成及び出力する（ステップＳ７）。そして、現在の
入力フレームのタイムスタンプＴＳ１をＴＳ０として保
存し（ステップＳ８）、次の入力フレームに対してステ
ップＳ２からの処理を継続する。

【００１９】ＭＰＥＧ２−ＴＳの多重化規格では、アク
セスユニットのデコード時刻ＤＴＳ（Ｄｅｃｏｄｉｎｇ
Ｔｉｍｅ Ｓｔａｍｐ）、および表示時刻を示すタイ
ムスタンプＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍ
ｅ Ｓｔａｍｐ）が定義されている。動画像の場合、１
フレームが１アクセスユニットに相当する。タイムスタ
ンプ間の最大インターバルは０．７秒と規定されてい
る。そして本実施形態は、例えば、フレームレート可変
の符号化が可能なＭＰＥＧ４動画像符号化データを、Ｍ
ＰＥＧ２−ＴＳのようなアクセスユニットの最大インタ
ーバル制限の下で多重化する場合に有効である。

【００２０】本実施形態は、アクセスユニットのインタ
ーバルが所定時間を下回っている場合、ヘッダデータす
ら生成せずに、全く符号化データが発生しないフレーム
スキップを行う。一方、インターバルが０．７秒を超え
た場合は、ダミーのヘッダのみを出力する。このような
構成とすることで、オーバーヘッドの符号量（つまり、
ここではヘッダデータが相当する）を最小限に抑え、ア
クセスユニットの最大インターバルの制限の下、実質的
に任意の符号化フレームレートでの動画像符号化を実現
する。

【００２１】動的且つ任意にフレームレートを制御する
ことが可能になれば、入力画像の性質にあわせてフレー
ムレートを適切に制御することが可能となる。これは、
固定フレームレートでの符号化と比べて、安定且つ高画
質な符号化画像を得ることが可能になることを意味す
る。特に、低ビットレートで符号化を行うにあたり、入
力画像の解像度が高い、あるいは動きが激しい場合等
に、所定の符号化ビットレートおよび画質を維持するた
めフレームレートを下げる必要が生じても、ＭＰＥＧ２
−ＴＳでの多重化での制約を容易に満たすことが可能と
なる。なお、本発明は、ＭＰＥＧ４動画像符号化や、Ｍ
ＰＥＧ２−ＴＳ多重化に限定されるものではなく、フレ
ームレート可変の符号化が可能な任意の符号化方式にお
いて、システム上の制約でタイムスタンプの最大インタ
ーバルが制限された動画像符号化において有効である。

【００２２】ここで、本発明の実施形態に適用されるフ
レームスキップの制御について、図２乃至図７を参照
し、三例ほど説明する。

【００２３】図２および図３は、第一のフレームスキッ
プ制御を説明する図およびその処理の流れを示すフロー
チャートである。図２は、ＭＰＥＧ動画像符号化規格で
規定されるＶＢＶバッファの動作を、固定ビットレート
符号化を行っている場合について示している。縦軸はＶ
ＢＶバッファの占有量、横軸は時刻である。図中の１
０，１１，１２，１３は、各動画像フレームの発生符号
量を示しており、各フレームのデコード時刻において、
各フレームの符号化データ量に相当するバイト数がＶＢ
Ｖバッファから瞬時に抜き取られるというモデルであ
る。また、各フレームのデコード時刻から、次のフレー
ムのデコード時刻までの間は、固定のビットレートでＶ
ＢＶバッファの占有量が増加する。このＶＢＶモデルの
挙動は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４の動画像
符号化規格でそれぞれ規定されている。

【００２４】本発明の実施形態に係わる動画像符号化で
は、符号化と同時にＶＢＶバッファ占有量を逐次計算
し、フレームスキップの制御を行う。図２および図３を
参照して具体的な処理の流れを説明する。まず、図２に
おけるフレーム１１の符号化開始時点におけるＶＢＶの
占有量は、図中のＴ１１である。フレーム１１の符号化
が完了すると、フレーム１１の発生符号量をＴ１１から
減じ、ＶＢＶバッファ占有量は図中のＢ１１の点にな
る。次に、フレーム１１から次の入力フレーム１２まで
の間、固定のビットレートで、図中Ｔ１２の点までＶＢ
Ｖバッファ占有量を増加させる。

【００２５】ここで、次の入力フレーム１２に対する入
力フレームのアクティビティを計算する（図３のフロー
チャートにおけるＳ１１）。アクティビティは、フレー
ム内符号化画像の場合は画像信号のフレーム内の分散等
を用い、また、フレーム間符号化の場合は、フレーム間
差分信号に対する分散等を用いる。次に、ステップＳ１
１で求めたアクティビティと、直前に符号化したフレー
ム（ここではフレーム１１）のアクティビティと発生符
号量と用いて、フレーム１２の発生符号量を予測する
（ステップＳ１２）。次に示す式１は、発生符号量予測
の例を示している。 Ｅ（ｎ＋１） ＝ Ｇ（ｎ）×Ａ（ｎ＋１）／Ａ（ｎ）．．．（式１） ここで、Ｇ（ｎ）はｎ番目の符号化フレームの発生符号
量、Ａ（ｎ），Ａ（ｎ＋１）はｎ番目およびｎ＋１番目
のフレームのアクティビティ、Ｅ（ｎ＋１）はｎ＋１番
目のフレームの発生符号量予測値である。

【００２６】次に、ステップＳ１２で得られたフレーム
１２の発生符号量予測値を図２のＴ１２のＶＢＶ占有量
から減じたＢ１２を計算し（ステップＳ１３）、ＶＢＶ
バッファでアンダーフローが発生するかどうかの予測を
行う（ステップＳ１４）。図２の例では、１２で示した
点線がフレーム１２の予測符号量を示しており、Ｂ１２
においてＶＢＶ占有量が負となり、ＶＢＶバッファのア
ンダーフローが予測されたこととなる。ステップＳ１４
においてＶＢＶバッファのアンダーフローが予測された
場合、そのフレーム（ここではフレーム１２）をスキッ
プとして符号化せずに破棄する。そして、次の入力フレ
ーム（ここではフレーム１３）までの期間分だけ固定ビ
ットレートでＶＢＶバッファの占有量を増加させ（図３
のステップ１７）、フレーム１３について、ステップＳ
１１からの処理を継続する。

【００２７】一方、ステップ１４においてＶＢＶバッフ
ァのアンダーフローが予測されなかった場合には、入力
フレームを通常どおり符号化及び出力し（ステップＳ１
５）、その発生符号量をＶＢＶバッファから減じる（ス
テップＳ１６）。さらに、次の入力フレームまでの期間
分だけ固定ビットレートでＶＢＶバッファの占有量を増
加させ（ステップ１７）、次の入力フレームについて、
ステップＳ１１からの処理を継続する。

【００２８】以上のような第一のフレームスキップ制御
によれば、入力フレームを符号化する前に、入力フレー
ムのアクティビティから発生符号量予測を行うので、こ
れに基づいてＶＢＶのアンダーフローを予測できる。し
たがって、未然にＶＢＶアンダーフローを抑制し、スム
ーズなフレームスキップ制御を実現することが可能とな
る。

【００２９】図４および図５は、本発明の実施形態に係
わる第二のフレームスキップ制御を説明する図およびそ
の処理の流れを示すフローチャートである。図４は、図
２と同様にＶＢＶバッファの変化例を示している。第二
のフレームスキップ制御では、入力フレームのアクティ
ビティに基づいたＶＢＶアンダーフローの予測は行わ
ず、１フレーム符号化後にＶＢＶアンダーフローチェッ
クを行い、このときにＶＢＶアンダーフローが発生した
場合には、その１フレーム分の符号化データを破棄する
というものである。図４において、入力フレーム２２の
符号化直前のＶＢＶ占有量がＴ２２であり、まずフレー
ム２２の符号化を行う。これは、図５におけるステップ
Ｓ２１に対応する。次に、フレーム２２を符号化した発
生符号量をＴ２２から減じてＶＢＶ占有量Ｂ２２を求め
る（ステップＳ２２）。次に、１フレーム符号化後のＶ
ＢＶアンダーフローのチェックを行い（ステップＳ２
３）、ＶＢＶ占有量が負の値になった場合、その１フレ
ーム分（ここではフレーム２２）の符号化データをすべ
て破棄し（ステップＳ２４）、破棄したフレーム発生符
号量分だけＶＢＶ占有量を加算して（ステップＳ２
４）、破棄されたフレームの符号化直前のＶＢＶ占有量
まで戻し（ここではＴ２２）、そこから次の入力フレー
ム（ここではフレーム２３）までの期間分だけＶＢＶバ
ッファ占有量を固定ビットレートで増加させる（図５の
ステップＳ２６）。そのＶＢＶ占有量（ここではＴ２
３）から、次のフレームの符号化を継続する。一方、ス
テップＳ２３においてＶＢＶアンダーフローが発生しな
い旨が判定された場合は、ステップＳ２１の符号化デー
タを有効データとして出力し、次の入力フレームまでの
期間分だけＶＢＶバッファ占有量を固定ビットレートで
増加させ（ステップＳ２６）、次の入力フレームの符号
化を継続する。

【００３０】以上のような第二のフレームスキップ制御
によれば、入力フレームを符号化した結果、ＶＢＶアン
ダーフローが発生してしまった場合でも、１フレーム分
の符号化データを破棄することにより、ＶＢＶアンダー
フローの発生をキャンセルすることが可能となり、ＶＢ
Ｖ規格に則った確実な処理を実現できる。

【００３１】図６および図７は、第三のフレームスキッ
プ制御を説明する図およびその処理の流れを示すフロー
チャートである。図６は、図２および図４と同様にＶＢ
Ｖバッファの変化例を示している。第三のフレームスキ
ップ制御は、上述した第一のフレームスキップ制御を行
い、しかる後に続けて第二のフレームスキップ制御を行
う構成とするものである。すなわち、入力フレームの符
号化前に、入力フレームのアクティビティを計算し（図
７のステップＳ３１）、入力フレームの発生符号量を予
測する（ステップＳ３２）。図６において、３２ａが入
力フレーム３２に対する予測符号量を示している。予測
符号量に基づいて予測したＶＢＶ占有量（ステップＳ３
３）から、ＶＢＶアンダーフローが予測される場合（ス
テップＳ３４）、そのフレームをスキップする。ＶＢＶ
アンダーフローが予測されない場合は、そのフレームの
符号化を行う（ステップＳ３５）。符号化を行った結果
の発生符号量から、ＶＢＶ占有量を更新し（ステップＳ
３６）、ＶＢＶのアンダーフローチェックを行い（ステ
ップＳ３７）、ＶＢＶアンダーフローが発生した場合
は、その１フレーム分の符号化データを破棄し（ステッ
プＳ３８）、ＶＢＶ占有量を符号化直前のレベルに戻し
（ステップＳ３９）、次の入力フレームまでの期間分、
固定ビットレートでＶＢＶバッファ占有量を増加させる
（ステップＳ４０）。また、１フレーム符号化後にＶＢ
Ｖバッファアンダーフローが発生しなかった場合は、１
フレーム分の符号化データを有効データとして出力し、
次の入力フレームまでの期間分、固定ビットレートでＶ
ＢＶバッファ占有量を増加させる（ステップＳ４０）。

【００３２】以上のような第三のフレームスキップ制御
によれば、第一のフレームスキップ制御により未然にＶ
ＢＶアンダーフローを抑制してスムーズなフレームスキ
ップ制御を実現することが可能となり、さらに第二のフ
レームスキップ制御により、第一のフレームスキップ制
御の予測符号量と実際の発生符号量とに誤差が生じて１
フレーム符号化後にＶＢＶバッファがアンダーフローし
てしまった場合でも、１フレーム分の符号化データを破
棄することでＶＢＶアンダーフローの発生をキャンセル
することが可能となり、ＶＢＶ規格により確実に則った
処理を実現できる。

【００３３】（第二の実施形態）図８は本発明の第二の
実施形態に係わる動画像符号化モジュールの概略構成を
示すブロック図である。この動画像符号化モジュールは
ハードウェア、ソフトウェア、又は両者の組み合わせの
いずれかにより実現される。図８において、４０は動画
像を符号化する主たる処理を担うコアモジュール、４１
はフレームスキップ及び符号化ビットレートの制御を行
うレート制御モジュール、４２は全体の符号化制御を行
うコントロールモジュールを示している。図９は本発明
の第二の実施形態に係わる動画像符号化モジュールにお
いて実現される動画像符号化の制御の流れを示すフロー
チャートである。

【００３４】コントロールモジュール４２からの指令に
より符号化が開始されると、まず各制御変数を初期化し
（ステップＳ５０）、時刻変数ｔｓに最も近い入力フレ
ームのタイムスタンプＴＳを得る（ステップＳ５１）。
時刻変数ｔｓは、任意の時刻を表現するが、タイムスタ
ンプＴＳは、入力フレームのフレーム周期で丸められた
値となる。次に、符号化境界点の条件を満たすかどうか
の判断を行う（ステップＳ５２）。符号化境界点の条件
は、最初の符号化フレーム、所定のインターバル経過、
あるいはシーンチェンジ検出などである。シーンチェン
ジを境界点条件とする場合は、入力動画像信号のシーン
チェンジ検出も併せて行う。

【００３５】符号化境界点条件を満たす場合は境界フラ
グＣｌｆｌａｇを有効（ｔｒｕｅ）にし（ステップＳ５
３）、満たさない場合はフラグは変更しない。次に、ス
テップＳ５１で求めたタイムスタンプＴＳと直前に符号
化されたフレームのタイムスタンプＰｒｅｖＣｏｄｅｄ
ＴＳとの差が０．７秒を超えるかどうかの判断を行う
（ステップＳ５４）。

【００３６】この差が０．７秒を超える場合は、ｖｏｐ
＿ｃｏｄｅを０とし、かつタイムスタンプを、直前にス
キップされたフレームのタイムスタンプＰｒｅｖＳｋｉ
ｐｐｅｄＴＳ（これは後述するステップＳ６９で設定さ
れる）としてＶＯＰヘッダを生成し（ステップＳ７
１）、このＶＯＰヘッダデータを出力する（ステップＳ
７２）。動画像符号化コアモジュール４０がローカルデ
コード画像の表示を行う場合は、直前に符号化されたフ
レームのローカルデコード画像の出力を行う（ステップ
Ｓ７３）。そして、タイムスタンプＰｒｅｖＣｏｄｅｄ
ＴＳを、直前にスキップされたフレームのタイムスタン
プＰｒｅｖＳｋｉｐｐｅｄＴＳに置き換え（ステップＳ
７４）、また、次に符号化するフレームの時刻変数ｔｓ
として、ＰｒｅｖＳｋｉｐｐｅｄＴＳに１フレーム加算
したものを設定し（ステップＳ７５）、ステップＳ５１
へ戻る。

【００３７】一方、ステップＳ５４の条件を満たさない
場合は、レート制御モジュール４１に符号化フレームの
タイムスタンプＴＳを通知し（ステップＳ５５）、境界
フラグＣｌｆｌａｇが有効か否かの判断を行う（ステッ
プＳ５６）。この境界フラグＣｌｆｌａｇが有効の場合
はランダムアクセスを実現するためのヘッダデータの生
成を行い（ステップＳ５７）、現在の入力フレームの符
号化タイプをＩ−ＶＯＰ（フレーム内符号化）に設定す
る（ステップＳ５８）。一方、境界フラグＣｌｆｌａｇ
が無効の場合は、現在の入力フレームの符号化タイプを
Ｐ−ＶＯＰ（フレーム間符号化）に設定する（ステップ
Ｓ５９）。

【００３８】次に、決定された符号化タイプをレート制
御モジュール４１に通知し（ステップＳ６０）、動画像
符号化コアモジュール４０に対し、現在の入力フレーム
に関する上記の符号化タイプとタイムスタンプＴＳとを
通知するとともに符号化の実行を指示する（ステップＳ
６１）。

【００３９】符号化の終了後は、ＶＢＶのアンダーフロ
ーが発生したかどうかの判断を行う（ステップＳ６
２）。アンダーフローが発生していない場合は、符号化
した１フレーム分のデータを出力し（ステップＳ６３）
する。動画像符号化コアモジュール４０がローカルデコ
ード画像の表示を行う場合は、現在のフレームに対する
ローカルデコード画像を生成して出力する（ステップＳ
６４）。次に、境界フラグＣｌｆｌａｇを無効に変更し
（ステップＳ６５）、タイムスタンプＰｒｅｖＣｏｄｅ
ｄＴＳの更新を行う（ステップＳ６６）。そして、次に
符号化するフレームの時刻変数ｔｓをレート制御モジュ
ール４１から取得し（ステップＳ７０）、ステップＳ５
１へ戻る。ここで、時刻変数ｔｓは、次の入力フレーム
のアクティビティに応じて、ＶＢＶアンダーフロー予測
を行い、次に符号化すべきフレームの時刻変数ｔｓを決
定するものである。

【００４０】一方、ステップＳ６２においてＶＢＶアン
ダーフローの発生が検出された場合は、境界フラグＣｌ
ｆｌａｇが有効か否かの判断を行う（ステップＳ６
７）。同フラグが有効の場合はステップＳ５７で生成し
たランダムアクセスを実現するためのヘッダデータをす
べて破棄し（ステップＳ６８）、ＶＢＶアンダーフロー
によりスキップされたフレームのタイムスタンプＰｒｅ
ｖＳｋｉｐｐｅｄＴＳの更新を行う（ステップＳ６
９）。次に、ＶＢＶアンダーフローが発生しなかった場
合と同様に、次に符号化するフレームの時刻変数ｔｓを
レート制御モジュール４１から取得（ステップＳ７０）
した後、ステップＳ５１へ戻る。

【００４１】以上説明した第二の実施形態の構成は、上
述した本発明の第一の実施形態を基礎としており、さら
に具体的な実現に向けて、フレーム内符号化フレームと
フレーム間符号化フレームとの切り替え制御処理、およ
びランダムアクセスのためのヘッダ挿入処理が追加され
た構成である。このような第二の実施形態においても、
本発明の第一の実施形態と同様の作用効果を奏する。

【００４２】（第三の実施形態）次に、本発明の第三の
実施形態に係わる動画像音声多重化装置を説明する。図
１０は、同第三の実施形態に係わる動画像音声多重化装
置の概略構成および同装置における信号処理の流れを示
すブロック図である。この装置は、動画像信号および音
声信号を入力し、それぞれの符号化を行い、符号化され
た動画像データおよび音声データを多重化して出力する
ものである。

【００４３】動画像信号１００は、動画像符号化部１０
１により１フレームづつ符号化され、符号化データ１０
２として出力される。動画像符号化部１０１は、上述し
た第一の実施形態あるいは第二の実施形態に従って構成
される。ヘッダ解析部１０３は、符号化された動画像デ
ータ１０２のヘッダに含まれるタイムスタンプ情報を解
釈する。タイムスタンプ生成部１０４は、ヘッダ解析部
１０３による解釈結果をもとに多重化レイヤで用いられ
るタイムスタンプＰＴＳまたはＤＴＳの生成を行う。

【００４４】また、符号化された動画像データ１０２
は、タイムスタンプ生成部１０４において生成された多
重化レイヤのタイムスタンプとともにパケット化部１０
５によりパケット化される。パケット化された動画像デ
ータは、同様に符号化およびパケット化された音声デー
タとともに多重化部１０６により多重化され、動画像音
声データ１０７として出力される。

【００４５】ここで、動画像符号化部１０１は、たとえ
ばＭＰＥＧ４動画像符号化規格に基づくものとし、ま
た、音声符号化部１１１は、たとえばＭＰＥＧ音声符号
化規格に基づくものとする。また、多重化部１０６は、
ＭＰＥＧ２−ＴＳ規格の基づくものであるとする。既に
説明した通り、ＭＰＥＧ２−ＴＳは、０．７秒以内のタ
イムスタンプのインターバルを保証する必要がある。

【００４６】このような本発明の第三の実施形態による
と、動画像符号化部１０１は、上述した本発明の第一の
実施形態あるいは第二の実施形態に基づいて構成されて
いる。したがって、ＭＰＥＧ２−ＴＳの条件を満たしつ
つ効率的に、かつ、フレームレートを可変としながら高
画質の符号化を実現することができる。

【００４７】なお、本発明は上述した実施形態に限定さ
れず種々変形して実施可能である。例えば、直前に符号
化された入力動画像フレームと現在のフレームとの時間
間隔（インターバル）について、実施形態ではＭＰＥＧ
２−ＴＳ規格を例にあげて０．７秒を守ることとして説
明したが、本発明はこの０．７秒（７００ｍｓｅｃ）に
限定されないことは言うまでもない。

【００４８】以上説明した本発明の実施形態によれば、
任意のフレームレートでの符号化が可能な動画像符号化
において、アクティビティを用いた事前のフレームスキ
ップの決定及び１フレーム符号化後の１フレーム符号化
データの破棄によるＶＢＶアンダーフロー回避により、
安定したフレームレートの制御とＶＢＶの制限との両立
が可能となる。また、フレームスキップの間隔が一定時
間を超える場合にのみフレームのヘッダを送出するよう
にしているので、任意のフレームレート制御と、多重化
等の制約から要求されるタイムスタンプ最大間隔の制限
に対処する処理とを両立させることができ、オーバーヘ
ッドを最小化できる。従って、フレームレートの動的且
つ適切な制御が可能となり、また符号化オーバーヘッド
の削減により、符号化ビットレートを増加させることな
く、安定して高画質かつ高能率な動画像符号化を実現で
きる。

【００４９】

【発明の効果】以上説明したように、本発明によれば、
最大フレーム間隔に制限がある場合においても、画質劣
化を伴わず、且つＶＢＶの制限を確実に満たすことが可
能な、高画質で高能率な動画像符号化の方法、装置及び
プログラム、並びに動画像音声多重化の方法、装置及び
プログラムを提供できる。

【図面の簡単な説明】

【図１】本発明の第一の実施形態に係わる動画像符号化
の処理の流れを示すフローチャート

【図２】第一の実施形態に係わる第一のフレームスキッ
プ制御を説明する図

【図３】第一の実施形態に係わる第一のフレームスキッ
プ制御の流れを示すフローチャート

【図４】第一の実施形態に係わる第二のフレームスキッ
プ制御を説明する図

【図５】第一の実施形態に係わる第二のフレームスキッ
プ制御の流れを示すフローチャート

【図６】第一の実施形態に係わる第三のフレームスキッ
プ制御を説明する図

【図７】第一の実施形態に係わる第三のフレームスキッ
プ制御の流れを示すフローチャート

【図８】本発明の第二の実施形態に係わる動画像符号化
モジュールの概略構成を示すブロック図

【図９】本発明の第二の実施形態に係わる動画像符号化
モジュールにおいて実現される動画像符号化の制御の流
れを示すフローチャート

【図１０】本発明の第三の実施形態に係わる動画像音声
多重化装置の概略構成および同装置における信号の流れ
を示すブロック図

【符号の説明】

Ｓ１…初期タイムスタンプ取得ステップ Ｓ２…タイムスタンプ取得ステップ Ｓ３…タイムスタンプ比較ステップ Ｓ４…ＶＯＰヘッダ生成ステップ Ｓ５…フレームスキップ判定ステップ Ｓ６…ＶＯＰヘッダ生成ステップ Ｓ７…１フレーム符号化ステップ Ｓ８…タイムスタンプ更新ステップ １００…動画像信号 １０１…動画像符号化部 １００…音声信号 １０１…音声符号化部 １０３，１１３…ヘッダ解析部 １０４…タイムスタンプ生成部 １０５，１１５…パケット化部 １０６…多重化部

フロントページの続き Ｆターム(参考） 5C059 KK35 LB07 MA00 PP04 RB02 RB09 RC04 RC32 SS20 SS30 TA07 TB04 TC00 TC10 TC16 TD12 UA02 5K028 AA01 EE03 KK01 KK12 SS04 SS14

Claims (7)

【特許請求の範囲】
1. 【請求項１】入力した動画像信号から少なくとも１枚の
   フレームを符号化して符号化フレームを生成する処理を
   可変のフレームレートで行う動画像符号化方法におい
   て、 直前に符号化されたフレームから現在のフレームまでの
   経過時間を算出するステップと、 前記経過時間が所定の時間を超えたか否かを判定するス
   テップと、 前記経過時間が所定の時間を超えた場合に、符号化デー
   タを伴わないヘッダデータを出力するステップと、 前記経過時間が所定の時間を超えない場合に、前記フレ
   ームレートの変更のために前記符号化フレームの生成処
   理をスキップするステップとを具備することを特徴とす
   る動画像符号化方法。
2. 【請求項２】前記入力動画像信号のアクティビティを計
   算するステップと、 計算された前記アクティビティに応じて前記符号化フレ
   ームの生成処理のスキップを行うか否かを決定するステ
   ップとをさらに具備することを特徴とする請求項１に記
   載の動画像符号化方法。
3. 【請求項３】前記現在のフレームを符号化するステップ
   と、 仮想受信バッファの占有量を計算するステップと、 前記占有量から前記仮想受信バッファのアンダーフロー
   の有無を判定するステップとをさらに具備し、 前記符号化フレームの生成処理のスキップは、前記アン
   ダーフローの有無に基づいて、符号化された前記現在の
   フレームのデータを破棄するステップを含むことを特徴
   とする請求項１に記載の動画像符号化方法。
4. 【請求項４】請求項１乃至３のいずれかに記載の動画像
   符号化方法に従い符号化された動画像の符号化データと
   当該動画像に関係する音声の符号化データとを多重化し
   て多重化データを出力する動画像音声多重化方法におい
   て、 前記動画像符号化データのヘッダデータに基づいてタイ
   ムスタンプを生成するステップと、 前記動画像の符号化データ及び前記音声の符号化データ
   をそれぞれパケット化するステップと、 パケット化された前記動画像の符号化データ及び音声の
   符号化データのそれぞれのヘッダデータに前記タイムス
   タンプをセットすると共に多重化するステップとを具備
   することを特徴とする動画像音声多重化方法。
5. 【請求項５】入力した動画像信号から少なくとも１枚の
   フレームを符号化して符号化フレームを生成する処理を
   可変のフレームレートで行う動画像符号化プログラムで
   あって、コンピュータに、 直前に符号化されたフレームから現在のフレームまでの
   経過時間を算出する手順と、 前記経過時間が所定の時間を超えたか否かを判定する手
   順と、 前記経過時間が所定の時間を超えた場合に、符号化デー
   タを伴わないヘッダデータを出力する手順と、 前記経過時間が所定の時間を超えない場合に、前記フレ
   ームレートの変更のために前記符号化フレームの生成処
   理をスキップする手順とを実行させる動画像符号化プロ
   グラム。
6. 【請求項６】入力した動画像信号から少なくとも１枚の
   フレームを符号化して符号化フレームを生成する処理を
   可変のフレームレートで行う動画像符号化装置におい
   て、 直前に符号化されたフレームから現在のフレームまでの
   経過時間を算出する算出手段と、 前記経過時間が所定の時間を超えたか否かを判定する判
   定手段と、 前記経過時間が所定の時間を超えた場合に、符号化デー
   タを伴わないヘッダデータを出力する出力手段と、 前記経過時間が所定の時間を超えない場合に、前記フレ
   ームレートの変更のために前記符号化フレームの生成処
   理をスキップする処理制御手段とを具備することを特徴
   とする動画像符号化装置。
7. 【請求項７】請求項６に記載の動画像符号化装置により
   符号化された動画像の符号化データと当該動画像に関係
   する音声の符号化データとを多重化して多重化データを
   出力する動画像音声多重化装置において、 前記動画像符号化データのヘッダデータに基づいてタイ
   ムスタンプを生成する生成手段と、 前記動画像の符号化データ及び前記音声の符号化データ
   をそれぞれパケット化するパケット化手段と、 パケット化された前記動画像の符号化データ及び音声の
   符号化データのそれぞれのヘッダデータに前記タイムス
   タンプをセットすると共に多重化する多重化手段とを具
   備することを特徴とする動画像音声多重化装置。